CN116347003B - 一种虚拟灯光实时渲染方法及装置 - Google Patents

一种虚拟灯光实时渲染方法及装置 Download PDF

Info

Publication number
CN116347003B
CN116347003B CN202310621863.XA CN202310621863A CN116347003B CN 116347003 B CN116347003 B CN 116347003B CN 202310621863 A CN202310621863 A CN 202310621863A CN 116347003 B CN116347003 B CN 116347003B
Authority
CN
China
Prior art keywords
rendering
different
light sources
virtual
point light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310621863.XA
Other languages
English (en)
Other versions
CN116347003A (zh
Inventor
吴红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Happly Sunshine Interactive Entertainment Media Co Ltd
Original Assignee
Hunan Happly Sunshine Interactive Entertainment Media Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Happly Sunshine Interactive Entertainment Media Co Ltd filed Critical Hunan Happly Sunshine Interactive Entertainment Media Co Ltd
Priority to CN202310621863.XA priority Critical patent/CN116347003B/zh
Publication of CN116347003A publication Critical patent/CN116347003A/zh
Application granted granted Critical
Publication of CN116347003B publication Critical patent/CN116347003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Abstract

本发明实施例公开了一种虚拟灯光实时渲染方法及装置，其中，方法包括：通过插件扫描虚幻引擎项目中的灯光资产，所述灯光资产指示虚拟空间中的所有点光源；基于所述灯光资产构建至少两组渲染任务，不同组的渲染任务被分配至不同的渲染机进行渲染处理；将渲染机渲染得到的渲染图片与对应的视频图像帧进行合成处理。上述实现方案将大任务量的灯光渲染任务分配到不同的渲染机进行处理，从而实现分布式的虚拟灯光渲染，可以突破虚幻引擎利用单台计算机算力的限制，进一步释放创作的灵感空间，从而产生更好更优质的影视内容或综艺内容。

Description

一种虚拟灯光实时渲染方法及装置
技术领域
本发明涉及虚拟处理技术，更具体的说，是涉及一种虚拟灯光实时渲染方法及装置。
背景技术
通过虚幻引擎构建VFX（Visual effects, 视觉特效）虚拟制片技术是目前非常流行的一种虚拟制片的方式，通过生成3D资产结合Unreal Engine实时渲染生产影视或动画内容。其中，灯光渲染是内容生产极为重要的一部分；但很多场景，如虚拟演唱会，需要使用大量的虚拟灯光，由于受目前单机算力的限制，在这个环节只能使用后期合成，或实时渲染少量的灯光。当前，基于虚幻引擎灯光渲染需要通过虚幻引擎本身的渲染机的完成，由于虚幻引擎受单机算力影响，目前虚幻引擎已知通过较好的显卡RTX A6000同时渲染灯光数量不超过千台，而实际内容生产往往需要上千台或超过3000台，这导致虚拟制作中灯光渲染效率不足，因此使虚拟内容生产在综艺应用存在较大的局限性。
发明内容
有鉴于此，本发明提供如下技术方案：
一种虚拟灯光实时渲染方法，包括：
通过插件扫描虚幻引擎项目中的灯光资产，所述灯光资产指示虚拟空间中的所有点光源；
基于所述灯光资产构建至少两组渲染任务，不同组的渲染任务被分配至不同的渲染机进行渲染处理；
将渲染机渲染得到的渲染图片与对应的视频图像帧进行合成处理。
可选地，所述将渲染机渲染得到的渲染图片与对应的视频图像帧进行合成处理，包括：
将所述虚幻引擎项目的项目文件拷贝到各个渲染机中；
不同渲染机对自身负责的组别对应的渲染任务进行渲染处理，获得渲染图片；
将时间对应的来自不同渲染机的渲染图片与视频图像帧进行合成处理。
可选地，所述灯光资产包括点光源的数量以及各个点光源的属性信息，所述基于所述灯光资产构建至少两组渲染任务，包括：
基于距离最近原则，将一定数量的点光源划分至同一组别，同一组别的点光源具有相同的组编码，不同组别的组编码不同。
可选地，在所述不同渲染机对自身负责的组别对应的渲染任务进行渲染前，还包括：
向每一个渲染机发送其负责的组编码，使得渲染机在接收到组编码后，将与所述组编码不对应的点光源隐藏，保证渲染机仅对自身负责的点光源进行渲染处理。
可选地，所述不同渲染机对自身负责的组别对应的渲染任务进行渲染处理，获得渲染图片，包括：
不同渲染机通过虚幻引擎对自身负责的组别对应的渲染任务进行渲染处理，获得PNG格式的渲染图片。
一种虚拟灯光实时渲染装置，包括：
资产扫描模块，用于通过插件扫描虚幻引擎项目中的灯光资产，所述灯光资产指示虚拟空间中的所有点光源；
任务处理模块，用于基于所述灯光资产构建至少两组渲染任务，不同组的渲染任务被分配至不同的渲染机；
合成处理模块，用于将渲染机渲染得到的渲染图片与对应的视频图像帧进行合成处理。
可选地，所述合成处理模块包括：
文件拷贝模块，用于将所述虚幻引擎项目的项目文件拷贝到各个渲染机中；
渲染处理模块，用于控制渲染机对自身负责的组别对应的渲染任务进行渲染处理，获得渲染图片；
合成处理子模块，用于将时间对应的来自不同渲染机的渲染图片与视频图像帧进行合成处理。
可选地，所述灯光资产包括点光源的数量以及各个点光源的属性信息，所述任务处理模块具体用于：基于距离最近原则，将一定数量的点光源划分至同一组，同一组别的点光源具有相同的组编码，不同组别的组编码不同。
可选地，还包括：
任务分配模块，用于向每一个渲染机发送其负责的组编码，使得渲染机在接收到组编码后，将与所述组编码不对应的点光源隐藏，保证渲染机仅对自身负责的点光源进行渲染处理。
可选地，所述渲染处理模块具体用于：控制渲染机通过虚幻引擎对自身负责的组别对应的渲染任务进行渲染处理，获得PNG格式的渲染图片。
经由上述的技术方案可知，本发明实施例公开了一种虚拟灯光实时渲染方法及装置，其中，方法包括：通过插件扫描虚幻引擎项目中的灯光资产，所述灯光资产指示虚拟空间中的所有点光源；基于所述灯光资产构建至少两组渲染任务，不同组的渲染任务被分配至不同的渲染机进行渲染处理；将渲染机渲染得到的渲染图片与对应的视频图像帧进行合成处理。上述实现方案将大任务量的灯光渲染任务分配到不同的渲染机进行处理，从而实现分布式的虚拟灯光渲染，可以突破虚幻引擎利用单台计算机算力的限制，进一步释放创作的灵感空间，从而产生更好更优质的影视内容或综艺内容。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种虚拟灯光实时渲染方法的流程图；
图2为本发明实施例公开的渲染图片和视频图像帧合成处理的流程图；
图3为发明实施例公开的基于分布虚拟灯光渲染装方案的流程实现示例图；
图4为本发明实施例公开的一组灯光的位置示例图；
图5为本发明实施例公开的合成图片的示例图；
图6为本发明实施例公开的一种虚拟灯光实时渲染装置的结构示意图。
具体实施方式
为了引用和清楚起见，下文中使用的技术名词的说明、简写或缩写总结如下：
Unreal Engine：即虚幻引擎，是用于游戏开发一个3D渲染引擎，可用于游戏、数字人等3D资产的生产。
FFMPEG：一款做视频编解码的开源工具集。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例公开的一种虚拟灯光实时渲染方法的流程图。参见图1所示，虚拟灯光实时渲染方法可以包括：
步骤101：通过插件扫描虚幻引擎项目中的灯光资产，所述灯光资产指示虚拟空间中的所有点光源。
其中，所述灯光资产指所有需要渲染的点光源，也即虚拟光源。虚拟光源在与视频或图片进行合成后，使得视频或图片呈现出虚拟灯光，从而丰富画面，提升或深化视频或图片的氛围感。
其中，所述插件可以是基于虚幻引擎的插件，由于其用于扫描灯光资产，因此本申请实施例中，将其称为Light Plugin插件。实现中，可以预先在虚幻引擎中安装LightPlugin插件，插件在虚幻引擎项目过程中将扫描类型为点光源的 3D资产。通过扫描类型为点光源的资产将获取一组点光源元素，通过统计扫描出来的点光源数量可计算该虚拟空间中点光源总数量。
步骤102：基于所述灯光资产构建至少两组渲染任务，不同组的渲染任务被分配至不同的渲染机进行渲染处理。
步骤102具体可以包括：基于距离最近原则，将一定数量的点光源划分至同一组，同一组别的点光源具有相同的组编码，不同组别的组编码不同。
本申请实施例中，可以通过扫描获得的点光源数据可以计算出所有灯光数量以及每一台虚拟灯光在虚拟场景中的位置信息。通过点光源的X轴、Y轴、Z轴信息将计算出当前虚拟灯光最近一批灯光。计算方式如下：已知三维虚拟空间为1000m*1000m*10m,以虚拟空间0点为坐标轴的起点，将虚拟空间按长、宽、高映射为三维坐标体系，已知点光源在虚拟空间的X、Y、Z信息，将点光源映射为三维坐标轴的坐标点，并进行标记。以(0,0,0)为起点计算向量距离。将每个点光源与其它点光源计算向量距离。
|AB|=
其中，AB指两个点光源之间的空间距离，x1和x2分别表示两个点光源在x轴上的数值，y1和y2分别表示两个点光源在y轴上的数值，z1和z2分别表示两个点光源在z轴上的数值。
按最近分配原则，例如可以将最近的每300个点光源分配为一组任务，并统一分配一组由字符串组成的组编码。若将300个点光源构建为一个渲染任务，这样已知一个虚拟场景虚拟灯光数量为3000台，则分解了10个点光源渲染任务。其中，组编码可以由32位字符组成，如通过程序生成一组32位字符组成的字符串，每个字符是A-Z或0-9中的一个随机字符。
其中，所述灯光资产包括点光源的数量以及各个点光源的属性信息，所述属性信息可以但不限制为包括点光源在虚拟空间中的X,Y,Z的坐标信息以及灯光发光的方向以及色彩、亮度信息。
需要说明的是，本申请实施例中，基于所述灯光资产构建了至少两组渲染任务，也即，将数据量巨大或任务量巨大的渲染任务划分成多个子渲染任务，不同的子渲染任务由不同的渲染机完成。也即，多台渲染机分别负责总任务中的部分任务，这样共同协作完成总任务。这样，基于分布式处理的概念进行虚拟灯光的渲染，克服了单台计算机进行虚拟灯光渲染的限制，可以实现等光渲染的无限横向扩展。
步骤103：将渲染机渲染得到的渲染图片与对应的视频图像帧进行合成处理。
在构建好至少两个渲染任务并将其分配给不同渲染机后，各个渲染机完成自身负责的渲染任务，并输出渲染图片，伺候可以将渲染机渲染得到的渲染图片与对应的视频图像帧进行合成处理，得到氛围效果更佳的图片或视频。
步骤103主要实现将各渲染机器生成的渲染图片与视频进行二次合成，将视频通过FFMPEG实时转换为图片，并将渲染图片与视频图片按时间码进行对齐和合成。
本实施例所述虚拟灯光实时渲染方法基于分布式处理思想，将大任务量的灯光渲染任务分配到不同的渲染机进行处理，从而实现分布式的虚拟灯光渲染，可以突破虚幻引擎利用单台计算机算力的限制，进一步释放创作的灵感空间，从而产生更好更优质的影视内容或综艺内容。
图2为本发明实施例公开的渲染图片和视频图像帧合成处理的流程图。结合图2所示，所述将渲染机渲染得到的渲染图片与对应的视频图像帧进行合成处理，可以包括：
步骤201：将所述虚幻引擎项目的项目文件拷贝到各个渲染机中。
其中，所述项目文件是指通过虚拟引擎创作的工程文件。结合前文内容，LightPlugin将请求渲染集群，为该项目分配10台渲染计算机，并在10台渲染机中，拷贝当前虚幻引擎的项目文件。同时分配每台渲染机将渲染分解出来10组任务中的一个，Light Plugin通过分配标记的方式，保证分配的任务不重复且分配完毕。其中，所述分配标记可选的为组编码。实现中，可以向每一个渲染机发送其负责的组编码，使得渲染机在接收到组编码后，将与所述组编码不对应的点光源隐藏，保证渲染机仅对自身负责的点光源进行渲染处理。
步骤202：不同渲染机对自身负责的组别对应的渲染任务进行渲染处理，获得渲染图片。
具体的，不同渲染机通过虚幻引擎对自身负责的组别对应的渲染任务进行渲染处理，获得PNG格式的渲染图片。在渲染机的文件拷贝完成之后，将启动虚幻引擎，同时读取分配至该渲染机的一个任务编码（可以对应组编码），并将除了该任务编码对应的点光源设置为隐藏状态。这里，隐藏状态即是不可见，每台渲染机器只完成可见的灯的渲染就可以减少当前计算机资源的使用。实现中，PNG格式的渲染图片可以是渲染机的Alpha通道渲染出的图片，PNG格式的渲染图片没有纯色背景，可以做多层合成。
实现中，插件可以在3D资产调整（包括拷贝所述虚幻引擎项目的项目文件以及隐藏不相关点光源）完成后，面向各渲染机发送初始指令，初始指令主要启动渲染机的Alpha通道渲染，从而得到PNG格式的渲染图片。
综上，对于分布式多机渲染集群，其由多台渲染计算机组成，主要负责接受LightPlugin的任务指令，其中主要包含如下：1、拷贝指令：负责将用户工作站上面的虚幻引擎项目拷贝当将渲染机；2、初始指令：负责将渲染集群节点机器的虚幻引擎开启并设置通过Alpha通道渲染，并设置对应的输出Alpha图片的位置。
步骤203：将时间对应的来自不同渲染机的渲染图片与视频图像帧进行合成处理。
具体的，可以将Alpha通道的图片与视频图片按时间码进行对齐。首先将两张图片从(0,0)进行对齐，将图片像素按X,Y轴进行色彩合成，合成后像素点形成新的图片，以视频帧率，将图片重新通过FFMPEG封装为视频。
RGB3 = (1- a) *RGB1 + a * RGB2（其中a为混合透明度取值范围[0,1]之间,RGB3为目标像素值, RGB1与RGB2的值分别来自两张不同的图像）。
结合上内容，实现中本申请方案的工作内容主要包括基于虚幻引擎的插件的工作内容、分布式多机渲染集群的工作内容和视频合成器的工作内容，各组成模块或装置的工作内容在前文已经分别介绍到，可结合图3理解。图3中，（a）流程图为基于虚幻引擎的插件的工作流程，（b）流程图为分布式多机渲染集群的工作流程，（c）流程图为视频合成器的工作流程。
一个示例中，对于一个3D资产场景，本申请方案通过Light Plugin进行灯光任务分配，可以将为分配一个组固定的32位任务编码；启动Unreal Engine项目之后，LightPlugin为灯光类型的3D资产生成一个32位任务编码；通过将Light Plugin将该项目所有灯光根据最近原则分成不同的任务组，并下发至不同的渲染节点机进行灯光渲染，如图4所示；针对每组任务单独实时渲染对应的光影数据，并实时输出一组带Alpha的数据；最后将渲染的光影数据实时合成到输出的视频流上面，如图5所示。
由此，方案实现过程可以包括：1、在虚幻引擎中安装Light Plugin，可以将对应的Light Plugin程序放至在虚幻引擎项目的插件目录下面；2、在渲染计算机上部署LightRender程序（对应本申请技术方案），Light Render将面向局域网发送广播信息，在LightPlugin启动时将扫描LightRender对应有的服务器与端口； 3、打开对应的Unreal Engine项目，Light Plugin将自动扫描LightType类型的3D资产，并编组为任务； 4、点击LightPlugin 的Render To Video（Render To Video是一个渲染过程表示通过3D资产渲染出图片，然后由图片合并成视频），将输的Video与渲染节点的输出的带通道的图片进行合成。
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
上述本发明公开的实施例中详细描述了方法，对于本发明的方法可采用多种形式的装置实现，因此本发明还公开了一种装置，下面给出具体的实施例进行详细说明。
图6为本发明实施例公开的一种虚拟灯光实时渲染装置的结构示意图。参见图6所示，虚拟灯光实时渲染装置90可以包括：
资产扫描模块901，用于通过插件扫描虚幻引擎项目中的灯光资产，所述灯光资产指示虚拟空间中的所有点光源。
任务处理模块902，用于基于所述灯光资产构建至少两组渲染任务，不同组的渲染任务被分配至不同的渲染机。
合成处理模块903，用于将渲染机渲染得到的渲染图片与对应的视频图像帧进行合成处理。
本实施例所述虚拟灯光实时渲染装置基于分布式处理思想，将大任务量的灯光渲染任务分配到不同的渲染机进行处理，从而实现分布式的虚拟灯光渲染，可以突破虚幻引擎利用单台计算机算力的限制，进一步释放创作的灵感空间，从而产生更好更优质的影视内容或综艺内容。
一个实现中，所述合成处理模块可以包括：文件拷贝模块，用于将所述虚幻引擎项目的项目文件拷贝到各个渲染机中；渲染处理模块，用于控制渲染机对自身负责的组别对应的渲染任务进行渲染处理，获得渲染图片；合成处理子模块，用于将时间对应的来自不同渲染机的渲染图片与视频图像帧进行合成处理。
一个实现中，所述灯光资产包括点光源的数量以及各个点光源的属性信息，所述任务处理模块具体用于：基于距离最近原则，将一定数量的点光源划分至同一组，同一组别的点光源具有相同的组编码，不同组别的组编码不同。
一个实现中，虚拟灯光实时渲染装置还可以包括：任务分配模块，用于向每一个渲染机发送其负责的组编码，使得渲染机在接收到组编码后，将与所述组编码不对应的点光源隐藏，保证渲染机仅对自身负责的点光源进行渲染处理。
一个实现中，所述渲染处理模块具体用于：控制渲染机通过虚幻引擎对自身负责的组别对应的渲染任务进行渲染处理，获得PNG格式的渲染图片。
上述实施例中的所述的任意一种虚拟灯光实时渲染装置包括处理器和存储器，上述实施例中的资产扫描模块、任务处理模块、合成处理模块、文件拷贝模块、渲染处理模块、合成处理子模块等均作为程序模块存储在存储器中，由处理器执行存储在所述存储器中的上述程序模块来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序模块。内核可以设置一个或多个，通过调整内核参数来实现回访数据的处理。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器（RAM）和/或非易失性内存等形式，如只读存储器（ROM）或闪存（flash RAM），存储器包括至少一个存储芯片。
在示例性实施例中，还提供了一种计算机可读存储介质，可直接加载到计算机的内部存储器，其中含有软件代码，该计算机程序经由计算机载入并执行后能够实现上述虚拟灯光实时渲染方法任一实施例所示步骤。
在示例性实施例中，还提供一种计算机程序产品，可直接加载到计算机的内部存储器，其中含有软件代码，该计算机程序经由计算机载入并执行后能够实现上述所述的虚拟灯光实时渲染方法任一实施例所示步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种虚拟灯光实时渲染方法，其特征在于，包括：
通过插件扫描虚幻引擎项目中的灯光资产，所述灯光资产指示虚拟空间中的所有点光源；
基于所述灯光资产构建至少两组渲染任务，不同组的渲染任务被分配至不同的渲染机进行渲染处理，不同组的渲染任务具有不同的组编码，每个渲染机负责一个组编码的渲染任务的处理；
将渲染机渲染得到的渲染图片与对应的视频图像帧进行合成处理；
所述灯光资产包括点光源的数量以及各个点光源的属性信息，所述基于所述灯光资产构建至少两组渲染任务，包括：
基于距离最近原则，将一定数量的点光源划分至同一组别，同一组别的点光源具有相同的组编码，不同组别的组编码不同。
2.根据权利要求1所述的虚拟灯光实时渲染方法，其特征在于，所述将渲染机渲染得到的渲染图片与对应的视频图像帧进行合成处理，包括：
将所述虚幻引擎项目的项目文件拷贝到各个渲染机中；
不同渲染机对自身负责的组别对应的渲染任务进行渲染处理，获得渲染图片；
将时间对应的来自不同渲染机的渲染图片与视频图像帧进行合成处理。
3.根据权利要求1所述的虚拟灯光实时渲染方法，其特征在于，在所述不同渲染机对自身负责的组别对应的渲染任务进行渲染前，还包括：
向每一个渲染机发送其负责的组编码，使得渲染机在接收到组编码后，将与所述组编码不对应的点光源隐藏，保证渲染机仅对自身负责的点光源进行渲染处理。
4.根据权利要求2所述的虚拟灯光实时渲染方法，其特征在于，所述不同渲染机对自身负责的组别对应的渲染任务进行渲染处理，获得渲染图片，包括：
不同渲染机通过虚幻引擎对自身负责的组别对应的渲染任务进行渲染处理，获得PNG格式的渲染图片。
5.一种虚拟灯光实时渲染装置，其特征在于，包括：
资产扫描模块，用于通过插件扫描虚幻引擎项目中的灯光资产，所述灯光资产指示虚拟空间中的所有点光源；
任务处理模块，用于基于所述灯光资产构建至少两组渲染任务，不同组的渲染任务被分配至不同的渲染机，不同组的渲染任务具有不同的组编码，每个渲染机负责一个组编码的渲染任务的处理；
合成处理模块，用于将渲染机渲染得到的渲染图片与对应的视频图像帧进行合成处理；
所述灯光资产包括点光源的数量以及各个点光源的属性信息，所述任务处理模块具体用于：基于距离最近原则，将一定数量的点光源划分至同一组，同一组别的点光源具有相同的组编码，不同组别的组编码不同。
6.根据权利要求5所述的虚拟灯光实时渲染装置，其特征在于，所述合成处理模块包括：
文件拷贝模块，用于将所述虚幻引擎项目的项目文件拷贝到各个渲染机中；
渲染处理模块，用于控制渲染机对自身负责的组别对应的渲染任务进行渲染处理，获得渲染图片；
合成处理子模块，用于将时间对应的来自不同渲染机的渲染图片与视频图像帧进行合成处理。
7.根据权利要求6所述的虚拟灯光实时渲染装置，其特征在于，还包括：
任务分配模块，用于向每一个渲染机发送其负责的组编码，使得渲染机在接收到组编码后，将与所述组编码不对应的点光源隐藏，保证渲染机仅对自身负责的点光源进行渲染处理。
8.根据权利要求6所述的虚拟灯光实时渲染装置，其特征在于，所述渲染处理模块具体用于：控制渲染机通过虚幻引擎对自身负责的组别对应的渲染任务进行渲染处理，获得PNG格式的渲染图片。
CN202310621863.XA 2023-05-30 2023-05-30 一种虚拟灯光实时渲染方法及装置 Active CN116347003B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310621863.XA CN116347003B (zh) 2023-05-30 2023-05-30 一种虚拟灯光实时渲染方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310621863.XA CN116347003B (zh) 2023-05-30 2023-05-30 一种虚拟灯光实时渲染方法及装置

Publications (2)

Publication Number Publication Date
CN116347003A CN116347003A (zh) 2023-06-27
CN116347003B true CN116347003B (zh) 2023-08-11

Family

ID=86880779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310621863.XA Active CN116347003B (zh) 2023-05-30 2023-05-30 一种虚拟灯光实时渲染方法及装置

Country Status (1)

Country Link
CN (1) CN116347003B (zh)

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009139999A (ja) * 2007-12-03 2009-06-25 Sammy Corp 画像作成装置及びプログラム
CN103268253A (zh) * 2012-02-24 2013-08-28 苏州蓝海彤翔系统科技有限公司 一种智能化的多尺度并行渲染作业调度管理方法
CN103456034A (zh) * 2013-08-28 2013-12-18 厦门雷霆互动网络有限公司 一种基于分布式烘培光照的场景编辑器及编辑方法
CN104008563A (zh) * 2014-06-07 2014-08-27 长春理工大学 利用虚拟点光源实现动画三维场景的全局光照绘制的方法
CN104392479A (zh) * 2014-10-24 2015-03-04 无锡梵天信息技术股份有限公司 一种利用灯光索引号对像素进行光照着色的方法
CN104463943A (zh) * 2014-11-12 2015-03-25 山东地纬数码科技有限公司 一种面向可编程着色器的多光源加速方法
KR101744299B1 (ko) * 2015-11-30 2017-06-07 동서대학교 산학협력단 Rgb 라이팅 파이프라인에 의한 그래픽 영상 조명효과 구현방법
CN106846238A (zh) * 2017-03-01 2017-06-13 北京趣酷科技有限公司 一种Elf3D跨平台引擎系统
CN107274470A (zh) * 2017-06-15 2017-10-20 深圳市彬讯科技有限公司 一种基于实时离线渲染并行的多优先级队列调度方法
CN107424202A (zh) * 2017-05-16 2017-12-01 山东师范大学 基于pbrt的大规模三维群体表演动画并行渲染方法
CN109462926A (zh) * 2019-01-30 2019-03-12 深圳市彬讯科技有限公司 智能分配灯光的渲染方法、装置、设备及存储介质
CN111429561A (zh) * 2020-03-27 2020-07-17 辽宁向日葵教育科技有限公司 一种虚拟仿真渲染引擎
CN111970790A (zh) * 2020-08-25 2020-11-20 豪尔赛科技集团股份有限公司 一种具有天气交互功能的景观照明系统
CN114820904A (zh) * 2022-05-31 2022-07-29 北京优锘科技有限公司 支持光照的伪室内渲染方法、装置、介质和设备
CN114943795A (zh) * 2022-04-26 2022-08-26 网易（杭州）网络有限公司 模型的渲染方法、装置、电子设备及存储介质
CN115118880A (zh) * 2022-06-24 2022-09-27 中广建融合(北京)科技有限公司 一种基于沉浸式视频终端搭建的xr虚拟拍摄系统
CN115509764A (zh) * 2022-11-09 2022-12-23 湖南马栏山视频先进技术研究院有限公司 一种实时渲染的多gpu并行调度方法、装置及存储器
CN115526972A (zh) * 2022-09-28 2022-12-27 杭州群核信息技术有限公司 照明模拟中情景互动效果渲染方法和系统
CN115661327A (zh) * 2022-12-09 2023-01-31 北京盈建科软件股份有限公司 Bim平台图形引擎的分布式虚拟节点渲染方法及装置
US11574449B1 (en) * 2021-09-10 2023-02-07 Verizon Patent And Licensing Inc. Methods and systems for off-device image frame rendering in augmented reality applications
CN115761105A (zh) * 2022-11-29 2023-03-07 北京字跳网络技术有限公司 光照渲染方法、装置、电子设备及存储介质
CN115830202A (zh) * 2022-11-25 2023-03-21 北京邮电大学 一种三维模型渲染方法和装置
CN115908716A (zh) * 2022-12-12 2023-04-04 网易（杭州）网络有限公司 虚拟场景灯光渲染方法、装置、存储介质及电子设备
WO2023091325A1 (en) * 2021-11-19 2023-05-25 Disney Enterprises, Inc. Real-time non-photo-realistic rendering

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7750906B2 (en) * 2006-04-19 2010-07-06 Pixar Systems and methods for light pruning
KR100980449B1 (ko) * 2007-12-17 2010-09-07 한국전자통신연구원 병렬 전역조명 렌더링 방법 및 시스템
KR20110053166A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 3ｄ 오브젝트 렌더딩 방법 및 장치
US9224239B2 (en) * 2013-03-14 2015-12-29 Dreamworks Animation Llc Look-based selection for rendering a computer-generated animation
US10699364B2 (en) * 2017-07-12 2020-06-30 Citrix Systems, Inc. Graphical rendering using multiple graphics processors
US10403045B2 (en) * 2017-08-11 2019-09-03 Adobe Inc. Photorealistic augmented reality system
CN110288692B (zh) * 2019-05-17 2021-05-11 腾讯科技（深圳）有限公司 光照渲染方法和装置、存储介质及电子装置
US11049315B2 (en) * 2019-07-31 2021-06-29 Verizon Patent And Licensing Inc. Methods and devices for bifurcating graphics rendering between a media player device and a multi-access edge compute server

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009139999A (ja) * 2007-12-03 2009-06-25 Sammy Corp 画像作成装置及びプログラム
CN103268253A (zh) * 2012-02-24 2013-08-28 苏州蓝海彤翔系统科技有限公司 一种智能化的多尺度并行渲染作业调度管理方法
CN103456034A (zh) * 2013-08-28 2013-12-18 厦门雷霆互动网络有限公司 一种基于分布式烘培光照的场景编辑器及编辑方法
CN104008563A (zh) * 2014-06-07 2014-08-27 长春理工大学 利用虚拟点光源实现动画三维场景的全局光照绘制的方法
CN104392479A (zh) * 2014-10-24 2015-03-04 无锡梵天信息技术股份有限公司 一种利用灯光索引号对像素进行光照着色的方法
CN104463943A (zh) * 2014-11-12 2015-03-25 山东地纬数码科技有限公司 一种面向可编程着色器的多光源加速方法
KR101744299B1 (ko) * 2015-11-30 2017-06-07 동서대학교 산학협력단 Rgb 라이팅 파이프라인에 의한 그래픽 영상 조명효과 구현방법
CN106846238A (zh) * 2017-03-01 2017-06-13 北京趣酷科技有限公司 一种Elf3D跨平台引擎系统
CN107424202A (zh) * 2017-05-16 2017-12-01 山东师范大学 基于pbrt的大规模三维群体表演动画并行渲染方法
CN107274470A (zh) * 2017-06-15 2017-10-20 深圳市彬讯科技有限公司 一种基于实时离线渲染并行的多优先级队列调度方法
CN109462926A (zh) * 2019-01-30 2019-03-12 深圳市彬讯科技有限公司 智能分配灯光的渲染方法、装置、设备及存储介质
CN111429561A (zh) * 2020-03-27 2020-07-17 辽宁向日葵教育科技有限公司 一种虚拟仿真渲染引擎
CN111970790A (zh) * 2020-08-25 2020-11-20 豪尔赛科技集团股份有限公司 一种具有天气交互功能的景观照明系统
US11574449B1 (en) * 2021-09-10 2023-02-07 Verizon Patent And Licensing Inc. Methods and systems for off-device image frame rendering in augmented reality applications
WO2023091325A1 (en) * 2021-11-19 2023-05-25 Disney Enterprises, Inc. Real-time non-photo-realistic rendering
CN114943795A (zh) * 2022-04-26 2022-08-26 网易（杭州）网络有限公司 模型的渲染方法、装置、电子设备及存储介质
CN114820904A (zh) * 2022-05-31 2022-07-29 北京优锘科技有限公司 支持光照的伪室内渲染方法、装置、介质和设备
CN115118880A (zh) * 2022-06-24 2022-09-27 中广建融合(北京)科技有限公司 一种基于沉浸式视频终端搭建的xr虚拟拍摄系统
CN115526972A (zh) * 2022-09-28 2022-12-27 杭州群核信息技术有限公司 照明模拟中情景互动效果渲染方法和系统
CN115509764A (zh) * 2022-11-09 2022-12-23 湖南马栏山视频先进技术研究院有限公司 一种实时渲染的多gpu并行调度方法、装置及存储器
CN115830202A (zh) * 2022-11-25 2023-03-21 北京邮电大学 一种三维模型渲染方法和装置
CN115761105A (zh) * 2022-11-29 2023-03-07 北京字跳网络技术有限公司 光照渲染方法、装置、电子设备及存储介质
CN115661327A (zh) * 2022-12-09 2023-01-31 北京盈建科软件股份有限公司 Bim平台图形引擎的分布式虚拟节点渲染方法及装置
CN115908716A (zh) * 2022-12-12 2023-04-04 网易（杭州）网络有限公司 虚拟场景灯光渲染方法、装置、存储介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于LED背景墙的电影虚拟化制作关键技术研究;陈军等;《现代电影技术》;全文 *

Also Published As

Publication number Publication date
CN116347003A (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
US7598952B1 (en) Three-dimensional image compositing on a GPU utilizing multiple transformations
US20090021513A1 (en) Method of Customizing 3D Computer-Generated Scenes
CN102834849A (zh) 进行立体视图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序
US20100060652A1 (en) Graphics rendering system
WO2022048097A1 (zh) 一种基于多显卡的单帧画面实时渲染方法
US9799134B2 (en) Method and system for high-performance real-time adjustment of one or more elements in a playing video, interactive 360° content or image
US9224233B2 (en) Blending 3D model textures by image projection
US20210217225A1 (en) Arbitrary view generation
CN114401442B (zh) 视频直播及特效控制方法、装置、电子设备及存储介质
WO2023207452A1 (zh) 基于虚拟现实的视频生成方法、装置、设备及介质
WO2024087883A1 (zh) 视频画面渲染方法、装置、设备和介质
TW202141418A (zh) 處理拆分渲染中的遮蔽之方法及裝置
CN115496845A (zh) 图像渲染方法、装置、电子设备及存储介质
US8379037B1 (en) Multi-resolution texture aggregation
US20220084280A1 (en) Arbitrary view generation
CN117372602B (zh) 一种异构三维多对象融合渲染方法、设备及系统
US9704290B2 (en) Deep image identifiers
US8390623B1 (en) Proxy based approach for generation of level of detail
US20240020915A1 (en) Generative model for 3d face synthesis with hdri relighting
CN116347003B (zh) 一种虚拟灯光实时渲染方法及装置
US20230316626A1 (en) Image rendering method and apparatus, computer device, and computer-readable storage medium
Park et al. InstantXR: Instant XR environment on the web using hybrid rendering of cloud-based NeRF with 3d assets
US11823323B2 (en) Apparatus and method of generating an image signal
ZEHNER Landscape visualization in high resolution stereoscopic visualization environments
CN117493263A (zh) 多媒体资源的生成方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant