CN117372602B - 一种异构三维多对象融合渲染方法、设备及系统 - Google Patents
一种异构三维多对象融合渲染方法、设备及系统 Download PDFInfo
- Publication number
- CN117372602B CN117372602B CN202311654456.5A CN202311654456A CN117372602B CN 117372602 B CN117372602 B CN 117372602B CN 202311654456 A CN202311654456 A CN 202311654456A CN 117372602 B CN117372602 B CN 117372602B
- Authority
- CN
- China
- Prior art keywords
- rendering
- scene
- radiation field
- dimensional
- engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 188
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000004927 fusion Effects 0.000 title claims abstract description 33
- 230000005855 radiation Effects 0.000 claims abstract description 110
- 210000005036 nerve Anatomy 0.000 claims abstract description 74
- 230000001537 neural effect Effects 0.000 claims abstract description 40
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 11
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 11
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 8
- 238000005516 engineering process Methods 0.000 claims abstract description 7
- 238000012512 characterization method Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 16
- 239000002131 composite material Substances 0.000 claims description 13
- 239000012092 media component Substances 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 4
- 238000012805 post-processing Methods 0.000 claims description 4
- 238000011282 treatment Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 3
- 230000000704 physical effect Effects 0.000 description 3
- 241000220225 Malus Species 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000000254 damaging effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
本发明公开了一种异构三维多对象融合渲染方法、设备及系统，属于计算机视觉和图形学技术领域，包括步骤：S1，神经辐射场重建：利用神经辐射场对三维场景或对象进行隐式表征，得到隐式表征模型和对应粗略的几何模型；S2，神经辐射场渲染：将隐式表征模型导入到神经辐射场渲染器中进行渲染，得到给定相机位姿下的新视角；S3，渲染：将粗略的几何模型导入到渲染引擎中，产生几何模型在渲染场景中的阴影；S4，多对象场景合成：将渲染引擎中渲染的图片和神经辐射场渲染出来的图片进行合成。本发明解决了目前多对象或场景三维融合渲染真实性、实时性效果差的问题，促进了神经渲染技术的落地。
Description
技术领域
本发明涉及计算机视觉和图形学技术领域，更为具体的，涉及一种异构三维多对象融合渲染方法、设备及系统。
背景技术
通过建模得到对象或场景的几何模型，可以在渲染引擎导入模型，从而制作各种酷炫的三维呈现的应用。然而，通过重建对象或场景得到的模型在渲染时，要么不具备足够高的逼真度，要么因模型需要众多的面片数而耗费巨大的计算资源和存储资源，从而影响了三维场景的逼真渲染。近年来，基于神经辐射场（Neural Radiance Field, NeRF）的三维场景和对象表征方法的研究在各种应用上取得了长足的进步，特别是其端到端的场景优化策略，可以足够逼真的渲染出三维对象和场景的细节。
然而，基于神经辐射场的这种隐式三维对象和场景表征方法，无法直接与传统的渲染引擎（例如UE，Unreal Engine）进行适配，从而限制了这一先进三维表征方法的应用。因此，如何将神经辐射场的真实性和传统渲染引擎的实时可操作性相结合成为一个亟需解决的问题。
发明内容
本发明的目的在于克服现有技术的不足，提供一种异构三维多对象融合渲染方法、设备及系统，解决了目前多对象或场景三维融合渲染真实性、实时性效果差的问题，促进了神经渲染技术的落地。
本发明的目的是通过以下方案实现的：
一种异构三维多对象融合渲染方法，包括以下步骤：
S1，神经辐射场重建：利用神经辐射场对三维场景或对象进行隐式表征，得到隐式表征模型和对应粗略的几何模型；
S2，神经辐射场渲染：将隐式表征模型导入到神经辐射场渲染器中进行渲染，得到给定相机位姿下的新视角，所述神经辐射场渲染器具体为利用神经辐射场重建的三维对象或场景得到的隐式表征模型，再通过基于体渲染的方式将该隐式表征模型进行渲染的模块；
S3，渲染：将粗略的几何模型导入到渲染引擎中，产生几何模型在渲染场景中的阴影；
S4，多对象场景合成：将渲染引擎中渲染的图片和神经辐射场渲染出来的图片进行合成。
进一步地，在步骤S1中，所述利用神经辐射场对三维场景或对象进行隐式表征，得到隐式表征模型和对应粗略的几何模型，包括子步骤：
针对统一真实三维对象或场景，在多个角度拍摄照片获取多视图；再通过优化神经辐射场的网络得到三维对象或场景的隐式表征模型；最后通过后处理算法，导出三维对象或场景的显式表征文件，即为粗略的几何模型，所述优化神经辐射场具体通过反向传播对表征三维对象或场景的神经网络进行优化实现。
进一步地，在步骤S2中，所述将隐式表征模型导入到神经辐射场渲染器中进行渲染，得到给定相机位姿下的新视角，包括子步骤：
根据步骤S1导出的三维对象或场景的显示表征文件在整个渲染引擎虚拟场景中的相对位姿，以及相机在渲染引擎虚拟场景中的位姿，计算神经辐射场渲染所需要的光线起始坐标和方向；再根据光线的起始坐标和方向，得到对应的图片和深度信息。
进一步地，在步骤S3中，所述将粗略的几何模型导入到渲染引擎中，产生几何模型在渲染场景中的阴影，包括子步骤：
设定渲染引擎中的场景和灯光；然后将神经辐射场产生的粗略几何模型导入到渲染引擎场景之中；然后使用渲染引擎的渲染方式生产几何模型在渲染引擎场景之中的阴影；最后隐藏神经辐射场产生的几何模型，所述渲染方式具体为光栅化渲染方式。
进一步地，在步骤S4中，所述将渲染引擎中渲染的图片和神经辐射场渲染出来的图片进行合成，包括子步骤：
S41，将步骤S2神经辐射场渲染中产生的三维对象或场景的新视角导入到渲染引擎场景之中；
S42，通过渲染引擎渲染出来的图片和深度信息，结合神经辐射场渲染得到的图片和深度信息进行合成；
S43，对渲染引擎渲染中的整体场景和三维对象或场景进行颜色调整和颜色空间转化。
进一步地，在步骤S41中，所述将步骤S2神经辐射场渲染中产生的三维对象或场景的新视角导入到渲染引擎场景之中，包括子步骤：
扩展渲染引擎的渲染系统，使得在步骤S2中渲染出的结果导入到渲染引擎的整体渲染进程；
扩展nDisplay，使nDisplay支持不同场景的渲染，使nDisplay进行神经辐射场重建数据信息、新视角机位的分布式转发；nDisplay为一种基于UE引擎的多屏投影技术插件；
扩展Composite，使Composite进行图像分层叠加，或高阶的光照和遮挡处理；Composite为一种基于UE引擎的多层叠加合成渲染插件；
建立管理模块ANeRFActor，完成如下功能：将原始图片数据转发给神经辐射场重建模块；再将渲染结果转发给渲染引擎或者nDisplay分发给子节点；且管理模块ANeRFActor包含媒体组件，通过媒体组件接受图像，将图像发送至神经辐射场重建模块重建隐式表征模型；最后通过nDisplay将表征模型数据分发，所述神经辐射场重建模块具体为利用神经辐射场对三维对象或场景进行重建的模块，所述表征模型数据具体为三维对象或场景的实际表征模型的数据。
进一步地，在步骤S42中，所述通过渲染引擎渲染出来的图片和深度信息，结合神经辐射场渲染得到的图片和深度信息进行合成，包括子步骤：
在合成时通过渲染引擎渲染出来的深度信息与神经辐射场渲染得到的深度信息进行比较，将距离较虚拟相机更近的点选择在视场前面；通过图像分层叠加合成为最终图像作为输出。
进一步地，所述渲染引擎包括UE引擎。
一种异构三维多对象融合渲染设备，包括处理器和存储器，所述存储器中存储有计算机程序，当所述计算机程序被所述处理器加载时并执行如上任一项所述的方法。
一种异构三维多对象融合渲染系统，包括如上所述的异构三维多对象融合渲染设备。
本发明的有益效果包括：
本发明通过采集真实三维对象或场景的多视图，使用神经辐射场对三维对象或场景进行隐式表征并得到粗略的几何模型，将隐式表征模型导入到神经辐射场渲染器进行渲染，通过扩展UE（Unreal Engine）的模块功能将模型导入UE，并使之可以产生与UE场景的合成、交互和编辑，从而实现多对象或场景的三维融合渲染。
本发明能够实现真实、实时地完成多对象或场景的三维融合渲染。
本发明实施例方案相比于使用传统渲染方式对多对象或场景实现三维融合渲染的改进点之一为使用神经辐射场渲染出更加逼真的三维对象和场景。
本发明实施例方案相比于其他基于神经辐射场的三维渲染方法的改进点之一为实现了神经辐射场产生的三维对象或场景的导出、合成、交互及编辑。
本发明通过将神经辐射场渲染出的隐式表征模型转化为显示表征模型，并结合UE对三维对象或场景进行组合编辑，实现了传统三维表征方法和基于神经辐射场的表征方法的融合渲染，从而解决了基于神经辐射场的隐式三维对象和场景表征方法无法直接与传统的渲染引擎进行适配的问题，提高了多对象或场景三维渲染的真实性、实时性，促进了神经渲染技术的落地。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中异构三维多对象融合渲染方法的流程示意图；
图2为本发明实施例中基于UE扩展功能的框架示意图； 其中，
UnrealPak为虚幻引擎将资源打包以实现游戏生成的引擎工具；
UnrealLightmass为虚幻引擎创建具有复杂光交互作用的光照图的引擎工具；
UnrealInsight为一款集成了虚幻引擎的分析系统，用于收集、分析和显示引擎发出的数据；
Nigara为一种用于创建高级视觉效果和粒子系统的图形编程语言和编辑器；
PixelStreaming为一项虚幻引擎的功能，它允许将虚幻引擎应用程序（通常是游戏或交互性应用程序）的图像和内容实时流式传输到网络上的终端设备；
nDisplay为一种基于Unreal Engine的多屏投影技术插件；
AJA为用于捕获外部视频信号并将其传输到计算机的硬件设备及其配套插件；
Composite为一种基于Unreal Engine的多层叠加合成渲染插件；
DirectX为一组由微软公司开发的多媒体和图形应用程序编程接口；
Vulkan为一种跨平台的图形和计算应用程序编程接口，提供图形渲染和计算能力；
OpenGL为一个跨平台的图形编程接口，用于开发2D和3D图形应用程序；
Havok为实现高质量的物理效果、动画、人工智能和破坏效果的技术集成工具集；
PhysX为用于模拟和呈现计算机游戏、模拟、虚拟现实和影视特效中的物理效果的物理引擎；
ODE为用于模拟和模拟物体的动态行为和物理效应的物理引擎；
Conductor为用于协调和管理多个计算任务或流程的组件；
Windows为由微软公司开发的个人电脑操作系统；
Linux为一种开源的操作系统内核，它被设计用来用于计算机系统，服务器，移动设备和嵌入式系统等各种计算设备；
OSX为苹果公司开发的针对苹果电脑的操作系统;
PS为索尼互动娱乐公司开发和制造的家用游戏机系列，此处指该家用游戏机系列所使用的操作系统；
XBox为微软公司开发和制造的家用游戏机品牌，此处指该家用游戏机所使用的操作系统；
iOS为苹果公司开发的移动操作系统，用于运行苹果的移动设备；
Android为谷歌公司开发的用于移动设备的移动操作系统；
图3为本发明实施例中扩展nDisplay的命令、数据分发示意图；
图4为本发明实施例中扩展Composite的多节点分层渲染示意图；
图5为本发明实施例中神经辐射场重建与ANeRFActor关系示意图；
图6为本发明实施例中神经辐射场渲染与ANeRFActor关系示意图。
具体实施方式
本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
如图1所示，一种异构三维多对象融合渲染方法，包括以下步骤：
S1，神经辐射场重建：利用神经辐射场对三维场景或对象进行隐式表征，得到隐式表征模型和对应粗略的几何模型。
S2，神经辐射场渲染：将隐式表征模型导入到神经辐射场渲染器中进行渲染，得到给定相机位姿下的新视角。
S3，UE渲染：将粗略的几何模型导入到UE（Unreal Engine）引擎中，产生几何模型在UE场景中的阴影。
S4，多对象场景合成：将UE中渲染的图片和神经辐射场渲染出来的图片进行合成。
在实际应用过程中，在步骤S1中，包括子步骤：针对统一真实三维对象或场景，在多个角度拍摄照片获取多视图；通过优化神经辐射场的网络得到三维对象或场景的隐式表征模型；通过后处理算法，导出三维对象或场景的显式表征文件。
在实际应用过程中，在步骤S2中，包括子步骤：根据步骤S1导出的三维对象或场景的显示表征文件在整个UE虚拟场景中的相对位姿，以及相机在UE虚拟场景中的位姿，计算神经辐射场渲染所需要的光线起始坐标和方向；根据光线的起始坐标和方向，得到对应的图片和深度信息。
在实际应用过程中，在步骤S3中，包括子步骤：设定UE渲染引擎中的场景、灯光及其他对象等；将神经辐射场产生的粗略几何模型导入到UE场景之中；使用UE的渲染方式生产几何模型在UE场景之中的阴影；隐藏神经辐射场产生的几何模型。
在实际应用过程中，在步骤S4中，包括子步骤：
S41，将步骤S2神经辐射场渲染中产生的三维对象或场景的新视角导入到UE场景之中；
S42，通过UE渲染出来的图片和深度信息，结合神经辐射场渲染得到的图片和深度信息进行合成；
S43，对UE渲染中的整体场景和三维对象或场景进行颜色调整、颜色空间转化，以及其他的图像特征修改。
在实际应用过程中，在步骤S41中，所述将步骤S2神经辐射场渲染中产生的三维对象或场景的新视角导入到UE场景之中，包括子步骤，如图2所示：
扩展UE的渲染系统，使得在步骤S2中渲染出的结果导入到UE的整体渲染进程；
扩展nDisplay，如图3所示，使nDisplay支持不同场景的渲染，使nDisplay可以进行神经辐射场重建数据信息、新视角机位等信息的分布式转发；
扩展Composite，如图4所示，使Composite可以进行图像分层叠加，或高阶的光照、遮挡等处理；
建立管理模块ANeRFActor，如图5、图6所示，完成如下功能：将原始图片数据转发给神经辐射场重建模块；将渲染结果转发给UE渲染引擎或者nDisplay分发给子节点；包含媒体组件，通过媒体组件接受图像，将图像发送至神经辐射场重建模块重建物体表征模型；当存在相同工程多节点时，通过nDisplay将表征模型数据分发。
在实际应用过程中，在步骤S42中，所述通过UE渲染出来的图片和深度信息，结合神经辐射场渲染得到的图片和深度信息进行合成，包括子步骤：在合成时通过UE渲染出来的深度信息与神经辐射场渲染得到的深度信息进行比较；将距离较虚拟相机更近的点选择在视场前面；通过图像分层叠加合成为最终图像作为输出。
在实际应用过程中，本发明还提供一种异构三维多对象融合渲染驱动设备，包括处理器和存储器，所述存储器中存储有计算机程序，当所述计算机程序被所述处理器加载时并执行如上任一项所述的方法。
在实际应用过程中，本发明还提供一种异构三维多对象融合渲染驱动系统，包括如上所述的一种异构三维多对象融合渲染驱动设备。
需要说明的是，在本发明权利要求书中所限定的保护范围内，以下实施例均可以从上述具体实施方式中，例如公开的技术原理，公开的技术特征或隐含公开的技术特征等，以合乎逻辑的任何方式进行组合和/或扩展、替换。
实施例1
一种异构三维多对象融合渲染方法，包括以下步骤：
S1，神经辐射场重建：利用神经辐射场对三维场景或对象进行隐式表征，得到隐式表征模型和对应粗略的几何模型；
S2，神经辐射场渲染：将隐式表征模型导入到神经辐射场渲染器中进行渲染，得到给定相机位姿下的新视角，所述神经辐射场渲染器具体为利用神经辐射场重建的三维对象或场景得到的隐式表征模型，再通过基于体渲染的方式将该隐式表征模型进行渲染的模块；
S3，渲染：将粗略的几何模型导入到渲染引擎中，产生几何模型在渲染场景中的阴影；
S4，多对象场景合成：将渲染引擎中渲染的图片和神经辐射场渲染出来的图片进行合成。
实施例2
在实施例1的基础上，在步骤S1中，所述利用神经辐射场对三维场景或对象进行隐式表征，得到隐式表征模型和对应粗略的几何模型，包括子步骤：
针对统一真实三维对象或场景，在多个角度拍摄照片获取多视图；再通过优化神经辐射场的网络得到三维对象或场景的隐式表征模型；最后通过后处理算法，导出三维对象或场景的显式表征文件，即为粗略的几何模型，所述优化神经辐射场具体通过反向传播对表征三维对象或场景的神经网络进行优化实现。
实施例3
在实施例2的基础上，在步骤S2中，所述将隐式表征模型导入到神经辐射场渲染器中进行渲染，得到给定相机位姿下的新视角，包括子步骤：
根据步骤S1导出的三维对象或场景的显示表征文件在整个渲染引擎虚拟场景中的相对位姿，以及相机在渲染引擎虚拟场景中的位姿，计算神经辐射场渲染所需要的光线起始坐标和方向；再根据光线的起始坐标和方向，得到对应的图片和深度信息。
实施例4
在实施例1的基础上，在步骤S3中，所述将粗略的几何模型导入到渲染引擎中，产生几何模型在渲染场景中的阴影，包括子步骤：
设定渲染引擎中的场景和灯光；然后将神经辐射场产生的粗略几何模型导入到渲染引擎场景之中；然后使用渲染引擎的渲染方式生产几何模型在渲染引擎场景之中的阴影；最后隐藏神经辐射场产生的几何模型，所述渲染方式具体为光栅化渲染方式。
实施例5
在实施例1的基础上，在步骤S4中，所述将渲染引擎中渲染的图片和神经辐射场渲染出来的图片进行合成，包括子步骤：
S41，将步骤S2神经辐射场渲染中产生的三维对象或场景的新视角导入到渲染引擎场景之中；
S42，通过渲染引擎渲染出来的图片和深度信息，结合神经辐射场渲染得到的图片和深度信息进行合成；
S43，对渲染引擎渲染中的整体场景和三维对象或场景进行颜色调整和颜色空间转化。
实施例6
在实施例5的基础上，在步骤S41中，所述将步骤S2神经辐射场渲染中产生的三维对象或场景的新视角导入到渲染引擎场景之中，包括子步骤：
扩展渲染引擎的渲染系统，使得在步骤S2中渲染出的结果导入到渲染引擎的整体渲染进程；
扩展nDisplay，使nDisplay支持不同场景的渲染，使nDisplay进行神经辐射场重建数据信息、新视角机位的分布式转发；nDisplay为一种基于UE引擎的多屏投影技术插件；
扩展Composite，使Composite进行图像分层叠加，或高阶的光照和遮挡处理；Composite为一种基于UE引擎的多层叠加合成渲染插件；
建立管理模块ANeRFActor，完成如下功能：将原始图片数据转发给神经辐射场重建模块；再将渲染结果转发给渲染引擎或者nDisplay分发给子节点；且管理模块ANeRFActor包含媒体组件，通过媒体组件接受图像，将图像发送至神经辐射场重建模块重建隐式表征模型；最后通过nDisplay将表征模型数据分发，所述神经辐射场重建模块具体为利用神经辐射场对三维对象或场景进行重建的模块，所述表征模型数据具体为三维对象或场景的实际表征模型的数据。
实施例7
在实施例5的基础上，在步骤S42中，所述通过渲染引擎渲染出来的图片和深度信息，结合神经辐射场渲染得到的图片和深度信息进行合成，包括子步骤：
在合成时通过渲染引擎渲染出来的深度信息与神经辐射场渲染得到的深度信息进行比较，将距离较虚拟相机更近的点选择在视场前面；通过图像分层叠加合成为最终图像作为输出。
实施例8
在实施例1的基础上，所述渲染引擎包括UE引擎。
实施例9
一种异构三维多对象融合渲染设备，包括处理器和存储器，所述存储器中存储有计算机程序，当所述计算机程序被所述处理器加载时并执行如实施例1~实施例8任一项所述的方法。
实施例10
一种异构三维多对象融合渲染系统，包括如实施例9所述的异构三维多对象融合渲染设备。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
根据本发明实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
作为另一方面，本发明实施例还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
Claims (8)
1.一种异构三维多对象融合渲染方法，其特征在于，包括以下步骤：
S1，神经辐射场重建：利用神经辐射场对三维场景或对象进行隐式表征，得到隐式表征模型和对应粗略的几何模型；
S2，神经辐射场渲染：将隐式表征模型导入到神经辐射场渲染器中进行渲染，得到给定相机位姿下的新视角，所述神经辐射场渲染器具体为利用神经辐射场重建的三维对象或场景得到的隐式表征模型，再通过基于体渲染的方式将该隐式表征模型进行渲染的模块；
S3，UE渲染：将粗略的几何模型导入到UE渲染引擎中，产生几何模型在UE渲染场景中的阴影；
S4，多对象场景合成：将渲染引擎中渲染的图片和神经辐射场渲染出来的图片进行合成；
在步骤S1中，所述利用神经辐射场对三维场景或对象进行隐式表征，得到隐式表征模型和对应粗略的几何模型，包括子步骤：
针对统一真实三维对象或场景，在多个角度拍摄照片获取多视图；再通过优化神经辐射场的网络得到三维对象或场景的隐式表征模型；最后通过后处理算法，导出三维对象或场景的显式表征文件作为粗略的几何模型，所述优化神经辐射场具体通过反向传播对表征三维对象或场景的神经网络进行优化实现；
在步骤S2中，所述将隐式表征模型导入到神经辐射场渲染器中进行渲染，得到给定相机位姿下的新视角，包括子步骤：
根据步骤S1导出的三维对象或场景的显示表征文件在整个渲染引擎虚拟场景中的相对位姿，以及相机在渲染引擎虚拟场景中的位姿，计算神经辐射场渲染所需要的光线起始坐标和方向；再根据光线的起始坐标和方向，得到对应的图片和深度信息。
2.根据权利要求1所述的异构三维多对象融合渲染方法，其特征在于，
在步骤S3中，所述将粗略的几何模型导入到渲染引擎中，产生几何模型在渲染场景中的阴影，包括子步骤：
设定渲染引擎中的场景和灯光；然后将神经辐射场产生的粗略几何模型导入到渲染引擎场景之中；然后使用渲染引擎的渲染方式生产几何模型在渲染引擎场景之中的阴影；最后隐藏神经辐射场产生的几何模型，所述渲染方式具体为光栅化渲染方式。
3.根据权利要求1所述的异构三维多对象融合渲染方法，其特征在于，在步骤S4中，所述将渲染引擎中渲染的图片和神经辐射场渲染出来的图片进行合成，包括子步骤：
S41，将步骤S2神经辐射场渲染中产生的三维对象或场景的新视角导入到渲染引擎场景之中；
S42，通过渲染引擎渲染出来的图片和深度信息，结合神经辐射场渲染得到的图片和深度信息进行合成；
S43，对渲染引擎渲染中的整体场景和三维对象或场景进行颜色调整和颜色空间转化。
4.根据权利要求3所述的异构三维多对象融合渲染方法，其特征在于，
在步骤S41中，所述将步骤S2神经辐射场渲染中产生的三维对象或场景的新视角导入到渲染引擎场景之中，包括子步骤：
扩展渲染引擎的渲染系统，使得在步骤S2中渲染出的结果导入到渲染引擎的整体渲染进程；
扩展nDisplay，使nDisplay支持不同场景的渲染，使nDisplay进行神经辐射场重建数据信息、新视角机位的分布式转发；nDisplay为一种基于UE引擎的多屏投影技术插件；
扩展Composite，使Composite进行图像分层叠加，或高阶的光照和遮挡处理；Composite为一种基于UE引擎的多层叠加合成渲染插件；
建立管理模块ANeRFActor，完成如下功能：将原始图片数据转发给神经辐射场重建模块；再将渲染结果转发给渲染引擎或者nDisplay分发给子节点；且管理模块ANeRFActor包含媒体组件，通过媒体组件接受图像，将图像发送至神经辐射场重建模块重建隐式表征模型；最后通过nDisplay将表征模型数据分发，所述神经辐射场重建模块具体为利用神经辐射场对三维对象或场景进行重建的模块，所述表征模型数据具体为三维对象或场景的实际表征模型的数据。
5.根据权利要求3所述的异构三维多对象融合渲染方法，其特征在于，在步骤S42中，所述通过渲染引擎渲染出来的图片和深度信息，结合神经辐射场渲染得到的图片和深度信息进行合成，包括子步骤：
在合成时通过渲染引擎渲染出来的深度信息与神经辐射场渲染得到的深度信息进行比较，将距离较虚拟相机更近的点选择在视场前面；通过图像分层叠加合成为最终图像作为输出。
6.根据权利要求1所述的异构三维多对象融合渲染方法，其特征在于，所述渲染引擎包括UE引擎。
7.一种异构三维多对象融合渲染设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，当所述计算机程序被所述处理器加载时并执行如权利要求1~6任一项所述的方法。
8.一种异构三维多对象融合渲染系统，其特征在于，包括如权利要求7所述的异构三维多对象融合渲染设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311654456.5A CN117372602B (zh) | 2023-12-05 | 2023-12-05 | 一种异构三维多对象融合渲染方法、设备及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311654456.5A CN117372602B (zh) | 2023-12-05 | 2023-12-05 | 一种异构三维多对象融合渲染方法、设备及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117372602A CN117372602A (zh) | 2024-01-09 |
| CN117372602B true CN117372602B (zh) | 2024-02-23 |
Family
ID=89406175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311654456.5A Active CN117372602B (zh) | 2023-12-05 | 2023-12-05 | 一种异构三维多对象融合渲染方法、设备及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117372602B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117911633B (zh) * | 2024-03-19 | 2024-05-31 | 成都索贝数码科技股份有限公司 | 一种基于虚幻引擎的神经辐射场渲染方法及框架 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114140510A (zh) * | 2021-12-03 | 2022-03-04 | 北京影谱科技股份有限公司 | 一种增量式三维重建方法、装置以及计算机设备 |
| CN115457188A (zh) * | 2022-09-19 | 2022-12-09 | 遥在(山东)数字科技有限公司 | 一种基于注视点的3d渲染显示方法及系统 |
| CN116012515A (zh) * | 2022-12-29 | 2023-04-25 | 华为技术有限公司 | 一种神经辐射场网络训练方法以及相关设备 |
| CN116051740A (zh) * | 2023-01-04 | 2023-05-02 | 华南理工大学 | 一种基于神经辐射场的室外无界场景三维重建方法及系统 |
| CN116071484A (zh) * | 2023-03-07 | 2023-05-05 | 清华大学 | 一种大场景稀疏光场十亿像素级智能重建方法及装置 |
| WO2023138471A1 (zh) * | 2022-01-24 | 2023-07-27 | 阿里巴巴（中国）有限公司 | 三维场景渲染方法、设备以及存储介质 |
| CN116597087A (zh) * | 2023-05-23 | 2023-08-15 | 中国电信股份有限公司北京研究院 | 三维模型生成方法及装置、存储介质及电子设备 |
| CN116630513A (zh) * | 2023-05-05 | 2023-08-22 | 清华大学 | 人体高质量渲染方法、装置、电子设备及存储介质 |
| CN116863053A (zh) * | 2023-07-13 | 2023-10-10 | 杭州电子科技大学 | 一种基于知识蒸馏的点云渲染增强方法 |
| WO2023201771A1 (zh) * | 2022-04-19 | 2023-10-26 | 清华大学 | 基于神经辐射场的计算全息场生成方法及装置 |
| CN116958453A (zh) * | 2023-09-20 | 2023-10-27 | 成都索贝数码科技股份有限公司 | 基于神经辐射场的三维模型重建方法、设备和介质 |
| CN117078839A (zh) * | 2022-05-05 | 2023-11-17 | 上海宽带技术及应用工程研究中心 | 基于神经辐射场的三维模型重建方法、系统和终端 |
-
2023
- 2023-12-05 CN CN202311654456.5A patent/CN117372602B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114140510A (zh) * | 2021-12-03 | 2022-03-04 | 北京影谱科技股份有限公司 | 一种增量式三维重建方法、装置以及计算机设备 |
| WO2023138471A1 (zh) * | 2022-01-24 | 2023-07-27 | 阿里巴巴（中国）有限公司 | 三维场景渲染方法、设备以及存储介质 |
| WO2023201771A1 (zh) * | 2022-04-19 | 2023-10-26 | 清华大学 | 基于神经辐射场的计算全息场生成方法及装置 |
| CN117078839A (zh) * | 2022-05-05 | 2023-11-17 | 上海宽带技术及应用工程研究中心 | 基于神经辐射场的三维模型重建方法、系统和终端 |
| CN115457188A (zh) * | 2022-09-19 | 2022-12-09 | 遥在(山东)数字科技有限公司 | 一种基于注视点的3d渲染显示方法及系统 |
| CN116012515A (zh) * | 2022-12-29 | 2023-04-25 | 华为技术有限公司 | 一种神经辐射场网络训练方法以及相关设备 |
| CN116051740A (zh) * | 2023-01-04 | 2023-05-02 | 华南理工大学 | 一种基于神经辐射场的室外无界场景三维重建方法及系统 |
| CN116071484A (zh) * | 2023-03-07 | 2023-05-05 | 清华大学 | 一种大场景稀疏光场十亿像素级智能重建方法及装置 |
| CN116630513A (zh) * | 2023-05-05 | 2023-08-22 | 清华大学 | 人体高质量渲染方法、装置、电子设备及存储介质 |
| CN116597087A (zh) * | 2023-05-23 | 2023-08-15 | 中国电信股份有限公司北京研究院 | 三维模型生成方法及装置、存储介质及电子设备 |
| CN116863053A (zh) * | 2023-07-13 | 2023-10-10 | 杭州电子科技大学 | 一种基于知识蒸馏的点云渲染增强方法 |
| CN116958453A (zh) * | 2023-09-20 | 2023-10-27 | 成都索贝数码科技股份有限公司 | 基于神经辐射场的三维模型重建方法、设备和介质 |
Non-Patent Citations (3)
| Title |
|---|
| A Neural Radiance Field-Based Architecture for Intelligent Multilayered View Synthesis;V. Sneha 等;2023 World Conference on Communication & Computing(WCONF);1-6 * |
| Unified Implicit Neural Stylization;Zhiwen Fan 等;European Conference on Computer Vision;636-654 * |
| 基于神经辐射场的光场角度域超分辨;苗源 等;光学学报;第43卷(第14期);93-102 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117372602A (zh) | 2024-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113436343B (zh) | 用于虚拟演播厅的画面生成方法及装置、介质及电子设备 | |
| CN102834849A (zh) | 进行立体视图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序 | |
| CN117372602B (zh) | 一种异构三维多对象融合渲染方法、设备及系统 | |
| US9588651B1 (en) | Multiple virtual environments | |
| Jiang et al. | Vr-gs: A physical dynamics-aware interactive gaussian splatting system in virtual reality | |
| WO2022103276A1 (en) | Method for processing image data to provide for soft shadow effects using shadow depth information | |
| WO2022075859A1 (en) | Facial model mapping with a neural network trained on varying levels of detail of facial scans | |
| US11443450B2 (en) | Analyzing screen coverage of a target object | |
| CN116958344A (zh) | 虚拟形象的动画生成方法、装置、计算机设备及存储介质 | |
| WO2007048197A1 (en) | Systems for providing a 3d image | |
| US11710270B2 (en) | Method for scattering points in a uniform arbitrary distribution across a target mesh for a computer animated creature | |
| CN113192173B (zh) | 三维场景的图像处理方法、装置及电子设备 | |
| US11393180B2 (en) | Applying non-destructive edits to nested instances for efficient rendering | |
| US20240009560A1 (en) | 3D Image Implementation | |
| US11501493B2 (en) | System for procedural generation of braid representations in a computer image generation system | |
| WO2024152678A1 (zh) | 人体深度图的生成方法、装置、电子设备、存储介质及计算机程序产品 | |
| US20210272378A1 (en) | Graphical User Interface for Creating Data Structures Used for Computing Simulated Surfaces for Animation Generation and Other Purpose | |
| JP2023110912A (ja) | ビデオ処理の方法、装置、電子デバイス及び記録媒体 | |
| Walia et al. | A framework for interactive 3D rendering on mobile devices | |
| KR20230013099A (ko) | 실시간 깊이 맵을 사용한 지오메트리 인식 증강 현실 효과 | |
| CN117058277A (zh) | 虚拟对象三维模型的生成方法、装置、介质与电子设备 | |
| EP4185948A1 (en) | Operating animation controls using evaluation logic | |
| CN117173291A (zh) | 动画制作方法、装置、设备、存储介质及计算机程序产品 | |
| CN116645461A (zh) | 虚拟三维模型的光线追踪调节方法、装置及存储介质 | |
| CN117197325A (zh) | 图像重渲染方法、装置、电子设备、存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |