CN117422815A - 基于神经辐射场的逆向渲染方法及系统 - Google Patents

基于神经辐射场的逆向渲染方法及系统 Download PDF

Info

Publication number
CN117422815A
CN117422815A CN202311748879.3A CN202311748879A CN117422815A CN 117422815 A CN117422815 A CN 117422815A CN 202311748879 A CN202311748879 A CN 202311748879A CN 117422815 A CN117422815 A CN 117422815A
Authority
CN
China
Prior art keywords
information
scene
network
rendering
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311748879.3A
Other languages
English (en)
Inventor
方顺
崔铭
张志恒
冯星
乔磊
孙思远
汪成峰
王月
杨峰峰
刘昊卿
吕艳娜
胡梓楠
李荣华
丁晓彤
廖晨涵
林俊杰
赵炜阳
于飞
徐杰
张亚男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xuanguang Technology Co ltd
Original Assignee
Beijing Xuanguang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xuanguang Technology Co ltd filed Critical Beijing Xuanguang Technology Co ltd
Priority to CN202311748879.3A priority Critical patent/CN117422815A/zh
Publication of CN117422815A publication Critical patent/CN117422815A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Generation (AREA)

Abstract

本发明属于图像数据处理领域，具体涉及一种基于神经辐射场的逆向渲染方法及系统，旨在解决现有技术在场景的几何结构、外观和照明解耦时精度不足，不利于后续用户编辑场景的问题。本发明包括：在目标场景中通过图像采集设备和所述体渲染网络获取目标场景渲染图像，并记录图像采集设备信息；通过建模网络获得目标场景3D模型、场景3D模型中网格顶点的属性特征和采样点到网格的采样距离；通过逆向渲染网络获取目标场景的几何信息、材质信息、光照信息和场景RGB颜色，通过基于神经辐射场的逆向渲染解耦场景的几何结构、外观和照明。为后续用户编辑场景提供数据基础，提高后续场景编辑的精确度和逼真程度。

Description

基于神经辐射场的逆向渲染方法及系统
技术领域
本发明属于图像数据处理领域，具体涉及了一种基于神经辐射场的逆向渲染方法及系统。
背景技术
神经辐射场（NeRF）在场景重建和新视图合成方面显示出了有希望的结果。与传统的几何和外观表示（如纹理网格）相比，NeRF不需要精确的几何和纹理重建，并且可以产生逼真的渲染结果。然而，除了可视化之外，编辑也是计算机图形学中的一项重要任务。传统的三维建模应用程序允许用户通过修改面连接或顶点位置来编辑网格几何体，并通过从给定的视点绘制来编辑外观。照明条件也可以通过替换环境贴图来更改。但在传统的NeRF中，几何体由密度函数表示，该函数不能很好地反映真实几何体，其外观是材质和照明的纠缠，这增加了编辑的难度。
对于外观编辑，可以以隐含的方式从2D图像中分解几何体、材质和照明，以便可以独立编辑每个组件。最近有一些方法使用MLP（多层感知器）网络来预测BRDF（双向反射分布函数）材质和具有球面高斯函数的近似照明。但它们的几何形状仍然是隐式的，并且照明表示是平滑的，因此高频环境重新照明超出了它们的限制。为了更好地估计材质，有一些方法用预训练的BRDF解码器预测材质参数，并用低分辨率图像表示照明，这阻止了它表示高频照明。有些方法提出不明确分解BRDF材质，而是同时学习与视图相关和与视图无关的外观。尽管获得了高质量的重建结果，但这只能通过调整其颜色网络的输出来编辑场景，并且无法使几何体变形或重新照亮输入场景。
发明内容
为了解决现有技术中的上述问题，即现有技术在场景的几何结构、外观和照明解耦时精度不足，不利于后续用户编辑场景的问题。本发明提供了一种基于神经辐射场的逆向渲染方法，所述方法包括：
步骤S100，通过基于神经辐射场的逆向渲染网络获取目标场景的几何体信息、材质信息和光照信息；
所述基于神经辐射场的逆向渲染网络，包括体渲染网络、建模网络和逆向渲染网络；
所述体渲染网络，包括体渲染模块和位置编码模块；
所述建模网络，包括设置跳跃连接的建模多层感知机、网格算法单元；
所述逆向渲染网络，包括由采样距离输入端分别连入的并行的几何信息子网络、粗糙度子网络、镜面反射子网络和漫反射子网络；
步骤S110，在目标场景中通过图像采集设备和所述体渲染网络获取目标场景渲染图像，并记录图像采集设备信息；所述目标场景渲染图像，包括目标场景中图像采集设备的像素发射射线中每个采样点对屏幕像素点颜色的贡献值；
步骤S120，基于所述渲染图像，通过建模网络获得目标场景3D模型、场景3D模型中网格顶点的属性特征和采样点到网格的采样距离；其中，场景3D模型中网格顶点的属性特征包含几何信息、漫反射信息/>、镜面反射信息/>和粗糙度信息/>，用以估计采样点的几何信息/>、采样点的漫反射信息/>、采样点的镜面反射信息/>和采样点的粗糙度信息/>；
步骤S130，基于所述目标场景3D模型、目标场景3D模型中顶点的属性特征和计算属性特征的采样距离，通过逆向渲染网络获取目标场景的几何信息、材质信息、光照信息和场景RGB颜色。
在一些优选的实施方式中，所述步骤S110，具体包括：
步骤S111，通过体渲染模块计算目标场景中图像采集设备的像素发射射线中每个采样点对屏幕像素点颜色的贡献值；
步骤S112，通过位置编码模块对计算了贡献值的采样点进行位置编码，获得目标场景渲染图像。
本步骤通过将目标场景的3维实体的信息转化为2维的渲染图像，保留了目标场景中相机发出的射线中每个采样点的全面的信息，为后续的建模和分析提供了依据，并通过对所有采样点进行位置编码的方式提高了体渲染图像的锐利度和清晰度，更适用于高频信号的处理。
在一些优选的实施方式中，所述步骤S120，具体包括：
步骤S121，基于目标场景渲染图像，通过所述建模多层感知机估计各采样点对应的3D位置，获得场景三维重建信息；场景三维重建信息为采样点的有符号距离场信息；
步骤S122，基于所述三维重建信息，通过步进立方体算法重建三角网格模型，将所述三角网格模型作为目标场景3D模型；
步骤S123，基于目标场景3D模型，通过K最近邻算法获取场景3D模型中顶点的属性特征和计算属性特征的采样距离。
本步骤通过将体渲染图像进行3D重建，能够将此前由3D转化为2D的目标场景中的信息以3D模型呈现，构造的3D模型能够通过K最近邻算法分别获取几何信息、漫反射信息、镜面反射信息和粗糙度信息，使得后续可以通过多个多层感知机分别对几何信息、材质信息、光照信息和场景RGB颜色进行识别。
在一些优选的实施方式中，所述建模网络，具体包括：
所述建模多层感知机，具体包括：
所述建模多层感知机具有8层隐藏层，每层隐藏层256个节点，建模多层感知机的输入端与建模多层感知机的第4层隐藏层形成跳跃连接，每层隐藏层均采用软正号函数作为激活函数；所述软正号函数为Softplus函数；
将渲染图像和第4层隐藏层的输出共同作为隐藏层第5层的输入，隐藏层的第8层输出场景三维重建信息。
本发明通过设置跳跃连接的方式将浅层的体渲染图像直接送至多层感知机的深层隐藏层，解决了多层感知机训练效率低的问题，最终训练好的多层感知机的信息处理能力得到了提高。
在一些优选的实施方式中，所述所述K最近邻算法，具体包括：
；
其中表示聚类插值特征，所述聚类插值特征包括几何特征/>、漫反射特征/>、镜面反射特征/>和粗糙度特征/>中的1种，/>表示权重系数，/>表示为网格顶点数量，/>表示场景3D模型中网格顶点的属性特征中的1种，/>表示目标场景3D模型中的数据点；
，/>，/>，/>；
所述权重系数具体为：
；
表示最近邻点；
通过所述K最近邻算法，计算个邻近网格顶点距离的加权平均，获取采样点到网格的采样距离。
本步骤通过用K最近邻算法对目标场景3D模型中的采样点进行估计，能够将采样点中的几何信息、漫反射信息、镜面反射信息和粗糙度信息分别求出，以便通过不同的多层感知机分别对需要更进一步求取的信息进行估计。
在一些优选的实施方式中，所述逆向渲染网络具体包括：
所述几何信息子网络包括几何特征输入端、第一加和单元、第一编码单元和第一多层感知机单元；
所述粗糙度子网络包括第二加和单元、第二编码单元、第二多层感知机单元、第五加和单元、第五编码单元和第五多层感知机单元；
所述镜面反射子网络包括第三加和单元、第三编码单元、第三多层感知机单元和第一乘积单元；
所述漫反射子网络包括第四加和单元、第四编码单元、第四多层感知机、第六加和单元和第七加和单元；
所述第一编码单元、第二编码单元、第三编码单元、第四编码单元和第五编码单元均采用相同的设定位置编码方式；
其中，第一多层感知机的输出端和第二多层感知机的输出端分别连接第五加和单元的输入端；第五多层感知机单元的输出端和第三多层感知机的输出端分别连接至第一乘积单元的输入端；第一乘积单元的输出端和第六加和单元的输出端分别连接至第七加和单元的输入端。
本发明通过在逆向渲染网络中设置多个子网络分别对需要的信息进行求取，并且利用还原出的数据之间的关联性进行进一步的组合计算，获取了更为全面、精确的场景信息，为获取信息的具体实际应用如外观编辑、场景编辑提供了数据基础。
在一些优选的实施方式中，所述步骤S130，具体包括：
所述几何信息子网络表示为；
是生成有符号距离场信息的函数；
输出是目标场景3D模型中的数据点x的有符号距离场信息；
输入目标场景3D模型中的数据点x的几何信息和采样距离/>输入到第一加和单元，输出第一加和数据；
将第一加和数据输入第一编码单元，输出第一编码数据；
将第一编码数据通过第一多层感知机单元，输出目标场景的体密度、有符号距离场信息和几何法线/>，其中/>；/>，表示累计分布函数，/>表示概率密度函数，/>表示可训练的偏差参数，/>表示每个像素发射的射线，/>，/>是相机中心，t是步长，/>是相机方向；/>，/>是相机方向与向外的表面法线向量的夹角，/>表示射线与物体表面交点处的步长，/>表示关系函数，/>表示采样点；
将目标场景3D模型中的数据点x的粗糙度信息和采样距离/>输入至第二加和单元，输出第二加和数据；
将第二加和数据输入第二编码单元，输出第二编码数据；
将第二编码数据通过第二多层感知机单元，得到目标场景的粗糙度r；
将图像采集设备信息中的相机方向与所述粗糙度r和几何法线输入第五加和单元，输出第五加和数据；
将第五加和数据输入第五编码单元，输出第五编码数据；
将第五编码数据输入至第五多层感知机单元，输出目标场景光照颜色预测值，其中第五多层感知机单元的函数为/>；
将目标场景3D模型中的数据点x的镜面反射信息和采样距离/>输入至第三加和单元，输出第三加和数据；
将第三加和数据输入第三编码单元，输出第三编码数据；
将第三编码数据通过第三多层感知机单元，得到目标场景的镜面反射色调；
将所述镜面反射色调和光照颜色预测值/>输入至第一乘积单元，输出目标场景的镜面反射光照/>；其中第一乘积单元的函数为/>；
将所述漫反射信息和采样距离/>输入至第四加和单元，输出第四加和数据；
将第四加和数据输入第四编码单元，输出第四编码数据；
将第四编码数据通过第四多层感知机单元，得到目标场景的反照率a；
将所述反照率a和环境贴图输入第六加和单元，将环境探针图E的每个像素表示为一个点光源，通过漫反射颜色公式对所有点光源发出的光进行计算求和，输出目标场景的漫反射颜色/>；
将所述漫反射颜色和镜面反射光照/>输入第七加和单元，通过公式/>获得 RGB颜色c；
其中，，/>是镜面色调，/>通过/>网络来预测，/>是第二采样点x的粗糙度，/>，/>是法线方向，是相机方向，/>，/>是镜面反射子网络；点乘符号均表示点积；/>是第j条入射光，/>是/>的入射方向，/>表示入射光的入射方向，/>是第二采样点x的法线方向，/>由几何信息子网络/>的梯度求出。
本发明通过为每种需要的信息分别设立一个自网络，并在每个自网络中均引入了采样点到网格的距离进行计算，提高了最终获得的几何信息、材质信息、光照信息和场景RGB颜色的精度。
在一些优选的实施方式中，所述逆向渲染网络，其训练方法具体包括：
所述逆向渲染网络，其训练方法具体包括：
步骤A100，获取训练场景数据；所述训练场景数据包括训练场景的相机角度、训练场景的属性特征信息、训练场景的几何信息、训练场景的材质信息、训练场景的光照信息和训练场景的场景RGB颜色；
步骤A200，基于训练场景数据，通过基于神经辐射场的逆向渲染网络获取训练场景的几何体信息估计值、训练场景的材质信息估计值和训练场景的光照信息估计值；
步骤A300，基于训练场景的几何体信息估计值、训练场景的材质信息估计值和训练场景的光照信息估计值与训练场景的几何信息、训练场景的材质信息、训练场景的光照信息和训练场景的场景RGB颜色计算损失函数值；
所述损失函数包括，损失函数，是几何损失函数，/>是采样点的有符号距离场损失函数，/>是平滑度损失函数值，/>是环境图的一致性损失函数值；
步骤A600，通过随机梯度下降算法，调整模型参数，重复步骤A200-A500的方法直至损失函数值低于预设的阈值，获得训练好的基于神经辐射场的逆向渲染网络。
本发明通过设置多个维度设置损失函数，确保了最终获得的信息的真实性、可靠性和合理性，对于后续在具体的应用场景中进行场景编辑提供了数据基础并提高了场景编辑的精度。
在一些优选的实施方式中，所述损失函数包括：
几何损失函数为：
；
其中是每个训练批次的相机射线集合，/>表示摄像机射线，/>表示相机射线对应像素的真实颜色，/>是整个基于神经辐射场的逆向渲染网络预测的累加值，/>是相机射线/>的第/>个采样点，/>表示有符号距离场网络/>在/>的梯度；/>是颜色损失，/>是正则化损失，/>是几何重建损失；
有符号距离场信息损失函数，其中/>是采样点的有符号距离场信息真实值，/>是/>网络的预测值；
平滑度损失函数，其中/>表示第/>个顶点的邻接顶点的索引；
一致性损失函数，当反射方向与相机方向相同，即/>，视为法线方向与反射方向和相机方向相同，即/>；此时/>，/>网络的输出就视为环境图；定义/>，其中/>是环境图/>的像素数，/>是粗糙度，/>是从相机原点到环境图/>第/>个像素位置的单位向量；
本发明设置的损失函数中，几何损失又进一步包括颜色损失、正则化损失和几何重建损失，对获取的模型的信息的精度进行了优化，同时还通过有符号距离场信息损失可以有效的逼近物体表面，又通过平滑度损失惩罚相邻顶点几何特征的差异，并通过一致性损失确保环境图与镜面反射子网络产生的镜面反射光一致，从多个维度考虑了场景模型的各种情况进行优化，最终提高了模型的逼真程度、可靠性和精确性。
本发明的另一方面，提出了一种基于神经辐射场的逆向渲染系统，具体包括：
体渲染子模块、建模子模块和逆向渲染子模块；
通过基于神经辐射场的逆向渲染网络获取目标场景的几何体信息、材质信息和光照信息；
所述基于神经辐射场的逆向渲染网络，包括体渲染网络、建模网络和逆向渲染网络；
所述体渲染网络，包括体渲染模块和位置编码模块；
所述建模网络，包括设置跳跃连接的建模多层感知机、网格算法单元；
所述逆向渲染网络，包括由采样距离输入端分别连入的并行的几何信息子网络、粗糙度子网络、镜面反射子网络和漫反射子网络；
所述体渲染子模块，配置为在目标场景中通过图像采集设备和所述体渲染网络获取目标场景渲染图像，并记录图像采集设备信息；所述目标场景渲染图像，包括目标场景中图像采集设备的像素发射射线中每个采样点对屏幕像素点颜色的贡献值；
所述建模子模块，配置为基于所述渲染图像，通过建模网络获得目标场景3D模型、场景3D模型中网格顶点的属性特征和采样点到网格的采样距离；其中，场景3D模型中网格顶点的属性特征包含几何信息、漫反射信息/>、镜面反射信息/>和粗糙度信息/>；
所述逆向渲染子模块，配置为基于所述目标场景3D模型、目标场景3D模型中顶点的属性特征和计算属性特征的采样距离，通过逆向渲染网络获取目标场景的几何信息、材质信息、光照信息和场景RGB颜色。
本发明的有益效果：
（1）本发明通过基于神经辐射场的逆向渲染解耦场景的几何结构、外观和照明，为后续用户编辑场景提供数据基础，提高后续场景编辑的精确度和逼真程度。
（2）本发明通过根据3D真实场景生成渲染图像，再根据渲染图像进行建模进而从建模中获取后续场景编辑所需的数据，实现了场景信息的全称自动化获取，仅需要在目标场景中架设相机即可自动的获取多种信息，可直接用于场景编辑，无需额外设置颜色网络进行调整。
（3）本发明利用粗糙度网络计算出的粗糙度、镜面反射色调对镜面反射光照进行计算，相较于现有技术中通过采集高分辨率的图像并输入到渲染方程中的方式，降低了计算资源，提高了计算效率且保留了需求的精度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于神经辐射场的逆向渲染方法的流程图；
图2是本发明实施例的基于神经辐射场的逆向渲染网络的结构示意图；
图3是本发明实施例的体渲染网络和建模网络的结构示意图；
图4是本发明实施例的逆向渲染网络结构示意图；
图5是本发明实施例的第二逆向渲染网络结构示意图；
图6是本发明实施例的第三逆向渲染网络结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了更清晰地对本发明基于神经辐射场的逆向渲染方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明第一实施例的一种基于神经辐射场的逆向渲染方法方法，各步骤详细描述如下：
步骤S100，通过基于神经辐射场的逆向渲染网络获取目标场景的几何体信息、材质信息和光照信息；
所述基于神经辐射场的逆向渲染网络，如图2所示，包括体渲染网络、建模网络和逆向渲染网络；
所述体渲染网络，包括体渲染模块和位置编码模块；
所述建模网络，包括设置跳跃连接的建模多层感知机、网格算法单元；
在本实施例中，所述建模多层感知机，具体包括：
所述建模多层感知机具有8层隐藏层，每层隐藏层256个节点，建模多层感知机的输入端与建模多层感知机的第4层隐藏层形成跳跃连接，每层隐藏层均采用软正号函数作为激活函数；
将渲染图像和第4层隐藏层的输出共同作为隐藏层第5层的输入，隐藏层的第8层输出场景三维重建信息。
所述逆向渲染网络，包括由采样距离输入端分别连入的并行的几何信息子网络、粗糙度子网络、镜面反射子网络和漫反射子网络；
在本实施例中，如图4所示，所述逆向渲染网络具体包括：
所述几何信息子网络包括几何特征输入端、第一加和单元、第一编码单元和第一多层感知机单元；
所述粗糙度子网络包括第二加和单元、第二编码单元、第二多层感知机单元、第五加和单元、第五编码单元和第五多层感知机单元；
所述镜面反射子网络包括第三加和单元、第三编码单元、第三多层感知机单元和第一乘积单元；
所述漫反射子网络包括第四加和单元、第四编码单元、第四多层感知机、第六加和单元和第七加和单元；
所述第一编码单元、第二编码单元、第三编码单元、第四编码单元和第五编码单元均采用相同的设定位置编码方式；
其中，第一多层感知机的输出端和第二多层感知机的输出端分别连接第五加和单元的输入端；第五多层感知机单元的输出端和第三多层感知机的输出端分别连接至第一乘积单元的输入端；第一乘积单元的输出端和第六加和单元的输出端分别连接至第七加和单元的输入端。
本发明步骤S110至步骤S120所用到的网络结构部分如图3所示。
步骤S110，在目标场景中通过图像采集设备和所述体渲染网络获取目标场景渲染图像，并记录图像采集设备信息；所述目标场景渲染图像，包括目标场景中图像采集设备的像素发射射线中每个采样点对屏幕像素点颜色的贡献值；
在本实施例中，所述步骤S110，具体包括：
步骤S111，通过体渲染模块计算目标场景中图像采集设备的像素发射射线中每个采样点对屏幕像素点颜色的贡献值；
在本实施例中，所述贡献值，其计算方法为：
设相机每个像素发射射线为：
；
其中，表示相机像素点位置即射线起点，/>表示观测方向，/>表示行进距离；
这条射线上某一粒子的颜色乘以其体密度和其累计透射率，就是这个粒子对屏幕像素点颜色的贡献值。
每条射线上所有粒子的贡献值之和，作为相机屏幕像素的颜色：
；
表示可通过少量采样点估算；
表示采样点个数，所有采样点的颜色贡献之和，就是屏幕像素颜色；颜表示当前色的贡献系数，其中/>为其体密度，/>表示相邻两个采样点的距离；/>表示累计透射率，相当于/>是贡献出去的，那就是不透明的，/>就是透射率，所以之前/>个点的所有透射率乘积，当前的累计透射率；
；
为连续的累计透射率/>的离散形式；/>表示第i个粒子的颜色，通过NeRF预估出来。
步骤S112，通过位置编码模块对计算了贡献值的采样点进行位置编码，获得目标场景渲染图像。
在本实施例中，所述位置编码模块，采用设定位置编码方式为：
；
其中sin表示sin编码方式，cos表示cos编码方式；sin编码方式和cos编码方式各有L个，位置编码输出的参数共有3*L*2个，3表示三维，2表示两种编码方式，若L取8，则位置编码输出的参数共有3*8*2=48个参数，p表示采样点。
在本实施例中，所述第一编码单元、第二编码单元、第三编码单元、第四编码单元和第五编码单元均也采用与位置编码模块相同的设定位置编码方式。
步骤S120，基于所述渲染图像，通过建模网络获得目标场景3D模型、场景3D模型中网格顶点的属性特征和采样点到网格的采样距离；其中，场景3D模型中网格顶点的属性特征包含几何信息、漫反射信息/>、镜面反射信息/>和粗糙度信息/>，用以估计采样点的几何信息/>、采样点的漫反射信息/>、采样点的镜面反射信息/>和采样点的粗糙度信息/>；
在本实施例中，所述步骤S120，具体包括：
步骤S121，基于目标场景渲染图像，通过所述建模多层感知机估计各采样点对应的3D位置，获得场景三维重建信息；场景三维重建信息为采样点的有符号距离场信息（SDF值）；
步骤S122，基于所述三维重建信息，通过步进立方体算法（Marching Cubes算法）重建三角网格模型（Mesh），将所述三角网格模型作为目标场景3D模型；
在本实施例中，在进行体渲染的阶段是计算了相机发出的射线穿过了3D物体或场景，射线上有采样点，在建模网络中通过网格顶点来估计采样点的属性特征；
步骤S123，基于目标场景3D模型，通过K最近邻算法获取场景3D模型中顶点的属性特征和计算属性特征的采样距离。
在本实施例中，所述K最近邻算法，具体包括：
；
其中表示聚类插值特征，所述聚类插值特征包括几何特征/>、漫反射特征/>、镜面反射特征/>和粗糙度特征/>中的1种，/>表示权重系数，/>表示为网格顶点数量，/>表示场景3D模型中网格顶点的属性特征中的1种，/>表示目标场景3D模型中的数据点；
，/>，/>，/>；
所述权重系数具体为：
；
表示最近邻点；
通过所述K最近邻算法，计算个邻近网格顶点距离的加权平均，获取采样点到网格的采样距离。
步骤S130，基于所述目标场景3D模型、目标场景3D模型中顶点的属性特征和计算属性特征的采样距离，通过逆向渲染网络获取目标场景的几何信息、材质信息、光照信息和场景RGB颜色。
在本实施例中，逆向渲染网络输出的参数包括，几何信息：有符号距离场信息和体密度；材质信息：粗糙度、反照率/>、镜面反射色调/>；光照信息：漫反射颜色/>、镜面反射光照/>；RGB颜色；其中体密度和RGB颜色可用于之后的渲染。
网络顶点的几何信息和材质信息（即几何信息、粗糙度、镜面反射和漫反射），以及环境贴图，初始值均为随机值，通过截断的正态分布进行初始化，并通过网络自己学习。
在本实施例中，所述步骤S130，具体包括：
所述几何信息子网络表示为；
是生成有符号距离场信息的函数；
输出是目标场景3D模型中的数据点/>的有符号距离场信息；
输入目标场景3D模型中的数据点的几何信息/>和采样距离/>输入到第一加和单元，输出第一加和数据；
将第一加和数据输入第一编码单元，输出第一编码数据；
将第一编码数据通过第一多层感知机单元，输出目标场景的体密度、有符号距离场信息和几何法线/>，其中/>；/>，/>表示累计分布函数，/>表示概率密度函数，/>表示可训练的偏差参数，/>表示每个像素发射的射线，/>，/>是相机中心，/>是步长，/>是相机方向；/>，/>是相机方向与向外的表面法线向量的夹角，/>表示射线与物体表面交点处的步长，/>表示关系函数，/>表示采样点；
将目标场景3D模型中的数据点x的粗糙度信息和采样距离/>输入至第二加和单元，输出第二加和数据；
将第二加和数据输入第二编码单元，输出第二编码数据；
将第二编码数据通过第二多层感知机单元，得到目标场景的粗糙度r；
将图像采集设备信息中的相机方向与所述粗糙度和几何法线/>输入第五加和单元，输出第五加和数据；
将第五加和数据输入第五编码单元，输出第五编码数据；
将第五编码数据输入至第五多层感知机单元，输出目标场景光照颜色预测值，其中第五多层感知机单元的函数为/>；
将目标场景3D模型中的数据点x的镜面反射信息和采样距离/>输入至第三加和单元，输出第三加和数据；
将第三加和数据输入第三编码单元，输出第三编码数据；
将第三编码数据通过第三多层感知机单元，得到目标场景的镜面反射色调；
将所述镜面反射色调和光照颜色预测值/>输入至第一乘积单元，输出目标场景的镜面反射光照/>；其中第一乘积单元的函数为/>；本实施例中，镜面反射光包含高频细节，如果使用高分辨率环境图，并将材质参数输入到渲染方程中，虽然也能得到镜面反射光，但对计算资源的消耗及成本过高，需要大量计算，因此采用第一乘积单元的方式进行计算。
将所述漫反射信息和采样距离/>输入至第四加和单元，输出第四加和数据；
将第四加和数据输入第四编码单元，输出第四编码数据；
将第四编码数据通过第四多层感知机单元，得到目标场景的反照率a；
将所述反照率a和环境贴图输入第六加和单元，将环境探针图E的每个像素表示为一个点光源，通过漫反射颜色公式对所有点光源发出的光进行计算求和，输出目标场景的漫反射颜色/>；
将所述漫反射颜色和镜面反射光照/>输入第七加和单元，通过公式/>获得 RGB颜色/>；
其中，，/>是镜面色调，/>通过/>网络来预测，/>是第二采样点x的粗糙度，/>，/>是法线方向，是相机方向，/>，/>是镜面反射子网络；点乘符号均表示点积；/>是第j条入射光，/>是/>的入射方向，/>表示入射光的入射方向，/>是第二采样点x的法线方向，/>由几何信息子网络/>的梯度求出。
在本实施例中，环境探针图（Environment Probe Map）是一种用于3D渲染的图像数据，它用于描述场景中的环境光照和反射效果。环境探针图通常由一系列不同角度和位置的立方体贴图（Cube Map）组成，可以捕捉场景中各个方向的光照和反射信息；
在渲染过程中，环境探针图被用于计算场景中的间接光照和反射效果，从而模拟出真实的自然光照和反射效果。通过将环境探针图与场景中的几何体进行互动，可以获得更加逼真的光照和反射效果，增强场景的沉浸感和真实感；
环境探针图通常适用于室外场景的渲染，可以捕捉天空、建筑物、树木等环境物体的反射和照明效果。此外，环境探针图也可以用于室内场景的渲染，通过捕捉室内的环境物体和光源，可以获得更加逼真的室内光照和反射效果。
所述环境探针图E的获取方法通常有两种：一种为直接在3D建模软件中创造，另一种为从实际场景中采集；
在3D建模软件中创建环境探针图通常需要使用相关的插件或脚本。例如，在Blender中，可以使用“envmap”插件来创建环境探针图。在Maya中，可以使用“sky light”和“env map”来创建环境探针图；
另一种方法是使用专业的采集软件或工具，从实际场景中获取环境探针图。例如，可以使用Unreal Engine的“Skybox”功能来获取环境探针图。也可以使用专业的采集设备，如穹顶式全景采集设备，来获取实景环境探针图。
在本实施例中，所述逆向渲染网络，其训练方法具体包括：
步骤A100，获取训练场景数据；所述训练场景数据包括训练场景的相机角度、训练场景的属性特征信息、训练场景的几何信息、训练场景的材质信息、训练场景的光照信息和训练场景的场景RGB颜色；
步骤A200，基于训练场景数据，通过基于神经辐射场的逆向渲染网络获取训练场景的几何体信息估计值、训练场景的材质信息估计值和训练场景的光照信息估计值；
步骤A300，基于训练场景的几何体信息估计值、训练场景的材质信息估计值和训练场景的光照信息估计值与训练场景的几何信息、训练场景的材质信息、训练场景的光照信息和训练场景的场景RGB颜色计算损失函数值；
所述损失函数包括，损失函数，是几何损失函数，/>是采样点的有符号距离场损失函数，/>是平滑度损失函数值，/>是环境图的一致性损失函数值；
在本实施例中，所述损失函数包括：
几何损失函数为：/>
；
其中是每个训练批次的相机射线集合，/>表示摄像机射线，/>表示相机射线对应像素的真实颜色，/>是整个基于神经辐射场的逆向渲染网络预测的累加值，/>是相机射线/>的第/>个采样点，/>表示有符号距离场网络/>在/>的梯度；/>是颜色损失，/>是正则化损失，/>是几何重建损失；
有符号距离场信息损失函数，其中/>是采样点的有符号距离场信息真实值，/>是/>网络的预测值；
平滑度损失函数，其中/>表示第/>个顶点的邻接顶点的索引；
一致性损失函数，当反射方向与相机方向相同，即/>，视为法线方向与反射方向和相机方向相同，即/>；此时/>，/>网络的输出就视为环境图；定义/>，其中/>是环境图/>的像素数，/>是粗糙度，/>是从相机原点到环境图/>第/>个像素位置的单位向量；
步骤A600，通过随机梯度下降算法，调整模型参数，重复步骤A200-A500的方法直至损失函数值低于预设的阈值，获得训练好的基于神经辐射场的逆向渲染网络。
本发明的第二实施例，公开了一种采用第二逆向渲染网络实施基于神经辐射场的逆向渲染方法的步骤，具体为：
采用与第一实施例中的相同的体渲染网络、建模网络，且逆向渲染网络中的几何信息子网络和漫反射子网络与第一实施例相同，如图5所示；
将粗糙度子网络获得的粗糙度r与几何信息子网络获得的几何法线、镜面反射子网络获得的镜面反射色调/>和相机方向共同通过第五加和单元生成新的第五加和数据，通过对新的第五加和数据进行编码后再通过第五多层感知机获取镜面反射光；不再需要第一乘积单元；
本实施例通过将法线、相机方向、粗糙度和镜面反射色调都输入到多层感知机中，让神经网络自己预测镜面反射的颜色。
本发明的第三实施例，公开了一种采用第三逆向渲染网络实施基于神经辐射场的逆向渲染方法的步骤，具体为：
采用与第一实施例中的相同的体渲染网络、建模网络，且逆向渲染网络中的几何信息子网络和漫反射子网络与第一实施例相同，如图6所示；
将粗糙度子网络获得的粗糙度r与几何信息子网络获得的几何法线、镜面反射子网络获得的镜面反射色调/>、漫反射网络获得的漫反射颜色和相机方向共同通过第五加和单元生成另一新的第五加和数据，通过对另一新的第五加和单元数据进行编码后再通过第五多层感知机获取RGB颜色；不再需要第一乘积单元和第七加和单元；
本实施例采用的损失函数没有一致性损失，其余与第一实施例相同。
本发明的第四实施例，公开了一种基于神经辐射场的逆向渲染系统，所述系统包括：体渲染子模块、建模子模块和逆向渲染子模块；
通过基于神经辐射场的逆向渲染网络获取目标场景的几何体信息、材质信息和光照信息；
所述基于神经辐射场的逆向渲染网络，包括体渲染网络、建模网络和逆向渲染网络；
所述体渲染网络，包括体渲染模块和位置编码模块；
所述建模网络，包括设置跳跃连接的建模多层感知机、网格算法单元；
所述逆向渲染网络，包括由采样距离输入端分别连入的并行的几何信息子网络、粗糙度子网络、镜面反射子网络和漫反射子网络；
所述体渲染子模块，配置为在目标场景中通过图像采集设备和所述体渲染网络获取目标场景渲染图像，并记录图像采集设备信息；所述目标场景渲染图像，包括目标场景中图像采集设备的像素发射射线中每个采样点对屏幕像素点颜色的贡献值；
所述建模子模块，配置为基于所述渲染图像，通过建模网络获得目标场景3D模型、场景3D模型中网格顶点的属性特征和采样点到网格的采样距离；其中，场景3D模型中网格顶点的属性特征包含几何信息、漫反射信息/>、镜面反射信息/>和粗糙度信息/>；
所述逆向渲染子模块，配置为基于所述目标场景3D模型、目标场景3D模型中顶点的属性特征和计算属性特征的采样距离，通过逆向渲染网络获取目标场景的几何信息、材质信息、光照信息和场景RGB颜色。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的一种基于神经辐射场的逆向渲染系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于神经辐射场的逆向渲染方法，其特征在于，所述方法包括：
步骤S100，通过基于神经辐射场的逆向渲染网络获取目标场景的几何体信息、材质信息和光照信息；
所述基于神经辐射场的逆向渲染网络，包括体渲染网络、建模网络和逆向渲染网络；
所述体渲染网络，包括体渲染模块和位置编码模块；
所述建模网络，包括设置跳跃连接的建模多层感知机、网格算法单元；
所述逆向渲染网络，包括由采样距离输入端分别连入的并行的几何信息子网络、粗糙度子网络、镜面反射子网络和漫反射子网络；
步骤S110，在目标场景中通过图像采集设备和所述体渲染网络获取目标场景渲染图像，并记录图像采集设备信息；所述目标场景渲染图像，包括目标场景中图像采集设备的像素发射射线中每个采样点对屏幕像素点颜色的贡献值；
步骤S120，基于所述渲染图像，通过建模网络获得目标场景3D模型、场景3D模型中网格顶点的属性特征和采样点到网格的采样距离；其中，场景3D模型中网格顶点的属性特征包含几何信息 、漫反射信息/>、镜面反射信息/>和粗糙度信息/>，用以估计采样点的几何信息/>、采样点的漫反射信息/>、采样点的镜面反射信息/>和采样点的粗糙度信息；
步骤S130，基于所述目标场景3D模型、目标场景3D模型中顶点的属性特征和计算属性特征的采样距离，通过逆向渲染网络获取目标场景的几何信息、材质信息、光照信息和场景RGB颜色。
2.根据权利要求1所述的一种基于神经辐射场的逆向渲染方法，其特征在于，所述步骤S110，具体包括：
步骤S111，通过体渲染模块计算目标场景中图像采集设备的像素发射射线中每个采样点对屏幕像素点颜色的贡献值；
步骤S112，通过位置编码模块对计算了贡献值的采样点进行位置编码，获得目标场景渲染图像。
3.根据权利要求1所述的一种基于神经辐射场的逆向渲染方法，其特征在于，所述步骤S120，具体包括：
步骤S121，基于目标场景渲染图像，通过所述建模多层感知机估计各采样点对应的3D位置，获得场景三维重建信息；场景三维重建信息为采样点的有符号距离场信息；
步骤S122，基于所述三维重建信息，通过步进立方体算法重建三角网格模型，将所述三角网格模型作为目标场景3D模型；
步骤S123，基于目标场景3D模型，通过K最近邻算法获取场景3D模型中顶点的属性特征和计算属性特征的采样距离。
4.根据权利要求3所述的一种基于神经辐射场的逆向渲染方法，其特征在于，所述建模多层感知机，具体包括：
所述建模多层感知机具有8层隐藏层，每层隐藏层256个节点，建模多层感知机的输入端与建模多层感知机的第4层隐藏层形成跳跃连接，每层隐藏层均采用软正号函数作为激活函数；
将渲染图像和第4层隐藏层的输出共同作为隐藏层第5层的输入，隐藏层的第8层输出场景三维重建信息。
5.根据权利要求3所述的一种基于神经辐射场的逆向渲染方法，其特征在于，所述K最近邻算法，具体包括：
；
其中表示聚类插值特征，所述聚类插值特征包括几何特征/>、漫反射特征/>、镜面反射特征/>和粗糙度特征/>中的1种，/>表示权重系数，/>表示为网格顶点数量，/>表示场景3D模型中网格顶点的属性特征中的1种，/>表示目标场景3D模型中的数据点；
，/>，/>，/>；
所述权重系数具体为：
；
表示最近邻点；
通过所述K最近邻算法，计算个邻近网格顶点距离的加权平均，获取采样点到网格的采样距离。
6.根据权利要求1所述的一种基于神经辐射场的逆向渲染方法，其特征在于，所述逆向渲染网络具体包括：
所述几何信息子网络包括几何特征输入端、第一加和单元、第一编码单元和第一多层感知机单元；
所述粗糙度子网络包括第二加和单元、第二编码单元、第二多层感知机单元、第五加和单元、第五编码单元和第五多层感知机单元；
所述镜面反射子网络包括第三加和单元、第三编码单元、第三多层感知机单元和第一乘积单元；
所述漫反射子网络包括第四加和单元、第四编码单元、第四多层感知机、第六加和单元和第七加和单元；
所述第一编码单元、第二编码单元、第三编码单元、第四编码单元和第五编码单元均采用相同的设定位置编码方式；
其中，第一多层感知机的输出端和第二多层感知机的输出端分别连接第五加和单元的输入端；第五多层感知机单元的输出端和第三多层感知机的输出端分别连接至第一乘积单元的输入端；第一乘积单元的输出端和第六加和单元的输出端分别连接至第七加和单元的输入端。
7.根据权利要求6所述的一种基于神经辐射场的逆向渲染方法，其特征在于，所述步骤S130，具体包括：
所述几何信息子网络表示为；
是生成有符号距离场信息的函数；
输出是目标场景3D模型中的数据点/>的有符号距离场信息；
输入目标场景3D模型中的数据点的几何信息/>和采样距离/>输入到第一加和单元，输出第一加和数据；
将第一加和数据输入第一编码单元，输出第一编码数据；
将第一编码数据通过第一多层感知机单元，输出目标场景的体密度、有符号距离场信息和几何法线/>，其中/>；/>，表示累计分布函数，/>表示概率密度函数，/>表示可训练的偏差参数，/>表示每个像素发射的射线，/>，/>是相机中心，/>是步长，/>是相机方向；/>，/>是相机方向与向外的表面法线向量的夹角，/>表示射线与物体表面交点处的步长，/>表示关系函数，/>表示采样点；
将目标场景3D模型中的数据点x的粗糙度信息和采样距离/>输入至第二加和单元，输出第二加和数据；
将第二加和数据输入第二编码单元，输出第二编码数据；
将第二编码数据通过第二多层感知机单元，得到目标场景的粗糙度；
将图像采集设备信息中的相机方向与所述粗糙度和几何法线/> 输入第五加和单元，输出第五加和数据；
将第五加和数据输入第五编码单元，输出第五编码数据；
将第五编码数据输入至第五多层感知机单元，输出目标场景光照颜色预测值，其中第五多层感知机单元的函数为/>；
将目标场景3D模型中的数据点x的镜面反射信息和采样距离/>输入至第三加和单元，输出第三加和数据；
将第三加和数据输入第三编码单元，输出第三编码数据；
将第三编码数据通过第三多层感知机单元，得到目标场景的镜面反射色调；
将所述镜面反射色调和光照颜色预测值/>输入至第一乘积单元，输出目标场景的镜面反射光照/>；其中第一乘积单元的函数为/>；
将所述漫反射信息和采样距离/>输入至第四加和单元，输出第四加和数据；
将第四加和数据输入第四编码单元，输出第四编码数据；
将第四编码数据通过第四多层感知机单元，得到目标场景的反照率a；
将所述反照率a和环境贴图输入第六加和单元，将环境探针图E的每个像素表示为一个点光源，通过漫反射颜色公式对所有点光源发出的光进行计算求和，输出目标场景的漫反射颜色/>；
将所述漫反射颜色和镜面反射光照/>输入第七加和单元，通过公式获得 RGB颜色/>；
其中，，/>是镜面色调，/>通过/>网络来预测，/>是第二采样点x的粗糙度，/>，/>是法线方向，/>是相机方向，/>，/>是镜面反射子网络；点乘符号均表示点积；/>是第j条入射光，是/>的入射方向，/>表示入射光的入射方向，/>是第二采样点x的法线方向，/>由几何信息子网络/>的梯度求出。
8.根据权利要求1所述的一种基于神经辐射场的逆向渲染方法，其特征在于，所述逆向渲染网络，其训练方法具体包括：
步骤A100，获取训练场景数据；所述训练场景数据包括训练场景的相机角度、训练场景的属性特征信息、训练场景的几何信息、训练场景的材质信息、训练场景的光照信息和训练场景的场景RGB颜色；
步骤A200，基于训练场景数据，通过基于神经辐射场的逆向渲染网络获取训练场景的几何体信息估计值、训练场景的材质信息估计值和训练场景的光照信息估计值；
步骤A300，基于训练场景的几何体信息估计值、训练场景的材质信息估计值和训练场景的光照信息估计值与训练场景的几何信息、训练场景的材质信息、训练场景的光照信息和训练场景的场景RGB颜色计算损失函数值；
所述损失函数包括，损失函数，/>是几何损失函数，/>是采样点的有符号距离场损失函数，/>是平滑度损失函数值，是环境图的一致性损失函数值；
步骤A600，通过随机梯度下降算法，调整模型参数，重复步骤A200-A500的方法直至损失函数值低于预设的阈值，获得训练好的基于神经辐射场的逆向渲染网络。
9.根据权利要求8所述的一种基于神经辐射场的逆向渲染方法，其特征在于，所述损失函数包括：
几何损失函数为：
；
其中是每个训练批次的相机射线集合，/>表示摄像机射线，/>表示相机射线对应像素的真实颜色，/>是整个基于神经辐射场的逆向渲染网络预测的累加值，/>是相机射线/>的第/>个采样点，/>表示有符号距离场网络/>在/>的梯度；/>是颜色损失，/>是正则化损失，/>是几何重建损失；
有符号距离场信息损失函数，其中/>是采样点的有符号距离场信息真实值，/>是/>网络的预测值；
平滑度损失函数，其中/>表示第/>个顶点的邻接顶点的索引；
一致性损失函数，当反射方向与相机方向相同，即/>，视为法线方向与反射方向和相机方向相同，即/>；此时/>，/>网络的输出就视为环境图；定义/>，其中/>是环境图/>的像素数，/>是粗糙度，/>是从相机原点到环境图/>第/>个像素位置的单位向量。
10.一种基于神经辐射场的逆向渲染系统，其特征在于，所述系统包括：体渲染子模块、建模子模块和逆向渲染子模块；
通过基于神经辐射场的逆向渲染网络获取目标场景的几何体信息、材质信息和光照信息；
所述基于神经辐射场的逆向渲染网络，包括体渲染网络、建模网络和逆向渲染网络；
所述体渲染网络，包括体渲染模块和位置编码模块；
所述建模网络，包括设置跳跃连接的建模多层感知机、网格算法单元；
所述逆向渲染网络，包括由采样距离输入端分别连入的并行的几何信息子网络、粗糙度子网络、镜面反射子网络和漫反射子网络；
所述体渲染子模块，配置为在目标场景中通过图像采集设备和所述体渲染网络获取目标场景渲染图像，并记录图像采集设备信息；所述目标场景渲染图像，包括目标场景中图像采集设备的像素发射射线中每个采样点对屏幕像素点颜色的贡献值；
所述建模子模块，配置为基于所述渲染图像，通过建模网络获得目标场景3D模型、场景3D模型中网格顶点的属性特征和采样点到网格的采样距离；其中，场景3D模型中网格顶点的属性特征包含几何信息、漫反射信息/>、镜面反射信息/>和粗糙度信息/>；
所述逆向渲染子模块，配置为基于所述目标场景3D模型、目标场景3D模型中顶点的属性特征和计算属性特征的采样距离，通过逆向渲染网络获取目标场景的几何信息、材质信息、光照信息和场景RGB颜色。
CN202311748879.3A 2023-12-19 2023-12-19 基于神经辐射场的逆向渲染方法及系统 Pending CN117422815A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311748879.3A CN117422815A (zh) 2023-12-19 2023-12-19 基于神经辐射场的逆向渲染方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311748879.3A CN117422815A (zh) 2023-12-19 2023-12-19 基于神经辐射场的逆向渲染方法及系统

Publications (1)

Publication Number Publication Date
CN117422815A true CN117422815A (zh) 2024-01-19

Family

ID=89527086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311748879.3A Pending CN117422815A (zh) 2023-12-19 2023-12-19 基于神经辐射场的逆向渲染方法及系统

Country Status (1)

Country Link
CN (1) CN117422815A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117745916A (zh) * 2024-02-19 2024-03-22 北京渲光科技有限公司 多张多类型模糊图像的三维渲染方法和系统
CN117745924A (zh) * 2024-02-19 2024-03-22 北京渲光科技有限公司 基于深度无偏估计的神经渲染方法、系统及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130113801A1 (en) * 2011-11-08 2013-05-09 Caustic Graphics, Inc. Profiling Ray Tracing Renderers
CN114972617A (zh) * 2022-06-22 2022-08-30 北京大学 一种基于可导渲染的场景光照与反射建模方法
CN116912391A (zh) * 2023-06-19 2023-10-20 清华大学 结合神经辐射场和可导路径跟踪的逆向渲染方法及装置
CN116958362A (zh) * 2023-02-27 2023-10-27 腾讯科技（深圳）有限公司 图像渲染方法、装置、设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130113801A1 (en) * 2011-11-08 2013-05-09 Caustic Graphics, Inc. Profiling Ray Tracing Renderers
CN114972617A (zh) * 2022-06-22 2022-08-30 北京大学 一种基于可导渲染的场景光照与反射建模方法
CN116958362A (zh) * 2023-02-27 2023-10-27 腾讯科技（深圳）有限公司 图像渲染方法、装置、设备和存储介质
CN116912391A (zh) * 2023-06-19 2023-10-20 清华大学 结合神经辐射场和可导路径跟踪的逆向渲染方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117745916A (zh) * 2024-02-19 2024-03-22 北京渲光科技有限公司 多张多类型模糊图像的三维渲染方法和系统
CN117745924A (zh) * 2024-02-19 2024-03-22 北京渲光科技有限公司 基于深度无偏估计的神经渲染方法、系统及设备
CN117745924B (zh) * 2024-02-19 2024-05-14 北京渲光科技有限公司 基于深度无偏估计的神经渲染方法、系统及设备
CN117745916B (zh) * 2024-02-19 2024-05-31 北京渲光科技有限公司 多张多类型模糊图像的三维渲染方法和系统

Similar Documents

Publication Publication Date Title
CN117422815A (zh) 基于神经辐射场的逆向渲染方法及系统
CN113538664B (zh) 车辆去光照三维重建方法、装置、电子设备和存储介质
CN111899328B (zh) 一种基于rgb数据与生成对抗网络的点云三维重建方法
Poullis et al. Photorealistic large-scale urban city model reconstruction
CN116993826A (zh) 一种基于局部空间聚合神经辐射场的场景新视图生成方法
CN115004193A (zh) 生成环境数据
Zhang et al. Fast learning radiance fields by shooting much fewer rays
CN116797742A (zh) 室内场景的三维重建方法及系统
CN116258816A (zh) 一种基于神经辐射场的遥感影像仿真方法
CN116485994A (zh) 基于神经隐式表达的场景逆向绘制方法和装置
Pirker et al. Fast and accurate environment modeling using three-dimensional occupancy grids
Yang et al. Reconstructing objects in-the-wild for realistic sensor simulation
CN117333637B (zh) 三维场景的建模及渲染方法、装置及设备
Sneha et al. A Neural Radiance Field-Based Architecture for Intelligent Multilayered View Synthesis
JP2023079022A (ja) 情報処理装置及び情報生成方法
CN117671126A (zh) 基于神经辐射场的空间变化室内场景光照估计方法
CN117173315A (zh) 基于神经辐射场的无界场景实时渲染方法、系统及设备
CN116894922A (zh) 一种基于实时图形引擎的夜视图像生成方法
CN116310228A (zh) 一种针对遥感场景的表面重建与新视图合成方法
CN115512077A (zh) 一种基于多层动态特征点云的隐式三维场景表征方法
Rhee et al. Estimating physically-based reflectance parameters from a single image with GAN-guided CNN
Dierenbach et al. Next-Best-View method based on consecutive evaluation of topological relations
Song et al. Virtually throwing benchmarks into the ocean for deep sea photogrammetry and image processing evaluation
Li et al. High-fidelity 3D Model Compression based on Key Spheres
RU2771442C1 (ru) Способ обработки изображений сверточными нейронными сетями

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination