CN117333609B - 图像渲染方法、网络的训练方法、设备及介质 - Google Patents

图像渲染方法、网络的训练方法、设备及介质 Download PDF

Info

Publication number
CN117333609B
CN117333609B CN202311633410.5A CN202311633410A CN117333609B CN 117333609 B CN117333609 B CN 117333609B CN 202311633410 A CN202311633410 A CN 202311633410A CN 117333609 B CN117333609 B CN 117333609B
Authority
CN
China
Prior art keywords
color
prediction
scattering medium
bulk density
predicted value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311633410.5A
Other languages
English (en)
Other versions
CN117333609A (zh
Inventor
方顺
冯星
张志恒
崔铭
张亚男
吕艳娜
蔡和伦
单仝
丁剑
杜茂风
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xuanguang Technology Co ltd
Original Assignee
Beijing Xuanguang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xuanguang Technology Co ltd filed Critical Beijing Xuanguang Technology Co ltd
Priority to CN202311633410.5A priority Critical patent/CN117333609B/zh
Publication of CN117333609A publication Critical patent/CN117333609A/zh
Application granted granted Critical
Publication of CN117333609B publication Critical patent/CN117333609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/55—Radiosity

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能技术领域，公开一种图像渲染方法、网络的训练方法、设备及介质。图像渲染方法包括：获取在具有散射介质的场景观测目标物体的目标观测位置和目标视角方向；利用神经辐射场网络，依据目标观测位置和目标视角方向，分别对目标物体和散射介质进行体素预测处理，得到目标物体和散射介质在三维空间中的体密度预测值和颜色预测值；利用散射体渲染公式，对体密度预测值和颜色预测值进行体渲染积分处理，得到目标物体和散射介质在三维空间中的颜色计算值；依据颜色计算值，渲染目标视角方向对应的输出图像。本申请实施例可以使新视角合成图与新的光照条件的场景图更符合真实场景，在新的光照条件下呈现的图像效果较好、真实感较强。

Description

图像渲染方法、网络的训练方法、设备及介质
技术领域
本申请涉及人工智能技术领域，尤其是一种图像渲染方法、网络的训练方法、设备及介质。
背景技术
新视角合成是指通过给定的一系列摄像头或者单个可以移动的摄像头拍摄出一个三维场景的一组图片，由这些图片来合成新的视点下这个三维场景的图片。新视角合成的发展省去了繁杂的三维(3 Dimensions，3D)建模过程，使得只需要给定多个视角的图像，就能渲染视角可任意移动的3D物体。
目前，神经辐射场(neural radiance field，NeRF)及其改进方法成为新视角合成方法的主流，NeRF技术通过优化观察图像的体积几何和外观能够达到渲染逼真新视图的效果。但以NeRF技术合成的多个视角的视图在改变光照条件后，合成的新视图与新的光照条件符合度差，在新的光照条件下呈现的图像效果和真实感差，新视图与新的光照场景的融合结果不够协调和自然。
也就是说，目前NeRF技术存在的限制导致现有技术中还难以同时解决视图的新视角合成以及重光照问题。
发明内容
本申请的目的是提供一种图像渲染方法、网络的训练方法、设备及介质，可以使新视角合成图与新的光照条件的场景图更符合真实场景，在新的光照条件下呈现的图像效果较好、真实感较强。
本申请实施例提供一种图像渲染方法，包括：
获取在具有散射介质的场景观测目标物体的目标观测位置和目标视角方向；
利用预设的神经辐射场网络，依据所述目标观测位置和所述目标视角方向，分别对所述目标物体和所述散射介质进行体素预测处理，得到所述目标物体和所述散射介质在三维空间中的体密度预测值和颜色预测值；
利用预设的散射体渲染公式，对所述体密度预测值和所述颜色预测值进行体渲染积分处理，得到所述目标物体和所述散射介质在三维空间中的颜色计算值；所述散射体渲染公式通过所述神经辐射场网络的体渲染公式对散射介质成像模型进行拟合推导得到，所述神经辐射场网络的体渲染公式通过对所述目标物体的体密度信息和颜色信息以及所述散射介质的体密度信息和颜色信息进行积分推导得到；
依据所述颜色计算值，渲染所述目标视角方向对应的输出图像。
在一些实施例中，所述神经辐射场网络包括编码模块、体密度预测模块和颜色预测模块；
所述利用预设的神经辐射场网络，依据所述目标观测位置和所述目标视角方向，分别对所述目标物体和所述散射介质进行体素预测处理，得到所述目标物体和所述散射介质在三维空间中的体密度预测值和颜色预测值，包括：
依据所述目标观测位置和所述目标视角方向，确定所述输出图像的成像平面，对所述目标观测位置与所述成像平面的像素点之间的射线进行位置采样处理，得到多个采样点；
利用所述编码模块，对所述采样点进行位置编码处理，得到位置特征向量；
利用所述体密度预测模块，对所述位置特征向量进行体密度预测处理，得到所述体密度预测值；
利用所述颜色预测模块，沿所述目标视角方向对所述体密度预测值和/或所述位置特征向量进行颜色预测处理，得到所述颜色预测值。
在一些实施例中，所述体密度预测模块包括第一预测层、第二预测层和第三预测层；
所述利用所述体密度预测模块，对所述位置特征向量进行体密度预测处理，得到所述体密度预测值，包括：
利用所述第一预测层，对所述位置特征向量进行体密度预测处理，得到所述散射介质对所述目标物体的体密度预测值；
利用所述第二预测层，对所述位置特征向量进行体密度预测处理，得到所述散射介质的体密度预测值；
利用所述第三预测层，对所述位置特征向量进行体密度预测处理，得到所述目标物体的体密度预测值；
或者是所述体密度预测模块包括第一预测层和第二预测层；
所述利用所述体密度预测模块，对所述位置特征向量进行体密度预测处理，得到所述体密度预测值，包括：
利用所述第一预测层，对所述位置特征向量进行体密度预测处理，得到所述散射介质对所述目标物体的体密度预测值；
利用所述第二预测层，对所述位置特征向量进行体密度预测处理，得到所述散射介质的体密度预测值。
在一些实施例中，所述颜色预测模块包括第四预测层和第五预测层；
所述利用所述颜色预测模块，沿所述目标视角方向对所述体密度预测值和/或所述位置特征向量进行颜色预测处理，得到所述颜色预测值，包括：
利用所述第四预测层，沿所述目标视角方向对所述目标物体的体密度预测值进行颜色预测处理，或者是沿所述目标视角方向对所述所述位置特征向量进行颜色预测处理，得到所述目标物体的颜色预测值；
利用所述第五预测层，沿所述目标视角方向对所述散射介质的体密度预测值进行颜色预测处理，得到所述散射介质的颜色预测值。
在一些实施例中，所述目标物体为不透明物体时，所述散射体渲染公式为：
，
，
，
其中，为目标观测位置与成像平面的像素点之间的射线，为目标物体在的第k个采样点的颜色计算值，为散射介质的体密度预测值，k为在上从相机到目标物体所需的采样步数，δ为采样步长，为目标物体在的第k个采样点的颜色预测值，为散射介质对目标物体的体密度预测值，为散射介质在的第i个采样点的颜色计算值，i为在上从相机到散射介质所需的采样步数，为的第i个采样点和第i+1个采样点之间的距离，为散射介质的颜色预测值，为对应的像素点的颜色计算值。
在一些实施例中，所述目标物体为半透明物体时，所述散射体渲染公式为：
，
，
，
其中，为目标观测位置与成像平面的像素点之间的射线，为目标物体在的第i个采样点的颜色计算值，为的第i个采样点，为在处之前的射线积累量，为散射介质对目标物体的体密度预测值，为目标物体在的第i个采样点的体密度预测值，为目标物体在的第i个采样点的颜色预测值，为散射介质在的第i个采样点的颜色计算值，为散射介质的体密度预测值，为目标物体在的第k个采样点的颜色预测值，为的第j个采样点和第j+1个采样点之间的距离，j∈[0,i-1]。
本申请实施例还提供一种神经辐射场网络的训练方法，包括：
获取多个样本图像及其对应的样本观测位置；所述多个样本图像在具有散射介质的场景中沿多个样本视角方向拍摄目标物体得到；
利用待训练的神经辐射场网络，依据所述样本观测位置和所述样本视角方向，分别对所述目标物体和所述散射介质进行体素预测处理，得到所述目标物体和所述散射介质在三维空间中的体密度样本预测值和颜色样本预测值；
利用预设的散射体渲染公式，对所述体密度样本预测值和所述颜色样本预测值进行体渲染积分处理，得到所述目标物体和所述散射介质在三维空间中的颜色样本计算值；所述散射体渲染公式通过所述神经辐射场网络的体渲染公式对散射介质成像模型进行拟合推导得到，所述神经辐射场网络的体渲染公式通过对所述目标物体的体密度信息和颜色信息以及所述散射介质的体密度信息和颜色信息进行积分推导得到；
依据所述颜色样本计算值，渲染所述样本视角方向对应的预测图像；
使用所述样本图像和所述预测图像对所述待训练的神经辐射场网络进行训练，得到训练后的神经辐射场网络。
在一些实施例中，所述使用所述样本图像和所述预测图像对所述待训练的神经辐射场网络进行训练，得到训练后的神经辐射场网络，包括：
基于所述样本图像与所述预测图像，确定模型损失信息；所述模型损失信息用于表征所述样本图像与所述预测图像之间像素点颜色的匹配程度；
基于所述模型损失信息调整所述待训练的神经辐射场网络的权重参数，在所述模型损失信息符合结束条件时，得到所述训练后的神经辐射场网络；
所述模型损失信息的计算公式为：
，
其中，L0为总损失信息，为重建损失信息，为预测图像的像素点的颜色计算值，C为样本图像的像素点的颜色真实值，为精确度损失信息，λ为精确度损失系数，为提议损失信息，为样本观测位置与预测图像的像素点之间的射线上的采样点，为提议损失权重；
所述重建损失信息的计算公式为：
，
其中，sg()为停止梯度函数，ε=10-3；
所述精确度损失信息的计算公式为：
，
，
其中，为目标物体在的第i个采样点的透射率，=0或1，P为模为0和1的两个拉普拉斯分布相加；
所述提议损失信息的计算公式为：
，
，
，
，
，
其中，wi为第i个采样点的射线权重，为提议多层感知机网络生成的射线距离，为提议多层感知机网络生成的射线权重，Ti为第i个采样点到第i+1个采样点的间距，T表示射线采样点的间距，为提议多层感知机网络生成的第j个采样点到第j+1个采样点之间的间距，为提议多层感知机网络生成的第j个采样点的射线权重，为[s´i,s´i+1]的权重，为的第i个采样点，为目标物体在的第i个采样点的体密度预测值，为的第i个采样点和第i+1个采样点之间的距离。
本申请实施例还提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
本申请的有益效果：确定目标观测位置和目标视角方向，使用神经辐射场网络分别对目标物体和散射介质进行体素预测，得到目标物体和散射介质在三维空间中的体密度预测值和颜色预测值，然后使用通过神经辐射场网络的体渲染公式对散射介质成像模型进行拟合推导得到的散射体渲染公式进行进一步的像素颜色预测，得到目标物体和散射介质在三维空间中的颜色计算值，使用计算得到的颜色计算值渲染目标视角方向对应的输出图像。由于使用神经辐射场网络分别对目标物体和散射介质进行体素预测，能够更好地处理散射介质，将散射介质和目标物体进行有效分离，避免了散射介质中包含物体细节的问题，能够更准确地重建介质和干净的场景，通过对目标物体的体密度信息和颜色信息以及散射介质的体密度信息和颜色信息进行积分推导得到神经辐射场网络的体渲染公式，并由神经辐射场网络的体渲染公式对散射介质成像模型进行拟合推导得到的散射体渲染公式对体密度预测值和颜色预测值进行体渲染积分处理，能够更好地分离散射介质和目标物体的特征，提高了重建的准确性，能够预测整个场景的多视角合成，能够渲染更真实的场景图像，使新视角合成图与新的光照条件的场景图更符合真实场景，在新的光照条件下呈现的图像效果较好、真实感较强。
附图说明
图1是本申请实施例提供的图像渲染方法的一个可选的流程图。
图2是本申请实施例提供的步骤S102的具体方法的流程图。
图3是本申请实施例提供的神经辐射场网络的训练方法的一个可选的流程图。
图4是本申请实施例提供的图像渲染装置的一个可选的结构示意图。
图5是本申请实施例提供的神经辐射场网络的训练装置的一个可选的结构示意图。
图6是本申请实施例提供的电子设备的硬件结构示意图。
图7是本申请本申请实施例提供的神经辐射场网络的第一个可选的结构示意图。
图8是本申请本申请实施例提供的神经辐射场网络的第二个可选的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的方案属于人工智能领域下属的计算机视觉技术(ComputerVision，CV)和机器学习(Machine Learning，ML)。
计算机视觉技术是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。在本申请中，即是将原始材质图像进行重新照明处理，渲染在动态照明下的重新照明图像。
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。在本申请中，具体的技术手段涉及机器学习中的卷积神经网络和残差网络等技术。
新视角合成是指通过给定的一系列摄像头或者单个可以移动的摄像头拍摄出一个三维场景的一组图片，由这些图片来合成新的视点下这个三维场景的图片。新视角合成的发展省去了繁杂的三维(3 Dimensions，3D)建模过程，使得只需要给定多个视角的图像，就能渲染视角可任意移动的3D物体。
在散射介质（比如雾或水）中拍摄的照片，与清澈空气中拍摄的照片有两点不同。第一，相机射线信号会在介质中衰减，相当于向外散射辐照度，衰减的量取决于射线传播的距离和其波长。第二，相机射线信号会被内散射遮挡，散射的噪音辐照度（少部分是相机射线向外散射的辐照度，绝大部分则是由其他外部光线散射造成的）也会反过来影响相机射线的信号（比如大雾会导致其中物体的颜色偏白，海水会导致其中物体的颜色偏蓝等等），反向散射层的颜色和强度与场景内容无关，随距离的增加而累积，导致远处物体的可见度和对比对降低，颜色失真。
相关技术中，新视角图像合成通常采用基于物理模型的方法，需要进行复杂的光传输方程求解或蒙特卡洛模拟，计算量大且耗时长，同时，传统方法对于散射介质的建模较为简化，通常假设介质只发生单次散射，无法准确模拟多次散射的效果，对于介质的吸收效应和波长依赖性的建模较为有限，无法准确模拟介质对光的吸收和散射的影响。一些基于深度学习的方法在处理散射介质时，往往只能分离出介质和物体的部分信息，无法准确分离出介质和物体的完整特征，需要多张图像进行配准和匹配，对于可见性较差的场景难以应用。总之，传统方法和现有方法在处理散射介质的渲染和重建问题时存在模型简化、计算复杂、准确性不足等方面的不足和缺点。
基于此，本申请实施例提供一种图像渲染方法、网络的训练方法、设备及介质，使用神经辐射场网络分别对目标物体和散射介质进行体素预测，然后使用通过神经辐射场网络的体渲染公式对散射介质成像模型进行拟合推导得到的散射体渲染公式进行进一步的像素颜色预测，可以使新视角合成图与新的光照条件的场景图更符合真实场景，在新的光照条件下呈现的图像效果较好、真实感较强。
请参阅图1，图1是本申请实施例提供的图像渲染方法的一个可选的流程图。在本申请的一些实施例中，图1中的方法具体可以包括但不限于步骤S101至步骤S104，下面结合图1对这四个步骤进行详细介绍。
步骤S101，获取在具有散射介质的场景观测目标物体的目标观测位置和目标视角方向。
步骤S102，利用预设的神经辐射场网络，依据目标观测位置和目标视角方向，分别对目标物体和散射介质进行体素预测处理，得到目标物体和散射介质在三维空间中的体密度预测值和颜色预测值。
步骤S103，利用预设的散射体渲染公式，对体密度预测值和颜色预测值进行体渲染积分处理，得到目标物体和散射介质在三维空间中的颜色计算值。
散射体渲染公式通过神经辐射场网络的体渲染公式对散射介质成像模型进行拟合推导得到，神经辐射场网络的体渲染公式通过对目标物体的体密度信息和颜色信息以及散射介质的体密度信息和颜色信息进行积分推导得到。
步骤S104，依据颜色计算值，渲染目标视角方向对应的输出图像。
可以理解的是，目标观测位置是需要渲染输出图像的观测点，可以理解为拍摄目标物体并得到输出图像的相机位置，目标视角方向是目标观测位置观测目标对象并渲染输出图像的视角方向，可以输入该目标观测位置对应的空间位置坐标信息以及对应的视角方向，以确定目标观测位置和目标视角方向。
可以理解的是，神经辐射场网络的体渲染公式包含目标物体项和散射介质项，通过对目标物体项和散射介质项进行求和积分计算，得到由神经辐射场网络的体渲染公式计算得到的输出图像所在成像平面各个像素点的颜色计算值，其中，目标物体项包含目标物体的体密度预测项和颜色预测项，分别对应目标物体的体密度信息和颜色信息，散射介质项包含散射介质的体密度预测项和颜色预测项，分别对应散射介质的体密度信息和颜色信息，散射介质成像模型为在环境光照下的散射介质中图像形成的通用模型，使用神经辐射场网络的体渲染公式对散射介质成像模型进行体渲染优化，转换为体渲染公式的形式进行表示，得到散射体渲染公式。
本实施例中，将目标观测位置和目标视角方向输入预设的神经辐射场网络，依据目标观测位置和目标视角方向确定输出图像的成像平面，然后利用神经辐射场网络对目标观测位置至成像平面上的像素点之间的射线进行位置信息采集，预测从目标观测位置沿目标视角方向的目标物体和散射介质的体密度和颜色，得到目标物体在三维空间中的体密度预测值和颜色预测值以及散射介质在三维空间中的体密度预测值和颜色预测值，然后将上述体密度预测值和颜色预测值输入至预设的散射体渲染公式，进行体渲染积分计算，得到目标物体在三维空间中的颜色计算值和散射介质在三维空间中的颜色计算值，将计算得到的颜色计算值沿目标视角方向进行叠加，得到输出图像所在成像平面各个像素点的颜色计算值，从而渲染目标视角方向对应的输出图像。
请参阅图2，图2是本申请实施例提供的步骤S102的具体方法的流程图。在本申请的一些实施例中，步骤S102具体可以包括但不限于步骤S201至步骤S204，下面结合图2对这四个步骤进行详细介绍。
神经辐射场网络包括编码模块、体密度预测模块和颜色预测模块。
步骤S201，依据目标观测位置和目标视角方向，确定输出图像的成像平面，对目标观测位置与成像平面的像素点之间的射线进行位置采样处理，得到多个采样点。
具体的，确定输出图像的成像平面之后，将目标观测位置和成像平面的像素点进行连线，以确定目标观测位置和成像平面的像素点之间形成的射线，对形成的射线进行位置采样处理，从而得到多个采样点。例如，成像平面可能是1024*1024分辨率的，每个像素和目标观测位置之间形成一条射线，那就是1024*1024条射线，而每条射线上有很多采样点，比如128个采样点，每个采样点都要输入到网络中，从而预测相应的参数。
更为具体的，可以是采用两阶段层次化体素采样方式对射线进行采样，第一次采用均匀采样，通过第一次采样得到射线所有采样点的体密度，体密度高的地方，必然是射线已经到达物体表面，因此在体密度高的采样点的附近，再次进行重要性采样，即增加采样点的数量。
步骤S202，利用编码模块，对采样点进行位置编码处理，得到位置特征向量。
具体的，对采样点进行位置编码处理，是将采样点在原来坐标系中的三维位置向量拓展为高维的位置特征向量。
本实施例中，编码模块由多层感知机构成，编码模块由8层隐藏层构成，每个隐藏层由256个通道构成，设置有一个跳跃连接，使采样点的三维位置向量与第三层隐藏层的输入位置向量相叠加。
步骤S203，利用体密度预测模块，对位置特征向量进行体密度预测处理，得到体密度预测值。
如图7所示，在一些实施例中，目标物体为半透明物体时，体密度预测模块包括第一预测层、第二预测层和第三预测层，步骤S203具体包括：利用第一预测层，对位置特征向量进行体密度预测处理，得到散射介质对目标物体的体密度预测值；利用第二预测层，对位置特征向量进行体密度预测处理，得到散射介质的体密度预测值；利用第三预测层，对位置特征向量进行体密度预测处理，得到目标物体的体密度预测值。
具体的，第一预测层、第二预测层和第三预测层预先学习每个场景中每个采样点的体密度，接受位置特征向量及目标视角方向作为输入，输出该位置特征向量在目标视角方向上所对应的体密度值，其中，第一预测层输出散射介质对目标物体的体密度预测值（表征散射介质对物体散射的影响），第二预测层输出散射介质的体密度预测值，第三预测层输出目标物体的体密度预测值。
如图8所示，在一些实施例中，目标物体为不透明物体时，体密度预测模块包括第一预测层和第二预测层，目标物体是不透明的，那么目标物体的表面的体密度为无穷大，而其他位置的体密度为0，因此不需要用一个神经网络去求目标物体的体密度。步骤S203具体包括：利用第一预测层，对位置特征向量进行体密度预测处理，得到散射介质对目标物体的体密度预测值；利用第二预测层，对位置特征向量进行体密度预测处理，得到散射介质的体密度预测值。
上述实施例中，第一预测层、第二预测层和第三预测层均由多层感知机构成，均由1层隐藏层，128个通道构成。
步骤S204，利用颜色预测模块，沿目标视角方向对体密度预测值和/或位置特征向量进行颜色预测处理，得到颜色预测值。
颜色预测模块包括第四预测层和第五预测层。
如图7所示，在一些实施例中，目标物体为半透明物体时，步骤S204具体包括：利用第四预测层，沿目标视角方向对目标物体的体密度预测值进行颜色预测处理；利用第五预测层，沿目标视角方向对散射介质的体密度预测值进行颜色预测处理，得到散射介质的颜色预测值。
如图8所示，在一些实施例中，目标物体为不透明物体时，步骤S204具体包括：利用第四预测层，沿目标视角方向对所述位置特征向量进行颜色预测处理，得到目标物体的颜色预测值；利用第五预测层，沿目标视角方向对散射介质的体密度预测值进行颜色预测处理，得到散射介质的颜色预测值。
具体的，第四预测层预先学习每个场景中每个目标物体的采样点的颜色，第五预测层预先学习每个场景中每个散射介质的采样点的颜色，第五预测层接受散射介质的体密度预测值及目标视角方向作为输入，输出在目标视角方向上散射介质的颜色预测值，目标物体为半透明物体时，第四预测层接受目标物体的体密度预测值及目标视角方向作为输入，输出在目标视角方向上目标物体的颜色预测值，目标物体为不透明物体时，第四预测层接受位置特征向量及目标视角方向作为输入，输出在目标视角方向上目标物体的颜色预测值。
可以理解的是，目标物体的颜色预测值和散射介质的颜色预测值是互斥的，即射线在散射介质中传递时，采样点的颜色预测值表示散射介质的颜色预测值，此时目标物体的颜色预测值为0，当射线到达目标物体表面时，采样点的颜色预测值表示目标物体的颜色预测值，此时散射介质的颜色预测值为0。
上述实施例中，第四预测层和第五预测层均由多层感知机构成，均由1层隐藏层，128个通道构成。
上述实施例中，先对目标视角方向进行编码处理，得到目标视角特征向量，再将目标视角特征向量输入至第四预测层或第五预测层。
上述实施例中，目标物体为不透明物体时，散射体渲染公式为：
，
，
，
其中，为目标观测位置与成像平面的像素点之间的射线，为目标物体在的第k个采样点的颜色计算值，为散射介质的体密度预测值，k为在上从相机到目标物体所需的采样步数，δ为采样步长，为目标物体在的第k个采样点的颜色预测值，为散射介质对目标物体的体密度预测值，为散射介质在的第i个采样点的颜色计算值，i为在上从相机到散射介质所需的采样步数，为的第i个采样点和第i+1个采样点之间的距离，为散射介质的颜色预测值，为对应的像素点的颜色计算值；
上述实施例中，目标物体为半透明物体时，散射体渲染公式为：
，
，
，
其中，为目标观测位置与成像平面的像素点之间的射线，为目标物体在的第i个采样点的颜色计算值，为的第i个采样点，为在处之前的射线积累量，为散射介质对目标物体的体密度预测值，为目标物体在的第i个采样点的体密度预测值，为目标物体在的第i个采样点的颜色预测值，为散射介质在的第i个采样点的颜色计算值，为散射介质的体密度预测值，为目标物体在的第k个采样点的颜色预测值，为的第j个采样点和第j+1个采样点之间的距离，j∈[0,i-1]。
下面具体说明通过神经辐射场网络的体渲染公式对散射介质成像模型进行拟合推导得到散射体渲染公式的过程。
在环境光照下的散射介质成像模型为：
，
其中，I为在散射介质中沿深度拍摄的线性图片（即线性叠加，由清晰图像*衰减系数+散射噪音的颜色），为在没有散射介质中沿深度z拍摄的清晰图片，B∞为无穷远处因反向散射导致的介质的颜色，βD和βB分别为射线衰减系数和反向散射系数，这两个系数描述了散射介质对拍摄图片的影响，VD表示βD对波长系数的依赖性，VB表示βB对波长系数的依赖性，比如距离、物体反射率、环境光光谱、相机光谱响应、散射介质的物理散射和光束衰减系数等与波长有关的参数。βB可以假设为常数（虽然有少部分受光线外散射的影响，但影响微乎其微），βD主要取决于距离物体的距离，少数受物体反射率影响，B∞通常可以认为是均匀一致的，但受到真实世界太阳方向和其他因素影响，它也不是真正均匀一致的。通常近似计算，可以假设βD=βB，从而使得未知数还有三个。
神经辐射场网络的体渲染公式包含目标物体项和散射介质项，具体为：
，
，
从连续到离散，从积分到累加，则离散情况下的神经辐射场网络的体渲染公式具体为：
，
，
从离散的神经辐射场网络的体渲染公式，可以拆分为物体和散射介质的公式，即离散的神经辐射场网络的体渲染公式可以表达为如下形式：
，
，
拆分后得到物体和散射介质的体渲染公式，具体为：
，
，
对上述物体和散射介质的体渲染公式进行简化，假设和为常数，因此和可以简化为和，即认为所有采样点的散射介质参数相同。其中，散射介质的体密度参数恒定，表示的是每条射线上的体密度是恒定的，但不同射线的体密度，可以不相同。这里散射介质的颜色参数也是恒定的，这是由于假设散射介质的相位函数是均匀的。
进一步简化，假设目标物体是不透明的，散射介质是半透明的，因此射线到目标物体表面后，>>，而在此之前>>。
由此，上述物体和散射介质的体渲染公式可以化简为如下形式：
，
，
，
使用简化后的物体和散射介质的体渲染公式对散射介质成像模型进行拟合推导，采用体渲染的方式对散射介质成像模型进行简化。
对目标观测位置与成像平面的像素点之间的射线在深度z处的区间Ik=[sk,sk+1]进行采样，当i＜k时，≈0，所以≈0，当i=k时，>>，所以>>，≈0，所以离散的神经辐射场网络的体渲染公式可以表示为以下形式：
，
假设目标物体是不透明的，所以的密度足够大（无限大），使得射线不能进一步穿透，所以区间Ik=[sk,sk+1]的透射率为0，即。
所以可以进一步将上述公式的目标物体项推导为：
，
，
，
，
其中，为在k处的采样点与目标观测位置的距离，sk=z=k·δ。
同理，可以进一步将上述公式的散射介质项推导为：
，
，
，
其中，si=i·δ，为等比数列，公比为，首项为1，根据等比求和计算，可以得到：
，
，
，
，
，
其中，z=k·δ，σmedia=βB=βD，cmedia是B∞，表示在没有散射介质中沿深度z拍摄的清晰图片。
由于散射介质的体密度对目标物体的颜色和散射介质的颜色的影响不同，采用σmeida object表示散射介质的体密度对目标物体的影响。
因此，目标物体为不透明物体时，散射体渲染公式为：
，
，
，
目标物体为半透明物体时，散射体渲染公式为：
，
，
。
请参阅图3，图3是本申请实施例提供的神经辐射场网络的训练方法的一个可选的流程图。在本申请的一些实施例中，图3中的方法具体可以包括但不限于步骤S301至步骤S305，下面结合图3对这五个步骤进行详细介绍。
步骤S301，获取多个样本图像及其对应的样本观测位置。
其中，多个样本图像在具有散射介质的场景中沿多个样本视角方向拍摄目标物体得到。
步骤S302，利用待训练的神经辐射场网络，依据样本观测位置和样本视角方向，分别对目标物体和散射介质进行体素预测处理，得到目标物体和散射介质在三维空间中的体密度样本预测值和颜色样本预测值。
步骤S303，利用预设的散射体渲染公式，对体密度样本预测值和颜色样本预测值进行体渲染积分处理，得到目标物体和散射介质在三维空间中的颜色样本计算值。
其中，散射体渲染公式通过神经辐射场网络的体渲染公式对散射介质成像模型进行拟合推导得到，神经辐射场网络的体渲染公式通过对目标物体的体密度信息和颜色信息以及散射介质的体密度信息和颜色信息进行积分推导得到。
步骤S304，依据颜色样本计算值，渲染样本视角方向对应的预测图像。
步骤S305，使用样本图像和预测图像对待训练的神经辐射场网络进行训练，得到训练后的神经辐射场网络。
在一些实施例中，上述步骤S305具体包括以下步骤：
基于样本图像与预测图像，确定模型损失信息。
其中，模型损失信息用于表征样本图像与预测图像之间像素点颜色的匹配程度。
基于模型损失信息调整待训练的神经辐射场网络的权重参数，在模型损失信息符合结束条件时，得到训练后的神经辐射场网络。
模型损失信息的计算公式为：
，
其中，L0为总损失信息，为重建损失信息，为预测图像的像素点的颜色计算值，C为样本图像的像素点的颜色真实值，为精确度损失信息，λ为精确度损失系数，为提议损失信息，为样本观测位置与预测图像的像素点之间的射线上的采样点，为提议损失权重；
在一些实施例中，λ=0.0001；
重建损失信息的计算公式为：
，
其中，sg()为停止梯度函数，ε=10-3；
精确度损失信息的计算公式为：
，
，
其中，为目标物体在的第i个采样点的透射率，=0或1，P为模为0和1的两个拉普拉斯分布相加；
提议损失信息的计算公式为：
，
，
，
，
，
其中，wi为第i个采样点的射线权重，为提议多层感知机网络生成的射线距离，为提议多层感知机网络生成的射线权重，Ti为第i个采样点到第i+1个采样点的间距，T表示射线采样点的间距，为提议多层感知机网络生成的第j个采样点到第j+1个采样点之间的间距，为提议多层感知机网络生成的第j个采样点的射线权重，为[s´i,s´i+1]的权重，为的第i个采样点，为目标物体在的第i个采样点的体密度预测值，为的第i个采样点和第i+1个采样点之间的距离。
请参阅图4，本申请实施例还提供一种图像渲染装置，可以实现上述图像渲染方法，该装置包括：
第一模块401，用于获取在具有散射介质的场景观测目标物体的目标观测位置和目标视角方向；
第二模块402，用于利用预设的神经辐射场网络，依据目标观测位置和目标视角方向，分别对目标物体和散射介质进行体素预测处理，得到目标物体和散射介质在三维空间中的体密度预测值和颜色预测值；
第三模块403，用于利用预设的散射体渲染公式，对体密度预测值和颜色预测值进行体渲染积分处理，得到目标物体和散射介质在三维空间中的颜色计算值；散射体渲染公式通过神经辐射场网络的体渲染公式对散射介质成像模型进行拟合推导得到，神经辐射场网络的体渲染公式通过对目标物体的体密度信息和颜色信息以及散射介质的体密度信息和颜色信息进行积分推导得到；
第四模块404，用于依据颜色计算值，渲染目标视角方向对应的输出图像。
该图像渲染装置的具体实施方式与上述图像渲染方法的具体实施例基本相同，在此不再赘述。
请参阅图5，本申请实施例还提供一种神经辐射场网络的训练装置，可以实现上述神经辐射场网络的训练方法，该装置包括：
第一训练模块501，用于获取多个样本图像及其对应的样本观测位置；多个样本图像在具有散射介质的场景中沿多个样本视角方向拍摄目标物体得到；
第二训练模块502，用于利用待训练的神经辐射场网络，依据样本观测位置和样本视角方向，分别对目标物体和散射介质进行体素预测处理，得到目标物体和散射介质在三维空间中的体密度样本预测值和颜色样本预测值；
第三训练模块503，用于利用预设的散射体渲染公式，对体密度样本预测值和颜色样本预测值进行体渲染积分处理，得到目标物体和散射介质在三维空间中的颜色样本计算值；散射体渲染公式通过神经辐射场网络的体渲染公式对散射介质成像模型进行拟合推导得到，神经辐射场网络的体渲染公式通过对目标物体的体密度信息和颜色信息以及散射介质的体密度信息和颜色信息进行积分推导得到；
第四训练模块504，用于依据颜色样本计算值，渲染样本视角方向对应的预测图像；
第五训练模块505，用于使用样本图像和预测图像对待训练的神经辐射场网络进行训练，得到训练后的神经辐射场网络。
该神经辐射场网络的训练装置的具体实施方式与上述神经辐射场网络的训练方法的具体实施例基本相同，在此不再赘述。
图6是根据一示例性实施例示出的一种电子设备的框图。
下面参照图6来描述根据本公开的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述图像渲染方法或神经辐射场网络的训练方法部分中描述的根据本公开各种示例性实施方式的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备600’(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述图像渲染方法或神经辐射场网络的训练方法。
本申请实施例提供的图像渲染方法、网络的训练方法、设备及介质，确定目标观测位置和目标视角方向，使用神经辐射场网络分别对目标物体和散射介质进行体素预测，得到目标物体和散射介质在三维空间中的体密度预测值和颜色预测值，然后使用通过神经辐射场网络的体渲染公式对散射介质成像模型进行拟合推导得到的散射体渲染公式进行进一步的像素颜色预测，得到目标物体和散射介质在三维空间中的颜色计算值，使用计算得到的颜色计算值渲染目标视角方向对应的输出图像。由于使用神经辐射场网络分别对目标物体和散射介质进行体素预测，能够更好地处理散射介质，将散射介质和目标物体进行有效分离，避免了散射介质中包含物体细节的问题，能够更准确地重建介质和干净的场景，通过对目标物体的体密度信息和颜色信息以及散射介质的体密度信息和颜色信息进行积分推导得到神经辐射场网络的体渲染公式，并由神经辐射场网络的体渲染公式对散射介质成像模型进行拟合推导得到的散射体渲染公式对体密度预测值和颜色预测值进行体渲染积分处理，能够更好地分离散射介质和目标物体的特征，提高了重建的准确性，能够预测整个场景的多视角合成，能够渲染更真实的场景图像，使新视角合成图与新的光照条件的场景图更符合真实场景，在新的光照条件下呈现的图像效果较好、真实感较强。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述方法。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施例的方法。
以上具体地示出和描述了本公开的示例性实施例。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (8)

1.一种图像渲染方法，其特征在于，包括：
获取在具有散射介质的场景观测目标物体的目标观测位置和目标视角方向；
利用预设的神经辐射场网络，依据所述目标观测位置和所述目标视角方向，分别对所述目标物体和所述散射介质进行体素预测处理，得到所述目标物体和所述散射介质在三维空间中的体密度预测值和颜色预测值；
利用预设的散射体渲染公式，对所述体密度预测值和所述颜色预测值进行体渲染积分处理，得到所述目标物体和所述散射介质在三维空间中的颜色计算值；所述散射体渲染公式通过所述神经辐射场网络的体渲染公式对散射介质成像模型进行拟合推导得到，所述神经辐射场网络的体渲染公式通过对所述目标物体的体密度信息和颜色信息以及所述散射介质的体密度信息和颜色信息进行积分推导得到；
依据所述颜色计算值，渲染所述目标视角方向对应的输出图像；
所述目标物体为不透明物体时，所述散射体渲染公式为：
，
，
，
其中，为目标观测位置与成像平面的像素点之间的射线，为目标物体在的第k个采样点的颜色计算值，为散射介质的体密度预测值，k为在上从相机到目标物体所需的采样步数，δ为采样步长，为目标物体在的第k个采样点的颜色预测值，为散射介质对目标物体的体密度预测值，为散射介质在的第i个采样点的颜色计算值，i为在上从相机到散射介质所需的采样步数，为的第i个采样点和第i+1个采样点之间的距离，为散射介质的颜色预测值，为对应的像素点的颜色计算值；
所述目标物体为半透明物体时，所述散射体渲染公式为：
，
，
，
其中，为目标物体在的第i个采样点的颜色计算值，为的第i个采样点，为在处之前的射线积累量，为目标物体在的第i个采样点的体密度预测值，为目标物体在的第i个采样点的颜色预测值，为目标物体在的第k个采样点的颜色预测值，为的第j个采样点和第j+1个采样点之间的距离，j∈[0,i-1]。
2.根据权利要求1所述的图像渲染方法，其特征在于，
所述神经辐射场网络包括编码模块、体密度预测模块和颜色预测模块；
所述利用预设的神经辐射场网络，依据所述目标观测位置和所述目标视角方向，分别对所述目标物体和所述散射介质进行体素预测处理，得到所述目标物体和所述散射介质在三维空间中的体密度预测值和颜色预测值，包括：
依据所述目标观测位置和所述目标视角方向，确定所述输出图像的成像平面，对所述目标观测位置与所述成像平面的像素点之间的射线进行位置采样处理，得到多个采样点；
利用所述编码模块，对所述采样点进行位置编码处理，得到位置特征向量；
利用所述体密度预测模块，对所述位置特征向量进行体密度预测处理，得到所述体密度预测值；
利用所述颜色预测模块，沿所述目标视角方向对所述体密度预测值和/或所述位置特征向量进行颜色预测处理，得到所述颜色预测值。
3.根据权利要求2所述的图像渲染方法，其特征在于，
所述体密度预测模块包括第一预测层、第二预测层和第三预测层；
所述利用所述体密度预测模块，对所述位置特征向量进行体密度预测处理，得到所述体密度预测值，包括：
利用所述第一预测层，对所述位置特征向量进行体密度预测处理，得到所述散射介质对所述目标物体的体密度预测值；
利用所述第二预测层，对所述位置特征向量进行体密度预测处理，得到所述散射介质的体密度预测值；
利用所述第三预测层，对所述位置特征向量进行体密度预测处理，得到所述目标物体的体密度预测值；
或者是所述体密度预测模块包括第一预测层和第二预测层；
所述利用所述体密度预测模块，对所述位置特征向量进行体密度预测处理，得到所述体密度预测值，包括：
利用所述第一预测层，对所述位置特征向量进行体密度预测处理，得到所述散射介质对所述目标物体的体密度预测值；
利用所述第二预测层，对所述位置特征向量进行体密度预测处理，得到所述散射介质的体密度预测值。
4.根据权利要求2所述的图像渲染方法，其特征在于，
所述颜色预测模块包括第四预测层和第五预测层；
所述利用所述颜色预测模块，沿所述目标视角方向对所述体密度预测值和/或所述位置特征向量进行颜色预测处理，得到所述颜色预测值，包括：
利用所述第四预测层，沿所述目标视角方向对所述目标物体的体密度预测值进行颜色预测处理，或者是沿所述目标视角方向对所述所述位置特征向量进行颜色预测处理，得到所述目标物体的颜色预测值；
利用所述第五预测层，沿所述目标视角方向对所述散射介质的体密度预测值进行颜色预测处理，得到所述散射介质的颜色预测值。
5.一种神经辐射场网络的训练方法，其特征在于，包括：
获取多个样本图像及其对应的样本观测位置；所述多个样本图像在具有散射介质的场景中沿多个样本视角方向拍摄目标物体得到；
利用待训练的神经辐射场网络，依据所述样本观测位置和所述样本视角方向，分别对所述目标物体和所述散射介质进行体素预测处理，得到所述目标物体和所述散射介质在三维空间中的体密度样本预测值和颜色样本预测值；
利用预设的散射体渲染公式，对所述体密度样本预测值和所述颜色样本预测值进行体渲染积分处理，得到所述目标物体和所述散射介质在三维空间中的颜色样本计算值；所述散射体渲染公式通过所述神经辐射场网络的体渲染公式对散射介质成像模型进行拟合推导得到，所述神经辐射场网络的体渲染公式通过对所述目标物体的体密度信息和颜色信息以及所述散射介质的体密度信息和颜色信息进行积分推导得到；
依据所述颜色样本计算值，渲染所述样本视角方向对应的预测图像；
使用所述样本图像和所述预测图像对所述待训练的神经辐射场网络进行训练，得到训练后的神经辐射场网络；
所述目标物体为不透明物体时，所述散射体渲染公式为：
，
，
，
其中，为目标观测位置与成像平面的像素点之间的射线，为目标物体在的第k个采样点的颜色计算值，为散射介质的体密度预测值，k为在上从相机到目标物体所需的采样步数，δ为采样步长，为目标物体在的第k个采样点的颜色预测值，为散射介质对目标物体的体密度预测值，为散射介质在的第i个采样点的颜色计算值，i为在上从相机到散射介质所需的采样步数，为的第i个采样点和第i+1个采样点之间的距离，为散射介质的颜色预测值，为对应的像素点的颜色计算值；
所述目标物体为半透明物体时，所述散射体渲染公式为：
，
，
，
其中，为目标物体在的第i个采样点的颜色计算值，为的第i个采样点，为在处之前的射线积累量，为目标物体在的第i个采样点的体密度预测值，为目标物体在的第i个采样点的颜色预测值，为目标物体在的第k个采样点的颜色预测值，为的第j个采样点和第j+1个采样点之间的距离，j∈[0,i-1]。
6.根据权利要求5所述的神经辐射场网络的训练方法，其特征在于，
所述使用所述样本图像和所述预测图像对所述待训练的神经辐射场网络进行训练，得到训练后的神经辐射场网络，包括：
基于所述样本图像与所述预测图像，确定模型损失信息；所述模型损失信息用于表征所述样本图像与所述预测图像之间像素点颜色的匹配程度；
基于所述模型损失信息调整所述待训练的神经辐射场网络的权重参数，在所述模型损失信息符合结束条件时，得到所述训练后的神经辐射场网络；
所述模型损失信息的计算公式为：
，
其中，L0为总损失信息，为重建损失信息，为预测图像的像素点的颜色计算值，C为样本图像的像素点的颜色真实值，为精确度损失信息，λ为精确度损失系数，为提议损失信息，为样本观测位置与预测图像的像素点之间的射线上的采样点，为提议损失权重；
所述重建损失信息的计算公式为：
，
其中，sg()为停止梯度函数，ε=10-3；
所述精确度损失信息的计算公式为：
，
，
其中，为目标物体在的第i个采样点的透射率，=0或1，P为模为0和1的两个拉普拉斯分布相加；
所述提议损失信息的计算公式为：
，
，
，
，
，
其中，wi为第i个采样点的射线权重，为提议多层感知机网络生成的射线距离，为提议多层感知机网络生成的射线权重，Ti为第i个采样点到第i+1个采样点的间距，T表示射线采样点的间距，为提议多层感知机网络生成的第j个采样点到第j+1个采样点之间的间距，为提议多层感知机网络生成的第j个采样点的射线权重，为[s´i,s´i+1]的权重，为的第i个采样点，为目标物体在的第i个采样点的体密度预测值，为的第i个采样点和第i+1个采样点之间的距离。
7.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述的方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法。
CN202311633410.5A 2023-12-01 2023-12-01 图像渲染方法、网络的训练方法、设备及介质 Active CN117333609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311633410.5A CN117333609B (zh) 2023-12-01 2023-12-01 图像渲染方法、网络的训练方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311633410.5A CN117333609B (zh) 2023-12-01 2023-12-01 图像渲染方法、网络的训练方法、设备及介质

Publications (2)

Publication Number Publication Date
CN117333609A CN117333609A (zh) 2024-01-02
CN117333609B true CN117333609B (zh) 2024-02-09

Family

ID=89279800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311633410.5A Active CN117333609B (zh) 2023-12-01 2023-12-01 图像渲染方法、网络的训练方法、设备及介质

Country Status (1)

Country Link
CN (1) CN117333609B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549731A (zh) * 2022-04-22 2022-05-27 清华大学 视角图像的生成方法、装置、电子设备及存储介质
CN115631418A (zh) * 2022-11-18 2023-01-20 北京百度网讯科技有限公司 图像处理方法、神经辐射场的训练方法和神经网络
CN115937394A (zh) * 2022-12-05 2023-04-07 百果园技术(新加坡)有限公司 一种基于神经辐射场的三维图像渲染方法及系统
WO2023086194A1 (en) * 2021-11-15 2023-05-19 Google Llc High dynamic range view synthesis from noisy raw images
WO2023093186A1 (zh) * 2022-06-15 2023-06-01 之江实验室 基于神经辐射场的行人重识别三维数据集构建方法和装置
CN116452758A (zh) * 2023-06-20 2023-07-18 擎翌(上海)智能科技有限公司 一种神经辐射场模型加速训练方法、装置、设备及介质
CN116958393A (zh) * 2023-08-02 2023-10-27 北京数原数字化城市研究中心 一种增量式图像渲染方法及装置
CN116977536A (zh) * 2023-08-14 2023-10-31 北京航空航天大学 一种基于混合神经辐射场的无边界场景新视角合成方法
CN116993826A (zh) * 2023-07-31 2023-11-03 杭州电子科技大学 一种基于局部空间聚合神经辐射场的场景新视图生成方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023086194A1 (en) * 2021-11-15 2023-05-19 Google Llc High dynamic range view synthesis from noisy raw images
CN114549731A (zh) * 2022-04-22 2022-05-27 清华大学 视角图像的生成方法、装置、电子设备及存储介质
WO2023093186A1 (zh) * 2022-06-15 2023-06-01 之江实验室 基于神经辐射场的行人重识别三维数据集构建方法和装置
CN115631418A (zh) * 2022-11-18 2023-01-20 北京百度网讯科技有限公司 图像处理方法、神经辐射场的训练方法和神经网络
CN115937394A (zh) * 2022-12-05 2023-04-07 百果园技术(新加坡)有限公司 一种基于神经辐射场的三维图像渲染方法及系统
CN116452758A (zh) * 2023-06-20 2023-07-18 擎翌(上海)智能科技有限公司 一种神经辐射场模型加速训练方法、装置、设备及介质
CN116993826A (zh) * 2023-07-31 2023-11-03 杭州电子科技大学 一种基于局部空间聚合神经辐射场的场景新视图生成方法
CN116958393A (zh) * 2023-08-02 2023-10-27 北京数原数字化城市研究中心 一种增量式图像渲染方法及装置
CN116977536A (zh) * 2023-08-14 2023-10-31 北京航空航天大学 一种基于混合神经辐射场的无边界场景新视角合成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LB-NERF: Light Bending Neural Radiance Fields for Transparent Medium;Fujitomi, K. Sakurada, R. Hamaguchi, H. Shishido, M. Onishi and Y. Kameda;2022 IEEE International Conference on Image Processing (ICIP);2142-2146 *
神经辐射场多视图合成技术综述;马汉声等;计算机工程与应用;1-19 *

Also Published As

Publication number Publication date
CN117333609A (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
CN109076148B (zh) 日常场景重建引擎
CN115115688B (zh) 一种图像处理方法及电子设备
Liu et al. A general differentiable mesh renderer for image-based 3D reasoning
CN115004193A (zh) 生成环境数据
CN116385667B (zh) 三维模型的重建方法、纹理重构模型的训练方法以及装置
Song et al. Deep sea robotic imaging simulator
Yao et al. Vision-based environment perception and autonomous obstacle avoidance for unmanned underwater vehicle
CN116051696A (zh) 一种可重光照的人体隐式模型的重建方法和装置
Rajeswar et al. Pix2shape: Towards unsupervised learning of 3d scenes from images using a view-based representation
Zhuang et al. A dense stereo matching method based on optimized direction-information images for the real underwater measurement environment
CN115018979A (zh) 图像重建方法、装置、电子设备、存储介质和程序产品
Sneha et al. A Neural Radiance Field-Based Architecture for Intelligent Multilayered View Synthesis
Sorokin et al. Restoration of lighting parameters in mixed reality systems using convolutional neural network technology based on RGBD images
CN115953524B (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN117333609B (zh) 图像渲染方法、网络的训练方法、设备及介质
Liu et al. Research Advances on Non-Line-of-Sight Imaging Technology
Bauer et al. Photon Field Networks for Dynamic Real-Time Volumetric Global Illumination
CN108447085A (zh) 一种基于消费级rgb-d相机的人脸视觉外观恢复方法
Qiu et al. Rendering real-world unbounded scenes with cars by learning positional bias
Yang et al. Light Sampling Field and BRDF Representation for Physically-based Neural Rendering
CN117252787B (zh) 图像重新照明方法、模型训练方法、装置、设备及介质
Shen et al. Conditional visibility aware view synthesis via parallel light fields
Zhang et al. Virtual lighting environment and real human fusion based on multiview videos
Caimi Underwater effects
US20240331276A1 (en) Method, electronic device, and computer program product for virtual reality modeling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant