CN115937394A - 一种基于神经辐射场的三维图像渲染方法及系统 - Google Patents
一种基于神经辐射场的三维图像渲染方法及系统 Download PDFInfo
- Publication number
- CN115937394A CN115937394A CN202211550183.5A CN202211550183A CN115937394A CN 115937394 A CN115937394 A CN 115937394A CN 202211550183 A CN202211550183 A CN 202211550183A CN 115937394 A CN115937394 A CN 115937394A
- Authority
- CN
- China
- Prior art keywords
- rendering
- radiation field
- image
- result
- nerve
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 292
- 230000005855 radiation Effects 0.000 title claims abstract description 112
- 210000005036 nerve Anatomy 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012549 training Methods 0.000 claims description 53
- 230000006870 function Effects 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 30
- 230000004927 fusion Effects 0.000 claims description 21
- 238000005286 illumination Methods 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract 1
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000001537 neural effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
Images
Landscapes
- Image Generation (AREA)
Abstract
本申请实施例公开了一种基于神经辐射场的三维图像渲染方法及系统。本申请实施例提供的技术方案，通过确定拍摄目标的第一三维坐标和对应的第一光线方向，进而将第一三维坐标和第一光线方向输入预构建的神经辐射场模型，基于神经辐射场模型预测第一三维坐标在对应的第一光线方向上的体密度以及对应颜色值的漫反射特征和镜面反射特征，之后，基于漫反射特征和体密度进行体渲染得到第一渲染结果，基于镜面反射特征和体密度进行体渲染得到第二渲染结果，根据第一渲染结果和第二渲染结果输出拍摄目标的渲染图像。采用上述技术手段，可以保障图像渲染质量，缩短图像体渲染耗时，进而提升三维图像渲染的实时性，提升用户使用体验。
Description
技术领域
本申请实施例涉及计算机视觉技术领域，尤其涉及一种基于神经辐射场的三维图像渲染方法及系统。
背景技术
神经辐射场(NeRF，Neural Radiance Fields)是一种隐式的三维场景表示，其将场景表示为空间中任何点的体密度和颜色值。有了以神经辐射场形式存在的场景表示后，便可以对该场景进行渲染进而生成任意视角的图片。目前，在基于神经辐射场进行三维图像渲染时，通常会使用一个全连接神经网络构建图像三维坐标(x，y，z)到体密度σ和颜色值c的映射，进而基于体密度σ和颜色值c进行体渲染，通过大量的神经网络推理，以实现三维图像渲染。
但是，上述三维图像渲染过程中，对于每一个三维点，都需要花费大量的时间进行体渲染，整个过程相对冗长复杂，三维图像渲染缺乏实时性。
发明内容
本申请实施例提供一种基于神经辐射场的三维图像渲染方法及系统，能够在保障图像渲染质量的前提下，提升三维图像渲染的实时性，解决三维图像渲染过程耗时过长的技术问题。
在第一方面，本申请实施例提供了一种基于神经辐射场的三维图像渲染方法，包括：
确定拍摄目标的第一三维坐标和对应的第一光线方向；
将第一三维坐标和第一光线方向输入预构建的神经辐射场模型，基于神经辐射场模型预测第一三维坐标在对应的第一光线方向上的体密度以及对应颜色值的漫反射特征和镜面反射特征；
基于漫反射特征和体密度进行体渲染得到第一渲染结果，基于镜面反射特征和体密度进行体渲染得到第二渲染结果，根据第一渲染结果和第二渲染结果输出拍摄目标的渲染图像。
在第二方面，本申请实施例提供了一种基于神经辐射场的三维图像渲染系统，包括：
确定模块，配置为确定拍摄目标的第一三维坐标和对应的第一光线方向；
预测模块，配置为将第一三维坐标和第一光线方向输入预构建的神经辐射场模型，基于神经辐射场模型预测第一三维坐标在对应的第一光线方向上的体密度以及对应颜色值的漫反射特征和镜面反射特征；
渲染模块，配置为基于漫反射特征和体密度进行体渲染得到第一渲染结果，基于镜面反射特征和体密度进行体渲染得到第二渲染结果，根据第一渲染结果和第二渲染结果输出拍摄目标的渲染图像。
在第三方面，本申请实施例提供了一种基于神经辐射场的三维图像渲染设备，包括：
存储器以及一个或多个处理器；
所述存储器，配置为存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于神经辐射场的三维图像渲染方法。
在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时配置为执行如第一方面所述的基于神经辐射场的三维图像渲染方法。
在第五方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品中包含有指令，当指令在计算机或处理器上运行时，使得计算机或处理器执行如第一方面所述的基于神经辐射场的三维图像渲染方法
本申请实施例通过确定拍摄目标的第一三维坐标和对应的第一光线方向。进而将第一三维坐标和第一光线方向输入预构建的神经辐射场模型，基于神经辐射场模型预测第一三维坐标在对应的第一光线方向上的体密度以及对应颜色值的漫反射特征和镜面反射特征。之后，基于漫反射特征和体密度进行体渲染得到第一渲染结果，基于镜面反射特征和体密度进行体渲染得到第二渲染结果，根据第一渲染结果和第二渲染结果输出拍摄目标的渲染图像。采用上述技术手段，通过分别基于镜面反射特征和漫反射特征进行拍摄目标体渲染，进而综合两个体渲染结果得到拍摄目标渲染图像，以此即保障了图像渲染质量，又通过两次并行的体渲染流程提升三维图像渲染效率，缩短图像体渲染耗时，进而提升三维图像渲染的实时性，提升用户使用体验。
附图说明
图1是本申请实施例提供的一种基于神经辐射场的三维图像渲染方法的流程图；
图2是本申请实施例中神经辐射场模型的训练流程图；
图3是本申请实施例中渲染图像的生成示意图；
图4是本申请实施例中基于轮廓信息和深度信息的损失约束示意图；
图5是本申请实施例提供的一种基于神经辐射场的三维图像渲染系统的结构示意图；
图6是本申请实施例提供的一种基于神经辐射场的三维图像渲染设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的基于神经辐射场的三维图像渲染方法，旨在利用神经辐射场模型分别基于拍摄目标体密度和颜色值的镜面反射特征和漫反射特征进行拍摄目标体渲染，进而综合两个体渲染结果得到拍摄目标渲染图像，以此即保障了图像渲染质量，又通过两次并行的体渲染流程提升三维图像渲染效率。
对于现有的三维图像渲染方案，其通常会使用一个全连接神经网络构建图像三维坐标(x，y，z)到体密度σ和颜色值c的映射，进而基于体密度σ和颜色值c进行体渲染。对于一张1080x1920的图像，需要约4亿次推理。并且，对于每个三维坐标点都需要进行一次神经网络的推理，其耗时巨大，因此无法达到实时渲染的效果。基于此，提供本申请实施例的一种基于神经辐射场的三维图像渲染方法及系统，以解决三维图像渲染过程耗时过长的技术问题。
实施例：
图1给出了本申请实施例提供的一种基于神经辐射场的三维图像渲染方法的流程图，本实施例中提供的基于神经辐射场的三维图像渲染方法可以由基于神经辐射场的三维图像渲染设备执行，该基于神经辐射场的三维图像渲染设备可以通过软件和/或硬件的方式实现，该基于神经辐射场的三维图像渲染设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该基于神经辐射场的三维图像渲染设备可以是图像处理服务器、电脑，手机，平板等处理设备。
下述以该基于神经辐射场的三维图像渲染设备为执行基于神经辐射场的三维图像渲染方法的主体为例，进行描述。参照图1，该基于神经辐射场的三维图像渲染方法具体包括：
S110、确定拍摄目标的第一三维坐标和对应的第一光线方向；
S120、将第一三维坐标和第一光线方向输入预构建的神经辐射场模型，基于神经辐射场模型预测第一三维坐标在对应的第一光线方向上的体密度以及对应颜色值的漫反射特征和镜面反射特征；
S130、基于漫反射特征和体密度进行体渲染得到第一渲染结果，基于镜面反射特征和体密度进行体渲染得到第二渲染结果，根据第一渲染结果和第二渲染结果输出拍摄目标的渲染图像。
本申请实施例在进行三维图像渲染时，为缩短图像渲染阶段耗时，提升图像渲染实时性，借助三维辐射场模型，通过面向实时渲染的神经辐射场模型生成渲染图像。其中，通过分别基于镜面反射特征和漫反射特征进行拍摄目标体渲染，以空间换时间的思路来减少神经网络模型的推理时间，提升模型实时渲染图像的能力。
其中，在进行一个拍摄目标的三维图像渲染时，通过获取该拍摄目标的三维坐标和该三维坐标所对应的光线方向，定义为第一三维坐标和第一光线方向。进而以第一三维坐标和第一关系方向输入预构建的神经辐射场模型，基于神经辐射场模型预测第一三维坐标在对应光线方向上的体密度和颜色值。其中，颜色值包括了漫反射特征和镜面反射特征。进而基于神经辐射场模型进行体渲染，基于漫反射特征和体密度进行体渲染得到第一渲染结果，基于镜面反射特征和体密度进行体渲染得到第二渲染结果，根据第一渲染结果和第二渲染结果输出拍摄目标的渲染图像。以此，通过分别基于镜面反射特征和漫反射特征进行拍摄目标的两次体渲染流程，综合两次体渲染结果得到最终的渲染图像。由于体渲染图像融合了镜面反射特征和漫反射特征的体渲染结果，以此可以保障较高的图像渲染质量。同时两个渲染流程并行进行，可以提升体渲染效率，提升三维图像渲染实时性。
在此之前，通过预先训练一个神经辐射场模型，以执行上述三维图像渲染流程，基于拍摄目标的三维坐标和光线方向的模型输入，输出拍摄目标对应的渲染图像。
具体地，参照图2，神经辐射场模型的训练流程包括：
S1001、获取训练目标的第二三维坐标、第二光线方向和目标图像；
S1002、以第二三维坐标和第二光线方向作为模型输入训练神经辐射场模型，基于神经辐射场模型进行模型运算，输出训练目标的渲染图像；
S1003、基于目标图像和训练目标的渲染图像，使用预构建的第一损失函数计算对应的第一损失函数数值，根据第一损失函数数值调整模型参数，直至神经辐射场模型收敛。
在训练神经辐射场模型时，以不同的训练目标(如不同物体)构建训练样本。其中，通过获取训练目标的三维坐标和光线方向作为模型输入进行模型训练，定义该三维坐标和光线方向为第二三维坐标和第二光线方向。并获取训练目标的目标图像，以用于后续进行模型输出结果的损失函数计算。
在获取第二三维坐标时，通过对应训练目标拍摄图像。例如，对应拍摄目标从不同位置设置若干个360°环绕的拍摄点，使用手机、相机等拍摄设备在各个拍摄点拍摄训练目标的图像。根据实际训练需求设定需要拍摄的图像数量，一般保障可用图像在50-150张左右即可，本申请实施例对具体的图像拍摄数量不做固定限制，在此不多赘述。
进而基于拍摄到的二维图像预测训练目标各个点的三维坐标，基于拍摄图像的图像坐标，结合相机内参和外参，通过旋转平移变换，得到训练目标各个点的第二三维坐标。基于二维图像结合相机参数确定三维坐标的实施方式有很多，在此不多赘述。
另一方面，通过位姿估计的方式确定各个第二三维坐标的第二光线方向。由于神经辐射场模型需要光线方向作为输入，因此需要对训练集合中照片的相机姿态进行估计，进一步基于估计得到的相机位姿，利用旋转和平移变换矩阵得到第二三维坐标对应的第二光线方向。
此外，目标图像通过对应训练目标的拍摄图像进行前景分割，去除图像背景后得到。基于拍摄到的训练目标的图像，采用前景分割的方式，将图像中的前景部分保留，去除背景部分，得到该目标图像。以此可保障损失函数计算的精准度，避免图像噪声影响模型参数的调节。以此可以确保模型生成的渲染图像干净、完整，优化图像渲染效果。其中，图像前景分割可以采用轮廓识别分割的方式确定前景部分，进而分割得到该目标图像。本申请实施例对图像前景分割的实施方式不做固定限制，在此不多赘述。
进一步地，基于已确定的第二三维坐标和第二光线方向，将第二三维坐标x以及对应的第二光线方向d作为模型输入，通过模型训练，预测第二三维坐标在对应的第二光线方向上的体密度以及对应颜色值的漫反射特征和镜面反射特征，然后基于漫反射特征和体密度进行体渲染，基于镜面反射特征和体密度进行体渲染，根据上述两部分的体渲染结果即可输出训练目标的渲染图像。
可选地，对于每一个第二三维坐标进行模型运算时，为了进一步缩短模型预测耗时，本申请实施例基于网格哈希编码算法将第二三维坐标和第二光线方向映射至网格特征空间，基于网格特征空间筛选第二三维坐标和第二光线方向，得到对应的融合特征信息，以融合特征信息进行神经辐射场模型的模型运算。
可以理解的是，如若对每一个三维坐标都通过全连接神经网络(8层512维)进行一次推理，会消耗大量的时间。基于此，本申请实施例通过网格哈希(grid-hash)编码算法，第二三维坐标用特定的哈希函数映射到网格特征空间中。其中，可以将网格中的每个单位网格的边长表示为对应长度的坐标分量，以此生成以单位网格的边长为单位进行编码坐标信息，即融合特征信息。并且，对于网格中各个坐标点进行筛选，对于特征不明显，或者不重要的三维坐标进行筛除。例如，对于一张图像的镂空区域的三维坐标，其特征较不明显，可以加个这部分三维点筛除，以减少模型计算量。通过预先设定相应的特征筛选规则，根据三维坐标的特征信息进行筛选，以达到减少计算量的目的。对于不同分辨率下的三维坐标，经过编码可以融合多层次信息，这样既加速了模型训练和推理过程，又缩小了神经网络的体量。网格编码公式如下：
Encoded_feature＝Hash_mapping(x,y,z)
其中，x,y,z表示第二三维坐标，Hash_mapping(x,y,z)表示第二三维坐标的网格哈希编码，Encoded_feature表示网格哈希编码结果，即该融合特征信息。
进而基于该融合特征信息预测该第二三维坐标在对应的第二光线方向上的体密度以及对应颜色值的漫反射特征和镜面反射特征。该过程可以形式化表示为：
Fw:(x,d)→(c,σ)
其中，σ表示体密度，c表示颜色值。该颜色值包括7维的颜色特征输出，其中包括三个维度的漫反射特征(即RGB三个维度)和四个维度的镜面反射特征(即RGB加上光线影响维度)。
进而基于该模型预测的体密度和颜色值，通过分别基于镜面反射特征和漫反射特征进行体渲染，基于两个体渲染结果即可得到训练目标的渲染图像。可以理解的是，体密度可以被理解为一条射线在经过三维场景中的某个点时被终止的概率，这个概率是可微的。由于一条射线上的点是连续的，所以可以将这条射线的颜色由积分的方式得到。体渲染即将体密度和每个点的颜色值进行积分从而得到这条光线的颜色，以此生成对应的渲染图像。
具体地，基于体渲染技术，可将训练目标不同光线方向下的体密度和颜色值合成一张完整的渲染图像。该渲染图像表示为：
参照图3，为了加速渲染过程，本申请实施例采用以空间换时间的思路，将整个体渲染过程分解为两次独立的体渲染步骤，分别基于漫反射特征(diffuse-only feature)和基于视角特征(view-dependent feature)执行体渲染流程，得到对应的体渲染结果。体渲染公式表示为：
Fw:(x)→(cd,vs,σ)
其中，cd表示颜色值的漫反射特征，vs表示颜色值的镜面反射特征，σ表示体密度，
表示基于漫反射特征和体密度的体渲染结果，
表示基于镜面反射特征和体密度的体渲染结果。
其中，基于漫反射特征和体密度的体渲染结果只包含了训练目标本身的颜色信息，而将模型预测的基于视角的镜面反射特征vs和体密度σ进行一次体渲染，这部分的渲染结果可以结合光线影响确定训练目标的颜色信息。因此通过结合这两部分体渲染结果，可以得到质量较佳的渲染图像。并且，由于两个体渲染流程并行进行，可以缩短体渲染耗时，提升模型渲染图像效率。
并且，该基于镜面反射特征vs和体密度σ的体渲染结果需要和光线d结合，通过一个多层感知器，得到网络输出结果。进而根据网络输出结果和基于漫反射特征的体渲染结果，确定最终的渲染图像。
在生成训练目标的渲染图像时，使用一个较小的全连接神经网络(3层16维)进行特征融合，特征融合公式表示为：
以此，神经辐射场模型在图像渲染过程中只需要对每一条光线进行一次极小的神经网络的推理，通过较短的耗时，即可达到实时渲染图像的效果。
此外，考虑到图像数据采集过程中的质量可能随着环境变化(特别是光照环境)而影响图像渲染结果。因此针对不同光照环境可以采用不同的渲染方案。即当光照变化平稳，光照条件充足时，利用上述特征融合方式进行图像渲染，得到渲染图像。但是当光照变化剧烈或者光照条件不够充足情况，则可以只用漫反射特征的体渲染结果作为最终渲染图像输出，从而避开光线变化的干扰。即此时渲染图像表示为：
通过在光照不足情况下忽略基于镜面反射特征的体渲染结果，减少这部分体渲染结果的运算，可以更进一步提升模型的图像渲染速度，提升三维图像渲染实时性。以此，根据光照条件预设置相应的设定标准，以进行光照条件判断。进而在进行图像渲染时，通过拍摄环境的光照条件比对该设定标准，即可根据比对结果适应性选择相应的体渲染结果生成三维渲染图像。
最后以目标图像C为监督信息训练模型，结合该渲染图像计算得到损失函数，定义该损失函数为第一损失函数，第一损失函数表示为：
参数。以此迭代训练神经辐射场模型，直至第一损失函数数值达到设定值，表明该神经辐射场模型具备生成高质量渲染图像的能力，模型收敛，以此完成神经辐射场模型的训练。
可选地，在计算损失函数时，还基于训练目标的深度信息和轮廓信息，使用预构建的第二损失函数计算对应的第二损失函数数值，根据第二损失函数数值调整模型参数，直至神经辐射场模型收敛。参照图4，为了避免数据采集环节得到的信息不充分(图像模糊、相机位姿估计不准确、前景分割不干净等)，导致渲染图像出现云雾状瑕疵。本申请实施例还基于训练目标的深度信息(Depth loss)和轮廓信息(Mask loss)作为先验信息的约束，以监督训练流程。根据训练目标的深度信息和轮廓信息比对渲染图像的深度信息和轮廓信息计算第二损失函数，基于计算得到的第二损失函数数值以约束训练过程中渲染出来的结果具有一定的物理一致性，使得模型生成的渲染图像更干净、完整，优化图像渲染质量。
之后，基于上述完成训练的神经辐射场模型，在对任意一个拍摄目标进行三维图像渲染时，参照上述训练目标的渲染图像生成方式，首先确定其第一三维坐标和第一光线方向。第一三维坐标和第一光线方向通过网格编码后进行模型预测，得到第一三维坐标在对应的第一光线方向上的体密度以及对应颜色值的漫反射特征和镜面反射特征。然后参照上述训练目标的体渲染流程，基于漫反射特征和体密度进行体渲染得到第一渲染结果，基于镜面反射特征和体密度进行体渲染得到第二渲染结果，根据第一渲染结果和第二渲染结果输出拍摄目标的渲染图像。
其中，在根据第一渲染结果和第二渲染结果输出拍摄目标的渲染图像时，根据第一渲染结果和第二渲染结果输出拍摄目标的渲染图像，将第二渲染结果与第一光线方向输入多层感知器，得到网络输出结果；以第一渲染结果或者第一渲染结果与网络输出结果的特征融合结果作为拍摄目标的渲染图像。利用多层感知器融合第二渲染结果与第一光线方向的特征。之后，在以第一渲染结果或者第一渲染结果与网络输出结果的特征融合结果作为拍摄目标的渲染图像时，基于拍摄环境光照条件，在拍摄目标的光照条件达到设定标准的情况下，以特征融合结果作为拍摄目标的渲染图像；拍摄目标的光照条件未达到设定标准的情况下，以第一渲染结果作为拍摄目标的渲染图像。通过不同光照条件适应性选择相应的体渲染结果生成渲染图像，即保障图像质量，同时又尽量减少了模型计算耗时，提升模型图像渲染实时性。
上述，通过确定拍摄目标的第一三维坐标和对应的第一光线方向。进而将第一三维坐标和第一光线方向输入预构建的神经辐射场模型，基于神经辐射场模型预测第一三维坐标在对应的第一光线方向上的体密度以及对应颜色值的漫反射特征和镜面反射特征。之后，基于漫反射特征和体密度进行体渲染得到第一渲染结果，基于镜面反射特征和体密度进行体渲染得到第二渲染结果，根据第一渲染结果和第二渲染结果输出拍摄目标的渲染图像。采用上述技术手段，通过分别基于镜面反射特征和漫反射特征进行拍摄目标体渲染，进而综合两个体渲染结果得到拍摄目标渲染图像，以此即保障了图像渲染质量，又通过两次并行的体渲染流程提升三维图像渲染效率，缩短图像体渲染耗时，进而提升三维图像渲染的实时性，提升用户使用体验。
在上述实施例的基础上，图5为本申请提供的一种基于神经辐射场的三维图像渲染系统的结构示意图。参考图5，本实施例提供的基于神经辐射场的三维图像渲染系统具体包括：确定模块21、预测模块22和渲染模块23。
其中，确定模块21配置为确定拍摄目标的第一三维坐标和对应的第一光线方向；
预测模块22配置为将第一三维坐标和第一光线方向输入预构建的神经辐射场模型，基于神经辐射场模型预测第一三维坐标在对应的第一光线方向上的体密度以及对应颜色值的漫反射特征和镜面反射特征；
渲染模块23配置为基于漫反射特征和体密度进行体渲染得到第一渲染结果，基于镜面反射特征和体密度进行体渲染得到第二渲染结果，根据第一渲染结果和第二渲染结果输出拍摄目标的渲染图像。
具体地，神经辐射场模型的训练流程包括：
获取训练目标的第二三维坐标、第二光线方向和目标图像；
以第二三维坐标和第二光线方向作为模型输入训练神经辐射场模型，基于神经辐射场模型进行模型运算，输出训练目标的渲染图像；
基于目标图像和训练目标的渲染图像，使用预构建的第一损失函数计算对应的第一损失函数数值，根据第一损失函数数值调整模型参数，直至神经辐射场模型收敛。
其中，基于神经辐射场模型进行模型运算，包括：
基于网格哈希编码算法将第二三维坐标和第二光线方向映射至网格特征空间，基于网格特征空间筛选第二三维坐标和第二光线方向，得到对应的融合特征信息，以融合特征信息进行神经辐射场模型的模型运算。
目标图像通过对应训练目标的拍摄图像进行前景分割，去除图像背景后得到。
神经辐射场模型的训练流程还包括：
基于训练目标的深度信息和轮廓信息，使用预构建的第二损失函数计算对应的第二损失函数数值，根据第二损失函数数值调整模型参数，直至神经辐射场模型收敛。
具体地，根据第一渲染结果和第二渲染结果输出拍摄目标的渲染图像，包括：
将第二渲染结果与第一光线方向输入多层感知器，得到网络输出结果；
以第一渲染结果或者第一渲染结果与网络输出结果的特征融合结果作为拍摄目标的渲染图像。
具体地，以第一渲染结果或者第一渲染结果与网络输出结果的特征融合结果作为拍摄目标的渲染图像，包括：
在拍摄目标的光照条件达到设定标准的情况下，以特征融合结果作为拍摄目标的渲染图像；
拍摄目标的光照条件未达到设定标准的情况下，以第一渲染结果作为拍摄目标的渲染图像。
上述，通过确定拍摄目标的第一三维坐标和对应的第一光线方向。进而将第一三维坐标和第一光线方向输入预构建的神经辐射场模型，基于神经辐射场模型预测第一三维坐标在对应的第一光线方向上的体密度以及对应颜色值的漫反射特征和镜面反射特征。之后，基于漫反射特征和体密度进行体渲染得到第一渲染结果，基于镜面反射特征和体密度进行体渲染得到第二渲染结果，根据第一渲染结果和第二渲染结果输出拍摄目标的渲染图像。采用上述技术手段，通过分别基于镜面反射特征和漫反射特征进行拍摄目标体渲染，进而综合两个体渲染结果得到拍摄目标渲染图像，以此即保障了图像渲染质量，又通过两次并行的体渲染流程提升三维图像渲染效率，缩短图像体渲染耗时，进而提升三维图像渲染的实时性，提升用户使用体验。
本申请实施例提供的基于神经辐射场的三维图像渲染系统可以配置为执行上述实施例提供的基于神经辐射场的三维图像渲染方法，具备相应的功能和有益效果。
在上述实际上例的基础上，本申请实施例还提供了一种基于神经辐射场的三维图像渲染设备，参照图6，该基于神经辐射场的三维图像渲染设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。存储器32作为一种计算机可读存储介质，可配置为存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的基于神经辐射场的三维图像渲染方法对应的程序指令/模块(例如，基于神经辐射场的三维图像渲染系统中的确定模块、预测模块和渲染模块)。通信模块33配置为进行数据传输。处理器31通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于神经辐射场的三维图像渲染方法。输入装置34可配置为接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。上述提供的基于神经辐射场的三维图像渲染设备可配置为执行上述实施例提供的基于神经辐射场的三维图像渲染方法，具备相应的功能和有益效果。
在上述实施例的基础上，本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时配置为执行一种基于神经辐射场的三维图像渲染方法，存储介质可以是任何的各种类型的存储器设备或存储设备。当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的基于神经辐射场的三维图像渲染方法，还可以执行本申请任意实施例所提供的基于神经辐射场的三维图像渲染方法中的相关操作。
在上述实施例的基础上，本申请实施例还提供一种计算机程序产品，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机程序产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备、移动终端或其中的处理器执行本申请各个实施例所述基于神经辐射场的三维图像渲染方法的全部或部分步骤。
Claims (11)
1.一种基于神经辐射场的三维图像渲染方法，其特征在于，包括：
确定拍摄目标的第一三维坐标和对应的第一光线方向；
将所述第一三维坐标和所述第一光线方向输入预构建的神经辐射场模型，基于所述神经辐射场模型预测所述第一三维坐标在对应的所述第一光线方向上的体密度以及对应颜色值的漫反射特征和镜面反射特征；
基于所述漫反射特征和所述体密度进行体渲染得到第一渲染结果，基于所述镜面反射特征和所述体密度进行体渲染得到第二渲染结果，根据所述第一渲染结果和所述第二渲染结果输出所述拍摄目标的渲染图像。
2.根据权利要求1所述的基于神经辐射场的三维图像渲染方法，其特征在于，所述神经辐射场模型的训练流程包括：
获取训练目标的第二三维坐标、第二光线方向和目标图像；
以所述第二三维坐标和所述第二光线方向作为模型输入训练所述神经辐射场模型，基于所述神经辐射场模型进行模型运算，输出所述训练目标的渲染图像；
基于所述目标图像和所述训练目标的渲染图像，使用预构建的第一损失函数计算对应的第一损失函数数值，根据所述第一损失函数数值调整模型参数，直至所述神经辐射场模型收敛。
3.根据权利要求2所述的基于神经辐射场的三维图像渲染方法，其特征在于，所述基于所述神经辐射场模型进行模型运算，包括：
基于网格哈希编码算法将所述第二三维坐标和所述第二光线方向映射至网格特征空间，基于所述网格特征空间筛选所述第二三维坐标和所述第二光线方向，得到对应的融合特征信息，以所述融合特征信息进行所述神经辐射场模型的模型运算。
4.根据权利要求2所述的基于神经辐射场的三维图像渲染方法，其特征在于，所述目标图像通过对应所述训练目标的拍摄图像进行前景分割，去除图像背景后得到。
5.根据权利要求2所述的基于神经辐射场的三维图像渲染方法，其特征在于，所述神经辐射场模型的训练流程包括：
基于所述训练目标的深度信息和轮廓信息，使用预构建的第二损失函数计算对应的第二损失函数数值，根据所述第二损失函数数值调整模型参数，直至所述神经辐射场模型收敛。
6.根据权利要求1所述的基于神经辐射场的三维图像渲染方法，其特征在于，所述根据所述第一渲染结果和所述第二渲染结果输出所述拍摄目标的渲染图像，包括：
将所述第二渲染结果与所述第一光线方向输入多层感知器，得到网络输出结果；
以所述第一渲染结果或者所述第一渲染结果与所述网络输出结果的特征融合结果作为所述拍摄目标的渲染图像。
7.根据权利要求6所述的基于神经辐射场的三维图像渲染方法，其特征在于，所述以所述第一渲染结果或者所述第一渲染结果与所述网络输出结果的特征融合结果作为所述拍摄目标的渲染图像，包括：
在所述拍摄目标的光照条件达到设定标准的情况下，以所述特征融合结果作为所述拍摄目标的渲染图像；
所述拍摄目标的光照条件未达到设定标准的情况下，以所述第一渲染结果作为所述拍摄目标的渲染图像。
8.一种基于神经辐射场的三维图像渲染系统，其特征在于，包括：
确定模块，配置为确定拍摄目标的第一三维坐标和对应的第一光线方向；
预测模块，配置为将所述第一三维坐标和所述第一光线方向输入预构建的神经辐射场模型，基于所述神经辐射场模型预测所述第一三维坐标在对应的所述第一光线方向上的体密度以及对应颜色值的漫反射特征和镜面反射特征；
渲染模块，配置为基于所述漫反射特征和所述体密度进行体渲染得到第一渲染结果，基于所述镜面反射特征和所述体密度进行体渲染得到第二渲染结果，根据所述第一渲染结果和所述第二渲染结果输出所述拍摄目标的渲染图像。
9.一种基于神经辐射场的三维图像渲染设备，其特征在于，包括：
存储器以及一个或多个处理器；
所述存储器，配置为存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的基于神经辐射场的三维图像渲染方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时配置为执行如权利要求1-7任一所述的基于神经辐射场的三维图像渲染方法。
11.一种计算机程序产品，其特征在于，所述计算机程序产品中包含有指令，当所述指令在计算机或处理器上运行时，使得所述计算机或处理器执行如权利要求1-7任一所述的基于神经辐射场的三维图像渲染方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211550183.5A CN115937394A (zh) | 2022-12-05 | 2022-12-05 | 一种基于神经辐射场的三维图像渲染方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211550183.5A CN115937394A (zh) | 2022-12-05 | 2022-12-05 | 一种基于神经辐射场的三维图像渲染方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115937394A true CN115937394A (zh) | 2023-04-07 |
Family
ID=86655543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211550183.5A Pending CN115937394A (zh) | 2022-12-05 | 2022-12-05 | 一种基于神经辐射场的三维图像渲染方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115937394A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116843808A (zh) * | 2023-06-30 | 2023-10-03 | 北京百度网讯科技有限公司 | 基于点云的渲染、模型训练、虚拟形象生成方法及装置 |
| CN116958453A (zh) * | 2023-09-20 | 2023-10-27 | 成都索贝数码科技股份有限公司 | 基于神经辐射场的三维模型重建方法、设备和介质 |
| CN116977525A (zh) * | 2023-07-31 | 2023-10-31 | 之江实验室 | 一种图像渲染方法、装置、存储介质及电子设备 |
| CN117274473A (zh) * | 2023-11-21 | 2023-12-22 | 北京渲光科技有限公司 | 一种多重散射实时渲染的方法、装置及电子设备 |
| CN117292068A (zh) * | 2023-11-24 | 2023-12-26 | 北京渲光科技有限公司 | 一种多重散射分布生成网络训练方法、渲染方法及装置 |
| CN117333609A (zh) * | 2023-12-01 | 2024-01-02 | 北京渲光科技有限公司 | 图像渲染方法、网络的训练方法、设备及介质 |
| CN117611727A (zh) * | 2024-01-24 | 2024-02-27 | 腾讯科技（深圳）有限公司 | 渲染处理方法、装置、设备以及介质 |
-
2022
- 2022-12-05 CN CN202211550183.5A patent/CN115937394A/zh active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116843808A (zh) * | 2023-06-30 | 2023-10-03 | 北京百度网讯科技有限公司 | 基于点云的渲染、模型训练、虚拟形象生成方法及装置 |
| CN116843808B (zh) * | 2023-06-30 | 2024-06-18 | 北京百度网讯科技有限公司 | 基于点云的渲染、模型训练、虚拟形象生成方法及装置 |
| CN116977525B (zh) * | 2023-07-31 | 2024-03-01 | 之江实验室 | 一种图像渲染方法、装置、存储介质及电子设备 |
| CN116977525A (zh) * | 2023-07-31 | 2023-10-31 | 之江实验室 | 一种图像渲染方法、装置、存储介质及电子设备 |
| CN116958453A (zh) * | 2023-09-20 | 2023-10-27 | 成都索贝数码科技股份有限公司 | 基于神经辐射场的三维模型重建方法、设备和介质 |
| CN116958453B (zh) * | 2023-09-20 | 2023-12-08 | 成都索贝数码科技股份有限公司 | 基于神经辐射场的三维模型重建方法、设备和介质 |
| CN117274473A (zh) * | 2023-11-21 | 2023-12-22 | 北京渲光科技有限公司 | 一种多重散射实时渲染的方法、装置及电子设备 |
| CN117274473B (zh) * | 2023-11-21 | 2024-02-02 | 北京渲光科技有限公司 | 一种多重散射实时渲染的方法、装置及电子设备 |
| CN117292068A (zh) * | 2023-11-24 | 2023-12-26 | 北京渲光科技有限公司 | 一种多重散射分布生成网络训练方法、渲染方法及装置 |
| CN117292068B (zh) * | 2023-11-24 | 2024-03-05 | 北京渲光科技有限公司 | 一种多重散射分布生成网络训练方法、渲染方法及装置 |
| CN117333609A (zh) * | 2023-12-01 | 2024-01-02 | 北京渲光科技有限公司 | 图像渲染方法、网络的训练方法、设备及介质 |
| CN117333609B (zh) * | 2023-12-01 | 2024-02-09 | 北京渲光科技有限公司 | 图像渲染方法、网络的训练方法、设备及介质 |
| CN117611727A (zh) * | 2024-01-24 | 2024-02-27 | 腾讯科技（深圳）有限公司 | 渲染处理方法、装置、设备以及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115937394A (zh) | 一种基于神经辐射场的三维图像渲染方法及系统 | |
| Kopanas et al. | Point‐Based Neural Rendering with Per‐View Optimization | |
| Zhang et al. | Nerfactor: Neural factorization of shape and reflectance under an unknown illumination | |
| US11798132B2 (en) | Image inpainting method and apparatus, computer device, and storage medium | |
| Li et al. | Luminance-aware pyramid network for low-light image enhancement | |
| CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| Ma et al. | Efficient and fast real-world noisy image denoising by combining pyramid neural network and two-pathway unscented Kalman filter | |
| CN115082639B (zh) | 图像生成方法、装置、电子设备和存储介质 | |
| US20230080693A1 (en) | Image processing method, electronic device and readable storage medium | |
| Guo et al. | Streetsurf: Extending multi-view implicit surface reconstruction to street views | |
| CN113066017B (zh) | 一种图像增强方法、模型训练方法及设备 | |
| JP2024510265A (ja) | 高解像度ニューラル・レンダリング | |
| CN113706583B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| Ji et al. | Geometry-aware single-image full-body human relighting | |
| JP2024507727A (ja) | 潜在変数で条件付けた幾何学的形状認識ニューラルネットワークを使用した、シーンの新規画像のレンダリング | |
| CN115100337A (zh) | 一种基于卷积神经网络的全身人像视频重照明方法和装置 | |
| CN116051719A (zh) | 一种基于神经辐射场模型的图像渲染方法及装置 | |
| CN115239581A (zh) | 一种图像处理方法及相关装置 | |
| Wu et al. | Reflectance-guided histogram equalization and comparametric approximation | |
| CN117456128A (zh) | 三维重建方法、装置、设备及存储介质 | |
| Gai et al. | EGRA-NeRF: Edge-guided ray allocation for neural radiance fields | |
| CN117726542A (zh) | 基于扩散模型的可控噪声去除方法及系统 | |
| CN117115047A (zh) | 一种图像增强方法、装置、设备及存储介质 | |
| Chen et al. | Low‐light image enhancement based on exponential Retinex variational model | |
| CN115937395A (zh) | 电气设备模型渲染方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |