CN116051719A - 一种基于神经辐射场模型的图像渲染方法及装置 - Google Patents
一种基于神经辐射场模型的图像渲染方法及装置 Download PDFInfo
- Publication number
- CN116051719A CN116051719A CN202211532696.3A CN202211532696A CN116051719A CN 116051719 A CN116051719 A CN 116051719A CN 202211532696 A CN202211532696 A CN 202211532696A CN 116051719 A CN116051719 A CN 116051719A
- Authority
- CN
- China
- Prior art keywords
- rendering
- color
- radiation field
- field model
- diffuse reflection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 266
- 230000005855 radiation Effects 0.000 title claims abstract description 135
- 238000000034 method Methods 0.000 title claims abstract description 68
- 210000005036 nerve Anatomy 0.000 title claims abstract description 65
- 239000013598 vector Substances 0.000 claims abstract description 76
- 238000013528 artificial neural network Methods 0.000 claims abstract description 63
- 230000001537 neural effect Effects 0.000 claims description 73
- 239000003086 colorant Substances 0.000 claims description 49
- 230000000007 visual effect Effects 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 42
- 230000001186 cumulative effect Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 16
- 238000004364 calculation method Methods 0.000 abstract description 7
- 238000005070 sampling Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/55—Radiosity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Generation (AREA)
Abstract
本申请实施例提供了一种基于神经辐射场模型的图像渲染方法及装置。本申请实施例提供的技术方案通过体素网格记录神经辐射场模型在多个空间位置上对应的体积密度、漫反射颜色和特征向量，在渲染神经辐射场模型在设定渲染位置和渲染视角的渲染图像时，从体素网格中获取对应的体积密度、漫反射颜色和特征向量，通过全连接层神经网络对特征向量进行分析处理得到各个像素位置对应的视角颜色，再基于漫反射颜色和视角颜色进行渲染处理得到目标渲染图像，通过提前计算与视角无关的体积密度、漫反射颜色和特征向量，有效减少模型渲染的计算量，提高模型渲染效率。
Description
技术领域
本申请实施例涉及图形处理技术领域，尤其涉及一种基于神经辐射场模型的图像渲染方法及装置。
背景技术
随着图形处理技术的发展，基于隐式表达的神经辐射场模型在新视角图像生成的应用越来越广泛。为了渲染图像中的一个像素，其需要从相机中心投射出一条穿过此像素的射线并采样数百个点，计算每个点的颜色和体积密度，然后利用体渲染技术累积成该点的颜色。
在渲染一个视角下的神经辐射场模型时，需要用训练好的全连接层网络计算每个采样点在设定方向上对应的体积密度和特征向量，再将体积密度和特征向量拼接解码处对应像素位置的颜色，之后再根据每个像素位置的颜色渲染出对应视角的渲染图像。由于对每一个采样点都需要基于全连接层网络进行视角相关的颜色计算，数据处理量较大，导致模型渲染的效率较低。
发明内容
本申请实施例提供一种基于神经辐射场模型的图像渲染方法及装置，以解决相关技术中对每一个采样点都需要基于全连接层网络进行视角相关的颜色计算，数据处理量较大，导致模型渲染的效率较低的技术问题，有效降低模型渲染的数据处理量，提高模型渲染效率。
在第一方面，本申请实施例提供了一种基于神经辐射场模型的图像渲染方法，包括：
基于设定的渲染位置信息和渲染视角信息，从设定的体素网格中获取对应的体积密度、漫反射颜色和特征向量，所述体素网格记录有设定的神经辐射场模型在多个空间位置上对应的体积密度、漫反射颜色和特征向量；
通过设定的全连接层神经网络，基于所述渲染视角信息以及获取到的所述体积密度和所述特征向量进行分析处理得到各个像素位置对应的视角颜色；
基于所述视角颜色以及获取到的所述体积密度和所述漫反射颜色进行渲染处理得到目标渲染图像。
在第二方面，本申请实施例提供了一种基于神经辐射场模型的图像渲染装置，包括信息提取模块、颜色确定模块和图像渲染模块，其中：
所述信息提取模块，配置为基于设定的渲染位置信息和渲染视角信息，从设定的体素网格中获取对应的体积密度、漫反射颜色和特征向量，所述体素网格记录有设定的神经辐射场模型在多个空间位置上对应的体积密度、漫反射颜色和特征向量；
所述颜色确定模块，配置为通过设定的全连接层神经网络，基于所述渲染视角信息以及获取到的所述体积密度和所述特征向量进行分析处理得到各个像素位置对应的视角颜色；
所述图像渲染模块，配置为基于所述视角颜色以及获取到的所述体积密度和所述漫反射颜色进行渲染处理得到目标渲染图像。
在第三方面，本申请实施例提供了一种基于神经辐射场模型的图像渲染设备，包括：存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于神经辐射场模型的图像渲染方法。
在第四方面，本申请实施例提供了一种存储计算机可执行指令的非易失性存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的基于神经辐射场模型的图像渲染方法。
在第五方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序，使得设备执行如第一方面所述的基于神经辐射场模型的图像渲染方法。
本申请实施例通过体素网格记录神经辐射场模型在多个空间位置上对应的体积密度、漫反射颜色和特征向量，在渲染神经辐射场模型在设定渲染位置和渲染视角的渲染图像时，从体素网格中获取对应的体积密度、漫反射颜色和特征向量，通过全连接层神经网络对特征向量进行分析处理得到各个像素位置对应的视角颜色，再基于漫反射颜色和视角颜色进行渲染处理得到目标渲染图像，通过提前计算与视角无关的体积密度、漫反射颜色和特征向量，并记录在体素网格中，在渲染神经辐射场模型时计算视角相关的视角颜色，最后将漫反射颜色和视角颜色可渲染得到目标渲染图像，不需要在渲染神经辐射场模型时通过全连接层神经网络计算每一个像素位置的颜色信息，有效减少模型渲染的计算量，提高模型渲染效率。
附图说明
图1是本申请实施例提供的一种基于神经辐射场模型的图像渲染方法的流程图；
图2是本申请实施例提供的另一种基于神经辐射场模型的图像渲染方法的流程图；
图3是本申请实施例提供的一种目标渲染图像生成流程示意图；
图4是本申请实施例提供的一种基于神经辐射场模型的图像渲染装置的结构示意图；
图5是本申请实施例提供的一种基于神经辐射场模型的图像渲染设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时上述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。上述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的基于神经辐射场模型的图像渲染方法可应用于神经辐射场(NeRF，Neural Radiance Field)模型的渲染，例如在AI家居产品批量生成数字资产中，商户通过手机、相机等摄像设备采集指定数量的商品照片，上传给后台服务器训练生成神经辐射场模型和对应的全连接层神经网络(MLP，Multilayer Perceptron，多层感知器，或小型的全连接层神经网络MLPs)。商品的体验用户使用时基于神经辐射场模型的图像渲染设备(例如手机、平板等移动端)基于神经辐射场模型和对应的全连接层神经网络渲染神经辐射场模型，实时预览重建的三维效果。本申请提供的基于神经辐射场模型的图像渲染方法旨在通过预先计算出神经辐射场模型中视角无关的体积密度、漫反射颜色和特征向量，并存储在体素网格中，后续渲染过程中利用全连接层神经网络计算视角相关的视角颜色即可，减少全连接层神经网络的数据处理量，提高对神经辐射场模型的渲染效率。对于传统的神经辐射场模型的渲染，为了渲染图像中的一个像素，需要通过训练好的全连接层神经网络计算从相机中心投射出一条穿过此像素的射线并采样数百个点，计算出对应像素的体积密度和颜色信息，再通过体渲染技术将体积密度和颜色信息累积成对应像素的颜色。由于传统的基于神经辐射场模型的图像渲染需要对每个空间点进行颜色信息的计算，渲染需要的计算量较大，对神经辐射场模型的渲染效率较低，特别是在移动端处理能力有限的情况下，难以在移动端中应用神经辐射场模型。基于此，提供本申请实施例的一种基于神经辐射场模型的图像渲染方法，以解决现有基于神经辐射场模型的图像渲染效率低下的技术问题。
图1给出了本申请实施例提供的一种基于神经辐射场模型的图像渲染方法的流程图，本申请实施例提供的基于神经辐射场模型的图像渲染方法可以由基于神经辐射场模型的图像渲染装置来执行，该基于神经辐射场模型的图像渲染装置可以通过硬件和/或软件的方式实现，并集成在基于神经辐射场模型的图像渲染设备中。
下述以基于神经辐射场模型的图像渲染装置执行基于神经辐射场模型的图像渲染方法为例进行描述。参考图1，该基于神经辐射场模型的图像渲染方法包括：
S101：基于设定的渲染位置信息和渲染视角信息，从设定的体素网格中获取对应的体积密度、漫反射颜色和特征向量，体素网格记录有设定的神经辐射场模型在多个空间位置上对应的体积密度、漫反射颜色和特征向量。
本方案提供的神经辐射场模型可基于多张图片(例如通过手机、摄像机等拍摄设备在不同角度下对建模目标进行拍摄得到的相机参数已知的多张图片)对搭建好的神经辐射场模型进行训练得到。
其中，本方案提供的体素网格记录有设定的神经辐射场模型在多个空间位置上对应的体积密度、漫反射颜色和特征向量。可选的，可将神经辐射场模型配置为输出在各个空间位置上对应的体积密度、漫反射颜色和特征向量。在一个实施例中，可将神经辐射场模型输出的体积密度、漫反射颜色和特征向量存储在合适尺寸的体素网格中，本方案将视角无关的体积密度、漫反射颜色和特征向量预先计算并存储在体素网格中，后续终端在进行基于神经辐射场模型的图像渲染时，无需要再计算视角无关的相关信息，只需要利用全连接层神经网络计算视角相关的信息，并将视角无关的相关信息和视角相关的信息进行叠加处理即可得到各个像素对应的目标颜色，减少终端需要处理的数据量，提高基于神经辐射场模型的图像渲染效率。
在一个可能的实施例中，本方案提供的体素网格中记录的漫反射颜色和特征向量对应的体积密度大于设定密度阈值，即筛除掉体积密度未达到设定密度阈值的空间位置对应的体积密度、漫反射颜色和特征向量。其中，体积密度未达到设定密度阈值的空间位置可理解为未存在物体的空间位置，该空间位置不会对像素位置的颜色产生影响，将体积密度未达到设定密度阈值的空间位置筛除，在体素网格中仅记录的体积密度大于设定密度阈值的空间位置对应的体积密度、漫反射颜色和特征向量，在保证图像渲染质量的同时，有效减少图像渲染过程中的数据处理量，提高图像渲染效率。例如设定密度阈值设定为0，在体积密度大于0时，可确定该空间位置存在物体，否则认为该空间位置不存在物体，可跳过该空间位置对应的颜色、特征累积处理。
需要进行解释的是，神经辐射场模型中各个空间位置对应的体积密度、漫反射颜色和特征向量均与视角无关，即渲染神经辐射场模型时，无论渲染视角如何变化，对应空间位置的体积密度、漫反射颜色和特征向量都保持不变。其中，神经辐射场模型输出的特征向量可以是对空间位置(即采样点)提取的特征组成的向量(例如4维的特征向量)，可反映对应空间位置上物体材质的量。
在一个可能的实施例中，本方案提供的设定的渲染位置信息和渲染视角信息可以是默认的渲染位置和渲染视角，也可以是在展示神经辐射场模型模型对应的目标渲染图像时，响应于系统或用户进行的位置和/或视角调整操作实时确定的渲染位置和渲染视角，并且在渲染位置和渲染视角更新时，可基于更新后的渲染位置和渲染视角执行基于神经辐射场模型的图像渲染流程，得到最新的渲染位置和渲染视角对应的目标渲染图像。
示例性的，在需要对神经辐射场模型进行图像渲染时，可从云服务器获取神经辐射场模型对应的体素网格作为设定的体素网格，以及从云服务器获取神经辐射场模型对应的全连接层神经网络，并确定当前对神经辐射场模型进行图像渲染的渲染位置信息和渲染视角信息。在确定设定的渲染位置信息和渲染视角信息后，从上述获取的体素网格中获取对应的体积密度、漫反射颜色和特征向量。其中，渲染位置信息可理解为图像渲染对应的相机在虚拟场景中的位置，渲染视角信息可理解为图像渲染对应的相机在虚拟场景中的视角、位姿或朝向。
在一个实施例中，在基于设定的渲染位置信息和渲染视角信息，从设定的体素网格中获取对应的体积密度、漫反射颜色和特征向量时，可以是根据渲染位置信息和渲染视角信息确定渲染体素范围，并根据渲染体素范围在体素网格中获取对应位置范围内的空间位置对应的体积密度、漫反射颜色和特征向量。
S102：通过设定的全连接层神经网络，基于渲染视角信息以及获取到的体积密度和特征向量进行分析处理得到各个像素位置对应的视角颜色。
在一个实施例中，本方案提供的全连接层神经网络基于神经辐射场模型进行训练得到，全连接层神经网络可记录神经辐射场模型中的场景信息，接收神经辐射场模型设定空间位置中沿设定视线方向(可基于渲染位置信息和渲染视角信息确定)采样点(空间位置)以及对应的视线方向，输出各个采样点对应的视角颜色和体积密度。在搭建神经辐射场模型模型后，可利用神经辐射场模型对设定的全连接层神经网络进行学习训练，例如以各个像素对应的体积密度、特征向量和不同的渲染视角为输入，各个渲染视角对应的与视角相关的视角颜色为输出对全连接层神经网络进行学习训练，得到该神经辐射场模型对应的训练好的全连接层神经网络。在向全连接层神经网络输入各个像素位置对应的体积密度、累积特征向量和渲染视角后，全连接层神经网络将输出该神经辐射场模型在各个像素中对应的视角颜色。可选的，在完成神经辐射场模型和全连接层神经网络的训练后，可将神经辐射场模型和全连接层神经网络布置在设定位置(例如云服务器)中，供用户(例如基于神经辐射场模型的图像渲染设备)读取并进行神经辐射场模型的图像渲染。
在一个可能的实施例中，本方案提供全连接层神经网络可基于设定层数的全连接层进行搭建，例如将全连接层神经网络设置为两层全连接层的全连接层神经网络，限制全连接层神经网络对渲染视角信息、体积密度和特征向量的处理次数，视角相关的信息在每个像素运行一次全连接层神经网络即可，不需要对每个采样点都运行一次全连接层神经网络，有效减少全连接层神经网络的数据处理量，提高视角颜色的计算效率，从而提高对神经辐射场模型的图像渲染效率。
在一个可能的实施例中，本方案提供的全连接层神经网络可基于视角相关的样本图像掩膜(mask)和网络预测掩膜对应的损失函数进行训练得到。例如，为了减少渲染得到的目标渲染图像中物体外部出现的云雾状瑕疵，在对全连接层神经网络的训练过程中，对全连接层神经网络添加对图像掩模(mask)的约束，即事先通过图像分割的方式获取各个训练姿态对应样本图像的样本图像掩膜，并对全连接层神经网络的输出添加一个分支，用于输出网络预测掩膜，使用设定的损失函数(例如均方损失函数MSE loss)对样本图像掩膜和网络预测掩膜进行约束，在全连接层神经网络的训练过程中，全连接层神经网络输出的渲染图像中物体外部预测出云雾状瑕疵时，全连接层神经网络将受到该损失函数的惩，对全连接层神经网络的参数进行调优处理。例如基于以下公式计算网络预测掩膜和样本图像掩膜对应的损失函数：
其中，Lmask为损失函数，为样本图像掩膜gtmask和网络预测掩膜predmask的差值对应的二范数的平方。本方案通过视角相关的样本图像掩膜和网络预测掩膜对应的损失函数对全连接层神经网络进行约束，有效减少全连接层神经网络输出的目标渲染图像中物体外部出现瑕疵的情况，有效提高图像渲染质量。
示例性的，从体素网格中获取对应的体积密度、漫反射颜色和特征向量后，将上述确定的渲染视角信息和从体素网格中提取到的体积密度以及特征向量输入到全连接层神经网络中，由全连接层神经网络对接收到的渲染视角信息、体积密度以及特征向量进行分析处理得到各个像素位置对应的视角颜色。
需要进行解释的是，本方案提供的全连接层神经网络只需要计算一次各个像素位置对应的视角颜色即可，不需要计算与视角无关的颜色，与视角无关的颜色可直接从体素网格中提取(即从体素网格中提取到的漫反射颜色)，减少图像渲染设备对颜色的计算量，提高图像渲染效率。
S103：基于视角颜色以及获取到的体积密度和漫反射颜色进行渲染处理得到目标渲染图像。
示例性的，将上述确定的视角颜色、从体素网格获取到的体积密度以及漫反射颜色进行体素渲染处理得到神经辐射场模型在设定的渲染位置信息以及渲染视角信息下对应的目标渲染图像。
例如根据从体素网格获取到的在多个空间位置对应的体积密度以及漫反射颜色确定每个像素位置对应的累积的漫反射颜色，即漫反射累积颜色。对于每个像素位置，将对应的视角颜色和漫反射累积颜色进行叠加处理即可确定对应位置的目标颜色，可根据每个像素位置对应的目标颜色渲染出目标渲染图像。可选的，像素位置与空间位置存在设定的映射关系，在一个渲染位置信息和渲染视角信息下，一个像素位置可对应一个或多个空间位置。
上述，通过体素网格记录神经辐射场模型在多个空间位置上对应的体积密度、漫反射颜色和特征向量，在渲染神经辐射场模型在设定渲染位置和渲染视角的渲染图像时，从体素网格中获取对应的体积密度、漫反射颜色和特征向量，通过全连接层神经网络对特征向量进行分析处理得到各个像素位置对应的视角颜色，再基于漫反射颜色和视角颜色进行渲染处理得到目标渲染图像，通过提前计算与视角无关的体积密度、漫反射颜色和特征向量，并记录在体素网格中，在渲染神经辐射场模型时计算视角相关的视角颜色，最后将漫反射颜色和视角颜色可渲染得到目标渲染图像，不需要在渲染神经辐射场模型时通过全连接层神经网络计算每一个像素位置的颜色信息，有效减少模型渲染的计算量，提高模型渲染效率。
在上述实施例的基础上，图2给出了本申请实施例提供的另一种基于神经辐射场模型的图像渲染方法的流程图，该基于神经辐射场模型的图像渲染方法是对上述基于神经辐射场模型的图像渲染方法的具体化。参考图2，该基于神经辐射场模型的图像渲染方法包括：
S201：基于设定的渲染位置信息和渲染视角信息，从设定的体素网格中获取对应的体积密度、漫反射颜色和特征向量，体素网格记录有设定的神经辐射场模型在多个空间位置上对应的体积密度、漫反射颜色和特征向量。
S202：基于获取到的体积密度和特征向量计算在各个像素位置对应的累积特征。
示例性的，从体素网格中获取在渲染位置信息和渲染视角信息对应的渲染体素范围内的多个空间位置对应的体积密度、漫反射颜色和特征向量后，根据获取到的各个空间位置对应的体积密度和特征向量，计算在各个像素位置对应的累积特征。需要进行解释的是，像素位置对应的体积密度越大，对应的特征向量越大。
在一个可能的实施例中，本方案提供的累积特征可基于以下公式进行计算得到：
α(x)＝1-exp(-x)
δj＝tj+1-tj
其中，Fs(r)为像素位置r对应的累积特征，ti为第i个像素位置，σ(ti)为像素位置ti对应的体积密度，fs(ti)为像素位置ti对应的特征向量，δj为像素位置tj+1和像素位置tj之间的距离，i的循环范围为0～n(n为空间位置(即采样点)个数)，j的循环范围为0～i-1。在一个实施例中，本方案提供的特征向量可以是神经辐射场模型在对应空间位置的输出经过一个激活函数(例如sigmoid函数)得到的-1～1之间的4个浮点数。其中T(ti)可反映渲染视角下对应空间位置的累计不透明度，即从相机发出的光线到这个空间位置还剩余多少的概率。如果前面的空间位置都挡住到达该空间位置的光线，即使这个空间位置对应的颜色值再高对最终的目标颜色的影响也较小。
S203：通过设定的全连接层神经网络，基于渲染视角信息和累积特征进行分析处理得到各个像素位置对应的视角颜色。
示例性的，将设定的渲染视角信息和上述确定的累积特征输入到全连接层神经网络中，由全连接层神经网络对渲染视角信息和累积特征进行分析处理得到各个像素位置对应的视角颜色(即在渲染视角下光线作用到像素位置的镜面反射效果)。即基于MLPs(Fs(r)，d)计算在各个像素位置对应的值作为视角颜色，其中MLPs为全连接层神经网络，其采用体积较小的全连接层神经网络(例如全连接层神经网络对应的全连接层设置为两层)即可准确计算出像素位置对应的视角颜色，其中d为渲染视角信息所指示的视角方向(θ，φ)。
本方案通过各个空间位置对应的体积密度和特征向量计算在各个像素位置对应的累积特征，通过累积特征准确反映各个空间位置上对应的颜色信息，即反映从渲染位置信息和渲染视角信息确定的相机视角发出的光线作用在空间位置上的效应，可提高对时间颜色的计算准确度。
S204：基于获取到的体积密度和漫反射颜色计算在各个像素位置对应的漫反射累积颜色。
示例性的，根据获取到的在多个空间位置上的体积密度和对应的漫反射颜色计算在各个像素位置对应的漫反射累积颜色。其中，像素位置对应的体积密度越大，对应的漫反射累积颜色的值越大。
在一个可能的实施例中，本方案提供的漫反射累积颜色可基于以下公式进行计算得到：
σ(x)＝1-exp(-x)
δj＝tj+1-tj
其中，为像素位置r对应的漫反射累积颜色，ti为第i个像素位置，σ(ti)为像素位置ti对应的体积密度，cd(ti)为像素位置ti对应的漫反射颜色，δj为像素位置tj+1和像素位置tj之间的距离，i的循环范围为0～n(n为空间位置(即采样点)个数)，j的循环范围为0～i-1。其中T(ti)可反映对应空间位置的漫反射累计不透明度，即从漫反射光线到这个空间位置还剩余多少的概率。
S205：基于漫反射累积颜色和视角颜色进行渲染处理得到目标渲染图像。
示例性的，对于每个像素位置，基于像素位置对应的漫反射累积颜色和视角颜色进行渲染处理，得到神经辐射场模型在设定的渲染位置信息以及渲染视角信息下对应的目标渲染图像。本方案通过根据体积密度和漫反射颜色计算在各个像素位置对应的漫反射累积颜色，并根据每个像素位置对应的漫反射累积颜色和视角颜色进行渲染处理，得到各个像素位置在视角无关的漫反射累积颜色和视角相关的视角颜色的共同作用下对应的目标渲染图像，在保证图像渲染质量的情况下，提高图像渲染效率。
在一个可能的实施例中，如图3提供的一种目标渲染图像生成流程示意图所示，本方案提供的基于神经辐射场模型的图像渲染方法在基于漫反射累积颜色和视角颜色进行渲染处理得到目标渲染图像时，包括：
S2051：对漫反射累积颜色和视角颜色进行叠加处理得到各个像素位置对应的目标颜色。
S2052：基于各个像素位置对应的目标颜色进行渲染处理得到目标渲染图像。
示例性的，对于每个像素位置，将像素位置对应的漫反射累积颜色和视角颜色进行叠加处理，将叠加处理结果作为该像素位置对应的目标颜色，从而得到各个像素位置对应的目标颜色。例如，基于以下公式计算像素位置对应的目标颜色：
其中，为像素位置r对应的目标颜色，为像素位置r对应的漫反射累积颜色，MLPs(Fs(r)，d)为像素位置r在渲染视角信息d下对应的视角颜色。
在确定各个像素位置对应的目标颜色后，根据各个像素位置对应的目标颜色进行渲染处理，即在每个像素位置处绘制对应的目标颜色得到目标渲染图像。本方案通过预先计算并存储漫反射颜色，并计算各个像素位置对应的漫反射累积颜色，再将漫反射累积颜色和视角颜色进行叠加处理得到各个像素位置对应的目标颜色，准确计算各个像素位置对应的目标颜色，在保证图像渲染质量的情况下，提高图像渲染效率。
上述，通过体素网格记录神经辐射场模型在多个空间位置上对应的体积密度、漫反射颜色和特征向量，在渲染神经辐射场模型在设定渲染位置和渲染视角的渲染图像时，从体素网格中获取对应的体积密度、漫反射颜色和特征向量，通过全连接层神经网络对特征向量进行分析处理得到各个像素位置对应的视角颜色，再基于漫反射颜色和视角颜色进行渲染处理得到目标渲染图像，通过提前计算与视角无关的体积密度、漫反射颜色和特征向量，并记录在体素网格中，在渲染神经辐射场模型时计算视角相关的视角颜色，最后将漫反射颜色和视角颜色可渲染得到目标渲染图像，不需要在渲染神经辐射场模型时通过全连接层神经网络计算每一个像素位置的颜色信息，有效减少模型渲染的计算量，提高模型渲染效率。同时，预先计算并存储漫反射颜色，并计算各个像素位置对应的漫反射累积颜色，再将漫反射累积颜色和视角颜色进行叠加处理得到各个像素位置对应的目标颜色，准确计算各个像素位置对应的目标颜色，在保证图像渲染质量的情况下，提高图像渲染效率。并且可将基于神经辐射场模型的图像渲染方法应用到移动端中进行对神经辐射场模型进行实时的图像渲染，借助神经辐射场模型良好的拟合能力，高质量、快速、低成本、高保真地生成大规模的数字资产，将视角无关的特征预先计算并存储到体素网格中，把视角相关的效果推迟到需要渲染时再在移动端上计算，实现在移动端对神经辐射场模型的实时、快速以及高质量的图像渲染，有效降低数字资产生成、传输和展示的成本。
图4是本申请实施例提供的一种基于神经辐射场模型的图像渲染装置的结构示意图。参考图4，该基于神经辐射场模型的图像渲染装置包括信息提取模块41、颜色确定模块42和图像渲染模块43。
其中，信息提取模块41，配置为基于设定的渲染位置信息和渲染视角信息，从设定的体素网格中获取对应的体积密度、漫反射颜色和特征向量，体素网格记录有设定的神经辐射场模型在多个空间位置上对应的体积密度、漫反射颜色和特征向量；颜色确定模块42，配置为通过设定的全连接层神经网络，基于渲染视角信息以及获取到的体积密度和特征向量进行分析处理得到各个像素位置对应的视角颜色；图像渲染模块43，配置为基于视角颜色以及获取到的体积密度和漫反射颜色进行渲染处理得到目标渲染图像。
上述，通过体素网格记录神经辐射场模型在多个空间位置上对应的体积密度、漫反射颜色和特征向量，在渲染神经辐射场模型在设定渲染位置和渲染视角的渲染图像时，从体素网格中获取对应的体积密度、漫反射颜色和特征向量，通过全连接层神经网络对特征向量进行分析处理得到各个像素位置对应的视角颜色，再基于漫反射颜色和视角颜色进行渲染处理得到目标渲染图像，通过提前计算与视角无关的体积密度、漫反射颜色和特征向量，并记录在体素网格中，在渲染神经辐射场模型时计算视角相关的视角颜色，最后将漫反射颜色和视角颜色可渲染得到目标渲染图像，不需要在渲染神经辐射场模型时通过全连接层神经网络计算每一个像素位置的颜色信息，有效减少模型渲染的计算量，提高模型渲染效率。
在一个可能的实施例中，颜色确定模块42具体配置为：
基于获取到的体积密度和特征向量计算在各个像素位置对应的累积特征；
通过设定的全连接层神经网络，基于渲染视角信息和累积特征进行分析处理得到各个像素位置对应的视角颜色。
在一个可能的实施例中，全连接层神经网络基于设定层数的全连接层进行搭建，全连接层神经网络基于视角相关的样本图像掩膜和网络预测掩膜对应的损失函数进行训练得到。
在一个可能的实施例中，累积特征基于以下公式进行计算得到：
α(x)＝1-exp(-x)
δj＝tj+1-tj
其中，ti为第i个像素位置，σ(ti)为像素位置ti对应的体积密度，fs(ti)为像素位置ti对应的特征向量。
在一个可能的实施例中，图像渲染模块43具体配置为：
基于获取到的体积密度和漫反射颜色计算在各个像素位置对应的漫反射累积颜色；
基于漫反射累积颜色和视角颜色进行渲染处理得到目标渲染图像。
在一个可能的实施例中，漫反射累积颜色基于以下公式进行计算得到：
α(x)＝1-exp(-x)
δj＝tj+1-tj
其中，ti为第i个像素位置，σ(ti)为像素位置ti对应的体积密度，cd(ti)为像素位置ti对应的漫反射颜色。
在一个可能的实施例中，图像渲染模块43在基于漫反射累积颜色和视角颜色进行渲染处理得到目标渲染图像时，配置为：
对漫反射累积颜色和视角颜色进行叠加处理得到各个像素位置对应的目标颜色；
基于各个像素位置对应的目标颜色进行渲染处理得到目标渲染图像。
在一个可能的实施例中，体素网格中记录的漫反射颜色和特征向量对应的体积密度大于设定密度阈值。
值得注意的是，上述基于神经辐射场模型的图像渲染装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。
本申请实施例还提供了一种基于神经辐射场模型的图像渲染设备，该基于神经辐射场模型的图像渲染设备可集成本申请实施例提供的基于神经辐射场模型的图像渲染装置。图5是本申请实施例提供的一种基于神经辐射场模型的图像渲染设备的结构示意图。参考图5，该基于神经辐射场模型的图像渲染设备包括：输入装置53、输出装置54、存储器52以及一个或多个处理器51；存储器52，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器51执行，使得一个或多个处理器51实现如上述实施例提供的基于神经辐射场模型的图像渲染方法。上述提供的基于神经辐射场模型的图像渲染装置、设备和计算机可用于执行上述任意实施例提供的基于神经辐射场模型的图像渲染方法，具备相应的功能和有益效果。
本申请实施例还提供一种存储计算机可执行指令的非易失性存储介质，计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的基于神经辐射场模型的图像渲染方法。当然，本申请实施例所提供的一种存储计算机可执行指令的非易失性存储介质，其计算机可执行指令不限于如上提供的基于神经辐射场模型的图像渲染方法，还可以执行本申请任意实施例所提供的基于神经辐射场模型的图像渲染方法中的相关操作。上述实施例中提供的基于神经辐射场模型的图像渲染装置、设备及存储介质可执行本申请任意实施例所提供的基于神经辐射场模型的图像渲染方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的基于神经辐射场模型的图像渲染方法。
在上述实施例的基础上，本申请实施例还提供一种计算机程序产品，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机程序产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备、移动终端或其中的处理器执行本申请各个实施例所提供的基于神经辐射场模型的图像渲染方法的全部或部分步骤。
Claims (12)
1.一种基于神经辐射场模型的图像渲染方法，其特征在于，包括：
基于设定的渲染位置信息和渲染视角信息，从设定的体素网格中获取对应的体积密度、漫反射颜色和特征向量，所述体素网格记录有设定的神经辐射场模型在多个空间位置上对应的体积密度、漫反射颜色和特征向量；
通过设定的全连接层神经网络，基于所述渲染视角信息以及获取到的所述体积密度和所述特征向量进行分析处理得到各个像素位置对应的视角颜色；
基于所述视角颜色以及获取到的所述体积密度和所述漫反射颜色进行渲染处理得到目标渲染图像。
2.根据权利要求1所述的基于神经辐射场模型的图像渲染方法，其特征在于，所述通过设定的全连接层神经网络，基于所述渲染视角信息以及获取到的所述体积密度和所述特征向量进行分析处理得到各个像素位置对应的视角颜色，包括：
基于获取到的所述体积密度和所述特征向量计算在各个像素位置对应的累积特征；
通过设定的全连接层神经网络，基于所述渲染视角信息和所述累积特征进行分析处理得到各个像素位置对应的视角颜色。
3.根据权利要求2所述的基于神经辐射场模型的图像渲染方法，其特征在于，所述全连接层神经网络基于设定层数的全连接层进行搭建，所述全连接层神经网络基于视角相关的样本图像掩膜和网络预测掩膜对应的损失函数进行训练得到。
4.根据权利要求2所述的基于神经辐射场模型的图像渲染方法，其特征在于，所述累积特征基于以下公式进行计算得到：
α(x)＝1-exp(-x)
δj＝tj+1-tj
其中，ti为第i个像素位置，σ(ti)为像素位置ti对应的体积密度，fs(ti)为像素位置ti对应的特征向量。
5.根据权利要求1所述的基于神经辐射场模型的图像渲染方法，其特征在于，所述基于所述视角颜色以及获取到的所述体积密度和所述漫反射颜色进行渲染处理得到目标渲染图像，包括：
基于获取到的所述体积密度和所述漫反射颜色计算在各个像素位置对应的漫反射累积颜色；
基于所述漫反射累积颜色和所述视角颜色进行渲染处理得到目标渲染图像。
6.根据权利要求5所述的基于神经辐射场模型的图像渲染方法，其特征在于，所述漫反射累积颜色基于以下公式进行计算得到：
α(x)＝1-exp(-x)
δj＝tj+1-tj
其中，ti为第i个像素位置，σ(ti)为像素位置ti对应的体积密度，cd(ti)为像素位置ti对应的漫反射颜色。
7.根据权利要求5所述的基于神经辐射场模型的图像渲染方法，其特征在于，所述基于所述漫反射累积颜色和所述视角颜色进行渲染处理得到目标渲染图像，包括：
对所述漫反射累积颜色和所述视角颜色进行叠加处理得到各个像素位置对应的目标颜色；
基于各个像素位置对应的所述目标颜色进行渲染处理得到目标渲染图像。
8.根据权利要求1所述的基于神经辐射场模型的图像渲染方法，其特征在于，所述体素网格中记录的漫反射颜色和特征向量对应的体积密度大于设定密度阈值。
9.一种基于神经辐射场模型的图像渲染装置，其特征在于，包括信息提取模块、颜色确定模块和图像渲染模块，其中：
所述信息提取模块，配置为基于设定的渲染位置信息和渲染视角信息，从设定的体素网格中获取对应的体积密度、漫反射颜色和特征向量，所述体素网格记录有设定的神经辐射场模型在多个空间位置上对应的体积密度、漫反射颜色和特征向量；
所述颜色确定模块，配置为通过设定的全连接层神经网络，基于所述渲染视角信息以及获取到的所述体积密度和所述特征向量进行分析处理得到各个像素位置对应的视角颜色；
所述图像渲染模块，配置为基于所述视角颜色以及获取到的所述体积密度和所述漫反射颜色进行渲染处理得到目标渲染图像。
10.一种基于神经辐射场模型的图像渲染设备，其特征在于，包括：存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8任一项所述的基于神经辐射场模型的图像渲染方法。
11.一种存储计算机可执行指令的非易失性存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-8任一项所述的基于神经辐射场模型的图像渲染方法。
12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的基于神经辐射场模型的图像渲染方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211532696.3A CN116051719A (zh) | 2022-11-29 | 2022-11-29 | 一种基于神经辐射场模型的图像渲染方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211532696.3A CN116051719A (zh) | 2022-11-29 | 2022-11-29 | 一种基于神经辐射场模型的图像渲染方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116051719A true CN116051719A (zh) | 2023-05-02 |
Family
ID=86132103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211532696.3A Pending CN116051719A (zh) | 2022-11-29 | 2022-11-29 | 一种基于神经辐射场模型的图像渲染方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116051719A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036581A (zh) * | 2023-10-09 | 2023-11-10 | 易方信息科技股份有限公司 | 基于二维神经渲染的体渲染方法、系统、设备及介质 |
| CN117274473A (zh) * | 2023-11-21 | 2023-12-22 | 北京渲光科技有限公司 | 一种多重散射实时渲染的方法、装置及电子设备 |
| CN117456097A (zh) * | 2023-10-30 | 2024-01-26 | 南通海赛未来数字科技有限公司 | 一种三维模型构建方法及装置 |
-
2022
- 2022-11-29 CN CN202211532696.3A patent/CN116051719A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036581A (zh) * | 2023-10-09 | 2023-11-10 | 易方信息科技股份有限公司 | 基于二维神经渲染的体渲染方法、系统、设备及介质 |
| CN117036581B (zh) * | 2023-10-09 | 2024-02-13 | 易方信息科技股份有限公司 | 基于二维神经渲染的体渲染方法、系统、设备及介质 |
| CN117456097A (zh) * | 2023-10-30 | 2024-01-26 | 南通海赛未来数字科技有限公司 | 一种三维模型构建方法及装置 |
| CN117456097B (zh) * | 2023-10-30 | 2024-05-14 | 南通海赛未来数字科技有限公司 | 一种三维模型构建方法及装置 |
| CN117274473A (zh) * | 2023-11-21 | 2023-12-22 | 北京渲光科技有限公司 | 一种多重散射实时渲染的方法、装置及电子设备 |
| CN117274473B (zh) * | 2023-11-21 | 2024-02-02 | 北京渲光科技有限公司 | 一种多重散射实时渲染的方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116051719A (zh) | 一种基于神经辐射场模型的图像渲染方法及装置 | |
| JP6902122B2 (ja) | ダブル視野角画像較正および画像処理方法、装置、記憶媒体ならびに電子機器 | |
| CN115735227A (zh) | 反转用于姿态估计的神经辐射场 | |
| CN113689578B (zh) | 一种人体数据集生成方法及装置 | |
| US20210295467A1 (en) | Method for merging multiple images and post-processing of panorama | |
| Jeon et al. | Texture map generation for 3D reconstructed scenes | |
| CN114758337B (zh) | 一种语义实例重建方法、装置、设备及介质 | |
| CN113220251B (zh) | 物体显示方法、装置、电子设备及存储介质 | |
| CN112639878A (zh) | 无监督深度预测神经网络 | |
| CN116958492B (zh) | 一种基于NeRf重建三维底座场景渲染的VR编辑方法 | |
| CN115457188A (zh) | 一种基于注视点的3d渲染显示方法及系统 | |
| JP2024507727A (ja) | 潜在変数で条件付けた幾何学的形状認識ニューラルネットワークを使用した、シーンの新規画像のレンダリング | |
| US11961266B2 (en) | Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture | |
| CN115601511A (zh) | 三维重建方法、装置、计算机设备及计算机可读存储介质 | |
| CN115578515A (zh) | 三维重建模型的训练方法、三维场景渲染方法及装置 | |
| WO2022208440A1 (en) | Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture | |
| CN114627244A (zh) | 三维重建方法及装置、电子设备、计算机可读介质 | |
| CN116912393A (zh) | 人脸重建方法、装置、电子设备及可读存储介质 | |
| CN112721150A (zh) | 一种光固化3d打印方法、装置、设备及存储介质 | |
| CN109816791B (zh) | 用于生成信息的方法和装置 | |
| CN115272575B (zh) | 图像生成方法及装置、存储介质和电子设备 | |
| CN112634439B (zh) | 一种3d信息展示方法及装置 | |
| CN112052863B (zh) | 一种图像检测方法及装置、计算机存储介质、电子设备 | |
| CN116883770A (zh) | 深度估计模型的训练方法、装置、电子设备及存储介质 | |
| US20240161362A1 (en) | Target-augmented material maps |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |