CN117173343A - 一种基于神经辐射场的重新照明方法及系统 - Google Patents

Abstract

本发明属于图像重建领域，具体涉及了一种基于神经辐射场的重新照明方法及系统，旨在解决现有技术中对于处理阴影和间接光照来说不实用，限制了它们在具有复杂光物相互作用的场景中的适用性的问题。本发明包括：利用相机对待重新照明的物体发射射线，获取射线的起点、观测方向、行近距离，得到射线上的任一采样点的位置坐标并进行编码，编码后输入至训练好的基于神经辐射场的重新照明网络模型中，得到任一采样点的预测像素颜色和体密度；基于神经辐射场的重新照明网络包括依次连接的建模网络和照明网络。本发明提供了一种更全面和高效的方法来在神经隐式表示中建模光照的变化，克服了传统方法的局限性，并在重照任务中取得了优秀的结果。

Description

一种基于神经辐射场的重新照明方法及系统

技术领域

本发明属于图像重建领域，具体涉及了一种基于神经辐射场的重新照明方法及系统。

背景技术

神经辐射场（Neural Radiance Fields，简称NeRF）是一种计算机视觉技术，用于生成高质量的三维重建模型。它利用深度学习技术从多个视角的图像中提取出对象的几何形状和纹理信息，然后使用这些信息生成一个连续的三维辐射场，从而可以在任意角度和距离下呈现出高度逼真的三维模型。

传统的渲染和重照方法通常依赖于使用实体表面的光线追踪，这可能在计算上非常昂贵，并且对于处理阴影和间接光照来说并不实用。先前的方法尝试单独建模间接光照或使用额外的MLP来近似光遮挡，但它们通常忽略了估计的密度场和遮挡之间的耦合，并且可能依赖于参数化模型，限制了它们在具有复杂光物相互作用的场景中的适用性。

基于此，本发明提出了一种基于神经辐射场的重新照明方法及系统。

发明内容

为了解决现有技术中的上述问题，即现有技术中在计算上非常昂贵，并且对于处理阴影和间接光照来说并不实用，限制了它们在具有复杂光物相互作用的场景中的适用性的问题，本发明提供了一种基于神经辐射场的重新照明方法及系统。

本发明的一方面，提出了一种基于神经辐射场的重新照明方法，该方法包括：

利用相机对待重新照明的物体发射射线，获取所述射线的起点、观测方向、行近距离，进而得到所述射线上的任一采样点的位置坐标；

对任一采样点的位置坐标进行位置编码，将位置编码后的特征向量输入至训练好的基于神经辐射场的重新照明网络模型中，得到任一采样点的预测像素颜色和体密度；

所述基于神经辐射场的重新照明网络包括依次连接的建模网络和照明网络；所述建模网络基于依次连接的m个隐藏层构建；所述照明网络基于依次连接的b个隐藏层构建。

在一些优选的实施方式中，所述建模网络的输入为位置编码后的特征向量；

所述建模网络中的各隐藏层每层均包含a个节点且设置一个激活函数；

在第n个隐藏层与所述建模网络的输入跳跃连接，将所述建模网络的输入与第n个隐藏层的输出作为第n+1个隐藏层的输入；

第m个隐藏层的输出为对应的采样点的SDF值和具有a个节点的特征向量。

在一些优选的实施方式中，所述照明网络中各隐藏层每层均设置a个节点、一个激活函数；

将所述、从所述SDF导出的法线/>、相机射线的当前位置/>以及编码后的相机方向/>、编码后的点光源位置/>、编码后的阴影信息/>和编码后的高光信息/>作为所述照明网络的输入；

所述照明网络的输出为预测像素颜色和体密度/>。

在一些优选的实施方式中，所述，其获取方法为：

；

其中，表示相机射线从相机位置/>，沿射线方向/>的预测像素颜色；/>表示照明网络的函数形式；相机射线/>，其中t是射线行进距离，/>是相机射线方向；，/>是生成SDF的建模网络，/>表示SDF函数相对于相机射线/>上采样点的坐标（x，y，z）的偏导；N是采样数量，i是第i个采样点；/>是无偏密度权重；/>为第i个采样点的阴影信息；/>为第i个采样点的高光信息。

在一些优选的实施方式中，所述和所述体密度/>，其获取方法为：

；

；

；

其中，表示透射率；/>是累计分布函数，/>是概率密度函数。

在一些优选的实施方式中，当所述待重新照明的物体为不透明物体时，所述阴影信息，其获取方法为：

；

其中，表示相机射线从相机位置/>，沿射线方向/>的深度；

将所述对应的点进行采样，并计算阴影强度值，即阴影信息/>。

在一些优选的实施方式中，当所述待重新照明的物体为半透明物体或透明物体时，所述阴影信息，其获取方法为：

将在所述射线上进行均匀采样的点，作为第一采样点，获取各所述第一采样点的贡献值，在贡献值大于第一预设阈值的所述第一采样点中的第一个和最后一个之间，进行重要性采样，得到第二采样点，将所述第二采样点的贡献值进行降序排列；

将降序排列后的贡献值中的，前f个贡献值的和作为总贡献值；计算所述第一采样点的贡献值分别占所述总贡献值的比例，根据所述比例计算出所述第一采样点的阴影强度值，即阴影信息。

在一些优选的实施方式中，所述基于神经辐射场的重新照明网络模型，其训练方法为：

步骤S10，获取数据集，将所述数据集中的物体的体密度和各视角的颜色作为真值标签；

步骤S20，利用相机对所述数据集中的物体发射射线，并获取所述射线的起点、观测方向、行近距离作为输入数据，输入至预构建的基于神经辐射场的重新照明网络模型中，得到重新照明后的物体的体密度和各视角的颜色，作为模型标签；

步骤S30，基于所述模型标签和所述真值标签，结合预构建的损失函数，修正预构建的基于神经辐射场的重新照明网络模型；

步骤S40，重复步骤S20-S30，直至得到训练好的基于神经辐射场的重新照明网络模型。

在一些优选的实施方式中，所述损失函数，其构建方法为：

；

；

；

其中，表示一条射线，/>表示每个Batch数据集中的射线集合；/>是粗粒度采样预测的屏幕像素颜色值，/>是精细采样预测的屏幕像素颜色值，/>是真实的屏幕像素颜色值；所述粗粒度采样为第一采样点，所述精细采样为第二采样点，所述/>基于体渲染获取。

本发明的另一方面，提出了一种基于神经辐射场的重新照明系统，基于一种基于神经辐射场的重新照明方法，该系统包括：

输入数据获取模块，其配置为利用相机对待重新照明的物体发射射线，获取所述射线的起点、观测方向、行近距离，进而得到所述射线上的任一采样点的位置坐标；

重新照明模块，其配置为对任一采样点的位置坐标进行位置编码，将位置编码后的特征向量输入至训练好的基于神经辐射场的重新照明网络模型中，得到任一采样点的预测像素颜色和体密度；

所述基于神经辐射场的重新照明网络包括依次连接的建模网络和照明网络；所述建模网络基于依次连接的m个隐藏层构建；所述照明网络基于依次连接的b个隐藏层构建。

本发明的有益效果：

1.综合建模：该方法通过将遮挡与估计的隐式几何形状相结合，实现了对光照变化的全面建模。它不仅考虑了直接光照，还能捕捉间接光照和阴影等复杂的光物相互作用。

2. 高效性能：相比传统的渲染和重照方法，该方法在计算上更高效。它利用MLP来建模局部和全局的光传输，以视图和光照方向为参数，避免了昂贵的光线追踪过程。

3. 提供光照信息：该方法引入了阴影和高光信息到辐射网络中，使训练过程能够发现如何最好地利用这些信息。这有助于提高重照结果的准确性和质量。

4. 联合优化：该方法联合优化形状和辐射，使其能够捕捉具有不明确定义几何形状的场景。这使得该方法在处理复杂场景时更具适用性。

综上所述，该方法通过提供一种更全面和高效的方法来在神经隐式表示中建模光照的变化，克服了传统方法的局限性，并在重照任务中取得了优秀的结果。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明的一种基于神经辐射场的重新照明方法的流程示意图；

图2是本发明的一种基于神经辐射场的重新照明方法中网络模型结构示意图；

图3是本发明的一种基于神经辐射场的重新照明方法中相机摄像采样点到光源光线的采样分布示意图；

图4是用于实现本申请方法、系统、设备实施例的服务器的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明第一实施例，参见图1、图2，提供了一种基于神经辐射场的重新照明方法，本方法包括：

利用相机对待重新照明的物体发射射线，获取所述射线的起点、观测方向、行近距离，进而得到所述射线上的任一采样点的位置坐标；

对任一采样点的位置坐标进行位置编码，将位置编码后的特征向量输入至训练好的基于神经辐射场的重新照明网络模型中，得到任一采样点的预测像素颜色和体密度；

所述基于神经辐射场的重新照明网络包括依次连接的建模网络和照明网络；所述建模网络基于依次连接的m个隐藏层构建；所述照明网络基于依次连接的b个隐藏层构建。

在本实施例中，m优选为8，b优选为4。

优选的，参见图2，所述建模网络的输入为位置编码后的特征向量；

所述建模网络中的各隐藏层每层均包含a个节点且设置一个激活函数；

在第n个隐藏层与所述建模网络的输入跳跃连接，将所述建模网络的输入与第n个隐藏层的输出作为第n+1个隐藏层的输入；

第m个隐藏层的输出为对应的采样点的SDF值和具有a个节点的特征向量。

其中，在本实施例中，a优选为256，n优选为4，激活函数为Softplus；具体的，建模网络有8个隐藏层，每层256个节点，在第4层与输入进行跳跃连接，每层均使用Softplus作为激活函数。

本发明中，采样点p的位置是xyz三维向量，首先要进行编码，编码采用以下公式：

；

其中，上式中有sin和cos两个编码方式，一共L个，取L=7，则位置编码输出的参数共有3*7*2=42个参数。位置编码的好处是，可以让输出的图像更锐利，不模糊，有利于高频信号的训练。

其中，建模网络生成p点的SDF值后，还会通过SDF值生成体密度，所述体密度将用于体渲染中。

优选的，参见图2，所述照明网络中各隐藏层每层均设置a个节点、一个激活函数；

将所述、从所述SDF导出的法线/>、相机射线的当前位置/>以及编码后的相机方向/>、编码后的点光源位置/>、编码后的阴影信息/>和编码后的高光信息/>作为所述照明网络的输入；

所述照明网络的输出为预测像素颜色和体密度/>。

其中，照明网络中的激活函数为ReLU，并用Sigmoid激活函数输出最终的颜色，以确保输出的颜色在（-1，1）范围内。

其中，所述相机方向、光源位置、阴影信息和高光信息都要编码，编码方式与采样点p的位置的编码方式相同，相机方向和光源位置都是一个3维向量，L=5，编码后输出参数数量分别为3*2*5=30个；阴影信息是1个参数，L=5，编码后输出参数数量分别为1*2*5=10个；高光信息是5个参数，L=4，编码后输出参数数量分别为5*2*4=40个。

优选的，所述，其获取方法为：

；

其中，对于离散采样点来说，上述公式变为：；其中，N是采样数量，i是第i个采样点；

其中，表示相机射线从相机位置/>，沿射线方向/>的预测像素颜色；/>表示照明网络的函数形式；相机射线/>，其中t是射线行进距离，/>是相机射线方向；/>是归一化SDF梯度后的法线，/>，/>表示梯度算子；/>是生成SDF的建模网络，/>表示采样点p通过本发明的网络模型估算出来的SDF函数；/>表示本发明的网络模型估算的SDF函数相对于相机射线/>上采样点的坐标（x，y，z）的偏导；/>是无偏密度权重；/>为第i个采样点的阴影信息；/>为第i个采样点的高光信息。

优选的，所述和所述体密度/>，其获取方法为：

；

；

；

其中，表示透射率；/>是累计分布函数，/>是概率密度函数。

优选的，参见图2、图3，对于不透明物体，我们只需要求出光线与表面的交点即可，然后对这一条光源方向进行采样，这个计算量就大大降低了。为了求光线与表面的这个交点，其实就是求相机射线与物体表面的交点，只需要求出这个点在相机的深度即可，而物体表面可以用SDF零水平集来表示，即在物体表面上时的SDF=0。这样问题就转换成求相机深度了；因此，当所述待重新照明的物体为不透明物体时，所述阴影信息，其获取方法为：

；

其中，表示相机射线从相机位置/>，沿射线方向/>的深度；将所述/>对应的点进行采样，并计算阴影强度值，即阴影信息/>。

其中，在本发明中需要注意的是，求出表面的点后，需要对其在光源方向进行采样，按照体渲染公式计算，求出这个点的阴影强度值，也就是颜色值。

另外，因为只求出了表面的一个采样点，其他采样点也应采用这个值，不需要重新计算。

优选的，参见图2、图3，当所述待重新照明的物体为半透明物体或透明物体时，所述阴影信息，其获取方法为：

将在所述射线上进行均匀采样的点，作为第一采样点，获取各所述第一采样点的贡献值，在贡献值大于第一预设阈值的所述第一采样点中的第一个和最后一个之间，进行重要性采样，得到第二采样点，将所述第二采样点的贡献值进行降序排列；

将降序排列后的贡献值中的，前f个贡献值的和作为总贡献值；计算所述第一采样点的贡献值分别占所述总贡献值的比例，根据所述比例计算出所述第一采样点的阴影强度值，即阴影信息。

其中，沿光线采样的体渲染方式。具体来说，就是求出每条光线所有采样点的亮度残值比例，所有亮度之和为光源的亮度（假设光源亮度为100%，强度值假设为1），我们通过体密度的方式，将每个采样点的密度权重与距离进行累加后，就能估算出每个采样点的亮度损失，比如到某个采样点的亮度仅剩5%，并将这个比例作为阴影的强度值，即(0.05，0.05，0.05)，而黑色的RGB是(0，0，0)，白色的RGB是(1，1，1)，直接将比例作为RGB值。

本发明中，如果网络不输入阴影信息，此网络也可以模拟光源遮挡情况，但产生的阴影不清晰、无细节，因此加入本部分的阴影信息是有必要性的。另外，如果仅用阴影信息作为硬遮罩，这会覆盖掉间接光照的效果，因此我们还需要将光照信息作为网络的输入参数。

其中，在本实施例中，f优选为5，当所述采样点不足5个时，将此时的全部采样点全部选择进行计算。

为了求每个相机射线上采样点的光线遮挡情况，可以对每个采样点到光源连线的光源方向上，进行采样，但因为有些相机射线上的采样点是无效的，这会导致有大量的光源方向的采样点是被浪费的，因此需要采样策略。

其中，所述重要性采样，其具体方法为：比如每条射线16个采样点，然后将这16个采样点输入到网络中，这样每个采样点会得到对应的体密度值。根据16个体密度值，比如第8个体密度突然增大，第13个体密度突然恢复到之前差不多的低水平，就说明在第7到第13个采样点之间，需要进行重要性采样。所谓重要性采样，就是第7到第13个采样点之间更重要，所以需要再分布一些采样点，比如再采样64个采样点等等。

还有一种情况，对于不透明物体，表面的体密度最大，之后的体密度就为0了，即表面颜色对最终颜色的贡献值最大，之后的采样点就没用了。这种情况可以在体密度为0的采样点与体密度不为0的采样点之间进行重要性采样。

其中，所述第一预设阈值不是个固定值，只看体密度的突变情况，空气中的体密度一般接近零，比如值为0.5，那突变的体密度出现个3以上，那在这个突变采样点的前一个采样点，到突变最后的一个采样点，都是需要进行重要性采样的，只要比在空气中的体密度高很多就行。在本实施例中，所述第一预设阈值优选为空气体密度的2倍以上，就可以认为是突变了。

其中，所述高光信息可参考阴影信息的算法，将法线信息和5组粗糙度参数，输入到GGX微表面反射光照模型中，得到5个高光颜色值；每条相机射线仅计算一次，然后所有相机射线上的采样点共享这5个数值。

在本发明中，参见图2，所述建模网络在输入之前与体渲染连接，体渲染用于生成相机每个像素发射射线和屏幕像素颜色/>：

；

其中是相机像素点位置，即射线起点，/>是观测方向，t是行进距离；

；

其中，上述公式由等号变成了约等号，原因在于是用少量采样点来估算的值；采样点一共有N个，所有采样点的颜色贡献之和，就是屏幕像素颜色；是当前颜色的贡献系数，其中/>为其体密度，/>表示相邻两个采样点的距离；/>表示累计透射率，相当于/>是贡献出去的，那就是不透明的，/>就是透射率，所以之前i-1个点的所有透射率乘积，就是当前的累计透射率；，从形式上看，这个也是连续的累计透射率/>的离散形式；/>还是第i个粒子的颜色，通过NeRF预估出来。

优选的，所述基于神经辐射场的重新照明网络模型，其训练方法为：

步骤S10，获取数据集，将所述数据集中的物体的体密度和各视角的颜色作为真值标签；

步骤S20，利用相机对所述数据集中的物体发射射线，并获取所述射线的起点、观测方向、行近距离作为输入数据，输入至预构建的基于神经辐射场的重新照明网络模型中，得到重新照明后的物体的体密度和各视角的颜色，作为模型标签；

步骤S30，基于所述模型标签和所述真值标签，结合预构建的损失函数，修正预构建的基于神经辐射场的重新照明网络模型；

步骤S40，重复步骤S20-S30，直至得到训练好的基于神经辐射场的重新照明网络模型。

优选的，所述损失函数，其构建方法为：

；

；

；

其中，表示一条射线，/>表示每个Batch数据集中的射线集合；/>是粗粒度采样预测的屏幕像素颜色值，/>是精细采样预测的屏幕像素颜色值，/>是真实的屏幕像素颜色值；所述粗粒度采样为第一采样点，所述精细采样为第二采样点，所述/>基于体渲染获取。

上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。

本发明第二实施例的一种基于神经辐射场的重新照明系统，基于一种基于神经辐射场的重新照明方法，该系统包括：

输入数据获取模块，其配置为利用相机对待重新照明的物体发射射线，获取所述射线的起点、观测方向、行近距离，进而得到所述射线上的任一采样点的位置坐标；

重新照明模块，其配置为对任一采样点的位置坐标进行位置编码，将位置编码后的特征向量输入至训练好的基于神经辐射场的重新照明网络模型中，得到任一采样点的预测像素颜色和体密度；

所述基于神经辐射场的重新照明网络包括依次连接的建模网络和照明网络；所述建模网络基于依次连接的m个隐藏层构建；所述照明网络基于依次连接的b个隐藏层构建。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的一种基于神经辐射场的重新照明系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种电子设备，包括：

至少一个处理器；以及

与至少一个所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的一种基于神经辐射场的重新照明方法。

本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的一种基于神经辐射场的重新照明方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

下面参考图4，其示出了用于实现本申请方法、系统、设备实施例的服务器的计算机系统的结构示意图。图4示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图4所示，计算机系统包括中央处理单元(CPU，Central Processing Unit)401，其可以根据存储在只读存储器(ROM，Read Only Memory)402中的程序或者从存储部分408加载到随机访问存储器(RAM，Random Access Memory)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有系统操作所需的各种程序和数据。CPU 401、ROM 402以及RAM403通过总线404彼此相连。输入/输出(I/O，Input/Output)接口405也连接至总线404。

以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，Liquid Crystal Display)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN(局域网，Local AreaNetwork)卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于神经辐射场的重新照明方法，其特征在于，该方法包括：

利用相机对待重新照明的物体发射射线，获取所述射线的起点、观测方向、行近距离，进而得到所述射线上的任一采样点的位置坐标；

对任一采样点的位置坐标进行位置编码，将位置编码后的特征向量输入至训练好的基于神经辐射场的重新照明网络模型中，得到任一采样点的预测像素颜色和体密度；

所述基于神经辐射场的重新照明网络包括依次连接的建模网络和照明网络；所述建模网络基于依次连接的m个隐藏层构建；所述照明网络基于依次连接的b个隐藏层构建。

2.根据权利要求1所述的一种基于神经辐射场的重新照明方法，其特征在于，所述建模网络的输入为位置编码后的特征向量；

所述建模网络中的各隐藏层每层均包含a个节点且设置一个激活函数；

在第n个隐藏层与所述建模网络的输入跳跃连接，将所述建模网络的输入与第n个隐藏层的输出作为第n+1个隐藏层的输入；

第m个隐藏层的输出为对应的采样点的SDF值和具有a个节点的特征向量 。

3.根据权利要求2所述的一种基于神经辐射场的重新照明方法，其特征在于，所述照明网络中各隐藏层每层均设置a个节点、一个激活函数；

将所述、从所述SDF导出的法线/>、相机射线的当前位置/>以及编码后的相机方向/>、编码后的点光源位置/>、编码后的阴影信息/>和编码后的高光信息/>作为所述照明网络的输入；

所述照明网络的输出为预测像素颜色和体密度/>。

4.根据权利要求3所述的一种基于神经辐射场的重新照明方法，其特征在于，所述，其获取方法为：

；

其中，表示相机射线从相机位置/>，沿射线方向/>的预测像素颜色；/>表示照明网络的函数形式；相机射线/>，其中t是射线行进距离，/>是相机射线方向；，/>是生成所述SDF的建模网络，/>表示SDF函数相对于相机射线/>上采样点的坐标（x，y，z）的偏导；N是采样数量，i是第i个采样点；/>是无偏密度权重；/>为第i个采样点的阴影信息；/>为第i个采样点的高光信息。

5.根据权利要求4所述的一种基于神经辐射场的重新照明方法，其特征在于，所述和所述体密度/>，其获取方法为：

；

；

；

其中，表示透射率；/>是累计分布函数，/>是概率密度函数。

6.根据权利要求5所述的一种基于神经辐射场的重新照明方法，其特征在于，当所述待重新照明的物体为不透明物体时，所述阴影信息，其获取方法为：

；

其中，表示相机射线从相机位置/>，沿射线方向/>的深度；

将所述对应的点进行采样，并计算阴影强度值，即阴影信息/>。

7.根据权利要求5所述的一种基于神经辐射场的重新照明方法，其特征在于，当所述待重新照明的物体为半透明物体或透明物体时，所述阴影信息，其获取方法为：

将在所述射线上进行均匀采样的点，作为第一采样点，获取各所述第一采样点的贡献值，在所述贡献值大于第一预设阈值的所述第一采样点中的第一个和最后一个之间，进行重要性采样，得到第二采样点，将所述第二采样点的贡献值进行降序排列；

将降序排列后的贡献值中的，前f个贡献值的和作为总贡献值；计算所述第一采样点的贡献值分别占所述总贡献值的比例，根据所述比例计算出所述第一采样点的阴影强度值，即阴影信息。

8.根据权利要求6或7所述的一种基于神经辐射场的重新照明方法，其特征在于，所述基于神经辐射场的重新照明网络模型，其训练方法为：

步骤S10，获取数据集，将所述数据集中的物体的体密度和各视角的颜色作为真值标签；

步骤S20，利用相机对所述数据集中的物体发射射线，并获取所述射线的起点、观测方向、行近距离作为输入数据，输入至预构建的基于神经辐射场的重新照明网络模型中，得到重新照明后的物体的体密度和各视角的颜色，作为模型标签；

步骤S30，基于所述模型标签和所述真值标签，结合预构建的损失函数，修正预构建的基于神经辐射场的重新照明网络模型；

步骤S40，重复步骤S20-S30，直至得到训练好的基于神经辐射场的重新照明网络模型。

9.根据权利要求8所述的一种基于神经辐射场的重新照明方法，其特征在于，所述损失函数，其构建方法为：

；

；

；

其中，表示一条射线，/>表示每个Batch数据集中的射线集合；/>是粗粒度采样预测的屏幕像素颜色值，/>是精细采样预测的屏幕像素颜色值，/>是真实的屏幕像素颜色值；所述粗粒度采样为第一采样点，所述精细采样为第二采样点，所述/>基于体渲染获取。

10.一种基于神经辐射场的重新照明系统，基于权利要求1-9任一项所述的一种基于神经辐射场的重新照明方法，其特征在于，该系统包括：

输入数据获取模块，其配置为利用相机对待重新照明的物体发射射线，获取所述射线的起点、观测方向、行近距离，进而得到所述射线上的任一采样点的位置坐标；

重新照明模块，其配置为对任一采样点的位置坐标进行位置编码，将位置编码后的特征向量输入至训练好的基于神经辐射场的重新照明网络模型中，得到任一采样点的预测像素颜色和体密度；

所述基于神经辐射场的重新照明网络包括依次连接的建模网络和照明网络；所述建模网络基于依次连接的m个隐藏层构建；所述照明网络基于依次连接的b个隐藏层构建。