CN113379698B - 一种分步联合监督的光照估计方法 - Google Patents

Abstract

本发明设计了一种一种分步联合监督的光照估计方法，仅用单张RGB图片即可估算出图片中任意位置的光照信息。使用分步网络的结构将原始任务分解为处理相机视角内信息、预测相机视角外信息、将低动态范围图像逆映射到高动态图像这三个较为简单的子任务。使用垂线段表示预测位置来得到更加准确的变形算法，并利用曝光程度图对光照的位置和强度进行直接监督促以提高光照信息的准确性。此外还通过一个密集的光照注意力网络将光照信息共享到全景图的纹理分支，来使得生成的纹理信息与光照信息相匹配。本发明使用强度校准的算法来得到与输入图像强度匹配的HDR全景图。仅用单张RGB图片即可估算出图片中任意位置的光照信息。

Description

一种分步联合监督的光照估计方法

技术领域

本发明属于基于图像的光照估计领域，具体地指一种分步联合监督的光照估计方法，仅用单张RGB图片即可估算出图片中任意位置的光照信息。

背景技术

随着计算机技术的飞速发展，计算机视觉领域的热度也达到了前所未有的高度。光照估计能预测出照片中任意位置的光照信息，是增强现实的一项基本任务。如今，增强现实已广泛应用于许多领域中，诸如游戏，教育，医疗以及军事。光照估计是这些领域感知光照信息的第一步，光照预测的精确性将直接影响这些领域的最终生成结果。光照的表示方法主要分为利用光照模型参数化光照信息或者利用高动态范围(HDR)全景图来表示光照信息两种。由于HDR全景图相较于参数化表示方法，保存了光照的高频信息以及周围环境的纹理信息，因此能够更加准确的表示光照并且具有更广泛的应用范围。然而由于HDR全景图捕获技术尚未成熟，因此对图片中的任意位置捕获对应的HDR全景图来构造数据集将耗费巨大的人力资源和时间成本。现有方法或者借助于虚拟场景，或者通过使用变形算法处理原始全景图来获取数据集。由于虚拟场景的数据域与真实环境有较大的差异，导致训练出来的网络参数无法直接应用于现实场景。因此本发明提出了一种新的预测位置的表示方式以及对应更加准确的三维变形模型来处理真实拍摄的HDR全景图。基于深度学习的光照全景图估计主要可以分为端到端的网络结构和分步网络结构。端到端的网络结构接收单张RGB图像和插入位置作为输入，直接输出对应位置的光照全景图。分步网络结构将预测光照全景图的任务按照内部逻辑分为若干个较为简单的子任务，前一个子任务的输出是下一个子任务的输入，并且每个子任务的输出都有对应的标签来监督。由于从单张图片估计出任意位置的光照信息是一个高度不适定的任务，因此直接通过端到端方式得到光照全景图需要大量的训练数据，并且往往容易过拟合而导致输出的全景图不具备多样性和准确性。而现有的分步神经网络的方式要么对输出全景图的光照信息进行了直接监督，要么侧重于全景图的纹理信息，导致生成的光照信息不够准确，并且光照信息和纹理信息之间存在不匹配的现象。通过对现有的光照估计方法中存在的问题进行分析，我们将原始任务分为1)处理相机视角内信息2)预测相机视角外信息3)将低动态范围(LDR)图像逆映射到HDR图像这三个较为简单的子任务，并且在子任务中除了对光照信息和图片的纹理风格进行了直接监督训练外，还通过光照注意力模块来联合这两个特征分支进行联合监督训练，旨在解决现有技术无法准确估计光照信息并且光照信息与纹理信息不匹配的问题。本发明还对输出的HDR全景图进行了亮度校准，旨在解决输出的HDR全景图与输入的RGB图像亮度不一致的问题，使得输出的HDR全景图可以直接用于虚拟物体的渲染。本发明的光照估计方法属于分步网络结构，特别地在子任务中提出了光照信息和纹理信息的联合监督训练，能得到更加准确的光照估计结果。

发明内容

为了克服现有技术的缺陷，本发明提供了一种分步联合监督的光照估计方法，基于单张RGB图像，预测其中任意位置的光照信息的方法，旨在解决现有的光照估计方法中光照信息不够准确，以及光照信息和纹理信息不匹配、光照亮度与输入图片不匹配的问题。

根据本发明的分步联合监督的光照估计的基本框架，其包括相机旋转位姿的获取，输入图片的变形操作，全景图的补全网络训练，由LDR域到HDR域的逆映射网络训练以及对所有子任务网络进行联合微调训练，本发明仅仅需要单张RGB以及一个指定的预测位置作为输入。

本发明所设计的分步联合监督的光照估计方法，其特殊之处在于，包括以下步骤：

步骤S1：预测输入图片的相机旋转位姿，结合相机的焦距将输入图片反向映射回全景图；

步骤S2：使用可微三维变形操作器，根据预测的虚拟相机位置对全景图进行变形操作，得到变形后的部分LDR全景图；

步骤S3：将步骤S2生成的部分LDR全景图送入全景图补全网络来预测相机视野外的纹理信息和光照信息，两个分支通过一个密集的光照注意力模块连接进行联合监督的迭代训练，最终得到完整的LDR全景图和曝光程度图；

步骤S4：将S3步骤生成的LDR全景图和曝光程度图送入LDR到HDR的逆映射网络，得到HDR全景图，并经过迭代完成对该网络的训练；

步骤S5：对S4得到的HDR全景图进行强度校准；

步骤S6：将S1-S5中的训练好的神经网络组合，进行整体的微调训练，将单幅图片和该图片待预测光照的位置输入到训练好的网络中得到对应的HDR全景图。

进一步地，步骤S1中的相机旋转位姿估计网络的输出为四元组形式，其监督损失公式如下：

其中q表示旋转四元组的真实值，

表示神经网络预测的旋转四元组的值。

进一步地，步骤S2中，可微三维变形操作器根据表示预测位置的垂线段的上、中、下三个端点确定虚拟相机的空间坐标，通过反向映射得到变形映射关系，而后通过重采样器对原始全景图进行采样得到变形后的部分LDR全景图，其中，虚拟相机空间坐标获取具体过程如下：

用x、y表示像素坐标，X、Y、Z表示空间坐标，将线段的中点记为C，首先旋转全景图使得C的像素x坐标位于全景图的中间，并将虚拟相机的空间X坐标设置为0，将预测位置的上下端点映射到沿Y-Z平面的球面切片圆环上，并且记为T、D，为了保证虚拟相机落于全景图内部，记T、D中空间Z坐标的绝对值较小的点为P，沿P向Z轴做一条垂线PQ，则PQ与OC的交点就是该预测位置对应的虚拟相机VC的位置，具体公式表示为：

进一步地，步骤S3中先将HDR全景图的亮度调整到10e-6cd/m²～10e-1cd/m²来模拟弱光环境，然后使用Luminance HDR软件的Pattanaik映射方法得到人眼对全景图的反应图像作为HDR全景图映射到LDR的曝光程度图。

进一步地，所述步骤S3的全景图补全网络，设置了3项直接监督损失，分别为光照损失，纹理风格损失，LDR全景图损失和2项判别器损失；

光照损失的公式如下：

其中M表示曝光程度图的真实值，

表示神经网络预测的曝光程度图；

纹理风格损失的公式如下：

其中L表示LDR全景图的真实值，

表示神经网络预测的LDR全景图，

表示一个预训练好的风格神经网络中第l个激活层；

LDR全景图损失的公式如下：

两个分支的判别器损失函数分别为：

其中

表示判别器预测的真假程度值；

由上，全景图补全网络的损失函数为：

其中，β_x为损失函数的超参数。

进一步地，步骤S5中以未曝光部分的LDR图像亮度作为HDR相应区域的亮度基准来对HDR进行亮度校准，使用曝光程度图来捕获HDR映射到LDR的曝光程度，记为M；将LDR全景图记为L，原始HDR全景图记为H，经过亮度校准的HDR全景图记为H`，亮度校准算法为：

本发明的优点在于：

1、为了解决光照随着预测位置改变而改变的空间变换性并提高光照信息的准确性，本发明提出使用输入图片中的一段垂线段来表示光照预测位置，并构造对应的三维变形模型。该模型将全景图随插入位置的变形视为捕捉全景图的虚拟相机相对原点的位置改变。该模型依据物理原理，通过表示插入位置的垂线段的上、中、下三个端点的信息来确定虚拟相机的空间位置，可以得到更加准确的变形结果。

2、为了使输出的HDR全景图与输入的RGB图像亮度匹配，从而使得输出的HDR全景图可以直接用于虚拟物体的渲染，本发明提出需对输出的HDR全景图进行亮度校准。

3、基于LDR图片与HDR图片在未曝光部分的亮度值相当的现象，本发明首先获取HDR图片映射到LDR的曝光程度图，然后根据未曝光部分的LDR亮度值对输出的HDR图像进行亮度校准。此外，为了得到更加准确的光照信息，本发明将曝光程度图作为子任务的一项预测任务来对光照信息进行直接监督。

4、本发明引入光照注意力模块，对光照信息和纹理信息进行联合监督，来解决现有技术中光照信息和纹理信息不匹配的问题。

使用分步网络的结构将原始任务分解为1)处理相机视角内信息2)预测相机视角外信息3)将低动态范围LDR图像逆映射到高动态HDR图像这三个较为简单的子任务。可以完成对单幅图像中任意位置的光照估计。与现有技术相比，本发明注重于输出全景图光照信息的准确性，以及纹理信息与光照信息的匹配、光照亮度与输入图片的匹配。本发明使用垂线段表示预测位置来得到更加准确的变形算法，并利用曝光程度图对光照的位置和强度进行直接监督以提高光照信息的准确性。此外还通过一个密集的光照注意力网络将光照信息共享到全景图的纹理分支，来使得生成的纹理信息与光照信息相匹配。本发明使用强度校准的算法来得到与输入图像强度匹配的HDR全景图。

附图说明

图1为本发明的光照估计网络结构图。

图2为本发明的三维变形模型图。

具体实施方式

为进一步了解本发明的内容，使本发明的目的、技术方案及优点更加清晰明了，以下结合附图和实施例对本发明进行详细说明。应当理解的是，此处仅是对本发明进行解释而并非限定。

如图1所示，其为本实施例的光照估计网络。本实施例的相机旋转位姿估计网络由一个编码器，一个解码器和回归模块组成，输出的相机旋转位姿以四元组的形式表达。本实施例的全景图补全网络包含光照解码器和纹理解码器，它们分别预测曝光程度图和补全的LDR全景图，这两个解码器共享同一个编码器。光照解码器通过一个密集的注意力模块与纹理解码器连接。在本实施例中，光照注意力模块为一层sigmoid激活函数。本实施例的LDR到HDR域的逆映射网络由一个编码器和一个解码器组成，编码器与解码器之间通过跳跃连接层进行连接，并且LDR全景图作为最后一层网络的输入来保证纹理的准确清晰。神经网络输出的HDR全景图与曝光程度图和LDR全景图一起被送入亮度校准算法。此外，本实施例为神经网络的三个子输出图像均配置了判别器。

本实施例的一种基于单张图像的光照估计方法中，神经网络根据预测位置对原始全景图进行变形处理，在补全全景图时不仅对光照信息和纹理风格进行了直接监督来提高光照准确性，还通过光照注意力模块联合这两个分支来使得输出的纹理信息与光照信息相匹配。此外，本实施例对神经网络输出的HDR全景图进行亮度校准，使其与输入图像亮度一致。

本实施例提供了的一种分步联合监督的光照估计方法，包括以下步骤：

步骤S1：将输入图片输入预训练好的相机旋转位姿估计网络，得到表示相机旋转位姿的四元组，结合相机的焦距将输入图片反向映射回全景图。由于输入图像的视角限制，映射后得到的全景图为包含输入图片信息的部分全景图图像，输入图像视角外的信息设置为黑色，需经过后续步骤补全残缺部分。

其中，相机旋转位姿估计网络由一个编码器，一个解码器和回归模块组成，输出的相机旋转位姿以四元组的形式表达。本实施例的编码器和解码器，采用的是Image-basedLocalization using Hourglass Networks中的网络结构。关于前向映射和反向映射。前向映射是指输入图像上整数点坐标映射到输出图像非整数点坐标的位置。反向映射是指输出图像上的整数点坐标是由输入图像上非整数点的坐标位置映射得到的。相机的旋转位姿和相机的焦距代表了像素坐标系到空间坐标系的映射关系矩阵。

对相机旋转位姿的估计网络，本实施例对神经网络预测的旋转四元组进行了监督，损失公式如下：

其中q表示旋转四元组的真实值，

表示神经网络预测的旋转四元组的值。

步骤S2：使用可微三维变形操作器，根据预测的虚拟相机位置对S1步骤映射生成的部分全景图进行变形操作，得到变形后的部分LDR全景图。由于输入图像的视角限制，通过三维变形模型得到的全景图为包含变形的输入图片信息的部分全景图图像，输入图像视角外的信息设置为黑色，需经过后续步骤补全残缺部分。

其中，可微三维变形操作器根据表示预测位置的垂线段的上、中、下三个端点的位置来得到虚拟相机的空间坐标。通过反向映射得到变形映射关系，而后通过重采样器对S1步骤生成的部分全景图进行采样得到变形后的部分LDR全景图。为方便描述，用x、y表示像素坐标，X、Y、Z表示空间坐标。具体地，将线段的中点记为C，首先旋转全景图使得C的像素x坐标位于全景图的中间，并将虚拟相机的空间X坐标设置为0。如图2所示，圆表示沿Y-Z平面的球面切片。将预测位置的上下端点映射到图中所示的圆环上，并且记为T、D。为了保证虚拟相机落于全景图内部，记T、D中空间Z坐标的绝对值较小的点为P。沿P向Z轴做一条垂线PQ，则PQ与OC的交点就是该预测位置对应的虚拟相机VC的位置。

步骤S3：将S2步骤生成的部分LDR全景图送入全景图补全网络的编码器，通过补全网络的纹理解码器和光照解码器分别输出完整的LDR全景图和曝光程度图，采用一个密集的光照注意力模块将光照信息共享到纹理解码器，并经过多次的迭代完成对网络的训练。本方案中迭代的过程通过训练过程中验证集的损失函数趋势判断。当验证集的损失函数值开始有上升趋势时，证明神经网络过拟合，停止迭代，取验证集损失函数最小的那次训练网络参数。

本实施例的全景图补全网络包含光照解码器和纹理解码器，它们分别预测曝光程度图和补全的LDR全景图，这两个解码器共享同一个编码器。光照解码器通过一个密集的光照注意力模块与纹理解码器连接。在本实施例中，LDR补全网络的编解码器为U-net结构，采用instance normalization来保证图片之间的差异性，光照注意力模块为一层sigmoid激活函数。

本实施例中获取曝光程度图的方法是依据在弱光条件下，人眼视锥细胞基本不起作用，而视杆细胞仅仅对亮度敏感而对颜色和纹理均不敏感的原理。本实施例先将HDR全景图的亮度调整到10e-6cd/m²～10e-1cd/m²来模拟弱光环境，记为H。然后使用Luminance HDR软件的Pattanaik映射方法得到人眼对全景图的反应图像作为HDR全景图映射到LDR的曝光程度图，记为M。

步骤S4：将S3步骤生成的LDR全景图和曝光程度图合并成一个数组，送入LDR到HDR的逆映射网络的编码器，得到HDR全景图，并经过多次的迭代完成对网络的训练；

本实施例的LDR到HDR域的逆映射网络由一个编码器和一个解码器组成，编码器与解码器之间通过跳跃连接层进行连接，并且LDR全景图作为最后一层网络的输入来保证纹理的准确清晰。神经网络输出的HDR全景图与曝光程度图和LDR全景图一起被送入亮度校准算法。本实施例中，LDR转HDR采用的是以RES50为基础结构的编码器。

步骤S5：对S4得到的HDR全景图与S3生成的LDR全景图和曝光程度图送入亮度校准器，得到与输入图像亮度一致的HDR全景图；

将图片的LDR全景图记为L，经过亮度校准的HDR全景图记为H`，则根据HDR与LDR在未曝光区域具有相同的亮度的原理，以未曝光部分的LDR图像亮度作为HDR相应区域的亮度基准来对HDR进行亮度校准，本实施例的亮度校准算法为：

利用合成的图像和原图计算损失并进行反向传播，本实施例的网络能得到较好的训练；其中M表示曝光程度图的真实值。

步骤S6：将S1-S5中的训练好的神经网络及模块首尾连接组合成一个端到端的网络，对这个端到端的网络进行整体的微调训练，将单幅图片和预测位置输入到训练好的网络中得到对应的HDR全景图。其中，S1-S5中涉及的网络及模块具体为：S1中的相机位姿估计网络；S2中的可微三维变形操作器；S3中的LDR补全网络；S4中的LDR到HDR的逆映射网络；S5的校准模块。

对全景图补全网络，本实施例一共计算了3项直接监督损失，分别为光照损失，纹理风格损失，LDR全景图损失和2项判别器损失。

光照损失的公式如下：

其中M表示曝光程度图的真实值，

表示神经网络预测的曝光程度图。

纹理风格损失的公式如下：

其中L表示LDR全景图的真实值，

表示神经网络预测的LDR全景图，

表示一个预训练好的风格神经网络中第l个激活层，具体地，本实施例使用的风格神经网络结构为VGG19。LDR全景图损失的公式如下：

两个分支的判别器损失函数分别为：

其中

表示判别器预测的真假程度值。

综上所述，本实施例中全景图补全网络的损失函数为：

其中，β_x为损失函数的超参数。在本实施例中，β₁＝50，β₂＝50，β₃＝100。

对从LDR到HDR的逆映射网络，本实施例的损失函数为：

其中H表示HDR全景图在log域的真实值，

表示神经网络预测的HDR全景图在log域的值。

本实施例提供了一种基于单张图像的分步联合监督的光照估计方法。使用垂线段的方式表示预测位置，并根据垂线段的上、中、下三个端点的信息对输入图片进行变形处理以得到更准确的变形模型。在补全全景图的子任务中，除了使用曝光程度图对光照的位置和强度信息进行直接监督提高光照的准确性外，还使用注意力模块将光照信息共享到纹理分支，通过联合监督使得输出全景图的纹理信息与光照信息相匹配。逆映射神经网络输出的HDR全景图经过亮度校准后得到与输入图像亮度一致的结果。本实施例解决了目前光照估计中光照信息不准确，以及光照信息和纹理信息、光照强度与输入图片强度不匹配的问题。

Claims (7)

1.一种分步联合监督的光照估计方法，其特征在于，包括以下步骤：

步骤S1：预测输入图片的相机旋转位姿，结合相机的焦距将输入图片反向映射回全景图；

步骤S2：使用可微三维变形操作器，根据预测的虚拟相机位置对全景图进行变形操作，得到变形后的部分LDR全景图；

步骤S3：将步骤S2生成的部分LDR全景图送入全景图补全网络来预测相机视野外的纹理信息和光照信息，预测相机视野外的纹理信息分支和光照信息分支通过一个密集的光照注意力模块连接进行联合监督的迭代训练，最终得到完整的LDR全景图和曝光程度图；

步骤S4：将S3步骤生成的LDR全景图和曝光程度图送入LDR到HDR的逆映射网络，得到HDR全景图，并经过迭代完成对该网络的训练；

步骤S5：对S4得到的HDR全景图进行强度校准；

步骤S6：将S1-S5中的训练好的神经网络组合，进行整体的微调训练，将单幅图片和该图片待预测光照的位置输入到训练好的网络中得到对应的HDR全景图。

2.根据权利要求1所述的方法，其特征在于：

步骤S2中，可微三维变形操作器根据表示预测位置的垂线段的上、中、下三个端点确定虚拟相机的空间坐标，通过反向映射得到变形映射关系，而后通过重采样器对原始全景图进行采样得到变形后的部分LDR全景图，其中，虚拟相机空间坐标获取具体过程如下：

用x、y表示像素坐标，X、Y、Z表示空间坐标，将表示预测位置的垂线段的中点记为C，首先旋转全景图使得C的像素x坐标位于全景图的中间，并将虚拟相机的空间X坐标设置为0，将预测位置的上下端点映射到沿Y-Z平面的球面切片圆环上，并且记为T、D，为了保证虚拟相机落于全景图内部，记T、D中空间Z坐标的绝对值较小的点为P，沿P向Z轴做一条垂线PQ，则PQ与OC的交点就是该预测位置对应的虚拟相机VC的位置，具体公式表示为：

3.根据权利要求1所述的方法，其特征在于：

步骤S3中先将HDR全景图的亮度调整到10e-6cd/m²～10e-1cd/m²来模拟弱光环境，然后使用Luminance HDR软件的Pattanaik映射方法得到人眼对全景图的反应图像作为HDR全景图映射到LDR的曝光程度图。

4.根据权利要求3所述的方法，其特征在于：

全景图补全网络，设置了3项直接监督损失，分别为光照损失，纹理风格损失，LDR全景图损失和2项判别器损失；

光照损失的公式如下：

其中M表示曝光程度图的真实值，

表示神经网络预测的曝光程度图；

纹理风格损失的公式如下：

其中L表示LDR全景图的真实值，

表示神经网络预测的LDR全景图，

表示一个预训练好的风格神经网络中第1个激活层；

LDR全景图损失的公式如下：

两个分支的判别器损失函数分别为：

其中

表示判别器预测的真假程度值；

由上，全景图补全网络的损失函数为：

其中，β_x为损失函数的超参数。

5.根据权利要求1所述的方法，其特征在于：

步骤S4中LDR到HDR的逆映射网络输出的HDR全景图在log域，并且输出的HDR图像经过判别器进行监督。

6.根据权利要求5所述的方法，其特征在于：

LDR到HDR的逆映射网络，对输出的HDR全景图进行了直接监督和判别器监督；

直接监督损失函数为：

其中H表示HDR全景图在log域的真实值，

表示神经网络预测的HDR全景图在log域的值；

判别器监督损失函数为：

其中

表示判别器预测的真假程度值；

由上，LDR到HDR的逆映射网络的损失函数为：

7.根据权利要求1所述的方法，其特征在于：

步骤S5中以未曝光部分的LDR图像亮度作为HDR相应区域的亮度基准来对HDR进行亮度校准，使用曝光程度图来捕获HDR映射到LDR的曝光程度，记为M；将LDR全景图记为L，原始HDR全景图记为H，经过亮度校准的HDR全景图记为H`，亮度校准算法为：

Images