CN112381917B - 一种基于平行光类比的主动光照重现方法 - Google Patents

Abstract

本发明公开了一种基于平行光类比的主动光照重现方法，以实现对光照差异鲁棒的物理真实的相机空间位姿恢复光照，该方法通过主动光照重现模型实现如下步骤：在开始光照重现任务前，对参考图像中观测的场景在不同光照条件下进行多次拍摄，得到一个场景图像集；利用场景图像集和参考图像计算得出场景的表面结构和反射率，以及参考图像中的光照信息；由此可以计算得到当前图像中的光照信息；将当前光和参考光渲染到两个相同的具有漫反射材质的单位球上，并根据当前光和参考光对单位球的渲染差异，计算获得光源运动的指导信息；最终根据运动指导信息控制光源运动实现光照条件重现；本发明能够保证光照重定位的实时进行。

Description

一种基于平行光类比的主动光照重现方法

技术领域

本发明属于人工智能、计算机视觉领域，涉及主动视觉技术，具体为一种基于平行光类比的主动光照重现方法。

背景技术

成像光照重现，旨在物理真实地将成像时的光照条件恢复到与拍摄参考图像时一致。在表面材质信息获取，历史文化遗产预防性保护，微小变化检测等计算机视觉领域的问题中，都扮演着重要的角色。

虽然目前对于光照重现问题的解决方法有很多种，但是他们基本都是基于合成(或者说虚拟)光源重现，也就是说将参考图像作为输入，以此为根据被动地虚拟合成目标光照条件。这种光照重现方法侧重于保证当前图像的视觉效果和参考图像一致，并不具备物理真实性，这会对光照重现造成不可避免的误差。并且，目前效果较好的虚拟合成光照重现技术需结合深度学习方法，因此通常需要至少数百张在多种光照条件下图像作为训练数据，此外这些方法也需要使用复杂的光照模型和大量的计算量来保证光照重现的准确度。综上，现有虚拟光照重现方法无论从精度还是速度上都存在不足。

发明内容

本发明提供了一种基于平行光类比的主动光照重现方法，利用少量多光照条件的场景图像和参考图像计算参考图像中的光照以及当前光照之间的差异，以此指导主动光源的位置调整，大幅减少了现有光照重现算法对输入图像数量的要求，同时有效减少了光照重现过程的时间花费，并且保证了光照重现的物理真实性。作为一种数据获取手段，可以有效提高针对高值场景(如文物等)的微小变化检测的精确度。

本发明是通过以下技术方案实现的：

一种基于平行光类比的主动光照重现方法，所述方法通过主动光照重现模型减少对输入图像数量要求，所述主动光照重现模型包括以下步骤：

步骤一，对参考图像中的场景在不同光照条件下进行多次拍摄，得到图像集

步骤二，根据参考图像I^ref和图像集

计算图像中的场景法线信息N、反射率信息R、以及光照信息L^ref。

步骤三，根据场景法线信息N和反射率信息R，计算当前图像I_t中的光照信息

步骤四，将当前光和参考光渲染到两个相同的具有漫反射材质的单位球上，得到两个实时光照重现导航球B_ref和B_t。

步骤五，根据当前光和参考光对单位球的渲染差异，以及

L^ref之间的距离，获得最终指导光源运动的位移方向向量m_t和位移距离向量λ_t。

步骤六，判断光源重现过程是否完成；若重现完成则终止；若未完成则重复迭代步骤一至步骤六。

本发明提供的技术方案的有益效果是：

1、本发明在光照重现过程中，利用主动视觉技术，根据参考光和当前光的差异来指导光源位姿的调整，而非被动地对光照进行虚拟合成，可以大幅减少算法对输入图像的数量要求，减少了准备工作的时间。主动光照重现还可以保证重现结果的物理真实性，提高了光照重现结果的准确度。

2.本发明使用的光照模型为平行光模型，反射模型为漫反射模型，简单的计算模型大幅减少了光照重现的计算量，可以满足主动光源调整进行实时导航的速度要求。

附图说明

图1为一种基于平行光类比的主动光照重现方法的流程图；

图2为本发明方法与现有最优方法的实验结果比较

具体实施方式

下面结合附图对本发明中的技术方案进行清楚、完整地描述。基于本发明中的技术方案，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明通过主动光照重现模型减少对输入图像数量要求，以实现物理真实的光照成像条件恢复；所述主动光照重现模型通过如下步骤实现：

在开始光照重现任务前，对参考图像中观测的场景在不同光照条件下进行多次拍摄，得到一个场景图像集；利用场景图像集和参考图像计算得出场景的表面结构和反射率，以及参考图像中的光照信息；由于场景的结构变化通常很小，可以认为当前图像与参考图像中的场景具有相同的结构和反射率，由此可以计算得到当前图像中的光照信息；将当前光和参考光渲染到两个相同的具有漫反射材质的单位球上，并根据当前光和参考光对单位球的渲染差异，计算获得光源运动的指导信息；最终根据运动指导信息控制光源运动实现光照条件重现；具体为：

(一)场景中法线信息N、反射率信息R、以及光照信息L^ref的获取

光照重现过程开始前，获取待监测场景中的法线信息N、反射率信息R、以及光照信息L^ref。具体步骤如下：

(1)分别在K种不同的光照条件下，获取K张场景的图像，得到图像集

说明1：图像集

的获取

一般选取K＝12，使用面光源(如面光板)分别于1-12点时钟方向对场景进行主动照明并分别获取场景图像。

(2)根据

中的K张图像和参考图像I^ref，计算监测场景中的法线信息N、反射率信息R、以及光照信息L^ref。

说明2：法线信息N、反射率信息R、以及参考光照信息L^ref的计算

第1步：根据

对

中的K张图像和参考图像I^ref进行图像分解，获取图像的阴影信息S、反射率信息R。

第2步：利用得到的K+1张阴影图像S，根据无标定的光度立体算法LDR，计算获得场景中的法线信息N，以及参考图像中的光照信息L^ref。

(二)实时光照重现导航球B^ref和B_t的获取

获得实时光照重现导航球B^ref和B_t具体方法为：

(1)将参考光L^ref和当前光

渲染到两个相同的漫反射单元球上，得到实时光照重现导航球B^ref和B_t。

(2)在两个导航球上分别获得导航圆C_ref和C_t。

说明3：实时光照重现导航圆C^ref和C_t 的获取

第1步：根据平行光模型和朗勃反射模型，使用参考光L^ref和当前光

渲染到两个相同的漫反射单元球上，得到实时光照重现导航球B^ref和B_t。

第2步：设定一个阈值T,将B^ref和B_t上像素值等于T(可以设置为所有像素值的中值)的像素点选中，在两个导航球上分别获得像素点集合C_ref和C_t。根据朗勃成像模型S＝NL，像素点的集合C^ref和C_t总是呈现为圆形。

(三)获得指导光源运动的信息

根据当前光和参考光对单位球的渲染差异，以及

L^ref之间的距离，获得最终指导光源运动的位移方向向量m_t和位移距离向量λ_t的具体方法为：

(1)计算导航圆形C^ref和C_t的面积A^ref和A_t，A^ref和A_t能够体现光源到场景的距离，然后构造向量

和向量

其中θ和

分别为球坐标系中的仰角和方位角。

(2)计算

其中sgn为符号函数，获取位移方向向量m_t。

(3)λ_t满足如下公式：

其中，

表示第t次迭代向量λ_t中3个值r，θ，

中的一个，

表示第t次迭代向量m_t中3个值r，θ，

中的一个。μ是加速率系数，实验显示设置为1.2较为合适。迭代的初始值λ₀需要人为设定。

说明4：场景中球坐标系的建立

第1步：球坐标系的ZY面与场景成像平面重合。

第2步：Y轴为水平方向。

第3步：场景成像中心与相机中心的连线为X轴方向。

说明5：光源位姿和光源位移的表示

第1步：光源的位姿使用球坐标向量

表示，r为光源到球坐标系原点的距离，θ和

分别为球坐标系的仰角和方位角。

第2步：光源的位移信息使用Δρ＝diag(λ_t)m_t表示，diag(λ_t)为对角矩阵化后的位移距离向量λ_t。

(五)判断主动光源重现是否完成

判断主动光源重现过程是否完成的具体方法为：

为了避免场景结构差异给对当前光的重现效果的评价造成影响，本方法根据导航球B^ref和B_t上的导航圆形C^ref和C_t的重合度来评价光源重现的效果。

说明5：C^ref和C_t 的重合度的计算

第1步：根据公式：

计算光照重现效果评价参数g_t。其中A(reg(C_t)∩reg(C^ref))指导航圆形C^ref和C_t相交区域的面积，A(reg(C_t)∪reg(C^ref))指导航圆形C^ref和C_t合并区域的面积。

第2步：当某一次迭代中的g_t大于设定的阈值η时，光照重现结束

下面结合具体实例对本发明方法进行可行性验证，详见下文描述：

实验使用佳能5DMarkⅢ相机获取图像，对于同一场景，分别使用一个灯泡和一个手持LED面光板分别作为近场点光源和近场小型面光源。实验在13个场景下进行(S1-S13)，场景S1-3、S11和S13中主要为近朗勃平面，其他场景中包含非朗勃平面(如镜面)等。实验中还使用了消费级机械臂，证明了主动光照重现算法实现全自动化的可行性。在场景S1-10中，使用点光源进行光源重现前的多光照图像采集，场景S11-13中，这一过程使用的是手持LED面光源。在全部13个场景中，实验都使用手持光源的方法进行主动光源重现(ALR_H)，由于实验使用的机械臂只有三个自由度，对面光源的朝向调整效果不理想，所以实验在场景S11-13中不使用机械臂(ALR_R)。

结果类比选取主动光源重现过程花费的时间和光源重现后拍摄图像与参考图像之间的均方误差(MSE)、峰值信噪比(PSNR)、结构相似性(SSIM)、多层级结构相似性(MS-SSIM)作为评估光源重现方法的指标。

在重现速度上，本方法和最优的方法HSH算法在不同场景下光源重现的结果表明：本方法的重现时间平均只需要3分钟(包括前期获取多光照条件图像花费的时间)，而其他算法都至少需要30分钟。

在重现结果的准确度上，根据图2的实验结果显示，无论在什么场景下，本方法的重现结果都要比现有最优方法更加准确；比较手持光源(ALR_H)和机械臂调整光源(ALR_R)，可以发现除了场景8，机械臂的准确性都要更好，这是因为机械臂比人力更加稳定。本方法在时间性能和光源重现精度方面均体现了显著的优越性。因此，可以表明发明方法的可行性和优越性。

Claims (5)

1.一种基于平行光类比的主动光照重现方法，其特征在于，所述方法通过主动光照重现模型减少对输入图像数量要求，以实现物理真实的光照成像条件恢复；所述主动光照重现模型通过如下步骤实现：

步骤一，对参考图像中的场景在不同光照条件下进行多次拍摄，得到图像集

步骤二，根据参考图像I^ref和图像集

计算图像中的场景法线信息N、反射率信息R、以及光照信息L^ref；

步骤三，根据场景法线信息N和反射率信息R，计算当前图像I_t中的光照信息

步骤四，将当前光和参考光渲染到两个相同的具有漫反射材质的单位球上，得到两个实时光照重现导航球B^ref和B_t；其中：

401、实时地将参考光L^ref和当前光

渲染到两个相同的漫反射材质的单位球上，得到实时光照重现导航球B_ref和B_t；

402、设定一个阈值T,将B^ref和B_t上像素值等于T的像素点选中，其中T表示图像中所有像素值的中值，在两个导航球上分别获得导航圆形C^ref和C_t；

步骤五，根据当前光和参考光对单位球的渲染差异，获得最终指导光源运动的位移方向向量m_t和位移距离向量λ_t；其中：

501、计算导航圆形C_ref和C_t的面积A_ref和A_t，A_ref和A_t能够体现光源到场景的距离，然后构造向量

和向量

其中θ和

分别为球坐标系中的仰角和方位角；

502、计算

其中sgn为符号函数，获取位移方向向量m_t；

503、λ_t满足如下公式：

其中，

表示第t次迭代向量λ_t中3个值r，θ，

中的一个，

表示第t次迭代向量m_t中3个值r，θ，

中的一个。μ是加速率系数，迭代的初始值λ₀需要人为设定；

步骤六，判断光源重现过程是否完成，若重现完成则终止；若未完成则重复迭代步骤三至步骤六。

2.根据权利要求1所述的一种基于平行光类比的主动光照重现方法，其特征在于，对参考图像中的场景在不同光照条件下进行多次拍摄，得到图像集

的具体方法为：

在主动光源重现算法开始前，分别为场景提供K种不同的光照条件，并各自获取场景的图像，得到图像集

在实际操作中已经证实，K值取12就能够满足重现条件。

3.根据权利要求1所述的一种基于平行光类比的主动光照重现方法，其特征在于，根据参考图像I^ref和图像集

计算图像中的场景法线信息N、反射率信息R、以及光照信息L^ref的具体方法为：

利用参考图像和场景图像集

共K+1张图像，根据平行光模型以及,求解场景的表面法线信息N和反射率信息R、以及参考光信息L^ref；平行光模型可表示为

其中S＝NL，运算符号

表示逐元素相乘公式中的I表示任意一张待计算图像，S和L分别表示图像I对应的阴影信息和光照参数，R和N分别表示场景法线信息和反射率信息。

4.根据权利要求1所述的一种基于平行光类比的主动光照重现方法，其特征在于，根据场景法线信息N和反射率信息R，计算当前图像I_t中的光照信息

的具体方法为：

(1)参考图像和当前图像中的场景结构信息变化很小，可以认为当前图像中的N和R与参考图像相同；

(2)利用场景的表面法线信息N和反射率信息R,根据公式

可求得阴影信息S，其中运算符号

表示逐元素相乘；然后再根据公式

可求解求当前图像中的光照信息

此处I_t表示当前时刻相机获取图像。

5.根据权利要求1所述的一种基于平行光类比的主动光照重现方法，其特征在于，判断光源重现过程是否完成的具体方法为：

根据公式：

计算光照重现效果评价参数g_t；其中A(reg(C_t)∩reg(C_ref))指导航圆形C_ref和C_t相交区域的面积，A(reg(C_t)∪reg(C_ref))指导航圆形C_ref和C_t合并区域的面积；当某一次迭代中的g_t大于设定的阈值η时，光照重现结束。

Images