CN108364292B - 一种基于多幅视角图像的光照估计方法 - Google Patents

Abstract

一种基于多幅视角图像的光照估计方法属计算机图像处理技术领域，本发明先云重建多幅视角图像三维点，视角图像若存在镜面反射高光点，则计算得到光源数目q，将不包含高光点图像进行本征图像分解，求解照射图灰度值和Lambert模型组成的超定方程组，得到光源数目y，若q＝y直接求解超定方程组得到光源位置和强度，否则在已知部分光源位置下求解超定方程组得到光源位置及强度，当每幅视角图像中都不存在高光点时，进行本征图像分解，求解超定方程组得到光源位置及强度。本发明解决了场景同时存在镜面反射和漫反射的问题，不需任何辅助标志物或设备，对根据镜面高光点不能检测出的光源，仍能估计出准确光源位置，得到满意的虚实融合效果。

Description

一种基于多幅视角图像的光照估计方法

技术领域

本发明属计算机图像处理技术领域，具体涉及一种基于多幅视角图像的光照估计方法。

背景技术

增强现实技术是虚拟现实技术的延伸，通过计算机把生成的虚拟物体与实际场景结合起来，呈现在用户眼前，在生产和生活中的各个领域都很有应用前景。早期人们关注更多的是三维注册与虚实遮挡的问题，随着技术不断进步，解决虚实融合后的光照一致性也是首要任务。光照一致性主要分析的是场景中真实光源对虚拟物体表面面片所造成的明暗变化和阴影等。

现有的光照估计方法主要有借助辅助标志物和辅助设备两种方法。借助辅助标志物可分为基于阴影和人工放置的标志物，以此来获得真实场景中光照信息。辅助设备有深度相机、光场相机以及鱼眼相机等特殊拍摄设备。辅助设备能够提供深度、光场和全视角图像等信息，为光照估计提供了新的解决方案。

近年来，光照估计方法更多的是无需标志物或辅助设备的方法。该方法通过场景中本身存在的信息来估计光照。现有方法有假设场景物体为朗伯表面进行光照估计，该方法对于场景中存在镜面反射情况就不适用。Salma Jiddi提出了基于场景中镜面反射的高光点来计算光线的反射方向，但是针对场景中没有引起镜面反射的光源则会估计失败。

发明内容

本发明的目的是针对现有光照估计算法的局限性，提出一种基于多幅视角图像的光照估计方法，对于只存在漫反射的场景，或者同时存在镜面反射与漫反射场景，都可以进行光照估计，获得准确的结果。

本发明的基于多幅视角图像的光照估计方法，包括下列步骤：

1.1对同一相机不同视角所摄的多幅视角图像，进行三维点云重建，恢复场景中物体的遮挡关系、表面法线和不同视角的相机参数；

1.2检测每幅视角图像中是否存在镜面反射高光点，并计算高光点对应的光线入射方向，包括下列步骤：

1.2.1检测每幅视角图像中是否存在高光点的公式为：

其中：R、G、B分别代表彩色图像每个像素点的红、绿、蓝灰度值；m为图像最大灰度值；T_h为阈值，T_h≥0.8；

1.2.2计算所有高光点对应的光线入射方向L，其计算公式为：

L＝2·(V·M)·M-V

其中：V为不同视角图像对应的相机坐标系下光轴方向，M为高光点像素集中的像素点映射到三维点云的法线方向；

1.3估计光照位置及强度值：

假设光源均匀分布在以场景物体为中心的半球面上，且方向指向球心，估计光照位置及强度值时，分为同时存在镜面反射与漫反射的场景、只存在漫反射的场景,具体为：

1.3.1当场景同时存在镜面反射与漫反射，估计光照位置及强度值包括下列步骤：

1.3.1.1计算步骤1.2.2得到的所有高光点对应的光线入射方向与半球面上均匀分布的所有光源方向之间的夹角；对每个高光点选取其对应的光线入射方向与半球面上均匀分布的所有光源方向之间的夹角的最小值，将该最小值对应的半球面上光源方向，作为对应该高光点的光线入射方向，并称之为高光点半球化光源入射方向；将位置相邻的高光点半球化光源，聚集为一个待选光源集合；待选光源集合的个数设为q；

1.3.1.2筛选出所有待选光源集合中出现次数最多的高光点半球化光源，作为镜面高光点得到的光源；

1.3.1.3将多幅视角图像中不包含高光点的图像进行本征图像分解，得到表征光照信息的照射图；

1.3.1.4步骤1.3.1.3的照射图，由不包含高光点的图像分解得到，排除了镜面反射情况，故选取Lambert漫反射模型公式：

其中：I为位置x处的光强值；I_a为环境光强；N为分布在半球面上总的光源数量；

为分布在半球面上以方向ω_i入射的光源强度，n为场景中物体表面法线；V为以ω_i方向入射的光源在位置x处的是否可见项，可见则V为1，反之V为0；

将不同视角下的照射图灰度值，与Lambert漫反射模型公式联立，组成超定方程组：

其中：S为照射图灰度值；p为参与计算的不同视角下照射图总像素点数；ω_i为光源入射方向；n为场景中物体表面法线；x为场景中的位置；V为以ω_i方向入射的光源在位置x处是否可见的可见项，可见则V取1，反之V为0；N为半球面上总的光源数目；I_a为环境光强；I_i为分布在半球面上光源的强度值；通常p远大于N；求解上述超定方程组得到I_a、I₁...I_N的值；

1.3.1.5从I₁到I_N中筛选出强度值不为0的光源，记录这些光源的位置和强度值；

1.3.1.6将位置相邻的光源，聚集为一个待选光源集合；将此时的待选光源集合个数设为y；对每一个待选光源集合进行光源强度和方向的筛选，由于环境光的存在，渲染时较弱光源对结果几乎没有影响，因此，选取待选光源集合中强度值最大的光源，作为该待选光源集合的光源；

1.3.1.7比较q与y，当q＝y，则直接选取步骤1.3.1.2中由镜面高光点得到的光源，代入步骤1.3.1.4的超定方程组并求解，得到环境光和光源强度值；当q<y，则排除q个由镜面高光点得到的光源，从半球面上剩余的N-q个光源中，随机选取y-q个光源进行超定方程组求解，共需求解

次，比较每次结果的均方误差，均方误差最小时的超定方程组的解，即为环境光的强度、光源的方向和强度值；

1.3.2当场景只存在漫反射，只需执行步骤1.3.1.3-1.3.1.6，即可得到环境光的强度、光源的方向和强度值。

本发明与现有的算法相比，不再假设场景中物体为朗伯表面，很好地解决了场景同时存在镜面反射与漫反射的问题，并且不需要任何辅助标志物或者设备。对于根据镜面高光点不能检测出的光源，仍能够通过本发明的算法估计出准确光源位置，这是相对于其他算法的优越之处，并得到了令人信服的虚实融合效果。

附图说明

图1为基于多幅视角图像的光照估计方法流程图

图2为简单场景下虚实融合实验效果图

图3为复杂场景下虚实融合实验效果图

图2和图3中：(a)表示实际场景图像，(b)表示只通过镜面高光估计的虚实融合结果，(c)表示只采用漫反射估计光照算法得到的虚实融合结果，(d)表示利用本发明方法虚实融合后的效果图

具体实施方式

本发明的核心内容在于：对于只存在漫反射的场景或者同时存在镜面反射与漫反射场景都能够进行光照估计，在同时存在镜面反射与漫反射场景中综合了已有算法优点，以镜面反射提供的信息为已知条件再次使用漫反射估计方法来修正结果。

为使本发明的目的，技术方案和优点更加清楚，下面结合附图及实例做进一步的详细叙述：

本发明的基于多幅视角图像的光照估计方法，包括下列步骤：

1.1对同一相机不同视角所摄的多幅视角图像，进行三维点云重建，恢复场景中物体的遮挡关系、表面法线和不同视角的相机参数；

1.2检测每幅视角图像中是否存在镜面反射高光点，并计算高光点对应的光线入射方向，包括下列步骤：

1.2.1检测每幅视角图像中是否存在高光点的公式为：

其中：R、G、B分别代表彩色图像每个像素点的红、绿、蓝灰度值；m为图像最大灰度值；T_h为阈值，T_h≥0.8；

1.2.2计算所有高光点对应的光线入射方向L，其计算公式为：

L＝2·(V·M)·M-V

其中：V为不同视角图像对应的相机坐标系下光轴方向，M为高光点像素集中的像素点映射到三维点云的法线方向；

1.3估计光照位置及强度值：

假设光源均匀分布在以场景物体为中心的半球面上，且方向指向球心，估计光照位置及强度值时，分为同时存在镜面反射与漫反射的场景、只存在漫反射的场景,具体为：

1.3.1当场景同时存在镜面反射与漫反射，估计光照位置及强度值包括下列步骤：

1.3.1.1计算步骤1.2.2得到的所有高光点对应的光线入射方向与半球面上均匀分布的所有光源方向之间的夹角；对每个高光点选取其对应的光线入射方向与半球面上均匀分布的所有光源方向之间的夹角的最小值，将该最小值对应的半球面上光源方向，作为对应该高光点的光线入射方向，并称之为高光点半球化光源入射方向；将位置相邻的高光点半球化光源，聚集为一个待选光源集合；待选光源集合的个数设为q；

1.3.1.2筛选出所有待选光源集合中出现次数最多的高光点半球化光源，作为镜面高光点得到的光源；

1.3.1.3将多幅视角图像中不包含高光点的图像进行本征图像分解，得到表征光照信息的照射图；

1.3.1.4步骤1.3.1.3的照射图，由不包含高光点的图像分解得到，排除了镜面反射情况，故选取Lambert漫反射模型公式：

其中：I为位置x处的光强值；I_a为环境光强；N为分布在半球面上总的光源数量；

为分布在半球面上以方向ω_i入射的光源强度，n为场景中物体表面法线；V为以ω_i方向入射的光源在位置x处的是否可见项，可见则V为1，反之V为0；

将不同视角下的照射图灰度值，与Lambert漫反射模型公式联立，组成超定方程组：

其中：S为照射图灰度值；p为参与计算的不同视角下照射图总像素点数；ω_i为光源入射方向；n为场景中物体表面法线；x为场景中的位置；V为以ω_i方向入射的光源在位置x处是否可见的可见项，可见则V取1，反之V为0；N为半球面上总的光源数目；I_a为环境光强；I_i为分布在半球面上光源的强度值；通常p远大于N；求解上述超定方程组得到I_a、I₁...I_N的值；

1.3.1.5从I₁到I_N中筛选出强度值不为0的光源，记录这些光源的位置和强度值；

1.3.1.6将位置相邻的光源，聚集为一个待选光源集合；将此时的待选光源集合个数设为y；对每一个待选光源集合进行光源强度和方向的筛选，由于环境光的存在，渲染时较弱光源对结果几乎没有影响，因此，选取待选光源集合中强度值最大的光源，作为该待选光源集合的光源；

1.3.1.7比较q与y，当q＝y，则直接选取步骤1.3.1.2中由镜面高光点得到的光源，代入步骤1.3.1.4的超定方程组并求解，得到环境光和光源强度值；当q<y，则排除q个由镜面高光点得到的光源，从半球面上剩余的N-q个光源中，随机选取y-q个光源进行超定方程组求解，共需求解

次，比较每次结果的均方误差，均方误差最小时的超定方程组的解，即为环境光的强度、光源的方向和强度值；

1.3.2当场景只存在漫反射，只需执行步骤1.3.1.3-1.3.1.6，即可得到环境光的强度、光源的方向和强度值。

下面以具体的测试来验证本发明提供的基于多幅视角图像的光照估计方法的可行性。将本发明方法分别与假设场景物体全部为朗伯表面的算法和只考虑镜面高光点的算法在虚实融合效果上作比较(测试样本由手持相机拍摄)。

1.工作条件：

本发明的实验平台采用Intel(R)Core(TM)i3-2100 CPU@3.10GHz 3.10GHz，内存为2GB，运行WindowsXP的PC机，编程语言为MATLAB语言。

2.实验内容与结果分析：

如图2所示，图2(a)为真实场景物体，图2(b)为使用只通过镜面高光估计的光源进行虚实融合的结果，其中箭头所指的长方体为虚拟物体。由于拍摄多视角图像过程中，只得到了一个光源的镜面现象，如图2(a)所示，因此只能在最后结果中估计出一个光源方向。图2(c)为只采用漫反射估计光照的算法得到的虚实融合结果，在复杂光源情况下，估计结果会有误差。图2(d)为使用本发明的方法得到的虚实融合结果，可以看出具有更加准确的光照估计结果。

在更加复杂的场景下，图3(a)为真实场景，图3(b)为使用只通过镜面高光估计的光源进行虚实融合的结果，其中箭头所指黑框中的长方体为虚拟物体，只能得到一个方向的光源估计。图3(c)为只采用漫反射估计光照的算法得到的虚实融合结果，阴影方向上仍有偏差。图3(d)为使用本发明的方法得到的虚实融合结果，可以看出所渲染出的阴影方向更加准确。

由以上实验结果表明，本发明以镜面反射提供的信息为已知条件，再次使用漫反射估计方法来修正结果，从而得到了更逼真的虚实融合效果，解决了原有算法中场景物体为朗伯表面的假设，以及单独镜面反射估计光照的局限性。同时，本发明可以应用于只存在漫反射的场景，或者同时存在镜面反射与漫反射的场景，适用性较广，优于其他光照估计方法。

Claims (1)

1.一种基于多幅视角图像的光照估计方法，其特征在于包括下列步骤：

1.1对同一相机不同视角所摄的多幅视角图像，进行三维点云重建，恢复场景中物体的遮挡关系、表面法线和不同视角的相机参数；

1.2检测每幅视角图像中是否存在镜面反射高光点，并计算高光点对应的光线入射方向，包括下列步骤：

1.2.1检测每幅视角图像中是否存在高光点的公式为：

其中：R、G、B分别代表彩色图像每个像素点的红、绿、蓝灰度值；m为图像最大灰度值；T_h为阈值，T_h≥0.8；

1.2.2计算所有高光点对应的光线入射方向L，其计算公式为：

L＝2·(V·M)·M-V

其中：V为不同视角图像对应的相机坐标系下光轴方向，M为高光点像素集中的像素点映射到三维点云的法线方向；

1.3估计光照位置及强度值：

假设光源均匀分布在以场景物体为中心的半球面上，且方向指向球心，估计光照位置及强度值时，分为同时存在镜面反射与漫反射的场景、只存在漫反射的场景,具体为：

1.3.1当场景同时存在镜面反射与漫反射，估计光照位置及强度值包括下列步骤：

1.3.1.1计算步骤1.2.2得到的所有高光点对应的光线入射方向与半球面上均匀分布的所有光源方向之间的夹角；对每个高光点选取其对应的光线入射方向与半球面上均匀分布的所有光源方向之间的夹角的最小值，将该最小值对应的半球面上光源方向，作为对应该高光点的光线入射方向，并称之为高光点半球化光源入射方向；将位置相邻的高光点半球化光源，聚集为一个待选光源集合；待选光源集合的个数设为q；

1.3.1.2筛选出所有待选光源集合中出现次数最多的高光点半球化光源，作为镜面高光点得到的光源；

1.3.1.3将多幅视角图像中不包含高光点的图像进行本征图像分解，得到表征光照信息的照射图；

1.3.1.4步骤1.3.1.3的照射图，由不包含高光点的图像分解得到，排除了镜面反射情况，故选取Lambert漫反射模型公式：

其中：I为位置x处的光强值；I_a为环境光强；N为分布在半球面上总的光源数量；

为分布在半球面上以方向ω_i入射的光源强度，n为场景中物体表面法线；V为以ω_i方向入射的光源在位置x处的是否可见项，可见则V为1，反之V为0；

将不同视角下的照射图灰度值，与Lambert漫反射模型公式联立，组成超定方程组：

其中：S为照射图灰度值；p为参与计算的不同视角下照射图总像素点数；ω_i为光源入射方向；n为场景中物体表面法线；x为场景中的位置；V为以ω_i方向入射的光源在位置x处是否可见的可见项，可见则V取1，反之V为0；N为半球面上总的光源数目；I_a为环境光强；I_i为分布在半球面上光源的强度值；通常p远大于N；求解上述超定方程组得到I_a、I₁...I_N的值；

1.3.1.5从I₁到I_N中筛选出强度值不为0的光源，记录这些光源的位置和强度值；

1.3.1.6将位置相邻的光源，聚集为一个待选光源集合；将此时的待选光源集合个数设为y；对每一个待选光源集合进行光源强度和方向的筛选，由于环境光的存在，渲染时较弱光源对结果几乎没有影响，因此，选取待选光源集合中强度值最大的光源，作为该待选光源集合的光源；

1.3.1.7比较q与y，当q＝y，则直接选取步骤1.3.1.2中由镜面高光点得到的光源，代入步骤1.3.1.4的超定方程组并求解，得到环境光和光源强度值；当q<y，则排除q个由镜面高光点得到的光源，从半球面上剩余的N-q个光源中，随机选取y-q个光源进行超定方程组求解，共需求解

次，比较每次结果的均方误差，均方误差最小时的超定方程组的解，即为环境光的强度、光源的方向和强度值；

1.3.2当场景只存在漫反射，只需执行步骤1.3.1.3-1.3.1.6，即可得到环境光的强度、光源的方向和强度值。

Images