CN109523617A - 一种基于单目摄像机的光照估计方法 - Google Patents

Abstract

本发明涉及计算机图形学，为基于单目摄像机的光照估计方法，包括以下步骤：单目摄像机采集RGB图像，作为深度估计的输入；构建用于单目摄像机深度估计的卷积神经网络并进行训练；将RGB图像输入到训练好的卷积神经网络进行深度估计，得到深度预测值，输出深度预测图；将深度预测值进行上采样，使深度预测图的尺寸与RGB图像相匹配，将上采样后的深度预测值作为光照估计的输入；将RGB图像转换到CIELab颜色空间下，其中的亮度通道信息作为光照估计的输入；利用亮度通道信息、深度预测值进行光照估计，将得到真实场景各方向光源信息的球谐函数系数。该方法通过单目摄像机获取真实场景中各方向光源信息，有效提高AR技术中渲染虚拟物体的逼真效果。

Description

一种基于单目摄像机的光照估计方法

技术领域

本发明涉及计算机图形学、人工智能领域，具体涉及一种基于单目摄像机的光照估计方法。

背景技术

现有用于光照估计的技术，主要有两大类。一类是借助鱼眼相机、深度相机等外部硬件设备来获取额外的场景信息，从而估计真实场景的光照条件。这类光照估计技术需要借助外部硬件设备，无疑会增加光照估计的成本，而且手机等移动设备需要考虑便携性，几乎不可能配置这些硬件设备。另一类是在场景中放置一些已知反射特性的规则物体并对其拍摄，根据图像中规则物体的光照效果估计出光照信息；这些规则物体称为光照探针。这类采用光照探针的估计方法，需要放置规则几何体到镜头中，那么拍摄出来的图像必定会包含这些几何体，这种方法会破坏真实场景的原始图像信息，故称为侵入式。

增强现实(Augmented Reality，简称AR)技术如今广泛应用于手机等移动设备中，AR 技术需要我们将虚拟物体无缝嵌入(绘制)到真实场景中，要绘制出逼真的效果就需要给虚拟物体渲染恰当的光照效果。当前主流的增强现实技术只实现了对给定摄像头图像中环境光强度的粗略估计(如Google公司的ARCore平台)，无法估计真实环境中的各个方向上的光源信息。也有部分研究可以估计真实环境中各个方向上的光源信息，但是必须借助外部硬件设备或者侵入到镜头中的光照探针来捕捉光照信息。然而现有光照估计技术局限于额外的硬件设备或者侵入式的光探针，不适用于仅有单目摄像机的移动设备中。

发明内容

为解决现有技术所存在的技术问题，本发明提供一种基于单目摄像机的光照估计方法，采用基于人工智能的单目摄像机深度估计技术，利用估计到的深度信息，结合图像中的亮度等信息求解光照信息，最后在虚拟物体上重现出这些光照信息；该方法通过单目摄像机获取真实场景中各个方向的光源信息，能有效提高AR技术中渲染虚拟物体的逼真效果。

本发明采用以下技术方案来实现：一种基于单目摄像机的光照估计方法，包括以下步骤：

第一步、单目摄像机采集RGB图像，作为深度估计的输入；

第二步、构建用于单目摄像机深度估计的卷积神经网络，对卷积神经网络进行训练；将 RGB图像输入到训练好的卷积神经网络进行深度估计，得到深度预测值，输出深度预测图；

第三步、将深度预测值进行上采样，使得深度预测图的尺寸与RGB图像相匹配，将上采样后的深度预测值作为光照估计的输入；

第四步、将单目摄像机采集的RGB图像转换到CIELab颜色空间下，其中的亮度通道信息作为光照估计的输入；利用CIELab颜色空间下的亮度通道信息、深度估计到的深度预测值进行光照估计，将得到真实场景各方向光源信息的球谐函数系数。

本发明与现有技术相比，具有如下优点和有益效果：

1、现有技术依赖于深度摄像机获取的深度信息；本发明不需要深度摄像机，只使用单目摄像机，利用预训练好的卷积神经网络直接从RGB图像中实时估计深度等信息，对预测深度图进行尺寸调整等操作后，结合基于球谐函数的光照估计方法，估计出真实场景各个方向上的光照信息，摆脱了深度摄像机和光照探针的限制。

由于只需要单目摄像机即可获取真实场景的光照信息，因此本发明方便部署于只有单目摄像机的移动设备上。

2、现有技术需要光照探针来捕捉光照信息，且只能粗略估计给定摄像头图像中环境光强度和平均色温(色温表示光线中包含颜色成分的一个计量单位)；本发明不需要额外的光照探针来获取光源信息，能估计出现有AR技术中尚未完善的基于单目摄像机、无需光照探针的各方向的光源信息。

3、本发明还提出了深度参考模板，因为深度预测图不可避免地会有细节上的深度误差，将深度预测图中误差较大的区域标志出来，可以提高光照估计时的采样点有效性，避免深度预测图细节部分精度不够高而影响到最终的光照估计结果的问题。

附图说明

图1是本发明方法的总流程图；

图2是卷积神经网络结构图；

图3是本发明光照估计环节的子流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

本实施例中，基于单目摄像机的光照估计方法整体流程如图1所示，包括以下步骤：

第一步、单目摄像机采集RGB图像，作为深度估计的输入；

第二步、构建用于单目摄像机深度估计的卷积神经网络，使用公开数据集对卷积神经网络进行训练；将RGB图像输入到参数已经训练好的卷积神经网络进行深度估计，得到深度预测值，输出深度预测图；

本步骤的深度估计过程中，首先构建一个卷积神经网络来预测单目RGB图像中的深度信息，而训练数据是来自KITTI公开数据集，是带深度标注的RGB图像集合。训练完成后，输入一张RGB图像，实时输出带深度信息的RGBD图像。通过图2所示的卷积神经网络来推断深度信息，卷积神经网络主要包括网络前端的卷积层和全连接层，每个卷积层的后面还增加池化层以降低训练的参数数量。深度估计的具体步骤如下：

S21、网络前端的卷积层用于提取图像中不同种类的特征信息，高层全连接层用于包含整张图像的视野，并输出深度预测值。

卷积神经网络中，所有的隐藏神经单元使用修正线性激活函数，最后的输出层是使用线性激活函数。

S22、对于预测深度y和真实深度y*，定义尺度不变均方误差：

其中：

通过对比输出像素点i、j的关系来表示误差，并令d_i＝logy_i-logy^*为像素点i预测值和ground truth(真实值)的差别，有以下等价定义：

损失函数：

S23、使用随机梯度下降法调整卷积神经网络参数使得损失函数达到最优。

第三步、将深度预测值进行上采样，使得深度预测图的尺寸与RGB图像相匹配，将上采样后的深度预测值作为光照估计的输入；

深度估计部分只需要进行场景深度的粗略估计，忽略细节部分的精细估计，这是基于两个因素：一是深度信息只是用来辅助光照估计，并不要求高精度的深度信息；二是光照估计只需要采样部分像素点来进行估计，所以可以容忍细节部分的深度误差。因此，需要对上一步粗略预测得到的深度图进行预处理，即光照估计之前的预处理，其步骤如下：

S31、由于所得深度预测值为粗略结果，因此在边缘部分(细节部分)深度信息的误差较大，故边缘部分深度信息不宜作为深度参考。沿着深度预测图的边缘产生半径为r的区域，标志区域内的像素点为不可作为深度参考的像素点，从而产生一个与深度预测图相同尺寸的模板图像M。边缘指的是图像中相邻像素点变化明显的区域。

S32、为了降低卷积神经网络的训练难度，深度估计部分输出的深度预测图尺寸会低于原始图像，此处需要对深度预测图进行上采样使得深度预测图与原始图像的尺寸一致。

S33、深度估计处理过程中产生的及所输出的都为对数域的深度预测值，因而需要将对数域的深度预测值转换为一般数域下的深度值，以用于后续的处理流程。

第四步、如图3所示，将单目摄像机采集的RGB图像转换到CIELab颜色空间下，其中的亮度通道信息作为光照估计的输入；利用CIELab颜色空间下的亮度通道信息、深度估计到的深度预测值进行光照估计，将得到真实场景各方向光源信息的球谐函数系数；球谐函数由一组带系数的正交基底函数组成，可以用来表示复杂的光源信息。

本实施例在光照估计的过程中，采用球谐函数作为光照条件的表示方式，利用球谐函数可以将各个方向上复杂光照条件简化为几个系数。光照估计的具体步骤如下：

S41、将RGB图像转换到CIELab颜色空间下，以便取得亮度信息。

S42、选用带阴影的漫反射光照模型，物体上x点的渲染结果L为：

其中，L_i(x,ω_i)为ω_i方向上的入射光，V为可见性函数，N为x点法线，V、N都可以通过深度信息运算得出，为x点简化的BRDF系数。

漫反射光照模型中的辐射传输项为：

R_DS＝V(ω_i)max(N_x·ω_i,0)

漫反射光照模型中，除了辐射传输项之外，其余部分为光照项。

S43、把辐射传输项投影成球谐系数：

x_j为球谐函数采样点，N为采样点数目，Y为球谐函数基底。

S44、利用球谐函数的正交性，将积分形式的渲染结果L转化为其子项的球谐函数系数的点乘形式，物体上x点的光照结果如下：

其中，c为对应的球谐函数系数，k为球谐函数所用的频带数，I不包含BRDF项，I(x)可以通过亮度获得，可以从深度信息中获得。

S45、从Z个采样点中求解以下超定方程组Ay＝b，即可获得光源的球谐函数的系数 A是Z个采样点对应的球谐系数矩阵，每个采样点都有k²个辐射传输的球谐系数。其中，采样点亮度过低或者在模板M(光照估计预处理过程中产生)中被标记为不可做深度参考的采样点，则视为无效采样点，需要重新选择采样点，直到采样点数目达Z个。

为了提高移动设备的实时性，对漫反射光照模型部分做了以下简化：

假设真实场景的物体表面为Lambert朗伯材质，即理想的漫反射材质。这样其BRDF系数才可以用来表示。

第五步、最后利用上一步得到的光源信息，在虚拟物体上复现，渲染虚拟物体。

渲染虚拟物体的步骤，具体如下：

S51、通过球谐基底函数与对应的系数相乘得到重现的光照：

其中，c对应了上一步估计得到的光照项的球谐函数系数。

S52、最终的渲染结果：

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于单目摄像机的光照估计方法，其特征在于，包括以下步骤：

第一步、单目摄像机采集RGB图像，作为深度估计的输入；

第二步、构建用于单目摄像机深度估计的卷积神经网络，对卷积神经网络进行训练；将RGB图像输入到训练好的卷积神经网络进行深度估计，得到深度预测值，输出深度预测图；

第三步、将深度预测值进行上采样，使得深度预测图的尺寸与RGB图像相匹配，将上采样后的深度预测值作为光照估计的输入；

第四步、将单目摄像机采集的RGB图像转换到CIELab颜色空间下，其中的亮度通道信息作为光照估计的输入；利用CIELab颜色空间下的亮度通道信息、深度估计到的深度预测值进行光照估计，将得到真实场景各方向光源信息的球谐函数系数。

2.根据权利要求1所述的光照估计方法，其特征在于，第二步所述卷积神经网络包括网络前端的卷积层和全连接层，深度估计的具体步骤如下：

S21、网络前端的卷积层用于提取图像中不同种类的特征信息，全连接层用于包含整张图像的视野，并输出深度预测值；

S22、对于预测深度y和真实深度y*，定义尺度不变均方误差：

其中：

通过对比输出像素点i、j的关系来表示误差，并令d_i＝logy_i-logy^*为像素点i预测值和真实值的差别，有以下等价定义：

损失函数：

S24、使用随机梯度下降法调整卷积神经网络参数使得损失函数达到最优。

3.根据权利要求2所述的光照估计方法，其特征在于，卷积神经网络中，每个卷积层的后面还增加池化层。

4.根据权利要求1所述的光照估计方法，其特征在于，第三步包括如下步骤：

S31、沿着深度预测图的边缘产生半径为r的区域，标志区域内的像素点为不可作为深度参考的像素点，从而产生一个与深度预测图相同尺寸的模板图像M；

S32、对深度预测图进行上采样使得深度预测图与原始图像的尺寸一致；

S33、将深度估计处理过程中产生的及所输出的对数域的深度预测值，转换为一般数域下的深度值。

5.根据权利要求4所述的光照估计方法，其特征在于，第四步的光照估计，具体步骤如下：

S41、将单目摄像机采集的RGB图像转换到CIELab颜色空间下，取得亮度通道信息；

S42、选用带阴影的漫反射光照模型，物体上x点的渲染结果L为：

其中，L_i(x,ω_i)为ω_i方向上的入射光，V为可见性函数，N为x点法线，V、N通过深度信息运算得出，为x点简化的BRDF系数；

漫反射光照模型中的辐射传输项为：

R_DS＝V(ω_i)max(N_x·ω_i,0)

S43、把辐射传输项投影成球谐系数：

x_j为球谐函数采样点，N为采样点数目，Y为球谐函数基底；

S44、利用球谐函数的正交性，将积分形式的渲染结果L转化为其子项的球谐函数系数的点乘形式，物体上x点的光照结果如下：

其中，c为对应的球谐函数系数，k为球谐函数所用的频带数，I不包含BRDF项，I(x)通过亮度获得，从深度信息中获得；

S45、从Z个采样点中求解以下超定方程组Ay＝b，获得光源的球谐函数的系数A是Z个采样点对应的球谐系数矩阵，每个采样点都有k²个辐射传输的球谐系数；其中，采样点亮度过低或者在模板图像M中被标记为不可做深度参考的采样点，则视为无效采样点，需要重新选择采样点，直到采样点数目达Z个。

6.根据权利要求1所述的光照估计方法，其特征在于，所述光照估计方法还包括以下步骤：第五步、利用上一步得到的光源信息，在虚拟物体上复现，渲染虚拟物体。

7.根据权利要求4所述的光照估计方法，其特征在于，所述光照估计方法还包括以下步骤：第五步、利用上一步得到的光源信息，在虚拟物体上复现，渲染虚拟物体；

渲染虚拟物体包括如下步骤：

S51、通过球谐基底函数与对应的系数相乘得到重现的光照：

其中，漫反射光照模型中，除了辐射传输项之外，其余部分为光照项；c对应了上一步估计得到的光照项的球谐函数系数；

S52、最终的渲染结果：