CN107464244A - 一种基于神经网络的图像光照估计方法 - Google Patents

Abstract

本发明提供一种基于神经网络的图像光照估计方法，可以很好的估计图像中光源方向、光源距离和光源能量。该方法通过3D模型的渲染方式产生带有光照标签的数据集，然后利用数据集训练具有强大学习能力的深度卷积神经网络，其中神经网络的输入是带有光照标签的图像，输出是光照值。对给定的任意图像，都可以通过该神经网络得到其光照值。首先本发明方法大大减少了采集光照数据集的成本和工作量，很好的解决了神经网络训练时需要大量样本问题。同时减少了人工标定的视觉误差，使神经网络的估计性能增强。其次本发明方法首次将深度卷积神经网络用到图像光照估计，给图像光照估计方法提供了新思路。

Description

一种基于神经网络的图像光照估计方法

技术领域

本发明涉及数字图像处理领域，更具体地，涉及一种基于神经网络的图像光照估计方法。

背景技术

不同的光照条件下，物体会产生不同的表面颜色、阴影，在进行图像处理时会得到完全不同的视觉效果。所以知道准确的光照值有着很重要的作用。

现有图像光照估计研究方法主要分为两种，无监督光照估计和有监督光照估计。

无监督光照估计是指不依赖于其他的先验知识，仅从图像的底层图像特征估计得到图像成像时的场景光照。经典的无监督光照估计算法都是通过图像信息建模来估计光源方位角和光源仰角。利用微元的角度对图像光照进行分析，最终得出一种适合整个物体表面光照的估计方法。但是这些方法在选取待估计区域有一定的要求：1)尽量选择光照良好的区域。2)选择的区域最好为同一物体且纹理和材质统一。但是在实际中几乎不可能同时满足这两个条件，所以这些算法都具有局限性。

有监督估计主要是利用大量已知光照信息的照片学习到光照估计能力，然后利用光照估计能力估计未知光照值的照片。基于贝叶斯推理的光照估计方法具有很好的代表性。有监督光照估计需要大量已知光照值的照片，而现有的光照数据集是通过手动收集，由于人工标定成本较高，且人眼标定时存在视觉误差，致使现有的有监督光照估计方法性能较弱。

随着计算机深度学习的发展，深度卷积神经网络在计算机视觉领域取得举世瞩目的成就。将神经网络用在计算机的各种研究成为必然趋势。神经网络主要有以下这些优点：1、很强的鲁棒性和容错性；2、并行处理方法计算速度快；3、自学习，自组织，自适应性，使得网络可以处理不确定或不知道的系统；4、可以充分逼近复杂的非线性关系；5、具有很强的信息综合能力，能同时处理定性和定量的信息，能够协调多种信息输入关系。神经网络强大的学习能力和其他自身优点使其应用在光照估计有很重要的意义。

渲染是指用软件由模型生成图像的过程，在模型上加上一些几何、视点、照明、阴影等信息增强图像的艺术效果、质感和立体感。

基于神经网络的图片光照估计的基本思想是利用渲染形成已知光照值的图像集，将图像集作为神经网络的输入，光照值作为神经网络的输出。核心思想是利用深度卷积神经网络强大的学习能力学习图像中的隐含光照信息。

发明内容

本发明提供一种适用性广的基于神经网络的图像光照估计方法。

为了达到上述技术效果，本发明的技术方案如下：

一种基于神经网络的图像光照估计方法，包括以下步骤：

S1：采用随机方式生成一系列光照参数，光照参数为光照能量、光照距离、光源方位角、光源仰角；

S2：三维模型渲染，在渲染通道加入光照参数生成二维图像，形成带有光照标签的合成图像集；

S3：将合成图像集中的每张图像进行裁剪，形成已知光照值的训练数据集；

S4：利用训练数据集训练深度卷积神经网络，其中带有光照标签的图像是神经网络的输入，光照值是神经网络的输出，对任意一幅图像，输入到训练好的神经网络中，可以得到其光照值。

进一步地，所述步骤S1中：

所述光照参数中光源能量e和光照距离d的变化范围是(1,20)，光源方位角θ的变换范围是(0,360°)，光源仰角γ的变化范围是(-90°,90°)。

进一步地，所述步骤S2中：

利用渲染工具将三维模型集合成已知光照值的图像集，为了增加种类和多样性，采用轴对称或者旋转对称的形式保留形变增加数量。

进一步地，所述三维模型集来自ShapeNet数据集，渲染工具选用Blender，基于不同材料的表面对光照的反射和散射程度不同，故所选类别的表面属于不同材质，共14类进行合成。

进一步地，所述步骤S4中：

在训练神经网络估计光照时，提出深度卷积神经网络里所有的分类器都可以共享卷积层和全连接层。

进一步地，在训练深度卷积神经网络过程所用损失函数为：

其中，d为光源距离，P_v(s；c_s)是光源方位角和光源仰角的采样概率，样本s来自类别c_s的soft-max分类器，d(v,v_s)是光源方位角θ和光源仰角γ之间的欧式距离，使用随机梯度下降法求出损失函数L_vp({s})的最小值就得到训练好的神经网络。

与现有技术相比，本发明技术方案的有益效果是：

本发明方法通过随机方式生成一系列光照参数，包含光源能量、光照距离、光源方位角、光源仰角；之后三维模型渲染，在渲染通道加入光照参数生成二维图像，形成带有光照标签的合成图像集；然后将合成图像集中的每张图像进行裁剪，形成已知光照值的训练数据集；最后利用数据集训练具有强大学习能力的深度卷积神经网络，其中神经网络的输入是带有光照标签的图像，输出是光照值。对给定任意图像，都可以通过该神经网络得到其光照值。首先本发明方法大大减少了采集光照数据集的成本和工作量，很好的解决了神经网络训练时需要大量样本问题。同时减少了人工标定的视觉误差，使神经网络的估计性能增强。其次本发明方法首次将深度卷积神经网络用到图像光照估计，给图像光照估计方法提供了新思路。

附图说明

图1为本发明光照估计方法的操作流程图；

图2为本发明光照估计方法的几何分析图；

图3为本发明光照估计方法所使用的网络结构图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，基于神经网络的图像光照估计方法，主要包括下述步骤：

步骤1：采用随机方式生成一系列光照参数，光照参数为光照能量、光照距离、光源方位角、光源仰角。

其中,如图2所示，光照能量表示为e，光源距离表示为d，光源方位角表示为θ，光源仰角表示为γ。e的变化范围是(1,20)，θ的变换范围是(0,360°)，γ的变化范围是(-90°,90°)，d的变化范围是(1,20)。

步骤2：三维模型渲染，在渲染通道加入光照参数生成二维图像，形成带有光照标签的合成图像集。

进一步地，步骤2中，利用渲染工具将3D模型合成已知光照值的图像集。三维模型集来自ShapeNet数据集，渲染工具选用Blender，基于不同材料的表面对光照的反射和散射程度不同，故所选类别的表面属于不同材质，共14类进行合成。

步骤3：将合成图像集中的每张图像进行裁剪，形成已知光照值的训练数据集。

步骤4：利用训练数据集训练深度卷积神经网络，其中带有光照标签的图像是神经网络的输入，光照值是神经网络的输出。

进一步地，步骤4中，输入一张RGB图像目的是估计其光照，将光照进行几何分析，设置为(θ，γ，d，e)四个参数，其中θ为光源方位角，γ为光源仰角，d为光源距离，e为光源能量。如图3所示，提出的神经网络结构主要分为三部分，卷积层，全连接层，独立的类。所有的卷基层和全连接层能被所有独立的类共享。

通常将神经网络的学习过程转化为求损失函数的最小值问题。一般来说，损失函数包括误差项和正则项两部分。误差项衡量神经网络模型在训练数据集上的拟合程度，而正则项则是控制模型的复杂程度，防止出现过拟合现象。

本发明采用的损失函数如下：

其中P_v(s；c_s)是光源方位角和光源仰角的采样概率，样本s来自类别c_s的soft-max分类器。d(v,v_s)是光源方位角θ和光源仰角γ之间的欧式距离。通过采样形成大量不同的图像防止过拟合现象。

在训练神经网络时，使用随机梯度下降法求出损失函数的最小值。梯度下降法是损失函数值减小最快的方向，在神经网络较大，包含参数较多时最常使用梯度下降法。

步骤5：对任意一幅图像，输入训练好的神经网络中，输出其光照值。

Shapenet是由普林斯顿大学，斯坦福大学和TTIC之间共同合作形成信息丰富的大型3D数据库。与其他的数据库相比，Shapnet数据库为每个模型提供丰富的注释。

Blender是一个免费的开源软件，用来三维绘图及渲染。以Python为内置脚本，支持第三方渲染。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种基于神经网络的图像光照估计方法，其特征在于，包括以下步骤：

S1：采用随机方式生成一系列光照参数，光照参数为光源能量、光照距离、光源方位角、光源仰角；

S2：三维模型渲染，在渲染通道加入光照参数生成二维图像，形成带有光照标签的合成图像集；

S3：将合成图像集中的每张图像进行裁剪，形成已知光照值的训练数据集；

S4：利用训练数据集训练深度卷积神经网络，其中带有光照标签的图像是神经网络的输入，光照值是神经网络的输出，对任意一幅图像，输入到训练好的神经网络中，可以得到其光照值。

2.根据权利要求1所述的基于神经网络的图像光照估计方法，其特征在于，所述步骤S1中：

所述光照参数中光源能量e和光照距离d的变化范围是(1,20)，光源方位角θ的变换范围是(0,360°)，光源仰角γ的变化范围是(-90°,90°)。

3.根据权利要求1所述的基于神经网络的图像光照估计方法，其特征在于，所述步骤S2中：

三维模型集来自ShapeNet数据集，渲染工具选用Blender，基于不同材料的表面对光照的反射和散射程度不同，故所选类别的表面属于不同材质，共14类进行合成。

4.根据权利要求1所述的基于神经网络的图像光照估计方法，其特征在于，所述步骤S4中在训练神经网络估计光照时，提出深度卷积神经网络里所有的分类器都可以共享卷积层和全连接层。

5.根据权利要求1所述的基于神经网络的图像光照估计方法，其特征在于，所述步骤S4中在训练深度卷积神经网络过程所用损失函数为：

<mrow> <msub> <mi>L</mi> <mrow> <mi>v</mi> <mi>p</mi> </mrow> </msub> <mrow> <mo>(</mo> <mo>{</mo> <mi>s</mi> <mo>}</mo> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>{</mo> <mi>s</mi> <mo>}</mo> </mrow> </munder> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>v</mi> <mo>&amp;Element;</mo> <mi>V</mi> </mrow> </munder> <msup> <mi>l</mi> <mrow> <mo>-</mo> <mi>d</mi> <mrow> <mo>(</mo> <mi>v</mi> <mo>,</mo> <msub> <mi>v</mi> <mi>s</mi> </msub> <mo>)</mo> </mrow> <mo>/</mo> <mi>&amp;sigma;</mi> </mrow> </msup> <mi>log</mi> <mi> </mi> <msub> <mi>P</mi> <mi>v</mi> </msub> <mrow> <mo>(</mo> <mi>s</mi> <mo>;</mo> <msub> <mi>c</mi> <mi>s</mi> </msub> <mo>)</mo> </mrow> </mrow>

其中，P_v(s；c_s)是光源方位角和光源仰角的采样概率，样本s来自类别c_s的soft-max分类器，d(v,v_s)是光源方位角θ和光源仰角γ之间的欧式距离，使用随机梯度下降法求出损失函数L_vp({s})的最小值就得到训练好的神经网络。