CN107038718A - 雾霾环境下的深度计算方法 - Google Patents

Abstract

本发明属于计算机视觉领域、最优化方法，为提出一种雾霾环境下的深度计算方法，该方法能够更加精确地计算出单幅图像中景物的深度图，甚至能计算出更远处的景物的深度信息。为达到上述目的，本发明采取的技术方案是，雾霾环境下的深度计算方法，包括以下步骤：1)利用手持相机或图像采集设备对当前场景进行彩色图拍摄；2)利用步骤1)采集到的彩色图估计当前场景的PM2.5值；3)根据步骤1)采集到的彩色图，计算当前场景下大气传输率t(x)4)由步骤2)得到的PM2.5值以及步骤3)计算出来的前场景下大气传输率t(x)，最终得到当前场景下的深度图据。本发明主要应用于计算机视觉处理场合。

Description

雾霾环境下的深度计算方法

技术领域

本发明属于计算机视觉领域、最优化方法，具体讲，涉及一种雾霾环境下的深度计算方法。

背景技术

科技的发展，大大的提高人们的生活品质，人们对3D技术要求越来越高，从而越来越多的科研人员从事深度图的计算工作当中。从骨架修复，文物的三维重建，无人驾驶的远处景物的距离判断等等，都体现了计算深度图的重要性。但是在计算机视觉领域中，计算深度图任然是一个非常具有挑战性的课题。在传统的方法中，双目摄像头，例如微软公司的Kinect计算摄像头极为方便计算深度图，但是其设备造价昂贵，成本高，不利于工业使用。对于单幅图像的深度估计，大部分传统方法是利用马尔科夫链进行深度计算(B.Liu,S.Gould,and D.Koller.Single image depth estimation from predicted semanticlabels.In IEEE Conference on Computer Vision and Pattern Recognition,pages1253–1260,2010.1,2)，另外随着深度学习的火热，利用深度卷积神经网络进行深度计算(D.Eigen and R.Fergus.Predicting depth,surface normal and semantic labelswith a common multi-scale convolutional architecture.Pages 2650–2658,2015.2)。但是这些方法对于室外雾霾场景下深度计算存在较大误差。此外，对于雾霾场景下单幅图像，有很多方法是从大气传输率着手，估计出大气传输率，最后根据大气散射数学模型估计出深度图，例如He et al.(K.He,J.Sun,and X.Tang.Single image haze removal usingdark channel prior.IEEE Transactions on Pattern Analysis and MachineIntelligence,33(12):2341–2353,2010.2,3,5,6)，此方法虽然能计算出当前场景的深度信息，但是保留了太多的纹理细节信息，对于深度图来说这些纹理信息就造成了较大的深度误差；Berman et al.(D.Berman,T.treibitz,and S.Avidan.Non-local imagedehazing.In The IEEE Conference on Computer Vision and Pattern Recognition(CVPR),June 2016.2,3,5,6,7,8)和Chen et al.(C.Chen,M.N.Do,and J.Wang.Robustimage and video dehazing with visual artifact suppression via gradientresidual minimization.In European Conference on Computer Vision(ECCV),2016.2,3,5,6,7,8)，这些方法很好的估计出大气传输率，在深度图的表现上更加平滑，但是对于图像当中远处景物的捕捉却差强人意，无法识别出远处景物的轮廓等。我们的方法在保证深度图平滑的同时，也很好的保留远处景物必要的信息，精准度高，图像采集设备简单，算法易实现。

发明内容

为克服现有技术的不足，本发明提出一种雾霾环境下的深度计算方法，该方法能够更加精确地计算出单幅图像中景物的深度图，甚至能计算出更远处的景物的深度信息。为达到上述目的，本发明采取的技术方案是，雾霾环境下的深度计算方法，包括以下步骤：

1)利用手持相机或图像采集设备对当前场景进行彩色图拍摄；

2)利用步骤1)采集到的彩色图估计当前场景的PM2.5值；

3)根据步骤1)采集到的彩色图，计算当前场景下大气传输率t(x)

其中，λ平衡数据项和平滑项之间的重要性的惩罚参数，σ(x)是的标准方差，||·||₁代表一范数，N(x)是像素x四周邻近点，以及α_x,y是像素x与像素y之间的权重，其定义如下：

是用来控制指数函数的衰减率，P_x和P_y是提取以像素x为中心窗口大小为ω×ω的特征的算子，代表元素级乘法，||·||₂代表的是二范数，B_x为双边滤波核，以及双边滤波器B_x(x,y)定义如下：

和是双边核的参数，分别调整空间距离和强度差；

4)由步骤2)得到的PM2.5值以及步骤3)计算出来的前场景下大气传输率t(x)，由下式最终得到当前场景下的深度图据：

其中，d(x)是镜头与物体之间的距离，β代表的是大气散射系数。

步骤3)具体步骤细化为：

3-1)初始化大气传输率t(x)：

在计算机视觉和图形学中，下述方程所描述的雾图形成模型被广泛使用：

I(x)＝J(x)t(x)+A[1-t(x)] (5)

其中，I(x)是观测到的雾霾图像，J(x)是无雾霾图像，t(x)是大气传输率，A是是大气光成分，以及x是像素；在绝大多数非天空的，总有一些像素值在至少一个RGB信道里是很小的，即：

其中，J^c是无雾图像J的颜色信道c的图像,且Ω(x)是以像素x为中心的窗口。通过大量的实验结果分析得，在一张无雾图像中的暗通道值几乎为0，即J^dark(x)->0，所以可得大气传输率：

其中，是初步大气传输率估计，ω是环境影响因子设置为0.95，A^c是每个信道下的大气光成分，I^c是有雾图像I的颜色信道c的图像，y是图像的像素点；

3-2)令A＝QT，整个能量函数表示为：

增广拉格朗日方程：

其中：

T＝[t(1,1),t(1,2),…,t(w,h)]

diag(·)表示对角阵，所以W为一个n×n的对角矩阵，n表示像素个数，T表示待优化大气传输率，是t(x)矩阵化表示，代表初始化大气传输率，是矩阵化表示，(w,h)为图像的尺寸，λ为平衡数据项和平滑项之间的重要性的惩罚参数，||·||₁为一范数，||·||₂为二范数，μ为常量，值为正数，Y是拉格朗日算子，σ(x)是的标准方差，x则为像素点；对T进行求导：

对A进行求导：

λ||A||₁+Y+μ(A-QT)＝0 (11)

μQT-μA-Y-λ||A||₁＝0

定义边L：

L＝{e_x,y|(x,y)∈M}

e_x,y表示像素点x与像素点y之间的连接，M是将每个像素点周围上下左右四个点两两成对的集合；定义一个矩阵Q，与L有相同的行数，列数为彩色图中所有像素点的个数，矩阵Q中的每一行与L中的每一条边对应，每一列对应于图像中的点，在Q的每一行，只有两个非零值，假设Q中第r^th行对应的边为e_x,y,则第r行第x列值为第y列的值为 见公式(2)；

3-3)最后迭代求解：

Y^(k+1)＝Y^(k)+A^(k+1)-QT^(k+1)

μ^(k+1)＝ρμ^(k)

其中，ρ为常数且大于0。

步骤4)中β数值的确定方法，具体包括以下步骤：

4-1)根据公式(4)和公式(5)，将带有深度图ground-truth的彩色图进行人工加雾，得到不同β的人工雾图；

4-2)将步骤2)得到的PM2.5，和步骤4-1)的相对应的β进行函数拟合，得到β与PM2.5的映射关系；

4-3)对于新的雾霾图片，先对其进行PM2.5估计，通过4-2)的函数映射关系，得到其β值，结合步骤3)的大气传输率t(x)计算得相应的深度图。

本发明的特点及有益效果是：

本发明方法针对单幅RGB图像，进行计算图像中景物的深度图，甚至能计算出更远处的深度信息。本发明方法避免了复杂设备以及复杂的拍摄系统环境，利用手机等便携单相机设备，方便快捷地对当前景物进行图像采集。通过暗通道方法进行对大气传输率进行初始化，通过一范数约束，对其进行双边滤波，从而达到对大气传输率的优化，最后利用大气散射模型，从而计算出深度图，具体来说具有以下特点：

1、采集设备成本低且便携；

2、操作简单，易于实现；

3、对深度图来说，不仅对近处景物的轮廓信息保留的很好，对于远处景物轮廓信息依然保留的很好；

4、可根据单相机拍摄的单张雾霾图像进行深度计算；

附图说明：

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的一种雾霾环境下的深度计算方法的流程图；

图2为PM2.5与大气散射系数函数拟合图。

图3为本发明结果深度图。

具体实施方式

为了降低成本和复杂度、方便检测，本发明采用一种雾霾环境下的深度计算方法。通过暗通道方法进行对大气传输率进行初始化，通过一范数约束，对其进行双边滤波，从而达到对大气传输率的优化，最后利用大气散射模型，从而计算出深度图。通过本发明方法，用户可直接通过手机或单摄像头采集图像，最终得到当前景物的深度图，此发明在三维重建，无人驾驶等领域有着广泛的应用前景。

本发明的一种雾霾环境下的深度计算方法，其特征在于包括以下步骤：

1)利用手持相机或图像采集设备对当前场景进行彩色图拍摄；

2)利用步骤1)采集到的彩色图估计当前场景的PM2.5值；

3)根据步骤1)采集到的彩色图，计算当前场景下大气传输率t(x)

其中，λ平衡数据项和平滑项之间的重要性的惩罚参数，σ(x)是的标准方差，||·||₁代表一范数，N(x)是像素x四周邻近点，以及α_x,y是像素x与像素y之间的权重，其定义如下：

是用来控制指数函数的衰减率，P_x和P_y是提取以像素x为中心窗口大小为ω×ω的特征的算子，代表元素级乘法，||·||₂代表的是二范数，B_x为双边滤波核，以及双边滤波器B_x(x,y)定义如下：

和是双边核的参数，分别调整空间距离和强度差；

4)由步骤2)得到的PM2.5值以及步骤4)计算出来的前场景下大气传输率t(x)，据：

其中，d(x)是镜头与物体之间的距离，β代表的是大气散射系数，最终得到当前场景下的深度图。

其中，步骤3)具体步骤细化为：

3-1)初始化大气传输率t(x)：

在计算机视觉和图形学中，下述方程所描述的雾图形成模型被广泛使用：

I(x)＝J(x)t(x)+A[1-t(x)] (5)

其中，I(x)是观测到的雾霾图像，J(x)是无雾霾图像，t(x)是大气传输率，A是是大气光成分，以及x是像素；在绝大多数非天空的，总有一些像素值在至少一个RGB信道里是很小的，即：

其中，J^c是无雾图像J的颜色信道c的图像,且Ω(x)是以像素x为中心的窗口。通过大量的实验结果分析得，在一张无雾图像中的暗通道值几乎为0，即J^dark(x)->0，所以

可得大气传输率：

其中，是初步大气传输率估计，ω是环境影响因子设置为0.95，A^c是每个信道下的大气光成分，I^c是有雾图像I的颜色信道c的图像，y是图像的像素点；

3-2)令A＝QT，整个能量函数表示为：

增广拉格朗日方程：

其中

T＝[t(1,1),t(1,2),…,t(w,h)]

diag(·)表示对角阵，所以W为一个n×n的对角矩阵，n表示像素个数，T表示待优化大气传输率，是t(x)矩阵化表示，代表初始化大气传输率，是矩阵化表示，(w,h)为图像的尺寸，λ为平衡数据项和平滑项之间的重要性的惩罚参数，||·||₁为一范数，||·||₂为二范数，μ为常量，值为正数，Y是拉格朗日算子，σ(x)是的标准方差，x则为像素点；对T进行求导：

对A进行求导：

λ||A||₁+Y+μ(A-QT)＝0 (11)

μQT-μA-Y-λ||A||₁＝0

定义边L：

L＝{e_x,y|(x,y)∈M}

e_x,y表示像素点x与像素点y之间的连接，M是将每个像素点周围上下左右四个点两两成对的集合；定义一个矩阵Q，与L有相同的行数，列数为彩色图中所有像素点的个数，矩阵Q中的每一行与L中的每一条边对应，每一列对应于图像中的点，在Q的每一行，只有两个非零值，假设Q中第r^th行对应的边为e_x,y,则第r行第x列值为第y列的值为 见公式(2)；

3-3)最后迭代求解：

Y^(k+1)＝Y^(k)+A^(k+1)-QT^(k+1)

μ^(k+1)＝ρμ^(k)

其中，ρ为常数且大于0；

步骤4)中β数值的确定方法，具体包括以下步骤：

4-1)根据公式(4)和公式(5)，将带有深度图ground-truth的彩色图进行人工加雾，得到不同β的人工雾图；

4-2)将步骤2)得到的PM2.5，和步骤4-1)的相对应的β进行函数拟合，得到β与PM2.5的映射关系。

4-3)对于新的雾霾图片，先对其进行PM2.5估计，通过4-2)的函数映射关系，得到其β值，结合步骤3)的大气传输率t(x)可计算得相应的深度图。

Claims (3)

1.一种雾霾环境下的深度计算方法，其特征是，包括以下步骤：

1)利用手持相机或图像采集设备对当前场景进行彩色图拍摄；

2)利用步骤1)采集到的彩色图估计当前场景的PM2.5值；

3)根据步骤1)采集到的彩色图，计算当前场景下大气传输率t(x)

其中，λ平衡数据项和平滑项之间的重要性的惩罚参数，σ(x)是的标准方差，||·||₁代表一范数，N(x)是像素x四周邻近点，以及α_x,y是像素x与像素y之间的权重，其定义如下：

θ₁是用来控制指数函数的衰减率，P_x和P_y是提取以像素x为中心窗口大小为ω×ω的特征的算子，代表元素级乘法，||·||₂代表的是二范数，B_x为双边滤波核，以及双边滤波器B_x(x,y)定义如下：

θ₂和θ₃是双边核的参数，分别调整空间距离和强度差；

4)由步骤2)得到的PM2.5值以及步骤3)计算出来的前场景下大气传输率t(x)，由下式最终得到当前场景下的深度图据：

其中，d(x)是镜头与物体之间的距离，β代表的是大气散射系数。

2.如权利要求1所述的雾霾环境下的深度计算方法，其特征是，步骤3)具体步骤细化为：

初始化大气传输率t(x)：

在计算机视觉和图形学中，下述方程所描述的雾图形成模型被广泛使用：

I(x)＝J(x)t(x)+A[1-t(x)] (5)

其中，I(x)是观测到的雾霾图像，J(x)是无雾霾图像，t(x)是大气传输率，A是是大气光成分，以及x是像素；在绝大多数非天空的，总有一些像素值在至少一个RGB信道里是很小的，即：

其中，J^c是无雾图像J的颜色信道c的图像,且Ω(x)是以像素x为中心的窗口。通过大量的实验结果分析得，在一张无雾图像中的暗通道值几乎为0，即J^dark(x)->0，所以可得大气传输率：

1

其中，是初步大气传输率估计，ω是环境影响因子设置为0.95，A^c是每个信道下的大气光成分，I^c是有雾图像I的颜色信道c的图像，y是图像的像素点；

3-2)令A＝QT，整个能量函数表示为：

增广拉格朗日方程：

其中：

T＝[t(1,1),t(1,2),…,t(w,h)]

diag(·)表示对角阵，所以W为一个n×n的对角矩阵，n表示像素个数，T表示待优化大气传输率，是t(x)矩阵化表示，代表初始化大气传输率，是矩阵化表示，(w,h)为图像的尺寸，λ为平衡数据项和平滑项之间的重要性的惩罚参数，||·||₁为一范数，||·||₂为二范数，μ为常量，值为正数，Y是拉格朗日算子，σ(x)是的标准方差，x则为像素点；对T进行求导：

对A进行求导：

λ||A||₁+Y+μ(A-QT)＝0 (11)

μQT-μA-Y-λ||A||₁＝0

定义边L：

L＝{e_x,y|(x,y)∈M}

e_x,y表示像素点x与像素点y之间的连接，M是将每个像素点周围上下左右四个点两两成对的集合；定义一个矩阵Q，与L有相同的行数，列数为彩色图中所有像素点的个数，矩阵Q中的每一行与L中的每一条边对应，每一列对应于图像中的点，在Q的每一行，只有两个非零值，假设Q中第r^th行对应的边为e_x,y,则第r行第x列值为第y列的值为见公式(2)；

3-3)最后迭代求解：

2

Y^(k+1)＝Y^(k)+A^(k+1)-QT^(k+1)

μ^(k+1)＝ρμ^(k)

其中，ρ为常数且大于0。

3.如权利要求1所述的雾霾环境下的深度计算方法，其特征是，步骤4)中β数值的确定方法，具体包括以下步骤：

4-1)根据公式(4)和公式(5)，将带有深度图ground-truth的彩色图进行人工加雾，得到不同β的人工雾图；

4-2)将步骤2)得到的PM2.5，和步骤4-1)的相对应的β进行函数拟合，得到β与PM2.5的映射关系；

4-3)对于新的雾霾图片，先对其进行PM2.5估计，通过4-2)的函数映射关系，得到其β值，结合步骤3)的大气传输率t(x)计算得相应的深度图。