CN102034230A - 增强图像可见性的方法 - Google Patents

Abstract

本发明提出一种增强图像可见性的方法，包括以下步骤：获取场景的至少两个图像信息；将所述图像信息与预先建立的场景三维模型进行对准以获得所述图像信息对应的模板图像和所述模板图像的深度信息；根据所述模板图像和所述模板图像的深度信息，估计获取所述场景的图像信息时的天气条件参数；根据所述天气条件参数对所述模板图像的深度信息进行修正以获得所述场景图像的深度信息；以及根据所述场景图像的深度信息对所述场景图像进行图像增强。本发明通过结合场景三维模型对缺乏纹理、颜色不丰富的动态采集图像进行有效的可见性增强，从而使得采集的图像能够更好地服务于各种应用。

Description

增强图像可见性的方法

技术领域

本发明涉及图像视觉增强技术领域，特别涉及一种增强图像可见性的方法。

背景技术

当前计算机视觉领域的系统和算法通常假设输入图像的采集环境为真空，即不考虑空气中介质的影响，假设场景在光照作用下辐射出的光强度被拍摄系统完全记录。但是，在实际情况中，上述假设通常并不成立，成像系统通常会受到一定程度的雾气、雨、雪等的影响。当出现雾气、雨、雪等天气时，在成像中起主导作用的是复杂的水分子聚合体，介质对成像光纤的投射衰减及散射，使得上述恶劣天气条件下的户外采集图像色彩降质、对比度降低。

针对上述问题，现有的对恶劣天气条件下的图像可见性增强的方法主要有两种：一种是利用多幅特殊拍摄的图像，其又主要分为两类，一是获取同一场景在不同天气条件下的采集图像，该方法仅适用于固定场景、固定相机，并且需要较长的图像采集时间以出现天气的变化，因此实际应用性弱，二是在采集设备前加上极化滤光片以获取同一场景在不同极化条件下的两幅图像，该方法实现的前提假设是图像中由于介质散射的部分具有极化性质、空气光为部分偏振光且偏振度不随距离而变化，但是该假设在实际成像中不一定成立，从而导致图像增强效果并不理想；另一种是基于单幅图像进行可见性恢复与增强，这种方法具有较强的实用性，但是，由于单幅图像包含的信息量很少，因此需要基于较强的假设或者先验知识，例如，假设在晴朗天气条件下的实际采集图像具有很高的对比度，或者假设场景具有丰富的颜色信息等，但是，在一些实际应用中，如机场监视等，采集的图像只具有较少的纹理信息且色彩和空气光颜色接近，不满足上述假设，使得基于单幅图像的增强效果不理想。

此外，还提出一种针对恶劣天气条件的物理成像模型：

I＝J·t+A·(1-t)，t＝e^-β·z

其中，I表示当前实际采集到的受恶劣天气条件影响的图像；J表示当前场景在晴朗天气条件下对应的图像，即不受雾等介质影响的成像结果；z是当前场景的深度信息；β是天气情况的表征因子，β越大，对应天气条件的雾越浓；t表示场景实际的辐射光线在空气中受介质影响而衰减的情况，一般认为其随深度呈指数变化，即t＝e^-β·z，0＜t＜1，深度越小，t越接近于1，表明当前采集图像受介质的影响越小，场景表面直接辐射的光线就越多的直接传递到成像系统中；A表示空气光的颜色，场景直接辐射出的光线由于受到空气中介质的作用而发生散射，这一部分光线偏离原来的传播路径向各个方向分散，经雾滴的多次散射后，最终在成像模型中可以抽象为空气光的作用，场景中的点距离成像平面越远，该部分的作用就越强烈。

综上所述，现有技术存在的缺点是不能针对纹理少、颜色不丰富的动态采集场景进行有效的可见性增强。

发明内容

本发明的目的旨在至少解决无法对纹理少、颜色不丰富的动态采集场景进行可见性增强的技术缺陷。

为达到上述目的，本发明提出一种增强图像可见性的方法，包括以下步骤：

获取场景的至少两个图像信息；

将所述图像信息与预先建立的场景三维模型进行对准以获得所述图像信息对应的模板图像和所述模板图像的深度信息；

根据所述模板图像和所述模板图像的深度信息，估计获取所述场景的图像信息时的天气条件参数；

根据所述天气条件参数对所述模板图像的深度信息进行修正以获得所述场景图像的深度信息；以及

根据所述场景图像的深度信息对所述场景图像进行图像增强。

在本发明的一个实施例中，所述根据所述天气条件参数对所述模板图像的深度信息进行修正进一步包括：

A.根据所述天气条件参数、所述模板图像的深度信息和物理成像模型对所述场景图像进行第一次增强以获得第一增强图像；

B.根据所述第一增强图像与所述模板图像获取所述场景图像的第二深度信息；

C.根据所述天气条件参数、所述第二深度信息和所述物理成像模型对所述场景图像进行第二次增强以获得第二增强图像；

D.重复步骤A至步骤C，直至深度信息的值不再发生变化。

根据本发明的一个实施例，所述根据所述第一增强图像与所述模板图像获取所述场景图像的第二深度信息，进一步包括：

将所述第一增强图像与所述模板图像进行比较，检测所述场景图像的前景物体的位置，标记所述场景图像的前景区域；

在所述前景区域内，对所述第一增强图像进行立体匹配以获得所述场景图像的前景区域的深度信息；以及

用所述前景区域的深度信息替换所述前景区域内的像素点在所述模板图像中对应的像素点的深度信息，以获得所述第二深度信息。

本发明通过结合场景三维模型对缺乏纹理、颜色不丰富的动态采集图像进行有效的可见性增强，从而使得采集的图像能够更好地服务于各种应用。而且，通过只对场景中的前景物体进行处理，提高了实时处理能力。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的增强图像可见性的方法的流程图；

图2为双目相机获取的场景在浓雾条件下的左视图和右视图；

图3为使用现有技术的增强图像可见性的方法对图2中的图像进行增强后的结果图；以及

图4为使用本发明实施例的增强图像可见性的方法对图2中的图像进行增强后的结果图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示为本发明实施例的增强图像可见性的方法的流程图，该方法包括以下步骤：

步骤S11，获取场景的至少两个图像信息。

可以通过多相机采集系统获取场景的当前动态图像信息，在本发明的一个实施例中，通过双目相机采集两个图像信息。

步骤S12，将图像信息与预先建立的场景三维模型进行对准以获得图像信息对应的模板图像和模板图像的深度信息。

该模板图像中只具有动态场景中相对固定的物体。

步骤S13，根据模板图像和模板图像的深度信息，估计获取场景的图像信息时的天气条件参数。

在本发明的一个实施例中，根据模板图像和模板图像的深度估计物理成像模型中的空气光颜色和光线在空气介质中的衰减情况。具体地包括以下步骤：

第一步，对模板图像的每一个深度值z进行归一化，计算归一化后的深度值z在预先设定的范围内的像素点的模板平均纹理色彩

和所述像素点在当前动态图像中对应的像素点的场景平均纹理色彩其中，预先设定的范围可为[z-δ，z+δ]，δ＝0.05，应理解，预先设定的范围和δ值的设定均可根据实际需要进行修改和变化，这些均应包含在本发明的保护范围内。

第二步，根据上述模板平均纹理色彩

和场景平均纹理色彩

计算全局色彩修正因子C，

$C=\frac{\stackrel{\‾}{I}\left(z_{\min }\right)}{\mathrm{lum}\left(\stackrel{\‾}{I}\left(z_{\min }\right)\right)}/\frac{\stackrel{\‾}{J_0}\left(z_{\min }\right)}{\mathrm{lum}\left(\stackrel{\‾}{J_0}\left(z_{\min }\right)\right)}$

其中，

为所有深度值z对应的场景平均纹理色彩中的最小值，

为所有深度值z对应的模板平均纹理色彩

中的最小值，lum表示亮度。

第三步，在场景图像中选取两个像素点p₁和p₂，两个像素点p₁和p₂在模板图像中对应的像素点的深度值差值和像素值差值均应大于预先设定的阈值。

在本发明的一个实施例中，深度值差值的预先设定的阈值为0.3～0.4，像素值差值的预先设定的阈值为0.2。为了能够尽快地选取到合适的像素点，可在模板图像的上半部和下半部分别随机选取一个点进行计算，判断选取的两个点是否满足上述条件，如果不符合条件就放弃这两个点，再随机产生两个点进行判断，直至选取到符合条件的点。

第四步，针对第三步中选取的两个像素点p₁和p₂，根据物理成像模型获取空气光颜色A。

根据物理成像模型得到：

$\stackrel{\‾}{I}\left(z_1\right)=C\·\stackrel{\‾}{J_0}\left(z_1\right)\·t\left(z_1\right)+A\·(1-t\left(z_1\right))---\left(1\right)$

$\stackrel{\‾}{I}\left(z_2\right)=C\·\stackrel{\‾}{J_0}\left(z_2\right)\·t\left(z_2\right)+A\·(1-t\left(z_2\right))---\left(2\right)$

$t\left(z_1\right)=t{\left(z_2\right)}^{z_1/z_2}---\left(3\right)$

由公式(2)可知：

$t\left(z_2\right)=\frac{\stackrel{\‾}{I}\left(z_2\right)-A}{C\·\stackrel{\‾}{J_0}\left(z_2\right)-A}---\left(4\right)$

将公式(4)代入公式(3)和公式(1)，可以得到：

$\stackrel{\‾}{I}\left(z_1\right)=C\·\stackrel{\‾}{J_0}\left(z_1\right)\·{\left(\frac{\stackrel{\‾}{I}\left(z_2\right)-A}{C\·\stackrel{\‾}{J_0}\left(z_2\right)-A}\right)}^{\frac{z_1}{z_2}}+A\·(1-{\left(\frac{\stackrel{\‾}{I}\left(z_2\right)-A}{C\·\stackrel{\‾}{J_0}\left(z_2\right)-A}\right)}^{\frac{z_1}{z_2}})---\left(5\right)$

由于公式(5)的方程难以求解，因此可将公式(5)的求解简单地转变为一维搜索问题：

$\underset{A}{\min }{[C\·\stackrel{\‾}{J_0}\left(z_1\right)\·{\left(\frac{\stackrel{\‾}{I}\left(z_2\right)-A}{C\·\stackrel{\‾}{J_0}\left(z_2\right)-A}\right)}^{\frac{z_1}{z_2}}+A\·(1-{\left(\frac{\stackrel{\‾}{I}\left(z_2\right)-A}{C\·\stackrel{\‾}{J_0}\left(z_2\right)-A}\right)}^{\frac{z_1}{z_2}})-\stackrel{\‾}{I}\left(z_1\right)]}^{2}A\∈\left[\mathrm{0,1}\right]---\left(6\right)$

在给定的范围内搜索使得公式(6)最小的A。

第五步，根据模板平均纹理色彩

场景平均纹理色彩和空气光颜色A，计算场景实际的辐射光线在空气中受介质影响而衰减的情况t(z)，

$t\left(z\right)=\frac{\stackrel{\‾}{I}\left(z\right)-A}{C\·\stackrel{\‾}{J_0}\left(z\right)-A}.$

步骤S14，根据天气条件参数对模板图像的深度信息进行修正以获得场景图像的深度信息。

在本发明的一个实施例中，通过以下的方法对模板图像的深度信息进行修正以获得场景图像的深度信息。应理解，这仅为示意性的实施例，并不用于限制本发明。本领域技术人员可根据下述方法的思想对其进行等同替换和变化，这些均应包含在本发明的保护范围内。

首先，根据估计得到的天气条件参数(即，空气光颜色A和光线在空气介质中的衰减t(z))，利用物理成像模型I＝J·t+A·(1-t)和模板深度信息z对当前低可见性的场景图像进行第一增强，得到第一增强图像，

$\hat{J}=A+(I-A)\frac{1}{t\left(z\right)}.$

然后，根据第一增强图像与模板图像J₀获取场景图像的第二深度信息，再利用第二深度信息根据天气条件参数和物理成像模型对场景图像进行第二次增强以获得第二增强图像。重复上述步骤，直至计算得到的深度信息的值不再发生变化。

在本发明的一个实施例中，为了提高系统的实时处理能力，在求解第二深度信息时，不对整幅图像进行计算，而只在前景物体所在的区域内进行计算。具体地，

首先，利用现有技术的方法检测前景物体，得到前景物体层，并利用阈值和区域连通性，将前景物体包含在尽量小的矩形区域内，即，前景区域。

然后，在前景区域内，对第一增强图像进行立体匹配以获得场景图像的前景区域的深度信息。

最后，用前景区域的深度信息替换前景区域内的像素点在模板图像中对应的像素点的深度信息，以获得第二深度信息。

步骤S15，根据场景图像的深度信息对场景图像进行图像增强。

下面分别使用现有技术的图像增强方法和本发明的图像增强方法对同一采集图像进行处理，通过比较增强后的图像，本发明的优点将变得更加明显。

如图2所示为使用双目相机获取的场景在浓雾条件下的左视图和右视图；如图3所示为使用现有技术的增强图像可见性的方法对图2的图像进行增强的结果图，如图4所示为使用本发明实施例的增强图像可见性的方法对图2的图像进行增强的结果图。由图3和图4可见，使用本发明的增强图像可见性的方法获取的增强图像效果更好，前景物体更加清晰。

本发明通过结合场景三维模型对缺乏纹理、颜色不丰富的动态采集图像进行有效的可见性增强，从而使得采集的图像能够更好地服务于各种应用。而且，通过只对场景中的前景物体进行处理，提高了实时处理能力。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (7)

1.一种增强图像可见性的方法，其特征在于，包括以下步骤：

获取场景的至少两个图像信息；

将所述图像信息与预先建立的场景三维模型进行对准以获得所述图像信息对应的模板图像和所述模板图像的深度信息；

根据所述模板图像和所述模板图像的深度信息，估计获取所述场景的图像信息时的天气条件参数；

根据所述天气条件参数对所述模板图像的深度信息进行修正以获得所述场景图像的深度信息；以及

根据所述场景图像的深度信息对所述场景图像进行图像增强。

2.根据权利要求1所述的增强图像可见性的方法，其特征在于，获取所述场景的至少两个图像信息进一步为：

获取所述场景的两个图像信息。

3.根据权利要求2所述的增强图像可见性的方法，其特征在于，所述根据所述模板图像和所述深度信息，估计获取所述场景的图像信息时的天气条件参数，进一步包括：

对所述模板图像的每一个深度值进行归一化，并计算所述归一化的深度值在预先设定的范围内像素点的模板平均纹理色彩和所述像素点在所述场景图像中对应的像素点的场景平均纹理色彩；

根据所述模板平均纹理色彩和所述场景平均纹理色彩计算全局色彩修正因子；

在所述场景图像中选取两个像素点，所述两个像素点在所述模板图像中对应的深度值的差值大于预先设定的深度阈值，且所述两个像素点在所述模板图像中对应的像素值的差值大于预先设定的像素阈值；

根据所述两个像素点的模板平均纹理色彩、所述全局色彩修正因子和物理成像模型，获取空气光的颜色；以及

根据所述模板平均纹理色彩、所述场景平均纹理色彩和所述空气光颜色，获取光线在空气中受介质影响而随深度变化衰减的情况。

4.根据权利要求3所述的增强图像可见性的方法，其特征在于，所述预先设定的深度阈值为0.3～0.4。

5.根据权利要求3所述的增强图像可见性的方法，其特征在于，所述预先设定的像素阈值为0.2。

6.根据权利要求1所述的增强图像可见性的方法，其特征在于，所述根据所述天气条件参数对所述模板图像的深度信息进行修正进一步包括：

A.根据所述天气条件参数、所述模板图像的深度信息和物理成像模型对所述场景图像进行第一次增强以获得第一增强图像；

B.根据所述第一增强图像与所述模板图像获取所述场景图像的第二深度信息；

C.根据所述天气条件参数、所述第二深度信息和所述物理成像模型对所述场景图像进行第二次增强以获得第二增强图像；

D.重复步骤A至步骤C，直至深度信息的值不再发生变化。

7.根据权利要求6所述的增强图像可见性的方法，其特征在于，所述根据所述第一增强图像与所述模板图像获取所述场景图像的第二深度信息，进一步包括：

将所述第一增强图像与所述模板图像进行比较，检测所述场景图像的前景物体的位置，标记所述场景图像的前景区域；

在所述前景区域内，对所述第一增强图像进行立体匹配以获得所述场景图像的前景区域的深度信息；以及

用所述前景区域的深度信息替换所述前景区域内的像素点在所述模板图像中对应的像素点的深度信息，以获得所述第二深度信息。

Images