CN101754032A - 保持颜色的去雾方法 - Google Patents

Abstract

本发明一种保持颜色的去雾方法，属于图像处理领域。从输入的降质彩色视频数据中读入一帧视频图像；对该帧视频图像进行对数变换；对原始的视频图像帧进行平滑处理，得到估计的光照图像，并对得到的光照图像进一步进行对数变换；用视频图像帧的对数变换结果减去光照图像的对数变换的结果，得到该视频图像帧的反射图像；对反射图像进行指数变换得到该帧去掉光照后的视频图像。对该帧去掉光照后的视频图像进行拉伸，得到去雾后的图像。读入下一帧视频图像，直至彩色视频数据中所有视频图像帧处理完毕。本方法能够自动的把真实场景从雾/阴霾中恢复出来，同时恢复其颜色信息，并且采用单一的图像作为输入，能够满足多种场景应用需求，有较高的实时性。

Description

保持颜色的去雾方法

技术领域

本发明属于图像处理领域，涉及一种保持颜色的去雾方法，用于计算机视觉领域里的有雾场景/阴霾下视频质量的改善。

背景技术

计算机视觉领域中的许多应用，都要求能适应户外场合，如目标的检测、跟踪和识别，需要高质量的输入图像来检测稳定特征。然而，在恶劣天气条件下，图像的可视性能和图像的颜色会发生严重的退化。尤其是在有雾/阴霾条件下，这种退化更为明显，严重影响了特征的提取。

现有的方法提出了假设来自于同一场景下场景深度和两帧或多帧图像被不同浓雾所覆盖的等情况。在这些条件下，利用场景的深度信息，达到去雾效果。然而这些方法要求场景的深度已知，其对输入的特定要求使得这些方法很难用于实际场合。如果采用单帧图像来提高图像质量的方法处理图像是一种较好的选择。该方法取得了较好的改善效果，但是其计算复杂，而且很容易导致图像颜色发生偏差。

基于光照和颜色恒常性(color constancey)原理的Retinex理论是迄今为止最接近人类视觉系统的理论之一。由于Retinex有许多优点，如动态范围压缩(dynamic range compression)、颜色独立(color independence)、颜色和光照再现能力(color and lightnessrendition)，Retinex理论被广泛应用于图像处理领域。其中，中心/环绕Retinex理论(center/surround Retinex theory)具有较低的计算复杂度并且对场景没有标定的要求优点，所以被广大的研究人员所关注，用来实现图像的动态范围压缩、颜色恢复、光照再现等。但将Retinex理论应用与实际的图像处理过程中，由于没有从作整体来考虑雾的作用，所以其去雾效果不理想，特别是场景中存在浓雾的情况。

现有的去雾技术，有些对输入图像有特定的要求，如要求多帧图像作为输入，场景的深度已知，实际应用中很难满足这些条件，因此受到局限。有些方法要求用户进行交互，如给出那些区域是天空等，这在实时的图像处理应用中也很难满足。有些图像采用单帧的图像作为输入，克服了对输入的特定要求，但是存在恢复后图像颜色发生明显失真，不符合去雾的需求，或处理速度太慢，而无法应用到实时系统中。

发明内容

本发明一种保持颜色的去雾方法，用第二次平滑的结果来估计光照后从原始图像中去除光照，得到反射部分，然后采用自适应对比度拉伸方法来增强反射部分的对比度得到去雾后的图像。本方法能够自动的把真实场景从雾/阴霾中恢复出来，同时恢复其颜色信息，并且采用单一的图像作为输入，能够满足多种场景应用需求，有较高的实时性。

一种保持颜色的去雾方法，包括如下步骤：

步骤1：从输入的降质的彩色视频数据中读入一帧视频图像；

步骤2：对读入的该帧视频图像进行对数变换；

步骤3：对读入的该帧视频图像进行平滑处理，得到估计的光照图像，并对得到的光照图像进一步进行对数变换；

步骤4：用步骤2中的对数变换的结果减去步骤3中的光照图像的对数变换的结果，得到该视频图像帧的反射图像；

步骤5：对反射图像进行指数变换得到该帧去掉光照后的视频图像；

步骤6：对该帧去掉光照后的视频图像进行拉伸，得到去雾后的图像；

步骤7：读入下一帧视频图像，转到步骤1，直至彩色视频数据中所有视频图像帧处理完毕。

所述步骤2、步骤3和步骤4可为：

步骤2：对读入的该帧视频图像进行平滑处理，得到估计的光照图像，并对得到的光照图像进一步进行对数变换；

步骤3：对读入的该帧视频图像进行对数变换；

步骤4：用步骤3中的对数变换的结果减去步骤2中的光照图像的对数变换的结果，得到该视频图像帧的反射图像。

所述步骤3中进行平滑处理时，对原始的视频图像帧进行两次平滑处理，第一次采用高斯低通滤波对原始图像进行平滑，第二次采用平滑之后结果的平均值进行估计，得到估计的光照图像。

所述步骤3中第一次对原始的视频图像帧进行平滑时，选取的高斯函数模板的标准差σ和模板宽度w符合

所述步骤6中对视频图像进行拉伸时，采用自适应的对比度拉伸的方法对图像进行拉伸，选取累积分布函数选取当前反射图像的灰度范围。

所述步骤6中，所述累积分布函数中选取的剪切阈值为一经验数值，取值区间为[0.01，0.04]。

本发明保持颜色的去雾方法，与现有技术相比，其优点在于：

1、采用了单帧图像来估计光照图像，能够满足多种场景的应用需求。采用Retinex的原理来估计光照，能够使去雾自适应进行，不需要用户进行交互。

2、本发明对原始的视频图像帧进行两次平滑处理，有效地对图像中的雾效果进行了处理，优化了图像的显示效果。

3、本发明去除光照后，采用自适应的对比度拉伸的方法对图像进行拉伸，使图像的失真能够快速地被校正，可以有效地应用到实时系统中。

附图说明

图1为本发明保持颜色的去雾方法的方法流程图；

图2(a)为本发明保持颜色的去雾方法待处理的原始图像；

图2(b)为本发明保持颜色的去雾方法估计得到光照图像；

图2(c)为本发明保持颜色的去雾方法去掉光照后的反射图像；

图3(a)为本发明保持颜色的去雾方法反射图像的灰度直方图；

图3(b)为本发明保持颜色的去雾方法反射图像的累积直方图；

图4为本发明保持颜色的去雾方法得到的拉伸处理后的图像，为原始图像去雾后的结果。

具体实施方式

下面参照附图对本发明的优选实施例进行详细说明，在描述过程中省略了对于本发明来说是不必要的细节和功能，以防止对本发明的理解造成混淆。

图1示出了根据本发明的颜色保持的去雾方法的整体流程图。以下将参考图1，对根据本发明的颜色保持的去雾方法的各个步骤进行详细描述。

步骤一：读取视频数据。从彩色降质的视频序列中读取第一帧视频图像I(x，y)，如图2(a)，宽为W个像素，高为H个像素，(x，y)为该视频图像上点的坐标；0≤x≤W-1，0≤y≤H-1，H、W、x，y为非负整数。如图2(a)所示，场景被浓雾覆盖，场景中的亭子，只能看出一个轮廓，整个场景的对比度比较低。

步骤二：输入图像的对数变换。对视频图像I进行对数变换得到其在对数域内的图像数据表示i。

根据Retinex理论，我们看到的图像I，是由光照图像和场景图像的乘积得到，即

I(x，y)＝R(x，y)L(x，y)                        (1)

其中，R(x，y)R为反射图像，L(x，y)为光照图像，(x，y)为该视频图像上点的坐标，则反射图像为：

R(x，y)＝I(x，y)/L(x，y)                       (2)

在计算机进行求解时，除法运算要耗费较多的处理时间，所以整个要把运算转换到对数域，把除法运算变成减法运算，便于计算机实现。i为I在对数域内的图像数据表示：

i(x，y)＝ln I(x，y)                            (3)

步骤三：估计光照图像。对原始输入的视频图像帧I(x，y)，通过高斯函数进行低通滤波，即采用高斯低通滤波对原始图像进行第一次平滑：

$\hat{L}(x,y)=I(x,y)*F(m,n)---\left(4\right)$

其中，

为高斯低通滤波后的结果，*表示卷积操作，F(m，n)为零均值，标准差为σ的高斯函数模板：

$F(m,n)={\mathrm{Ke}}^{-(m^2+n^2)/{\mathrm{\σ}}^2}---\left(5\right)$

其中，

将(5)带入，得：

即

取模板的宽度为w，一般取为奇数，且满足w＜＝min(H，W)(如可以取25，35等等)，其中m，n为整数。其中，w的取值决定了光照估计的程度，其取值越大，则估计得到的光照越接近真实的光照，但是w变大会，则参与运算的像素增加，导致运算量变大、可以取15、81、251，综合考虑处理速度和处理效果，我们取81作为模板的宽度。

根据3σ规则，即当单侧模板的宽度等于3倍的标准差σ时，在σ和w之间存在如下关系：

$3\mathrm{\σ}=\frac{w-1}{2}---\left(6\right)$

则[-3σ，+3σ]所覆盖的部分面积约占整个高斯函数的97％，即满足(6)的模板能够很好的近似高斯分布。

接着采用

的平均值估计光照图像，对原始图像进行二次模糊，得到光照图像

$\tilde{L}(x,y)=\frac{1}{\mathrm{HW}}\underset{x=1}{\overset{H}{\mathrm{\Σ}}}\underset{y=1}{\overset{W}{\mathrm{\Σ}}}\hat{L}(x,y)---\left(7\right)$

图2(b)为得到的光照图像，可以看作为覆盖在原始图像上的雾。

用取对数地方法简化计算，同样需要把光照图像做对数变换到对数域：

$\tilde{l}(x,y)=\ln \tilde{L}(x,y)---\left(8\right)$

步骤四：估计反射图像。根据输入图像的对数变换的结果和估计得到的光照图像估计在对数域的反射图像

$\tilde{r}(x,y)=\ln I(x,y)-\ln \tilde{L}(x,y)$

$=i(x,y)-\tilde{l}(x,y)---\left(9\right)$

步骤五：指数变换得到去雾后的图像。将对数域的反射图像

进行指数变换得到去掉雾/阴霾后的反射图像

$\tilde{R}(x,y)=e^{\tilde{r}(x,y)}---\left(10\right)$

估计得到的去掉雾/阴霾后的反射图像

如图2(c)所示。

步骤六：自适应对比度拉伸。从图2(c)可以看出，原始图像经过去雾处理后，有较好的视觉效果，但是其对比度仍然不明显。

为了增强对比度，采用线性拉伸的方法对图像进行拉伸，如果当前反射图像

的灰度范围为[T_low，T_high]，拉伸后的图像灰度范围为[a，b]，则拉伸后的图像I_o为：

$I_o(x,y)=a+(\tilde{R}(x,y)-T_{\mathrm{low}})\frac{b-a}{T_{\mathrm{high}}-T_{\mathrm{low}}}---\left(11\right)$

其中a和b可以取图像灰度级的上下限，对8位的灰度图像来说，其取值分别为0和255。

从式(11)可以看出，变换后的效果取决于原图像的灰度范围[T_low，T_high]。由于单一外点(Outlier)，如很高的T_high或很低的T_low，会影响到最终的拉伸效果。

通过累积分布函数CDF(Cumulative Distribution Function)来自适应的选取T_low和T_high。其具体步骤如下：

1)求取的灰度直方图如图3(a)所示，从图中可以看出大部分像素集中在灰度较高的区域，范围较窄，因此对比度不太明显。

2)求取

的累计分布函数CDF为C(I_m)：

$C\left(I_m\right)=\underset{k=1}{\overset{m}{\mathrm{\Σ}}}H\left(\tilde{R}\right)---\left(12\right)$

其中，

为图像的灰度直方图，对于灰度图像整个亮度区间为255，m为属于该区间内的第m级灰度，I_m为第m级灰度的取值。累计分布如图3(b)所示，整个分布大等于0小于1，且为单调增函数，表示C(I_m)的累积直方图。

3)定义一个阈值Th作为剪切阈值来选取T_low和T_high，其选择依据如下：

$T_{\mathrm{low}}=\underset{I_m}{\arg }(C\left(I_m\right)\≥\mathrm{Th},C\left(I_m\right)>C\left(I_{m-1}\right))---\left(13\right)$

$T_{\mathrm{high}}=\underset{I_m}{\arg }(C\left(I_m\right)\≥1-\mathrm{Th},C\left(I_m\right)>C\left(I_{m-1}\right))$

式(13)中，当I_m的取值符合C(I_m)≥Th和C(I_m)＞C(I_m-1)时，选取的Th为T_low；当I_m的取值符合C(I_m)≥1-Th和C(I_m)＞C(I_m-1)时，选取的Th为T_high。Th为一经验数值，当其取值为[0.01，0.04]时能够取得较好的拉伸效果。Th越大则对比度越明显，但是会有较多的像素处理后为T_low或T_high，使图像的细节受到损失。为了增强对比度，同时尽量保持较多的细节本实施例中取Th为0.02。

4)求得T_low和T_high后，按照公式(9)对图像

进行拉伸，I_o就是输出图像，如图4所示。从图中，我们可以看出，场景中的雾被削弱了，场景中的亭子能够很好的显现出来，图像的整体对比度明显，具有较好的视觉效果，而且采用对三个通道同时拉伸，保持了图像的原始颜色，避免颜色失真保持了图像的原始颜色。

步骤七：读入下一帧视频图像，转到步骤一，直至彩色视频数据中所有视频图像帧处理完毕。这样就得到了一组完整的，被还原了色彩的视频数据，自动的把真实场景从雾/阴霾中恢复出来。

本实施例中的所述步骤二和步骤三可以颠倒，即首先对读入的该帧视频图像进行平滑处理，得到估计的光照图像，并对得到的光照图像进一步进行对数变换，接着对读入的该帧视频图像进行对数变换。采用对数变换的结果减去光照图像的对数变换的结果，得到该视频图像帧的反射图像。

虽然这里只说明了本发明的优选实施例，但其意并非限制本发明的范围、适用性和配置。相反，对实施例的详细说明可使本领域技术人员得以实施。应能理解，在不偏离所附权利要求书确定的本发明精神和范围情况下，可对一些细节做适当变更和修改。

Claims (6)

1.一种保持颜色的去雾方法，其特征在于，包括如下步骤：

步骤一：从输入的降质的彩色视频数据中读入一帧视频图像；

步骤二：对读入的该帧视频图像进行对数变换；

步骤三：对读入的该帧视频图像进行平滑处理，得到估计的光照图像，并对得到的光照图像进一步进行对数变换；

步骤四：用步骤二中的对数变换的结果减去步骤三中的光照图像的对数变换的结果，得到该视频图像帧的反射图像；

步骤五：对反射图像进行指数变换得到该帧去掉光照后的视频图像；

步骤六：对该帧去掉光照后的视频图像进行拉伸，得到去雾后的图像；

步骤七：读入下一帧视频图像，转到步骤一，直至彩色视频数据中所有视频图像帧处理完毕。

2.根据权利要求1所述一种保持颜色的去雾方法，其特征在于：所述步骤二、步骤三和步骤四可为：

步骤二：对读入的该帧视频图像进行平滑处理，得到估计的光照图像，并对得到的光照图像进一步进行对数变换；

步骤三：对读入的该帧视频图像进行对数变换；

步骤四：用步骤三中的对数变换的结果减去步骤二中的光照图像的对数变换的结果，得到该视频图像帧的反射图像。

3.根据权利要求1所述一种保持颜色的去雾方法，其特征在于：所述步骤三中进行平滑处理时，对原始的视频图像帧进行两次平滑处理；第一次采用高斯低通滤波对原始图像进行平滑，第二次采用平滑之后结果的平均值进行估计，得到估计的光照图像。

4.根据权利要求2所述一种保持颜色的去雾方法，其特征在于：所述步骤三中第一次对原始的视频图像帧进行平滑时，选取的高斯函数模板的标准差σ和模板宽度w符合

5.根据权利要求1所述一种保持颜色的去雾方法，其特征在于：所述步骤六中对视频图像进行拉伸时，采用自适应的对比度拉伸的方法对图像进行拉伸，选取累积分布函数选取当前反射图像的灰度范围。

6.根据权利要求4所述一种保持颜色的去雾方法，其特征在于：所述步骤六中，所述累积分布函数中选取的剪切阈值为一经验数值，取值区间为[0.01，0.04]。

Images