CN104240192A - 一种快速的单幅图像去雾算法 - Google Patents

Abstract

本发明公开了一种基于暗原色先验和信息合成的单幅图像快速去雾算法及其硬件平台的实现。通过图像色彩空间的RGB三通道中的最小值、图像梯度和暗通道图以特定的条件快速合成出去雾模型所需要的透射图，代替了原来暗原色验去雾算法中软抠图法求解透射图的步骤，并优化了暗通道的计算。这种方法将原来的大规模稀疏矩阵的运算变为了对几幅不同信息图像对应像素点的比较，运算量大大减小，且在大多数情况下能得到与原算法效果同等理想的结果。同时，该算法由于简化了运算量，并且用像素比较的方法取代原算法中精度要求非常高的浮点运算，更容易在硬件平台如FPGA、DSP等平台上实现。此外，由于该算法耗时大大减小且能在硬件平台上实现，理论上具备实时处理的能力。

Description

一种快速的单幅图像去雾算法

技术领域

本发明涉及图像处理技术领域，具体来讲，涉及一种处理雾、霾天气条件下的图像清晰化技术，即基于暗原色先验和信息合成的单幅图像快速去雾算法。 

背景技术

图像去雾问题在数学分析中属于图像处理中的不适定问题(ill posed problem)或称反问题(inverse problem)，这种问题往往未知参数较多且没有客观的评价标准。因此对图像去雾算法的早期研究都采样图像增强的相关手段，通过研究图像的亮度对比度等实现图像在视觉效果上的恢复，这种方法被归纳为非物理模型方法。随着理论的发展，图像降质过程得到了越来越多的关注，其目的是通过图像降质的逆运算求得原始图像，其中像大气散射模型等模型的提出让图像去雾技术有了较大的进展，基于降质模型的方法统称为物理模型方法。近几年，何凯明等人提出的暗原色先验算法让图像去雾技术再向前推进一大步，受到了研究人员的高度关注。暗原色先验的算法在去雾效果上可以说十分理想，但却因算法的复杂度过高、耗时过大而没有得到广泛应用，所以近期关于暗通道算法的快速算法成为了热点话题。 

在国内的研究机构中，微软亚洲研究院和香港中文大学信息工程系的多媒体实验室He等人研究出基于暗原色先验的单幅图像去雾方法[1]。该方法属于物理模型方法，利用大气散射模型[2]，假设在至少一个颜色通道的局部区域内，场景反照率趋于0，实用最小值滤波对介质传播函数进行粗估计。然后利用图像抠图(image matting)算法[3]对介质传播函数进行细化(refining)，其成果较为显著，但由于细化方法实质上是一个大规模稀疏线性矩阵方程组求解，具有很高的时间复杂度和空间复杂度，使其与实际应用仍然存在较大差距。 

与国内相比，国外的研究展开较早，著名的有美国国家航空航天局(NASA)的Langley研究中心(LRC)的基于领域(surround-based)的Retinex算法[4]，对雾、烟、水下和夜晚图像进行增强，并将其算法嵌入DSP中，处理分辨率为256×256的灰度图像可以达到30帧每秒，基本满足实时性的要求。这种算法源于Land在人眼对颜色感知特性的研究[5]，将图像表示为反射分量和照度分量相乘积的形式。而基于领域的Retinex算法理论基础是，照度分量的强度一般变化缓慢，在频域中表现为低频成分，而不同物体表面材质的反射率差异交大，表现为高频成分，所以可以通过低通滤波的方法估计照度分量，然后在图像中去除场景的照度分量，获得实际反射分量。此类方法属于非物理模型方法，这类方法基于图像本身像素或领域的处理，计算相对简单，可应用于实时性要求的场合，但是存在严重的颜色失真问题。 

此外哥伦比亚大学的计算机视觉实验室研究如何利用不同条件下同一场景的多幅图像来恢复清晰图像，并建立了不同天气条件下同一场景的WILD数据库。与He等人一样同样是采用物理模型方法，该方法从RGB色彩空间出发推导出二色大气散射模型(dichromatic atmospheric scattering model)[6]，分析不同天气条件下场景颜色的变化关系，在场景颜色变换的约束条件下恢复出场景的三维结构和颜色，但是这 种方法假设了大气散射系数并不随光的波长变化而变化，这个假设在雾天不成立，如果场景中的物体接近雾霾颜色，则恢复效果并不理想。之后该方法作者Narasimhan和Nayar又提出单色大气散射模型[7]，并基于该模型利用两幅图像中同一像素点灰度值的变化，检测景深边缘(depth edges or depth discontinuities)，将图像分割为不同景深的若干区域(同一区域内景深相同)，来获得场景的三维结构，进而恢复图像。 

以色列的联合成像实验室Schechner等人认为环境光是部分水平的偏振光，而大气粒子的散射作用不会改变物体表面反射光的偏振状态[8]。他们研究的基于偏振滤波的方法，是通过旋转偏振片获取同一场景的最大和最小偏振度的两幅图像，利用它们之间的差值估计环境光，进而恢复图像。此算法大气成像和水下成像均适用，但是稳定性依赖于环境光的偏振状态和偏振度，在阴天和浓雾情况下效果并不理想。 

帝国理工学院通信和信号处理组Tan等人[9]在马尔科夫随机场(MRF)模型的框架下，构造关于边缘强度的代价函数，使用图分割(graph cut)理论来估计最优光照。此方法假设局部区域环境光为常数，而对对比度进行增强，明显改善图像的视见度。但此方法可能使颜色过饱和，且在深景突变的边界产生晕轮效应(The Halo Effect)。 

发明内容

本发明的目的在于找到一种在去雾效果相对理想的条件下处理速度更快且适合硬件实现的算法。 

为达到上述发明目的，本发明的基于暗原色先验和信息合成的单幅图像快速去雾算法，包括以下步骤： 

步骤1：对输入图像色彩空间R、G、B三个通道取数值上最小的值得到最小值图像； 

步骤2：求出步骤1得到的最小值图像的梯度图并给与适当的阈值使其二值化，得到二值化梯度图； 

步骤3：将步骤2得到的二值化梯度图作为暗通道运算的条件，优化暗通道计算，得到图像整体或局部的暗通道图像； 

步骤4：求出步骤3中暗通道图像的梯度图作为滤波的引导图像； 

步骤5：以步骤5所得的二值化梯度图像作为合成的条件，将步骤1的最小值图像和步骤3的暗通道图像以特定运算合成，得到含随机噪声和光晕效应的透射图； 

步骤6：以步骤4求得的滤波引导图像对步骤5所得的透射图进行平滑滤波，得到消弱光晕现象的透射图； 

步骤7：对步骤6所得的透射图进行低通滤波，得到去噪后的透射图； 

步骤8：利用步骤7所得的透射图，通过对大气散射模型的逆运算求得去雾后的图像。 

本发明通过图像色彩空间的RGB三通道中的最小值、图像梯度和暗通道图以特定的条件快速合成出去雾模型所需要的透射图，代替了原来暗原色验去雾算法中软抠图法求解透射图的步骤，并优化了暗通道的计算。这种方法将原来的大规模稀疏矩阵的运算变为对几幅不同信息图像对应像素点的比较，运算量大大减小，且在大多数情况下能得到与原算法效果同等理想的结果。同时，该算法由于简化了运算量，并且用像素比较的方法取代原算法中精度要求非常高的浮点运算，更容易在硬件平台如FPGA、DSP等平台上 实现。此外，由于该算法耗时大大减小且能在硬件平台上实现，理论上具备实时处理的能力。 

附图说明

图1是本发明单幅图像去雾的一种具体实施方式的流程图。 

图2是本发明中暗通道优化的方法示意图，其中左图为二值化梯度图，右图为通过二值化梯度图作为暗通道运算条件得到的图像暗通道。 

图3是本发明中基于信息合成的快速透射图求解过程示意图。 

图4是本发明matlab程序测试结果，其中左图为有雾图像，右图为本发明的去雾后的图像。 

图5是本发明matlab程序算法耗时，其中横坐标为图像像素点总个数，纵坐标为本发明算法整体耗时秒数。 

图6是本发明基于FPGA平台的系统设计图。 

图7是本发明基于DE2平台的演示系统设计图。 

图8是本发明演示系统算法启动前显示。 

图9是本发明演示系统算法启动后显示。 

具体实施方式

为更好地理解本发明，下面结合具体实施方式对本发明进行更为详细描述。在以下的描述中，当已有的现有技术的详细描述也许会淡化本发明的主题内容时，这些描述在这儿将被忽略。 

图1是本发明单幅图像去雾的一种具体实施的方式的流程图，在本实施例中，按照以下步骤进行： 

ST101：首先将输入图像，并按步骤求得最小值图像、二值化梯度图像、暗通道图像和滤波引导图像。 

其中暗通道图像计算如下： 

$I_{\mathrm{Dark}}\left(x\right)=\left\{\begin{array}{cc}\underset{c\∈\{r,g,b\}}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(I^c\left(y\right)\right)\right)& (\mathrm{Gradient}\left(x\right)=1)\\ 1& (\mathrm{Gradient}\left(x\right)=0)\end{array}\right.$

其中I^c(x)是色彩空间为RGB的有雾输入图像。 

ST102：根据ST101所得到的最小值图像I_Min(x)、二值化梯度图像Gradient(x)和暗通道图像I_Dark(x)按下面运算合成透射图t(x)： 

$t\left(x\right)=\left\{\begin{array}{cc}1-\min (\max (I_{\mathrm{Min}}\left(x\right),I_{\mathrm{Dark}}\left(x\right)),C)& (\mathrm{Gradient}\left(x\right)=0,I_{\mathrm{Dark}}\left(x\right)<1)\\ 1-\min ((I_{\mathrm{Min}}\left(x\right)+I_{\mathrm{Dark}}\left(x\right))/2,C)& (\mathrm{Gradient}\left(x\right)=1,I_{\mathrm{Dark}}\left(x\right)<1)\\ 1-\min (I_{\mathrm{Min}}\left(x\right),I_{\mathrm{Dark}}\left(x\right))& (I_{\mathrm{Dark}}\left(x\right)=1)\end{array}\right.$

ST103：根据大气散射模型，由输入的有雾图像以及求得的透射图像，通过逆运算求出去雾后的图像，其运算过程为： 

$J\left(x\right)=\frac{I\left(x\right)-A}{\max (t\left(x\right),t_0)}+A$

其中J(x)为去雾结果，I(x)为原始图像，A为大气光强，t₀为常数，典型值0.1。 

图2和图3则是ST101和ST102的过程示意图。图4则为matlab程序的测试结果。图5为算法的耗时，其测试条件为笔记本电脑2.4G双核i5。 

图6为FPGA平台的系统设计，图7为DE2开发板上演示系统的设计。 

图8和图9中，显示的四幅图像从左到右依次为有雾图像，最小值图像，透射图，去雾后图像。 

因为DE2板硬件资源限制，在图8和图9中的演示系统并没有达到软件算法的效果，但可以明确该算法能够在FPGA系统上得以实现。 

尽管上面对本发明说明性的具体实施方式进行了描述，但应当清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。 

Claims (3)

1.一种快速的单幅图像去雾算法，其特征在于，融合了暗原色先验和梯度信息，包括以下步骤：

步骤1：对输入图像色彩空间R、G、B三个通道取数值上最小的值得到最小值图像；

步骤2：求出步骤1得到的最小值图像的梯度图并给与适当的阈值使其二值化，得到二值化梯度图；

步骤3：将步骤2得到的二值化梯度图作为暗通道运算的条件，优化暗通道计算，得到图像整体或局部的暗通道图像；

步骤4：求出步骤3中暗通道图像的梯度图作为滤波的引导图像；

步骤5：以步骤5所得的二值化梯度图像作为合成的条件，将步骤1的最小值图像和步骤3的暗通道图像以特定运算合成，得到含随机噪声和光晕效应的透射图；

步骤6：以步骤4求得的滤波引导图像对步骤5所得的透射图进行平滑滤波，得到消弱光晕现象的透射图；

步骤7：对步骤6所得的透射图进行低通滤波，得到去噪后的透射图；

步骤8：利用步骤7所得的透射图，通过对大气散射模型的逆运算求得去雾后的图像。

2.根据权利要求1所述的基于暗原色先验和信息合成的单幅图像快速去雾算法，其特征在于，步骤3中采用梯度先验的方法优化了暗通道计算。

3.根据权利要求1所述的基于暗原色先验和信息合成的单幅图像快速去雾算法，其特征在于，步骤5信息合成的算法为：

$t\left(x\right)=\left\{\begin{array}{cc}1-\min (\max (I_{\mathrm{Min}}\left(x\right),I_{\mathrm{Dark}}\left(x\right)),C)& (\mathrm{Gradient}\left(x\right)=0,I_{\mathrm{Dark}}\left(x\right)<1)\\ 1-\min ((I_{\mathrm{Min}}\left(x\right)+I_{\mathrm{Dark}}\left(x\right))/2,C)& (\mathrm{Gradient}\left(x\right)=1,I_{\mathrm{Dark}}\left(x\right)<1)\\ 1-\min (I_{\mathrm{Min}}\left(x\right),I_{\mathrm{Dark}}\left(x\right))& (I_{\mathrm{Dark}}\left(x\right)=1)\end{array}\right.$

其中t(x)为透射图，I_Min(x)为最小值图像，I_Dark(x)为暗通道图像，Gradient(x)为二值化梯度图像，C为一个0到1之间的常数，其典型值为0.6。