CN103413305B - 一种单幅图像的快速去雾方法、装置和图像处理系统 - Google Patents

Abstract

本发明公开了一种单幅图像的快速去雾方法，该方法包括：对雾天图像进行去噪处理，得到去噪后的雾天图像；依据所述雾天图像计算大气光源，依据所述去噪后的雾天图像计算估计传输率；根据雾天成像模型，由所述去噪后的雾天图像、大气光源和估计传输率进行计算，得到复原图像，并对所述复原图像进行亮度调节。本发明还同时公开了一种与所述方法对应的装置和图像处理系统，运用该方法和装置可降低现有图像去雾过程中的计算误差，去雾效果更好，且可提高图像去雾处理的时间，应用范围更广。

Description

一种单幅图像的快速去雾方法、装置和图像处理系统

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种单幅图像的快速去雾方法、装置和图像处理系统。

背景技术

大气中的微小颗粒，如：雾、霾等的散射作用会在使户外场景拍摄的图像发生退化，导致图像质量下降，影响视觉效果。雾天情况下，可视距离短、场景能见度低。雾天拍摄的图像中，景深较远的区域的真实信息会出现严重损失。相比较无雾图像，雾天图像的对比度下降，整体色彩信息不够丰富。通过对雾天图像进行去雾处理，可以提升图像的对比度、校正颜色失真、增加场景能见度，以及改善视觉效果。图像去雾方法在计算机视觉各个应用领域都有着重大需求。无论是基本的图像分割和特征提取，还是较为高级的物体识别和测量，都要求输入图像是真实的辐照度。但是，在雾、霾天气下获取的图像往往不能满足该要求，导致算法精度降低，甚至算法失效。图像去雾方法则可以提高雾天图像质量，保证算法性能。

近年来，针对图像去雾方法的研究成果不断涌现，很多学者根据雾天图像的特点，通过寻找与雾的浓度相关的先验信息或者条件假设，实现了单幅图像去雾。例如：Visibility in Bad Weather from a Single Image[A].in:Computer Visionand Pattern Recognition[C].2008.一文中提到：根据最大化图像局部对比度和大气光平滑约束，使用马尔科夫随机场建立能量方程，对单幅雾天图像进行去雾，显著提升了图像有效信息，但是，该去雾方法的复原效果与真实户外场景图像有较大颜色失真。还有，Single Image Dehazing[J].ACM Transactions on Graphics,2008,27(3)72.一文在图像去雾过程中，假设传输率图像与表面反照率局部不相关，使用马尔科夫随机场建立能量方程，估计场景的反照率和传输率图像。现有技术还提到一种简单有效的暗通道先验条件，结合雾天成像模型计算传输率图像，实现单幅图像去雾，极大地恢复视觉效果。但是该方法对传输率图像的优化步骤占据了绝大多数计算时间，不能用于大尺寸图像的实时去雾。

当然，现有技术中还提出了其他的图像去雾方法，但是这些方法仍然存在一定的计算误差，例如：在深度变化剧烈的边缘区域，仍然存在一定的计算错误，对于很多雾天图像容易产生过度去雾、或者不完全去雾的问题。此外，上述去雾方法的计算速度较慢，无法满足大数据量的实时去雾的应用需求。

发明内容

有鉴于此，本发明的主要目的在于提供一种单幅图像的快速去雾方法、装置和图像处理系统，可降低现有图像去雾过程中的计算误差，且可提高图像去雾处理的时间。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种单幅图像的快速去雾方法，该方法包括：

对雾天图像进行去噪处理，得到去噪后的雾天图像；依据所述雾天图像计算大气光源，依据所述去噪后的雾天图像计算估计传输率；根据雾天成像模型，由所述去噪后的雾天图像、大气光源和估计传输率进行计算，得到复原图像，并对所述复原图像进行亮度调节。

其中，所述对雾天图像进行去噪处理，得到去噪后的雾天图像，包括：

计算所述雾天图像的三个颜色通道的最小值，得到雾天图像颜色最小值通道；

选取所述雾天图像颜色最小值通道中灰度值前p%的像素区域，在雾天图像中对这些区域中的像素进行高斯模糊或者均值模糊，得到去噪后的雾天图像；

其中，所述参数p根据复原图像的噪声放大情况进行调节，默认值是20。

其中，所述依据所述雾天图像计算大气光源，包括：

选取所述雾天图像颜色最小值通道中灰度值前r%的像素区域所对应的雾天图像颜色进行平均，得到大气光源；其中，所述r的默认值为5。

其中，所述依据所述去噪后的雾天图像计算估计传输率，包括：

将所述去噪后的雾天图像的每一个像素的三个颜色通道分别除以大气光源的三通道，并对所有相除后大于1的结果进行归一化截断处理，得到归一化的雾天图像；

计算所述归一化的雾天图像的三个颜色通道的最小值，记为归一化的雾天图像的颜色最小值通道，令1减去所述归一化的雾天图像的颜色最小值通道，得到初始传输率；

采用亮度线性变化对所述初始传输率进行放大，得到估计传输率。

其中，所述根据复原图像的计算方法如下：

$J\left(x\right)=\frac{I_1\left(x\right)-A}{t_1\left(x\right)}+A,$

其中，所述I₁(x)为去噪后的雾天图像，所述t₁(x)为估计传输率，所述A为大气光源，所述J(x)表示复原图像。

优选的，该方法还包括：在计算所述复原图像时，令所述大气光源乘以一个大气光源压缩系数w，所述w的初始值等于1，计算所得的复原图像为：

$J\left(x\right)=\frac{I_1\left(x\right)-\mathrm{wA}}{t_1\left(x\right)}+\mathrm{wA}.$

上述方案中，所述对所述复原图像进行亮度调节，包括：

采取伽马变换和曝光度调整相结合的方法，对去雾后的所述复原图像进行亮度增强处理，计算得到增强后的无雾图像。

本发明还提供了一种单幅图像的快速去雾装置，该装置包括：

去噪模块、计算模块和亮度调节模块；其中，

所述去噪模块，用于对雾天图像进行去噪处理，得到去噪后的雾天图像；

所述计算模块，用于依据所述雾天图像计算大气光源，依据所述去噪模块去噪后的雾天图像计算估计传输率；还根据雾天成像模型，由所述计算所得的去噪后的雾天图像、大气光源和估计传输率进行计算，得到复原图像；

所述亮度调节模块，用于对所述计算模块计算所得的复原图像进行亮度调节。

其中，所述计算模块包括：大气光源计算模块、估计传输率计算模块，以及复原图像计算模块；其中，

所述大气光源计算模块，用于依据所述雾天图像计算大气光源；

所述估计传输率计算模块，用于依据所述去噪后的雾天图像计算估计传输率；

所述复原图像计算模块，用于根据雾天成像模型，由所述去噪后的雾天图像、大气光源和估计传输率进行计算，得到复原图像。

本发明还提供了一种图像处理系统，包括：光学镜头、摄像机、传输与存储装置、显示设备；该系统还包括：上文所述的单幅图像的快速去雾装置。

本发明提供的单幅图像的快速去雾方法、装置和图像处理系统，对雾天图像进行去噪处理，得到去噪后的雾天图像；依据所述雾天图像计算大气光源，依据所述去噪后的雾天图像计算估计传输率；根据雾天成像模型，由所述去噪后的雾天图像、大气光源和估计传输率进行计算，得到复原图像，并对所述复原图像进行亮度调节。本发明对雾天图像中雾最浓的区域进行平滑去噪处理，依据所述雾天图像计算大气光源，采用亮度线性变换计算传输率图像，根据雾天成像模型计算无雾图像，实现了从单幅雾天图像中恢复出高质量的无雾图像。相比较雾天图像，去雾后的图像更加清晰、色彩更加丰富、对比度和能见度得到增加。此外，由于本发明采用上述亮度线性变换计算传输率，不需要额外的优化步骤，相对现有计算方法在计算速度上具有很大优势，使得本发明适用范围更宽广、更灵活、更实用。

附图说明

图1为本发明实施例单幅图像的快速去雾方法实现流程示意图；

图2为本发明实施例单幅图像的快速去雾装置结构示意图；

图3为本发明实施例给出的三幅雾天图像；

图4左侧为本发明实施例在对图3所示雾天图像进行去噪处理过程中，雾天图像颜色最小值通道中灰度值前p%的像素选取示意图；

图4右侧为本发明实施例对图3所示雾天图像进行去噪处理对应得到的去噪后的雾天图像；

图5为本发明实施例在计算大气光源时，雾天图像颜色最小值通道中灰度值前r%的像素选取示意图；

图6为本发明实施例对图3所示雾天图像计算得到的估计传输率图像；

图7为本发明实施例对图3所示雾天图像计算得到的复原图像；

图8为本发明实施例对图7所示复原图像进行亮度调节后的图像。

具体实施方式

本发明的基本思想是：对雾天图像进行去噪处理，得到去噪后的雾天图像；依据所述雾天图像计算大气光源，依据所述去噪后的雾天图像计算估计传输率；根据雾天成像模型，由所述去噪后的雾天图像、大气光源和估计传输率进行计算，得到复原图像，并对所述复原图像进行亮度调节。

需要说明的是，本发明下述实施例基于彩色图像进行计算，只是在附图说明中示意性地用灰度图像代替了彩色图像。实际上，本发明方法也可以用于灰度图像的去雾，但是需要在具体的算法上进行简化。为了更好的体现图像去雾的效果，所以一般图像去雾方法均采用彩色图像进行计算。

下面结合附图及具体实施例对本发明作进一步详细说明。

图1为本发明实施例单幅图像的快速去雾方法实现流程示意图，如图1所示，包括如下步骤：

步骤101：对雾天图像进行去噪处理，得到去噪后的雾天图像；

这里，在所述去噪处理之前，需要先确定雾天成像模型，所述雾天成像模型的确定为现有技术，下面对其进行简单描述：

根据雾天图像的特点，并结合雾天情况下可见光在大气中传播过程中的散射作用，确定的雾天成像模型如下：

I(x)=J(x)t(x)+A(1-t(x))。（1）

其中，公式（1）假设雾天图像所处场景的大气情况是同质的，微小颗粒在大气中均匀分布。所述I(x)是雾天图像，x表示图像中二维坐标值，I(x)表示在x处的三通道颜色值。等号右边共有两项，第一项J(x)t(x)表示入射光衰减，从物体表面反射的光线在直线传输过程中，在大气中微小颗粒处发生散射，发生衰减；J(x)是入射光，即复原后的无雾图像，本文中成为复原图像；所述t(x)是传输率图像，表示J(x)的衰减程度。第二项A(1-t(x))表示大气光，在入射光发生散射的同时，周围环境光也在微小颗粒处发生散射，部分光线进入入射光的传输路径到达照相机，使得大气光作为附加项叠加在雾天图像中。A是大气光源，是一个全图像适用的1×3向量，定义为图像中无穷远处雾的颜色。

本步骤中，所述对雾天图像进行去噪处理得到去噪后的雾天图像，具体为：

计算所述雾天图像I(x)的三个颜色通道的最小值，记为雾天图像颜色最小值通道Imin(x)：

$I\min \left(x\right)=\underset{c}{\min }\left(I^c\left(x\right)\right).---\left(2\right)$

选取雾天图像颜色最小值通道Imin(x)中灰度值前p%的像素区域Θ，在雾天图像中对这些区域中的像素进行高斯模糊或者均值模糊，而对其他像素不做处理，得到去噪后的雾天图像I₁(x)。参数p的默认值是20，在实际计算时，可根据复原图像的噪声放大情况进行调节，所述去噪后的雾天图像为：

$I_1\left(x\right)=\left\{\begin{array}{cc}\underset{y\∈\mathrm{\Ω}\left(x\right)}{\mathrm{Gaussian}\left(I\left(y\right)\right)}& x\∈\mathrm{\Θ}\\ I\left(x\right)& x\∉\mathrm{\Θ}\end{array}\right..---\left(3\right)$

步骤102：依据所述雾天图像计算大气光源；

具体为：选取雾天图像颜色最小值通道Imin(x)中灰度值前r%的像素区域Φ所对应的雾天图像颜色进行平均，作为大气光源A，这里，可设所述参数r的默认值为5，所述大气光源A为：

$A=\underset{x\∈\mathrm{\Φ}}{\mathrm{mean}\left(I\left(x\right)\right)}.---\left(4\right)$

步骤103：依据所述去噪后的雾天图像计算估计传输率；

具体为：令所述去噪后的雾天图像I₁(x)的每一个像素的RGB三个颜色通道分别除以大气光源A的三通道，并对所有相除后大于1的结果进行归一化截断处理，得到归一化的雾天图像IA(x)：

$\mathrm{IA}\left(x\right)=\min (\frac{I_1\left(x\right)}{A},1).---\left(5\right)$

计算归一化的雾天图像IA(x)的三个颜色通道的最小值，记为归一化的雾天图像的颜色最小值通道IAmin(x)：

$\mathrm{IA}\min \left(x\right)=\underset{c}{\min }\left(I{A}^c\left(x\right)\right).---\left(6\right)$

令1减去所述IAmin(x)，计算得到传输率的最小值估计，记为初始传输率t₀(x)：

t₀(x)=1-IAmin(x)。（7）

采用亮度线性变化对初始传输率t₀(x)进行放大，得到估计传输率t₁(x)：

$t_1\left(x\right)=\frac{t_0\left(x\right)-\min \left(t_0\left(x\right)\right)+h}{\max \left(t_0\left(x\right)\right)-\min \left(t_0\left(x\right)\right)+h}.---\left(8\right)$

公式（8）中，t₁(x)是估计传输率，min(t₀(x))是初始传输率t₀(x)的最小值，max(t₀(x))是初始传输率t₀(x)的最大值。参数h是线性变换系数，在实际计算时根据去雾效果进行调节。

步骤104：根据雾天成像模型，由所述去噪后的雾天图像、大气光源和估计传输率进行计算，得到复原图像；

具体为：根据雾天成像模型，由去噪后的雾天图像I₁(x)，估计传输率t₁(x)和大气光源A，计算得到复原图像J(x)。

$J\left(x\right)=\frac{I_1\left(x\right)-A}{t_1\left(x\right)}+A.---\left(9\right)$

从公式（9）可以得到J(x)=I₁(x)/t₁(x)+(1-1/t₁(x))A。当估计传输率t₁(x)不变时，大气光源A越小，复原图像J(x)的值越小，极端情况下会造成复原图像整体过暗。

因此，优选的，这里在所述大气光源A的前面增加一个大气光源压缩系数w，w的初始值等于1，必要时，可以根据去雾效果将所述w适当减小。据此，将公式（9）修改为公式（10），如下：

$J\left(x\right)=\frac{I_1\left(x\right)-\mathrm{wA}}{t_1\left(x\right)}+\mathrm{wA}.---\left(10\right)$

步骤105：对所述复原图像进行亮度调节；

具体为：为了更好地还原真实的无雾图像，采取伽马变换和曝光度调整相结合的方法，对去雾后的复原图像J(x)进行亮度增强处理，计算得到增强后的无雾图像J₁(x)：

J₁(x)=J(x)^g×2^e。（11）

公式（11）中，所述J(x)表示复原图像，计算前将所述J(x)归一化至[0,1]区间，J₁(x)是增强后的无雾图像，并对J₁(x)中大于1的数值进行截断处理，并将J₁(x)由[0,1]区间放大至[0,255]区间。所述参数g是伽马变换系数，初始值是1，g小于1时候复原图像J(x)的亮度增加。参数e是曝光调节系数，初始值是1，e大于0的时候复原图像J(x)的亮度增加。参数g和e均根据复原效果调节。

本发明实施例中，由于采用上述亮度线性变换计算传输率，不需要额外的优化步骤，相对现有计算方法在计算速度上具有很大优势，例如：在主频2.70GHz的Intel奔腾双核处理器上，本方法的计算速度为每百万像素77毫秒。另外，在主频3.1GHz的Intel至强四核处理器上，本方法的计算速度提升至每百万像素39毫秒。测试的编译环境为C++，单线程实现，并且没有使用任何降低分辨率的操作，使得本发明适用范围更宽广、更灵活、更实用。

本发明实施例还提供了一种单幅图像的快速去雾装置，所述装置可在主频2.70GHz的Intel奔腾双核处理器上实现；或者，可在主频3.1GHz的Intel至强四核处理器上实现，如图2所示，该装置包括：去噪模块、计算模块和亮度调节模块；其中，

所述去噪模块，用于对雾天图像进行去噪处理，得到去噪后的雾天图像；

所述计算模块，用于依据所述雾天图像计算大气光源，依据所述去噪模块去噪后的雾天图像计算估计传输率；还根据雾天成像模型，由所述计算所得的去噪后的雾天图像、大气光源和估计传输率进行计算，得到复原图像；

所述亮度调节模块，用于对所述计算模块计算所得的复原图像进行亮度调节。

优选的，所述计算模块包括：大气光源计算模块、估计传输率计算模块，以及复原图像计算模块；其中，

所述大气光源计算模块，用于依据所述雾天图像计算大气光源；

所述估计传输率计算模块，用于依据所述去噪后的雾天图像计算估计传输率；

所述复原图像计算模块，用于根据雾天成像模型，由所述去噪后的雾天图像、大气光源和估计传输率进行计算，得到复原图像。

本发明还提供了一种图像处理系统，该系统包括：光学镜头、摄像机、传输与存储装置、显示设备以及本文所述的单幅图像的快速去雾装置。

下面结合附图及具体实施例对本发明的方法进行描述。

如图3（a）、（b）、（c）所示，本实施例给出三幅子图像分别对应不同时间、地点和天气情况下拍摄的雾天图像I(x)，且图4至图8中三幅子图像的顺序与图3中的顺序相对应。

首先，对图3中所示的（a）、（b）、（c）三幅子图像进行去噪处理，对应得到图4中右侧所示的三幅去噪后的雾天图像I₁(x)。图4中第一列，即左侧三幅子图像中的白色像素是Imin(x)中灰度值前p%的像素；第二列，即右侧的三幅子图像是去噪后的雾天图像I₁(x)。计算过程中，根据上文公式（2）计算雾天图像颜色最小值通道Imin(x)；选取Imin(x)中灰度值前p%的像素，根据公式（3），在雾天图像中对这些区域中的像素进行高斯模糊或者均值模糊，而对其他像素（即左侧图中的黑色像素）不做处理。这里，所示（a）、（b）、（c）三幅子图像的参数p取值分别为50、50、25。在实际应用过程中，所示参数p的取值可根据实际显示效果进行手动调节。

其次，依据所述图3中的雾天图像计算大气光源A。根据公式（2）计算雾天图像颜色最小值通道Imin(x)；依据图5中三幅子图像中的白色像素区域得到Imin(x)中灰度值前r%的像素；根据公式（4）对白色像素所对应的雾天图像进行平均颜色，作为大气光源A。（a）、（b）、（c）三幅子图像的参数r取值均为5，计算得到的大气光源A分别是（149，146，141）、（151，149，147）、（183，182，179）。在实际应用过程中，所示参数r的取值可根据实际显示效果进行手动调节。

图6是本发明实施例对图3所示雾天图像计算得到的估计传输率图像t₁(x)。在计算得到去噪后的雾天图像I₁(x)和大气光源A之后，根据公式（5）（6）（7）（8）依次计算，得到估计传输率t₁(x)。（a）、（b）、（c）三幅子图像的线性变换参数h取值分别为0.10、0.25、0.20。在实际应用过程中，所示参数h的取值可根据实际显示效果进行手动调节。

图7是本发明实施例计算得到的复原图像J(x)。根据公式（10），由去噪后的雾天图像I₁(x)，估计传输率t₁(x)和大气光源A，计算得到复原图像J(x)。（a）、（b）、（c）三幅子图像的大气光源压缩参数w取值均为0.75。在实际应用过程中，所示参数w的取值可根据实际显示效果进行手动调节。

图8是本发明实施例对图7所示复原图像进行亮度调节后的图像J₁(x)。根据公式（11），采取伽马变换和曝光度调整相结合的方法，对去雾后图像J(x)进行亮度增强处理，计算得到增强后的无雾图像J₁(x)。（a）、（b）、（c）三幅子图像的伽马变换参数g分别取值1.05、1.00、1.00，曝光调节系数e分别取值0.15、0.20、0.30。在实际应用过程中，所示参数g和e的取值可根据实际显示效果进行手动调节。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (9)

1.一种单幅图像的快速去雾方法，其特征在于，该方法包括：

对雾天图像进行去噪处理，得到去噪后的雾天图像；依据所述雾天图像计算大气光源，依据所述去噪后的雾天图像计算估计传输率；根据雾天成像模型，由所述去噪后的雾天图像、大气光源和估计传输率进行计算，得到复原图像，并对所述复原图像进行亮度调节；

其中，所述对雾天图像进行去噪处理，得到去噪后的雾天图像，包括：

计算所述雾天图像的三个颜色通道的最小值，得到雾天图像颜色最小值通道；

选取所述雾天图像颜色最小值通道中灰度值前p％的像素区域，在雾天图像中对这些区域中的像素进行高斯模糊或者均值模糊，得到去噪后的雾天图像；

其中，参数p根据复原图像的噪声放大情况进行调节，默认值是20。

2.根据权利要求1所述的方法，其特征在于，所述依据所述雾天图像计算大气光源，包括：

选取所述雾天图像颜色最小值通道中灰度值前r％的像素区域所对应的雾天图像颜色进行平均，得到大气光源；其中，所述r的默认值为5。

3.根据权利要求2所述的方法，其特征在于，所述依据所述去噪后的雾天图像计算估计传输率，包括：

将所述去噪后的雾天图像的每一个像素的三个颜色通道分别除以大气光源的三通道，并对所有相除后大于1的结果进行归一化截断处理，得到归一化的雾天图像；

计算所述归一化的雾天图像的三个颜色通道的最小值，记为归一化的雾天图像的颜色最小值通道，令1减去所述归一化的雾天图像的颜色最小值通道，得到初始传输率；

采用亮度线性变化对所述初始传输率进行放大，得到估计传输率。

4.根据权利要求3所述的方法，其特征在于，根据雾天成像模型，所述复原图像的计算方法如下：

$J\left(x\right)=\frac{I_1\left(x\right)-A}{t_1\left(x\right)}+A,$

其中，所述I₁(x)为去噪后的雾天图像，所述t₁(x)为估计传输率，所述A为大气光源，所述J(x)表示复原图像。

5.根据权利要求4所述的方法，其特征在于，该方法还包括：在计算所述复原图像时，令所述大气光源乘以一个大气光源压缩系数w，所述w的初始值等于1，计算所得的复原图像为：

$J\left(x\right)=\frac{I_1\left(x\right)-wA}{t_1\left(x\right)}+wA.$

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述对所述复原图像进行亮度调节，包括：

采取伽马变换和曝光度调整相结合的方法，对去雾后的所述复原图像进行亮度增强处理，计算得到增强后的无雾图像。

7.一种单幅图像的快速去雾装置，其特征在于，该装置包括：

去噪模块、计算模块和亮度调节模块；其中，

所述去噪模块，用于对雾天图像进行去噪处理，得到去噪后的雾天图像；

所述计算模块，用于依据所述雾天图像计算大气光源，依据所述去噪模块去噪后的雾天图像计算估计传输率；还根据雾天成像模型，由所述计算所得的去噪后的雾天图像、大气光源和估计传输率进行计算，得到复原图像；

所述亮度调节模块，用于对所述计算模块计算所得的复原图像进行亮度调节；

其中，所述去噪模块具体用于计算所述雾天图像的三个颜色通道的最小值，得到雾天图像颜色最小值通道；选取所述雾天图像颜色最小值通道中灰度值前p％的像素区域，在雾天图像中对这些区域中的像素进行高斯模糊或者均值模糊，得到去噪后的雾天图像；其中，参数p根据复原图像的噪声放大情况进行调节，默认值是20。

8.根据权利要求7所述的装置，其特征在于，所述计算模块包括：大气光源计算模块、估计传输率计算模块，以及复原图像计算模块；其中，

所述大气光源计算模块，用于依据所述雾天图像计算大气光源；

所述估计传输率计算模块，用于依据所述去噪后的雾天图像计算估计传输率；

所述复原图像计算模块，用于根据雾天成像模型，由所述去噪后的雾天图像、大气光源和估计传输率进行计算，得到复原图像。

9.一种图像处理系统，包括：光学镜头、摄像机、传输与存储装置、显示设备；其特征在于，该系统还包括：权利要求7或8所述的单幅图像的快速去雾装置。