CN105574830A - 极端天气条件下低质图像增强方法 - Google Patents

Abstract

一种极端天气条件下低质图像增强方法，其特征在于：该方法对于输入的单幅图像，首先将图像转换到CIE-Lab颜色空间，设定一个偏色因子_D，根据经验，若_D＜1.4，则图像为清晰图像，无须进行处理，若_D＞1.4，则是降质图像，根据色度分量值区分图像是沙尘图像还是雾霾、雨雪图像；若是雾霾、雨雪图像，则采用改进的暗原色先验算法处理图像；若是沙尘图像，则采用伽马校正的限制对比度自适应直方图均衡化算法。其很好的解决了以往所存在的问题，其效果较以往的技术有很大的提升，利于推广应用。

Description

极端天气条件下低质图像增强方法

技术领域：本发明提供一种极端天气条件下低质图像增强方法。

背景技术

雾霾、沙尘、雨雪等极端天气给人们日常生活带来了一定程度的影响。在极端天气下获取的图像，对比度降低、细节模糊，图像降质严重，这样的图像大大限制了机器视觉的应用，尤其是在户外，交通监控，目标识别，遥感，导航等方面。

如何提高单一降质图像的清晰度，国内外学者做了大量研究。Tan通过最大化局部对比度来实现去雾，增强后的图像常常过饱和；He等提出基于暗原色先验的单一图像去雾方法，该方法处理后的图像景象自然，去雾效果较好，也是目前最实用有效的去雾方法。在优化透射率时所使用的抠图方法，具有较高的空间和时间复杂度，耗时较长，为了提高计算速度，He等又采用了导向滤波来修正透射图，恢复的图像较暗，质量降低。雨雪方面：Xu等使用去雾的方法实现了雨滴去除工作。同时他又使用该方法实现了图像中雪花的去除，他认为雨滴和雪花都属于动态天气，对图像的影响都表现为快速运动的物体对背景像素的遮挡。但是效果均不理想。

发明内容：

发明目的：本发明提供一种极端天气条件下低质图像增强方法，其目的是解决以往所存在的问题。

技术方案：

一种极端天气条件下低质图像增强方法,其特征在于：该方法对于输入的单幅图像，首先将图像转换到CIE-Lab颜色空间，设定一个偏色因子D，根据经验，若D＜1.4，则图像为清晰图像，无须进行处理，若D＞1.4，则是降质图像，根据色度分量值区分图像是沙尘图像还是雾霾、雨雪图像；若是雾霾、雨雪图像，则采用改进的暗原色先验算法处理图像；若是沙尘图像，则采用伽马校正的限制对比度自适应直方图均衡化算法。

该方法的步骤如下：

图像分类器的设计：

本申请在CIE-Lab颜色空间下检测图像偏色与否；

在图像的ab色度坐标平面的直方图中，若色度分布呈现为集中的单峰值，或分布较为集中且色度均值较大时一般存在色偏；分布呈现明显的分散的多峰值时，认为没有色偏；本申请引入偏色因子D来计算图像的色偏程度；在Lab空间下，引入等效圆的概念，采用图像平均色度K与色度中心距Z的比值D作为偏色因子：

$k_a=\frac{{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^{N}a}{MN},k_b=\frac{{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^{N}b}{MN}---\left(7\right)$

$K=\sqrt{k_a^2+k_b^2}---\left(8\right)$

$\begin{array}{c}{Z}_a=\frac{{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^N{(a-k_a)}^2}{MN},Z_b=\frac{{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^N{(b-k_b)}^2}{MN}\\ Z=\sqrt{Z_a^2+Z_b^2}\end{array}---\left(9\right)$

D＝K/Z(10)

其中，M、N为图像的长和宽，在ab色度平面，等效圆中心坐标为(k_a,k_b)，半径为Z，圆心到ab色度平面中心轴原点(a＝0,b＝0)的距离为K，根据等效圆在ab色度平面的具体位置来判断图像整体偏色与否，经验取值D≤1.4时，则认为图像没有偏色，是清晰图像，无需处理，否则，则是偏色图像，在Lab模型中，a的正数表示红色，负端表示绿色；b的正数表示黄色，负端表示蓝色，k_b表示ab色度平面上的b分量，用于判断图像是否偏黄或偏蓝，当k_b大于0时，图像偏黄，认为是沙尘图像，采用伽马校正的限制对比度自适应直方图均衡化算法；k_b小于0时，输入图像为雾霾、雨雪图像，采用改进的暗原色先验算法。

雾霾图像增强算法：

He的暗原色先验去雾霾算法是建立在暗原色假设之上，当景物在本质上同空气层接近并且没有阴影覆盖其上时，暗原色理论就无效，对此，本申请针对暗原色先验失效的区域，通过改善透射率及大气光A的获取方式修正该算法；

明亮区域透射率的估计：

首先设定一个阈值S，判定图像中的明亮区域，当大气光值与暗通道差值小于S时，即判定为明亮区域，否则，使用He方法计算，经过实验验证，S＝45；对于|A^c-I(x)|≤S的区域，判定为明亮区域，重新计算透射率；

明亮区域的图像不再满足暗原色先验规律，透射率表达式为：

$T\left(x\right)=\frac{1-\underset{c}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\right(\frac{I^c\left(y\right)}{A^c}\left)\right)}{1-\underset{c}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\right(\frac{J^c\left(y\right)}{A^c}\left)\right)}---\left(11\right)$

本文采用逐像素的方式来估计明亮区域的透射率；首先计算出透射率的表达式如式(11)，然后我们求取图像的最小通道值，该最小通道值包含了丰富的细节和边界信息；综上我们得到透射率表达式为：

$t^{\′}\left(x\right)=\frac{T\left(x\right)}{1-\mathrm{\β}\underset{c}{\min }\left(\frac{I^c\left(y\right)}{A^c}\right)}---\left(12\right)$

其中， $\mathrm{\β}=\frac{\underset{c}{min}\left(I^c\right(y\left)\right)-min\left(\underset{c}{min}\right(I^c\left(y\right)\left)\right)}{\max \left(\underset{c}{min}\right(I^c\left(y\right)))-min\left(\underset{c}{min}\right(I^c\left(y\right)\left)\right)}---\left(13\right)$

在天空等明亮区域，局部窗口的RGB通道值相较于其他区域更大，而且像素亮度波动平缓；因此，β值趋于1.对于满足暗原色先验的区域，暗通道值趋于0，按式 $t\left(x\right)=1-w\underset{y\∈\mathrm{\Ω}\left(x\right)}{min}\left(\underset{c\∈\{R,G,B\}}{min}\right(\frac{I^c\left(y\right)}{A^c}\left)\right)---\left(5\right)$ 计算；

根据以上描述，我们得到透射率的表达式为：

$\hat{t}\left(x\right)=\left\{\begin{array}{cc}1-w\underset{y\∉\mathrm{\Ω}\left(x\right)}{min}\left(\underset{c\∈\{r,g,b\}}{min}\right(\frac{I^c\left(y\right)}{A^c}\left)\right)& |A^c-I\left(x\right)|>S\\ \frac{T\left(x\right)}{1-\mathrm{\β}\underset{c}{min}\left(\frac{I^c\left(x\right)}{A^c}\right)}& |A^c-I\left(x\right)|\≤S\end{array}\right.---\left(14\right)$

因为在局部窗口中心的透射率是分块连续的，直接通过恢复出的图像容易出现块效应等马赛克效果；为了移除这种块效应，本文采用引导滤波进一步得到精细化的透射率。

修正大气光A的获取方式：

大气光A的值通常在雾霾最浓区域估计得到，即最大像素值的区域选取；但是最大像素值可能取自天空、白色物体、雨雪等，这样得到的A值接近于255,会导致恢复的图像发生色偏；

对于一幅图像而言，雾最浓区域通常位于图像的上方，所以本文选取位于图像上方1/4的区域，暗原色中亮度最大的10％的像素的均值作为大气光A；若一幅图像中天空区域几近全无，我们认为它的雾霾最浓区域在场景深度最远处，也就是图像的最上方，因此可以用上述方法获得大气光A的值；

图像恢复：

通过修正后的大气光常量和精细化的透射率图，就可以进行无雾霾图像的恢复；将式(14)代入式中，可以得到恢复的清晰图像J(x)：

$J\left(x\right)=\frac{I\left(x\right)-A}{max\left(\hat{t}\right(t),t_0)}+A---\left(15\right).$

雨雪图像增强算法：

雨雪天获得的降质图像一般会覆盖有大量的雨线或雪斑；雨雪图像中，受雨雪影响的像素可以看做雨滴或雪花和背景共同作用的线性叠加效果；物理模型描述如下：

H＝(1-ε)H_b+εH_r(16)

其中，H为输入的降质图像，H_b表示背景部分，H_r表示理想的雨雪亮度，即雨雪在空中静止时该点像素的亮度；ε为比例参数，其中，0＜ε＜1；观察雨雪和雾霾成像模型，比较式I(x)＝J(x)t(x)+A(1-t(x))(1)及式(16)可以得出，将I与H相对应，H_b与J(x)相对应，H_r与大气光A相对应，(1-ε)与t(x)相对应；于是，与雾霾去除过程类似，雨雪的去除过程为，从已知的降质图像H中恢复出背景图像H_b，其中(1-ε)为未知量，即只要求出H_r的值即可通过雾霾去除方法实现雨雪的去除。

1)理想雨雪亮度H_r的求取

H_r表示雨雪在空中静止时的亮度值；因为雨雪为白色，通常在图像中寻找亮度最大值的方法对H_r进行求解；根据其与雾霾图像中求取大气光的相似性，本文用求取大气光A的方法求取H_r的值；

2)雨雪去除过程

根据以上分析得到，雨雪去除过程可以用雾霾去除过程实现；于是，本文不单独对雨雪图像处理，采用雾霾去除方法对雨雪图像进行增强。

沙尘图像增强算法：

在AHE算法的基础上，提出伽马校正的限制对比度自适应直方图均衡化算法来对沙尘图像进行增强处理；

规一化的伽马校正：

伽马校正本质上是一个用于调整图像亮度的变换函数，数学定义如下：

S＝R^γ(17)

式中，S为伽马校正后的图像，R为输入图像，γ为伽马系数；伽马校正的优势在于可以通过改变γ的值来改变变换函数；但是，因为增加γ值会过度补偿图像，在增强对比度的同时使图像变黑；而低质图像通常动态范围较窄，因此需要扩大动态范围，动态范围的调整也称为归一化；因此，本方法进一步归一化伽马校正函数，以弥补伽马校正的不足，在扩展动态范围的同时，增强了对比度，减少了亮度；归一化函数定义如下：

$N=\frac{\[R-min\left(R\right)\]}{\[max\left(R\right)-min\left(R\right)\]}---\left(18\right)$

N为归一化后的图像；将(17)、(18)结合，就得到了归一化后的伽马校正函数N′；

$N^{\′}=\frac{\[S-min\left(S\right)\]}{\[\max \left(S\right)-\min \left(S\right)\]}---\left(19\right)$

经过归一化伽马校正处理后的图像，再用限制对比度自适应直方图均衡化算法^[15](CLAHE)，进一步改善图像对比度，同时增强图像的亮度；这样一来，既避免了亮度的过增强，也减少了整幅图像中对比度调整不平衡的不足。

归一化伽马校正处理流程：

①使用归一化的伽马校正函数调整图像对比度；

②将图像分割为若干个大小为X×Y的矩形块，这样就将图像划分为多个不同的区域：包含四个角的角区域；包含除了角区域以外所有边界的边界区域；包含图像剩下区域的内部区域；

③用累积分布函数(CDF)得到每一块的直方图；相应的CDF表示式为：

$f_{i,j}\left(n\right)=\frac{(Y-1)}{X}\·\underset{k=0}{\overset{n}{\Σ}}{h}_{i,j}\left(k\right),n=0,1,...,Y-1---\left(20\right)$

式中，h_i,j(k)为块(i,j)像素k的直方图；

④计算裁剪阈值，裁剪直方图以限制放大幅度；阈值α计算如下：

$\mathrm{\α}=\frac{X}{Y}(1+\frac{\mathrm{\φ}}{100}(l_{max}-1\left)\right)---\left(21\right)$

φ为裁剪因子，l_max为允许的最大斜率；这不仅限制了CDF的斜率，同时也限制了变换函数的斜率；剪裁超过阈值的直方图，将直方图被裁剪掉的部分均匀地分布到直方图的其他部分，重分布的过程中，需重复对直方图裁剪和重分布的过程，直到不再超过阈值为止；

⑤用变换函数计算重新分布的直方图像素值；上述分割的多个不同区域对应于不同的变换函数；对于块的非中心区域，采用双线性插值来计算；对于内部区域来说，对于象限1中，中心像素为(i,j)的块区域来说，该区域某点P值可以通过该点分别与以(i,j)、(i-1,j)、(i,j-1)、(i-1,j-1)为中心区域的水平、垂直距离来确定；P的像素值可按下式计算：

$\begin{array}{c}{p}^{\′}=\frac{v}{h+v}\left(\frac{c}{b+c}{f}_{i-1,j-1}\right(p)+\frac{b}{b+c}{f}_{i,j-1}(p\left)\right)\\ +\frac{h}{h+v}\left(\frac{c}{b+c}{f}_{i-1,j}\right(p)+\frac{b}{b+c}{f}_{i,j}(p\left)\right)\end{array}---\left(22\right)$

h,v,b,c为制定距离；f_i,j(·)为累积分布函数；其他三个象限算法与象限1一项；边界区域的象限1、3的邻域与内部区域类似；对于象限2、4，新的像素值按下式计算：

$p^{\′}=\frac{v}{h+v}{f}_{i,j-1}\left(p\right)+\frac{h}{h+v}{f}_{i,j}\left(p\right)---\left(23\right)$

对于角区域来说，不同象限算法不同，于是有：

p′＝f_i,j(p)(24)

经过上述方法处理后，沙尘图像复原效果较好，增强了对比度，同时亮度不会过增强。

该系统包括多路转换开关、微处理器、视频处理单元、HDMI输出端块以及8路DVI端块、8路HDMI端块、8路BNC端块；

8路DVI端块和8路HDMI端块插接在多路转换开关上，多路转换开关插接在微处理器上，视频处理单元插接在微处理器上，HDMI输出端块插接在视频处理单元上，8路BNC端块插接在编码块上，编码块插接在多路转换开关上。

该系统还包括串口插接块、网口插接块和通道选择块，串口插接块、网口插接块和通道选择块，插接在微处理器上。

优点效果：本发明提供一种极端天气条件下低质图像增强方法，本文在此前学者提出的算法基础上，提出一种能灵活处理多种极端天气条件下降质图像的增强算法。针对输入的单幅降质图像，设计一种图像分类器。通过设定偏色因子，判断图像是否为降质图像，若是降质图像，根据色度分量值自适应的对雾霾、雨雪和沙尘图像分别采取不同的算法。若是雾霾、雨雪图像，则采用改进的暗原色先验算法处理图像，因为雨雪图像表现为雨滴或雪花对背景像素的遮挡，所以可用去雾霾的方法实现雨雪图像的增强处理；若是沙尘图像，则采用伽马校正的限制对比度自适应直方图均衡化算法。其很好的解决了以往所存在的问题，其效果较以往的技术有很大的提升，利于推广应用。

附图说明：

图1为本发明的流程图；

图2为直方图的裁剪、重分布图；

图3为内部区域的邻域结构图；

图4为多路极端天气下低质图像增强系统图。

具体实施方式：下面结合附图对本发明做进一步的说明：如图1所示，本发明提供一种极端天气条件下低质图像增强方法，

暗原色先验算法实现图像增强：

在计算机视觉中，以下模型广泛用于描述雾霾图像的形成过程：

I(x)＝J(x)t(x)+A(1-t(x))(1)

其中，I(x)表示反射的光线经过衰减后到达成像设备的光线强度，即观察到的带雾霾图像，t(x)表示介质透射率，反映了光线穿透霾的能力，其值越大，表明穿透雾霾到达观测点的光线越多，J(x)表示要复原的清晰图像，A为大气光，通常设为全局常量。去雾霾的目的就是从I中恢复J。

由方程(1)可以得到：

$J\left(x\right)=\frac{I\left(x\right)-A}{t\left(x\right)}+A---\left(2\right)$

I(x)为已知的带雾图像，而J(x),t(x),A都未知，因此直接通过方程(1)来求解得到J是比较困难的。

暗原色先验是He通过对大量户外无雾图像的观察统计得出的，即在绝大多数非天空的局部区域里，某一些像素总会有至少一个颜色通道具有很低的值接近于0。对于一幅图像J，用公式表示为：

$J^{dark}\left(x\right)=\underset{y\∈\mathrm{\Ω}\left(x\right)}{min}\left(\underset{c\∈\{R,G,B\}}{min}{J}^c\right(y\left)\right)=0---\left(3\right)$

J^c为J的某一颜色通道，c为R,G,B三通道某一通道，Ω(x)为以x为中心的局部区域，J^dark为J的暗原色。将(3)式代入(1)中，并假设某一局部区域内的透射率是恒定的，假定大气光A是给定的，简单估算出透射率：

$t\left(x\right)=1-\underset{y\∈\mathrm{\Ω}\left(x\right)}{min}\left(\underset{c\∈\{R,G,B\}}{min}\right(\frac{I^c\left(y\right)}{A^c}\left)\right)---\left(4\right)$

因为空间透视现象的存在，如果将雾彻底地移除，会使图像看起来不真实，同时会丢失深度感，于是引进一个雾气保留因子w＝0.95，保留一部分覆盖遥远景物的雾。

$t\left(x\right)=1-w\underset{y\∈\mathrm{\Ω}\left(x\right)}{min}\left(\underset{c\∈\{R,G,B\}}{min}\right(\frac{I^c\left(y\right)}{A^c}\left)\right)---\left(5\right)$

最终得到去雾后的恢复图像J：

$J\left(x\right)=\frac{I\left(x\right)-A}{\max \left(t\right(x),t_0)}+A---\left(6\right)$

式中，大气光A的估计方法为：选取暗原色中亮度最大的0.1％的像素，并在以上像素中选取强度最大像素点的值作为A的值。当t(x)接近0的时候，J(x)t(x)也会接近0，这会使得到的图像包含噪声，因此设定一个下限值，t₀＝0.1。

本申请的具体方法如下：

对于输入的单幅图像，首先将图像转换到CIE-Lab颜色空间，设定一个偏色因子D，根据经验，若D＜1.4，则图像为清晰图像，无须进行处理，若D＞1.4，则是降质图像，根据色度分量值区分图像是沙尘图像还是雾霾、雨雪图像。若是雾霾、雨雪图像，则采用改进的暗原色先验算法处理图像；若是沙尘图像，则采用伽马校正的限制对比度自适应直方图均衡化算法。本文的算法流程如图1所示。

图像分类器的设计

RGB颜色空间表示的两种颜色间的差异无法反映人类视觉感受，而CIE-Lab颜色空间计算出的颜色差异与人类实际感知差别基本一致，因此本文在CIE-Lab颜色空间下检测图像偏色与否。

研究发现，在图像的ab色度坐标平面的直方图中，若色度分布呈现为集中的单峰值，或分布较为集中且色度均值较大时一般存在色偏；分布呈现明显的分散的多峰值时，认为没有色偏。本文引入偏色因子D来计算图像的色偏程度。在Lab空间下，引入等效圆的概念，采用图像平均色度K与色度中心距Z的比值D作为偏色因子。

$k_a=\frac{{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^{N}a}{MN},k_b=\frac{{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^{N}b}{MN}---\left(7\right)$

$K=\sqrt{k_a^2+k_b^2}---\left(8\right)$

$\begin{array}{c}{Z}_a=\frac{{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^N{(a-k_a)}^2}{MN},Z_b=\frac{{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^N{(b-k_b)}^2}{MN}\\ Z=\sqrt{Z_a^2+Z_b^2}\end{array}---\left(9\right)$

D＝K/Z(10)

其中，M、N为图像的长和宽，在ab色度平面，等效圆中心坐标为(k_a,k_b)，半径为Z。圆心到ab色度平面中心轴原点(a＝0,b＝0)的距离为K。根据等效圆在ab色度平面的具体位置来判断图像整体偏色与否。经验取值D≤1.4时，则认为图像没有偏色，是清晰图像，无需处理。否则，则是偏色图像。在Lab模型中，a的正数表示红色，负端表示绿色；b的正数表示黄色，负端表示蓝色。k_b表示ab色度平面上的b分量，用于判断图像是否偏黄或偏蓝。当k_b大于0时，图像偏黄，认为是沙尘图像，采用伽马校正的限制对比度自适应直方图均衡化算法；k_b小于0时，输入图像为雾霾、雨雪图像，采用改进的暗原色先验算法。

雾霾图像增强算法：

He的暗原色先验去雾霾算法是建立在暗原色假设之上，当景物在本质上同空气层接近并且没有阴影覆盖其上时，暗原色理论就无效。对此，本节针对暗原色先验失效的区域，通过改善透射率及大气光A的获取方式修正该算法。

对于雾霾图像，在天空等不满足暗原色先验的明亮区域，实际的透射率要比用He方法估计得到的透射率大得多，透射率的过小估计使得天空等明亮区域色彩恢复错误，导致恢复的J(x)偏小，使得景物边缘出现黑斑效应。在对大气光A的估计中，He的算法是选取亮度最大的0.1％的像素中的最大值作为大气光A的强度，然而如果取一个点，则各通道的A值很有可能全部接近255，这样会造成处理后的图像偏色，出现大量色斑。结合以上考虑，本文改进了透射率及大气光A的算法。

明亮区域透射率的估计：

由于天空、水面、白色的物体、雨雪等大面积明亮区域存在时，暗原色统计先验规律是不成立的，则式(5)估计的透射率是不准确的，会导致天空等部分出现明显的色彩失真。本文首先设定一个阈值S，判定图像中的明亮区域，当大气光值与暗通道差值小于S时，即判定为明亮区域，否则，使用He方法计算。经过实验验证，S＝45。对于|A^c-I(x)|≤S的区域，判定为明亮区域，重新计算透射率。

明亮区域的图像不再满足暗原色先验规律，透射率表达式为：

$T\left(x\right)=\frac{1-\underset{c}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\right(\frac{I^c\left(y\right)}{A^c}\left)\right)}{1-\underset{c}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\right(\frac{J^c\left(y\right)}{A^c}\left)\right)}---\left(11\right)$

本文采用逐像素的方式来估计明亮区域的透射率。首先计算出透射率的表达式如式(11)，然后我们求取图像的最小通道值，该最小通道值包含了丰富的细节和边界信息。综上我们得到透射率表达式为：

$t^{\′}\left(x\right)=\frac{T\left(x\right)}{1-\mathrm{\β}\underset{c}{\min }\left(\frac{I^c\left(y\right)}{A^c}\right)}---\left(12\right)$

其中， $\mathrm{\β}=\frac{\underset{c}{min}\left(I^c\right(y\left)\right)-min\left(\underset{c}{min}\right(I^c\left(y\right)\left)\right)}{\max \left(\underset{c}{min}\right(I^c\left(y\right)))-min\left(\underset{c}{min}\right(I^c\left(y\right)\left)\right)}---\left(13\right)$

在天空等明亮区域，局部窗口的RGB通道值相较于其他区域更大，而且像素亮度波动平缓。因此，β值趋于1.对于满足暗原色先验的区域，暗通道值趋于0，按式(5)计算。

根据以上描述，我们得到透射率的表达式为：

$\hat{t}\left(x\right)=\left\{\begin{array}{cc}1-w\underset{y\∉\mathrm{\Ω}\left(x\right)}{min}\left(\underset{c\∈\{r,g,b\}}{min}\right(\frac{I^c\left(y\right)}{A^c}\left)\right)& |A^c-I\left(x\right)|>S\\ \frac{T\left(x\right)}{1-\mathrm{\β}\underset{c}{min}\left(\frac{I^c\left(x\right)}{A^c}\right)}& |A^c-I\left(x\right)|\≤S\end{array}\right.---\left(14\right)$

因为在局部窗口中心的透射率是分块连续的，直接通过恢复出的图像容易出现块效应等马赛克效果。为了移除这种块效应，本文采用引导滤波进一步得到精细化的透射率。

修正大气光A的获取方式：

大气光A的值通常在雾霾最浓区域估计得到，即最大像素值的区域选取。但是最大像素值可能取自天空、白色物体、雨雪等，这样得到的A值接近于255,会导致恢复的图像发生色偏。

对于一幅图像而言，雾最浓区域通常位于图像的上方，所以本文选取位于图像上方1/4的区域，暗原色中亮度最大的10％的像素的均值作为大气光A。若一幅图像中天空区域几近全无，我们认为它的雾霾最浓区域在场景深度最远处，也就是图像的最上方，因此可以用上述方法获得大气光A的值。

图像恢复：

通过修正后的大气光常量和精细化的透射率图，就可以进行无雾霾图像的恢复。将式(14)代入式(6)中，可以得到恢复的清晰图像J(x)：

$J\left(x\right)=\frac{I\left(x\right)-A}{max\left(\hat{t}\right(t),t_0)}+A---\left(15\right)$

雨雪图像增强算法：

雨雪天获得的降质图像一般会覆盖有大量的雨线或雪斑。雨雪图像中，受雨雪影响的像素可以看做雨滴或雪花和背景共同作用的线性叠加效果。物理模型描述如下：

H＝(1-ε)H_b+εH_r(16)

其中，H为输入的降质图像，H_b表示背景部分，H_r表示理想的雨雪亮度，即雨雪在空中静止时该点像素的亮度。ε为比例参数，其中，0＜ε＜1。观察雨雪和雾霾成像模型，比较式(1)及式(16)可以得出，将I与H相对应，H_b与J(x)相对应，H_r与大气光A相对应，(1-ε)与t(x)相对应。于是，与雾霾去除过程类似，雨雪的去除过程为，从已知的降质图像H中恢复出背景图像H_b，其中(1-ε)为未知量，即只要求出H_r的值即可通过雾霾去除方法实现雨雪的去除。

1)理想雨雪亮度H_r的求取

H_r表示雨雪在空中静止时的亮度值。因为雨雪为白色，通常在图像中寻找亮度最大值的方法对H_r进行求解。根据其与雾霾图像中求取大气光的相似性，本文用求取大气光A的方法求取H_r的值。

2)雨雪去除过程

根据以上分析得到，雨雪去除过程可以用雾霾去除过程实现。于是，本文不单独对雨雪图像处理，采用雾霾去除方法对雨雪图像进行增强。

沙尘图像增强算法：

沙尘条件下获得的图像通常偏土黄色，这是由于沙尘等颗粒对光的反射存在偏向性，使得大气光对RGB三通道的作用分布不均匀，而雾霾条件下大气光均匀作用于各颜色通道，因此，去雾霾方法不适用于图像去沙尘。

自适应直方图均衡化^[10-12](AHE)算法通过计算图像的局部直方图，并重新分布亮度来改变图像的对比度。但是，AHE容易产生过度放大图像中相同区域噪声的问题。所谓伽马校正，就是将现有的灰度值通过一个由灰度值为底，伽马次幂的映射得到新的灰度值^[13-14]。主要作用是通过选取不同的伽马系数，使某些较亮的图像，对比度变得适当。基于以上两点考虑，在AHE算法的基础上，本文提出伽马校正的限制对比度自适应直方图均衡化算法来对沙尘图像进行增强处理。

规一化的伽马校正：

伽马校正本质上是一个用于调整图像亮度的变换函数，数学定义如下：

S＝R^γ(17)

式中，S为伽马校正后的图像，R为输入图像，γ为伽马系数。伽马校正的优势在于可以通过改变γ的值来改变变换函数。但是，因为增加γ值会过度补偿图像，在增强对比度的同时使图像变黑。而低质图像通常动态范围较窄，因此需要扩大动态范围，动态范围的调整也称为归一化。因此，本文进一步归一化伽马校正函数，以弥补伽马校正的不足，在扩展动态范围的同时，增强了对比度，减少了亮度。归一化函数定义如下：

$N=\frac{\[R-min\left(R\right)\]}{\[max\left(R\right)-min\left(R\right)\]}---\left(18\right)$

N为归一化后的图像。将(17)、(18)结合，就得到了归一化后的伽马校正函数N′。

$N^{\′}=\frac{\[S-min\left(S\right)\]}{\[\max \left(S\right)-\min \left(S\right)\]}---\left(19\right)$

经过归一化伽马校正处理后的图像，再用限制对比度自适应直方图均衡化算法^[15](CLAHE)，可进一步改善图像对比度，同时增强图像的亮度。这样一来，既避免了亮度的过增强，也减少了整幅图像中对比度调整不平衡的不足。

方法流程：

①使用归一化的伽马校正函数调整图像对比度；

②将图像分割为若干个大小为X×Y的矩形块，本文选择大小为8×8。这样就将图像划分为三个不同的区域：包含四个角的角区域；包含除了角区域以外所有边界的边界区域；包含图像剩下区域的内部区域。

③用累积分布函数(CDF)得到每一块的直方图。相应的CDF表示式为：

$f_{i,j}\left(n\right)=\frac{(Y-1)}{X}\·\underset{k=0}{\overset{n}{\Σ}}{h}_{i,j}\left(k\right),n=0,1,...,Y-1---\left(20\right)$

式中，h_i,j(k)为块(i,j)像素k的直方图。

④计算裁剪阈值，裁剪直方图以限制放大幅度。阈值α计算如下：

$\mathrm{\α}=\frac{X}{Y}(1+\frac{\mathrm{\φ}}{100}(l_{max}-1\left)\right)---\left(21\right)$

φ为裁剪因子，l_max为允许的最大斜率。这不仅限制了CDF的斜率，同时也限制了变换函数的斜率。剪裁超过阈值的直方图，将直方图被裁剪掉的部分均匀地分布到直方图的其他部分，如图2所示。重分布的过程中，可能会导致一些被剪裁的部分又超过了阈值，因此需重复对直方图裁剪和重分布的过程，直到不再超过阈值为止。

⑤用变换函数计算重新分布的直方图像素值。上述分割的三个不同区域对应于不同的变换函数。对于块的非中心区域，采用双线性插值来计算。对于内部区域来说，如图3中所示。对于象限1中，中心像素为(i,j)的块区域来说，该区域某点P值可以通过该点分别与以(i,j)、(i-1,j)、(i,j-1)、(i-1,j-1)为中心区域的水平、垂直距离来确定。P的像素值可按下式计算：

$\begin{array}{c}{p}^{\′}=\frac{v}{h+v}\left(\frac{c}{b+c}{f}_{i-1,j-1}\right(p)+\frac{b}{b+c}{f}_{i,j-1}(p\left)\right)\\ +\frac{h}{h+v}\left(\frac{c}{b+c}{f}_{i-1,j}\right(p)+\frac{b}{b+c}{f}_{i,j}(p\left)\right)\end{array}---\left(22\right)$

h,v,b,c为图4中的制定距离。f_i,j(·)为累积分布函数。其他三个象限算法与象限1一项。边界区域的象限1、3的邻域与内部区域类似。对于象限2、4，新的像素值按下式计算：

$p^{\′}=\frac{v}{h+v}{f}_{i,j-1}\left(p\right)+\frac{h}{h+v}{f}_{i,j}\left(p\right)---\left(23\right)$

对于角区域来说，不同象限算法不同，于是有：

p′＝f_i,j(p)(24)

经过上述方法处理后，沙尘图像复原效果较好，增强了对比度，同时亮度不会过增强。

如图4所示，实施上述的极端天气条件下低质图像增强方法所用的极端天气条件下低质图像增强系统,该系统包括多路转换开关、微处理器、视频处理单元、HDMI输出端块以及8路DVI端块、8路HDMI端块、8路BNC端块；

多路转换开关、微处理器、视频处理单元、HDMI输出端块以及8路DVI端块、8路HDMI端块、8路BNC端块均为插接块的形式插接连接；

8路DVI端块和8路HDMI端块插接在多路转换开关上，多路转换开关插接在微处理器上，视频处理单元插接在微处理器上，HDMI输出端块插接在视频处理单元上，8路BNC端块插接在编码块上，编码块插接在多路转换开关上。

该系统还包括串口插接块、网口插接块和通道选择块，串口插接块、网口插接块和通道选择块，插接在微处理器上。

Claims (10)

1.一种极端天气条件下低质图像增强方法,其特征在于：该方法对于输入的单幅图像，首先将图像转换到CIE-Lab颜色空间，设定一个偏色因子D，根据经验，若D＜1.4，则图像为清晰图像，无须进行处理，若D＞1.4，则是降质图像，根据色度分量值区分图像是沙尘图像还是雾霾、雨雪图像；若是雾霾、雨雪图像，则采用改进的暗原色先验算法处理图像；若是沙尘图像，则采用伽马校正的限制对比度自适应直方图均衡化算法。

2.根据权利要求1所述的极端天气条件下低质图像增强方法,其特征在于：该方法的步骤如下：

图像分类器的设计：

本申请在CIE-Lab颜色空间下检测图像偏色与否；

在图像的ab色度坐标平面的直方图中，若色度分布呈现为集中的单峰值，或分布较为集中且色度均值较大时一般存在色偏；分布呈现明显的分散的多峰值时，认为没有色偏；本申请引入偏色因子D来计算图像的色偏程度；在Lab空间下，引入等效圆的概念，采用图像平均色度K与色度中心距Z的比值D作为偏色因子：

$k_a=\frac{{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^{N}a}{MN},k_b=\frac{{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^{N}b}{MN}---\left(7\right)$

$K=\sqrt{k_a^2+k_b^2}---\left(8\right)$

$\begin{array}{c}{Z}_a=\frac{{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^N{(a-k_a)}^2}{MN},Z_b=\frac{{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^N{(b-k_b)}^2}{MN}\\ Z=\sqrt{Z_a^2+Z_b^2}\end{array}---\left(9\right)$

D＝K/Z(10)

其中，M、N为图像的长和宽，在ab色度平面，等效圆中心坐标为(k_a,k_b)，半径为Z，圆心到ab色度平面中心轴原点(a＝0,b＝0)的距离为K，根据等效圆在ab色度平面的具体位置来判断图像整体偏色与否，经验取值D≤1.4时，则认为图像没有偏色，是清晰图像，无需处理，否则，则是偏色图像，在Lab模型中，a的正数表示红色，负端表示绿色；b的正数表示黄色，负端表示蓝色，k_b表示ab色度平面上的b分量，用于判断图像是否偏黄或偏蓝，当k_b大于0时，图像偏黄，认为是沙尘图像，采用伽马校正的限制对比度自适应直方图均衡化算法；k_b小于0时，输入图像为雾霾、雨雪图像，采用改进的暗原色先验算法。

3.根据权利要求2所述的极端天气条件下低质图像增强方法,其特征在于：雾霾图像增强算法：

He的暗原色先验去雾霾算法是建立在暗原色假设之上，当景物在本质上同空气层接近并且没有阴影覆盖其上时，暗原色理论就无效，对此，本申请针对暗原色先验失效的区域，通过改善透射率及大气光A的获取方式修正该算法；

明亮区域透射率的估计：

首先设定一个阈值S，判定图像中的明亮区域，当大气光值与暗通道差值小于S时，即判定为明亮区域，否则，使用He方法计算，经过实验验证，S＝45；对于|A^c-I(x)|≤S的区域，判定为明亮区域，重新计算透射率；

明亮区域的图像不再满足暗原色先验规律，透射率表达式为：

$T\left(x\right)=\frac{1-\underset{c}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\right(\frac{I^c\left(y\right)}{A^c}\left)\right)}{1-\underset{c}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\right(\frac{J^c\left(y\right)}{A^c}\left)\right)}---\left(11\right)$

本文采用逐像素的方式来估计明亮区域的透射率；首先计算出透射率的表达式如式(11)，然后我们求取图像的最小通道值，该最小通道值包含了丰富的细节和边界信息；综上我们得到透射率表达式为：

$t^{\′}\left(x\right)=\frac{T\left(x\right)}{1-\mathrm{\β}\underset{c}{\min }\left(\frac{I^c\left(y\right)}{A^c}\right)}---\left(12\right)$ 其中， $\mathrm{\β}=\frac{\underset{c}{\min }\left(I^c\right(y\left)\right)-\min \left(\underset{c}{\min }\right(I^c\left(y\right)\left)\right)}{\max \left(\underset{c}{\min }\right(I^c\left(y\right)\left)\right)-\min \left(\underset{c}{\min }\right(I^c\left(y\right)\left)\right)}---\left(13\right)$

在天空等明亮区域，局部窗口的RGB通道值相较于其他区域更大，而且像素亮度波动平缓；因此，β值趋于1.对于满足暗原色先验的区域，暗通道值趋于0，按式(5)计算；

根据以上描述，我们得到透射率的表达式为：

$\hat{t}\left(x\right)=\left\{\begin{array}{cc}1-w\underset{y\∉\mathrm{\Ω}\left(x\right)}{\min }\left(\underset{c\∈(r,g,b)}{\min }\right(\frac{I^c\left(y\right)}{A^c}\left)\right)& |A^c-I\left(x\right)|>S\\ \frac{T\left(x\right)}{1-\mathrm{\β}\underset{c}{\min }\left(\frac{I^c\left(x\right)}{A^c}\right)}& |A^c-I\left(x\right)|\≤S\end{array}\right.---\left(14\right)$

因为在局部窗口中心的透射率是分块连续的，直接通过恢复出的图像容易出现块效应等马赛克效果；为了移除这种块效应，本文采用引导滤波进一步得到精细化的透射率。

4.根据权利要求3所述的极端天气条件下低质图像增强方法,其特征在于：修正大气光A的获取方式：

大气光A的值通常在雾霾最浓区域估计得到，即最大像素值的区域选取；但是最大像素值可能取自天空、白色物体、雨雪等，这样得到的A值接近于255,会导致恢复的图像发生色偏；

对于一幅图像而言，雾最浓区域通常位于图像的上方，所以本文选取位于图像上方1/4的区域，暗原色中亮度最大的10％的像素的均值作为大气光A；若一幅图像中天空区域几近全无，我们认为它的雾霾最浓区域在场景深度最远处，也就是图像的最上方，因此可以用上述方法获得大气光A的值；

图像恢复：

通过修正后的大气光常量和精细化的透射率图，就可以进行无雾霾图像的恢复；将式(14)代入式(6)中，可以得到恢复的清晰图像J(x)：

$J\left(x\right)=\frac{I\left(x\right)-A}{max\left(\hat{t}\right(x),t_0)}+A---\left(15\right).$

5.根据权利要求2所述的极端天气条件下低质图像增强方法,其特征在于：

雨雪图像增强算法：

雨雪天获得的降质图像一般会覆盖有大量的雨线或雪斑；雨雪图像中，受雨雪影响的像素可以看做雨滴或雪花和背景共同作用的线性叠加效果；物理模型描述如下：

H＝(1-ε)H_b+εH_r(16)

其中，H为输入的降质图像，H_b表示背景部分，H_r表示理想的雨雪亮度，即雨雪在空中静止时该点像素的亮度；ε为比例参数，其中，0＜ε＜1；观察雨雪和雾霾成像模型，比较式I(x)＝J(x)t(x)+A(1-t(x))(1)及式(16)可以得出，将I与H相对应，H_b与J(x)相对应，H_r与大气光A相对应，(1-ε)与t(x)相对应；于是，与雾霾去除过程类似，雨雪的去除过程为，从已知的降质图像H中恢复出背景图像H_b，其中(1-ε)为未知量，即只要求出H_r的值即可通过雾霾去除方法实现雨雪的去除。

6.根据权利要求5所述的极端天气条件下低质图像增强方法,其特征在于：

1)理想雨雪亮度H_r的求取

H_r表示雨雪在空中静止时的亮度值；因为雨雪为白色，通常在图像中寻找亮度最大值的方法对H_r进行求解；根据其与雾霾图像中求取大气光的相似性，本文用求取大气光A的方法求取H_r的值；

2)雨雪去除过程

根据以上分析得到，雨雪去除过程可以用雾霾去除过程实现；于是，本文不单独对雨雪图像处理，采用雾霾去除方法对雨雪图像进行增强。

7.根据权利要求2所述的极端天气条件下低质图像增强方法,其特征在于：

沙尘图像增强算法：

在AHE算法的基础上，提出伽马校正的限制对比度自适应直方图均衡化算法来对沙尘图像进行增强处理；

规一化的伽马校正：

伽马校正本质上是一个用于调整图像亮度的变换函数，数学定义如下：

S＝R^γ(17)

式中，S为伽马校正后的图像，R为输入图像，γ为伽马系数；伽马校正的优势在于可以通过改变γ的值来改变变换函数；但是，因为增加γ值会过度补偿图像，在增强对比度的同时使图像变黑；而低质图像通常动态范围较窄，因此需要扩大动态范围，动态范围的调整也称为归一化；因此，本方法进一步归一化伽马校正函数，以弥补伽马校正的不足，在扩展动态范围的同时，增强了对比度，减少了亮度；归一化函数定义如下：

$N=\frac{\[R-min\left(R\right)\]}{\[max\left(R\right)-min\left(R\right)\]}---\left(18\right)$

N为归一化后的图像；将(17)、(18)结合，就得到了归一化后的伽马校正函数N′；

$N^{\′}=\frac{\[S-min\left(S\right)\]}{\[\max \left(S\right)-\min \left(S\right)\]}---\left(19\right)$

经过归一化伽马校正处理后的图像，再用限制对比度自适应直方图均衡化算法^[15](CLAHE)，进一步改善图像对比度，同时增强图像的亮度；这样一来，既避免了亮度的过增强，也减少了整幅图像中对比度调整不平衡的不足。

8.根据权利要求7所述的极端天气条件下低质图像增强方法,其特征在于：

归一化伽马校正处理流程：

①使用归一化的伽马校正函数调整图像对比度；

②将图像分割为若干个大小为X×Y的矩形块，这样就将图像划分为多个不同的区域：包含四个角的角区域；包含除了角区域以外所有边界的边界区域；包含图像剩下区域的内部区域；

③用累积分布函数(CDF)得到每一块的直方图；相应的CDF表示式为：

$f_{i,j}\left(n\right)=\frac{(Y-1)}{X}\·\underset{k=0}{\overset{n}{\Σ}}{h}_{i,j}\left(k\right),n=0,1,...,Y-1---\left(20\right)$

式中，h_i,j(k)为块(i,j)像素k的直方图；

④计算裁剪阈值，裁剪直方图以限制放大幅度；阈值α计算如下：

$\mathrm{\α}=\frac{X}{Y}(1+\frac{\mathrm{\φ}}{100}(l_{max}-1\left)\right)---\left(21\right)$

φ为裁剪因子，l_max为允许的最大斜率；这不仅限制了CDF的斜率，同时也限制了变换函数的斜率；剪裁超过阈值的直方图，将直方图被裁剪掉的部分均匀地分布到直方图的其他部分，重分布的过程中，需重复对直方图裁剪和重分布的过程，直到不再超过阈值为止；

⑤用变换函数计算重新分布的直方图像素值；上述分割的多个不同区域对应于不同的变换函数；对于块的非中心区域，采用双线性插值来计算；对于内部区域来说，对于象限1中，中心像素为(i,j)的块区域来说，该区域某点P值可以通过该点分别与以(i,j)、(i-1,j)、(i,j-1)、(i-1,j-1)为中心区域的水平、垂直距离来确定；P的像素值可按下式计算：

$\begin{array}{c}{p}^{\′}=\frac{v}{h+v}\left(\frac{c}{b+c}{f}_{i-1,j-1}\right(p)+\frac{b}{b+c}{f}_{i,j-1}(p\left)\right)\\ +\frac{h}{h+v}\left(\frac{c}{b+c}{f}_{i-1,j}\right(p)+\frac{b}{b+c}{f}_{i,j}(p\left)\right)\end{array}---\left(22\right)$

h,v,b,c为制定距离；f_i,j(·)为累积分布函数；其他三个象限算法与象限1一项；边界区域的象限1、3的邻域与内部区域类似；对于象限2、4，新的像素值按下式计算：

$p^{\′}=\frac{v}{h+v}{f}_{i,j-1}\left(p\right)+\frac{h}{h+v}{f}_{i,j}\left(p\right)---\left(23\right)$

对于角区域来说，不同象限算法不同，于是有：

p′＝f_i,j(p)(24)

经过上述方法处理后，沙尘图像复原效果较好，增强了对比度，同时亮度不会过增强。

9.实施权利要求1所述的极端天气条件下低质图像增强方法所用的极端天气条件下低质图像增强系统,其特征在于：该系统包括多路转换开关、微处理器、视频处理单元、HDMI输出端块以及8路DVI端块、8路HDMI端块、8路BNC端块；

8路DVI端块和8路HDMI端块插接在多路转换开关上，多路转换开关插接在微处理器上，视频处理单元插接在微处理器上，HDMI输出端块插接在视频处理单元上，8路BNC端块插接在编码块上，编码块插接在多路转换开关上。

10.根据权利要求9所述的极端天气条件下低质图像增强系统，其特征在于：该系统还包括串口插接块、网口插接块和通道选择块，串口插接块、网口插接块和通道选择块，插接在微处理器上。