CN110197465A - 一种有雾图像增强算法 - Google Patents

Abstract

本发明公开了一种有雾图像增强算法，所述有雾图像增强算法包括以下步骤：步骤一：根据一维分数阶微分对一维信息的处理方式，在二维图像x轴正方向、x轴负方向、y轴正方向、y轴负方向、左上对角方向、左下对角方向、右上对角方向和右下对角方向的八个方向运用分数阶微分建立二维分数阶微分增强算子；步骤二：将原始图像与二维分数阶微分增强算子进行相关卷积计算；步骤三：根据暗通道先验理论，结合大气散射模型得到透射率t(x,y)的估计表达式；步骤四：通过He方法和Fattal算法得到大气光强度值，取RGB三个通道的大气光强度值的平均值作为大气光值，从而得到增强后的无雾图像。

Description

一种有雾图像增强算法

技术领域

本发明涉及图像处理技术领域，特别是涉及有雾图像增强算法。

背景技术

近年来由于机动车尾气、工业燃煤排放等原因，导致雾霾天气时有发生。在含有高浓度的悬浮颗粒有雾天气下，由于空气中灰尘、雾气、霾等介质的散射作用，致使图像采集系统不能正常工作，获取的图像出现对比度下降、饱和度降低和色彩失真甚至模糊不清等情况，对我们的生活和生产造成了严重的影响。如在军事、工业、电力系统中经常需要一幅清晰的无雾图像作为输入以提取图像特征进行识别、目标跟踪、智能导航、智能车辆等，但由于空气中溶胶粒子的散射作用导致摄像头拍摄的图像色彩和对比度严重退化甚至失真。若将这些严重失真的图像不经过预先处理直接输入到特征提取系统中将严重影响设备正常运行得到更大的噪声输出，更严重的是可能直接导致系统崩溃。在交通领域，有人借助雾霾天气会导致监控摄像头视距缩短不能正常监控，在公路上非法变道、闯红灯、超速驾驶等导致交通事故时有发生。此外，一些不法分子在雾霾天气监控设备监控能力弱的时候破坏公共设施、划车、进行偷盗等。虽然，国内外学者在相当一段时间内对雾霾图像增强进行了研究，但仍存在有雾图像增强算法增强后的有雾图像颜色失真、对比度过度增强、适应性差等问题，因此到目前为止，还没有一种具有能适应各种场景普适性和效果都好的去雾方法。

因此希望有一种适应不同场景的雾霾图像增强技术能够解决现有技术中存在的问题。

发明内容

本发明公开了一种有雾图像增强算法，所述有雾图像增强算法包括以下步骤：

步骤一：根据一维分数阶微分对一维信息的处理方式，在二维图像x轴正方向、x轴负方向、y轴正方向、y轴负方向、左上对角方向、左下对角方向、右上对角方向和右下对角方向的八个方向运用分数阶微分建立二维分数阶微分增强算子；

步骤二：将原始图像与二维分数阶微分增强算子进行相关卷积计算；

步骤三：根据暗通道先验理论，结合大气散射模型得到透射率t(x,y)的估计表达式；

步骤四：通过He方法和Fattal算法得到大气光强度值，取RGB三个通道的大气光强度值的平均值作为大气光值，从而得到增强后的无雾图像。

优选地,所述步骤一中二维分数阶微分算子的构造过程包括以下步骤：

步骤1.1：根据所述分数阶微分定义的数学表达式为公式(1)：

步骤1.2：其中一维函数Γ(n)为Gamma函数，其定义为公式(2)：

步骤1.3：一维函数Γ(n)在区间[a,t]上有定义，其按单位h＝1等分表示为公式(3)：

步骤1.4：则一维信号的差分表达式为公式(4)：

根据公式(4)所述分数阶微分定义的差分表达式的第一个系数值是常数1，其余n-1个都是分数阶微分阶次的函数；

步骤1.5：一幅二维的图像信号I(x,y),假设其在x轴方向和y方向的分数阶微分是分离的，则根据公式(4)得二维图像信号I(x,y)沿x和y轴方向的分数阶微分差分表达式分别为公式(5)和(6)：

x轴方向的差分表达式为公式(5)：

y轴方向的差分表达式为公式(6)：

步骤1.6：将一幅M×N的二维图像的中心像素点位置作为坐标原点，将公式(5)和(6)运用到x轴负方向、y轴负方向、左上对角方向、左下对角方向、右上对角方向和右下对角方向六个方向得到基于八个方向的分数阶微分增强算子w，其滤波系数如公式(7)：

优选地,所述步骤二将原始图像的其中一个颜色通道与所述二维分数阶微分增强算子进行conv相关卷积计算。

优选地，所述步骤三根据暗通道先验理论，一幅观测图像的暗通道表示为公式(8)：

其中，J^c表示一幅图像RGB三个颜色通道中的其中一个颜色通道，Ω(x,y)代表图像的局部区域，J^dark代表图像的暗通道；

因此，一幅图像I基于分数阶微分的暗通道表示为公式(9)：

其中，I^c代表图像的某一通道，Ω(x,y)代表以x，y为中心的图像的某一局部区域，w表示分数阶微分增强算子。

优选地,室外不包含天空区域的I^dark(x,y)总是趋向于零，即公式(10)为：

I^dark(x,y)→0 (10)

所述步骤三根据暗通道先验理论和大气散射模型得到所述透射率t(x,y)的估计表达式为公式(11)：

其中，A^c代表图像某一颜色通道的全局大气光系数。

优选地，全局大气光系数A的计算方法是从RGB三个分量的暗通道图中，根据亮度数值分别提取前0.1％的像素，然后再将提取的0.1％的像素中具有最高强度的像素点的值作为每一通道大气光值，然后取RGB三个通道大气光值的平均值作为大气光值，计算如公式(12)所示：

优选地，有雾图像可用如公式(13)和(14)表示：

I(x,y)＝J(x,y)t(x,y)+A(1-t(x,y)) (13)

t(x，y)＝e^-βd(x,y) (14)

其中，I(x,y)为含有雾霾的图像，J(x,y)为去雾后恢复出的清晰图像，t(x,y)是透射传输图，A是全局大气光系数，d(x,y)为场景深度，x和y是图像的像素点坐标，由公式(13)可知若透射率t(x,y)与全局大气光强度A已知，得出去雾处理后的清晰图像J(x,y)。

优选地，所述步骤四根据所述大气光值得到有雾图像的增强公式(15)：

设置一个下限值数值为0.1的t₀，用代替得到J(x,y)最终表达式为公式(16)：

本发明公开的有雾图像增强算法，利用分数阶微分具有保边特性，建立有雾图像透射图和分数阶微分增强算子v的联系。本发明通过v的不同取值控制透射图的细化程度，从而适应不同场景有雾图像的恢复。通过本发明有雾图像增强算法得到的无雾图像呈现出更好的去雾效果，且不存在颜色失真、对比度过度增强等现象。

附图说明

图1是有雾图像经过四种有雾图像算法处理后的增强效果对比示意图。

图2是有雾图像经过四种有雾图像算法处理后的增强效果对比示意图。

图3是有雾图像经过四种有雾图像算法处理后的增强效果对比示意图。

图4是有雾图像经过四种有雾图像算法处理后的增强效果对比示意图。

图5是有雾图像经过四种有雾图像算法处理后的增强效果对比示意图。

具体实施方式

为使本发明实施的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本发明一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种有雾图像增强算法包括以下步骤：

步骤一：根据一维分数阶微分对一维信息的处理方式，在二维图像x轴正方向、x轴负方向、y轴正方向、y轴负方向、左上对角方向、左下对角方向、右上对角方向和右下对角方向的八个方向运用分数阶微分建立二维分数阶微分增强算子；

步骤二：将原始图像与二维分数阶微分增强算子进行相关卷积计算；

步骤三：根据暗通道先验理论，结合大气散射模型得到透射率t(x,y)的估计表达式；

步骤四：通过何凯明(He)方法和法塔勒(Fattal)算法得到大气光强度值，取RGB三个通道的大气光强度值的平均值作为大气光值，从而得到增强后的无雾图像。

所述步骤一中二维分数阶微分增强算子的构造过程包括以下步骤：

步骤1.1：根据所述分数阶微分定义的数学表达式为公式(1)：

步骤1.2：其中一维函数Γ(n)为伽马(Gamma)函数，其定义为公式(2)：

步骤1.3：一维函数Γ(n)在区间[a,t]上有定义，其按单位h＝1等分表示为公式(3)：

步骤1.4：则一维信号的差分表达式为公式(4)：

根据公式(4)所述分数阶微分定义的差分表达式的第一个系数值是常数1，其余n-1个都是分数阶微分阶次的函数；

步骤1.5：一幅二维的图像信号I(x,y),假设其在x轴方向和y方向的分数阶微分是可分离的，则根据公式(4)得二维图像信号I(x,y)沿x和y轴方向的分数阶微分差分表达式分别为公式(5)和(6)：

x轴方向的差分表达式为公式(5)：

y轴方向的差分表达式为公式(6)：

步骤1.6：将一幅M×N的二维图像的中心像素点位置作为坐标原点，建立水平方向为x轴、垂直方向表示y轴的坐标系，将一幅图像分为八个方向(即x轴正方向、x轴负方向、y轴正方向、y轴负方向、左上对角方向、左下对角方向、右上对角方向、右下对角方向)。将公式(5)和(6)运用到x轴负方向、y轴负方向、左上对角方向、左下对角方向、右上对角方向和右下对角方向六个方向得到基于八个方向的分数阶微分增强算子w，如表1所示，基于八个方向的分数阶微分增强算子w的滤波系数如公式(7)：

表1分数阶微分增强算子

w<sub>dn</sub>	0	0	0	w<sub>dn</sub>	0	0	0	w<sub>dn</sub>
									0	…	0	0	…	0	0	…	0
0	0	w<sub>d2</sub>	0	w<sub>d2</sub>	0	w<sub>d2</sub>	0	0
									0	0	0	w<sub>d1</sub>	w<sub>d1</sub>	w<sub>d1</sub>	0	0	0
w<sub>dn</sub>	…	w<sub>d2</sub>	w<sub>d1</sub>	w<sub>d0</sub>	w<sub>d1</sub>	w<sub>d2</sub>	…	w<sub>dn</sub>
									0	0	0	w<sub>d1</sub>	w<sub>d1</sub>	w<sub>d1</sub>	0	0	o
0	0	w<sub>d2</sub>	0	w<sub>d2</sub>	0	w<sub>d2</sub>	0	0
									0	…	0	0	…	0	0	…	0
w<sub>dn</sub>	0	0	0	w<sub>dn</sub>	0	0	0	w<sub>dn</sub>

。

所述步骤二将原始图像的其中一个颜色通道与所述二维分数阶微分增强算子进行conv相关卷积计算。

暗通道先验(Dark Channel Prior)是He通过对大量室外不包含天空区域的无雾图像统计得出的规律，是基于统计意义上的观测结果，所述步骤三根据暗通道先验理论，一幅观测图像的暗通道表示为公式(8)：

其中，J^c表示一幅图像RGB三个颜色通道中的其中一个颜色通道，Ω(x,y)代表图像的局部区域，J^dark代表图像的暗通道；

因此，一幅图像I基于分数阶微分的暗通道表示为公式(9)：

其中，I^c代表图像的某一通道，Ω(x,y)代表以x，y为中心的图像的某一局部区域，w表示分数阶微分增强算子，如表2所示，本发明采用5×5大小的分数阶微分，conv表示卷积计算，即将图像的其中一个颜色通道与分数阶微分增强算子进行卷积。

表2 5×5分数阶微分增强算子

(v<sup>2</sup>-v)/2	0	(v<sup>2</sup>-v)/2	0	(v<sup>2</sup>-v)/2
					0	-v	-v	-v	0
(v<sup>2</sup>-v)/2	-v	8	-v	(v<sup>2</sup>-v)/2
					0	-v	-v	-v	0
(v<sup>2</sup>-v)/2	0	(v<sup>2</sup>-v)/2	0	(v<sup>2</sup>-v)/2

室外不包含天空区域的I^dark(x,y)总是趋向于零的，即公式(10)

I^dark(x,y)→0 (10)

所述步骤三根据暗通道先验理论和大气散射模型得到所述透射率t(x,y)的估计表达式为公式(11)：

其中，A^c代表图像某一颜色通道的全局大气光系数。

全局大气光系数A的计算方法是从RGB三个分量的暗通道图中，根据亮度数值分别提取前0.1％的像素，然后再将提取的0.1％的像素中具有最高强度的像素点的值作为每一通道大气光值，然后取RGB三个通道大气光值的平均值作为大气光值，计算如公式(12)所示：

由式(11)可知，通过对分数阶微分增强算子的v取不同的值就可以得到不同的透射传输图。

计算机视觉领域，Koschmieder模型被广泛用于描述雾霾图像的成像过程，有雾图像可用如公式(13)和(14)表示：

I(x,y)＝J(x,y)t(x,y)+A(1-t(x,y)) (13)

t(x，y)＝e^-βd(x,y) (14)

其中，I(x,y)为含有雾霾的图像，J(x,y)为去雾后恢复出的清晰图像，t(x,y)是透射传输图，A是全局大气光系数，d(x,y)为场景深度，x和y是图像的像素点坐标，由公式(13)可知若透射率t(x,y)与全局大气光强度A已知，得出去雾处理后的清晰图像J(x,y)。

所述步骤四根据所述大气光值得到有雾图像的增强公式(15)：

为了防止出现为零的情况，设置一个下限值数值为0.1的t₀，用代替得到J(x,y)最终表达式为公式(16)：

实验效果

本发明实验环境在普通计算机上，使用Matlab(R2015b)在标准雾霾图像数据库中进行仿真。采用主观和客观的评价方法，将本发明雾霾图像增强算法与现有其他算法进行对比验证。

(1)主观评价

将本发明所得雾霾图像增强结果与经典的直方图均衡算法、Fattal算法和去雾效果最好的引导滤波算法进行比较，图1-5为有雾图像经过四中有雾图像算法处理后的增强效果对比。根据图1到图5的实验结果可知，不同场景的有雾图像经过四种算法处理后效果不同。本发明算法和基于引导滤波算法的增强效果最好其次是直方图均衡算法；Fattal算法去雾增强后的图像对比度低，图像整体偏暗。通过对比图1和图2的实验结果可以发现引导滤波算法去雾后的图像整体纹理特征，细节增强效果明显，但图像整体颜色偏于灰暗略微偏离的图像实际的颜色；基于直方图均衡的有雾图像增强方法增强效果在四种算法中处于中等，在测试的几幅图像中，直方图均衡对图3和图5的增强效果最好，其次是图1和图4，对于图2相比于其他三种算法要差一些。其中，对于图2和图4中含有天空区域的有雾部分经直方图均衡算法增强后含有的雾基本没有减少，图3含有天空的区域出现了颜色失真；测试的图像经Fattal算法处理后，图像的雾气有明显的减少，但处理后的图像整体偏暗，尤其对于图2和图3来说Fattal算法处理后的图像含有更丰富的颜色信息，但从人类视觉的角度来说图3对比度过于增强；本文算法，通过选取不同的v值，对含有不同场景的有雾图像进行处理，从处理结果可以发现对有雾图像增强效果明显，去雾增强后的图像颜色和对比度都比较适中，没有出现颜色和对比度的失真，更符合人的视觉感受。

(2)客观评价

将常用于评价图像质量指标的峰值信噪比(Peak Signal to Noise Ratio,PSNR)、平均梯度、信息熵(IE)及结构相似性(SSIM)作为图像增强结果的定量评价标准。

有雾图像经四种不同算法处理后的各项指标如表3所示。由表3可知，对于峰值信噪比，本发明算法大部分比直方图、Fattal及He算法高，表明了本发明算法相对于其他三种经典算法，去雾后图像失真更小，去雾后图像结构的完整程度更好且算法对噪声的抑制程度更高。对于平均梯度，本发明算法与其它三种经典算法相比，本发明算法高于直方图算法和Fattal算法，略低于引导滤波算法，主要是由于引导滤波算法处理后的图像亮度变化较大，通过亮度的增加提升了图像细节反差表达的能力，从而使平均梯度略高于本发明算法，但其去雾后图像的视觉效果略差一些，如图3和图5所示。对于结构相似性(SSIM)指标而言，本发明算法与其它三种算法相比都是最大的。可见，本发明算法更能反映原始图像中场景物体的结构属性，对原始图像的结构信息完整性的保留能力更强，同时对有雾图像增强效果明显。

综合上述四种有雾图像增强算法的主客观质量分析，实验效果表明了本发明方法在提升有雾图像质量方面具有明显的效果，这主要是由于含有不同场景的有雾图像其透射图都是不同的，而本发明算法可以通过对分数阶微分中v取不同的值，来得到不同的透射图从而获得较好的有雾图像增强结果。

表3不同算法处理后的评价指标

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种有雾图像增强算法，其特征在于，所述有雾图像增强算法包括以下步骤：

步骤一：根据一维分数阶微分对一维信息的处理方式，在二维图像x轴正方向、x轴负方向、y轴正方向、y轴负方向、左上对角方向、左下对角方向、右上对角方向和右下对角方向的八个方向运用分数阶微分建立二维分数阶微分增强算子；

步骤二：将原始图像与二维分数阶微分增强算子进行相关卷积计算；

步骤三：根据暗通道先验理论，结合大气散射模型得到透射率t(x,y)的估计表达式；

步骤四：通过He方法和Fattal算法得到大气光强度值，取RGB三个通道的大气光强度值的平均值作为大气光值，从而得到增强后的无雾图像。

2.根据权利要求1所述的有雾图像增强算法，其特征在于：所述步骤一中二维分数阶微分增强算子的构造过程包括以下步骤：

步骤1.1：根据所述分数阶微分定义的数学表达式为公式(1)：

步骤1.2：其中一维函数Γ(n)为Gamma函数，其定义为公式(2)：

步骤1.3：一维函数Γ(n)在区间[a,t]上有定义，其按单位h＝1等分表示为公式(3)：

步骤1.4：则一维信号的差分表达式为公式(4)：

根据公式(4)所述分数阶微分定义的差分表达式的第一个系数值是常数1，其余n-1个都是分数阶微分阶次的函数；

步骤1.5：一幅二维的图像信号I(x,y),假设其在x轴方向和y方向的分数阶微分是分离的，则根据公式(4)得二维图像信号I(x,y)沿x和y轴方向的分数阶微分差分表达式分别为公式(5)和(6)：

x轴方向的差分表达式为公式(5)：

y轴方向的差分表达式为公式(6)：

步骤1.6：将一幅M×N的二维图像的中心像素点位置作为坐标原点，将公式(5)和(6)运用到x轴负方向、y轴负方向、左上对角方向、左下对角方向、右上对角方向和右下对角方向六个方向得到基于八个方向的二维分数阶微分增强算子w，其滤波系数如公式(7)：

3.根据权利要求2所述的有雾图像增强算法，其特征在于：所述步骤二将原始图像的其中一个颜色通道与所述二维分数阶微分增强算子进行相关conv卷积计算。

4.根据权利要求2所述的有雾图像增强算法，其特征在于：所述步骤三根据暗通道先验理论，一幅观测图像的暗通道表示为公式(8)：

其中，J^c表示一幅图像RGB三个颜色通道中的其中一个颜色通道，Ω(x,y)代表图像的局部区域，J^dark代表图像的暗通道；

因此，一幅图像I基于分数阶微分的暗通道表示为公式(9)：

其中，I^c代表图像的某一通道，Ω(x,y)代表以x，y为中心的图像的某一局部区域，w表示分数阶微分增强算子。

5.根据权利要求4所述的有雾图像增强算法，其特征在于：室外不包含天空区域的I^dark(x,y)总是趋向于零，即公式(10)为：

I^dark(x,y)→0(10)

所述步骤三根据暗通道先验理论和大气散射模型得到所述透射率t(x,y)的估计表达式为公式(11)：

其中，A^c代表图像某一颜色通道的全局大气光系数。

6.根据权利要求5所述的有雾图像增强算法，其特征在于：全局大气光系数A的计算方法是从RGB三个分量的暗通道图中，根据亮度数值分别提取前0.1％的像素，然后再将提取的0.1％的像素中具有最高强度的像素点的值作为每一通道大气光值，然后取RGB三个通道大气光值的平均值作为大气光值，计算如公式(12)所示：

7.根据权利要求6所述的有雾图像增强算法，其特征在于：有雾图像可用如公式(13)和(14)表示：

I(x,y)＝J(x,y)t(x,y)+A(1-t(x,y)) (13)

t(x，y)＝e^-βd(x,y) (14)

其中，I(x,y)为含有雾霾的图像，J(x,y)为去雾后恢复出的清晰图像，t(x,y)是透射传输图，A是全局大气光系数，d(x,y)为场景深度，x和y是图像的像素点坐标，由公式(13)可知若透射率t(x,y)与全局大气光强度A已知，得出去雾处理后的清晰图像J(x,y)。

8.根据权利要求7所述的有雾图像增强算法，其特征在于：所述步骤四根据所述大气光值得到有雾图像的增强公式(15)：

设置一个下限值数值为0.1的t₀，用代替得到J(x,y)最终表达式为公式(16)：