CN112053298A - 一种图像去雾方法 - Google Patents

Abstract

本发明公开了一种图像去雾方法，该方法包括：从有雾图像中获取大气光值；采用基于canny算子的导向滤波算法从有雾图像中获取透射率图像；根据所述大气光值和透射率图像对有雾图像进行逐像素处理以得到去雾后图像。本方法可解决解决局部光晕效应，本算法在主观视觉效果优于其他算法，图像边缘去噪更自然；客观性能指标对比显示，改进的去雾算法具有更高的图像质量与较好的图像复原度。

Description

一种图像去雾方法

技术领域

本发明涉及数字图像处理领域，具体涉及一种图像去雾方法。

背景技术

在雾霾天气或者光照较低时，会极大影响图像识别效果，因此，研究去雾算法可以提高识别效率。目前去雾方法主要包含两类。一类是基于非物理模型的去雾算法，运用图像增强算法提高图像对比度达到去雾效果，常见的有基于直方图均衡化^[1]和基于Retinex原理的算法^[2,3]，但此方法会丢失图像信息；另一类是基于物理模型的去雾算法，主要是何凯明博士提出的经典暗原色先验去雾算法^[4]，对图像进行复原，该方法具有较好的去雾效果，但也存在采用Soft Matting方法导致计算时间较长的问题，后续又提出引导滤波代替SoftMatting的去雾算法^[5]，但去雾后会出现光晕效应。针对以上问题也提出了一些改进算法，如文献^[6]使用单次均值滤波，算法复杂度较低，去雾效果较好。但对于景深区域会存在白色雾块；文献^[7]为了克服去雾图像块效应提出非局部先验算法并逐帧捕获颜色距离，但远景无雾的假设在实际中可能存在误差；文献^[8]提出自适应透射率的去雾算法解决传统暗原色先验透射率估算不准确的问题，但在判断雾浓度采用平均梯度值存在图像信息丢失的问题。

引证文献：

[1]林寿光.基于图像增强的直方图均衡化处理[J].科技广场,2012(10):32-34..

[2]洪平.基于RETINEX理论的图像去雾研究[D].上海交通大学,2013..

[3]李武劲,彭怡书,欧先锋,吴健辉,郭龙源,张一鸣,黄锋,徐智.基于改进Retinex算法的低照度图像增强方法[J].成都工业学院学报,2020,23(02):20-25.

[4]He Kaiming,Sun Jian,Tang Xiaoou.Single Image Haze Removal UsingDark Channel Prior.[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2011,33(12):2341-53.

[5]He Kaiming,Sun Jian,Tang Xiaoou.Guided image filtering.[J].IEEETransactions on Pattern Analysis and Machine Intelligence,2013,35(6):1397-409.

[6]刘倩,陈茂银,周东华.基于单幅图像的快速去雾算法[C]//第25届中国控制与决策会议,2013:3780-3785.

[7]董亚运,毕笃彦,何林远,马时平.基于非局部先验的单幅图像去雾算法[J].光学学报,2017,37(11):83-93.

发明内容

本发明的目的是根据上述现有技术的不足之处，提供一种图像去雾方法，该算法采用四叉树图像分割算法估算大气光值，并在计算透射率时，在引导滤波算法中引入边缘权值因子，解决了局部光晕效应，使得复原图像更清晰。

本发明目的实现由以下技术方案完成：

一种图像去雾方法，用于对有雾图像进行处理，其包括以下步骤：

从有雾图像中获取大气光值A；

采用基于canny算子的导向滤波算法从有雾图像中获取透射率图像t；

根据所述大气光值A和透射率图像t对有雾图像进行逐像素处理以得到去雾后图像J，表达式为：

其中，I为有雾图像，t₀为透射率阈值。

本发明的进一步改进在于，获取大气光值A的过程包括以下步骤：

从所述有雾图像的每个像素中获取灰度最低通道值，形成最暗通道图像；

采用基于四叉树图像分割算法从最暗通道图像中获取第一大气光估计值A₁；

采用何算法从最暗通道图像中获取第二大气光估计值A₂；

根据第一大气光估计值A₁以及第二大气光估计值A₂计算大气光值A，其表达式为：

Δ＝abs(A₁-A₂)

A＝min(A₁，A₂)+γΔ

其中，γ为修正参数，其取值范围为[0.5，0.6]。

本发明的进一步改进在于，获取第一大气光估计值A₁具体包括以下步骤：

(S31)将所述最暗通道图像沿横向和纵向分为四个面积相等的子图；

(S32)选取灰度最大的子图，并统计该子图的面积；若其面积大于子图阈值，将该子图作为最暗通道图像并跳转至步骤(S31)，反之则选取该子图中前4％灰度的像素均值为第一大气光估计值A₁。

本发明的进一步改进在于，所述子图阈值为15×15像素。

本发明的进一步改进在于，获取透射率图像t的过程包括以下步骤：

将有雾图像由RGB格式转换为灰度格式，并将其作为输入图像p；

按照预定尺寸的窗口对所述输入图像进行遍历，遍历过程中，对于第k个窗口ω_k，分别计算该窗口的权重因子η、线性常数a_k与b_k；并将线性常数a_k与b_k作为窗口ω_k的中心像素p_k的线性常数；

按照预定尺寸的窗口对所述输入图像进行再次遍历，再次遍历过程中，对于第k个窗口ω_k，计算窗口ω_k中各像素的线性常数的均值

和

并将其作为窗口ω_k的中心像素p_k的线性常数均值；

根据输入图像p及其各像素的p_k的线性常数均值

和

计算透射率图像t；透射率图像第k个像素的计算表达式为：

本发明的进一步改进在于，窗口ω_k的权重因子η的计算过程包括：

采用canny算子，计算窗口ω_k的中心像素p_k的梯度值G_(k)，其表达式为：

式中，G_x(k)和G_y(k)分别表示为以k为中心的区域中像素点在x，y方向的梯度值；

权重因子η的表达式为：

式中，

为引导图I的第k个窗口ω_k中各像素的方差值，

为引导图像I的均方差值，

为表示输入图像p的各像素的梯度均值；T_edge为边缘阈值；引导图I与输入图像p相同。

本发明的进一步改进在于，计算线性常数a_k采用的表达式为：

式中，

为引导图I的第k个窗口的方差值，ε为正则化因子；

计算线性常数b_k采用的表达式为：

式中，μ_k和

分别表示引导图I与输入图像p在窗口ω_k中的均值；引导图I与输入图像p相同。

本发明的优点是：采用权重因子η对正则化因子ε进行自适应调节修正，在图像中的边缘等图像信息较多的区域，线性常数a_k自适应地变小，使得滤波效果适当变小，从而避免最终得到的图像边缘出现光斑。

附图说明

图1为本发明图像去雾方法的流程图；

图2为四叉树图像分割算法的示意图；

图3为引导滤波的效果图。

具体实施方式

以下结合附图通过实施例对本发明的特征及其它相关特征作进一步详细说明，以便于同行业技术人员的理解：

实施例：如图1所示，本发明的实施例包括一种图像去雾方法，用于对有雾图像进行处理，该方法采用的物理模型为雾化图像的数学模型，其定义为如下公式：

I(x)＝J(x)t(x)+A(1-t(x)) (1)

式中，I为拍摄到的原始有雾图像，J为复原后清晰无雾图像，t为光照的透射率，A为大气光值，x为雾化程度的指标。

在绝大多数非天空的局部区域中，某些像素总会存在颜色通道很低(趋近于0)的值。因此，对于任意图像J可以定义暗通道为：

式中，J^c为J的一个颜色通道，Ω(x)为以像素x为中心的区域，J^dark为J的暗原色。

根据公式(1)和暗原色先验论，对公式(1)进行两次最小值求取，得到透射率

的预估值表达式为：

式中，ω(0＜ω≤1)为常数，用于保留一定程度的雾，保持图像的景深层次感。

公式(1)中当J(x)t(x)接近零时，会引入噪声。若

值过小会使图像整体向白场过度，故设置透射率阈值t₀，得到去雾后图像J为：

大气光值A是在暗通道中前0.1％最亮的点，即透射率最小的点，再在去雾图中的对应点处，选取的所有通道中最大的值作为A。从公式(4)可知，在实际的去雾化过程中，I为输入图像，获取大气光值A以及透射率图像t即可得到去雾化的图像J。

如图1所示，本发明的实施例包括以下步骤：

(S1)从有雾图像中获取大气光值A。本实施例中，采用何算法^[5]与基于四叉树图像分割算法相结合的方式获取大气光值A，以避免单一算法中存在的问题。

何算法中对大气光值的求取是在整个暗通道图片像素中寻找前0.1％亮度的像素点作为大气光值^[5]，这种算法对于自然景图的识别效果较好，但若是图片中含有灯光、白色高亮物体等非天空光源时，会使得大气光值估计产生偏差，影响去雾图像的复原效果。

四叉树图像分割算法是一种迭代的算法，其通过对图像进行等分并寻找整体亮度较高的分块，可以在图片中整体较亮的区域中进行细分。这种方式可以避免何算法中将所有像素放在一起比较，导致局部的非天空光源导致大气光值估计产生偏差的问题。

具体的，步骤(S1)中获取大气光值A的过程包括以下步骤：

a.从有雾图像的每个像素中获取灰度最低通道值，形成最暗通道图像。本实施例中，输入的有雾图像为RGB格式的彩色图像，获取最暗通道图像的过程中，取每个像素的RGB三个通道值中的最小值作为该像素的灰度，从而形成与有雾图像尺寸相同的最暗通道图像。最暗通道图像为单通道图像。

b.采用基于四叉树图像分割算法从最暗通道图像中获取第一大气光估计值A₁；

c.采用何算法从最暗通道图像中获取第二大气光估计值A₂；何算法为本领域的现有技术。

d.根据第一大气光估计值A₁以及第二大气光估计值A₂计算大气光值A，其表达式为：

Δ＝abs(A₁-A₂) (5)

A＝min(A₁，A₂)+γΔ (6)

其中，γ为修正参数，其取值范围为[0.5，0.6]。本实施例采用上述两种方式分别获得两种大气光估计值，并将二者综合得到最终的大气光值A，可以综合二者的优点，避免单一方法的估算值异常时对去雾效果造成不良影响。

如图2所示，本实施例进行获取第一大气光估计值A₁具体包括以下步骤：

A1.将最暗通道图像沿横向和纵向分为四个面积相等的子图；

A2.选取灰度最大的子图，并统计该子图的面积；若其面积大于子图阈值，将该子图作为最暗通道图像并跳转至步骤A1，反之则选取该子图中前4％灰度的像素均值为第一大气光估计值A₁。本实施例中，子图阈值为15×15像素。

(S2)采用基于canny算子的导向滤波算法从有雾图像中获取透射率图像t。其具体包括以下步骤：

a.将有雾图像由RGB格式转换为灰度格式，并将其作为输入图像p；输入图像如图3(a)所示；

b.按照预定尺寸的窗口(本实施例为3*3的窗口)对输入图像p进行遍历，遍历过程中，对于第k个窗口ω_k，分别计算该窗口的权重因子η、线性常数a_k与b_k；并将线性常数a_k与b_k作为窗口ω_k的中心像素p_k的线性常数；遍历结束后，输入图像的每个像素都具有相应的线性常数；

c.按照预定尺寸的窗口对输入图像进行再次遍历，再次遍历过程中，对于第k个窗口ω_k，计算窗口ω_k中各像素的线性常数的均值

和

并将其作为窗口ω_k的中心像素p_k的线性常数均值；本步骤可采用均值滤波的方式进行实现；

d.根据输入图像p及其各像素的p_k的线性常数均值

和

计算透射率图像t；透射率图像第k个像素的计算表达式为：

最终得到的透射率图像t如图3(b)所示。

本实施例中，窗口ω_k的权重因子η的计算过程包括：

采用canny算子，计算窗口ω_k的中心像素p_k的梯度值G_(k)，其表达式为：

式中，G_x(k)和G_y(k)分别表示为以k为中心的窗口区域ω_k中像素点在x，y方向的梯度值。通过canny算子，可以检测出图像边沿与平滑区域。定义边缘阈值T_edge，将其与梯度值G_(k)比较，若素点梯度值G_(k)大于T_edge，则被定义为边缘区域，反之若边缘像素点梯度值G_(k)小于T_edge，则为平滑区域。

权重因子η的表达式为：

式中，

为引导图I的第k个窗口中各像素的方差值，

为引导图像I的均方差值，

为表示输入图像p的各像素的梯度均值；T_edge为边缘阈值；本实施例中，引导图I与输入图像p相同。

本实施例中，计算线性常数a_k采用的表达式为：

式中，

为引导图I的第k个窗口ω_k的方差值，ε为正则化因子，ε取值在(0，0.01]。由上式可以看出，a_k的值域为[0，1]，该值是引导图I的比例值。当选取输入图像p为引导图时，ε·η^-1若很大，无论

为何值，a_k都趋近于0，等价于均值滤波；ε若很小，无论

为何值，a_k都趋近于1，则没有任何滤波效果，输出图像即为输入图像。何算法中对正则化因子ε的选取为定值，没有考虑到每个ω_k窗口中方差

的值都不相同，在图像信息较多的窗口区域中，会有图像边缘出现光斑的情况，影响滤波效果。

本实施例中，采用权重因子η对正则化因子ε进行自适应调节修正，在图像中的边缘等图像信息较多的区域，线性常数a_k自适应地变小，使得滤波效果适当变小，从而避免最终得到的图像边缘出现光斑。

计算线性常数b_k采用的表达式为：

式中，μ_k和

分别表示引导图I与输入图像p在窗口ω_k中的均值。本实施例中，权重因子η会对线性常数b_k产生与a_k相同的效果。

步骤(S2)中，引导滤波的原理是：

引导滤波算法对待处理图像p进行滤波时，引入导向图I的概念，引导图I可以是独立图像，也可以是待处理图像p(本实施例为后者，将待处理图像p作为引导图I)。假定输出图像q是导向图I在窗口k区域内的局部线性模型：

式中：ω_k是以像素k为中心的窗口，a_k与b_k是输出图像q关于输入引导图I的线性常数。

为了保证输出图像q与输入图像p均方差最小，采用最小二乘法进行拟合计算，由式(11)等价为：

式中：ε为防止出现过拟合所提出正则化因子，该值选取不当会影响输出图像。

对于a_k与b_k的求解，计算如下：

其中μ_k和

分别表示引导图I与输入图像在窗口中的均值，

则是表示引导图I的方差值，ω是窗口ω_k中像素的数量，本实施例中ω＝9。当引导图I与输入图像p相同时，a_k可以改写成如下公式(9)的表达式。

本实施例中，先求解各像素的线性常数a_k与b_k，然后再用均值滤波的方式求取线性常数均值

和

这种方式可以充分向量化，计算速度更快。与何算法中采用的软抠图算法相比速度更快、复杂度更低且算法效率更高。

(S3)根据所述大气光值A和透射率图像t对有雾图像进行逐像素处理以得到去雾后图像J，表达式为：

其中，I为有雾图像，t₀为透射率阈值。

本文针对图像He算法复原图像存在的边缘光晕效应的问题，提出一种基于改进引导滤波的图像去雾方法。首先，采用基于四叉树算法获取大气光值；然后，引入基于Canny算子的图像边缘权值因子，解决局部光晕效应；最后，基于大气物理模型复原图像。实验表明：本算法在主观视觉效果优于其他算法，图像边缘去噪更自然；客观性能指标对比显示，改进的去雾算法具有更高的图像质量与较好的图像复原度。

以上的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种图像去雾方法，用于对有雾图像进行处理，其特征在于包括以下步骤：

从有雾图像中获取大气光值A；

采用基于canny算子的导向滤波算法从有雾图像中获取透射率图像t；

根据所述大气光值A和透射率图像t对有雾图像进行逐像素处理以得到去雾后图像J，表达式为：

其中，I为有雾图像，t₀为透射率阈值。

2.根据权利要求1所述的一种图像去雾方法，其特征在于，获取大气光值A的过程包括以下步骤：

从所述有雾图像的每个像素中获取灰度最低通道值，形成最暗通道图像；

采用基于四叉树图像分割算法从最暗通道图像中获取第一大气光估计值A₁；

采用何算法从最暗通道图像中获取第二大气光估计值A₂；

根据第一大气光估计值A₁以及第二大气光估计值A₂计算大气光值A，其表达式为：

Δ＝abs(A₁-A₂)

A＝min(A₁，A₂)+γΔ

其中，γ为修正参数，其取值范围为[0.5，0.6]。

3.根据权利要求2所述的一种图像去雾方法，其特征在于，获取第一大气光估计值A₁具体包括以下步骤：

(S31)将所述最暗通道图像沿横向和纵向分为四个面积相等的子图；

(S32)选取灰度最大的子图，并统计该子图的面积；若其面积大于子图阈值，将该子图作为最暗通道图像并跳转至步骤(S31)，反之则选取该子图中前4％灰度的像素均值为第一大气光估计值A₁。

4.根据权利要求3所述的一种图像去雾方法，其特征在于，所述子图阈值为15×15像素。

5.根据权利要求1所述的一种图像去雾方法，其特征在于，获取透射率图像t的过程包括以下步骤：

将有雾图像由RGB格式转换为灰度格式，并将其作为输入图像p；

按照预定尺寸的窗口对所述输入图像进行遍历，遍历过程中，对于第k个窗口ω_k，分别计算该窗口的权重因子η、线性常数a_k与b_k；并将线性常数a_k与b_k作为窗口ω_k的中心像素p_k的线性常数；

按照预定尺寸的窗口对所述输入图像进行再次遍历，再次遍历过程中，对于第k个窗口ω_k，计算窗口ω_k中各像素的线性常数的均值

和

并将其作为窗口ω_k的中心像素p_k的线性常数均值；

根据输入图像p及其各像素的p_k的线性常数均值

和

计算透射率图像t；透射率图像第k个像素的计算表达式为：

6.根据权利要求5所述的一种图像去雾方法，其特征在于，窗口ω_k的权重因子η的计算过程包括：

采用canny算子，计算窗口ω_k的中心像素p_k的梯度值G_(k)，其表达式为：

式中，G_x(k)和G_y(k)分别表示为以k为中心的区域中像素点在x，y方向的梯度值；

权重因子η的表达式为：

式中，

为引导图I的第k个窗口ω_k中各像素的方差值，

为引导图像I的均方差值，

为表示输入图像p的各像素的梯度均值；T_edge为边缘阈值；引导图I与输入图像p相同。

7.根据权利要求6所述的一种图像去雾方法，其特征在于，计算线性常数a_k采用的表达式为：

式中，

为引导图I的第k个窗口的方差值，ε为正则化因子；

计算线性常数b_k采用的表达式为：

式中，μ_k和

分别表示引导图I与输入图像p在窗口ω_k中的均值；引导图I与输入图像p相同。

Images