CN111325688B - 融合形态学聚类优化大气光的无人机图像去雾方法 - Google Patents

Abstract

本发明公开了一种融合形态学聚类优化大气光的无人机图像去雾方法，采集并输入含雾图像；使用区域最小值滤波，获取其暗通道图像及场景深度图像；采用融合形态学聚类算法根据场景深度信息对暗通道图像进行分割；依据分割后的图像对不同景深条件下的大气光值进行估计，获得场景大气光值；根据场景大气光值修正透射率图像；利用场景大气光值与修正透射率，恢复含雾图像。本发明采用融合形态学聚类算法将场景深度信息融入对大气光估计中，并对场景透射率进行修正，经处理后，位于不同场景深度的位置拥有不同的场景大气光值，并由此获得较为准确的场景透射率，可有效提升恢复图像对比度，改善图像的视觉感受，对后续的图像处理及信息提取有很大意义。

Description

融合形态学聚类优化大气光的无人机图像去雾方法

技术领域

本发明属于图像处理技术领域，具体涉及一种融合形态学聚类优化大气光的无人机图像去雾方法。

背景技术

随着数字图像采集技术和处理技术的飞速发展，图像已成为人们获取信息的重要信息，图像中包含有大量的纹理信息和边缘信息，例如无人机飞行器对目标跟踪与检测、图像拼接技术等都需要图像中信息的获取。

近年来由于空气质量的影响，使得雾霾天气的出现变得频繁，从而使一些设备采集到图像的质量变差，其中主要为能见度与色彩饱和度的显著下降。而且雾霾天气所导致的图像降质，图像离焦模糊使原有的图像后续算法处理困难。由于无人机飞行器所处工作环境的特殊性，其采集到的遥感图像往往含有部分天空，且受雾霾噪声的影响尤为严重，高噪声低对比度的图像信息对后续目标跟踪、检测等算法产生了极大影响。

目前主流去雾算法可根据原理分为两类：基于图像增强的去雾方法和基于物理模型的去雾方法。基于图像增强的去雾方法通过增强图像清晰度，将图像中的纹理信息与边缘信息突出增强，对图像复原有一定的效果，但由于忽略了雾化降质过程中的退化模型，对于图像中的局部区域易过处理，因而往往整体图像复原效果不佳；基于物理模型的图像去雾方法，通过建立雾霾天气下光线传输降质的物理模型，反演光线降质过程，从而复原出无雾条件下的图像，相较于基于图像增强的去雾方法，复原图像更加自然且信息损失较小。暗通道去雾算法通过“暗通道”先验理论对含雾图像进行复原，但由于该理论对于天空区域及近景中的白色区域不成立，且未能考虑到图像中位于不同景深位置获取的大气光信息存在差异，因而在图像复原过程中对全局大气光的求取存在误差，使得复原后图像出现整体色调偏暗且对比度较低、局部区域存在颜色失真等现象。因此，对去雾过程中全局大气光的优化处理是十分有意义的。

发明内容

本发明提供一种融合形态学聚类优化大气光的无人机图像去雾方法，以克服上述现有技术存在的缺陷，本发明对暗通道去雾过程中的全局大气光求取过程进行改进，采用融合形态学聚类算法对场景大气光值进行优化，能有效的检测到图像中位于不同景深位置的大气光值，同时根据相应景深信息对透射率图像进行修正，有效的改善了传统暗通道去雾算法中大气光取值偏差导致的图像对比度较低、颜色失真等问题，同时通过修正大气光，获得较为良好的场景透射率，使后续去雾处理获得的复原图像具有良好的视觉效果。

为达到上述目的，本发明采用如下技术方案：

融合形态学聚类优化大气光的无人机图像去雾方法，包括以下步骤：

步骤1：获取受雾霾噪声污染的含雾图像I；

步骤2：将步骤1得到的含雾图像进行小区域最小值滤波和大区域最小值滤波，获取其暗通道图像及场景深度信息图像，分别记为I_dark与I_depth；

步骤3：将步骤2中得到的场景深度信息图像经聚类与形态学算法处理，分割为4个区域并求取子图像，分别记为I_dep1、I_dep2、I_dep3、I_dep4；将获得的场景深度子图像分别求取亮度值按降序排列，位于前0.1％位置对应的各像素通道平均值作为该子区域的场景大气光估计值，记为A₁、A₂、A₃、A₄，并按照步骤3中的分割区域将这些值填充为一张图，并对该图进行形态学腐蚀操作，得到全局大气光图像，记为A_global；

步骤4：将步骤3中获得的全局大气光图像A_global以暗通道图像I_dark为模板进行引导滤波后得到场景大气光，记为A_map；

步骤5：将步骤3中场景大气光估计值A₁、A₂、A₃、A₄中的最大值记为A_max，计算获得原始透射率t；将获得的原始透射率图像以暗通道图像为模板进行引导滤波后得到修正场景透射率，记为t_mod；

步骤6：由步骤4与步骤5中获得的场景大气光A_map与修正场景透射率t_mod恢复含雾图像得到复原后图像J。

进一步地，步骤2中将步骤1中获得的含雾图像按如下公式进行处理：

其中，x表示图像I中的位置，I(x)代表图像I中该位置像素值，c为R、G、B三个颜色通道中的某一通道，Ω_dark为以x为中心大小为7*7的矩形区域，Ω_depth为以x为中心大小为15*15的矩形区域，y为该区域中某一点的像素值。

进一步地，步骤3中聚类算法的聚类相似度采用以下公式进行计算：

其中，I_dark为步骤2中获得的暗通道图像，k为步骤3中聚类产生的种子点，i为四个种子点对应类集合的索引，取值为1、2、3、4。

进一步地，步骤4中采用如下公式对步骤3中获得的全局大气光A_global进行引导滤波：

A_map＝GuideFilter(I_dark,A_global,ω_map,ε_map)

其中，I_dark为步骤2中获得的暗通道图像，ω_map为滤波窗口，大小为30*30，ε_map为正则化参数，大小为0.01。

进一步地，步骤5中原始透射率t计算公式如下：

其中，I_dark为步骤2.1中获得的暗通道图像，A_max为步骤3中场景大气光估计值中最大值，γ为修正参数，取值为0.95；

步骤5中采用如下公式对获得的原始透射率t进行引导滤波：

t_mod＝GuideFilter(I_dark,t,ω_mod,ε_mod)

其中，I_dark为步骤2中获得的暗通道图像，ω_mod为滤波窗口，大小为30*30，ε_mod为正则化参数，大小为0.01。

进一步地，步骤6中采用如下公式将步骤4与步骤5中获得的场景大气光A_map与修正场景透射率t_mod恢复雾化降质图像J：

其中，I(x)为原含雾图像像素值。

与现有技术相比，本发明具有以下有益的技术效果：

本发明采用融合聚类与形态学算法，将大气光值估计与场景深度信息进行联系，从而获得较为准确的场景大气光值与场景透射率。在对雾霾天气下的雾化降质图像进行暗通道先验算法去雾处理时，传统暗通道算法在对图像全局大气光值估计时易受到天空区域的影响，对整体图像的大气光值估计偏高，因而在复原时整体图像对比度较低且局部色彩失真，因此采用融合聚类与形态学算法将场景深度信息融入对大气光估计中，并对场景透射率进行修正。经处理后的图像中，位于不同场景深度的位置拥有不同的场景大气光值，并由此获得较为准确的场景透射率，可有效改善图像的视觉感受，对后续的图像处理及信息提取有很大意义。

附图说明

图1是本发明的流程示意图；

图2是本发明与传统暗通道先验去雾算法第一组含雾图像处理结果对比图；

图3是本发明与传统暗通道先验去雾算法第二组含雾图像处理结果对比图；

图4是本发明与传统暗通道先验去雾算法第三组含雾图像处理结果对比图；

在图2、图3及图4中，(a)为原始雾霾天气下的雾化降质图像；(b)传统暗通道先验去雾算法得到的复原图像；(c)使用本发明方法处理后得到的复原图像。

具体实施方式

下面结合附图对本发明作进一步详细描述：

参见图1，本发明提供一种融合形态学聚类优化大气光的无人机图像去雾方法，相较于传统暗通道去雾算法，对含雾图像大气光值进行了重新估计并修正了场景透射率。具体思路是，针对传统的暗通道先验去雾算法对图像大气光值估计时未考虑到不同场景深度，提出使用聚类与形态学算法融合对场景深度信息分割，并依照分割区域获得不同景深条件下对应的场景大气光值，再根据相应场景大气光值修正透射率图像，由场景大气光值与修正后透射率获得复原后的图像。在整个过程中，由于场景大气光值估计与场景深度信息相联系，因此可获得较好的去雾图像处理效果。

具体步骤如下：

步骤1：输入受雾霾噪声污染的含雾图像；

步骤2.1：将步骤1得到的含雾图像进行小区域最小值滤波，获取其暗通道图像，记为I_dark，计算方式如下：

其中，x表示图像中的位置，I(x)代表图像I中该位置像素值，c为R、G、B三个颜色通道中的某一通道，Ω_dark为以x为中心大小为7*7的矩形区域，y为该区域中某一点的像素值；

步骤2.2：将步骤1得到的含雾图像进行大区域最小值滤波，获取其场景深度信息图像，记为I_depth，计算方式如下：

其中，Ω_depth为以x为中心大小为15*15的矩形区域；

步骤3.1：将步骤2.2中得到的场景深度信息图像按照像素相似特征分割为4个区域，具体实施步骤如下：

(1)在场景深度图像中随机选择4个点作为种子点，分别记为k₁、k₂、k₃、k₄；

(2)遍历场景深度图像I_depth中所有像素点，并计算与种子点的像素相似度S_i，计算方式如下：

其中，i为四个种子点对应类集合的索引，取值为1、2、3、4。

(3)根据(2)中所得相似度S_i，将图像中每个像素点归为相似度最大的类中，并将该集合记为U_i；

(4)分别选取集合S_i中的中值所对应像素点替换为种子点k_i；

(5)检查种子点是否发生改变，若发生变换，则跳转至(2)继续执行，否则结束循环并根据U_i分割场景深度图像，将分割后的子图像分别记为I_dep1、I_dep2、I_dep3、I_dep4；

步骤3.2：将步骤3.1中获得的场景深度子图像分别求取亮度值按降序排列，位于前0.1％位置对应的各像素通道平均值作为该子区域的场景大气光估计值，记为A₁、A₂、A₃、A₄，并按照步骤3.1中的分割区域将这些值填充为一张图，并对该图进行形态学腐蚀操作，得到全局大气光图像，记为A_global；

步骤4：将步骤3.2中获得的全局大气光图像A_global以暗通道图像I_dark为模板进行引导滤波后得到场景大气光，记为A_map，公式表述为：

A_map＝GuideFilter(I_dark,A_global,ω_map,ε_map)

其中，I_dark为步骤2.1中获得的暗通道图像，ω_map为滤波窗口，大小为30*30，ε_map为正则化参数，大小为0.01；

步骤5：将步骤3.2中场景大气光估计值中最大值记为A_max，计算获得原始透射率t，计算方式如下：

其中，I_dark为步骤2.1中获得的暗通道图像，γ为修正参数，本方法中取值为0.95；

将获得的原始透射率图像以暗通道图像为模板进行引导滤波后得到修正场景透射率，记为t_mod，公式表述为：

t_mod＝GuideFilter(I_dark,t,ω_mod,ε_mod)

其中，ω_mod为滤波窗口，大小为30*30，ε_mod为正则化参数，大小为0.01；

步骤6：由步骤4与步骤5中获得的场景大气光A_map与修正场景透射率t_mod恢复含雾图像得到J，即：

其中，I(x)为原含雾图像像素值。

由图2、图3及图4中可以看到经本方法处理后的效果，(a)为原始雾化降质图像，可见图像中有大量雾化降质噪声；(b)为使用传统暗通道去雾算法处理后结果，由于传统算法对含有天空区域图像的大气光值估计存在偏差，且透射率为根据存在偏差的大气光值下计算出来的，因而图像整体色调偏暗，对比度较低，且在图2中，图像远处靠近天空的区域出现色彩失真的现象；(c)为使用融合形态学聚类优化大气光后的去雾算法，可见图像的整体色调有明显提升，且在图2中图像远处靠近天空区域的色彩失真现象明显改善。

表1 图2各项参数指标

表2 图3各项参数指标

表3 图4各项参数指标

表1、表2及表3通过对比峰值信噪比、彩色图像信息熵、灰度图像对比度及像素均值来比较处理后图像效果。根据峰值信噪比和彩色图像信息熵的定义可知，峰值信噪比和彩色图像信息熵参数越大，表明图像中所含信息越多，复原效果越好，灰度图像对比度和像素均值则可以体现出图像整体的色调趋势，灰度图像对比度和像素均值越大表明图像整体色调明亮，更加符合人眼视觉效果。由表中可知，使用传统暗通道去雾算法的四项指标均低于本方法，尤其在灰度图像对比度与像素均值的指标上大幅低于本方法，表明传统暗通道方法复原出图像色调偏暗，而本方法各项指标均有所提升，更加符合视觉效果。

综上所述，本发明方法对含雾图像复原效果理想，相较于已有算法有明显技术优势，对图像的进一步处理以及准确获取图像信息有着重要的意义。

Claims (6)

1.融合形态学聚类优化大气光的无人机图像去雾方法，其特征在于，包括以下步骤：

步骤1：获取受雾霾噪声污染的含雾图像I；

步骤2：将步骤1得到的含雾图像进行小区域最小值滤波和大区域最小值滤波，获取其暗通道图像及场景深度信息图像，分别记为I_dark与I_depth；

步骤3：将步骤2中得到的场景深度信息图像经聚类与形态学算法处理，分割为4个区域并求取子图像，分别记为I_dep1、I_dep2、I_dep3、I_dep4；将获得的场景深度子图像分别求取亮度值按降序排列，位于前0.1％位置对应的各像素通道平均值作为该子区域的场景大气光估计值，记为A₁、A₂、A₃、A₄，并按照步骤3中的分割区域将这些值填充为一张图，并对该图进行形态学腐蚀操作，得到全局大气光图像，记为A_global；

步骤4：将步骤3中获得的全局大气光图像A_global以暗通道图像I_dark为模板进行引导滤波后得到场景大气光，记为A_map；

步骤5：将步骤3中场景大气光估计值A₁、A₂、A₃、A₄中的最大值记为A_max，计算获得原始透射率t；将获得的原始透射率图像以暗通道图像为模板进行引导滤波后得到修正场景透射率，记为t_mod；

步骤6：由步骤4与步骤5中获得的场景大气光A_map与修正场景透射率t_mod恢复含雾图像得到复原后图像J。

2.根据权利要求1所述的融合形态学聚类优化大气光的无人机图像去雾方法，其特征在于，步骤2中将步骤1中获得的含雾图像按如下公式进行处理：

其中，x表示图像I中的位置，I(x)代表图像I中该位置像素值，c为R、G、B三个颜色通道中的某一通道，Ω_dark为以x为中心大小为7*7的矩形区域，Ω_depth为以x为中心大小为15*15的矩形区域，y为该区域中某一点的像素值。

3.根据权利要求1所述的融合形态学聚类优化大气光的无人机图像去雾方法，其特征在于，步骤3中聚类算法的聚类相似度采用以下公式进行计算：

其中，I_dark为步骤2中获得的暗通道图像，k为步骤3中聚类产生的种子点，i为四个种子点对应类集合的索引，取值为1、2、3、4。

4.根据权利要求1所述的融合形态学聚类优化大气光的无人机图像去雾方法，其特征在于，步骤4中采用如下公式对步骤3中获得的全局大气光A_global进行引导滤波：

A_map＝GuideFilter(I_dark,A_global,ω_map,ε_map)

其中，I_dark为步骤2中获得的暗通道图像，ω_map为滤波窗口，大小为30*30，ε_map为正则化参数，大小为0.01。

5.根据权利要求1所述的融合形态学聚类优化大气光的无人机图像去雾方法，其特征在于，步骤5中原始透射率t计算公式如下：

其中，I_dark为步骤2.1中获得的暗通道图像，A_max为步骤3中场景大气光估计值中最大值，γ为修正参数，取值为0.95；

步骤5中采用如下公式对获得的原始透射率t进行引导滤波：

t_mod＝GuideFilter(I_dark,t,ω_mod,ε_mod)

其中，I_dark为步骤2中获得的暗通道图像，ω_mod为滤波窗口，大小为30*30，ε_mod为正则化参数，大小为0.01。

6.根据权利要求1所述的融合形态学聚类优化大气光的无人机图像去雾方法，其特征在于，步骤6中采用如下公式将步骤4与步骤5中获得的场景大气光A_map与修正场景透射率t_mod恢复雾化降质图像J：

其中，I(x)为原含雾图像像素值。

Images