CN111667433B - 一种基于简单线性迭代聚类优化的无人机图像去雾方法 - Google Patents
一种基于简单线性迭代聚类优化的无人机图像去雾方法 Download PDFInfo
- Publication number
- CN111667433B CN111667433B CN202010526634.6A CN202010526634A CN111667433B CN 111667433 B CN111667433 B CN 111667433B CN 202010526634 A CN202010526634 A CN 202010526634A CN 111667433 B CN111667433 B CN 111667433B
- Authority
- CN
- China
- Prior art keywords
- image
- filtering
- follows
- distance
- window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000005457 optimization Methods 0.000 title claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 85
- 238000001914 filtration Methods 0.000 claims abstract description 68
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000003044 adaptive effect Effects 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 238000003384 imaging method Methods 0.000 claims description 26
- 238000002834 transmittance Methods 0.000 claims description 25
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000005259 measurement Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 238000006731 degradation reaction Methods 0.000 claims description 6
- 230000014509 gene expression Effects 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 claims description 2
- 238000012935 Averaging Methods 0.000 claims 1
- 238000007689 inspection Methods 0.000 abstract description 13
- 230000011218 segmentation Effects 0.000 abstract description 8
- 230000000694 effects Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 230000002146 bilateral effect Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000010287 polarization Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 125000001475 halogen functional group Chemical group 0.000 description 2
- 238000003706 image smoothing Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 241000255969 Pieris brassicae Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
- G06T5/75—Unsharp masking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于简单线性迭代聚类优化的无人机图像去雾方法,属于计算机视觉技术领域。该方法将基于频域的同质滤波算法用于初期无人机图像处理;使用简单线性迭代聚类进行超像素分割,将分割后的超像素块作为导向窗口,并使用SLIC超像素图像作为导向图,融入导向滤波算法提升处理速度并提高透射率计算的准确程度;利用自适应调节算法计算大气光强度值等参数,并代入到暗通道先验模型中得到去雾图像。该方法能够对无人机图像进行高质量的去雾处理,是对无人机高空巡检领域的一种重要贡献。
Description
技术领域
本发明涉及计算机视觉技术领域,特别是指一种基于简单线性迭代聚类优化的无人机图像去雾方法。
背景技术
电力线路是输送电能的重要组成部分,对电力线路进行定期的巡检十分必要。目前,已出现将无人机(unmanned aerial vehicle,UAV)遥感技术应用于电力巡检的案例,可以大幅提高巡检效率和安全性。在无人机对电力线路进行高空巡检时,必须保证其携带载荷能够在电力线路所经过地带的复杂环境中采集到清晰的图像数据,以免影响后续目标的检测和识别。但是,在雾霾天气中存在较多的雾气颗粒,UAV的成像系统会受到颗粒的反射、散射、吸收自然光的影响,从而造成UAV图像质量的下降,严重影响了后续巡检任务的完成。因此,在电力巡检领域中,对UAV图像进行去雾算法的研究具有重要意义。
对图像进行去雾处理是计算机视觉中的一个重要任务,学者们对此进行了深入研究。目前,去雾方法主要分为基于图像表面增强和内在物理大气模型2种方法。前者对图像中的显著区域进行突出,并通过增强多种色彩信息来实现图像去雾,主要方法有直方图均衡化增强算法、小波变换去雾算法、视网膜大脑皮质论去雾算法等,此类算法未考虑有雾图像的内在成因,虽然具有较快的处理速度,但会丢失图像的细节信息。后者对图像的内在物理大气模型进行研究,主要分为基于多幅图像的去雾算法及基于单幅图像的去雾算法,此类算法对雾霾天气下的成像原理进行剖析,去雾效果良好,得到了广泛的应用和研究。
基于多幅图像的去雾算法主要取决于附加信息的深度或对同一场景的多次观察。Fang等(“Fang S,Xia X S,Huo X,et al.Image dehazing using polarization effectsof objects and airlight[J].Optics Express,2014,22(16):195-211.”)根据散射光的不同偏振特性,使用2个或多个具有不同偏振度的相同场景图像来恢复场景深度图像。Kopf等(“Kopf J,Neubert B,Chen B,et al.Deep photo:model-based photographenhancement and viewing[J].ACM Transactions on Graphics,2008,27(5):116-125.”)采用图像的景深信息进行除雾。Narasimhan等(“Narasimhan S G,Nayar S K.Contrastrestoration of weather degraded images[J].IEEE Transactions on PatternAnalysis and Machine Intelligence,2003,25(6):711-724.”)提出了一种基于物理大气散射的模型来恢复图像内在结构。但是,基于多幅图像的去雾算法依赖于图像之间的附加信息,未对图像雾气的成因进行深入分析,存在一定的局限性。
基于单幅图像的去雾算法结合先验统计知识,并将雾度和其他杂质作为图像退化的主要原因,利用大气环境下成像的概念,根据大气散射生成退化模型。Fattal(“FattalR.Single image dehazing[J].ACM Transactions on Graphics,2008,27(3):1-13.”)通过考虑表面投影和光透射的不相关性来估计场景透射率图。Meng等(“Meng G,Wang Y,DuanJ,et al.Efficient image dehazing with boundary constraint and contextualregularization[C]//2013IEEE International Conference on Computer Vision.IEEE,2014:1-13.”)通过使用上下文正则化加权L1范数限制边界的传递函数来建立模型。He等(“He K M,Sun J,Tang X O,et al.Single image haze removal using dark channelprior[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353.”)提出了一种暗通道先验(dark channel prior)方法,其认为大多数没有雾块的自然图像通常在色彩通道的一个小像素内包含一些亮度值,并称之为先验暗通道。基于单幅图像的去雾算法深入分析了图像中雾气存在的原因,涌现出多种有效可行的去雾理论方法,其中暗通道先验方法具有较强的实用性。
暗通道先验方法将现有知识与软消光算法相结合,可以简单而有效地恢复大部分雾度图像,但当场景中有白色物体存在或接近大气光学特性时,去雾效果将有所降低。基于He的去雾算法,研究人员提出了颜色转移算法、双边滤波算法、贝叶斯优化方法等多种改进方法,但是在电力巡检时场景多变,输电线路、风力发电机图像中常出现大片白色区域,目前基于先验暗通道的衍生算法均表现不佳,有必要对其进行改进优化。
发明内容
有鉴于此,本发明提供了一种基于简单线性迭代聚类优化的无人机图像去雾方法,该方法利用同质滤波算子来改善UAV图像,并采用简单线性迭代聚类(simple lineariterative clustering,SLIC)优化导向滤波计算方法,考虑了去雾过程中白色区域的影响,可以对电力巡检中的复杂无人机图像进行有效去雾。
为了实现上述目的,本发明采用的技术方案为:
一种基于简单线性迭代聚类优化的无人机图像去雾方法,包括以下步骤:
(1)采用基于频域的同质滤波方法对原始有雾图像进行初期处理,去除图像中的白区影响,得到处理后图像F'(x);
(2)使用雾天成像物理模型及暗通道先验方法计算处理后图像F'(x)的透射率图;
(3)使用基于简单线性迭代聚类的方法对透射率图进行优化;
(4)利用自适应调节方法计算处理后图像F'(x)的大气光强度参数;
(5)将大气光强度参数及优化后的透射率图代入到暗通道先验方法中,得到去雾图像。
进一步的,所述步骤(1)的具体方式为:
(101)建立基于入射光和反射光的图像模型g(x,y)=i(x,y)×r(x,y),其中,i(x,y)为照明函数,r(x,y)为反射函数,0<i(x,y)<∞,0<r(x,y)<1,图像模型g(x,y)表示为i(x,y)与r(x,y)的乘积;
(102)对基于入射光和反射光的图像模型取对数,并通过傅立叶变换将其变换至频域,得到滤波结果E(u,v)为:
E(u,v)=S(u,v)×G(u,v)
=S(u,v)×I(u,v)+S(u,v)×R(u,v)
其中,S(u,v)是滤波函数,G(u,v)是g(x,y)的频域,I(u,v)是i(x,y)的频域,R(u,v)是r(x,y)的频域;
(103)将频域变换中的滤波函数改进为S(u,v)=α[1+C(u,v)-β]-1,其中,C(u,v)为频率(u,v)到滤波器中心点的距离,0.7≤α≤1.4,0.01≤β≤0.5;
(104)利用改进后的滤波函数处理原始有雾图像。
进一步的,所述步骤(2)的具体方式为:
(201)建立雾天成像物理模型,所述雾天成像物理模型为在雾天成像中描述图像退化过程的模型,雾天成像物理模型如下:
F(x)=Q(x)T(x)+A(1-T(x))
其中,F(x)为UAV载荷拍摄到的原始有雾图像;Q(x)为待复原的清晰图像;T(x)为大气透射参数率;A为大气光强度参数;
(202)建立暗通道先验方法的公式:
其中,Dc(y)为原始图像中的色彩通道;W(x)代表以x为中心的像素区域;Ddark(x)为暗通道像素值,即存在于c∈{R,G,B}中的最小值;
(203)将雾天成像物理模型的两侧算子最小化,得到:
将该式除以大气光强度参数值,并计算其暗通道,得到:
由此得出大气透射参数率T(x)为:
(204)将T(x)代入下式,得到去雾图像:
其中,Q(x)为去雾图像,Tc为去雾控制阈值,用于防止T(x)趋于0时导致的雾图噪声化,max()为取最大值运算。
进一步的,所述步骤(3)的具体方式为:
(301)构建导向滤波模型;
(302)优化SLIC算法的特征维度;
(303)基于SLIC改进的导向滤波算法对透射率图进行滤波,得到优化后的透射率图。
进一步的,所述步骤(301)的具体方式为:
(3011)使用导向滤波对边缘进行保持,其滤波表达式如下:
q=g(I,p,r,ε)
其中,q表示输出图像;I表示导向图像;p表示输入图像;wk为滤波窗口;r为窗口半径;k为窗口像素;ε是正则化系数;ak和bk是窗口常规系数;
(3012)建立滤波窗口wk的约束方程如下:
(3013)通过对约束方程取最小值来使输入、输出图之间的偏差最小,得到的常规系数ak和bk表示如下:
进一步的,所述步骤(302)的具体方式为:
(3021)根据图像大小划分网格并初始化聚类中心;
(3022)在相邻区间中移动聚类中心到最小梯度位置;
(3023)在每个聚类中心附近空间相邻区域内,由距离测量公式设置最佳匹配像素;所述距离测量公式如下:
其中,J是每个像素点与聚类中心的距离;Jlab为色彩特征距离;Jxy代表空间特征距离;m是空间距离影响因子;S为种子点之间的距离;下标k、i分别为网格像素点;
其中,D为每个像素点与聚类中心的距离;Dg为灰度特征距离;Dxy为空间特征距离;m为空间距离影响因子;S为种子点之间的距离;下标k、i分别为网格像素点;gk和gi分别为k、i点的灰度颜色空间坐标;
(3025)计算新聚类中心误差,满足阈值后强制连通性。
进一步的,所述步骤(303)的具体方式为:
(3031)用SLIC方法中的超像素块代替导向滤波的窗口wk,对每个超像素区域按照下式计算常规系数ak和bk:
(3032)采用基于SLIC的导向滤波改进算法对原始的透射率图进行处理,得到优化后的透射率图。
进一步的,所述步骤(4)的具体方式为:
对雾天成像物理模型进行灰度形态学开运算,得到:
限定大气光强度参数A的取值范围不大于原始图像的像素最大值:
本发明的有益效果在于:
1、本发明将基于频域的同质滤波算法用于初期无人机图像处理,去除了图像中的白区影响。
2、本发明使用简单线性迭代聚类(SLIC)进行超像素分割,将分割后的超像素块作为导向窗口,并使用SLIC超像素图像作为导向图,融入导向滤波算法,提高了透射率图计算的准确程度,然后利用自适应调节算法计算大气光强度值等参数,能够对无人机图像进行高质量的去雾处理。
3、本发明考虑了去雾过程中白色区域的影响,可以对电力巡检中的复杂无人机图像进行有效去雾,是对无人机高空巡检领域的一种重要贡献。
附图说明
图1为本发明实施例中无人机图像去雾方法的流程图。
图2为本发明实施例中去雾阶段的流程图。
图3(a)~图3(d)为基于简单线性迭代聚类优化的导向滤波改进算法对透射率图的计算进行优化过程的效果图;其中,图3(a)为原始透射率图,图3(b)为原图,图3(c)为SLIC超像素图,图3(d)为优化后的透射率图。
图4(a)~图4(d)为应用本发明实施例的去雾方法与现有技术方法对输电线路进行去雾的结果图像;其中,图4(a)为原图,图4(b)为本发明实施例方法的去雾结果图,图4(c)为He方法的去雾结果图,图4(d)为Pei方法的去雾结果图。
图5(a)~图5(d)为应用本发明实施例的去雾方法与现有技术方法对风力发电机进行去雾的结果图像;其中,图5(a)为原图,图5(b)为本发明实施例方法的去雾结果图,图5(c)为He方法的去雾结果图,图5(d)为Pei方法的去雾结果图。
图6为图4(a)~图4(d)中左图的去雾性能客观评估及去雾处理时间比较图。
图7为图4(a)~图4(d)中右图的去雾性能客观评估及去雾处理时间比较图。
图8为图5(a)~图5(d)的去雾性能客观评估及去雾处理时间比较图。
具体实施方式
下面,结合附图对本发明的技术方案做进一步说明。显然,这些内容仅是本发明的一部分实施例,而不是全部的实施例。基于以下实施例,本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例,都属于本发明的保护范围。
一种基于简单线性迭代聚类优化的无人机图像去雾方法,该方法将基于频域的同质滤波算法用于初期无人机图像处理;并使用简单线性迭代聚类(SLIC)算法与导向滤波进行融合优化;利用自适应调节算法计算去雾参数,并代入到暗通道先验模型中得到去雾图像。
具体来说,所述将基于频域的同质滤波算法用于初期无人机图像处理包括:
建立基于入射光和反射光的图像模型;
对图像模型进行频域变换;
改进频域变换中的滤波函数;
利用改进后的滤波函数处理初期的无人机图像。
所述建立基于入射光和反射光的图像模型包括:
将图像函数g(x,y)表示为照明函数i(x,y)和反射函数r(x,y)的乘积,图像模型如下式(1.1):
g(x,y)=i(x,y)×r(x,y)(1.1)
图像模型的取值范围如下式(1.2):
0<i(x,y)<∞,0<r(x,y)<1(1.2)
所述对图像模型进行频域变换包括:
对式(1.1)取对数并进行傅立叶变换频域来控制右侧分量,可得滤波结果E(u,v)如下式(1.3):
在式(1.3)中,S(u,v)是滤波函数;G(u,v)是g(x,y)的频域;I(u,v)是i(x,y)的频域;R(u,v)是r(x,y)的频域。
可选的,所述改进频域变换中的滤波函数为一种改进的滤波函数,如下式(1.4):
S(u,v)=α[1+C(u,v)-β]-1(1.4)
在式(1.4)中,C(u,v)为频率(u,v)到滤波器中心点的距离;α和β的取值范围分别为0.7≤α≤1.4和0.01≤β≤0.5。
所述使用简单线性迭代聚类(SLIC)算法与导向滤波进行融合优化包括:
构建导向滤波算法模型;
利用SLIC算法进行超像素分割;
优化SLIC算法的特征维度;
基于SLIC改进的导向滤波算法对原始图像进行滤波。
所述构建导向滤波算法模型包括:
使用导向滤波对边缘进行保持,其滤波表达式如下式(1.5)及(1.6):
q=g(I,p,r,ε)(1.5)
在式(1.5)及(1.6)中,q表示输出图像;I表示导向图像;p表示输入图像;wk为滤波窗口;r为窗口半径;k为窗口像素;ε是正则化系数;ak和bk是窗口常系数。
所述wk为滤波窗口包括:
wk的约束方程如下式(1.7):
通过对约束方程取最小值来使输入、输出图之间的偏差最小,得到的常规系数ak和bk分别表示如下式(1.8)和(1.9):
所述利用SLIC算法进行超像素分割包括:
根据图像大小划分网格并初始化聚类中心;
在相邻区间中移动聚类中心到最小梯度位置;
在每个聚类中心附近空间相邻区域内,由距离测量公式设置最佳匹配像素;
计算新聚类中心误差,满足阈值后强制连通性。
所述在每个聚类中心附近空间相邻区域内,由距离测量公式设置最佳匹配像素包括:
距离测量公式如下式(1.10)、(1.11)和(1.12)所示:
在式(1.10)、(1.11)及(1.12)中,J是每个像素点与聚类中心的距离;Jlab为色彩特征距离;Jxy代表空间特征距离;m是空间距离影响因子;S为种子点之间的距离;k、i分别为网格像素点。
所述优化SLIC算法的特征维度包括:
利用灰度特征信息来降低式(1.11)中LAB颜色空间的多维繁杂表征,只需对三个维度的特征向量(灰度特征、横向空间特征、纵向空间特征)进行计算,如下式(1.13)和(1.14)所示
在式(1.13)及(1.14)中,D为每个像素点与聚类中心的距离;Dg为灰度特征距离;Dxy为空间特征距离;m为空间距离影响因子;S为种子点之间的距离;k、i分别为网格像素点;gk和gi分别为k、i点的灰度颜色空间坐标。
所述基于SLIC改进的导向滤波算法对原始图像进行滤波包括:
导向滤波的窗口wk位于局部小区域中,类似于SLIC中聚类中心附近的超像素块。将SLIC算法中的超像素块代替wk,对每个超像素区域进行式(1.9)与(1.15)的计算:
在式(1.15)中,F表示SLIC的超像素块。进行滤波时化,优化的SLIC算法对聚类中心距像素的长度进行循环计算,在种子点的周围区域搜索相似像素点,当像素与聚类中心相互关联后,再对新的聚类中心进行计算,之后进行收敛迭代。采用基于SLIC的导向滤波改进算法对粗略的透射率图进行处理,降低了时间复杂度,并利用F中各像素的相似性,提高了原始方法局部关系的准确性。
所述利用自适应调节算法计算去雾参数,并代入到暗通道先验模型中得到去雾图像包括:
首先输入有雾图像F(x),进行颜色通道转换;
根据同质滤波算法实施白区影响去除工作;
使用雾天成像物理模型及暗通道先验算法计算滤波后图像F'(x)的暗通道图和透射率图;
基于SLIC优化算法,对F'(x)进行超像素分割,并将处理时产生的超像素块及超像素图像作为导向滤波的导向窗口及导向图;
在计算大气光强度参数A时,利用自适应调节算法计算A值;
将得到的参数代入到暗通道先验模型中完成雾图的复原。
所述使用雾天成像物理模型及暗通道先验算法计算滤波后图像F'(x)的暗通道图和透射率图包括:
雾天成像物理模型是在雾天成像中描述图像退化过程的模型,如公式(1.16)所示:
F(x)=Q(x)T(x)+A(1-T(x))(1.16)
在式(1.16)中:F(x)为UAV载荷拍摄到的原始有雾图像;Q(x)为待复原的清晰图像;T(x)为大气透射参数率;A为大气光强度参数。
暗通道先验算法是一种基于大量室外无雾图像统计数据的定律:在绝大多数图像的局部区域中,总有一些像素存在至少一个低值的色彩通道,如公式(1.17)所示:
在式(1.17)中:Dc(y)为原始图像中的色彩通道;W(x)代表以x为中心的像素区域;Ddark(x)为暗通道像素值,存在于c∈{R,G,B}中的最小值。
暗通道先验通过以下2个假设条件进行去雾:1)假设图像传输和暗通道信息的图像在局部小尺度上是一致的;2)假设大气光为恒定值。根据式(1.16)将两侧算子最小化,可得式(1.18):
将式(1.18)除以大气光强度参数值,并计算其暗通道,可得式(1.19):
由暗通道先验定律可知,无雾条件下的暗通道值接近于0,大气光强度参数值通常是一个相对较大的值,则由式(1.19)可得出大气透射参数率T(x)如下式(1.20)所示:
将T(x)代入到式(1.21)中进行计算可得去雾图像:
在式(1.21)中:Tc为去雾控制阈值,可有效防止T(x)趋于0时导致的雾图噪声化。
所述在计算大气光强度参数A时,利用自适应调节算法计算A值包括:
对式(1.16)进行灰度形态学开运算,可得式(1.22),其中和为式(1.16)中F(x)、Q(x)、T(x)原公式中元素的处理结果。式(1.23)表示大气光强度参数A的取值范围不大于原始图像的像素最大值。式(1.24)中的λ为自适应阈值,其范围为[0,1],并对的所有元素取均值,可达到A与原图灰度分布相关的自适应计算功能:
以下为一个更具体的例子:
图1为一种基于简单线性迭代聚类优化的无人机图像去雾方法的流程图,如图1所示,该方法包括以下步骤:
S101:将基于频域的同质滤波算法用于初期无人机图像处理:
建立基于入射光和反射光的图像模型;
对图像模型进行频域变换;
改进频域变换中的滤波函数;
利用改进后的滤波函数处理初期的无人机图像。
所述建立基于入射光和反射光的图像模型包括:
将图像函数g(x,y)表示为照明函数i(x,y)和反射函数r(x,y)的乘积,图像模型如下式(2.1):
g(x,y)=i(x,y)×r(x,y)(2.1)
图像模型的取值范围如下式(2.2):
0<i(x,y)<∞,0<r(x,y)<1(2.2)
所述对图像模型进行频域变换包括:
对式(2.1)取对数并进行傅立叶变换频域来控制右侧分量,可得滤波结果E(u,v)如下式(2.3):
在式(2.3)中,S(u,v)是滤波函数;G(u,v)是g(x,y)的频域;I(u,v)是i(x,y)的频域;R(u,v)是r(x,y)的频域。
所述改进频域变换中的滤波函数包括:
提出一种改进滤波函数如下式(2.4):
S(u,v)=α[1+C(u,v)-β]-1(2.4)
在式(2.4)中,C(u,v)为频率(u,v)到滤波器中心点的距离;α和β的取值范围分别为0.7≤α≤1.4和0.01≤β≤0.5。
S102:使用简单线性迭代聚类(SLIC)算法与导向滤波进行融合优化:
构建导向滤波算法模型;
利用SLIC算法进行超像素分割;
优化SLIC算法的特征维度;
基于SLIC改进的导向滤波算法对原始图像进行滤波。
所述构建导向滤波算法模型包括:
使用导向滤波对边缘进行保持,其滤波表达式如下式(2.5)及(2.6):
q=g(I,p,r,ε)(2.5)
在式(2.5)及(2.6)中,q表示输出图像;I表示导向图像;p表示输入图像;wk为滤波窗口;r为窗口半径;k为窗口像素;ε是正则化系数;ak和bk是窗口常系数。
所述wk为滤波窗口包括:
wk的约束方程如下式(2.7):
通过对约束方程取最小值来使输入、输出图之间的偏差最小,得到的常规系数ak和bk分别表示如下式(2.8)和(2.9):
所述利用SLIC算法进行超像素分割包括:
根据图像大小划分网格并初始化聚类中心;
在相邻区间中移动聚类中心到最小梯度位置;
在每个聚类中心附近空间相邻区域内,由距离测量公式设置最佳匹配像素;
计算新聚类中心误差,满足阈值后强制连通性。
所述在每个聚类中心附近空间相邻区域内,由距离测量公式设置最佳匹配像素包括:
距离测量公式如下式(2.10)、(2.11)和(2.12)所示:
在式(2.10)、(2.11)及(2.12)中,J是每个像素点与聚类中心的距离;Jlab为色彩特征距离;Jxy代表空间特征距离;m是空间距离影响因子;S为种子点之间的距离;k、i分别为网格像素点。
所述优化SLIC算法的特征维度包括:
利用灰度特征信息来降低式(2.11)中LAB颜色空间的多维繁杂表征,只需对三个维度的特征向量(灰度特征、横向空间特征、纵向空间特征)进行计算,如下式(2.13)和(2.14)所示
在式(2.13)及(2.14)中,D为每个像素点与聚类中心的距离;Dg为灰度特征距离;Dxy为空间特征距离;m为空间距离影响因子;S为种子点之间的距离;k、i分别为网格像素点;gk和gi分别为k、i点的灰度颜色空间坐标。
所述基于SLIC改进的导向滤波算法对原始图像进行滤波包括:
导向滤波的窗口wk位于局部小区域中,类似于SLIC中聚类中心附近的超像素块。将SLIC算法中的超像素块代替wk,对每个超像素区域进行式(2.9)与(2.15)的计算:
在式(2.15)中,F表示SLIC的超像素块。进行滤波时化,优化的SLIC算法对聚类中心距像素的长度进行循环计算,在种子点的周围区域搜索相似像素点,当像素与聚类中心相互关联后,再对新的聚类中心进行计算,之后进行收敛迭代。采用基于SLIC的导向滤波改进算法对粗略的透射率图进行处理,降低了时间复杂度,并利用F中各像素的相似性,提高了原始方法局部关系的准确性。
S103:利用自适应调节算法计算去雾参数,并代入到暗通道先验模型中得到去雾图像:
首先输入有雾图像F(x),进行颜色通道转换;
根据同质滤波算法实施白区影响去除工作;
使用雾天成像物理模型及暗通道先验算法计算滤波后图像F'(x)的暗通道图和透射率图;
基于上述的SLIC优化算法,对F'(x)进行超像素分割,并将处理时产生的超像素块及超像素图像作为导向滤波的导向窗口及导向图;
在计算大气光强度参数A时,利用自适应调节算法计算A值;
将得到的参数代入到暗通道先验模型中完成雾图的复原。
所述使用雾天成像物理模型及暗通道先验算法计算滤波后图像F'(x)的暗通道图和透射率图包括:
雾天成像物理模型是在雾天成像中描述图像退化过程的模型,如公式(2.16)所示:
F(x)=Q(x)T(x)+A(1-T(x))(2.16)
在式(2.16)中:F(x)为UAV载荷拍摄到的原始有雾图像;Q(x)为待复原的清晰图像;T(x)为大气透射参数率;A为大气光强度参数。
暗通道先验算法是一种基于大量室外无雾图像统计数据的定律:在绝大多数图像的局部区域中,总有一些像素存在至少一个低值的色彩通道,如公式(2.17)所示:
在式(2.17)中:Dc(y)为原始图像中的色彩通道;W(x)代表以x为中心的像素区域;Ddark(x)为暗通道像素值,存在于c∈{R,G,B}中的最小值。
暗通道先验通过以下2个假设条件进行去雾:1)假设图像传输和暗通道信息的图像在局部小尺度上是一致的;2)假设大气光为恒定值。
根据式(2.16)将两侧算子最小化,可得式(2.18):
将式(2.18)除以大气光强度参数值,并计算其暗通道,可得式(2.19):
由暗通道先验定律可知,无雾条件下的暗通道值接近于0,大气光强度参数值通常是一个相对较大的值,则由式(2.19)可得出大气透射参数率T(x)如下式(2.20)所示:
将T(x)代入到式(2.21)中进行计算可得去雾图像:
在式(2.21)中:Tc为去雾控制阈值,可有效防止T(x)趋于0时导致的雾图噪声化。
所述在计算大气光强度参数A时,利用自适应调节算法计算A值包括:
对式(2.16)进行灰度形态学开运算,可得式(2.22),其中和为式(2.16)中F(x)、Q(x)、T(x)原公式中元素的处理结果。式(2.23)表示大气光强度参数A的取值范围不大于原始图像的像素最大值。式(2.24)中的λ为自适应阈值,其范围为[0,1],并对的所有元素取均值,可达到A与原图灰度分布相关的自适应计算功能:
下面请参照图2以及图3(a)~图3(d)。图2为本实施例所提出的基于简单线性迭代聚类优化的无人机图像去雾方法去雾阶段算法框架流程图;图3(a)~图3(d)为基于SLIC的导向滤波改进算法对透射率图的计算进行优化过程的效果图,优化后的图像细节轮廓得到清晰化,接近于原始图像。
本实施例中基于简单线性迭代聚类优化的无人机图像去雾方法去雾阶段算法的伪代码如下所示:
图4(a)~图4(d)以及图5(a)~图5(d)为本实施例所提出的基于简单线性迭代聚类优化的无人机图像去雾方法、He算法(“He K M,Sun J,Tang X O,et al.Single imagehaze removal using dark channel prior[J].IEEE Transactions on PatternAnalysis and Machine Intelligence,2011,33(12):2341-2353.”)及Pei算法(“Pei S C,Lee T Y.Nighttime haze removal using color transfer pre-processing and darkchannel prior[C]//2012 19th IEEE International Conference on Image Processing(ICIP).IEEE,2012:3-15.”)在对无人机图像进行去雾后的结果图像;图6~图8为本发明实施例所提出的基于简单线性迭代聚类优化的无人机图像去雾方法与其他方法在去雾性能客观评估及去雾处理时间方面的比较图。
由图4(a)~图4(d)可看出,He算法对原图的对比度有所增强,但部分区域存在光晕及块效应;Pei算法减弱了光晕效应,但整体颜色偏暗;本方法的处理效果整体通透,复原了真实场景颜色,且去除了白色区域的影响,使得输电塔的边缘细节更为清晰。由图5(a)~图5(d)可见,He算法对近景区域的去雾效果不佳,且去雾后的整体明亮度降低;Pei算法在一定程度上改善了原图的雾度,但是存在图像白色区域附近细节信息丢失,天空区域也存在一些噪点;而本方法考虑到白色区域的影响,复原后的图像去雾较为彻底,风力发电机细节清晰,视觉效果良好。
本实施例是针对上一实施例中基于简单线性迭代聚类优化的无人机图像去雾方法的具体评估。在实施过程中基于对比度、色偏度及信息熵三个指标进行评估,各指标的计算公式如(2.25)、(2.26)及(2.27)所示:
式中:C为对比度,表示图像细节的表达能力;L(x)表示像素点x的亮度;N为像素点个数;K为色偏度,表示颜色的偏离程度;μa、μb分别为Lab空间中a、b的均值;σL为Lab空间中L的均方差;Tth为偏离阈值;EN为信息熵,表示图像信息的丰富程度;H为灰度级数;p(g)表示灰度级的分布概率。以上3个指标中,C与EN越大、K越小,表明图像去雾后的整体质量越优。
由图6~图8可知,与He、Pei算法相比,本发明实施例所提出的方法显著提升了原图的对比度,并有效降低了非一致性颜色偏离程度;同时本方法的信息熵值均为最高,说明可明显去除电力巡检UAV图像的雾气,并复原图像中的大量细节信息。此外,基于SLIC优化的去雾算法可有效提升去雾算法的计算效率,降低处理时间
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (1)
1.一种基于简单线性迭代聚类优化的无人机图像去雾方法,其特征在于,包括以下步骤:
(1)采用基于频域的同质滤波方法对原始有雾图像进行初期处理,去除图像中的白区影响,得到处理后图像F'(x);
(2)使用雾天成像物理模型及暗通道先验方法计算处理后图像F'(x)的透射率图;
(3)使用基于简单线性迭代聚类的方法对透射率图进行优化;
(4)利用自适应调节方法计算处理后图像F'(x)的大气光强度参数;
(5)将大气光强度参数及优化后的透射率图代入到暗通道先验方法中,得到去雾图像;
所述步骤(1)的具体方式为:
(101)建立基于入射光和反射光的图像模型g(x,y)=i(x,y)×r(x,y),其中,i(x,y)为照明函数,r(x,y)为反射函数,0<i(x,y)<∞,0<r(x,y)<1,图像模型g(x,y)表示为i(x,y)与r(x,y)的乘积;
(102)对基于入射光和反射光的图像模型取对数,并通过傅立叶变换将其变换至频域,得到滤波结果E(u,v)为:
E(u,v)=S(u,v)×G(u,v)
=S(u,v)×I(u,v)+S(u,v)×R(u,v)
其中,S(u,v)是滤波函数,G(u,v)是g(x,y)的频域,I(u,v)是i(x,y)的频域,R(u,v)是r(x,y)的频域;
(103)将频域变换中的滤波函数改进为S(u,v)=α[1+C(u,v)-β]-1,其中,C(u,v)为频率(u,v)到滤波器中心点的距离,0.7≤α≤1.4,0.01≤β≤0.5;
(104)利用改进后的滤波函数处理原始有雾图像;
所述步骤(2)的具体方式为:
(201)建立雾天成像物理模型,所述雾天成像物理模型为在雾天成像中描述图像退化过程的模型,雾天成像物理模型如下:
F(x)=Q(x)T(x)+A(1-T(x))
其中,F(x)为UAV载荷拍摄到的原始有雾图像;Q(x)为待复原的清晰图像;T(x)为大气透射参数率;A为大气光强度参数;
(202)建立暗通道先验方法的公式:
其中,Dc(y)为原始图像中的色彩通道;W(x)代表以x为中心的像素区域;Ddark(x)为暗通道像素值,即存在于c∈{R,G,B}中的最小值;
(203)将雾天成像物理模型的两侧算子最小化,得到:
将该式除以大气光强度参数值,并计算其暗通道,得到:
由此得出大气透射参数率T(x)为:
(204)将T(x)代入下式,得到去雾图像:
其中,Q(x)为去雾图像,Tc为去雾控制阈值,用于防止T(x)趋于0时导致的雾图噪声化,max()为取最大值运算;
所述步骤(3)的具体方式为:
(301)构建导向滤波模型;
(302)优化SLIC算法的特征维度;
(303)基于SLIC改进的导向滤波算法对透射率图进行滤波,得到优化后的透射率图;
所述步骤(301)的具体方式为:
(3011)使用导向滤波对边缘进行保持,其滤波表达式如下:
q=g(I,p,r,ε)
其中,q表示输出图像;I表示导向图像;p表示输入图像;wk为滤波窗口;r为窗口半径;k为窗口像素;ε是正则化系数;ak和bk是窗口常规系数;
(3012)建立滤波窗口wk的约束方程如下:
(3013)通过对约束方程取最小值来使输入、输出图之间的偏差最小,得到的常规系数ak和bk表示如下:
所述步骤(302)的具体方式为:
(3021)根据图像大小划分网格并初始化聚类中心;
(3022)在相邻区间中移动聚类中心到最小梯度位置;
(3023)在每个聚类中心附近空间相邻区域内,由距离测量公式设置最佳匹配像素;所述距离测量公式如下:
其中,J是每个像素点与聚类中心的距离;Jlab为色彩特征距离;Jxy代表空间特征距离;m是空间距离影响因子;S为种子点之间的距离;下标k、i分别为网格像素点;
其中,D为每个像素点与聚类中心的距离;Dg为灰度特征距离;Dxy为空间特征距离;m为空间距离影响因子;S为种子点之间的距离;下标k、i分别为网格像素点;gk和gi分别为k、i点的灰度颜色空间坐标;
(3025)计算新聚类中心误差,满足阈值后强制连通性;
所述步骤(303)的具体方式为:
(3031)用SLIC方法中的超像素块代替导向滤波的窗口wk,对每个超像素区域按照下式计算常规系数ak和bk:
(3032)采用基于SLIC的导向滤波改进算法对原始的透射率图进行处理,得到优化后的透射率图;
所述步骤(4)的具体方式为:
对雾天成像物理模型进行灰度形态学开运算,得到:
限定大气光强度参数A的取值范围不大于原始图像的像素最大值:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010526634.6A CN111667433B (zh) | 2020-06-09 | 2020-06-09 | 一种基于简单线性迭代聚类优化的无人机图像去雾方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010526634.6A CN111667433B (zh) | 2020-06-09 | 2020-06-09 | 一种基于简单线性迭代聚类优化的无人机图像去雾方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111667433A CN111667433A (zh) | 2020-09-15 |
CN111667433B true CN111667433B (zh) | 2022-12-09 |
Family
ID=72386545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010526634.6A Active CN111667433B (zh) | 2020-06-09 | 2020-06-09 | 一种基于简单线性迭代聚类优化的无人机图像去雾方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111667433B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112907461B (zh) * | 2021-01-26 | 2023-05-05 | 中国科学院上海技术物理研究所 | 一种红外雾天降质图像去雾增强方法 |
CN112950504A (zh) * | 2021-03-02 | 2021-06-11 | 山东鲁能软件技术有限公司智能电气分公司 | 一种输电线路巡检雾霾天气单目隐患物体测距方法及系统 |
CN114125471A (zh) * | 2021-11-27 | 2022-03-01 | 北京工业大学 | 一种视频编码前置滤波方法 |
CN114170445B (zh) * | 2022-02-10 | 2022-04-12 | 河北工业大学 | 一种适于消防灭火机器人的室内烟雾环境图像匹配方法 |
CN114881896B (zh) * | 2022-07-12 | 2022-10-04 | 广东欧谱曼迪科技有限公司 | 内窥镜图像实时去雾方法、装置、电子设备、存储介质 |
CN115439494B (zh) * | 2022-11-08 | 2023-01-31 | 山东大拇指喷雾设备有限公司 | 用于喷雾机质检的喷雾图像处理方法 |
CN115861133B (zh) * | 2023-02-22 | 2023-05-09 | 山东晋工科技有限公司 | 一种钻凿劈裂一体机的远程遥控无人驾驶系统 |
CN116188331B (zh) * | 2023-04-28 | 2023-07-18 | 淄博市淄川区市政环卫服务中心 | 一种建设工程施工状态变化监测方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108596849A (zh) * | 2018-04-23 | 2018-09-28 | 南京邮电大学 | 一种基于天空区域分割的单幅图像去雾方法 |
-
2020
- 2020-06-09 CN CN202010526634.6A patent/CN111667433B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108596849A (zh) * | 2018-04-23 | 2018-09-28 | 南京邮电大学 | 一种基于天空区域分割的单幅图像去雾方法 |
Non-Patent Citations (3)
Title |
---|
Super-pixel based single image haze removal;Minmin Yang 等;《2016 Chinese Control and Decision Conference (CCDC)》;20160808;1965-1969 * |
图像去雾中的大气光强度自适应恢复算法研究;程炜等;《计算技术与自动化》;20170315(第01期);103-107 * |
结合暗通道先验的光补偿快速去雾算法;杨燕等;《计算机工程与科学》;20181115(第11期);摘要以及第1-2节 * |
Also Published As
Publication number | Publication date |
---|---|
CN111667433A (zh) | 2020-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111667433B (zh) | 一种基于简单线性迭代聚类优化的无人机图像去雾方法 | |
CN106157267B (zh) | 一种基于暗通道先验的图像去雾透射率优化方法 | |
Gao et al. | Sand-dust image restoration based on reversing the blue channel prior | |
CN109118446B (zh) | 一种水下图像复原及去噪方法 | |
Singh et al. | Image dehazing using window-based integrated means filter | |
CN110827221A (zh) | 一种基于双通道先验和侧窗导向滤波的单幅图像去雾方法 | |
CN113313702A (zh) | 基于边界约束与颜色校正的航拍图像去雾方法 | |
CN111539246A (zh) | 一种跨光谱人脸识别方法、装置、电子设备及其存储介质 | |
CN112200746A (zh) | 一种雾天交通场景图像的去雾方法和设备 | |
Das et al. | A comparative study of single image fog removal methods | |
CN111598814A (zh) | 基于极端散射通道的单图像去雾方法 | |
Liang et al. | Learning to remove sandstorm for image enhancement | |
CN112907461B (zh) | 一种红外雾天降质图像去雾增强方法 | |
Ding et al. | Restoration of single sand-dust image based on style transformation and unsupervised adversarial learning | |
Liu et al. | Single image defogging method based on image patch decomposition and multi-exposure image fusion | |
CN115619662A (zh) | 一种基于暗通道先验的图像去雾方法 | |
Fang et al. | An Improved DCP‐Based Image Defogging Algorithm Combined with Adaptive Fusion Strategy | |
Menon et al. | An enhanced digital image processing based dehazing techniques for haze removal | |
Fan et al. | Image defogging approach based on incident light frequency | |
Tang et al. | Single image dehazing algorithm based on sky segmentation | |
Wu et al. | A novel fog-degraded image restoration model of golden scale extraction in color space | |
Xu | Novel Image Dehazing Algorithm Using Scene Segmentation and Open Channel Model | |
CN109961413A (zh) | 大气光方向优化估计的图象去雾迭代算法 | |
CN115496694B (zh) | 基于改进图像形成模型对水下图像进行恢复和增强的方法 | |
Kumari et al. | An Effective and Efficient Approach for Single Image Dehazing and Defogging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |