CN109410142B

CN109410142B - 一种基于图像质量评价最优的去雾方法

Info

Publication number: CN109410142B
Application number: CN201811283509.6A
Authority: CN
Inventors: 姜雨彤; 赵熙俊; 郭黎霞; 张一�; 郭猛; 满艺; 刘淑云; 王莹; 张孝峥; 赵博; 朱琳; 吕清; 朱梦琪; 孙德帅; 马帅; 郝鑫岩; 杨忠琳; 陈晓宇
Original assignee: China North Vehicle Research Institute
Current assignee: China North Vehicle Research Institute
Priority date: 2018-10-31
Filing date: 2018-10-31
Publication date: 2021-07-02
Anticipated expiration: 2038-10-31
Also published as: CN109410142A

Abstract

本发明公开了一种基于图像质量评价最优的去雾方法，包括：1)通过对透射率进行粗略取值来获取一系列初步候选去雾图像；2)计算一系列初步候选去雾图像的质量评价函数值，并选取最大值所对应的候选去雾图像作为初步估计结果；3)根据透射率的小范围取值获得一系列精确候选去雾图像；4)计算各精确候选去雾图像的质量评价函数值，并选取最大值所对应的候选去雾图像，作为最优去雾结果图像。本发明建立一种全新的图像质量评价函数；并以此为依据，从各候选去雾图像中选取最优结果为去雾结果图像，可被应用于雾天无人机图像的实时去雾处理，尤其针对于雾天无人机正拍图像会产生较好的去雾效果。

Description

一种基于图像质量评价最优的去雾方法

技术领域

本发明属于数字图像处理技术领域，涉及一种基于图像质量评价最优的去雾方法。

背景技术

图像去雾方法一直都是近几年的研究热点，基于大气散射模型的图像去雾方法得到了大力的发展，但是无人机航拍图像去雾仍然是尚未解决的难题。近年来，无人机航拍作为新生的观测手段，正在日益走向成熟，这也就对无人机图像的去雾方法及去雾效率提出了更高的要求。

无人机图像相对于普通图像具有自身的特点：当无人机图像传感器从高空向地面垂直向下摄影时，获取的图像上所有场景点的深度几乎一致并等于飞行高度，由于飞行高度大多在几百米或上千米，地物的高度差可以忽略不计，因此，雾天场景成像的透射率差别不大，各景物受雾气影响程度大体相同。

无人机图像常作为军事侦察，毁伤评估、国土监测和灾害救援的重要信息来源。所以对无人机图像的去雾结果提出了要求：包含信息量大、对比度高、细节恢复程度高、纹理清晰和边缘特征明显。因此，针对于无人机图像的应用背景对去雾质量、实时性要求较高，尽可能实现清晰去雾的同时，提升去雾处理速度，为无人机图像去雾后的信息处理作准备工作，争取有利时间。

发明内容

(一)发明目的

本发明的目的是：针对高空垂直拍摄的无人机图像，不需考虑整幅图像雾气浓度随景深的变化，只需简化图像去雾过程，研究出针对无人机正拍图像去雾适用性强，执行效率高的去雾方法。

(二)技术方案

为了解决上述技术问题，本发明提供一种基于图像质量评价最优的去雾方法，其包括以下步骤：

步骤1)获取雾天图像I；

I＝Jt+A(1-t) (1)

其中：t＝e^-βd (2)

I表示观察到场景的雾天图像；t是介质透射率，是由大气散射系数β与场景点深度d共同作用的结果，表示没有被散射的并最终到达设备的光线部分，值在[0，1]之间；J表示要恢复的清晰无雾场景真实图像；A表示大气光函数；

雾天图像I与大气光函数A已知，将透射率作为大气散射模型的唯一自变量参数，通过对透射率t的不同取值，可逆推导式(1)求解出不同的去雾图像：

步骤2)通过对唯一的未知数t进行粗略取值t＝[0.1,0.1,0.9]，t从0.1到0.9变化步长为0.1取值，根据式(3)，可求得相应9幅初步候选去雾图像Jj，j＝1，2，3，…，9；

步骤3)求解出雾天图像I与9幅初步候选去雾图像的信息熵，信息熵值分别为IE(I)和IE(Jj)；

步骤4)求解出雾天图像I与9幅初步候选去雾图像的标准差值，标准差值分别为SD(I)和SD(Jj)；

步骤5)求解出雾天图像I与9幅初步候选去雾图像的傅里叶振幅谱及振幅中值；傅里叶振幅中值分别为FA_median(I)和FA_median(Jj)；

步骤6)将信息熵、标准差和图像傅里叶振幅相结合，建立去雾质量评价函数Cost(I,J)，表达如下：

其中，IE(I)、SD(I)、FA_median(I)为雾天图像所求得的信息熵、标准差、傅里叶振幅中值，IE(J)、SD(J)、FA_median(J)为根据雾天图像I所获得的去雾图像J所求得的信息熵、标准差、傅里叶振幅中值；去雾图像的IE(J)、SD(J)、FA_median(J)的值比雾天图像IE(I)、SD(I)、FA_median(I)提高的越大，质量评价函数Cost(I,J)的值越大，说明去雾图像的质量越高，去雾效果越好；

通过质量评价函数Cost(I,J)，计算出9幅初步候选去雾图像的去雾质量评价函数值Cost(I,Jj)；

步骤7)获得去雾质量评价函数最优值的图像被确定为去雾结果J_optimum，求得9幅初步候选去雾图像的去雾质量评价函数值Cost(I,Jj)中最大值所对应的候选去雾图像Jj作为初步去雾结果J_{optimum-initial}，其所对应的t值作为初步透射率结果t_{optimum-initial}；

步骤8)提取初步确定透射率t_{optimal-initial}，再对t进行小范围取值t＝[t_{optimal-initial}-0.1,0.01,t_{optimal-initial}+0.1]，t从t_{optimal-initial}-0.1到t_{optimal-initial}+0.1变化步长为0.01取值，根据式(1)求得21幅精确候选去雾图像Jjj，jj＝1，2，3，…，21；

步骤9)计算21幅精确候选去雾图像的去雾质量评价值Cost(I,Jjj)，并选取其中最大值所对应的候选去雾图像Jjj作为最优去雾结果图像J_{optimum-refine}，将其所对应的t值作为最终的透射率结果t_{optimum-refine}。

其中，所述步骤3)中，图像信息熵的表达式如下：

在上式中，n表示图像Img所含的灰度级总数，1≤n≤256，E表示期望方程，P_i表示第i级灰度在图像Img中出现的概率大小，此概率由灰度直方图统计获得。

其中，所述步骤4)中，图像标准差值的表达式：

其中M×N为图像的大小，x，y分别为图像像素点的行坐标和列坐标，Img(x,y)为原始输入图像在像素坐标为(x,y)点的灰度值，μ为图像像素灰度的平均值。

其中，所述步骤5)中，对于图像作为二维信号f(x,y)，它的傅里叶变换定义为：

也可表示为：

其中，振幅和相位分布为：

作如下对数变换：

FA(u,v)＝clog[1+|F(u,v)|]

此式中，c为比例常数，FA为变换后的傅里叶振幅，能够在显示器上正常显示；

采用所有像素点傅里叶振幅的中值FA_median来反映整幅图像的傅里叶振幅大小。

其中，所述步骤7)中，去雾结果J_optimum的表达式为:

其中，所述步骤7)中，初步去雾结果J_{optimum-initial}所对应的t值作为初步透射率结果t_{optimum-initial}，表达式如下：

其中，所述步骤9)中，最优去雾结果图像J_{optimum-refine}所对应的t值作为最终的透射率结果t_{optimum-refine}，表达式如下：

(三)有益效果

上述技术方案所提供的基于图像质量评价最优的去雾方法，具有以下有益效果：

1)将信息熵、标准差和图像傅里叶振幅三种图像质量评价参数相结合，建立了图像质量的综合评价函数。

2)将透射率作为大气散射模型的唯一自变量参数，通过先对其粗略取值，再缩小范围精确取值，实现所对应去雾图像的求解，再采用图像质量评价函数对各去雾图像结果进行评价，选取最优值对应的图像作为去雾结果图像。

3)通过基于图像质量评价最优的图像去雾方法所获得的去雾图像视觉效果清晰、结果误差小、实时性好，尤其针对于雾天无人机正拍图像会产生较好的去雾效果。

附图说明

图1为基于图像质量评价最优的去雾方法执行流程图；

图2为一幅雾天无人机图像；

图3为不同透射率取值所求解的一系列初步候选去雾图像；

图4为初步候选去雾图像质量评价参数值及最大值；

图5为不同透射率取值所求解的一系列精确候选去雾图像；

图6为精确候选去雾图像质量评价参数值及最大值。

具体实施方式

为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本发明基于图像质量评价最优的去雾方法是基于大气散射模型对雾天图像进行去雾处理。大气散射模型的表达式即雾天场景成像的物理模型为：

I＝Jt+A(1-t) (1)

其中：t＝e^-βd (2)

I表示观察到场景的雾天图像；t是介质透射率，是由大气散射系数β与场景点深度d共同作用的结果，表示没有被散射的并最终到达设备的光线部分，值在[0，1]之间；J表示要恢复的清晰无雾场景真实图像；A表示大气光函数。

当无人机上的相机从几百米或上千米的高空垂直向下拍摄时，视野内场景点到达无人机上相机的距离近似一致，图像上所有像素点的景深可以看为常数值d，大气散射系数β是常数值，场景透射率是不随景深变化常数值t。

雾天图像I与大气光函数A已知，将透射率作为大气散射模型的唯一自变量参数，通过对透射率t的不同取值，可逆推导式(1)求解出不同的去雾图像。

该方法包括如下步骤：

步骤1)获取雾天图像I。

步骤2)通过对唯一的未知数t进行粗略取值t＝[0.1,0.1,0.9]，t从0.1到0.9变化步长为0.1取值，根据式(3)，可求得相应9幅初步候选去雾图像Jj，j＝1，2，3，…，9；0≤t≤1。

步骤3)求解出雾天图像I与9幅初步候选去雾图像的信息熵(InformationEntropy，简称IE)，信息熵值分别为IE(I)和IE(Jj)，j＝1，2，3，…，9。

信息熵(IE)是图像中所含信息量的度量指标，表征图像灰度分布的聚集特性，在图像中，当各个灰度级出现的概率相等的时候，熵最大。根据这个理论，图像的IE值越大，表明其包含信息量越大，即图像细节纹理信息较丰富；图像的IE值越小，表明其包含信息量越小，即图像细节纹理信息较匮乏。

图像信息熵的表达式如下：

在上式中，n表示图像Img所含的灰度级总数(1≤n≤256)，E表示期望方程，P_i表示第i级灰度在图像Img中出现的概率大小，此概率可由灰度直方图统计获得。

因此，可以将图像信息熵作为参数，来评价去雾图像的质量。去雾后图像的信息熵越大，就越大可能地复原了图像中的信息量，就越接近无雾时的真实场景图像复原。由于无人机图像是获取视觉信息的主要来源，它所包含信息量的大小直接影响其利用价值，因此信息熵可作为评价无人机图像去雾结果好坏的重要参数。

步骤4)求解出雾天图像I与9幅初步候选去雾图像的标准差值(StandardDeviation，简称SD)，标准差值分别为SD(I)和SD(Jj)，j＝1，2，3，…，9。

标准差(SD)用于度量图像的对比度，其值的大小直接反映了图像的清晰程度。图像的SD值越大，表明图像的灰度值在整个灰度阶范围内离散性越好，有着较高的对比度和较好的色彩表现，最终说明该检测图像清晰度越高；相反，如果SD值越小，表明图像灰度值过于集中，有着较低的对比度和较差的色彩表现，最终得出图像清晰度越低。以下为图像标准差的表达式：

因此，图像标准差也可作为评价去雾图像质量的参数。如果去雾图像的标准差显著增大，说明去雾处理使图像灰度的离散性增大，恢复了图像的对比度，使去雾图像的清晰程度大大超过了未经处理的有雾图像，并有效地去除了雾气对图像的影响。去雾后图像的标准差越大，就越接近无雾时的真实场景图像复原，因此对于无人机图像来说，标准差可作为评价无人机图像去雾结果好坏的重要参数。

步骤5)求解出雾天图像I与9幅初步候选去雾图像的傅里叶振幅谱(FourierAmplitude，简称FA)及振幅中值；傅里叶振幅中值分别为FA_median(I)和FA_median(Jj)，j＝1，2，3，…，9。

傅里叶变换可作为数学上的棱镜，将函数分解为不同频率的成分，当分解对象为光时，则是由光谱或频率谱所决定的。傅立叶变换是将图像从空间域转换到频率域，其物理意义是将图像的灰度分布函数变换为图像的频率分布函数。对于图像作为二维信号f(x,y)，它的傅里叶变换定义为：

也可表示为：

其中，振幅和相位分布为：

由于傅里叶振幅的动态范围往往过大，导致显示器无法正常显示。为了解决这个问题，通常作如下对数变换：

FA(u,v)＝clog[1+|F(u,v)|]

此式中，c为比例常数，FA为变换后的傅里叶振幅，可以在显示器上正常显示。

图像的频率体现像素点灰度值变化的剧烈程度，是灰度在平面空间上的梯度。图像中灰度变化缓慢的区域对应的频率值较低；而对于灰度变化剧烈的区域对应的频率值较高。

随着场景中雾气浓度的增加，图像不仅视觉上变得越来越模糊，傅里叶振幅值也越来越小。本发明采用所有像素点傅里叶振幅的中值FA_median来反映整幅图像的傅里叶振幅大小。

因此，图像的傅里叶振幅也可作为评价去雾图像质量的重要参数。如果去雾图像的傅里叶振幅值增大，说明去雾处理使图像相邻像素的变化很剧烈，恢复了图像的尖锐度，使去雾处理后的图像的清晰程度大大超过了未经处理的有雾图像，有效地去除了雾气对图像的模糊。去雾后图像的振幅值越大，就越接近无雾时的真实场景图像复原，对于无人机图像，图像的傅里叶振幅可作为评价无人机图像去雾结果好坏的重要参数。

步骤6)为了弥补单一去雾图像质量评价参数的片面性，则将三种图像质量评价参数有信息熵、标准差和图像傅里叶振幅相结合，建立一个更全面、更合理的去雾质量评价函数Cost(I,J)，表达如下：

其中，IE(I)、SD(I)、FA_median(I)为雾天图像所求得的信息熵、标准差、傅里叶振幅中值，IE(J)、SD(J)、FA_median(J)为根据雾天图像I所获得的去雾图像J所求得的信息熵、标准差、傅里叶振幅中值。去雾图像的IE(J)、SD(J)、FA_median(J)的值比雾天图像IE(I)、SD(I)、FA_median(I)提高的越大，质量评价函数Cost(I,J)的值越大，说明去雾图像的质量越高，去雾效果越好。通过质量评价函数Cost(I,J)，计算出9幅初步候选去雾图像的去雾质量评价函数值Cost(I,Jj)，j＝1，2，3，…，9。

步骤7)提出基于图像质量评价最优的去雾方法(Image dehazing based on theoptimum of image quality evaluation,简称为OIQE去雾方法)，即获得去雾质量评价函数最优值的图像被确定为去雾结果J_optimum，表达式为:

求得9幅初步候选去雾图像的去雾质量评价函数值Cost(I,Jj)，j＝1，2，3，…，9，中最大值所对应的候选去雾图像Jj作为初步去雾结果J_{optimum-initial}，其所对应的t值作为初步透射率结果t_{optimum-initial}，表达式如下：

t_{optimum-initial}＝(A-I)/(A-Jj)

步骤8)提取初步确定透射率t_{optimal-initial}，再对t进行小范围取值t＝[t_{optimal-initial}-0.1,0.01,t_{optimal-initial}+0.1]，t从t_{optimal-initial}-0.1到t_{optimal-initial}+0.1变化步长为0.01取值，根据式(1)求得21幅精确候选去雾图像Jjj，jj＝1，2，3，…，21。

步骤9)计算21幅精确候选去雾图像的去雾质量评价值Cost(I,Jjj)，jj＝1，2，3，…，21，并选取其中最大值所对应的候选去雾图像Jjj作为最优去雾结果图像J_{optimum-refine}，并将其所对应的t值作为最终的透射率结果t_{optimum-refine}，表达式如下：

t_{optimum-refine}＝(A-I)/(A-Jjj)

本发明原理在于：

本发明技术方案分为四个阶段：第一阶段是对透射率t进行粗略取值，并获取初步候选去雾图像；第二阶段是采用质量评价函数，计算各初步候选去雾图像的质量评价值，并选取最大值所对应的候选去雾图像，作为初步估计结果；第三阶段是提取初步确定的去雾结果所对应的透射率t值，再根据t的小范围取值获得一系列精确候选去雾图像；第四步阶段是采用质量评价函数，计算各精确候选去雾图像的质量评价值，并选取最大值所对应的候选去雾图像，作为最优去雾结果图像。

实施例

基于图像质量评价最优的去雾方法执行流程如图1所示：

步骤1)：采用大气散射模型求解雾天图像的初步候选去雾图像。

步骤2)：求解出一系列初步候选去雾图像的各个信息熵值。

步骤3)：求解出一系列初步候选去雾图像的各个标准差值。

步骤4)：求解出一系列初步候选去雾图像的各个傅里叶振幅谱。

步骤5)：计算出各初步候选去雾图像的质量评价函数值。

步骤6)：选取最大值所对应的候选去雾图像，作为初步估计结果。

步骤7)：根据透射率小范围取值获得一系列精确候选去雾图像。

步骤8)：计算各精确候选去雾图像的质量评价值，选取最大值所对应的候选去雾图像，作为最优去雾结果。

1.根据大气散射模型，在雾天图像I(如图2所示)作为仅有的输入条件时，对A取值为A＝[200,200,200](A的取值对本发明影响并不大，为了简化去雾过程，将A取为固定值)，再对唯一的未知数透射率t(0≤t≤1)进行粗略取值t＝[0.1,0.1,0.9]，t从0.1到0.9变化步长为0.1取值，通过t的这9个取值，可求得相对应的9幅初步候选的去雾图像，如图3所示。可见通过人眼的视觉感受无法准确地判断9幅初步候选去雾图像中哪幅具有最优的质量参数，需要进行第二步骤的判断。

2.计算雾天图像(图2)的信息熵IE(I)，以及9幅初步候选去雾图像(图3)的信息熵IE(J1)、IE(J2)、IE(J3)、IE(J4)、IE(J5)、IE(J6)、IE(J7)、IE(J8)、IE(J9)；再计算雾天图像(图2)的标准差SD(I)，以及9幅初步候选去雾图像(图3)的标准差SD(J1)、SD(J2)、SD(J3)、SD(J4)、SD(J5)、SD(J6)、SD(J7)、SD(J8)、SD(J9)；计算图像的傅里叶振幅FA，从而将所有像素点的傅里叶振幅中值代表雾天图像的傅里叶振幅FA_median(I)，以及9幅初步候选去雾图像(图3)的傅里叶振幅FA_median(J1)、FA_median(J2)、FA_median(J3)、FA_median(J4)、FA_median(J5)、FA_median(J6)、FA_median(J7)、FA_median(J8)、FA_median(J9)；将以上值代入质量评价函数中，并求得9幅图像相对应的质量评价参数值Cost(I,J1)、Cost(I,J2)、Cost(I,J3)、Cost(I,J4)、Cost(I,J5)、Cost(I,J6)、Cost(I,J7)、Cost(I,J8)、Cost(I,J9)；最后在9个质量评价参数其中选择最大值，并将其所对应的初步候选去雾图像作为初步去雾结果图像J_{optimum-initial}，其所对应的t值作为初步透射率结果t_{optimum-initial}。

如图4所示，此图为根据图3的9幅初步候选去雾图像所求得的质量评价参数值曲线，可见在6号图像处取得最大值，则6号图像被确定为初步去雾结果图像J_{optimum-initial}，其是由t_{optimum-initial}＝0.6所确定得到的。

3.根据初步确定的透射率t_{optimal-initial}，进一步缩小t的取值范围，目的是获得更为精确的透射率t_{optimal-refine}。将t的取值定为t＝[t_{optimal-initial}-0.1,0.01,t_{optimal-initial}+0.1]，通过2)求得t_{optimal-initial}＝0.6，缩小t的取值范围t＝[0.5,0.01,0.6]，根据t的21个取值求得相对应的21幅精确候选的去雾图像，如图5所示。

4.计算图5中21幅精确候选去雾图像的质量评价函数值并比较，选择其中最大值，并将其所对应的精确候选去雾图像确定为最终的去雾结果图像J_{optimum-refine}，其所对应的t值作为最终的透射率结果t_{optimum-refine}。图5给出了21幅精确候选去雾图像所求得的质量评价参数值曲线，可见在t_{optimum-initial}＝0.56时求得的去雾图像的质量参数最大，所以将它所对应的图像确定为精确去雾结果图像J_{optimum-refine}。

通过本发明一种基于图像质量评价最优的去雾方法可对无人机图像进行快速有效的去雾处理，所得去雾图像视觉效果清晰，细节信息恢复完整。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。