CN109919859B

CN109919859B - 一种户外场景图像去雾增强方法、计算设备及其存储介质

Info

Publication number: CN109919859B
Application number: CN201910071668.8A
Authority: CN
Inventors: 李展; 黄维健; 郑晓鹏; 霍紫莹; 陈昱铃; 黄正豪
Original assignee: Jinan University
Current assignee: Jinan University
Priority date: 2019-01-25
Filing date: 2019-01-25
Publication date: 2021-09-07
Anticipated expiration: 2039-01-25
Also published as: CN109919859A

Abstract

本发明涉及一种户外场景图像去雾增强方法、计算设备以及计算机可读存储介质，本发明的去雾增强方法对整个图像进行了白色区、天空区以及其他区的三种区域分割，对每个区域分别增强处理，尤其本发明中提出的基于天空占比的自适应Gamma变换，使增强后图像整体色彩更明亮，边缘保持和色彩保真更好。同时，本发明的方法有效抑制了近白色区域和灰白天空区域的光晕和伪影，减少了这些区域的色彩失真，同时由于采用了对比度受限的自适应直方图均衡方法增强天空区域，使户外场景中景深较大的远景细节能得到较好的增强和重现。

Description

一种户外场景图像去雾增强方法、计算设备及其存储介质

技术领域

本发明涉及图像处理领域，尤其涉及一种户外场景图像去雾增强方法、计算设备及其存储介质。

背景技术

近年雾霾天气频现且持久不散，引起基于可见光的户外成像设备和监控系统性能急剧下降，采集的图像退化和降质严重，致使后期目标探测和识别等结果受到严重影响。在不额外增换成像设备的前提下，用图像复原和增强技术改善输入图像质量，能使大部分数字图像处理应用软件的性能得到提高，可用于几乎所有现有成像系统不能提供满意图像品质的应用系统。

户外场景受天气条件和成像环境的影响比室内更大，户外场景图像具有退化因素复杂、景深跨度大、天空区域不满足自然图像先验等特点。对这一类图像，现有的图像去雾和增强方法都难以获得令人满意的复原增强效果，尤其天空与非天空区域的退化差异较大，通用的图像先验模型带来的光晕伪影和色彩失真问题得不到有效解决，需要设计有针对性的去雾新方法。户外图像去雾增强方法的研究具有重要的理论意义和广阔的应用前景。

目前，新近的图像去雾方法主要分为三大类：第一类基于图像增强算法，不考虑成像原理和图像降质原因，单纯对图片进行对比度增强、边缘锐化、亮度改变等，这种方法适应性强，得出的视觉效果直接，但对图像去雾效果一般。第二类是图像复原的方法，考虑图片成像的物理机制，建立图像退化和恢复模型，根据退化过程逆向恢复图片信息，代表性的方法基于由McCartney等提出的大气散射模型作为先验对图片进行去雾，但由于实际成像退化因素比模型更为复杂，复原效果与模型符合程度有关。比如He等提出的暗通道去雾算法，原理简单、对一般的雾霾图像效果较好，但不能很好处理浅色目标和天空区域，对户外场景容易过度去雾导致颜色失真。第三类是机器学习的方法，使用一定数量的有雾图和对应无雾图进行特征提取和训练，然后使用训练好的网络模型对图片进行去雾处理，该方法适用性强，但依赖于大容量图像库学习，同时获取同一场景的有雾和无雾图像对也比较困难。

基于Retinex原理的算法有单尺度Retinex、多尺度Retinex(MSR)、可变框架的Retinex算法等等。在基于MSR算法的增强过程中，噪声会导致图像中局部区域的色彩失真。带色彩恢复因子的多尺度Retinex算法MSRCR，通过色彩恢复因子来调整原始图像中3个颜色通道之间的比例关系，突出暗区信息，改进了传统多尺度Retinex算法MSR局部区域对比度增强而导致颜色失真的缺陷，提高局域对比度的同时，使增强后的图像具有更好的颜色再现性、亮度恒常性、辨识度更高、视觉效果更好。但是MSRCR算法用于户外场景图像去雾时，容易出现整体对比度较低、色彩较深的区域变暗、灰白色的天空和近白色区域出现光晕伪影的现象。

发明内容

针对现有技术中存在的技术问题，本发明的目的之一是提供一种户外场景图像去雾增强方法、计算设备及其存储介质，基于上述目的，本发明至少提供如下技术方案：

一种户外场景图像去雾增强方法，其包括如下步骤：

将原始图像转成灰度图，对灰度图进行中值滤波去噪，并将像素值范围归一化，得到预处理图；

将所述预处理图分割为白色区、天空区以及其他区；

对原始图像中的天空区进行调整，以获得去雾增强后的天空区；

对原始图像中的所述其他区进行去雾增强，以获得去雾增强后的其他区；

合并原始图像的白色区、所述去雾增强后的天空区以及所述去雾增强后的其他区，得到结果图像。

进一步的，所述将所述预处理图分割为白色区、天空区以及其他区的步骤具体包括：设定分段阈值t₁、t₂，将灰度图像中的像素点按式(1)中的阈值分为白色区、天空区以及其他区，

其中，I为单个像素值，0表示全黑像素点，1表示纯白像素点；t1、t2为 0-1之间的常数。

进一步的，t₁≈0.72，t₂≈0.97。

进一步的，对原始图像中的天空区使用对比度受限的自适应直方图均衡方法进行调整，具体包括如下子步骤：

分拆原始图像为红、绿、蓝三个颜色通道的灰度图R、G、B；

对每个所述颜色通道，选择特定像素点进行对比度受限的自适应直方图均衡化，得到三个颜色通道增强图M、L、N；

拼合三个颜色通道增强图M、L、N，得到处理后的天空区彩色图。

进一步的，采用MSRCR算法对原始图像的所述其他区进行去雾增强。

进一步的，采用基于天空占比的自适应Gamma变换方法进一步增强所述其他区，具体包括如下子步骤：

计算天空区域像素总数和天空在整幅图像中所占的比例；

根据天空占比，计算p值、Gamma变换的补偿系数和伽马系数；

对整幅图像做自适应Gamma变换，进行灰度值调整。

进一步的，采用公式(6)对整幅图像做自适应Gamma变换，

I′＝T(I)＝cI^γ＝(a/p)I^bp,I∈[0,1]，a,b为常数公式(6)，

其中，补偿系数c＝a/p和伽马系数γ＝bp均根据天空占比的线性变换p自动调整，a≈1.095，b≈0.875。

进一步的，所述MSRCR算法所涉及的公式如下：

R_MSRCRi(x,y)＝C_i(x,y)·R_MSRi(x,y) 公式(2)；

其中，(x,y)为像素点坐标，R_MSR和R_MSRCR分别表示用MSR和MSRCR算法增强的像素灰度值，C_i表示第i个通道的色彩恢复系数，作用是调节3个通道颜色的比例；

其中，f(.)表示颜色空间的映射函数，I_i(x,y)表示第i个颜色通道上的图像像素值，I_j(x,y)表示第j个颜色通道上的图像像素值；

其中，α，β分别是增益常数和受控非线性强度常数。

计算设备，包括：

至少一个处理器以及至少一个存储器；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述方法。

计算机可读存储介质，所述存储介质存储计算机指令，所述计算机指令使所述计算机执行上述方法。

与现有技术相比，本发明的方法在处理户外场景雾霾图像时，在整体视觉效果上，如图像清晰度、对比度、色彩保真度、辨识度等方面比现有图像增强和去雾算法有大幅改进。具体优点及效果体现在：

(1)本发明的去雾增强方法有效抑制了近白色区域和灰白天空区域的光晕和伪影，减少了这些区域的色彩失真，同时由于采用了对比度受限的自适应直方图均衡方法增强天空区域，使户外场景中景深较大的远景细节能得到较好的增强和重现；

(2)本发明的去雾增强方法由于对整个图像进行三种区域的分割，对每个区域分别增强处理，使得增强后图像整体色彩更明亮，失真和伪影减少，保真度更好。同时，采用的MSRCR算法和自适应Gamma变换对非天空区域的增强能最大程度的保留图像中纹理细节，锐化边缘，提高了图像的信息量，解决了 MSRCR算法在处理户外有雾图像时候出现的对比度不足和天空区域出现光晕现象，色彩还原度更好，同时也保持了MSRCR边缘增强的优势。

附图说明

图1是本发明去雾增强方法流程示意图和各阶段中间结果图。

图2是本发明的去雾增强方法对户外楼房图的分割结果和增强效果图。

图3是本发明的去雾增强方法中对天空区域直方图均衡化改进前后直方图对比。

图4是MSRCR算法主要处理流程示意图。

图5是采用不同的方法对户外雾霾图像的增强结果图。

具体实施方式

下面将结合附图来对本发明的去雾增强方法做进一步详细的说明。

本发明的一个实施例中提供一种户外场景图像去雾增强方法，图1为本发明去雾增强方法流程示意图以及各阶段中间结果图，该方法包括：

步骤S1、将原始图像转成灰度图，对灰度图进行中值滤波去噪，并将像素值范围归一化，得到预处理图。

其中，此处的原始图像通常为原始彩色图像X_o，即相对于本发明去雾增强之前的图，用大小为9×9的中值滤波器去噪，并将像素值范围从[0,255]归一化到[0,1]区间，得到预处理图X。

步骤S2、将所述预处理图分割为白色区、天空区以及其他区。

其中，设定分段阈值t₁、t₂，将预处理图X中的像素点按阈值归为三类：白色目标区，偏灰白的天空区，其他区，具体划分方式如公式(1)；

其中I为单个像素值，0表示全黑像素点，1表示纯白像素点；t₁、t₂为0-1 之间的常数。经过大量实验经验设定t₁≈0.72，t₂≈0.97时能获得较好的分割效果，即认为灰度取值超过0.97的像素点位于白色目标区域，灰度取值在0.72-0.97的像素点位于偏灰白色天空区域，灰度取值0.72以下的像素点位于非天空非白区域。图2所示了对一个户外楼房图的分割结果和增强效果，其中，(a)为输入有雾图，(b)为去噪后的灰度图，(c)为区域分割结果，(d)为采用MSRCR 算法对整幅图处理后的结果图，(e)为采本发明的方法进行去雾增强效果图。

画面中存在几乎纯白色的近白色区域时，对这些区域进行增强容易导致伪影、光晕、色彩偏移等不合理的结果；同时，很多应用于整个画面的传统图像增强方法会因为这些区域的存在，使得增强后的整体视觉效果受到影响，比如整体偏暗、色彩失真、各种伪影等。另一方面，这些区域一般为无限远处的天空或者本身是浅白色的目标物体，区域内部并不含有更丰富的细节，不需要过度增强和处理。所以把这些区域分割出来不处理，可以优化增强算法，改进最终的视觉效果。作为后面增强算法的预处理，考虑到计算效率和可能的实时应用，本发明采用简单有效的灰度阈值分割方法划分三种区域。

步骤S3、对原始图像中的天空区进行调整，以获得去雾增强后的天空区。

具体的，该步骤中原始图像中的天空区对应步骤S2中预处理图分割后的天空区。对原始图像中的天空区使用对比度受限的自适应直方图均衡法进行调整；

步骤S3.1分拆原始图像X_o为红、绿、蓝三个颜色通道的灰度图R、G、B。

步骤S3.2对每个颜色通道，选择label标记为2的像素点，即天空区，调用Matlab标准函数adapthisteq()进行对比度受限的自适应直方图均衡化，得到三个颜色通道增强图M、L、N。

步骤S3.3拼合三个颜色通道增强图M、L、N，得到处理后的天空区彩色图S。

户外场景中经常包含天空区域，这些区域由于雾霾的存在往往呈现偏灰白的颜色，跟近白色区域类似，大多数传统图像增强方法都无法很好的适用和处理这些区域，直接在整个画面应用容易引起伪纹和失真。但跟近白色区域不同的是，远景雾霾区域跟天空连成一片呈灰白色，但是雾霾背后有丰富的图像细节，比如楼房景物等，正是我们希望重现和增强的，所以对这部分区域要采取有效和有针对性的增强方法。图3表示了对某个天空区域直方图均衡化改进前后直方图对比。由图3可知，调整前的直方图，即图3(a)，灰度分布集中在较窄的范围内，相应对比度较小，导致图像的细节不够清晰；采用均衡化改进后的直方图，即图3(b)，分布较宽、更为均匀，从而增加了像素灰度值的动态范围，提高了图像对比度。

步骤S4、对原始图像中的所述其他区进行去雾增强，以获得去雾增强后的其他区。该步骤中原始图像中的其他区对应步骤S2中预处理图分割后的其他区。

步骤S4.1采用MSRCR算法对原始图像的其他区进行去雾增强；

对label标记为3的像素点，即其他区，采用MSRCR算法进行增强，如图 4所示，导入图像，此处的图像为原始图像X_o，利用对数和反对数变换，得到多尺度MSR算法的结果图R；另外，色彩因子C采用公式(4)计算，并采用公式 (2)，将C与R进行逐个像素点相乘，得到MSRCR增强结果。

带色彩恢复因子C的多尺度算法MSRCR是在多个固定尺度的MSR算法基础上考虑色彩不失真恢复的结果，在多尺度Retinex算法MSR过程中，通过引入一个色彩因子C来弥补由于图像局部区域对比度增强而导致的图像颜色失真的缺陷，如公式(2)所示：

R_MSRCRi(x,y)＝C_i(x,y)·R_MSRi(x,y) 公式(2)；

其中(x,y)为像素点坐标，R_MSR和R_MSRCR分别表示用MSR和MSRCR算法增强的像素灰度值，C_i表示第i个通道的色彩恢复系数，作用是调节3个通道颜色的比例，可以表示为：

其中f(.)表示颜色空间的映射函数，I_i(x,y)表示第i个颜色通道上的图像像素值，I_j(x,y)表示第j个颜色通道上的图像像素值，可以表达为公式(4)的形式：

其中α，β分别是增益常数和受控非线性强度常数。

带色彩恢复因子C的多尺度Retinex算法MSRCR通过色彩恢复因子C这个系数来调整原始图像中3个颜色通道之间的比例关系，把暗区的信息凸显出来，改进了传统多尺度Retinex算法MSR局部区域对比度增强而导致颜色失真的缺陷，处理后的图像局域对比度得以提高，具有更好的颜色再现性、亮度恒常性与动态范围压缩等特性，使得增强后的图像辨识度更高，视觉效果更好。但是对雾霾条件下拍摄的户外场景图片，MSRCR算法处理结果容易出现整体对比度较低、色彩较深的区域变暗、灰白色的天空和近白色区域出现光晕伪影的现象。针对此问题，采用基于天空占比的自适应Gamma变换方法进一步增强其他区。

步骤S4.2采用基于天空占比的自适应Gamma变换方法进一步增强原始图像的其他区。

步骤S4.2.1计算天空区域像素总数和天空在整幅图像中所占的比例。

步骤S4.2.2根据天空占比ratio，计算p值、Gamma变换的补偿系数和伽马系数；

补偿系数c＝a/p，伽马系数γ＝bp；

其中count₂是label标记为2的天空区域的像素点总数，m和n是图像的尺寸。

步骤S4.2.3对整幅图像做自适应Gamma变换，进行灰度值调整；

具体根据公式(6)对整幅图像做自适应Gamma变换，本发明提出的自适应Gamma变换采用的公式(6)，其中的补偿系数c＝a/p和伽马系数γ＝bp都根据天空占比的线性变换p自动调整：

I′＝T(I)＝cI^γ＝(a/p)I^bp,I∈[0,1]，a,b为常数公式(6)；

经过实验经验设定a≈1.095，b≈0.875时能获得较好的增强效果。

对于整个画面中天空区域占比较高的图片，本身的平均亮度相对较高，不需要增亮太多；相反，天空占比较少的图片，经过Retinex图像增强处理之后，图片对比度会变低，图像整体变暗，影响图片细节的可辨识性。动态调节Gamma 变换目的是，使得在天空占比较大的图片，适用Gamma系数更大的处理，提高输出图像的整体对比度；而在天空占比较少的图片，则减少Gamma处理的系数，使得图片可以保留原貌，有效的避免了原本对比度正常的图片适用了数值较大的Gamma变换参数而降低图像辨识度。

步骤S5、合并原始图像的白色区、去雾增强后的天空区以及去雾增强后的其他区，得到结果图像。

在其它实施例中，步骤S3以及步骤S4的先后顺序可以调换，或者步骤S3 以及步骤S4同步进行，均可实现本发明提出的去雾增强。

基于对比度-自然-色彩(CNC)的评价体系(包括：可见边数目之比(E)、色彩丰富度(CCI)和色彩自然度(CNI)三个量化指标综合)，以及基于可见边的对比度增强评价指标，包括：新增可见边之比(e)、可见边的规范化梯度均值

和饱和黑色或白色像素点的百分比(σ)，这两组指标比较去雾增强后的图像与输入有雾图的结果，评估本发明提出的新方法、MSRCR算法和其他一些现今的图像去雾算法。

表1

图5为雾霾图像结果对比图，其中，(a1)-(a4)为有雾的原始图，(b1)- (b4)为DehazeNet处理之后的结果图，(c1)-(c4)为He暗通道处理之后的结果图，(d1)-(d4)为MSRCR处理之后的结果图，(e1)-(e4)为本发明的去雾增强方法的结果图。表1是图5中(a2)-(a4)有雾的原始图经过处理之后的各指标平均值，由图5及表1可知，本发明去雾增强方法的对比度-自然- 色彩CNC呈现出最优值，He暗通道呈现出次优值。本发明的去雾增强方法在色彩丰富度(CCI)和色彩自然度(CNI)方面显著优于MSRCR算法，总体优于参加比较的其他算法；在可见边增强方面与MSRCR算法相当，明显优于其他算法。这是因为本发明的方法加入了三类区域的分割、天空区域自适应直方图均衡、非天空区域自适应Gamma变换，增加了对比度，解决了MSRCR算法在处理户外有雾图像时候，出现的对比度不足和天空区域出现光晕现象，色彩还原度更好，同时也保持了MSRCR边缘增强的优势。总体而言，本发明提出的去雾增强方法能有效增强雾霾图像，尤其户外场景图像能获得较佳的视觉效果。

本实施例提供一种计算设备，该计算设备包括至少一个处理器和至少一个存储器，处理器与存储器之间通过总线完成相互间的通信，存储器存储有可被处理器执行的程序指令，处理器调用其程序指令能够执行上述实施例中提供的去雾增强方法，实现对户外场景图像去雾增强。

本实施例中所述的计算设备可以是台式电脑、笔记本电脑、智能手机、PDA 手持终端、平板电脑或其他具有显示功能的终端设备。

本实施例提供一种计算机可读存储介质，所述存储介质存储计算机指令，所述计算机指令使所述计算机执行上述实施例中提供的去雾增强方法，实现对户外场景图像去雾增强。

本领域普通技术人员可以理解，实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件未完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤，前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本发明的户外场景图像去雾增强方法计算负载和资源占用不大，可以部署在普通台式电脑和个人笔记本上。对于实施环境来说，主要是关于软硬件方面的，本发明采用的系统开发测试的软硬件运行环境如下表2：

表2

操作系统	MATLAB版本	计算机内存	计算机CPU	计算机GPU
					64位WINDOWS 10	MATLAB 2017a	16GB	INTEL CORE i7	无

在上述平台上，针对三种去雾算法的时间复杂度进行了多幅不同分辨率大小的图片测试，其中代表性的两幅图像的大小分别为506×338和600×450，这两幅图的运行时间(以秒计)如表3：

表3

由表3可知，针对这两幅图，暗通道算法比本发明的算法运行时间分别多了约4％和19％；基于深度学习的DehazeNet方法运行时间是本发明算法的3.8 和3.3倍。对于更大尺寸的图片，运行时间的差异更为显著。总体而言，本发明算法的执行效率明显高于暗通道和DehazeNet去雾算法。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种户外场景图像去雾增强方法，其包括如下步骤：

将所述预处理图分割为白色区、天空区以及其他区；

采用MSRCR算法对原始图像中的所述其他区进行去雾增强，采用基于天空占比的自适应Gamma变换方法进一步增强所述其他区，以获得去雾增强后的其他区；

合并原始图像的白色区、所述去雾增强后的天空区以及所述去雾增强后的其他区，得到结果图像；

所述将所述预处理图分割为白色区、天空区以及其他区的步骤具体包括：设定分段阈值t₁、t₂，将灰度图像中的像素点按式(1)中的阈值分为白色区、天空区以及其他区，

其中，I为单个像素值，0表示全黑像素点，1表示纯白像素点；t1、t2为0-1之间的常数；

所述对原始图像中的天空区进行调整使用对比度受限的自适应直方图均衡方法进行调整，具体包括如下子步骤：

分拆原始图像为红、绿、蓝三个颜色通道的灰度图R、G、B；

拼合三个颜色通道增强图M、L、N，得到处理后的天空区彩色图；

所述MSRCR算法所涉及的公式如下：

R_MSRCRi(x,y)＝C_i(x,y)·R_MSRi(x,y) 公式(2)；

其中，α，β分别是增益常数和受控非线性强度常数；

采用基于天空占比的自适应Gamma变换方法进一步增强所述其他区，具体包括如下子步骤：

计算天空区域像素总数和天空在整幅图像中所占的比例；

根据天空占比，计算p值、Gamma变换的补偿系数和伽马系数；

对整幅图像做自适应Gamma变换，进行灰度值调整；

所述计算p值、Gamma变换的补偿系数和伽马系数，如下式：

补偿系数c＝a/p，伽马系数γ＝bp，补偿系数和伽马系数均根据天空占比的线性变换p自动调整；

其中，count₂是label标记为2的天空区域的像素点总数，m和n是图像的尺寸；

所述对整幅图像做自适应Gamma变换，如下式：

I′＝T(I)＝cI^γ＝(a/p)I^bp,I∈[0,1]，a,b为常数公式(6)。

2.根据权利要求1的所述方法，其特征在于，t₁≈0.72，t₂≈0.97。

3.根据权利要求1的所述方法，其特征在于，a≈1.095，b≈0.875。

4.计算设备，其特征在于，包括：

至少一个处理器以及至少一个存储器；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行权利要求1-3之一的所述方法。

5.计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1-3之一的所述方法。