CN108805826B - 改善去雾效果的方法 - Google Patents

Abstract

本发明公开了一种改善去雾效果的方法，该方法包括三个主要流程：暗通道图像获取、去雾系数图像获取、环境光获取；然后根据物理退化模型，通过暗通道图像、去雾系数图像和环境光获得透射率图像，并通过透射率图像和环境光得到去雾后的图像；其中，所述暗通道图像获取流程由最小值滤波、最大值滤波及导向滤波三个步骤组成。通过在原图像上进行最小值滤波后，采用相同大小的滑动窗口进行最大值滤波，之后再用导向滤波或双边滤波获取精细暗通道图，去除了凸区域处强边缘附近的光晕现象，进一步抑制了非凸区域处强边缘附近的光晕现象。

Description

改善去雾效果的方法

技术领域

本发明涉及数字图像处理，具体涉及一种图像去雾方法。

背景技术

当前的雾气浓度自适应判断方法很少，且已有算法判断结果与人主观判断结果相差较大，判断的结果易受噪声影响而导致自适应雾气浓度判断算法效果难以满足自动化去雾需求，最终影响视频监控图像质量。

现有技术通常从图像中提取某一特征信息，通过经验给出不同雾气浓度状态的区分阈值，最后使用特征信息直接进行雾气浓度类型判断。判断结果受噪声等影响不稳定，同时与人主观判断一致性不够好即准确度不够，此外通常判断的结果是非此即彼的状态而忽视了一些过渡状态，不利于连续的进行雾气参数自适应调节。盲图像质量评价给出的图像质量评价结果与人主观判断一致性较好，但是目前还没有学者将其改造并应用到自适应雾气浓度判断上，同时其复杂度较高，不利于硬件实现或者软件实时处理。

当前，一方面以自动评价算法处理图像前后对比效果为目标的盲图像质量评价(BIQA)发展迅速，许多方法的评价结果与主观判断上取得较好的一致性，但是基本还没有研究者将此类算法用于雾气浓度的自适应判断中，此外这类算法复杂度也较高，不适合直接应用于实时雾气浓度自适应判断中。另一方面，传统的方法基本上采用提取图像亮度、方差、均值、直方图等统计参数对雾气浓度进行描述，并最终直接与经验设定的阈值进行简单比较，自适应地判断雾气浓度。这方式实现了雾气浓度的自适应判断，但判断的结果与人主观判断结果一致性上相对盲图像质量评价(BIQA)方法要差，判断的结果稳定性也较差。

雾气会导致图像边缘模糊不清、物体颜色饱和度下降以及对比度下降。去雾算法领域内，基于暗通道原理的去雾算法复杂度简单、效果明显，成为被广泛研究的基本去雾算法之一。但是该算法存在严重影响图像效果的一些问题：第一、仅使用导向滤波/双边滤波等带边缘指导滤波特性的滤波器，在暗通道图像的强边缘处依然存在较明显光晕现象；第二、暗通道原理认为无雾图像上存在大量饱和度高的彩色物体、阴影和暗区域，然而这一假设在白色天空以及浅色建筑上并不成立，直接应用该原理会导致该部分去雾过多而显得不够自然，甚至出现噪声；第三、环境光估计对去雾算法恢复图像效果有一定影响，当前对环境光估计的研究较少，主流算法采用亮度靠前的计算环境光。这对于光照不均匀的场景并不合适，容易造成暗处环境光估计值偏大而使去雾后暗处细节损失较多。如果能够在上述三个问题上对基于暗通道原理的去雾方法进行改善，将能够有效提升图像去雾效果。

图像去雾对于实际的生产生活都有重要的意义和实用价值。去雾算法是图像处理的研究热点之一，已有的去雾算法大体可以分成两类：一类可归为图像增强算法：即通过增加图像的对比度来达到提升雾气图像的轮廓以及边缘细节特征，比如直方图均衡、基于Retinex的去雾算法等，这类算法在对比度提升方面较明显，但颜色恢复上有所欠缺，还原后的图像饱和度明显降低；一类是基于物理退化模型的去雾算法：先利用有雾无雾图像的先验知识估计模型参数，再利用所得模型参数还原无雾图像。如基于暗通道原理的去雾算法、基于color line的去雾算法等，这类算法在对比度还原上相对图像增强算法稍弱，但在颜色还原上有较明显优势。其中基于暗通道的去雾算法由于算法复杂度简单，效果良好得到广泛应用。基于暗通道原理的去雾算法(以下简称DCP)认为雾气的形成可以由物理退化模型描述：

I(x)＝J(x)t(x)+A[1-t(x)]

其中J(x)无雾图像，A为环境光，t(x)为透射率。即观测图像I(x)由衰减的真实图像叠加环境光散射形成的光幕构成。环境光A可以统计较亮像素进行估计；而对于较难估计的局部量透射率t(x)，DCP算法利用暗通道先验知识简化t(x)的估计。DCP先验认为无雾图像广泛存在彩色物体、阴影以及暗物体，因此对无雾图像用滑动窗口的最小值滤波得到的图像，除天空外绝大部分是0或者接近于0的。据此可以简化t(x)估计：

为了使去雾后图像显得更真实，通常透射率t(x)采用增强去雾因子调控方式进行估计：

根据A和t(x)即可还原无雾图像。

基于暗通道的去雾算法存在如下几个问题：

对RGB图像进行最小值滤波后，在暗通道图像的高对比度边缘处，会产生明显的光晕现象。当前业界内普遍对最小值滤波后的暗通道图像采用带边缘指导滤波的滤波器如导向滤波、双边滤波等方法滤波。大致方法为：从输入图像中获取一个边缘信息保存较好的子图像，利用子图像的边缘信息对暗通道图像或者透射率图进行滤波，以获取精细的暗通道图像或透射率图像，从而减弱光晕现象。

暗通道原理在白色天空及浅色区域并不成立，如不进行纠正会导致去雾强度过大而出现噪声等瑕疵，影响图像质量。业界内多采用将天空分割出来并单独进行处理，其余部分则采用暗通道原理去雾。如通过分析天空的梯度较小、亮度较大的特点而设置阈值将天空区域分割出来，对天空区域做特殊去雾处理后与非天空区域进行融合而得到最终的去雾图像。

基于物理退化模型的去雾算法，若对环境光估计不准确会造成图像去雾后偏亮或偏暗。当前的去雾算法主要为寻找图像内最亮部分的像素值统计值作为全局环境光。如选取最亮像素或者亮度靠前的像素值求平均等作为全局环境光；如在指定浓雾区域内设定阈值确定亮暗区域比例，再进一步求出全局环境光；也有很少的研究者采用局部环境光和全局环境光相结合来确定最终每一像素的环境光取值大小。

发明内容

本发明采用的技术方案为：一种图像自动去雾方法，其特征在于：该方法包括图像雾气浓度自适应判断及图像去雾两个步骤，首先对当前图像进行雾气浓度自适应判断，如果当前图像为有雾状态时，对当前图像执行去雾处理；其中，所述图像雾气浓度自适应判断步骤包括构建阶段和判断阶段，在所述构建阶段，首先进行字典构建，并将构建好的字典作为进行图像查询获得图像质量评价分数的基础，进一步的，通过查询确切雾气浓度图像的方式确定雾气浓度判断阈值；在判断阶段，不断获取当前帧图像并对其图像块分别进行图像查询得到该帧所有图像块的质量评价分数，然后根据所有块的评价分数均值以及雾气浓度判断阈值确定当前图像的雾气浓度状况；所述图像去雾步骤包括三个主要流程：暗通道图像获取、去雾系数图像获取、环境光获取；然后根据物理退化模型，通过暗通道图像、去雾系数图像和环境光获得透射率图像，并通过透射率图像和环境光得到去雾后的图像；其中，所述暗通道图像获取流程由最小值滤波、最大值滤波及导向滤波三个步骤组成，所述去雾系数图像获取流程分成两个步骤，即亮度判断和饱和度判断，并通过上述两个步骤得到最终的去雾系数图像，在所述环境光的获取流程中，将全局环境光与局部环境光加权求和，可得到每个像素最终的环境光值。

本发明提供一种新的场景自适应雾气浓度判断算法，将BIQA方法引入已有的技术框架，使得判断结果与人主观判断结果一致性更好，提高了准确性；同时结合去雾的现实条件和需求，将此BIQA方法进行精简优化，降低复杂度，使BIQA方法能够应用于实际的自适应雾气浓度判断算法中。同时，发明的技术方案具有如下有益效果：

1.在原图像上进行最小值滤波后，采用相同大小的滑动窗口进行最大值滤波，之后再用导向滤波或双边滤波获取精细暗通道图。去除了凸区域处强边缘附近的光晕现象，进一步抑制了非凸区域处强边缘附近的光晕现象。

2.逐像素地，同时采用亮度和饱和度信息对天空、浅色区域及非天空、浅色区域进行判断并通过高斯函数给出去雾系数。首先避免了直接修改透射率图像而导致错判的影响；其次对天空、浅色区域和非天空、浅色区域没有分开处理，减少了过渡区的视觉突兀；再次使用亮度和饱和度信息用于判断，减少了错判的概率。

3.将图像分块进行统计环境光后采用双线性等插值算法得到局部环境光值，并按照全局环境光饱和度信息获得局部环境光三通道值。最后按照一定比例将全局环境光和局部环境光相加得到每个像素的环境光。有效克服了不均匀环境光场景中对暗处去雾过多造成暗处细节损失过多的问题。

下面结合附图及具体实施方式对本发明作进一步的详细说明。

附图说明

图1为一种雾气浓度自适应判断的流程。

图2为一个5x5的DoG滤波模。

图3为基于暗通道原理的图像去雾流程原理图。

图4为暗通道图像获取步骤。

图5为去雾系数图像获取步骤

图6为环境光获取步骤

图7-9为去雾前后图像对比，其中a为原图，b为HeKaiMing去雾算法效果，c为本发明技术方案的去雾效果

具体实施方式

如图1所示，本发明的雾气浓度自适应判断步骤可分为构建阶段和判断阶段，具体的，本发明技术方案中构建阶段包括字典构建、图像查询和阈值确定；判断阶段首先进行图像查询，再结合阈值输出对当前图像的雾气浓度判断。

其中字典构建可分为如下几个步骤：

按照顺序，以一定重叠率如50％采集标准无雾及不同程度雾气的图像块，无雾图像和有雾图像块在位置及内容分别一一对应；

构建Difference Of Gaussian(DoG)滤波模板(模板可以有多种滤波窗口，DoG的尺度也可以有多种组合，如图2的模板即是其中一种)，提取无雾和有雾图像块RGB三通道对应的DoG特征，并按通道将DoG进行求和，构成3维DoG向量；

计算无雾图像和有雾图像对应图像块的FSIM值S,并对S进行归一化。FSIM计算方法参见:“Learning without Human Scores for Blind Image Quality Assessment”，WXue et al，IEEE Computer Society，Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition.2013:995-1002；归一化方法为将所有S求和得到C1，选取S最小的10％求和得到C2，并根据C1，C2求得每一个S归一化后的图像块分数值Score:

将同一图像块的DoG向量与图像块质量评价分数值Score联系，并按评价分数大小将DoG向量分类。本技术方案中将分数值Score按[0,0.1],(0.1,0.2],(0.2,0.3]......(0.9,1]分成10类，每一类分数值以最大的分数值标志；

将DoG向量按照上述10类进行归类后聚类。可采用K_means将每一类内的DoG向量聚为K个簇，并得到类中心。本技术方案中K设为10。

分数值类别及该类别中K个聚类中心构成字典。

字典构造好之后，需要利用字典对图像进行查询。在实时自适应雾气浓度判断之前可用于确定阈值；在实时处理时可确定当前图像质量评价分数。具体过程为：

按照字典构建过程中采集的图像块尺寸采集输入图像块，并使用相同DoG滤波模板提取DoG向量；

计算每个图像块的DoG向量在字典中，与每类的K个聚类中心的欧氏距离，选出最小距离Di求负指数作为该类分数值的权重；

根据每类的分数值和及步骤2所得权重，可计算该图像块的分数值：

将所有图像块的分数值求平均得到这个图像的分数评价Score_img

字典构造好后，结合图像查询方法，通过查询确切雾气浓度图像的方式确定雾气浓度判断阈值，具体方式如下：

采集大量的浓雾、无雾图像；

按照图像质量评价查询方法对每一张图像进行图像质量评估，获取图像分数；

将这些图像分数值先聚成2类，确定浓雾和无雾界定阈值，即FogScoreTH和HQScoreTH。

在实时进行自适应雾气浓度判断过程时，本技术方案不断获取当前帧图像并对其图像块分别查询得到该帧所有图像块的质量评价分数，然后根据所有块的评价分数均值score以及无雾阈值HQScoreTH、浓雾阈值FogScoreTH确定当前图像的雾气浓度状况评估：

Fog_prop即为对当前图像的雾气浓度判断。当fog_prop＝0时，说明此时为无雾状态；当Fog_prop＝1时，说明此时为浓雾状态；当fog_prop介于0-1之间说明为中间过渡状态；当fog_prop≠0时，对图像执行去雾处理。

本发明为基于暗通道原理的去雾算法，围绕该基本算法对图像去雾效果有较大影响的三个问题进行改进，以期提高图像去雾后的画面质量。本发明的改善去雾效果的方法可分为如图3所示的三个主要流程：暗通道图像获取、去雾系数图像获取、环境光图像获取。下文按照流程依次介绍流程的步骤及实现的具体方式。

暗通道图像获取流程如图4所示，由最小值滤波、最大值滤波及导向滤波三个步骤组成。

1.对RGB图像逐像素采用固定滤波半径的滑动窗口进行最小值滤波得到粗糙暗通道图像：

I_min ^dark(x)为粗糙暗通道图像，I^c(x)为图像通道值，c代表RGB通道，Ω(x)代表滑动窗口范围内的所有像素。

2.对粗糙暗通道图像的每个像素采用与最小值滤波相同半径的滑动窗口进行最大值滤波：

3.对I_max ^dark(x)使用导向滤波或双边滤波得到精细化暗通道图像I^dark(x)。

图像去雾系数获取流程如图5所示可分成两个步骤，即亮度判断和饱和度判断。在亮度判断步骤，对每个像素求出其亮度信息如三通道平均值、最大值、最小值、中值或者采用滑动窗口内像素等，根据所求得亮度信息值代入亮度判断高斯函数求出亮度去雾系数α。一个典型的亮度高斯函数，μ取150，σ取30。在饱和度判断步骤，对每个像素求出该像素三通道值[r,g,b]与全局环境光[Ar,Ab,Ag]的向量距离D如欧氏距离、闵氏距离等，将距离D代入预设的饱和度判断高斯函数求出饱和度去雾系数β。一个典型的饱和度判断高斯函数，μ取0.85，σ取0.005。将每个像素的α值与β值取平均即可得到该像素的最后去雾系数ω。所有像素的去雾系数构成去雾系数图像ω(x)。

环境光的获取流程中，全局环境光的获取方式为取前5％最亮的像素通道值进行平均得到，这与经典的暗通道去雾算法类似。局部环境光的获取则按图6所示步骤进行：首先对原始图像进行最大值滤波得到初始的局部环境光图：

对初始环境光图A_max(x)进一步使用相同滑动滤波窗口进行最大值滤波：

得到精细化的局部环境光图A′_max(x)。进一步将该精细化局部环境光图切块，并对每个图像块内像素进行统计，将块内最大值或者最大值与均值的平均值等设为该块的环境光值。求得每个图像块的环境光值后，使用双线性或者其他类似的插值方法求出每个像素点的局部环境光值。根据全局环境光的饱和度信息得到每个像素的局部环境光值A_local(x)。将全局环境光与局部环境光加权求和，可得到每个像素最终的环境光值：

A′_local(x)＝αA_local(x)+(1-α)A_global

图像去雾还原阶段，根据物理退化模型，以及I^dark(x)，ω(x)，A′_local(x)，可以实现图像较好的去雾效果：

其中J(x)即为去雾后的图像。

参见图7-9的图像去雾后的效果对比，可以清晰地发现本发明的技术方案在整体上比已有的方法有更好的光晕抑制效果，同时在天空浅色区域、暗处细节、图像整体亮度上有较好的还原效果。通过在获取暗通道图像使用导向滤波或双边滤波前增加了最大值滤波操作，可以很好的去除凸区域处边缘的光晕现象，同时可以进一步抑制非凸区域处边缘的光晕现象。本发明的技术方案首先避免了直接修改透射率图像而导致错判的影响；其次对天空、浅色区域和非天空、浅色区域没有分开处理，减少了过渡区的视觉突兀；再次使用亮度和饱和度信息用于判断，减少了错判的概率。本方案技术采用图像分块方式统计局部环境光，并使用上采样方法获得每个像素的局部环境光。这种方法能够更好的估计像素的环境光，从而更好的还原去雾后的图像亮度。

同时，本发明对雾气浓度自适应判断结果与人主观判断一致性较好，判断的结果受到噪声等干扰也比较稳定。本发明提供的图像自动去雾方法可应用于视频监控、车载系统、手持式拍照系统等需要根据雾气浓度变化、场景变化自适应去雾的相关产品，还可以用于图像修复等图像美化领域内。

以上只是本发明的优选实施方式，本领域技术人员在不脱离本发明原理的前提下，对本发明的改进或变动，应当理解为仍属于本发明的保护范围之内。

Claims (13)

1.一种改善去雾效果的方法，其特征在于，该方法包括三个主要流程：暗通道图像获取、去雾系数图像获取、环境光获取；然后根据物理退化模型，通过暗通道图像、去雾系数图像和环境光获得透射率图像，并通过透射率图像和环境光得到去雾后的图像；

其中，所述暗通道图像获取流程由最小值滤波、最大值滤波及导向滤波三个步骤组成；所述去雾系数图像获取分成亮度判断和饱和度判断两个步骤，并通过上述两个步骤得到最终的去雾系数图像，在所述亮度判断步骤中，对每个像素求出其亮度信息，根据所求得亮度信息值代入亮度判断高斯函数求出亮度去雾系数α；在饱和度判断步骤，对每个像素求出该像素三通道值[r,g,b]与全局环境光[Ar,Ab,Ag]的向量距离D，将距离D代入预设的饱和度判断高斯函数求出饱和度去雾系数β，将每个像素的α值与β值取平均即可得到该像素的最后去雾系数ω，所有像素的去雾系数构成去雾系数图像ω(x)；

在所述环境光的获取流程中，将全局环境光A_global与局部环境光A_local(x)加权求和，可得到每个像素最终的环境光值，全局环境光A_global的获取方式为取前5％最亮的像素通道值进行平均得到；

局部环境光A_local(x)的获取按如下步骤进行：首先对原始图像进行最大值滤波得到初始的局部环境光图：

对初始环境光图A_max(x)进一步使用相同滑动滤波窗口进行最大值滤波：

得到精细化的局部环境光图A′_max(x)；

进一步将该精细化局部环境光图切块，并对每个图像块内像素进行统计，将块内最大值或者最大值与均值的平均值设为该块的环境光值；求得每个图像块的环境光值后，使用插值方法求出每个像素点的局部环境光值A_local(x)；

根据全局环境光A_global的饱和度信息得到每个像素的局部环境光值A_local(x)；将全局环境光A_global与局部环境光加权求和，可得到每个像素最终的环境光值：

A_l′_ocal(x)＝αA_local(x)+(1-α)A_global。

2.如权利要求1所述的方法，其特征在于，所述最小值滤波过程具体为：对RGB图像逐像素采用固定滤波半径的滑动窗口进行最小值滤波得到粗糙暗通道图像：

其中，I_min ^dark(x)为粗糙暗通道图像，I^c(x)为图像通道值，c代表RGB通道，Ω(x)代表滑动窗口范围内的所有像素。

3.如权利要求2所述的方法，其特征在于，所述最大值滤波过程具体为：对粗糙暗通道图像的每个像素采用与最小值滤波相同半径的滑动窗口进行最大值滤波：

4.如权利要求3所述的方法，其特征在于，所述导向滤波具体过程为：对I_max ^dark(x)使用导向滤波或双边滤波得到精细化暗通道图像I^dark(x)。

5.如权利要求4所述的方法，其特征在于，求出每个像素亮度信息的方式选自三通道平均值、最大值、最小值、中值或者采用滑动窗口内像素中的一种。

6.如权利要求5所述的方法，其特征在于，所述向量距离D为欧氏距离或闵氏距离。

7.如权利要求1所述的方法，其特征在于，所述插值方法为双线性或其他插值方法。

8.如权利要求7所述的方法，其特征在于，在图像去雾还原阶段，根据物理退化模型，由精细化暗通道图像I^dark(x)，去雾系数图像ω(x)，以及每个像素最终的环境光值A′_local(x)，实现图像较好的去雾效果：

其中t(x)为透射率图像，J(x)即为去雾后的图像，I(x)为观测图像。

9.一种图像自动去雾方法，其特征在于：该方法包括图像雾气浓度自适应判断及图像去雾两个步骤，首先对当前图像进行雾气浓度自适应判断，如果当前图像为有雾状态时，对当前图像执行去雾处理；其中，所述图像雾气浓度自适应判断步骤包括构建阶段和判断阶段，在所述构建阶段，首先进行字典构建，并将构建好的字典作为进行图像查询获得图像质量评价分数的基础，进一步的，通过查询确切雾气浓度图像的方式确定雾气浓度判断阈值；在判断阶段，不断获取当前帧图像并对其图像块分别进行图像查询得到该帧所有图像块的质量评价分数，然后根据所有块的评价分数均值以及雾气浓度判断阈值确定当前图像的雾气浓度状况；所述图像去雾步骤采用如权利要求1-8任一项所述的改善去雾效果的方法。

10.如权利要求9所述的方法，其特征在于：字典构建可分为如下几个步骤：

(1)按照顺序，以一定重叠率采集标准无雾及不同程度雾气的图像块，无雾图像和有雾图像块在位置及内容分别一一对应；

(2)构建DoG滤波模板，提取无雾和有雾图像块RGB三通道对应的DoG特征，并按通道将DoG进行求和，构成3维DoG向量；

(3)计算无雾图像和有雾图像对应图像块的FSIM值S，并对S进行归一化，归一化方法为将所有S求和得到C1，选取S最小的10％求和得到C2，并根据C1，C2求得每一个S归一化后的图像块分数值Score：

(4)将同一图像块的DoG向量与图像块质量评价分数值Score联系，并按评价分数大小将DoG向量分类；

(5)将DoG向量按照上述分类进行归类后聚类：采用K_means将每一类内的DoG向量聚为K个簇，并得到类中心；

(6)分数值类别及该类别中K个聚类中心构成字典。

11.如权利要求10所述的方法，其特征在于：利用字典进行图像查询确定当前图像质量评价分数的具体过程为：

(1)按照字典构建过程中采集的图像块尺寸采集输入图像块，并使用相同DoG滤波模板提取DoG向量；

(2)计算每个图像块的DoG向量在字典中，与每类的K个聚类中心的欧氏距离，选出最小距离Di求负指数作为该类分数值的权重；

(3)根据每类的分数值和及步骤(2)所得权重，可计算该图像块的分数值：

(4)将所有图像块的分数值求平均得到这个图像的分数评价Score_img：

其中λ为设定的权重参数。

12.如权利要求11所述的方法，其特征在于：确定雾气浓度判断阈值具体方式如下：

(1)采集大量的浓雾、无雾图像；

(2)按照图像质量评价查询方法对每一张图像进行图像质量评估，获取图像分数；

(3)将这些图像分数值先聚成2类，确定浓雾和无雾界定阈值，即FogScoreTH和HQScoreTH。

13.如权利要求12所述的方法，其特征在于：利用以下公式评估当前图像的雾气浓度状况：

fog_prop即为对当前图像的雾气浓度判断，当fog_prop＝0时，说明此时为无雾状态；当fog_prop＝1时，说明此时为浓雾状态；当fog_prop介于0-1之间说明为中间过渡状态。

Images