CN105957040A - 基于图像融合的快速去雾算法 - Google Patents

Abstract

针对图像去雾这个特定问题，为了提高去雾算法精确度和还原度，使其满足实时性需求，本发明提出一种基于图像融合的快速去雾算法。首先基于物理模型对天空光强度进行估计；然后根据雾天成像的物理特性粗略估计雾气浓度，通过计算图像的局部方差来分配权重，利用加权融合的思想获得较准确的大气耗散函数，计算出较为精确的场景透射率；最后在大气散射模型的框架下，利用求得的大气耗散函数和天空光强度对图像进行去雾，得到清晰的无雾图像。本发明所述算法通过计算局部方差来分配权重，再利用加权融合的方法来计算准确的大气耗散函数，最后准确计算出精确的大气耗散函数，从而极大地提高了图像去雾的效果。

Description

基于图像融合的快速去雾算法

技术领域

本发明涉及计算机视觉领域，特指基于图像融合的快速去雾算法。

背景技术

大多数室外视觉系统,如视频监控、目标识别和卫星遥感监测等,都需要获取清晰的图像特征。但是在有雾天气条件下，由于场景的能见度较低，导致图像对比度下降，目标模糊不清，使成像系统无法正常工作。因此，研究如何对雾天图像进行有效处理，降低天气条件对成像系统的影响具有重要研究价值。

近年来，单幅图像去雾由于具有不需要景深和大气条件等辅助信息，应用场合广泛等优点，使其成为计算机视觉领域研究热点。许多学者利用图像本身构造约束场景反照率或场景深度的假设条件，提出多种单幅图像去雾算法。Fattal假设光线传输透射率与表面投影具有局部统计不相关性，采用独立成分分析来估计场景反照率，该方法基于颜色统计，无法处理灰度图像，且对浓雾图像的处理效果不佳。He等人通过对大量户外自然无雾图像的统计观察得出，除天空区域外的绝大多数图像块中都存在一些在某个颜色通道内亮度值很小的像素。基于该实验结论，He等人提出了暗通道先验估计光线传输透射率，实现雾天图像复原。引导滤波器的提出解决了透射率修复慢的问题，然而由于滤波参数的不恰当设置易引起光晕效应。Tarel利用中值滤波的变换形式对大气耗散函数进行估计，最后经过色调映射获得复原图像。该方法本质上使用了大气散射模型，但是没有准确估计大气光强度值，最终整体效果偏暗，而且中值滤波的引入易引起边缘残雾现象。Yu等人对大气光照进行白平衡，利用快速双边滤波估计大气耗散函数，求解简化的大气散射模型实现图像去雾，然而该方法对白色物体的恢复效果不够理想。

发明内容

针对图像去雾这个特定问题，为了提高去雾算法精确度和还原度，使其满足实时性需求，本发明提出一种基于图像融合的快速去雾算法。

本发明的技术方案是：

一种基于图像融合的快速去雾算法，其特征在于，包括以下步骤：

S1.基于物理模型天空光强度值A的估计；

S2.基于图像加权融合的大气耗散函数V(x)估计；

S3.结合雾化图像的光学模型，根据估计的天空光强度值A、大气耗散函数V(x)以及有雾的图像，计算出无雾的图像。

本发明中，步骤S1的估计过程如下：

S1.1对彩色图像的最小颜色分量进行最小值滤波，可表示为：

$I_{min}\left(x\right)=\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(\underset{c\∈\{R,G,B\}}{\min }I\right(y\left)\right)$

式中，c∈{R,G,B}分别表示R、G、B颜色通道；Ω(x)表示以像素x为中心的邻域，I_min(x)为彩色图像的最小颜色分量的最小值，I(y)为彩色图像的最小颜色分量；

S1.2采用Canny算子对彩色图像的灰度分量进行边缘检测，对边缘图像进行分块统计，计算各图像块中边缘像素数所占的比例,记为Nedge(x)，同时满足I_min(x)>T_v且Nedge(x)<T_p的像素集合S(x)指定为候选天空区域，其中T_v为亮度阈值，T_p为平坦阈值；

S1.3将候选天空区域S(x)中的最大像素值确定为大气光强度值A的估计值,即A＝max S(x)。为了保证天空复原图像不失真，需要对大气光强度值A的估计值进一步修正，即A＝αmax S(x)，α为设定系数。本发明的实施例中α设定为0.85。

本发明中，步骤S2的方法为：

S2.1利用有雾图像形成的物理特性进行粗估计；

根据有雾图像形成的物理特性，可用有雾图像中三通道的最小颜色分量对大气耗散函数V(x)进行初步估计，即：

$V_m\left(x\right)=\underset{c\&Element;\{R,G,B\}}{\min }{L}^c\left(x\right)$

其中，V_m(x)为大气耗散函数的初步估计值，L^c(x)为有雾图像中的三通道的颜色分量；

S2.2基于图像融合对大气耗散函数V(x)进行准确估算；

设图像V_m(x)的局部方差为D(x)，局部均值为E(x)，则两者之间的关系为:

D(x)＝E(x²)-E²(x)

利用上述公式对大气耗散函数V(x)的初步估计求取方差，并采用对数曲线的逼近方法，将D(x)截断至[0，1]区间；此时，大气耗散函数V(x)为V_m(x)与V_m(x)的加权之和，即：

V(x)＝D(x)V_m(x)+(1-D(x)V_op(x)) (1)。

最后，为了使融合图像在边缘处与平坦区域之间的衔接更自然，使用边缘保护滤波器对式(1)得到的结果进行简单平滑。

本发明中，步骤S3中，根据光在雾天传输的物理特性，在计算机视觉和图形学领域中，雾化图像的光学模型可描述如下：

I(x)＝J(x)t(x)+A(1-t(x))， (2)

式中：I(x)为含雾图像即输入图像；J(x)为场景辐射率即恢复出的无雾图像；t(x)场景透射率；A为天空光强度值；上式中等式右边第1项为直接衰减，表示物体表面反射的光线在空气中传播衰减后的辐射强度；第2项为大气耗散函数

V(x)＝A(1-t(x)) (3)

在求得大气耗散函数V(x)和大气光强度值A的基础上，可依据式(2)和(3)直接恢复出场景在理想条件下的无雾图像：

$J\left(x\right)=\frac{A\left(I\right(x)-V\left(x\right))}{A-V\left(x\right)}---\left(4\right).$

进一步地，本发明还包括步骤S4，基于人眼视觉特性调整色调，得到调整后的无雾图像。步骤S4中，根据韦伯·费希纳定律，主观亮度L_d和客观亮度L₀呈对数线性关系，即L_d＝βlgL₀+β₀，式中β、β₀均为常数；

利用简单函数对主观亮度L_d和客观亮度L₀的关系曲线进行拟合，得到函数：

$L_d=\frac{L_0(255+k)}{L_0+k}---\left(5\right)$

式(5)中，k为调整系数，k根据大气耗散函数的平均值来自动获取，即自适应地取k＝1.5mean(V(x))，mean()为求平均；

将步骤S3中最终得到的无雾的图像，代入式(5)，即可得到调整后的无雾图像。

本发明的有益技术效果：

针对现行算法普遍存在的不足，基于大气散射模型，本发明提出了一种基于图像融合和分割的快速去雾算法。本发明总结了雾天图像复原算法中的3个关键因素并给出了实施方法：1)大气耗散函数的准确估计，根据雾天成像的物理特性粗略估计雾气浓度，通过计算图像的局部方差来分配权重，利用加权融合的思想获得较准确的大气耗散函数；2)大气光强度值的计算，分析天空区域或雾最浓区域的基本特征，设定分割阈值，准确定位大气光值所在的候选区域；3)复原图像的色调调整，对复原后图像偏暗的问题进行修正，获得更佳的视觉效果。通过以上3个方面，可以快速恢复出高质量的无雾图像。该计算极大的提高了去雾精确度和算法速度。

附图说明

图1是实施例所述估算大气耗散函数组图；

图2是实施例所述色调调整曲线组图；

图3是实施例所述恢复出的无雾图像；

图4是实施例所述恢复出的无雾图像；

图5是实施例所述各算法对比去雾效果图像；

图6是实施例所述算法整体流程图。

具体实施方式

实施例1：以单幅图像去雾为例，结合附图对本发明做进一步详细说明。

根据光在雾天传输的物理特性，在计算机视觉和图形学领域中，雾化图像的光学模型可描述如下：

I(x)＝J(x)t(x)+A(1-t(x))， (1)

式(1)中：I(x)为含雾图像(即输入图像)；J(x)为场景辐射率(即恢复出的无雾图像)；t(x)为光路传播图，描述场景透射率；A为天空光强度值。式(1)等式右边第1项为直接衰减，表示物体表面反射的光线在空气中传播衰减后的辐射强度；第2项为大气耗散函数

V(x)＝A(1-(x)), (2)

去雾的目的在于从I(x)中恢复出t(x)、A，进而恢复出无雾图像J(x)。

而根据雾天成像的物理特性粗略估计雾气浓度，通过计算图像的局部方差来分配权重，利用加权融合的思想获得较准确的大气耗散函数是本发明的核心部分,只要正确估计V(x)和A即可求得无雾图像J(x)。

本发明算法主要利用了图像加权融合对V(x)进行估计，物理模型的图像分割对天空光强度值A进行估计。

第一步：基于物理模型天空光强度值的估计

直接用最亮像素值估计天空光强度值A易受到高亮噪声或白色物体的影响。先分别对各颜色分量进行灰度腐蚀操作，再取颜色分量之间的最小值，从中选取0.1％最亮的像素，用对应原图像中的最大像素值估计天空光强度值A。为了滤除图像中白色物体对估计天空光强度值的影响，结构元素的尺寸应大于图像中白色物体的尺寸。但是，若图像中的天空区域也小于结构元素的尺寸，则将错误地滤除天空区域。如图1所示的两幅自然场景图像，仅可从树枝之间看到天空，图像中天空区域的面积较小，因此，较大的尺寸容易将天空区域完全腐蚀。

显而易见，天空区域具有3个特性：1)亮度较高；2)灰度平坦；3)位置偏上。本发明将满足以上3个特性的像素集合确定为天空区域。

首先，对彩色图像的最小颜色分量进行最小值滤波，也称为灰度腐蚀操作，可表示为：

$I_{min}\left(x\right)=\underset{y\&Element;\mathrm{\&Omega;}\left(x\right)}{\min }\left(\underset{c\&Element;\{R,G,B\}}{\min }I\right(y\left)\right)$

式中，c∈{R,G,B}分别表示R、G、B颜色通道；Ω(x)表示以像素x为中心的邻域，其尺寸自适应地与图像宽和高中的最小值成比例，I_min(x)为彩色图像的最小颜色分量的最小值，I(y)为彩色图像的最小颜色分量。

然后，采用Canny算子对彩色图像的灰度分量进行边缘检测，对边缘图像进行分块统计，计算各图像块中边缘像素数所占的比例，记为Nedge(x)。同时满足I_min(x)>T_v且Nedge(x)<T_p的像素集合S(x)指定为候选天空区域，其中T_v为亮度阈值，T_p为平坦阈值(低频阈值)，二者都根据不同情况自适应调整，为已知参数。

最后，将候选的天空区域S(x)中的最大像素值确定为天空光强度值A的估计值,即A＝maxS(x),但是为了保证任何条件下天空复原图像不失真，通常需要进一步修正，即A＝αmaxS(x)，α的值根据不同场景的需要来设定，为已知，本实施例设定为0.85。

第二步：基于图像加权融合的V(x)估计

S2.1利用雾图形成的物理特性进行粗估计：由于大气光强度值对成像的作用随着场景到观测点的距离增大而增加，从视觉效果来看，图像中的雾气浓度逐渐增大，图像的亮度逐渐增加。假设在雾天环境下的成像过程中，色彩是由物体对光的3个颜色分量不同吸收和反射特性生成，对于颜色鲜艳的彩色物体或者颜色单一的灰度物体，其中至少一个颜色分量的反射系数较小，亮度较低。定义大气耗散函数为V(x)，因此，根据雾图形成的物理特性，可用有雾图像中三通道的最小颜色分量对V(x)进行初步估计，即：

$V_m\left(x\right)=\underset{c\&Element;\{R,G,B\}}{\min }{L}^c\left(x\right)$

其中，V_m(x)为大气耗散函数的初步估计值，L^c(x)为有雾图像中的三通道的颜色分量。大气耗散函数的初步估计如图1(a)所示，该结果包含了丰富的边缘细节信息以及建筑物楼顶等白色物体，其亮度值并不能准确表示雾气浓度，因此需要进一步消除V_m(x)中不必要的纹理细节信息以及白色目标的影响。

S2.2基于图像融合对大气耗散函数V(x)进行准确估算。

对V_m(x)采用形态学灰度开运算操作，保持大面积明亮区域和整体的灰度级不变，得到的结果表示为V_op(x)，如图l(b)所示。V_op(x)的亮度近似体现了原有雾图像的雾气浓度信息，但是边缘模糊并且块效应严重。根据Tarel的理论，在估计V(x)时，应该保护其沿梯度方向的跳变，即有雾图像的高频区域应该保留边缘，因此采用V_m(x)的边缘轮廓信息；而在有雾图像的低频部分，图像的亮度变化比较平缓，无需体现细节，故应该保持V_op(x)的亮度。基于图像本身的性质，图像的高低频率可以通过空间邻域内的灰度值方差来表示，所以本发明根据图像的方差信息来分配权重，进行选择性融合。

设图像V_m(x)的局部方差为D(x)，局部均值为E(x)，则两者之间的关系为：

D(x)＝E(x²)-E²(x)

利用以上公式对大气耗散函数V(x)的初步估计求取方差，并采用对数曲线的逼近方法，将D(x)截断至[0，1]区间，得到结果如图1(c)所示。图像中的亮区和暗区分别表示高频和低频。此时，大气耗散函数V(x)为V_m(x)与V_m(x)的加权之和，即：

V(x)＝D(x)V_m(x)+(1-D(x)V_op(x)) (3)

最后，为了使融合图像在边缘处与平坦区域之间的衔接更自然，使用边缘保护滤波器对式(3)得到的结果进行简单平滑。同时本实施例采用域变换递归滤波器(reeursive filter)，该滤波方法能够保护沿各个方向的梯度跳变，同时进行良好的平滑操作。最终得到融合后的大气耗散函数如图1(d)所示。从图1(d)中可以看出，V(x)保留了V_m(x)的区域边缘特性，局部平缓的亮度信息则与V_op(x)相似，并且在边缘区域与平缓区域之间自然过渡，整体符合雾气浓度的分布特性。

第三步：结合雾化图像的光学模型，根据估计的大气光强度值A、大气耗散函数V(x)以及有雾的图像，计算出无雾的图像；

在求得大气耗散函数V(x)和大气光强度值A的基础上，可依据式(1)(2)直接恢复出场景在理想条件下的无雾图像：

$J\left(x\right)=\frac{A\left(I\right(x)-V\left(x\right))}{A-V\left(x\right)}---\left(4\right)$

由于雾天图像的像素值一般小于大气光强度值，经上式复原后的图像整体亮度和色调在视觉上偏暗，所以有必要进行调整以提高图像质量。

第四步：基于人眼视觉特性调整色调，计算出无雾的图像；

最后为了更加有利于观察者进行图像观测和分析，需要根据人眼视觉特性来调整图像亮度。人眼的主观亮度是人体视觉系统感觉到的亮度，是物体反射的光线照射到人眼的视网膜上视神经受到刺激而获取的。根据韦伯·费希纳定律(Weber.Fechner law)，主观亮度感觉L_d和客观亮度L₀呈对数线性关系，即L_d＝βlgL₀+β₀，式中β、β₀均为常数。主观亮度与客观亮度的关系如图2(a)所示，利用该曲线进行复原图像的色调调整。利用简单函数对图2(a)关系曲线进行拟合，得到函数：

$L_d=\frac{L_0(255+k)}{L_0+k}---\left(5\right)$

式中，k为调整系数，取值越小则调整程度越大，调整曲线如图2(b)所示。

由于雾天成像受环境和光照的不同影响，部分图像本身亮度值偏低，经复原后整体视觉效果更暗，需要调整的程度相对高一些。在实施例中，k根据大气耗散函数的平均值来自动获取，即自适应地取k＝1.5mean(V(x))，mean()为求平均。

根据式(4)的复原结果，代入式(5)，即可得到最终调整后的复原图像。

如图3、4所示，分别为本实施例恢复出的无雾图像，图5为各种现行先进算法的比对图像，可以发现本实施例获得的去雾效果可以优于He Kaiming，Meng等人现行的算法。图6是实施例所述算法整体流程图。

同时本发明算法由于大多以数学运算为主，所以具有快速，运算效率高等特点。

本发明中提出的方法实际上可嵌入FPGA实现，开发具有实时去雾功能的相机或摄像机。以上实施例仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于上述实施例所述的实现系统和具体实施步骤。因此，仅对上述实施例中具体的公式及算法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明的保护范围。

Claims (10)

1.一种基于图像融合的快速去雾算法，其特征在于，包括以下步骤：

S1.基于物理模型天空光强度值A的估计；

S2.基于图像加权融合的大气耗散函数V(x)估计；

S3.结合雾化图像的光学模型，根据估计的天空光强度值A、大气耗散函数V(x)以及有雾的图像，计算出无雾的图像。

2.根据权利要求1所述的基于图像融合的快速去雾算法，其特征在于，步骤S1的估计过程如下：

S1.1对彩色图像的最小颜色分量进行最小值滤波，可表示为：

$I_{\min }\left(x\right)=\underset{y\&Element;\mathrm{\&Omega;}\left(x\right)}{\min }\left(\underset{c\&Element;\{R,G,B\}}{\min }I\right(y\left)\right)$

式中，c∈{R,G,B}分别表示R、G、B颜色通道；Ω(x)表示以像素x为中心的邻域，I_min(x)为彩色图像的最小颜色分量的最小值，I(y)为彩色图像的最小颜色分量；

S1.2采用Canny算子对彩色图像的灰度分量进行边缘检测，对边缘图像进行分块统计，计算各图像块中边缘像素数所占的比例,记为Nedge(x)，同时满足I_min(x)>T_v且Nedge(x)<T_p的像素集合S(x)指定为候选天空区域，其中T_v为亮度阈值，T_p为平坦阈值；

S1.3将候选天空区域S(x)中的最大像素值确定为大气光强度值A的估计值,即A＝max S(x)。

3.根据权利要求2所述的基于图像融合的快速去雾算法，其特征在于，步骤S1.3中，为了保证天空复原图像不失真，对大气光强度值A的估计值进行修正即令A＝αmax S(x)，α为设定系数。

4.根据权利要求3所述的基于图像融合的快速去雾算法，其特征在于，步骤S1.3中，α设定为0.85。

5.根据权利要求1所述的基于图像融合的快速去雾算法，其特征在于，步骤S2的方法为：

S2.1利用有雾图像形成的物理特性进行粗估计；

根据有雾图像形成的物理特性，可用有雾图像中三通道的最小颜色分量对大气耗散函数V(x)进行初步估计，即：

$V_m\left(x\right)=\underset{c\&Element;\{R,G,B\}}{\min }{L}^c\left(x\right)$

其中，V_m(x)为大气耗散函数的初步估计值，L^c(x)为有雾图像中的三通道的颜色分量；

S2.2基于图像融合对大气耗散函数V(x)进行准确估算；

设图像V_m(x)的局部方差为D(x)，局部均值为E(x)，则两者之间的关系为:

D(x)＝E(x²)-E²(x)

利用上述公式对大气耗散函数V(x)的初步估计求取方差，并采用对数曲线的逼近方法，将D(x)截断至[0，1]区间；此时，大气耗散函数V(x)为V_m(x)与V_m(x)的加权之和，即：

V(x)＝D(x)Vm(x)+(1-D(x)V_op(x)) (1)。

6.根据权利要求5所述的基于图像融合的快速去雾算法，其特征在于，步骤S2.2中，最后使用边缘保护滤波器对式(1)得到的结果进行平滑。

7.根据权利要求6所述的基于图像融合的快速去雾算法，其特征在于，步骤S2.2中，最后使用域变换递归滤波器对式(1)得到的结果进行平滑。

8.根据权利要求1所述的基于图像融合的快速去雾算法，其特征在于，步骤S3中，根据光在雾天传输的物理特性，在计算机视觉和图形学领域中，雾化图像的光学模型可描述如下：

I(x)＝J(x)t(x)+A(1-t(x))， (2)

式中：I(x)为含雾图像即输入图像；J(x)为场景辐射率即恢复出的无雾图像；t(x)场景透射率；A为天空光强度值；上式中等式右边第1项为直接衰减，表示物体表面反射的光线在空气中传播衰减后的辐射强度；第2项为大气耗散函数V(x)即

V(x)＝A(1-t(x)) (3)

在求得大气耗散函数V(x)和大气光强度值A的基础上，可依据式(2)和(3)直接恢复出场景在理想条件下的无雾图像：

$J\left(x\right)=\frac{A\left(I\right(x)-V(x\left)\right)}{A-V\left(x\right)}---\left(4\right).$

9.根据权利要求1至8中任一权利要求所述的基于图像融合的快速去雾算法，其特征在于，还包括步骤S4，基于人眼视觉特性调整色调，得到调整后的无雾图像。

10.根据权利要求9所述的基于图像融合的快速去雾算法，其特征在于，步骤S4中，根据韦伯·费希纳定律，主观亮度L_d和客观亮度L₀呈对数线性关系，即L_d＝βlgL₀+β₀，式中β、β₀均为常数；

利用简单函数对主观亮度L_d和客观亮度L₀的关系曲线进行拟合，得到函数：

$L_d=\frac{L_0(255+k)}{L_0+k}---\left(5\right)$

式(5)中，k为调整系数，k根据大气耗散函数的平均值来自动获取，即自适应地取k＝1.5mean(V(x))，mean()为求平均；

将步骤S3中最终得到的无雾的图像，代入式(5)，即可得到调整后的无雾图像。