CN101908210A - 彩色图像去雾处理方法和系统 - Google Patents

Abstract

本发明公开了彩色图像去雾处理方法和系统，以实现降质视频/图像的真实场景复原。上述方法包括：获取降质图像各像素点的颜色分量；对降质图像的天空亮度的各颜色分量进行估值，得到天空亮度颜色分量估计值；利用天空亮度颜色分量估计值和各像素点的颜色分量对上述降质图像进行处理，得到粗估计的大气耗散图像；对粗估计的大气耗散图像进行双边滤波，得到经双边滤波处理的大气耗散图像；利用经双边滤波处理的大气耗散图像对上述降质图像进行去雾还原处理。可见，本发明的技术方案对彩色降质图像进行处理得到大气耗散图像，并对天空亮度进行了估计，最后根据天空亮度估计值以及上述大气耗散图像对真实场景图像进行复原，从而达到了去雾效果。

Description

彩色图像去雾处理方法和系统

技术领域

本发明涉及图像处理领域，更具体地说，涉及彩色图像去雾处理方法和系统。

背景技术

在雾、霾等天气条件下，大气中悬浮的大量微小水滴和气溶胶的散射作用会使视频/图像严重降质(请参见图1)，因此，需要对降质视频/图像进行处理，恢复出真实场景图像。降质视频与降质图像的处理基本相同，这是因为视频是由多帧图像组成，只要分别对组成视频的每一帧图像进行处理，即可实现对降质视频的处理。

而一幅在雾、霾等天气条件下拍摄的降质图像可视为由天空亮度、真实场景图像和大气耗散图像共同作用的结果，且三者相互间没有关联。这就为降质图像/视频真实场景的复原提供了契机。

发明内容

有鉴于此，本发明实施例提供了彩色图像去雾处理方法和系统，以实现降质视频/图像的真实场景复原。

为了实现上述目的，本发明实施例提供了如下方案：

一种彩色图像去雾处理方法，包括：

获取降质图像各像素点的颜色分量；

对所述降质图像的天空亮度的各颜色分量进行估值，得到天空亮度颜色分量估计值

利用所述和所述各像素点的颜色分量对上述降质图像进行处理，得到粗估计的大气耗散图像；

对所述粗估计的大气耗散图像进行双边滤波，得到经双边滤波处理的大气耗散图像；

利用经双边滤波处理的大气耗散图像对所述降质图像进行去雾还原处理。

优选的，所述利用

和所述各像素点的颜色分量对所述降质图像进行处理，得到粗估计的大气耗散图像的具体实现方式为：

将各像素点的颜色分量I_c(x)与

的比值与1之间的最小值，作为相应像素点经校正后的颜色分量

其中，x表示所述降质图像中任一像素点的空间坐标；

将每一像素点经校正后的颜色分量中的最小值作为该像素点对应的大气耗散粗估计值，由所述大气耗散粗估计值得到对应的粗估计的大气耗散图像。

优选的，所述利用经双边滤波处理的大气耗散图像对所述降质图像进行去雾还原处理的具体实现方式为：

利用公式

对所述降质图像进行去雾还原处理，其中，ρ_c(x)表示场景反照率颜色分量，

表示经双边滤波处理的大气耗散图像的各像素点所对应的大气耗散值，κ的取值范围为0.9～1。

优选的，所述对所述降质图像的天空亮度进行估值，得到天空亮度颜色分量估计值的具体实现方式为：

分别以所述降质图像中每一像素点为中心设定其邻域，选取位于所述邻域范围内的各像素点的颜色分量中的最小值，作为所述中心的中心最小值；

对所述降质图像进行边缘检测，分别以每一像素点为中心确定包括所述中心的图像块，计算在所述图像块内检测出的边缘所包含的像素数所占的比例；

将边缘所包含的像素数所占的比例不大于预设平坦阈值，且中心最小值不小于预设亮度阈值的像素点所组成的区域确定为候选天空区域；

当所述候选天空区域的数量为多个时，将最接近所述降质图像上方的候选天空区域确定为天空区域，否则，直接将所述候选天空区域确定为天空区域；

选取所述天空区域内各颜色分量中的最大像素值作为相应的天空亮度颜色分量估计值

优选的，所述对所述粗估计的大气耗散图像进行双边滤波的具体实现方式为：对所述粗估计的大气耗散图像进行高斯型双边滤波。

优选的，所述预设平坦阈值为0.001。

优选的，所述预设亮度阈值为所述中心最小值中的最大值的95％。

一种彩色图像去雾处理系统，包括：

颜色分量获取单元，用于获取降质图像各像素点的颜色分量；

天空亮度估值单元，用于对所述降质图像天空亮度的各颜色分量进行估值，得到天空亮度颜色分量估计值

大气耗散图像粗估计单元，用于利用所述

和所述各像素点的颜色分量对所述降质图像进行处理，得到粗估计的大气耗散图像；

大气耗散图像细估计单元，用于对所述粗估计的大气耗散图像进行双边滤波，得到经双边滤波处理的大气耗散图像；

反照率恢复单元，用于经双边滤波处理的大气耗散图像对所述降质图像进行去雾还原处理。

优选的，所述大气耗散图像粗估计单元包括：

校正子单元，用于将各像素点的颜色分量I_c(x)与的比值与1之间的最小值，作为相应像素点经校正后的颜色分量

其中，x表示所述降质图像中任一像素点的空间坐标；

粗估计子单元，用于将每一像素点经校正后的颜色分量中的最小值作为该像素点对应的大气耗散粗估计值，由所述大气耗散粗估计值得到对应的粗估计的大气耗散图像。

优选的，所述天空亮度估值单元包括：

中心最小值获取子单元，用于分别以所述降质图像中每一像素点为中心设定其邻域，选取位于所述邻域范围内的各像素点的颜色分量中的最小值，作为所述中心的中心最小值；

比例获取子单元，用于对所述降质图像进行边缘检测，分别以每一像素点为中心确定包括所述中心的图像块，计算在所述图像块内检测出的边缘所包含的像素数所占的比例；

候选天空区域获取子单元，用于将边缘所包含的像素数所占的比例不大于预设平坦阈值，且中心最小值不小于预设亮度阈值的像素点所组成的区域确定为候选天空区域；

天空区域选取子单元，用于当所述候选天空区域的数量为多个时，将最接近所述降质图像上方的候选天空区域确定为天空区域，否则，直接将所述候选天空区域确定为天空区域；

天空亮度值估计子单元，用于选取所述天空区域内各颜色分量中的最大像素值作为相应的天空亮度颜色分量估计值

可见，本发明实施例所提供的技术方案对彩色降质图像进行处理得到大气耗散图像，并对天空亮度进行了估计，最后根据天空亮度估计值以及上述大气耗散图像对彩色降质图像的真实场景图像进行复原，从而达到了对彩色降质视频/图像的去雾效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为雾、霾天气下拍摄的降质图像；

图2为本发明实施例所提供的彩色图像去雾处理方法的流程图；

图3为本发明实施例所提供的彩色图像去雾处理方法的另一流程图；

图4为本发明实施例所提供的彩色图像去雾处理方法的又一流程图；

图5为本发明实施例所提供的彩色图像去雾处理方法的又一流程图；

图6为本发明实施例所提供的图1所示图像的边缘图像；

图7为本发明实施例所提供的彩色图像去雾处理方法的又一流程图；

图8为本发明实施例所提供的去雾处理后的图像；

图9为图1所示图像对应的饱和度分量的直方图；

图10为图8所示图像对应的饱和度分量的直方图；

图11为图1所示图像对应的色调极坐标直方图；

图12为图8所示图像对应的色调极坐标直方图；

图13为本发明实施例所提供的彩色图像去雾处理系统结构示意图；

图14为本发明实施例所提供的彩色图像去雾处理系统另一结构示意图；

图15为本发明实施例所提供的彩色图像去雾处理系统另一结构示意图。

具体实施方式

为了引用和清楚起见，下文中使用的技术名词、简写或缩写总结如下：

景深：场景中物体到成像设备之间的距离；

连通分量：令S代表一幅图像中像素的子集。如果在S中全部像素之间存在一个通路，则可以说任两个像素p和q在S中是连通的。对于S中的任何像素p，S中连通到该像素的像素集称为S的连通分量。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一幅彩色图像由多个像素点组成，每一像素点的像素值包括多种颜色分量，即该像素点在每一颜色通道中都具有灰度值。通常，在雾、霾等天气条件下窄波段摄像机所拍摄彩色降质图像I(x)的单色大气散射模型可用公式1表示：

I(x)＝Aρ(x)e^-βd(x)+A(1-e^-βd(x))                    (1)

其中，x表示任一像素点的空间坐标，A表示天空亮度，ρ(x)表示x点的场景反照率，d(x)表示x点的景深，β是大气散射系数。Aρ(x)e^-βd(x)为衰减模型，而A(1-e^-βd(x))为环境光模型，二者叠加则为上述单色大气散射模型。

I(x)包括多个颜色分量，以R(红)、G(绿)、B(蓝)为例，在一幅彩色图像中，每一像素点的像素值由不同的RGB颜色分量值决定(如无特殊声明，以下所有实施例将以RGB颜色分量为对象对本发明的技术方案进行阐述)。或者也可以说，每一像素点最终呈现的颜色由该像素点对应的RGB通道的灰度值(RGB通道的灰度值即为RGB颜色分量值)来共同决定：假定RGB三通道的灰度值的取值范围为0～255，那么，在某一像素点三个通道的灰度值相等时，该像素点显示出的颜色为白色、黑色或灰色。例如，三通道灰度值分别为255(R)、255(G)、255(B)时，显示出白色，而三通道的灰度值分别为0(R)、0(G)、0(B)时，显示出黑色；当三通道的灰度值分别为255(R)、0(G)、0(B)时，显示出红色。

上述提及的颜色分量I_c(x)可用公式2表示：

I_c(x)＝A_cρ_c(x)e^-βd(x)+A_c(1-e^-βd(x))                (2)

其中，c表示颜色通道(在本发明所有描述中，如无特殊声明，均以c表示颜色通道)，c＝{R，G，B}，A_c表示天空亮度的颜色分量，ρ_c(x)表示x点的场景反照率的颜色分量。

如将1-e^-βd(x)用大气耗散图像V(x)替代(即V(x)＝1-e^-βd(x))，则公式1可变换为公式3：

I(x)＝Aρ(x)(1-V(x))+AV(x)                            (3)

相应的，公式2可变换为公式4：

I_c(x)＝A_cρ_c(x)(1-V(x))+A_cV(x)                        (4)

其中，V(x)是仅关于景深d(x)的增函数，0＜V(x)＜1。

需要注意的是，公式1至4其成像是灰度图像，也就是说对彩色图像的每个颜色分量单独处理，因此上述I(x)、A、ρ(x)均为三维向量，即在红、绿、蓝三个通道上都有分量，而d(x)、V(x)为标量，至于I_c(x)、A_c、ρ_c(x)则分别对应上述I(x)、A、ρ(x)在某一通道的颜色分量。另外，上述I(x)、I_c(x)、d(x)、V(x)、ρ_c(x)以及ρ(x)，从整幅图像来讲是矩阵，但对于某个特定点来讲，I(x)、I_c(x)、d(x)、V(x)、ρ(x)以及ρ_c(x)又可表示具体的数值。

前已述及，降质图像可视为由天空亮度、真实场景图像和大气耗散图像共同作用的结果。上述ρ(x)(或三通道对应的ρ_c(x))即与真实场景图像相映射，对降质视频/图像的处理，可视为对彩色降质图像中每一像素点对应的ρ(x)的取值进行求解的过程。由于降质视频与降质图像的处理基本相同，因此如无特别声明，以下所有实施例将以降质图像处理为对象对本发明的技术方案进行阐述。

本实施例公开了一种彩色图像去雾处理方法，以实现降质视频/图像的真实场景复原。

参见图2，上述方法至少包括以下步骤：

步骤S1、获取降质图像各像素点的颜色分量I_c(x)；

对于单个像素点来说，其所对应的R、G、B颜色分量值是确定的。由于图像是二维空间，其宽为W个像素，高为H个像素，因此I_c(x)中的x代表矢量，x也可用(m，n)表示，其中，0≤m≤W-1，0≤n≤H-1，m、n、W、H均为非负整数。

步骤S2、对降质图像的天空亮度的各颜色分量A_c进行估值，得到天空亮度颜色分量估计值

步骤S3、利用

和上述各像素点的颜色分量I_c(x)对上述降质图像进行处理，得到粗估计的大气耗散图像；

上述对粗估计的大气耗散图像的获取，可先利用

和上述各像素点的颜色分量I_c(x)对上述降质图像进行处理以获取粗估计的大气传播图像t(x)，由于大气耗散图像也可表示为1-t(x)，因此获取了粗估计的大气传播图像后，只要经过简单转化就可得到粗估计的大气传播图像。在本发明以后的实施例中，还将对步骤S3的具体实现进行详细描述。

步骤S4、对所述粗估计的大气耗散图像进行双边滤波，得到经双边滤波处理的大气耗散图像；

而经双边滤波处理的大气耗散图像，可用各像素点对应的大气耗散颜色分量

来表示。

步骤S5、利用经双边滤波处理的大气耗散图像对所述降质图像进行去雾还原处理。

可见，本发明实施例所提供的技术方案对彩色降质图像进行处理得到大气耗散图像，并对天空亮度进行了估计，最后根据天空亮度估计值以及上述大气耗散图像对彩色降质图像的真实场景图像进行复原，从而达到了对彩色降质视频/图像的去雾效果。另外，步骤S4中的双边滤波，可对与当前像素点位置相近、且数值相差不大的像素点赋以较大的权重，而对数值相差较大的像素点，尽管位置上很近也赋以较小的权重，从而可有效地抑制物体边缘处由于景深突变而引入的Halo效应。

在本发明其他实施例中，参见图3，以上实施例中的步骤S3具体实现步骤可为：

步骤S31、将各像素点的颜色分量与的比值

与1之间的最小值作为相应像素点经校正后的颜色分量

因而，公式4可以简化为公式5：

$I_c^{\′}\left(x\right)={\mathrm{\ρ}}_c\left(x\right)(1-V\left(x\right))+V\left(x\right)---\left(5\right)$

步骤S32、将每一像素点经校正后的颜色分量中的最小值作为该像素点对应的大气耗散粗估计值

由于雾、霾的存在，随着场景到成像设备距离的增加，捕获的图像像素值逐渐变亮，因此，图像中的雾可用来作为估计大气耗散图像V(x)的依据。大气耗散图像V(x)受两个条件的约束：1)1≥V(x)≥0，即V(x)为正值；2)

即V(x)不大于

中的最小值。因此，可使用

中的最小值来粗略估计大气耗散图像V(x)在各像素点的取值。

举例来说，假设6个像素点的颜色分量I_c(x)的取值如下表2所示：

表2

Ic(x)
							R	50	60	70	240	90	110
G	100	60	80	50	255	170
							B	90	40	255	80	100	160

当天空亮度A_c被估计为(230，250，230)时，

的取值如下表3：

表3

由表3可见，括号中大于1的值(1.04、1.02、1.11)都校正到1。

相应的，

的取值如下表4所示：

表4

而在本实施例中，步骤S5的具体实现方式可为：

步骤S51、利用公式

对ρ_c(x)进行求解。

由于步骤S31中将中的最小值作为对应的

的值，因此，

和

的差值很可能接近0，而天空区域对应的

趋于，在这种情形下，直接使用由公式5变形获得的

来恢复场景反照率会导致天空区域的颜色严重失真。为了避免0/0型的不确定值(或者非常小的两数相除)，参见图4，在本发明另一实施例中，步骤S5的具体实现方式可为：

步骤S52、以

对ρ_c(x)进行求解。

与步骤S51相比，步骤S52的公式中引入一个因子κ。κ的取值范围为0.9～1，其取值依赖于上述降质图像中天空区域所占的比例。平坦的天空区域由于压缩和镜头光学结构等因素可能造成伪轮廓，因此，为了图像的显示效果，天空区域越大，κ取值应越小。

以上实施例主要对大气耗散值的估计进行了介绍，下面的实施例将对A_c的估值进行介绍。

在本实施例中，参见图5，步骤S2具体可以以下步骤加以实现：

步骤S21、分别以所述降质图像中每一像素点为中心设定其邻域，选取位于所述邻域范围内的各像素点的颜色分量中的最小值，作为所述中心的中心最小值I_min(x)；

步骤S21可用公式6来表示：

$I_{\min }\left(x\right)=\underset{y\∈{\mathrm{\Ω}}_1\left(x\right)}{\min }\left(\underset{c\∈\{R,G,B\}}{\min }I\left(y\right)\right)---\left(6\right)$

其中，Ω₁(x)表示以x所表示像素点为中心的邻域，在本实施例中，Ω₁(x)为一正方形区域，该正方形区域的边长可等于上述W和H中最小值的0.025。

而在求取I_min(x)时，存在三种方式：方式一、先对邻域范围内三个通道分别选取三个最小值，再从上述三个最小值中选取出最小的数值作为中心最小值；方式二、先选出领域范围内每一像素点的最小颜色分量，再从上述多个最小颜色分量中选取出最小的数值作为中心最小值。方式三、不分通道，直接从多个灰度值中选择最小的数值作为中心最小值。

现对方式一举例加以说明，假定Ω₁(x)内有9个像素点，各个像素点的颜色分量I_c(x)如下表5所示：

表5

Ic(x)
										R	50	60	80	75	60	100	100	102	30

G	11	50	37	58	80	105	85	47	100
										B	105	70	90	100	58	90	105	85	33

在求取中心最小值，既可分别选出RGB通道中各自的最小值-30、11和33，再从30、11和33中选取11作为中心的中心最小值。

步骤S22、对所述降质图像进行边缘检测，分别以每一像素点为中心确定包括所述中心的图像块，计算在所述图像块内检测出的边缘所包含的像素数所占的比例N_edge(x)；

步骤S22的具体实现方式为：

对所述降质图像进行边缘检测(对于图1所示的降质图像，其边缘检测图像可参见图6)，以x点为例，以x点为中心设定邻域Ω₂(x)。Ω₂(x)即为以x点为中心的图像块，统计在Ω₂(x)内检测出的边缘所包含的像素点数与整个Ω₂(x)内所包含像素点总数之间的比例N_edge(x)。Ω₂(x)与上述Ω₁(x)所包括的像素点数可以相同也可以不同，在本实施例中，Ω₂(x)和Ω₁(x)中所包括的像素点数相同。本领域技术人员可根据需要进行灵活设计，在此不作赘述。

在求取各像素点的N_edge(x)时，既可按一定顺序对降质图像的所有像素点对应的N_edge(x)进行计算，也可以同时对多个像素点进行并行处理，以缩短处理时间。

对某一图像块来说，其边缘表明图像块内部各像素点的灰度值存在较大的差异，而一图像块检测出的边缘越多，说明其灰度越不平坦。因此，N_edge(x)可反映出图像块内的灰度平坦性，N_edge(x)越大，说明该图像块的灰度平坦性越差。

步骤S23、将边缘像素数所占的比例不大于预设平坦阈值，且中心最小值不小于预设亮度阈值的像素点所组成的区域确定为候选天空区域；

步骤S24、当所述候选天空区域的数量为多个时，将最接近所述降质图像上方的候选天空区域确定为天空区域，否则，直接将所述候选天空区域确定为天空区域；

步骤S25、选取所述天空区域内各颜色分量中的最大像素值作为A_c的估计值

现有图像处理技术中，一般直接用最亮的像素点对应的灰度值来估计A_c，这种估计易受到高亮度孤立点或白色物体的影响，从而导致求解出的ρ_c(x)与真实场景图像对应的实际场景反照率存在较大的偏差。在图像中，天空具有灰度平坦、亮度较高，并且一般位于图像上方的特性。在本发明实施例中，对天空区域的选取亦遵循了上述特性：候选天空区域内各像素点的中心最小值均不小于预设亮度阈值，也即候选天空区域内各像素点的灰度值(即亮度)的均值都较高，遵循了天空亮度较高的特性；而候选天空区域的边缘像素数所占的比例不大于预设平坦阈值，则遵循了天空灰度平坦的特性。在选取过程中，高亮度孤立点已经排除在选择之列，也在一定程度上减少了将白色物体误当作天空区域的机率；而当上述即候选天空区域为多个时，最接近降质图像上方的即候选天空区域被最终确定为天空区域，则遵循了天空一般位于图像上方的特性，进一步降低误检的概率。

需要指出的是，步骤S21中对Ω₁(x)的选取，还可将上述W和H中最小值除以80并取整得到r，使用2r+1作为正方形区域的边长。以像素数为320×240的彩色图像为例，可以x所表示像素点为中心画一边长为7(240/80＝3)的正方形区域，该正方形区域即为邻域Ω₁(x)。而Ω₁(x)的选取将影响后续对候选天空区域的判定。这是因为，如果Ω₁(x)的范围大于实际天空区域的范围，那么该领域内的中心最小值将会偏低，从而导致其小于预设亮度阈值被过滤掉。一般情况下，Ω₁(x)的最小边长为3个像素点所占的长度，也即在邻域内至少有9个像素点。当然，Ω₁(x)的边长依实际要求还可有其他的选择，在具体实现时，本领域技术人员可进行灵活设计，只要尽可能避免误选和漏选即可，在此不作赘述。

本领域普通技术人员可以理解上述所有实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，所述程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

下面将以基于计算机的视频处理为例对本发明公开的去雾处理方法进行更详细的阐述。

参见图7，本实施例所提供的去雾处理方法包括：

步骤S101：从彩色降质的视频序列中读取一帧待处理的图像；

步骤S102、获取该帧图像中三基色颜色分量I_c(x)；

步骤S103、获取该帧图像中每一像素点的中心最小值I_min(x)，其中，

$I_{\min }\left(x\right)=\underset{y\∈{\mathrm{\Ω}}_1\left(x\right)}{\min }\left(\underset{c\∈\{R,G,B\}}{\min }I\left(y\right)\right);$

在本实施例中，对I_min(x)的求取，是先选出领域范围内每一像素点的最小颜色分量，再从上述多个最小颜色分量中选取出最小的数值作为中心最小值。

现举一例加以说明，假定Ω₁(x)内有9个像素点，各个像素点的颜色分量如上表5所示，则先选出各像素点的最小颜色分量(请参见下表6)：

表6

11

50

37

58

58

90

85

47

30

然后从上表6中选出最小的数值11作为中心最小值。

步骤S104、将该帧图像转换为灰度图像，利用Canny算子进行边缘检测，对检测出的边缘图像进行分块统计，计算各图像块中边缘像素数所占的比例，记为N_edge(x)；

步骤S105、将边缘像素数所占的比例N_edge(x)不大于预设平坦阈值T_p，且中心最小值I_min(x)不小于预设亮度阈值T_v的像素点所组成的区域确定为候选天空区域；

在本实施例中，T_v为降质图像中所有像素点的中心最小值中的最大值的95％，T_p为0.001。

在具体实现时，计算机先对N_edge(x)不大于T_p的像素点标为1，而对N_edge(x)大于T_p的像素点标为0，得到二值化图像S₁。然后，对I_min(x)不小于T_v的像素点标为1，而对I_min(x)小于T_v的像素点标为0，得到二值化图像S₂。再将S₁与S₂进行与操作，得到二值化图像S₃。二值化图像S₃中标1的各像素点所组成区域即为候选天空区域。

步骤S106、对候选天空区域标记连通分量；

一个候选天空区域对应一个连通分量，计算机对步骤S105中的二值化图像S₃中的连通分量进行标记，以便于后续的扫描识别。

在实际中，对连通分量进行标记的目的是方便计算机对不同的连通分量进行识别，一般情况下，可将二值化值为1的候选天空区域对应的连通分量，依次标记为1，2，…，n，n表示连通分量的个数。

步骤S107、选取从该帧图像上方向下扫描到的第一个带标记的连通分量作为天空区域，从该天空区域对应的各颜色分量中选取最大值作为A_c的估计值

也即，先分别选出天空区域内R、G、B通道各自的最大灰度值，将其作为A_c的估计值

S108、进行大气耗散图像的粗估计：取与1之间的最小值作为校正后的颜色分量

并将每一像素点经校正后的颜色分量中的最小值作为该像素点对应的

(表示的图像为灰度图像)；

可用公式

来表示对

的求取过程。显然，在三通道

所表示的彩色图像中，天空亮度归一化为(1，1，1)^T。

S109、进行大气耗散图像的细估计：

细估计是对经步骤S108粗估计后的大气耗散图像进行双边滤波平滑处理。双边滤波是一种边缘保持的低通或平滑滤波。本实施例主要对经粗估计后的大气耗散图像进行了高斯型双边滤波，以得到滤波后的大气耗散值

步骤S109可用公式7：

$\hat{V}\left(x\right)=\frac{1}{W_p}\underset{y\∈S}{\mathrm{\Σ}}{G}_{{\mathrm{\σ}}_s}\left(\right||x-y|\left|\right)G_{{\mathrm{\σ}}_r}\left(\right|\tilde{V}\left(x\right)-\tilde{V}\left(y\right)\left|\right)\tilde{V}\left(y\right)---\left(7\right)$

来实现，其中，x、y表示像素点的空间坐标，

和

为两个高斯函数，S为空间域，R为强度域(即颜色分量域/灰度值域)，σ_s为空间域高斯函数的尺寸，σ_r为强度域高斯函数的尺度，高斯函数的表达式为

W_p为归一化系数，

$W_p=\underset{y\∈S}{\mathrm{\Σ}}{G}_{{\mathrm{\σ}}_S}\left(\right||x-y|\left|\right)G_{{\mathrm{\σ}}_r}\left(\right|\tilde{V}\left(x\right)-\tilde{V}\left(y\right)\left|\right).$

在本实施例中，利用两个高斯平滑函数和

分别考察邻域像素点在位置(空间域)和数值(强度域)上与当前像素之间的相似性，获取邻域像素点的权重。

由于双边滤波是一种非线性滤波，空域卷积的快速算法不再适用。本实施例采用了快速高斯双边滤波算法对双边滤波加以实现-将双边滤波看作是在乘积空间S×R中的三维高斯滤波，并使用信号处理的框架来计算：首先对S和R进行降采样，构造降采样后的解空间，然后在高维空间使用低通滤波。降采样抵消了高维空间卷积操作的时间开销，并且没有明显的精度损失。最后通过线性插值来获得最终的双边滤波结果。

当然，上述

还可用其他函数代替，比如：

Huber函数：

$g_{\mathrm{\σ}}\left(x\right)=\left\{\begin{array}{cc}\frac{1}{\mathrm{\σ}},& \left|x\right|\≤\mathrm{\σ}\\ \frac{1}{\left|x\right|},& \mathrm{otherwise}\end{array}\right.$

Tukey函数：

$g_{\mathrm{\σ}}\left(x\right)=\left\{\begin{array}{cc}\frac{1}{2}{[1-{\left(\frac{x}{\mathrm{\σ}}\right)}^2]}^2,& \left|x\right|\≤\mathrm{\σ}\\ 0,& \mathrm{otherwise}\end{array}\right.$

Lorentz函数：

$g_{\mathrm{\σ}}\left(x\right)=\frac{2}{2+\frac{x^2}{{\mathrm{\σ}}^2}}.$

S110、利用公式

对ρ_c(x)进行求解，以实现对真实场景的复原(在本实施例中，κ取0.95)。以图1所示的降质图像为例，本发明的去雾处理方法所获得的去雾图像可参见图8。

S111、判断视频序列中所有的图像帧是否均处理完毕，如果否，转到步骤S101，否则，结束。

在雾、霾等天气条件下拍摄的降质图像/视频序列，其饱和度和对比度均较真实场景低。图像去雾处理方法即需要恢复真实场景的视见度，并同时保持真实场景的真实颜色。

图9为图1所示降质图像饱和度分量的直方图(直方图中横坐标为饱和度，纵坐标是概率)，图10为利用本发明所提供的去雾处理方法对图1所示降质图像进行去雾处理后得到的图像(也即图8所示图像)饱和度分量的直方图，经对比可以看出，本发明提供的去雾处理方法提高了图像的饱和度，并且，两幅图像饱和度分量的直方图形状基本保持一致，这表明该方法同时保持了饱和度的自然特性。

而对比度可以通过方差来度量，对RGB图像进行主成分分析(Principle Component Analysis，PCA)，主成分的特征值就是其方差。图1所示降质图像的特征值分别为0.1597、0.0019、0.0003，而利用本发明所提供的去雾处理方法对其进行处理后得到的图像的特征值分别为7.7401、0.0103、0.0084。从上述特征值可以看出，经本发明提供的去雾处理方法处理后，图像有更大的方差，从而提高了其对比度。

至于颜色保持方面，可以色调极坐标直方图加以描述。图11为图1所示降质图像的色调极坐标直方图，图12为利用本发明所提供的去雾处理方法对图1所示降质图像进行处理后得到的图像(也即图8所示图像)的色调极坐标直方图。其中，色调用色度盘上关于红色轴的夹角来度量，色调值以角度表示，其取值范围为[0，360)。色调极坐标直方图在单位圆中表示图像所有色调出现的概率。经对比可以看出，在饱和度较高的区域，色调大体上保持一致。

综上可知，本发明所提供去雾处理方法在提高饱和度以及对比度的同时还保持了真实场景的真实颜色。

步骤S111：判断视频序列中的所有图像帧是否处理完毕，如果是，结束处理，如果否，转到步骤S101。

以上所有实施例中所提供的方法均可用于计算机视觉领域。计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，用电脑处理成为更适合人眼观察或传送给仪器检测的图像。为了提高计算机视觉的智能化，上述所有方法在进行图像处理之前，可加入“判断图像/视频是否为雾、霾天气下拍摄到的降质图像/视频”或“判断是否为雾、霾天气”的步骤，以决定是否转入降质图像处理。

另外，在上述所有实施例中，在获取降质图像各像素点的颜色分量时，还可将获取的灰度值取值范围在0～255之间的颜色分量除以255作为I_c(x)，然后再进行后续操作。

与之相对应，本发明实施例还提供了彩色图像去雾处理系统，图13示出了上述系统的一种结构，包括颜色分量获取单元1、天空亮度估值单元2、大气耗散值粗估计单元3、大气耗散值细估计单元4和反照率恢复单元5，其中：

颜色分量获取单元1，用于获取降质图像各像素点的颜色分量；

天空亮度估值单元2，用于对上述降质图像的天空亮度的各颜色分量进行估值，得到天空亮度颜色分量估计值

大气耗散图像粗估计单元3，用于利用所述

和所述各像素点的颜色分量对上述降质图像进行处理，得到粗估计的大气耗散图像；

大气耗散图像细估计单元4，用于对所述粗估计的大气耗散图像进行双边滤波，得到经双边滤波处理的大气耗散图像；其详细内容可参见本发明说明书的方法所对应的实施例。

反照率恢复单元5，用于利用经双边滤波处理的大气耗散图像对所述降质图像进行去雾还原处理。

在本发明另一实施例中，参见图14，上述实施例中的大气耗散图像粗估计单元可包括：

校正子单元31，用于将各像素点的颜色分量I_c(x)与

的比值与1之间的最小值，作为相应像素点经校正后的颜色分量

取值子单元32，用于将每一像素点经校正后的颜色分量中的最小值作为该像素点对应的大气耗散粗估计值，由上述大气耗散粗估计值得到对应的粗估计的大气耗散图像。其详细内容可参见本发明说明书的方法所对应的实施例。

相应的，反照率恢复单元5可使用公式

对ρ_c(x)进行求解。

在本发明另一实施例中，参见图15，上述天空亮度估值单元可包括：

中心最小值获取子单元21，用于分别以所述降质图像中每一像素点为中心设定其邻域，选取位于所述邻域范围内的各像素点的颜色分量中的最小值，作为所述中心的中心最小值；

比例获取子单元22，用于对所述降质图像进行边缘检测，分别以每一像素点为中心确定包括所述中心的图像块，计算在所述图像块内检测出的边缘所包含的像素数所占的比例；

候选天空区域获取子单元23，用于将边缘所包含的像素数所占的比例不大于预设平坦阈值，且中心最小值不小于预设亮度阈值的像素点所组成的区域确定为候选天空区域；

天空区域选取子单元24，用于当所述候选天空区域的数量为多个时，将最接近所述降质图像上方的候选天空区域确定为天空区域，否则，直接将所述候选天空区域确定为天空区域；

天空亮度值估计子单元25，用于选取所述天空区域内各颜色分量中的最大像素值作为相应的天空亮度颜色分量估计值

在上述系统实施例中，各单元的相应功能既可使用计算机程序也可使用硬件加以实现。例如，校正子单元31对于

的计算，在具体实现时，可分别对I_c(x)和取对数得到lnI_c(x)和

使用减法器将lnI_c(x)与

相减，再对相减的结果进行指数变换，得到

的取值，而在与1之间取最小值可使用数值比较器加以实现。同理，反照率恢复单元5的运算也可以使用与上述类似的实现方式加以实现。在此不作赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种彩色图像去雾处理方法，其特征在于，包括：

获取降质图像各像素点的颜色分量；

对所述降质图像的天空亮度的各颜色分量进行估值，得到天空亮度颜色分量估计值

利用所述

和所述各像素点的颜色分量对上述降质图像进行处理，得到粗估计的大气耗散图像；

对所述粗估计的大气耗散图像进行双边滤波，得到经双边滤波处理的大气耗散图像；

利用经双边滤波处理的大气耗散图像对所述降质图像进行去雾还原处理。

2.如权利要求1所述的方法，其特征在于，

所述利用

和所述各像素点的颜色分量对所述降质图像进行处理，得到粗估计的大气耗散图像的具体实现方式为：

将各像素点的颜色分量I_c(x)与

的比值与1之间的最小值，作为相应像素点经校正后的颜色分量

其中，x表示所述降质图像中任一像素点的空间坐标；

将每一像素点经校正后的颜色分量中的最小值作为该像素点对应的大气耗散粗估计值，由所述大气耗散粗估计值得到对应的粗估计的大气耗散图像。

3.如权利要求2所述的方法，其特征在于，

所述利用经双边滤波处理的大气耗散图像对所述降质图像进行去雾还原处理的具体实现方式为：

利用公式

对所述降质图像进行去雾还原处理，其中，ρ_c(x)表示场景反照率颜色分量，

表示经双边滤波处理的大气耗散图像的各像素点所对应的大气耗散值，κ的取值范围为0.9～1。

4.如权利要求3所述的方法，其特征在于，所述对所述降质图像的天空亮度进行估值，得到天空亮度颜色分量估计值

的具体实现方式为：

分别以所述降质图像中每一像素点为中心设定其邻域，选取位于所述邻域范围内的各像素点的颜色分量中的最小值，作为所述中心的中心最小值；

对所述降质图像进行边缘检测，分别以每一像素点为中心确定包括所述中心的图像块，计算在所述图像块内检测出的边缘所包含的像素数所占的比例；

将边缘所包含的像素数所占的比例不大于预设平坦阈值，且中心最小值不小于预设亮度阈值的像素点所组成的区域确定为候选天空区域；

当所述候选天空区域的数量为多个时，将最接近所述降质图像上方的候选天空区域确定为天空区域，否则，直接将所述候选天空区域确定为天空区域；

选取所述天空区域内各颜色分量中的最大像素值作为相应的天空亮度颜色分量估计值

5.如权利要求1至4任一项所述的方法，其特征在于，所述对所述粗估计的大气耗散图像进行双边滤波的具体实现方式为：对所述粗估计的大气耗散图像进行高斯型双边滤波。

6.如权利要求1至5任一项所述的方法，其特征在于，所述预设平坦阈值为0.001。

7.如权利要求1至5任一项所述的方法，其特征在于，所述预设亮度阈值为所述中心最小值中的最大值的95％。

8.一种彩色图像去雾处理系统，其特征在于，包括：

颜色分量获取单元，用于获取降质图像各像素点的颜色分量；

天空亮度估值单元，用于对所述降质图像天空亮度的各颜色分量进行估值，得到天空亮度颜色分量估计值

大气耗散图像粗估计单元，用于利用所述

和所述各像素点的颜色分量对所述降质图像进行处理，得到粗估计的大气耗散图像；

大气耗散图像细估计单元，用于对所述粗估计的大气耗散图像进行双边滤波，得到经双边滤波处理的大气耗散图像；

反照率恢复单元，用于经双边滤波处理的大气耗散图像对所述降质图像进行去雾还原处理。

9.如权利要求8所述的系统，其特征在于，所述大气耗散图像粗估计单元包括：

校正子单元，用于将各像素点的颜色分量I_c(x)与的比值与1之间的最小值，作为相应像素点经校正后的颜色分量

其中，x表示所述降质图像中任一像素点的空间坐标；

粗估计子单元，用于将每一像素点经校正后的颜色分量中的最小值作为该像素点对应的大气耗散粗估计值，由所述大气耗散粗估计值得到对应的粗估计的大气耗散图像。

10.如权利要求8所述的系统，其特征在于，所述天空亮度估值单元包括：

中心最小值获取子单元，用于分别以所述降质图像中每一像素点为中心设定其邻域，选取位于所述邻域范围内的各像素点的颜色分量中的最小值，作为所述中心的中心最小值；

比例获取子单元，用于对所述降质图像进行边缘检测，分别以每一像素点为中心确定包括所述中心的图像块，计算在所述图像块内检测出的边缘所包含的像素数所占的比例；

候选天空区域获取子单元，用于将边缘所包含的像素数所占的比例不大于预设平坦阈值，且中心最小值不小于预设亮度阈值的像素点所组成的区域确定为候选天空区域；

天空区域选取子单元，用于当所述候选天空区域的数量为多个时，将最接近所述降质图像上方的候选天空区域确定为天空区域，否则，直接将所述候选天空区域确定为天空区域；

天空亮度值估计子单元，用于选取所述天空区域内各颜色分量中的最大像素值作为相应的天空亮度颜色分量估计值

Images