CN101908210B - 彩色图像去雾处理方法和系统 - Google Patents
彩色图像去雾处理方法和系统 Download PDFInfo
- Publication number
- CN101908210B CN101908210B CN2010102538449A CN201010253844A CN101908210B CN 101908210 B CN101908210 B CN 101908210B CN 2010102538449 A CN2010102538449 A CN 2010102538449A CN 201010253844 A CN201010253844 A CN 201010253844A CN 101908210 B CN101908210 B CN 101908210B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- color component
- sky
- atmospheric dissipation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了彩色图像去雾处理方法和系统,以实现降质视频/图像的真实场景复原。上述方法包括:获取降质图像各像素点的颜色分量;对降质图像的天空亮度的各颜色分量进行估值,得到天空亮度颜色分量估计值;利用天空亮度颜色分量估计值和各像素点的颜色分量对上述降质图像进行处理,得到粗估计的大气耗散图像;对粗估计的大气耗散图像进行双边滤波,得到经双边滤波处理的大气耗散图像;利用经双边滤波处理的大气耗散图像对上述降质图像进行去雾还原处理。可见,本发明的技术方案对彩色降质图像进行处理得到大气耗散图像,并对天空亮度进行了估计,最后根据天空亮度估计值以及上述大气耗散图像对真实场景图像进行复原,从而达到了去雾效果。
Description
技术领域
本发明涉及图像处理领域,更具体地说,涉及彩色图像去雾处理方法和系统。
背景技术
在雾、霾等天气条件下,大气中悬浮的大量微小水滴和气溶胶的散射作用会使视频/图像严重降质(请参见图1),因此,需要对降质视频/图像进行处理,恢复出真实场景图像。降质视频与降质图像的处理基本相同,这是因为视频是由多帧图像组成,只要分别对组成视频的每一帧图像进行处理,即可实现对降质视频的处理。
而一幅在雾、霾等天气条件下拍摄的降质图像可视为由天空亮度、真实场景图像和大气耗散图像共同作用的结果,且三者相互间没有关联。这就为降质图像/视频真实场景的复原提供了契机。
发明内容
有鉴于此,本发明实施例提供了彩色图像去雾处理方法和系统,以实现降质视频/图像的真实场景复原。
为了实现上述目的,本发明实施例提供了如下方案:
一种彩色图像去雾处理方法,包括:
获取降质图像各像素点的颜色分量;
对所述粗估计的大气耗散图像进行双边滤波,得到经双边滤波处理的大气耗散图像;
将每一像素点经校正后的颜色分量中的最小值作为该像素点对应的大气耗散粗估计值,由所述大气耗散粗估计值得到对应的粗估计的大气耗散图像;
所述利用经双边滤波处理的大气耗散图像对所述降质图像进行去雾还原处理的具体实现方式为:
利用公式对所述降质图像进行去雾还原处理,其中,ρc(x)表示场景反照率颜色分量,表示经双边滤波处理的大气耗散图像的各像素点所对应的大气耗散值,κ的取值范围为0.9~1;
分别以所述降质图像中每一像素点为中心设定其邻域,选取位于所述邻域范围内的各像素点的颜色分量中的最小值,作为所述中心的中心最小值;
对所述降质图像进行边缘检测,分别以每一像素点为中心确定包括所述中心的图像块,计算在所述图像块内检测出的边缘所包含的像素数所占的比例;
将边缘所包含的像素数所占的比例不大于预设平坦阈值,且中心最小值不小于预设亮度阈值的像素点所组成的区域确定为候选天空区域;
当所述候选天空区域的数量为多个时,将最接近所述降质图像上方的候选天空区域确定为天空区域,否则,直接将所述候选天空区域确定为天空区域;
优选的,所述对所述粗估计的大气耗散图像进行双边滤波的具体实现方式为:对所述粗估计的大气耗散图像进行高斯型双边滤波。
优选的,所述预设平坦阈值为0.001。
优选的,所述预设亮度阈值为所述中心最小值中的最大值的95%。
一种彩色图像去雾处理系统,包括:
颜色分量获取单元,用于获取降质图像各像素点的颜色分量;
大气耗散图像细估计单元,用于对所述粗估计的大气耗散图像进行双边滤波,得到经双边滤波处理的大气耗散图像;
反照率恢复单元,用于经双边滤波处理的大气耗散图像对所述降质图像进行去雾还原处理;
所述利用经双边滤波处理的大气耗散图像对所述降质图像进行去雾还原处理的具体实现方式为:利用公式对所述降质图像进行去雾还原处理,其中,ρc(x)表示场景反照率颜色分量,表示经双边滤波处理的大气耗散图像的各像素点所对应的大气耗散值,κ的取值范围为0.9~1;
所述大气耗散图像粗估计单元包括:
粗估计子单元,用于将每一像素点经校正后的颜色分量中的最小值作为该像素点对应的大气耗散粗估计值,由所述大气耗散粗估计值得到对应的粗估计的大气耗散图像;
所述天空亮度估值单元包括:
中心最小值获取子单元,用于分别以所述降质图像中每一像素点为中心设定其邻域,选取位于所述邻域范围内的各像素点的颜色分量中的最小值,作为所述中心的中心最小值;
比例获取子单元,用于对所述降质图像进行边缘检测,分别以每一像素点为中心确定包括所述中心的图像块,计算在所述图像块内检测出的边缘所包含的像素数所占的比例;
候选天空区域获取子单元,用于将边缘所包含的像素数所占的比例不大于预设平坦阈值,且中心最小值不小于预设亮度阈值的像素点所组成的区域确定为候选天空区域;
天空区域选取子单元,用于当所述候选天空区域的数量为多个时,将最接近所述降质图像上方的候选天空区域确定为天空区域,否则,直接将所述候选天空区域确定为天空区域;
可见,本发明实施例所提供的技术方案对彩色降质图像进行处理得到大气耗散图像,并对天空亮度进行了估计,最后根据天空亮度估计值以及上述大气耗散图像对彩色降质图像的真实场景图像进行复原,从而达到了对彩色降质视频/图像的去雾效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为雾、霾天气下拍摄的降质图像;
图2为本发明实施例所提供的彩色图像去雾处理方法的流程图;
图3为本发明实施例所提供的彩色图像去雾处理方法的另一流程图;
图4为本发明实施例所提供的彩色图像去雾处理方法的又一流程图;
图5为本发明实施例所提供的彩色图像去雾处理方法的又一流程图;
图6为本发明实施例所提供的图1所示图像的边缘图像;
图7为本发明实施例所提供的彩色图像去雾处理方法的又一流程图;
图8为本发明实施例所提供的去雾处理后的图像;
图9为图1所示图像对应的饱和度分量的直方图;
图10为图8所示图像对应的饱和度分量的直方图;
图11为图1所示图像对应的色调极坐标直方图;
图12为图8所示图像对应的色调极坐标直方图;
图13为本发明实施例所提供的彩色图像去雾处理系统结构示意图;
图14为本发明实施例所提供的彩色图像去雾处理系统另一结构示意图;
图15为本发明实施例所提供的彩色图像去雾处理系统另一结构示意图。
具体实施方式
为了引用和清楚起见,下文中使用的技术名词、简写或缩写总结如下:
景深:场景中物体到成像设备之间的距离;
连通分量:令S代表一幅图像中像素的子集。如果在S中全部像素之间存在一个通路,则可以说任两个像素p和q在S中是连通的。对于S中的任何像素p,S中连通到该像素的像素集称为S的连通分量。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一幅彩色图像由多个像素点组成,每一像素点的像素值包括多种颜色分量,即该像素点在每一颜色通道中都具有灰度值。通常,在雾、霾等天气条件下窄波段摄像机所拍摄彩色降质图像I(x)的单色大气散射模型可用公式1表示:
I(x)=Aρ(x)e-βd(x)+A(1-e-βd(x)) (1)
其中,x表示任一像素点的空间坐标,A表示天空亮度,ρ(x)表示x点的场景反照率,d(x)表示x点的景深,β是大气散射系数。Aρ(x)e-βd(x)为衰减模型,而A(1-e-βd(x))为环境光模型,二者叠加则为上述单色大气散射模型。
I(x)包括多个颜色分量,以R(红)、G(绿)、B(蓝)为例,在一幅彩色图像中,每一像素点的像素值由不同的RGB颜色分量值决定(如无特殊声明,以下所有实施例将以RGB颜色分量为对象对本发明的技术方案进行阐述)。或者也可以说,每一像素点最终呈现的颜色由该像素点对应的RGB通道的灰度值(RGB通道的灰度值即为RGB颜色分量值)来共同决定:假定RGB三通道的灰度值的取值范围为0~255,那么,在某一像素点三个通道的灰度值相等时,该像素点显示出的颜色为白色、黑色或灰色。例如,三通道灰度值分别为255(R)、255(G)、255(B)时,显示出白色,而三通道的灰度值分别为0(R)、0(G)、0(B)时,显示出黑色;当三通道的灰度值分别为255(R)、0(G)、0(B)时,显示出红色。
上述提及的颜色分量Ic(x)可用公式2表示:
Ic(x)=Acρc(x)e-βd(x)+Ac(1-e-βd(x)) (2)
其中,c表示颜色通道(在本发明所有描述中,如无特殊声明,均以c表示颜色通道),c={R,G,B},Ac表示天空亮度的颜色分量,ρc(x)表示x点的场景反照率的颜色分量。
如将1-e-βd(x)用大气耗散图像V(x)替代(即V(x)=1-e-βd(x)),则公式1可变换为公式3:
I(x)=Aρ(x)(1-V(x))+AV(x) (3)
相应的,公式2可变换为公式4:
Ic(x)=Acρc(x)(1-V(x))+AcV(x) (4)
其中,V(x)是仅关于景深d(x)的增函数,0<V(x)<1。
需要注意的是,公式1至4其成像是灰度图像,也就是说对彩色图像的每个颜色分量单独处理,因此上述I(x)、A、ρ(x)均为三维向量,即在红、绿、蓝三个通道上都有分量,而d(x)、V(x)为标量,至于Ic(x)、Ac、ρc(x)则分别对应上述I(x)、A、ρ(x)在某一通道的颜色分量。另外,上述I(x)、Ic(x)、d(x)、V(x)、ρc(x)以及ρ(x),从整幅图像来讲是矩阵,但对于某个特定点来讲,I(x)、Ic(x)、d(x)、V(x)、ρ(x)以及ρc(x)又可表示具体的数值。
前已述及,降质图像可视为由天空亮度、真实场景图像和大气耗散图像共同作用的结果。上述ρ(x)(或三通道对应的ρc(x))即与真实场景图像相映射,对降质视频/图像的处理,可视为对彩色降质图像中每一像素点对应的ρ(x)的取值进行求解的过程。由于降质视频与降质图像的处理基本相同,因此如无特别声明,以下所有实施例将以降质图像处理为对象对本发明的技术方案进行阐述。
本实施例公开了一种彩色图像去雾处理方法,以实现降质视频/图像的真实场景复原。
参见图2,上述方法至少包括以下步骤:
步骤S1、获取降质图像各像素点的颜色分量Ic(x);
对于单个像素点来说,其所对应的R、G、B颜色分量值是确定的。由于图像是二维空间,其宽为W个像素,高为H个像素,因此Ic(x)中的x代表矢量,x也可用(m,n)表示,其中,0≤m≤W-1,0≤n≤H-1,m、n、W、H均为非负整数。
上述对粗估计的大气耗散图像的获取,可先利用和上述各像素点的颜色分量Ic(x)对上述降质图像进行处理以获取粗估计的大气传播图像t(x),由于大气耗散图像也可表示为1-t(x),因此获取了粗估计的大气传播图像后,只要经过简单转化就可得到粗估计的大气传播图像。在本发明以后的实施例中,还将对步骤S3的具体实现进行详细描述。
步骤S4、对所述粗估计的大气耗散图像进行双边滤波,得到经双边滤波处理的大气耗散图像;
步骤S5、利用经双边滤波处理的大气耗散图像对所述降质图像进行去雾还原处理。
可见,本发明实施例所提供的技术方案对彩色降质图像进行处理得到大气耗散图像,并对天空亮度进行了估计,最后根据天空亮度估计值以及上述大气耗散图像对彩色降质图像的真实场景图像进行复原,从而达到了对彩色降质视频/图像的去雾效果。另外,步骤S4中的双边滤波,可对与当前像素点位置相近、且数值相差不大的像素点赋以较大的权重,而对数值相差较大的像素点,尽管位置上很近也赋以较小的权重,从而可有效地抑制物体边缘处由于景深突变而引入的Halo效应。
在本发明其他实施例中,参见图3,以上实施例中的步骤S3具体实现步骤可为:
因而,公式4可以简化为公式5:
I′c(x)=ρc(x)(1-V(x))+V(x) (5)
由于雾、霾的存在,随着场景到成像设备距离的增加,捕获的图像像素值逐渐变亮,因此,图像中的雾可用来作为估计大气耗散图像V(x)的依据。大气耗散图像V(x)受两个条件的约束:1)1≥V(x)≥0,即V(x)为正值;2)V(x)≤I′c(x),即V(x)不大于I′c(x)中的最小值。因此,可使用I′c(x)中的最小值来粗略估计大气耗散图像V(x)在各像素点的取值。
举例来说,假设6个像素点的颜色分量Ic(x)的取值如下表2所示:
表2
Ic(x) | ||||||
R | 50 | 60 | 70 | 240 | 90 | 110 |
G | 100 | 60 | 80 | 50 | 255 | 170 |
B | 90 | 40 | 255 | 80 | 100 | 160 |
当天空亮度Ac被估计为(230,250,230)时,I′c(x)的取值如下表3:
表3
I′c(x) | ||||||
R | 0.22 | 0.26 | 0.30 | 1(1.04) | 0.39 | 0.48 |
G | 0.4 | 0.24 | 0.32 | 0.2 | 1(1.02) | 0.68 |
B | 0.39 | 0.17 | 1(1.11) | 0.35 | 0.43 | 0.70 |
由表3可见,括号中大于1的值(1.04、1.02、1.11)都校正到1。
表4
而在本实施例中,步骤S5的具体实现方式可为:
步骤S51、利用公式 对ρc(x)进行求解。
由于步骤S31中将I′c(x)中的最小值作为对应的的值,因此,I′c(x)和的差值很可能接近0,而天空区域对应的趋于,在这种情形下,直接使用由公式5变形获得的来恢复场景反照率会导致天空区域的颜色严重失真。为了避免O/O型的不确定值(或者非常小的两数相除),参见图4,在本发明另一实施例中,步骤S5的具体实现方式可为:
步骤S52、以 对ρc(x)进行求解。
与步骤S51相比,步骤S52的公式中引入一个因子κ。κ的取值范围为0.9~1,其取值依赖于上述降质图像中天空区域所占的比例。平坦的天空区域由于压缩和镜头光学结构等因素可能造成伪轮廓,因此,为了图像的显示效果,天空区域越大,κ取值应越小。
以上实施例主要对大气耗散值的估计进行了介绍,下面的实施例将对Ac的估值进行介绍。
在本实施例中,参见图5,步骤S2具体可以以下步骤加以实现:
步骤S21、分别以所述降质图像中每一像素点为中心设定其邻域,选取位于所述邻域范围内的各像素点的颜色分量中的最小值,作为所述中心的中心最小值Imin(x);
步骤S21可用公式6来表示:
其中,Ω1(x)表示以x所表示像素点为中心的邻域,在本实施例中,Ω1(x)为一正方形区域,该正方形区域的边长可等于上述W和H中最小值的0.025。
而在求取Imin(x)时,存在三种方式:方式一、先对邻域范围内三个通道分别选取三个最小值,再从上述三个最小值中选取出最小的数值作为中心最小值;方式二、先选出领域范围内每一像素点的最小颜色分量,再从上述多个最小颜色分量中选取出最小的数值作为中心最小值。方式三、不分通道,直接从多个灰度值中选择最小的数值作为中心最小值。
现对方式一举例加以说明,假定Ω1(x)内有9个像素点,各个像素点的颜色分量Ic(x)如下表5所示:
表5
Ic(x) | |||||||||
R | 50 | 60 | 80 | 75 | 60 | 100 | 100 | 102 | 30 |
G | 11 | 50 | 37 | 58 | 80 | 105 | 85 | 47 | 100 |
B | 105 | 70 | 90 | 100 | 58 | 90 | 105 | 85 | 33 |
在求取中心最小值,既可分别选出RGB通道中各自的最小值-30、11和33,再从30、11和33中选取11作为中心的中心最小值。
步骤S22、对所述降质图像进行边缘检测,分别以每一像素点为中心确定包括所述中心的图像块,计算在所述图像块内检测出的边缘所包含的像素数所占的比例Nedge(x);
步骤S22的具体实现方式为:
对所述降质图像进行边缘检测(对于图1所示的降质图像,其边缘检测图像可参见图6),以x点为例,以x点为中心设定邻域Ω2(x)。Ω2(x)即为以x点为中心的图像块,统计在Ω2(x)内检测出的边缘所包含的像素点数与整个Ω2(x)内所包含像素点总数之间的比例Nedge(x)。Ω2(x)与上述Ω1(x)所包括的像素点数可以相同也可以不同,在本实施例中,Ω2(x)和Ω1(x)中所包括的像素点数相同。本领域技术人员可根据需要进行灵活设计,在此不作赘述。
在求取各像素点的Nedge(x)时,既可按一定顺序对降质图像的所有像素点对应的Nedge(x)进行计算,也可以同时对多个像素点进行并行处理,以缩短处理时间。
对某一图像块来说,其边缘表明图像块内部各像素点的灰度值存在较大的差异,而一图像块检测出的边缘越多,说明其灰度越不平坦。因此,Nedge(x)可反映出图像块内的灰度平坦性,Nedge(x)越大,说明该图像块的灰度平坦性越差。
步骤S23、将边缘像素数所占的比例不大于预设平坦阈值,且中心最小值不小于预设亮度阈值的像素点所组成的区域确定为候选天空区域;
步骤S24、当所述候选天空区域的数量为多个时,将最接近所述降质图像上方的候选天空区域确定为天空区域,否则,直接将所述候选天空区域确定为天空区域;
步骤S25、选取所述天空区域内各颜色分量中的最大像素值作为Ac的估计值。
现有图像处理技术中,一般直接用最亮的像素点对应的灰度值来估计Ac,这种估计易受到高亮度孤立点或白色物体的影响,从而导致求解出的ρc(x)与真实场景图像对应的实际场景反照率存在较大的偏差。在图像中,天空具有灰度平坦、亮度较高,并且一般位于图像上方的特性。在本发明实施例中,对天空区域的选取亦遵循了上述特性:候选天空区域内各像素点的中心最小值均不小于预设亮度阈值,也即候选天空区域内各像素点的灰度值(即亮度)的均值都较高,遵循了天空亮度较高的特性;而候选天空区域的边缘像素数所占的比例不大于预设平坦阈值,则遵循了天空灰度平坦的特性。在选取过程中,高亮度孤立点已经排除在选择之列,也在一定程度上减少了将白色物体误当作天空区域的机率;而当上述即候选天空区域为多个时,最接近降质图像上方的即候选天空区域被最终确定为天空区域,则遵循了天空一般位于图像上方的特性,进一步降低误检的概率。
需要指出的是,步骤S21中对Ω1(x)的选取,还可将上述W和H中最小值除以80并取整得到r,使用2r+1作为正方形区域的边长。以像素数为320×240的彩色图像为例,可以x所表示像素点为中心画一边长为7(240/80=3)的正方形区域,该正方形区域即为邻域Ω1(x)。而Ω1(x)的选取将影响后续对候选天空区域的判定。这是因为,如果Ω1(x)的范围大于实际天空区域的范围,那么该领域内的中心最小值将会偏低,从而导致其小于预设亮度阈值被过滤掉。一般情况下,Ω1(x)的最小边长为3个像素点所占的长度,也即在邻域内至少有9个像素点。当然,Ω1(x)的边长依实际要求还可有其他的选择,在具体实现时,本领域技术人员可进行灵活设计,只要尽可能避免误选和漏选即可,在此不作赘述。
本领域普通技术人员可以理解上述所有实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,所述程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
下面将以基于计算机的视频处理为例对本发明公开的去雾处理方法进行更详细的阐述。
参见图7,本实施例所提供的去雾处理方法包括:
步骤S101:从彩色降质的视频序列中读取一帧待处理的图像;
步骤S102、获取该帧图像中三基色颜色分量Ic(x);
步骤S103、获取该帧图像中每一像素点的中心最小值Imin(x),其中,
在本实施例中,对Imin(x)的求取,是先选出领域范围内每一像素点的最小颜色分量,再从上述多个最小颜色分量中选取出最小的数值作为中心最小值。
现举一例加以说明,假定Ω1(x)内有9个像素点,各个像素点的颜色分量如上表5所示,则先选出各像素点的最小颜色分量(请参见下表6):
表6
11 | 50 | 37 | 58 | 58 | 90 | 85 | 47 | 30 |
然后从上表6中选出最小的数值11作为中心最小值。
步骤S104、将该帧图像转换为灰度图像,利用Canny算子进行边缘检测,对检测出的边缘图像进行分块统计,计算各图像块中边缘像素数所占的比例,记为Nedge(x);
步骤S105、将边缘像素数所占的比例Nedge(x)不大于预设平坦阈值Tp,且中心最小值Imin(x)不小于预设亮度阈值Tv的像素点所组成的区域确定为候选天空区域;
在本实施例中,Tv为降质图像中所有像素点的中心最小值中的最大值的95%,Tp为0.001。
在具体实现时,计算机先对Nedge(x)不大于Tp的像素点标为1,而对Nedge(x)大于Tp的像素点标为0,得到二值化图像S1。然后,对Imin(x)不小于Tv的像素点标为1,而对Imin(x)小于Tv的像素点标为0,得到二值化图像S2。再将S1与S2进行与操作,得到二值化图像S3。二值化图像S3中标1的各像素点所组成区域即为候选天空区域。
步骤S106、对候选天空区域标记连通分量;
一个候选天空区域对应一个连通分量,计算机对步骤S105中的二值化图像S3中的连通分量进行标记,以便于后续的扫描识别。
在实际中,对连通分量进行标记的目的是方便计算机对不同的连通分量进行识别,一般情况下,可将二值化值为1的候选天空区域对应的连通分量,依次标记为1,2,…,n,n表示连通分量的个数。
可用公式来表示对I′c(x)的求取过程。显然,在三通道I′c(x)所表示的彩色图像中,天空亮度归一化为(1,1,1)T。
S109、进行大气耗散图像的细估计:
步骤S109可用公式7:
来实现,其中,x、y表示像素点的空间坐标,和为两个高斯函数,S为空间域,R为强度域(即颜色分量域/灰度值域),σs为空间域高斯函数的尺寸,σr为强度域高斯函数的尺度,高斯函数的表达式为Wp为归一化系数,
由于双边滤波是一种非线性滤波,空域卷积的快速算法不再适用。本实施例采用了快速高斯双边滤波算法对双边滤波加以实现-将双边滤波看作是在乘积空间S×R中的三维高斯滤波,并使用信号处理的框架来计算:首先对S和R进行降采样,构造降采样后的解空间,然后在高维空间使用低通滤波。降采样抵消了高维空间卷积操作的时间开销,并且没有明显的精度损失。最后通过线性插值来获得最终的双边滤波结果。
Huber函数:
Tukey函数:
Lorentz函数:
S111、判断视频序列中所有的图像帧是否均处理完毕,如果否,转到步骤S101,否则,结束。
在雾、霾等天气条件下拍摄的降质图像/视频序列,其饱和度和对比度均较真实场景低。图像去雾处理方法即需要恢复真实场景的视见度,并同时保持真实场景的真实颜色。
图9为图1所示降质图像饱和度分量的直方图(直方图中横坐标为饱和度,纵坐标是概率),图10为利用本发明所提供的去雾处理方法对图1所示降质图像进行去雾处理后得到的图像(也即图8所示图像)饱和度分量的直方图,经对比可以看出,本发明提供的去雾处理方法提高了图像的饱和度,并且,两幅图像饱和度分量的直方图形状基本保持一致,这表明该方法同时保持了饱和度的自然特性。
而对比度可以通过方差来度量,对RGB图像进行主成分分析(PrincipleComponent Analysis,PCA),主成分的特征值就是其方差。图1所示降质图像的特征值分别为0.1597、0.0019、0.0003,而利用本发明所提供的去雾处理方法对其进行处理后得到的图像的特征值分别为7.7401、0.0103、0.0084。从上述特征值可以看出,经本发明提供的去雾处理方法处理后,图像有更大的方差,从而提高了其对比度。
至于颜色保持方面,可以色调极坐标直方图加以描述。图11为图1所示降质图像的色调极坐标直方图,图12为利用本发明所提供的去雾处理方法对图1所示降质图像进行处理后得到的图像(也即图8所示图像)的色调极坐标直方图。其中,色调用色度盘上关于红色轴的夹角来度量,色调值以角度表示,其取值范围为[0,360)。色调极坐标直方图在单位圆中表示图像所有色调出现的概率。经对比可以看出,在饱和度较高的区域,色调大体上保持一致。
综上可知,本发明所提供去雾处理方法在提高饱和度以及对比度的同时还保持了真实场景的真实颜色。
步骤S111:判断视频序列中的所有图像帧是否处理完毕,如果是,结束处理,如果否,转到步骤S101。
以上所有实施例中所提供的方法均可用于计算机视觉领域。计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,用电脑处理成为更适合人眼观察或传送给仪器检测的图像。为了提高计算机视觉的智能化,上述所有方法在进行图像处理之前,可加入“判断图像/视频是否为雾、霾天气下拍摄到的降质图像/视频”或“判断是否为雾、霾天气”的步骤,以决定是否转入降质图像处理。
另外,在上述所有实施例中,在获取降质图像各像素点的颜色分量时,还可将获取的灰度值取值范围在0~255之间的颜色分量除以255作为Ic(x),然后再进行后续操作。
与之相对应,本发明实施例还提供了彩色图像去雾处理系统,图13示出了上述系统的一种结构,包括颜色分量获取单元1、天空亮度估值单元2、大气耗散值粗估计单元3、大气耗散值细估计单元4和反照率恢复单元5,其中:
颜色分量获取单元1,用于获取降质图像各像素点的颜色分量;
大气耗散图像细估计单元4,用于对所述粗估计的大气耗散图像进行双边滤波,得到经双边滤波处理的大气耗散图像;其详细内容可参见本发明说明书的方法所对应的实施例。
反照率恢复单元5,用于利用经双边滤波处理的大气耗散图像对所述降质图像进行去雾还原处理。
在本发明另一实施例中,参见图14,上述实施例中的大气耗散图像粗估计单元可包括:
取值子单元32,用于将每一像素点经校正后的颜色分量中的最小值作为该像素点对应的大气耗散粗估计值,由上述大气耗散粗估计值得到对应的粗估计的大气耗散图像。其详细内容可参见本发明说明书的方法所对应的实施例。
在本发明另一实施例中,参见图15,上述天空亮度估值单元可包括:
中心最小值获取子单元21,用于分别以所述降质图像中每一像素点为中心设定其邻域,选取位于所述邻域范围内的各像素点的颜色分量中的最小值,作为所述中心的中心最小值;
比例获取子单元22,用于对所述降质图像进行边缘检测,分别以每一像素点为中心确定包括所述中心的图像块,计算在所述图像块内检测出的边缘所包含的像素数所占的比例;
候选天空区域获取子单元23,用于将边缘所包含的像素数所占的比例不大于预设平坦阈值,且中心最小值不小于预设亮度阈值的像素点所组成的区域确定为候选天空区域;
天空区域选取子单元24,用于当所述候选天空区域的数量为多个时,将最接近所述降质图像上方的候选天空区域确定为天空区域,否则,直接将所述候选天空区域确定为天空区域;
在上述系统实施例中,各单元的相应功能既可使用计算机程序也可使用硬件加以实现。例如,校正子单元31对于的计算,在具体实现时,可分别对Ic(x)和取对数得到lnIc(x)和使用减法器将lnIc(x)与相减,再对相减的结果进行指数变换,得到的取值,而在与1之间取最小值可使用数值比较器加以实现。同理,反照率恢复单元5的运算也可以使用与上述类似的实现方式加以实现。在此不作赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (5)
1.一种彩色图像去雾处理方法,其特征在于,包括:
获取降质图像各像素点的颜色分量;
对所述粗估计的大气耗散图像进行双边滤波,得到经双边滤波处理的大气耗散图像;
利用经双边滤波处理的大气耗散图像对所述降质图像进行去雾还原处理;
将每一像素点经校正后的颜色分量中的最小值作为该像素点对应的大气耗散粗估计值,由所述大气耗散粗估计值得到对应的粗估计的大气耗散图像;
所述利用经双边滤波处理的大气耗散图像对所述降质图像进行去雾还原处理的具体实现方式为:
分别以所述降质图像中每一像素点为中心设定其邻域,选取位于所述邻域范围内的各像素点的颜色分量中的最小值,作为所述中心的中心最小值;
对所述降质图像进行边缘检测,分别以每一像素点为中心确定包括所述中心的图像块,计算在所述图像块内检测出的边缘所包含的像素数所占的比例;
将边缘所包含的像素数所占的比例不大于预设平坦阈值,且中心最小值不小于预设亮度阈值的像素点所组成的区域确定为候选天空区域;
当所述候选天空区域的数量为多个时,将最接近所述降质图像上方的候选天空区域确定为天空区域,否则,直接将所述候选天空区域确定为天空区域;
2.如权利要求1所述的方法,其特征在于,所述对所述粗估计的大气耗散图像进行双边滤波的具体实现方式为:对所述粗估计的大气耗散图像进行高斯型双边滤波。
3.如权利要求1或2所述的方法,其特征在于,所述预设平坦阈值为0.001。
4.如权利要求1或2所述的方法,其特征在于,所述预设亮度阈值为所述中心最小值中的最大值的95%。
5.一种彩色图像去雾处理系统,其特征在于,包括:
颜色分量获取单元,用于获取降质图像各像素点的颜色分量;
大气耗散图像细估计单元,用于对所述粗估计的大气耗散图像进行双边滤波,得到经双边滤波处理的大气耗散图像;
反照率恢复单元,用于经双边滤波处理的大气耗散图像对所述降质图像进行去雾还原处理;
所述大气耗散图像粗估计单元包括:
粗估计子单元,用于将每一像素点经校正后的颜色分量中的最小值作为该像素点对应的大气耗散粗估计值,由所述大气耗散粗估计值得到对应的粗估计的大气耗散图像;
所述天空亮度估值单元包括:
中心最小值获取子单元,用于分别以所述降质图像中每一像素点为中心设定其邻域,选取位于所述邻域范围内的各像素点的颜色分量中的最小值,作为所述中心的中心最小值;
比例获取子单元,用于对所述降质图像进行边缘检测,分别以每一像素点为中心确定包括所述中心的图像块,计算在所述图像块内检测出的边缘所包含的像素数所占的比例;
候选天空区域获取子单元,用于将边缘所包含的像素数所占的比例不大于预设平坦阈值,且中心最小值不小于预设亮度阈值的像素点所组成的区域确定为候选天空区域;
天空区域选取子单元,用于当所述候选天空区域的数量为多个时,将最接近所述降质图像上方的候选天空区域确定为天空区域,否则,直接将所述候选天空区域确定为天空区域;
所述利用经双边滤波处理的大气耗散图像对所述降质图像进行去雾还原处理的具体实现方式为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102538449A CN101908210B (zh) | 2010-08-13 | 2010-08-13 | 彩色图像去雾处理方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102538449A CN101908210B (zh) | 2010-08-13 | 2010-08-13 | 彩色图像去雾处理方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101908210A CN101908210A (zh) | 2010-12-08 |
CN101908210B true CN101908210B (zh) | 2012-03-14 |
Family
ID=43263663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010102538449A Expired - Fee Related CN101908210B (zh) | 2010-08-13 | 2010-08-13 | 彩色图像去雾处理方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101908210B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102034230B (zh) * | 2010-12-17 | 2012-05-02 | 清华大学 | 增强图像可见性的方法 |
US9576349B2 (en) | 2010-12-20 | 2017-02-21 | Microsoft Technology Licensing, Llc | Techniques for atmospheric and solar correction of aerial images |
CN102209246B (zh) * | 2011-05-23 | 2013-01-09 | 北京工业大学 | 一种实时视频白平衡处理系统 |
CN102170574B (zh) * | 2011-05-23 | 2012-12-26 | 北京工业大学 | 一种实时视频去雾处理系统 |
CN102968760B (zh) * | 2011-08-30 | 2016-08-17 | 富士通株式会社 | 图像去雾方法和系统 |
CN102609704A (zh) * | 2012-03-23 | 2012-07-25 | 上海海事大学 | 雾天条件下视频监控图像运动目标的检测装置和方法 |
CN102982513B (zh) * | 2012-12-04 | 2015-08-19 | 电子科技大学 | 一种基于纹理的自适应图像去雾方法 |
JP6488581B2 (ja) * | 2014-07-25 | 2019-03-27 | 株式会社ソシオネクスト | 霞画像判別装置及び判別方法 |
CN105005966B (zh) * | 2015-01-16 | 2017-07-28 | 西安电子科技大学 | 一种基于黄霾物理特性的单幅图像去霾方法 |
CN104766307A (zh) * | 2015-03-13 | 2015-07-08 | 青岛海信电器股份有限公司 | 一种图像处理的方法及设备 |
CN105447825B (zh) * | 2015-10-08 | 2018-06-12 | 湖北大学 | 图像去雾方法及其系统 |
CN106504216B (zh) * | 2016-11-14 | 2019-01-08 | 山东交通学院 | 基于变分模型的单幅图像去雾方法 |
CN107045723A (zh) * | 2017-03-10 | 2017-08-15 | 北京环境特性研究所 | 基于透射率动态检测的烟雾识别方法 |
CN109903230B (zh) * | 2017-12-11 | 2023-03-28 | 上银科技股份有限公司 | 医疗除雾图像校正方法 |
CN108062787B (zh) * | 2017-12-13 | 2022-02-11 | 北京小米移动软件有限公司 | 三维人脸建模方法及装置 |
CN109726686B (zh) * | 2018-12-29 | 2021-03-30 | 西安天和防务技术股份有限公司 | 场景识别方法、装置、计算机设备和存储介质 |
CN116074484A (zh) * | 2023-01-15 | 2023-05-05 | 山东产研卫星信息技术产业研究院有限公司 | 一种CMOS卫星影像的Bayer色彩重建方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101754032A (zh) * | 2008-12-12 | 2010-06-23 | 汉王科技股份有限公司 | 保持颜色的去雾方法 |
-
2010
- 2010-08-13 CN CN2010102538449A patent/CN101908210B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101754032A (zh) * | 2008-12-12 | 2010-06-23 | 汉王科技股份有限公司 | 保持颜色的去雾方法 |
Non-Patent Citations (3)
Title |
---|
张秀琼,高志升,袁红照.《基于物理模型的自动化图像去雾方法》.《仪器仪表学报》.2008,第29卷(第4期), * |
涂雅媛.《雾天降质图像的对比度增强方法研究》.《大连海事大学学位论文》.2009, * |
邹荣.《最小失真图像去雾算法的改进》.《计算机工程》.2009,第35卷(第21期), * |
Also Published As
Publication number | Publication date |
---|---|
CN101908210A (zh) | 2010-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101908210B (zh) | 彩色图像去雾处理方法和系统 | |
CN108596849B (zh) | 一种基于天空区域分割的单幅图像去雾方法 | |
CN107767354B (zh) | 一种基于暗原色先验的图像去雾算法 | |
Tripathi et al. | Single image fog removal using bilateral filter | |
Park et al. | Single image dehazing with image entropy and information fidelity | |
Galdran et al. | Automatic red-channel underwater image restoration | |
CN102750674B (zh) | 基于自适应容差的视频图像去雾方法 | |
Peng et al. | Image haze removal using airlight white correction, local light filter, and aerial perspective prior | |
Gao et al. | Sand-dust image restoration based on reversing the blue channel prior | |
CN105046653B (zh) | 一种视频雨滴去除方法及系统 | |
CN111612725B (zh) | 一种基于可见光图像对比度增强的图像融合方法 | |
CN109801233B (zh) | 一种适用于真彩色遥感图像的增强方法 | |
Hou et al. | Underwater image dehazing and denoising via curvature variation regularization | |
Barros et al. | Single-shot underwater image restoration: A visual quality-aware method based on light propagation model | |
KR101917094B1 (ko) | 매핑테이블을 이용한 고속 스모그/저조도 영상 개선 방법 및 장치 | |
CN111145105B (zh) | 一种图像快速去雾方法、装置、终端及存储介质 | |
CN103413305B (zh) | 一种单幅图像的快速去雾方法、装置和图像处理系统 | |
Zhang et al. | Single image dehazing based on fast wavelet transform with weighted image fusion | |
CN110111347A (zh) | 图像标志提取方法、装置及存储介质 | |
CN110807406B (zh) | 一种雾天检测方法及装置 | |
Prior | Single image de-haze under non-uniform illumination using bright channel prior | |
Cai et al. | Underwater image processing system for image enhancement and restoration | |
Wong et al. | An integrated method to remove color cast and contrast enhancement for underwater image | |
CN110782400A (zh) | 一种自适应的光照均匀实现方法和装置 | |
CN101510306B (zh) | 一种视频图像照度分布估计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120314 Termination date: 20130813 |