CN103903230A - 一种视频图像海雾去除清晰化方法 - Google Patents

Abstract

本发明属于视频图像增强领域，具体涉及一种将帧差法背景估计和基于边缘检测的快速单幅海雾去除算法相结合的用于海上航行器快速视频图像海雾去除清晰化系统的视频图像海雾去除清晰化方法。本发明包括：获取海雾视频图像；单帧海雾图像的去雾清晰化；视频图像海雾去除清晰化。本发明适用于所有海上航行器，能够大大提高海上航行器的视觉系统在海雾下性能。运算速度快，在海面场景下能够进行实时视频图像海雾清晰化处理；相对其他算法具有良好的边缘保持效果；具有去雾效果明显，图像恢复效果好的特点，作为视觉系统的前期处理，能有效提高后期目标检测、跟踪和识别的性能。

Description

一种视频图像海雾去除清晰化方法

技术领域

本发明属于视频图像增强领域，具体涉及一种将帧差法背景估计和基于边缘检测的快速单幅海雾去除算法相结合的用于海上航行器快速视频图像海雾去除清晰化系统的视频图像海雾去除清晰化方法。

背景技术

视频图像海雾去除技术属于图像增强技术，目的是为了增强其视觉效果，让处理后的视频或图像达到图像清晰度高、对比度好、目标容易识别。我国海域辽阔，海岸线漫长，海雾一年四季都可能出现，视频图像去雾技术是海面船只可见光视觉传感器对周围环境信息进行采集和监控的重要部分，其在军事上和民用上都有着很大的应用前景。

海雾是海面低层大气中一种水蒸汽凝结的天气现象，因它能反射各种波长的光，故常呈乳白色。由于水汽的增加以及温度的降低，近海面的空气逐渐达到饱和或过饱和状态，这时，水汽以微细盐粒等吸湿性微粒为核心不断凝结成细小的水滴、冰晶或两者的混合物，悬浮在海面以上几米、几十米乃至几百米低空；当凝结的水滴增大、数量增多，使天空呈现灰白色、能见度进一步降低时，便形成雾。

海雾是影响航海安全的主要天气现象,每年因海雾带来不良能见度从而造成的船舶碰撞、触礁、搁浅等海损、海难事故常常发生。据统计，单在日本近海发生的840次海损事故中，直接与海雾有关的就达270次之多。1955年5月11日，“紫云丸”号与“第三宇高丸”号在日本濑户内海松冲海面雾中相撞，“紫云丸”沉没，乘客800余人中，死亡168人。除此以外，“白龙尾”号轮船遭难事故也令人记忆犹新。在军事上，则可用于海雾场景下的视频目标检测、跟踪和识别的前期处理，提高舰船对于不同环境的适应能力。因此这项工作对于海域海湾、港口的监测与海洋运输、捕鱼的监管以及军事战争中判别危险所在等都有着很广泛的应用前景。

目前的图像去雾或增强技术常用于公路和航运交通场景，现有的研究算法也大多应用于陆地场景，专门针对海雾场景的去雾算法还不多见，直接利用现有的陆地场景去雾算法处理海雾的效果也不尽如人意。

相对于陆地场景而言，海雾场景下的图片的主要特征如下：

（1）海雾场景下图像主要由天空区域、海面区域和目标区域组成，目标主要是船只、岛屿或海上的桥等，其中远景下天空区域和海面区域较大，而目标区域很小，近景下目标区域较大；

（2）海雾的浓度往往比较大，而且一般雾还不均匀；

（3）海雾场景背景简单，但常常伴有海浪的影响，比陆地视频监控背景复杂；

（4）海雾场景下细节、色彩等没有陆地场景丰富。

对于陆上图像去雾而言，国内外已经出现了许多相关算法。其中国外著名的研究机构中，美国国家航空航天局(NASA)的Langley研究中心(LRC)深入研究基于邻域(surround-based)的Retinex算法，对雾、烟、水下和夜晚图像进行增强，并将其算法嵌入DSP便携式图像增强视觉系统中，处理分辨率为256*256的灰度图像可达到30帧/s，基本满足实时性的要求，但一旦图像数据变大，则很难满足实时性的要求了；哥伦比亚大学的计算机视觉实验室研究如何利用不同天气条件下同一场景的多幅图像来恢复清晰图像。在国内的研究机构中，微软亚洲研究院与香港中文大学信息工程系的多媒体实验室合作，研究基于数据假设的单幅图像去雾方法。但这些方法对于陆地场景且薄雾环境下去雾效果不错，用于海雾场景则效果不是特别明显,而且这些算法去雾都会存在一定的边缘模糊现象和holo效应，若使用双边滤波或联合双边滤波进行边缘保持，虽然会在一定程度上减少边缘模糊的效果，但其会造成计算量大幅增加的情况。而且目前研究的去雾方法大多都是针对单幅图像去雾而言，直接用于视频帧的去雾则很难满足实时性的要求。

发明内容

本发明的目的在于提供一种运算速度快、去雾效果明显、能有效提高后期目标检测、跟踪和识别的性能的视频图像海雾去除清晰化方法。

本发明的目的是这样实现的：

（1）获取海雾视频图像：

利用安装在各类船上的可见光摄像头进行数据的采集；

（2）单帧海雾图像的去雾清晰化：

（2.1）强度分量提取：

强度分量I为：

I(x,y)＝(S_r(x,y)+S_g(x,y)+S_b(x,y))/3

I(x,y)表示在图片(x,y)位置处的强度值，S_r、S_g、S_b分别表示为原海雾图的红色、绿色和蓝色分量；

（2.2）边缘检测：

采用canny算子进行边缘检测；

（2.3）估计亮度分量：

利用基于边缘信息的高斯滤波器对原强度分量进行高斯滤波，令canny边缘检测后的图片为I_edge，边缘检测后的图片中边缘表示为白色，值为1，非边缘为黑色，值为0，对原始图片中非边缘区域进行高斯滤波得到估计的亮度分量，首先得到原海雾图像中含有边缘的对应区域：

L_edge(x,y)＝I(x,y)·I_edge(x,y)

需要经过高斯平滑的非边缘区为：

I_n-edge(x,y)＝(1-I_edge(x,y))·I(x,y)

经过基于边缘的高斯滤波平滑估计的亮度图像为：

L(x,y)＝L_edge(x,y)+I_n-edge(x,y)*G(x,y)

其中G(x,y)为高斯函数，且

σ是高斯函数的尺度参数，k为归一化因子，使∫∫G(x,y)dxdy＝1；

（2.4）估计反射分量：

由强度图像初步估计的反射分量为：

r(x,y)＝log(I(x,y))-log(L(x,y))

（2.5）补偿反射分量：

引入原强度分量来改善反射分量的色调：

r′(x,y)＝log(I(x,y))+r(x,y)

（2.6）增强对比度：

采用分段线性截取拉伸灰度变换的方法进一步对处理后的图片进行增强，提高图像的对比度：

（2.6.1）根据得到的反射分量，对像素值进行排序，取总像素数N×0.01位置处的像素值作为下截点d_min，取N×0.99位置处的像素值作为上截点d_max；

（2.6.2）对反射分量r′进行分段截取拉伸变换映射到区间[0,255]，增强对比度

$R(x,y)=\left\{\begin{array}{ccc}10\&times;\frac{r\&prime;(x,y)-d_{\max }}{\max (r\&prime;(x,y))-d_{\max }}+245& ,& r\&prime;(x,y)>d_{\max }\\ 0& ,& r\&prime;(x,y)<d_{\min }\\ 245\&times;\frac{r\&prime;(x,y)-d_{\min }}{d_{\max }-d_{\min }}& ,& \mathrm{else}\end{array}\right.$

max(r′(x,y))为反射分量的最大值；

(2.7)恢复色彩

引入原海雾图的每个通道与强度分量的权重：

$O_i(x,y)=R(x,y)\&CenterDot;\frac{S_i(x,y)}{I(x,y)};$

i表示RGB三通道中的通道，O_i(x,y)表示在第i个通道坐标为(x,y)处经过处理后的值，R(x,y)为求得的反射分量，S_i表示原始海雾图的通道，I是强度分量；

（3）视频图像海雾去除清晰化：

（3.1）提取帧差法背景

通过摄像头读入的视频帧，灰度化以后像素点在时间t_i处的灰度值为F(x,y,t_i)，将当前帧与前一帧做差分，得到二值图像D(x,y,t_i)，

$D(x,y,t_i)=\left\{\begin{array}{cc}255& |F(x,y,t_i)-F(x,y,t_{i-1})|\&GreaterEqual;T\\ 0& |F(x,y,t_i)-F(x,y,t_{i-1})|<T\end{array}\right.,$       T是阈值

计算非运动区域的累加值，定义为非运动区域叠加的次数：

$\mathrm{sum}(x,y)=\left\{\begin{array}{cc}\mathrm{sum}(x,y)+F(x,y,t_i)& D(x,y,t_i)=0\\ \mathrm{sum}(x,y)& D(x,y,t_i)=255\end{array}\right.$

$\mathrm{num}(x,y)=\left\{\begin{array}{cc}\mathrm{num}(x,y)+1& D(x,y,t_i)=0\\ \mathrm{num}(x,y)& D(x,y,t_i)=255\end{array}\right.$

通过求平均值得到背景：

B(x,y)＝sum(x,y)/num(x,y)

（3.2）海雾视频图像去雾

利用单帧图像海雾去除清晰化算法对同一背景下的第一帧图像进行去雾处理，得到清晰化的当前帧图像，得到当前背景下的雾气遮罩：

W_i(x,y)＝S_i(x,y)-O_i(x,y)

i代表RGB三通道某一个通道，S为原海雾视频的某一帧图像，O为单帧去雾算法得到的清晰化图像，将同一背景下后续的所有视频帧减去雾气遮罩得到当前背景下的清晰化视频。

本发明的有益效果在于：针对特殊的海雾场景，本发明为了克服海雾场景视频图像降质出现对比度低、图像难识别的问题，公开了一种快速的视频图像海雾去除方法，该方法适用于所有海上航行器，能够大大提高海上航行器的视觉系统在海雾下性能。运算速度快，在海面场景下能够进行实时视频图像海雾清晰化处理；相对其他算法具有良好的边缘保持效果；具有去雾效果明显，图像恢复效果好的特点，作为视觉系统的前期处理，能有效提高后期目标检测、跟踪和识别的性能。

附图说明

图1海雾视频图像去雾清晰化的流程图；

图2单幅海雾图像去雾清晰化；

图3背景更新流程图；

图4海雾视频图像去雾效果。

具体实施方式

下面结合附图1-4对本发明做进一步描述。

本发明包括海雾视频图像获取，单幅海雾图像去雾，海雾视频图像去雾等步骤，流程图如图1

1.海雾视频图像的获取

选用的海雾视频图像获取装置的基本原理是利用安装在各类船上的可见光摄像头进行数据的采集。本实施中采用500万像素的CMOS摄像头进行海雾视频图像的采集。

2.单帧海雾图像的去雾清晰化

考虑到对于海雾视频图像处理的实时性要求，只选择对其强度分量进行去雾操作，然后通过简单的色彩恢复算法进行色彩恢复，达到颜色保真的效果，为了在不影响运算速度的基础上，达到很好的边缘保持效果，这里采用基于边缘信息的高斯滤波器来进行亮度分量的粗估计。

2.1强度分量提取

强度分量I可表示为：

I(x,y)＝(S_r(x,y)+S_g(x,y)+S_b(x,y))/3         (1)

上式中I(x,y)表示在图片(x,y)位置处的强度值，S_r、S_g、S_b分别表示为原海雾图的红色、绿色和蓝色分量。

2.2边缘检测

由于canny算子采用高斯函数对图像进行平滑处理，具有较强的噪声抑制能力，低错误率而且边缘的连续较好，所以这里采用canny算子进行边缘检测。具体边缘检测结果如图2，原海雾图如图2。

2.3亮度分量估计

利用基于边缘信息的高斯滤波器对原强度分量进行高斯滤波，达到保边的效果，防止细节边缘因为图像去雾算法处理之后而退化或模糊。

令canny边缘检测后的图片为I_edge，边缘检测后的图片中边缘表示为白色，值为1，非边缘为黑色，值为0。然后对原始图片中非边缘区域进行高斯滤波得到估计的亮度分量。首先得到原海雾图像中含有边缘的对应区域：

L_edge(x,y)＝I(x,y)·I_edge(x,y)          (2)

需要经过高斯平滑的非边缘区可表示为：

I_n-edge(x,y)＝(1-I_edge(x,y))·I(x,y)           (3)

则经过基于边缘的高斯滤波平滑估计的亮度图像为：

L(x,y)＝L_edge(x,y)+I_n-_edge(x,y)*G(x,y)              (4)

其中G(x,y)为高斯函数，且

σ是高斯函数的尺度参数，k为归一化因子，使∫∫G(x,y)dxdy＝1。亮度分量估计结果如图2。

2.4反射分量估计

由强度图像初步估计的反射分量为：

r(x,y)＝log(I(x,y))-log(L(x,y))            (5)

反射分量估计结果如图2

2.5反射分量补偿

为达到自适应增强的效果，引入原强度分量来改善反射分量分量的色调：

r′(x,y)＝log(I(x,y))+r(x,y)               (6)

反射分量补偿后结果如图2。

2.6对比度增强

采用分段线性截取拉伸灰度变换的方法进一步对处理后的图片进行增强，提高图像的对比度。具体处理步骤如下：

（1）根据式(6)得到的反射分量，对其像素值进行排序，取总像素数N×0.01位置处的像素值作为下截点d_min，取N×0.99位置处的像素值作为上截点d_max；

（2）按下面公式(7)对新的反射分量r′进行分段截取拉伸变换映射到区间[0,255]，从而增强其对比度。

$R(x,y)=\left\{\begin{array}{ccc}10\&times;\frac{r\&prime;(x,y)-d_{\max }}{\max (r\&prime;(x,y))-d_{\max }}+245& ,& r\&prime;(x,y)>d_{\max }\\ 0& ,& r\&prime;(x,y)<d_{\min }\\ 245\&times;\frac{r\&prime;(x,y)-d_{\min }}{d_{\max }-d_{\min }}& ,& \mathrm{else}\end{array}\right.---\left(7\right)$

上式中max(r′(x,y))为反射分量的最大值。经过截取拉伸变换后对比度增强结果如下图2。

2.7色彩恢复

利用简单的色彩恢复方法来得到好的色彩保真效果，具体操作就是引入原海雾图的每个通道与强度分量的权重，具体表达式如下：

$O_i(x,y)=R(x,y)\&CenterDot;\frac{S_i(x,y)}{I(x,y)}---\left(8\right)$

上式中i表示RGB三通道中的某一个通道，O_i(x,y)表示在第i个通道坐标为(x,y)处经过本算法处理后的值，R(x,y)为(7)式求得的反射分量，S_i表示原始海雾图的某一个通道，I是式(1)求得的强度分量。经过式(8)色彩恢复后的处理效果如下图2所示。

3.视频图像海雾去除清晰化

3.1帧差法背景提取

本方法中帧差法背景提取的基本原理就是通过视频相邻帧之间帧差分，然后进行二值化得到二值化后的图像，接着对该二值图进行区域填充就得到了目标的运动区域，然后将这些运动区域对应的的像素值丢掉就得到了每帧图像的背景区域，对所有进行帧差运算的背景区域的像素值进行累加，最后求平均值就能得到帧差法提取的背景图片。

其实时背景更新流程图如图3所示：

图3中的初始背景按如下方法求取：

通过摄像头读入的视频帧，设其灰度化以后像素点在时间t_i处的灰度值为F(x,y,t_i)，将当前帧与前一帧做差分，得到二值图像D(x,y,t_i)，

$D(x,y,t_i)=\left\{\begin{array}{cc}255& |F(x,y,t_i)-F(x,y,t_{i-1})|\&GreaterEqual;T\\ 0& |F(x,y,t_i)-F(x,y,t_{i-1})|<T\end{array}\right.---\left(9\right)$

这里T是阈值，由于一串序列帧背景的灰度大多是一样的，只有有运动目标的区域，才会出现灰度变化很大的情况。

通过计算非运动区域的累加值，sum(x,y)为非运动区域的累加值，定义为非运动区域叠加的次数，则有：

$\mathrm{sum}(x,y)=\left\{\begin{array}{cc}\mathrm{sum}(x,y)+F(x,y,t_i)& D(x,y,t_i)=0\\ \mathrm{sum}(x,y)& D(x,y,t_i)=255\end{array}---\left(10\right)\right.$

$\mathrm{num}(x,y)=\left\{\begin{array}{cc}\mathrm{num}(x,y)+1& D(x,y,t_i)=0\\ \mathrm{num}(x,y)& D(x,y,t_i)=25\end{array}\right.---\left(11\right)$

然后通过求平均值得到背景：

B(x,y)＝sum(x,y)/num(x,y)               (12)

图3中的背景更新策略如下：

不同背景下海雾的浓度一般不同，因此要将雾气遮罩完美的运用到视频中达到好的快速的视频去雾效果，就必须实时的更新背景来判断是否需要重新计算雾气遮罩。

若在当前帧和已求的背景图像做差分后的得到的差分图像中，发生变化的像素与全部像素的百分比大于某一个阈值(通常取80%)，则表示背景发生了大范围的变化，如果连续多帧中这一比值都很大，则重新提取背景。

3.2海雾视频图像去雾

根据上一步背景的判断，首先利用前面所诉单帧图像海雾去除清晰化算法对同一背景下的第一帧图像进行去雾处理，得到清晰化的当前帧图像，即(8)式中的O，然后得到当前背景下的雾气遮罩：

W_i(x,y)＝S_i(x,y)-O_i(x,y)              (13)

上式中i代表RGB三通道某一个通道，S为原海雾视频的某一帧图像，O为(8)式单帧去雾算法得到的清晰化图像。然后将同一背景下后续的所有视频帧都减去(13)式所求的雾气遮罩就能得到当前背景下的清晰化视频；背景更新一次，就求一次去雾和雾气遮罩；这样能大大的加快海雾场景下视频去雾的速度。

本发明的主要贡献和特点在于：(1)海雾视频图像的获取可通过安装在各类船只上的可见光摄像头(如CCD摄像头或CMOS摄像头)进行获取。(2)对采集的单帧海雾图像的去雾清晰化，包括：强度分量提取、边缘检测、采用基于边缘信息的高斯滤波器进行亮度分量估计、采用Retinex增强算法进行反射分量提取、采用非锐化掩蔽和高提升滤波进行反射分量的补偿、采用分段截取拉伸变换进行对比度增强，最后利用色彩恢复算法进行色彩恢复达到单幅图海雾去除的效果。通过单帧图像的去雾能够得到当前帧的雾气遮罩。(3)对海雾视频图像进行快速海雾去除清晰化，包括：帧差法背景估计、同一背景下的视频去雾，最后能够达到快速的海雾视频图像去雾清晰化效果，可以大大的提高海雾视频去雾的速度。

Claims (1)

1.一种视频图像海雾去除清晰化方法，其特征在于：

（1）获取海雾视频图像：

利用安装在各类船上的可见光摄像头进行数据的采集；

（2）单帧海雾图像的去雾清晰化：

（2.1）强度分量提取：

强度分量I为：

I(x,y)＝(S_r(x,y)+S_g(x,y)+S_b(x,y))/³

I(x,y)表示在图片(x,y)位置处的强度值，S_r、S_g、S_b分别表示为原海雾图的红色、绿色和蓝色分量；

（2.2）边缘检测：

采用canny算子进行边缘检测；

（2.3）估计亮度分量：

利用基于边缘信息的高斯滤波器对原强度分量进行高斯滤波，令canny边缘检测后的图片为I_edge，边缘检测后的图片中边缘表示为白色，值为1，非边缘为黑色，值为0，对原始图片中非边缘区域进行高斯滤波得到估计的亮度分量，首先得到原海雾图像中含有边缘的对应区域：

L_edge(x,y)＝I(x,y)·I_edge(x,y)

需要经过高斯平滑的非边缘区为：

I_n-edge(x,y)＝(1-I_edge(x,y))·I(x,y)

经过基于边缘的高斯滤波平滑估计的亮度图像为：

L(x,y)＝L_edge(x,y)+I_n-edge(x,y)*G(x,y)

其中G(x,y)为高斯函数，且

σ是高斯函数的尺度参数，k为归一化因子，使∫∫G(x,y)dxdy＝1；

（2.4）估计反射分量：

由强度图像初步估计的反射分量为：

r(x,y)＝log(I(x,y))-log(L(x,y))

（2.5）补偿反射分量：

引入原强度分量来改善反射分量的色调：

r′(x,y)＝log(I(x,y))+r(x,y)

（2.6）增强对比度：

采用分段线性截取拉伸灰度变换的方法进一步对处理后的图片进行增强，提高图像的对比度：

（2.6.1）根据得到的反射分量，对像素值进行排序，取总像素数N×0.01位置处的像素值作为下截点d_min，取N×0.99位置处的像素值作为上截点d_max；

（2.6.2）对反射分量r′进行分段截取拉伸变换映射到区间[0,255]，增强对比度

$R(x,y)=\left\{\begin{array}{ccc}10\&times;\frac{r\&prime;(x,y)-d_{\max }}{\max (r\&prime;(x,y))-d_{\max }}+245& ,& r\&prime;(x,y)>d_{\max }\\ 0& ,& r\&prime;(x,y)<d_{\min }\\ 245\&times;\frac{r\&prime;(x,y)-d_{\min }}{d_{\max }-d_{\min }}& ,& \mathrm{else}\end{array}\right.$

max(r′(x,y))为反射分量的最大值；

(2.7)恢复色彩

引入原海雾图的每个通道与强度分量的权重：

$O_i(x,y)=R(x,y)\&CenterDot;\frac{S_i(x,y)}{I(x,y)};$

i表示RGB三通道中的通道，O_i(x,y)表示在第i个通道坐标为(x,y)处经过处理后的值，R(x,y)为求得的反射分量，S_i表示原始海雾图的通道，I是强度分量；

（3）视频图像海雾去除清晰化：

（3.1）提取帧差法背景

通过摄像头读入的视频帧，灰度化以后像素点在时间t_i处的灰度值为F(x,y,t_i)，将当前帧与前一帧做差分，得到二值图像D(x,y,t_i)，

$D(x,y,t_i)=\left\{\begin{array}{cc}255& |F(x,y,t_i)-F(x,y,t_{i-1})|\&GreaterEqual;T\\ 0& |F(x,y,t_i)-F(x,y,t_{i-1})|<T\end{array}\right.,$            T是阈值

计算非运动区域的累加值，定义为非运动区域叠加的次数：

$\mathrm{sum}(x,y)=\left\{\begin{array}{cc}\mathrm{sum}(x,y)+F(x,y,t_i)& D(x,y,t_i)=0\\ \mathrm{sum}(x,y)& D(x,y,t_i)=255\end{array}\right.$

$\mathrm{num}(x,y)=\left\{\begin{array}{cc}\mathrm{num}(x,y)+1& D(x,y,t_i)=0\\ \mathrm{num}(x,y)& D(x,y,t_i)=255\end{array}\right.$

通过求平均值得到背景：

B(x,y)＝sum(x,y)/num(x,y)

（3.2）海雾视频图像去雾

利用单帧图像海雾去除清晰化算法对同一背景下的第一帧图像进行去雾处理，得到清晰化的当前帧图像，得到当前背景下的雾气遮罩：

W_i(x,y)＝S_i(x,y)-O_i(x,y)

i代表RGB三通道某一个通道，S为原海雾视频的某一帧图像，O为单帧去雾算法得到的清晰化图像，将同一背景下后续的所有视频帧减去雾气遮罩得到当前背景下的清晰化视频。

Images