CN103927751A - 基于梯度信息融合的水面光视觉图像目标区域检测方法 - Google Patents

Abstract

本发明提供的是一种基于梯度信息融合的水面光视觉图像目标区域检测方法。分别采用两种滑动窗口形式，计算水面光视觉图像的纵向梯度与横向梯度。将两个梯度信息进行融合，并采用连通检测方法标记区域的位置，根据目标的最终边界标记出目标区域。本发明主要是结合水面图像中海界线区域特点，先分别提取水面光学图像在纵向梯度与横向梯度方向上的目标边界信息，确定海界线属性和图像处理空间的划分，然后根据融合信息，确定目标边界的区域类别属性，并依据边界性质，完成像素的扫描与归类。本发明由于结合海界线特点对两个方向的梯度信息进行融合，降低了处理区域范围，减少了噪声的影响。也避免了对整个图像空间的运算处理，节约计算时间。

Description

基于梯度信息融合的水面光视觉图像目标区域检测方法

技术领域

本发明涉及的是一种数字图像处理方法。具体地说是一种水面光视觉图像目标区域检测方法。

背景技术

从20世纪90年代起，图像和视频处理方法就应用于检测和识别海上弱小目标。基于可见光成像的船舶检测技术目前已经用于船只导航，在2003年国际航海大会上，日本东京商船学院提出了基于可见光视觉信息的海上运动船舶检测方法，通过与船舶自动识别系统AIS和基于雷达的视觉自动感应系统ARPA的协同，实现了船舶的自主避碰。从近来的环境信息研究看出，鉴于船舶系统的导航、各种碰撞灾难的避免、身份核查以及海上事故的人员搜救等需求，在不同状况的海面环境图像中检测到特定的目标物愈来愈重要。目前较多文献报导的是关于水面红外图像弱小目标的检测，主要基于小波变换、纹理特征(如文献[1]和文献[2])或能量积累(如文献[3]和文献[4])等原理。这些文献虽然对于水面光视觉图像有一定的参考作用，但两类图像的成像机理存在本质上的差异，从而导致诸多处理上的问题，所以对于后者来说，仍需要深入研究适应其特点的目标区域检测方法。

文献[5]通过海天线及处于海天线上的异物检测候选目标，并根据连续帧的结果来确定真实目标。文献[6]先提取海天线，通过分析海天线上下区域的块直方图属性，确定目标区域。文献[7]利用灰度特性提取海天线，然后利用一维最大熵阈值分割法对目标进行检测，该方法在海面状况较恶劣时效果欠佳。文献[8]综合运用边缘检测、OTSU算法以及Hough变换检测出海天线，进而使用投影法提取海天线区域中的船舶目标，该方法没有兼顾目标存在于海天线区域以下的情况。如果对近海目标采用类似弱小目标的检测方法，很可能会把海面附近的强噪声点作为目标，造成很高的虚警率。文献[9]采用迭代的基于倒三角小模板的线性低通滤波方法实现粗分辨率图像上的平滑滤噪以凸显目标，需要根据海面的波浪状况来判定模板的尺寸以及迭代的次数，也不具备连续快速检测的优势。文献[10]采用基于Butterworth高通滤波器的目标检测方法，可自适应的检测出海天背景下的小目标。文献[11]采用基于图像形态学和信息熵理论的目标检测方法，实现了海天背景下的小尺度船舶检测。文献[12]采用基于小波变换的水面船舶检测方法，该方法采用多分辨率小波检测出海天背景下的海天线，通过相关小波能量合成检测出水面船舶信息。文献[13]采用基于小波变换的背景抑制技术，实现了对船舶目标的检测。文献[14]采用序列图像融合方法，通过结合小波变换和图像形态学模型，实现了船舶目标的检测。相关论文表明，暂时未见效果较好的、不受海界线属性限制的、简便快捷的水面光视觉目标区域检测方法。

本发明涉及到的参考文献：

[1]Vo N.,Tran Q.,Dinh T.B.,et al.An Efficient Human-Computer Interaction Framework UsingSkin Color Tracking and Gesture Recognition[A].IEEE RIVF International Conference onComputing and Communication Technologies,Research,Innovation,and Vision for theFuture[C].Hanoi:IEEE Computer Society,2010:1-6；

[2]Chen Yen-Lin,Wu Bing Fei,Huang Hao-Yu,et al.A Real-Time Vision System for NighttimeVehicle Detection and Traffic Surveillance[J].IEEE Transaction on Industrial Electronics,2011,58(5):2030-2044；

[3]石文君，吴中川，刘晓红，黄应顺.低对比度条件下基于能量积累和Gabor变换的海天线提取,红外技术,2010,32(5):283-285；

[4]Kun A.J.,Vámossy Z.Traffic Monitoring with Computer Vision[A].Proceedings of the7^thInternational Symposium on Applied Machine Intelligence and Informatics[C].Slovakia:IEEE Computer Society,2009:131-134；

[5]Sergiy Fefilatyev,Dmitry Goldgof.Detection and Tracking of Marine Vehicles in Video；

[6]G.K.Santhalia,Nitin Sharma,Sanatya Singh.A Method to Extract Future Warships inComplex Sea-Sky Background Which May Be Virtually Invisible.2009Third AsiaInternational Conference on Modelling&Simulation.2009:533-539；

[7]董宇星,刘伟宁.基于灰度特性的海天背景小目标检测.中国光学与应用光学,2010,3(3):253-256；

[8]黄英东,范宁军,李杰.一种基于海天线检测的舰船定位方法.弹箭与制导学报,2008,28(5):286-288；

[9]吴琦颖,李翠华.用于海上感兴趣区域实时分割的近似算法.厦门大学学报(自然科学版),2007,46(1):33-37；

[10]L.Yang,J.Yang,K.Yang.Adaptive detection for infrared small target under sea-sky complexbackground.Electronics Letters,2004,40(17):1083-1085；

[11]Jian Nan,C.,et al.A detection method of infrared image small target based on ordermorphology transformation and image entropy difference in Machine Learning andCybernetics.Proceedings of2005International Conference.2005:5111-5116；

[12]Wei Y.,Z.Shi,H.Yu.Wavelet analysis based detection algorithm for infrared image small targetin background of sea and sky.Image and Signal Processing and Analysis.ISPA.Proceedingsof the3rd International Symposium.2003:23-28；

[13]Yu-Qiu,S.,T.Jin-Wen,L.Jian.Background suppression based-on wavelet transformation todetect infrared target in Machine Learning and Cybernetics.Proceedings of2005InternationalConference.2005:4611-4615；

[14]Zhou W.,K.Xu,S.Li.A Method for Ship Target Detection Based on Image Fusion.Electronic Measurement and Instruments,International Conferenceon.2007:923-926。

发明内容

本发明的目的在于提供一种对水面目标提取有较好效果的基于梯度信息融合的水面光视觉图像目标区域检测方法。

本发明的目的是这样实现的：

1.读取待检测的原始灰度图像，并存入一个二维图像数组中，各像素点的灰度值均在0～255的范围内；

2.采用3×3滑动窗口A，对原始灰度图像进行纵向梯度运算，得到图像A1；

3.采用5×5滑动窗口B，对原始灰度图像进行横向梯度运算，得到图像B1；

4.在图像A1中，计算梯度分布信息，确定海界线属性；

5.在图像B1中，采取膨胀与腐蚀运算，剔除噪声点所引起的梯度信息，根据海界线的属性，对图像B1进行划分，计算水面目标可能出现区域内的边界信息；

6.将图像A1与图像B1进行融合运算得到图像C1；

7.在图像C1中，选取由梯度信息所形成区域内的像素点作为种子，进行区域生长，对目标的轮廓类别进行标记；

8.依据步骤5所确定的边界信息和步骤7所确定的轮廓类别信息，对图像像素进行连通检测，如果像素点属于目标边界，初始化目标的边界角点信息，对同一类的目标边界进行边界角点信息更新，对非同一类的目标边界，则初始化下一个目标的边界角点信息，并随后更新；

9.重复步骤8至没有像素满足条件为止，相应得到的连通区域作为目标的最终边界；

10.根据图像中目标与海界线间的距离，设置动态阈值，剔除伪目标，所获得结果作为最终的水面光视觉图像目标区域提取结果。

本发明还可以包括这样一些特征：

1、步骤2所述纵向梯度计算方法是以原始灰度图像中每个像素点(i,j)为窗口中心，采用3×3滑动窗口遍历图像，计算窗口内两个相距最远像素点(i+1,j)与像素点(i-1,j)的灰度差Δg₁，其公式定义为：

Δg₁=f(i+1,j)-f(i-1,j)

依据图像背景灰度C_t和图像中灰度差值数量百分比γ，对灰度差Δg₁进行拉伸，计算得到像素点(i,j)处的纵向梯度值G₁(i,j)，其公式定义为：

G₁(i,j)=Δg₁×γ+C_t

2、步骤3所述的横向梯度计算方法是以原始灰度图像中每个像素点(i,j)为窗口中心，采用5×5滑动窗口遍历图像，计算窗口内两个相距最远像素点(i,j+2)与像素点(i,j-2)的灰度差Δg₂，其公式定义为：

Δg₂=f(i,j+2)-f(i,j-2)

依据图像背景灰度C_t和图像中灰度差值数量百分比γ，对灰度差Δg₂进行拉伸，计算得到像素点(i,j)处的纵向梯度值G₂(i,j)，其公式定义为：

G₂(i,j)=Δg₂×γ+C_t

3、步骤4所述梯度分布信息计算方法是对梯度图像进行逐行扫描，累计每行中各像素点(i,j)处的梯度值，其公式定义为：

$\mathrm{Gh}\left(i\right)=\underset{j=1}{\overset{W}{\mathrm{\Σ}}}{G}_2(i,j),$

其中W为图像宽度。而对于海界线属性的判定，则依据累计梯度信息与海界线的横向梯度信息GH间的关系。如果Gh(i)>GH/3，则该区域含有强梯度分布成分，该海界线属性应为海岸线。反之，则应为海天线。

4、步骤6所述梯度图像融合计算方法是取像素点(i,j)处的横向梯度与纵向梯度间的最大值，Gr(i,j)定义为：

Gr(i,j)=max{G₁(i,j),G₂(i,j)}，

5、步骤10所述的去除虚警目标区域的方法是根据图像中目标与海界线间的距离s和摄像机视场内目标距离与目标区域面积变化间的比例系数α，定义动态阈值κ，即

k=α·s

设目标区域面积为A，如果A>k，则该区域为目标区域，反之为虚警区域，应剔除，所获得结果作为最终的水面光视觉图像目标区域提取结果。

本发明采用的方法的核心是，利用不同尺寸窗口计算水面灰度图像，获得纵向与横向梯度图像，然后根据纵向梯度图像确定海界线属性，而横向梯度图像则根据该属性确定水面目标可能出现区域内的边界信息。其次，在融合后图像中，选取梯度信息所形成区域内的像素点作为种子，区域生长获得目标轮廓类别标记。最后，利用所确定的边界信息和目标轮廓类别信息，对融合后的梯度图像进行连通检测，从而获得水面目标区域的提取。

实验表明，在一台CPU为Intel酷睿2T7300、操作系统为Windows XP、编程环境为VC6.0的条件下，对尺寸为352×288的600幅灰度图像进行目标区域提取，平均花费时间为55ms，完全可以达到实时性要求，节省了可观的时间资源。而目前其它水面目标区域提取方法没有提供算法的执行时间方面的数据。

附图说明

图1为原图像；

图2为纵向梯度计算模板；

图3为横向梯度计算模板；

图4为纵向梯度计算结果；

图5为横向梯度计算结果；

图6为融合后结果；

图7为目标区域提取的最终结果；

图8该发明方法的整体处理流程图。

具体实施方式

下面结合附图举例对本发明做更详细地描述：

1.读取待检测的灰度图像(如图1所示)，并将其存入一个二维图像数组中，各像素点(i,j)处的灰度值均在0～255的范围内。

2.采用3×3滑动窗口(如图2所示)，以每个像素点(i,j)处为滑动窗口中心，遍历整幅图像，计算滑动窗口内每个像素点(i,j)处的灰度差值Δg₁，Δg₁定义为：

Δg₁=f(i+1,j)-f(i-1,j)   (1)

3.依据图像背景灰度C_t和图像中灰度差值数量百分比γ，对灰度差值Δg₁进行拉伸，计算得到像素点(i,j)处的纵向梯度值G₁(i,j)，其公式定义为：

G₁(i,j)=Δg₁×γ+C_t   (2)

其中，C_t与γ根据统计样本进行确定。将数值G₁(i,j)作为点(i,j)处的像素值，则形成了纵向梯度图像，如图4所示。

4.采用5×5滑动窗口(如图3所示)，以每个像素点(i,j)处为滑动窗口中心，遍历整幅图像，计算滑动窗口内每个像素点(i,j)处的灰度差值Δg₂，Δg₂定义为：

Δg₂=f(i,j+2)-f(i,j-2)   (3)

5.同步骤(3),计算得到横向梯度值G₂(i,j)，得到横向梯度图像，如图5所示。

6.对图像4进行逐行扫描，对每行中各像素点(i,j)处的梯度值G₂(i,j)进行累积计算，得到横向梯度累计值Gh(i)，计算公式定义为：

$\mathrm{Gh}\left(i\right)=\underset{j=1}{\overset{W}{\mathrm{\Σ}}}{G}_2(i,j),---\left(4\right)$

其中W为图像宽度。

7.计算横向梯度累计值Gh(i)与海界线横向梯度信息GH间的数值大小。如果Gh(i)>GH/3，则该区域含有强梯度分布成分，该海界线属性应为海岸线。反之，则应为海天线。

8.在图像5中，采取膨胀与腐蚀运算，剔除噪声点所引起的梯度信息。根据步骤(7)确定的海界线属性，对图像5进行划分。

若海界线为海天线，则图像5划分为2个处理区域，即水面区域与天空区域，水面目标主要出现在水面区域内,后续处理主要在水面区域进行。若海界线为海岸线，则图像5划分为3个处理区域，即水面区域、天空区域以及海岸区域，而水面目标则可能出现水面区域与海岸区域，后续处理主要在这两个区域进行。

9.采用边界追踪方法，计算水面目标可能出现区域内的边界信息。

10.对图像4与图像5进行融合计算，计算公式定义为

Gr(i,j)=max{G1(i,j),G2(i,j)}，   (5)

将数值Gr(i,j)作为点(i,j)处的像素值，则形成了融合后的图像，如图6所示。在图像6中，依据边界的连续性，可根据两幅图像中目标区域边界的组合得到目标的轮廓。

11.在图像6中，选取目标区域内的像素点作为种子，进行区域生长，并对目标的轮廓类别进行标记。

12.依据步骤9所确定的边界信息和步骤11所确定的轮廓类别信息，对图像6中像素进行连通检测。如果像素点属于目标边界，初始化目标的边界角点信息，对同一类的目标边界进行边界角点信息更新，对非同一类的目标边界，则初始化下一个目标的边界角点信息，并随后更新。

13.重复步骤12至没有像素满足条件为止，相应得到的连通区域作为可能目标区域。

14.在图像6中，计算每个目标区域所对应的动态面积阈值κ，定义为

k=α·s   (6)

其中，α表征通过摄像机标定所确定的在视场内，距离变化所引起的面积变化系数，s表征目标与海界线间的距离图像中灰度差值数量百分比。

15.依据动态面积阈值κ，去除伪目标区域。设目标区域面积为A，如果A>k，则该区域为目标区域，反之为伪目标区域，应剔除。所获得结果作为最终的水面光视觉图像目标区域提取结果。

Claims (6)

1.一种基于梯度信息融合的水面光视觉图像目标区域检测方法，其特征是：

（1）.读取待检测的原始灰度图像，并存入一个二维图像数组中，各像素点的灰度值均在0～255的范围内；

（2）.采用3×3滑动窗口A，对原始灰度图像进行纵向梯度运算，得到图像A1；

（3）.采用5×5滑动窗口B，对原始灰度图像进行横向梯度运算，得到图像B1；

（4）.在图像A1中，计算梯度分布信息，确定海界线属性；

（5）.在图像B1中，采取膨胀与腐蚀运算，剔除噪声点所引起的梯度信息，根据海界线的属性，对图像B1进行划分，计算水面目标可能出现区域内的边界信息；

（6）.将图像A1与图像B1进行融合运算得到图像C1；

（7）.在图像C1中，选取由梯度信息所形成区域内的像素点作为种子，进行区域生长，对目标的轮廓类别进行标记；

（8）.依据步骤（5）所确定的边界信息和步骤（7）所确定的轮廓类别信息，对图像像素进行连通检测，如果像素点属于目标边界，初始化目标的边界角点信息，对同一类的目标边界进行边界角点信息更新，对非同一类的目标边界，则初始化下一个目标的边界角点信息，并随后更新；

（9）.重复步骤（8）至没有像素满足条件为止，相应得到的连通区域作为目标的最终边界；

（10）.根据图像中目标与海界线间的距离，设置动态阈值，剔除伪目标，所获得结果作为最终的水面光视觉图像目标区域提取结果。

2.根据权利要求1所述的基于梯度信息融合的水面光视觉图像目标区域检测方法，其特征是所述进行纵向梯度运算方法为：

采用3×3滑动窗口，以原始灰度图像中每个像素点(i,j)为窗口中心遍历整幅图像，计算窗口内两个相距最远像素点(i+1,j)与像素点(i-1,j)的灰度差Δg₁，

Δg₁=f(i+1,j)-f(i-1,j)

依据图像背景灰度C_t和图像中灰度差值数量百分比γ，对灰度差Δg₁进行拉伸，计算得到像素点(i,j)处的纵向梯度值G₁(i,j)，

G₁(i,j)=Δg₁×γ+C_t。

3.根据权利要求2基于梯度信息融合的水面光视觉图像目标区域检测方法，其特征是所述进行横向梯度运算的方法为：

采用5×5滑动窗口，以原始灰度图像中每个像素点(i,j)为窗口中心遍历整幅图像，计算窗口内两个相距最远像素点(i,j+2)与像素点(i,j-2)的灰度差Δg₂，

Δg₂=f(i,j+2)-f(i,j-2)，

依据图像背景灰度C_t和图像中灰度差值数量百分比γ，对灰度差Δg₂进行拉伸，计算得到像素点(i,j)处的纵向梯度值G₂(i,j)，

G₂(i,j)=Δg₂×γ+C_t。

4.根据权利要求3所述的基于梯度信息融合的水面光视觉图像目标区域检测方法，其特征是所述计算梯度分布信息和确定海界线属性的方法为：

在图像A1中，对图像进行逐行扫描，累计每行中各像素点(i,j)处的梯度值，

$\mathrm{Gh}\left(i\right)=\underset{j=1}{\overset{W}{\mathrm{\Σ}}}{G}_2(i,j),$

其中W为图像宽度，设海界线的横向梯度信息为GH，如果Gh(i)>GH/3，则该区域含有强梯度分布成分，该海界线属性应为海岸线，反之，则应为海天线。

5.根据权利要求4所述的基于梯度信息融合的水面光视觉图像目标区域检测方法，其特征是所述进行融合运算包括：其像素点(i,j)处的融合值Gr(i,j)定义为：

Gr(i,j)=max{G₁(i,j),G₂(i,j)}。

6.根据权利要求5所述的基于梯度信息融合的水面光视觉图像目标区域检测方法，其特征是剔除伪目标的方法为：

根据图像中目标与海界线间的距离s，设置动态阈值κ，

k=α·s，

其中，α表征通过摄像机标定所确定的在视场内、距离与面积变化间的比例系数，设目标区域面积为A，如果A>k，则该区域为目标区域，反之为虚警区域，应剔除，所获得结果作为最终的水面光视觉图像目标区域提取结果。