CN102298698A

CN102298698A - 基于角点与边缘信息融合的遥感图像飞机检测方法

Info

Publication number: CN102298698A
Application number: CN2011101416025A
Authority: CN
Inventors: 李士进; 仇建斌; 王玮; 朱跃龙; 万定生; 冯钧
Original assignee: Hohai University HHU
Current assignee: Hohai University HHU
Priority date: 2011-05-30
Filing date: 2011-05-30
Publication date: 2011-12-28
Anticipated expiration: 2031-05-30
Also published as: CN102298698B

Abstract

本发明公开了一种基于角点与边缘信息融合的遥感图像飞机检测方法。该方法包括以下步骤：对遥感图像进行边缘检测；对边缘检测后的遥感图像进行二值化处理；对二值化后的遥感图像进行Harris角点检测；选取角点数在预先设定的范围内的区域作为候选飞机区域；并根据每一候选飞机区域中亮像素点的个数去除伪目标区域；对得到的图像进行聚类并对目标飞机位置进行标注，最终得到的类的数目即为检测到的飞机数，每类的类心位置即为目标飞机的中心位置。本发明还公开了一种遥感图像飞机检测系统，包括顺次连接的边缘检测单元、二值化处理单元、角点检测单元、候选飞机区域选取单元、聚类单元。相比现有技术，本发明具有更好的检测效果和更高的检测效率。

Description

基于角点与边缘信息融合的遥感图像飞机检测方法

技术领域

本发明一种图像检测方法，尤其涉及一种利用遥感图像进行飞机检测的方法，属于图像识别技术领域。

背景技术

随着遥感技术的迅猛发展，对遥感图像中感兴趣的目标进行定位和辨识已经成为一个重要的研究方向。利用遥感图像来检测目标，在军事和民用领域都有着广泛的应用前景。尤其是在军事方面，利用遥感图像来检测重要军事目标，已经应用于国防建设中。作为重要的军事目标，飞机的检测和识别一直是研究的热点。

目标检测策略一般分为两类：一种称为由下而上数据驱动型策略，另一种称为由上而下知识驱动型策略。对于前者，不管目标属于何种类型，一律先对图像进行分割、标记和特征提取等低层处理，然后再将带标记的已分割区域的特征集和目标模型匹配。这种策略的优点是适用面广，对单个目标检测及复杂景物分析均适用；缺点是低层处理时缺乏知识指导，盲目性比较大，工作量大，匹配算法复杂。而后者，需要对目标有一定了解，必须先对目标在图像中可能存在的特征提出假设，再有目的的进行分割、标记和特征提取，在此基础上与目标模型精匹配。由于底层处理有知识指导的粗匹配，提高了算法的效率，精匹配过程也简单和有针对性。缺点是兼容性差，即检测目标改变，相应的知识、假设和模型也需要改变。

目前，基于遥感图像的飞机目标检测技术，大多采用由下而上的数据驱动型策略，通常采用先分割或先边缘提取，然后采用模板匹配的方法，例如，文献[徐大琦，倪国强，许廷发. 中高分辨力遥感图像中飞机目标自动识别算法研究[J]. 光学技术，第32卷，第6期，2006,11:855-862]、[孙红光，卜倩，李欢利，张瑾，张慧杰. 基于OTSU分割的云层背景下弱目标检测算法研究[J]. 东北师大学报，第41卷，第2期，2009,6:79-83]、[杨桄，张柏，王宗明，刘岩鹤. 基于阴影搜索法的飞机目标遥感图像分割研究[J]. 地理与地理信息科学, 第22卷，第1期，2006,1:48-50]中所采用的方法。但是由于遥感图像质量和飞机阴影的影响，通常分割后飞机目标会断开成几个区域，很难完整地提取出飞机目标边缘轮廓，所以通常做法是再进行区域合并或者边缘的连接。这种方法不仅实现起来很复杂而且抗干扰能力很弱，同时由于飞机的类型很多，很难用一个统一的模板来检测所有的飞机目标，因此往往检测结果不令人满意。一篇文献（[蔡红苹，耿振伟，栗毅. 遥感图像飞机检测新方法——圆周频率滤波法[J]. 信号处理，第23卷，第4期，2007,8:539-543]）提出了一种采用由上而下知识驱动型策略的飞机检测方法，但是该方法对图像灰度值有很强的依赖性，因此对于有伪装的飞机目标或者飞机与背景区分程度较弱的图像，存在很多漏检的情况。

发明内容

本发明所要解决的技术问题在于克服现有技术所存在的计算量大、漏检率高的不足，提供一种基于角点与边缘信息融合的遥感图像飞机检测方法，该方法充分利用飞机目标的边缘信息和角点信息进行检测，具有较好的检测效果，且计算量较小。

本发明方法包括以下步骤：

步骤A、对遥感图像进行边缘检测；

步骤B、对边缘检测后的遥感图像进行二值化处理；

步骤C、对二值化后的遥感图像进行Harris角点检测；

步骤D、选取角点数在预先设定的范围内的区域作为候选飞机区域；并根据每一候选飞机区域中亮像素点的个数去除伪目标区域；

步骤E、对步骤D得到的图像进行聚类并对目标飞机位置进行标注，最终得到的类的数目即为检测到的飞机数，每类的类心位置即为目标飞机的中心位置。

优选地，步骤A中采用Candy算子进行边缘检测。

优选地，步骤B中使用OTSU算法对遥感图像进行二值化处理。

优选地，步骤E中使用区域生长式聚类方法对步骤D得到的图像进行聚类，具体按照以下方法：

将一个种子样本点

作为生长的起点，然后将以种子样本点为中心、

为半径的邻域样本点集

合并到一类

，将

中的所有样本点当作新的种子样本点，寻找所有样本点

的半径的邻域，将这些邻域点合并到

类，即

其中，表示集合

中样本点个数，

表示元素

的邻域样本点集；

通过循环进行此过程，直到再没有满足条件的样本点归入该类；在还未聚类的样本点集

中寻找一个新的种子样本点重复上面的步骤，直到所有的样本点都被归入某类为止。

优选地，步骤E中聚类后每类类心位置按照下式计算得到：

，

其中，

、

分别为第

类中类心的横坐标、纵坐标，表示第

类中样本点个数，表示第

类中第

个样本点的横坐标，

表示第

类中第

个样本点的纵坐标，

为聚类后的总的类数。

根据本发明方法，可得到一种基于角点与边缘信息融合的遥感图像飞机检测系统，该系统包括顺次连接的边缘检测单元、二值化处理单元、角点检测单元、候选飞机区域选取单元、聚类单元；所述边缘检测单元用于对输入的遥感图像进行边缘检测；所述二值化处理单元用于对边缘检测后的遥感图像进行二值化处理；所述角点检测单元用于对二值化后的遥感图像进行Harris角点检测；所述候选飞机区域选取单元选取角点数在预先设定的范围内的区域作为候选飞机区域，并根据每一候选飞机区域中亮像素点的个数去除伪目标区域；所述聚类单元对去除伪目标区域后的候选飞机区域进行聚类并对目标飞机位置进行标注，输出最终检测结果。

相比现有技术，本发明具有以下有益效果：

一、本发明具有更高的检测查全率和更低的漏检率；

二、本发明不过于依赖飞机边缘分割的完整性，因此适用范围更广，对于有伪装的飞机目标或者飞机目标与背景区分不大的图像，亦有较好的检测效果；

三、本发明先对图像进行边缘检测，获取图像主要边缘信息，再通过OTSU算法二值化处理图像，进一步强化图像主要边缘信息，弱化背景等次要信息，使得后续处理时间大为缩短，极大地提高了检测效率；

四、本发明对飞机边缘提取不完全的情况也有较好的检测效果。

附图说明

图1为本发明的基于角点与边缘信息融合的遥感图像飞机检测系统结构示意图；

图2为飞机目标角点信息分布示意图，其中图（a）为原始图像，图（b）为飞机的角点信息示意图；

图3为对图像直接进行角点检测与先进行边缘检测和二值化处理后再进行角点检测所得到的结果对比，其中图（a）为直接对图像进行角点检测的结果，图（b）为先进行边缘检测和二值化处理后再进行角点检测所得到的结果；

图4为具体实施方式中的检测过程中各阶段得到的图像，其中，图（a）为输入的原始图像，图（b）为边缘检测后的图像，图（c）为二值化后的图像，图（d）为角点检测后的图像，图（e）为初步选取候选飞机区域后的图像，图（f）为去除伪目标区域后的图像，图（g）为聚类后输出的最终检测结果；

图5为采用本发明方法对边缘分割不完整的图像检测过程中各阶段得到的图像，其中，图（a）为输入的原始图像，图（b）为边缘检测后的图像，图（c）为二值化后的图像，图（d）为角点检测后的图像，图（e）为初步选取候选飞机区域后的图像，图（f）为去除伪目标区域后的图像，图（g）为聚类后输出的最终检测结果。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

在真实遥感图像中，区分飞机目标和其他干扰地物的方法主要是利用飞机目标在遥感图像中表现出的灰度、形状、大小、阴影等特征。飞机的边缘特征决定了在飞机目标处有丰富的角点信息，而且与其他区域的角点信息不同。简单考虑，飞机目标处的角点信息有数量限制，如图2所示，其中图（a）为原始图像，图（b）为飞机的角点信息示意图。本发明的飞机检测方法及检测系统即是根据飞机此种特征所提出的。通过实验发现如果先提取图像角点特征再进行后续处理，则遥感图像中角点信息太多，在此基础上的后续操作需要处理非常多的子图像窗口，从而使飞机检测时间开销太大。针对上述不足，本发明采用先对图像进行边缘检测，获取图像主要边缘信息，再通过OTSU算法二值化处理图像，进一步强化图像主要边缘信息，弱化背景等次要信息，使得后续处理时间大为缩短，极大地提高了检测效率。图3显示了采用这两种方案所得到的结果，其中图（a）为直接对图像进行角点检测的结果，图（b）为先进行边缘检测和二值化处理后再进行角点检测所得到的结果。从图中可看出，先进行边缘检测和二值化处理后再进行角点检测可以去除大量背景的角点信息，突出飞机目标区域，使得后续的工作更有针对性，更加高效。

本发明的基于角点与边缘信息融合的遥感图像飞机检测系统，如图1所示，包括顺次连接的边缘检测单元、二值化处理单元、角点检测单元、候选飞机区域选取单元、聚类单元；采用该系统进行遥感图像飞机检测，具体按照以下各步骤：

步骤A、对遥感图像进行边缘检测；

边缘检测是计算机视觉和图像分析领域中一个非常重要的内容。边缘表示信号的突变情况,包含了图像的大量信息,反映了物体的特征。因此,寻求有效的边缘检测方法一直是研究的重点。本发明优选采用Canny算子进行飞机图像边缘检测。

Canny算子边缘检测为现有技术，详细内容可参考文献[Canny J. A computational approachto edge detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, 8(6): 679-698.]，其包含步骤如下：

1）使用高斯滤波器对图像进行滤波，去除图像中的噪声，其中高斯滤波函数为:

；

2）用高斯算子的一阶微分对图像进行滤波，得到每个图像的梯度强度和方向；

3）对梯度进行“非极大抑制”，决定局部极大值；

4）对梯度取两次阈值，即取阈值Hthr和Lthr，分别表示高阈值和低阈值，两者关系为Lthr=0.4Hthr，得到两幅图像。高阈值的选取可采用如下的原则：假设在一幅图像中,非边缘点的数目占总图像像素数目的比例为Hratio,则根据求得的梯度直方图,从低到高逐步累加图像点数目,当累加数目达到图像总像素数目乘以Hratio时,对应的图像梯度值为高阈值,一般Hratio的取值为0.7或0.8，低阈值等于0.4乘以Hthr；

5）链接边缘。

本具体实施方式以图4（a）所示图像作为原始输入图像，经Canny算子边缘检测后得到的图像如图4（b）所示。

步骤B、对边缘检测后的遥感图像进行二值化处理；

经过步骤A处理后得到的目标边缘图像，从图4(b)可以看出，图像边缘的灰度值与背景相比较高，这说明边缘与背景两类已经十分明显可以区分。因此本发明运用OTSU算法二值化处理，将边缘信息加强，起到增强图像中目标信息，抑制背景信息的目的，使得后续角点检测计算量减少，提高检测效率。

OTSU方法（具体可参见文献[Otsu Nobuyuki. A Threshold Selection Method from Gray-Level Histograms. IEEE Transactions on Systems,Man and Cyberenetics, vol.9.no.1,Jan.1979:62-66]）的基本思想是：遍历图像中的所有灰度值，将此灰度值作为阈值将图像分割成两组，一组对应目标，另一组对应背景，找出灰度值中使得分割所得两类中类内方差最小而类间方差最大的作为图像的阈值进而分割图像。本具体实施方式中图像二值化分割效果如图4(c)所示。

步骤C、对二值化后的遥感图像进行Harris角点检测；

角点是图像一种重要的局部特征,角点在保留图像中物体重要特征信息的同时有效地减少了信息的数据量,使得对图像处理时运算量大大降低。由于角点集中了图像上很多重要的边缘信息,同时角点特征具有旋转不变性,因此角点几乎不受光照条件的影响。角点特征是本发明飞机检测方法最重要的依据。

Harris角点检测算法（详细内容参见文献[Harris Chris, Stephens Mike. A COMEINED CORNER AND EDGE DETECTOR. Plessey Research Roke Manor,United Kingdom The Plessey Company.1988:147-151]）的步骤如下：

1. 利用水平、竖直差分算子对图像每个像素进行滤波以求得

、

，进而求得中四个元素的值：

2. 对

的四个元素进行高斯平滑，得到相关矩阵

；

3. 利用计算对应每个像素的角点度量(即

值)，

的计算公式如下所示：

4. 在矩阵

中，同时满足“大于某一阈值TH1和

是某邻域内的局部极大值”这两个条件的点被认为是角点。本具体实施方式中阈值TH1等于500。

本具体实施方式中，图像角点检测效果如图4(d)所示。

步骤D、选取角点数在预先设定的范围内的区域作为候选飞机区域；并根据每一候选飞机区域中亮像素点的个数去除伪目标区域；本具体实施方式中，具体包括以下子步骤：

步骤D1、逐个像素扫描图像，以该像素点为中心，以一定的半径开始增长，直至该区域内的角点数在预先设定的范围内，并且再次增加半径后角点数目不会增加，则把这个区域作为候选飞机区域；所述预先设定的范围为

；

图4（e）显示了得到的初步的候选飞机区域；由图4（e）可知，还存在着伪目标区域，这些区域同样满足角点数目特征，因此必须将其去除。观察图像可以发现，通常这些伪目标区域中的亮像素点的个数较之飞机区域都很少，不足以构成飞机的边缘，即可以通过计算每个区域内亮像素点的个数，设置某个阈值，达到去除伪目标的目的。因此，本发明在步骤D1之后还包括，

步骤D2、判断各候选飞机区域中亮像素点的个数是否大于预先设定的阈值，如是，则保留；如否，则将区域作为伪目标区域去除。为简便起见，可根据实际情况为各候选飞机区域设定同一阈值；也可按照以下方法自适应地为每一候选飞机区域分别确定相应的阈值：对于每一候选飞机区域，其所对应的阈值为该候选飞机区域半径的10倍，本具体实施方式中即采用此种方法。

图4（f）显示了去除伪目标区域后的图像。

步骤E、对步骤D得到的图像进行聚类并对目标飞机位置进行标注，最终得到的类的数目即为检测到的飞机数，每类的类心位置即为目标飞机的中心位置；

由图4（f）可知，最终飞机中心候选区域都会集中在某个区域附近，这是因为我们是通过逐个像素扫描来统计角点个数，因此会出现集中在一处的情况，而且一般情况下经边缘检测和二值化处理后的图像并不能完整分割出图像边缘，可能会将飞机分成几个区域，这些因素都会造成候选区域集中的情况。本发明采用区域生长式聚类来解决这个问题，区域生长式聚类方法具体为：

将一个种子样本点

作为生长的起点，然后将以种子样本点

为中心、

为半径的邻域样本点集

合并到一类，将

中的所有样本点(即

)当作新的种子样本点，寻找所有样本点

的

半径的邻域，将这些邻域点合并到类，即

其中，

表示集合

中样本点个数，表示元素

的邻域样本点集；

通过区域生长式聚类后，飞机候选区域被分成

类

，可以简单地认为最终检测出个飞机目标。聚类后得到每个类的样本点基本都聚集在飞机目标中心附近区域，因此，可以通过求取每类的类心来最终确定

个飞机目标的中心位置

：

，

其中

表示第

类中样本点个数，

表示第

类中第

个样本点的横坐标，表示第

类中第

个样本点的纵坐标。

最终得到的飞机目标定位结果如图4(g)所示。

当遥感图像边缘分割不完整时，通过本发明方法也可以取得比较满意的检测结果，如图5所示，图（a）为分割不完整的原始输入图像，图（b）为边缘检测后的图像，图（c）为二值化后的图像，图（d）为角点检测后的图像，图（e）为初步选取候选飞机区域后的图像，图（f）为去除伪目标区域后的图像，图（g）为聚类后输出的最终检测结果，整个检测过程与上一实施例相同，此处不再赘述。

为了验证本发明的效果，分别使用本发明方法和现有的圆周频率滤波法（参见文献[蔡红苹，耿振伟，栗毅. 遥感图像飞机检测新方法——圆周频率滤波法[J]. 信号处理，第23卷，第4期，2007,8:539-543]）对60幅遥感图像进行了飞机检测测试，其中总共包含238架飞机。运用圆周频率滤波法正确检测出179架飞机，漏检59架，13个虚警，查准率为93.23% 查全率为75.21%；运用本发明方法正确检测出飞机220架，漏检18架，48个虚警，查准率约为82.09%，查全率约为92.44%。由此可知，本发明的飞机检测方法，查全率得到提高，漏检率得到抑制。

实验结果表明，基于圆周频率滤波法的飞机检测，在飞机与背景反差比较大的遥感图像中，检测结果比较理想。但是在复杂背景下，该方法检测飞机漏检情况严重，造成其查全率较低。这主要是因为：1.在包含不同型号、不同尺寸飞机的图像中，圆周频率滤波法检测半径固定，在同样检测圆周半径下，该方法可以检测出多数大飞机，但是小飞机尺寸太小或者飞机型号特殊性不再具有圆周上灰度亮暗变化规律，从而被漏检。2.在飞机阴影比较明显的遥感图像中，阴影的出现使得圆周频率滤波法的关键规律不再严格满足4个波峰4个波谷的特点，造成检测结果受到一定影响。3.在飞机目标经过人工伪装或者飞机与背景灰度相近的情况下，同样因为不满足该方法的检测原理，而无法检测出飞机目标。另外，该方法检测条件要求严格，对于满足圆周频率滤波条件的目标，非飞机的可能性很小，因此该方法检测飞机查准率较高。

而本发明的飞机检测方法大大提高了查全率，降低了飞机漏检率。同时由于放宽飞机目标检测条件，增加了误检目标数，因此付出一定的虚警代价，造成查准率稍稍下降。但是飞机检测一般应用于军事领域，能否及时、高效地检测出全部飞机目标对作战指挥员把握敌我双方动态，快速作出反应，打赢未来高科技条件下信息战争显得尤为重要。因此，以稍低的查准率代价换取较高查全率是值得的。本发明方法比圆周频率滤波法更加高效，更加具有应用价值。

Claims

1.一种基于角点与边缘信息融合的遥感图像飞机检测方法，其特征在于，包括以下步骤：

步骤A、对遥感图像进行边缘检测；

步骤B、对边缘检测后的遥感图像进行二值化处理；

步骤C、对二值化后的遥感图像进行Harris角点检测；

2.如权利要求1所述基于角点与边缘信息融合的遥感图像飞机检测方法，其特征在于，步骤A中采用Canny算子进行边缘检测。

3.如权利要求1所述基于角点与边缘信息融合的遥感图像飞机检测方法，其特征在于，步骤B中使用OTSU算法对遥感图像进行二值化处理。

4.如权利要求1所述基于角点与边缘信息融合的遥感图像飞机检测方法，其特征在于，步骤D具体包括：

步骤D1、逐个像素扫描图像，以该像素点为中心，以一定的半径开始增长，直至该区域内的角点数在预先设定的范围内，并且再次增加半径后角点数目不会增加，则把这个区域作为候选飞机区域；

步骤D2、判断各候选飞机区域中亮像素点的个数是否大于预先设定的阈值，如是，则保留；如否，则将区域作为伪目标区域去除。

5.如权利要求4所述基于角点与边缘信息融合的遥感图像飞机检测方法，其特征在于，所述预先设定的范围为

。

6.如权利要求4所述基于角点与边缘信息融合的遥感图像飞机检测方法，其特征在于，步骤D2中所述预先设定的阈值按照以下方法确定：对于每一候选飞机区域，其所对应的阈值为该候选飞机区域半径的10倍。

7.如权利要求1所述基于角点与边缘信息融合的遥感图像飞机检测方法，其特征在于，步骤E中具体使用区域生长式聚类方法对步骤D得到的图像进行聚类，具体按照以下方法：

将一个种子样本点作为生长的起点，然后将以种子样本点

为中心、

为半径的邻域样本点集

合并到一类

，将

中的所有样本点当作新的种子样本点，寻找所有样本点的

半径的邻域，将这些邻域点合并到

类，即

其中，表示集合

中样本点个数，

表示元素

的邻域样本点集；

8.如权利要求1所述基于角点与边缘信息融合的遥感图像飞机检测方法，其特征在于，步骤E中聚类后每类类心位置按照下式计算得到：

，

其中，、

分别为第

类中类心的横坐标、纵坐标，

表示第

类中样本点个数，表示第

类中第

个样本点的横坐标，

表示第

类中第个样本点的纵坐标，为聚类后的总的类数。

9.一种基于角点与边缘信息融合的遥感图像飞机检测系统，其特征在于，该系统包括顺次连接的边缘检测单元、二值化处理单元、角点检测单元、候选飞机区域选取单元、聚类单元；所述边缘检测单元用于对输入的遥感图像进行边缘检测；所述二值化处理单元用于对边缘检测后的遥感图像进行二值化处理；所述角点检测单元用于对二值化后的遥感图像进行Harris角点检测；所述候选飞机区域选取单元选取角点数在预先设定的范围内的区域作为候选飞机区域，并根据每一候选飞机区域中亮像素点的个数去除伪目标区域；所述聚类单元对去除伪目标区域后的候选飞机区域进行聚类并对目标飞机位置进行标注，输出最终检测结果。