CN109145850A - 基于先验信息和飞机形状的遥感图像无监督目标检测方法 - Google Patents

Abstract

本发明公开了基于先验信息和飞机形状的遥感图像无监督目标检测方法，主要解决目前大幅复杂场景的光学遥感图像目标检测盲目定位，定位速度慢的问题，本发明采用无监督的方法进行飞机定位，并精准定位。其实现步骤为：1.为原图建立初始素描模型，提取出初始素描图；2.根据素描图中线段之间位置关系，找出可能组成飞机机翼的素描线段；3.从上一步结果中寻找能组成对称机翼的素描线段。4.利用素描图和原图的线和面的信息，从对称机翼的素描线段周围开始区域生长，得到飞机表面；5.根据得到的飞机表面区域得到外接矩形框，同时能得到飞机的外围轮廓线，实现精准定位。实现了光学遥感图像的飞机目标快速定位，可用于光学遥感图像的飞机目标识别和图像解译。

Description

基于先验信息和飞机形状的遥感图像无监督目标检测方法

技术领域

本发明属于图像处理技术领域，具体涉及基于先验信息和飞机形状的遥感图像无监督目标检测方法，可用于光学遥感图像的飞机目标识别和图像解译。

背景技术

随着空间遥感技术的发展，遥感平台从早期的飞艇、飞机发展到了现在的卫星和飞船，人们获取遥感数据的平台和方式都有很大提高。高分辨率，大场景的海量图片数据日益增多，但是数据处理能力却远低于获取数据的能力，特别是对于大幅场景，面对复杂多变的目标环境，如何高效准确地检测出特定目标，一直是遥感领域目标检测应用中所面临的一个十分重要而又迫切需要解决的难题。现在非常流行的深度学习目标检测方法，由最原始的滑窗操作，进行目标检测定位，到现在的区域提出网络，和anchor box等方法获取候选框，得到较好的目标检测结果，但是它们在学习过程中需要大量的标注样本，进行长时间、有监督的学习训练，且训练数据的标注和收集过程也耗费了大量的人力物力。而对于传统的机器学习算法，Zhu X等人通过提取Hu矩和仿射不变矩等特征，筛选出7个特征参数结合SVM完成飞机识别，弥补了单一特征描述信息能力不足的缺点，但是特征的直接组合，抗噪能力较差。Xufeng Zhu等人提出了一种组合优化矩和SVM的飞机识别算法，虽利用标准差和均值的比值来衡量特征的稳定性，但是使用的不变矩数量较多，抗噪性差。同时，Hong-PingCai等人虽然提出了基于圆周频率滤波的方法进行飞机目标识别，但是对于如今高分辨率，清晰的大幅场景图像效果仍然不佳，且无法解决飞机阴影带来的干扰。

从当前的国内外研究现状来看，遥感图像飞机目标识别的研究还需进一步深入，特别是对于无监督的飞机目标检测任务更是至关重要，实现无监督的目标检测，可以在云端直接获取图片信息，无需人为标注样本，云端直接进行目标检测定位，对于科技的发展及军事应用都具有重大意义，寻找出识别精度高且实时的识别算法依然迫在眉睫。

发明内容

针对大幅复杂场景，目标繁杂，利用光学遥感图像素描化之后的稀疏图，结合原图，充分利用先验信息，在图片中由线到面，再由面到区域，主要解决目前大幅复杂场景的光学遥感图像目标检测盲目定位，定位速度慢的问题，本发明采用无监督的方法进行飞机定位，并精准定位。实现光学遥感图像飞机目标快速定位，最终实现精准定位。

为达到上述目的，本发明所述基于先验信息和飞机形状的遥感图像无监督目标检测方法包括以下步骤：

步骤1、输入光学遥感图像，利用光学遥感图像的初始素描模型，提取光学遥感图像的初始素描图；

步骤2、根据初始素描图中线段的拓扑关系寻找可能是飞机机翼的素描线段，将该条素描线段输入集合C⁽¹⁾＝{c₁,c₂,...,c_n}，其中，c_i表示第i条素描线段；否则，不做任何操作；

步骤3、将光学遥感图像转化为灰度图，称为原始灰度图，交互使用初始素描图和原始灰度图的信息，利用原始灰度图中面上的灰度值信息，筛选掉集合C⁽¹⁾中由飞机阴影，或者建筑物形成的素描线段，得到可能表示机翼的素描线段集合C⁽²⁾，C⁽²⁾＝{c₁,c₂,...,c_m}，其中：c_k表示第k条素描线段，

步骤4、从可能表示机翼的素描线段集合C⁽²⁾中，结合飞机的对称结构，寻找能组成对称机翼的素描线段对，将能组成对称机翼的素描线段对放到集合S中，

S＝{(c_j,c_j′)|c_j和c_j′表示第j对素描线段，j＜m}，

其中，c_j∈C⁽²⁾，且设|S|＝q，则有q＜m；

步骤5、从集合S中选择一个点作为种子点，在原始灰度图上进行区域生长；即，对比可能表示对称机翼的素描线段两侧在灰度图中的矩形框内灰度平均值，在比较大的一侧选择一个像素点作为种子点并进行区域生长，获取飞机部分区域，记为集合R，

R＝{(r_j,r_j′)|r_j和r_j′分别表示两个区域}

其中，r_j是由集合S中c_j的周围开始区域生长形成的区域；r_j′是由集合S中c_j′的周围开始区域生长形成的区域；

步骤6、将集合R中一对对称机翼素描线段生长出来的区域进行合并，得到合并结果集合Z,Z＝{z₁,z₂,...,z_q}，其中z_j＝r_j∪r_j′，r_j,r_j′∈R，z_j表示原始图中可能是飞机机身的一个区域；

步骤7、根据步骤6中的合并结果集合Z中的每一个元素对应的区域求飞机的外接矩形；对步骤6中集合Z中的点进行检测，得到飞机外边缘轮廓。

进一步的，步骤1中利用Primal Sketch算法对光学遥感图像素描化。

进一步的，步骤2的具体步骤如下：

步骤2.1，取出所有的素描线段的中点，以此建立一个KD-tree，从所有的素描线段中选取一条素描线段作为当前素描线段c_i，利用KD-tree检索距离当前素描线段c_i最近的其他若干条素描线段，放入D_i中，D_i＝{c_k|k∈Λ(c_i),且其中，集合Λ(c_i)由距离素描线段c_i最近的其它若干条素描线段的索引组成；

步骤2.2、对于素描图中的每一条素描线段，从素描线段的中点到两端每隔若干个素描点依次向两侧垂直于该素描线段的方向发射线；

步骤2.3、在步骤2.2的发射线过程中，若某条射线与集合D_i中的素描线段相交，将与射线相交的素描线段标记为m，并进行步骤2.4；若该素描线段的所有发射的射线均与集合D_i中的素描线段不相交，则跳过这条素描线段，进行步骤2.5；

步骤2.4、计算素描线段c_i与m延长线形成的夹角，若夹角在飞机机翼后缘与前缘延长线的夹角范围内，则将当前素描线段c_i放入集合C⁽¹⁾中，并停止发射线；若夹角不在飞机机翼后缘与前缘延长线的夹角范围内，则在素描线段c_i上从刚才发射射线的位置，继续沿着中间点到两端的端点方向，每隔若干个像素点依次向两侧垂直于素描线段的方向发射线，并进行步骤 2.3；

步骤2.5、循环步骤2.2至步骤2.4，直至遍历完素描图中的每一条素描线段，得到集合C⁽¹⁾， C⁽¹⁾＝{c₁,c₂,...,c_n}，其中c₁,c₂,…,c_n分别代表n条素描线段。

进一步的，步骤3的具体步骤如下：

步骤3.1、将输入的光学遥感图像转化为灰度图；

步骤3.2、遍历集合C⁽¹⁾中的每一条素描线段，沿素描线段方向，以素描线段为一个长边，做两个以素描线段为对称轴的长为l(c)的矩形框，每个矩形框的宽度小于10像素，其中l(c)为素描线段的长度，将这两个矩形区域映射到原始灰度图中，分别求出这两个矩形区域在原始灰度图中灰度的平均值；

步骤3.3、若素描线段两侧矩形框内在原始灰度图中的灰度平均值均小于地面筛选阈值，地面筛选阈值的取值范围为[115，125]，或两侧矩形框内灰度均值差的绝对值小于灰度差阈值灰度差阈值的取值范围为[18，22]，则将这条素描线段从集合C⁽¹⁾中删除，否则保留该素描线段，最终得到集合C⁽²⁾。

进一步的，步骤5的具体步骤如下：

步骤5.1、从集合S中这些可能形成对称机翼的素描线段开始，利用步骤3.2中在原始灰度图中建立的矩形框，在原始灰度图中矩形框内灰度均值较高的那一侧选取一个点作为种子点；

步骤5.2、以种子点为中心建立一个正方形窗口，查看正方形窗口内其他位置的点在灰度图中的灰度值是否大于机翼表面灰度阈值，机翼表面灰度阈值的取值范围为[155，165]，若大于机翼表面灰度阈值，则将这个点添加到集合r_j中，r_j＝{p₁,p₂,...,p_t}，其中，p_i表示通过区域生长得到的点，这些由上述区域生长得出来的集合最后形成大集合R。

进一步的，步骤4的具体步骤如下：

步骤4.1、从集合C⁽²⁾＝{c₁,c₂,...,c_m}中选出一条素描线段c_j作为当前素描线段，遍历C⁽²⁾中剩下的其它素描线段，即取出另一条素描线段，记为o_k，判断c_j和o_k这两条素描线段所在的直线形成的夹角是否在[110°,160°]之间，若不在，则跳过o_k这条素描线段，继续遍历剩下的其它素描线段；若在，则进行步骤4.2；

步骤4.2、计算c_j和o_k的长度差，判断长度差是否小于长度差阈值，长度差阈值的取值范围为[28,32]，若大于等于长度差阈值，则跳过素描线段o_k；若小于长度差阈值，则进行步骤 4.3；

步骤4.3、从当前素描线段c_j的两端做两对平行线l₁l₁′和l₂l₂′，l₁l₁′中的直线l₁与素描线段所在直线形成的锐角在平行线阈值范围内，平行线阈值的取值范围为[24°,32°]，平行线l₂l₂′中的直线l₂素描线段所在直线形成的锐角在平行线阈值范围内，，l₁和l₂所在的直线相交；

步骤4.4、在素描线段o_k上每隔若干像素取一个点，计算该点分别到步骤4.3中建立的l₁l₁′两条平行线的距离，若距离之和等于平行线之间的距离，则计数η₁加1；计算这个点分别到l₂l₂′这两条平行线的距离，若距离之和等于平行线之间的距离，计数η₂加1；若η₁或η₂大于等于o_k上进行计算的点的个数的1/3，进行步骤4.5；否则返回步骤4.1；

步骤4.5、连接素描线段c_j和素描线段o_k的中点，得到连线l_jk，在素描图上遍历连线l_jk上的点，若遇到素描图中记录的可素描的点，则查看该点在哪条素描线段上，计算连线l_jk与该可素描的点所在素描线段之间的夹角，若夹角在[85°,95°]，则认为线段c_j和线段o_k是对称机翼，进行步骤4.6；若没碰到素描图中记录的可素描的点，或者可素描的点所在素描线段和连线l_jk的夹角不在[85°,95°]，则返回步骤4.1；

步骤4.6、把c_j和o_k作为对称机翼记录下来，得到能组成对称机翼的素描线段对，形成集合S。

进一步的，步骤7中，获取飞机的外接矩形的过程为：根据步骤6中的合并结果集合Z 中的每一个元素对应的区域求出这些区域内的点在图片中的坐标x，y的最大值和最小值，得出飞机的外接矩形框左上角和右下角的坐标([x_min,y_min],[x_max,y_max])，从而获取飞机的外接矩形。

进一步的，步骤7中，得到飞机外边缘轮廓的方法如下：

步骤7.1、对于集合Z中的每个区域z_j，对于其中的每一个点，以这个点为中心，建立一个正方形窗口，遍历这个窗口内剩余的其他点是否属于集合z_j，若不属于，则计数γ加1；

步骤7.2、遍历每个点之后，若这个点对应的γ大于等于2，则认为它是边界点，将边界点存储到集合z_j对应的边界点列表中，得到飞机的边界轮廓线。

与现有技术相比，本发明至少具有以下有益的技术效果，本发明以Primal Sketch为基础的光学遥感图像飞机目标检测，利用Primal Sketch的稀疏表示模型中线段的几何位置关系提取可能组成飞机机翼的素描线段，相对于传统的滑窗搜索算法，能减少大量的计算量，并节省时间。且本发明为无监督算法，无需人工标注实验数据，快速做到飞机目标的定位，相对于传统的隔一滑窗或深度学习的区域提出等方法大大减少了计算量，加快了检索速率；针对大幅复杂场景的图片，仍然能快速、有效的检测出飞机位置。同时将PrimalSketch和原图的信息进行交互使用，最终达到精准定位的结果。

附图说明

图1是本发明的实现流程图；

图2a是步骤2.2和步骤2.3过程示意图；

图2b是步骤4.3中的平行线l₁l₁′示意图；

图2c是步骤4.3中的平行线l₂l₂′示意图；

图2d是步骤3.2中做出的矩形框示意图；

图2e是步骤3.2中做出的另一个矩形框示意图；

图3是本发明中生成的可能是飞机机翼的部分素描图(图中素描线段被加黑加粗的线)；

图4是本发明中生成的能形成对称机翼的部分素描图(图中箭头指向的那些素描线段)；

图5是本发明中部分飞机检测结果图；

图6是本发明中部分飞机检测结果展示飞机边缘结果图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

参照图1，基于先验信息和飞机形状的遥感图像无监督目标检测方法包括以下步骤：

步骤1，对大幅光学遥感图像(eg:20000PX×13000PX，22000PX×16000PX，19000PX×15000PX)素描化，即输入光学遥感图像，使用朱松纯老师团队光学遥感图像的初始素描模型(其算法的具体描述参见Cheng-en Guo等人于2007年发表在Computer Visionand Image Understanding杂志上的文章《Primal Sketch：Integrating Texture andStructure》)，提取光学遥感图像的初始素描图，如图1所示(原图过大，这里仅展示部分)；将光学遥感图像转化为灰度图，以下称该灰度图为原始灰度图；

步骤2，根据光学遥感图像的初始素描图(以下简称素描图)中线段的拓扑关系寻找可能是飞机机翼的素描线段：

步骤2.1、将所有的素描线段的中点取出来，以此建立一个KD-tree(有关KD-tree的相关算法可以参阅Jon Louis Bentley的论文《Multidimensional binary searchtrees used for associative searching》)，从所有的素描线段中选取一条素描线段作为当前素描线段c_i，利用此KD-tree检索距离当前素描线段最近的其他10～30条素描线段，放入D_i中：i是和前面的 c_i的角标一致，表示这个集合由c_i得来。

D_i＝{c_k|k∈Λ(c_i),且

其中，集合Λ(c_i)是由距离素描线段c_i最近的其它10～30条素描线段的索引组成。这里距离的含义是两条素描线段各自中点之间的欧氏距离；

步骤2.2、对于素描图中的每一条素描线段，从素描线段的中点到两端每隔3个(或根据素描线段的长度自己设定这个参数)素描点依次向两侧垂直于素描线段的方向发射线，如图2a所示，当前素描线段已被箭头标识，发射出来的射线也有箭头说明标识；

步骤2.3、在步骤2.2的发射线过程中，若遇到素描图中记录的可素描点(可素描的点为素描图中素描线上的点)，则记录该点的坐标，在集合D_i中检索该点是否属于另外的某条素描线段，将该点所属的素描线段标记为m，然后进行步骤2.4，m如图2a中被标识的“遇到的线段”，若该点不属于其他素描线段，则跳过，继续发射线的过程；

步骤2.4、计算素描线段c_i及m延长线形成的夹角。若夹角在飞机机翼后缘与前缘延长线的夹角范围(取值为[20°,40°]，实际操作中，根据飞机的实际机翼选择)内，则记录下这两条素描线段，停止发射线，若不满足，则在素描线段c_i上从刚才发射射线的位置，继续沿着中间点到两端的端点方向，每隔若干个像素点依次向两侧垂直于素描线段的方向发射线；

步骤2.5、经由步骤2.2,2.3和2.4后，遍历完素描图中的每一条素描线段，将符合条件的放入一个集合中，得到集合C⁽¹⁾＝{c₁,c₂,...,c_n}，其中c₁,c₂,…,c_n分别代表n条素描线段，n的个数不确定，当n＝0时，认为素描图上没有飞机，结束流程。如图3所示，图中加黑加粗的线段均为可能是飞机机翼的素描线段(说明：原始的素描线段只有两段的端点灰度值为255，线段上的点灰度值小于255，呈现为灰色)。

步骤3，交互使用原始灰度图和素描图的信息，对上一步形成的集合C⁽¹⁾进一步筛选，筛选掉由飞机阴影，或者建筑物形成的素描线段：

步骤3.1、利用下面的公式，将原大幅光学遥感图像(RGB图片)转化为灰度图：

其中R、G、B分别为RGB图像上某一点对应的红、绿、蓝三通道的像素值，L是这一点由上述公式计算出来的对应灰度；

步骤3.2、遍历集合C⁽¹⁾中的每一条素描线段，在素描图上，把在素描线段两侧。沿素描线段方向，以素描线段为一个长边，做两个以素描线段为对称轴的大小为l(c)×5(像素)的矩形区域(其中l(c)为素描线段的长度，矩形框的示意图如图2d和2e所示，黑色的粗线围成的框为做出的矩形框的边界)，将这两个矩形区域映射到原始灰度图中，分别求出这两个区域在原始灰度图中灰度的平均值。

步骤3.3、若素描线段两侧矩形框内在原始灰度图中的灰度平均值都小于地面筛选阈值，地面筛选阈值的取值范围为[115,125](即从[115,125]中随机任选其一的值)，或两侧矩形框内灰度均值差的绝对值小于灰度差阈值，灰度差阈值的取值范围为(即从[18,22]随机任选其一的数字)，则将这条素描线段从集合C⁽¹⁾中删除，最终得到新的集合C⁽²⁾＝{c₁,c₂,...,c_m}，否则保留该素描线段，其中，c_i表示第i条素描线段；，

步骤4，结合飞机特有的对称结构，寻找能组成对称机翼的素描线段对：

步骤4.1、从集合C⁽²⁾＝{c₁,c₂,...,c_m}中选出一条素描线段c_j作为当前素描线段，遍历C中剩下的其它素描线段，即取出另一条素描线段，记为o_k，计算这两条素描线段延长线形成的夹角。判断夹角是不是在[110°,160°]之间，不是则跳过o_k这条素描线段，继续遍历剩下的其它素描线段；若是，则进行下面步骤4.2；

步骤4.2、若o_k满足步骤4.1，则计算c_j和o_k的长度差，查看长度差是否小于长度差阈值 30，长度差阈值的取值范围为[28,32]，(即从[28,32]随机任选其一的数字)，若不是，则跳过o_k这条素描线段，若是，则进行下面的步骤；

步骤4.3、从当前素描线段c_j的两端做一对平行线l₁l₁′，与该素描线段所在直线形成锐角为 24°-32°。(即这一对平行线相当于这条素描线段以中点为中心顺时针旋转平行线阈值度数在 [24°,32°]范围内)做出的两条平行线形成)，如图2b中的一对平行线l₁l₁′；同时再做一对平行线l₂l₂′，也是与该素描线段所在直线形成锐角为24°～32°(即这一对平行线相当于这条素描线段以中点为中心顺时针旋转180度减平行线阈值度数的度数做出的两条平行线形成)；如图2c中的一对平行线l₂l₂′；

步骤4.4、计算o_k素描线段上的点(每隔2个点取1个点，或者根据素描线段长短自己设定)分别到步骤4.3中建立的l₁l₁′两条平行线的距离，若距离之和等于平行线之间的距离，则说明这个点在平行线l₁l₁′内，计数η₁加1。同样，计算这个点分别到l₂l₂′这两条平行线的距离，若距离之和等于平行线之间的距离，则说明这个点在平行线l₂l₂′内，计数η₂加1。若η₁或η₂大于等于o_k上进行计算的点的个数的1/3，则认为线段o_k至少有1/3的部分在线段c_j对应的平行线内。当线段o_k满足至少有1/3的部分在线段c_j对应的平行线内时，进行下面步骤4.5；否则跳过o_k这条素描线段；

步骤4.5、连接c_j和o_k这两条素描线段的中点，得到连线l_jk，在素描图上遍历这条连线上的点，若遇到素描图中记录的可素描的点，则查看该点在哪条素描线段上，计算连线l_jk与该可素描的点所在素描线段之间的夹角，若夹角在[85°,95°]范围内，则认为线段c_j和线段o_k是对称机翼，若没碰到素描图中记录的可素描的点，或者上面遇到的可素描的点所在素描线段和连线l_jk的夹角不符合条件，则跳过o_k这条素描线段；

步骤4.6、若线段o_k满足上面的所有步骤，则把c_j和o_k作为对称机翼记录下来，若o_k不满足上面步骤的某一步，则跳过这个o_k，继续让c_j与集合C中的其他素描线段进行从步骤4.1到步骤4.5的中的计算，最后得到能组成对称机翼的素描线段对，形成集合S：

S＝{(c_j,c_j′)|c_j和c_j′表示第j对素描线段，j＜m}

其中，c_j∈C⁽²⁾，且设|S|＝q，则有q＜m；

如图4所示，图中同一下角标的为一对对称的可能表示机翼的素描线段，例如，c₍₁₎和c₍₁₎′为一对，c₍₂₎和c₍₂₎′为一对，…，c_(q)和c_(q)′为一对，这里的素描线段c₍₁₎下角标带括号，因为c₍₁₎并不一定是上面的c₁，只是在图中标识为c₍₁₎。

步骤5，利用机翼的面信息，从可能表示对称机翼的素描线段附近开始(素描线段两侧满足一定条件的那一侧选择一个距离这个素描线段为2个像素值的某一点开始)，在原始灰度图上进行区域生长，得到飞机的部分区域：

步骤5.1、从集合S中这些可能形成对称机翼的素描线段开始，利用3.2步中在原始灰度图中建立起来的矩形框，在原始灰度图中矩形框内灰度均值较高的那一侧随机选择一个距离素描线段中点不大于3个像素值且这个点对应的灰度值大于机翼表面灰度阈值，机翼表面灰度阈值的取值范围为[155,165]，(即从[155,165]随机任选其一的数字)的一个点(本实施例中，这个点选的是过素描线段中点，垂直于素描线段上，且距离中点为2个像素值的那个点)；

步骤5.2、以种子点为中心建立一个正方形窗口，正方形窗口的大小为3像素×3像素、4 像素×4像素或5像素×5像素查看正方形窗口内其他位置在灰度图中的灰度值是否大于机翼表面灰度阈值(即从[155,165]随机任选其一的数字)，若大于机翼表面灰度阈值，则将这个点添加到集合r_j中；若小于等于机翼表面灰度阈值，则不放入集合r_j中，此过程即为区域生长，最后得到一个集合r_j，r_j＝{p₁,p₂,...,p_t}，其中，集合中的p_i表示通过区域生长得到的点， 1≤i≤t，这些由上述区域生长得出来的集合最后形成大集合R:

R＝{(r_j,r_j′)|r_j和r_j′分别表示两个区域}

其中，r_j是由S中c_j的周围开始区域生长形成的区域；r_j′是由S中c_j′的周围开始区域生长形成的区域，其中，由步骤4.6可知：|R|＝q；

步骤6，将集合R中一对对称机翼素描线段周围生长出来的区域进行合并:

将集合R中r_j和r_j′取并集，得到集合z_j，最终形成集合Z:

Z＝{z₁,z₂,…,z_q}

其中，z_j表示原始图中可能是飞机机身的一个区域，1≤j≤q。

步骤7：对步骤6中的合并结果集合Z中每一个元素对应的区域求出坐标x，y的最大值和最小值，得出飞机的外接矩形框左上角和右下角的坐标([x_min,y_min],[x_max,y_max])，如图5所示，飞机外围黑色的框即为得到的飞机定位矩形框。

步骤8，对步骤6中的集合Z的点进行检测，得到飞机外边缘轮廓，达到精准定位：

步骤8.1、对于集合Z中的每个区域z_j，对于其中的每一个点，以这个点为中心，建立一个3×3窗口，遍历窗口内其他的8个点是否属于集合z_j，若不属于，则计数γ加1；

步骤8.2、遍历每个点之后，若这个点对应的γ大于等于2，则认为它是边界点。将边界点存储到集合z_j对应的边界点列表中，由此得到飞机的边界轮廓线，如图6所示，边界线用黑色表示。

1.仿真条件

本发明仿真的硬件条件是：CPU:AMD Opteron(tm)Processor 2439 SE,内存：32G；

仿真使用的图片是：大小尺寸为：19840*13248(像素),分辨率为0.25m的光学遥感图像。

2.仿真内容

仿真内容：使用大小为19840像素*13248像素，分辨率为0.25m的光学遥感图像，用本发明的方法进行无监督飞机目标检测，检测的结果：图中共有154架飞机，成功检测出112架，准确率和查全率如下：

表2

图像大小(像素)	准确率	查全率
			19840*13248	70.5％	72.7％

3.仿真结果分析：

从表2可以看出，本发明使用无监督的方法依旧能达到70.5％的准确率，和72％的查全率，对于这种大场景下的复杂图片，比单一使用圆周滤波进行无监督检测效果好的多。

综上所述，本发明实现了无监督光学遥感图像的飞机目标检测。其实现步骤为：1.为原图建立初始素描模型，提取出初始素描图；2.根据素描图中线段之间位置关系，找出可能组成飞机机翼的素描线段；3.从上一步结果中寻找能组成对称机翼的素描线段。4.利用素描图和原图的线和面的信息，从对称机翼的素描线段周围开始区域生长，得到飞机表面；5.根据得到的飞机表面区域得到外接矩形框，同时能得到飞机的外围轮廓线，实现精准定位。相对于对圆周滤波法对阴影清晰，高分辨率的图片检测效果不佳的现象，本发明针对高分辨率，大场景的图片能对飞机快速定位，并最后做到精准定位的目的。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (8)

1.基于先验信息和飞机形状的遥感图像无监督目标检测方法，其特征在于，包括以下步骤:

步骤1、输入光学遥感图像，利用光学遥感图像的初始素描模型，提取光学遥感图像的初始素描图；

步骤2、根据初始素描图中线段的拓扑关系寻找可能是飞机机翼的素描线段，将该条素描线段输入集合C⁽¹⁾＝{c₁,c₂,...,c_n}，其中，c_i表示第i条素描线段；否则，不做任何操作；

步骤3、将光学遥感图像转化为灰度图，称为原始灰度图，交互使用初始素描图和原始灰度图的信息，利用原始灰度图中面上的灰度值信息，筛选掉集合C⁽¹⁾中由飞机阴影，或者建筑物形成的素描线段，得到可能表示机翼的素描线段集合C⁽²⁾，C⁽²⁾＝{c₁,c₂,...,c_m}，其中：c_k表示第k条素描线段，

步骤4、从可能表示机翼的素描线段集合C⁽²⁾中，结合飞机的对称结构，寻找能组成对称机翼的素描线段对，将能组成对称机翼的素描线段对放到集合S中，

S＝{(c_j,c_j′)|c_j和c_j′表示第j对素描线段，j<m}，

其中，c_j∈C⁽²⁾，且设|S|＝q，则有q<m；

步骤5、从集合S中选择一个点作为种子点，在原始灰度图上进行区域生长；即，对比可能表示对称机翼的素描线段两侧在灰度图中的矩形框内灰度平均值，在比较大的一侧选择一个像素点作为种子点并进行区域生长，获取飞机部分区域，记为集合R，

R＝{(r_j,r_j′)|r_j和r_j′分别表示两个区域}

其中，r_j是由集合S中c_j的周围开始区域生长形成的区域；r_j′是由集合S中c_j′的周围开始区域生长形成的区域；

步骤6、将集合R中一对对称机翼素描线段生长出来的区域进行合并，得到合并结果集合Z,Z＝{z₁,z₂,...,z_q}，其中z_j＝r_j∪r_j′，r_j,r_j′∈R，z_j表示原始图中可能是飞机机身的一个区域；

步骤7、根据步骤6中的合并结果集合Z中的每一个元素对应的区域求飞机的外接矩形；对步骤6中集合Z中的点进行检测，得到飞机外边缘轮廓。

2.根据权利要求1所述的基于先验信息和飞机形状的遥感图像无监督目标检测方法，其特征在于，步骤1中利用Primal Sketch算法对光学遥感图像素描化。

3.根据权利要求1所述的基于先验信息和飞机形状的遥感图像无监督目标检测方法，其特征在于，步骤2的具体步骤如下：

步骤2.1，取出所有的素描线段的中点，以此建立一个KD-tree，从所有的素描线段中选取一条素描线段作为当前素描线段c_i，利用KD-tree检索距离当前素描线段c_i最近的其他若干条素描线段，放入D_i中，其中，集合Λ(c_i)由距离素描线段c_i最近的其它若干条素描线段的索引组成；

步骤2.2、对于素描图中的每一条素描线段，从素描线段的中点到两端每隔若干个素描点依次向两侧垂直于该素描线段的方向发射线；

步骤2.3、在步骤2.2的发射线过程中，若某条射线与集合D_i中的素描线段相交，将与射线相交的素描线段标记为m，并进行步骤2.4；若该素描线段的所有发射的射线均与集合D_i中的素描线段不相交，则跳过这条素描线段，进行步骤2.5；

步骤2.4、计算素描线段c_i与m延长线形成的夹角，若夹角在飞机机翼后缘与前缘延长线的夹角范围内，则将当前素描线段c_i放入集合C⁽¹⁾中，并停止发射线；若夹角不在飞机机翼后缘与前缘延长线的夹角范围内，则在素描线段c_i上从刚才发射射线的位置，继续沿着中间点到两端的端点方向，每隔若干个像素点依次向两侧垂直于素描线段的方向发射线，并进行步骤2.3；

步骤2.5、循环步骤2.2至步骤2.4，直至遍历完素描图中的每一条素描线段，得到集合C⁽¹⁾，C⁽¹⁾＝{c₁,c₂,...,c_n}，其中c₁,c₂,...,c_n分别代表n条素描线段。

4.根据权利要求1所述的基于先验信息和飞机形状的遥感图像无监督目标检测方法，其特征在于，步骤3的具体步骤如下：

步骤3.1、将输入的光学遥感图像转化为灰度图；

步骤3.2、遍历集合C⁽¹⁾中的每一条素描线段，沿素描线段方向，以素描线段为一个长边，做两个以素描线段为对称轴的长为l(c)的矩形框，每个矩形框的宽度小于10像素，其中l(c)为素描线段的长度，将这两个矩形区域映射到原始灰度图中，分别求出这两个矩形区域在原始灰度图中灰度的平均值；

步骤3.3、若素描线段两侧矩形框内在原始灰度图中的灰度平均值均小于地面筛选阈值，地面筛选阈值的取值范围为[115，125]，或两侧矩形框内灰度均值差的绝对值小于灰度差阈值灰度差阈值的取值范围为[18，22]，则将这条素描线段从集合C⁽¹⁾中删除，否则保留该素描线段，最终得到集合C⁽²⁾。

5.根据权利要求4所述的基于先验信息和飞机形状的遥感图像无监督目标检测方法，其特征在于，步骤5的具体步骤如下：

步骤5.1、从集合S中这些可能形成对称机翼的素描线段开始，利用步骤3.2中在原始灰度图中建立的矩形框，在原始灰度图中矩形框内灰度均值较高的那一侧选取一个点作为种子点；

步骤5.2、以种子点为中心建立一个正方形窗口，查看正方形窗口内其他位置的点在灰度图中的灰度值是否大于机翼表面灰度阈值，机翼表面灰度阈值的取值范围为[155，165]，若大于机翼表面灰度阈值，则将这个点添加到集合r_j中，r_j＝{p₁,p₂,...,p_t}，其中，p_i表示通过区域生长得到的点，这些由上述区域生长得出来的集合最后形成大集合R。

6.根据权利要求1所述的基于先验信息和飞机形状的遥感图像无监督目标检测方法，其特征在于，步骤4的具体步骤如下：

步骤4.1、从集合C⁽²⁾＝{c₁,c₂,...,c_m}中选出一条素描线段c_j作为当前素描线段，遍历C⁽²⁾中剩下的其它素描线段，即取出另一条素描线段，记为o_k，判断c_j和o_k这两条素描线段所在的直线形成的夹角是否在[110°,160°]之间，若不在，则跳过o_k这条素描线段，继续遍历剩下的其它素描线段；若在，则进行步骤4.2；

步骤4.2、计算c_j和o_k的长度差，判断长度差是否小于长度差阈值，长度差阈值的取值范围为[28,32]，若大于等于长度差阈值，则跳过素描线段o_k；若小于长度差阈值，则进行步骤4.3；

步骤4.3、从当前素描线段c_j的两端做两对平行线l₁l₁′和l₂l₂′，l₁l₁′中的直线l₁与素描线段所在直线形成的锐角在平行线阈值范围内，平行线阈值的取值范围为[24°,32°]，平行线l₂l₂′中的直线l₂与素描线段所在直线形成的锐角在平行线阈值范围内，l₁和l₂所在的直线相交；

步骤4.4、在素描线段o_k上每隔若干像素取一个点，计算该点分别到步骤4.3中建立的l₁l₁′两条平行线的距离，若距离之和等于平行线之间的距离，则计数η₁加1；计算这个点分别到l₂l₂′这两条平行线的距离，若距离之和等于平行线之间的距离，计数η₂加1；若η₁或η₂大于等于o_k上进行计算的点的个数的1/3，进行步骤4.5；否则返回步骤4.1；

步骤4.5、连接素描线段c_j和素描线段o_k的中点，得到连线l_jk，在素描图上遍历连线l_jk上的点，若遇到素描图中记录的可素描的点，则查看该点在哪条素描线段上，计算连线l_jk与该可素描的点所在素描线段之间的夹角，若夹角在[85°,95°]，则认为线段c_j和线段o_k是对称机翼，进行步骤4.6；若没碰到素描图中记录的可素描的点，或者可素描的点所在素描线段和连线l_jk的夹角不在[85°,95°]，则返回步骤4.1；

步骤4.6、把c_j和o_k作为对称机翼记录下来，得到能组成对称机翼的素描线段对，形成集合S。

7.根据权利要求1所述的基于先验信息和飞机形状的遥感图像无监督目标检测方法，其特征在于，步骤7中，获取飞机的外接矩形的过程为：根据步骤6中的合并结果集合Z中的每一个元素对应的区域求出这些区域内的点在图片中的坐标x，y的最大值和最小值，得出飞机的外接矩形框左上角和右下角的坐标([x_min,y_min],[x_max,y_max])，从而获取飞机的外接矩形。

8.根据权利要求1所述的基于先验信息和飞机形状的遥感图像无监督目标检测方法，其特征在于，步骤7中，得到飞机外边缘轮廓的方法如下：

步骤7.1、对于集合Z中的每个区域z_j，对于其中的每一个点，以这个点为中心，建立一个正方形窗口，遍历这个窗口内剩余的其他点是否属于集合z_j，若不属于，则计数γ加1；

步骤7.2、遍历每个点之后，若这个点对应的γ大于等于2，则认为它是边界点，将边界点存储到集合z_j对应的边界点列表中，得到飞机的边界轮廓线。