CN110222638B - 一种基于素描图候选框策略和Fast R-CNN的飞机目标检测方法 - Google Patents

Abstract

本发明公开了一种基于素描图候选框策略和Fast R‑CNN的飞机目标检测方法，利用素描图的稀疏表示模型中线段的几何位置关系提取可能组成飞机机翼的素描线段，并根据提取的成对素描线段，判断飞机主轴朝向，按照不同的主轴方向设计不同的方法获取飞机的候选框。并利用得到的候选框，结合Fast R‑CNN网络采用交叠多尺度的分块策略对候选框进行分类回归得到最终的目标检测结果。其中采用弱监督的方式对图像中飞机目标进行候选框提取的方法，也可用于后续通过SVM进行分类识别或输入其他分类回归网络进行进一步识别，得到图像中飞机目标的位置，达到图像中飞机检测的目的。

Description

一种基于素描图候选框策略和Fast R-CNN的飞机目标检测 方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于素描图候选框策略和Fast R-CNN的飞机目标检测方法。

背景技术

随着科学技术的快速发展，人类对地球及太空的探索方式和技巧不断增多。特别是在航空航天技术的支持下，以高空俯视角度乃至以外太空为基础的遥感成像技术应运而生。高分辨率，大场景的海量图片数据日益增多，但是数据处理能力却远低于获取数据的能力，特别是对于大幅场景，面对复杂多变的目标环境，如何高效准确地提取出待检测目标的候选区域，一直是遥感领域目标检测应用中所面临的一个十分重要而又迫切需要解决的难题。对于传统的候选框提取算法有Selective Search，其主要是根据图片中颜色、纹理、尺度等方面的性质对区域进行逐级合并，最终得到多种尺度的大量候选区域，但该算法较多的利用颜色，纹理的一致性，导致在面对复杂背景的时候，对飞机候选区域的提取，因为飞机阴影的干扰，算法结果往往将飞机分割为两半，或将飞机与建筑物连接到一起作为候选区域进行呈现。在复杂背景下得到的候选区域提取结果效果不理想。传统的另外一种候选框提取方法Edge Boxes基于滑动窗口的思想，对于每一个滑动窗口计算窗口内边缘段两两之间的相似度，并计算每一个边缘段的权值，由此得到边缘段被窗口包围的程度，获得窗口包含物体的概率。该方法利用滑窗的思想，造成在候选框提取过程中需要大量的计算，效率较低。对于深度学习中的候选框提取方法，如Fast RCNN的区域提出网络，SSD方法中的default box等，利用特征图中的点映射到原图得到图像中的一些候选区域，但这些方法没有针对地对飞机目标候选框提取的策略，得到候选区域太多，为后续的飞机识别和边框回归带来了更多的计算量。

飞机目标检测对于军事和民生都具有重要意义，而对于飞机候选框提取算法的研究更是直接影响到后续定位检测的效率，能够得到候选框总数尽量少，召回率尽量高的候选框提取算法，是各个学者争相努力的方向。特别是对于弱监督的飞机目标候选区域提取方法，在获取图片信息的同时，无需人为标注样本，云端直接进行飞机目标候选区域提取，对后续能够实现弱监督的飞机目标检测至关重要。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于素描图候选框策略和Fast R-CNN的飞机目标检测方法，解决目前大幅复杂场景的光学遥感图像飞机目标候选框提取过程盲目定位，提取速度慢等问题，并完成飞机目标检测的结果。本发明采用弱监督的方法对图像中飞机目标进行候选框提取，也可用于后续通过SVM进行分类识别或输入网络中进行分类回归，得到图像中飞机目标位置，达到定位的目的。

本发明采用以下技术方案：

一种基于素描图候选框策略和Fast R-CNN的飞机目标检测方法，包括以下步骤：

S1、输入光学遥感图像，利用光学遥感图像的初始素描模型，提取光学遥感图像的初始素描图；

S2、根据机翼前缘约束条件，利用初始素描图中线段的拓扑关系寻找潜在能表示成对机翼的素描线段，将成对素描线段输入集合S⁽¹⁾＝{(c_i,c′_i)|0≤i≤N₁}，其中，c_i表示第i条素描线段，c′_i表示与c_i组成潜在成对机翼的素描线段，N₁表示集合S⁽¹⁾中成对素描线段的对数；否则，不做任何操作；

S3、根据飞机机翼的长度差约束对集合S⁽¹⁾进行筛选，剔除一部分建筑物或阴影素描线段造成的虚警目标，得到集合S⁽²⁾＝{(c_j,c′_j)|0≤j≤N₂}，其中，c_j表示第j条素描线段，c′_j表示与c_j组成潜在成对机翼的素描线段，N₂表示集合S⁽²⁾中成对素描线段的对数，且

S4、构造平行线约束，对集合S⁽²⁾进行筛选，将不满足在一对平行线内的虚警素描线段对进行剔除，得到集合S⁽³⁾＝{(c_k,c′_k)|0≤k≤N₃}，其中，c_k表示第k条素描线段，c′_k表示与c_k组成潜在成对机翼的素描线段，N₃表示集合S⁽³⁾中成对素描线段的对数，且

S5、根据成对素描线段中点连线是否经过可素描区域，对集合S⁽³⁾进行筛选，得到最终的潜在成对机翼素描线段，组成集合S⁽⁴⁾；

S6、根据成对机翼素描线段的角度，确定飞机主轴方向，并依据不同的主轴朝向，设计不同的候选框提取方法，得到图像的飞机候选区域；

S7、由获取的大场景图像中飞机候选框，利用交叠、多尺度的分块策略，结合FastR-CNN算法得到最终的飞机定位结果。

具体的，步骤S2具体为：

S201、将所有的素描线段的中点取出建立一个KD-tree，从所有的素描线段中选取一条素描线段，设当前素描线段为c_i，利用此KD-tree检索距离当前素描线段最近的其他10～30条素描线段，放入D_i中：i是和前面的c_i的角标一致，表示这个集合由c_i得来：

其中，Λ(c_i)是由距离c_i最近的其它10～30条素描线段的索引组成。这里距离的含义是两条素描线段各自中点之间的欧氏距离；

S202、对于当前素描线段c_i，从集合D_i中取出一条素描线段c_a，素描线段c_i所在直线与c_a所在直线的交点，记为o，从素描线段c_i的端点p到点o组成向量

从素描线段c_a的端点g到点o组成向量

计算向量

与向量

所组成的夹角，该夹角的对顶角，角α认为是素描线段c_i，c_a与交点o所组成的夹角，判断α是否满足在[100°,160°]范围内；若满足，则将素描线段c_i，c_a记为(c_i,c′_i)形式，放入集合S⁽¹⁾中，否则，不做操作；

S203、按照步骤S202的方法依次遍历所有素描线段，得到潜在的能表示对称机翼的素描线段对集合S⁽¹⁾＝{(c_i,c′_i)|0≤i≤N₁}，其中，c_i表示第i条素描线段，c′_i表示与c_i组成潜在成对机翼的素描线段，N₁表示集合S⁽¹⁾中成对素描线段的对数。

具体的，步骤S3具体为：

S301、在素描图的表示中，原图像中可素描的位置在素描图中表示为素描线段，对于集合S⁽¹⁾中每一对素描线段，计算两条素描线段分别包含可素描点的个数；

S302、若成对的两条素描线段长度差大于长度差阈值τ∈[18,20]，则将这一对素描线段从S⁽¹⁾中剔除，最终得到集合S⁽²⁾＝{(c_j,c′_j)|0≤j≤N₂}，其中，c_j表示第j条素描线段，c′_j表示与c_j组成潜在成对机翼的素描线段，N₂表示集合S⁽²⁾中成对素描线段的对数，且

具体的，步骤S4具体为：

S401、从集合S⁽²⁾中选出一条素描线段c_j作为当前素描线段，在其两端做一对平行线l₁l₁′，与该素描线段所在直线形成锐角为24°～32°；同时再做一对平行线l₂l₂′，也与该素描线段所在直线形成锐角为24°～32°；

S402、计算与c_j组成成对机翼的素描线段c′_j上的点分别到步骤S401中建立的l₁l₁′两条平行线的距离，若距离之和等于平行线之间的距离，则这个点在平行线l₁l₁′内，计数η₁加1；

计算这个点分别到l₂l₂′这两条平行线的距离，若距离之和等于平行线之间的距离，则这个点在平行线l₂l₂′内，计数η₂加1。

进一步的，若η₁或η₂大于等于c′_j上进行计算的点的个数的1/3，则线段c′_j至少有1/3的部分在线段c_j对应的平行线内；

当线段c′_j满足至少有1/3的部分在线段c_j对应的平行线内时，则保留这对素描线段，否则，将此对素描线段从集合S⁽²⁾中剔除，最终得到集合S⁽³⁾＝{(c_k,c′_k)|≤0k≤N₃}，其中，c_k表示第k条素描线段，c′_k表示与c_k组成潜在成对机翼的素描线段，N₃表示集合S⁽³⁾中成对素描线段的对数，且

具体的，步骤S5中，对于集合S⁽³⁾中的每一对素描线段，连接两条素描线段的中点，即对于素描线段对(c_k,c′_k)，连接c_k与c′_k的中点，得到线段l_kk′，依次遍历线段l_kk′上的点，查看是否满足经过素描图中的可素描点，若满足，则保留该对素描线段，否则，将该对素描线段从集合S⁽³⁾中剔除，得到集合S⁽⁴⁾为：

S⁽⁴⁾＝{(c_r,c′_r)|0≤r≤N₄}

其中，c_r表示第r条素描线段，c′_r表示与c_r组成潜在成对机翼的素描线段，N₄表示集合S⁽⁴⁾中成对素描线段的对数，且

具体的，步骤S6具体为：

S601、取出集合S⁽⁴⁾中的一对素描线段l_p,e和l_f,g，其中p和e是素描线段l_p,e的两个端点，f和g是另一个素描线段l_f,g的两个端点。连接距离较近的两个端点p和g成线段l_p,g，连接距离较远的两个端点e和f成线段l_e,f，求出l_p,g的中垂线得到L₁，l_e,f的中垂线得到L₂，然后计算这两条中垂线夹角的角平分线L₃，作为飞机的主轴方向；

S602、将成对素描线段两个较远点之间的连线l_e,f长度的1.2倍作为飞机的宽度，将得到的宽度的1.8倍作为飞机的机身长度；

S603、以图像左上角的点为原点，向右为x轴正方向，向下为y轴正方向。判断主轴与x轴正方向所成的夹角θ的大小，若θ夹角在[π/4,3π/4]范围内，则将飞机的长度d_h映射到y轴作为候选矩形框的高度h，飞机的宽度d_w映射到x轴作为候选矩形框的宽度w，若θ夹角不在[π/4,3π/4]范围内，则将飞机的宽度d_w映射到y轴作为候选矩形框的高度h，飞机的长度d_h映射到x轴作为候选矩形框的宽度w；

S604、由成对素描线段的四个顶点分别将x坐标求平均和y坐标求平均得到飞机的中心点坐标(x_c,y_c)；

S605、由飞机的中心点坐标和飞机候选矩形框的宽度和高度求得候选矩形框左上角的坐标和右下角的坐标；

S606、对集合S⁽⁴⁾中的每一对素描线段依次执行步骤S601到步骤S605，得到每一对机翼素描线段所对应的飞机候选框。

进一步的，步骤S603中，若θ夹角在[π/4,3π/4]范围内，候选矩形框的高度h和候选矩形框宽度w计算如下：

h＝d_h×sinθ

w＝d_w×sinθ

若θ夹角不在[π/4,3π/4]范围内，候选矩形框的高度h和候选矩形框的宽度w计算如下：

h＝d_w×|cosθ|

w＝d_h×|cosθ|

进一步的，步骤S605中，候选矩形框左上角的坐标和右下角的坐标计算如下：

。

具体的，步骤S7具体为：

S701、获取光学遥感图像的素描图，按照步骤S1～S6提取出飞机的候选框；

S702、将大场景光学遥感图像分割成长和宽都为600像素的图像块，上下左右相邻图像块中间的步长为400。以图像左上角为原点，向右方向为x轴，向下方向为y轴记录每个图像块相对于整幅大图的偏移量；

S703、根据图像块的偏移量计算飞机候选框在小图像块中的坐标；

S704、将大小为600×600的图像块和飞机候选框坐标根据Fast R-CNN网络的输入尺寸进行缩放，送入到网络中进行测试。记录输入图像的名称标号和相对于这张图像的测试结果；

S705、将原图裁切成800×800的图像块，上下左右相邻图像块中间的步长为500，并记录图像块相对于原图的偏移量，再次进行步骤S703到S704的测试；

S706、根据步骤S702中记录的每个图像块的偏移量整合步骤S704中的测试结果得到结果1，根据步骤S705中记录的每个图像块的偏移量整合步骤S705中的测试结果，得到结果2；

S707、使用非极大值抑制操作整合步骤S706中的结果1和结果2，得到最终的目标检测结果。

与现有技术相比，本发明至少具有以下有益效果：

本发明由于利用素描图的稀疏表示模型中线段的几何位置关系提取可能组成飞机机翼的素描线段，并根据提取的成对素描线段，判断飞机主轴朝向，按照不同的主轴方向设计不同的方法获取飞机的候选区域。相对于传统的滑窗搜索算法，能减少大量的计算，节省时间。且本发明候选框提取过程为弱监督算法，无需人工标注实验数据；针对大幅复杂场景的图片，仍然能快速、有效的提取出飞机目标候选区域，并结合Fast R-CNN技术最终达到定位效果。

进一步的，利用素描图的稀疏表示，并根据飞机机翼的前缘约束，在素描图中能快速寻找出潜在成对的机翼素描线段，而不是在原图逐个像素点盲目地进行飞机查找。且这一步骤中结合了KD-Tree算法，只在每一条素描线段周围进行查找能与其形成对称机翼的其他素描线段，大大提高了查询的效率。

进一步的，利用飞机机翼是对称的这样一个先验信息，由此对称机翼得到的素描线段长度差不应该太大，利用这个条件对前一步骤中得到的结果进一步筛选。

进一步的，利用飞机机翼是对称的先验知识，两对机翼前缘一定在某对平行线内，该平行线的方向一般与一个机翼前缘所在直线顺时针旋转[24°,32°]或逆时针旋转[24°,32°]后形成的直线方向相同。所以这里在一条素描线段上做了两对平行线，为了适应更多的飞机机头朝向。

进一步的，通过判断两个对称机翼素描线段中点连线是否经过可素描区域，有效的防止了不在同一架飞机上的素描线段也形成对称机翼。因为两个飞机中间的地面在素描图的计算中是不可素描部分，不会有素描线出现，而机身受光照的影响都会出现一些素描线段。

进一步的，通过判断主轴的方向，得出飞机的主轴线长度和飞机的宽度应该向x轴投影还是向y轴投影能够得到更合适的飞机外接矩形框。

进一步的，由于Fast R-CNN是小尺寸的图像进行网络输入，所以前面得到的大幅光学遥感图像的飞机候选区域要根据图像切割手段进行对应的修改。且设计交叠、多尺度的测试，有效的防止了在图像切割过程中被切割成两半的飞机无法识别的问题，更有利于最终的目标检测结果。

综上所述，本发明利用了素描图的稀疏表示，并结合飞机的结构先验信息，在素描图中查找能形成对称机翼额素描线段，并利用对称机翼素描线段得到飞机的候选框。这一部分工作为弱监督算法，无需人工标注实验数据，也无需进行训练学习，有效的解决了飞机目标检测过程中候选框盲目提取，提取速度慢等问题。最后又结合Fast R-CNN网络，通过网络的对前一结果进行分类回归，得到最终的目标检测结果。本发明的方法可以有效地利用在光学遥感图像飞机目标的识别和图像解译工作中。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的实现步骤图；

图2为大场景光学遥感图像1/5的区域展示图；

图3为部分图像及对应的素描图，其中，(a)为原图的部分图像，(b)为左侧图像(a)对应的素描图；

图4为素描线段夹角示意图；

图5为平行线示意图，其中，(a)为平行线l₁l₁′示意图，(b)为平行线l₂l₂′示意图；

图6为可素描位置判断示意图；

图7为飞机主轴计算示意图；

图8为图像1本发明方法部分登机坪区域候选框提取结果图；

图9为图像1Selective Search算法部分登机坪区域候选框提取对比结果图；

图10为图像2本发明方法候选框提取部分检测结果图；

图11为图像2Selective Search算法候选框提取部分对比结果图；

图12为基于素描图候选框提取的Fast R-CNN大场景下部分目标检测结果图，其中，(a)为第一块节选区域实验结果图，(b)为第二块节选区域实验结果图，(c)为第三块节选区域实验结果图，(d)为第四块节选区域实验结果图。

具体实施方式

本发明提供了一种基于素描图候选框策略和Fast R-CNN的飞机目标检测方法，候选框提取方法主要用以解决目前大幅复杂场景的光学遥感图像飞机目标候选框提取盲目定位，提取速度慢的问题。本发明方法分为三个阶段：

(1)在素描图中采用基于先验信息和飞机形状的遥感图像目标检测预处理方法提取潜在成对机翼前缘或后缘对应的素描线段；

(2)根据潜在成对机翼素描线段判断潜在飞机主轴方向，依据不同的主轴方向设计不同的候选框提取策略，得到潜在飞机的候选框；

(3)依据候选框结果，在大场景图像中使用交叠、多尺度的分块策略，结合Fast R-CNN网络实现图像中飞机目标的检测。

本发明实现了光学遥感图像的飞机目标候选区域快速提取方法，且结合Fast R-CNN技术达到了飞机定位的结果，可用于光学遥感图像的飞机目标识别和图像解译。

请参阅图1，本发明一种基于素描图候选框策略和Fast R-CNN的飞机目标检测方法，针对大幅复杂场景，目标繁杂的光学遥感图像，利用原图像素描化之后的稀疏图，结合飞机的先验信息，判断素描图中线段与线段之间的位置关系，设计约束条件获取对称机翼素描线段并进一步求得飞机候选区域，最后结合Fast R-CNN技术对候选区域进行分类回归得到最终的飞机目标检测结果。包括以下步骤：

S1、对大幅光学遥感图像(eg:20000PX×13000PX，8000PX×6500PX)素描化，即输入光学遥感图像，使用初始素描模型提取光学遥感图像的初始素描图。如图2所示，展示了原图的1/5左右，如图3所示，展示了原图一小部分区域及其对应的素描图；

S2、根据机翼前缘约束条件，利用初始素描图中线段的拓扑关系寻找潜在能表示成对机翼的素描线段，将成对素描线段输入集合S⁽¹⁾＝{(c_i,c′_i)|0≤i≤N₁}，其中，c_i表示第i条素描线段，c′i表示与c_i组成潜在成对机翼的素描线段，N₁表示集合S⁽¹⁾中成对素描线段的对数；否则，不做任何操作；

S201、将所有的素描线段的中点取出来，以此建立一个KD-tree，从所有的素描线段中选取一条素描线段，设当前素描线段为c_i，利用此KD-tree检索距离当前素描线段最近的其他10～30条素描线段，放入D_i中：i是和前面的c_i的角标一致，表示这个集合由c_i得来：

其中，Λ(c_i)是由距离c_i最近的其它10～30条素描线段的索引组成。这里距离的含义是两条素描线段各自中点之间的欧氏距离；

S202、对于当前素描线段c_i，从集合D_i中取出一条素描线段c_a，如图4所示，c_i和c_a用黑色实线表示，素描线段c_i所在直线与c_a所在直线的交点，记为o，从素描线段c_i的端点p到点o组成向量

从素描线段c_a的端点g到点o组成向量

计算向量

与向量

所组成的夹角，该夹角的对顶角，即图4中的角α认为是素描线段c_i，c_a与交点o所组成的夹角，判断α是否满足在[100°,160°]范围内；若满足，则将素描线段c_i，c_a记为(c_i,c′_i)形式，放入集合S⁽¹⁾中，否则，不做操作；

S203、按照步骤S202的方法依次遍历所有素描线段，得到潜在的能表示对称机翼的素描线段对集合S⁽¹⁾＝{(c_i,c′_i)|0≤i≤N₁}，其中，c_i表示第i条素描线段，c′_i表示与c_i组成潜在成对机翼的素描线段，N₁表示集合S⁽¹⁾中成对素描线段的对数。

S3、根据飞机机翼的长度差约束对集合S⁽¹⁾进行筛选，剔除一部分建筑物或阴影素描线段造成的虚警目标，得到集合S⁽²⁾＝{(c_j,c′_j)|0≤j≤N₂}，其中，c_j表示第j条素描线段，c′_j表示与c_j组成潜在成对机翼的素描线段，N₂表示集合S⁽²⁾中成对素描线段的对数，且

S301、在素描图的表示中，原图像中可素描的位置在素描图中表示为素描线段，用纯黑色的点表示，不可素描的位置在素描图中用白色背景作为展示，对于集合S⁽¹⁾中每一对素描线段，计算两条素描线段分别包含可素描点的个数；

S302、若成对的两条素描线段长度差大于长度差阈值τ∈[18,20]，则将这一对素描线段从S⁽¹⁾中剔除，最终得到集合S⁽²⁾＝{(c_j,c′_j)|0≤j≤N₂}，其中，c_j表示第j条素描线段，c′_j表示与c_j组成潜在成对机翼的素描线段，N₂表示集合S⁽²⁾中成对素描线段的对数，且

S4、构造平行线约束，对集合S⁽²⁾进行筛选，将不满足在一对平行线内的虚警素描线段对进行剔除，得到集合S⁽³⁾＝{(c_k,c′_k)|0≤k≤N₃}，其中，c_k表示第k条素描线段，c′_k表示与c_k组成潜在成对机翼的素描线段，N₃表示集合S⁽³⁾中成对素描线段的对数，且

S401、从集合S⁽²⁾中选出一条素描线段c_j作为当前素描线段，在其两端做一对平行线l₁l₁′，与该素描线段所在直线形成锐角为24°～32°。(即这一对平行线相当于这条素描线段以中点为中心顺时针旋转平行线阈值度数在[24°,32°]范围内)做出的两条平行线形成)，如图5(a)中的一对平行线l₁l₁′；同时再做一对平行线l₂l₂′，也是与该素描线段所在直线形成锐角为24°～32°(即这一对平行线相当于这条素描线段以中点为中心顺时针旋转180度减平行线阈值度数的度数做出的两条平行线形成)；如图5(b)中的一对平行线l₂l₂′；

S402、计算与c_j组成成对机翼的素描线段c′_j上的点(每隔2个点取1个点，或者根据素描线段长短自己设定)分别到步骤S401中建立的l₁l₁′两条平行线的距离，若距离之和等于平行线之间的距离，则说明这个点在平行线l₁l₁′内，计数η₁加1。同样，计算这个点分别到l₂l₂′这两条平行线的距离，若距离之和等于平行线之间的距离，则说明这个点在平行线l₂l₂′内，计数η₂加1。若η₁或η₂大于等于c′_j上进行计算的点的个数的1/3，则认为线段c′_j至少有1/3的部分在线段c_j对应的平行线内。当线段c′_j满足至少有1/3的部分在线段c_j对应的平行线内时，则保留这对素描线段，否则，将此对素描线段从集合S⁽²⁾中剔除，最终得到集合S⁽³⁾＝{(c_k,c′_k)|≤0k≤N₃}，其中，c_k表示第k条素描线段，c′_k表示与c_k组成潜在成对机翼的素描线段，N₃表示集合S⁽³⁾中成对素描线段的对数，且

S5、根据成对素描线段中点连线是否经过可素描区域，对集合S⁽³⁾进行筛选，得到最终的潜在成对机翼素描线段，组成集合S⁽⁴⁾＝{(c_r,c′_r)|0≤r≤N₄}，其中，c_r表示第r条素描线段，c′_r表示与c_r组成潜在成对机翼的素描线段，N₄表示集合S⁽⁴⁾中成对素描线段的对数，且

对于集合S⁽³⁾中的每一对素描线段，连接两条素描线段的中点，即对于素描线段对(c_k,c′_k)，连接c_k与c′_k的中点，得到线段l_kk′，依次遍历线段l_kk′上的点，查看是否满足经过素描图中的可素描点，即素描图中的黑点。若满足，则保留该对素描线段，否则，将该对素描线段从集合S⁽³⁾中剔除，得到集合为：

S⁽⁴⁾＝{(c_r,c′_r)|0≤r≤N₄}

其中，c_r表示第r条素描线段，c′_r表示与c_r组成潜在成对机翼的素描线段，N₄表示集合S⁽⁴⁾中成对素描线段的对数，且

举例说明：如图6所示，假设图中c₁与c₂满足前面的所有条件，作为一对素描线段存在于集合S⁽³⁾中，则连接c₁与c₂的中点，该连线上不会经过素描图中的黑点，即认为这一对素描线段中间不存在可素描位置，将图6中c₁、c₂这一对素描线段从集合S⁽³⁾中剔除；相反，图6中c₂和c₃素描线段中点的连线经过了素描图中的可素描位置，则应该保留c₂、c₃这一对素描线段；

S6、根据成对机翼素描线段的角度，确定飞机主轴方向，并依据不同的主轴朝向，设计不同的候选框提取方法，得到图像的飞机候选区域；

S601、如示意图7中所示，取出集合S⁽⁴⁾中的一对素描线段l_p,e和l_f,g，其中p和e是素描线段l_p,e的两个端点，f和g是另一个素描线段l_f,g的两个端点。连接距离较近的两个端点p和g成线段l_p,g，连接距离较远的两个端点e和f成线段l_e,f，求出l_p,g的中垂线得到L₁，l_e,f的中垂线得到L₂，然后计算这两条中垂线夹角的角平分线L₃，作为飞机的主轴方向；

S602、将成对素描线段两个较远点之间的连线l_e,f长度的1.2倍(这里也可以取[1.2,1.5]之间的其他数字)作为飞机的宽度，将得到的宽度的1.8倍(这里也可以取[1.8,2.0]之间的其他数字)作为飞机的机身长度；

S603、以图像左上角的点为原点，向右为x轴正方向，向下为y轴正方向。判断主轴与x轴正方向所成的夹角θ的大小，若θ夹角在[π/4,3π/4]范围内，则将飞机的长度d_h映射到y轴作为候选矩形框的高度h，飞机的宽度d_w映射到x轴作为候选矩形框的宽度w,得到：

h＝d_h×sinθ (1)

w＝d_w×sinθ (2)

若θ夹角不在[π/4,3π/4]范围内，则将飞机的宽度d_w映射到y轴作为候选矩形框的高度h，飞机的长度d_h映射到x轴作为候选矩形框的宽度w：

h＝d_w×|cosθ| (3)

w＝d_h×|cosθ| (4)

S604、由成对素描线段的四个顶点分别将x坐标求平均和y坐标求平均得到飞机的中心点坐标(x_c,y_c)：

S605、由飞机的中心点坐标和飞机候选矩形框的宽度和高度求得候选矩形框左上角的坐标和右下角的坐标：

S606、对集合S⁽⁴⁾中的每一对素描线段依次执行步骤S601到步骤S605，得到每一对机翼素描线段所对应的飞机候选框。

S7、由获取的大场景图像中飞机候选框，利用交叠、多尺度的分块策略，结合FastR-CNN算法得到最终的飞机定位结果。

S701、获取光学遥感图像的素描图，按照步骤S1～S6提取出飞机的候选框；

S702、将大场景光学遥感图像分割成长和宽都为600像素的图像块，上下左右相邻图像块中间的步长为400。以图像左上角为原点，向右方向为x轴，向下方向为y轴记录每个图像块相对于整幅大图的偏移量；

S703、根据图像块的偏移量计算飞机候选框在小图像块中的坐标；

S704、将大小为600×600的图像块和飞机候选框坐标根据Fast R-CNN网络的输入尺寸进行缩放，送入到网络中进行测试。记录输入图像的名称标号和相对于这张图像的测试结果；

S705、将原图裁切成800×800的图像块，上下左右相邻图像块中间的步长为500，并记录图像块相对于原图的偏移量，再次进行步骤S703到S704的测试；

S706、根据步骤S702中记录的每个图像块的偏移量整合步骤S704中的测试结果得到结果1，根据步骤S705中记录的每个图像块的偏移量整合步骤S705中的测试结果，得到结果2；

S707、使用非极大值抑制操作整合步骤S706中的结果1和结果2，得到最终的目标检测结果。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

仿真条件

仿真实验平台为工作站z840和显卡为NVIDIA GeForce GTX 1080。

仿真使用的测试图像数据为两张大幅复杂背景的光学遥感图像，

图像1：19840×13248(像素)；图像2：7800×6256(像素)，分辨率均为0.25m的光学遥感图像。

在Fast R-CNN算法中，网络的分类和回归需要训练，由此训练数据为：在GoogleMap卫星图像上截取世界范围内多个国际机场的光学遥感图像，分辨率设定为[0.25m，0.50m]之间。裁切成600像素×600像素的图像并标注飞机所在位置，组成共有1800张图像的数据集。

仿真内容

上述的图像数据，用本发明的方法进行弱监督飞机目标候选框提取，按照步骤S1到步骤S6的算法流程，得到最终的提取结果：图像1中共有154架飞机，成功提取出136架飞机的候选框，图像2共有23架飞机，成功提取出21架飞机的候选框，同时利用SelectiveSearch候选框提取方法作为对比算法，得到如表1所示的对比实验结果：

表1本发明的方法与Selective Search算法的对比实验结果

由于原图的尺寸太大，这里仅展示两幅图像的部分候选框提取算法的检测结果。如图8到图11所示，本发明方法的候选框提取结果和Selective Search算法的候选框提取结果。

按照步骤S7的方法，使用前面得到的飞机候选框，结合Fast R-CNN网络对大场景复杂背景的光学遥感图像进行飞机目标检测，得到如表2所示的结果：

表2基于素描图提取候选框的Fast R-CNN飞机目标检测结果

图像名称	准确率	召回率
			图像1	82.6％	83.8％
图像2	86.9％	86.9％

图12展示了本发明提出的候选框提取方法结合Fast R-CNN网络对大场景复杂背景的光学遥感图像进行飞机目标检测的部分结果。

仿真结果分析：

由表1和图8到图11可以看出，本发明使用弱监督飞机目标候选区域提取，利用素描图的稀疏表示，结合飞机的先验信息，面对复杂的背景图片，依然可以得到较高的召回率。且本发明中并没有利用原始图像的灰度信息，条件较为宽松，在找寻到的对称机翼素描线段中，有可能是飞机的机翼前缘对应的一对素描线段，也有可能是飞机的机翼后缘对应的一对素描线段，还有可能是飞机的机翼阴影与地面的交界处形成的素描线段。由此一架飞机上可能获取到多对素描线段，因此在同一架飞机的位置得到多个候选框。

相比较而言，Selective Search算法受到复杂背景的影响，飞机的阴影严重干扰了Selective Search计算过程中颜色合并的过程，并且图像1的建筑物灰度和飞机表面的灰度较为相似，导致得到的候选框结果飞机和建筑物被框选到一起，影响了实验结果。

表2和图12分别展示了基于素描图候选框提取的Fast R-CNN大场景下飞机目标检测的结果。检测结果中部分飞机由于素描线段在素描图的计算过程中显示不完整，导致在候选框提取过程中被漏掉，从而直接影响到后续的Fast R-CNN网络进行分类回归的结果。这部分情况有待进一步处理，在以后的工作中继续找寻新的创新点，以缓解或解决该问题。

综上所述，本发明实现了弱监督光学遥感图像的飞机目标候选框提取方法，并结合Fast R-CNN算法实现大场景复杂背景的光学遥感图像飞机目标检测。方法中结合飞机的先验信息，在大幅、复杂背景的光学遥感图像中，以找寻飞机的结构为目的，受到背景的影响较小，且该方法不受图像尺寸大小的限制，因此在复杂的背景下依然能够得到较好的检测结果。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (7)

1.一种基于素描图候选框策略和Fast R-CNN的飞机目标检测方法，其特征在于，包括以下步骤：

S1、输入光学遥感图像，利用光学遥感图像的初始素描模型，提取光学遥感图像的初始素描图；

S2、根据机翼前缘约束条件，利用初始素描图中线段的拓扑关系寻找潜在能表示成对机翼的素描线段，将成对素描线段输入集合S⁽¹⁾＝{(c_i,c′_i)|0≤i≤N₁}，其中，c_i表示第i条素描线段，c′_i表示与c_i组成潜在成对机翼的素描线段，N₁表示集合S⁽¹⁾中成对素描线段的对数；否则，不做任何操作；

S3、根据飞机机翼的长度差约束对集合S⁽¹⁾进行筛选，剔除一部分建筑物或阴影素描线段造成的虚警目标，得到集合S⁽²⁾＝{(c_j,c′_j)|0≤j≤N₂}，其中，c_j表示第j条素描线段，c′_j表示与c_j组成潜在成对机翼的素描线段，N₂表示集合S⁽²⁾中成对素描线段的对数，且

S4、构造平行线约束，对集合S⁽²⁾进行筛选，将不满足在一对平行线内的虚警素描线段对进行剔除，得到集合S⁽³⁾＝{(c_k,c′_k)|0≤k≤N₃}，其中，c_k表示第k条素描线段，c′_k表示与c_k组成潜在成对机翼的素描线段，N₃表示集合S⁽³⁾中成对素描线段的对数，且

S5、根据成对素描线段中点连线是否经过可素描区域，对集合S⁽³⁾进行筛选，得到最终的潜在成对机翼素描线段，组成集合S⁽⁴⁾；

S6、根据成对机翼素描线段的角度，确定飞机主轴方向，并依据不同的主轴朝向，设计不同的候选框提取方法，得到图像的飞机候选区域，步骤S6具体为：

S601、取出集合S⁽⁴⁾中的一对素描线段l_p,e和l_f,g，其中p和e是素描线段l_p,e的两个端点，f和g是另一个素描线段l_f,g的两个端点；连接距离近的两个端点p和g成线段l_p,g，连接距离远的两个端点e和f成线段l_e,f，求出l_p,g的中垂线得到L₁，l_e,f的中垂线得到L₂，然后计算这两条中垂线夹角的角平分线L₃，作为飞机的主轴方向；

S602、将成对素描线段两个较远点之间的连线l_e,f长度的1.2倍作为飞机的宽度，将得到的宽度的1.8倍作为飞机的机身长度；

S603、以图像左上角的点为原点，向右为x轴正方向，向下为y轴正方向；判断主轴与x轴正方向所成的夹角θ的大小，若θ夹角在[π/4,3π/4]范围内，则将飞机的长度d_h映射到y轴作为候选矩形框的高度h，飞机的宽度d_w映射到x轴作为候选矩形框的宽度w，若θ夹角不在[π/4,3π/4]范围内，则将飞机的宽度d_w映射到y轴作为候选矩形框的高度h，飞机的长度d_h映射到x轴作为候选矩形框的宽度w，若θ夹角在[π/4,3π/4]范围内，候选矩形框的高度h和候选矩形框宽度w计算如下：

h＝d_h×sinθ

w＝d_w×sinθ

若θ夹角不在[π/4,3π/4]范围内，候选矩形框的高度h和候选矩形框的宽度w计算如下：

h＝d_w×|cosθ|

w＝d_h×|cosθ|；

S604、由成对素描线段的四个顶点分别将x坐标求平均和y坐标求平均得到飞机的中心点坐标(x_c,y_c)；

S605、由飞机的中心点坐标和飞机候选矩形框的宽度和高度求得候选矩形框左上角的坐标和右下角的坐标，候选矩形框左上角的坐标和右下角的坐标计算如下：

；

S606、对集合S⁽⁴⁾中的每一对素描线段依次执行步骤S601到步骤S605，得到每一对机翼素描线段所对应的飞机候选框；

S7、由获取的大场景图像中飞机候选框，利用交叠、多尺度的分块策略，结合Fast R-CNN算法得到最终的飞机定位结果。

2.根据权利要求1所述的基于素描图候选框策略和Fast R-CNN的飞机目标检测方法，其特征在于，步骤S2具体为：

S201、将所有的素描线段的中点取出建立一个KD-tree，从所有的素描线段中选取一条素描线段，设当前素描线段为c_i，利用此KD-tree检索距离当前素描线段最近的其他10～30条素描线段，放入D_i中：i是和前面的c_i的角标一致，表示这个集合由c_i得来：

其中，Λ(c_i)是由距离c_i最近的其它10～30条素描线段的索引组成；

S202、对于当前素描线段c_i，从集合D_i中取出一条素描线段c_a，素描线段c_i所在直线与c_a所在直线的交点，记为o，从素描线段c_i的端点p到点o组成向量

从素描线段c_a的端点f到点o组成向量

计算向量

与向量

所组成的夹角，该夹角的对顶角，角α认为是素描线段c_i，c_a与交点o所组成的夹角，判断α是否满足在[100°,160°]范围内；若满足，则将素描线段c_i，c_a记为(c_i,c′_i)形式，放入集合S⁽¹⁾中，否则，不做操作；

S203、按照步骤S202的方法依次遍历所有素描线段，得到潜在的能表示对称机翼的素描线段对集合S⁽¹⁾＝{(c_i,c′_i)|0≤i≤N₁}，其中，c_i表示第i条素描线段，c′_i表示与c_i组成潜在成对机翼的素描线段，N₁表示集合S⁽¹⁾中成对素描线段的对数。

3.根据权利要求1所述的基于素描图候选框策略和Fast R-CNN的飞机目标检测方法，其特征在于，步骤S3具体为：

S301、在素描图的表示中，原图像中可素描的位置在素描图中表示为素描线段，对于集合S⁽¹⁾中每一对素描线段，计算两条素描线段分别包含可素描点的个数；

S302、若成对的两条素描线段长度差大于长度差阈值τ∈[18,20]，则将这一对素描线段从S⁽¹⁾中剔除，最终得到集合S⁽²⁾＝{(c_j,c′_j)|0≤j≤N₂}，其中，c_j表示第j条素描线段，c′_j表示与c_j组成潜在成对机翼的素描线段，N₂表示集合S⁽²⁾中成对素描线段的对数，且

4.根据权利要求1所述的基于素描图候选框策略和Fast R-CNN的飞机目标检测方法，其特征在于，步骤S4具体为：

S401、从集合S⁽²⁾中选出一条素描线段c_j作为当前素描线段，在其两端做一对平行线l₁l₁′，与该素描线段所在直线形成锐角为24°～32°；同时再做一对平行线l₂l₂′，也与该素描线段所在直线形成锐角为24°～32°；

S402、计算与c_j组成成对机翼的素描线段c′_j上的点分别到步骤S401中建立的l₁l₁′两条平行线的距离，若距离之和等于平行线之间的距离，则这个点在平行线l₁l₁′内，计数η₁加1；

计算这个点分别到l₂l₂′这两条平行线的距离，若距离之和等于平行线之间的距离，则这个点在平行线l₂l₂′内，计数η₂加1。

5.根据权利要求4所述的基于素描图候选框策略和Fast R-CNN的飞机目标检测方法，其特征在于，若η₁或η₂大于等于c′_j上进行计算的点的个数的1/3，则线段c′_j至少有1/3的部分在线段c_j对应的平行线内；

当线段c′_j满足至少有1/3的部分在线段c_j对应的平行线内时，则保留这对素描线段，否则，将此对素描线段从集合S⁽²⁾中剔除，最终得到集合S⁽³⁾＝{(c_k,c′_k)|0≤k≤N₃}，其中，c_k表示第k条素描线段，c′_k表示与c_k组成潜在成对机翼的素描线段，N₃表示集合S⁽³⁾中成对素描线段的对数，且

6.根据权利要求1所述的基于素描图候选框策略和Fast R-CNN的飞机目标检测方法，其特征在于，步骤S5中，对于集合S⁽³⁾中的每一对素描线段，连接两条素描线段的中点，即对于素描线段对(c_k,c′_k)，连接c_k与c′_k的中点，得到线段l_kk′，依次遍历线段l_kk′上的点，查看是否满足经过素描图中的可素描点，若满足，则保留该对素描线段，否则，将该对素描线段从集合S⁽³⁾中剔除，得到集合S⁽⁴⁾为：

S⁽⁴⁾＝{(c_r,c′_r)|0≤r≤N₄}

其中，c_r表示第r条素描线段，c′_r表示与c_r组成潜在成对机翼的素描线段，N₄表示集合S⁽⁴⁾中成对素描线段的对数，且

7.根据权利要求1所述的基于素描图候选框策略和Fast R-CNN的飞机目标检测方法，其特征在于，步骤S7具体为：

S701、获取光学遥感图像的素描图，按照步骤S1～S6提取出飞机的候选框；

S702、将大场景光学遥感图像分割成长和宽都为600像素的图像块，上下左右相邻图像块中间的步长为400，以图像左上角为原点，向右方向为x轴，向下方向为y轴记录每个图像块相对于整幅大图的偏移量；

S703、根据图像块的偏移量计算飞机候选框在小图像块中的坐标；

S704、将大小为600×600的图像块和飞机候选框坐标根据Fast R-CNN网络的输入尺寸进行缩放，送入到网络中进行测试，记录输入图像的名称标号和相对于这张图像的测试结果；

S705、将原图裁切成800×800的图像块，上下左右相邻图像块中间的步长为500，并记录图像块相对于原图的偏移量，再次进行步骤S703到S704的测试；

S706、根据步骤S702中记录的每个图像块的偏移量整合步骤S704中的测试结果得到结果1，根据步骤S705中记录的每个图像块的偏移量整合步骤S705中的测试结果，得到结果2；

S707、使用非极大值抑制操作整合步骤S706中的结果1和结果2，得到最终的目标检测结果。

Images