CN109815790B

CN109815790B - 用于遥感目标检测的门控轴聚检测网络系统及方法

Info

Publication number: CN109815790B
Application number: CN201811519967.5A
Authority: CN
Inventors: 袁媛; 张园林; 冯亚闯; 卢孝强
Original assignee: XiAn Institute of Optics and Precision Mechanics of CAS
Current assignee: XiAn Institute of Optics and Precision Mechanics of CAS
Priority date: 2018-12-12
Filing date: 2018-12-12
Publication date: 2021-02-19
Anticipated expiration: 2038-12-12
Also published as: CN109815790A

Abstract

本发明公开了一种用于高分辨率遥感目标检测任务的门控轴聚定位网络框架。具体实现过程为：(1)利用选择性搜索产生候选边界框，(2)卷积特征提取，(3)候选区域特征提取，(4)目标识别，(5)轴聚结构——将得到的卷积特征图沿x轴、y轴分别池化；(6)门控结构——抽取全连接特征向量，再经过一次全连接，使其长度和卷积特征图的通道数相同，最后将其和(5)中产生的两个特征按通道相乘；(7)用回归器做位置回归。本发明能够很好地提升尺寸较小目标类别的平均准确率AP，并且不会大幅增加计算量。轴聚结构、门控结构及回归器可以作为一个定位网络模块添加到一些现有two‑stage目标检测网络结构中，例如Fast R‑CNN、Faster R‑CNN等。

Description

用于遥感目标检测的门控轴聚检测网络系统及方法

技术领域

本发明属于信息处理技术领域，是一种遥感图像分析技术，可用于飞机检测、船舶检测、储油罐检测等领域。

背景技术

高分遥感目标检测任务包含两个方面，一方面是目标类别的识别，另一方面是目标位置的确定——目标定位。

目标检测系统可以划分为基于手工特征和基于深度学习这两类方法。传统方法采用人为设计的特征，在过去的一段时间里，这些方法都取得了不错的效果。但随着深度学习的兴起，传统方法依赖人为因素的弊端显示了出来，而深度学习能够自主学习有利的特征，使得目标检测的平均准确率AP得到了大幅提升。

而基于深度学习的目标检测框架，一般包括以下几个方面：目标建议区域提取，卷积特征提取，候选区域(RoI)池化，RoI识别，RoI位置回归。其中，RoI位置回归指的是对RoI的位置进行精修，使得目标框的位置更接近实际的目标位置。位置回归或者目标定位作为目标检测的一部分，其精度对目标检测平均准确率AP的提升也有重要的作用，尤其是对小目标。下面将对目前存在的目标定位方法进行详细描述。

第一个是Multi-Region deep Convolutional Neural Network(MR-CNN)，是由Gidaris,Spyros和Komodakis,Nikos在“S.Gidaris and N.Komodakis,Object Detectionvia a Multi-Region and Semantic Segmentation-Aware CNN Model,in IEEEInternational Conference on Computer Vision(ICCV),2015.”上提出的工作。该工作通过将目标的不同子区域(左侧、右侧、上方、下方、内侧、外侧等)的特征和目标框的特征一同输入识别器和回归器，提高对于位置的敏感性，从而得到更佳的定位结果。此外，该方法还采用了分割方法来辅助位置的判别，但是该方法在每个候选区域中对目标定位时，采用的全连接特征弱化了空间信息，不利于定位和小目标检测。

第二个是LocNet，是由Gidaris,Spyros和Komodakis,Nikos在“S.Gidaris andN.Komodakis,Locnet:Improving Localization Accuracy for Object Detection,inComputer Vision and Pattern Recognition,pp.789-798,2016.”上提出的。该工作提出了一个全新的基于概率模型的方法用于目标定位。相比于传统回归模型，该模型将候选框划分为n乘n的网格，并且估算相应横纵坐标(例如x＝i,i＝1,2,3...n)处为目标框的边界的概率。该方法虽然利用卷积特征提高了对于空间细节的感知，但是仅采用卷积特征导致感受野受限，忽略了全局特征在指导局部特征上的作用，不利于进一步提高目标的定位精度。

第三个是遥感目标检测中的一个方法，是由Long,Yang和Liu,Qing在“Y.Long,Y.Gong,Z.Xiao,and Q.Liu,Accurate Object Localization in Remote Sensing ImagesBased on Convolutional Neural Networks,in IEEE Transactions on Geoscience andRemote Sensing,vol.55,no.5,pp.2486-2498,2017.”上提出的。该工作在一般目标检测方法的结果的基础上，提出了一种无监督的基于分数的边界框回归算法(USB-BBR)算法，并结合非最大抑制算法对检测到的区域边界框进行优化。该方法对所有的边界框按分数排序，然后选取高分边界框，寻找与其交集大于阈值的边界框划分为一组，得到若干组之后对每一组取所有框的横纵坐标极值，最终每组合并为一个边界框，反复迭代此过程到一定次数，但该方法只是对于目标检测得到的边界框进一步处理，并没有从生成边界框的根源解决问题。

发明内容

本发明的目的在于针对现有方法在小目标检测上的不足，提出一种新型目标检测网络框架系统及方法，以实现更加精确的目标位置回归。该方法基于深度学习的方法，主要是利用局部特征的空间细节与全局特征的高级语义相结合，通过加全连接特征门引导的局部特征以提高位置回归器对于空间细节的感知；并将卷积特征块做x方向全局池化和y方向全局池化，从而降低特征维数并且避免来自不同方向坐标预测的干扰。本发明由于引入了卷积特征代替全连接特征用于定位，提供了空间细节信息，所以对于定位精度有较大的提升。

本发明的技术解决方案是提供一种用于遥感目标检测的门控轴聚检测网络系统，包括卷积神经网络，上述卷积神经网络包括卷积特征提取层、区域建议层、候选区域提取层、识别网络及位置回归器，其特殊之处在于：还包括轴聚结构与门控结构；

输入图像通过卷积特征提取层输出卷积特征图；

上述区域建议层用于对输入的图像通过区域建议方法产生可能存在目标区域的候选区域；

上述候选区域提取层用于利用候选区域的位置在卷积特征图上截取相应区域，获得候选区域的卷积特征图，并池化至固定尺寸；

上述识别网络包括依次连接的全连接及分类器，用于识别目标；

上述轴聚结构用于将候选区域的卷积特征图中维数为(l_x,l_y,l_c)的卷积特征块沿x轴、y轴分别进行全局平均池化，分别得到两个方向的轴聚特征大小分别为(l_y,l_c)与(l_x,l_c)；

上述门控结构用于将全连接的全局特征再经过一个全连接层调整，得到维数和候选区域卷积特征图的通道数相同的全局特征向量；将这个全局特征向量和与两个方向的轴聚特征(l_y,l_c)与(l_x,l_c)按通道相乘，获得两个门控轴聚特征；

上述位置回归器用于接收两个门控轴聚特征，并对两个门控轴聚特征进行处理，分别得到x方向的回归值和y方向的回归值。

进一步地，上述卷积神经网络可以为AlexNet、GoogLeNet、VGG或ResNet。

进一步地，上述分类器位Softmax分类器。

本发明还提供一种基于上述的检测网络系统实现遥感目标检测的方法，包括以下步骤：

S1、输入图像；

S2、获得候选区域；

对输入的图像通过区域建议方法产生可能存在目标区域的候选区域，获得候选边界框；

S3、提取卷积特征图；

对输入的图像采用卷积神经网络提取特征，输出卷积特征图；

S4：获取候选区域的卷积特征图；

利用步骤S2获得候选边界框的位置在步骤S3输出的卷积特征图上截取相应区域，获得候选区域的卷积特征图，并池化至固定尺寸，方便后续处理；

S5：目标识别；

通过全连接网络与分类器识别候选区域卷积特征图中的候选区域边框类型，识别目标；

S6：轴聚特征提取；

将步骤S4得到的候选区域的卷积特征图中维数为(l_x,l_y,l_c)的卷积特征块沿x轴、y轴分别进行全局平均池化，分别得到两个方向的轴聚特征大小分别为(l_y,l_c)以及(l_x,l_c)；

S7：获取两个门控轴聚特征；-

抽取步骤S5中通过全连接网络调整后的候选区域卷积特征图中的全连接特征向量，再经过全连接层调整后，获得维数与候选区域卷积特征图的通道数相同的全局特征向量，将全局特征向量与步骤S6中获得的两个方向的轴聚特征按通道相乘，获得两个门控轴聚特征；

S8：位置回归

将步骤S7得到的两个门控轴聚特征输入位置回归器，分别得到x方向的回归值和y方向的回归值；

S9：利用目标识别结果及位置回归结果实现目标检测。

进一步地，步骤S2中区域建议方法可以为滑动窗口、选择性搜索或区域建议网。

进一步地，上述卷积神经网络为AlexNet、GoogLeNet、VGG或ResNet。

本发明的有益效果是：

1、本发明提出了一个目标检测模型，该模型的特点在于其定位部分，即门控轴聚检测模型(GACL Net)，可以更好地提高目标的定位精度。尤其是对于尺寸较小的目标，可以提升其检测的平均准确率。为了实现该模型，搭建了一个用于目标检测的网络。该门控轴聚检测模型可以适应大部分两阶段(two-stage)神经网络方法，例如Fast R-CNN或者FasterR-CNN。并且该结构在实现过程中考虑了网络复杂度，尽量在不增加计算量的情况下提高目标的定位精度。

2、本发明网络框架首先采用全局特性作为局部特征的语义指导，充分利用了全局特性丰富的语义和局部特征的空间细节，从而避免背景或其他类目标对于某一类目标定位的干扰，提高定位精度；其次，在卷积特征图上提出卷积特征图的轴聚结构，避免了空间正交方向的坐标预测干扰，并减少了特征图的大小，从而以较小的附加计算成本提高了定位精度。

3、本发明方法基于深度学习的方法，主要是利用局部特征的空间细节与全局特征的高级语义相结合，通过加全连接特征门引导的局部特征以提高位置回归器对于空间细节的感知；并将卷积特征块做x方向全局池化和y方向全局池化，从而降低特征维数并且避免来自不同方向坐标预测的干扰。本发明由于引入了卷积特征代替全连接特征用于定位，提供了空间细节信息，对于定位精度有较大的提升。

附图说明

图1为本发明检测方法的流程图。

图2为高分遥感目标检测所用的数据以及检测结果的第一部分。

图3为高分遥感目标检测所用的数据以及检测结果的第二部分。

具体实施方式

以下结合附图及具体实施例对本发明做进一步的详细描述：

本实施例用于遥感目标检测的门控轴聚检测网络，包括卷积神经网络，该卷积神经网络可以为AlexNet、GoogLE Net、VGG、ResNet等，包括卷积特征提取层、区域建议层、候选区域提取层、识别网络、位置回归器、轴聚结构与门控结构；输入图像通过卷积特征提取层输出卷积特征图；区域建议层用于对输入的图像通过区域建议方法生成一些可能存在目标的候选区域。具体可选取的算法有滑动窗口、选择性搜索、区域建议网(Region ProposalNetwork,RPN)；候选区域提取层用于利用候选区域的位置在卷积特征图上截取相应区域，获得候选区域的卷积特征图，并池化至固定尺寸；识别网络包括依次连接的第一全连接、第二全连接及分类器，用于识别目标；

轴聚结构用于将候选区域的卷积特征图中维数为(l_x,l_y,l_c)的卷积特征块沿x轴、y轴分别进行全局平均池化，分别得到两个方向的轴聚特征大小分别为(l_y,l_c)与(l_x,l_c)；门控结构共享识别网络的全连接特征，经过一个全连接层调整之后，对局部特征进行通道加门，具体为：将第二全连接的全局特征再经过一个全连接层调整，得到维数和候选区域卷积特征图的通道数相同的全局特征向量；将这个全局特征向量和与两个方向的轴聚特征(l_y,l_c)与(l_x,l_c)按通道相乘，获得两个门控轴聚特征；

位置回归器包x方向位置回归器及y方向位置回归器，用于接收两个门控轴聚特征，并对两个门控轴聚特征进行处理，分别得到x方向的回归值和y方向的回归值。

参照图1，本发明实现的步骤如下：

步骤1，区域建议

输入一幅图像，由区域建议方法生成一定数量的候选区域，可选取滑动窗口、选择性搜索、区域建议网等来进行区域建议。

步骤2，卷积神经网络特征提取

将图像输入卷积神经网络中，提取图像在卷积层上的表达。可选取的卷积神经网络例如AlexNet、GoogLE Net、VGG、ResNet等。

步骤3，候选区域卷积特征提取

将步骤1中得到的候选区域，按比例缩放到步骤2输出的卷积特征图的尺寸，在该特征图上提取相应区域的卷积神经网络特征，并且缩放到固定大小。

步骤4，识别网络

识别网络包括图中的第一全连接、第二全连接、分类器，通过全连接网络与分类器识别候选区域卷积特征图中的候选区域边框类型，识别目标。

步骤5，轴聚特征提取

通过轴聚结构实现，该网络的输入为候选区域的卷积特征图，缩放到了固定尺寸。该特征图首先经过两层卷积核为1*1的卷积层，再分别经过x方向和y方向的全局池化得到只保留了y方向的特征和只保留了x方向的特征。以6*6*256的输入特征图为例，经过轴聚结构，得到1*6*256和6*1*256两个特征。

步骤6，门控轴聚特征提取

通过门控结构实现，该网络将第二全连接的特征再经过一个全连接层调整，得到的全局特征向量维数和候选区域卷积特征图的通道数相同。然后将这个全局特征向量和步骤5得到的两个轴聚特征按通道相乘。仍以6*6*256的输入特征图为例，第二全连接的特征经过一个全连接层后得到一个256维的向量，与步骤5中得到的1*6*256和6*1*256两个轴聚特征按通道相乘，同一通道的6个值和相同的数字相乘，得到两个门控轴聚特征。

步骤7，位置回归

将步骤6得到的2个门控轴聚特征输入位置回归器，分别得到x方向的回归值和y方向的回归值。

本发明的效果可以通过以下仿真实验做进一步的说明。

1.仿真数据集

实验中采用了两个数据集，分别为HRRSD和NWPU VHR-10。

2.仿真内容

按照如下步骤用本发明方法进行高分遥感影像的目标定位分析：

首先，在HRRSD数据库上，在不同卷积神经网络的基础上，对比原网络和本发明网络GACL Net之后的平均精度(AP)，如表1。可以看出，在不同网络上加上我们的模型，对于目标检测精度都有提升。尤其是对于一些小目标，如basketball court/tennis court/vehicle，提升尤其明显。

其次，在NWPU VHR-10数据库上将本发明方法的AP和其他几种方法BoW，SSCBoW，FDDL，COPD，Transformed CNN，RICNN的平均精度(AP)进行对比，如表2。可以看出，我们的方法在该数据库上取得了最佳的检测精度。

然后，在HRRSD上进行消融实验，如表3。可以看出，原始网络加上轴聚结构mAP提升了0.5％，再加上门控结构后精度又提升了0.3％。且以汽车、网球场、篮球场为例，可以看出我们的模型在小目标检测上更有优势。

最后，图2和图3展示了部分实验结果，不同类目标按照其尺寸大小排列。第一列是原始图像，第二列是VGG_CNN_M_1024的检测结果，第三列是在其基础上加上GACL结构之后的检测结果。可以看出对于小目标，以图2前三行为例，加上GACL结构后一些漏检在得到纠正；对于某些目标，以图2第5行、第7行为例，目标框的位置得到了明显的修正；对于一些长宽比较大的目标，以图2第4行、第6行和图3第5行为例，多个重叠的目标框被优化成了唯一正确的目标框。通过这些分析，验证了本发明对于定位和小目标的提升。

表1在HRRSD数据库上使用不同卷积神经网络条件下的使用本发明GACL的影响

表2在NWPU VHR-10数据库上将本发明方法和其他几种方法对比

表3在HRRSD上进行消融实验

Claims

1.一种用于遥感目标检测的门控轴聚检测网络系统，包括卷积神经网络，所述卷积神经网络包括卷积特征提取层、区域建议层、候选区域提取层、识别网络及位置回归器，其特征在于：还包括轴聚结构与门控结构；

输入图像通过卷积特征提取层输出卷积特征图；

所述区域建议层用于对输入的图像通过区域建议方法产生可能存在目标区域的候选区域；

所述候选区域提取层用于利用候选区域的位置在卷积特征图上截取相应区域，获得候选区域的卷积特征图，并池化至固定尺寸；

所述识别网络包括依次连接的全连接及分类器，用于识别目标；

所述轴聚结构用于将候选区域的卷积特征图中维数为(l_x,l_y,l_c)的卷积特征块沿x轴、y轴分别进行全局平均池化，分别得到两个方向的轴聚特征(l_y,l_c)与(l_x,l_c)；

所述门控结构用于将全连接的全局特征再经过一个全连接层调整，得到维数和候选区域卷积特征图的通道数相同的全局特征向量；将这个全局特征向量和与两个方向的轴聚特征(l_y,l_c)与(l_x,l_c)按通道相乘，获得两个门控轴聚特征；

所述位置回归器用于接收两个门控轴聚特征，并对两个门控轴聚特征进行处理，分别得到x方向的回归值和y方向的回归值。

2.根据权利要求1所述的用于遥感目标检测的门控轴聚检测网络系统，其特征在于：所述卷积神经网络为AlexNet、GoogLeNet、VGG或ResNet。

3.根据权利要求2所述的用于遥感目标检测的门控轴聚检测网络系统，其特征在于：所述分类器为SoftMax分类器。

4.一种基于权利要求1所述的检测网络系统实现遥感目标检测的方法，其特征在于，包括以下步骤：

S1、输入图像；

S2、获得候选区域；

S3、提取卷积特征图；

S4：获取候选区域的卷积特征图；

利用步骤S2获得候选边界框的位置在步骤S3输出的卷积特征图上截取相应区域，获得候选区域的卷积特征图，并池化至固定尺寸；

S5：目标识别；

S6：轴聚特征提取；

S7：获取两个门控轴聚特征；

S8：位置回归

S9：利用目标识别结果及位置回归结果实现目标检测。

5.根据权利要求4所述的用于遥感目标检测的方法，其特征在于：步骤S2中区域建议方法为滑动窗口、选择性搜索或区域建议网。

6.根据权利要求4所述的用于遥感目标检测的方法，其特征在于：所述卷积神经网络为AlexNet、GoogLeNet、VGG或ResNet。