CN110348435A - 一种基于裁剪区域候选网络的目标检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于裁剪区域候选网络的目标检测方法及系统，首先采集遥感数据集，并划分为训练集、验证集和测试集；然后生成包含感兴趣对象的裁剪区域；接着执行每个剪裁区域的对象检测；最后合并多个裁剪区域的检测结果，并去除冗余检测结果，得到最后检测结果。本发明可以快速定位感兴趣区域，并能同时检测极大尺度目标和极小尺度目标的双尺度训练策略，从而在有限的资源下，高效地对大尺度遥感图像进行对象检测；本发明提出的一种基于模块化设计的裁剪区域网络CRPN，包含弱语义RPN(弱语义特征抽取网络和基于弱语义特征的RPN网络)与剪裁区域生成算法，其可以与传统的目标检测网络(如：Faster RCNN)相结合，实现大尺度遥感图像的高性能对象检测。

Description

一种基于裁剪区域候选网络的目标检测方法及系统

技术领域

本发明属于图像识别技术领域，尤其涉及一种基于裁剪区域候选网络的目标检测方法计系统，能够在GPU内存有限的情况下实现对大尺度遥感图像的高性能目标检测。

背景技术

地理空间目标的检测是遥感图像分析和理解的基础和难点问题。近期，深度学习显著提高了各种图像处理技术的性能，卷积神经网络(CNN)的目标检测器已经达到了当前最好的水平。然而，由于自然图像和遥感图像存在明显的差异，这些目标检测方法很难在遥感图像中有同样出色的表现。

遥感图像的尺度通常比较大，由于硬件的限制，目标检测算法不能直接对整个图像进行检测。对这种大尺度图像进行目标检测的方法通常有两种。一种方法是缩小图像，但这种操作会进一步缩小微小目标的尺寸，大大降低检测小目标的能力。另一种方法是将图像裁剪成许多小块进行分块检测，但这会影响检测精度，因为大目标可能被分到不同的分块中。另外，由于在遥感图像中通常存在大面积的非感兴趣区域。若对整个图像进行处理，这些无用区域的检测将会浪费有限的计算资源和存储空间。

遥感图像中物体像素大小因类别不同而存在差异。比如DOTA数据集中，一个桥的可能有1200个像素那么大，而一个小型车辆可能只有10个像素点那么大。由于尺度范围太大，现有的检测模型不够灵活，无法同时处理非常微小和巨大的目标。在Faster RCNN及其CNNs变体中，区域候选网络(RPN)的锚定尺寸通常为(64²,128²,256²)或者(128²,256²,512²)，热门目标检测网络YOLO及其相关升级网络中网格单元的预测尺寸也被限制在一个合适的预测框尺度范围内。还有其他一些方法，其检测范围在32-512之间，但仍不能覆盖遥感对象的尺度分布。因此，传统的方法不适合直接用于遥感图像中尺度范围较大的地理空间目标的检测。

发明内容

为了有效地对大尺度遥感图像进行目标检测，本发明提出了一种有效的目标检测方法及系统，以能够在GPU内存有限的情况下实现对大尺度遥感图像进行高性能目标检测。

本发明的方法所采用的技术方案是：一种基于裁剪区域候选网络的目标检测方法，其特征在于，包括以下步骤：

步骤1：采集遥感数据集，并划分为训练集、验证集和测试集；

步骤2：生成包含感兴趣对象的裁剪区域；

步骤3：执行每个剪裁区域的对象检测；

步骤4：合并多个裁剪区域的检测结果，并去除冗余检测结果，得到最后检测结果。

作为优选，步骤2的具体实现包括以下子步骤：

步骤2.1：通过弱语义特征抽取网络生成只考虑前景和背景语义及定位功能的弱语义特征，同时基于弱语义特征来进行区域假设；

在弱语义特征抽取网络中，通过削减每个卷积层的通道数来简化特征表达能力，其中弱化的特征图仅保留对感兴趣对象ROI整体定位能力及边界锁定能力，以及区分前景和背景语义，而不考虑ROI所属的具体类别语义；每个卷积层通道数减少到传统特征抽取网络的相应地，弱语义特征抽取网络的损失函数定义为：

其中，预测边界框的损失函数与目标检测网络Faster-RCNN一样，对象分类的损失函数定义为前景损失函数L_fore，p_i是预测第i个建议区域是前景的可能性，如果对应的i个建议区域是前景，则为1，否则设为0，N_fore为预测类别数量，L_reg表示为边界损失函数，其中t_i表示边界元素的预测值，表示边界元素的真实值；N_reg表示边界元素，包括中心点坐标(x,y)和宽高(w,h)；λ用于控制两个损失的比例；

步骤2.2：生成裁剪区域；

通过弱语义RPN网络来获取每个预测对象的位置与边界，筛选合并邻近预测区域来生成感兴趣的裁剪区域，以减少裁剪区域数量，并进行目标检测实现对大尺度图像的整体检测。

作为优选，步骤2.2中所述进行目标检测实现对大尺度图像的整体检测，具体实现包括以下子步骤：

步骤2.2.1：通过弱语义RPN，输出的预测区域B＝{b₁,b₂,...,b_n}；

步骤2.2.2：设定一个范围阈值τ，基于范围阈值τ，将整个B的设置分为两个子集B_s,B_l；把预测尺度大于τ的预测区域归入子集B_l中，把预测尺度小于τ的归于子集B_s中。

步骤2.2.3：把B_l中所有大于τ的预测区域，通过进行空间相邻的区域合并，但合并后的区域尺度的缩放尺度不能超过计算机的最大处理尺度，来生成预裁剪区域。迭代该操作，最终生成大预测尺度剪裁区域集CR_l；

把B_s中所有小于τ的预测区域，通过进行空间相邻的区域合并，但合并后的区域尺度不能超过计算机的最大处理尺度，最终生成预裁剪区域。迭代该操作，最终生成小预测尺度剪裁区域集CR_s。

作为优选，步骤3的具体实现过程是：针对裁剪候选网络CRPN输出两个不同尺度的剪裁区域CR_s和CR_l，分别进行不同的数据处理以训练目标检测网络；

对于CR_s中的小预测尺度裁剪区域，首先根据每个裁剪区域获取裁剪后的子图像和对应的真实标签，然后对目标检测网络进行训练；

对于CR_l中的大预测尺度裁剪区域，将裁剪后的子图像缩小，并设定尺度阈值以过滤掉尺度小于阈值的真实标签；然后对目标检测网络进行训练。

作为优选，步骤4中，通过NMS算法去除冗余，以得到最后的大尺度图像检测结果。

本发明的系统所采用的技术方案是：一种基于裁剪区域候选网络的目标检测系统，其特征在于：包括遥感数据集采集划分模块、裁剪模块、对象检测模块、检测结果生成模块；

所述包括遥感数据集采集划分模块，用于采集遥感数据集，并划分为训练集、验证集和测试集；

所述裁剪模块，用于生成包含感兴趣对象的裁剪区域；

所述对象检测模块，用于执行每个剪裁区域的对象检测；

所述检测结果生成模块，用于合并多个裁剪区域的检测结果，并去除冗余检测结果，得到最后检测结果。

与现有技术相比，本发明具有以下优点和积极效果：

(1)本发明的技术方案，可以快速定位感兴趣区域，以及同时检测极大尺度目标和极小尺度目标的双尺度训练策略，从而在有限的资源下，高效地对大尺度遥感图像进行高性能对象检测；

(2)本发明提出的一种基于模块化设计的裁剪区域网络CRPN，包含弱语义RPN(弱语义特征抽取网络和基于弱语义特征的RPN网络)与剪裁区域生成算法，其可以与传统的目标检测网络(如：Faster RCNN)相结合，实现大尺度遥感图像的高性能对象检测。

附图说明

图1是本发明实施例的方法原理图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种基于裁剪区域候选网络的目标检测方法，包括以下步骤：

步骤1：采集遥感数据集，并划分为训练集、验证集和测试集；

本实施例中，获取DOTA数据集，该数据集被划分为训练集，验证集，测试集，其中包括2806个图像和188282个实例标签。

步骤2：生成包含感兴趣对象的裁剪区域；

本实施例中，步骤2的具体实现包括以下子步骤：

步骤2.1：通过弱语义特征抽取网络生成只考虑前景和背景语义及定位功能的弱语义特征，同时基于弱语义特征来进行区域假设；

本实施例把弱语义特征抽取网络和基于弱语义的区域假设网络的联合网络称之为弱语义RPN。

在弱语义特征抽取网络中，通过削减每个卷积层的通道数来简化特征表达能力，其中弱化的特征图仅保留对感兴趣对象ROI整体定位能力及边界锁定能力，以及区分前景和背景语义，而不考虑ROI所属的具体类别语义；每个卷积层通道数减少到传统特征抽取网络的相应地，弱语义RPN的损失函数定义为：

其中，预测边界框的损失函数与目标检测网络Faster-RCNN是一样的，对象分类的损失函数定义为前景损失函数L_fore，p_i是预测第i个建议区域是前景的可能性，如果对应的i个建议区域是前景，则为1，否则设为0，N_fore为预测类别数量，在本实施例的弱语义RPN中为2，即前景和背景；L_reg表示为边界损失函数，其中t_i表示边界元素的预测值，表示边界元素的真实值；N_reg表示边界元素，包括中心点坐标(x,y)和宽高(w,h)；λ用于控制两个损失(前景损失和边界损失)的比例，通常取1。

步骤2.2：生成裁剪区域；

在通常大尺度图像的目标检测方法中，常采用迭代法将图像裁剪成较小的子图像，分别进行目标检测。本发明通过弱语义RPN获取每个预测对象的位置与边界，筛选合并邻近预测区域来生成感兴趣的裁剪区域，以减少裁剪区域数量，并进行目标检测实现对大尺度图像(对于101层的深度网络，本实施例定义超过1024x1024的尺度，则为本实施例设定的大尺度)的整体检测。在这一过程中，本发明定制了一种裁剪区域生成策略，通过将相邻目标统一到一个裁剪区域进行联合检测，并且采用双裁剪尺度来实现极大与极小的同时检测。

该策略包括以下子步骤：

步骤2.2.1把图像输入，通过弱语义RPN，输出的裁剪区域B＝{b₁,b₂,...,b_n}；

步骤2.2.2基于范围阈值τ，将整个B的设置分为两个子集B_s,B_l；把预测尺度大于τ的预测区域归入子集B_l中，把预测尺度小于τ的归于子集B_s中。其中τ设为512，

步骤2.2.3生成大范围剪裁区域CR_l，其中包含了B_l中所有大尺度建议区域，设置S_l为2048，具体实施如下：

(1)计算B_l中任何两个区域的交并比，Calculate Intersection-over-Union(IoU)，的值，然后获得最大交并比(V_iou)所对应的两个区域b_max1和b_max2。联合两个区域(b_max1，b_max2)作为临时联合区域b_tmp；如果b_tmp尺度大于S_l，则把(b_max1，b_max2)并入CR_l中，否则b_tmp把并入CR_l中。

(2)然后，尝试性地把B_l中的第一区域b_1th与CR_l中的每个区域进行联合，选择出最小的联合区域b_min所对应的区域b_con；如果联合区b_min域小于S_l，则用b_min替换中CR_l的b_con，若最小的联合区域b_min都大于S_l，则直接把区域b_1th并入CR_l中。

(3)迭代上述(1)(2)操作，直到B_l为空集，则结束。CR_l中的区域就是用于裁剪图像的大尺度裁剪区域集。

步骤2.2.4生成包含B_s中所有小尺度建议区域的小尺度剪裁区域CR_s。进行与步骤2.2.3相同的操作来生成CR_s，在此期间用B_s，CR_s，S_s替换B_l，CR_l，S_l。其中S_s设置为1024。

步骤3：执行每个剪裁区域的对象检测；

本实施例中，针对裁剪区域候选网络CRPN输出两个不同尺度的剪裁区域CR_s和CR_l，分别准备不同的数据处理以训练目标检测网络(DN—Detection Network)，在本方法中使用Faster RCNN做为目标检测网络；

对于CR_s中的小预测尺度裁剪区域，首先根据每个裁剪区域获取裁剪后的子图像和对应的真实标签，然后对目标检测网络Faster RCNN进行训练；

对于CR_l中的大尺度裁剪区域，将裁剪后的子图像缩小并处理对应的真实标签。由于通过不断的卷积和池化，小对象的语义信息在图像缩小后变的不明显，这种真实标签会影响检测模型的参数学习。因此，本发明从设定尺度阈值以过滤掉尺度小于阈值的真实标签，其中阈值取值为10个像素。然后对目标检测网络Faster RCNN进行训练。

步骤4：合并多个裁剪区域的检测结果，并去除冗余检测结果，得到最后检测结果。

本实施例中，步骤4的合并结果及NMS去除冗余的操作不需要参数学习，因此这些操作只在预测阶段进行。为了在测试阶段得到整个大尺度图像的预测结果，每个裁剪后的子图像预测集需要进行坐标变换，从而进行预测集的融合操作。然而，由于这些裁剪区域可能包含交叉部分，需要通过值为0.55的NMS算子去除冗余才得到最后检测结果。

本实施例针对DOTA遥感数据集测试结果如下表：

本发明还提供了一种基于裁剪区域候选网络的目标检测系统，包括遥感数据集采集划分模块、裁剪模块、对象检测模块、检测结果生成模块；

包括遥感数据集采集划分模块，用于采集遥感数据集，并划分为训练集、验证集和测试集；

裁剪模块，用于生成包含感兴趣对象的裁剪区域；

对象检测模块，用于执行每个剪裁区域的对象检测；

检测结果生成模块，用于合并多个裁剪区域的检测结果，并去除冗余检测结果，得到最后检测结果。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.一种基于裁剪区域候选网络的目标检测方法，其特征在于，包括以下步骤：

步骤1：采集遥感数据集，并划分为训练集、验证集和测试集；

步骤2：生成包含感兴趣对象的裁剪区域；

步骤3：执行每个剪裁区域的对象检测；

步骤4：合并多个裁剪区域的检测结果，并去除冗余检测结果，得到最后检测结果。

2.根据权利要求1所述的基于裁剪区域候选网络的目标检测方法，其特征在于，步骤2的具体实现包括以下子步骤：

步骤2.1：通过弱语义特征抽取网络生成只考虑前景和背景语义及定位功能的弱语义特征，同时基于弱语义特征来进行区域假设；

在弱语义特征抽取网络中，通过削减每个卷积层的通道数来简化特征表达能力，其中弱化的特征图仅保留对感兴趣对象ROI整体定位能力及边界锁定能力，以及区分前景和背景语义，而不考虑ROI所属的具体类别语义；每个卷积层通道数减少到传统特征抽取网络的相应地，弱语义特征抽取网络的损失函数定义为：

其中，预测边界框的损失函数与目标检测网络Faster-RCNN一样，对象分类的损失函数定义为前景损失函数L_fore，p_i是预测第i个建议区域是前景的可能性，如果对应的i个建议区域是前景，则为1，否则设为0，N_fore为预测类别数量，L_reg表示为边界损失函数，其中t_i表示边界元素的预测值，表示边界元素的真实值；N_reg表示边界元素，包括中心点坐标(x,y)和宽高(w,h)；λ用于控制两个损失的比例；

步骤2.2：生成裁剪区域；

通过弱语义RPN网络来获取每个预测对象的位置与边界，筛选合并邻近预测区域来生成感兴趣的裁剪区域，以减少裁剪区域数量，并进行目标检测实现对大尺度图像的整体检测。

3.根据权利要求2所述的基于裁剪区域候选网络的目标检测方法，其特征在于，步骤2.2中所述进行目标检测实现对大尺度图像的整体检测，具体实现包括以下子步骤：

步骤2.2.1输入弱语义特征抽取网络输出的裁剪区域B＝{b₁,b₂,...,b_n}，一个范围阈值τ；

步骤2.2.2：基于范围阈值τ，将整个B的设置分为两个子集B_s,B_l；把预测尺度大于τ的预测区域归入子集B_l中，把预测尺度小于τ的归于子集B_s中；

步骤2.2.3：把B_l中所有大于τ的预测区域，通过进行空间相邻的区域合并，但合并后的区域尺度的缩放尺度不能超过计算机的最大处理尺度，来生成预裁剪区域；迭代该操作，最终生成大预测尺度剪裁区域集CR_l；

把B_s中所有小于τ的预测区域，通过进行空间相邻的区域合并，但合并后的区域尺度不能超过计算机的最大处理尺度，最终生成预裁剪区域；迭代该操作，最终生成小预测尺度剪裁区域集CR_s。

4.根据权利要求3所述的基于裁剪区域候选网络的目标检测方法，其特征在于，步骤3的具体实现过程是：针对裁剪区域网络CRPN输出两个不同尺度的剪裁区域CR_s和CR_l，分别进行不同的数据预处理以训练目标检测网络；

对于CR_s中的小预测尺度裁剪区域，首先根据每个裁剪区域获取裁剪后的子图像和对应的真实标签，然后对目标检测网络进行训练；

对于CR_l中的大预测尺度裁剪区域，将裁剪后的子图像缩小，并设定尺度阈值以过滤掉尺度小于阈值的真实标签；然后对目标检测网络进行训练。

5.根据权利要求1所述的基于裁剪区域候选网络的目标检测方法，其特征在于：步骤4中，通过NMS算法去除冗余，以得到最后的大尺度图像检测结果。

6.一种基于裁剪区域候选网络的目标检测系统，其特征在于：包括遥感数据集采集划分模块、裁剪模块、对象检测模块、检测结果生成模块；

所述包括遥感数据集采集划分模块，用于采集遥感数据集，并划分为训练集、验证集和测试集；

所述裁剪模块，用于生成包含感兴趣对象的裁剪区域；

所述对象检测模块，用于执行每个剪裁区域的对象检测；

所述检测结果生成模块，用于合并多个裁剪区域的检测结果，并去除冗余检测结果，得到最后检测结果。