CN111079604A - 面向大尺度遥感图像的微小目标快速检测方法 - Google Patents

Abstract

本发明公开了一种面向大尺度遥感图像的微小目标快速检测方法，包括步骤：利用轻量级的残差结构构建Tiny‑Net模块，并对输入的遥感图像进行特征图提取；搭建全局注意力模块；在全局注意力模块后依次连接分类器与检测器，并利用分类器检测当前输入图像块中的目标；对检测出的目标采用k‑means聚类方法得到k个尺度的先验框；使用区域提案网络得到提案区域，并采用位置敏感的ROI池化对提案区域进行池化；训练网络，并利用训练好的网络对新输入的遥感图像进行微小目标的精确检测定位。其显著效果是：实现了快速精确的检测大尺度遥感图像中的微小目标，使得对大尺度遥感图像的目标实时检测成为可能。

Description

面向大尺度遥感图像的微小目标快速检测方法

技术领域

本发明涉及到遥感图像目标检测技术领域，具体涉及一种面向大尺度遥感图像的微小目标快速检测方法。

背景技术

遥感图像的目标检测对军事和民用都有着重大意义，虽然卷积神经网络给遥感图像的目标检测带来了强大的改进，然而，在大型遥感图像中检测微小目标仍然具有挑战性。首先，遥感图像的超大输入尺寸使得现有的目标检测解决方案在实际应用中过于缓慢。其次，在真实场景中出现的大量复杂背景可能会引入更多的假阳性，例如纹理随机的沙漠区域或大规模建筑结构的城市区域。此外，对于微小目标(如8-32像素)，特别是低分辨率图像，性能急剧下降，这进一步增加了遥感图像中微小目标检测的难度。

发明内容

针对现有技术的不足，本发明的目的是提供一种面向大尺度遥感图像的微小目标快速检测方法，通过建立一个统一的端到端自增强网络，即遥感区域卷积神经网络，该网络由主干网络Tiny-Net、全局注意力模块和分类器与检测器模块组成，通过该网络能够准确、快速的提取出遥感图像中的微小目标。

为达到上述目的，本发明采用的技术方案如下：

一种面向大尺度遥感图像的微小目标快速检测方法，其关键在于包括如下步骤：

步骤1：利用轻量级的残差结构构建Tiny-Net模块，并利用该Tiny-Net模块对输入的遥感图像进行特征图提取；

步骤2：在Tiny-Net模块的尾部使用特征金字塔池搭建全局注意力模块；

步骤3：在全局注意力模块后依次连接分类器与检测器，由所述Tiny-Net模块、全局注意力模块、分类器与检测器组成形成遥感区域卷积神经网络，并利用所述分类器检测当前输入图像块中的目标；

步骤4：对检测出的目标采用k-means聚类方法得到k个尺度的先验框；

步骤5：使用区域提案网络得到提案区域，并采用位置敏感的ROI池化对提案区域进行池化处理，得到图像块中目标的位置和类别；

步骤6：使用多任务损失函数训练所述遥感区域卷积神经网络，并利用训练好的网络对新输入的遥感图像进行微小目标的精确检测定位。

进一步的，步骤1中所述Tiny-Net模块的构建过程为：

步骤1.1：在conv-1层，使用两个[3×3,12]卷积模块，同时在第二个卷积模块中使用stride＝2来下采样特征图；

步骤1.2：在conv-2层，使用两个[3×3,18]的残差模块，同时在第二个[3×3,18]残差模块中使用stride＝2来下采样特征图；

步骤1.3：在conv-3层，使用两个[3×3,36]的残差模块，同时在第二个[3×3,18]残差模块中使用stride＝2来下采样特征图；

步骤1.4：在conv-4层，使用两个[3×3,48]的残差模块，同时在第二个[3×3,48]残差模块中使用stride＝2来下采样特征图；

步骤1.5：在conv-5层，使用两个[3×3,72]的残差模块，同时在第二个[3×3,72]残差模块中使用stride＝2来下采样特征图。

进一步的，步骤2中所述全局注意力模块的搭建过程如下：

步骤2.1：将步骤1提取的特征图汇聚到不同的尺寸；

步骤2.2：使用双线性插值法将合并后的特征恢复到原来的尺寸；

步骤2.3：将恢复原来尺寸的所有特征图相加进行融合，得到全局注意力模块。

进一步的，步骤5中采用位置敏感的ROI池化对提案区域进行池化处理的具体过程如下：

步骤5.1：每一个候选区域ROI被平均分割成k²个矩形单元，前序特征图先通过一层1×1的卷积核生成通道数为k²(C+1)的特征图，其中，k²代表一个候选区域ROI里所有矩形单元的数量，C+1为所有的类别数加上背景；

步骤5.2：将k²(C)+1张特征图，每C+1张分成一组、共包含k²组，每组负责向对应的矩形单元进行响应；

步骤5.3：池化每一个候选区域ROI时，将各点由上一层中对应分组的对应位置区域通过平均池化获得，由此获得一组C+1张特征图；

步骤5.4：将这些特征图经过全局平均池化，得到C+1维的向量，计算分类损失函数。

进一步的，步骤6中所述多任务损失函数的计算公式如下：

L(m,n,p,u,t^u,v)＝L_cls(m,n)+μ[n＝1](L_cls(p,u)+λ[u≥1]L_loc(t^u,v))，

其中，L_cls(p,u)和L_cls(m,n)是交叉熵损失，L_loc是smooth-L1损失，μ与λ为超参数，用于控制这三个任务的平衡；m表示分类器预测图片存在目标的概率，n表示图片存在目标的真实概率；p表示探测器预测物体的类别概率，u表示物体属于第u类，t^u表示网络预测第u类对象的边界框回归补偿，v表示对应的真实边界框回归补偿。

本发明所构建的由主干网络Tiny-Net、全局注意力模块和分类器与检测器模块组成遥感区域卷积神经网络，首先利用Tiny-Net模块来快速、有效的从输入中提取特征；然后通过全局注意力模块来抑制假正例的产生；之后使用分类器，检测遥感图像的每个图像块是否存在目标，以此加速网络同时再次抑制假正例的产生；最后，当图像块中存在目标后，使用检测器对目标进行精确检测定位。从而实现了快速精确的检测大尺度遥感图像中的微小目标，使得对大尺度遥感图像的目标实时检测成为可能。

本发明的显著效果是：

1、本发明是一种面向大尺度遥感图像的微小目标快速检测算法。在面对大尺度遥感图像中的微小目标检测任务时，与其它方法相比，本专利采用的遥感区域卷积神经网络缓解当今主流基础网络厚重且不适应目标检测任务的问题，提出了Tinny-Net作为基础网络，Tinny-Net轻量且针对缩小后续锚点步长做了特征图扩充操作(最后两层)，使得产生的提案框更加接近小目标的真实值，为后续矩形框的回归降低了难度从而提升定位精度；

2、因为在图片进入网络之前会切分成小块，大尺度的小物体图像切割之后产生大量不包含小物体的图片块，为了节省探测时间以及提升探测精度采用二分类器将这些无目标图片块过滤掉；

3、针对目标的微小性这个最关键的问题，本发明从扩大感受野的角度出发，在基础网络提取完特征之后在池化过程中采取多尺度策略总而达到多尺度融合来扩大感受野的效果。

附图说明

图1是本发明的方法流程图；

图2是本发明中构建遥感区域卷积神经网络的整体流程图；

图3是遥感区域卷积神经网络的整体架构示意图；

图4是全局注意力模块的构建过程示意图。

具体实施方式

下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。

如图1～图4所示，一种面向大尺度遥感图像的微小目标快速检测方法，具体步骤如下：

步骤1：利用轻量级的残差结构构建Tiny-Net模块，并利用该Tiny-Net模块对输入的遥感图像进行特征图提取；从而完成特征的快速有效的提取，在最后一层通过上采样操作恢复特征图尺寸，减少下采样带来的微小目标尺度丢失问题。该过程包括以下步骤，若无特殊说明，则stride皆为1：

步骤1.1：在conv-1层，使用两个[3×3,12]卷积模块，同时在第二个卷积模块中使用stride＝2来下采样特征图；

步骤1.2：在conv-2层，使用两个[3×3,18]的残差模块，同时在第二个[3×3,18]残差模块中使用stride＝2来下采样特征图；

步骤1.3：在conv-3层，使用两个[3×3,36]的残差模块，同时在第二个[3×3,18]残差模块中使用stride＝2来下采样特征图；

步骤1.4：在conv-4层，使用两个[3×3,48]的残差模块，同时在第二个[3×3,48]残差模块中使用stride＝2来下采样特征图；

步骤1.5：在conv-5层，使用两个[3×3,72]的残差模块，同时在第二个[3×3,72]残差模块中使用stride＝2来下采样特征图。

步骤2：在Tiny-Net模块的尾部即conv-5层后使用特征金字塔池搭建全局注意力模块，搭建过程如下：

步骤2.1：将步骤1提取的特征图汇聚到不同的尺寸；

步骤2.2：使用双线性插值法将合并后的特征恢复到原来的尺寸；

步骤2.3：将恢复原来尺寸的所有特征图相加进行融合，得到全局注意力模块。

步骤3：在全局注意力模块后依次连接分类器与检测器，由所述Tiny-Net模块、全局注意力模块、分类器与检测器组成形成遥感区域卷积神经网络，并利用分类器检测当前输入图像块中是否有目标，如果存在目标则进入步骤4；

步骤4：对检测出的目标采用k-means聚类方法得到k个尺度的先验框；

所述k-means聚类方法的计算公式如下所示：

其中x是训练集中目标框的尺度，μ_i是聚类后的中心；

步骤5：使用区域提案网络得到提案区域，并采用位置敏感的ROI池化对提案区域进行池化处理，得到图像块中目标的位置和类别，具体过程如下：

步骤5.1：每一个候选区域ROI被平均分割成k²个矩形单元，前序特征图先通过一层1×1的卷积核生成通道数为k²(C+1)的特征图，其中，k²代表一个候选区域ROI里所有矩形单元的数量，C+1为所有的类别数加上背景；

步骤5.2：将k²(C+1)张特征图，每C+1张分成一组、共包含k²组，每组负责向对应的矩形单元进行响应；

步骤5.3：池化每一个候选区域ROI时，将各个点(一共k²个)由上一层中对应分组的对应位置区域通过平均池化获得，由此获得一组C+1张特征图；

步骤5.4：将这些特征图经过全局平均池化，得到C+1维的向量，计算分类损失函数。

步骤6：使用多任务损失函数训练所述遥感区域卷积神经网络，并利用训练好的网络对新输入的遥感图像进行微小目标的精确检测定位，所述多任务损失函数的计算公式如下：

L(m,n,p,u,t^u,v)＝L_cls(m,n)+μ[n＝1](L_cls(p,u)+λ[u≥1]L_loc(t^u,v))，

其中，L_cls(p,u)和L_cls(m,n)是交叉熵损失，L_loc是smooth-L1损失，μ与λ为超参数，用于控制这三个任务的平衡；m表示分类器预测图片存在目标的概率，n表示图片存在目标的真实概率；p表示探测器预测物体的类别概率，u表示物体属于第u类，t^u表示网络预测第u类对象的边界框回归补偿，v表示对应的真实边界框回归补偿。

本发明采用构建的由主干网络Tiny-Net、全局注意力模块和分类器与检测器模块组成遥感区域卷积神经网络来进行遥感图像中微小目标的快速检测，该网络为端到端自增强网络，无需预训练，从而避免了自然图像分类任务预训练网络对遥感图像领域的干扰。在目标检测时，首先利用网络中的Tiny-Net模块来快速、有效的从输入中提取特征；然后通过网络中的全局注意力模块来抑制假正例的产生；之后使用网络中的分类器检测遥感图像的每个图像块是否存在目标，以此加速网络同时再次抑制假正例的产生；最后，当图像块中存在目标后，使用检测器对目标进行精确检测定位。从而实现了快速精确的检测大尺度遥感图像中的微小目标，使得对大尺度遥感图像的目标实时检测成为可能。

以上对本发明所提供的技术方案进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (5)

1.一种面向大尺度遥感图像的微小目标快速检测方法，其特征在于包括如下步骤：

步骤1：利用轻量级的残差结构构建Tiny-Net模块，并利用该Tiny-Net模块对输入的遥感图像进行特征图提取；

步骤2：在Tiny-Net模块的尾部使用特征金字塔池搭建全局注意力模块；

步骤3：在全局注意力模块后依次连接分类器与检测器，由所述Tiny-Net模块、全局注意力模块、分类器与检测器组成形成遥感区域卷积神经网络，并利用所述分类器检测当前输入图像块中的目标；

步骤4：对检测出的目标采用k-means聚类方法得到k个尺度的先验框；

步骤5：使用区域提案网络得到提案区域，并采用位置敏感的ROI池化对提案区域进行池化处理，得到图像块中目标的位置和类别；

步骤6：使用多任务损失函数训练所述遥感区域卷积神经网络，并利用训练好的网络对新输入的遥感图像进行微小目标的精确检测定位。

2.根据权利要求1所述的面向大尺度遥感图像的微小目标快速检测方法，其特征在于：步骤1中所述Tiny-Net模块的构建过程为：

步骤1.1：在conv-1层，使用两个[3×3,12]卷积模块，同时在第二个卷积模块中使用stride＝2来下采样特征图；

步骤1.2：在conv-2层，使用两个[3×3,18]的残差模块，同时在第二个[3×3,18]残差模块中使用stride＝2来下采样特征图；

步骤1.3：在conv-3层，使用两个[3×3,36]的残差模块，同时在第二个[3×3,18]残差模块中使用stride＝2来下采样特征图；

步骤1.4：在conv-4层，使用两个[3×3,48]的残差模块，同时在第二个[3×3,48]残差模块中使用stride＝2来下采样特征图；

步骤1.5：在conv-5层，使用两个[3×3,72]的残差模块，同时在第二个[3×3,72]残差模块中使用stride＝2来下采样特征图。

3.根据权利要求1所述的面向大尺度遥感图像的微小目标快速检测方法，其特征在于：步骤2中所述全局注意力模块的搭建过程如下：

步骤2.1：将步骤1提取的特征图汇聚到不同的尺寸；

步骤2.2：使用双线性插值法将合并后的特征恢复到原来的尺寸；

步骤2.3：将恢复原来尺寸的所有特征图相加进行融合，得到全局注意力模块。

4.根据权利要求1所述的面向大尺度遥感图像的微小目标快速检测方法，其特征在于：步骤5中采用位置敏感的ROI池化对提案区域进行池化处理的具体过程如下：

步骤5.1：每一个候选区域ROI被平均分割成k²个矩形单元，前序特征图先通过一层1×1的卷积核生成通道数为k²(C+1)的特征图，其中，k²代表一个候选区域ROI里所有矩形单元的数量，C+1为所有的类别数加上背景；

步骤5.2：将k²(C+1)张特征图，每C+1张分成一组、共包含k²组，每组负责向对应的矩形单元进行响应；

步骤5.3：池化每一个候选区域ROI时，将各点由上一层中对应分组的对应位置区域通过平均池化获得，由此获得一组C+1张特征图；

步骤5.4：将这些特征图经过全局平均池化，得到C+1维的向量，计算分类损失函数。

5.根据权利要求1所述的面向大尺度遥感图像的微小目标快速检测方法，其特征在于：步骤6中所述多任务损失函数的计算公式如下：

L(m,n,p,u,t^u,v)＝L_cls(m,n)+μ[n＝1](L_cls(p,u)+λ[u≥1]L_loc(t^u,v))，

其中，L_cls(p,u)和L_cls(m,n)是交叉熵损失，L_loc是smooth-L1损失，μ与λ为超参数，用于控制这三个任务的平衡；m表示分类器预测图片存在目标的概率，n表示图片存在目标的真实概率；p表示探测器预测物体的类别概率，u表示物体属于第u类，t^u表示网络预测第u类对象的边界框回归补偿，v表示对应的真实边界框回归补偿。

Images