CN111008603A - 面向大尺度遥感图像的多类目标快速检测方法 - Google Patents

Abstract

本发明公开了一种面向大尺度遥感图像的多类目标快速检测方法，包括以下步骤：将大比例尺遥感图像进行裁剪，并通过重新缩放和旋转来增强数据；利用具有串联线性整流函数模块和Inception模块的卷积特征提取器，将所得的图像数据作为输入并输出多个级别的特征；构建多尺度目标提议网络，并利用多尺度目标提议网络将卷积特征提取器输出的特征生成类似目标区域预测框；构建基于融合特征映射的精确目标检测网络，输入带有类似目标区域预测框的图像，利用精确目标检测网络实现精确的目标检测，输出检测结果。实现了具有大尺度变化的遥感图像中的多类目标自动检测，使得对遥感图像的多目标的实时检测成为可能。

Description

面向大尺度遥感图像的多类目标快速检测方法

技术领域

本发明涉及到遥感图像目标检测技术领域，尤其涉及利用深度神经网络模型实现具有大尺度变化的遥感图像中的多类目标检测方法，对面向遥感图像上的多类目标检测方式进行了优化与完善。

背景技术

遥感图像中多类对象的自动遥感图像分析过程中一个基本但具有挑战性的问题。传统方法中基于人工标注或基于浅层学习的特征，仅仅具有有限的描述能力。虽然最近的一些深度学习算法特别是基于快速区域的卷积神经网络(FRCN)已经具有了更强大的检测能力。

但是，还有许多因素限制了FRCN在遥感图像检测中的应用，例如：(1)遥感图像中常常出现尺度差异巨大的目标，仅仅具有固定感受野的FRCN无法与不同物体的尺度变化相匹配；(2)大尺度遥感图像中的物体尺寸大多较小且峰值密集，FRCN对小目标的定位性能较差；(3)人工标注通常很昂贵，并且用于训练FRCN的人工标注目标数量不足。

发明内容

针对现有技术的不足，本发明的目的是提供一种面向大尺度遥感图像的多类目标快速检测方法，能够实现具有大尺度变化的遥感图像中的多类目标自动检测，使得对遥感图像的多目标实时检测成为可能。

为达到上述目的，本发明采用的技术方案如下：

一种面向大尺度遥感图像的多类目标快速检测方法，其关键在于包括如下步骤：

步骤1：将大比例尺遥感图像进行裁剪，并通过重新缩放和旋转来增强数据；

步骤2：利用具有串联线性整流函数模块和Inception模块的卷积特征提取器，将步骤1所得的图像数据作为输入并输出多个级别的特征；

步骤3：构建多尺度目标提议网络，并利用多尺度目标提议网络将卷积特征提取器输出的特征生成类似目标区域预测框；

步骤4：构建基于融合特征映射的精确目标检测网络，输入带有类似目标区域预测框的图像，利用精确目标检测网络实现精确的目标检测，输出检测结果。

进一步的，步骤2中所述卷积特征提取器由第一卷积层、第二卷积层、第一串联线性整流函数链、第二串联线性整流函数链、第一 Inception链与第二Inception链依次连接形成，其中所述第一串联线性整流函数链与第二串联线性整流函数链均分别由若干所述串联线性整流函数模块串联形成，所述第一Inception链与第二Inception链均分别由若干所述Inception模块串联形成。

进一步的，所述第一串联线性整流函数链由三个串联线性整流函数模块串联形成，所述第二串联线性整流函数链由四个串联线性整流函数模块串联形成，所述串联线性整流函数模块包括一个基础ReLU 模块，在该基础ReLU模块的输入端与输出端均连接有一个1×1卷积层。

进一步的，所述第一Inception链与所述第二Inception链均由四个Inception模块串联而成。

进一步的，步骤3中所述多尺度目标提议网络的构建过程如下：

步骤3.1：通过三个建议分支预测多尺度类似目标区域，每个建议分支由三个检测层组成，并分别进行不同窗口大小的滑动操作，提取出每个滑动窗口位置的局部特征；

步骤3.2：在每个滑动窗口位置，预测出一个锚框；

步骤3.3：为每个检测层构造训练样本，将位于图像边界之外的预测区域框丢弃，并为剩余的区域框根据其交并比大小为其分配一个类标签；

步骤3.4：构建多尺度目标提议网络的整体损失函数，并对整体损失函数的最优参数通过随机梯度下降进行优化后得到目标的预测位置。

进一步的，步骤3.3中所述训练样本的表达式为：

其中，S^m为训练样本，X_i为步骤3.1提取出的局部特征，B_i为步骤3.2预测出的锚框，Y_i为步骤3.3分配的类标签，N为窗口数量。

进一步的，所述整体损失函数的表达式为：

所述整体损失函数的最优参数的表达式为：

W^*＝argmin_WL_MS-OPN(W)，

其中，M是检测层的数量，α_m表示每个检测层损失的权重，S^m为训练样本，X_i为步骤3.1提取出的局部特征，B_i为步骤3.2预测出的锚框，Y_i为步骤3.3分配的类标签，W代表多尺度目标提议网络中的网络参数。

进一步的，步骤4中利用精确目标检测网络实现精确目标检测的具体步骤为：

步骤4.1：选择所述卷积特征选择器中第二串联线性整流函数链的最底层作为参考层，并将第一Inception链与第二Inception链输出的数据进行上采样后和所述参考层输出的数据进行串联，然后输入所述精确目标检测网络对其卷积层进行初始化；

步骤4.2：将所述多尺度目标提议网络输出的含有类似目标区域预测框的图像输入所述精确目标检测网络，由精确目标检测网络进行特征提取与目标检测；

步骤4.3：构建结合了用于分类的交叉熵损失和用于边界框回归的平滑损失的所述精确目标检测网络的损失函数，并利用该损失函数对所述精确目标检测网络进行训练，训练完成后输出检测结果。

更进一步的，所述精确目标检测网络的损失函数表达式为：

其中，M是检测层的数量，α_m表示多尺度目标提议网络中每个检测层的损失的权重，α_M+1表示精确目标检测网络的损失权重，l^m表示多尺度目标提议网络中每一层的损失函数，W代表多尺度目标提议网络中的网络参数，S^m和S^M+1分别代表多尺度目标提议网络和精确目标检测网络的训练样本数量，W_d代表全连接层和反卷积层的参数， X_i为步骤3.1提取出的局部特征，B_i为步骤3.2预测出的锚框，Y_i为步骤3.3分配的类标签。

本发明提出一种大尺度变化遥感图像中多类目标同时检测的统一有效方法，首先，采用C.ReLU和Inception模块对所述卷积特征提取器进行了重新设计，增加了感受野尺寸变化的范围；然后，由所述的两个子网络进行目标检测：所述多尺度目标提议网络用于从多个中间层生成类似目标的区域，其感受野匹配不同目标的不同尺度；所述的基于融合特征映射的精确目标检测网络通过结合多个特征映射，使得小而密集的目标能够产生更强的响应，在训练完成后即输出检测结果，从而有效实现了具有大尺度变化的遥感图像中的多类目标自动检测。

本发明的显著效果是：本发明是一种统一有效的基于深度卷积神经网络的方法，在面对大尺度变化的遥感图像中的多类目标检测任务时，与其它方法相比，在重新设计的特征提取器上执行检测，然后是两个子网络：用于从中间层生成类似目标区域的MS-OPN子网络，其接受野匹配不同目标的不同尺度；然后是基于融合特征映射的目标检测AODN子网络，用来获得更具信息性的特征图，从而实现更为精确的目标检测，有效实现了具有大尺度变化的遥感图像中的多类目标自动检测，使得对遥感图像的多目标实时检测成为可能。

附图说明

图1是本发明的结构示意图；

图2是本发明构建的卷积神经网络的整体架构图；

图3是所述串联线性整流函数模块的结构示意图；

图4是所述Inception模块的结构示意图。

具体实施方式

下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。

如图1所示，一种面向大尺度遥感图像的多类目标快速检测方法，具体步骤为：

步骤1：将大比例尺遥感图像裁剪，并通过重新缩放和旋转来增强数据；

步骤2：利用具有串联线性整流函数(C.ReLU)和Inception模块的卷积特征提取器，将步骤1所得的图像数据作为输入并输出多个级别的特征；

如图2所示，所述卷积特征提取器由第一卷积层、第二卷积层、第一串联线性整流函数链、第二串联线性整流函数链、第一Inception 链与第二Inception链依次连接形成，其中所述第一串联线性整流函数链与第二串联线性整流函数链均分别由若干所述串联线性整流函数模块串联形成，所述第一Inception链与第二Inception链均分别由若干所述Inception模块串联形成。所述第一串联线性整流函数链由三个串联线性整流函数模块串联形成，所述第二串联线性整流函数链由四个串联线性整流函数模块串联形成，所述串联线性整流函数模块包括一个基础ReLU模块，在该基础ReLU模块的输入端与输出端均连接有一个卷积层。所述第一Inception链与所述第二Inception链均由四个Inception模块串联而成。

对于所述串联线性整流函数模块即C.ReLU模块：

C.ReLU模块来自对卷积神经网络中激活模式的观察，较低层的输出节点倾向于成对配对，即一个节点的激活是另一个节点的对侧。基于以上现象，C.ReLU将一个节点的输出取反，从而将输出通道的数量减少了一半而不会明显降低精度。图3展示了应用于K×K卷积层的C.ReLU模块。为了减小输入大小并扩大输出容量，在C.ReLU 模块前后各添加了1×1卷积层。同时将K×K卷积层的正相位信息和负相位信息串联起来，使通道数加倍。在串联之后添加缩放/移位层和ReLU激活层，以使取反部分的输入可以自适应。

对于所述Inception模块：

Inception模块将具有不同内核大小的多个卷积层聚在一起分成单元组(即1×1卷积，3×3卷积，5×5卷积)，这可以在不增加计算成本的情况下增加网络的宽度和深度。图4展示了所使用的Inception 模块。每个模块由四个子序列组成。虚线框中的子序列将在需要将特征图大小减半时被添加。其余子序列的通道数分别设置为前一个模块的1/2、1/4、1/4。为了提高效率，5×5卷积层被两个3×3卷积层的序列所替换。一系列的Inception模块可以增加感受野尺寸大小的多样性，这样它就可以学习各种尺寸物体的视觉信息。

步骤3：构建多尺度目标提议网络(MS-OPN)，并利用多尺度目标提议网络将所述卷积特征提取器输出的特征数据生成类似目标区域预测框；具体步骤如下：

步骤3.1：通过三个建议分支预测多尺度类似目标区域，例如分别在C.ReLU模块3_4、Inception模块4_4和Inception模块5_4的输出特征图上滑动窗口；每个建议分支由三个检测层组成，分别用一个 3×3，5×5，7×7的卷积层实现了不同窗口大小(3×3；5×5；7×7)的滑动操作，以提取每个滑动窗口位置的局部特征表示X_i；

步骤3.2：在每个滑动窗口位置，预测出一个锚框

根据滤波器尺寸大小，其中

代表预测区域的左上角坐标，

代表预测区域的宽度和高度。每个锚框有三种比例(例如2:1，1:1，1:2) 来表示不同物体的纵横比；

步骤3.3：为了为每个检测层构造训练样本S^m，位于图像边界之外的预测区域框将被丢弃，并为剩余的区域框分配一个类标签 Y_i∈{0,1,2,…,C}。如果预测的区域框B_i与真实目标框

具有最高的交并比(IoU)，则为其分配一个正标签Y_i≥1；然而，如果一个预测区域框的IoU对于所有真实目标框都小于0.2，则为它分配一个负标签Y_i＝0；然后丢弃剩余的区域。IoU比率定义如下：

其中，

表示预测区域框和真实目标框的交集，

表示它们的并集；

步骤3.4：构建所述多尺度目标提议网络的整体损失函数，并对其最优参数W^*通过随机梯度下降(SGD)进行优化后得到目标的预测位置，具体过程如下所述：

通过上述步骤3.3中的定义，每个检测层的训练样本被定义为

每个检测层的损失是分类和边界框回归的组合，其定义如下：

其中W代表网络参数，分类损失L_cls(p(X),Y)＝-logp_Y(X)是一个交叉熵损失，p(X)＝(p₀(X),...p_C(X))是C+1类的概率置信度。并且 [Y≥1]表示背景对于边界框回归训练没有意义，

表示回归边界框,L_bbr表示平滑的L1损耗，定义为:

综上，我们定义MS-OPN的整体损失函数是每个检测层损失的串联，其结构式如下：

其中，M是检测层的数量，在这里M＝9表示具有三个检测层的三个建议分支；α_m表示每个检测层损失的权重。

然后对其最优参数W^*＝argmin_WL_MS-OPN(W)通过随机梯度下降 (SGD)进行优化，为了防止过度拟合，采用1000类Image-Net分类预训练模型对卷积层进行初始化。由于深层网络的训练变得麻烦，因此在C.ReLU层和Inception层上添加剩余的快捷连接结构以稳定训练过程。此外，在所有卷积层之前添加批量标准化层以加速训练。当完成MS-OPN的训练时，它将图像作为输入并通过若干建议分支输出目标的位置。

尽管MS-OPN可以用作检测器，但它不足以进行准确检测。因此为了提高检测精度，要在MS-OPN之后添加精确目标检测网络 (AODN)。

进入步骤4：构建精确目标检测网络(AODN)，将带有预测区域框(由MS-OPN生成)的图像作为输入，并精确目标检测网络对目标进行更为精确的目标检测，然后输出细化的类别和位置。AODN将多个层用不同的分辨率结合起来，以获得更具信息性的特征图，从而实现更为精确的目标检测。其具体实现如下步骤：

步骤4.1：由于大比例尺遥感图像中的目标相对较小，且呈密集的群状分布，因此我们选择C.ReLU模块层3_4作为参考层，将 Inception模块层4_4和Inception模块层5_4(使用反卷积层)连接起来并倍增，也即是上采样后和所述参考层输出的数据进行串联，然后输入所述精确目标检测网络对其卷积层进行初始化，以提高小尺寸目标的检测。这是因为分辨率更高的C.ReLU模块层3_4更适合于检测密集的峰值对象。由于较浅的层更适合于定位，较深的层更适合于分类，因此将特征图进行串联对于小尺寸目标检测是互补的；

步骤4.2：由于这些类似目标的区域预测框有不同的大小，我们为每个框采用了一个感兴趣区域池化即RoI池化层来生成维度固定的特征(例如，7×7×512)。这些特征被输入到随后的完全连接层中，并分成两个部分，以便进一步分类和边界框回归；

步骤4.3：AODN的损失函数L_AODN结合了用于分类的交叉熵损失和用于边界框回归的平滑L1损失，具体为：

其中，M是检测层的数量，α_m表示多尺度目标提议网络中每个检测层的损失的权重，α_M+1表示精确目标检测网络的损失权重，l^m表示多尺度目标提议网络中每一层的损失函数，W代表多尺度目标提议网络中的网络参数，S^m和S^M+1分别代表多尺度目标提议网络和精确目标检测网络的训练样本数量，W_d代表全连接层和反卷积层的参数。

由于参数是联合学习的，即

并通过整个统一网络进行反向传播。同时，由于MS-OPN和AODN共享相同的CNN特征提取阶段，因此我们采用预训练的MS-OPN模型来初始化AODN的卷积层。附加的反卷积层的权重由标准差为0.01的零均值高斯分布随机初始化。当训练完成后，就可以输出最终的目标检测结果。最后，采用了非最大值抑制(NMS)来减少冗余，即得到所需的多类目标检测结果。

本实施例采用卷积特征提取器、多尺度目标提议网络和精确目标检测网络构件形成卷积神经网络进行目标检测，其中卷积特征提取器采用了C.ReLU模块和Inception模块进行了重新设计，从而增加了感受野尺寸变化的范围；然后，由所述的多尺度目标提议网络和精确目标检测网络两个子网络进行目标检测：其中所述多尺度目标提议网络用于从多个中间层生成类似目标的区域，其感受野匹配不同目标的不同尺度；所述基于融合特征映射的精确目标检测网络通过结合多个特征映射，使得小而密集的目标能够产生更强的响应，最后并在训练完成后即输出检测结果，从而有效实现了具有大尺度变化的遥感图像中的多类目标自动检测，从而有助于实现遥感图像的多目标实时检测。

以上对本发明所提供的技术方案进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (9)

1.一种面向大尺度遥感图像的多类目标快速检测方法，其特征在于包括以下步骤：

步骤1：将大比例尺遥感图像进行裁剪，并通过重新缩放和旋转来增强数据；

步骤2：利用具有串联线性整流函数模块和Inception模块的卷积特征提取器，将步骤1所得的图像数据作为输入并输出多个级别的特征；

步骤3：构建多尺度目标提议网络，并利用多尺度目标提议网络将卷积特征提取器输出的特征生成类似目标区域预测框；

步骤4：构建基于融合特征映射的精确目标检测网络，输入带有类似目标区域预测框的图像，利用精确目标检测网络实现精确的目标检测，输出检测结果。

2.根据权利要求1所述的面向大尺度遥感图像的多类目标快速检测方法，其特征在于：步骤2中所述卷积特征提取器由第一卷积层、第二卷积层、第一串联线性整流函数链、第二串联线性整流函数链、第一Inception链与第二Inception链依次连接形成，其中所述第一串联线性整流函数链与第二串联线性整流函数链均分别由若干所述串联线性整流函数模块串联形成，所述第一Inception链与第二Inception链均分别由若干所述Inception模块串联形成。

3.根据权利要求2所述的面向大尺度遥感图像的多类目标快速检测方法，其特征在于：所述第一串联线性整流函数链由三个串联线性整流函数模块串联形成，所述第二串联线性整流函数链由四个串联线性整流函数模块串联形成，所述串联线性整流函数模块包括一个基础ReLU模块，在该基础ReLU模块的输入端与输出端均连接有一个1×1卷积层。

4.根据权利要求2或3所述的面向大尺度遥感图像的多类目标快速检测方法，其特征在于：所述第一Inception链与所述第二Inception链均由四个Inception模块串联而成。

5.根据权利要求1所述的面向大尺度遥感图像的多类目标快速检测方法，其特征在于：步骤3中所述多尺度目标提议网络的构建过程如下：

步骤3.1：通过三个建议分支预测多尺度类似目标区域，每个建议分支由三个检测层组成，并分别进行不同窗口大小的滑动操作，提取出每个滑动窗口位置的局部特征；

步骤3.2：在每个滑动窗口位置，预测出一个锚框；

步骤3.3：为每个检测层构造训练样本，将位于图像边界之外的预测区域框丢弃，并为剩余的区域框根据其交并比大小为其分配一个类标签；

步骤3.4：构建多尺度目标提议网络的整体损失函数，并对整体损失函数的最优参数通过随机梯度下降进行优化后得到目标的预测位置。

6.根据权利要求5所述的面向大尺度遥感图像的多类目标快速检测方法，其特征在于：步骤3.3中所述训练样本的表达式为：

其中，S^m为训练样本，X_i为步骤3.1提取出的局部特征，B_i为步骤3.2预测出的锚框，Y_i为步骤3.3分配的类标签，N为窗口数量。

7.根据权利要求5所述的面向大尺度遥感图像的多类目标快速检测方法，其特征在于：所述整体损失函数的表达式为：

所述整体损失函数的最优参数的表达式为：

W^*＝argmin_WL_MS-OPN(W)，

其中，M是检测层的数量，α_m表示每个检测层损失的权重，S^m为训练样本，X_i为步骤3.1提取出的局部特征，B_i为步骤3.2预测出的锚框，Y_i为步骤3.3分配的类标签，W代表多尺度目标提议网络中的网络参数。

8.根据权利要求2所述的面向大尺度遥感图像的多类目标快速检测方法，其特征在于：步骤4中利用精确目标检测网络实现精确目标检测的具体步骤为：

步骤4.1：选择所述卷积特征选择器中第二串联线性整流函数链的最底层作为参考层，并将第一Inception链与第二Inception链输出的数据进行上采样后和所述参考层输出的数据进行串联，然后输入所述精确目标检测网络对其卷积层进行初始化；

步骤4.2：将所述多尺度目标提议网络输出的含有类似目标区域预测框的图像输入所述精确目标检测网络，由精确目标检测网络进行特征提取与目标检测；

步骤4.3：构建结合了用于分类的交叉熵损失和用于边界框回归的平滑损失的所述精确目标检测网络的损失函数，并利用该损失函数对所述精确目标检测网络进行训练，训练完成后输出检测结果。

9.根据权利要求8所述的面向大尺度遥感图像的多类目标快速检测方法，其特征在于：所述精确目标检测网络的损失函数表达式为：

其中，M是检测层的数量，α_m表示多尺度目标提议网络中每个检测层的损失的权重，α_M+1表示精确目标检测网络的损失权重，l^m表示多尺度目标提议网络中每一层的损失函数，W代表多尺度目标提议网络中的网络参数，S^m和S^M+1分别代表多尺度目标提议网络和精确目标检测网络的训练样本数量，W_d代表全连接层和反卷积层的参数，X_i为步骤3.1提取出的局部特征，B_i为步骤3.2预测出的锚框，Y_i为步骤3.3分配的类标签。

Images