CN112364719A - 一种遥感图像目标快速检测方法 - Google Patents

Abstract

本发明公开了一种遥感图像目标快速检测方法，包括：获取包含待检测目标的待检测遥感图像；将待检测遥感图像输入预先训练的遥感图像目标检测网络进行特征提取，输出多个不同尺度的特征图；将多个不同尺度的特征图采用密集连接的方式进行特征融合，输出每个尺度的遥感图像预测结果；将每个尺度的遥感图像预测结果进行分类，输出待检测目标所属的类别及待检测目标在待检测遥感图像中位置。本发明的方案，对提取的特征图采用密集连接的方式进行特征融合，有助于提高检测的精度；同时对网络进行剪枝处理，使采用密集连接方式的网络体积大大缩小，极大提高检测的速度；再结合知识蒸馏处理，仍能够保持较高的检测精度。

Description

一种遥感图像目标快速检测方法

技术领域

本发明属于目标检测方法技术领域，具体涉及一种遥感图像目标快速检测方法。

背景技术

遥感图像具有宏观、客观、综合、实时、动态、快速等特点，为地球资源调查与开发，国土整治，环境监测，以及全球性研究，提供了一种新的探测手段，广泛用于测绘、动态监测、地球资源调查、地质灾害调查与救治、军事侦查等领域。

目前目标检测可以采用多种神经网络检测方法，比如当前热门的YOLO系列网络模型，但是YOLO网络模型对于大部分被遮挡的物体，或者是本身体积就比较小的物体的检测和定位精度仍然较差。尤其是在遥感检测技术领域，遥感图像通常具有背景信息过多，以及存在相邻非常近的数目较多的小目标等特点，采用现有的YOLO网络模型由于在特征提取和和过程中会存在特征损失，从而造成目标检测精度不够。而现有提高模型检测精度的方法，又会造成模型本身体积过大，这样又会对检测的速度造成比较大的影响。

因此，如何既能提高检测精度又能提高检测速度是目前遥感图像目标检测领域亟待解决的技术问题。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种遥感图像目标快速检测方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供了一种遥感图像目标检测方法，包括：

获取包含待检测目标的待检测遥感图像；

对所述待检测遥感图像输入预先训练的遥感图像目标检测网络进行特征提取，输出多个不同尺度的特征图；

将所述多个不同尺度的特征图采用密集连接的方式进行特征融合，输出每个尺度的遥感图像预测结果；

将所述每个尺度的遥感图像预测结果进行分类，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置；

所述预先训练的遥感图像目标检测网络包括依次串接的主干网络、密集连接的FPN网络、分类网络和非极大值抑制模块；所述遥感图像目标检测网络，是在YOLOv3网络的基础上，采用密集连接的特征融合方式，并采用层级和通道级剪枝，再结合知识蒸馏引导网络恢复后形成的。

在本发明的一个实施例中，所述对所述待检测遥感图像进行特征提取，输出多个不同尺度的特征图，包括：

将所述待检测遥感图像输入所述主干网络进行特征提取，得到由浅至深多个不同尺度的特征层的特征图；所述由浅至深多个不同尺度的特征层的特征图形成自底向上的金字塔结构。

在本发明的一个实施例中，所述将所述多个不同尺度的特征图采用密集连接的方式进行特征融合，输出每个尺度的遥感图像预测结果，包括：

将所述多个不同特征层的特征图输入所述密集连接的FPN网络进行特征融合；所述密集连接的FPN网络包括多个不同尺度的预测层的特征图，所述多个不同尺度的预测层的特征图形成自顶向下的金字塔结构；每个所述预测层的特征图分别由其对应特征层的特征图的卷积结果，以及对应特征层之上的每一个特征层的特征图的上采样结果进行级联融合并进行卷积得到；

每个所述预测层的特征图分别作为该预测层的预测结果输出，得到所述每个尺度的遥感图像预测结果。

在本发明的一个实施例中，所述每个所述预测层的特征图分别由其对应特征层的特征图的卷积结果，以及对应特征层之上的每一个特征层的特征图的上采样结果进行级联融合并进行卷积得到；包括：

对每个所述预测层对应的特征层的特征图进行1倍的卷积，得到所述卷积结果；

对每个所述预测层对应的特征层之上由近及远的特征层的特征图分别进行2、4……2ⁱ倍的上采样，以使得到的所有预测层的特征图具有相同的尺寸，得到所述上采样结果；其中，i为自然数；

将所述卷积结果和所述上采样结果进行级联融合并进行卷积，得到所述预测层的特征图。

在本发明的一个实施例中，所述将所述每个尺度的遥感图像预测结果进行分类，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置，包括：

将所述每个尺度的遥感图像预测结果输入分类网络，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置的初步分类结果；

将所述初步分类结果输入非极大值抑制模块进行去重操作，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置。

在本发明的一个实施例中，所述遥感图像目标检测网络，是在YOLOv3网络的基础上，采用密集连接的特征融合方式，并采用层级和通道级剪枝，再结合知识蒸馏引导网络恢复后形成的，包括：

将YOLOv3网络中的横向连接的FPN网络，替换为自顶向下密集连接的FPN网络；得到密集连接的YOLOv3网络；所述密集连接的YOLOv3网络的主干网络中的残差模块单元进行层剪枝，得到密集连接的YOLOv3-1网络；

将所述密集连接的YOLOv3-1网络进行稀疏化训练，得到了BN层缩放系数稀疏分布的密集连接的YOLOv3-2网络；

将所述密集连接的YOLOv3-2网络进行通道剪枝，删除不重要的通道，得到密集连接的YOLOv3-3网络；

将所述密集连接的YOLOv3-3网络进行知识蒸馏，得到所述遥感图像目标检测网络。

在本发明的一个实施例中，所述将YOLOv3网络中的残差模块单元进行层剪枝，得到密集连接的YOLOv3-1网络；包括：

将YOLOv3网络中组成每个残差模块的残差模块单元的数量由X个剪枝为Y个，得到密集连接的YOLOv3-1网络；其中，X、Y均为自然数，且Y＜X。

在本发明的一个实施例中，所述将所述密集连接的YOLOv3-1网络进行稀疏化训练，得到了BN层缩放系数稀疏分布的密集连接的YOLOv3-2网络；包括：

将所述密集连接的YOLOv3-1网络进行稀疏化训练，训练过程中，为缩放因子γ添加稀疏正则化，稀疏训练的损失函数为：

其中，

表示网络原始的损失函数，(x,y)表示训练过程的输入数据和目标数据，W表示可训练的权重，

为比例系数添加的正则项，g(γ)是对比例系数进行稀疏训练的惩罚函数，λ为权重。

在本发明的一个实施例中，所述将所述密集连接的YOLOv3-2网络进行通道剪枝，删除不重要的通道，得到密集连接的YOLOv3-3网络；包括：

在所有层的所有通道中设定一个通道剪枝比例，然后将所述密集连接的YOLOv3-2网络中所有的BN层缩放系数按照升序排列，按所述通道剪枝比例剪掉排在前面的BN层缩放系数对应的通道。

在本发明的一个实施例中，所述将所述密集连接的YOLOv3-3网络进行知识蒸馏，得到所述遥感图像目标检测网络；包括：

对所述密集连接的YOLOv3-3网络引入知识蒸馏，将所述YOLOv3网络作为老师网络，所述密集连接的YOLOv3-3网络作为学生网络，由老师网络引导学生网络进行精度恢复和调整，得到所述遥感图像目标检测网络。

本发明的有益效果：本发明实施例所提供的方案中，对提取的特征图采用密集连接的方式进行特征融合，有助于提高检测的精度；但同时密集连接的方式会增大原始网络的体积，结合对密集连接后的网络进行层剪枝和通道剪枝处理，可以使采用密集连接方式的网络体积大大缩小，极大提高检测的速度；再结合知识蒸馏处理，仍能够保持较高的检测精度。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是本发明实施例提供的一种遥感图像目标检测方法的流程示意图；

图2是本发明实施例提供的现有FPN网络的结构示意图；

图3是本发明实施例提供的一种密集连接的FPN网络的结构示意图；

图4是本发明实施例提供的遥感图像目标检测网络的构建流程图；

图5是本发明实施例提供的遥感图像目标检测网络的稀疏化训练参数组合的权重分布情况图；

图6是本发明实施例提供的一种遥感图像目标检测网络结构示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

请参见图1，图1是本发明实施例提供的一种遥感图像目标检测方法的流程示意图，如图1所示的遥感图像目标检测方法，包括：

S1、获取包含待检测目标的待检测遥感图像。

本发明实施例的遥感图像为航空遥感或卫星遥感图像，包括对地面、海洋、森林等不同对象的遥感图像；比如，待检测遥感图像为地面某道路的遥感图像时，待检测目标可以为可以为大型目标，如高楼、树、建筑等，还可以为小型目标，如人、车、动物等；待检测遥感图像为海洋的遥感图像时，待检测目标可以为可以为舰船、海岸线、鱼群等。

分别选取不同天气、不同季节、不同时间段的遥感图像，进行标注，构建遥感图像训练样本，作为目标检测过程中使用到的网络模型的训练使用。

S2、对所述待检测遥感图像输入预先训练的遥感图像目标检测网络进行特征提取，输出多个不同尺度的特征图。

具体的，将所述待检测遥感图像输入所述主干网络进行特征提取，得到由浅至深多个不同尺度的特征层的特征图；所述由浅至深多个不同尺度的特征层的特征图形成自底向上的金字塔结构。

所述预先训练的遥感图像目标检测网络包括依次串接的主干网络、密集连接的FPN网络、分类网络和非极大值抑制模块；所述遥感图像目标检测网络，是在YOLOv3网络的基础上，采用密集连接的特征融合方式，并采用层级和通道级剪枝，再结合知识蒸馏引导网络恢复后形成的。预先训练的遥感图像目标检测网络是根据样本图像，以及样本图像对应目标的属性信息训练得到的。

S3、将所述多个不同尺度的特征图采用密集连接的方式进行特征融合，输出每个尺度的遥感图像预测结果。

为了便于理解，先将现有FPN网络的结构进行介绍，FPN网络(FeaturePyramidNetworks,特征金字塔网络)是一种自顶向下的特征融合方法，目的是利用CNN结构中，特征图随着特征提取，尺寸更小、维度更高的特点，创建一个形状类似金字塔的结构来融合不同维度的语义信息。FPN网络将深层网络中输出的高维的特征图反馈到浅层的网络，并且通过横向连接的方式，将不同层次不同强度的特征图相融合。

请参见图2，图2是本发明实施例提供的现有FPN网络的结构示意图，现有FPN网络是通过横向连接将上采样后的高维特征图和低维特征图融合，该融合方式在将深层和较浅层网络特征相加后，要通过卷积层提取特征图，这样的操作会破坏一些原始的特征信息，造成最终检测的精度下降。

为此，本发明实施例提出密集连接的FPN网络，采用密集连接的方式对经过主干网络提取的特征图进行特征融合。

密集连接的方式可以有多种，本发明实施例提出一种优选的密集连接方式。

请参见图3，图3是本发明实施例提供的一种密集连接的FPN网络的结构示意图。

所述密集连接的FPN网络包括多个不同尺度的预测层的特征图，所述多个不同尺度的预测层的特征图形成自顶向下的金字塔结构；每个所述预测层的特征图分别由其对应特征层的特征图的卷积结果，以及对应特征层之上的每一个特征层的特征图的上采样结果进行级联融合并进行卷积得到；每个所述预测层的特征图分别作为该预测层的预测结果输出，得到所述每个尺度的遥感图像预测结果。

具体的，密集连接的融合方式可以是：对每个所述预测层对应的特征层的特征图进行1倍的卷积，得到所述卷积结果；对每个所述预测层对应的特征层之上由近及远的特征层的特征图分别进行2、4……2ⁱ倍的上采样，以使得到的所有预测层的特征图具有相同的尺寸，得到所述上采样结果；其中，i为自然数；将所述卷积结果和所述上采样结果进行级联融合并进行卷积，得到所述预测层的特征图。

下面结合图3对密集连接的FPN网络的具体融合方式进行详细说明：

左边从图片中提取的特征层的特征图由下至上依次为F₁、F₂、F₃、F₄，其中，F₄为包含最深层语义的特征层的特征图；右边的预测层的特征图由下至上依次为P₁、P₂、P₃、P₄。

P₁与F₁横向连接，将F₁经过1×的卷积结果作为P₁的预测结果；

P₂与F₂横向连接，并同时向上与F₁连接，将F₂经过1×的卷积结果，以及F₁的2×上采样结果进行级联融合并进行卷积后输出P₂的预测结果；

P₃与F₃横向连接，并同时向上与F₁、F₂分别连接，将F₃经过1×的卷积结果、F₂的2×上采样结果，以及F₁的4×上采样结果进行级联融合并进行卷积后输出P₃的预测结果；

P₄与F₄横向连接，并同时向上与F₁、F₂、F₃分别连接，将F₄经过1×的卷积结果、F₃的2×上采样结果，F₂的4×上采样结果，以及F₁的8×上采样结果进行级联融合并进行卷积后输出P₄的预测结果。

如果提取的特征层的特征图还有多个，则对应的预测层的特征图按照上述方法以此类推，输出每一预测层的预测结果。

需要说明的是，上述对横向连接的预测层的特征图进行卷积的过程也可以视为是一种上采样过程。也可以说是对特征层的特征图采取1倍、2倍、4倍、8倍等不同倍数的上采样。之所以采取不同倍数的上采样，目的是为了同一预测层对不同特征层采样得到的特征图具有相同的尺寸，以便于级联融合。

将所有上采样结果进行级联融合并进行卷积，得到所述预测层的特征图。每一预测层的特征图具有不同的尺度，每一预测层的特征图即为每个尺度的遥感图像预测结果。

S4、将所述每个尺度的遥感图像预测结果进行分类，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置。

具体的，该步骤可以包括：

将所述每个尺度的遥感图像预测结果输入分类网络，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置的初步分类结果。分类网络可以是Softmax分类器。

将所述初步分类结果输入非极大值抑制模块进行去重操作，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置。非极大值抑制模块用于进行NMS(non_max_suppression，非极大值抑制)处理。用于在重复框选同一目标的多个检测框中，排除置信度相对较小的检测框。

请参见图4，图4是本发明实施例提供的遥感图像目标检测网络的构建流程图；如图4所示的遥感图像目标检测网络，是在YOLOv3网络的基础上，采用密集连接的特征融合方式，并采用层级和通道级剪枝，再结合知识蒸馏引导网络恢复后形成的，具体包括：

S21、将YOLOv3网络中的横向连接的FPN网络，替换为自顶向下密集连接的FPN网络，得到密集连接的YOLOv3网络。

将YOLOv3网络中的横向连接的FPN网络，替换为自顶向下密集连接的FPN网络的具体方法与上述步骤S3中相同，在此不再赘述。

S22、将所述密集连接的YOLOv3网络中的残差模块单元进行层剪枝，得到密集连接的YOLOv3-1网络。

通常在对YOLOv3网络简化处理过程中会直接进行通道剪枝，但是在实验中发现，仅通过通道剪枝仍难达到速度快速提升的效果。因此在通道剪枝前加入了层剪枝的处理过程。

具体的，层剪枝处理过程为：将YOLOv3网络中组成每个残差模块的残差模块单元的数量由X个剪枝为Y个，得到密集连接的YOLOv3-1网络；其中，X、Y均为自然数，且Y＜X。优选为Y＝1/2X。经过层剪枝，YOLOv3网络结构得到简化，同时网络的参数量和运算量减小接近一半，提速明显。

S23、将所述密集连接的YOLOv3-1网络进行稀疏化训练，得到了BN层缩放系数稀疏分布的密集连接的YOLOv3-2网络。

将密集连接的YOLOv3-1网络进行稀疏化训练，为密集连接的YOLOv3-1网络的每个通道引入一个比例系数γ，使得每一个通道的输出大小可以由这个比例系数控制。为了让大部分比例系数γ都接近于0，需要在训练过程中，为γ添加稀疏正则化。稀疏训练的损失函数为：

其中，

表示网络原始的损失函数，(x,y)表示训练过程的输入数据和目标数据，W表示可训练的权重，

为比例系数添加的正则项，g(γ)是对比例系数进行稀疏训练的惩罚函数，λ为权重。由于要使得比例系数γ具有稀疏性，惩罚函数选择L1范数。同时，由于不知道后一项所占比重，引入λ参数进行调整。

由于λ的取值与稀疏训练的收敛速度相关，本发明实施例的应用场景为待检测目标种类数量较少，所以λ的取值可以选取较大的λ值，稀疏训练的收敛速度也不会很慢，同时也可以通过提高模型学习率的方法来进一步加快收敛；但是考虑到参数选取过大又会对网络模型的精度造成一定的损失，最后确定将学习率为0.1×，λ为1×的组合作为稀疏化训练的优选参数组合。

请参加图5，图5是本发明实施例提供的遥感图像目标检测网络的稀疏化训练参数组合的权重分布情况图，其中图5(a)是权重偏移图，图5(b)是权重交叠图。如图5所示，本发明实施例优选的较小的学习率与较大的权重的组合对于系数训练过后的权重的分布更有利，且网络模型的精度也较高。

S24、将所述密集连接的YOLOv3-2网络进行通道剪枝，删除不重要的通道，得到密集连接的YOLOv3-3网络。

在稀疏化训练之后，得到了一个BN层缩放系数稀疏分布的网络模型，这就便于确定哪些通道的重要性更小。由此，可以剪去这些不太重要的通道，剪枝的方法是删除传入和传出连接以及相应的权重。

对网络进行通道剪枝操作，修剪一个通道基本上对应于删除该通道的所有传入和传出连接，可以直接获得一个轻量化的网络，而不需要使用任何特殊的稀疏计算包。通道剪枝过程中，缩放因子充当频道选择的代理；由于它们与网络权重共同优化，因此网络可以自动识别无关紧要的通道，这些通道可以安全地移除而不会极大地影响泛化性能。

具体的，针对密集连接的YOLOv3-2网络，在所有层的所有通道中设定一个通道剪枝比例，然后将密集连接的YOLOv3-2网络中所有的BN层缩放系数按照升序排列，按通道剪枝比例剪掉排在前面的BN层缩放系数对应的通道。通过通道剪枝，可以删去冗余的通道，减少计算量，加快目标检测的速度。

但是在通道剪枝后，可能会由于参数减少而带来一些精度的下降，从不同的剪枝比例对网络精度的影响进行分析，如果网络剪枝比例过大，网络体积压缩更多，但也会造成网络精度的剧烈下降，由此需要进行一个网络压缩比例与压缩后网络精度的权衡。

作为一种优选方式，对密集连接的YOLOv3-2网络的通道剪枝比例为57％。通道剪枝之所以选择57％是因为：

对不同通道剪枝比例压缩后的模型的及精度进行仿真，得到AP和mAP图像。由于待检测图像中数量较少的种类在网络压缩过程中受到影响比较大，这就会直接影响mAP，因此，要从数据集和网络压缩比例方面来考虑。对数据集的处理，本发明的实施例选择合并数量较少的种类来使得不同种类的数量达到均衡，或者是直接采用种类分布更加均衡的数据集。另外就是控制压缩比例，保证数量较少的种类的预测精度不会下降太多。根据mAP仿真结果来看，50％-60％的压缩比例是精度变化的转折点，因此可以初步选择57％的压缩比例。

除了从精度来分析压缩的影响外，还要考虑目标检测时间和模型压缩比例的关系，通过对不同剪枝比例处理的网络模型不同平台上(在TeslaV100服务器和Jetson TX2边缘设备)的运行时间进行仿真，根据仿真结果可以发现，不同网络压缩比例对于网络推测的时间影响很微弱，而对于NMS(非极大值抑制)所需时间影响较大，在压缩比例达到57％之前，检测速度随着网络压缩而加快，但是压缩比例超过57％后，检测速度反而出现了减慢。由此，最终选定通道剪枝比例为57％。

S25、将所述密集连接的YOLOv3-3网络进行知识蒸馏，得到所述遥感图像目标检测网络。

经过剪枝，获得了一个更为紧凑的密集连接的YOLOv3-3网络模型，然后需要进行微调使得精度恢复。这里引入了知识蒸馏的策略。

具体的，对密集连接的YOLOv3-3网络引入知识蒸馏，将YOLOv3网络作为老师网络，密集连接的YOLOv3-3网络作为学生网络，由老师网络引导学生网络进行精度恢复和调整，得到所述遥感图像目标检测网络。

作为一种优选的实施方式，将YOLOv3网络的Softmax层之前的输出结果除以温度系数，来使得教师网络最终输出的预测值软化，而后学生网络利用软化后的预测值作为标签来辅助训练密集连接的YOLOv3-3网络，最终实现密集连接的YOLOv3-3网络的精度与和YOLOv3网络相当；其中，温度系数是预先设定的值，不随网络训练发生变化。

引入温度参数T的原因是，一个完成训练、精度很高的网络对于输入数据的分类结果，和真实的标签是基本一致的。以三分类为例，真实已知的训练类别标签是[1,0,0]，预测结果可能会是[0.95,0.02,0.03]，和真实的标签值是非常逼近的。因此，对于学生网络来讲，使用教师网络的分类结果辅助训练和直接利用数据进行训练，差别不大。温度参数T可以用来控制预测标签的软化程度，即可以增加教师网络分类结果的偏差。

将添加了知识蒸馏策略的微调过程和一般的微调过程进行对比，经过知识蒸馏调整恢复的网络精度比原始的YOLOv3网络更高。

因此，本发明实施例提供的方案，通过对原始的YOLOv3进行层剪枝、稀疏化训练、通道剪枝，以及知识蒸馏处理，并在各个处理过程选取优化的处理参数，得到精简的遥感图像目标检测网络。由于该网络体积大幅缩小，摒除了大部分的冗余计算，基于该网络的目标检测速度得到大幅度的提升，而且能够维持较高的检测精度。下面结合本发明实施例的遥感图像目标检测方法用到的网络具体结构对遥感图像目标检测方法进一步说明。

(1)构建遥感图像目标检测网络

遥感图像目标检测网络包括依次串接的主干网络、密集连接的FPN网络、分类网络和非极大值抑制网络。

请参见图6，图6是本发明实施例提供的一种遥感图像目标检测网络结构示意图；其中，点划线框内的部分为主干网络；其余部分为密集连接的FPN网络，密集连接的FPN网络又分为Y1预测支路、Y2预测支路和Y3预测支路，Y1、Y 2、Y3表示不同尺度的预测结果。

主干网络由CBL模块和多个resn模块串接构成。CBL模块为卷积网络模块，包括串行连接的conv层(Convolutional layer，卷积层，简称conv层)、BN(Batch Normalization，批量归一化)层和激活函数Leaky relu对应的Leaky relu层，CBL即表示conv+BN+Leakyrelu。resn模块为残差模块，n代表自然数，有res1、res2，…，res8等等，resn模块包括串行连接的zero padding(零填充)层、CBL模块和残差单元组，残差单元组用Res unit*n表示，含义是包括n个残差单元Res unit，每个残差单元包括采用残差网络(Residual Network，简称为ResNets)连接形式连接的多个CBL模块，特征融合方式采用并行方式，即add方式。

密集连接的FPN网络的各个预测支路中均包括卷积网络模块组，具体包括k个卷积网络模块，即图4中的CBL*k。另外，US(up sampling，上采样)模块为上采样模块；concat模块表示特征融合采用级联方式，concat为concatenate的简称。每个预测支路的卷积网络模块组中的k的数值可以进行调整，将k从原有的5减少为4或3，也就是将原有的CBL*5改为CBL*4或者CBL*3；这样也可以减少FPN网络中卷积层的数量，在不影响网络精度的情况下，整体实现网络层数精简，提升网络处理速度。

在上述构建完主干网络和密集连接的FPN网络后，在密集连接的FPN网络后连入分类网络进行分类，接入非极大值抑制网络对重复框选的同一目标进行去重。至此，遥感图像目标检测网络初步构建完成。

初步构建的遥感图像目标检测网络由于采用了密集连接的特征融合方式，会造成网络的体积比较庞大，在进行检测的时候冗余计算过多，降低检测的速度。为此，需要进一步对初步构建的遥感图像目标检测网络进行精简。精简的方式包括层剪枝、稀疏训练和通道剪枝，在对网络进行体积缩小的同时，为了维持较高的网络精度，接着对网络进行知识蒸馏操作。层剪枝、稀疏训练、通道剪枝和知识蒸馏的具体过程对应上述对主干网络的相应处理过程，在此不再赘述。

(2)训练遥感图像目标检测网络

训练过程可以分为以下步骤：

步骤1，获得若干样本图像，以及所述样本图像对应目标的属性信息；

在该过程中，各样本图像的属性信息是已知的，确定各样本图像的属性信息的方式可以是：通过人工识别，或者通过其他图像识别工具识别等等。之后，需要对样本图像进行标记，可以采用人工标记方式，当然也可以利用其余人工智能方法进行非人工标记。

并且由于网络训练需要使用VOC格式或者COCO格式的数据，并将标记数据存储在文本文档当中。所以需要用Python脚本进行数据集标注格式的转换。

步骤2，利用各样本图像，以及各样本图像对应目标的属性信息，训练构建的遥感图像目标检测网络，得到训练完成的遥感图像目标检测网络。具体的：

1)将每一样本图像对应的属性信息作为该样本图像对应的真值，将各样本图像和对应的真值，通过遥感图像目标检测网络进行训练，获得各样本图像的训练结果。

2)将每一样本图像的训练结果与该样本图像对应的真值进行比较，得到该样本图像对应的输出结果。

3)根据各个样本图像对应的输出结果，计算网络的损失值。

4)根据所述损失值，调整网络的参数，并重新进行1)-3)步骤，直至网络的损失值达到了一定的收敛条件，也就是所述损失值达到最小，这时，意味着每一样本图像的训练结果与该样本图像对应的真值一致，从而完成网络的训练，获得训练完成的遥感图像目标检测网络。

(3)遥感图像目标检测

将包含待检测目标的待检测遥感图像输入预先训练的遥感图像目标检测网络进行目标检测，具体的：

1)待检测遥感图像输入主干网络进行特征提取，输出多个不同尺度的特征图；

2)将所述多个不同尺度的特征图输入密集连接的FPN网络，并采用密集连接的方式进行特征融合，输出每个尺度的遥感图像预测结果；

3)将所述每个尺度的遥感图像预测结果输入分类网络进行分类，或进一步输入非极大值抑制模块进行去重，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置。

为了便于进一步理解，下面结合图6的遥感图像目标检测网络的结构对本发明的遥感图像目标检测方法进行说明。

图6所示的遥感图像目标检测网络，是在YOLOv3网络的基础上，采用密集连接的特征融合方式，并采用层级和通道级剪枝，再结合知识蒸馏引导网络恢复后形成的。主干网络中的残差模块res1模块、res2模块、res8模块、res8模块、res4模块经层剪枝处理，各残差模块中的参差单元数量优选剪枝50％，比如，由4个残差单元一组剪枝为2个残差单元一组。

待检测遥感图像(尺寸为416×416×3)输入主干网络，经依次串接的CBL模块、res1模块、res2模块、res8模块、res8模块、res4模块后进行特征提取。

由res4模块提取后的特征图对应密集连接FPN网络中的预测支路Y₁，由沿输入方向第二个res8模块提取后的特征图对应密集连接FPN网络中的预测支路Y₂，由沿输入方向第一个res8模块提取后的特征图对应密集连接FPN网络中的预测支路Y₃。

预测支路Y₁的预测结果来自经res4模块提取的特征图经CBL模块进行1倍的卷积，并经CBL*k模块、CBL模块、conv模块卷积后得到；预测支路Y₂的预测结果来自沿输入方向第二个res8模块提取后的特征图经CBL模块进行1倍的卷积结果，与经res4模块提取的特征图经CBL模块后再进行2倍上采样结果级联融合并经CBL*k模块、CBL模块、conv模块卷积后得到；预测支路Y₃的预测结果来自沿输入方向第一个res8模块提取后的特征图经过CBL模块进行1倍的卷积结果，与沿输入方向第二个res8模块提取后的特征图的2倍上采样结果，以及与经res4模块提取的特征图4倍上采样结果级联融合并经CBL*k模块、CBL模块、conv模块卷积后得到。三个预测支路分别输出13×13×255、26×26×255、52×52×255三个不同尺寸的特征图，最小的13×13×255的特征图上由于其感受野最大，适合较大的目标检测；中等的26×26×255特征图上由于其具有中等感受野，适合检测中等大小的目标；较大的52×52×255特征图上由于其具有较小的感受野故适合检测较小的目标。

将预测支路Y₁、预测支路Y₂、预测支路Y₃的预测结果一起输入分类网络和非极大值抑制模块进行处理，得到遥感图像的检测结果，包括目标的位置和类别。

针对每一目标，检测结果的形式为一向量，包含预测框的位置、预测框内物体的置信度、预测框内物体的类别。预测框的位置用来表征目标在所述目标图像中的位置；具体的，每个预测框的位置用bx,by,bw,bh四个值表示，bx,by用于预测bounding box的中心点位置，bw,bh为bounding box的宽和高。目标的类别为目标所属物体的种类，比如人、动物、建筑物、车辆、标志牌等等。

下面对本发明的遥感图像目标快速检测方法的检测效果进行仿真实验。

将得到的遥感图像目标检测网络移植到边缘设备上进行训练和测试。边缘设备为搭载Jetson TX2的设备。训练过程采用前述进行标注的训练样本训练；测试过程输入采集的包含待检测目标的待检测遥感图像。

对基于本发明的遥感图像目标检测网络的检测性能进行仿真，边缘设备选择搭载Jetson TX2模块的无人机，并和基于原始YOLOv3网络的检测性能，以及基于密集连接的YOLOv3网络的检测性能进行对比，结果如表1所示。

表1基于本发明的遥感图像目标检测网络和基于其它网络的检测性能对比

从表1可以看出，在对原始YOLOv3网络采用密集连接的FPN代替原横向连接的FPN后形成的密集连接的YOLOv3网络，其体积增大较多，但检测的精度能够提升15％；而基于本发明的遥感图像目标检测网络的目标检测方法，相比与原始YOLOv3网络，检测的精度提升14％，而检测速度提升42％。

本发明实施例的遥感图像目标快速检测方法，对提取的特征图采用密集连接的方式进行特征融合，即深层特征直接进行不同倍数的上采样，以此来使得传递的所有特征图具有相同的尺寸；将这些特征图和浅层的特征图通过串联的方式融合起来，对融合的结果再次提取特征来消除里面的噪声，保留主要信息，然后进行预测，这样可以利用到更多的原始信息，在浅层网络中也有高维语义信息的参与。因此，这样可以发挥密集连接网络保留更多特征图原始语义特征的优势，只不过对于自顶向下的方法来讲，保留的原始语义是更加高维的语义信息，这样可以对于物体的分类有帮助。通过直接接收更浅层网络的特征，可以得到更加具体的特征，这样将有效的减少特征的损失，提高检测的精度；同时可以减少需要运算的参数量，加速预测。此外，由于密集连接的方式会增大原始网络的体积，本发明实施例的方案，再结合对原始网络层剪枝和通道剪枝处理，可以使采用密集连接方式的网络体积大大缩小，极大提高检测的速度；同时结合知识蒸馏处理，能够保持较高的检测精度。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种遥感图像目标快速检测方法，其特征在于，包括：

获取包含待检测目标的待检测遥感图像；

将所述待检测遥感图像输入预先训练的遥感图像目标检测网络进行特征提取，输出多个不同尺度的特征图；

将所述多个不同尺度的特征图采用密集连接的方式进行特征融合，输出每个尺度的遥感图像预测结果；

将所述每个尺度的遥感图像预测结果进行分类，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置；

所述预先训练的遥感图像目标检测网络包括依次串接的主干网络、密集连接的FPN网络、分类网络和非极大值抑制模块；所述遥感图像目标检测网络，是在YOLOv3网络的基础上，采用密集连接的特征融合方式，并采用层级和通道级剪枝，再结合知识蒸馏引导网络恢复后形成的。

2.根据权利要求1所述的遥感图像目标快速检测方法，其特征在于，所述对所述待检测遥感图像进行特征提取，输出多个不同尺度的特征图，包括：

将所述待检测遥感图像输入所述主干网络进行特征提取，得到由浅至深多个不同尺度的特征层的特征图；所述由浅至深多个不同尺度的特征层的特征图形成自底向上的金字塔结构。

3.根据权利要求1所述的遥感图像目标快速检测方法，其特征在于，所述将所述多个不同尺度的特征图采用密集连接的方式进行特征融合，输出每个尺度的遥感图像预测结果，包括：

将所述多个不同特征层的特征图输入所述密集连接的FPN网络进行特征融合；所述密集连接的FPN网络包括多个不同尺度的预测层的特征图，所述多个不同尺度的预测层的特征图形成自顶向下的金字塔结构；每个所述预测层的特征图分别由其对应特征层的特征图的卷积结果，以及对应特征层之上的每一个特征层的特征图的上采样结果进行级联融合并进行卷积得到；

每个所述预测层的特征图分别作为该预测层的预测结果输出，得到所述每个尺度的遥感图像预测结果。

4.根据权利要求3所述的遥感图像目标快速检测方法，其特征在于，所述每个所述预测层的特征图分别由其对应特征层的特征图的卷积结果，以及对应特征层之上的每一个特征层的特征图的上采样结果进行级联融合并进行卷积得到；包括：

对每个所述预测层对应的特征层的特征图进行1倍的卷积，得到所述卷积结果；

对每个所述预测层对应的特征层之上由近及远的特征层的特征图分别进行2、4……2ⁱ倍的上采样，以使得到的所有预测层的特征图具有相同的尺寸，得到所述上采样结果；其中，i为自然数；

将所述卷积结果和所述上采样结果进行级联融合并进行卷积，得到所述预测层的特征图。

5.根据权利要求1所述的遥感图像目标快速检测方法，其特征在于，所述将所述每个尺度的遥感图像预测结果进行分类，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置，包括：

将所述每个尺度的遥感图像预测结果输入分类网络，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置的初步分类结果；

将所述初步分类结果输入非极大值抑制模块进行去重操作，输出待检测目标所属的类别及待检测目标在所述待检测遥感图像中位置。

6.根据权利要求1所述的遥感图像目标快速检测方法，其特征在于，所述遥感图像目标检测网络，是在YOLOv3网络的基础上，采用密集连接的特征融合方式，并采用层级和通道级剪枝，再结合知识蒸馏引导网络恢复后形成的，包括：

将YOLOv3网络中的横向连接的FPN网络，替换为自顶向下密集连接的FPN网络，得到密集连接的YOLOv3网络；

将所述密集连接的YOLOv3网络的主干网络中的残差模块单元进行层剪枝，得到密集连接的YOLOv3-1网络；

将所述密集连接的YOLOv3-1网络进行稀疏化训练，得到了BN层缩放系数稀疏分布的密集连接的YOLOv3-2网络；

将所述密集连接的YOLOv3-2网络进行通道剪枝，删除不重要的通道，得到密集连接的YOLOv3-3网络；

将所述密集连接的YOLOv3-3网络进行知识蒸馏，得到所述遥感图像目标检测网络。

7.根据权利要求6所述的遥感图像目标快速检测方法，其特征在于，所述将所述密集连接的YOLOv3网络中的残差模块单元进行层剪枝，得到密集连接的YOLOv3-1网络；包括：

将YOLOv3网络中组成每个残差模块的残差模块单元的数量由X个剪枝为Y个，得到密集连接的YOLOv3-1网络；其中，X、Y均为自然数，且Y＜X。

8.根据权利要求6所述的遥感图像目标快速检测方法，其特征在于，所述将所述密集连接的YOLOv3-1网络进行稀疏化训练，得到了BN层缩放系数稀疏分布的密集连接的YOLOv3-2网络；包括：

将所述密集连接的YOLOv3-1网络进行稀疏化训练，训练过程中，为缩放因子γ添加稀疏正则化，稀疏训练的损失函数为：

其中，

表示网络原始的损失函数，(x,y)表示训练过程的输入数据和目标数据，W表示可训练的权重，

为比例系数添加的正则项，g(γ)是对比例系数进行稀疏训练的惩罚函数，λ为权重。

9.根据权利要求6所述的遥感图像目标快速检测方法，其特征在于，所述将所述密集连接的YOLOv3-2网络进行通道剪枝，删除不重要的通道，得到密集连接的YOLOv3-3网络；包括：

在所有层的所有通道中设定一个通道剪枝比例，然后将所述密集连接的YOLOv3-2网络中所有的BN层缩放系数按照升序排列，按所述通道剪枝比例剪掉排在前面的BN层缩放系数对应的通道。

10.根据权利要求6所述的遥感图像目标快速检测方法，其特征在于，所述将所述密集连接的YOLOv3-3网络进行知识蒸馏，得到所述遥感图像目标检测网络；包括：

对所述密集连接的YOLOv3-3网络引入知识蒸馏，将所述YOLOv3网络作为老师网络，所述密集连接的YOLOv3-3网络作为学生网络，由老师网络引导学生网络进行精度恢复和调整，得到所述遥感图像目标检测网络。

Images