CN112102241A - 一种单阶段遥感图像目标检测算法 - Google Patents

Abstract

本发明公开了一种单阶段遥感图像目标检测算法，以Yolo v3为基准，在Yolo v3的特征提取网络中加入金字塔卷积，将Yolo v3的检测网络替换为路径聚合网络，并改进所述路径聚合网络的上采样方式为转置卷积，最后在所述特征提取网络及所述检测网络之间加入空间金字塔池化作为中间连接。本发明的单阶段遥感图像目标检测算法与Yolo v3相比，检测速度基本没有影响，有效提高了检测精度。

Description

一种单阶段遥感图像目标检测算法

技术领域

本发明涉及深度学习目标检测技术领域，具体涉及一种单阶段遥感图像目标检测算法。

背景技术

随着卫星、航空航天还有传感器技术的飞速发展，遥感技术的应用日渐广泛，遥感数据也日渐丰富。遥感图像目标检测是遥感数据研究的一个重要分支，能够在资源探测、环境检测、城市规划等领域发挥重要作用。如何高效地实现遥感图像目标检测，已成为图像识别领域的热点研究内容。

传统遥感图像目标检测以划分区域-特征提取-分类器为主线，通过滑动窗口遍历整张图像，然后通过Haar、SIFT、HOG等特征提取的方式提取图像的纹理、色彩、尺度等特征，再通过传统机器学习方法对特征进行分类，实现遥感图像的目标检测。这种检测算法会使得时间复杂度过高，产生大量冗余的窗口，严重影响特征提取、检测性能。虽然传统的遥感图像目标检测也出现了人工设计特征的方法，但由于目标形态多样性、光照变化性、背景多样性等要素，设计鲁棒的特征存在一定难度，而提取的特征好坏直接影响分类准确性。

基于深度学习的遥感图像目标检测在2016年Girshick将深度学习神经网络用于目标检测后快速发展起来，由于深度学习具有强大的自动提取特征能力，因此也在遥感图像目标检测算法中被广泛运用。目前基于深度学习的遥感图像目标检测算法分为两类：基于区域的两阶段目标检测方法及端到端的单阶段目标检测深度学习方法。

两阶段通用目标检测方法主要有R-CNN、Fast R-CNN等，通常由四个部分组成：1、候选区域生成，每张图片采用选择性搜索的方式，生成1000到2000的候选框，并给相似图像区域打分；2、特征提取，对每个候选区域，采用卷积神经网络提取特征；3、类别判定，标签与候选框组成的正负样本形成相应特征向量，并将特征送入SVM分类器，判定所属类别；4、位置精修，采用回归器精准确定候选框位置。基于区域的两阶段目标检测方法能够获得良好的识别精度，但由于在特征提取前还需要经过候选框生成，因此具有较高的时间复杂度，不利于遥感图像目标检测的项目落地。

单阶段目标检测方法是直接进行分类预测及边界框回归的算法结构，它的网络结构与两阶段相比更加简单，可以在检测性能上进行端到端的优化。目前单阶段目标检测算法主要有Yolo系列。Yolo使用全局的图片输入网络，直接在一个深度网络中进行特征提取、候选框分类和回归的工作，因此单阶段目标检测速度很快。但是由于这类方法直接将整张图片输入网络，图像中含有过多的背景、噪声，因此对于具有复杂背景的遥感图像进行检测，会发生误检、漏检现象，导致检测精度不高。

发明内容

为了弥补现有技术中存在的不足，本发明提供了一种单阶段遥感图像目标检测算法，能够兼顾检测速度及精度。

为了达到上述目的，本发明采用的技术方案如下：

一种单阶段遥感图像目标检测算法，以Yolo v3为基准，在Yolo v3的特征提取网络中加入金字塔卷积，将Yolo v3的检测网络替换为路径聚合网络，并改进所述路径聚合网络的上采样方式为转置卷积，最后在所述特征提取网络及所述检测网络之间加入空间金字塔池化作为中间连接。

进一步的，所述特征提取网络的主干网络前两层3×3卷积替换为所述金字塔卷积。

进一步的，所述金字塔卷积内部进行分组卷积。

进一步的，所述空间金字塔池化的步骤为，首先对所述特征提取网络输出的特征图进行通道数为512的1×1卷积，再经过尺度为5、步长为1的最大池化，之后又回到所述特征图并进行尺度为13、步长为1的最大池化，最后将所有最大池化的结果与所述特征图进行维度的拼接。

进一步的，上述目标检测算法采用Pytorch1.3进行训练，训练过程中选择随机梯度下降的方法对模型进行优化。

进一步的，训练过程使用损失函数更新权重，所述损失函数由预测框的位置损失、置信度损失和类别损失组成，所述位置损失的公式为GIOU损失，表达式如下，

上式中A为候选框，B为原标记框，C为A、B的最小闭包；

所述置信度损失的公式如下，

上式中的FL为Focal loss，设置γ为0.5，λ_noobj为0.005；

类别损失的公式如下，

上式中，

表示(i，j)预测框属于类别c的概率，

表示标记框所属类别真实值。

进一步的，所述类别损失进行加权处理，λ_c为类别权重，公式如下，

进一步的，所述类别损失还加入了Focal loss，公式如下，

FL(p_t)＝-(1-p_t)^γlog(p_t)

相对于现有技术，本发明具有以下有益技术效果：

本发明所述的单阶段遥感图像目标检测算法，加入金字塔卷积改进后的特征提取网络能够有效扩展输出特征图的感受野，改进后的算法精度提高了1.9％；加入空间金字塔池化及替换检测网络为上采样改进的路径聚合网络后，算法精度在原有基础上提升了2.2％；本算法与Yolo v3相比，检测速度基本没有影响，有效提高了检测精度。

附图说明

图1是本发明所述的单阶段遥感图像目标检测算法的金字塔卷积结构图；

图2是本发明所述的单阶段遥感图像目标检测算法的路径聚合网络示意图；

图3是本发明所述的单阶段遥感图像目标检测算法的整体框架结构图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

一、数据集介绍及处理

本发明的单阶段目标检测算法在DOTA航空遥感图像数据集上进行实验及评估，DOTA数据集是武汉大学遥感国重实验室和华中科技大学合作的一个航拍遥感图像数据集。该数据集中包含2806张遥感图像，一共检测15个类别：小型车辆(small-vehicle)、大型车辆(large-vehicle)、飞机(plane)、码头(harbor)、船(ship)、游泳池(swimming-pool)、网球场(tennis-court)、环形交叉路口(roundabout)、棒球场(baseball-diamond)、篮球场(basketball-court)、足球场(soccer-ball-field)、田径场(ground-track-field)、直升机(helicopter)、储蓄罐(storage-tank)、桥梁(bridge)。每幅图像大小约为800×800到4000×4000像素，包含不同尺度、方向和形状的对象。完整注释的DOTA数据集包含188,282个实例。

由于数据集中图片尺寸过大，先将图片进行切割处理，每张图片裁剪为800×800大小，相邻图片间设置64宽度的重叠。进行裁剪后，各类目标数量极其不平衡，因此对于足球场、棒球场、环形交叉路口、直升机、篮球场、田径场这些目标样本数少的类别，对这些图片采取了旋转、反转、尺度缩放的方法进行数据增强，缓解了各类目标样本数量不均衡的现象。

二、基于Yolo v3改进的单阶段遥感图像目标检测算法

本发明的单阶段遥感图像目标检测算法，基于Yolo v3算法改进，在Yolo v3的特征提取网络中加入金字塔卷积，将Yolov3的检测网络替换为PAN(路径聚合网络)，并改进路径聚合网络的上采样方式为转置卷积，最后在特征提取网络及检测网络之间加入空间金字塔池化作为中间连接。以下是各部分的具体结构：

(1)基于金字塔卷积的特征提取网络

在Yolo v3的特征提取网络Darknet53的基础上加入了金字塔卷积,形成新的特征金字塔网络Pydarknet53，金字塔卷积的结构参考图1。

金字塔卷积中包含不同尺度与深度的卷积核，通过调整卷积核大小提取多尺度的特征。为了降低计算量，在每组金字塔卷积的内部会进行分组卷积。

具体的，将主干网络的前两层3×3卷积替换为金字塔卷积，最大的卷积核大小定为7×7，改进之后的主干网络结构表如下表所示。

表1改进后的主干网络表

上表中g代表分组数。第一个卷积-残差模块中，将3×3卷积替换成了32通道7×7卷积、16通道5×5卷积和16通道3×3卷积。其中卷积核大小为7的分组数为8，卷积核大小为5的分组数为4，3×3卷积不进行分组。再将7×7、5×5、3×3三次卷积得到的特征图按照通道的维度进行拼接，得到最后的输出通道为64。第二个卷积-残差模块中，3×3卷积替换成了64通道5×5卷积、64通道3×3卷积。其中卷积核大小为5的分组数为4。将5×5、3×3两次的卷积得到的输出特征图在通道的维度进行拼接，得到最终输出通道数为128。

(2)空间金字塔池化(SPP)

在Pydarknet53网络和PAN网络之间加入空间金字塔池化，以提高模型对不同尺寸目标的检测能力。其首先对特征网络输出的特征图进行通道数为512的1×1卷积，再经过尺度为5、步长为1的最大池化，之后又回到特征网络输出的特征图并进行尺度为13、步长为1的最大池化，最后将所有最大池化的结果与特征网络输出的特征图进行维度的拼接。

(3)路径聚合网络(PAN)

参考图2，路径聚合网络在特征金字塔网络的基础上增加了自底向上的路径。图中N2、N3、N4、N5是新生成的特征图，对应于左侧FPN结构中的P2、P3、P4、P5。PAN网络先通过1×1和3×3的卷积，然后通过两次上采样扩大中间特征图的尺寸，并将检测网络之前的具有相同尺寸的特征图与上采样之后的特征图拼接。首先输出尺寸为52大小的特征图，在经过下采样、卷积，输出尺寸为26的特征图，最后输出尺寸为13的特征图。

在路径聚合网络中，将最近零插值的上采样方法替换为转置卷积。转置卷积是卷积的逆向运算操作，能够通过网络模型的训练自动学习并更新它的核参数，然后进行卷积运算增大特征图的分辨率。

(4)Yolo检测层

最后得到的检测网络输出为52、26、13三个尺度的卷积结果，通道数为60(3×20)，每个尺度分配3个锚点框，每个锚点框获取20个信息：分别是4个位置信息(预测框的中心点横坐标值、预测框的中心点纵坐标值、预测框的宽度、预测框的高度)、1个物质判别信息(框内是否存在目标)、15个类别置信度(DOTA数据集有15个种类)。其中13×13对应先验框(116x90)，(156x198)，(373x326)；26×26对应先验框(30x61)，(62x45)，(59x119)；52×52对应先验框(10x13)，(16x30)，(33x23)。预测目标类别是使用逻辑回归进行预测。

三、基于Yolo v3改进的单阶段遥感图像目标检测算法的训练

本发明的单阶段遥感图像目标检测算法采用pytorch1.3进行训练，训练过程中选择随机梯度下降的方法对模型进行优化，设置初始学习率为0.00579，动量为0.937，IOU阈值设为0.2，共训练280步。当训到224步时，学习率降为0.000579，当训到252步时，学习率衰减为0.0000579。为了避免过拟合现象，设置权重衰减指数为0.000484。

在上述训练的过程中，使用损失函数更新权重，所述损失函数由预测框的位置损失、置信度损失和类别损失组成，所述位置损失的公式为GIOU损失，表达式如下，

上式中A为候选框，B为原标记框，C为A、B的最小闭包(包括A、B的最小面积)；

所述置信度扣件的公式如下，

上式中的FL为Focal loss，设置γ为0.5，λ_noobj为0.005；

类别损失的公式如下，

上式中

表示(i,j)预测框属于类别c的概率，

表示标记框所属类别真实值。针对类别不平衡的问题，对每一类别损失进行加权处理，λ_c为类别权重，公式如下，

类别损失还加入了Focal loss，公式如下，

FL(p_t)＝-(1-p_t)^γlog(p_t)。

本发明的单阶段遥感图像目标检测算法的评价指标为平均精度均值(mAP)。mAP对各类目标的AP取均值，计算公式为：

上述公式中，AP为平均精度，C为类别数。

以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种单阶段遥感图像目标检测算法，其特征在于：以Yolo v3为基准，在Yolo v3的特征提取网络中加入金字塔卷积，将Yolo v3的检测网络替换为路径聚合网络(PAN网络)，并改进所述路径聚合网络的上采样方式为转置卷积，最后在所述特征提取网络及所述检测网络之间加入空间金字塔池化作为中间连接。

2.根据权利要求1所述的单阶段遥感图像目标检测算法，其特征在于：所述特征提取网络的主干网络前两层3×3卷积替换为所述金字塔卷积。

3.根据权利要求2所述的单阶段遥感图像目标检测算法，其特征在于：所述金字塔卷积内部进行分组卷积。

4.根据权利要求1-3任一项所述的单阶段遥感图像目标检测算法，其特征在于：所述空间金字塔池化的步骤为，首先对所述特征提取网络输出的特征图进行通道数为512的1×1卷积，再经过尺度为5、步长为1的最大池化，之后又回到所述特征图并进行尺度为13、步长为1的最大池化，最后将所有最大池化的结果与所述特征图进行维度的拼接。

5.根据权利要求1-3任一项所述的单阶段遥感图像目标检测算法，其特征在于：采用Pytorch1.3进行训练，训练过程中选择随机梯度下降的方法对模型进行优化。

6.根据权利要求5所述的单阶段遥感图像目标检测算法，其特征在于：训练过程使用损失函数更新权重，所述损失函数由预测框的位置损失、置信度损失和类别损失组成，所述位置损失的公式为GIOU损失，表达式如下，

上式中A为候选框，B为原标记框，C为A、B的最小闭包；

所述置信度损失的公式如下，

上式中的FL为Focalloss，设置γ为0.5，λ_noobj为0.005；

类别损失的公式如下，

上式中，

表示(i,j)预测框属于类别c的概率，

表示标记框所属类别真实值。

7.根据权利要求6所述的单阶段遥感图像目标检测算法，其特征在于：所述类别损失进行加权处理，λ_c为类别权重，公式如下，

。

8.根据权利要求7所述的单阶段遥感图像目标检测算法，其特征在于：所述类别损失还加入了Focalloss，公式如下，

FL(p_t)＝-(1-p_t)^γlog(p_t)。

Images