CN112215207A - 联合多尺度和注意力机制的遥感影像飞机目标检测方法 - Google Patents

Abstract

本发明提供一种改进YOLO V4网络及联合多尺度和注意力机制的遥感影像飞机目标检测方法。该改进YOLO V4网络采用原有主干网络输出的104×104特征图，作为第一检测尺度；将所述104×104特征图进行2倍下采样与原有FPN网络输出的52×52特征图融合得到新的52×52特征图，作为第二检测尺度；将新的52×52特征图进行2倍下采样与原有FPN网络输出的26×26特征图融合得到新的26×26特征图，作为第三检测尺度；将新的26×26特征图进行2倍下采样与原有FPN网络输出的13×13特征图融合得到新的13×13特征图，作为第四检测尺度；改进YOLO V4网络还包括7‑convs模块，用于对融合后的特征图执行7次卷积。本发明通过融合更多尺度的特征信息，增加注意力机制，对网络进行改进，提高其检测遥感影像飞机目标的性能。

Description

联合多尺度和注意力机制的遥感影像飞机目标检测方法

技术领域

本发明涉及飞机目标检测技术领域，尤其涉及一种联合多尺度和注意力机制的遥感影像飞机目标检测方法。

背景技术

随着科学技术的迅速发展，遥感技术越来越成熟，在民用和军事领域得到了广泛的应用。其中，遥感影像飞机目标检测是遥感技术应用的重要研究方向之一。飞机是重要的民用和军事地物目标，在目标判读、交通安全和应急救援等方面具有重要的应用价值。但遥感影像中的飞机目标尺寸较小，并且排列密集，传统的目标检测技术难以满足快速、高精度的需求。

近年来，基于深度学习的方法广泛应用于遥感影像飞机目标检测。相比于传统的检测方法，基于深度学习的方法具有检测精度高、检测速度快的优点。其中，应用较广泛的是基于卷积神经网络(Convolution Neural Network,CNN)的目标检测算法。基于CNN的目标检测算法可以提取目标深层次的特征信息，泛化能力更好。目前，基于CNN的目标检测算法主要有两类，一类是基于候选区域的双阶段(two-stage)算法，另一类是基于回归的单阶段(one-stage)算法。双阶段算法首先通过选择搜索(Selective Search)或区域推荐网络(Region Proposal Network,RPN)获取候选区域，然后利用卷积神经网络实现目标分类和位置修正，如R-CNN,Fast R-CNN,Faster R-CNN。单阶段算法直接利用卷积神经网络实现目标的分类和位置回归，如SSD,YOLO,YOLO V3,YOLO V4(参考Alexey Bochkovskiy,Chien-Yao Wang,Hong-Yuan Mark Liao.YOLOv4:Optimal Speed and Accuracy of ObjectDetection[J].arXiv:2004.10934,2020)。YOLO V4是在YOLO V3的基础上，对输入端、主干(BackBone)网络、连接(Neck)层、检测网络四个部分进行了改进，在COCO数据集上测试的AP值提升了10％。为更好的融合提取特征，YOLO V4在Neck部分融合了特征金字塔(FeaturePyramid Network,FPN)，使用串联(concat)操作对不同尺度特征图进行融合。

虽然YOLO V4的检测性能得到很大提升，但在检测遥感影像飞机目标时仍有改进的空间。首先是遥感影像中的飞机目标尺寸小，且排列密集，直接使用YOLO V4算法会造成飞机特征信息丢失。其次是concat操作只是在通道维度上对特征图进行融合，得到的特征信息不能准确得描述目标。

发明内容

针对采用现有YOLO V4算法进行遥感影像飞机目标检测所存在的飞机特征信息丢失、融合后的特征信息不能准确描述目标的问题，本发明提供一种联合多尺度和注意力机制的遥感影像飞机目标检测方法，通过融合更多尺度的特征信息，增加注意力机制，对网络进行改进，提高其检测遥感影像飞机目标的性能。

第一方面，本发明提供一种改进YOLO V4网络，用于遥感影像飞机目标检测，所述改进YOLO V4网络采用原有主干网络输出的104×104特征图，作为第一检测尺度；将所述104×104特征图进行2倍下采样与原有FPN网络输出的52×52特征图融合得到新的52×52特征图，作为第二检测尺度；将新的52×52特征图进行2倍下采样与原有FPN网络输出的26×26特征图融合得到新的26×26特征图，作为第三检测尺度；将新的26×26特征图进行2倍下采样与原有FPN网络输出的13×13特征图融合得到新的13×13特征图，作为第四检测尺度；

其中，所述改进YOLO V4网络还包括7-convs模块，所述7-convs模块用于对融合后的特征图执行7次卷积。

进一步地，还包括SE Block，所述SE Block用于在特征融合时，在通道维度上为每个像素分配权重。

进一步地，所述7-convs模块包括自底向上的conv 1*1层、conv 3*3层、conv 1*1层、conv 3*3层、conv 1*1层、conv 3*3层和conv 1*1层。

第二方面，本发明提供一种基于上述改进YOLO V4网络的联合多尺度和注意力机制的遥感影像飞机目标检测方法，包括：

步骤1：获取输入图像的4种检测尺度的特征图，所述4种检测尺度分别为第一检测尺度、第二检测尺度、第三检测尺度和第四检测尺度；

步骤2：将所述4种检测尺度的特征图分别进行7次卷积，然后将卷积后的特征图分别输入至对应的SE Block，得到融合后的特征图。

本发明的有益效果：

本发明以YOLO V4为基础，设计了适合联合多尺度和注意力机制的M-YOLO V4网络及方法，用于遥感影像飞机目标检测，将骨干网络输出的104×104特征图输入到FPN层，扩大尺度融合的范围，使特征图能更好的反映飞机目标特征，并将融合后特征图的卷积层数增加到7层，使得特征融合更充分。在特征融合时引入注意力机制，使得特征图在通道维度上能更好的体现特征的重要性和相关性；实验结果表明，与YOLO V4相比，M-YOLO V4算法的平均精度提高了1.63％，具有更高的检测精度，对遥感影像飞机目标的检测效果更好。

附图说明

图1为现有技术提供的YOLO V4网络的FPN网络结构；

图2为本发明实施例提供的改进YOLO V4网络的FPN网络结构；

图3为本发明实施例提供的改进YOLO V4网络结构；

图4为本发明实施例提供的SE Block结构；

图5为本发明实施例提供的飞机目标遥感影像数据的部分样本；

图6为本发明实施例提供的采用原有YOLO V4算法和本发明算法的检测结果；

图7为本发明实施例提供的采用原有YOLO V4算法和本发明算法的PR曲线。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图2所示，本发明实施例提供一种改进YOLO V4网络(本发明中称为M-YOLO V4网络)，用于遥感影像飞机目标检测，所述改进YOLO V4网络采用原有主干网络输出的104×104特征图，作为第一检测尺度；将所述104×104特征图进行2倍下采样与原有FPN网络(多尺度特征融合网络)输出的52×52特征图融合得到新的52×52特征图，作为第二检测尺度；将新的52×52特征图进行2倍下采样与原有FPN网络输出的26×26特征图融合得到新的26×26特征图，作为第三检测尺度；将新的26×26特征图进行2倍下采样与原有FPN网络输出的13×13特征图融合得到新的13×13特征图，作为第四检测尺度；其中，所述改进YOLO V4网络还包括7-convs模块，所述7-convs模块用于对融合后的特征图执行7次卷积。

具体地，如图1所示，为原有YOLO V4网络的FPN网络结构。原有FPN网络通过横向连接和上采样的方式，将深层的特征信息自顶向下的传递给低层，进行特征融合。YOLO V4将FPN融合后得到的52×52的特征图，作为第一个检测尺度。然后将其进行2倍下采样与FPN输出的26×26的特征图进行融合，得到新的特征图，作为第二个检测尺度。最后将新的26×26的特征图进行2倍下采样，与FPN输出的13×13的特征图进行融合，得到新的13×13特征图，作为第三个检测尺度。在卷积过程中，所提取的特征逐渐抽象，对于目标的位置信息损失较大，一些小目标的特征信息在卷积过程中容易丢失，当飞机目标尺寸小于13×13时，可能会造成网络的漏检。本发明实施例考虑到在基于CNN的目标检测网络中，高层特征图的尺度小感受野大，包含的特征信息更多，但学习到的小目标特征信息较少；低层特征图的尺度大感受野小，包含的小目标特征信息多，但缺乏整体的语义信息的情况，通过在原有FPN网络的基础上，首先采用原有主干网络输出的104×104特征图，然后将其2倍下采样与52×52特征图融合，可以为目标检测提供更多的位置信息和小目标信息。

同时，本发明实施例提供的7-convs模块可以对融合后的特征图卷积由原来的5次增加至7次，从而可以更充分地融合提取各尺度特征信息。

作为一种可实施方式，所述7-convs模块包括自底向上的conv 1*1层、conv 3*3层、conv 1*1层、conv 3*3层、conv 1*1层、conv 3*3层和conv 1*1层。

实施例2

一般情况下，CNN提取的特征图包含丰富的目标特征信息，同时还有大量的背景信息，会降低检测性能。原有YOLO V4网络使用concat操作对不同尺度的特征图进行融合，但concat操作只是简单的在通道维度上进行连接，不能反映不同特征的重要性和关联性，融合后的特征图不能准确的描述目标。

因此，在上述实施例的基础上，如图3所示，本发明实施例提供的改进YOLO V4网络还包括注意力机制模块，该注意力机制模块采用SENet中的Squeeze-and-ExcitationBlock(简称SE Block)；所述SE Block用于在特征融合时，在通道维度上为每个像素分配权重。

具体地，SE Block包括Squeeze、Excitation和Reweight三个部分，如图4所示。Squeeze部分作用是扩大特征图的感受野，使其能够反映全局。首先通过全局池化，得到维度为C×1×1的特征图，然后用全连接层进行降维。对降维后的特征图使用Relu函数进行非线性激活。Excitation部分使用Sigmoid激活函数将特征图中各像素的权重归一化。Reweight部分将输入的特征图与Excitation部分计算的权值相乘，得到各通道特征的权重。

本发明实施例通过在特征图融合后增加注意力机制，可以得到更准确的特征图。

本发明提供的改进YOLO V4网络，以YOLO V4为基础，设计了适合联合多尺度和注意力机制的M-YOLO V4网络，用于遥感影像飞机目标检测，将骨干网络输出的104×104特征图输入到FPN层，扩大尺度融合的范围，使特征图能更好的反映飞机目标特征，并将融合后特征图的卷积层数增加到7层，使得特征融合更充分。在特征融合时引入注意力机制，使得特征图在通道维度上能更好的体现特征的重要性和相关性。

实施例3

基于上述各实施例中的改进YOLO V4网络，本发明实施例提供一种联合多尺度和注意力机制的遥感影像飞机目标检测方法，包括：

S101：获取输入图像的4种检测尺度的特征图，所述4种检测尺度分别为第一检测尺度、第二检测尺度、第三检测尺度和第四检测尺度；

S102：将所述4种检测尺度的特征图分别进行7次卷积，然后将卷积后的特征图分别输入至对应的SE Block，得到融合后的特征图。

本发明提供的联合多尺度和注意力机制的遥感影像飞机目标检测方法，以YOLOV4算法为基础，设计了适合联合多尺度和注意力机制的M-YOLO V4算法，用于遥感影像飞机目标检测，将骨干网络输出的104×104特征图输入到FPN层，扩大尺度融合的范围，使特征图能更好的反映飞机目标特征，并将融合后特征图的卷积层数增加到7层，使得特征融合更充分。在特征融合时引入注意力机制，使得特征图在通道维度上能更好的体现特征的重要性和相关性。

为了验证本发明提供的改进YOLO V4网络和基于改进YOLO V4网络的联合多尺度和注意力机制的遥感影像飞机目标检测方法的有效性，本发明还提供有下述实验。

(一)实验数据与实验环境

本发明使用的飞机目标遥感影像数据来自武汉大学的RSOD-Dataset(Xiao Z,LiuQ,Tang G,et al.Elliptic Fourier transformation-based histograms of orientedgradients for rotationally invariant object detection in remote-sensingimages[J].International Journal of Remote Sensing,2015,36(2):618-644)，共446张图片，包含4993个实例，部分数据样本如图5所示。从图5(a)、(b)中可以看出遥感影像中飞机目标尺寸小且排列密集。图5(c)反映出拍摄时光照、气候等环境因素对遥感影像的影响。实验时，随机选取数据集中80％的图片(355张)作为训练集，20％的图片(90张)作为测试集。

实验使用Windows 10操作系统、Intel酷睿i7处理器，显卡为NVIDIA GeForce RTX2070，软件环境为Pycharm，Python3.6，深度学习框架为TensorFlow+Keras。

(二)实验设置与评价指标

使用本发明设计的M-YOLO V4网络结构对数据进行训练。首先冻结模型的前249层进行训练，每批次训练样本(batch size)设置为8，训练迭代(epoch)25次，学习率设置为0.0001。然后解冻模型训练，batch size减小为2，epoch为25，学习率减小为0.00001。

基于深度学习的目标检测与识别一般通过计算模型在测试集中的平均精准度(AP)来评价单一类别目标的检测效果。AP是从准确率(Precision)和召回率(Recall)两个角度来衡量检测算法的准确性，是评价模型准确性的直观评价标准，AP值越大，说明该模型的检测效果越好。用P和R表示准确率和召回率，公式如下：

其中，TP为实际为目标且被正确识别为的个数；FP为实际为非目标但被识别为目标的个数；FN为实际为目标但被识别为非目标的个数；TN为实际为非目标但被识别为目标的个数。

(三)实验结果与分析

将M-YOLO V4算法与YOOLO V4算法在选择的数据集上进行训练测试，部分检测结果如图6所示。遥感影像中飞机目标尺寸较小，并且受遥感影像成像时光照、气候等因素的影响，YOLO V4算法在检测时会出现漏检、误检情况，如图6(a)(b)(c)所示。本发明设计的M-YOLO V4算法在检测时有所改善，如图6(d)(e)(f)。在图6(d)中，可以检测出影像中不完整的飞机目标，漏检数量减少了2个，但误检数量增加了1个。在图6(e)中，在飞机排列密集的情况下，漏检数量减少了8个。在图6(f)中，消除了误检目标。

基于M-YOLO V4目标检测算法与YOLO V4在实验数据集上的对比结果如图7和表1所示。PR曲线中横轴为R,纵轴为P，曲线与两坐标轴围成的面积为AP值。从图7中可以看出，M-YOLO V4算法较YOLO V4算法AP值提高了1.63％。测试集90张图片中共包含1001个飞机目标，YOLO V4算法检测结果的TP值为836，FP值为303。M-YOLO V4算法检测结果的TP值为852，FP值为285。改进后的M-YOLO V4算法检测正确目标的数量提高了，检测错误目标的数量减少了。可以看出在检测遥感影像飞机目标时，M-YOLO V4算法性能较YOLO V4算法有所提升。

表1M-YOLO V4算法与YOLO V4算法性能对比

	TP	FP	AP
				YOLO V4	836	303	82.32％
M-YOLO V4	852	285	83.95％

本发明提出的联合多尺度和注意力机制的遥感影像飞机目标检测算法，以YOLOV4为基础，该算法扩大了FPN层的特征尺度融合范围，增强对低层特征的提取，并引入注意力机制，为不同尺度的特征赋予权值，在通道维度上反映了特征间的相关性和重要性。在RSOD-Dataset数据集上与YOLO V4算法进行了对比实验。实验结果表明，与YOLO V4相比，M-YOLO V4算法的平均精度提高了1.63％，具有更高的检测精度，对遥感影像飞机目标的检测效果更好。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种改进YOLO V4网络，用于遥感影像飞机目标检测，其特征在于，所述改进YOLO V4网络采用原有主干网络输出的104×104特征图，作为第一检测尺度；将所述104×104特征图进行2倍下采样与原有FPN网络输出的52×52特征图融合得到新的52×52特征图，作为第二检测尺度；将新的52×52特征图进行2倍下采样与原有FPN网络输出的26×26特征图融合得到新的26×26特征图，作为第三检测尺度；将新的26×26特征图进行2倍下采样与原有FPN网络输出的13×13特征图融合得到新的13×13特征图，作为第四检测尺度；

其中，所述改进YOLO V4网络还包括7-convs模块，所述7-convs模块用于对融合后的特征图执行7次卷积。

2.根据权利要求1所述的一种改进YOLO V4网络，其特征在于，还包括SE Block，所述SEBlock用于在特征融合时，在通道维度上为每个像素分配权重。

3.根据权利要求2所述的一种改进YOLO V4网络，其特征在于，所述7-convs模块包括自底向上的conv 1*1层、conv 3*3层、conv 1*1层、conv 3*3层、conv 1*1层、conv 3*3层和conv 1*1层。

4.基于权利要求1至3任一所述的改进YOLO V4网络的联合多尺度和注意力机制的遥感影像飞机目标检测方法，其特征在于，包括：

步骤1：获取输入图像的4种检测尺度的特征图，所述4种检测尺度分别为第一检测尺度、第二检测尺度、第三检测尺度和第四检测尺度；

步骤2：将所述4种检测尺度的特征图分别进行7次卷积，然后将卷积后的特征图分别输入至对应的SE Block，得到融合后的特征图。

Images