CN114299405A - 一种无人机图像实时目标检测方法 - Google Patents

Abstract

本发明提出一种基于条形池化的无人机图像实时目标检测方法，通过引入条形池化思想，并设计条形瓶颈层，构成主干网络和特征提取网络的基础组成模块，可改善长宽比不平衡的无人机图像目标检测精度。通过将特征提取网络PANet的融合方式改进为空间特征向量不变的，以更好的保留目标高低层特征信息，适应尺度变化大的无人机图像目标的检测；额外增加一个检测头负责极密集的小目标的检测。上述措施可显著提升无人机图像目标检测的精度。同时，本发明是在轻量级网络YOLOV5基础上，针对无人机图像中的目标尺度变化大、长宽比不平衡和小目标密集分布的特点而设计的，因此，可以在有效提升目标检测精度的情况下，实现实时快速检测。

Description

一种无人机图像实时目标检测方法

技术领域

本发明属于计算机视觉、图像处理、模式识别领域。具体涉及基于无人机图像的实时目标检测方法。

背景技术

目标检测是计算机视觉领域的最重要的应用之一，已被广泛应用到了行人检测、疾病诊断、交通追踪及遥感图像目标检测等领域。近年来，由于无人机获取图像的便捷性和多角度特性，利用无人机拍摄的图像，对感兴趣目标进行检测，用于城市及交通管理，已经成为智慧城市建设的重要内容。

目前基于深度学习的目标检测方法已经得到广泛应用。与自然图像相比较，对无人机从高空获取的图像进行目标检测存在以下特点：

1)尺度变化大，由于视角视距的不同，同一类物体的变化可能存在非常大的差距。

2)长宽比不平衡，由于是从高空俯视进行观测，一些待检测物体的长宽比非常大，即从图像上观察是很狭长的目标。

3)目标密集分布，城市中的人流量和车流量较大，拍摄的图像中含有较多的待检测目标。

现有基于深度学习的目标检测方法通常网络模型较为复杂，对于资源要求较高，对实时性要求很高的无人机图像目标检测不理想。因此，在保证合理目标检测精度的情况下，根据检测对象的特点，设计高效的无人机图像实时目标检测模型，是目前基于无人机图像的目标检测实际应用的瓶颈。

发明内容

针对现有技术存在的上述问题，本发明提供一种实时、高效的无人机图像实时目标检测方法，设计一种基于条形池化的无人机图像实时目标检测网络，针对无人机图像中目标的特点，设计轻量级目标检测网络，实现检测精度和速度的平衡。

为实现上述目的，本发明采用以下技术方案：

一种基于条形池化的无人机图像实时目标检测方法，其包含以下步骤：

步骤1，数据集准备，对无人机图像进行旋转、平移、缩放和混合等数据增强操作，增加数据量。

步骤2，设计目标检测网络：采用YOLOV5作为基础网络，设计基于条形池化的无人机图像实时目标检测网络，目标检测网络结构分为三个部分，分别为主干网络、特征提取网络和检测头部；包括以下几个部分：

以条形池化瓶颈层为基础模块构建所述主干网络和特征提取网络，所述条形池化瓶颈层包含一个经典的残差卷积块和条形池化层。

在特征网络层处设计路径聚合网络(Path Aggregation Network，PANet)特征增强网络，通过改变特征提取网络PANet的特征融合方式，采用自顶向上和横向连接的融合方式，将低层特征传回到高层特征处，与后者做融合处理，保留待检测无人机图像目标的低层纹理特征和高层语义信息。

增加一个检测头部，构成四个检测头部，由这个增加的检测头部负责极小目标的检测任务。

步骤3：将测试的无人机图像输入到步骤2的目标检测网络中，得到检测结果。

优选地，所述条形池化层的构建方式如下：

(1)池化操作

池化操作被分成垂直池化和水平池化，输出分别为

其中，x为输入特征图，y为输出，h为在条形池化层垂直方向上的步长，i为在垂直方向步长范围内的特征量；w为在条形池化层水平方向上的步长，j为在水平方向步长范围内的特征量；c为特征图的通道数。

(2)在条形池化层的基础上，设计条形池化瓶颈层。

(2.1)将一个维度为H×W×C的张量被输入到瓶颈层中，先对这个维度为H×W的特征图分别做水平和垂直方向上的一维卷积，再沿各自对应的方向上进行条形池化操作，分别得到尺度为1×W和H×1的特征图。

(2.2)进行扩展操作，将两个特征图重新扩展到H×W的尺度。

(2.3)将两个特征图进行逐像素叠加融合，再进行一个sigmoid激活函数进行归一化，公式如下：

其中，output表示输出，x表示输入特征图，f(x)表示经过了条形池化层之后的注意力特征向量。

(2.4)将(2.3)中得到的注意力特征图与输入进行叠乘处理，输出一个重新分配权重的特征图。

(2.5)将(2.2)-(2.4)的操作扩展到输入特征图的每一个通道上，得到最终的输出结果。

优选地，所述特征提取网络的融合方式是：对其相同空间大小的特征映射层的融合方式做改进，将在通道数相同的情况下空间特征直接相加改为空间特征向量不变，在通道尺度上做叠加，同一网络阶段的输出如下所示：

output＝Conv(Concat(x1,x2))

其中，output表示特征提取网络某一层的输出，x₁,x₂分别表示维度相同的两个特征向量，Conv表示条形池化模块，Concat表示通道叠加。

优选地，所述四个检测头对应检测不同分辨率的目标，每个检测头包含一个瓶颈层和一个二维卷积层，所述卷积层输出1×1×C的特征向量，所述特征向量包含5+类别数量的通道数，前四个通道对应的是检测框的位置信息，即检测中心坐标和检测框的长宽，第五个通道对应类别置信度，表示有多少概率认为这个检测框内是这类物体；损失函数如下：

loss＝λ₁loss_class+λ₂loss_obj+λ₁loss_cord

其中，loss为总的损失函数，loss_class,loss_obj,loss_cord分别为类别损失函数，置信度损失函数和位置坐标定位损失函数，λ₁，λ₂，λ₃为三项损失函数的系数。

以下，进一步对以上技术方案的设计思路进行阐述：

在卷积神经网络中，池化层通常用于减网络模型的大小，提高特征提取的鲁棒性。池化层没有需要学习的参数，网络模型经过池化层，通道数不会发生改变，仅对每个通道长宽方向上的特征进行最大或平均运算，改变特征图的空间大小通常情况下，池化层的池化区域通常是一个N*N的方形区域，在这个区域中对其中的特征值进行最大或平均运算，将N*N的区域变为一个1*1的区域。其具体操作为：假设输入层是X∈R^C×H×W，x是一个三维张量。其中R表示一个变量空间，C、H、W分别代表这个变量的通道数、特征图高度和特征图宽度。因此，输入层通过池化层后，输出也是一个三维张量，通道数C不会发生变化，H，W会根据池化层中采用的不同步长，缩减到相应的比例。这个操作可以用下面的公式(1)进行描述：

其中，h和w分别为在池化层在垂直和水平方向上的步长，x为输入特征图，y为输出，c为特征图的通道数，i₀和j₀分表为在垂直和水平方向内的特征量。

以平均池化为例，对h×w区域内的特征量进行平均操作，将其变为1×1尺寸大小的特征量。这种操作没有增加可学习参数，并且为图像引入了旋转平移不变性。由于标准池化操作中，通常采用方形池化核。因此，对于长宽比不平衡的无人机图像的目标检测会引入无关区域的特征，降低目标检测的鲁棒性。

本发明引入与标椎池化不同的条形池化层来解决上述问题，其窄长条状的池化核的具体描述如公式(2)、公式(3)所示：

其中，x为输入特征图，y为输出，h为在条形池化层垂直方向上的步长，i为在垂直方向步长范围内的特征量；w为在条形池化层水平方向上的步长，j为在水平方向步长范围内的特征量；c为特征图的通道数。

根据公式(2)和(3)可见，本发明将池化操作被分成了水平池化和垂直池化。如公式(2)中，在垂直方向上的步长为h，水平方向上的步长为1，采用的是一个尺寸为h×1的池化核。公式(3)中，在垂直方向上的步长为1，水平方向上的步长w，则采用的是一个尺寸为1×w的池化核。条形池化与标准池化的区别如图1所示，条形池化更关注在一个方向上的一维信息，聚焦于目标在一个方向上的长距离依赖。为此，条形池化可以有效解决普通标准池化在检测长宽比不平衡的无人机图像目标时存在的不足。

与现有技术相比，本发明的优点是：

根据无人机图像目标检测中目标尺度变化大、小目标密集分布、长宽比不平衡等特点，本发明在轻量级的YOLOV5网络上，提出的基于条形池化的无人机图像目标检测网络，因此，可快速实现目标检测任务。在此基础上，通过设计条形池化瓶颈层，改变特征网络融合方式及增加检测头部三种措施，本发明可显著提高对尺度变化大、长宽比不平衡及小目标密集分布的无人机图像目标检测精度。

本发明针对无人机图像中目标的特点，设计了轻量级目标检测网络，实现检测精度和速度的平衡，对无人机图像目标检测有更好的检测精度和效率，适用于无人机图像实时目标检测任务。

附图说明

图1为基于条形池化的无人机图像目标检测网络的主体框架图；

图2(a)为原始PANet融合方式说明图；

图2(b)为空间特征向量不变的PANet融合方式说明图；

图3为条形池化瓶颈层的结构示意图；

图4是本发明的无人机图像目标检测结果可视化实例图。

具体实施方式

以下结合附图和实施例进一步说明本发明：

实施例1:网络组成结构

参见图1，基于条形池化的目标检测网络结构分为三个子结构，分别为主干网络、特征提取网络和检测头部。要特别说明的是，主干网络和特征提取网络的基本组成模块都是由改进后的池化瓶颈层而构建的。下面对这三个部分进行说明。

1.由图1左半部分所示，主干网络沿用YOLOV5的主干网络DarknetCSP，P1-P5为主干网络的不同特征层。特征层主要是由BottleneckCSP(跨域连接瓶颈层)堆叠而成。这种结构由经典的残差结构——显示1×1的卷积层(卷积块+批量归一化+激活函数)，然后再是3×3的卷积层，最后通过残差结构与初始输入相加。增加跨域连接结构是为了提取尽可能多的特征的同时，降低网络参数量。

2.由图1特征提取网络部分所示，PANet采用自顶向上和自下而上的融合方式，每层特征层由残差瓶颈层和卷积块组成，深层特征被传回到浅层特征处，与后者做融合处理。普通的PANet使用自适应特征池将相邻层做叠加进行掩模预测。为了保留了无人机图像目标检测中目标的浅层纹理信息和高深语义信息，本发明对多尺度的特征层做通道叠加处理，将特征提取网络改进为空间特征向量不变PANet。这样虽然增加了参数量，但是尽可能多的保留了目标的纹理和高层语义特征，可提高网络模型的泛化能力。

3.由图1右侧检测头部分所示，检测头由特定通道数量的四个卷积层组成。检测头利用主干网络和特征提取网络中的获取到的信息输出检测结果。在目标检测网络中，每个检测头通常设定三个不同大小的先验锚框。锚框的作用是预设检测框的大小，定位结果会根据锚框来进行平移缩放来确定。为了提高无人机图像中小目标检测和密集检测精度，本发明增加一个检测头，形成四个检测头部，对应检测不同分辨率的目标。每个检测头包含一个瓶颈层和一个二维卷积层，卷积层输出1×1×C的特征向量。这个特征向量包含了5+类别数量的通道数。前4个通道对应的是检测框的位置信息(检测中心坐标和检测框的长宽)，第5个通道对应类别置信度，表示有多少概率认为这个检测框内是这类物体。本发明的损失函数如公式(5)所示：

loss＝λ₁loss_class+λ₂loss_obj+λ₁loss_cord (5)

其中，loss为总的损失函数，loss_class,loss_obj,loss_cord分别为类别损失函数，置信度损失函数和位置坐标定位损失函数，λ₁，λ₂，λ₃为三项损失函数的系数。

整个网络的目标是将损失函数最优化，网络根据损失函数调整权重参数，学习到无人机图像待检测目标的特征信息，然后通过检测头输出检测结果。

实施例2:基于条形池化的无人机图像实时目标检测方法，包括以下步骤:

一、对无人机图像进行数据增强操作，包括旋转、平移、缩放和混合等。用于目标检测网络的训练、验证和测试。

二、网络模型设计、修改和构建，包括以下三项：

1.根据无人机图像待检测目标尺度变化大、长宽比不平衡、密集分布等特点，对YOLOV5基础网络结构进行改进设计。具体如下：

引入条形池化操作，用于更好的提取图像中目标的空间信息，获取单方向上的长距离依赖关系，以提升长宽比不平衡目标的检测精度。本发明在条形池化层思想的指导下，设计了一个条形池化瓶颈层。该条形池化瓶颈层包含一个经典的残差卷积块和条形池化层，流程图如图3所示。具体工作流程如下：

一个维度为H×W×C的张量被输入到条形池化瓶颈层中，为了简略，取其中一个通道来进行说明。先对这个维度为H×W的特征图分别做水平和垂直方向上的一维卷积，再沿各自对应的方向上进行条形池化操作，分别得到尺度为1×W和H×1的两个特征图。然后按以下步骤进行：

a)进行扩展操作，将两个特征图重新扩展到H×W的尺度。

b)将两个特征图进行逐像素叠加融合，再通过sigmoid激活函数进行归一化。此时，特征图的尺度并不会发生改变，而相当于引入了一个注意力机制，如公式(4)所示：

c)将公式(4)得到的注意力特征图与原始输入图像进行叠乘处理，输出一个重新分配权重的特征图。

d)将1-4中的操作扩展到输入特征图的每一个通道上，即可得到了最终的输出结果。

将该模块作为主干网络和特征提取网络的基础模块，可以很好地提升模型网络对长宽比不平衡无人机图像目标检测的精度。

2.在特征网络层处设计路径聚合网络(Path Aggregation Network，PANet)特征增强网络，通过改变特征提取网络PANet的特征融合方式，更好地保留待检测无人机图像目标的低层纹理特征和高层语义信息。具体操作流程如下：

首先完成自顶向上的路径扩展，按照特征金字塔网络生成具有相同空间大小的特征映射层处于同一网络阶段。每个特性级别对应一个阶段。以条形池化瓶颈层为基本结构，采用P2,P3,P4,P5表示特征金字塔生成的不同特征层。扩展路径从最底层P2开始，逐渐接近P5，从P2到P5空间大小随下采样率2逐渐下采样，用N2,N3,N4,N5表示新生成的特征图。每个构建块将相同空间大小的特征映射层横向连接起来，融合后的特征网络由另外的卷积层处理，生成的特征层用于后续的自网络，这是一个迭代的过程，在接近P5之后结束。

如图2(a)所示，为原始PANet融合方式，这种融合前后通道数不会发生变化，在空间尺度上直接将各个特征值相加。

相比于原始的PANet，本发明对相同空间大小的特征映射层的融合方式做了改进，如图2(b)所示，将在通道数相同的情况下空间特征直接相加改为空间特征向量不变，在通道尺度上做叠加，这样可以有效保留利用更多的空间信息，并且通道信息不会丢失。

3.增加检测头部，用于克服无人机图像待检测目标多尺度及密集分布问题。

检测头部的作用是根据前面子网络提供的信息对待检测目标进行预测，输出其位置信息、类别信息和置信度信息。每个检测头预设大中小三个尺寸的锚框，分别负责不同尺寸的目标的检测工作。由于本发明中的无人机图像检测目标的尺度变化大，且存在小目标密集等特点，通常的三个检测头部很难适应尺度多变及密集待检测小目标。因此，通过分析，本发明增加一个检测头部，构成四个检测头部，由这个增加的检测头部负责极小目标的检测任务。

三、将测试的无人机图像输入到上述发明提出的基于条形池化的无人机图像实时目标检测网络中，得到检测结果。

本发明方法的计算机仿真分析

图4为利用本发明方法对无人机图像目标检测结果的可视化实例。其中无人机图像中包含的类别有行人、汽车、货车、三轮车、卡车、摩托、公交车等10个类别。

由以上实施例可见，本发明通过引入条形池化思想，并设计条形瓶颈层，构成主干网络和特征提取网络的基础组成模块，可改善长宽比不平衡的无人机图像目标检测精度。通过将特征提取网络PANet的融合方式改进为空间特征向量不变的，以更好的保留目标高低层特征信息，适应尺度变化大的无人机图像目标的检测。通过额外增加一个检测头负责极密集的小目标的检测。上述措施可显著提升无人机图像目标检测的精度。同时，本发明是在轻量级网络YOLOV5基础上，针对无人机图像中的目标尺度变化大、长宽比不平衡和小目标密集分布的特点而设计的，因此，可以在有效提升目标检测精度的情况下，实现实时快速检测。

Claims (4)

1.一种无人机图像实时目标检测方法，其特征在于包含以下步骤：

步骤1，数据集准备，对无人机图像进行旋转、平移、缩放和混合等数据增强操作；

步骤2，设计目标检测网络：采用YOLOV5作为基础网络，设计基于条形池化的无人机图像实时目标检测网络，目标检测网络结构分为三个部分，分别为主干网络、特征提取网络和检测头部；包括以下几个部分：

以条形池化瓶颈层为基础模块构建所述主干网络和特征提取网络，所述条形池化瓶颈层包含一个经典的残差卷积块和条形池化层；

在特征网络层处设计路径聚合网络(PANet)特征增强网络，通过改变特征提取网络PANet的特征融合方式，采用自顶向上和横向连接的融合方式，将低层特征传回到高层特征处，与后者做融合处理，保留待检测无人机图像目标的低层纹理特征和高层语义信息；

增加一个检测头部，构成四个检测头部，由这个增加的检测头部负责极小目标的检测任务；

步骤3：将测试的无人机图像输入到步骤2的目标检测网络中，得到检测结果。

2.根据权利要求1所述的无人机图像实时目标检测方法，其特征在于条形池化层的构建方式如下：

(1)池化操作

池化操作被分成垂直池化和水平池化，输出分别为

其中，x为输入特征图，y为输出，h为在条形池化层垂直方向上的步长，i为在垂直方向步长范围内的特征量；w为在条形池化层水平方向上的步长，j为在水平方向步长范围内的特征量；c为特征图的通道数；

(2)在条形池化层的基础上，设计条形池化瓶颈层：

(2.1)将一个维度为H×W×C的张量被输入到瓶颈层中，先对这个维度为H×W的特征图分别做水平和垂直方向上的一维卷积，再沿各自对应的方向上进行条形池化操作，分别得到尺度为1×W和H×1的特征图：

(2.2)进行扩展操作，将两个特征图重新扩展到H×W的尺度；

(2.3)将两个特征图进行逐像素叠加融合，再进行一个sigmoid激活函数进行归一化，公式如下：

其中，output表示输出，x表示输入特征图，f(x)表示经过了条形池化层之后的注意力特征向量；

(2.4)将(2.3)中得到的注意力特征图与输入进行叠乘处理，输出一个重新分配权重的特征图；

(2.5)将(2.2)-(2.4)的操作扩展到输入特征图的每一个通道上，得到最终的输出结果。

3.根据权利要求1所述无人机图像实时目标检测方法，其特征在于所述特征提取网络的融合方式是：对其相同空间大小的特征映射层的融合方式做改进，将在通道数相同的情况下空间特征直接相加改为空间特征向量不变，在通道尺度上做叠加，同一网络阶段的输出如下所示：

output＝Conv(Concat(x1,x2))

其中，output表示特征提取网络某一层的输出，x₁,x₂分别表示维度相同的两个特征向量，Conv表示条形池化模块，Concat表示通道叠加。

4.根据权利要求1所述无人机图像实时目标检测方法，其特征在于，所述四个检测头对应检测不同分辨率的目标，每个检测头包含一个瓶颈层和一个二维卷积层，所述卷积层输出1×1×C的特征向量，所述特征向量包含5+类别数量的通道数，前四个通道对应的是检测框的位置信息，即检测中心坐标和检测框的长宽，第五个通道对应类别置信度，表示有多少概率认为这个检测框内是这类物体；损失函数如下：

loss＝λ₁loss_class+λ₂loss_obj+λ₁loss_cord

其中，loss为总的损失函数，loss_class,loss_obj,loss_cord分别为类别损失函数，置信度损失函数和位置坐标定位损失函数，λ₁，λ₂，λ₃为三项损失函数的系数。

Images