CN115937717B - 一种基于特征上下文的无人机影像目标检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于特征上下文的无人机影像目标检测方法及系统，针对无人机影像中的大俯角特性，通过在特征图上划分网格后再使用非局部算子提取特征来融合空间维度上的特征上下文信息，以此处理目标检测中的尺度问题。本发明提出了一种基于空间注意力的目标密度尺寸估计方式，以此进行网格的划分。本发明提出使用预设参数的卷积来代替原有的跳跃连接，并且该预设参数的卷积满足初始状态与恒等映射等价，可以获得更好的特征融合效果。

Description

一种基于特征上下文的无人机影像目标检测方法及系统

技术领域

本发明涉及深度学习与计算机视觉技术领域，具体地指一种基于特征上下文的无人机影像目标检测方法及系统。

技术背景

无人机具有成本低、灵活性高、操作简单、体积小等优点，可以弥补卫星和载人航空遥感技术的不足，催生了更加多元化的应用场景。无人机影像的智能化分析处理不仅可以快速高效地提取地物信息，还能拓展无人机的场景理解能力。目标检测技术能够自动化识别和定位图像中目标，这种技术可以增强弱人机交互下无人机的感知功能，为其自主探测和飞行提供基础的技术支持。

近期，随着深度学习技术的发展，深度卷积神经网络在目标检测领域起到了越来越重要的作用。但是无人机航拍图像自身有着显著的特点，例如背景复杂，目标尺度不均匀，不同目标之间尺寸差异较大等问题。使用自然场景图像数据集训练得到的模型来完成前者目标检测任务难以取得令人满意的效果，并且未能利用无人机拍摄时的大俯角，大视角等先验知识，所以需要一些针对无人机影像这一特定场景的目标检测技术。

发明内容

为了解决上述技术问题，本发明提出了一种基于特征上下文的无人机影像目标检测方法及系统，利用目标尺度与位置关系来解决无人机影像中的目标尺度差异问题。

为实现上述目的，本发明所设计的一种基于特征上下文的无人机影像目标检测方法，其特殊之处在于，所述方法包括如下步骤：

S1输入待检测无人机影像，进行通用的数据增强或标准化处理，形成预处理图像集；

S2将预处理图像集中每一张图像通过深度卷积神经网络的特征提取部分提取特征，将图像数据映射到特征空间，得到特征图；

S3通过深度卷积神经网络的特征融合部分对特征图进行不同尺度的特征融合，所述特征融合部分包括网格化地非局部算子和带有感受野的跳跃连接，基于特征的空间上下文信息增强特征融合，并提供了一种基于空间注意力的网格化方法；

S4通过深度卷积神经网络的检测回归部分得到图像数据的特征定位和分类结果。

优选地，步骤S3中所述网格化非局部算子将特征图经过网格化划分后，再对每个网格作非局部算子计算，最后再进行合并。

优选地，步骤S3中所述网格化非局部算子采用了一种基于空间注意力的网格化方法，该方法利用空间注意力对特征图中的目标尺寸以及目标分布密度进行估计，并基于质心公式寻找图像中注意力分布的质心，最后根据该质心将特征图划分成不同网格。

优选地，步骤S3中所述带有感受野的跳跃连接采用了一种预设参数卷积跳跃连接，并且针对不同尺度的特征图，使用不同的感受野，网络在初始状态时，将所述特征图先填充后再使用步长为1的卷积，并且该卷积的卷积核满足中心为1四周为0，以使整个网络在初始状态下将等价于标准跳跃连接。

优选地，对每个网格作非局部算子计算的公式为：

其中为经过网格化非局部算子计算得到的结果，F为特征图，k为网格数量，i＝1,2,3,...,k。

优选地，对特征图进行网格化划分时，使用空间注意力对目标尺寸密度进行估计，进行阈值截断后基于质心公式计算质心，并以此进行网格划分，注意力分布计算公式、阈值截断公式、质心计算公式分别为：

其中为空间注意力分布，/>分别为原特征图沿通道方向的最大值与均值，μ_mn为截断后的空间注意力分布，λ为阈值超参数，/>为计算的得到的质心坐标。

本发明还提出一种基于特征上下文的无人机影像目标检测系统，其特殊之处在于，包括预处理模块、基于特征上下文的深度学习神经网络和控制输出模块；

所述预处理模块，用于对输入的待检测无人机影像进行通用的数据增强或标准化处理，形成预处理图像集；

所述基于特征上下文的深度学习神经网络，用于检测所述预处理图像集内的每一张图像数据，输出特征定位和分类结果；所述基于特征上下文的深度学习神经网络包括特征提取部分、特征融合部分和检测回归部分；

所述控制输出模块，用于将所述基于特征上下文的深度学习神经网络的特征定位和分类结果输出至用户。

进一步地，所述特征提取部分用于对图像数据通过卷积进行降采样，并提取不同尺度的特征；所述特征融合部分包括网格化地非局部算子和带有感受野的跳跃连接，实现基于特征的空间上下文信息增强特征融合，所述检测回归部分用于输出特征定位和分类结果。

更进一步地，所述深度卷积神经网络以YoloX网络为基础模型，其中特征提取网络为Resnet50，Cspdarknet53结构。

本发明另外提出一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述一种基于特征上下文的无人机影像目标检测方法。

本发明与现有技术相比具有如下优点和有益效果：

(1)本发明提出可以融合特征上下文的目标检测架构，利用目标尺度与位置关系来解决无人机影像中的目标尺度差异问题。如图5、图6的检测效果图所示，在大部分通过无人机拍摄采集到的图像当中，由于无人机设备的俯角以及视角等特性，同类目标在图像中的不同区域往往有着极大的尺寸差异，例如在图像的下部分的车辆往往比图像上部分的车辆有着更大的尺寸(像素范围)，而对于基于卷积神经网络的目标检测器，这种空间维度上的尺度差异会影响检测效果。本发明基于融合特征空间上下文信息的思路，改进了目标检测架构。

(2)本发明提出具有尺度感受野的恒等映射，通过卷积的形式使得传统跳跃连接具有了不同大小的感受野，并且这一分支是可学习的，较标准恒等映射更为灵活，也更契合无人机影像多尺度检测的问题背景。在通常的目标检测架构中，特征融合部分往往会加入一些不同尺度之间的跳跃连接来增强不同尺度的特征融合，而对于标准的跳跃连接而言，简单的特征加和的方式对于无人机图像检测中获取的图像特征不够充分，也未能利用尺度先验，所以本发明提出具有尺度感受野的恒等映射来进行改进。

(3)本发明将原始的非局部算子进行改进，提出网格化的非局部算子，并以此来提取无人机影像中目标尺度-位置关系，并且缓解了标准非局部算子的计算量大的问题。非局部算子通常被用来获取图像中的上下文信息以及建模长距离关系，而考虑到无人图像的位置先验，先对其特征图进行空间维度的尺度划分，随后在每个局部网格上进行非局部算子操作，以此(尺度-位置关系)缓解尺度差异问题。

(4)本发明提出了一种基于空间注意力的网格化方法，利用空间注意力分布对图像中的目标尺寸分布以及密度分布进行估计，在经过阈值截断后使其分布更加集中，接着根据质心公式计算出其分布质心，最后使用质心作为网格线的交点来对特征图进行网格划分。这样保证不同网格内的目标尺寸和密度分布相对一致，辅助后续非局部算子的特征提取。

附图说明

图1为本发明整体网络架构图；

图2为网格化非局部算子操作示意图；

图3为标准跳跃连接结构；

图4为具有感受野的跳跃连接结构；

图5为真实无人机影像检测效果图a；

图6为真实无人机影像检测效果图b；

图7为特征图网格化划分示意图；

图8为网格化后映射回原图的效果示意图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步的详细描述。

本发明提出的一种基于特征上下文的无人机影像目标检测方法，包括如下步骤：

S1输入待检测无人机影像，进行通用的数据增强或标准化处理，形成预处理图像集；

S2将预处理图像集中每一张图像通过深度卷积神经网络的特征提取部分提取特征，将图像数据映射到特征空间，得到特征图；

S3通过深度卷积神经网络的特征融合部分对特征图进行不同尺度的特征融合，所述特征融合部分包括网格化地非局部算子和带有感受野的跳跃连接，基于特征的空间上下文信息增强特征融合，并提供了一种基于空间注意力的网格化方法；

S4通过深度卷积神经网络的检测回归部分得到图像数据的特征定位和分类结果。

现有的目标检测方法往往将其统一到通用目标检测框架下进行，而忽视了无人机影像所具有的特殊先验信息。由于无人机设备图像采集时的特殊性，较通用图像而言，无人机影像往往具有大俯角，大畸变等性质。而这导致了无人机影像中目标尺度差异问题。因此本方法针对无人机影像中的大俯角特性，通过在特征图上划分网格后再使用非局部算子提取特征来融合空间维度上的特征上下文信息，以此处理目标检测中的尺度问题。此外，本发明针对传统特征融合网络中的横向连接，提出使用预设参数的卷积来代替原有的跳跃连接，并且该预设参数的卷积满足初始状态与恒等映射等价，借此本方法可以获得更好的特征融合效果。

基于上述方法，本发明提出的一种基于特征上下文的无人机影像目标检测系统，包括预处理模块、基于特征上下文的深度学习神经网络和控制输出模块；

预处理模块，用于对输入的待检测无人机影像进行通用的数据增强或标准化处理，形成预处理图像集；

基于特征上下文的深度学习神经网络，用于检测所述预处理图像集内的每一张图像数据，输出特征定位和分类结果；所述基于特征上下文的深度学习神经网络包括特征提取部分、特征融合部分和检测回归部分；

控制输出模块用于将所述基于特征上下文的深度学习神经网络的特征定位和分类结果输出至用户。

本实施例以YoloX网络为基础模型，如图1所示。整体网络可分为左侧的特征提取部分，中间的特征融合部分和检测回归部分，特征提取部分采用不同层特征的下采样倍率，特征融合部分添加网格化非局部算子结构和具有感受野的跳跃连接结构。

特征提取结构为一般为通用的网络躯干，如Resnet50，Cspdarknet53等，其作用主要是对数据的图像通过卷积进行降采样，并提取不同尺度的特征，如图1中左侧展示了下采样的倍率。而网络的特征融合部分则主要是一个类似特征金字塔的结构，对于一般的特征融合，例如特征金字塔或双向特征金字塔，它们往往只考虑不同层之间的信息融合，而忽略了空间维度上的特征上下文信息。而对于无人机影像而言，这种上下文信息能反映出目标尺度与目标位置的关系，所以本发明在特征融合部分加入了网格化地非局部算子和带有感受野的跳跃连接，基于特征的空间上下文信息增强特征融合。

网格化非局部算子操作如图2所示，网格化非局部算子被添加在特征融合阶段以融合特征的上下文信息。考虑特征提取部分得到的特征图F∈R^B*C*W*H，其具有四个维度，分别为Batch size(批量大小)，Channels(通道数)，Width(宽)，Height(高)。对于标准的非局部算子而言，经过非局部算子变换后的如以下公式所表示：

其中θ,Ф,g为卷积核大小为1×1的通道卷积，×表示矩阵乘法，通过这样的非局部算子变换，生成的特征图中每个像素均为原特征图中全体像素经过变换g后的线性加权，以此来获取特征图中的上下文信息。而我们的网格化非局部算子，是将原来的特征图经过网格化划分后(类似空间维度的矩阵分块操作)，再对每个网格作非局部算子计算，最后再进行合并，如以下公式所示：

其中为经过网格化非局部算子计算得到的结果，F为特征图，特征图F划分为k*k个网格，k作为行列的网格索引，表示网格数量，i＝1,2,3,...,k。由于标准卷积的归纳偏执，在空间维度全局一致的架构使得其难以应对无人机影像中的空间维度上的尺度差异。例如无人机的俯角导致图像上部分的物体普遍尺寸较小而下部分的物体尺寸较大，即便是现实中的汽车，在图像的上部可能只有几到几十像素，而图像下端的物体可能有着几百像素的大小。对于检测模型而言，这种尺度差异会影响其对于同一类别物体的检测效果。所以采用这样的网格化非局部算子操作来缓解这一尺度差异问题。它在划分网格后，于网格内进行非局部算子计算，这样做一方面是因为在网格中这种尺度差异得到了缓解，另一方面非局部算子的特性使得其在网格内拥有了捕捉全局自注意力的能力。通过这样的网格划分的方法，本发明还改进了原始非局部算子计算量较大的问题，将计算复杂度从O(CN²)减少到O(C(N²/k²)),其中N＝h*w(与图像尺寸相关)。

而为了辅助网格化非局部算子进行特征提取，进一步提出一种基于空间注意力的网格化方法。空间注意力模块通常用于网络的特征选择，通过对特征图空间维度上的重加权，模型能更集中于分析目标分布区域附近的特征，而空间注意力机制所计算得到的空间注意力分布，则有助于对目标的尺寸分布以及密度分布进行估计。在大目标区域或多目标集中区域，往往也是空间注意力分布峰值所在的区域，因此对空间注意力图进行阈值截断后，其能较好的反应出目标的分布。而基于这一分布，从物理中质心的概念出发，将分布的质心作为网格点来进行网格划分，使得不同网格之间的注意力分布的积分相对一致，减缓了网格内部的目标尺寸分布差异。其具体流程如下：

(1)先获取特征图的空间注意力分布，其公式为：

其中为空间注意力分布，/>为原特征图沿通道方向的最大值与均值。sigmoid函数为通常的激活函数，conv为卷积算子。

(2)接着对空间注意力分布进行阈值截断，其公式为：

其中μ_mn为截断后的空间注意力分布，λ为阈值超参数，通常可设置为0.75，此时近似为统计分布中的上四分位数。这一步操作可以进一步突出注意力分布中与目标相关的特征点。

(3)其次根据质心公式，计算出截断注意力分布的质心点，并以此作为网格线的交点对特征图进行网格划分，其坐标公式为：

基于此得到的就是区域特征D的网格线交点，经过该点使用横向(纵向)网格线划分出上下两块区域，在区域内迭代进行类似的操作划分出最终的网格。如图7，8所示，先计算出全局的质心P1，接着横向将特征图划分为上下两部分区域，接着在子区域中计算出质心P2,P3并从纵向进行划分，这样我们便的得到了网格化的四部分区域。

对于特征融合中的普通横向连接，其一般参照ResNet中的跳跃连接，只是通过上、下采样将特征尺度对齐并相加的方式进行，如图3所示。但是这样的特征融合方式是手动设定，并且无法学习，对于无人机图像而言，多尺度的目标特征使得标准跳跃连接难以处理这种差异，因此本发明设计的具有感受野的跳跃连接结构采用了一种预设参数卷积来进行代替原有的跳跃连接，并且该预设参数的卷积满足初始状态与恒等映射等价，针对不同尺度的特征图，使用不同的感受野。为了使网络在初始状态与标准跳跃连接保持一致，将特征图先填充后再使用步长为1的卷积，并且该卷积的卷积核满足中心为1四周为0，如图4所示，这样整个网络在初始状态下将等价于标准跳跃连接，借助卷积尺寸的大小设置，使得跳跃连接也具有了感受野，相比标准的跳跃连接，这样一种可学习的卷积也可以更好地对特征进行融合。

本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。

最后需要说明的是，以上具体实施方式仅用以说明本专利技术方案而非限制，尽管参照较佳实施例对本专利进行了详细说明，本领域的普通技术人员应当理解，可以对本专利的技术方案进行修改或者等同替换，而不脱离本专利技术方案的精神和范围，其均应涵盖在本专利的权利要求范围当中。

Claims (6)

1.一种基于特征上下文的无人机影像目标检测方法，其特征在于：所述方法包括如下步骤：

S1输入待检测无人机影像，进行通用的数据增强或标准化处理，形成预处理图像集；

S2将预处理图像集中每一张图像通过深度卷积神经网络的特征提取部分提取特征，将图像数据映射到特征空间，得到特征图；

S3通过深度卷积神经网络的特征融合部分对特征图进行不同尺度的特征融合，所述特征融合部分包括网格化非局部算子和带有感受野的跳跃连接，基于特征的空间上下文信息增强特征融合；所述网格化非局部算子将特征图经过网格化划分后，再对每个网格作非局部算子计算，最后再进行合并；所述带有感受野的跳跃连接采用了一种预设参数卷积跳跃连接，并且针对不同尺度的特征图，使用不同的感受野，网络在初始状态时，将所述特征图先填充后再使用步长为1的卷积，并且该卷积的卷积核满足中心为1四周为0，以使整个网络在初始状态下将等价于标准跳跃连接；

对每个网格作非局部算子计算的公式为：

其中为经过网格化非局部算子计算得到的结果，F为特征图，k为网格数量，i＝1,2,3,...,k；

S4通过深度卷积神经网络的检测回归部分得到图像数据的特征定位和分类结果。

2.根据权利要求1所述的一种基于特征上下文的无人机影像目标检测方法，其特征在于：对特征图进行网格化划分时，使用空间注意力对目标尺寸密度进行估计，进行阈值截断后基于质心公式计算质心，并以此进行网格划分，注意力分布计算公式、阈值截断公式、质心计算公式分别为：

其中为空间注意力分布，/>分别为原特征图沿通道方向的最大值与均值，μ_mn为截断后的空间注意力分布，λ为阈值超参数，/>为计算的得到的质心坐标。

3.一种基于特征上下文的无人机影像目标检测系统，基于权利要求1或2实现，其特征在于：包括预处理模块、基于特征上下文的深度卷积神经网络和控制输出模块；

所述预处理模块，用于对输入的待检测无人机影像进行通用的数据增强或标准化处理，形成预处理图像集；

所述基于特征上下文的深度卷积神经网络，用于检测所述预处理图像集内的每一张图像数据，输出特征定位和分类结果；所述基于特征上下文的深度卷积神经网络包括特征提取部分、特征融合部分和检测回归部分；

所述控制输出模块，用于将所述基于特征上下文的深度卷积神经网络的特征定位和分类结果输出至用户。

4.根据权利要求3所述的一种基于特征上下文的无人机影像目标检测系统，其特征在于：所述特征提取部分用于对图像数据通过卷积进行降采样，并提取不同尺度的特征；所述特征融合部分包括网格化非局部算子和带有感受野的跳跃连接，实现基于特征的空间上下文信息增强特征融合，所述检测回归部分用于输出特征定位和分类结果。

5.根据权利要求3所述的一种基于特征上下文的无人机影像目标检测系统，其特征在于：所述深度卷积神经网络以YoloX网络为基础模型，其中特征提取网络为Resnet50，Cspdarknet53结构。

6.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1或2所述的方法。