CN114067225A - 一种无人机小目标检测方法、系统及可存储介质 - Google Patents

Abstract

本发明公开了一种无人机小目标检测方法、系统及可存储介质，涉及计算机视觉技术领域，该方法包括：构建基于轻量级深度模型的无人机检测网络；采集无人机图像并构建无人机图像数据库，得到训练数据集；将所述训练数据集输入所述无人机检测网络中进行神经网络训练，直至网络收敛；将待检测无人机图像输入训练好的无人机检测网络中，获得所述待检测无人机图像的无人机小目标检测结果。本发明解决了传统目标检测方法在针对无人机小目标检测任务时存在语义信息提取不完全而导致的难以应对复杂场景的问题，在保证模型轻量化的前提下，能够有效提升无人机检测精度，具有实际工程应用价值。

Description

一种无人机小目标检测方法、系统及可存储介质

技术领域

本发明涉及计算机视觉技术领域，更具体的说是涉及一种无人机小目标检测方法、系统及可存储介质。

背景技术

随着无人机的推广与普及，公共安全、空域交通等诸多层面的维护和管理难度也大大提高，这也向传统民用航空监管体系提出了挑战。如何对民用无人机的飞行进行必要的监督管理，是亟待解决的重难点。

为了提高监管效率和力度，就需要引入自动化技术手段来实现无人机监测，传统检测方法主要通过声学检测技术及雷达检测技术进行无人机检测，但是这类方法存在诸多局限性：对于声学检测技术来说，在遇到复杂环境时，难以过滤声音信号中的噪声并提取到有效特征，同时，无人机工作时产生的声音量值较小且声信号随距离增加而不断衰减，因此难以对中远距离无人机进行有效的探测；对于雷达探测技术来说，当面对低空无人机等低慢小目标时，由于不仅受到地面杂波的干扰，而且无人机产生的雷达散射截面积小(表面多为非金属复合材料构成)，通常难以达到理想的检测效果，另外，雷达设备通常存在工作盲区，对于顶空、低空和近距目标不敏感，这也限制了其应用场景。

因此，基于计算机视觉的无人机检测方法在近些年被大量提及，在早期的研究工作中，大多数目标检测方法(例如SIFT、HOG、SURF等)使用人工设计的特征提取方式获取目标特征，之后基于该手工提取特征进行目标检测任务。然而，手工提取特征在应对复杂场景时通常鲁棒性不足，不同种类和尺寸的无人机、不断变化的光照和气候条件等场景因素都会对最终的模型检测性能造成极大影响。因此，该类方法难以满足在真实场景中应用的要求。近年来，一些基于卷积神经网络的目标检测算法逐渐展现出强大的检测性能，这类方法通过在一系列交替的卷积网络层之间传递特征图，最终提取到相对于传统的手工提取特征而言更加充足和多样的高层语义特征，这些高级抽象特征正是卷积神经网络能够大幅提升目标检测性能的关键。

大多数基于卷积神经网络的目标检测方法(例如经典的Faster、RCNN、YOLOv3、SSD等)能够在PASCAL VOC、MS COCO等目标检测通用基准数据集上展现优异的性能，然而在针对无人机这类小目标检测任务上的性能表现却稍显不足，主要存在两点问题：一方面，这些经典的算法模型主要解决通用目标检测任务，任务中包括大、中、小多种不同尺度的目标，因此网络不能充分提取出低层特征图中包含的语义信息，而这些信息对无人机等小目标的检测是极其重要的；另一方面，经典的目标检测方法依赖大量网络参数，最终会生成较大的权重文件(通常大于10MB)用于保存这些参数，而对于低空无人机检测任务来说，它并没有通用目标检测任务中大量复杂的场景，背景信息相对简单，在实际应用场景下无需大量的参数，在减少参数的同时，也能进一步降低对显存的要求以及部署开销。

因此，如何解决传统目标检测方法在针对无人机小目标检测任务时存在语义信息提取不完全而导致的难以应对复杂场景的情况是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种无人机小目标检测方法、系统及可存储介质，充分保留了目标特征图的浅层细节信息，且保证了高层特征能够被充分提取，在保证模型轻量化的前提下，有效提升了无人机检测精度，具有实际工程应用价值。

为了实现上述目的，本发明提供了一种基于轻量级深度模型的无人机小目标检测方法，包括以下步骤：

构建基于轻量级深度模型的无人机检测网络；

采集无人机图像并构建无人机图像数据库，得到训练数据集；

将所述训练数据集输入所述无人机检测网络中进行神经网络训练，直至网络收敛；

将待检测无人机图像输入训练好的无人机检测网络中，获得所述待检测无人机图像的无人机小目标检测结果。

可选的，构建的基于轻量级深度模型的无人机检测网络包括依次连接的初步特征提取模块、循环支路结构以及改进层间金字塔特征融合模块；

所述初步特征提取模块对输入的无人机图像进行初步特征提取，获取第一特征图并输入所述循环支路结构中；

所述循环支路结构在迭代处理过程中通过逐像素求和的方式对第一特征图进行特征融合，获取目标细节信息及第二特征图并输入所述改进层间金字塔特征融合模块中；

所述改进层间金字塔特征融合模块过像素重组运算对所述第二特征图进行图像上采样并对分辨率进行动态调整，将输出的第三特征图输入检测器中得到目标检测结果。

上述的技术方案中公开了无人机检测网络的具体结构设置，采用两个卷积单元实现初步特征提取，再经过循环支路结构实现目标细节信息含量及特征图质量的提升之后，送入改进层间金字塔特征融合模块并输出，最后将输出的特征图送入检测器完成目标检测任务。通过上述方案，解决了现有技术中进行无人机小目标检测时存在的重要目标细节信息在迭代过程中大量丢失的问题。

可选的，所述循环支路结构包括M个依次连接的BCB模块，每个BCB模块包括依次连接的X个BCB组件块；其中：第1个BCB模块的输入特征图依次与第2～M个BCB模块中的第1个BCB组件块输出的特征图融合，融合后的特征图作为与其连接的第2个BCB组件块的输入特征图。

可选的，每个BCB组件块包括倒置残差结构，且通过卷积层的交替连接进行非线性变换；倒置残差结构能够在高维特征空间中提取特征，进而有利于基本组件块提取到更为丰富的特征信息；

在循环支路结构中，对于第i个BCB组件块BCB_i，当进行第k轮迭代时，BCB组件块BCB_i的输出特征图表示为：

其中：x₀为初始输入的特征图，F_N(·)为BCB组件块BCB_i的非线性变换函数，

为第k-1轮迭代时BCB组件块BCB_i的输出特征图，F_i-1(·)为BCB组件块BCB_i-1的非线性变换函数，

为第k轮迭代时BCB组件块BCB_i-1的输出特征图，I^k-1为第k-1轮迭代过程中BCB_i的循环支路输出，N为每个BCB组件块在无人机检测网络运行过程中的循环迭代次数，k≤N，i≤XM。

可选的，每个BCB组件块包括改进空间注意力模块，所述改进空间注意力模块在无人机检测网络运行过程中循环迭代N次；

所述改进空间注意力模块对输入特征图x_in进行处理，具体步骤包括：

通过所述改进空间注意力模块中的HM操作对输入特征图x_in进行特征提取，获得空间注意力热图；

通过所述改进空间注意力模块中的近似残差结构将所述空间注意力热图与初始输入的特征图x₀融合，获得空间注意力增强后的特征图；

HM操作的表达式HM(x_in)为：

HM(x_in)＝σ(conv^7×7([AvgPool(x_in)；MaxPool(x_in)])) (2)；

其中：σ(·)为Sigmoid激活函数，conv^7×7为7×7的卷积核，AvgPool(·)为平均池化操作，MaxPool(·)为最大池化操作，([AvgPool(·)]；MaxPool(·))为对平均池化操作的输出特征图和最大池化操作的输出特征图进行融合。

上述的技术方案中通过引入改进空间注意力模块，使得网络集中关注空间位置上的关键信息，并过滤背景中存在的部分影响特征提取的噪声信息，增强网络的特征提取能力，提高模型检测性能。

可选的，所述改进层间金字塔特征融合模块包括与循环支路结构输出路数对应的特征融合单元，所述循环支路结构运行过程中每次迭代输出特征图进入对应的特征融合单元，所述特征融合单元按照输入特征图从小到大的顺序级联。

可选的，所述特征融合单元为层间金字塔结构，将层间金字塔结构中的双线性插值上采样单元替换为超分辨率上采样单元；通过引入层间金字塔结构，增强了网络对于多尺度信息的处理能力，使用改进的上采样模块替代双线性插值上采样的方式，实现特征金字塔中不同层级上不同分辨率特征图的高效融合；

所述超分辨率上采样单元包括依次连接的两个1×1卷积层、PixelShuffle层、BathNorm层和PRelU激活函数层；

所述超分辨率上采样单元对输入特征图进行处理，具体步骤包括：

将输入特征图的通道数进行扩展，通过像素重组运算将像素重排，对分辨率进行动态调整并将通道数还原；

所述超分辨率上采样单元的输出特征图y的表达式为：

y＝PReLU(BatchNorm(PixelShuffle(Conv(x)))) (3)；

其中：x为超分辨率上采样单元的输入特征图，PReLU(·)为PReLU激活函数，BatchNorm(·)为归一化函数，PixelShuffle(·)为像素重排函数，Conv(·)为卷积操作。

可选的，利用多任务损失函数对无人机检测网络进行训练；

多任务损失函数L_det(p_i,loc_i)的表达式：

其中：

为分类任务的交叉熵损失函数，

为回归任务的SmoothL1损失函数，p_i为模型预测的类别，

为模型真实的类别，loc_i为模型预测的边界框，

为模型真实的边界框尺寸，N_cls为类别归一化函数值，N_reg为边界归一化数值，λ为平衡因子；

交叉熵损失函数

的表达式为：

Smooth L1损失函数

的表达式为：

本发明还提供了一种基于轻量级深度模型的无人机小目标检测系统，包括：

构建模块，用于构建基于轻量级深度模型的无人机检测网络；

采集模块，用于采集无人机图像并构建无人机图像数据库，得到训练数据集；

训练模块，用于将所述训练数据集输入所述无人机检测网络中进行神经网络训练，直至网络收敛；

检测模块，用于将待检测无人机图像输入训练好的无人机检测网络中，获得所述待检测无人机图像的无人机小目标检测结果。

本发明还提供了一种计算机可存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述无人机小目标检测方法的步骤。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种无人机小目标检测方法、系统及可存储介质，具有以下有益效果：

(1)本发明提供的轻量级无人机检测网络，通过循环支路结构向主干网络的深层引入更多浅层细节信息，不仅充分保留了目标特征图的浅层细节信息，而且保证了高层特征能够被循环迭代网络充分提取；

(2)本发明在循环支路结构中集成了改进空间注意力模块，它通过对图片中蕴含的空间信息加以利用，增强了检测模型的空间信息捕获能力，降低了特征图中的噪声及冗余信息对目标检测造成的影响，提高了模型的特征表达能力；

(3)为了增强轻量级无人机检测网络应对复杂场景的能力，进一步提高模型鲁棒性，本发明在检测算法融合结构上进行改进，一方面，在原有的特征金字塔架构中引入层间金字塔结构，使得模型能够根据输入特征图的信息，动态调整到合适的分辨率去处理；另一方面，调整了特征金字塔的双线性上采样策略，替换为改进的上采样模块，该模块主要通过像素重组操作实现图像上采样；

(4)本发明中的轻量级无人机检测网络在保证模型在轻量化的前提下，能够有效地提升无人机检测精度，具有实际工程应用价值。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明中的基于轻量级深度模型的无人机小目标检测方法流程图；

图2为本发明提供的无人机检测网络的结构示意图；

图3为本发明提供的改进空间注意力BCB模块集成示意图；

图4为本发明提供的改进的层间金字塔特征融合模块示意图；

图5为本发明提供的改进的上采样模块示意图；

图6(a)-图6(d)为本发明提供的轻量级无人机检测网络的检测结果示意图；

图7为本发明提供的基于轻量级深度模型的无人机小目标检测系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本发明实施例公开了一种基于轻量级深度模型的无人机小目标检测方法，如图1所示，包括以下步骤：

构建基于轻量级深度模型的无人机检测网络；

采集无人机图像并构建无人机图像数据库，得到训练数据集；

将训练数据集输入无人机检测网络中进行神经网络训练，直至网络收敛；

将待检测无人机图像输入训练好的无人机检测网络中，获得待检测无人机图像的无人机小目标检测结果。

在本实施例中，针对无人机小目标检测的实现，自主采集的无人机数据集中的绝大多数待检测的目标来源于户外真实场景，且大多数无人机目标比人脸数据集中的数据在图像中的占比要小且更模糊，因此随着循环迭代主干网络的迭代次数增加，一些重要的目标细节信息在此过程中大量丢失，这表明使用传统的基于图像金字塔和单发多框检测器组成的目标检测架构对于低空无人机任务而言并非是最优的方案。为了解决上述问题，本实施例提供了一种基于循环迭代架构的轻量级无人机检测网络。该模型通过集成创新的循环支路结构提升网络中目标细节信息含量，通过引入改进的空间注意力模块提高特征图质量，使得模型能够更加充分、高效地利用原始图片中包含的信息，最终获得更好的检测性能。

因此，对以上技术方案进行进一步优化，如图2所示，构建的基于轻量级深度模型的无人机检测网络包括依次连接的初步特征提取模块、循环支路结构以及改进层间金字塔特征融合模块；

初步特征提取模块采用两个卷积单元进行初步特征提取，获取第一特征图并输入循环支路结构中；

循环支路结构在迭代处理过程中通过逐像素求和的方式对第一特征图进行特征融合，获取目标细节信息及第二特征图，实现了目标细节信息含量及特征图质量的提升；

改进层间金字塔特征融合模块通过像素重组运算对第二特征图进行图像上采样，并对分辨率进行动态调整，将输出的第三特征图输入检测器中得到目标检测结果。

具体地，图2中的循环支路结构包括M个依次连接的BCB模块，每个BCB模块包括依次连接的X个BCB组件块。每个BCB组件块包括改进空间注意力模块，改进空间注意力模块在无人机检测网络运行过程中循环迭代N次；本实施例中M＝6，N＝4，X＝4。

进一步的，每个BCB组件块均通过倒置残差模块实现，且通过多个特定的卷积层的交替连接实现非线性变换；

在循环支路结构中，对于第i个BCB组件块BCB_i，当进行第k轮迭代时，BCB组件块BCB_i的输出特征图表示为：

其中：x₀为初始输入的特征图，F_N(·)为BCB组件块BCB_i的非线性变换函数，

为第k-1轮迭代时BCB组件块BCB_i的输出特征图，F_i-1(·)为BCB组件块BCB_i-1的非线性变换函数，

为第k轮迭代时BCB组件块BCB_i-1的输出特征图，I^k-1为第k-1轮迭代过程中BCB_i的循环支路输出，N为每个BCB组件块在无人机检测网络运行过程中的循环迭代次数，k≤N，i≤XM。

在BCB组件块的倒置残差结构中，通道升维和降维的次序与残差网络相反，残差结构的处理顺序是降维、卷积、升维，而倒置残差结构的处理过程是升维、深度可分离卷积、降维，这样处理的原因是：在高维特征空间蕴含更为丰富的语义信息，而深度可分离卷积结构在高维空间中的特征提取效果要比在低维空间中要好。通过调整处理顺序，使得深度可分离卷积能够在高维特征空间中提取特征，进而有利于基本组件模块提取到更为丰富的特征信息。

在上述循环支路结构中，通过确定特征更新策略、特征融合间隔和支路深度来确定循环支路结构中各循环支路的组成形式，进而确定输入特征图的特征在循环支路结构中的连接和传播方式；

特征更新策略用于确定每条循环支路输入特征图中的特征；特征融合策略用于确定每条循环支路所包含的BCB组件块的数量，即确定循环支路两端的距离；支路深度用于确定每条循环支路输入的特征图在对应循环支路传递过程中的目标细节数量。

具体地，特征更新策略包括不更新初始特征图策略和更新初始特征图策略；

其中，不更新初始特征图策略为对于初步特征提取模块提取的浅层特征图，在整个迭代过程中保持不变，且在迭代过程中，浅层特征图会输入到每个循环支路的输入端；更新初始特征图策略为在每一轮迭代更新前，将当前输入特征图与上一轮迭代输出的特征图进行融合作为当前循环支路的输入，进而在循环迭代过程中不断更新循环支路的输入；

特征融合间隔为循环支路两端的距离，用于表示待融合特征图之间的距离，循环支路首尾两端之间的距离与网络高层的抽象特征的数量成正比；

支路深度用于表征循环支路在网络中所处的深度，进而决定特征图在循环支路结构传递过程中的目标细节信息数量；通过在垂直方向上沿循环支路结构平移循环支路，进而控制支路深度的取值。

基于上述策略及参数的选择，本实施例中循环支路结构具体为：

M个BCB模块依次级联，且第1个BCB模块的输入特征图依次与第2～M个BCB模块中的第1个BCB组件块输出的特征图融合，融合后的特征图作为与其连接的第2个BCB组件块的输入特征图。在本实施例的循环支路结构中，仅改变主干网络中的信息传递方式，将浅层的特征与深层的特征重新融合并送入下一轮迭代处理特征图的过程中，这样来自网络早期处理的特征图中蕴含的细节信息就能够被尽可能多地保留，有助于提升小目标检测性能。

在循环支路的运行过程中，它会重新调整第k-1轮迭代处理过程中产生的特征图尺寸，然后将其与第k轮迭代处理产生的特征图融合；这里，考虑到需要降低算法对显存性能的要求，故采用逐像素求和的方式进行特征图信息融合，而非通道拼接的方式。通过这种训练过程中时序上的特征融合，改变了特征信息在网络中的传递方式，在循环迭代提取特征的过程中，保留了无人机小目标在特征图中的细节信息，最终提升模型的检测性能。

在本实施例中，无人机小目标检测任务通常情况下比大中型目标的检测任务更加困难，因此通常检测器在小目标上的性能表现与中大型目标相比差得多。主要有两方面原因：一方面是过小的目标尺寸导致原始图像中包含的目标有效信息极其有限，导致主干网络无法提取到有效特征；另一方面是环境噪声非常容易产生干扰信息，模型容易错误地将场景中的背景噪声识别为目标物。因此，在网络中引入注意力机制，对于无人机等小尺寸目标来说，通道级注意力的处理过程会造成特征图空间维度的压缩，这使得原本就不充足的空间信息在压缩后不仅不能给通道级注意力的学习提供有效的帮助，反而还会增加了模型的计算负担。因此，在本实施例中仅向主干网络中引入空间注意力机制，为了更高效地捕捉到空间级注意力，采用与CBAM相同的空间注意力模块，并且将注意力模块集成到不同的基本组件模块(Basic ComponentBlock)中，如图3所示。

参见图2，当一个尺寸为C×H×W的特征图送入网络后(其中C、H和W分别表示特征图的通道数、高度和宽度)，它将会自底向上依次通过各个BCB组件块，因此特征图也会被其中包含的改进空间注意力模块处理，使得网络会集中关注空间位置上的关键信息，并且会过滤掉背景中存在的部分影响特征提取的噪声信息，最终增强网络的特征提取能力，提高模型检测性能。

因此，为对以上技术方案进行进一步优化，每个BCB组件块包括改进空间注意力模块，改进空间注意力模块在无人机检测网络运行过程中循环迭代N次；

其中，改进空间注意力模块对输入特征图x_in进行处理，具体步骤包括：

通过改进空间注意力模块中的HM操作对输入特征图x_in进行特征提取，获得空间注意力热图；

通过改进空间注意力模块中的近似残差结构将空间注意力热图与初始输入的特征图x₀融合，获得空间注意力增强后的特征图；

HM操作的表达式HM(x_in)为：

HM(x_in)＝σ(conv^7×7([AvgPool(x_in)；MaxPool(x_in)])) (2)；

其中：σ(·)为Sigmoid激活函数，conv^7×7为7×7的卷积核，AvgPool(·)为平均池化操作，MaxPool(·)为最大池化操作，([AvgPool(·)]；MaxPool(·))为对平均池化操作的输出特征图和最大池化操作的输出特征图进行融合。

通过将改进空间注意力模块集成在BCB组件块中，BCB组件块能够强调模型学习特征图空间维度上重要的信息，抑制部分噪声和冗余信息的干扰，该模块能够有效地提升无人机检测网络中传递的特征图质量，并且随着迭代过程的进行，主干网络将会提供更多充足的空间注意力信息，并且会在信息传递过程中能够不断向隐含层展示这些特征，由于空间注意力模块不含有复杂结构与运算，因此参数量以及计算量的多余开销在多数情况下也是可以被忽略的。

为了提升上述网络结构的检测性能，在本实施例的特征融合过程中，引入了层间金字塔结构，增强了网络对于多尺度信息的处理能力，同时，受到超分辨率任务中像素重组操作的启发，本实施例中使用改进的上采样模块替代了双线性插值上采样的方式，实现特征金字塔中不同层级上不同分辨率特征图的高效融合，最终提出改进层间金字塔特征融合模型，该模块的整体结构如图4所示。

具体地，改进层间金字塔特征融合模块包括与循环支路结构输出路数对应的特征融合单元，循环支路结构运行过程中每次迭代输出特征图进入对应的特征融合单元，且特征融合单元按照输入特征图从小到大的顺序级联。

进一步地，特征融合单元为层间金字塔结构，将层间金字塔结构中的双线性插值上采样单元替换为超分辨率上采样单元；

在引入层间金字塔结构的基础上，本实施例中替换了原始特征金字塔结构中双线性插值上采样操作，提出如图5所示的改进的超分辨率上采样模块。

在本实施例中，超分辨率上采样单元包括依次连接的两个1×1卷积层、PixelShuffle层、BathNorm层和PRelU激活函数层；

其中，超分辨率上采样单元对输入特征图进行处理，具体步骤包括：

将输入特征图的通道数进行扩展，通过像素重组运算将像素重排，对分辨率进行动态调整并将通道数还原；

超分辨率上采样单元的输出特征图y的表达式为：

y＝PReLU(BatchNorm(PixelShuffle(Conv(x)))) (3)；

其中：x为超分辨率上采样单元的输入特征图，PReLU(·)为PReLU激活函数，BatchNorm(·)为归一化函数，PixelShuffle(·)为像素重排函数，Conv(·)为卷积操作。

具体地，本实施例中设置卷积核大小为1×1×(c×2²)，激活函数选用改进PReLU函数，采用批正则化处理，同时像素重组的尺度参数为2，假设输入、输出特征图分别为x∈R^w×h×c和y∈R^{(2×w)×(2×h)×c}，则上采样模块的处理过程可由上述公式表示。该模块首先将图像的通道数拓展到原先的4倍，然后使用像素重组运算将像素重排，使得特征图分辨率提升的同时，通道数还原到初值。

在本实施例中，采用随机梯度下降法对无人机检测网络进行训练，并设置总迭代次数为300K，初始学习率为10^-3，权重衰减参数为0.0005，冲量参数为0.9，当进行第120K和240K次迭代时，将学习率分别调整至10^-4和10^-5。

为对以上技术方案进行进一步优化，利用多任务损失函数对无人机检测网络进行训练；

多任务损失函数L_det(p_i,loc_i)的表达式：

其中：

为分类任务的交叉熵损失函数，

为回归任务的SmoothL1损失函数，p_i为模型预测的类别，

为模型真实的类别，loc_i为模型预测的边界框，

为模型真实的边界框尺寸，N_cls为类别归一化函数值，N_reg为边界归一化数值，λ为平衡因子；

交叉熵损失函数

的表达式为：

Smooth L1损失函数

的表达式为：

实施例2

本发明实施例提供了一种基于轻量级深度模型的无人机小目标检测系统，如图7所示，包括：

构建模块，用于构建基于轻量级深度模型的无人机检测网络；

采集模块，用于采集无人机图像并构建无人机图像数据库，得到训练数据集；

训练模块，用于将训练数据集输入无人机检测网络中进行神经网络训练，直至网络收敛；

检测模块，用于将待检测无人机图像输入训练好的无人机检测网络中，获得待检测无人机图像的无人机小目标检测结果。

本发明还提供了一种计算机可存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1中所述无人机小目标检测方法的步骤。

如图6(a)-图6(d)所示为通过本发明的技术方案得到的无人机小目标检测结果，从图中可以看出，本发明可以更精确的检测出无人机小目标，不仅能够检测出尺度极小的不同类型无人机，而且对复杂环境下的无人机检测有较好的鲁棒性且更加精准。特征融合模块能够使特征图中全局信息和局部信息更高效地融合，因此网络模型可以根据无人机周边环境(如天空、树木)权衡并调整检测结果的置信度，并最终规避部分不合理的误检情况，与之对应，一些漏检的目标就能够被响应并检测出来。另一方面，超分辨率上采样模块缓解了传统上采样方式的信息丢失，避免了迭代过程中的像素偏移，因此模型预测出的检测框也就更加精准。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于轻量级深度模型的无人机小目标检测方法，其特征在于，包括以下步骤：

构建基于轻量级深度模型的无人机检测网络；

采集无人机图像并构建无人机图像数据库，得到训练数据集；

将所述训练数据集输入所述无人机检测网络中进行神经网络训练，直至网络收敛；

将待检测无人机图像输入训练好的无人机检测网络中，获得所述待检测无人机图像的无人机小目标检测结果。

2.根据权利要求1所述的一种基于轻量级深度模型的无人机小目标检测方法，其特征在于，构建的基于轻量级深度模型的无人机检测网络包括依次连接的初步特征提取模块、循环支路结构以及改进层间金字塔特征融合模块；

所述初步特征提取模块对输入的无人机图像进行初步特征提取，获取第一特征图并输入所述循环支路结构中；

所述循环支路结构在迭代处理过程中通过逐像素求和的方式对第一特征图进行特征融合，获取目标细节信息及第二特征图并输入所述改进层间金字塔特征融合模块中；

所述改进层间金字塔特征融合模块通过像素重组运算对所述第二特征图进行图像上采样，并对分辨率进行动态调整，将输出的第三特征图输入检测器中得到目标检测结果。

3.根据权利要求2所述的一种基于轻量级深度模型的无人机小目标检测方法，其特征在于，所述循环支路结构包括M个依次连接的BCB模块，每个BCB模块包括依次连接的X个BCB组件块；其中：第1个BCB模块的输入特征图依次与第2～M个BCB模块中的第1个BCB组件块输出的特征图融合，融合后的特征图作为与其连接的第2个BCB组件块的输入特征图。

4.根据权利要求3所述的一种基于轻量级深度模型的无人机小目标检测方法，其特征在于，每个BCB组件块包括倒置残差结构，且通过卷积层的交替连接进行非线性变换；

在循环支路结构中，对于第i个BCB组件块BCB_i，当进行第k轮迭代时，BCB组件块BCB_i的输出特征图表示为：

其中：x₀为初始输入的特征图，F_N(·)为BCB组件块BCB_i的非线性变换函数，

为第k-1轮迭代时BCB组件块BCB_i的输出特征图，F_i-1(·)为BCB组件块BCB_i-1的非线性变换函数，

为第k轮迭代时BCB组件块BCB_i-1的输出特征图，I^k-1为第k-1轮迭代过程中BCB_i的循环支路输出，N为每个BCB组件块在无人机检测网络运行过程中的循环迭代次数，k≤N，i≤XM。

5.根据权利要求4所述的一种基于轻量级深度模型的无人机目标检测方法，其特征在于，每个BCB组件块包括改进空间注意力模块，所述改进空间注意力模块在无人机检测网络运行过程中循环迭代N次；

所述改进空间注意力模块对输入特征图x_in进行处理，具体步骤包括：

通过所述改进空间注意力模块中的HM操作对输入特征图x_in进行特征提取，获得空间注意力热图；

通过所述改进空间注意力模块中的近似残差结构将所述空间注意力热图与初始输入的特征图x₀融合，获得空间注意力增强后的特征图；

HM操作的表达式HM(x_in)为：

HM(x_in)＝σ(conv^7×7([AvgPool(x_in)；MaxPool(x_in)])) (2)；

其中：σ(·)为Sigmoid激活函数，conv^7×7为7×7的卷积核，AvgPool(·)为平均池化操作，MaxPool(·)为最大池化操作，([AvgPool(·)]；MaxPool(·))为对平均池化操作的输出特征图和最大池化操作的输出特征图进行融合。

6.根据权利要求2所述的一种基于轻量级深度模型的无人机目标检测方法，其特征在于，所述改进层间金字塔特征融合模块包括与循环支路结构输出路数对应的特征融合单元，所述循环支路结构运行过程中每次迭代输出特征图进入对应的特征融合单元，所述特征融合单元按照输入特征图从小到大的顺序级联。

7.根据权利要求6所述的一种基于轻量级深度模型的无人机目标检测方法，其特征在于，所述特征融合单元为层间金字塔结构，将层间金字塔结构中的双线性插值上采样单元替换为超分辨率上采样单元；

所述超分辨率上采样单元包括依次连接的两个1×1卷积层、PixelShuffle层、BathNorm层和PRelU激活函数层；

所述超分辨率上采样单元对输入特征图进行处理，具体步骤包括：

将输入特征图的通道数进行扩展，通过像素重组运算将像素重排，对分辨率进行动态调整并将通道数还原；

所述超分辨率上采样单元的输出特征图y的表达式为：

y＝PReLU(BatchNorm(PixelShuffle(Conv(x)))) (3)；

其中：x为超分辨率上采样单元的输入特征图，PReLU(·)为PReLU激活函数，BatchNorm(·)为归一化函数，PixelShuffle(·)为像素重排函数，Conv(·)为卷积操作。

8.根据权利要求1所述的一种基于轻量级深度模型的无人机目标检测方法，其特征在于，利用多任务损失函数对无人机检测网络进行训练；

多任务损失函数L_det(p_i,loc_i)的表达式：

其中：

为分类任务的交叉熵损失函数，

为回归任务的SmoothL1损失函数，p_i为模型预测的类别，

为模型真实的类别，loc_i为模型预测的边界框，

为模型真实的边界框尺寸，N_cls为类别归一化函数值，N_reg为边界归一化数值，λ为平衡因子；

交叉熵损失函数

的表达式为：

Smooth L1损失函数

的表达式为：

9.一种基于轻量级深度模型的无人机小目标检测系统，其特征在于，包括：

构建模块，用于构建基于轻量级深度模型的无人机检测网络；

采集模块，用于采集无人机图像并构建无人机图像数据库，得到训练数据集；

训练模块，用于将所述训练数据集输入所述无人机检测网络中进行神经网络训练，直至网络收敛；

检测模块，用于将待检测无人机图像输入训练好的无人机检测网络中，获得所述待检测无人机图像的无人机小目标检测结果。

10.一种计算机可存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述无人机小目标检测方法的步骤。

Images