CN115761552A - 面向无人机机载平台的目标检测方法、系统、设备及介质 - Google Patents

Abstract

本发明公开了一种面向无人机机载平台的目标检测方法、系统、设备及介质。所述方法包括：搭建网络模型，构建损失函数；通过旋转、随机裁剪和Mosaic对无人机航拍图像数据集进行数据增强，并将图像调整至预定分辨率；使用增强后的数据训练模型直至收敛；将模型部署至无人机机载平台，并使用无人机机载摄像头实时捕获地面图像，存储至机载平台数据库中；将图像调整至预定分辨率后输入到预设的网络模型中，得到对应目标检测结果；将所述的目标检测结果，输送至无人机控制单元，根据检测结果对无人机进行控制。所述方法缓解了无人机图像中复杂背景的干扰，强化模型对不同尺度目标的检测性能，有效提高了无人机图像目标检测的精度，并根据检测结果对无人机进行精准控制。

Description

面向无人机机载平台的目标检测方法、系统、设备及介质

技术领域

本发明涉及一种面向无人机机载平台的目标检测方法、系统、设备及介质，属于计算机视觉技术领域。

背景技术

作为信息化时代的新型技术产物，无人机凭借成本低廉、无人员伤亡风险、高机动性、远程部署、携带方便等优势，在辅助交通、生物保护，旅游航拍、警用安防等诸多领域中都展现出了巨大的价值和应用前景。而无人机航拍图像目标检测作为无人机应用的关键技术，也顺势成为了最热门的研究课题。但无人机高空作业、巡航高度不定等特点，使其所捕获的图像通常存在背景复杂、包含大量密集微小目标、目标尺度变化剧烈等特点。除此以外，大多数目标检测数据集都是针对自然场景设计，与无人机所捕获的图像相差甚大，这些因素使得针对无人机航拍图像的目标检测任务变得非常具有挑战性。

传统目标检测方法首先通过区域选择器以遍历的方式选出候选区域；然后利用HOG、Haar等特征提取器进行特征提取；最后使用AdaBoost、支持向量机等分类器对提取到的特征进行分类。但该类方法通过穷举候选框来得到感兴趣区域，不仅时间复杂度高，而且会产生大量窗口冗余。此外手工设计的特征提取器泛化能力不足以应对航拍图像中的复杂场景和多类检测任务。得益于硬件和算力的发展，基于深度学习的航拍图像目标检测算法逐渐代替传统方法成为了主流。与传统方法相比，基于深度学习的方法因其出色的特征表达和学习能力促进了无人机航拍图像目标检测的发展。Yang等人提出了一种集群检测网络ClusDet，将聚类和检测过程统一到了端到端框架中，同时通过隐式地建模先验上下文信息提高尺度估计的准确性。Yu等对于无人机数据集中类别分布不均衡的问题进行了研究，并采用双路径方式分别处理头部类和尾部类，这种处理方式有效提高了尾部类的检测效果。Liu等设计了一种针对高分辨率图像的检测模型HRDNet。该方法利用深层主干网络和浅层主干网络分别对低分辨率特征图和高分辨率特征图进行处理，解决了检测高分辨率特征图时计算开销过大的问题。Wu等从提高无人机目标检测鲁棒性的角度展开研究，通过对抗学习方式区分有效的目标特征和干扰因素，提高了单类目标检测的鲁棒性。Youssef等将多层级联RCNN与特征金字塔进行融合，在个别类别上提升了精度，但整体效果下降。Li等人提出了一种感知生成对抗网络模型，用于实现小目标的超分辨率表示，使小目标具有与大目标相似的表达，从而缩减尺度差异。Tang等设计了一种无锚框的检测器，并将原始高分辨率图像分割为多个子图像进行检测，这使得算法在精度上得到提高，但这也带来了更多的计算负荷。Mekhalfi等通过胶囊网络对目标之间的关系进行建模，提高了网络对于拥挤、遮挡情况下目标的解析能力。Chen等提出了场景上下文特征金字塔，强化了目标与场景之间的关系，抑制了尺度变化带来的影响，此外在ResNeXt结构的基础上，引入了膨胀卷积增大感受野。这些方法从不同角度入手对密集微小目标检测任务进行优化，但它们都没有考虑到复杂背景对航拍图像目标检测精度的影响，以及微小目标信息会随网络层数增加而丢失的问题。因此亟须一种高精度的无人机图像目标检测方法以解决上述问题。

发明内容

针对现有方法中存在的问题，本发明的目的在于提供一种面向无人机机载平台的目标检测方法、系统、设备及介质，通过在无人机机载平台上搭载的网络模型，实现对航拍图像目标的精准检测，并根据检测结果对无人机进行控制。

为实现上述目的，本发明的一个实施例提供了一种面向无人机机载平台的目标检测方法，包括：

S1：获取无人机航拍图像数据集；

S2：通过旋转、随机裁剪和Mosaic对无人机航拍图像数据集进行数据增强，并将图像调整至预定分辨率；

S3：将处理后的数据输入到具有全局感知能力的特征提取网络中，提取多尺度特征；

S4：利用基于双分支采样的特征融合模块对提取到的不同尺寸特征图进行多尺度特征融合；

S5：通过预设的反残差特征增强模块进行特征增强；

S6：将处理后的特征输入到预设的检测头中，计算得到目标的预测框位置，并结合分类损失、置信度损失和回归损失计算预测框与真实标签的重合度；

S7：模型训练完成后将其部署至无人机机载平台。

进一步地，所述的具有全局感知能力的特征提取网络，包括：

对输入图像进行下采样，提取四个有效特征层；

在高层特征图上通过嵌套残差结构的NRCT模块实现局部信息和全局信息的结合；

外部残差边对提取的局部信息进行恒等映射，与内部残差边中通过若干个多头自注意力模块提取的全局信息进行维度拼接。

进一步地，所述按照基于双分支采样的特征融合模块对提取的多尺度特征进行特征融合，包括：

将提取的多尺度特征图按照所述的基于双分支采样的特征融合模块中的双分支上采样特征融合路径DBUS自上而下将顶层特征图中丰富的语义信息传递至低层，得到初步融合后的特征图。

将所述的初步融合后的特征图按照所述的基于双分支采样的特征融合模块中的双分支下采样特征融合路径DBDS自下而上将低层特征图中丰富的空间信息传递至顶层，得到最终融合完成后的特征图。

进一步地，所述双分支上采样特征融合路径DBUS，包括：

构建双线性插值和最近邻插值两个并行的上采样分支分别得到不同的特征图上采样结果；

对上采样结果进行批处理归一化；

将不同分支的上采样结果进行加和，并使用SiLU作为激活函数，得到语义信息更为丰富的特征图。

进一步地，所述双分支下采样特征融合路径DBDS，包括：

构建卷积和最大值池化两个并行的下采样分支，分别得到不同的特征图下采样结果；

对下采样结果进行批处理归一化；

将不同分支的下采样结果进行加和，并使用SiLU作为激活函数，得到包含更多细粒度信息的特征图。

进一步地，所述预设的反残差特征增强模块首先对小目标特征进行通道上的扩张，然后在扩张后的小目标特征上进行特征提取，并将跳连路径建立在扩张后的特征上实现特征的恒等映射；通过深度卷积对特征进行提取；再由1×1卷积进行通道调整，最终对恒等映射的特征和深度卷积提取的特征进行拼接。

进一步地，所述预设的检测头对应检测不同分辨率的目标，包括：

设置四个检测头，每个检测头包含一个检测层和一个卷积层；

获取对应分辨率的特征图后，通过卷积层输出大小为1×1×C的特征向量；

所述特征向量的前四个通道表示预测框的位置信息，即中心坐标和预测框的宽高；

所述特征向量的第五个通道对应置信度，表示认为检测框内是某类目标的概率；

所述特征向量的剩余通道对应分类类别；

进一步地，所述损失函数整体计算公式如下：

式中

，

，

分别表示置信度损失、回归损失、分类损失。A,B,C表 示不同损失所占权重。

采用Soft-NMS对所有类别的检测框进行循环过滤，再依次按类别将所有检测框按照概率进行降序排列；其中以预测概率最大的检测框作为候选框，其置信度保持不变；其余检测框依次与候选框计算IoU；利用得到的IoU值，经过预设函数，更新其余检测框的置信度值；不断重复上述过程，直到所有的检测框的值都被更新；最终根据置信度阈值，过滤出剩余的检测框作为最终的输出。

本发明的一个实施例提供了一种面向无人机机载平台的目标检测系统，包括：

数据捕获单元，通过机载摄像头捕获地面图像。

数据预处理单元，用于对所述的机载摄像头捕获的图像进行预处理，并将其存储至机载平台数据库中。

目标检测单元，将所述机载平台数据库中的无人机航拍图像输入至训练好的网络模型中，得到可视化检测结果。

控制单元，将所述的可视化检测结果发送至所述的无人机控制端中，根据所述的可视化检测结果对无人机进行控制。

本发明的一个实施例提供了一种面向无人机机载平台的目标检测终端设备，其特征在于，包括输入设备、输出设备、处理器、和存储器，其中，所述存储器用于存储计算机程序，所述处理器用于执行计算机程序实现上述的面向无人机机载平台的目标检测方法。

本发明的一个实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述的计算机程序被处理器执行时执行上述的面向无人机机载平台的目标检测方法。

相对于现有技术，本发明的优点和积极效果在于：本发明在基准模型YOLOv5的基础上，在主干网络中集成了自注意力，实现局部信息和全局信息的结合，提高了模型对复杂背景的抗干扰能力；本发明提供了一种基于双分支采样的特征融合模块，使用包含更多细粒度信息的特征图实现特征融合，有利于提高模型分类和定位能力，并缓解信息衰减问题；本发明设计了一种反残差的特征增强模块用于获取具有鉴别性的小目标特征，有利于更加精确的检测无人机图像中的小目标；本发明将模型部署至无人机机载平台，通过机载摄像头捕获地面图像，借助训练好的网络实现精准目标检测，并根据检测结果对无人机进行精准控制。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明第一实施例提供的一种面向无人机机载平台的目标检测方法的框架流程图；

图2为本发明为本发明第一实施例提供的NRCT的结构示意图；

图3为本发明第一实施例提供的双分支采样特征融合模块的结构示意图；

图4为本发明第一实施例提供的反残差特征增强模块的结构示意图；

图5为本发明第一实施例提供的一种面向无人机机载平台的目标检测方法步骤流程图；

图6为本发明第二实施例提供的一种面向无人机机载平台的目标检测系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行进一步说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明第一实施例提供的一种面向无人机机载平台的目标检测方法的框架流程图，包括：

S1：获取无人机航拍图像数据集；

S2：通过旋转、随机裁剪和Mosaic对无人机航拍图像数据集进行数据增强，并将图像调整至预定分辨率；

S3：将处理后的数据输入到具有全局感知能力的特征提取网络中，提取多尺度特征；

其中，所述的具有全局感知能力的特征提取网络在高层特征图上通过嵌套残差结构的NRCT模块将自注意力集成于卷积神经网络中，实现局部信息和全局信息的结合。

如图2所示，本发明中提供了一个嵌套残差的NRCT模块用于捕获局部信息和全局信息。内层残差结构中通过多头自注意力模块对特征进行全局建模，自适应地为特征图分配不同权重，以淡化复杂背景的干扰。同时外层残差结构中对局部信息进行恒等映射。最终将局部信息和全局信息进行维度拼接。

S4：利用基于双分支采样的特征融合模块对提取到的不同尺寸特征图进行多尺度特征融合；

如图3所示，所述的基于双分支采样的特征融合模块由双分支上采样特征融合路径DBUS和双分支下采样特征融合路径DBDS构成。

首先，双分支上采样特征融合路径DBUS构建Bilinear和Nearest两条并行分支分别实现上采样，将原本特征图的分辨率扩展至2倍，并用批处理归一化层加速模型训练和收敛速度，防止过拟合而后进行逐像素加和，并通过SiLU激活函数引入非线性因素。该过程定义为：

式中Branch_Bi和Branch_Ne对应两条分支中的不同上采样方法，BN表示批处理归一化层，⊕表示逐元素加和，SiLU激活函数在深层网络中效果更佳。

其次，双分支下采样特征融合路径DBDS构建Conv分支和Maxpooling分支两条并行下采样分支，Conv分支关注局部感受野内整体特征，Maxpooling分支提取池化核内最突出的信息。不同分支从不同角度提取特征，经过批处理归一化后将下采样结果进行融合，对高层特征图中的空间位置信息进行进一步强化，提高对小目标的定位能力，并保留更多的上下文信息。该过程定义为：

式中Branch_Conv和Branch_Max对应两条不同的下采样分支。

最终对多尺度特征进行特征融合，通过双分支上采样特征融合路径DBUS将高层特征图中语义信息传递至浅层特征图以提高模型分类能力，通过双分支下采样特征融合路径DBDS将浅层特征图中的空间位置信息传递至高层，弥补高层特征图中定位能力不足的缺陷。

S5：通过预设的反残差特征增强模块进行特征增强；

如图4所示，所述的基于基于反残差的特征增强模块先对特征进行升维，并利用深度卷积对高维特征进行特征提取以保证代表性。同时，将跳连路径建立在升维后的特征上，将增强后的特征映射至下一层。此外，激活函数ReLU会将分布小于0的特征截断，导致信息损失。因此选择在深层模型上效果更好的Swish作为激活函数，以提高模型性能。

S6：将处理后的特征输入到预设的检测头中，计算得到目标的预测框位置，并结合分类损失、置信度损失和回归损失计算预测框与真实标签的重合度。

检测头以四个特定通道数的特征向量作为输入，分别检测不同分辨率的目标。这些特征向量包含5+类别数量的通道数，前四个通道对应预测框的位置信息（中心点坐标和预测框宽高），第五个通道对应预测该目标为某个类别的置信度。所述的整体损失函数定义如下：

式中

，

，

分别表示置信度损失、回归损失、分类损失。A,B,C表 示不同损失所占权重。

在计算回归损失时，考虑到预测值与真实值中心点坐标、重叠面积和宽高比之间的相关性，通过CIoU处理回归损失。定义如下：

式中

为预测框和真实框的中心点距离，

为两者的最小包围矩形的对角线长 度，

为两者的宽高比相似度，

为

的影响因子。

置信度损失和分类损失使用BCE损失函数。BCE损失不仅适用于二分类任务，也可以通过多个二元分类叠加实现多标签分类，其定义如下：

式中

表示标签置信度，

表示预测置信度。

整个网络通过损失函数调整内部权重参数，最终使损失函数最小化，然后通过Soft-NMS对所有预测框进行筛选，得到最终预测结果。

S7：模型训练完成后将其部署至无人机机载平台。

基于相同的发明构思，本发明第二实施例提供的一种面向无人机机载平台的目标检测系统的结构示意图，包括：

数据捕获单元，通过机载摄像头捕获地面图像。

数据预处理单元，对所述的机载摄像头捕获的图像进行预处理，并将其存储至机载平台数据库中。

具体的，对于数据预处理单元，用于将捕获的地面图像缩放至统一分辨率，对于摄像机捕获的RGB三通道图像，本实施例中使用双线性插值进行图像缩放。

目标检测单元，将所述机载平台数据库中的无人机航拍图像输入至训练好的网络模型中，得到可视化检测结果。

具体的，获取缩放后的待测图像，并将其输入至训练好的网络模型中，利用主干网络对无人机航拍图像进行特征提取，获得多尺度特征，使用基于双分支采样的特征融合模块对提取的多尺度特征进行融合，通过反残差特征增强模块对融合后的特征进行特征增强，将处理后的特征输入到检测头中，每个检测头通过编码目标信息生成具有S²*B*(4+1+C)维度的张量。S²为特征图中包含的网格数；B为每个网格上预设的预测框数量；数字4表示预测框坐标信息(x,y,h,w)；数字1表示置信度；C表示目标类别数量。最后使用Soft-NMS对所有类别的检测框进行循环过滤，再依次按类别将所有检测框按照概率进行降序排列；其中以预测概率最大的检测框作为候选框，其置信度保持不变；其余检测框依次与候选框计算IoU；利用得到的IoU值，经过预设函数，更新其余检测框的置信度值；不断重复上述过程，直到所有的检测框的值都被更新；最终根据置信度阈值，过滤出剩余的检测框作为最终的检测结果。

控制单元，将所述的可视化检测结果发送至所述的无人机控制端中，根据所述的可视化检测结果对无人机进行控制。

具体的，对于控制单元，使用NVIDIA Jetson^TM TX2 NX平台将目标检测结果传递到无人机控制端，在控制端接收到检测结果后，根据检测结果对无人机进行进一步控制。

本发明的一个实施例提供了一种面向无人机机载平台的目标检测终端设备，包括一个或多个输入设备（机载摄像头）、一个或多个输出设备、一个或多个处理器以及存储器，存储器用于存储计算机程序，处理器用于执行计算机程序实现上述的面向无人机机载平台的目标检测方法。

本发明的一个实施例提供了一种计算机可读存储介质，存储有计算机程序，所述的计算机程序被处理器执行时执行上述的面向无人机机载平台的目标检测方法。

为了验证以上实施例的有效性，我们通过计算平均精度均值将本发明与无人图像目标检测方面的先进方法进行对比。具体来说，我们使用VisDrone数据集来评估我们的发明。VisDrone数据集中包含6471张训练图像和548张验证图像，共涵盖10个类别：汽车、人、公共汽车、自行车、卡车、面包车、带棚三轮车和三轮车。

VisDrone数据集上的实验结果如表1所示。

表1 不同方法在VisDrone数据集上的性能检测

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。另外，本发明中各个实施例可根据实际情况任意组合使用。

Claims (10)

1.一种面向无人机机载平台的目标检测方法，其特征在于，至少包括如下步骤：

S1：获取无人机航拍图像数据集；

S2：通过旋转、随机裁剪和Mosaic对无人机航拍图像数据集进行数据增强，并将图像调整至预定分辨率；

S3：将处理后的数据输入到具有全局感知能力的特征提取网络中，提取多尺度特征；

S4：利用基于双分支采样的特征融合模块对提取到的不同尺寸特征图进行多尺度特征融合；

S5：通过预设的反残差特征增强模块进行特征增强；

S6：将处理后的特征输入到预设的检测头中，计算得到目标的预测框位置，并结合分类损失、置信度损失和回归损失计算预测框与真实标签的重合度；

S7：模型训练完成后将其部署至无人机机载平台。

2.如权利要求1所述的面向无人机机载平台的目标检测方法，其特征在于，构建具有全局感知能力特征提取网络；通过嵌套残差的NRCT模块将自注意力集成于基于卷积的特征提取网络中。

3.如权利要求1所述的面向无人机机载平台的目标检测方法，其特征在于，利用所述的基于双分支采样的特征融合模块对提取的多尺度特征图进行特征融合；该模块包含自上而下的双分支上采样特征融合路径DBUS和自下而上的双分支下采样特征融合路径DBDS，通过双分支并行的方式得到更精细的特征图。

4.如权利要求1所述的面向无人机机载平台的目标检测方法，其特征在于，构建尺度适应的改进检测头；将包含更多细粒度特征的浅层特征图集成到特征融合序列中，并按照输出的多个不同尺度的特征图设置对应的检测头，同时调整通道变换策略，提高浅层特征图所占权重，再经由预设的特征增强模块获取更多具有鉴别性的小目标特征。

5.如权利要求2所述的面向无人机机载平台的目标检测方法，其特征在于，所述的嵌套残差NRCT模块将自注意力集成于基于卷积的特征提取网络中，该模块首先对输入特征图进行1 × 1卷积，引入更多的非线性因素，提升网络的表达能力；而后将特征图送入到多头自注意力模块中，通过逐像素相乘的方式对全局信息进行建模，自适应地为特征图分配不同权重；1 × 1卷积、多头自注意力模块为内层残差结构的前向神经网络，而跳连路径则作为残差边将恒等映射传递至深层网络中；1 × 1卷积、多头自注意力模块以及残差边视作是一个BottleNeck，也作为内层残差结构；同时，多个BottleNeck组成了外层残差结构的前向神经网络，外层残差边则对提取的局部信息进行恒等映射，和内层残差结构提取的全局特征进行维度拼接。

6.如权利要求3所述的面向无人机机载平台的目标检测方法，其特征在于，所述的双分支上采样特征融合路径DBUS由Bilinear分支和Nearest分支构成，分别将原始特征图的维度由H × W × C扩展至2H × 2W × C，并对生成的上采样结果进行逐元素加和；并利用SiLU激活函数和BN层避免梯度消失，加速训练收敛过程；所述的双分支下采样特征融合路径DBDS由Conv分支和Pooling分支构成，分别将原始特征图的维度由H × W × C缩减至H/2 × W/2 × C；不同分支的下采样结果携带不同的小目标特征信息，将代表不同特征的采样结果进行逐元素加和，得到更丰富的细化特征，并抵消信息衰减带来的影响。

7.如权利要求4所述的面向无人机机载平台的目标检测方法，其特征在于，引入反残差结构设计特征增强模块，对升维后的特征层进行特征提取，并将跳连路径建立在升维后的特征上，再由1×1卷积进行维度调整，实现通道拼接。

8.一种面向无人机机载平台的目标检测系统，其特征在于，包括：

数据捕获单元，通过机载摄像头捕获地面图像；

数据预处理单元，用于对所述的机载摄像头捕获的图像进行预处理，并将其存储至机载平台数据库中；

目标检测单元，将所述机载平台数据库中的无人机航拍图像输入至训练好的网络模型中，得到可视化检测结果；

控制单元，将所述的可视化检测结果发送至所述的无人机控制端中，根据所述的可视化检测结果对无人机进行控制。

9.一种面向无人机机载平台的目标检测终端设备，其特征在于，包括输入设备、输出设备、处理器、和存储器，其中，所述存储器用于存储计算机程序，所述处理器用于执行计算机程序，实现如权利要求1-7任意一项所述的面向无人机机载平台的目标检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述的计算机程序被处理器执行时执行如权利要求1-7中任意一项所述的面向无人机机载平台的目标检测方法。

Images