CN117237830B

CN117237830B - 基于动态自适应通道注意力的无人机小目标检测方法

Info

Publication number: CN117237830B
Application number: CN202311489357.6A
Authority: CN
Inventors: 吴迪; 谭凯文; 赵品懿; 陈子涵; 万琴; 沈学军
Original assignee: Hunan Institute of Engineering
Current assignee: Hunan Institute of Engineering
Priority date: 2023-11-10
Filing date: 2023-11-10
Publication date: 2024-02-20
Anticipated expiration: 2043-11-10
Also published as: CN117237830A

Abstract

本发明涉及计算机视觉技术领域，具体公开了基于动态自适应通道注意力的无人机小目标检测方法，包括如下步骤：步骤S1：以RseNet50作为骨干网络提取特征，利用特征金字塔网络融合特征，得到多尺度特征；步骤S2：构建多尺度三角动态颈网络，将步骤S1中的多尺度特征输入到多尺度三角动态颈网络中，得到细粒特征；所述多尺度三角动态颈网络结构包括横向连接路径和下采样连接路径，两种连接路径的各个连接中引入动态注意力模块，用于计算动态注意力权重和交并比损失；步骤S3：对步骤S2中的细粒特征执行预测框回归和分类任务，实现小目标检测。

Description

基于动态自适应通道注意力的无人机小目标检测方法

技术领域

本发明涉及图像检测与处理技术领域，具体涉及基于动态自适应通道注意力的无人机小目标检测方法。

背景技术

无人机借助其良好的适应能力、生存能力、低成本和高效率等优势，已经逐渐代替人类完成危险、高难度的任务。具备优秀的视觉能力是无人机在分析场景信息、及时作出调整、保证完成任务的必要条件。随着计算机视觉的不断发展，目标检测已经成为无人机应用的核心技术之一。然而，无人机航拍的图像，所包含的目标具有体积小、特征模糊、分布无序、容易遮挡等特点。因此，如何在小目标数据稀缺下提升小目标检测性能和不同环境下检测的鲁棒性有重要的研究意义。

随着深度学习（Deep Learning）技术取得了突破性的进展，以卷积神经网络为代表的目标检测算法全面超越了传统算法，在鲁棒性、准确性和运行速度方面均取得不错的结果。基于卷积神经网络的目标检测方法可分为有锚框和无锚框两类。有锚框目标检测算法需要人工手动地设计锚框，但预定义锚框的大小和长宽比往往不适用于小目标的尺寸和形状分布。小目标的尺寸较小且多样性大，使用固定的锚框难以覆盖和捕捉到小目标的多样形状和尺寸。为提高检测的召回率，采用兴趣区域网络在图像上密集地放置锚框，因涉及预测框与真值框之间的交并比等复杂的计算，从而导致内存占用率高。为降低算法的计算复杂度，无锚框的目标检测器被提出，其主要思想是不需要预定义锚框，使用特征点或边界框来表示目标的位置和大小，具有较好的适应性。但对于小目标而言，基于特征点或边界框进行位置和尺寸的预测，由于尺寸较小且细节有限，因此预测的位置可能存在一定的定位误差，导致目标的定位不够准确。无论是有锚框还是无锚框的检测器，不同尺度目标通过骨干网络下采样后，会出现语义隔阂，导致小目标检测性能不佳。现有技术难以同时满足高分辨率和高语义信息需求的问题。

综上所述，急需基于动态自适应通道注意力的无人机小目标检测方法解决现有技术中图像检测难以同时满足高分辨率和高语义信息需求的问题。

发明内容

本发明目的在于提供基于动态自适应通道注意力的无人机小目标检测方法，具体技术方案如下：

基于动态自适应通道注意力的无人机小目标检测方法，包括如下步骤：

步骤S1：提取多尺度特征，具体是，以RseNet50作为骨干网络提取图像数据的浅层特征图和深层特征图，利用特征金字塔网络融合浅层特征图和深层特征图，得到多尺度特征；

步骤S2：提取细粒特征，具体是，构建多尺度三角动态颈网络，将步骤S1中的多尺度特征输入到多尺度三角动态颈网络中，得到细粒特征；所述多尺度三角动态颈网络结构包括横向连接路径和下采样连接路径，两种连接路径的各个连接中引入动态注意力模块，所述动态注意力模块用于计算动态注意力权重和交并比损失；

步骤S3：预测框回归和分类，具体是，对步骤S2中的细粒特征执行预测框回归和分类任务，实现小目标检测。

优选的，在步骤S1中，浅层特征图为具有高分辨率的特征图，深层特征图为具有丰富语义信息的特征图。

优选的，在步骤S2中，横向连接路径具体是，多尺度特征先进行深度可分离卷积加上组归一化激活，再经过一层深度可分离卷积和组归一化，然后与动态注意力权重相乘，最后加上残差连接得到横向连接输出。

优选的，在步骤S2中，下采样连接路径中引入双线性插值法，具体是，将对应的下采样前图像像素点和下采样后图像像素点的灰度值进行插值计算，得到新像素点的灰度值。

优选的，在步骤S2中，横向连接输出的表达式如下：

；

其中，表示横向连接输出，/>表示特征图/>的动态注意力权重，/>代表经过处理后与动态注意力权重相乘的特征图，/>表示残差连接操作。

优选的，在步骤S2中，下采样连接输出的表达式如下：

；

其中，表示引入双线性插值法的下采样操作。

优选的，在步骤S2中，动态注意力模块在动态混合中引入分组批量，输入特征图为，其对应的动态通道注意力权重为/>，其中，/>表示批量大小，/>表示通道数，/>表示注意力通道数量，/>表示特征图大小。

优选的，在步骤S2中，动态注意力权重的计算表达式如下：

；

其中，表示动态注意力权重，/>表示采用激活函数进行激活操作，/>表示组归一化操作，/>表示深度可分离卷积操作。

优选的，在步骤S2中，激活函数的表达式如下：

；

其中，表示激活函数，/>和/>为可动态调整的参数。

优选的，在步骤S2中，交并比损失的计算方式如下：

当交并比为0时，交并比损失的表达式如下：

；

当交并比大于0时，交并比损失的表达式如下：

；

其中，和/>分别表示预测框和真实框的左上角点坐标；/>和/>分别表示预测框和真实框的右下角点坐标；/>表示交并比；表示预测框和真实框的左上角点之间的欧式距离；表示预测框和真实框的右下角点之间的欧式距离。

应用本发明的技术方案，具有以下有益效果：

（1）本发明通过多尺度三角动态颈网络，解决了小目标样本过度抑制和特征缺失的问题。

（2）本发明中的动态注意力模块在动态混合中引入分组批量，同时考虑通道之间的关系和位置信息，通过选择加权特征通道提升本发明方法的表达和泛化能力。

（3）本发明中的激活函数和交并比损失，增强有用信息通道，抑制冗余信息通道，提高了预测框的匹配性。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明优选实施例中无人机小目标检测方法的步骤流程图；

图2是本发明优选实施例中无人机小目标检测模型的结构示意图；

图3是本发明优选实施例中多尺度三角动态颈网络的网络结构图；

图4是本发明优选实施例中横向连接路径的示意图；

图5是本发明优选实施例中下采样连接路径的示意图；

图6是本发明优选实施例中真实框和预测框交并比的计算示意图；

图7是本发明优选实施例中交并比损失和训练轮次的关系图；

图8是本发明优选实施例中MS-COCO-2017中Val数据集在不同算法的AP与epoch关系图；

图9是本发明优选实施例中Pascal voc-2007中test数据集在不同算法的AP与epoch关系图；

图10是本发明优选实施例中Pascal-voc-2012中Val数据集在不同算法的AP与epoch关系图。

图11是本发明优选实施例中不同场景下的测试结果图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

请参考图1，本实施例公开了基于动态自适应通道注意力的无人机小目标检测方法，基于所述方法可以构建如图2所示的无人机小目标检测模型，实现无人机小目标检测，所述方法包括如下步骤：

步骤S1：提取多尺度特征，具体是，以RseNet50作为骨干网络提取图像数据的浅层特征图和深层特征图，利用特征金字塔网络融合浅层特征图和深层特征图，得到多尺度特征；浅层特征图为具有高分辨率的特征图，深层特征图为具有丰富语义信息的特征图。

步骤S2：提取细粒特征，具体是，构建如图3所示的多尺度三角动态颈网络(Tri-Neck)，将步骤S1中的多尺度特征输入到多尺度三角动态颈网络中，得到细粒特征；所述多尺度三角动态颈网络结构包括横向连接路径和下采样连接路径，两种连接路径的各个连接中引入动态注意力模块，所述动态注意力模块用于计算动态注意力权重和交并比损失。

需要说明的是，如图3所示的多尺度三角动态颈网络，该结构将经过平滑处理的特征图输入到Tri-Neck网络中进行自下而上的融合，解决了特征失真的问题。图中，/>，为经过FPN经过平滑化连接得到的多尺度特征图，/>分辨率高、语义信息缺乏但空间信息丰富，/>分辨率低、语义信息丰富。在该结构中，在对较高分辨率层的特征图进行下采样后，将其与相邻的下一层级的特征层融合。

具体的，横向连接路径具体如图4所示，多尺度特征先进行深度可分离卷积加上组归一化激活，再经过一层深度可分离卷积和组归一化，然后与动态注意力权重相乘，最后加上残差连接得到横向连接输出。横向连接输出的表达式如下：

；

具体的，本实施例中的下采样连接和横向连接的输出方式相同，而实际的下采样的操作不满足下采样定理，例如最大池化、平均池化，会引起输出生成剧烈的波动。在使用最大池化的网络中，准确率并非随着偏移量的逐渐增大而一直下降，而是呈现周期性的震荡，这表明偏移量越大，网络效果不一定越差，因为周期性平移不变性在某些情况下仍然成立。当平移量为N的整数倍时，仍然可以满足平移不变性，使用双线性插值是一种可以忽略这种影响，因此本实施例优选的下采样连接路径中引入双线性插值法，具体是，将对应的下采样前图像像素点和下采样后图像像素点的灰度值进行插值计算，得到新像素点的灰度值。下采样连接输出的表达式如下：

；

其中，表示引入双线性插值法的下采样操作。

进一步地，动态注意力模块在动态混合中引入分组批量，输入特征图为，其对应的动态通道注意力权重为/>，其中，/>表示批量大小，/>表示通道数，/>表示注意力通道数量，/>表示特征图大小。

具体的，动态注意力权重的计算表达式如下：

；

需要说明的是，本实施例中动态注意力模块的优点在于它能够自动地学习和调整通道的重要性，提升网络对重要特征的感知能力，有助于模型更好地利用不同通道的信息，提高特征的表达能力和区分度。通过突出重要通道，模型能够更好地捕捉到数据中的关键信息，并抑制对无关信息的响应，提高模型的鲁棒性和泛化能力。本实施例保留高和宽上的维度以储存位置信息，通过保留位置信息和动态注意力模块，可以改善小目标在特征图上被忽略的问题并突出小目标的位置。如图5所示，通过采用带有动态注意力的Tri-Neck模型，本实施例增强了图像中小目标的语义信息和空间特征。通过观察小目标热力图，小目标区域显示出较高的注意力权重，表明模型对小目标有较高的关注度，意味着模型能够自适应地关注对小目标更有帮助的特征，从而提升感知和识别能力。同时，热力图中没有其他区域显示出高注意力权重，表明模型能够准确地聚焦在小目标上，避免了分散注意力。

需要说明的是，激活函数是动态注意力模块中很重要的一环，本实施例设计提出的动态注意力权重的范围为[0,1]，用于动态地增强目标特征与抑制其他背景信息。为了更好的达到本实施例设计的预期，最后特征图背景像素数值经过激活函数作用后应该趋近于零，另外，为了更好的学习性，在0点处应该是可导的。如果利用传统的softmax激活函数，容易在深度神经网络的层数较多时出现梯度消失的问题，难以进行深层次的训练，且不以0为中心，收敛速度慢。采用Tanh时，虽然以0为中心，但该激活函数的导数值域是(0,1]，比sigmoid函数的(0,0.25]稍有缓解，但在输入值x的绝对值较大时（距离0较远时），导数仍然会趋近于0，同样导致了梯度消失的问题。Tanh激活函数用于选择不同动态路径点，但是限制性Tanh激活函数在零点具有不连续奇点，导致梯度在这一点上变化巨大。

进一步地，为了缓解这个问题，本实施例中优选的激活函数的表达式如下：

；

其中，表示激活函数；/>和/>为可动态调整的参数，用于控制当前路径动态阀的激活函数梯度变化。本实施例中的激活函数具有在零点连续且梯度缓和的特点。

需要说明的是，当预测框与真值框不相交时，交并比（Intersection over Union，IOU）的值为0。如果将其作为损失函数，那么它的梯度也是0，将无法优化参数，也无法反映不相交的预测框与真值框之间的距离远近，因此不管距离远近，只要不相交IOU都为零。

进一步地，本实施例在交并比损失的计算上进行了优化，预测框和真实框的对角距离可以隐性的表达出两框之间的距离，角点之间的欧式距离约束可以反映出预测框和真实框中的长宽相似性。交并比损失的计算方式如下：

当预测框和真实框不相交时，即交并比为0，交并比损失由对角点的欧式距离确定，此时交并比损失的表达式如下：

；

如图6所示，当预测框和真实框相交时，即交并比大于0，对角点的约束使得两框之间长宽相似度逐渐升高，当两角点重合时退化为IOU，此时交并比损失的表达式如下：

；

进一步地，步骤S1-S3可构建无人机小目标检测模型，用于实现无人机小目标检测，本实施例基于对模型进行训练和测试，进一步阐述本实施例公开的无人机小目标检测方法的优点。

本实施例中，模型训练与测试平台采用：Ubuntu-22.04操作系统，Pytroch-2.0.0深度学习框架，CUDA-11.8，CPU-Intel i9-13900kf，内存32GB，显卡GeForce-RTX-4090-GPU，其显存大小为24GB。模型使用AdamW优化器进行优化，初始学习率设置为2e-4，权重衰减设置为0.05，批量大小设置为8。本实施例使用ResNet50作为骨干网络提取多尺度特征，并使用在ImageNet数据集上经过预训练的权重作为初始加载权重。在训练阶段，训练热启动设置为5个周期并采用线性热启动。训练图片经过随机水平翻转，归一化，Resize大小为。测试图片Resize为/>。实验发现，当算法训练到4个epoch的时候趋于平稳，因此将学习率设置为初始学习率的十分之一，以实现更好的收敛效果。图7为训练过程中的收敛曲线，从图中看出在训练达到12个epoch后损失函数的收敛曲线不再下降。

本实施例使用MS-COCO-2017、Pascal Voc 2007和Pascal-Voc-2012数据集进行微调和实验。MS-COCO-2017是微软公司发起的一个大规模通用物体检测、分割和图像理解数据集，包含超过33.1万张图片，其中超过16万张带有物体实例的标注，该数据集提供多种评估指标，包括mAP、漏检率等。训练数据集采用MS-COCO-2017，数据集中Train的图片为118287张，该数据集中的物体实例包括80个常见类别，每个实例都标注了其类别、边界框位置和图像分割掩码。Pascal-Voc是经典的目标检测和图像分割数据集，包含20个不同的物体类别，训练集和测试集各约10000张图像。每个图像都有一个XML文件，包含该图像中每个目标的位置和类别标签。

为了更好更直观的与其他算法相对比，其中MS-COCO-2017采用所有类别平均精确度（AP）、小目标平均精确度的均值（APs）；Pascal-voc采用所有类别平均精确度的均值（mAP）、所有类别小目标平均精确度的均值（mAPs）作为本次实验的评价指标。在评价指标中，单个类别的AP是通过计算精确度(Precision)-召回率(Recall)曲线下的面积来得到的。对于每个类别，根据不同的置信度阈值，计算在不同召回率下的精确度，并在整个召回率范围内进行插值。然后，对精确度-召回率曲线下的面积进行平均。

为了测试本实施例公开的无人机小目标检测方法的综合检测性能和小目标检测性能，本实施例在MS-COCO-2017中Val数据集、Pascal voc-2007中test数据集和Pascal-voc-2012中Val数据集作为测试集进行实验，将本实施例与目前常用的几个算法进行比较，包括两阶段检测器Faster-RCNN一阶段检测器FCOS，RetinaNet，YOlOv3 以及YOLOX，实验结果如图8、图9、图10、表1、表2和表3所示。

在图8、图9和图10中，展示了在三种不同数据集下不同算法的AP与epoch关系。从实验结果可以看出，本实施例公开的基于动态自适应通道注意力的无人机小目标检测方法不仅最终综合性能优于其他算法，还加速了算法收敛速度。在三种不同数据集中，相比与本实施例算法，Faster-RCNN等算法在第9个epoch后才趋于收敛，本实施例算法在第6个epoch已经趋于收敛，说明本实施例算法能够加速训练收敛速度。其中本实施例算法在第1个epoch时训练出来的性能就可以超越其他算法在第1个epoch性能的至少5%，在Pascal-Voc-2007上有32%性能提升，说明了该算法可能在复杂的任务或数据集中，能够更好地学习到具有较强判别能力的特征表示。

COCO数据集在目标检测任务中使用了更严格的评估指标，如平均精确度（AveragePrecision，AP）和平均召回率（Average Recall，AR），以不同IoU（交并比）阈值下的结果作为评估标准。COCO数据集中的目标通常较小，因此对小目标的检测和定位提出了更高的要求。Pascal VOC数据集使用平均精确度。平均精确度（Average Precision，AP）作为主要的评估指标，采用一组固定的IoU阈值进行评估。

Pascal VOC数据集中的目标通常较大和明显，因此对目标的定位精度要求相对较低。如表1、表2和表3所示，本实施例公开的基于动态自适应通道的小目标检测算法在MS-COCO-2017、Pascal-Voc-2007及Pascal-Voc-2012中达到最优结果，分别超过次优结果1.6%，5.3%，6.2%。其中在COCO数据集小目标的APs上超越了次优模型超过2%。在Pascal Voc2007和Pascal Voc 2012数据集上，本发明截取了20类中部分类别，当中对其他模型检测不佳的船类AP分别超过了次优结果10.2%和9.9%取得了大幅提升，而对于鸟类的小目标检测性能领先次优模型2.3%和6.3%。验证了本实施例提出的算法在对小目标的检测的有效性。

表1 不同算法在COCO-2017-Val数据集的AP性能对比

表2 不同算法在Pascal-voc-2007-test数据集AP性能对比

表3 不同算法在Pascal-voc-2012-Val数据集AP性能对比

为了进一步验证本实施例算法的有效性，本实施例在MS-COCO-2017数据集上测试算法的检测性能。首先测试不同场景下本实施例算法的检测性能，如图11所示，测试场景包括室内复杂场景、室外复杂场景、室内单一场景、室外单一场景、光线充足和光线不足下的场景。测试结果表明本实施例算法在不同场景下都有着不错的检测效果。

为了更直观验证本实施例算法对于小目标检测的有效性，本实施例在本次测试实验中选取了MS-COCO-2017验证集的图片分别进行预测检测框的可视化和热力图的可视化。本实施例算法能更精确检测目标，表明本实施例算法对于小目标检测有着明显的提升。对比算法在检测目标时热力图与检测目标形状有一定程度的偏差，而Faster-RCNN上还存在着重复检测的问题。表明本实施例算法有效地区分前景和背景及改善了小目标检测方面的问题，达到了更佳的检测结果。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.基于动态自适应通道注意力的无人机小目标检测方法，其特征在于，包括如下步骤：

所述横向连接路径具体是，多尺度特征先进行深度可分离卷积加上组归一化激活，再经过一层深度可分离卷积和组归一化，然后与动态注意力权重相乘，最后加上残差连接得到横向连接输出；

所述下采样连接路径中引入双线性插值法，具体是，将对应的下采样前图像像素点和下采样后图像像素点的灰度值进行插值计算，得到新像素点的灰度值；

所述横向连接输出的表达式如下：

其中，X_lc表示横向连接输出，表示特征图/>的动态注意力权重，/>代表经过处理后与动态注意力权重相乘的特征图，v表示残差连接操作；

所述下采样连接输出的表达式如下：

其中，Bilinear表示引入双线性插值法的下采样操作；

所述动态注意力模块在动态混合中引入分组批量，输入特征图为x^B×C×H×W，其对应的动态通道注意力权重为δ^B×n×H×W，其中，B表示批量大小，C表示通道数，n表示注意力通道数量，H×W表示特征图大小；

所述动态注意力权重的计算表达式如下：

δ＝σ(GN(Conv(x)))；

其中，δ表示动态注意力权重，σ表示采用激活函数进行激活操作，GN表示组归一化操作，Conv(x)表示深度可分离卷积操作；

2.根据权利要求1所述的无人机小目标检测方法，其特征在于，在步骤S1中，浅层特征图为具有高分辨率的特征图，深层特征图为具有丰富语义信息的特征图。

3.根据权利要求1所述的无人机小目标检测方法，其特征在于，在步骤S2中，激活函数的表达式如下：

其中，θ(x)表示激活函数，α和β为可动态调整的参数。

4.根据权利要求3所述的无人机小目标检测方法，其特征在于，在步骤S2中，交并比损失的计算方式如下：

当交并比为0时，交并比损失的表达式如下：

当交并比大于0时，交并比损失的表达式如下：

其中，(x₁，y₁)和(x₁，y₁)^gt分别表示预测框和真实框的左上角点坐标；(x₂，y₂)和(x₂，y₂)^gt分别表示预测框和真实框的右下角点坐标；IOU表示交并比；表示预测框和真实框的左上角点之间的欧式距离；/>表示预测框和真实框的右下角点之间的欧式距离。