CN114581799A - 一种基于多尺度特征融合的无人机小目标检测方法 - Google Patents

Abstract

本发明公开了一种基于多尺度特征融合的无人机小目标检测方法，属于无人机小目标检测技术领域，采用了本发明的RetinaNet在无人机小目标检测任务中，能够获得更好的检测效果。本发明基于RetinaNet根据无人机小目标的特点进行了有针对性地改进，采用了新的特征融合方式，该特征融合方发基于像素洗牌上采样模块PSU设计了像素洗牌特征融合网络PSFF，改进了上采样方式造成特征失真的问题，使网络能够将深层的语义信息更有效地向浅层传递，以此增强了浅层小目标的特征表示，并且在自建蜂群无人机数据集上进行实验，验证了本发明可以提升无人机小目标的检测效果。

Description

一种基于多尺度特征融合的无人机小目标检测方法

技术领域

本发明属于无人机小目标检测技术领域，尤其涉及一种基于多尺度特征融合的无人机小目标检测方法。

背景技术

近年来，随着无人机制造成本和使用难度的不断降低，无人机得以迅速应用到各行各业，普通人也可以很容易操控无人机，这给人们的生产和生活带来了很大方便，但与此同时，无人机“黑飞”也给空中交通、公共安全等领域的监管带来了巨大挑战。因此，作为无人机监管的重要环节，对无人机目标的检测就成为了目前亟待解决的关键问题。

目前无人机检测的方案有很多种，基于雷达、声、无线电、光电设备等。这些利用无人机的物理属性对无人机进行定位的技术非常常见，但是这些检测方案往往需要非常昂贵的设备和严格的配置。而基于视觉的方法则成本较低，配置也相对简单，且易于部署。

而今随着深度学习的发展，其在计算机视觉领域取得了大量的突破，很多优秀的工作不断涌现出来，早期的工作例如Fast R-CNN、Faster R-CNN、YOLO等在各通用数据集上均取得了不错的成绩。后来何恺明等人提出了特征金字塔融合网络(Feature PyramidNetwork，FPN)，该网络由自底向上和自顶向下两条通路，以及一条横向连接三部分构成，首先自底向上的通路进行特征提取，然后横向连接对齐通道数目，接着自顶向下进行特征融合，最后得到具有多尺度特征的特征图进行预测。该方法通过将语义信息从深层传播到浅层来实现多尺度的特征融合，使深层丰富的语义信息得以传递到浅层，解决了浅层语义信息缺失的问题，提高了网络对不同尺度目标，尤其是对小目标的检测性能。因此FPN在各种通用的目标检测方法中被广泛采用，例如RetinaNet、FCOS等工作。

然而，无人机小目标与通用尺度的目标不同，它尺度极小，通常在图像中占整张图像的像素比低于0.1％，且小型无人机镂空的外观，使其与背景融为一体，特征极不明显，检测难度很高。FPN方法在无人机目标检测任务中表现不佳主要有以下原因：

1)原始FPN上采样所使用的最近邻插值法会造成特征偏移失真，这些偏移会对无人机小目标检测造成很大的影响；

2)小目标通常在网络浅层被检测出来，而网络浅层特征的语义信息缺失问题导致网络对小目标检测性能不佳。因此原始的FPN方法将深层的语义信息传递到浅层来缓解这个问题，但是在FPN的实际操作过程中，通道维度对齐的做法仍会产生大量通道信息衰减，造成深层语义信息向浅层传递不足的问题。对于更需要深层语义信息补充的无人机这类极小目标来说，语义信息不足会产生更大的影响。

发明内容

本发明提供了一种基于多尺度特征融合的无人机小目标检测方法，解决了现有技术中无人机目标检测任务中存在的问题,提供一种新的多尺度特征融合方法，基于RetinaNet检测框架，可以替换RetinaNet使用的原始FPN方法，采用了本发明的RetinaNet在无人机小目标检测任务中，能够获得更好的检测效果。

为实现以上目的，本发明采用以下技术方案：

一种基于多尺度特征融合的无人机小目标检测方法，包括以下步骤：

步骤1：无人机数据集制作：采集无人机图像，并对采集到的图像进行数据清洗，然后对其中的无人机小目标进行标注；

步骤2：搭建无人机检测模型：基于无人机数据集，训练无人机检测模型；

步骤3：测试图像检测过程：利用训练好的目标检测网络以及网络权重参数来检测测试图像中的无人机小，并且输出检测结果。

以上所述步骤中，步骤1中对采集到的图像进行数据清洗为删除掉模糊以及不包含目标的图像；

步骤2具体包括以下步骤：

步骤(2.1)从主干网络中获取特征层:

在主干特征提取网络ResNet50的{C2，C3，C4，C5}特征层，也就是ResNet50的第2、第3、第4和第5层的特征，选择其中的{C3，C4，C5}作为多尺度特征融合的几个融合特征层，特征层对应的通道数为{512，1024，2048}；

步骤(2.2)融合前处理:

特征融合需要将不同层的特征维度对齐，这个维度既包括通道维度，也包括空间维度，空间维度即宽高，因此该步骤的做法是将深层的特征上采样，让深层的特征维度与浅层的特征维度对齐，如此才能将深层的特征与浅层的特征融合；具体的做法是，本发明使用像素洗牌上采样方法，该方法具有高效、快速、无参的特性，更重要的是，它可以充分利用主干网络最深层大量的通道信息，将其作为像素洗牌所需的像素信息，进行像素洗牌的上采样，简言之就是可以把通道维度信息转换成空间信息保留下来，不仅避免了简单最近邻差值特征失真的缺陷，还可以最大程度地让深层丰富的语义信息传递到浅层，让浅层获得到更加丰富的深层语义信息，提升浅层无人机小目标特征表示，进而提升网络对无人机小目标的检测性能。

为了让深层的特征向浅层传递，本发明采用了像素洗牌上采样的方法，首先将输入特征通过卷积核为1的卷积进行2倍通道扩增，接着经过像素洗牌进行2倍上采样，此时分辨率扩大了2倍，通道维数缩减到为原来的0.5倍，最后得到上采样的结果，记作{P3，P4}，通道数分别为{512，1024}；

其中步骤(2.2)中的输入特征为步骤(2.1)的输出特征{C3，C4，C5}中的C4和C5两个特征，对应通道数为{1024，2048}。

上采样的步骤整理为如下公式：

y′＝PS(x′)

其中PS代表PixelShuffle，是像素洗牌英文名简称，默认扩张因子(Scale)为2，代表使用像素洗牌方法进行2倍上采样，其中输入为x′∈R^w×h×4c其通道数量为4c，输出为y′∈R^2w×2h×c其通道数量为c，在这过程中通道数由4c减少到c，图像尺寸由w×h扩增到2w×2h。

步骤(2.3)融合操作：

将步骤(2.2)的输出特征{P3，P4}与步骤(2.1)的输出特征{C3，C4，C5}中的C3和C4两个特征，相加和，对应得到{T3，T4}特征，其对应通道数为{512，1024}，同时直接取得步骤(2.1)的输出特征{C3，C4，C5}中的C5作为T5，最终该步骤输出特征为{T3，T4，T5}，分别对应通道数为{512，1024，2048}；

步骤(2.4)融合后处理：

该步骤输入特征为{T3，T4，T5}，分别对应通道数为{512，1024，2048}，该步骤首先对三个输入特征分别使用卷积核为3的卷积进行去除混叠，接着采用卷积核为1的卷积进行通道压缩，将三个特征通道数统一压缩到256，最后该步骤的输出特征为{F3，F4，F5}，对应通道数为{256，256，256}；

公式记作：

y＝Conv-1×1(Conv-3×3(x))

其中输入记作x∈R^h×w×c，输出特征图记作y∈R^h×w×256，卷积Conv-1×1大小是1×1×256，卷积Conv-3×3大小为3×3×c；

步骤(2.5)目标检测：

对步骤(2.4)中融合了多尺度特征的{F3，F4，F5}，分别进行目标类别分类以及目标边界框回归，得到最后的检测结果。

进一步地，步骤(2.5)中：

目标类别分类采用带平衡因子的Focal Loss损失：

FL(p_t)＝-α_t(1-p_t)^γlog(p_t)

其中FL代表Focal Loss，α_t为正负样本的加权平衡参数，值越大正样本的权重越大，γ为聚焦系数，控制样本权重更新速率，是一个超参数，p_t表示样本属于正样本的概率，(1-p_t)^γ是权重表达式；

边界框回归为标准的Smooth L1损失；

步骤(2.6)训练检测模型：

采用的预训练模型是由Pytorch官方提供的在Imagenet上进行了预训练的模型，所有图像在送入模型前尺寸都被统一调整为1333×800，设置训练迭代次数为12次、动量为0.9、批大小为4、初始学习率为0.0005、每训练4个epoch权重衰减为原来的0.3倍，根据以上训练配置得到网络模型参数；

步骤3具体包括以下步骤：

步骤(3.1)将测试图像送入网络模型中；

步骤(3.2)通过Resent50主干网络进行特征提取，获得特征图；

步骤(3.3)采用步骤2改进的多尺度特征融合网络进行多尺度特征融合；

步骤(3.4)对融合后的特征图进行目标类别预测以及边界框回归；

步骤(3.5)设置阈值，经过非极大值抑制来筛选出最终得检测结果。

有益效果：本发明提供了一种基于多尺度特征融合的无人机小目标检测方法，基于RetinaNet，根据无人机小目标的特点进行了有针对性地改进，采用了新的特征融合方式，该特征融合方法基于像素洗牌上采样模块PSU设计了像素洗牌特征融合网络PSFF，改进了上采样方式造成特征失真的问题，使网络能够将深层的语义信息更有效地向浅层传递，以此增强了浅层小目标的特征表示，并且在自建蜂群无人机数据集上进行实验，验证了本发明方法可以提升无人机小目标的检测效果。

附图说明

图1为本发明方法总体流程示意图；

图2为本发明实施例中搭建无人机监测模型过程示意图；

图3为本发明实施例中方法总体框架示意图；

图4为本发明实施例中像素洗牌特征融合网络示意图；

图5为本发明实施例中像素洗牌上采样模块示意图；

图6为本发明实施例中像素洗牌上采样原理示意图；

图7为本发明实施例中可视化检测示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明：

为了解决背景技术提到的技术问题，本发明采用一种新的多尺度特征融合方法，名为像素洗牌特征融合网络(Pixel Shuffle Feature Fusion，PSFF)，该方法基于RetinaNet检测框架，可以替换RetinaNet使用的原始FPN方法。采用了本发明的RetinaNet在无人机小目标检测任务中，能够获得更好的检测效果。

如图1所示，一种基于多尺度特征融合的无人机小目标检测方法，包括以下步骤：

步骤(1)无人机数据集制作：采集无人机图像，对采集到的图像进行数据清洗，删除掉模糊以及不包含目标的图像，然后对符合要求的图像进行标注，这里采用VOC标注格式，将标注好的数据中70％作为训练集，30％作为测试集；

步骤(2)搭建无人机检测模型：基于无人机数据集，训练无人机检测模型；

步骤(3)测试图像检测过程：利用训练好的目标检测网络以及网络权重参数来检测测试图像中的无人机小，并且输出检测结果。

以上步骤中，如图2所示，步骤(2)中本发明的技术方案为一种基于多尺度特征融合的无人机小目标检测方法，包涵以下步骤：

步骤(2.1)从主干网络中获取特征层:

在主干特征提取网络ResNet50的{C2，C3，C4，C5}特征层，也就是ResNet50的第2、第3、第4和第5层的特征，选择其中的{C3，C4，C5}作为多尺度特征融合的几个融合特征层，特征层对应的通道数为{512，1024，2048}；

步骤(2.2)融合前处理:

特征融合需要将不同层的特征维度对齐，这个维度既包括通道维度，也包括空间维度，空间维度即宽高，因此该步骤的做法是将深层的特征上采样，让深层的特征维度与浅层的特征维度对齐，如此才能将深层的特征与浅层的特征融合。

具体的做法是，本发明使用像素洗牌上采样方法，该方法具有高效、快速、无参的特性，更重要的是，它可以充分利用主干网络最深层大量的通道信息，将其作为像素洗牌所需的像素信息，进行像素洗牌的上采样。简言之，就是可以把通道维度信息转换成空间信息保留下来。如此，不仅避免了简单最近邻差值特征失真的缺陷，还可以最大程度地让深层丰富的语义信息传递到浅层，让浅层获得到更加丰富的深层语义信息，提升浅层无人机小目标特征表示，进而提升网络对无人机小目标的检测性能；

为了让深层的特征向浅层传递，本发明采用了像素洗牌上采样的方法。首先将输入特征通过卷积核为1的卷积进行2倍通道扩增，接着经过像素洗牌进行2倍上采样，此时分辨率扩大了2倍，通道维数缩减到为原来的0.5倍，最后得到上采样的结果，记作{P3，P4}，通道数分别为{512，1024}；

其中步骤(2.2)中的输入特征为步骤(2.1)的输出特征{C3，C4，C5}中的C4和C5两个特征，对应通道数为{1024，2048}；

上采样的步骤整理如下

将该做法整理如公式：

y′＝PS(x′)

其中PS代表PixelShuffle，是像素洗牌英文名简称，默认扩张因子(Scale)为2，代表使用像素洗牌方法进行2倍上采样，其中输入为x′∈R^w×h×4c其通道数量为4c，输出为y′∈R^2w×2h×c其通道数量为c，在这过程中通道数由4c减少到c，图像尺寸由w×h扩增到2w×2h；

步骤(2.3)融合操作：(像素相加和)

将步骤(2.2)的输出特征{P3，P4}与步骤(2.1)的输出特征{C3，C4，C5}中的C3和C4两个特征，相加和，对应得到{T3，T4}特征，其对应通道数为{512，1024}，同时直接取得步骤(2.1)的输出特征{C3，C4，C5}中的C5作为T5，最终该步骤输出特征为{T3，T4，T5}，分别对应通道数为{512，1024，2048}；

步骤(2.4)融合后处理：(去除混叠，对齐通道数)

该步骤输入特征为{T3，T4，T5}，分别对应通道数为{512，1024，2048}。该步骤首先对三个输入特征分别使用卷积核为3的卷积进行去除混叠，接着采用卷积核为1的卷积进行通道压缩，将三个特征通道数统一压缩到256。最后该步骤的输出特征为{F3，F4，F5}，对应通道数为{256，256，256}；

公式记作：

y＝Conv-1×1(Conv-3×3(x))

其中输入记作x∈R^h×w×c，输出特征图记作y∈R^h×w×256，卷积Conv-1×1大小是1×1×256，卷积Conv-3×3大小为3×3×c。

步骤(2.5)目标检测：对步骤(2.4)中融合了多尺度特征的{F3，F4，F5}，分别进行目标类别分类以及目标边界框回归，得到最后的检测结果。

进一步地，步骤(2.5)中：

目标类别分类采用带平衡因子的Focal Loss损失：

FL(p_t)＝-α_t(1-p_t)^γlog(p_t)

其中FL代表Focal Loss，α_t为正负样本的加权平衡参数，值越大正样本的权重越大，这里设置为0.25。γ为聚焦系数，控制样本权重更新速率，是一个大于0的超参数，本文设置为2。p_t表示样本属于正样本的概率，(1-p_t)^γ是权重表达式；

边界框回归为标准的Smooth L1损失；

步骤(2.6)训练检测模型：采用的预训练模型是由Pytorch官方提供的在Imagenet上进行了预训练的模型。所有图像在送入模型前尺寸都被统一调整为1333×800。设置训练迭代次数为12次、动量为0.9、批大小为4、初始学习率为0.0005、每训练4个epoch权重衰减为原来的0.3倍。根据以上训练配置得到网络模型参数。

步骤(3)中具体包括以下步骤：

步骤(3.1)将测试图像送入网络模型中；

步骤(3.2)通过Resent50主干网络进行特征提取，获得特征图；

步骤(3.3)采用本发明改进的多尺度特征融合网络进行多尺度特征融合；

步骤(3.4)对融合后的特征图进行目标类别预测以及边界框回归；

步骤(3.5)设置阈值为0.5，经过非极大值抑制来筛选出最终得检测结果。

如图7所示和表1所示的可视化检测结果，以下为我们的数值统计结果，结果表明上述方法提升了无人机小目标的检测效果。

表1可视化检测数值统计结果

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (8)

1.一种基于多尺度特征融合的无人机小目标检测方法，其特征在于，包括以下步骤：

步骤1：无人机数据集制作：采集无人机图像，并对采集到的图像进行数据清洗，然后对其中的无人机小目标进行标注；

步骤2：搭建无人机检测模型：基于无人机数据集，训练无人机检测模型；

步骤3：测试图像检测过程：利用训练好的目标检测网络以及网络权重参数来检测测试图像中的无人机小，并且输出检测结果。

2.根据权利要求1所述的基于多尺度特征融合的无人机小目标检测方法，其特征在于，步骤1中对采集到的图像进行数据清洗为删除掉模糊以及不包含目标的图像。

3.根据权利要求1所述的基于多尺度特征融合的无人机小目标检测方法，其特征在于，步骤2具体包括以下步骤：

步骤(2.1)从主干网络中获取特征层:

在主干特征提取网络ResNet50的{C2，C3，C4，C5}特征层，选择其中的{C3，C4，C5}作为多尺度特征融合的几个融合特征层，特征层对应的通道数为{512，1024，2048}；

步骤(2.2)融合前处理:

采用像素洗牌上采样的方法，首先将步骤(2.1)的输出特征{C3，C4，C5}中的C4和C5两个特征通过卷积核为1的卷积进行2倍通道扩增，接着经过像素洗牌进行2倍上采样，此时分辨率扩大了2倍，通道维数缩减到为原来的0.5倍，最后得到上采样的结果，记作{P3，P4}，通道数分别为{512，1024}；

步骤(2.3)融合操作：

将步骤(2.2)的输出特征{P3，P4}与步骤(2.1)的输出特征{C3，C4，C5}中的C3和C4两个特征，相加和，对应得到{T3，T4}特征，其对应通道数为{512，1024}，同时直接取得步骤(2.1)的输出特征{C3，C4，C5}中的C5作为T5，最终该步骤输出特征为{T3，T4，T5}，分别对应通道数为{512，1024，2048}；

步骤(2.4)融合后处理：

输入特征为{T3，T4，T5}，分别对应通道数为{512，1024，2048}，首先对三个输入特征分别使用卷积核为3的卷积进行去除混叠，接着采用卷积核为1 的卷积进行通道压缩，将三个特征通道数统一压缩到256，最后该步骤的输出特征为{F3，F4，F5}，对应通道数为{256，256，256}；

步骤(2.5)目标检测：

对步骤(2.4)中融合了多尺度特征的{F3，F4，F5}，分别进行目标类别分类以及目标边界框回归，得到最后的检测结果；

步骤(2.6)训练检测模型：

采用的预训练模型是由Pytorch官方提供的在Imagenet上进行了预训练的模型，所有图像在送入模型前尺寸都被统一调整为1333×800，设置训练迭代次数为12次、动量为0.9、批大小为4、初始学习率为0.0005、每训练4个epoch权重衰减为原来的0.3倍，根据以上训练配置得到网络模型参数。

4.根据权利要求3所述的基于多尺度特征融合的无人机小目标检测方法，其特征在于，步骤(2.2)中的采样的步骤整理为如下公式：

y′＝PS(x′)

其中PS代表PixelShuffle，是像素洗牌英文名简称，默认扩张因子为2，代表使用像素洗牌方法进行2倍上采样，其中输入为x′∈R^w×h×4c其通道数量为4c，输出为y′∈R^2w×2h×c其通道数量为c，在这过程中通道数由4c减少到c，图像尺寸由w×h扩增到2w×2h。

5.根据权利要求3所述的基于多尺度特征融合的无人机小目标检测方法，其特征在于，步骤(2.4)公式记作：

y＝Conv-1×1(Conv-3×3(x))

其中输入记作x∈R^h×w×c，输出特征图记作y∈R^h×w×256，卷积Conv-1×1大小是1×1×256，卷积Conv-3×3大小为3×3×c。

6.根据权利要求3所述的基于多尺度特征融合的无人机小目标检测方法，其特征在于，步骤(2.5)中所述目标类别分类采用带平衡因子的Focal Loss损失：

FL(p_t)＝-α_t(1-p_t)^γlog(p_t)

其中FL代表Focal Loss，α_t为正负样本的加权平衡参数，值越大正样本的权重越大，γ为聚焦系数，控制样本权重更新速率，是一个超参数，p_t表示样本属于正样本的概率，(1-p_t)^γ是权重表达式。

7.根据权利要求3或6所述的基于多尺度特征融合的无人机小目标检测方法，其特征在于，步骤(2.5)中所述目标边界框回归为标准的Smooth L1损失。

8.根据权利要求1所述的基于多尺度特征融合的无人机小目标检测方法，其特征在于，步骤3具体包括以下步骤：

步骤(3.1)将测试图像送入网络模型中；

步骤(3.2)通过Resent50主干网络进行特征提取，获得特征图；

步骤(3.3)采用步骤2改进的多尺度特征融合网络进行多尺度特征融合；

步骤(3.4)对融合后的特征图进行目标类别预测以及边界框回归；

步骤(3.5)设置阈值，经过非极大值抑制来筛选出最终得检测结果。

Images