CN113869181A - 一种选择池化核结构的无人机目标检测方法 - Google Patents

Abstract

本发明提供一种选择池化核结构的无人机目标检测方法，提出一种新的池化方法——选择池化核的最大池化方法，通过多个不同大小的池化核分别对输入特征进行池化操作，并将不同的池化输出进行按通道维度求和，随后在通道维度上求均值，经过多个全连接层、Softmax层获得不同池化输出对应不同通道的选择权值。将选择权值与对应的池化输出进行相乘，随后将乘以选择权值得到的不同特征以及所提结构的原始输入特征进行按通道残差相加，最终获得选择池化核的池化输出，因此能够有效提高池化运算的特征提取能力。本发明将新的池化方法融入到无人机目标检测中，能够极大提高无人机多目标检测模型的训练速度核识别的精度。

Description

一种选择池化核结构的无人机目标检测方法

技术领域

本发明涉及无人机多目标检测技术，特别涉及基于选择池化核SPK的最大池化技术。

背景技术

深度多目标检测神经网络结构种类繁多，其由多种不同的基础网络层结构构成，如全连接层、卷积层、激活层、。在实际目标检测工程应用中，通过简单的全连接层或卷积层结构获得的特征表征能力较弱，容易受到来自其他因素的影响，导致目标检测模型的准确性和稳定性较差，目标检测任务中目标的特征提取成为一项艰巨的任务。

特征的池化运算操作是通过给定大小的池化核，并且按照给定的步长大小移动池化核对原特征矩阵进行池化运算操作，最终获得池化输出新特征。相比较于神经网络的其他结构，如：全连接网络层FC、卷积网络层、批归一化Batch Normalizer网络层等，池化网络层具有多项优点：(1)能够有效降低特征维度、去除特征冗余信息。通过给定池化核移动步长对特征矩阵进行最大或平均池化运算，能够缩小特征维度。(2)对特征进行压缩。在缩小特征维度的同时，特征得到进一步的压缩，经过池化后的特征具有更强的特征表征能力。(3)简化网络复杂度、减小计算量、减小内存消耗等具有重要的意义。通过池化运算后，特征矩阵得到压缩，模型参数数进一步缩小。因为这些优点，神经网络的池化结构的设计近年来成为图像分类、目标检测等计算机视觉领域的一项研究热点，研究主要集中在：如何设计出具有更强的特征提取能力的池化层结构，提高模型的特征捕捉能力、计算效率和精度。

目前基于最大池化和平均池化等方法的特征池化，所完成的特征提取重构效果较差，导致在无人机目标检测神经网络中采用这类池化结构的目标检测准确度较低，模型训练收敛速度较慢，越来越难以满足现今的生产要求。

发明内容

本发明要解决的技术问题是，为提高无人机多目标检测的精度和模型训练的速度，提供一种基于选择池化核SPK的最大池化方法来进行无人机目标检测。

本发明为解决上述技术问题采用的技术方案是，一种选择池化核结构的无人机目标检测方法，包括以下步骤：

1)通过无人机航拍采集图像数据集，并将采集的数据集划分为训练数据集和测试数据集；

2)构建目标检测模型，并利用训练数据集训练目标检测模型；其中，目标检测模型中的池化处理通过选择池化核SPK实现：

(1)选择池化核SPK接收到输入特征F_in，F_in∈R^C×W×H，R表示实数域，C表示输入特征的通道数；W表示输入特征的宽；H表示输入特征的高；

(2)利用三个不同尺寸的最大池化层分别对输入特征F_in进行最大池化运算，分别获得U₁、U₂、U₃三个池化输出特征；其中U_i∈R^C×W×H,i＝1,2,3；

(3)将U₁、U₂、U₃三个池化输出特征按特征通道维度进行累加获得累加特征

(4)对累加特征

按输入特征的通道数C求均值得到均值特征S，S∈R^C×1×1，均值特征S输入至隐层节点数为L的全连接网络层得到特征Z，Z∈R^L×1×1；

(5)特征Z分别输入至利用3个权重相互独立且隐层节点数均为C的全连接网络层，再对这3个全连接层的输出使用激活函数Softmax进行处理得到3个输出结果V₁、 V₂和V₃，其中V_i∈R^C×1×1,i＝1,2,3。

(6)将输出结果V_i作为第i个池化通道的权重，将V_i与对应U_i按通道维度进行相乘得到第i个池化通道的加权输出G_i，其中G_i∈R^C×W×H,i＝1,2,3；

(7)将三个输出加权输出G₁、G₂、G₃和输入特征F_in按通道维度进行累加最终获得SPK输出特征F_out，F_out∈R^C×W×H；

3)将测试数据集输入训练好的目标检测模型进行评估，通过评估的目标检测模型部署到无人机上用于实时的无人机目标检测。

本发明提出一种新的池化方法——选择池化核的最大池化方法，通过多个不同大小的池化核分别对输入特征进行池化操作，并将不同的池化输出进行按通道维度求和，随后在通道维度上求均值，经过多个全连接层、Softmax层获得不同池化输出对应不同通道的选择权值。将选择权值与对应的池化输出进行相乘，随后将乘以选择权值得到的不同特征以及所提结构的原始输入特征进行按通道残差相加，最终获得选择池化核的池化输出，因此能够有效提高池化运算的特征提取能力。

本发明的有益效果是：将新的池化方法融入到无人机目标检测中，能够极大提高无人机多目标检测模型的训练速度核识别的精度。

附图说明

图1为实施例的流程图；

图2为实施例中采用选择池化核的最大池化方法的结构示意图；

图3为实施例中采用的无人机图像帧示意图；

图4为实施例所得的无人机目标检测结果图；

图5为实施例模型训练损失值图；

图6为实施例模型在训练过程中损失函数的收敛情况。

具体实施方式

本发明提出的选择池化核SPK的池化结构作为一种新的池化层结构，能够通过不同尺寸的池化层分别提取图像的不同特征，极大程度上提高特征的提取能力，并且通过选择池化结构，能够有效加速模型的训练速度和提高模型的检测精度。因此本发明可通过融入到现有的目标检测基础模型，从而有效提高目标检测模型的特征提取能力和检测精度。除了YOLO4-tiny目标检测模型外，本发明还可以选用YOLO3、YOLO3-tiny、 Faster R-CNN等基本目标检测模型算法。YOLO4-tiny是YOLO4算法模型的简化版，在网络的层数、深度、结构都作出极大的简化，在参数的数量上，YOLO4-tiny需要训练的参数比YOLO4少很多，因此，YOLO4-tiny模型的精度比YOLO4模型相对较低，但YOLO4-tiny的检测速度比YOLO4快很多。

选择池化核SPK的池化处理过程如图2所示：

步骤1：当前选择池化核SPK池化层的输入特征为F_in，大小为C×W×H。其中 C表示输入特征的通道数；W表示特征的宽；H表示特征的高。

步骤2：利用大小为3×3、5×5、7×7的最大池化层分别对输入特征F_in进行最大池化运算，分别获得U₁、U₂、U₃三个池化输出特征。其中U_i∈R^C×W×H,i＝1,2,3。

步骤3：将U₁、U₂、U₃三个池化输出特征按特征通道维度进行累加获得特征

步骤4：对中间特征

按通道C维度求均值，得到输出特征S∈R^C×1×1，并通过隐层节点数为L的全连接网络层得到输出特征Z∈R^L×1×1。

步骤5：利用3个权重相互独立，且隐层节点数均为C的全连接网络层分别对特征Z进行运算操作，并对全连接层输出利用Softmax函数进行激活运算，最终获得V₁、 V₂和V₃的3个输出结果，其中V_i∈R^C×1×1,i＝1,2,3。

步骤6：将V_i与U_i按通道维度进行相乘得到输出G_i，即将U_i对应通道c的不同特征点U_i(c,j,k)与V_i对应通道c的权重V_i(c,1,1)相乘。

步骤7：将步骤6获得的输出G_i∈R^C×W×H(i＝1,2,3)按通道维度进行累加，并将当前选择池化核(SPK)池化层的输入特征F_in∈R^C×W×H按通道维度进行累加，最终获得输出F_out∈R^C×W×H。

具体的，步骤1的当前选择池化核(SPK)池化层的输入特征F_in可以是YOLO4-tiny模型中的某一层卷积输出特征。

具体的，步骤3的特征累加表达式如下：

其中c＝{1,2,…,C}，w＝{1,2,…,W}，h＝{1,2,…,H}，C表示输入特征的通道数；W表示特征的宽；H表示特征的高；

表示在通道c的累加。

具体的，步骤6的池化输出与选择权值按通道相乘的表达式为：

基于上述思想，实施例提供了一种无人机多目标检测方法，工作流程如图1所示，具体步骤如下：

步骤1：通过无人机进行航拍采集大量图像数据集，并通过人工手动标记相应图像内每个目标的区域标签框(Bounding Box)。

步骤2：将数据集划分为训练数据集和测试数据集。

步骤3：构造实现选择池化核SPK的池化结构层，选择池化核的池化结构如图2所示。

步骤4：将构造好的选择池化核的池化层融入到YOLO4-tiny模型中，替换 YOLO4-tiny模型中的部分最大池化层结构，获得改进的YOLO4-spk-tiny目标检测模型。

步骤5：利用训练数据集训练YOLO4-spk-tiny模型，最终获得训练好的YOLO4-spk-tiny无人机多目标检测模型。

步骤6：通过测试数据集对训练好的YOLO4-spk-tiny模型进行测试，获得测试结果。

步骤7：将YOLO4-spk-tiny模型部署在无人机应用上。

以下结合具体实例——无人机航拍对地面多目标检测，对实施例进一步说明。试验数据如下表1所示：

表1试验采集的无人机航拍图像

其中，10个类别分别包括：行人、人、自行车、车、货车、卡车、三轮车、遮阳棚车、公共汽车和摩托车

实验时，采用的训练环境Windows环境下NVDIA 1050Ti显卡，迭代的次数为10 次迭代。

第一步：通过无人机航拍采集图像数据集，并将采集的数据集划分为训练数据集和测试数据集。图3为无人航拍采集的原图像。由图可知，视野中包含各类目标，如：人、行人、车等，并且图像中的目标相对较小，背景较为复杂，部分目标被严重遮挡，因此难以准确识别出图像视野中包含的目标。

第二步：构建YOLO4-spk-tiny目标检测模型，并利用训练数据集训练 YOLO4-spk-tiny目标检测模型。

第三步：通过测试数据集对模型进行评估验证。图4和图5分别是测试采用的图像以及通过YOLO4-spk-tiny目标检测模型获得的检测结果图。

第四步：部署到无人机上进行应用。

通过上述步骤，最终获得的无人机目标检测结果如图5所示。由图5可知，视野中部分目标被样子遮挡，然而YOLO4-spk-tiny模型能够有效识别出其中被遮挡的目标。同时，与未改进的YOLO4-tiny目标检测模型相比较，其比较结果如表2所示：

表2 YOLO4-spk-tiny与YOLO4-tiny比较结果(IoU＝0.5)

其中，IoU表示预测框与真实框的交集占比，表达式如下：

因此，可判断引入选择池化核的池化层结果的YOLO4-spk-tiny比未进行改进的YOLO4-tiny模型在无人机目标检测任务中具有更优的效果，并且结果与实验方案一致，证明了实施例的有效性。

为了进一步说明本发明方法的优越性，图6给出了YOLO4-tiny模型核 YOLO4-spk-tiny模型在训练过程中损失函数的收敛情况，如图所示，YOLO4-spk-tiny 模型在训练过程中具有更快的收敛速度。

Claims (4)

1.一种选择池化核结构的无人机目标检测方法，其特征在于，包括以下步骤：

1)通过无人机航拍采集图像数据集，并将采集的数据集划分为训练数据集和测试数据集；

2)构建目标检测模型，并利用训练数据集训练目标检测模型；其中，目标检测模型中的池化处理通过选择池化核SPK实现：

(1)选择池化核SPK接收到输入特征F_in，F_in∈R^C×W×H，R表示实数域，C表示输入特征的通道数；W表示输入特征的宽；H表示输入特征的高；

(2)利用三个不同尺寸的最大池化层分别对输入特征F_in进行最大池化运算，分别获得U₁、U₂、U₃三个池化输出特征；其中U_i∈R^C×W×H,i＝1,2,3；

(3)将U₁、U₂、U₃三个池化输出特征按特征通道维度进行累加获得累加特征

(4)对累加特征

按输入特征的通道数C求均值得到均值特征S，S∈R^C×1×1，均值特征S输入至隐层节点数为L的全连接网络层得到特征Z，Z∈R^L×1×1；

(5)特征Z分别输入至利用3个权重相互独立且隐层节点数均为C的全连接网络层，再对这3个全连接层的输出使用激活函数Softmax进行处理得到3个输出结果V₁、V₂和V₃，其中V_i∈R^C×1×1,i＝1,2,3。

(6)将输出结果V_i作为第i个池化通道的权重，将V_i与对应U_i按通道维度进行相乘得到第i个池化通道的加权输出G_i，其中G_i∈R^C×W×H,i＝1,2,3；

(7)将三个输出加权输出G₁、G₂、G₃和输入特征F_in按通道维度进行累加最终获得SPK输出特征F_out，F_out∈R^C×W×H；

3)将测试数据集输入训练好的目标检测模型进行评估，通过评估的目标检测模型部署到无人机上用于实时的无人机目标检测。

2.如权利要求1所述方法，其特征在于，所述目标检测模型采用简化版YOLO4算法YOLO4-tiny。

3.如权利要求1或2所述方法，其特征在于，步骤(2)中三个不同尺寸的最大池化层的大小为3×3、5×5、7×7。

4.如权利要求2所述方法，其特征在于，选择池化核SPK接收到输入特征F_in为YOLO4-tiny模型中一卷积层输出的特征。

Images