CN112580512B - 一种基于通道裁剪的轻量级无人机目标检测方法 - Google Patents

Abstract

本发明公开了一种基于通道裁剪的轻量级无人机目标检测方法，包括：步骤1：将训练数据集的样本输入网络框架，主干网络提取样本的视觉特征，生成特征图并输入检测头部，通过对目标的位置和种类的回归获得预测结果；利用损失函数训练模型，获得训练后的基础模型；步骤2：对模型进行稀疏训练；步骤3：设定压缩比；步骤4：对压缩后模型微调优化；步骤5：输出对目标的检测结果。本发明基于通道裁剪，去除网络中的冗余通道，显著降低了参数量和权重规模，模型对内存和运算量的消耗小；并通过保留信息传递能力强的通道与完整的层结构，保证网络的检测精度；实现与全尺寸模型精度接近、参数量和权重规模小、推理速度快的轻量级无人机目标检测方法。

Description

一种基于通道裁剪的轻量级无人机目标检测方法

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于通道裁剪的轻量级无人机目标检测方法。

背景技术

在无人机平台上进行目标检测是当前计算机视觉领域的一个新兴任务。在无人机的常见应用场景，如搜救、监控、勘探中，理解场景并检测图像中可能存在的目标具有重要的应用价值。但航拍图像目标尺度变化大、小目标数量多的特点为准确检测带来挑战。此外，无人机搭载的嵌入式系统的算力、内存、功耗有限，需要参数规模小、运算量少的轻量化模型。因此，实现准确且轻量的模型对无人机平台上的目标检测尤为重要。

目前现有的主流通用目标检测模型，如Faster R-CNN、Cascade R-CNN、Yolo系列等，参数规模大，运算量高，对部署设备的运行内存、计算能力有较高要求，直接部署在无人机上的效果不理想。而针对嵌入式设备设计的轻量化模型通常特征提取能力弱，在目标尺度变化大、小目标多的航拍图像上检测精度不足。

发明内容

发明目的：本发明的目的在于提供一种基于通道裁剪的轻量级无人机目标检测方法，提升检测精度且参数规模大幅压缩，内存和算力消耗小，推理速度快，便于在无人机平台上检测目标。

技术方案：本发明公开了一种基于通道裁剪的轻量级无人机目标检测方法，包括操作步骤如下：

1、一种基于通道裁剪的轻量级无人机目标检测方法，其特征在于，包括步骤如下：

步骤(1.1)，将训练数据集的样本输入网络框架，主干网络提取样本的视觉特征，生成特征图并输入检测头部，通过对目标的位置和种类的回归获得预测结果；利用损失函数训练模型，获得训练后的基础模型；

步骤(1.2)，选取模型中的批归一化层的尺度因子作为参数，添加到原损失函数中，对模型进行稀疏训练；

步骤(1.3)，设定压缩比，对模型中所有通道的尺度因子值进行排序，按照压缩比对尺度因子值小的通道进行裁剪；

步骤(1.4)，针对压缩后模型的精度变化情况，对其进行微调优化；

步骤(1.5)，利用轻量级模型对输入图像进行检测，输出对目标的检测结果。

优选地，步骤(1.1)、包括步骤如下：

步骤(1.1.1)、对训练数据集的样本进行预处理，将样本中目标的标注格式整理为(Class,X,Y,W,H)，Class表示该目标所属的类别，X,Y表示归一化后目标锚框中心点的坐标值，W,H表示归一化后目标锚框的宽度和高度；更新模型的配置信息，修改预测向量长度；

步骤(1.1.2)、将样本输入主干网络；主干网络由5个密集模块组成，每个密集模块包含数个卷积层与route层；密集模块内特征的传递方式如式(1)：

C_t＝H_t([C₀，C₁，...，C_t-1]) (1)

C_i表示第i层卷积层的输入，H_t表示一个非线性变换。

输入样本经过主干网络的卷积运算、拼接、池化，生成3种不同尺度的特征图，以检测航拍图像中不同尺寸的目标；

步骤(1.1.3)、将特征图输入检测头部，检测头部对目标的位置和种类进行回归，获得预测结果，其向量为N*N*3*(4+1+M)，N表示该尺度下的特征图尺寸，3表示该尺度下的先验预测框数量，4和1分别表示预测框的坐标和置信度，M表示模型预测的类别数；

步骤(1.1.4)、使用损失函数训练模型，获得训练后的基础模型。

优选地，步骤(1.2)包括步骤如下：

步骤(1.2.1)、选取批归一化处理中线性变换的尺度因子γ作为参数；批归一化首先求得输入样本批次的均值

和方差

接着对输入进行归一化，如式(2)：

其中，x_i表示批归一化层的输入，对其使用均值和方差归一化得到输出

ε是一个极小正数，避免分母为0；

再对归一化后的

进行线性变换得到该卷积层批归一化后的输出，如式(3)：

其中，y_i表示批归一化层的最终输出，通过对

进行线性变换得到，线性变换的参数为γ，β是一对可学习参数，其值在训练过程中获得；

步骤(1.2.2)、将γ加入原损失函数，形成新的目标函数，如式(4)：

L＝∑_(x，y)l(f(x，W)，y)+λ∑_γ∈rg(γ) (4)

新的目标函数由原网络的损失函数和尺度因子γ的惩罚函数组成；式(4)的第一项对应网络的损失函数，(x,y)表示基础训练的输入和目标值，W表示模型权重；第二项中g(·)表示使尺度因子分布稀疏化的惩罚函数，λ作为系数平衡整个目标函数的两项。

优选地，步骤(1.3)包括步骤如下：

选定模型所需的压缩比K％，将模型中所有卷积层的通道的尺度因子γ从小到大排列，对于尺度因子γ位于前K％的通道，剪去其本身和与它相连的所有连接，获得裁剪后的模型。

优选地，步骤(1.4)包括步骤如下：

在验证数据集上测试剪裁后的模型，如果检测精度相比剪裁前有下降，若下降幅度小于10％，在训练数据集上训练剪裁后的模型，恢复下降的精度；若下降幅度在10％以上，考虑减小步骤(1.3)中的压缩比重新剪裁模型并随后在训练数据集上训练剪裁后的模型。

有益效果：本发明和现有技术相比，具有如下显著优点：本发明使用基于密集连接的主干网络提取样本的特征，提高了信息的利用效率，更适合航拍图像的检测。对训练后的基础模型通过稀疏训练，在尺度因子γ的指导下剪裁冗余通道，在精度损失尽量小的前提下，显著减少了参数量和权重规模，实现轻量检测，并能通过调节压缩比，压缩得到不同规模的模型，更好地适应具体的部署环境。

附图说明

图1为本发明的流程示意图；

图2为本发明的网络框架的结构示意图；

图3为本发明使用的密集连接的原理示意图；

图4为本发明通道剪裁的原理示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图1所示为本发明的流程示意图，具体包括如下步骤：

步骤(1.1)，将训练数据集的样本输入网络框架，主干网络提取样本的视觉特征，生成特征图并输入检测头部，通过对目标的位置和种类的回归获得预测结果。利用损失函数训练模型，获得训练后的基础模型；其具体步骤如下：

步骤(1.1.1)、对训练数据集的样本进行预处理，将样本中目标的标注格式整理为(Class,X,Y,W,H)，Class表示该目标所属的类别，X,Y表示归一化后目标锚框中心点的坐标值，W,H表示归一化后目标锚框的宽度和高度；更新模型的配置信息，修改预测向量长度；

步骤(1.1.2)将训练样本输入网络框架，网络框架分为主干网络和检测头部两部分。主干网络基于密集连接，提取样本的视觉特征，生成3种不同大小尺度的特征图，其大小分别为输入图像的8、16、32倍下采样，以检测航拍图像中不同尺寸的目标。

网络输入经过一个卷积层和5个密集模块的处理。卷积层在传统卷积计算的基础上添加了批归一化和激活函数。密集模块的组成单位是密集单元，密集单元由一对1*1和3*3大小的卷积层和一个route层组成，route层的功能是在通道层面上叠加卷积层的输出。

密集模块内的特征传递方式如式(1)：

C_t＝H_t([C₀，C₁，...，C_t-1]) (1)

C_i表示第i层卷积层的输入，H_t表示一个非线性变换。式(1)表明，在密集模块内，每一个卷积层都受到该模块内前面所有卷积层输出的影响。这种连接方式提高了信息利用的效率，并减少了前向推理过程中细节的损失，有助于提升小目标检测的能力。

密集模块间由池化层连接，池化层通过下采样降低图像的尺寸，最终生成特征图。池化方式选用最大池化，相比原输入样本，特征图分别是其8、16、32倍下采样。

步骤(1.1.3)将特征图输入检测网络，对样本进行目标位置和种类的回归，获得预测结果，预测结果向量为N*N*3*(4+1+M)，N表示该尺度下的特征图尺寸，3表示该尺度下的先验预测框数量，4和1分别表示预测框的坐标和置信度，M表示模型预测的类别数。

步骤(1.1.4)利用损失函数训练模型，获得训练后的基础模型。

步骤(1.2)，选取模型中的批归一化层的尺度因子作为参数，添加到原损失函数中，对模型进行稀疏训练；其具体步骤如下：

步骤(1.2.1)选择批归一化处理中线性变换的尺度因子，因为卷积层在每个通道上独立进行批归一化，所以将其尺度因子作为参数。批归一化首先求得输入样本批次的均值

和方差

接着对输入进行归一化，如式(2)：

其中，x_i表示批归一化层的输入，对其使用均值和方差归一化得到输出

ε是一个极小正数，避免分母为0；

对归一化后的

线性变换恢复原始输入分布，得到该卷积层批归一化后的输出y_i，如式(3)：

γ,β是两个可学习参数，γ为尺度因子，β为偏移因子。式(3)表示了从输入到输出的线性变换，γ越小的通道，输出受输入的影响越小，其传递信息的能力也越弱。当γ为0时，该通道的输出与输入无关，不传递视觉信息。剪掉γ值小的通道对模型精度的影响较小。因此，将尺度因子γ作为衡量通道重要性的参数。

步骤(1.2.2)γ的L1正则化项与稀疏系数相乘得到惩罚函数，加入原损失函数，形成新的目标函数。新的目标函数如式(4)：

L＝∑_(x，y)l(f(x，W)，y)+λ∑_γ∈Γg(γ) (4)

(x,y)表示训练的输入和目标值，公式的第一项对应的是原模型的损失函数。公式的第二项中g(·)表示使尺度因子稀疏的惩罚函数，λ作为稀疏系数用于平衡函数的两项。选择L1正则化作为惩罚函数使γ稀疏化，即g(γ)＝|γ|。由于L1正则化是不光滑的，使用次梯度下降法作为优化方法。

用新的目标函数对模型进行稀疏训练，获得稀疏后的模型，γ的分布被稀疏至0的周围，剪掉γ值小于一定阈值的通道对模型精度的损失很小。

步骤(1.3)，设定压缩比，对模型中所有卷积层通道的尺度因子值进行排序，按照压缩比对尺度因子值小的通道进行裁剪，

选定模型所需的压缩比K％，将模型中所有卷积层通道的尺度因子从小到大排列，对于参数值位于前K％的通道，剪去其本身和与它相连的所有连接，获得剪裁后的模型。

步骤(1.4)，针对压缩后模型的检测精度变化情况，对模型进行优化，

在验证数据集上测试剪裁后的模型，如果检测精度相比剪裁前有下降，若下降幅度小于10％，则在训练数据集上训练剪裁后的模型，恢复下降的精度；若下降幅度大于10％，考虑减小步骤(1.3)中的压缩比重新剪裁模型并随后在训练数据集上训练剪裁后的模型。得到用于无人机检测的轻量级模型。

步骤(1.5)，利用轻量级模型对输入图像进行检测，输出对目标的检测结果。

如图2所示，本发明提供一个网络框架示意图：所述目标检测网络框架，表示将一定量训练数据集样本的作为一个批次，输入主干网络，通过卷积计算、池化等操作形成不同大小尺度的特征图；将特征图输入检测头部，经过特征融合送入预测层，输出预测向量。对模型使用损失函数进行训练，获得目标检测模型。

如图3所示，本发明提供一个密集连接的原理示意图；所述密集连接，是以上一卷积层的输出作为本模块的输入，由数个卷积层和route层组成密集模块实现。这种连接方式将卷积层的输出连接至之后的所有卷积层，使得模块中的卷积层受到前面所有卷积层的影响，这种连接方式最大程度上保留了网络中的信息，但同时造成通道的冗余。冗余的通道在后续的步骤中得到修剪。

如图4所示，本发明提供一个剪裁通道的原理示意图；所述剪裁通道的原理示意图，对于稀疏化分布的尺度因子，由于尺度因子是批归一化后从输入到输出线性变换的系数，表示了相应通道信息传播能力的强弱。尺度因子低的通道，传递图像视觉特征的能力弱，在网络结构中属于冗余，裁剪这些通道对模型精度的影响很小。

本发明提出了主干网络基于密集连接的新网络框架，密集连接可以提升图像视觉特征的利用效率，适应航拍图像小目标多的特点，提升检测精度，但网络中存在一定量的冗余通道。因此，基于通道裁剪思想，用尺度因子衡量通道传递信息的效率，对模型进行稀疏训练，以稀疏后因子的分布为参考修剪信息传递效率低的通道，在压缩模型规模的同时将精度损失降到最小。

Claims (4)

1.一种基于通道裁剪的轻量级无人机目标检测方法，其特征在于，包括步骤如下：

步骤(1.1)，将训练数据集的样本输入网络框架，主干网络提取样本的视觉特征，生成特征图并输入检测头部，通过对目标的位置和种类的回归获得预测结果；利用损失函数训练模型，获得训练后的基础模型，步骤如下：

步骤(1.1.1)、对训练数据集的样本进行预处理，将样本中目标的标注格式整理为(Class,X,Y,W,H)，Class表示该目标所属的类别，X,Y表示归一化后目标锚框中心点的坐标值，W,H表示归一化后目标锚框的宽度和高度；更新模型的配置信息，修改预测向量长度；

步骤(1.1.2)、将样本输入主干网络；主干网络由5个密集模块组成，每个密集模块包含数个卷积层与route层；密集模块内特征的传递方式如式(1)：

C_ι＝H_ι([C₀，C₁，...，C_ι-1]) (1)

C_i表示第i层卷积层的输入，H_ι表示一个非线性变换；

输入样本经过主干网络的卷积运算、拼接、池化，生成3种不同尺度的特征图，以检测航拍图像中不同尺寸的目标；

步骤(1.1.3)、将特征图输入检测头部，检测头部对目标的位置和种类进行回归，获得预测结果，其向量为N*N*3*(4+1+M)，N表示该尺度下的特征图尺寸，3表示该尺度下的先验预测框数量，4和1分别表示预测框的坐标和置信度，M表示模型预测的类别数；

步骤(1.1.4)、使用损失函数训练模型，获得训练后的基础模型；

步骤(1.2)，选取模型中的批归一化层的尺度因子作为参数，添加到原损失函数中，对模型进行稀疏训练；

步骤(1.3)，设定压缩比，对模型中所有通道的尺度因子值进行排序，按照压缩比对尺度因子值小的通道进行裁剪；

步骤(1.4)，针对压缩后模型的精度变化情况，对其进行微调优化；

步骤(1.5)，利用轻量级模型对输入图像进行检测，输出对目标的检测结果。

2.根据权利要求1所述的一种基于通道裁剪的轻量级无人机目标检测方法，其特征在于，所述步骤(1.2)包括步骤如下：

步骤(1.2.1)、选取批归一化处理中线性变换的尺度因子γ作为参数；批归一化首先求得输入样本批次的均值

和方差

接着对输入进行归一化，如式(2)：

其中，x_i表示批归一化层的输入，对其使用均值和方差归一化得到输出

ε是一个极小正数，避免分母为0；

再对归一化后的

进行线性变换得到该卷积层归一化后的输出，如式(3)：

其中，y_i表示批归一化层的最终输出，通过对

进行线性变换得到，线性变换的参数为γ，β是一对可学习参数，γ为尺度因子，β为偏移因子，其值在训练过程中获得；

步骤(1.2.2)、将γ加入原损失函数，形成新的目标函数，如式(4)：

L＝∑_(x，y)l(f(x，W)，y)+λ∑_γ∈Γg(γ) (4)

新的目标函数由原网络的损失函数和尺度因子γ的惩罚函数组成；式(4)的第一项对应网络的损失函数，(x，y)表示基础训练的输入和目标值，W表示模型权重；第二项中g(·)表示使尺度因子分布稀疏化的惩罚函数，λ作为系数平衡整个目标函数的两项。

3.根据权利要求1所述的一种基于通道裁剪的轻量级无人机目标检测方法，其特征在于，所述步骤(1.3)包括步骤如下：

选定模型所需的压缩比K％，将模型中所有卷积层的通道的尺度因子γ从小到大排列，对于尺度因子γ位于前K％的通道，剪去其本身和与它相连的所有连接，获得裁剪后的模型。

4.根据权利要求1所述的一种基于通道裁剪的轻量级无人机目标检测方法，其特征在于，所述步骤(1.4)包括步骤如下：

在验证数据集上测试剪裁后的模型，如果检测精度相比剪裁前有下降，若下降幅度小于10％，在训练数据集上训练剪裁后的模型，恢复下降的精度；若下降幅度在10％以上，考虑减小步骤(1.3)中的压缩比重新剪裁模型并随后在训练数据集上训练剪裁后的模型。

Images