CN112308019B - 基于网络剪枝和知识蒸馏的sar舰船目标检测方法 - Google Patents

Abstract

本发明公开了一种基于网络剪枝和知识蒸馏的SAR舰船目标检测方法，属于雷达遥感图像应用技术领域。技术方案是首先设计适用于SAR多尺度、大长宽比目标的骨干网络结构，然后对该网络进行通道剪枝以产生较紧凑的模型。另外，应用知识蒸馏策略来弥补由于网络剪枝造成的性能下降。不同于常用检测模型蒸馏方法中的全特征模仿，本发明将不同层级特征图之间的相互关系作为蒸馏中的迁移知识，还设计了一种新颖的注意力机制以增强目标相关的特征，从而使得蒸馏的特征有更强的表示能力。采用本发明构建的检测器可实现2.8M的模型大小，大于200fps的推理速度以及较低的计算成本，检测精度也有一定提升。

Description

基于网络剪枝和知识蒸馏的SAR舰船目标检测方法

技术领域

本发明属于雷达遥感图像应用技术领域，涉及基于卷积神经网络的SAR(合成孔径雷达)图像舰船检测方法，尤其是结合深度网络压缩的目标检测方法。

背景技术

合成孔径雷达(Synthetic Aperture Radar，SAR)一种主动式微波成像传感器，其利用距离向的脉冲压缩技术和方位向的孔径合成技术来实现较高的空间分辨率，并借助机载和星载等平台实现对大范围观测区域的高分辨成像。目前，开展基于SAR图像的舰船目标检测研究备受各国关注，对维护海洋权益，执行海上救援任务以及实行海上目标的精确制导有着重要意义。

近年来，卷积神经网络(convolution neural network，CNN)凭借其强大的特征表示能力以及自动提取特征的优势在计算机视觉领域的检测、分类、分割等多个任务中取得了较高的精度，基于CNN的检测器在SAR图像舰船检测中的方法也层出不穷。然而，大多数检测模型以牺牲检测速度和模型计算量的代价来提高检测精度，限制了实时应用中SAR检测器的性能。如对比文件Cui Z，Li Q，et al，“Dense attention pyramid networks formulti-scale ship detection in sar images”，IEEE Transactions on Geoscience andRemote Sensing，2019，57(11)：8983-8997(Cui Z等人于2019年在《电气与电子工程师协会地理科学与遥感会刊》第57卷第11期发表的“密集注意力金字塔网络下的多尺度SAR图像舰船检测”)；对比文件Wei S，Su H，et al，“Precise and robust ship detection forhigh-resolution sar imagery based on hr-sdnet”，Remote Sensing，2019，12(1)：167(Wei S等人于2019年在《遥感》期刊第12卷第1期发表的“基于HR-SDNet网络的精确和鲁棒高分辨率SAR图像舰船检测”)。

对比文件Zhang T，Zhang X，et al,“Depthwise separable convolution neuralnetwork for high-accurate and high-speed sar ship detection”，Remote Sensing，vol.11，no.21，p.2483，2019(Zhang T等人在《遥感》期刊第11卷第21期发表的“用于高精度和高速SAR舰船检测的深度可分离卷积神经网络”)针对SAR图像中复杂的舰船背景提出改进版本的YOLOv3，并结合了特征金字塔结构提高了多尺度舰船目标的检测性能。虽然检测精度有提高，但模型的计算量和容量都比较大且网络参数较多，检测速度有所下降。如何在保持检测精度的前提下，实现模型的小型化、计算的轻量化、检测的高效化，是应用于机载星载实时SAR图像解译中需要解决的关键问题。

发明内容

针对上述存在问题或不足，为克服现有基于CNN的SAR舰船检测模型中计算量大且参数冗余的现象，本发明提出一种基于网络剪枝和知识蒸馏的SAR舰船目标检测方法。由此构建的轻量化检测器Tiny YOLO-Lite能在保证精度的同时实现快速检测且占用较少的计算资源，有利于检测模型在实际应用中的部署以及硬件移植。

本发明的技术方案由以下步骤实现，其舰船检测方法的整体流程如附图1所示。

步骤1：将SAR图像切片输入检测网络，使用YOLOv3检测器作为参考检测框架；在骨干网络中的最后三个阶段引入非对称卷积模块ACM，以加强长宽比较大的目标的特征表现能力；通过加入不同形状的卷积核以丰富卷积核的感受野，提升不同形状目标的检测；将输入特征表示为F_in，且F_in来自于骨干网络中最后三个阶段的输出特征图；将输入特征F_in接入三个分支，其中第一个分支和第三个分支对应的卷积核大小分别是1×d和d×1，对应的卷积分别表示为Conv_1×d和Conv_d×1；中间分支保持d×d大小的卷积核，对应的卷积表示为Conv_d×d；输出特征图F_out的计算过程如下：

F_out＝ReLu(Conv_1×d(F_in)+Conv_d×d(F_in)+Conv_d×1(F_in))

其中，ReLu表示激活函数，对三个分支融合后的输出进行处理得到输出特征；

然后，构建一个含密集连接要素的金字塔网络以融合不同层级的特征，进一步增强每个尺度特征的语义信息，进而提升多尺度船舶尤其是小目标的检测性能；将骨干网络中最后三个Res模块的输出特征图定义为F₁,F₂,F₃，即ACM模块的输入特征，其中最后三个Res模块分别为Res8，Res8，Res4，且Res之后的数字表示Res单元的个数；将密集连接后生成的特征图定义为F₁′，F₂′，F₃′，依次对应检测小、中、大尺寸的目标；定义CBL为3×3卷积、批量归一化BN以及LeakyReLu操作的集合，定义m×操作为：

其中，Concat表示特征拼接操作，UpSample_m表示m倍的上采样操作，Conv_1×1是核大小为1×1的卷积，F_i表示骨干网络中最后三个Res模块输出的第i个特征图；

表示第(i+log₂m)个特征图，log₂m表示特征F_i和特征

之间的距离层数；

将不同层级用于预测不同尺度目标的输出特征图集合F₁′，F₂′，F₃′表示为：

F₃′＝Conv_1×1(CBL(ACM(F₃)))

其中，F_i,i＝1,2,3表示骨干网络最后三个Res模块对应的三个层级的特征图；

i＝1,2,3表示与F_i间隔log₂m个特征层级数的对应特征；ACM表示非对称卷积模块，CBL是卷积操作集合，m₁，m₂表示不同层级之间的倍数关系；

将YOLOv3主干网络DarkNet-53中的Res单元里的第二个卷积模块换成深度可分离卷积模块DSC，其中，DSC模块由3×3深度卷积、批量归一化BN、LeakyReLu、1×1点卷积、批量归一化BN以及LeakyReLu的组合构成，完成改进骨干网络的自适应多尺度多形态目标检测器DC-ACM YOLOv3的构建；

步骤2：对步骤1中构建的DC-ACM YOLOv3进行稀疏训练，在网络通道剪枝之前先联合训练网络权重参数和表示通道重要性的尺度因子，并以通道形式对尺度因子进行L₁正则化。

将通道剪枝网络的训练目标函数表示为：

第一项表示检测器的常规损失函数，f(γ)＝|γ|表示用于实现稀疏功能的L₁归一化项，γ为表示通道重要性的尺度因子，Γ为尺度因子集合构成的空间，λ用于平衡两者；

步骤3：通过深度网络压缩中的模型剪枝方法修剪DC-ACM YOLOv3的主干网络以获得一个更加紧凑的特征提取模型，从网络模型中挑选出重要性程度较低的部分参数进行网络参数裁剪；

在通道层面引入稀疏训练后，将批量归一化(BN)层中的尺度缩放因子γ作为衡量通道重要性的参数挑选出待剪枝的特征通道，然后进行通道裁剪；给定剪枝率α，定义全局阈值

表示所有γ值中第α个百分比对应的值，同时以层级的局部保护阈值θ限制待剪枝通道的尺度因子，根据这两个阈值

和θ对所有卷积层构建剪枝掩膜；

处理骨干网络的路由层时，按顺序拼接其所有输入的剪枝掩膜并经输出掩膜作为当前层的剪枝掩膜；对于跨层连接层，为匹配与该层相连接的层的通道数，遍历所有与其相连接层的剪枝掩膜并执行“或”的操作以产生这些连接层的最终剪枝掩膜；获取剪枝掩膜后，移除所有尺度因子接近0的通道对应的输入输出以及权重参数从而得到网络的轻量化模型；

步骤4：使用特征图间相互关系指导的知识蒸馏策略，将设计的检测器DC-ACMYOLOv3定义为教师模型，而学生网络是经过通道剪枝得到的轻量化网络；

舰船检测框架中的知识蒸馏结构图见附图2。给定输入图像I，分别对其在教师网络和学生网络中进行特征提取，得到教师网络中的预测特征图集合F^T＝{f₁ ^T,f₂ ^T,f₃ ^T}和学生网络中的预测特征图集合F^S＝{f₁ ^S,f₂ ^S,f₃ ^S}；每一层级的预测特征将接入分类分支和回归分支生成对应的属于目标类别的概率p(p_s、p_t分别表示学生模型和教师模型的分类分数输出，y表示目标的真值)和对应的回归偏置R(R_s、R_t分别表示学生模型和教师模型的分类分数输出，R_gt表示目标的真值框位置)分别从三个层面即骨干网络特征，分类头部和边框回归头部进行教师网络到学生网络的蒸馏；

由于检测是更高级的视觉任务，需要同时输出每个实例的分类和位置信息，因此直接蒸馏分类分支的软目标难以产生较好的效果。其次，前景实例和背景实例两者之间的极端不平衡使得学生网络难以捕捉教师网络中最具代表性的知识。因此本发明提出一种新型的注意力机制以提取目标的显著性特征，尤其是在检测近岸船舶时能削弱SAR图像中强后向散射点的干扰以及复杂背景下引起的虚警。具体方法如下：

4.1首先构造特征相似度图FAG来表示不同层级特征图之间的知识。

给定训练实例x_i，定义f_l(x_i)为从第l个阶段中提取的特征，即骨干网络中三个层级的中间特征图；将特征的互关系表示为不同尺度特征间的邻接矩阵A_l，将第i个训练样本对应的FAG表示为：

FAG_i＝(V_n,E_n)＝(f_l(x_i),A_l)

其中，V_n为一系列表示不同预测层级特征分布的节点，每对节点由边集合E_n连接，其中的每个元素A_l表示特征间的关系，特征间的关系矩阵A_l(m,n)由下式计算：

式中，f_m(x_i)和f_n(x_i)表示训练实例x_i中提取的第m和n层特征，

表示欧几里得距离计算。

4.2构建基于条带池化的注意力模块SPAM增强图结构中的每个特征，SPAM的整体结构见附图3。

SPAM图结构中不同层级的特征图

作为输入特征图进行SPAM操作，得到每层特征的注意力图

其将作为特征重要性的描述子。

SPAM首先沿着通道轴以两个平行分支生成对应的池化特征，为保证两个池化特征有相同的空间尺度，接着送入卷积核大小为3的一维卷积层，输出的水平条带池化特征和垂直条带池化特征分别是P_hori和P_ver；两个分支的特征以相加方式融合后，经过1×1卷积和激活函数得到空间注意力图A_sam(X_i)，再与原输入特征图相乘得到注意力增强的输出特征图X_sam，计算过程如下式所示：

其中，f^1×1表示1×1卷积，

表示按元素相加，σ为Sigmoid激活函数，

表示按元素相乘。

4.3在骨干网络的中间特征，分类头部和边框回归头部部分增加来自教师网络的监督信号，融合这三个蒸馏项得到轻量化的学生网络的训练目标函数，计算公式如下式：

L_cls，L_reg分别表示图结构下得特征蒸馏损失，分类和回归分支中的蒸馏损失，β表示控制特征蒸馏损失比例的超参数。

本发明在现有单阶段检测器YOLOv3的基础上，提出了一种基于网络剪枝和知识蒸馏的SAR舰船目标检测方法。首先设计了融合密集连接和非对称卷积模块的骨干网络，以提升SAR图像中多尺度和大长宽比舰船目标的检测性能。接着用通道剪枝方法缩减原始骨干网络的大小，并结合知识蒸馏策略弥补剪枝带来的性能下降。通过模拟不同层级特征之间的相互关系，构建基于图的显著性特征知识蒸馏模块，从而更好地逼近教师网络的检测性能。

与现有的基于卷积神经网络的SAR舰船目标检测方法不同，本发明构建了轻量化的舰船检测模型Tiny YOLO-Lite，能在保证检测精度的同时达到较快的检测速度，模型的计算量和容量也有大幅度精简。在小尺度、大长宽比和排列密集的舰船上都能取得良好的检测效果。

附图说明

图1为本发明轻量化SAR舰船实时检测方法的总体流程图；

图2为检测模型中的知识蒸馏结构图；

图3为基于特征图互关系的图结构；

图4为本发明中SAR图像多尺度、密集排列的舰船检测结果示意图。

具体实施方式

下面结合附图和具体实施例对本发明进一步说明。

基于网络剪枝和知识蒸馏的SAR舰船目标检测方法，包括如下步骤：

步骤1：将SAR图像切片输入检测网络，使用YOLOv3检测器作为参考检测框架；在骨干网络中的最后三个阶段引入非对称卷积模块ACM，以加强长宽比较大的目标的特征表现能力；通过加入不同形状的卷积核以丰富卷积核的感受野，提升不同形状目标的检测；将输入特征表示为F_in，且F_in来自于骨干网络中最后三个阶段的输出特征图；将输入特征F_in接入三个分支，其中第一个分支和第三个分支对应的卷积核大小分别是1×d和d×1，对应的卷积分别表示为Conv_1×d和Conv_d×1；中间分支保持d×d大小的卷积核，对应的卷积表示为Conv_d×d；输出特征图F_out的计算过程如下：

F_out＝ReLu(Conv_1×d(F_in)+Conv_d×d(F_in)+Conv_d×1(F_in))

其中，ReLu表示激活函数，对三个分支融合后的输出进行处理得到输出特征；

然后，构建一个含密集连接要素的金字塔网络以融合不同层级的特征，进一步增强每个尺度特征的语义信息，进而提升多尺度船舶尤其是小目标的检测性能；将骨干网络中最后三个Res模块(Res8，Res8，Res4，其中Res之后的数字表示Res单元的个数)的输出特征图定义为F₁,F₂,F₃，即ACM模块的输入特征；将密集连接后生成的特征图定义为F₁′，F₂′，F₃′，依次对应检测小、中、大尺寸的目标；定义CBL为3×3卷积、批量归一化BN以及LeakyReLu操作的集合，定义m×操作为：

其中，Concat表示特征拼接操作，UpSample_m表示m倍的上采样操作，Conv_1×1是核大小为1×1的卷积。F_i表示骨干网络中最后三个Res模块输出的第i个特征图；

表示第(i+log₂m)个特征图，log₂m表示特征F_i和特征

之间的距离层数；

将不同层级用于预测不同尺度目标的输出特征图集合F₁′，F₂′，F₃′表示为：

F₃′＝Conv_1×1(CBL(ACM(F₃)))

其中，F_i,i＝1,2,3表示骨干网络最后三个Res模块对应的三个层级的特征图；

i＝1,2,3表示与F_i间隔log₂m个特征层级数的对应特征；ACM表示非对称卷积模块，CBL是卷积操作集合，m₁，m₂表示不同层级之间的倍数关系；

将YOLOv3主干网络DarkNet-53中的Res单元里的第二个卷积模块换成深度可分离卷积模块DSC，DSC模块由3×3深度卷积、批量归一化BN、LeakyReLu、1×1点卷积、批量归一化BN以及LeakyReLu的组合构成，完成改进骨干网络的自适应多尺度多形态目标检测器DC-ACM YOLOv3的构建；

步骤2：对步骤1中构建的DC-ACM YOLOv3进行稀疏训练，在网络通道剪枝之前先联合训练网络权重参数和表示通道重要性的尺度因子，并以通道形式对尺度因子进行L₁正则化。

将通道剪枝网络的训练目标函数表示为：

第一项表示检测器的常规损失函数，f(γ)＝|γ|表示用于实现稀疏功能的L₁归一化项，γ为表示通道重要性的尺度因子，Γ为尺度因子集合构成的空间，λ用于平衡两者；

步骤3：通过深度网络压缩中的模型剪枝方法修剪DC-ACM YOLOv3的主干网络以获得一个更加紧凑的特征提取模型，从网络模型中挑选出重要性程度较低的部分参数进行网络参数裁剪；

在通道层面引入稀疏训练后，将批量归一化(BN)层中的尺度缩放因子γ作为衡量通道重要性的参数挑选出待剪枝的特征通道，然后进行通道裁剪；给定剪枝率α，定义全局阈值

表示所有γ值中第α个百分比对应的值，同时以层级的局部保护阈值θ限制待剪枝通道的尺度因子，根据这两个阈值

和θ对所有卷积层构建剪枝掩膜；

处理骨干网络的路由层时，按顺序拼接其所有输入的剪枝掩膜并经输出掩膜作为当前层的剪枝掩膜；对于跨层连接层，为匹配与该层相连接的层的通道数，遍历所有与其相连接层的剪枝掩膜并执行“或”的操作以产生这些连接层的最终剪枝掩膜；获取剪枝掩膜后，移除所有尺度因子接近0的通道对应的输入输出以及权重参数从而得到网络的轻量化模型；

步骤4：使用特征图间相互关系指导的知识蒸馏策略，将设计的检测器DC-ACMYOLOv3定义为教师模型，而学生网络是经过通道剪枝得到的轻量化网络；

舰船检测框架中的知识蒸馏结构图见附图2。给定输入图像I，分别对其在教师网络和学生网络中进行特征提取，得到教师网络中的预测特征图集合F^T＝{f₁ ^T,f₂ ^T,f₃ ^T}和学生网络中的预测特征图集合F^S＝{f₁ ^S,f₂ ^S,f₃ ^S}；每一层级的预测特征将接入分类分支和回归分支生成对应的属于目标类别的概率p(p_s、p_t分别表示学生模型和教师模型的分类分数输出，y表示目标的真值)和对应的回归偏置R(R_s、R_t分别表示学生模型和教师模型的分类分数输出，R_gt表示目标的真值框位置)分别从三个层面即骨干网络特征，分类头部和边框回归头部进行教师网络到学生网络的蒸馏；

由于检测是更高级的视觉任务，需要同时输出每个实例的分类和位置信息，因此直接蒸馏分类分支的软目标难以产生较好的效果。其次，前景实例和背景实例两者之间的极端不平衡使得学生网络难以捕捉教师网络中最具代表性的知识。因此本发明提出一种新型的注意力机制以提取目标的显著性特征，尤其是在检测近岸船舶时能削弱SAR图像中强后向散射点的干扰以及复杂背景下引起的虚警。具体方法如下：

4.1首先构造特征相似度图FAG来表示不同层级特征图之间的知识。

给定训练实例x_i，定义f_l(x_i)为从第l个阶段中提取的特征，即骨干网络中三个层级的中间特征图；将特征的互关系表示为不同尺度特征间的邻接矩阵A_l，将第i个训练样本对应的FAG表示为：

FAG_i＝(V_n,E_n)＝(f_l(x_i),A_l)

其中，V_n为一系列表示不同预测层级特征分布的节点，每对节点由边集合E_n连接，其中的每个元素A_l表示特征间的关系，特征间的关系矩阵A_l(m,n)由下式计算：

式中，f_m(x_i)和f_n(x_i)表示训练实例x_i中提取的第m和n层特征，

表示欧几里得距离计算。

4.2构建基于条带池化的注意力模块SPAM增强图结构中的每个特征，SPAM的整体结构见附图3。

SPAM图结构中不同层级的特征图

作为输入特征图进行SPAM操作，得到每层特征的注意力图

其将作为特征重要性的描述子。

SPAM首先沿着通道轴以两个平行分支生成对应的池化特征，为保证两个池化特征有相同的空间尺度，接着送入卷积核大小为3的一维卷积层，输出的水平条带池化特征和垂直条带池化特征分别是P_hori和P_ver；两个分支的特征以相加方式融合后，经过1×1卷积和激活函数得到空间注意力图A_sam(X_i)，再与原输入特征图相乘得到注意力增强的输出特征图X_sam，计算过程如下式所示：

其中，f^1×1表示1×1卷积，

表示按元素相加，σ为Sigmoid激活函数，

表示按元素相乘。

4.3在骨干网络的中间特征，分类头部和边框回归头部部分增加来自教师网络的监督信号，融合这三个蒸馏项得到轻量化的学生网络的训练目标函数，计算公式如下式：

L_cls，L_reg分别表示图结构下得特征蒸馏损失，分类和回归分支中的蒸馏损失，β表示控制特征蒸馏损失比例的超参数。

下面利用海军航空大学提出的舰船数据集SSDD进行多尺度、密集排列舰船目标检测，对本发明做进一步说明。

实验采用的数据集为SAR图像舰船检测数据集SSDD，该数据集采集了来自不同传感器和极化方式，不同海况和场景下具有不同分辨率的SAR图像。SSDD中船舶尺寸分布从最小的7×7到最大的211×298，目标形状各异，部分复杂场景中存在密集排列的目标。实验中对1160张SAR图像按照7:2:1的比例划分训练、验证和测试集。

训练网络方面，学习率初始值设置为0.001，并在训练过程中通过余弦退火机制进行衰减，在动量为0.9，权重衰减率为0.0005的条件下以随机梯度下降法优化。正常训练教师网络时，代数设置为100，而稀疏训练时设置为200，其余参数保持一致。网络中锚框的尺度和比例设置同YOLOv3中的设置相同。

表1舰船检测精度比较

与现有基于卷积神经网络的SAR舰船检测方法比较，本发明提出方法下的舰船检测精度能达到94.6％，比表中最好的YOLOv3结构提高了1.1％。与未经过剪枝的YOLOv3相比，本发明方法得到的网络浮点计算量能减少约93.6％，模型参数能减少约98.9％且模型容量仅有YOLOv3模型的1％大小。表1为本发明方法与其他典型的CNN检测方法下的检测精度比较。多尺度、密集排列的舰船目标检测结果比较见附图4所示。从图中可以看出，待检测的船只都分布于复杂场景下的近岸区域。其他轻量化模型下存在部分漏检和虚景，一些平行排列的靠岸舰船会被当作一个目标，或者预测框重叠区域较大区分不够明显，这是由于紧密排列舰船的边界不够清晰。而本发明中所提轻量化模型在模仿教师网络的特征时加强了目标的语义信息表示，因此能获取具有高质量且目标包围更紧凑的预测框。此外，诸如岛屿和人造设施之类的虚景会出现在内陆区域中，这是由邻近的具有相似散射强度的非目标的干扰导致的。而本发明中的特征注意力机制能在抑制表示能力不足的背景特征的同时增强突出目标相关的重要像素，从而能将目标与背景散射点进行有效的区分。综上所述，本发明能在保证检测精度的同时提升检测速度，构建计算量和网络参数量较小且模型精简化的检测框架。

虽然参照上述实施例详细描述了本发明，但是应该理解本发明并不限于所公开的实施例。对于本专业领域的技术人员来说，可以对其形式和细节进行各种改变。本发明意欲涵盖所附权利要求书的精神和范围内的各种变形。

Claims (1)

1.基于网络剪枝和知识蒸馏的SAR舰船目标检测方法，其特征在于，包括如下步骤：

步骤1：将SAR图像切片输入检测网络，使用YOLOv3检测器作为参考检测框架；在骨干网络中的最后三个阶段引入非对称卷积模块ACM；通过加入不同形状的卷积核以丰富卷积核的感受野，提升不同形状目标的检测；将输入特征表示为F_in，且F_in来自于骨干网络中最后三个阶段的输出特征图；将输入特征F_in接入三个分支，其中第一个分支和第三个分支对应的卷积核大小分别是1×d和d×1，对应的卷积分别表示为Conv_1×d和Conv_d×1；中间分支保持d×d大小的卷积核，对应的卷积表示为Conv_d×d；输出特征图F_out的计算过程如下：

F_out＝ReLu(Conv_1×d(F_in)+Conv_d×d(F_in)+Conv_d×1(F_in))

其中，ReLu表示激活函数，对三个分支融合后的输出进行处理得到输出特征；

然后，构建一个含密集连接要素的金字塔网络以融合不同层级的特征，进一步增强每个尺度特征的语义信息，进而提升多尺度船舶小目标的检测性能；将骨干网络中最后三个Res模块的输出特征图定义为F₁,F₂,F₃，即ACM模块的输入特征，其中最后三个Res模块分别为Res8，Res8，Res4，且Res之后的数字表示Res单元的个数；将密集连接后生成的特征图定义为F′₁，F′₂，F′₃，依次对应检测小、中、大尺寸的目标；定义CBL为3×3卷积、批量归一化BN以及LeakyReLu操作的集合，定义m×操作为：

其中，Concat表示特征拼接操作，UpSample_m表示m倍的上采样操作，Conv_1×1是核大小为1×1的卷积，F_i表示骨干网络中最后三个Res模块输出的第i个特征图；

表示第(i+log₂m)个特征图，log₂ m表示特征F_i和特征

之间的距离层数；

将不同层级用于预测不同尺度目标的输出特征图集合F′₁，F′₂，F′₃表示为：

F′₃＝Conv_1×1(CBL(ACM(F₃)))

其中，F_i,i＝1,2,3表示骨干网络最后三个Res模块对应的三个层级的特征图；

表示与F_i间隔log₂ m个特征层级数的对应特征；ACM表示非对称卷积模块，CBL是卷积操作集合，m₁，m₂表示不同层级之间的倍数关系；

将YOLOv3主干网络DarkNet-53中的Res单元里的第二个卷积模块换成深度可分离卷积模块DSC，其中，DSC模块由3×3深度卷积、批量归一化BN、LeakyReLu、1×1点卷积、批量归一化BN以及LeakyReLu的组合构成，完成改进骨干网络的自适应多尺度多形态目标检测器DC-ACM YOLOv3的构建；

步骤2：对步骤1中构建的DC-ACM YOLOv3进行稀疏训练，在网络通道剪枝之前先联合训练网络权重参数和表示通道重要性的尺度因子，并以通道形式对尺度因子进行L₁正则化；

将通道剪枝网络的训练目标函数表示为：

第一项表示检测器的常规损失函数，f(γ)＝|γ|表示用于实现稀疏功能的L₁归一化项，γ为表示通道重要性的尺度因子，Γ为尺度因子集合构成的空间，λ用于平衡两者；

步骤3：通过深度网络压缩中的模型剪枝方法修剪DC-ACM YOLOv3的主干网络以获得一个更加紧凑的特征提取模型，从网络模型中挑选出重要性程度较低的部分参数进行网络参数裁剪；

在通道层面引入稀疏训练后，将批量归一化BN层中的尺度缩放因子γ作为衡量通道重要性的参数挑选出待剪枝的特征通道，然后进行通道裁剪；给定剪枝率α，定义全局阈值

表示所有γ值中第α个百分比对应的值，同时以层级的局部保护阈值θ限制待剪枝通道的尺度因子，根据这两个阈值

和θ对所有卷积层构建剪枝掩膜；

处理骨干网络的路由层时，按顺序拼接其所有输入的剪枝掩膜并经输出掩膜作为当前层的剪枝掩膜；对于跨层连接层，为匹配与该层相连接的层的通道数，遍历所有与其相连接层的剪枝掩膜并执行“或”的操作以产生这些连接层的最终剪枝掩膜；获取剪枝掩膜后，移除所有尺度因子接近0的通道对应的输入输出以及权重参数从而得到网络的轻量化模型；

步骤4：使用特征图间相互关系指导的知识蒸馏策略，将设计的检测器DC-ACM YOLOv3定义为教师模型，而学生网络是经过通道剪枝得到的轻量化网络；

给定输入图像I，分别对其在教师网络和学生网络中进行特征提取，得到教师网络中的预测特征图集合

和学生网络中的预测特征图集合

每一层级的预测特征将接入分类分支和回归分支生成对应的属于目标类别的概率p和对应的回归偏置R；分别从三个层面即骨干网络特征，分类头部和边框回归头部进行教师网络到学生网络的蒸馏；

具体包括如下步骤：

4.1首先构造特征相似度图FAG来表示不同层级特征图之间的知识

给定训练实例x_i，定义f_l(x_i)为从第l个阶段中提取的特征，即骨干网络中三个层级的中间特征图；将特征的互关系表示为不同尺度特征间的邻接矩阵A_l，将第i个训练样本对应的FAG表示为：

FAG_i＝(V_n,E_n)＝(f_l(x_i),A_l)

其中，V_n为一系列表示不同预测层级特征分布的节点，每对节点由边集合E_n连接，其中的每个元素A_l表示特征间的关系，特征间的关系矩阵A_l(m,n)由下式计算：

式中，f_m(x_i)和f_n(x_i)表示训练实例x_i中提取的第m和n阶段特征，

表示欧几里得距离计算；

4.2构建基于条带池化的注意力模块SPAM增强图结构中的每个特征

SPAM图结构中不同层级的特征图

作为输入特征图进行SPAM操作，得到每层特征的注意力图

其将作为特征重要性的描述子；

SPAM首先沿着通道轴以两个平行分支生成对应的池化特征，为保证两个池化特征有相同的空间尺度，接着送入卷积核大小为3的一维卷积层，输出的水平条带池化特征和垂直条带池化特征分别是P_hori和P_ver；两个分支的特征以相加方式融合后，经过1×1卷积和激活函数得到空间注意力图A_sam(X_i)，再与原输入特征图相乘得到注意力增强的输出特征图X_sam，计算过程如下式所示：

其中，f^1×1表示1×1卷积，

表示按元素相加，σ为Sigmoid激活函数，

表示按元素相乘；

4.3在骨干网络的中间特征，分类头部和边框回归头部部分增加来自教师网络的监督信号，融合这三个蒸馏项得到轻量化的学生网络的训练目标函数，计算公式如下式：

L_cls，L_reg分别表示图结构下得特征蒸馏损失，分类和回归分支中的蒸馏损失，β表示控制特征蒸馏损失比例的超参数。

Images