CN112329721A - 一种模型轻量化设计的遥感小目标检测方法 - Google Patents

Abstract

本发明公开了一种模型轻量化设计的遥感小目标检测方法，包括，将单阶段算法YOLOv4模型作为主体框架；通过K‑means++算法对锚框进行聚类，然后引入SENet通道注意力机制，来构建对遥感小目标检测效果较好的检测模型；对模型进行轻量化处理；通过模型轻量化的思想降低模型参数量与内存消耗，使轻量化处理后的模型能够兼顾复杂神经网络模型的精度，同时有轻量级算法一样的内存、计算能力消耗，本发明与其他主流轻量级算法相比有更好的检测效果。

Description

一种模型轻量化设计的遥感小目标检测方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种模型轻量化设计的遥感小目标检测方法。

背景技术

随着现代化的快速发展，城市建筑结构与空间布局更加复杂，无论是在导航，抢险救灾还是情报获取方面，遥感目标检测算法都具有重要的应用价值，也逐渐成为计算机视觉领域研究的重点课题。

目前遥感目标检测算法的局限主要集中于以下两方面：首先结构复杂的深度学习算法，模型参数量大，对设备的计算能力要求高，实际应用价值低；其次是轻量级算法虽然能够满足检测实时性，但检测效果难以达到要求。而且在实际检测过程中，由于检测场景复杂，遥感影像中小目标所占像素少，对应区域的信息量不足，经常存在小目标误检、漏检的现象，因此对小目标进行识别与定位更是遥感检测领域中的难点。

国内外目前关于遥感小目标检测算法的研究较少，其中姚群力等人在论文《基于多尺度卷积神经网络的遥感目标检测研究》中提出了深度特征金字塔模型，增强了网络对多尺度遥感目标特征的提取能力，取得了较好的检测效果，但是基于金字塔结构的网络的计算量与参数量相比改进前都有增加；Xu D等人针对航天卫星场景发表了论文《ImprovedYOLO-V3 with DenseNet for Multi-Scale Remote Sensing Target Detection》，提出了基于DenseNet改进YOLOv3的遥感目标检测算法，通过改进主干网络结构提升了遥感目标的检测的精度，但是基于DenseNet的网络结构复杂，特征冗余严重，也不能很好的满足实际遥感检测场景。以上算法虽然一定程度上满足了遥感检测的需要，但是都没有解决上述两方面局限问题，因此模型轻量化设计的遥感小目标检测算法有重要的研究意义。

目前常见的目标检测算法主要分为两类，一类是单阶段算法，具有网络参数量少，检测速度快等优点，代表算法有YOLO、SSD等；另一类是双阶段算法，此类算法网络参数量多，但是训练速度慢，检测速度慢，代表算法有Faster rcnn等。在遥感检测场景实时性的需求中，单阶段的检测算法更有优势，但是若直接使用单阶段算法，例如YOLOv3、YOLOv4，参数量依然很多，所以本发明提出了对单阶段算法YOLOv4进行轻量化处理的思路。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有遥感目标检测算法在实际使用过程中的不足，提出了本发明。

因此，本发明解决的技术问题是：通过模型轻量化的思想降低模型参数量与内存消耗，使轻量化处理后的模型能够兼顾复杂神经网络模型的精度，同时有轻量级算法一样的内存、计算能力消耗。

为解决上述技术问题，本发明提供如下技术方案：一种模型轻量化设计的遥感小目标检测方法，包括，将单阶段算法YOLOv4模型作为主体框架；通过K-means++算法对锚框进行聚类，然后引入SENet通道注意力机制，来构建对遥感小目标检测效果较好的检测模型；对模型进行轻量化处理。

作为本发明所述的一种模型轻量化设计的遥感小目标检测方法的一种优选方案，其中：所述通过K-means++算法对锚框进行聚类，包括，数据集准备；使用平均交并比AvgIOU代替传统的欧氏距离作为目标函数，其表示如下：

d(box,centriod)＝1-IOU(box,centriod)

其中box为数据集标签的聚类框，centriod为聚类中心；对聚类后的锚框进行尺度调整，重新设定边界，找出更适合遥感小目标检测的锚框。

作为本发明所述的一种模型轻量化设计的遥感小目标检测方法的一种优选方案，其中：所述SENet通道注意力机制利用通道间的依赖性，重新校准通道的权重。

作为本发明所述的一种模型轻量化设计的遥感小目标检测方法的一种优选方案，其中：所述通道的描述公式表示如下：

其中F_sq为压缩操作，W、H分别为特征图的长和宽；所述SENet通道注意力机制对维度为U的特征矩阵进行处理，对U进行压缩操作与激励操作，获得不同的通道权重后作用到各个通道中。

作为本发明所述的一种模型轻量化设计的遥感小目标检测方法的一种优选方案，其中：所述模型轻量化处理包括，将经过训练后的YOLOv4模型进行稀疏，然后对网络进行剪枝，最后利用蒸馏将复杂模型中的知识提炼到剪枝模型中。

作为本发明所述的一种模型轻量化设计的遥感小目标检测方法的一种优选方案，其中：所述剪枝使用BN层中的缩放因子γ作为依据利用γ与通道输出的乘积判断通道的重要程度，然后将得分低的通道进行过滤、删减；评估通道重要程度的目标函数L公式表示如下：

其中x、y分别为训练的输入与目标，W为网络可训练权重，目标函数的前一项对应网络正常的训练损失，g(.)是缩放因子上的惩罚项，λ是用来约束两项的超参数。

作为本发明所述的一种模型轻量化设计的遥感小目标检测方法的一种优选方案，其中：所述蒸馏的框架中损失函数Loss公式表示如下：

其中|X|表示X中元素数量,x_n是X的一个数据节点，y_n是x_n的类别标签，f是T的预测函数，π_j(x_n,y_n)教师模型的软标签，p_j(x_n)表示剪枝模型的软标签，

是用来调节模型侧重于软标签或真实标签的参数，

作为本发明所述的一种模型轻量化设计的遥感小目标检测方法的一种优选方案，其中：所述BN层为归一化网络层，BN层所执行的变换公式表示如下：

其中Z_in与Z_out表示BN层的输入与输出，μ_B和σ表示在B上激活输入的平均值和标准差值，γ和β是可训练的仿射变换参数。

本发明的有益效果：通过模型轻量化的思想降低模型参数量与内存消耗，使轻量化处理后的模型能够兼顾复杂神经网络模型的精度，同时有轻量级算法一样的内存、计算能力消耗，本发明与其他主流轻量级算法相比有更好的检测效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明中遥感小目标检测算法整体框图；

图2为本发明中经过聚类算法改进后的检测结果对比图；

图3为本发明与其他主流轻量级算法的检测对比图；

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

参照图1，为本发明的第一个实施例，该实施例提供了一种模型轻量化设计的遥感小目标检测方法，包括：

S1：数据集准备：从数据集提取小目标进行，本发明中选择RSOD遥感检测数据集提取后进行数据扩充(平移、反转、影像等)。

S2：利用处理好的数据集后，使用K-means++算法进行锚框聚类得到适合遥感小目标的锚框；使用平均交并比(Avg IOU)代替传统的欧氏距离作为目标函数，公式表示如下:

d(box,centriod)＝1-IOU(box,centriod)

其中box为数据集标签的聚类框，centriod为聚类中心，K-means算法聚类时随机抽取初始簇心的方式可能给最后的聚类结果造成较大误差，所以本发明使用K-means++代替K-means算法进行锚框聚类，K-means++算法采用概率抽取簇心的方式代替随机抽取，避免了聚类时对初始簇心敏感的问题，减少了聚类过程造成的误差。

由于目标聚类后锚框冗余，无法充分发挥网络多尺度检测优势的问题，对聚类后的锚框进行尺度调整，重新设定边界，找出更适合遥感小目标检测的锚框，锚框调整公式如下:

x’₁＝αx₁

x’₉＝ωx₉

其中x_i、y_i为聚类锚框的第i个值，x’_i、y’_i为调整后第i个锚框的值，α与ω分别为边界框尺度调整参数，α取0.7，ω取1.2。

S3：引入SENet通道注意力机制，为了解决小目标像素较少对应信息量不足的问题，本发明设计中使用SENet通道注意力机制对CSPDarknet53与SPP(Spatial PyramidPooling)结构连接处进行加权调整，利用通道间的依赖性，重新的校准通道权重，使网络在有限的感受野中更加关注遥感小目标的物体特征。通道描述符公式表示如下：

F_sq为压缩操作、W、H分别为特征图的长和宽。经过SENet时，对维度为U的特征矩阵进行处理，首先对U进行压缩(Squeeze)操作，将每个W*H的矩阵映射成一个1*1的通道描述符，使网络全局感受野中的信息能够被较低的卷积层利用,然后对U进行激励(Excitation)操作，使用sigmoid激活函数对每个通道进行激活，获得不同的通道权重后作用到各个通道中，使网络更加关注遥感小目标的特征，提升检测性能。

经过上述锚框聚类改进与注意力调整后，利用处理好的遥感目标检测数据集训练YOLOv4模型，经过训练得到检测效果较好的YOLOv4模型。

S4：对模型进行稀疏，将模型中的完全连接转化为稀疏连接。经过多轮测试最终选取0.0003作为稀疏因子对YOLOv4模型进行稀疏，实际稀疏策略为稀疏因子s乘以当前学习率。实验总共设置300个epoch，最小批次设置为16。

S5：使用BN(Batch Normalization)层中的缩放因子γ作为依据对稀疏模型进行剪枝，利用γ与通道输出的乘积判断通道的重要程度，然后将得分低的通道进行过滤、删减，达到压缩模型的效果。评估通道重要程度的目标函数L公式表示如下：

公式中x、y分别为训练的输入与目标，W为网络可训练权重，目标函数的前一项对应网络正常的训练损失，g(.)是缩放因子上的惩罚项，λ是用来约束两项的超参数。经过多轮测试比较模型参数与模型精度变化，最终确定通道剪枝率为0.8。

本文直接利用BN(Batch Normalization)层的缩放因子作为依据对网络进行精简，在不引进其他参数量以及卷积层的前提下进行剪枝。BN层本质上是归一化网络层，具有加快训练速度，提升网络泛化能力的作用，BN层所执行的变换公式表示如下：

其中Z_in与Z_out表示BN层的输入与输出，μ_B和σ表示在B上激活输入的平均值和标准差值，γ和β是可训练的仿射变换参数，实验使用BN层中的缩放因子γ作为依据对网络进行剪枝，利用γ与通道输出的乘积判断通道的重要程度，然后将得分低的通道进行过滤、删减，达到压缩模型的效果。

S6：蒸馏，将复杂模型中的知识提炼到剪枝模型中，在训练过程中使剪枝模型的输出拟合复杂模型的输出，降低剪枝模型的预测结果和真实标签之间的损失，以此提升剪枝模型的性能，蒸馏框架中损失函数Loss如公式表示如下：

其中|X|表示X中元素数量,x_n是X的一个数据节点，y_n是x_n的类别标签，f是T的预测函数，π_j(x_n,y_n)教师模型的软标签，p_j(x_n)表示剪枝模型的软标签，

是用来调节模型侧重于软标签或真实标签的参数，

最终得到的模型性能如下表所示，对比实验以准确率(Precision)、召回率(Recall)、AP@0.5(Average Precision)作为评价标准，公式如下,其中式中T_P(TruePositive)为真正例，F_P(False Positive)为假正例，F_N(False Negative)为假反例，AP则为Precision与Recall在0到1区间范围内绘制曲线围成的面积，AP@0.5是在置信度为0.5时测试所得的AP。

实施例2

为了更好地对本发明方法中采用的技术效果加以验证说明，下面结合与其他轻量级算法对比实验，对本发明的效果进一步说明。

本发明的实验硬件环境为Intel(R)Core(TM)i7-10700k、16GB RAM、NVIDIAGeForce RTX 2080super，对比实验硬件配置环境相同。

图2(a)为K-means算法聚类后的检测效果，图2(b)为聚类改进后的检测效果。从对比中可以看出，经过锚框聚类改进后，算法对小目标的识别更加准确，图2(a)中多处小目标误识别为aircraft，在聚类算法改进后有明显改善。

本发明与其他主流算法进行对比，以AP@0.5、Parameters(参数量)、Model size(模型体积)、Test time(识别每张图片所需时间)，作为检测效果的评价指标得到检测对比如下表。

为了直观区分不同算法对遥感小目标的检测效果，抽取部分轻量级算法同张图片的检测图像进行对比分析，其中图3(a)(d)为Mobilenet SSD检测效果图，图3(b)(e)为YOLOv4-tiny检测效果图，图3(c)(f)为本发明检测效果图。

综上所述，从不同算法的检测效果对比可以看出，Mobilenet SSD算法对遥感小目标的检测效果较差；YOLOv4-tiny相比Mobilenet SSD效果更好，但是在小目标检测上也难以达到要求，而本发明提出的轻量级遥感目标检测算法对遥感小目标的检测效果更好。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种模型轻量化设计的遥感小目标检测方法，其特征在于：包括，

将单阶段算法YOLOv4模型作为主体框架；

通过K-means++算法对锚框进行聚类，然后引入SENet通道注意力机制，来构建对遥感小目标检测效果较好的检测模型；

对模型进行轻量化处理。

2.如权利要求1所述的一种模型轻量化设计的遥感小目标检测方法，其特征在于：所述通过K-means++算法对锚框进行聚类，包括，

数据集准备；

使用平均交并比Avg IOU代替传统的欧氏距离作为目标函数，其表示如下：

d(box,centriod)＝1-IOU(box,centriod)

其中box为数据集标签的聚类框，centriod为聚类中心；

对聚类后的锚框进行尺度调整，重新设定边界，找出更适合遥感小目标检测的锚框。

3.如权利要求2所述的一种模型轻量化设计的遥感小目标检测方法，其特征在于：所述SENet通道注意力机制利用通道间的依赖性，重新校准通道的权重。

4.如权利要求3所述的一种模型轻量化设计的遥感小目标检测方法，其特征在于：所述通道的描述公式表示如下：

其中F_sq为压缩操作，W、H分别为特征图的长和宽；

所述SENet通道注意力机制对维度为U的特征矩阵进行处理，对U进行压缩操作与激励操作，获得不同的通道权重后作用到各个通道中。

5.如权利要求4所述的一种模型轻量化设计的遥感小目标检测方法，其特征在于：所述模型轻量化处理包括，

将经过训练后的YOLOv4模型进行稀疏，然后对网络进行剪枝，最后利用蒸馏将复杂模型中的知识提炼到剪枝模型中。

6.如权利要求5所述的一种模型轻量化设计的遥感小目标检测方法，其特征在于：所述剪枝使用BN层中的缩放因子γ作为依据利用γ与通道输出的乘积判断通道的重要程度，然后将得分低的通道进行过滤、删减；

评估通道重要程度的目标函数L公式表示如下：

其中x、y分别为训练的输入与目标，W为网络可训练权重，目标函数的前一项对应网络正常的训练损失，g(.)是缩放因子上的惩罚项，λ是用来约束两项的超参数。

7.如权利要求6所述的一种模型轻量化设计的遥感小目标检测方法，其特征在于：所述蒸馏的框架中损失函数Loss公式表示如下：

其中|X|表示X中元素数量,x_n是X的一个数据节点，y_n是x_n的类别标签，f是T的预测函数，π_j(x_n,y_n)教师模型的软标签，p_j(x_n)表示剪枝模型的软标签，

是用来调节模型侧重于软标签或真实标签的参数，

8.如权利要求6或7任一所述的一种模型轻量化设计的遥感小目标检测方法，其特征在于：所述BN层为归一化网络层，BN层所执行的变换公式表示如下：

其中Z_in与Z_out表示BN层的输入与输出，μ_B和σ表示在B上激活输入的平均值和标准差值，γ和β是可训练的仿射变换参数。

Images