CN114005045A - 基于轻量级深度神经网络的旋转框遥感目标检测方法 - Google Patents

Abstract

本发明涉及一种基于轻量级深度神经网络的旋转框遥感目标检测方法，包括：获取遥感目标检测数据集并进行预处理，将所述数据集划分训练集和测试集；搭建基于旋转框的单阶段目标检测网络模型；使用所述训练集对所述基于旋转框的单阶段目标检测网络模型进行迭代训练，使所述基于旋转框的单阶段目标检测网络模型收敛；将所述测试集输入所述基于旋转框的单阶段目标检测网络模型，并验证性能；对所述基于旋转框的单阶段目标检测网络模型进行结构化剪枝压缩处理，使其轻量化。本发明的方法可以提高针对类似遥感图像港口区域的舰船如此细长、密邻的目标的检测与识别精度与速度。

Description

基于轻量级深度神经网络的旋转框遥感目标检测方法

技术领域

本发明涉及深度学习与遥感图像处理技术领域，尤其涉及一种基于轻量级深度神经网络的旋转框遥感目标检测方法。

背景技术

随着遥感对地观测技术发展迅猛，涌现出大量高分辨率的光学遥感卫星，促进了空间遥感技术在军事、国民经济、世界环保等诸多领域的应用。人工智能的兴起为海量遥感数据的处理带来了新的范式，利用人工智能算法提升遥感卫星数据的在轨处理能力，可实现即时化、智能化天基信息服务。

然而，由于人工智能算法在细粒度级层面的精度不足、星载计算平台算力有限，限制了空间智能感知能力的形成与发展。虽然当前深度学习技术相较传统方法有大幅提升，对类间差距较大的检测任务有较好的效果，如飞机、舰船、桥梁的识别等，但是，在精细颗粒度层面上，如舰船型级颗粒度的检测与识别，其MAP值还远未跨过实际应用阈值，距离用户期望的指标还有较大的距离。因此，首先，需要发展具备在轨应用能力的高性能精细颗粒度的智能检测识别算法。其次，航天器在轨资源(计算、存储、能耗等)有限，相比地面通用处理能力低1～2个量级，而深度神经网络模型规模庞大，往往具有计算密集、访存密集的特点，直接将现有深度学习方法用于在轨信息处理无法满足任务的实时性需求。那么，在深度学习面向航天领域的情况下，如何保持现有神经网络性能基本不变的同时，大幅减小网络计算量、大幅削减神经网络模型存储，使神经网络模型能在资源受限的星载计算设备上高效运行，这个问题变得越来越突出。

发明内容

为提高对遥感图像港口区域细长、密邻的舰船目标的检测与识别能力，本发明提供一种基于轻量级深度神经网络的旋转框遥感目标检测方法。

为实现上述发明目的，本发明的技术方案是：

本发明提供一种基于轻量级深度神经网络的旋转框遥感目标检测方法，包括：获取遥感目标检测数据集并进行预处理，将所述数据集划分训练集和测试集；搭建基于旋转框的单阶段目标检测网络模型；使用所述训练集对所述基于旋转框的单阶段目标检测网络模型进行迭代训练，使其收敛；将所述测试集输入所述基于旋转框的单阶段目标检测网络模型，并验证所述网络模型的性能；对所述网络模型进行结构化剪枝压缩处理，形成轻量级的基于旋转框的单阶段目标检测网络模型。

根据本发明的一个方面，所述预处理的过程包括：

对所述数据集中的图像进行数据标注，获得对应的标签及标注文件；

对所述图像进行重叠式切割，将切割后的图像与所述标签对应；

将处理后的所述标签格式转换为六元组格式标签；

将更新后的数据集转换为LMDB格式的数据库文件；

对训练使用的数据集进行目标特性分析。

根据本发明的一个方面，所述数据标注的过程包括：使用四点法标注图像目标的最小外接矩形框的四个角点坐标(p1,p2,p3,p4)来确定所述目标的位置，并标注图像类别标签，其中，p1,p2,p3,p4分别表示以顺时针方向排列的外接矩形框的左上顶点、右上顶点、右下顶点和左下顶点。

根据本发明的一个方面，所述重叠式切割的过程包括：将所述图像从左上角以滑动窗口的方式切割子图像，在相邻子图像间设置重叠区域，剔除剩余目标与原始目标的交并比(IoU)小于阈值的不完整目标。

根据本发明的一个方面，所述六元组格式标签转换的过程包括：对图像目标使用六元组(cls，cx,cy,w,h,angle)编码旋转边界框，确定其在原始图像中的类别信息和位置信息，其中，cls表示目标类别，cx和cy表示目标真实边界框中心点在原始图像中的坐标，w,h分别表示目标真实边界框的宽度和高度，angle表示目标真实边界框正方向对应的宽度w与x轴正方向的夹角，其范围在[0,2π)区间内。

根据本发明的一个方面，所述目标特性分析的过程包括：通过统计分析目标的类别分布，通过聚类、求均值了解目标的尺寸分布，所述尺寸为最大宽度、最大高度、平均宽度、宽高比。

根据本发明的一个方面，所述搭建基于旋转框的单阶段目标检测网络模型的过程包括：

利用改进的VGG16神经网络作为主干网络提取预处理后的图像特征，获得不同尺寸的特征图，构成特征金字塔网络模型；

利用基于旋转框的SSD检测算法以所述特征图上的特征点作为中心点设置旋转目标预选框(prior rotation box)预测目标类别和回归位置信息；

使用卷积神经网络Caffe深度学习框架搭建基于旋转框的单阶段目标检测网络模型。

根据本发明的一个方面，所述使用所述训练集对所述网络模型进行迭代训练的过程包括：利用重叠式分割得到的训练集图像及标注文件训练所述基于旋转框的单阶段目标检测网络模型，当所述基于旋转框的单阶段目标检测网络模型的总损失函数收敛时，停止迭代训练。

根据本发明的一个方面，所述验证所述基于旋转框的单阶段目标检测网络模型性能的过程包括：

将所述测试集的图像按照输入尺寸进行重叠式切割得到子图像，再将所述子图像输入训练好的基于旋转框的单阶段目标检测网络模型得到带有旋转信息的目标检测结果，将所有结果合并；

利用旋转框非极大值抑制剔除冗余检测框，得到原测试图像的目标检测结果信息。

根据本发明的一个方面，所述对所述基于旋转框的单阶段目标检测网络模型进行结构化剪枝压缩处理，形成轻量级网络模型的过程包括：

选择性能最好的基于旋转框的单阶段目标检测网络模型，并重新调整所述网络模型的通道数和层数进行精简；

对所述基于旋转框的单阶段目标检测网络模型的参数进行敏感度分析以衡量神经元的重要程度；

修剪所述基于旋转框的单阶段目标检测网络模型并剪掉不重要的神经元；

对剪枝后的修剪所述基于旋转框的单阶段目标检测网络模型进行微调(fine-tune)，使其重新获得丢失的性能；

对fine-tune得到的基于旋转框的单阶段目标检测网络模型进行后处理，删除压缩时参数为0的部分。

有益效果：

根据本发明的方案，通过利用旋转框代替水平框作为预设框，减少相邻目标的交叉干扰和目标与背景之间的交叉干扰。通过对目标特性分析获得给定数据集的目标的尺度分布，从而自适应设计基于旋转框的单阶段目标检测网络模型的参数，提高目标检测的精度。通过构建特征金字塔网络模型，在多个不同特征图上同时进行分类和位置回归任务，实现不同尺度目标的识别。为了使网络模型部署到硬件设备上，采用Caffe框架搭建基于旋转框的单段式目标检测网络模型，同时对训练好的网络模型进行结构化剪枝压缩，轻量化模型以加速该网络模型的推理速度。

附图说明

图1示意性表示本发明的一种实施方式的基于轻量级深度神经网络的旋转框遥感目标检测方法的流程图；

图2示意性表示本发明的一种实施方式的基于轻量级深度神经网络的旋转框遥感目标检测方法的数据集标注格式示意图；

图3示意性表示本发明的一种实施方式的基于轻量级深度神经网络的旋转框遥感目标检测方法的数据集目标特性分析结果示意图；

图4示意性表示本发明的一种实施方式的基于轻量级深度神经网络的旋转框遥感目标检测方法的旋转默认框设计示意图；

图5示意性表示本发明的一种实施方式的基于轻量级深度神经网络的旋转框遥感目标检测方法的目标检测网络模型整体结构示意图；

图6示意性表示本发明的一种实施方式的基于轻量级深度神经网络的旋转框遥感目标检测方法的结构化剪枝流程图。

具体实施方式

为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。

图1示意性表示了本实施方式的一种基于轻量级深度神经网络的旋转框遥感目标检测方法的各个执行步骤与流程。如图1所示，本实施方式的一种基于轻量级深度神经网络的旋转框遥感目标检测方法，具体包括以下步骤：

首先，获取遥感舰船数据集并进行预处理，将该数据集按照一定比例，例如8:2，划分为训练集和测试集。本实施方式的数据集包含1780张遥感舰船图像。上述预处理的过程具体包括：先对遥感舰船数据集的图像使用四点法进行数据标注，获得图像对应的标签及标注文件。那么，此时数据集包含的是1780张遥感舰船图像及其对应的标签(标注文件包含)。接着，对遥感舰船图像进行重叠式切割，将切割后的图像与所述标签对应，再对四点法表示的标签格式转换为六元组格式标签。之后，将整理好的数据集转换为卷积神经网络(Convolutional Architecture for Fast Feature Embedding，Caffe)训练过程中所需的闪存映射型数据库(Lightning Memory-Mapped Database，LMDB)格式的数据库文件。最后对训练使用的数据集进行目标特性分析，以精细化网络模型的参数设计。

图2示意性表示本实施方式的基于轻量级深度神经网络的旋转框遥感目标检测方法的数据集标注格式示意图。如图2(a)所示，四点法标注的过程为：使用目标的最小外接矩形框的四个角点坐标(p1,p2,p3,p4)标记目标的位置，并根据舰船的种类标注图像类别标签。规定(p1,p2)表示舰船船头所指的方向上的两个顶点，p1表示船头的左上点，p2表示船头的右上点，以顺时针方向排列，p3表示船头的右下点，p4表示船头的左下点。

上述重叠式切割的过程包括：对原始超大的遥感舰船图像从左上角以滑动窗口的方式切割为合适尺寸的子图像，并在相邻子图像间设置一定大小的重叠区域，剔除剩余目标与原始目标的交并比(Intersection over Union，IoU)小于一定阈值的不完整目标，即对该不完整目标直接删除标注信息，对于不包含目标的子图像直接进行删除，同时将标注文件对应切割后的子图像进行处理。

上述将切割整理后的标注文件转化为如图2(b)所示的六元组(cls，cx,cy,w,h,angle)格式的标签，用六元组(cls，cx,cy,w,h,angle)编码目标的旋转边界框，确定其在原始图像中的类别信息和位置信息。其中，cls表示目标类别，cx和cy表示目标真实边界框中心点在原始图像中的坐标，w,h分别表示目标真实边界框的宽度和高度，angle表示目标真实边界框正方向对应的宽度w与x轴正方向的夹角，其夹角范围在[0,2π)区间内。也就是，如图2(a)所示，宽度w为p1与p2之间的距离，高度h为p1与p4之间的距离，angle为向量

与x轴的夹角。具体地，利用勾股定理和三角函数公式将如图2(a)所示的标签格式转化为如图2(b)所示的标签格式。

上述将数据集和标签转化为Caffe训练需要的LMDB格式的数据库文件。LMDB格式数据集是一种非常快、闪电般的内存映射型数据库，大大减少了系统访问大量小文件时的磁盘IO的时间开销，因此将图像和标签转换为LMDB数据库格式。

图3示意性表示本实施方式的基于轻量级深度神经网络的旋转框遥感目标检测方法的数据集目标特性分析结果示意图。上述目标特性分析的过程为利用统计分析数据集中的目标类别分布，通过聚类、求均值等方法了解目标的尺寸分布，尺寸包括目标角度分布、目标高宽比分布、最大宽度、最大高度、平均宽度等信息。如图3直方图(a)所示数据集中的目标数量非常不均衡，给模型训练带来难度，利用类别信息设计分类损失函数。如图3直方图(b)所示目标的角度信息在整个角度范围中分布广泛，如图3直方图(c)所示目标高宽比大部分集中一个较窄的区间内，利用这些特性信息设计SSD检测算法的旋转目标预选框(prior rotation box)参数使预选框的分布能够覆盖住实际目标框。通过对目标特性分析获得给定数据集的目标的尺度分布，从而自适应设计基于旋转框的单阶段目标检测网络模型的参数，提高目标检测的精度。

其次，使用Caffe深度学习框架搭建基于旋转框的单阶段目标检测网络模型，并设计损失函数用于网络模型训练。具体过程包括如下步骤：

采用改进的SSD-VGG-16进行目标检测。先利用改进的VGG16神经网络作为主干网络提取预处理后的图像特征，获得不同尺寸的特征图，构成特征金字塔网络模型。具体地，改进的VGG16神经网络是将原始VGG16的FC6和FC7的全连接操作改成了卷积操作，改进的SSD是将原始水平框算子改成了旋转框算子，具体包括：旋转目标框特征提取、旋转目标框IOU计算、旋转目标框非极大值抑制(Non-Maximum Suppression，NMS)等，并利用多层卷积层得到的特征图构成特征金字塔网络模型，在这些不同尺度的特征层上同时进行Softmax分类和位置回归。接着，使用基于旋转框的SSD检测算法以特征图上的特征点作为中心点设置旋转目标预选框prior rotation box预测目标类别和回归位置信息。具体是，SSD使用prior rotation box在所述的不同尺度特征层中以每个特征点为中心点生成一组不同宽高比、面积、角度的旋转目标预选框，如图4(a)所示。判定旋转目标预选框(prior rotationbox)是否包含目标后通过边界框回归获取目标的精确位置。由于舰船目标的位置信息具有角度分量，且整个数据集中目标的角度分布广泛，所以在每个特征点铺设旋转目标预选框(prior rotationbox)时设置多种角度以尽可能覆盖每种角度的目标，如图4(b)所示，使旋转目标预选框(prior rotation box)能够更好的覆盖真实框。图4示意性表示了本实施方式的基于轻量级深度神经网络的旋转框遥感目标检测方法的旋转默认框设计图。最终目标预测输出带有角度信息的目标候选框和类别，目标候选框包括(cls，cx,cy,w,h,angle)这6个参数。旋转候选区域预测网络模型采用多任务损失函数由分为分类损失函数和位置损失函数构成，损失函数如下：

其中，分类损失函数是典型的softmax loss，如下：

位置损失函数在传统smooth_L1 loss中加入角度分量，如下：

本实施方式一方面通过利用旋转框代替水平框作为预设框，减少相邻目标的交叉干扰和目标与背景之间的交叉干扰。另一方面通过构建特征金字塔网络模型，在多个不同特征图上同时进行分类和位置回归任务，实现不同尺度目标的识别。

图5示意性表示本实施方式的基于轻量级深度神经网络的旋转框遥感目标检测方法的目标检测网络模型整体结构示意图。如图5所示，本实施方式的目标检测网络模型设计成端到端的形式，提升了目标检测流程的速度。

然后，将产生的训练集输入基于旋转框的单阶段目标检测网络模型中，对该网络模型进行迭代训练，直到网络收敛。具体过程包括：利用重叠式分割得到的训练集图像及标注文件训练搭建好的网络模型，当网络的总损失函数收敛时，停止迭代训练。

之后，再将测试样本输入已经训练好的网络模型中，根据带有旋转角度信息的舰船图像分类和目标检测结果验证模型性能。具体过程包括：将测试集图像按照网络模型输入尺寸进行重叠式切割得到一定大小的子图像，将每个子图像输入训练好的网络模型得到带有旋转信息的目标检测结果，汇总所有结果合并，利用旋转框NMS方法剔除冗余目标框的检测结果，最终得到原测试图像的目标检测结果信息。

再然后，由于在迭代式训练过程中，不同的训练超参数对模型的训练结果都会有影响，同时，随着训练时间的延长，模型检测精度也会呈现低-高-低的变化过程，因此，需要对多次训练结果进行评估，选择检测精度最高的模型作为最终模型。最后，对最终模型进行结构化剪枝的压缩操作，形成轻量化模型，在保证精度的前提下降低原始模型的存储空间、提高模型运行速度，使得该轻量化模型能够部署到硬件资源受限的嵌入式设备中。图6示意性表示本实施方式的基于轻量级深度神经网络的旋转框遥感目标检测方法的结构化剪枝流程图。如图6所示，上述结构化剪枝的操作步骤如下：

以训练得到的过度参数化的模型为基准，根据特定标准修剪训练的大模型，即重新调整网络模型结构中的通道数和层数得到精简的网络结构；

对网络模型的参数进行敏感度分析以衡量神经网络中神经元的重要程度；

根据网络参数设定剪枝比例，根据剪枝比例计算得出剪枝阈值，剪掉小于该阈值的神经元；

对剪枝后的模型进行微调(fine-tune)，使模型重新获得丢失的性能；

对fine-tune得到的模型进行后处理，删除压缩时参数为0的部分。这里的微调指的是对剪枝后的模型进行重新训练。

本实施方式通过对训练好经过验证的上述模型进行结构化剪枝的压缩处理，实现目标检测深度神经网络模型的轻量化，大幅度加速了模型的推理速度。根据本实施方式的方案，针对现有的遥感图像舰船检测模型无法精细分类不同舰船且硬件部署不友好的问题，在检测遥感图像中舰船目标的同时能够对其进行细粒度分类，并使用caffe框架搭建单阶段网络模型对硬件友好。

以上所述仅为本发明的一个实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种基于轻量级深度神经网络的旋转框遥感目标检测方法，包括：

获取遥感目标检测数据集并进行预处理，将所述数据集划分训练集和测试集；

搭建基于旋转框的单阶段目标检测网络模型；

使用所述训练集对所述基于旋转框的单阶段目标检测网络模型进行迭代训练，使所述基于旋转框的单阶段目标检测网络模型收敛；

将所述测试集输入所述基于旋转框的单阶段目标检测网络模型，并验证所述基于旋转框的单阶段目标检测网络模型的性能；

对所述基于旋转框的单阶段目标检测网络模型进行结构化剪枝压缩处理，使所述基于旋转框的单阶段目标检测网络模型轻量化。

2.根据权利要求1所述的遥感目标检测方法，其特征在于，所述预处理的过程包括：

对所述数据集中的图像进行数据标注，获得对应的标签及标注文件；

对所述图像进行重叠式切割，将切割后的图像与所述标签对应；

将处理后的标签的格式转换为六元组格式标签；

将转换格式后的标签与标注后的图像转换为闪存映射型数据库格式的数据库文件；

对所述训练集进行目标特性分析。

3.根据权利要求2所述的遥感目标检测方法，其特征在于，所述数据标注的过程包括：使用四点法标注图像的目标的最小外接矩形框的四个角点坐标(p1,p2,p3,p4)来确定所述目标的位置，并标注图像类别标签，其中，p1,p2,p3,p4分别表示以顺时针方向排列的外接矩形框的左上顶点、右上顶点、右下顶点和左下顶点。

4.根据权利要求2所述的遥感目标检测方法，其特征在于，所述重叠式切割的过程包括：将所述图像从左上角以滑动窗口的方式切割子图像，在相邻子图像间设置重叠区域，剔除剩余目标与原始目标的交并比小于阈值的不完整目标。

5.根据权利要求2所述的遥感目标检测方法，其特征在于，所述六元组格式标签转换的过程包括：对图像的目标使用六元组(cls，cx,cy,w,h,angle)编码旋转边界框，确定其在原始图像中的类别信息和位置信息，其中，cls表示目标类别，cx和cy表示目标真实边界框中心点在原始图像中的坐标，w,h分别表示目标真实边界框的宽度和高度，angle表示目标真实边界框正方向对应的宽度w与x轴正方向的夹角，其范围在[0,2π)区间内。

6.根据权利要求2所述的遥感目标检测方法，其特征在于，所述目标特性分析的过程包括：通过统计分析目标的类别分布，通过聚类、求均值获得目标的尺寸分布，所述尺寸为最大宽度、最大高度、平均宽度、宽高比。

7.根据权利要求1所述的遥感目标检测方法，其特征在于，所述搭建基于旋转框的单阶段目标检测网络模型的过程包括：

利用神经网络作为主干网络提取预处理后的图像特征，获得不同尺寸的特征图，构成特征金字塔网络模型；

利用基于旋转框的SSD检测算法以所述特征图上的特征点作为中心点设置旋转目标预选框预测目标类别和回归位置信息；

使用卷积神经网络深度学习框架搭建基于旋转框的单阶段目标检测网络模型。

8.根据权利要求1所述的遥感目标检测方法，其特征在于，所述使用所述训练集对所述网络模型进行迭代训练的过程包括：利用重叠式分割得到的训练集中的图像及标注文件训练所述基于旋转框的单阶段目标检测网络模型，当所述基于旋转框的单阶段目标检测网络模型的总损失函数收敛时，停止迭代训练。

9.根据权利要求1所述的遥感目标检测方法，其特征在于，所述验证所述基于旋转框的单阶段目标检测网络模型性能的过程包括：

将所述测试集的图像按照输入尺寸进行重叠式切割得到子图像，再将所述子图像输入训练好的基于旋转框的单阶段目标检测网络模型得到带有旋转信息的目标检测结果，将所有结果合并；

利用旋转框非极大值抑制方法剔除冗余检测框，得到原测试图像的目标检测结果信息。

10.根据权利要求1所述的遥感目标检测方法，其特征在于，所述对所述基于旋转框的单阶段目标检测网络模型进行结构化剪枝压缩处理，使其轻量化的过程包括：

调整所述基于旋转框的单阶段目标检测网络模型的通道数和层数；

对所述基于旋转框的单阶段目标检测网络模型的参数进行敏感度分析；

修剪所述基于旋转框的单阶段目标检测网络模型；

对修剪后的基于旋转框的单阶段目标检测网络模型进行微调；

对微调后的基于旋转框的单阶段目标检测网络模型进行后处理。

Images