CN112766087A - 一种基于知识蒸馏的光学遥感图像舰船检测方法 - Google Patents

Abstract

本发明公开了一种基于知识蒸馏的光学遥感图像舰船检测方法，属于遥感图像目标检测领域，解决了现有技术中模型参数量大、计算复杂度高导致的舰船检测速度低的问题。本发明的技术方案包括：收集或下载公开的光学遥感图像舰船检测数据集；搭建基于知识蒸馏的舰船检测网络框架，采用Hint损失使得训练过程中学生网络能充分模仿教师网络的行为；联合训练教师网络和学生网络，保存训练后的学生网络的模型参数；利用学生网络进行测试，得到最后的舰船检测结果。本发明利用检测准确率较高的教师网络指导学生网络的训练，在保持学生网络原有检测速度的同时提高学生网络的检测准确率，从而实现快速精确的光学遥感图像舰船检测。

Description

一种基于知识蒸馏的光学遥感图像舰船检测方法

技术领域

本发明属于遥感图像目标检测技术领域，具体涉及一种基于知识蒸馏的光学遥感图像舰船检测方法。

背景技术

舰船目标作为海上监测和战时打击的重点目标，对其进行精确检测可有效判断敌方的军事动向，为打赢战争、捍卫领海、保证国家和人民的生命安全提供重要的信息支持。随着光学遥感技术的迅猛发展，光学遥感卫星图像的空间分辨率和光谱分辨率都有了极大的提高，更加丰富的图像细节和目标信息使得利用光学遥感图像进行舰船检测得到越来越多的重视。现有技术中，基于深度卷积神经网络的舰船检测技术已经成为遥感图像目标检测领域的重要研究方向。

申请号(CN201811571859.2)的专利文献提出了一种基于深度残差密集网络的光学遥感图像舰船检测方法，在海陆分离和提取舰船候选区之后，利用由局部残差密集块组成的深度残差密集网络对切片进行分类，得到最后的检测结果。该方法可以克服天气因素和复杂环境对于舰船检测的干扰，极大地提高了舰船检测的精度。

申请号(CN201910674642.2)的专利文献提出了一种基于海陆分割和特征金字塔网络的港口停靠舰船检测方法，利用基于候选区提取网络的目标检测框架和特征金字塔网络，构建舰船检测模型，对初始分割的切片数据进行检测，得到待处理遥感影像的舰船检测结果。该方法能够应对多尺度舰船目标检测问题，有效降低了舰船检测的虚警率。

上述方法虽然提高了光学遥感图像的舰船检测精度，但是采用的卷积神经网络层数较多，导致了模型参数量和计算复杂度的急剧增加，忽略了对舰船检测速度的影响，在实际应用中难以实现实时的舰船检测。

发明内容

针对现有技术的不足，本发明提出一种基于知识蒸馏的光学遥感图像舰船检测方法，将知识蒸馏技术应用于光学遥感图像舰船检测领域，结合深度卷积神经网络，旨在提高舰船检测准确率的同时降低模型的参数量和复杂度，提升模型的运行速度，从而实现快速精确的光学遥感图像舰船检测。

为实现上述目的，本发明的技术方案包含以下步骤：

步骤1，下载公开的舰船数据集，并划分训练集和测试集；

步骤2，构建基于知识蒸馏的舰船检测网络，包含教师网络和学生网络，通过设计损失函数，让层数多检测准确率高的教师网络指导学生网络的学习，在保持学生网络原本检测速度的同时提高学生网络检测的准确率；

所述教师网络和学生网络均由骨干网络、特征加权模块、分类和边框回归子网络三部分组成，将输入图片同时输入到教师网络和学生网络中，所述骨干网络用于特征提取，特征加权模块用于进一步提取更具判别性的特征，并且抑制光学遥感图像中的背景干扰，最后由分类和边框回归子网络输出每个目标类别的概率以及回归得到目标的位置坐标，根据教师网络和学生网络的检测结果分别计算交叉熵损失和回归损失；

步骤3，利用训练集对上述教师网络和学生网络进行联合训练，保存训练后的学生网络模型参数；

在训练过程中，根据真实的舰船检测标签与学生网络检测出的结果计算Softmax和SmoothL1损失，通过反向传播，优化学生网络的模型参数；

步骤4，测试阶段利用学生网络对测试集的所有图片进行测试，计算舰船检测的准确率，得到检测结果。

进一步的，所述教师网络和学生网络选用不同的骨干网络用于特征提取，其中教师网络选用卷积层层数较多且检测精度较高的骨干网络，学生网络选用卷积层层数较少且检测速度较快的骨干网络。

进一步的，教师网络中选用ResNet101作为骨干网络，学生网络中选用Shufflenet作为骨干网络。

进一步的，所述教师网络和学生网络的具体结构如下；

根据卷积神经网络中特征图的分辨率大小，将同一尺寸的特征图所在的卷积层称为一个阶段，以残差网络作为特征提取的基础网络进行说明，C₁～C₅分别表示Conv1～Conv5阶段中最后一层残差块输出的特征图，C₆则表示在C₅后面再加一层3×3卷积得到的特征图，将C₂进行1×1卷积和下采样得到与C₃相同大小的特征图，将C₄进行1×1卷积和上采样得到与C₃相同大小的特征图，并且将这两部分特征图与经过1×1卷积后的C₃进行相加，得到融合后的特征图P₃；同理，将C₄进行1×1卷积和下采样得到与C₅相同大小的特征图，将C₆进行1×1卷积和上采样得到与C₅相同大小的特征图，并且将这两部分特征图与经过1×1卷积后的C₅进行相加，得到融合后的高层特征图P₅；

为了进一步提取更具判别性的特征，并且抑制光学遥感图像中的背景干扰，设计了一种融合了通道注意力和空间注意力的特征加权模块，其结构为：设融合后的特征图P_i大小为W×H×D，i＝3或5，W、H和D分别表示特征图的宽、高和通道数，通道注意力模块由1个3×3卷积层、1个全局平均池化层和2个全连接层组成，，将输入特征图P_i与经过通道注意力模块之后得到的通道权重进行点乘，得到经过通道注意力机制优化后的特征图P_c，大小为W×H×D；空间注意力模块由1×1卷积层+BN层+Sigmoid函数组成，将优化的特征图P_c与经过空间注意力模块Sigmoid层输出的空间权重进行点乘，得到经过空间注意力机制优化后的特征图P_s，大小为W×H×D；

分类和边框回归子网络由2个分支组成，输入为经过优化后的特征图P_s，大小为W×H×D，K表示目标的类别数，分类子网络由5个卷积层组成，前4个是通道数为D的3×3卷积层，最后一层是通道数为KA的3×3卷积层，用于预测每个锚点框的类别概率；边框回归子网络也由5个卷积层组成，前4个是通道数为D的3×3卷积层，最后一层是通道数为4A的3×3卷积层，用于预测每个锚点框的坐标，A表示网络预设的锚点框个数。

进一步的，所述教师网络和学生网络的骨干网络中采用Hint损失函数，在训练的时候使得学生网络尽可能学习教师网络的特征表达能力，其计算公式如下：

其中L_Hint表示Hint损失，F_t表示从教师网络中选取的中间层特征图，F_s表示从学生网络中选取的中间层特征图，

表示两个特征图之间的L2距离；为了保证中间层特征图F_t和F_s具有相同的维度，在学生网络的中间层特征图之后加入了自适应层，将F_s调整到与教师网络的中间层特征图F_t维度一致，然后计算Hint损失。

与现有的舰船检测技术相比，本发明具有以下优点和有益效果：

(1)本发明设计了一种基于知识蒸馏的光学遥感图像舰船检测方法，利用检测准确率较高的教师网络指导学生网络的训练，在保持学生网络原有检测速度的同时提高学生网络的检测准确率；

(2)本发明为了使得学生网络充分学习并模仿教师网络的行为，采用Hint损失让学生网络学习教师网络中间层特征图的表达能力，从而进一步提高学生网络的检测精度。

(3)本发明为了进一步提高对于舰船小目标检测的准确率，设计了一种基于特征融合和特征加权的舰船检测网络，聚合不同层的多尺度局部信息和全局信息，以生成区分性更强的特征，并设计了特征加权模块，进一步提取更具判别性的特征，从而提高检测性能。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例在教师网络与学生网络联合训练时所用的舰船检测框架。

图3为本发明设计的基于特征融合和特征加权的舰船检测网络结构图。

图4为特征加权模块的结构图。

图5为本发明实施例在测试阶段学生网络所用的舰船检测框架。

具体实施方式

为了更清楚的阐述本发明的目的、技术方案和有益效果，下面结合附图和实施例进一步说明。应当理解，本发明不应限于实施例公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

如图1所示，本发明公开了一种基于知识蒸馏的光学遥感图像舰船检测方法，具体实施时步骤如下：

步骤1，下载公开的舰船数据集，现有的数据集可划分为两类：一类是多类遥感目标检测数据集，里面包含舰船这个类别，常用的如DOTA数据集、DIOR数据集、NWPU VHR-10数据集等；另一类是只包含舰船这个目标类别的数据集，如HRSC2016数据集以及自行构建的光学遥感图像目标检测数据集MSD。按照数据集官方论文或网址给出的标准划分训练集和测试集；

步骤2，构建基于知识蒸馏的舰船检测网络：

步骤2.1，构建教师网络与学生网络联合训练时所用的舰船检测框架，其结构如图2所示，教师网络和学生网络均由骨干网络、特征加权模块、分类和边框回归子网络三部分组成。教师网络选用卷积层层数较多且检测精度较高的骨干网络，具体实施时可以选用ResNet101或其他较深的网络，学生网络选用卷积层层数较少且检测速度较快的骨干网络，具体实施时可以选用Shufflenet或其他轻量化的网络。将输入图片同时输入到教师网络和学生网络中，由分类和边框回归子网络部分输出每个目标类别的概率以及回归得到目标的位置坐标，根据教师网络和学生网络的检测结果分别计算交叉熵损失和回归损失。在训练过程中，同样根据真实的舰船检测标签与学生网络检测出的结果计算Softmax和SmoothL1损失，通过反向传播，优化学生网络的模型参数；

步骤2.2，具体地，针对舰船特有的目标特性，如形状狭长、在光学遥感图像中舰船属于小目标检测等问题，本发明为教师网络和学生网络设计了一种基于特征融合和特征加权的舰船检测网络，其结构如图3所示。根据卷积神经网络中特征图的分辨率大小，将同一尺寸的特征图所在的卷积层称为一个阶段，以残差网络作为特征提取的基础网络进行说明。图3中，C₁～C₅分别表示Conv1～Conv5阶段中最后一层残差块输出的特征图，C₆则表示在C₅后面再加一层3×3卷积得到的特征图。在CNN中，低层特征语义信息相对较少，但是分辨率高，目标定位比较准确；高层特征语义丰富，但是分辨率低，目标定位比较粗糙。对于检测舰船这样的小目标，需要聚合不同层的多尺度局部信息和全局信息，以生成区分性更强的特征，从而提高舰船检测的准确率。在本发明的具体实施例中，将C₂进行1×1卷积和下采样得到与C₃相同大小的特征图，将C₄进行1×1卷积和上采样得到与C₃相同大小的特征图，并且将这两部分特征图与经过1×1卷积后的C₃进行相加，得到融合后的特征图P₃；同理，将C₄进行1×1卷积和下采样得到与C₅相同大小的特征图，将C₆进行1×1卷积和上采样得到与C₅相同大小的特征图，并且将这两部分特征图与经过1×1卷积后的C₅进行相加，得到融合后的高层特征图P₅。上述横向连接用到的1×1卷积均设置相同的通道数D。

步骤2.3，为了进一步提取更具判别性的特征，并且抑制光学遥感图像中的背景干扰，设计的特征加权模块结构如图4所示，该模块包含了了通道注意力和空间注意力。设融合后的特征图P_i(i＝3或5)大小为W×H×D，W、H和D分别表示特征图的宽、高和通道数。通道注意力模块由1个3×3卷积层、1个全局平均池化层和2个全连接层组成，图4中r为缩减因子(具体实施时可取r＝16)。将输入特征图P_i与经过通道注意力模块之后得到的通道权重进行点乘，得到经过通道注意力机制优化后的特征图P_c，大小为W×H×D。空间注意力模块由1×1卷积层+BN层+Sigmoid函数组成，Sigmoid函数用于约束结果得到[0,1]内的值。将优化的特征图P_c与经过空间注意力模块Sigmoid层输出的空间权重进行点乘，得到经过空间注意力机制优化后的特征图P_s，大小为W×H×D。

步骤2.4，图3中，分类和边框回归子网络由2个分支组成，输入为经过优化后的特征图P_s，大小为W×H×D，图中K表示目标的类别数，A表示网络预设的锚点框个数。分类子网络由5个卷积层组成，前4个是通道数为D的3×3卷积层，最后一层是通道数为KA的3×3卷积层，用于预测每个锚点框的类别概率；边框回归子网络也由5个卷积层组成，前4个是通道数为D的3×3卷积层，最后一层是通道数为4A的3×3卷积层，用于预测每个锚点框的坐标。

步骤2.5，在教师网络和学生网络的骨干网络中，采用Hint损失函数，在训练的时候使得学生网络尽可能学习教师网络的特征表达能力，其计算公式如下：

其中L_Hint表示Hint损失，F_t表示从教师网络中选取的中间层特征图(一般选取网络比较深层次的特征图)，F_s表示从学生网络中选取的中间层特征图(一般选取网络比较深层次的特征图)，

表示两个特征图之间的L2距离。为了保证中间层特征图F_t和F_s具有相同的维度，加入了自适应层，如图2所示，将学生网络的中间层特征图F_s调整到与教师网络的中间层特征图F_t维度一致，然后计算Hint损失。

步骤3，联合训练教师网络和学生网络：

步骤3.1，选用光学遥感图像目标检测数据集MSD对构建的目标检测网络进行训练，设置训练集与测试集的比例为8:2；

步骤3.2，对训练集中的图片进行预处理，然后训练步骤2搭建的基于知识蒸馏的舰船检测网络，保存训练后的学生网络的模型参数；

步骤4，利用学生网络进行测试：

步骤4.1，在测试阶段，不需要教师网络，只保留学生网络，如图5所示，将测试集中所有图片输入到学生网络中进行舰船检测，得到最后的检测结果；

步骤4.2，根据测试集所有图片的检测结果计算舰船检测的精度指标mAP和速度指标FPS，大量实验表明本发明能准确地检测出光学遥感图像中多尺度、形态各异的舰船目标，有效克服了云层、海浪、云雾等虚景的干扰，在保证舰船检测速度的前提下极大地提高了舰船检测的精度。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种基于知识蒸馏的光学遥感图像舰船检测方法，其特征在于，包括如下步骤：

步骤1，下载公开的舰船数据集，并划分训练集和测试集；

步骤2，构建基于知识蒸馏的舰船检测网络，包含教师网络和学生网络，通过设计损失函数，让层数多检测准确率高的教师网络指导学生网络的学习，在保持学生网络原本检测速度的同时提高学生网络检测的准确率；

所述教师网络和学生网络均由骨干网络、特征加权模块、分类和边框回归子网络三部分组成，将输入图片同时输入到教师网络和学生网络中，所述骨干网络用于特征提取，特征加权模块用于进一步提取更具判别性的特征，并且抑制光学遥感图像中的背景干扰，最后由分类和边框回归子网络输出每个目标类别的概率以及回归得到目标的位置坐标，根据教师网络和学生网络的检测结果分别计算交叉熵损失和回归损失；

步骤3，利用训练集对上述教师网络和学生网络进行联合训练，保存训练后的学生网络模型参数；

在训练过程中，根据真实的舰船检测标签与学生网络检测出的结果计算Softmax和SmoothL1损失，通过反向传播，优化学生网络的模型参数；

步骤4，测试阶段利用学生网络对测试集的所有图片进行测试，计算舰船检测的准确率，得到检测结果。

2.如权利要求1所述的一种基于知识蒸馏的光学遥感图像舰船检测方法，其特征在于：所述教师网络和学生网络选用不同的骨干网络用于特征提取，其中教师网络选用卷积层层数较多且检测精度较高的骨干网络，学生网络选用卷积层层数较少且检测速度较快的骨干网络。

3.如权利要求1所述的一种基于知识蒸馏的光学遥感图像舰船检测方法，其特征在于：教师网络中选用ResNet101作为骨干网络，学生网络中选用Shufflenet作为骨干网络。

4.如权利要求1所述的一种基于知识蒸馏的光学遥感图像舰船检测方法，其特征在于：所述教师网络和学生网络的具体结构如下；

构建骨干网络：根据卷积神经网络中特征图的分辨率大小，将同一尺寸的特征图所在的卷积层称为一个阶段，以残差网络作为特征提取的基础网络进行说明，C₁～C₅分别表示Conv1～Conv5阶段中最后一层残差块输出的特征图，C₆则表示在C₅后面再加一层3×3卷积得到的特征图，将C₂进行1×1卷积和下采样得到与C₃相同大小的特征图，将C₄进行1×1卷积和上采样得到与C₃相同大小的特征图，并且将这两部分特征图与经过1×1卷积后的C₃进行相加，得到融合后的特征图P₃；同理，将C₄进行1×1卷积和下采样得到与C₅相同大小的特征图，将C₆进行1×1卷积和上采样得到与C₅相同大小的特征图，并且将这两部分特征图与经过1×1卷积后的C₅进行相加，得到融合后的高层特征图P₅；

为了进一步提取更具判别性的特征，并且抑制光学遥感图像中的背景干扰，设计了一种融合了通道注意力和空间注意力的特征加权模块，其结构为：设融合后的特征图P_i大小为W×H×D，i＝3或5，W、H和D分别表示特征图的宽、高和通道数，通道注意力模块由1个3×3卷积层、1个全局平均池化层和2个全连接层组成，，将输入特征图P_i与经过通道注意力模块之后得到的通道权重进行点乘，得到经过通道注意力机制优化后的特征图P_c，大小为W×H×D；空间注意力模块由1×1卷积层+BN层+Sigmoid函数组成，将优化的特征图P_c与经过空间注意力模块Sigmoid层输出的空间权重进行点乘，得到经过空间注意力机制优化后的特征图P_s，大小为W×H×D；

分类和边框回归子网络由2个分支组成，输入为经过优化后的特征图P_s，大小为W×H×D，K表示目标的类别数，分类子网络由5个卷积层组成，前4个是通道数为D的3×3卷积层，最后一层是通道数为KA的3×3卷积层，用于预测每个锚点框的类别概率；边框回归子网络也由5个卷积层组成，前4个是通道数为D的3×3卷积层，最后一层是通道数为4A的3×3卷积层，用于预测每个锚点框的坐标，A表示网络预设的锚点框个数。

5.如权利要求1所述的一种基于知识蒸馏的光学遥感图像舰船检测方法，其特征在于：所述教师网络和学生网络的骨干网络中采用Hint损失函数，在训练的时候使得学生网络尽可能学习教师网络的特征表达能力，其计算公式如下：

其中L_Hint表示Hint损失，F_t表示从教师网络中选取的中间层特征图，F_s表示从学生网络中选取的中间层特征图，

表示两个特征图之间的L2距离；为了保证中间层特征图F_t和F_s具有相同的维度，在学生网络的中间层特征图之后加入了自适应层，将F_s调整到与教师网络的中间层特征图F_t维度一致，然后计算Hint损失。

Images