CN114283325A - 一种基于知识蒸馏的水下目标识别方法 - Google Patents

Abstract

本发明公开了一种基于知识蒸馏的水下目标识别方法；该方法如下：一、预训练一个复杂模型作为教师模型；复杂模型采用卷积神经网络。二、使用基于高斯过程回归的知识蒸馏方法压缩教师模型，得到学生网络；三、将压缩好的学生网络替换用于水下目标识别的yolov5目标检测网络中的分类网络；四、利用水下激光摄像头，采集水下实时图像；五、使用图像增强算法提高传回的水下实时图像的质量；六、将图像实时输入到更新后的yolov5目标检测网络中，实现实时的水下目标识别；本发明改变了传统知识蒸馏方法中以卷积神经网络中作为学生网络的方法，提出通过高斯回归过程拟合教师网络知识的方法以达到知识迁移的目的。

Description

一种基于知识蒸馏的水下目标识别方法

技术领域

本发明属于水下目标识别技术领域，具体涉及一种基于知识蒸馏的水下目标识别方法。

背景技术

水下目标识别技术作为各种水下任务的辅助手段，可以帮助水下作业人员和水下航行器等更好地开展水下任务。在民用领域，水下目标识别可用于水下电缆铺设、水下管道质量检测、水下设备的维护与维修、渔场监测等。军用领域，则可用于侦查、布雷、灭雷和水下救人工作。为了更好地帮助实现这些水下任务，一个识别准确、识别速度快的水下目标识别技术十分重要。

随着深度学习的日益发展，其在目标识别、图像分类等领域取得了良好的效果和应用，因此应用深度学习神经网络对水下目标进行识别逐渐成为未来的主流方向，与传统方法相比，深度神经网络通过深层网络对特征的准确提取，对水下目标的识别定位更准，识别率更高。

而由于电磁波在水下衰减很快，穿透海水传输数据的能力相对薄弱，因此必须将深度神经网络本地部署在设备当中，而深度神经网络往往参数众多，体积庞大，难以将其部署在资源有限的嵌入式设备中。因此，我们提出一种基于改进型知识蒸馏的水下目标识别技术，旨在通过有效的模型压缩方法，使压缩后的分类网络拥有轻量化的体积，加快其推理速度，并且拥有良好的精度。

发明内容

本发明旨在针对现有技术存在的缺点与不足，提供一种基于知识蒸馏的水下目标识别方法。该方法可以通过水下摄像头采集画面，并通过知识蒸馏训练好的轻量型网络，判断并且标注水下目标的种类。

一种基于改进型知识蒸馏压缩技术的水下目标识别方法，具体步骤如下：

S10)预训练一个复杂模型作为教师模型；复杂模型采用卷积神经网络。

S20)使用基于高斯过程回归的知识蒸馏方法压缩教师模型，得到学生网络。

S30)将压缩好的学生网络替换用于水下目标识别的yolov5目标检测网络中的分类网络。

S40)利用水下激光摄像头，采集水下实时图像。

S50)使用图像增强算法提高传回的水下实时图像的质量。

S60)将图像实时输入到更新后的yolov5目标检测网络中，实现实时的水下目标识别。

作为优选，步骤S10)中，选用Resnet152神经网络作为教师模型；Resnet152神经网络由1层卷积，1层最大池化，1层平均池化以及50个残差结构组成。

作为优选，步骤S20)中基于高斯过程回归的知识蒸馏过程如下：

将教师网络的最后一层全连接层的输出作为教师的知识指导学生网络，引入温度因子T使教师网络的输出更平滑，处理后的教师网络输出Y_i如下：

其中，z_i为全连接层输出，T为自定义参数。写作向量形式为

Y＝[Y₁,Y₃,Y₃,…,Y_m]。

其中，Y为教师网络输出向量，m为类别个数。

定义一个预处理层以提取图像特征并降维，预处理层由一个深度可分离卷积核和一个最大池化层组成，预处理得到低维的特征向量X^*＝[x₁,x₂,x₃,…,x_n]^T，此作为输入向量。将输入向量与其对应的分类结果y^*表示为(x^*,y^*)，将高斯过程的先验知识f(x)表示为：

f(x)～N(μ_f,K_ff)

其中，N(·)为高斯分布；μ_f为均值；K_ff为方差。

先验知识f(x)与分类结果y^*服从联合高斯分布：

其中，

表示联合高斯分布；方差K_ff＝k(x,x)，方差K_fy＝k(x,x^*)，方差K_yy＝k(x^*,x^*)；k(·)为高斯核函数。

则有给定(x^*,y^*)后的函数分布f为：

此时得到高斯过程的均值

和协方差

输入向量x^*在函数分布f中结果即为分类结果y^*。

以函数分布f作为学生网络。

作为优选，步骤S30)中所述的yolov5目标检测网络包括输入端，Backbone，Neck和Prediction，有检测定位和分类识别两大功能。

作为优选，步骤S40)的具体过程为：在水下航行器中安装水下激光摄像头，能有效采集航行器周边一定范围的图像，并将图像传回，经图像增强处理后，用于目标识别。

作为优选，步骤S50)的具体过程为：计算整张图片的直方图h(k)，直方图是对一幅图像所有灰度值的整体描述，表示为：

h(k)＝n_k,k＝0,1,…，L-1

其中，n_k是图像中灰度级为k的像素的个数；L为灰度级数量；直方图的每一列的高度对应n_k。

根据直方图求出每个像素点发生的概率P(k)，表示为：

P(k)＝n_k/N

其中，N表示图像的像素总数。

将每个像素点的概率乘以动态范围并向下取整，得到增强后的图像。

作为优选，步骤S60)将图像实时输入到目标检测网络中，实现实时的水下目标识别，具体包括：将水下激光摄像头采集到的图像经过图像增强后，输入到更新的yolov5目标检测网络中，实现图像中目标物体的自动识别。

本发明的有益效果在于：

(1)本发明提出一种新型的知识蒸馏方法，改变了传统知识蒸馏方法中以卷积神经网络中作为学生网络的方法，提出通过高斯回归过程拟合教师网络知识的方法以达到知识迁移的目的。由于高斯回归过程的方法无需神经网络中大量的参数，实现了更高的压缩率。

(2)由于压缩后网络比神经网络更简单，参数量更小，因此本发明解决了资源有限的嵌入式设备难以部署复杂神经网络的问题，实现了水下目标的离线检测，改善了现有技术的实时性问题。

(3)与其他压缩方法相比，高斯过程的预测值是概率的，因此本发明可以计算经验置信区间，然后在某个区域重新拟合预测，保持了相对较高的识别准确率，实现了检测速度和检测准确率的平衡。

附图说明

图1为本发明的流程示意图。

图2为本发明的强化学习策略蒸馏示意图。

图3为本发明中Resnet152神经网络的残差结构示意图。

具体实施方式

以下结合附图对本发明进行进一步说明。

如图1所示，一种基于改进型知识蒸馏压缩技术的水下目标识别方法，技术方案如下：

S10)预训练一个复杂模型作为教师模型；具体包括：

首先训练Resnet152神经网络用于水下目标分类，训练好后的复杂模型作为待压缩的网络，其具有较高的精度。Resnet152以残差结构作为基本模块堆叠而成，能够加深神经网络的深度，使其准确率越来越高。残差结构内部如图3所示：

假设输入为x，有两层全连接层学习到的映射为H(x)。假设H(x)与x维度相同，那么拟合H(x))与拟合残差函数H(x)-x等价，令残差函数F(x)＝H(x)-x，则原函数变为F(x)+x，于是直接在原网络的基础上加上一个跨层连接，将x的恒等映射传递过去。

整个残差结构可以定义为y＝F(x，{W_i})+x，这里F(x，{W_i})指拟合的残差映射，如上图中有两层全连接层，即F＝W₂σ(W₁x)，其中σ指ReLu激活函数。当F与x维度相同时，可以直接逐元素相加；但如果不同，就必须给x再加一个线性，将其映射到一个与F维度相同的向量，此时整个残差结构为y＝F(x，{W_i})+W_sx，其中W_s为一个用于维度匹配的矩阵。

整个Resnet152由1层卷积，1层最大池化，1层平均池化以及50个残差结构组成，其对于水下目标有着良好的分类效果，我们将其作为教师网络指导学生网络训练。

S20)使用基于高斯过程回归的知识蒸馏方法压缩教师模型，得到学生网络。

如图2所示，将步骤S10)中获得的Resnet152作为教师模型指导学生网络训练。其中知识蒸馏是一种知识迁移的方法，通过一个训练好的复杂模型，将其知识转移到一个小型的网络中，而小型网络作为最终的任务模型，以此达到压缩模型的目的。本发明中，我们用高斯过程回归代替传统知识蒸馏中的卷积神经网络作为学生网络。高斯过程是随机过程之一，是一系列符合正态分布的随机变量在一维度集内的集合，一个高斯过程由一个均值函数和一个协方差矩阵确定。对于一个高斯过程：X＝[x₁，x₂，x₃，...，x_n]^T，其中n为特征维数，x₁，x₂，x₃，...，x_n为对应各维度上的特征样本。X符合高维正态分布，μ＝[μ₁，μ₂，μ₃，...，μ_n]^T为均值向量，∑是这n个特征之间的协方差矩阵，将∑展开有：

其中cov_i，j表示特征i和特征j之间的协方差。协方差通过高斯过程核来模拟，我们选择径向基函数作为高斯过程核，公式如下：

其中，x_i和x_j表示对维度的标记，σ和l为自由参数。此时得到高斯过程，表示为：

f(x)～N(μ(x)，K(x，x))

其中N表示均值函数，K为两个向量各个维度间的协方差函数。

基于高斯过程回归的知识蒸馏过程如下：将教师网络的最后一层全连接层的输出作为教师的知识指导学生网络，为了使教师网络的知识更有效，我们引入温度因子T使教师网络的输出更平滑，处理后的教师网络输出如下：

其中z_i为全连接层输出，T为自定义参数。写作向量形式为

Y＝[Y₁，Y₃，Y₃，...，Y_m]。

其中，Y为教师网络输出向量，m为类别个数。

由于高斯过程回归在高维上表现不佳，在输入图像进行分类时，我们先定义一个预处理层以提取图像特征并降维，预处理层由一个深度可分离卷积核和一个最大池化层组成，预处理完后的图像变为低维的特征向量X^*＝[x₁，x₂，x₃，...，x_n]^T，此作为输入向量。此时我们将输入与其对应的分类表示为(x^*，y^*)，将高斯过程的先验表示：

f(x)～N(μ_f，K_ff)

假设其与预测值服从联合高斯分布：

其中μ_f为均值，K_ff＝k(x，x)，K_fy＝k(x，x^*)，K_yy＝k(x^*，x^*)

则有给定(x^*，y^*)后的函数分布f为：

此时得到高斯过程的均值

和协方差

在输入向量x^*处的均值即为所求得的分类结果。

本发明仅用一个预处理层作为特征提取降维手段，其余步骤均为高斯过程拟合过程，通过拟合图片输入和教师网络的输出，可以准确预测待分类的图像的种类，并且摒弃了传统神经网络识别过程中用于提取特征的复杂的卷积层，大幅减少了内存占用资源，也节约了传统神经网络训练的前向传播的运算，大大加快了识别速率。

S30)将压缩好的学生网络替换用于水下目标识别的yolov5目标检测网络中的分类网络，具体包括：

使用步骤S20)中获得的学生网络对yolov5进行改进。yolov5是当下主流的目标检测网络，分为输入端，Backbone，Neck和Prediction四个部分，有检测定位和分类识别两大功能。我们用获得的学生网络替换yolov5中的骨干网络进行分类任务，使得分类识别速度大大提高。

S40)利用水下激光摄像头，采集水下实时图像，具体包括：

在水下航行器中安装水下激光摄像头，能有效采集航行器周边一定范围的图像，并将图像传回，经图像增强处理后，用于目标识别

S50)使用图像增强算法提高传回的水下激光图像质量，具体包括：

S50)使用图像增强算法提高传回的水下激光图像质量，图像增强算法采用使用直方图均衡化更好的突出图像的对比度信息。具体包括：

首先，计算整张图片的直方图h(k)，直方图是对一幅图像所有灰度值的整体描述，表示为：

h(k)＝n_k,k＝0,1,…，L-1

其中，n_k是图像中灰度级为k的像素的个数；L为灰度级数量；直方图的每一列的高度对应n_k。

其次，根据直方图求出每个像素点发生的概率P(k)，表示为：

P(k)＝n_k/N

其中，N表示图像的像素总数。

最后，求对应每个像素点的概率乘以动态范围，向下取整然后得到均衡化后的图像。

S60)将图像实时输入到目标检测网络中，实现实时的水下目标识别，具体包括：将水下激光摄像头采集到的图像经过图像增强后，输入到本地部署好的改进后yolov5目标检测网络中，网络可以自定定位图像中的物体，并且通过轻量化分类网络识别出图像中物体的类别，并且在图像中标注说明。

Claims (7)

1.一种基于知识蒸馏的水下目标识别方法，其特征在于：包括以下步骤：

S10)预训练一个复杂模型作为教师模型；复杂模型采用卷积神经网络；

S20)使用基于高斯过程回归的知识蒸馏方法压缩教师模型，得到学生网络；

S30)将压缩好的学生网络替换用于水下目标识别的yolov5目标检测网络中的分类网络；

S40)利用水下激光摄像头，采集水下实时图像；

S50)使用图像增强算法提高传回的水下实时图像的质量；

S60)将图像实时输入到更新后的yolov5目标检测网络中，实现实时的水下目标识别。

2.根据权利要求1所述的一种基于知识蒸馏的水下目标识别方法，其特征在于：步骤S10)中，选用Resnet152神经网络作为教师模型；Resnet152神经网络由1层卷积，1层最大池化，1层平均池化以及50个残差结构组成。

3.根据权利要求1所述的一种基于知识蒸馏的水下目标识别方法，其特征在于：步骤S20)中基于高斯过程回归的知识蒸馏过程如下：

将教师网络的最后一层全连接层的输出作为教师的知识指导学生网络，引入温度因子T使教师网络的输出更平滑，处理后的教师网络输出Y_i如下：

其中，z_i为全连接层输出，T为自定义参数；写作向量形式为

Y＝[Y₁，Y₃，Y₃，…，Y_m]；

其中，Y为教师网络输出向量，m为类别个数；

定义一个预处理层以提取图像特征并降维，预处理层由一个深度可分离卷积核和一个最大池化层组成，预处理得到低维的特征向量X^*＝[x₁，x₂，x₃，...，x_n]^T，此作为输入向量；将输入向量与其对应的分类结果y^*表示为(x^*，y^*)，将高斯过程的先验知识f(x)表示为：

f(x)～N(μ_f，K_ff)

其中，N(·)为高斯分布；μ_f为均值；K_ff为方差；

先验知识f(x)与分类结果y^*服从联合高斯分布：

其中，

表示联合高斯分布；方差K_ff＝k(x，x)，方差K_fy＝k(x，x^*)，方差K_yy＝k(x^*,x^*)；k(·)为高斯核函数；

则有给定(x^*,y^*)后的函数分布f为：

此时得到高斯过程的均值

和协方差

输入向量x^*在函数分布f中结果即为分类结果y^*；

以函数分布f作为学生网络。

4.根据权利要求1所述的一种基于知识蒸馏的水下目标识别方法，其特征在于：步骤S30)中所述的yolov5目标检测网络包括输入端，Backbone，Neck和Prediction，有检测定位和分类识别两大功能。

5.根据权利要求1所述的一种基于知识蒸馏的水下目标识别方法，其特征在于：步骤S40)的具体过程为：在水下航行器中安装水下激光摄像头，能有效采集航行器周边一定范围的图像，并将图像传回，经图像增强处理后，用于目标识别。

6.根据权利要求1所述的一种基于知识蒸馏的水下目标识别方法，其特征在于：步骤S50)的具体过程为：计算整张图片的直方图h(k)，直方图是对一幅图像所有灰度值的整体描述，表示为：

h(k)＝n_k,k＝0,1,…，L-1

其中，n_k是图像中灰度级为k的像素的个数；L为灰度级数量；直方图的每一列的高度对应n_k；

根据直方图求出每个像素点发生的概率P(k)，表示为：

P(k)＝n_k/N

其中，N表示图像的像素总数；

将每个像素点的概率乘以动态范围并向下取整，得到增强后的图像。

7.根据权利要求1所述的一种基于知识蒸馏的水下目标识别方法，其特征在于：步骤S60)将图像实时输入到目标检测网络中，实现实时的水下目标识别，具体包括：将水下激光摄像头采集到的图像经过图像增强后，输入到更新的yolov5目标检测网络中，实现图像中目标物体的自动识别。

Images