CN113283473A - 一种基于cnn特征映射剪枝的快速水下目标识别方法 - Google Patents

Abstract

本发明公开了一种基于CNN特征映射剪枝的快速水下目标识别方法，包括CNN特征映射剪枝的步骤：首先构建一个深度模型来充分地拟合训练数据，然后将该模型作为基准模型，开展神经网络剪枝工作；对隐藏层的剪枝敏感度进行测试，选取低敏感度的隐藏层并删除对精度影响小的特征映射；还包括改进的剪枝策略：完成剪枝操作后通过重训练恢复模型精度；通过本发明的方法减少神经网络的参数量及计算量，解决当前神经网络对硬件的存储和计算能力要求高的不足。

Description

一种基于CNN特征映射剪枝的快速水下目标识别方法

技术领域

本发明属于目标识别技术领域，特别涉及一种基于CNN特征映射剪枝的快速 水下目标识别方法。

背景技术

近年来，卷积神经网络凭借其优越的性能，在水下目标识别、检测、跟踪 等方面扮演这不可替代的角色，但是这些成果的取得都依赖于不断开发出的更深 层次的网络，如AlexNet、VGG、ResNet等。其中AlexNet拥有6100万的参数， VGG-16更是拥有超过1.38亿的参数，因此神经网络很难部署在存储资源有限的 水下设备上，如自主式水下机器人(AUV)等。不仅如此水下目标识别往往对识 别的实时性有较高的要求，因此在计算资源匮乏的水下设备上部署大型神经网络 很难满足实时性的要求。为了降低神经网络部署所需的存储需求，满足水下目标 识别的实时性要求，需要研究神经网络的压缩技术。CNN特征映射剪枝技术是一 种去除神经网络中部分特征映射来减少神经网络参数量及所需浮点数计算量(FLOPs)的技术，其核心是寻找对神经网络性能影响最小的特征映射。目前， 世界上许多研究机构都在积极开展关于神经网络压缩技术的研究。

神经网络压缩技术可分为：神经网络剪枝、张量分解、知识蒸馏、权重量化 等。其中神经网络剪枝包含三种剪枝粒度：隐藏层剪枝、特征映射剪枝、卷积核 内剪枝。

1)隐藏层剪枝

最粗糙的神经网络剪枝技术，通过对隐藏层剪枝减少大量的参数量及浮点数 计算量，但会对神经网络造成较大的精度损失，很难通过重训练恢复性能。

2)特征映射剪枝

本方法在该粒度上进行剪枝，可在保证神经网络性能的同时，有效地减少神 经网络对存储及计算量的需求，但需要仔细筛选要删除的特征映射，否则会对模 型造成无法恢复的性能损失。

3)卷积核内剪枝

最细粒度的神经网络剪枝技术，可明显减少模型的参数量，但不能减少运行 时间，且此方法是一种非结构化的剪枝方法，会导致网络连接不规整，需要通过 稀疏表达来减少内存占用，进而导致在前向传播时，需要大量条件判断和额外空 间来标明0或非0参数位置，因此不适合并行计算，并且非结构化的稀疏性需要 使用专门的软件计算库或者硬件。

4)张量分解

该技术通过将一个隐藏层分解成多个低复杂度的网络层从而有效地压缩神 经网络，但在基于随机梯度下降法的模型权重微调过程中难以获取张量分解的优 化解。

5)知识蒸馏

通过联合训练教师网络和学生网络，使得小型学生网络的性能具有与复杂的 教师网络相似的性能。但是该方法需要在大型服务器上预先训练一个复杂的大型 模型。

6)权重量化

该技术通过减少表示每个权重所需的比特数来压缩原始网络，但这种技术在 压缩率较高时，无法提供令人满意的准确率，这种技术多与其他技术结合使用。

发明内容

针对现有技术存在的不足，本发明提供一种基于CNN特征映射剪枝的快速水 下目标识别方法，尽可能在保证神经网络模型的性能不会下降的同时，对特征映 射进行剪枝，减少神经网络的参数量及计算量，解决当前神经网络对硬件的存储 和计算能力要求高的不足，进而解决快速水下目标识别问题。

为了解决上述技术问题，本发明采用的技术方案是：

一种基于CNN特征映射剪枝的快速水下目标识别方法，包括以下步骤：

S1、获取水下目标图像；

S2、CNN特征映射剪枝的步骤：

首先构建一个深度模型来充分地拟合训练数据，然后将该模型作为基准模 型，开展神经网络剪枝工作；

对隐藏层的剪枝敏感度进行测试，选取低敏感度的隐藏层并删除对精度影响 小的特征映射；

S3、改进的剪枝策略：完成剪枝操作后通过重训练恢复模型精度；

S4、然后再进行水下目标识别操作。

进一步的，步骤S2 CNN特征映射剪枝是结合K-means算法定位对模型精度 影响较小的特征映射进行剪枝，具体的剪枝流程分为三个阶段：

第一阶段：测试各隐藏层对于剪枝的敏感度，选取低敏感度的隐藏层；

第二阶段：寻找对精度影响小的特征映射并删除相应的滤波器达到压缩神经网络的目的；

第三阶段：重训练神经网络，恢复模型精度。

进一步的，第二阶段的特征映射剪枝方法具体如下：

输入x_input经过某卷积层输出N个特征映射X∈{x¹,x²,...,x^N}，则该卷积层拥 有N个滤波器θ∈{θ¹,θ²,...,θ^N}，通过计算i^th滤波器和j^th滤波器之间的欧氏距离 d(θⁱ,θ^j)来度量i^th特征映射和j^th特征映射之间的相似性：

欧式距离d越小，那么两个滤波器提取特征的功能则越相似，其输出特征映 射在功能上的相似性越强；

将某层的滤波器据称K类，相应的特征映射也被聚为K类，本方法仅保留 最靠近聚类中心点的滤波器，假设某卷积层的目标剪枝率为α，则需要将滤波器 聚类成K＝N(1-α)个类别，那么，损失函数W(C)为滤波器与所属类别中心的距 离的总和，即：

其中

是k^th类的聚类中心，C为划分函数，只需找到合适的聚类中心

然后 计算滤波器与每个聚类中心的欧式距离d，将其归到d最小的类别中即可有效地 完成聚类；完成聚类的关键在于求解最优化问题：

使用k-means算法对这个最优化问题进行求解，求解主要分以下几个步骤：

1)预将滤波器分为K组，随机选取K个对象作为初始聚类中心；2)计算 每个对象与各子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中 心，聚类中心以及分配给它们的对象代表一个聚类；3)每分配一个对象，聚类 中心会根据聚类空间中现有的对象被重新计算；4)重复过程2)和3)直到满足 目标压缩率。

进一步的，在最终的卷积层后添加全局平均池化层来代替最初的全连接层， 随后添加一个全连接层并在该层后添加softmax激活函数进行分类。

进一步的，经过剪枝操作后，神经网络的性能会有一个明显的衰减，需要通 过微调来恢复性能，S3改进的剪枝策略是指：采用居中的方式对模型进行剪枝， 分多次进行剪枝直到达到目标剪枝率，每次剪枝之后都进行一个小批量的重训 练，在达到目标剪枝率后进行大批量的重训练来恢复模型精度，在训练时间与精 度损失之间达到了平衡。

进一步的，随着迭代次数的增加，每次被删除的特征映射的数目逐步减少， 每次只删除所选中低敏感度卷积层当前10％的特征映射，改进后的剪枝策略可以 通过调节迭代次数达到预期的剪枝率。

与现有技术相比，本发明优点在于：

1)本发明提出一种CNN特征映射剪枝技术，尽可能在保证神经网络模型的 性能不会下降的同时，对特征映射进行剪枝，减少神经网络的参数量及计算量， 有效减少了神经网络对硬件设备的需求并明显提高了识别速度。

2)借助K-means算法对滤波器进行聚类，寻找功能相似的特征映射或在功 能上存在冗余的特征映射进行剪枝，能够有效避免模型在水下目标识别精度上的 损失。

3)本发明还提出一种改进的剪枝策略，迭代对模型进行剪枝，并随迭代次 数的增加逐步减少被删除的特征映射的数目，有效避免网络结构被破坏，有效恢 复剪枝后模型的泛化性能。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要 使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些 实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。

图1为本发明的方法流程示意图；

图2为卷积层剪枝的示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的说明。

卷积神经网络由卷积层和全连接层组成，卷积层主要被用来进行特征提取， 全连接层被用来进行分类。为进行水下目标的识别工作，本发明设计了一种基于 CNN特征映射剪枝的快速水下目标识别方法，包括以下步骤：

S1、获取水下目标图像；

S2、CNN特征映射剪枝的步骤：

首先构建一个深度模型来充分地拟合训练数据，然后将该模型作为基准模 型，开展神经网络剪枝工作；

对隐藏层的剪枝敏感度进行测试，选取低敏感度的隐藏层并删除对精度影响 小的特征映射；

S3、改进的剪枝策略：完成剪枝操作后通过重训练恢复模型精度；

S4、然后再进行水下目标识别操作。

首先说明一下本发明剪枝方法的可行性：

卷积层的输入x_input是一个3D张量，i.e.x_l＝f_l(f_l-1(…f₁(x₀))),其中

C_l、H_l和W_l分别为特征图x_l的通道数、高度以及宽度，经过l^th卷 积计算，特征图

l^th卷积操作可以被定义为：

f_l(x_l-1)＝max(0,γ_l·norm(conv_l(x_l-1,θ_l)+b_l)+β_l). (1)

这里，conv_l(x_l-1,θ_l)表示使用权重张量

对输入特征图x_l-1进行卷积操作，其中k_h和k_w分别是滤波器的高度和宽度，

为偏移量。norm(x)表 示BatchNormlization操作，

分别包含scale和shift调节参数。 max(0,x)表示ReLU激活函数。式(2)中

分别为每个通道上的均值及 方差。

在卷积神经网络中，l^th卷积层输出特征图

的通道数C^l和该层 滤波器的数目息息相关。一旦一个滤波器被裁删除：

其相应的输出特征图也将被删除：

如图2所示，图中黑色表示被删除的部分，白色表示 保留的部分，对l^th卷积层的剪枝造成下一层输入的改变。随即，我们需要对下一层进行相应的调整：

因此对卷积神经网络进 行裁剪，不仅会压缩被剪枝的层，其下一层也将得到压缩。

对某隐藏层的特征映射进行可视化可以发现，许多特征映射之间存在很大的 相似性，即这些特征映射所包含的特征存在冗余，那么产生这些特征映射的滤波 器在提取特征上拥有相似的功能，可以推理得出，这些具有相似特征提取功能的 滤波器拥有相似的权值，本方法将欧氏距离作为度量单位，将滤波器距离聚类中 心的距离之和作为损失，通过K-means(K均值聚类)算法优化损失对滤波器进 行聚类，并在各聚类空间中删除功能相似的滤波器。

一般来说，人们常用参数量及FLOPs(浮点数计算量)来衡量神经网络对硬 件资源的消耗，卷积层、全连接层和BatchNormlization层的参数量及FLOPs 计算方式总结如下：

卷积层：

全连接层：

BatchNormlization层：

在全连接层中，C_l-1和C_l分别表示l^th层输入和输出神经元的数量。

结合图1所示本发明的方法流程图，CNN特征映射剪枝的具体操作流程是：

CNN特征映射剪枝是结合K-means算法定位对模型性能影响较小的特征映 射进行剪枝，具体的剪枝流程分为三个阶段：

1)第一阶段：测试各隐藏层对于剪枝的敏感度，选取低敏感度的隐藏层。

神经网络中各隐藏层对神经网络剪枝呈现不同的敏感度，某些敏感层一经剪 枝就会对精度造成较大的损失。本发明首先逐一的对隐藏层以不同的剪枝率进行 剪枝并验证剪枝后的精度，随后将剪枝的重心集中在剪枝后精度下降不明显的 层，对于剪枝后精度下降较快的层，需要谨慎的进行剪枝操作，甚至不对其进行 剪枝。

经过隐藏层的敏感度测试，确定欲剪枝的隐藏层后，开展模型的剪枝工作。

2)第二阶段：特征映射剪枝：寻找对精度影响小的特征映射并删除相应的 滤波器达到压缩神经网络的目的。特征映射剪枝方法具体如下：

输入x_input经过某卷积层输出N个特征映射X∈{x¹,x²,...,x^N}，则该卷积层拥 有N个滤波器θ∈{θ¹,θ²,...,θ^N}，通过计算i^th滤波器和j^th滤波器之间的欧氏距离 d(θⁱ,θ^j)来度量i^th特征映射和j^th特征映射之间的相似性：

欧式距离d越小，那么两个滤波器提取特征的功能则越相似，其输出特征映 射在功能上的相似性越强；

将某层的滤波器据称K类，相应的特征映射也被聚为K类，本方法仅保留 最靠近聚类中心点的滤波器，假设某卷积层的目标剪枝率为α，则需要将滤波器 聚类成K＝N(1-α)个类别，那么，损失函数W(C)为滤波器与所属类别中心的距 离的总和，即：

其中

是k^th类的聚类中心，C为划分函数，只需找到合适的聚类中心

然后 计算滤波器与每个聚类中心的欧式距离d，将其归到d最小的类别中即可有效地 完成聚类；完成聚类的关键在于求解最优化问题：

本发明使用k-means算法对这个最优化问题进行求解，求解主要分以下几个 步骤：

1)预将滤波器分为K组，随机选取K个对象作为初始聚类中心；2)计算 每个对象与各子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中 心，聚类中心以及分配给它们的对象代表一个聚类；3)每分配一个对象，聚类 中心会根据聚类空间中现有的对象被重新计算；4)重复过程2)和3)直到满足 某个中止条件(此处指目标压缩率)。

此外，本发明还进行全连接层的压缩：在最终的卷积层后添加全局平均池化 层(global average pooling层)来代替最初的全连接层，随后添加一个全连 接层并在该层后添加softmax激活函数进行分类。

3)第三阶段：重训练神经网络，恢复模型精度。

经过剪枝操作后，神经网络的性能会有一个明显的衰减，需要通过微调来恢 复性能。剪枝策略主要有以下几种：1)一次剪枝就达到目标压缩率，然后进行 大量微调。这样一次性删除大量滤波器可能会对网络结构造成损害，导致无法通 过重训练恢复精度。2)剪枝和重训练交替进行。每次只删除部分滤波器，每次 剪枝后都进行大量重训练来恢复模型的精度，这样虽然能够有效的保护网络结 构，但是需要大量的训练时间，尤其对于较深的网络结构，训练所消耗的时间是 难以接受的。

本发明步骤S3改进的剪枝策略是指：采用居中的方式对模型进行剪枝，分 多次进行剪枝直到达到目标剪枝率，每次剪枝之后都进行一个小批量的重训练， 在达到目标剪枝率后进行大批量的重训练来恢复模型精度，在训练时间与精度损 失之间达到了平衡。

另外，随着迭代次数的增加，每次被删除的特征映射的数目逐步减少，每次 只删除所选中低敏感度卷积层当前10％的特征映射，这样做的优点：在模型剪枝 后期，特征映射的数目已经减少到一定程度，如果一次删除过多的特征映射，可 能会对模型结构造成损害。改进后的剪枝策略可以通过调节迭代次数达到预期的 剪枝率。

综上所述，本发明为实现快速水下目标识别，提出了一种寻找对剪枝具有低 敏感度的特征映射方法，并按照本文提出的改进的剪枝策略对其进行剪枝，实现 神经网络的压缩。本发明具有以下优点：

1)当前的神经网络模型拥有大量的参数及浮点数计算，难以部署在存储及 计算资源有限的水下设备上且运行速度慢。本发明提出一种CNN特征映射剪枝技 术，有效减少了神经网络对硬件设备的需求并明显提高了识别速度。

2)借助K-means算法对滤波器进行聚类，寻找功能相似的特征映射进行剪 枝，能够有效避免模型在水下目标识别精度上的损失。

3)迭代对模型进行剪枝，并随迭代次数的增加逐步减少被删除的特征映射 的数目，有效避免网络结构被破坏。

当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技 术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替 换，都应属于本发明的保护范围。

Claims (6)

1.一种基于CNN特征映射剪枝的快速水下目标识别方法，其特征在于，包括以下步骤：

S1、获取水下目标图像；

S2、CNN特征映射剪枝的步骤：

首先构建一个深度模型来充分地拟合训练数据，然后将该模型作为基准模型，开展神经网络剪枝工作；

对隐藏层的剪枝敏感度进行测试，选取低敏感度的隐藏层并删除对精度影响小的特征映射；

S3、改进的剪枝策略：完成剪枝操作后通过重训练恢复模型精度；

S4、然后再进行水下目标识别操作。

2.根据权利要求1所述的基于CNN特征映射剪枝的快速水下目标识别方法，其特征在于，步骤S2 CNN特征映射剪枝是结合K-means算法定位对模型精度影响较小的特征映射进行剪枝，具体的剪枝流程分为三个阶段：

第一阶段：测试各隐藏层对于剪枝的敏感度，选取低敏感度的隐藏层；

第二阶段：寻找对精度影响小的特征映射并删除相应的滤波器达到压缩神经网络的目的；

第三阶段：重训练神经网络，恢复模型精度。

3.根据权利要求2所述的基于CNN特征映射剪枝的快速水下目标识别方法，其特征在于，第二阶段的特征映射剪枝方法具体如下：

输入x_input经过某卷积层输出N个特征映射X∈{x¹,x²,...,x^N}，则该卷积层拥有N个滤波器θ∈{θ¹,θ²,...,θ^N}，通过计算i^th滤波器和j^th滤波器之间的欧氏距离d(θⁱ,θ^j)来度量i^th特征映射和j^th特征映射之间的相似性：

欧式距离d越小，那么两个滤波器提取特征的功能则越相似，其输出特征映射在功能上的相似性越强；

将某层的滤波器据称K类，相应的特征映射也被聚为K类，本方法仅保留最靠近聚类中心点的滤波器，假设某卷积层的目标剪枝率为α，则需要将滤波器聚类成K＝N(1-α)个类别，那么，损失函数W(C)为滤波器与所属类别中心的距离的总和，即：

其中

是k^th类的聚类中心，C为划分函数，只需找到合适的聚类中心

然后计算滤波器与每个聚类中心的欧式距离d，将其归到d最小的类别中即可有效地完成聚类；完成聚类的关键在于求解最优化问题：

使用k-means算法对这个最优化问题进行求解，求解主要分以下几个步骤：

1)预将滤波器分为K组，随机选取K个对象作为初始聚类中心；2)计算每个对象与各子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心，聚类中心以及分配给它们的对象代表一个聚类；3)每分配一个对象，聚类中心会根据聚类空间中现有的对象被重新计算；4)重复过程2)和3)直到满足目标压缩率。

4.根据权利要求3所述的基于CNN特征映射剪枝的快速水下目标识别方法，其特征在于，在最终的卷积层后添加全局平均池化层来代替最初的全连接层，随后添加一个全连接层并在该层后添加softmax激活函数进行分类。

5.根据权利要求1-3任一项所述的基于CNN特征映射剪枝的快速水下目标识别方法，其特征在于，经过剪枝操作后，神经网络的精度会有一个明显的衰减，需要通过微调来恢复性能，S3改进的剪枝策略是指：采用居中的方式对模型进行剪枝，分多次进行剪枝直到达到目标剪枝率，每次剪枝之后都进行一个小批量的重训练，在达到目标剪枝率后进行大批量的重训练来恢复模型精度，在训练时间与精度损失之间达到了平衡。

6.根据权利要求5所述的基于CNN特征映射剪枝的快速水下目标识别方法，其特征在于，随着迭代次数的增加，每次被删除的特征映射的数目逐步减少，每次只删除所选中低敏感度卷积层当前10％的特征映射，改进后的剪枝策略可以通过调节迭代次数达到预期的剪枝率。

Images