CN115688908A - 一种基于剪枝技术的高效神经网络搜索与训练方法 - Google Patents

Abstract

本发明公开了一种兼顾检测效率和精度的面向合成孔径雷达图像舰船目标检测任务的可微神经网络搜索与训练方法。该方法在SAR图像数据集上进行可微神经网络架构搜索，即在预设的包含有多种不同卷积和池化操作的搜索空间上，利用可微架构搜索对超级网络进行优化，以得到满足目标任务约束的神经网络模型，并对模型进行完备训练。通过改造可微架构搜索，不仅在可微架构搜索过程中集成了通道剪枝技术和模型剪枝技术，还创建新的混合损失函数，将交叉熵损失和模型计算量结合起来。本发明在舰船目标的目标检测任务上能自动化生成轻量级神经网络模型，在模型效率和检测精度上同时具有优异表现。

Description

一种基于剪枝技术的高效神经网络搜索与训练方法

技术领域

本发明属于信息技术领域，尤其设计一种基于剪枝技术的高效神经网络搜索 与训练方法。

背景技术

目前面向SAR图像舰船目标的目标检测任务，常见的有两种解决方案：

1.在神经网络技术兴起之前，利用人工对SAR图像进行特征提取，由于不 同物体的雷达回波强度不同，所以可以利用SAR图像的典型特征，如对比度、灰 度、形状等，来区分舰船和背景，这些方法受限于专家的领域知识，并且局限于 某个或数个特征的固定模式匹配，这造成了检测精度上的极大损失且检测上可能 存在天然缺陷；

2.近年来，引入专用的神经网络来进行特征提取越来越普遍，这样极大地 避免了复杂且困难的人工先验，例如，基于Faster R-CNN的舰船目标检测器， 并进一步进行改造获得了更好的精度，基于多任务学习的深度神经网络目标检测 器，然而这些研究都没有对检测效率给予足够的关注，所以无法满足在计算资源 有限的边缘设备上的工作要求，同时面向具体的目标任务设计一个可用且优秀的 神经网络模型并不是一件简单的工作，需要专家耗费大量的时间对神经网络模型 进行调优训练，这都不利于神经网络模型在SAR图像舰船目标检测任务上的应用 与改进。

3.针对计算资源有限的问题，越来越多的轻量级网络被设计出来应用在目 标检测领域，如用于舰船检测的加速版YOLOv3，相比于正常的YOLOv3，通过使 用更少的通道和卷积操作，以更小的模型体积来实现更高的检测速度；基于 YOLOV3设计一种高效的舰船目标检测器TinyYOLO-Lite，它结合了模型剪枝和知 识蒸馏技术，来保证效率和准确度，有效地降低了模型额理论计算量。这些轻量 级神经网络模型的出现，使得舰船目标检测任务获得了更高的检测效率，并得以 在更轻便的设备上部署，但是设计这样的轻量级神经网络模型依旧需要神经网络 设计者在神经网络领域充足的知识储备，并且在效率与精度的权衡中，进行大量 的实验就行验证调优，而模型剪枝的技术也是在大量试错成本中探索，同样需要 付出极大的时间成本，同时，经过观察目前的轻量级神经网络模型任有较大的模 型参数量和理论计算量，目前的设计并没有将模型的效率推导到极限。

发明内容

面向SAR图像舰船目标检测任务，为了避免在设计神经网络模型过程中过多 的人工先验参与，降低设计神经网络模型工作的复杂度和时间成本，本发明公开 了一种兼顾检测效率和精度的面向合成孔径雷达(Synthetic Aperture Radar:SAR)图像舰船目标检测任务的可微神经网络搜索与训练方法。本发明将 可微架构搜索(DifferentiableArchitecture Search，DARTS)技术引入到SAR 图像舰船目标检测领域，使得可以自动化地定制化地设计构建神经网络模型，同 时为了进一步缩减神经网络模型的体积和计算量并解决模型严重的过拟合问题， 提高舰船目标检测效率，本发明将通道剪枝技术和模型剪枝引入到DARTS过程中， 并将模型理论计算量纳入到DARTS的评估函数中，使得最终搜索得到的神经网络 模型架构满足检测精度和检测效率两方面的要求。

为了解决现有技术方案存在的问题，本发明在设置好的搜索空间上，面向SAR 图像舰船目标检测任务，通过可微架构搜索技术自动化设计神经网络架构，将模 型的理论计算量纳入到可微架构搜索的评估函数中，并将模型剪枝和通道剪枝引 入到搜索过程中，使得最终得到神经网络架构在效率和精度上都满足任务需求， 并解决了搜索和训练过程中存在的严重的过拟合问题。

技术方案

本发明所说明的一种基于剪枝技术的高效神经网络搜索与训练方法，主要包 括神经架构搜索和神经架构模型训练两部分，模型剪枝与通道剪枝技术应用在神 经架构搜索过程中，通过自动化搜索设计出高效的神经网络架构，并在搜索过程 中通过模型剪枝技术确定最终派生出的子网模型的具体网络层数及通过通道剪 枝技术确定最终子网模型中对应操作的通道数目。在具体的子网模型完成派生后， 根据搜索得到的网络架构与相关模型参数生成最终的神经网络模型，并从头进行 训练，以达到效率和精度两方面的目标。

为了实现上述目的，本发明的技术方案如下：一种基于剪枝技术的高效神经 网络搜索与训练方法，其特征在于：所述方法包括以下步骤：

步骤1：通过可微架构搜索在包含模型理论计算量的损失函数指导下对超级网络进行优化更新，确定最佳的神经网络单元结构；

步骤2：在搜索过程中利用通道剪枝技术探索最佳的通道屏蔽参数以及利用模型剪枝技术探索最佳的神经网络模型单元堆叠数目；

步骤3：在神经架构搜索过程完成之后，即神经网络单元结构已确定，且对模型 单元堆叠数目与通道屏蔽参数已明确，则根据当前状态的超网进行派生子网；

步骤4：根据派生出来的神经网络架构、通道屏蔽参数和神经网络模型单元堆叠数，构建完整神经网络模型，并训练以用于舰船目标检测。

其中，步骤1中，将神经网络模型的理论计算量纳入到可微架构搜索的损失函数中：

Loss＝acc_ratio×Loss_CE+ops_ratio×log(Ops)

各符号解释如下：

·acc_ratio表示检测精度损失的权重项；

·Loss_CE表示当前神经网络模型的精度交叉熵损失，由输 入图像通过当前模型的预测结果与图像真实值比较得出；

·ops_ratio表示模型理论计算量的权重向，两个权重项平衡 了神经架构搜索最终派生模型的精度和效率；

·Ops表示当前神经网络模型根据当前架构参数得出的加权 理论计算量之和。

步骤2中，通过设置通道屏蔽参数K并在架构搜索过程中自动探索确定：

各符号解释如下：

·o表示待选操作的类型

·O表示候选操作的集合

·

表示候选操作o的权重

·

表示参与神经网络模型计算的输入数据

·

表示不参与计算的输入数据

·x_i表示完整的输入数据

·S_i,j表示一个通道掩码矩阵，由0，1组成，其大小维度对 应于输入数据x_i，利用K来确定S_i,j中1/K的部分为1，其他部分为0。

步骤2中，通过逐步缩减模型的堆叠单元数目L，并根据模型表现来确定最 终派生的子网模型的堆叠单元个数。

步骤1实现过程如下：

(1)确定搜索空间

首先我们确定了神经架构搜索所需要的搜索空间，搜索空间由一系列深度神 经网络中常用且先进的卷积操作组成，具体有以下八种操作：卷积核大小为3 的深度可分离卷积(Sep_conv_3)、卷积核大小为5的深度可分离卷积 (Sep_conv_5)、卷积核大小为3的空洞卷积(Dil_conv_3)、卷积核大小为5 的空洞卷积(Dil_conv_5)、平均池化(Avg_pool)、最大池化(Max_pool)、 skip_connection和none操作，我们最终的得到的神经网络架构就由以上部分 操作组成，这取决于架构搜索过程中对操作的选择。

我们采用基于单元的搜索方式，即利用以上操作构建一个单元结构，并将这 些单元结构进行堆叠构成完整的神经网络。每个单元结构内部有两个预处理节点 和四个内部节点，节点间存在一条连边，节点间的连边是否保留和连边上的操作 都是待确定的，即待搜索完成的。

(2)构建超级网络

在确定搜索空间后，我们将根据搜索空间构建一个超级网络(supernet)， 超级网络的详细结构使由两层茎秆层(stem)和八个单元结构(cell)组成的特 征提取网络(backbone)以及带有relu激活函数的普通卷积组成的检测头 (detection head)共同构成。其中单元结构一共有两种类型：一种为正常单元 (normal_cell)，特征图正常通过正常单元，即单元的输入特征图和输出特征 图尺寸和通道数都不会发生变化，这意味着特征图的特征维度没有发生变化，另 一种为缩减单元(reduction_cell)，输入数据的特征图尺寸即长和宽会缩减一 半，同时通道数也会膨胀一倍，在超级网络中第3个cell和第6个cell是reduction_cell。

每个cell的内部结构说明如下，cell内部由2个预处理节点和4个中间节 点，每个预处理节点的输入数据为前两个cell或stem的输出，每个中间节点的 输入则来自于前两个中间节点或预处理节点。同时所有节点都是全连通的，即每 两个节点间都有一条带方向连边，由低序指向高序，而该连边上包含搜索空间内 所有的操作。内部结构确定之后，边上的操作都分配了一个操作权重，权重的和 为1，每个中间节点的输入边也分配了一个边权重，权重和为1。最终需要确定 的是每个中间节点的两条输入边和输入边上对应的操作类型。

正常单元和缩减单元的内部结构是一致的，区别于内部连边的操作的通道变 化与步长。

超网的优化更新包含两个步骤：

Ⅰ.前向传播

在神经网络的输入数据即一张或一批SAR图像通过全部stem和cell后，输 出的特征图会进入检测头中，在经过检测头计算后，特征图中的特征会转化为当 前图像下模型检测得到的所有存在舰船目标的检测框的中心点横纵坐标和偏移 量以及该检测框的置信度。

检测头的输出结果通过与图片的真实值对比，根据规定好的损失函数计算出 当前超级网络的目标检测的精度损失，同时根据当前连边上的权重分布与节点间 连边的权重分布计算出当前超级网络的加权理论计算量之和，并将超级网络的理 论计算量取对数，使之和精度损失保持在同一数量级，最后将精度损失和超级网 络的理论计算量按设置好的权重项相加，得到本轮训练的损失值，加入超级网络 的理论计算量是为了使超级网络的优化方向也适当偏向于计算量较小的操作，而 精度损失能保证最终超级网络的优化方向不会忽视网络的目标检测能力。

Ⅱ.反向传播

超级网络的更新是两步更新，首先将该损失反向传播，固定当前超级网络的 网络权重(所有操作自身的参数)，更新超级网络的架构参数(上述提到的连边 上的权重分布和节点间连边的权重分布)。在第一步更新完成后，根据新的架构 参数和相同输入数据重新计算超级网络的损失值，将新的损失值反向传播，固定 超级网络架构参数，更新超级网络的网络权重。

其中，步骤2实现过程如下：

在超网更新的过程中，我们引入了剪枝技术来探索通道屏蔽参数K和神经网 络模型堆叠单元数L:

(1)通道剪枝

在超网的优化过程中，我们设定了一个初始的通道屏蔽参数K，这个参数作 用为当特征图通过某个待选操作时，其原始的通道数将会缩小为原数量的1/K。 初始时K为1，此时超网中所有的待选操作都是全通道计算，而随着超网的优化， 其在训练集上的检测精度F1会逐渐上升，并在一定轮数超过其在验证集上的F1， 此时认为超网发生了过拟合问题，即认为神经网络模型规模在目标任务上过于复 杂。当超网在训练集上的F1与验证集上的F1的差值超过设定的阈值时，触发通 道剪枝机制，将K翻倍，代表超网的候选操作参与计算的通道数将减半。在通道 数减半后，超网继续从当前模型状态下进行优化，直到下一次过拟合的发生。

(2)模型剪枝

在通道剪枝完成之后，即K达到预设的最大阈值时，可以通过缩减超网的堆 叠层数来进一步缩减模型的规模。

其中，步骤3实现过程如下：

重复上述的超网训练过程，直到设定的训练轮数完成，我们称之为架构搜索完成，此时根据当前的架构参数派生出一个神经网络架构，称之为子网，派生规则如下： 将连边的权重乘以连边上操作的权重，然后根据这一新的权重分布，为每个中间 节点的输入边选出新权重最大的两条边(连边上的操作也选择权重最大的)，除 了子网结构，在搜索完成后，同样确定了两个参数，通道屏蔽参数k和网络层数 L，在子网训练部分，将会根据k确定所有操作的通道数，根据L确定子网的层 数

其中，步骤4实现过程如下：

(1)构建子网模型

派生出来的子网结构，主要用来描述两种cell的内部结构，包括所有中间 节点的输入边的选择以及所有输入边上的操作选择，我们将根据这一子网结构来 构建全新的完整的子网来进行子网训练，训练完成的模型就可以SAR图像上完成 舰船目标的目标检测任务。

完整的子网模型是由两层stem层、L个cell和检测头组成的，其中第L/3 个cell和第2L/3个cell为reduction_cell。而两种cell的内部结构就是在 架构派生阶段派生出的cell内部结构。

(2)子网训练与目标检测

在子网模型构建完成之后，对子网模型进行充分训练，子网的前向传播过程 和超级网络一致，只有cell个数不同的差别，只不过子网因为内部结构已确定， 也就没有了超级网络的架构参数的设置，同时由于子网架构确定，在子网前向传 播完成后，计算得到的子网损失也只统计目标检测的精度损失，不需要统计子网 的计算量，因为子网的训练已经无法改变子网cell的内部结构，只关注于提升 当前子网的目标检测精度。

在完成子网训练后，我们将一张未标记的含有舰船目标的SAR图像输入到子 网模型中，通过子网前向传播提取特征，检测头对特征进行提取转化后形成一定 数量的默认检测得到的检测框，框内可能有舰船目标，也可能没有，这取决于模 型本身的检测效果，先对置信度低于置信度阈值的检测框进行过滤，置信度代表 了子网模型认为当前检测框内有目标的概率或自信度，然后进行极大值抑制以选 出模型认为最可能存在不同舰船目标的检测框，对每个目标只选择与目标IOU 值最大的那一个检测框。最后将检测框绘制在含有舰船目标的SAR图像上，以可 视化检测结果。

有益效果

(1)面向SAR图像舰船目标检测任务，能够自动化设计出高效的神经网络 模型，在检测精度满足检测要求的同时，极大提高了神经网络模型的检测效率。

(2)从架构搜索角度看，不仅确定了最终的子网模型的单元结构，还明确 了子网的通道数目和子网的单元堆叠层数，这既缓解了超网搜索中的过拟合问题， 使得超网的优化方向更接近最佳方向，又极大消除了架构搜索技术中超网与子网 间的性能差异。

(3)从架构设计角度看，通过自动化的可微架构搜索，该发明极大的节省 了神经网络设计人员的调参成本，并能在一个全新的任务上迅速确定一个具体的 且满足任务要求的神经网络架构。

附图说明

图1为基于剪枝技术的高效神经网络搜索与训练方法的框架结构图，说明 了框架由神经架构搜索和子网训练两部分组成以及各部分的详细工作流程。

图2展示了超网架构详细信息，其初始通道数为16。

图3-1展示了超网中单元的内部节点分布。

图3-2展示了超网中单元的两个内部节点间连线与候选操作。

图4展示了派生出的子网架构和参数最终构建的完整的子网模型架构。

图5-1为通过可微神经架构搜索派生出的正常单元内部结构的实例。

图5-2为通过可微神经架构搜索派生出的缩减单元内部结构的实例。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细说明：

实施例1：本发明为一种基于剪枝技术的高效神经网络搜索与训练方法，主 要包含神经架构搜索、超网优化、模型剪枝、通道剪枝和训练子网等步骤，如图 1所示，具体步骤如下：

步骤1：构建超网模型并通过可微架构搜索在包含模型理论计算量的损失函 数指导下对超网进行优化更新，确定最佳的神经网络单元结构。

首先确定神经架构搜索的搜索空间，搜索空间包含的算子种类如图3-2所 示，具体有以下八种操作：卷积核大小为3的深度可分离卷积(Sep_conv_3)、 卷积核大小为5的深度可分离卷积(Sep_conv_5)、卷积核大小为3的空洞卷积 (Dil_conv_3)、卷积核大小为5的空洞卷积(Dil_conv_5)、平均池化(Avg_pool)、 最大池化(Max_pool)、跳过计算操作(skip_connection)和特征图置零操作 (none)。

根据确定好的搜索空间，构建一个超级网络，其宏结构如图2所示，设置超 网的初始通道数为16，其中stem的输出通道数为初始通道数的3倍，而第一个 正常单元的输出通道数为初始通道数的4倍即64，初始通道数直接决定了单元 内部每条连边上的操作的通道数为16，而每个单元的输出由四个中间节点拼接 形成，所以第一个单元的输出通道数为64。此外，通道屏蔽参数K初始设置为1， 即此时每个操都是用全通道进行计算，还没有进行通道剪枝。模型堆叠单元数L 初始设置为8，L会在模型剪枝过程中逐渐缩小到合适的数目。

对于超网的单元结构，如图3-1所示，cell内部先有两个预处理节点0，1， 这两个预处理节点的输入分别来自于前一个cell和前前一个cell的输出，特别 地，第一个cell的两个预处理节点的输入分别来自于stem0和stem1的输出。 在前两个cell的输出经过预处理节点0，1后，中间结果将被输出给四个中间节 点2，3，4，5，每个中间节点同时也会接收所有序号小于当前节点的中间结果， 如中间节点4除了接收预处理节点0，1的中间结果外，还需要接收中间节点2， 3的中间结果。同时在预处理节点0，1和中间节点2，3，4，5之间以及中间节 点之间都形成连边，如图3-2所示这条连线上包含所有八种搜索空间中的操作， 神经架构搜索就是要选出这条连边上最适合当前目标任务的操作，所以在超级网 络中，这八种操作将被分配一个权重，八种操作的权重的和为1，如中间节点1 的中间结果在输出给中间节点2时，经过这两节点间连边，中间结果需要经过所 有八种操作的计算，这八种操作的计算结果再做加权和，这个加权和要和其他中 间节点2的输入边的计算结果也做加权和，以此形成中间节点2的中间结果，在 这里一个中间节点所有的输入边，根据搜索目标设置只需要留下来其中两条边， 所以在超级网络初始化时，每个中间节点的所有输入边也会分配一个权重，每个 中间节点的输入边权重的和为1。而一个cell的输出就要拼接所有中间节点的 中间结果。

在超网构建完成之后，在SAR图像数据集上进行优化更新，超网训练过程中 采用带动量的批量随机梯度下降优化方法，学习率根据训练轮次进行衰减，初始 为1，以余弦退火算法进行衰减。预设超网训练50轮次即完成一次完整的超网 训练。在每轮的超网训练过程中，每一批次的输入图片在通过超网计算后，得到 一个张量作为分类依据，该张量将与该批次的输入图片的标签文件进行比对，根 据计算精度的交叉熵损失，同时也根据当前的超网边权重和操作权重统计得到当 前超网的理论计算量加权和。将以上两部分结果进行加权和得到混合损失并反向 传播该混合损失以更新所有的权重参数。

步骤2：在搜索过程中利用通道剪枝技术探索最佳的通道屏蔽参数K以及利 用模型剪枝技术探索最佳的神经网络模型单元堆叠数目L。在超网训练过程中， 每当超网在SAR图像数据集上发生了过拟合现象，则认为此时的模型规模过配， 需要先对超网进行通道剪枝，即将K翻倍，此时超网模型参与计算的通道数就降 低为原来的一半。当通道剪枝参数K达到了预设的阈值时，进行模型剪枝，将L 按缩减规则进行缩减并训练。

在超网经过50轮的训练优化后，根据超网的边权重和操作权重派生出最终 的子网的单元结构模板，以及当前的通道屏蔽参数K和模型堆叠单元数目L。

步骤3：根据怕派生出来的神经网络架构模板、通道屏蔽参数和模型堆叠数 木，构建完整的子网的神经网络模型，并训练以用于舰船目标检测。

在步骤中，利用一个单元结构实例对步骤实施进行详细说明，而在发明的实 际应用中，派生出的单元结构模板和两个参数都是根据实际任务要求自动化随机 得到的，并不完全与本实例相同。

首先构建完整的子网神经网络模型，如图4，将派生出来的单元结构堆叠7 层，且当K为4的条件下，则设置初始通道数为超网初始通道数16的四分之一 即4，相应的stem部分的通道数就为12，第一个cell的内部节点输入边的通道 就是4，其输出通道为16。两种单元的内部结构如图5-1和图5-2所示。

在子网模型构造完成后，需要在SAR图像数据集上进行完备训练，训练过程 采用带动量的批量随机梯度下降优化器，在每轮训练中以256张图片为一批次按 批次将训练集输入到子网中进行优化更新，共训练100轮。设置优化器初始学习 率为1，并利用余弦退火算法对学习率进行衰减。

在训练轮次完成之后，将SAR图像测试集输入子网，得到检测精度，并测量 检测效率即每秒检测完成图片数目，并生成模型标注了舰船检测目标的图片。

需要说明的是上述实施例仅仅是本发明的较佳实施例，并没有用来限定本发 明的保护范围，在上述技术方案的基础上做出的等同替换或者替代，均属于本发 明的保护范围。

Claims (4)

1.一种基于剪枝技术的高效神经网络搜索与训练方法，其特征在于：所述方法包括以下步骤：

步骤1：通过可微架构搜索在包含模型理论计算量的损失函数指导下对超级网络进行优化更新，确定最佳的神经网络单元结构；

步骤2：在搜索过程中利用通道剪枝技术探索最佳的通道屏蔽参数以及利用模型剪枝技术探索最佳的神经网络模型单元堆叠数目；

步骤3：根据派生出来的神经网络架构、通道屏蔽参数和神经网络模型单元堆叠数，构建完整神经网络模型，并训练以用于舰船目标检测。

2.根据权利要求1所述的基于剪枝技术的高效神经网络搜索与训练方法，其特征在于：步骤1中，将神经网络模型的理论计算量纳入到可微架构搜索的损失函数中：

Loss＝acc_ratio×Loss_CE+ops_ratio×log(Ops)

各符号解释如下：

·acc_ratio表示检测精度损失的权重项；

·Loss_CE表示当前神经网络模型的精度交叉熵损失，由输入图像通过当前模型的预测结果与图像真实值比较得出；

·ops_ratio表示模型理论计算量的权重向，两个权重项平衡了神经架构搜索最终派生模型的精度和效率；

·Ops表示当前神经网络模型根据当前架构参数得出的加权理论计算量之和。

3.根据权利要求1所述的基于剪枝技术的高效神经网络搜索与训练方法，其特征在于：步骤2中，通过设置通道屏蔽参数K并在架构搜索过程中自动探索确定：

各符号解释如下：

·o表示待选操作的类型

·O表示候选操作的集合

·

表示候选操作o的权重

·

表示参与神经网络模型计算的输入数据

·

表示不参与计算的输入数据

·x_i表示完整的输入数据

·S_i,j表示一个通道掩码矩阵，由0，1组成，其大小维度对应于输入数据x_i，利用K来确定S_i,j中1/K的部分为1，其他部分为0。

4.根据权利要求1所述的基于剪枝技术的高效神经网络搜索与训练方法，其特征在于：步骤2中，通过逐步缩减模型的堆叠单元数目L，并根据模型表现来确定最终派生的子网模型的堆叠单元个数。

Images