CN115660067A - 网络训练方法、电子设备及计算机可读存储装置 - Google Patents

Abstract

本申请公开了一种网络训练方法、电子设备及计算机可读存储装置。该网络训练方法包括：基于目标网络构建剪枝网络，剪枝网络以目标网络中的主干网络的网络通道向量作为输入训练生成通道权重矩阵；根据通道权重矩阵对目标网络的主干网络进行剪枝，得到剪枝主干网络；利用剪枝主干网络训练目标网络，得到轻量化的目标网络。通过上述方式，本申请能够轻量化目标网络，减少目标网络使用时的资源占用与消耗时长。

Description

网络训练方法、电子设备及计算机可读存储装置

技术领域

本申请涉及数据处理领域，特别是涉及一种网络训练方法、电子设备及计算机可读存储装置。

背景技术

近年来，深度学习技术获得了飞速的发展，被应用于越来越多的工作任务上。但是由于深度学习模型在运行时需要大量的计算资源、内存占用和电能消耗，使用时需要耗费大量资源这一点成为落地应用实时推理或在资源有限的边缘设备和浏览器上运行深度学习模型的瓶颈。

发明内容

本申请主要目的是提供一种网络训练方法、电子设备及计算机可读存储装置，能够解决深度学习模型在使用应用时需要占用大量资源的技术问题。

为解决上述技术问题，本申请采用的第一个技术方案是：提供一种网络训练方法。该方法包括：基于目标网络构建剪枝网络，剪枝网络以目标网络中的主干网络的网络通道向量作为输入训练生成通道权重矩阵；根据通道权重矩阵对目标网络的主干网络进行剪枝，得到剪枝主干网络；利用剪枝主干网络训练目标网络，得到轻量化的目标网络。

为解决上述技术问题，本申请采用的第二个技术方案是：提供一种电子设备。该电子设备包括存储器和处理器，存储器用于存储程序数据，程序数据能够被处理器执行，以实现如第一个技术方案中所述的方法。

为解决上述技术问题，本申请采用的第三个技术方案是：提供一种计算机可读存储装置。该计算机可读存储装置存储有程序数据，能够被处理器执行，以实现如第一个技术方案中所述的方法。

本申请的有益效果是：通过对目标网络中的主干网络设置剪枝网络，该剪枝网络能够以主干网络的通道向量作为输入得到代表各个网络通道对于该主干网络的重要性权重值的通道权重矩阵。根据该通道权重矩阵对主干网络进行剪枝，将权重值不高的网络通道进行剔除，得到剪枝主干网络。利用剪枝后的主干网络代替原本的主干网络对目标网络进行训练，由于剪枝后的主干网络已经剔除了权重值不高的网络通道，因此训练后得到的目标网络也未包含这些网络通道以及其对应的参数，从而实现目标网络的轻量化，在保证目标网络精度的情况下，减少目标网络在使用时的资源占用与消耗时长。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请网络训练方法第一实施例的流程示意图；

图2是本申请网络训练方法第二实施例的流程示意图；

图3是根据通道权重进行剪枝的一示意图；

图4是根据通道权重进行剪枝的又一示意图；

图5是本申请网络训练方法第三实施例的流程示意图；

图6是本申请网络训练方法第四实施例的流程示意图；

图7是本申请网络训练方法一具体实施例的流程示意图；

图8是本申请电子设备一实施例的结构示意图；

图9是本申请计算机可读存储装置一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

在介绍本申请的技术方案之前，对相关技术进行一些简单介绍。

众所周知，深度神经网络是过参数化的，即在对深度神经网络训练的过程中是需要大量的参数去捕捉数据中的微小信息，以此来达到训练的目的，保证结果的准确性。但一旦训练完成，在后续的推理阶段中，深度神经网络的使用并不需要过多的参数。这就使得在训练完成后，部署深度神经网络模型进行使用之前对深度神经网络模型进行参数裁剪成为了可能。

模型剪枝是模型压缩中常用的轻量化模型的方法。在深度学习成为机器学习中最主流的分支之一的今天，深度神经网络越来越朝着过参数化的方向发展，这很大程度上阻碍了深度学习方法的产品化，尤其是在边缘设备上。模型剪枝方法是基于训练后得到的模型中并不是所有的参数都是必要的前提，通过去除非必要的权重参数来简化模型进而减少计算量和存储占用。因此，模型剪枝并不是随意的裁剪模型内的参数，因为剪除掉有用的参数时会导致模型精度明显下降。因此在对模型进行剪枝时需要有效的裁剪模型且以达到精度损失的最小化。模型剪枝从裁剪粒度上划分，分为结构化剪枝和非结构化剪枝两类。非结构化剪枝由于需要底层硬件和计算库的特殊支持，否则剪枝后的模型性能提升不明显，导致研究的范围不广范。而结构化剪枝不受额外因素的影响，吸引了更多的关注，其可进一步划分为channel-wise、filter-wise以及shape-wise剪枝。

目标检测是计算机视觉众多技术领域中一项非常基础的任务，图像分割、物体追踪、关键点检测等通常都要依赖于目标检测。其通常是指在一张图像中检出物体出现的位置及对应的类别。目前目标检测基于是否使用锚框分为anchor free和anchor base的检测算法，其中anchor base中又划分一阶段(One Stage)和二阶段(Two Stage)的算法，OneStage的代表有YOLO系列、SSD等；Two Stage的代表有R-CNN系列、Cascade R-CNN等。相较于One Stage算法，Two Stage算法首先区分出前后背景，然后对应采样出前后背景送进网络中进行精细化的anchor的分类和回归。其精度优于One Stage的主要原因是缓解了正负样本失衡的问题。虽然二阶段的精度明显优于一阶段，但其耗时以及显存占用也会增大部署到边缘设备的难度。本申请的网络训练方法就能够应用于此类使用时占用大量内存计算资源，耗费大量时间的网络模型，针对其高耗时、高显存的弊端，利用网络训练方法轻量化该深度神经网络模型的主干网络，在保证算法精度的前提下，有效地降低算法的耗时以及资源占用，从而实现落地应用，实现在边缘设备上的部署。

参照图1，图1为本申请网络训练方法第一实施例的流程示意图。其包括以下步骤：

S11：基于目标网络构建剪枝网络，剪枝网络以目标网络中的主干网络的网络通道向量作为输入训练生成通道权重矩阵。

确定需要进行剪枝的网络为目标网络，根据目标网络构建剪枝网络。而对于目标网络来说，目标网络是一个整体网络，并非对其所有的网络结构都要进行剪枝，对于目标网络中需要进行剪枝的部分，确定其为主干网络。构建的剪枝网络以主干网络中的网络通道向量作为输入，而输出通道权重矩阵。通道权重代表了该网络通道对于主干网络的重要性。构建的剪枝网络由多个剪枝块构成，每一剪枝块由一网络通道作为输入，输入该网络通道对于主干网络的重要性权重。将构建的剪枝网络嵌入至主干网络中，同时以测试数据集对主干网络进行训练，就能够得到代表主干网络中各个网络通道对于主干网络的重要性的通道权重矩阵。

在一实施例中，通道权重矩阵包括主干网络中每一网络通道的卷积核重要性权重。每一网络通道的卷积核重要性权重即对应了一网络通道对于主干网络的重要性权重。

S12：根据通道权重矩阵对目标网络的主干网络进行剪枝，得到剪枝主干网络。

根据得到的通道权重矩阵对主干网络进行剪枝，将权重较小的网络通道剔除，以得到剪枝主干网络。

S13：利用剪枝主干网络训练目标网络，得到轻量化的目标网络。

剪枝后的主干网络代替原有的主干网络存在于目标网络中，再次对目标网络进行训练，以完成该目标网络的训练过程，从而得到一轻量化的目标网络。

在本实施例中，通过对目标网络中的主干网络设置剪枝网络，该剪枝网络能够以主干网络的通道向量作为输入得到代表各个网络通道对于该主干网络的重要性权重值的通道权重矩阵。根据该通道权重矩阵对主干网络进行剪枝，将权重值不高的网络通道进行剔除，得到剪枝主干网络。利用剪枝后的主干网络代替原本的主干网络对目标网络进行训练，由于剪枝后的主干网络已经剔除了权重值不高的网络通道，因此训练后得到的目标网络也未包含这些网络通道以及其对应的参数，从而实现目标网络的轻量化，在保证目标网络精度的情况下，减少目标网络在使用时的资源占用与消耗时长。

参照图2，图2为本申请网络训练方法第二实施例的流程示意图。该方法是对步骤S12的进一步扩展。其包括以下步骤：

S21：根据预设权重阈值对通道权重矩阵中的卷积核重要性权重进行筛选。

重要性权重作为权衡网络通道的重要性指标，其权重越接近于零，表明其对应的网络通道越不重要。因此，预设一权重阈值，根据该权重阈值对剪枝网络得到的通道权重矩阵中的卷积核重要性权重进行筛选。权重阈值的设定可根据目标网络的实际使用情况自行调整。

S22：根据卷积核重要性权重小于预设权重阈值的网络通道对主干网络进行剪枝，得到剪枝主干网络。

对卷积核重要性权重小于预设权重阈值的网络通道进行剪枝，其具体实现方式可以包括以下两种。第一种，将主干网络中，卷积核重要性权重小于预设权重阈值的网络通道删除，以完成对主干网络的剪枝。第二种，将主干网络中，卷积核重要性权重小于预设权重阈值的网络通道的参数置零，以完成对主干网络的剪枝。

在一实施例中，当主干网络中包括有短连接结构时，短连接结构的通道权重共享其所对应的主干网络的网络通道的通道权重。

参照图3，图3为根据通道权重进行剪枝的一示意图。图中第一网络通道重要性权重C1，第三网络通道重要性权重C3，第五网络通道重要性权重C5都为0。最终的剪枝网络保留了第二网络通道和第四网络通道。参照图4，图4为网络通道中具有短连接结构时，根据通道权重进行剪枝的又一示意图。图中第一网络通道重要性权重C1，第三网络通道重要性权重C3，第五网络通道重要性权重C5都为0。最终的剪枝网络保留了第二网络通道和第四网络通道。短连接与网络通道共享通道权重。

一般的针对通道型的网络进行剪枝的算法，都会依赖于批标准化BatchNormalization(BN)中的scale参数。而对于该参数过多的进行限制会影响到网络本身的精度。因此，本申请通过构建剪枝网络，在剪枝网络的剪枝块中，每一剪枝块对应一个卷积核，剪枝块为其对应的卷积核设置了一可学习参数，该参数直接学习该卷积核对主干网络的重要性，从而使得剪枝块输出该网络通道的重要性权重参数。避免了对scale参数的依赖影响目标网络的精度。

在一实施例中，对于该可学习参数可为其添加稀疏化操作，以达到更高的稀疏目的。

而对于短连接结构，会将其与对应的通道的卷积核共享可学习参数，以此来减少人工手动参与，相比人工手动，该流程操作简单，方便高效。

参照图5，图5为本申请网络训练方法第三实施例的流程示意图。该方法是对上述实施例的进一步扩展。其包括以下步骤：

S31：在根据通道权重矩阵对目标网络的主干网络进行剪枝后，根据需要部署的设备的设备性能对剪枝后的主干网络进行进一步的剪枝，以得到剪枝主干网络。

在根据通道权重矩阵对主干网络进行剪枝后，由于具有部署至设备中的需求，因此需要考虑到部署设备的实际性能。根据部署的设备所能够接受或达到的深度神经网络的推理时间或者资源占用量，对主干网络进行进一步的剪枝，以得到剪枝主干网络。

S32：利用剪枝主干网络训练目标网络，得到轻量化的目标网络。

剪枝后的主干网络代替原有的主干网络存在于目标网络中，再次对目标网络进行训练，以完成该目标网络的训练过程，从而得到一轻量化的目标网络。

S33：将得到的轻量化的目标网络部署于设备中。

基于部署设备的设备性能进行剪枝的目标网络，在训练完成后部署与设备中，即能够正常进行使用。

参照图6，图6为本申请网络训练方法第四实施例的流程示意图。该方法是对上述实施例的进一步扩展。其包括以下步骤：

S41：对剪枝主干网络进行训练，以得到剪枝主干网络中每一网络通道的卷积核重要性权重。

在根据通道权重矩阵对目标网络的主干网络进行剪枝，得到剪枝主干网络之后，利用测试数据集对剪枝主干网络进行训练，从而能够得到剪枝主干网络中留下的各个网络通道对于该剪枝主干网络的重要性权重。

S42：在训练目标网络时，将剪枝主干网络中每一网络通道的卷积核重要性权重加载于目标网络中的剪枝主干网络中，以得到轻量化的目标网络。

在利用剪枝主干网络训练目标网络，得到轻量化的目标网络的过程中，将之前得到的剪枝主干网络中留下的各个网络通道对于该剪枝主干网络的重要性权重加载至该剪枝主干网络中，从而实现剪枝主干网络的精度恢复。加载完成之后，再利用数据集对目标网络进行训练，以得到训练完成的轻量化目标网络。

下面举一具体实施例，来对本申请的网络训练方法进行详细的描述。参照图7，图7为本申请网络训练方法一具体实施例的流程示意图。

首先，构建一自动生成通道权重的剪枝网络。

通过构建剪枝网络，为待剪枝的网络的各个卷积核提供合理的权重。剪枝网络以网络通道向量(每层的通道数)作为输入，并生成通道权重矩阵。根据通道权重矩阵即可完成对于目标网络的剪枝。剪枝网络由剪枝块组成。本实施例中目标网络是YOLOv5网络模型，剪枝的对象为目标网络中的DarkNet53-CSP，剪枝网络以DarkNet53-CSP网络每层的通道数量组成通道向量作为输入。

剪枝网络构建完成之后，开始训练剪枝网络。本实施例以ImageNet2012作为训练集，ImageNet2012数据集是一个计算机视觉数据集，常用于评估算法性能。将剪枝网络的各个剪枝块嵌入至Darknet53-CSP对应的网络通道中，然后以该训练集对Darknet53-CSP进行训练，从而得到各个网络通道对于Darknet53-CSP的重要性权重。该重要性权重通过对各个网络通道的卷积核设置可学习参数得到。而对于特殊短连接结构采用共享剪枝块的策略。在对Darknet53-CSP进行训练的过程中，损失函数设置为交叉熵损失。数据增强方式包括随机裁剪、随机亮度变换、以0.5的概率水平翻转。初始学习率设置为0.1，优化器使用SGD，共训练128个epoch,分别在64和96个epoch时乘以0.1。Batch-size设置为256。为增加剪枝块的权重参数的稀疏性，对剪枝块中的参数添加L1 Loss。

剪枝网络训练完成之后，得到通道权重矩阵，利用该通道权重矩阵对DarkNet53-CSP进行剪枝。剪枝网络训练完成后，根据剪枝网络生成的卷积核通道权重矩阵对DarkNet53-CSP进行网络剪枝得到剪枝后的DarkNet53-CSP网络。进一步地，根据需要部署到的具体设备所需的推理耗时或者显存占用等性能数据信息，对DarkNet53-CSP网络进行进一步的剪枝，进而得到目标剪枝网络。

对目标剪枝网络进行重新训练。在得到目标剪枝网络后，利用ImageNet2012作为训练集，对该目标剪枝网络进行训练，用于进行目标剪枝网络的精度恢复。在对目标剪枝网络训练的过程中，损失函数为交叉熵损失。数据增强方式包括随机裁剪、随机亮度变换、以0.5的概率水平翻转。初始学习率设置为0.1，优化器使用SGD，共训练128个epoch,分别在64和96epoch时学习率乘以0.1，Batch-size设置为256。

训练完成后的目标剪枝网络作为目标网络的主干，对目标网络进行训练以得到能够应用的轻量化的目标网络。将剪枝后的目标剪枝网络作为目标网络-YOLOv5网络模型的主干，并且加载其在ImageNet2012上的权重。利用在监控场景中得到数据集作为目标检测训练集，训练50个epoch，设置初始学习率为0.01，分别在25，35的epoch时乘以系数0.1，batch-size设置为64。

完成目标检测训练后的轻量化YOLOv5网络模型能够部署到具体的设备端，例如hisi3559a，用于进行例如人机非-动物类别的检测。

如图8所示，图8为本申请电子设备一实施例的结构示意图。

该电子设备包括处理器110、存储器120。

处理器110控制电子设备的操作，处理器110还可以称为CPU(Central ProcessingUnit，中央处理单元)。处理器110可能是一种集成电路芯片，具有信号序列的处理能力。处理器110还可以是通用处理器、数字信号序列处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器120存储处理器110工作所需要的指令和程序数据。

处理器110用于执行指令以实现本申请前述网络训练方法的任一实施例及可能的组合所提供的方法。

如图9所示，图9为本申请计算机可读存储装置一实施例的结构示意图。

本申请可读存储装置一实施例包括存储器210，存储器210存储有程序数据，该程序数据被执行时实现本申请网络训练方法任一实施例及可能的组合所提供的方法。

存储器210可以包括U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储程序指令的介质，或者也可以为存储有该程序指令的服务器，该服务器可将存储的程序指令发送给其他设备运行，或者也可以自运行该存储的程序指令。

综上所述，通过对目标网络中的主干网络设置剪枝网络，该剪枝网络能够以主干网络的通道向量作为输入得到代表各个网络通道对于该主干网络的重要性权重值的通道权重矩阵。根据该通道权重矩阵对主干网络进行剪枝，将权重值不高的网络通道进行剔除，得到剪枝主干网络。利用剪枝后的主干网络代替原本的主干网络对目标网络进行训练，由于剪枝后的主干网络已经剔除了权重值不高的网络通道，因此训练后得到的目标网络也未包含这些网络通道以及其对应的参数，从而实现目标网络的轻量化，在保证目标网络精度的情况下，减少目标网络在使用时的资源占用与消耗时长。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述其他实施方式中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种网络训练方法，其特征在于，所述方法包括：

基于目标网络构建剪枝网络，所述剪枝网络以所述目标网络中的主干网络的网络通道向量作为输入训练生成通道权重矩阵；

根据所述通道权重矩阵对所述目标网络的主干网络进行剪枝，得到剪枝主干网络；

利用所述剪枝主干网络训练所述目标网络，得到轻量化的目标网络。

2.根据权利要求1所述的方法，其特征在于，所述通道权重矩阵包括所述主干网络中每一网络通道的卷积核重要性权重。

3.根据权利要求1所述的方法，其特征在于，所述根据所述通道权重矩阵对所述目标网络的主干网络进行剪枝，得到剪枝主干网络，包括：

根据预设权重阈值对所述通道权重矩阵中的卷积核重要性权重进行筛选；

根据所述卷积核重要性权重小于所述预设权重阈值的网络通道对所述主干网络进行剪枝，得到剪枝主干网络。

4.根据权利要求3所述的方法，其特征在于，

所述根据所述卷积核重要性权重小于所述预设权重阈值的网络通道对所述目标网络进行剪枝，包括：

将所述主干网络中，所述卷积核重要性权重小于所述预设权重阈值的网络通道删除，以完成对所述主干网络的剪枝；

或者，将所述主干网络中，所述卷积核重要性权重小于所述预设权重阈值的网络通道的参数置零，以完成对所述主干网络的剪枝。

5.根据权利要求1所述的方法，其特征在于，

所述主干网络包括短连接结构，所述短连接结构的通道权重矩阵共享其所对应的主干网络的网络通道的通道权重。

6.根据权利要求1所述的方法，其特征在于，所述根据所述通道权重矩阵对所述目标网络的主干网络进行剪枝，得到剪枝主干网络，包括：

在根据所述通道权重矩阵对所述目标网络的主干网络进行剪枝后，根据需要部署的设备的设备性能对剪枝后的所述主干网络进行进一步的剪枝，以得到所述剪枝主干网络；

所述利用所述剪枝主干网络训练所述目标网络，得到轻量化的目标网络之后，包括：

将得到的所述轻量化的目标网络部署于所述设备中。

7.根据权利要求1所述的方法，其特征在于，所述根据所述通道权重矩阵对所述目标网络的主干网络进行剪枝，得到剪枝主干网络之后，包括：

对所述剪枝主干网络进行训练，以得到所述剪枝主干网络中每一网络通道的卷积核重要性权重。

8.根据权利要求7所述的方法，其特征在于，利用所述剪枝主干网络训练所述目标网络，得到轻量化的目标网络，包括：

在训练所述目标网络时，将所述剪枝主干网络中每一网络通道的卷积核重要性权重加载于所述目标网络中的所述剪枝主干网络中，以得到所述轻量化的目标网络。

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器用于存储程序数据，所述程序数据能够被所述处理器执行，以实现如权利要求1-8任一项所述的方法。

10.一种计算机可读存储装置，其特征在于，存储有程序数据，能够被处理器执行，以实现如权利要求1-8任一项所述的方法。

Images