CN113255907A - 一种小网络模型裁剪方法及系统 - Google Patents

一种小网络模型裁剪方法及系统 Download PDF

Info

Publication number
CN113255907A
CN113255907A CN202110554320.1A CN202110554320A CN113255907A CN 113255907 A CN113255907 A CN 113255907A CN 202110554320 A CN202110554320 A CN 202110554320A CN 113255907 A CN113255907 A CN 113255907A
Authority
CN
China
Prior art keywords
channel
filter
network model
norm
channels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110554320.1A
Other languages
English (en)
Other versions
CN113255907B (zh
Inventor
刘义南
魏东
金晓峰
黄宇恒
徐天适
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GRG Banking Equipment Co Ltd
Original Assignee
GRG Banking Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GRG Banking Equipment Co Ltd filed Critical GRG Banking Equipment Co Ltd
Priority to CN202110554320.1A priority Critical patent/CN113255907B/zh
Priority to PCT/CN2021/095959 priority patent/WO2022241804A1/zh
Publication of CN113255907A publication Critical patent/CN113255907A/zh
Application granted granted Critical
Publication of CN113255907B publication Critical patent/CN113255907B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种小网络模型裁剪方法及系统，方法包括：按照预设规则搜索通道，确定待裁剪的通道；确定保留的通道的索引；进行权重重构。本发明的小网络模型裁剪方法，实现滤波器级网络模型压缩与加速。

Description

一种小网络模型裁剪方法及系统
技术领域
本发明涉及图像识别技术领域，特别涉及一种小网络模型裁剪方法及系统。
背景技术
目前，深度卷积神经网络(CNN)广泛应用于计算机视觉任务中，如：分割、分类、检测、跟踪等等，并取得了较好的应用效果。CNN中卷积层权重的计算需要耗费大量的计算资源与存储资源，这限制了高性能CNN模型在移动设备或嵌入式设备上的应用。另一方面，CNN网络模型中，卷积层参数存在大量的冗余，稀疏化现象随着网络层数的增加而愈发严重，不必要的参数严重影响了推理速度的提升。网络模型紧致化成为解决以上问题的重要研究方向。目前，深度网络模型紧致化的主要手段包括：滤波器裁剪；权重量化；知识蒸馏；参数共享；矩阵分解；网络结构搜索等，其中滤波器裁剪和权重量化由于其有效性和高效性受到工业界的青睐。
小网络模型由于其参数规模较小、计算资源需求不大等优点，广泛应用于移动端或嵌入式设备上。尽管如此，小网络模型依然存在参数冗余，推理速度慢等缺点。
发明内容
本发明目的之一在于提供了一种小网络模型裁剪方法及系统，实现滤波器级网络模型压缩与加速。
本发明实施例提供的一种小网络模型裁剪方法，包括：
按照预设规则搜索通道，确定待裁剪的通道；
确定保留的通道的索引；
进行权重重构。
优选的，按照预设规则搜索通道，确定待裁剪的通道，包括：
计算所述网络模型中卷积层i的滤波器的范数；
计算所述范数为零的所述滤波器占总的所述滤波器的占比，计算公式如下：
Figure BDA0003076567360000021
其中，P为所述范数为零的所述滤波器占总的所述滤波器的占比；NF为所述滤波器的总数；Nε为所述范数为零的所述滤波器的个数；
获取搜索参数ε；
当所述占比大于等于所述搜索参数ε时，随机删除范数为零的所述滤波器；直至所述占比小于所述搜索参数ε。
优选的，确定保留的通道的索引，包括：
遍历卷积层i+1输出层的所有通道数，找到对特征图影响最大的一个通道；
之后通过最小二乘法迭代计算，依次找到对特征图影响最大的2,3，…,m个通道。
优选的，进行权重重构，包括:
获取保留下来的m个通道的索引selectedChannel之后，对滤波器i+1的保留下来的通道的值
Figure BDA0003076567360000022
进行更新设置，通过以下公式得到：
Figure BDA0003076567360000023
Figure BDA0003076567360000024
Figure BDA0003076567360000025
表示滤波器i+1的保留下来的通道所对应的权重；w表示权重变量；selectedChannel表示保留下来的m个通道的索引。
优选的，遍历卷积层i+1输出层的所有通道数，找到对特征图影响最大的一个通道；包括：
计算各个通道的Value值，计算公式如下：
Figure BDA0003076567360000031
其中，N表示输入网络的样本个数；Yn表示第n个样本的裁剪前卷积层i+1层输出的特征图；Xn，j表示第n个样本裁剪后的卷积层i+1层的第j个通道的特征图。
一种网络模型裁剪系统，包括：
通道模块，用于按照预设规则搜索通道，确定待裁剪的通道；
索引模块，用于确定保留的通道的索引；
重构模块，用于进行权重重构。
优选的，所述通道模块包括：
范数模块，用于计算所述网络模型中卷积层i的滤波器的范数；
占比计算模块，用于计算所述范数为零的所述滤波器占总的所述滤波器的占比，计算公式如下：
Figure BDA0003076567360000032
其中，P为所述范数为零的所述滤波器占总的所述滤波器的占比；NF为所述滤波器的总数；Nε为所述范数为零的所述滤波器的个数；
参数控制模块，用于获取搜索参数ε，当所述占比大于等于所述搜索参数ε时，随机删除范数为零的所述滤波器；直至所述占比小于所述搜索参数ε。
优选的，所述索引模块包括：
通道模块，用于遍历卷积层i+1输出层的所有通道数，找到对特征图影响最大的一个通道；
计算模块，用于通过最小二乘法迭代计算，依次找到对特征图影响最大的2,3，…,m个通道。
优选的，所述重构模块用于获取保留下来的m个通道的索引selectedChannel之后，对滤波器i+1的保留下来的通道的值
Figure BDA0003076567360000041
进行更新设置。
优选的，值
Figure BDA0003076567360000042
通过以下公式得到：
Figure BDA0003076567360000043
Figure BDA0003076567360000044
Figure BDA0003076567360000045
表示滤波器i+1的保留下来的通道所对应的权重；w表示权重变量；selectedChannel表示保留下来的m个通道的索引。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为Mobilenetv2网络中典型的几种结构模块的示意图；
图2为卷积计算示意图；
图3为一种多分枝多层裁剪示意图；
图4为又一种多分枝多层裁剪示意图；
图5为整体网络裁剪示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本申请提出了一种小网络模型裁剪方法；以Mobilenetv2网络结构为例说明本专利技术特点及创新性，Mobilenetv2网络中典型的几种结构模块，如图1所示。这几种结构模块及其变种广泛应用于其他小网络模型中，如Mobilenetv1,Shufflenet，Squeezenet等等。实现以下几种结构模块的裁剪，可以完成对整个小网络模型的压缩与加速。
如图2所示，假设要将滤波器i中的虚框滤波器删除，那么只需删除卷积层i+1层输入特征图的虚框的特征图。要删除卷积层i+1层输入特征图的中相应的虚框的特征图，可以通过删除卷积层i+1层输出特征图的虚框通道来进行。因此如何选择删除滤波器i的虚框滤波器的问题，转化成删除卷积层i+1层输出特征图的虚框通道的特征图的问题。因此，网络裁剪转化为如下优化问题：
Figure BDA0003076567360000051
Figure BDA0003076567360000052
其中，|S|表示集合S的元素个数，S是保留下来的通道的索引,c是卷积层i+1层输出特征图的总通道数，N表示输入网络的样本个数。Y表示裁剪前卷积层i+1层输出的特征图，Yn表示第n个样本的裁剪前卷积层i+1层输出的特征图，X表示通道裁剪后，卷积层i+1层输出的特征图；Xn，j表示第n个样本裁剪后的卷积层i+1层的第j个通道的特征图；s.t.表示需要满足的条件；|S|表示裁剪后保留的通道数，r表示压缩率r(反映的是保留的通道个数。上式的求解是一个NP-hard问题。本专利将提出一种通道搜索算法，对(1)进行优化，获得待保留的通道索引selectedChannel。选择好通道后，为获得更好的裁剪效果，可对i+1层滤波器的权重矩阵进行重构：
Figure BDA0003076567360000053
Figure BDA0003076567360000054
其中，
Figure BDA0003076567360000061
是裁剪后滤波器i+1中第j个通道的权重矩阵。对于(2)式的优化是标准的最小二乘优化问题。
算法1的具体算法如下：
(1).参数输入：X,Y,参数group(1<group<|S|,默认值3),压缩率r(反映的是保留的通道个数),totalChn＝[0,1,2…,c-1]；
(2).初始化List[Chn,value]：
遍历卷积层i+1输出层的所有通道数，找到对特征图影响最大的一个通道(通过计算最小的Value得到)，保留Value值最小的前group个通道以及所对应的Value值。
Figure BDA0003076567360000062
(3).通道搜索与重构：
之后通过最小二乘法迭代计算，依次找到对特征图影响最大的2,3，…,m个通道(通过计算最小的newValue得到，每次增加一个通道的索引，计算newValue，然后保留前group个结果)，这样就得到保留下来的通道的索引。
Figure BDA0003076567360000063
Figure BDA0003076567360000071
找到保留下来的m个通道的索引selectedChannel之后，对滤波器i+1的保留下来的通道的值
Figure BDA0003076567360000072
进行更新设置，通过以下公式得到：
Figure BDA0003076567360000073
(这个公式更新滤波器i+1的保留下来的通道所对应的权重)
Figure BDA0003076567360000074
(更新滤波器i+1的保留下来的通道的值
Figure BDA0003076567360000075
)
Figure BDA0003076567360000076
表示滤波器i+1的保留下来的通道所对应的权重；w表示权重变量(最小二乘法的公式变量)；selectedChannel表示保留下来的m个通道的索引。
在另一个实施例中，以图3为例说明多分支裁剪策略，对于多层关联裁剪，可作类似推广。由于Depthwise Convolution深度卷积层已经过优化，推理速度很快，并考虑到蓝色卷积层裁剪后，会对Depthwise Convolution深度卷积层通道进行相应裁剪，因此仅对卷积层进行裁剪。
本专利提出如下两种裁剪策略(以Mobilenetv2为例)：
第一种裁剪策略：如图3所示，优化目标变为：裁剪后的模块输出X1+X2对下一层卷积层的输出的影响尽可能的小，只需将算法1中的式(1)和(2)中的X由X1+X2替代。此方法特点是：卷积层1滤波器和卷积层3滤波器同时进行裁剪，保证被裁剪掉的通道相同。
第二种裁剪策略：如图4所示，对虚线框中卷积层1裁剪，相应地删掉卷积层2和卷积层3的对应的滤波器。
再一个实施例中，不论是大网络模型，还是小网络模型，随着深度的增加，权重稀疏化现象越来越严重，从而容易导致最小二乘法求解算法1中的式(2)时产生奇异，本专利提出整体网络裁剪策略如图5所示，其中，Nε是L1范数为0的滤波器个数，NF是滤波器总个数，可选参数ε(默认值0.6)反应L1范数为0的滤波器占比。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种网络模型裁剪方法，其特征在于，包括：
按照预设规则搜索通道，确定待裁剪的通道；
确定保留的通道的索引；
进行权重重构。
2.如权利要求1所述的网络模型裁剪方法，其特征在于，所述按照预设规则搜索通道，确定待裁剪的通道，包括：
计算所述网络模型中卷积层i的滤波器的范数；
计算所述范数为零的所述滤波器占总的所述滤波器的占比，计算公式如下：
Figure FDA0003076567350000011
其中，P为所述范数为零的所述滤波器占总的所述滤波器的占比；NF为所述滤波器的总数；Nε为所述范数为零的所述滤波器的个数；
获取搜索参数ε；
当所述占比大于等于所述搜索参数ε时，随机删除范数为零的所述滤波器；直至所述占比小于所述搜索参数ε。
3.如权利要求2所述的网络模型裁剪方法，其特征在于，所述确定保留的通道的索引，包括：
遍历卷积层i+1输出层的所有通道数，找到对特征图影响最大的一个通道；
之后通过最小二乘法迭代计算，依次找到对特征图影响最大的2,3，…,m个通道。
4.如权利要求3所述的网络模型裁剪方法，其特征在于，所述进行权重重构，包括:
获取保留下来的m个通道的索引selectedChannel之后，对滤波器i+1的保留下来的通道的值
Figure FDA0003076567350000021
进行更新设置，通过以下公式得到：
Figure FDA0003076567350000022
Figure FDA0003076567350000023
Figure FDA0003076567350000024
表示滤波器i+1的保留下来的通道所对应的权重；w表示权重变量；selectedChannel表示保留下来的m个通道的索引。
5.如权利要求3所述的网络模型裁剪方法，其特征在于，所述遍历卷积层i+1输出层的所有通道数，找到对特征图影响最大的一个通道；包括：
计算各个通道的Value值，计算公式如下：
Figure FDA0003076567350000025
其中，N表示输入网络的样本个数；Yn表示第n个样本的裁剪前卷积层i+1层输出的特征图；Xn，j表示第n个样本裁剪后的卷积层i+1层的第j个通道的特征图。
6.一种网络模型裁剪系统，其特征在于，包括：
通道模块，用于按照预设规则搜索通道，确定待裁剪的通道；
索引模块，用于确定保留的通道的索引；
重构模块，用于进行权重重构。
7.如权利要求6所述的网络模型裁剪系统，其特征在于，所述通道模块包括：
范数模块，用于计算所述网络模型中卷积层i的滤波器的范数；
占比计算模块，用于计算所述范数为零的所述滤波器占总的所述滤波器的占比，计算公式如下：
Figure FDA0003076567350000031
其中，P为所述范数为零的所述滤波器占总的所述滤波器的占比；NF为所述滤波器的总数；Nε为所述范数为零的所述滤波器的个数；
参数控制模块，用于获取搜索参数ε，当所述占比大于等于所述搜索参数ε时，随机删除范数为零的所述滤波器；直至所述占比小于所述搜索参数ε。
8.如权利要求6所述的网络模型裁剪系统，其特征在于，所述索引模块包括：
通道模块，用于遍历卷积层i+1输出层的所有通道数，找到对特征图影响最大的一个通道；
计算模块，用于通过最小二乘法迭代计算，依次找到对特征图影响最大的2,3，…,m个通道。
9.如权利要求8所述的网络模型裁剪系统，其特征在于，所述重构模块用于获取保留下来的m个通道的索引selectedChannel之后，对滤波器i+1的保留下来的通道的值
Figure FDA0003076567350000032
进行更新设置。
10.如权利要求9所述的网络模型裁剪系统，其特征在于，值
Figure FDA0003076567350000033
通过以下公式得到：
Figure FDA0003076567350000034
Figure FDA0003076567350000035
Figure FDA0003076567350000036
表示滤波器i+1的保留下来的通道所对应的权重；w表示权重变量；selectedChannel表示保留下来的m个通道的索引。
CN202110554320.1A 2021-05-20 2021-05-20 一种网络模型经裁剪以进行图像识别的方法 Active CN113255907B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110554320.1A CN113255907B (zh) 2021-05-20 2021-05-20 一种网络模型经裁剪以进行图像识别的方法
PCT/CN2021/095959 WO2022241804A1 (zh) 2021-05-20 2021-05-26 一种小网络模型裁剪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110554320.1A CN113255907B (zh) 2021-05-20 2021-05-20 一种网络模型经裁剪以进行图像识别的方法

Publications (2)

Publication Number Publication Date
CN113255907A true CN113255907A (zh) 2021-08-13
CN113255907B CN113255907B (zh) 2024-05-14

Family

ID=77183247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110554320.1A Active CN113255907B (zh) 2021-05-20 2021-05-20 一种网络模型经裁剪以进行图像识别的方法

Country Status (2)

Country Link
CN (1) CN113255907B (zh)
WO (1) WO2022241804A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180374209A1 (en) * 2017-06-27 2018-12-27 General Electric Company Material segmentation in image volumes
CN112116001A (zh) * 2020-09-17 2020-12-22 苏州浪潮智能科技有限公司 图像识别方法、装置及计算机可读存储介质
CN112561041A (zh) * 2021-02-25 2021-03-26 之江实验室 基于滤波器分布的神经网络模型加速方法及平台

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11875260B2 (en) * 2018-02-13 2024-01-16 Adobe Inc. Reducing architectural complexity of convolutional neural networks via channel pruning
CN110659735A (zh) * 2019-09-29 2020-01-07 广东浪潮大数据研究有限公司 一种动态调整神经网络通道的方法、装置以及设备
CN111126595A (zh) * 2019-11-29 2020-05-08 苏州浪潮智能科技有限公司 一种神经网络的模型压缩的方法和设备
CN112561040A (zh) * 2021-02-25 2021-03-26 之江实验室 面向神经网络模型的滤波器分布感知训练加速方法及平台

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180374209A1 (en) * 2017-06-27 2018-12-27 General Electric Company Material segmentation in image volumes
CN112116001A (zh) * 2020-09-17 2020-12-22 苏州浪潮智能科技有限公司 图像识别方法、装置及计算机可读存储介质
CN112561041A (zh) * 2021-02-25 2021-03-26 之江实验室 基于滤波器分布的神经网络模型加速方法及平台

Also Published As

Publication number Publication date
WO2022241804A1 (zh) 2022-11-24
CN113255907B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN110874631B (zh) 一种基于特征图稀疏化的卷积神经网络剪枝方法
CN114037844B (zh) 基于滤波器特征图的全局秩感知神经网络模型压缩方法
CN111882040B (zh) 基于通道数量搜索的卷积神经网络压缩方法
CN111079899A (zh) 神经网络模型压缩方法、系统、设备及介质
CN112446419B (zh) 基于注意力机制的时空神经网络雷达回波外推预报方法
US20180088996A1 (en) Systems and Methods of Memory Allocation for Neural Networks
CN112052951B (zh) 一种剪枝神经网络方法、系统、设备及可读存储介质
CN108288270B (zh) 一种基于通道修剪与全卷积深度学习的目标检测方法
CN110728361A (zh) 一种基于强化学习的深度神经网络压缩方法
CN114415965B (zh) 一种数据迁移方法、装置、设备及存储介质
CN111144551A (zh) 一种基于特征方差比的卷积神经网络通道剪枝方法
CN110009140A (zh) 一种日电力负荷预测方法及预测装置
CN112884149A (zh) 一种基于随机敏感度st-sm的深度神经网络剪枝方法及系统
CN113743591B (zh) 一种自动化剪枝卷积神经网络的方法及其系统
CN114819061A (zh) 一种基于迁移学习的稀疏sar目标分类方法及装置
CN113361707A (zh) 一种模型压缩方法、系统及计算机可读介质
CN117217282A (zh) 一种面向深度行人搜索模型的结构化剪枝方法
CN108509532B (zh) 一种应用于地图的聚点方法和装置
CN109034372B (zh) 一种基于概率的神经网络剪枝方法
CN113255907A (zh) 一种小网络模型裁剪方法及系统
CN113516163A (zh) 基于网络剪枝的车辆分类模型压缩方法、装置及存储介质
CN117610632A (zh) 一种基于参数截断定点化的神经网络轻量化方法
CN117114053A (zh) 基于结构搜索和知识蒸馏的卷积神经网络模型压缩方法和装置
CN113033804B (zh) 一种面向遥感图像的卷积神经网络压缩方法
CN107276559B (zh) 量子生物地理学演进机制的多约束fir数字滤波器生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant