CN110555518A - 一种基于feature map重要性得分的通道剪枝方法及系统 - Google Patents

一种基于feature map重要性得分的通道剪枝方法及系统 Download PDF

Info

Publication number
CN110555518A
CN110555518A CN201910853897.5A CN201910853897A CN110555518A CN 110555518 A CN110555518 A CN 110555518A CN 201910853897 A CN201910853897 A CN 201910853897A CN 110555518 A CN110555518 A CN 110555518A
Authority
CN
China
Prior art keywords
feature map
scores
layer
score
neurons
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910853897.5A
Other languages
English (en)
Inventor
郝虹
高岩
姜凯
于治楼
李朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Artificial Intelligence Research Institute Co Ltd
Original Assignee
Shandong Inspur Artificial Intelligence Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Artificial Intelligence Research Institute Co Ltd filed Critical Shandong Inspur Artificial Intelligence Research Institute Co Ltd
Priority to CN201910853897.5A priority Critical patent/CN110555518A/zh
Publication of CN110555518A publication Critical patent/CN110555518A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于feature map重要性得分的通道剪枝方法及系统，属于人工智能神经网络压缩技术领域。本发明的基于feature map重要性得分的通道剪枝方法通过计算分类前一层神经元对分类的重要性得分，并反向传播该得分至前层所有神经元，根据神经元得分计算feature map得分，进而根据feature map得分选择剪枝通道，再修正相应kernel中的权重以减小feature map的重构误差。该发明的基于feature map重要性得分的通道剪枝方法能够剪掉冗余通道的同时，减小对最终分类结果的影响，具有很好的推广应用价值。

Description

一种基于feature map重要性得分的通道剪枝方法及系统
技术领域
本发明涉及人工智能神经网络压缩技术领域，具体提供一种基于feature map重要性得分的通道剪枝方法及系统。
背景技术
卷积神经网络作为深度神经网络的一个重要种类，在图像识别、人脸识别、文字识别等领域得到广泛应用，当然也具有模型大、计算量大、耗费计算资源等问题。近几年，研究卷积神经网络加速工作的机构、企业、研究人员越来越多，研究方向主要为三类：优化实施、量化和结构化简化。其中，结构化简化主要包括：张量分解、稀疏连接和通道剪枝，本发明主要针对通道剪枝进行改进。
通道剪枝问题可以分解为两个子问题：剪枝通道选择和feature map重构，feature map即特征映像，在卷积神经网络运算中，传统的神经元在卷积层对应的是feature map上的一点，即一个feature map由多个神经元组成。现有技术方案中在剪枝通道选择上使用LASSO回归方法逐层剪枝，每一层的剪枝仅依赖于其输出层的feature map，并未考虑修剪掉的通道对于最终输出的影响，这种方法的一个问题是，在前层中被认为不重要的通道实际上可能显着地影响到后续层中重要的通道，越深的网络这种问题越容易发生。
发明内容
本发明的技术任务是针对上述存在的问题，提供一种能够剪掉冗余通道的同时，减小对最终分类结果的影响的基于feature map重要性得分的通道剪枝方法。
本发明进一步的技术任务是提供一种基于feature map重要性得分的通道剪枝装置。
为实现上述目的，本发明提供了如下技术方案：
一种基于feature map重要性得分的通道剪枝方法，该方法通过计算分类前一层神经元对分类的重要性得分，并反向传播该得分至前层所有神经元，根据神经元得分计算feature map得分，进而根据feature map得分选择剪枝通道，再修正相应kernel中的权重以减小feature map的重构误差。
作为优选，该方法具体包括以下步骤：
S1、计算网络倒数第二层所有神经元对分类的重要性得分；
S2、反向传播步骤S1中神经元得分至前面所有层神经元；
S3、以feature map为单位，综合所有神经元得分，计算每个feature map得分；
S4、根据feature map得分，逐层剪枝通道及其对应的kernel，并最小化对应输出层feature map重构误差来修正权重。
作为优选，该基于feature map重要性得分的通道剪枝方法还包括以下步骤：
S5、待所有层feature map剪枝完成，权重更新完成后，根据任务需要选择重新对权重进行整体微调。
作为优选，使用特征选择方法计算网络倒数第二层所有神经元对分类的重要性得分，所述倒数第二层即为分类结果的前一层。
作为优选，计算feature map的得分，包括求feature map上所有神经元得分均值或求feature map上所有神经元得分总和。
作为优选，所述修正权重为在原始权重基础上进行调整。
一种基于feature map重要性得分的通道剪枝系统，该系统包括以下模块：
第一计算单元：用于计算网络倒数第二层所有神经元对分类的重要性得分；
神经元得分反向传播模块：用于反向传播神经元得分至前面所有层神经元；
第二计算单元：用于以feature map为单位，综合所有神经元得分，计算每个feature map得分；
权重修正模块：用于根据feature map得分，逐层剪枝通道及其对应的kernel，并最小化对应输出层feature map重构误差来修正权重。
作为优选，该基于feature map重要性得分的通道剪枝系统还包括微调模块，用于待所有层feature map剪枝完成，权重更新完成后，根据任务需要选择重新对权重进行整体微调。
作为优选，第一计算单元使用特征选择方法计算网络倒数第二层所有神经元对分类的重要性得分，所述倒数第二层即为分类结果的前一层。
作为优选，第二计算单元计算feature map的得分，包括求feature map上所有神经元得分均值或求feature map上所有神经元得分总和。
与现有技术相比，本发明的基于feature map重要性得分的通道剪枝方法具有以下突出的有益效果：该基于feature map重要性得分的通道剪枝方法能够剪掉冗余通道的同时，减小对最终分类结果的影响，具有良好的推广应用价值。
附图说明
图1是本发明所述基于feature map重要性得分的通道剪枝方法的流程图。
具体实施方式
下面将结合附图和实施例，对本发明的基于feature map重要性得分的通道剪枝方法及系统作进一步详细说明。
实施例
本发明的基于feature map重要性得分的通道剪枝方法通过计算分类前一层神经元对分类的重要性得分，并反向传播该得分至前层所有神经元，根据神经元得分计算feature map得分，进而根据feature map得分选择剪枝通道，再修正相应kernel中的权重以减小feature map的重构误差。
如图1所示，该基于feature map重要性得分的通道剪枝方法具体包括以下步骤：
S1、计算网络倒数第二层所有神经元对分类的重要性得分。
使用特征选择方法计算网络倒数第二层所有神经元对分类的重要性得分，所述倒数第二层即为分类结果的前一层。
S2、反向传播步骤S1中神经元得分至前面所有层神经元。
S3、以feature map为单位，综合所有神经元得分，计算每个feature map得分。
计算feature map的得分，包括求feature map上所有神经元得分均值或求feature map上所有神经元得分总和。但是不限于此两种。
S4、根据feature map得分，逐层剪枝通道及其对应的kernel，并最小化对应输出层feature map重构误差来修正权重。
修正权重为在原始权重基础上进行调整。
S5、待所有层feature map剪枝完成，权重更新完成后，根据任务需要选择重新对权重进行整体微调。
本发明的基于feature map重要性得分的通道剪枝系统，该系统包括以下模块：
第一计算单元：用于计算网络倒数第二层所有神经元对分类的重要性得分。
第一计算单元使用特征选择方法计算网络倒数第二层所有神经元对分类的重要性得分，所述倒数第二层即为分类结果的前一层。
神经元得分反向传播模块：用于反向传播神经元得分至前面所有层神经元。
第二计算单元：用于以feature map为单位，综合所有神经元得分，计算每个feature map得分。
第二计算单元计算feature map的得分，包括求feature map上所有神经元得分均值或求feature map上所有神经元得分总和。
权重修正模块：用于根据feature map得分，逐层剪枝通道及其对应的kernel，并最小化对应输出层feature map重构误差来修正权重。
修正权重为在原始权重基础上进行调整。
微调模块，用于待所有层feature map剪枝完成，权重更新完成后，根据任务需要选择重新对权重进行整体微调。
该基于feature map重要性得分的通道剪枝系统的工作过程为：
1)计算网络倒数第二层所有神经元对分类的重要性得分。
使用特征选择方法计算网络倒数第二层所有神经元对分类的重要性得分，所述倒数第二层即为分类结果的前一层。
2)反向传播步骤神经元得分至前面所有层神经元。
3)、以feature map为单位，综合所有神经元得分，计算每个feature map得分。
计算feature map的得分，包括求feature map上所有神经元得分均值或求feature map上所有神经元得分总和。但是不限于此两种。
4)、根据feature map得分，逐层剪枝通道及其对应的kernel，并最小化对应输出层feature map重构误差来修正权重。
5)、待所有层feature map剪枝完成，权重更新完成后，根据任务需要选择重新对权重进行整体微调。
以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (10)

1.一种基于feature map重要性得分的通道剪枝方法，其特征在于：该方法通过计算分类前一层神经元对分类的重要性得分，并反向传播该得分至前层所有神经元，根据神经元得分计算feature map得分，进而根据feature map得分选择剪枝通道，再修正相应kernel中的权重以减小feature map的重构误差。
2.根据权利要求1所述的基于feature map重要性得分的通道剪枝方法，其特征在于：该方法具体包括以下步骤：
S1、计算网络倒数第二层所有神经元对分类的重要性得分；
S2、反向传播步骤S1中神经元得分至前面所有层神经元；
S3、以feature map为单位，综合所有神经元得分，计算每个feature map得分；
S4、根据feature map得分，逐层剪枝通道及其对应的kernel，并最小化对应输出层feature map重构误差来修正权重。
3.根据权利要求2所述的基于feature map重要性得分的通道剪枝方法，其特征在于：该方法还包括以下步骤：
S5、待所有层feature map剪枝完成，权重更新完成后，根据任务需要选择重新对权重进行整体微调。
4.根据权利要求3所述的基于feature map重要性得分的通道剪枝方法，其特征在于：使用特征选择方法计算网络倒数第二层所有神经元对分类的重要性得分，所述倒数第二层即为分类结果的前一层。
5.根据权利要求4所述的基于feature map重要性得分的通道剪枝方法，其特征在于：计算feature map的得分，包括求feature map上所有神经元得分均值或求feature map上所有神经元得分总和。
6.根据权利要求5所述的基于feature map重要性得分的通道剪枝方法，其特征在于：所述修正权重为在原始权重基础上进行调整。
7.一种基于feature map重要性得分的通道剪枝系统，其特征在于：该系统包括以下模块：
第一计算单元：用于计算网络倒数第二层所有神经元对分类的重要性得分；
神经元得分反向传播模块：用于反向传播神经元得分至前面所有层神经元；
第二计算单元：用于以feature map为单位，综合所有神经元得分，计算每个featuremap得分；
权重修正模块：用于根据feature map得分，逐层剪枝通道及其对应的kernel，并最小化对应输出层feature map重构误差来修正权重。
8.根据权利要求7所述的基于feature map重要性得分的通道剪枝系统，其特征在于：还包括微调模块，用于待所有层feature map剪枝完成，权重更新完成后，根据任务需要选择重新对权重进行整体微调。
9.根据权利要求8所述的基于feature map重要性得分的通道剪枝系统，其特征在于：第一计算单元使用特征选择方法计算网络倒数第二层所有神经元对分类的重要性得分，所述倒数第二层即为分类结果的前一层。
10.根据权利要求9所述的基于feature map重要性得分的通道剪枝系统，其特征在于：第二计算单元计算feature map的得分，包括求feature map上所有神经元得分均值或求feature map上所有神经元得分总和。
CN201910853897.5A 2019-09-10 2019-09-10 一种基于feature map重要性得分的通道剪枝方法及系统 Pending CN110555518A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910853897.5A CN110555518A (zh) 2019-09-10 2019-09-10 一种基于feature map重要性得分的通道剪枝方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910853897.5A CN110555518A (zh) 2019-09-10 2019-09-10 一种基于feature map重要性得分的通道剪枝方法及系统

Publications (1)

Publication Number Publication Date
CN110555518A true CN110555518A (zh) 2019-12-10

Family

ID=68739576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910853897.5A Pending CN110555518A (zh) 2019-09-10 2019-09-10 一种基于feature map重要性得分的通道剪枝方法及系统

Country Status (1)

Country Link
CN (1) CN110555518A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814953A (zh) * 2020-06-16 2020-10-23 上海瀚讯信息技术股份有限公司 一种基于通道剪枝的深度卷积神经网络模型的定位方法
CN112036564A (zh) * 2020-08-28 2020-12-04 腾讯科技（深圳）有限公司 神经网络的剪枝方法、装置、设备及存储介质
WO2022213759A1 (zh) * 2021-04-09 2022-10-13 Oppo广东移动通信有限公司 权重确定方法、装置、设备及计算机存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814953A (zh) * 2020-06-16 2020-10-23 上海瀚讯信息技术股份有限公司 一种基于通道剪枝的深度卷积神经网络模型的定位方法
CN111814953B (zh) * 2020-06-16 2024-02-13 上海瀚讯信息技术股份有限公司 一种基于通道剪枝的深度卷积神经网络模型的定位方法
CN112036564A (zh) * 2020-08-28 2020-12-04 腾讯科技（深圳）有限公司 神经网络的剪枝方法、装置、设备及存储介质
CN112036564B (zh) * 2020-08-28 2024-01-09 腾讯科技（深圳）有限公司 图片识别方法、装置、设备及存储介质
WO2022213759A1 (zh) * 2021-04-09 2022-10-13 Oppo广东移动通信有限公司 权重确定方法、装置、设备及计算机存储介质

Similar Documents

Publication Publication Date Title
CN110555518A (zh) 一种基于feature map重要性得分的通道剪枝方法及系统
CN106022521B (zh) 基于Hadoop架构的分布式BP神经网络的短期负荷预测方法
TWI785227B (zh) 深度神經網絡中批量標準化層修剪的方法
CN108596335A (zh) 一种基于深度强化学习的自适应众包方法
CN106920014A (zh) 一种短时负荷预测方法及装置
EP3971767A1 (en) Method for constructing farmland image-based convolutional neural network model, and system thereof
CN112149905A (zh) 一种基于小波变换和小波神经网络的光伏电站短期功率预测方法
CN112766600A (zh) 一种城市区域人群流量预测方法及系统
CN113886460A (zh) 低带宽分布式深度学习方法
CN117521763A (zh) 一种融合组正则化剪枝和重要性剪枝的人工智能模型压缩方法
CN116894189B (zh) 一种模型训练方法、装置、设备及可读存储介质
CN109036503A (zh) 一种生成心电图诊断报告的系统及方法
CN115496279A (zh) 基于动态权重集成的温度预报订正方法
CN114626622A (zh) 一种光伏功率预测方法、系统、装置及存储介质
CN114386666A (zh) 一种基于时空相关性的风电场短期风速预测方法
CN111210009A (zh) 一种基于信息熵的多模型自适应深度神经网络滤波器嫁接方法、装置、系统及存储介质
CN107679619A (zh) 一种类卷积人工神经网络的构造方法及装置
CN110739030B (zh) 一种乙烯生产过程小样本的软测量方法
CN114781483B (zh) 一种基于卷积神经网络的草菇生长状态识别方法
CN115994590B (zh) 基于分布式集群的数据处理方法、系统、设备及存储介质
CN116107630B (zh) 一种大数据运维监控的多平台适配方法
CN116151127A (zh) 自组织区间二型模糊小波神经网络的短时交通流预测方法
CN117808237A (zh) 一种基于关键线路的工程进度管理方法、系统及存储介质
CN113392970A (zh) 一种基于特征图激活率的自动神经网络剪枝方法
CN116341353A (zh) 一种使用时空降水订正模型的降水预报订正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191210

RJ01 Rejection of invention patent application after publication