CN114154589A - 一种基于相似性的模块减枝方法 - Google Patents

一种基于相似性的模块减枝方法 Download PDF

Info

Publication number
CN114154589A
CN114154589A CN202111515202.6A CN202111515202A CN114154589A CN 114154589 A CN114154589 A CN 114154589A CN 202111515202 A CN202111515202 A CN 202111515202A CN 114154589 A CN114154589 A CN 114154589A
Authority
CN
China
Prior art keywords
module
modules
similarity
contribution
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111515202.6A
Other languages
English (en)
Other versions
CN114154589B (zh
Inventor
周仁爽
陈尧森
杨瀚
王都
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sobey Digital Technology Co Ltd
Original Assignee
Chengdu Sobey Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sobey Digital Technology Co Ltd filed Critical Chengdu Sobey Digital Technology Co Ltd
Priority to CN202111515202.6A priority Critical patent/CN114154589B/zh
Publication of CN114154589A publication Critical patent/CN114154589A/zh
Application granted granted Critical
Publication of CN114154589B publication Critical patent/CN114154589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于相似性的模块减枝方法，属于人工智能模型压缩领域，包括：S1，将M个样本输入神经网络模型中，并分别提取神经网络模型中N个模块的输出特征；S2，找到神经网络模型中串联的N个模块的最后一个模块的输出特征，分别计算输出特征与各个模块的输出特征的余弦相似度，得到M*N个余弦相似度；S3，计算
Figure 100004_DEST_PATH_IMAGE001
个样本的平均余弦相似度；S4，将模块的相似度换算为贡献度，根据贡献度高低对模块进行排序；S5，裁剪掉贡献度低的模块，对神经网络模型进行调优训练来恢复精度。本发明在模块层面上进行剪枝，粒度更大，有效减少网络参数，且模块重要性求得的方法非常简单，易于实际部署中快速对网络进行裁剪。

Description

一种基于相似性的模块减枝方法
技术领域
本发明涉及人工智能模型压缩技术领域，更为具体的，涉及一种基于相似性的模块减枝方法。
背景技术
随着深度神经网络的出现，其在图像分类、语义分割、超分辨率等领域都有越来越重要的应用。与此同时，神经网络模型也在变得越来越复杂庞大，神经网络模型的深度和广度的提高可以为模型带来更强的拟合能力，提高模型的性能，同时也带来了庞大的计算消耗和存储消耗。这也为神经网络模型在低性能平台上的部署带来了挑战。为了解决这一问题，模型量化、模型剪枝、知识蒸馏等模型优化手段被相继提出，用以减少模型的参数量并降低模型计算量，这些方法在实际部署中被广泛使用。
目前存在的网络剪枝方法大多从通道或权重层面进行剪枝，粒度较细，能够裁剪的参数量有限。且这些方法在计算参数重要性的过程中大都比较复杂，在实际部署过程中会受到一定的限制。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于相似性的模块减枝方法，该方法在模块层面上进行剪枝，粒度更大，可以有效减少网络参数，且模块重要性求得的方法非常简单，易于实际部署中快速对网络进行裁剪。
本发明的目的是通过以下方案实现的：
一种基于相似性的模块减枝方法，包括步骤：
S1，从训练集中得到
Figure 100002_DEST_PATH_IMAGE001
个样本，将
Figure 902934DEST_PATH_IMAGE001
个样本输入到准备剪枝的、包含N个模块的神 经网络模型中，
Figure 958614DEST_PATH_IMAGE002
个模块串联在一起，上一模块的输出是下一模块的输入，并分别提取出神 经网络模型中N个模块的输出特征
Figure 100002_DEST_PATH_IMAGE003
，其中
Figure 244102DEST_PATH_IMAGE004
代表模块编号，取值为0~N-1之间的整数；
Figure 100002_DEST_PATH_IMAGE005
代 表样本编号，取值为0~
Figure 512273DEST_PATH_IMAGE001
-1之间的整数，N、M均是正整数；
S2，找到神经网络模型中串联的N个模块的最后一个模块的第j个输出特征，分别 计算第j个输出特征
Figure 770079DEST_PATH_IMAGE006
与
Figure 199923DEST_PATH_IMAGE002
个模块中各个模块的输出特征
Figure 723439DEST_PATH_IMAGE003
的余弦相似度
Figure 100002_DEST_PATH_IMAGE007
，得到M*N个 余弦相似度；
S3，计算
Figure 795300DEST_PATH_IMAGE001
个样本的平均余弦相似度
Figure 173192DEST_PATH_IMAGE008
；
S4，将模块的相似度换算为模块的贡献度，找出贡献度较低的模块，并根据贡献度高低对模块的重要性进行排序；
S5，裁剪掉贡献度低的模块，保留裁剪后的其他模块，并对神经网络模型进行调优训练来恢复精度。
进一步地，步骤S1中，所述
Figure 305096DEST_PATH_IMAGE001
个样本能够代表神经网络模型输入样本的数据分布 情况。
进一步地，在步骤S2中，计算
Figure 768439DEST_PATH_IMAGE006
与
Figure 847253DEST_PATH_IMAGE003
的余弦相似度
Figure 141968DEST_PATH_IMAGE007
，采用如下相似度计算公 式：
Figure 100002_DEST_PATH_IMAGE009
式中，
Figure 428462DEST_PATH_IMAGE010
分别代表第
Figure 379100DEST_PATH_IMAGE004
个模块的通道数，第
Figure DEST_PATH_IMAGE011
个样本输出特征的高和宽，
Figure 792764DEST_PATH_IMAGE012
和
Figure DEST_PATH_IMAGE013
则分别代表输出特征
Figure 941986DEST_PATH_IMAGE006
和
Figure 415692DEST_PATH_IMAGE003
中的第
Figure 588048DEST_PATH_IMAGE014
个特征值。
进一步地，在步骤S3中，所述平均余弦相似度
Figure 8665DEST_PATH_IMAGE008
采用如下公式计算：
Figure DEST_PATH_IMAGE015
。
进一步地，步骤S4中，所述将模块的相似度换算为模块的贡献度包括如下子步骤：计算每个模块相较于上一个模块的相似度的上升幅度，相似度提高越多代表该模块对模型整体的贡献越大，计算公式如下：
Figure DEST_PATH_IMAGE017
式中，
Figure 559863DEST_PATH_IMAGE018
代表第
Figure 142154DEST_PATH_IMAGE004
个模块的贡献度。
进一步地，步骤S5中，裁剪依照模块贡献度从低到高进行，优先裁剪掉贡献度低的模块，裁剪的数量依照需要模型轻量化的程度决定，且能够裁剪不高于模块总数的任意数量的模块。
本发明的有益效果包括：
本发明实施例从模块的粒度上进行剪枝，相比常见的通道剪枝、权重剪枝粒度更大，在裁剪更多参数的同时灵活性也更高，因此具备快速实现泛用性强等特征。
本发明实施例提出了一种将模块输出的相似度换算为模块贡献度的方法。该方法具有以下特点：计算简单，只需要输入少量样本就可以得到每个模块的输出并计算出平均相似度，平均相似度进一步换算出模块贡献度；泛用性强，只要是前后相连的模块都可以用此方法评估贡献度；灵活性强，本发明实施例方法只需要得到模块输出特征这一个数据就可以使用，对不同的网络可以灵活的适应。
本发明实施例提出的剪枝方法属于结构化剪枝方法，结构化剪枝方法相比于非结构化剪枝不会破坏网络结构的规则化，因此剪枝后的网络不需要特殊的软硬件来匹配，可以直接应用在现有的软硬件环境下，成本更低，适用性强，更加适合实际部署。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种基于相似性的模块剪枝方法的流程图；
图2是本发明实施例中的网络剪枝对象EDSR模型的网络结构；
图3是本发明实施例中网络剪枝的示意图；
图4是本发明实施例中模块余弦相似度的计算示意图；
图5是本发明实施例中模块贡献度的计算示意图。
具体实施方式
本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
实施例1：如图1所示，一种基于相似性的模块减枝方法，包括步骤：
S1，从训练集中得到
Figure 864122DEST_PATH_IMAGE001
个样本，将
Figure 822851DEST_PATH_IMAGE001
个样本输入到准备剪枝的、包含N个模块的神 经网络模型中，
Figure 149927DEST_PATH_IMAGE002
个模块串联在一起，上一模块的输出是下一模块的输入，并分别提取出神 经网络模型中N个模块的输出特征
Figure 231016DEST_PATH_IMAGE003
，其中
Figure 377963DEST_PATH_IMAGE004
代表模块编号，取值为0~N-1之间的整数；
Figure 186388DEST_PATH_IMAGE005
代 表样本编号，取值为0~
Figure 102392DEST_PATH_IMAGE001
-1之间的整数，N、M均是正整数；如图2所示，为本实施例的超分辨 率网络EDSR的网络结构，其包含了32个模块，下面将介绍如何裁剪这32个模块的数量，达到 降低模型参数量的目的。
S2，找到神经网络模型中串联的N个模块的最后一个模块的第j个输出特征
Figure 354381DEST_PATH_IMAGE006
，分 别计算第j个输出特征
Figure 988625DEST_PATH_IMAGE006
与
Figure 351473DEST_PATH_IMAGE002
个模块中各个模块的输出特征
Figure 387562DEST_PATH_IMAGE003
的余弦相似度
Figure 544874DEST_PATH_IMAGE007
，得到M*N 个余弦相似度；如图3所示，单独关注模型中的32个网络模块，这些模块的特点是首尾相连， 图中最后一个模块已用小旗标出。计算出所有模块与最后一个模块输出特征的余弦相似 度，可以得到图4中柱状图，柱状图中包含了相似度的变换，是一个逐渐接近于1.0的过程。
S3，计算
Figure 931993DEST_PATH_IMAGE001
个样本的平均余弦相似度
Figure 770636DEST_PATH_IMAGE008
；由于输入了多个样本考虑到不同输入样 本可能造成的误差，最终的相似度应该采用各样本平均的相似度。
S4，将模块的相似度换算为模块的贡献度，找出贡献度较低的模块，并根据贡献度高低对模块的重要性进行排序；如图5所示，本实施例将所有模块在网络中的贡献定义为相似度的上升，当相似度上升为1.0时，则认为网络得到了它原本所需要的输出。因此相似度上升的幅度越大，模块在网络中的贡献也就越大，最终将模块相似度换算为了图5中的模块贡献度。
S5，裁剪掉贡献度低的模块，保留裁剪后的其他模块，并对神经网络模型进行调优训练来恢复精度。如图5所示，裁剪掉贡献度低的模块，重新得到一个新的轻量的网络结构，该网络去掉了不重要的模块，包含了更少的模块数量。通过调优训练，最后得到一个精度几乎无损失但模型参数量大大降低的新模型。
本实施例提供的基于相似性的模块剪枝方法，通过计算各模块输出特征相对于末尾模块输出特征的余弦相似度，通过简单的换算将相似度换算为模块的贡献度，从而找到贡献度较低的模块。裁剪掉低贡献度的模块，有效降低了模型参数量，减少了模型计算量，并且不会有明显的精度损失。
在本实施例中，在具体应用时，步骤S1中所述
Figure 474281DEST_PATH_IMAGE001
个样本能够代表神经网络模型输 入样本的数据分布情况。
实施例2：在实施例1的基础上，在步骤S2中，计算
Figure 5757DEST_PATH_IMAGE006
与
Figure 411330DEST_PATH_IMAGE003
的余弦相似度
Figure 584823DEST_PATH_IMAGE007
，采用 如下相似度计算公式：
Figure 329925DEST_PATH_IMAGE009
式中，
Figure 94618DEST_PATH_IMAGE010
分别代表第
Figure 925171DEST_PATH_IMAGE004
个模块的通道数，第
Figure 167934DEST_PATH_IMAGE011
个样本输出特征的高和宽，
Figure 33122DEST_PATH_IMAGE012
和
Figure 217984DEST_PATH_IMAGE013
则分别代表输出特征
Figure 801412DEST_PATH_IMAGE006
和
Figure 582286DEST_PATH_IMAGE003
中的第
Figure 567560DEST_PATH_IMAGE014
个特征值。
实施例3：在实施例1的基础上，在步骤S3中，所述平均余弦相似度
Figure 611739DEST_PATH_IMAGE008
采用如下公式 计算：
Figure 479201DEST_PATH_IMAGE015
。
实施例4：在实施例1的基础上，步骤S4中，所述将模块的相似度换算为模块的贡献度包括如下子步骤：计算每个模块相较于上一个模块的相似度的上升幅度，相似度提高越多代表该模块对模型整体的贡献越大，计算公式如下：
Figure 267029DEST_PATH_IMAGE017
式中，
Figure 903546DEST_PATH_IMAGE018
代表第
Figure 118627DEST_PATH_IMAGE004
个模块的贡献度。
实施例5：在实施例1的基础上，步骤S5中，裁剪依照模块贡献度从低到高进行，优先裁剪掉贡献度低的模块，裁剪的数量依照需要模型轻量化的程度决定，且能够裁剪不高于模块总数的任意数量的模块。
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。
上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。
除以上实例以外，本领域技术人员根据上述公开内容获得启示或利用相关领域的知识或技术进行改动获得其他实施例，各个实施例的特征可以互换或替换，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (6)

1.一种基于相似性的模块减枝方法，其特征在于，包括步骤：
S1，从训练集中得到
Figure DEST_PATH_IMAGE001
个样本，将
Figure 833050DEST_PATH_IMAGE001
个样本输入到准备剪枝的、包含N个模块的神经网络模型中，
Figure 546928DEST_PATH_IMAGE002
个模块串联在一起，上一模块的输出是下一模块的输入，并分别提取出神经网络模型中N个模块的输出特征
Figure DEST_PATH_IMAGE003
，其中
Figure 118810DEST_PATH_IMAGE004
代表模块编号，取值为0~N-1之间的整数；
Figure DEST_PATH_IMAGE005
代表样本编号，取值为0~
Figure 45178DEST_PATH_IMAGE001
-1之间的整数，N、M均是正整数；
S2，找到神经网络模型中串联的N个模块的最后一个模块的第j个输出特征
Figure 593971DEST_PATH_IMAGE006
，分别计算第j个输出特征
Figure 416433DEST_PATH_IMAGE006
与
Figure 480204DEST_PATH_IMAGE002
个模块中各个模块的输出特征
Figure 413525DEST_PATH_IMAGE003
的余弦相似度
Figure DEST_PATH_IMAGE007
，得到M*N个余弦相似度；
S3，计算
Figure 613562DEST_PATH_IMAGE001
个样本的平均余弦相似度
Figure 154396DEST_PATH_IMAGE008
；
S4，将模块的相似度换算为模块的贡献度，找出贡献度较低的模块，并根据贡献度高低对模块的重要性进行排序；
S5，裁剪掉贡献度低的模块，保留裁剪后的其他模块，并对神经网络模型进行调优训练来恢复精度。
2.根据权利要求1所述的基于相似性的模块减枝方法，其特征在于，步骤S1中，所述
Figure 643146DEST_PATH_IMAGE001
个样本能够代表神经网络模型输入样本的数据分布情况。
3.根据权利要求1所述的基于相似性的模块减枝方法，其特征在于，在步骤S2中，计算
Figure 176896DEST_PATH_IMAGE006
与
Figure 434702DEST_PATH_IMAGE003
的余弦相似度
Figure 661284DEST_PATH_IMAGE007
，采用如下相似度计算公式：
Figure DEST_PATH_IMAGE009
式中，
Figure 434068DEST_PATH_IMAGE010
分别代表第
Figure 443612DEST_PATH_IMAGE004
个模块的通道数，第
Figure 133088DEST_PATH_IMAGE011
个样本输出特征的高和宽，
Figure 202675DEST_PATH_IMAGE012
和
Figure 728335DEST_PATH_IMAGE013
则分别代表输出特征
Figure 541570DEST_PATH_IMAGE006
和
Figure 39547DEST_PATH_IMAGE003
中的第
Figure 607932DEST_PATH_IMAGE014
个特征值。
4.根据权利要求1所述的基于相似性的模块减枝方法，其特征在于，在步骤S3中，所述平均余弦相似度
Figure 292991DEST_PATH_IMAGE008
采用如下公式计算：
Figure 972234DEST_PATH_IMAGE015
。
5.根据权利要求1所述的基于相似性的模块减枝方法，其特征在于，步骤S4中，所述将模块的相似度换算为模块的贡献度包括如下子步骤：计算每个模块相较于上一个模块的相似度的上升幅度，相似度提高越多代表该模块对模型整体的贡献越大，计算公式如下：
Figure 59139DEST_PATH_IMAGE017
式中，
Figure 549157DEST_PATH_IMAGE018
代表第
Figure 721513DEST_PATH_IMAGE004
个模块的贡献度。
6.根据权利要求1所述的基于相似性的模块减枝方法，其特征在于，步骤S5中，裁剪依照模块贡献度从低到高进行，优先裁剪掉贡献度低的模块，裁剪的数量依照需要模型轻量化的程度决定，且能够裁剪不高于模块总数的任意数量的模块。
CN202111515202.6A 2021-12-13 2021-12-13 一种基于相似性的模块减枝方法 Active CN114154589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111515202.6A CN114154589B (zh) 2021-12-13 2021-12-13 一种基于相似性的模块减枝方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111515202.6A CN114154589B (zh) 2021-12-13 2021-12-13 一种基于相似性的模块减枝方法

Publications (2)

Publication Number Publication Date
CN114154589A true CN114154589A (zh) 2022-03-08
CN114154589B CN114154589B (zh) 2023-09-29

Family

ID=80451031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111515202.6A Active CN114154589B (zh) 2021-12-13 2021-12-13 一种基于相似性的模块减枝方法

Country Status (1)

Country Link
CN (1) CN114154589B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007097213A1 (ja) * 2006-02-27 2007-08-30 National Institute Of Advanced Industrial Science And Technology Ｒｎａ配列情報処理装置
CN102521313A (zh) * 2011-12-01 2012-06-27 北京大学 基于网页质量的静态索引剪枝方法
CN110197669A (zh) * 2018-02-27 2019-09-03 上海富瀚微电子股份有限公司 一种语音信号处理方法及装置
CN111079899A (zh) * 2019-12-05 2020-04-28 中国电子科技集团公司信息科学研究院 神经网络模型压缩方法、系统、设备及介质
CN111860472A (zh) * 2020-09-24 2020-10-30 成都索贝数码科技股份有限公司 电视台标检测方法、系统、计算机设备及存储介质
CN112241789A (zh) * 2020-10-16 2021-01-19 广州云从凯风科技有限公司 用于轻量化神经网络的结构化剪枝方法、装置、介质及设备
CN112241787A (zh) * 2019-07-18 2021-01-19 普天信息技术有限公司 神经网络模型剪枝方法及装置
CN112288087A (zh) * 2020-11-11 2021-01-29 上海依图网络科技有限公司 一种神经网络剪枝方法、装置、电子设备及存储介质
CN112364904A (zh) * 2020-10-31 2021-02-12 昆明理工大学 一种基于随机抽样的模型剪枝方法
CN112561041A (zh) * 2021-02-25 2021-03-26 之江实验室 基于滤波器分布的神经网络模型加速方法及平台
JP2021108039A (ja) * 2019-12-27 2021-07-29 Kddi株式会社 モデル圧縮装置及びプログラム
CN113240085A (zh) * 2021-05-12 2021-08-10 平安科技（深圳）有限公司 模型剪枝方法、装置、设备及存储介质
CN113240111A (zh) * 2021-05-31 2021-08-10 成都索贝视频云计算有限公司 基于离散余弦变换通道重要性得分的剪枝方法
WO2021169116A1 (zh) * 2020-02-29 2021-09-02 平安科技（深圳）有限公司 智能化的缺失数据填充方法、装置、设备及存储介质
US20210329256A1 (en) * 2020-04-18 2021-10-21 Alibaba Group Holding Limited Method for optimizing structure similarity index in video coding
CN113609482A (zh) * 2021-07-14 2021-11-05 中国科学院信息工程研究所 一种针对图像分类模型的后门检测及修复方法及系统
CN113723070A (zh) * 2021-08-20 2021-11-30 上海浦东发展银行股份有限公司 文本相似度模型训练方法、文本相似度检测方法及装置
CN113780550A (zh) * 2021-08-24 2021-12-10 北京科技大学 一种量化特征图相似度的卷积神经网络剪枝方法及装置

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007097213A1 (ja) * 2006-02-27 2007-08-30 National Institute Of Advanced Industrial Science And Technology Ｒｎａ配列情報処理装置
CN102521313A (zh) * 2011-12-01 2012-06-27 北京大学 基于网页质量的静态索引剪枝方法
CN110197669A (zh) * 2018-02-27 2019-09-03 上海富瀚微电子股份有限公司 一种语音信号处理方法及装置
CN112241787A (zh) * 2019-07-18 2021-01-19 普天信息技术有限公司 神经网络模型剪枝方法及装置
CN111079899A (zh) * 2019-12-05 2020-04-28 中国电子科技集团公司信息科学研究院 神经网络模型压缩方法、系统、设备及介质
JP2021108039A (ja) * 2019-12-27 2021-07-29 Kddi株式会社 モデル圧縮装置及びプログラム
WO2021169116A1 (zh) * 2020-02-29 2021-09-02 平安科技（深圳）有限公司 智能化的缺失数据填充方法、装置、设备及存储介质
US20210329256A1 (en) * 2020-04-18 2021-10-21 Alibaba Group Holding Limited Method for optimizing structure similarity index in video coding
CN111860472A (zh) * 2020-09-24 2020-10-30 成都索贝数码科技股份有限公司 电视台标检测方法、系统、计算机设备及存储介质
CN112241789A (zh) * 2020-10-16 2021-01-19 广州云从凯风科技有限公司 用于轻量化神经网络的结构化剪枝方法、装置、介质及设备
CN112364904A (zh) * 2020-10-31 2021-02-12 昆明理工大学 一种基于随机抽样的模型剪枝方法
CN112288087A (zh) * 2020-11-11 2021-01-29 上海依图网络科技有限公司 一种神经网络剪枝方法、装置、电子设备及存储介质
CN112561041A (zh) * 2021-02-25 2021-03-26 之江实验室 基于滤波器分布的神经网络模型加速方法及平台
CN113240085A (zh) * 2021-05-12 2021-08-10 平安科技（深圳）有限公司 模型剪枝方法、装置、设备及存储介质
CN113240111A (zh) * 2021-05-31 2021-08-10 成都索贝视频云计算有限公司 基于离散余弦变换通道重要性得分的剪枝方法
CN113609482A (zh) * 2021-07-14 2021-11-05 中国科学院信息工程研究所 一种针对图像分类模型的后门检测及修复方法及系统
CN113723070A (zh) * 2021-08-20 2021-11-30 上海浦东发展银行股份有限公司 文本相似度模型训练方法、文本相似度检测方法及装置
CN113780550A (zh) * 2021-08-24 2021-12-10 北京科技大学 一种量化特征图相似度的卷积神经网络剪枝方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHEN S等: ""Shallowing deep networks：Layer-wise pruning based on feature representations"", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, vol. 41, no. 12, pages 3048 - 3056, XP011754464, DOI: 10.1109/TPAMI.2018.2874634 *
MINGWEN SHAO等: ""A dynamic CNN pruning method based on matrix similarity"", 《SIGNAL, IMAGE AND VIDEO PROCESSING》, pages 1 - 9 *
黄聪: ""基于相似性的深度卷积神经网络剪枝研究"", 《中国优秀硕士学位论文全文数据库》, no. 2, pages 140 - 208 *

Also Published As

Publication number Publication date
CN114154589B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN107563381B (zh) 基于全卷积网络的多特征融合的目标检测方法
CN104572886B (zh) 基于k线图表示的金融时间序列相似性查询方法
CN110019218A (zh) 数据存储与查询方法及设备
CN110263659A (zh) 一种基于三元组损失和轻量级网络的指静脉识别方法及系统
CN109800795A (zh) 一种果蔬识别方法及系统
CN113240111B (zh) 基于离散余弦变换通道重要性得分的剪枝方法
CN102509001A (zh) 一种自动去除时序数据野值点的方法
WO2019201068A1 (zh) 一种基于Gaussian ATM和词嵌入的语义稀疏Web服务发现方法
CN112837297A (zh) 一种渐进式多尺度的颅面骨骨折检测方法
CN117236201B (zh) 一种基于Diffusion和ViT的降尺度方法
CN107194415A (zh) 一种基于拉普拉斯中心性的峰值聚类方法
CN115660066A (zh) 一种基于分布差异的卷积神经网络剪枝方法
CN109409407A (zh) 一种基于le算法的工业监测数据聚类方法
CN114154589A (zh) 一种基于相似性的模块减枝方法
CN113111830A (zh) 一种葡萄藤冬剪点检测算法
CN108664548B (zh) 一种退化条件下的网络访问行为特征群体动态挖掘方法及系统
CN115329820A (zh) 基于改进FastICA的电网扰动辨识方法及系统
CN114049346B (zh) 一种基于剪裁YOLOv3-SPP3的柑橘木虱检测与识别方法
CN111797991A (zh) 一种深度网络模型压缩系统、方法及装置
CN113724343B (zh) 一种基于结构感知的树木点云压缩方法
CN114663791A (zh) 一种非结构化环境下面向剪枝机器人的枝条识别方法
CN115601634A (zh) 一种基于层次性注意力机制的图像叶片识别方法及装置
CN112381206A (zh) 深度神经网络压缩方法、系统、储存介质及计算机设备
CN106372669A (zh) 一种双阶自适应的小波聚类方法
CN108932550B (zh) 一种基于模糊密集稀疏密集算法进行图像分类的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant