CN109993304B - 一种基于语义分割的检测模型压缩方法 - Google Patents

一种基于语义分割的检测模型压缩方法 Download PDF

Info

Publication number
CN109993304B
CN109993304B CN201910259127.8A CN201910259127A CN109993304B CN 109993304 B CN109993304 B CN 109993304B CN 201910259127 A CN201910259127 A CN 201910259127A CN 109993304 B CN109993304 B CN 109993304B
Authority
CN
China
Prior art keywords
central
central vocabulary
vocabulary
parameter
parameter space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910259127.8A
Other languages
English (en)
Other versions
CN109993304A (zh
Inventor
刘阳
郑全新
赵英
张磊
董小栋
孟祥松
邓家勇
江龙
王亚涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tongfang Software Co Ltd
Original Assignee
Beijing Tongfang Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tongfang Software Co Ltd filed Critical Beijing Tongfang Software Co Ltd
Priority to CN201910259127.8A priority Critical patent/CN109993304B/zh
Publication of CN109993304A publication Critical patent/CN109993304A/zh
Application granted granted Critical
Publication of CN109993304B publication Critical patent/CN109993304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

一种基于语义分割的检测模型压缩方法,涉及人工智能领域和计算机视觉领域。本发明的方法步骤为:(一)剪枝:1)输入卷积核权重。2)对训练完成的网络模型进行剪枝,获得稀疏权重的参数空间。(二)语义分割:1)对参数空间进行语义分割,获取超参数块和中心词汇,计算超参数块中心位置。2)使用中心词汇更新原有参数空间。3)判断当前中心词汇与上一中心词汇变化是否小于指定阈值,如果大于则继续搜索与中心词汇相近参数,并更新中心词汇返回步骤2);小于阈值则结束中心词汇更新。(三)模型存储:将训练得到的超参数块边界位置、参数块中心位置、和中心词汇值进行保存。本发明使用超参数对整个参数空间进行描述,实现参数空间的整体压缩,最大化的提高模型整体压缩比。

Description

一种基于语义分割的检测模型压缩方法
技术领域
本发明涉及人工智能领域和计算机视觉领域,特别是通过语义分析压缩检测模型的方法。
背景技术
在2016年NIPS上论文《Dynamic Network Surgery for Efficient DNNs》中,基于动态剪枝算法,对深度网络模型进行压缩。研究了如何让训练网络模型与压缩网络模型同时进行的优化算法。
该动态的模型裁剪算法,主要包括以下两个过程:剪枝和连接,其中剪枝就是将其中不重要的权重参数裁掉,但随着网络模型训练过程的进行,权重的重要性在不断迭代更新,因此无法对这些权重的重要性进行直观的估算,因此在这里增加了一个连接的过程。连接是对裁减的权重重要性进行估算,将那些重要的被裁掉的权重再恢复回来,类似于一种拼接过程,这种方法有利于更好地接近压缩极限。
中国专利申请号为201710393404的《一种深度学习模型的压缩方法和装置》中,公开了一种深度学习模型的压缩方法和装置。其中该方法包括以下步骤:根据剪枝阈值对深度学习模型进行剪枝;对剪枝后的深度学习模型进行微调;计算微调后的深度学习模型的准确率;若准确率小于预设阈值,则对微调后的深度学习模型进行再训练。通过加入准确率测试,若准确率小于阈值,则说明上一步的压缩删除了过多的参数,使用少量的数据微调已经无法达到设定的准确率了,因此需要使用大量数据重新训练模型。压缩步骤简单,原理容易理解,压缩效率高;可以降低大型深度学习模型的存储和计算消耗,同时保持其性能和准确率,从而增加深度学习模型在现实中的实用性。
中国专利申请号为201710038007的《一种用于深度卷积神经网络模型压缩的方法》中,公开了一种用于深度卷积神经网络模型压缩的方法。它包括步骤:对于已经训练完成的深度卷积神经网络模型进行再训练,去除其中冗余的网络连接;对卷积神经网络的各网络层的剩余连接的权值进行编码;对卷积神经网络的各网络层的剩余连接的权值进行k-means聚类;对聚类结果进行微调;保存微调后的结果,并对保存的文件进行哈夫曼编码。该申请通过动态阈值的设定,能够较平缓地去除网络中的连接,使网络能够从连接被去除的不利情况中恢复,从而能够达到相同准确率损失的情况下,压缩倍数较高的效果;在剩余连接编码过程中,使用的改进的CSR编码方法可以减少表示索引值所需要的比特位数,从而能够减小压缩文件的大小,提高压缩率。
中国专利申请号为201810075486 的《基于改进聚类的深度神经网络的压缩方法》,公开了基于改进聚类的深度神经网络的压缩方法。它首先通过剪枝策略将正常训练后的网络变为稀疏网络,实现初步的压缩,然后通过K-Means++聚类得到每层权重的聚类中心,用聚类中心值来表示原始权重值实现权值共享,最后通过各层聚类来进行各层权重的量化,进行再训练更新聚类中心,实现最终的压缩。该申请通过剪枝、权值共享和权值量化三步,最终将深度神经网络整体压缩了30到40倍,并且精度有所提升。基于改进聚类的压缩方法简单有效,深度神经网络在不损失精度(甚至提升)的条件下实现了有效压缩,这使得深度网络在移动端的部署成为了可能。
综上所述,目前深度网络模型参数巨大,存储仍然是一个十分艰巨的任务,针对此问题各类压缩算法相继出现,主要解决的就是如何将网络模型存储空间进行有效压缩。在实际应用中,深度算法需要在一些嵌入式新设备上运行,模型存储也成为深度算法在嵌入式设备上迁移所面临的主要问题之一。这主要是由于深度网络模型所需的各类资源巨大,而嵌入式平台无法满足这种资源需求,无论是模型优化,环境迁移都无法绕开模型压缩这一问题,成为亟待解决的主要问题。
现有技术中,模型压缩方法主要为剪枝方法结合参数量化方法。剪枝方法是指剪除参数空间中小于某个阈值的参数,在保存时只保存未剪除的参数,从而达到模型压缩的目的。在此基础上再使用聚类算法对所剩参数进行量化,实现模型进一步的压缩。使用聚类算法可以进一步压缩模型大小,但存储模型时仍需保存所有未剪除的参数信息,包括参数位置,参数对应的聚类中心索引。只有通过这种存储方式才能恢复出整个参数空间。压缩过程还是以单个参数为单位,未考虑参数之间相互关联,模型压缩比例相对较低。
发明内容
为了解决上述现有技术中存在的不足,本发明的目的是提供一种基于语义分割的检测模型压缩方法。它使用超参数对整个参数空间进行描述,实现参数空间的整体压缩,最大化的提高模型整体压缩比。
为了达到上述发明目的,本发明的技术方案以如下方式实现:
一种基于语义分割的检测模型压缩方法,其步骤为:
(一)剪枝:
1)输入卷积核权重。
2) 对训练完成的网络模型进行剪枝,获得稀疏权重的参数空间。
(二)语义分割:
1)对参数空间进行语义分割,获取超参数块和中心词汇,计算超参数块中心位置,方法是:
Figure 214631DEST_PATH_IMAGE002
对参数空间进行区域初始划定。
Figure 143273DEST_PATH_IMAGE004
在每个区域中查找能量最低位置,作为中心词汇初始位置。
Figure 170397DEST_PATH_IMAGE006
在每个区域1.5*1.5倍的范围内开始搜索与中心词汇语义相近的参数,搜索相近参数公式为:
Figure 45949DEST_PATH_IMAGE008
,其中
Figure 137402DEST_PATH_IMAGE010
为第i个权值,
Figure 377890DEST_PATH_IMAGE012
为第k个中心词权值,
Figure 125267DEST_PATH_IMAGE014
为权值中最大值,
Figure 123220DEST_PATH_IMAGE016
Figure 210125DEST_PATH_IMAGE018
为第i个权值位置坐标,
Figure 746148DEST_PATH_IMAGE020
Figure 980820DEST_PATH_IMAGE022
为第k个中心词汇位置坐标,m为区域初始大小。
2)使用中心词汇更新原有参数空间。
3) 判断当前中心词汇与上一中心词汇变化是否小于指定阈值,如果大于则继续搜索与中心词汇相近参数,并更新中心词汇返回步骤2);小于阈值则结束中心词汇更新。
(三)模型存储:
将训练得到的超参数块边界位置、参数块中心位置、和中心词汇值进行保存。在存储位置信息时不再保存绝对距离,而是以相对距离形式进行保存,并设置最长间隔;当相对距离大于最长间隔时补零,保存减去间隔后的剩余长度;中心词汇位置也以这种方式进行存储。
在上述检测模型压缩方法中,所述对训练完成的网络模型进行剪枝是剪除模型中小于某个阈值的冗余权重,方法是将这些权重值代替为0,通过剪枝算法获得稀疏权重的参数空间。
本发明由于采用了上述方法,对剪枝完成的稀疏参数空间进行语义分析,将整个参数空间分割为少量具有相似语义的超参数区域,使用超参数对整个参数空间进行描述,从而实现参数空间的整体压缩。同现有技术相比,本发明不再以单个参数为单位,而是以超参数区域为单位进行处理,既挖掘出参数之间的相互关联,又压缩了待存储的参数数量,因此模型整体压缩比要远高于聚类量化方法的压缩比。
下面结合附图和具体实施方式对本发明做进一步说明。
附图说明
图1为本发明方法流程图;
图2为本发明实施例中语义分割步骤参数空间初始划定示意图;
图3为本发明实施例中语义分割步骤查找每个区域中心词汇位置示意图;
图4为本发明实施例中语义分割步骤相近参数搜索及中心词汇更新示意图;
图5为本发明实施例中语义分割完成示意图;
图6为本发明实施例中模型存储格式示意图。
具体实施方式
参看图1,本发明一种基于语义分割的检测模型压缩方法,其步骤为:
(一)剪枝:
1) 输入卷积核权重。
2)对训练完成的网络模型进行剪枝,剪除模型中小于某个阈值的冗余权重,方法是将这些权重值代替为0,通过剪枝算法获得稀疏权重的参数空间。而这些0元素很大程度上成为语义分割时边界查找的辅助信息。可以有效地帮助语义分割模块。
(二)语义分割:
1)对参数空间进行语义分割,获取超参数块和中心词汇,计算超参数块中心位置,方法是:
Figure 870279DEST_PATH_IMAGE002
对参数空间进行区域初始划定,如图2所示。
Figure 201903DEST_PATH_IMAGE004
在每个区域中查找能量最低位置,作为中心词汇初始位置,如图3所示。
Figure 784194DEST_PATH_IMAGE006
在每个区域1.5*1.5倍的范围内开始搜索与中心词汇语义相近的参数,搜索相近参数公式为:
Figure 804365DEST_PATH_IMAGE008
,其中
Figure 825411DEST_PATH_IMAGE010
为第i个权值,
Figure 355749DEST_PATH_IMAGE012
为第k个中心词权值,
Figure 233575DEST_PATH_IMAGE014
为权值中最大值,
Figure 380523DEST_PATH_IMAGE016
Figure 1997DEST_PATH_IMAGE018
为第i个权值位置坐标,
Figure 652421DEST_PATH_IMAGE020
Figure 934105DEST_PATH_IMAGE022
为第k个中心词汇位置坐标,m为区域初始大小。
2)使用中心词汇更新原有参数空间,如图4所示。
3)判断当前中心词汇与上一中心词汇变化是否小于指定阈值,如果大于则继续搜索与中心词汇相近参数,并更新中心词汇返回步骤2);小于阈值则结束中心词汇更新。完成参数空间语义分割,如图5所示。
(三)模型存储:
将训练得到的超参数块边界位置、参数块中心位置、和中心词汇值进行保存。
本发明中,经语义分割完成的参数空间,每个区域具有相同的权值信息,即同一个中心词汇。存储时不再对每个参数进行存储,而是以超参数为单位进行存储。即只存储超参数边界信息,中心位置及对应的词汇值。通过边界信息,中心位置及对应词汇可无损重构整个参数空间,从而实现模型存储上的极大压缩。
本发明方法在存储位置信息时不再保存绝对距离,而是以相对距离形式进行保存,并设置最长间隔。当相对距离大于最长间隔时补零,保存减去间隔后的剩余长度。参看图6,第一个边界位置4相对起始位置距离为3,则保存3。第二个边界相对第一个边界距离为11大于最长间隔8,则补零后,保存减去最长间隔后的剩余距离3。中心词汇位置也以这种方式进行存储。这种相对距离存储方式将位置值压缩为少量几个比特就可以全部表示,大大压缩了存储空间。
本发明方法使用中的处理流程是:首先对训练完成的网络模型进行剪枝,获得剪枝后的稀疏权重参数空间。再对该参数空间进行语义分割,获取中心词汇,使用中心词汇替换原有权重参数。测试模型性能判断是否达到要求,没有则重新训练网络模型,更新中心词汇,并使用新词汇更新原有权重。达到则结束训练。将训练得到的超参数边界,中心词汇位置及真实值进行保存。
下面定量分析本发明相较于聚类压缩方法的优势所在,设当前存在
Figure 630665DEST_PATH_IMAGE024
个参数,其中有n个非零值,聚m个类,最长间距为8,则聚类量化压缩方法需要保存非零值位置为
Figure 665617DEST_PATH_IMAGE026
比特,中心索引为
Figure 826340DEST_PATH_IMAGE028
比特,m个单精度类型中心值。一般情况下m至少为8,其数量会随着参数量增加而增加。
本发明将
Figure 655756DEST_PATH_IMAGE024
大小参数划分为
Figure 839613DEST_PATH_IMAGE030
块,在稀疏参数空间中,0元素基本成为超参数区域分界线,因此超参数边界存储最多为
Figure 304354DEST_PATH_IMAGE026
比特。中心词汇位置存储为
Figure 663792DEST_PATH_IMAGE032
比特及
Figure 54322DEST_PATH_IMAGE030
个单精度中心词汇值。由上面分析可知
Figure 397578DEST_PATH_IMAGE034
>>3,相同参数量下m也要大于
Figure 164546DEST_PATH_IMAGE030
,n>>
Figure 644069DEST_PATH_IMAGE030
Figure 408763DEST_PATH_IMAGE036
,其中size(float)表示单精度类型数据长度,“<<”表示远小于。即本发明压缩比要远大于聚类压缩算法。
本领域技术人员根据本发明方法理念结合本领域相关知识所做的等同替换,如将剪枝方法替换为其他参数空间稀疏化处理方法,或将结合中心词汇更新方法替换为根据具体场景分析增加约束条件的中心词汇更新方法等均属于本发明的保护范围。

Claims (2)

1.一种基于语义分割的检测模型压缩方法,其步骤为:
(一)剪枝:
1)输入卷积核权重;
2)对训练完成的网络模型进行剪枝,获得稀疏权重的参数空间;
(二)语义分割:
1)对参数空间进行语义分割,获取超参数块和中心词汇,计算超参数块中心位置,方法是:
Figure DEST_PATH_IMAGE002
对参数空间进行区域初始划定;
Figure DEST_PATH_IMAGE004
在每个区域中查找能量最低位置,作为中心词汇初始位置;
Figure DEST_PATH_IMAGE006
在每个区域1.5*1.5倍的范围内开始搜索与中心词汇语义相近的参数,搜索相近参数公式为:
Figure DEST_PATH_IMAGE008
,其中
Figure DEST_PATH_IMAGE010
为第i个权值,
Figure DEST_PATH_IMAGE012
为第k个中心词权值,
Figure DEST_PATH_IMAGE014
为权值中最大值,
Figure DEST_PATH_IMAGE016
Figure DEST_PATH_IMAGE018
为第i个权值位置坐标,
Figure DEST_PATH_IMAGE020
Figure DEST_PATH_IMAGE022
为第k个中心词汇位置坐标,m为区域初始大小;
2)使用中心词汇更新原有参数空间;
3)判断当前中心词汇与上一中心词汇变化是否小于指定阈值,如果大于则继续搜索与中心词汇相近参数,并更新中心词汇返回步骤2);小于阈值则结束中心词汇更新;
(三)模型存储:
将训练得到的超参数块边界位置、参数块中心位置、和中心词汇值进行保存;在存储位置信息时不再保存绝对距离,而是以相对距离形式进行保存,并设置最长间隔;当相对距离大于最长间隔时补零,保存减去间隔后的剩余长度;中心词汇位置也以这种方式进行存储。
2.根据权利要求1所述基于语义分割的检测模型压缩方法,其特征在于,所述对训练完成的网络模型进行剪枝是剪除模型中小于某个阈值的冗余权重,方法是将这些权重值代替为0,通过剪枝算法获得稀疏权重的参数空间。
CN201910259127.8A 2019-04-02 2019-04-02 一种基于语义分割的检测模型压缩方法 Active CN109993304B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910259127.8A CN109993304B (zh) 2019-04-02 2019-04-02 一种基于语义分割的检测模型压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910259127.8A CN109993304B (zh) 2019-04-02 2019-04-02 一种基于语义分割的检测模型压缩方法

Publications (2)

Publication Number Publication Date
CN109993304A CN109993304A (zh) 2019-07-09
CN109993304B true CN109993304B (zh) 2020-12-15

Family

ID=67132198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910259127.8A Active CN109993304B (zh) 2019-04-02 2019-04-02 一种基于语义分割的检测模型压缩方法

Country Status (1)

Country Link
CN (1) CN109993304B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663662B (zh) * 2022-05-23 2022-09-09 深圳思谋信息科技有限公司 超参数搜索方法、装置、计算机设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304928A (zh) * 2018-01-26 2018-07-20 西安理工大学 基于改进聚类的深度神经网络的压缩方法
CN109002889B (zh) * 2018-07-03 2021-12-17 华南理工大学 自适应迭代式卷积神经网络模型压缩方法
CN109359724A (zh) * 2018-09-26 2019-02-19 济南浪潮高新科技投资发展有限公司 一种压缩存储卷积神经网络模型的方法及装置
CN109445935B (zh) * 2018-10-10 2021-08-10 杭州电子科技大学 云计算环境下一种高性能大数据分析系统自适应配置方法

Also Published As

Publication number Publication date
CN109993304A (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
CN108764471B (zh) 基于特征冗余分析的神经网络跨层剪枝方法
CN109087258B (zh) 一种基于深度学习的图像去雨方法及装置
CN110619385B (zh) 基于多级剪枝的结构化网络模型压缩加速方法
CN109002889B (zh) 自适应迭代式卷积神经网络模型压缩方法
CN111062382A (zh) 用于目标检测网络的通道剪枝方法
CN111612144B (zh) 一种应用于目标检测的剪枝方法及终端
CN111079899A (zh) 神经网络模型压缩方法、系统、设备及介质
CN111667068A (zh) 一种基于掩码的深度图卷积神经网络模型剪枝方法与系统
CN113283473B (zh) 一种基于cnn特征映射剪枝的快速水下目标识别方法
CN109635935A (zh) 基于模长聚类的深度卷积神经网络模型自适应量化方法
CN111739051B (zh) 一种基于残差网络的多序列mri图像分割方法
WO2021103597A1 (zh) 一种神经网络的模型压缩的方法和设备
CN113065653B (zh) 面向移动端图像分类的轻量级卷积神经网络的设计方法
CN110674939A (zh) 基于剪枝阈值自动搜索的深度神经网络模型压缩方法
CN109598676A (zh) 一种基于哈达玛变换的单幅图像超分辨率方法
JP2019530119A (ja) エンドツーエンドモデリング方法及びシステム
CN113420651B (zh) 深度卷积神经网络的轻量化方法、系统及目标检测方法
CN114283080A (zh) 一种多模态特征融合的文本指导图像压缩噪声去除方法
CN113657421A (zh) 卷积神经网络压缩方法和装置、图像分类方法和装置
CN109993304B (zh) 一种基于语义分割的检测模型压缩方法
CN113111889A (zh) 用于边缘计算端的目标检测网络处理方法
CN116363149A (zh) 一种基于U-Net改进的医学图像分割方法
CN117671271A (zh) 模型训练方法、图像分割方法、装置、设备和介质
CN113947538A (zh) 一种多尺度高效卷积自注意力单幅图像除雨方法
CN113177580A (zh) 基于通道重要性剪枝与二值量化的图像分类系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant