CN112396178B - 一种提高cnn网络压缩效率的方法 - Google Patents

一种提高cnn网络压缩效率的方法 Download PDF

Info

Publication number
CN112396178B
CN112396178B CN202011258076.6A CN202011258076A CN112396178B CN 112396178 B CN112396178 B CN 112396178B CN 202011258076 A CN202011258076 A CN 202011258076A CN 112396178 B CN112396178 B CN 112396178B
Authority
CN
China
Prior art keywords
cnn network
cnn
network
weight
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011258076.6A
Other languages
English (en)
Other versions
CN112396178A (zh
Inventor
王堃
管星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Yuspace Intelligent Technology Co ltd
Original Assignee
Wuxi Yuspace Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Yuspace Intelligent Technology Co ltd filed Critical Wuxi Yuspace Intelligent Technology Co ltd
Priority to CN202011258076.6A priority Critical patent/CN112396178B/zh
Publication of CN112396178A publication Critical patent/CN112396178A/zh
Application granted granted Critical
Publication of CN112396178B publication Critical patent/CN112396178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种提高CNN网络压缩效率的方法。其通过融合灵敏度分析、剪枝算法、设置Dropout率减少神经元激活数量、动态定点量化和稀疏索引等多种方式,利用Caffe框架对CNN网络进行压缩,降低CNN网络的计算复杂度,综合提高CNN的网络压缩效率。通过本发明所获得的CNN网络具有通用化、网络改动小、精度损失小的优势,能够在保证压缩率的基础上,进一步的避免现有单一压缩方式处理效果的局限性,保证CNN网络的识别效果。

Description

一种提高CNN网络压缩效率的方法
技术领域
本申请涉及图像处理技术领域,具体而言涉及一种提高CNN网络压缩效率的方法。
背景技术
现有卷积神经网络(CNN)在计算机视觉、语音识别和医疗影像处理等领域取得了巨大的成就,但其过高的存储代价以及计算复杂度,严重制约了深度学习在嵌入式移动设备上的部署。因此,对于卷积神经网络的压缩效率研究就变得尤为重要。
现有的常见压缩方法有低秩近似、参数量化、剪枝与稀疏约束、二值网络等。其中:
剪枝算法约束可以修剪网络连接,以保持原有的准确性。其在初始训练阶段之后,可移除所有权重低于阈值的连接。这种修剪方式可以将密集、完全连接的层转换为稀疏层,而着重学习重要的连接,而同时删除不重要的连接。然后重新训练稀疏网络,就可以利用剩余的连接补偿已删除的连接。修剪和再训练的阶段可以迭代地重复,以进一步降低网络复杂性。
参数量化可通过分析权值的动态范围,找到一个好的不动点表示,对浮点进行到定点的量化。从而通过对网络部分的量化,在小数表示和分类精度之间找到一个很好的折衷。
以上的各压缩方法在实际的应用中,虽然实现了压缩,但往往也具有一定的弊端:其中,低秩近似方法在网络规模较大时,矩阵分解空间大,计算量大;剪枝与稀疏压缩方法对原始网络改动大,重新训练困难;参数量化方法需要专用的运算库计算,通用化能力不足;二值网络方法精度损失大。
发明内容
本申请针对现有技术的不足,提供一种提高CNN网络压缩效率的方法,本申请针对现有CNN网络压缩效率较低和计算复杂度较高的问题,通过融合多种压缩方法最终有效提高CNN的网络压缩效率。本申请具体采用如下技术方案。
首先,为实现上述目的,提出一种提高CNN网络压缩效率的方法,其步骤包括:第一步,分别计算不同输入对于整个CNN网络输出的灵敏度对不同输入所分别对应的灵敏度取平均值,获得平均灵敏度为其中,p表示不同输入所分别对应的编号;第二步,选择全部输入分别对于整个CNN网络的灵敏度的向量中最小的分量值,删除与该最小分量值相对应的输入节点后,对应找出CNN网络各层的剪枝阈值,利用剪枝阈值确定裁剪权重,按照裁剪权重相应对CNN网络中各层执行剪枝步骤;第三步,按照CNN网络中各层的连接数计算更新Dropout率,按照Dropout率分别设置CNN网络中各神经元的激活状态,对所述CNN网络进行再训练;第四步,对所述CNN网络进行动态定点量化,将CNN网络从32位浮动权重调整至具有8位固定权重;第五步,使用8位稀疏索引分别表示第四步中权重的三维数据中的位置;第六步,使用Caffe框架对第一步至第五步预处理后的CNN网络进行压缩,使用训练数据集训练所述CNN网络。
可选的,如上任一所述的提高CNN网络压缩效率的方法,其中,所述第一步中,具体按照以下步骤计算不同输入对于整个CNN网络输出的灵敏度:根据CNN网络的结构和权值,建立矩阵S(p)=O(p)'×W×Y(p)'×V,其中,其中W表示CNN网络的输出层的权值矩阵,V表示CNN网络的输入层的权值矩阵,表示CNN网络中的各输入向量,表示CNN网络中的隐节点的活动函数;根据矩阵S计算I个输入分别对于整个网络的灵敏度分别表示为其中,
可选的,如上任一所述的提高CNN网络压缩效率的方法,其中,所述第三步中,按照CNN网络中各层的连接数计算更新Dropout率的步骤具体包括:计Li为CNN网络中第i层中的连接数,计原始CNN网络中的连接数为Lio,计Si表示CNN网络中第i层中的神经元的数量,计重新训练后的CNN网络的连接数为Lir,其中,Li与Si满足等式Li=SiSi-1,则修剪参数后的Dropout率其中Do表示训练前原始Dropout率,Dr表示重新训练期间的Dropout率。
可选的,如上任一所述的提高CNN网络压缩效率的方法,其中,所述第四步中,对所述CNN网络进行动态定点量化,将CNN网络从32位浮动权重调整至具有8位固定权重的具体步骤包括:步骤401,以所述CNN网络作为输入,分析其权值的动态范围,确定一个不动点表示,根据32位浮动权重四舍五入的最近值进行从浮点到定点的量化;步骤402,以正向路径向CNN网络输入训练图像,分析CNN网络所生成的激活层以确定有效量化的统计参数;步骤403,为定点数的整数部分分配足够位数,然后执行二进制搜索,找到卷积权重、完全连接权重和层输出的最佳位数;步骤404,依次迭代量化卷积层、完全连接层以及输出层中各网络的权重,对CNN网络进行训练,找到卷积层、完全连接层以及输出层的权重的最佳比特宽度,将CNN网络从32位浮动权重调整至具有8位固定权重。
可选的,如上任一所述的提高CNN网络压缩效率的方法,其中,所述第五步中,使用8位稀疏索引分别表示第四步中权重的三维数据中的位置时,对超出系数索引表示范围的权重由8位系数索引的最大值添零表示。
可选的,如上任一所述的提高CNN网络压缩效率的方法,其中,所述第五步中,使用8位稀疏索引分别表示第四步中权重的三维数据后CNN网络的压缩率CR=100/(%W*(WBW+SIBW)/32),其中,%W表示最终稀疏权重百分比,WBW为权重位宽度(8),SIBW为稀疏索引位宽度(8)。
可选的,如上任一所述的提高CNN网络压缩效率的方法,其中,所述第一步中,输出向量ok对输入xi的灵敏度为
可选的,如上任一所述的提高CNN网络压缩效率的方法,其中,所述第一步中还将神经网络对灵敏度的计算修正为具有P个输入,通过分别计算每个输入的灵敏度后,对所有P个输入的灵敏度求其各对应分量的平均值作为判断标准,从CNN网络中删除灵敏度达不到平均值的相应连接。
可选的,如上任一所述的提高CNN网络压缩效率的方法,其中,所述第六步中具体使用VGG16-SSD模型训练数据集,进行训练和识别。
有益效果
本申请通过融合灵敏度分析、剪枝算法、设置Dropout率减少神经元激活数量、动态定点量化和稀疏索引等多种方式,利用Caffe框架对CNN网络进行压缩,降低CNN网络的计算复杂度,综合提高CNN的网络压缩效率。通过本发明所获得的CNN网络具有通用化、网络改动小、精度损失小的优势,能够在保证压缩率的基础上,进一步的避免现有单一压缩方式的局限性,保证CNN网络的识别效果。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。
附图说明
附图用来提供对本申请的进一步理解,并且构成说明书的一部分,并与本申请的实施例一起,用于解释本申请,并不构成对本申请的限制。在附图中:
图1是本申请的提高CNN网络压缩效率的方法的步骤流程示意图;
图2是本申请中进行动态定点量化的步骤流程图。
具体实施方式
为使本申请实施例的目的和技术方案更加清楚,下面将结合本申请实施例的附图,对本申请实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于所描述的本申请的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
图1为根据本申请的一种提高CNN网络压缩效率的方法,其步骤包括:
第一步,分别计算不同输入对于整个CNN网络输出的灵敏度对不同输入所分别对应的灵敏度取平均值,获得平均灵敏度为其中,p表示不同输入所分别对应的编号;
第二步,选择全部输入分别对于整个CNN网络的灵敏度的向量中最小的分量值,删除与该最小分量值相对应的输入节点后,对应找出CNN网络各层的剪枝阈值,利用剪枝阈值确定裁剪权重,按照裁剪权重相应对CNN网络中各层执行剪枝步骤;
第三步,按照CNN网络中各层的连接数计算更新Dropout率,按照Dropout率分别设置CNN网络中各神经元的激活状态,对所述CNN网络进行再训练;
第四步,对所述CNN网络进行动态定点量化,将CNN网络从32位浮动权重调整至具有8位固定权重;
第五步,使用8位稀疏索引分别表示第四步中权重的三维数据中的位置;
第六步,使用Caffe框架对第一步至第五步预处理后的CNN网络进行压缩,使用训练数据集训练所述CNN网络。
由此,本发明能够通过融合灵敏度分析、剪枝算法、设置Dropout率减少神经元激活数量、动态定点量化和稀疏索引等多种方式,利用Caffe框架对CNN网络进行压缩,降低CNN网络的计算复杂度,综合提高CNN的网络压缩效率。本发明由此所获得的CNN网络着重解决了计算复杂度问题。需要注意的是在再训练的情况下使用剪枝网络可以避免CNN网络处理精度会受到显著影响。本发明通过融合多种压缩方法最终实现有效提高CNN的网络压缩效率的效果。
未来卷积神经网络的压缩方法还需要考虑更多方面,比如在通用化、网络改动小、精度损失小等综合性能突出的压缩方法上,以最大化提升性能。针对这一需求,本发明可以在具体实现时通过以下的步骤,针对图像识别和图像分类领域中,CNN压缩效果不理想的问题进行CNN网络的压缩:
1.首先进行灵敏度分析,定义输出ok对输入xi的灵敏度为神经网络对灵敏度计算修正为P个输入,通过计算每个输入的灵敏度后,对所有P个输入的灵敏度求其各对应分量的平均值来作为判断标准。其中采用标准的反向传播算法计算所给出的灵敏度,根据实际的网络结构和权值,可得矩阵S(p)=O(p)'×W×Y(p)'×V,其中W是输出层的权值矩阵,V是输入层的权值矩阵, 输出节点的活动函数是o=f(net),隐节点的活动函数是y=f(net),则可根据矩阵S计算I个输入对于整个网络的灵敏度,向量可表示为最终可得平均灵敏度为
2.利用剪枝阈值对剪枝过程进行处理,根据阈值裁剪权重。选择向量s’中最小的分量值,删除相对应的输入节点,找出神经网络各层的剪枝阈值。它是一个寻找阈值的过程,在不降低性能的情况下,只改变层的修剪阈值。
修剪网络连接,以保持原有的准确性。在初始训练阶段之后,我们移除所有权重低于阈值的连接。此修剪将密集、完全连接的层转换为稀疏层。学习哪些连接是重要的,并删除不重要的连接。然后重新训练稀疏网络,以便剩余的连接可以补偿已删除的连接。修剪和再训练的阶段可以迭代地重复,以进一步降低网络复杂性。
3.采用Dropout对神经网络进行再训练,根据步骤2可知剪枝已经减少了模型容量,再培训的Dropout率应该更小。令Li为层i中的连接数,原始网络的连接数为Lio,重新训练后的网络的连接数是Lir,Si是层i中的神经元的数量。Dropout对神经元起作用,并且Li与Si呈二次方变化,根据等式Li=SiSi-1,修剪参数后的Dropout率遵循等式其中Do表示原始Dropout率,Dr表示再训练期间的Dropout率。
4.执行量化处理以进一步增加压缩率,量化处理如图2所示,其使用了“动态定点量化”的量化算法。已知Ristretto以一个经过训练的模型作为输入,Ristretto可以对量化网络进行微调,将浮点网络通过以下步骤压缩为定点。
首先分析权值的动态范围,确定一个好的不动点表示,进行从浮点到定点的量化,使用四舍五入的最近值。然后在正向路径上运行几千个图像,分析生成的层激活以生成所需的有效量化的统计参数。Ristretto在定点数的整数部分使用足够的位来避免层激活的饱和。接下来,Ristretto执行二进制搜索,以找到卷积权重、完全连接权重和层输出的最佳位数,在这个步骤中,某个网络部分被量化,而其余部分则保持浮点。此时,卷积层和完全连接层的权重以及层输出应该使用独立的比特宽度,迭代量化其中一个网络部分找到每个部分的最佳比特宽度。为了测试准确度,在小数表示和分类精度之间找到了一个很好的折衷之后,得到的不动点网络将被重新训练。其中,对于所有目标网络,量化从32位浮动权重应用到8位固定权重。
为了弥补量化带来的精度下降,对上述步骤所得到的定点网络还可进行微调,微调过程中的采样课采用随机舍入法。
根据步骤4可知增加稀疏索引对压缩率有一定的提升。CNN网络对低精度权重值具有非常高的。
5.容忍度,可以只存储非常少量的权重值,比如使用8位稀疏索引来表示原始权重三维数据中的位置而不用原来的32位,超出可由8位表示最大值(255),则添加零。%W表示最终稀疏权重百分比,包括加上这些零。CR定义为压缩率,WBW为权重位宽度(8),SIBW为稀疏索引位宽度(8),压缩率计算:
CR=100/(%W*(WBW+SIBW)/32)
6.使用Caffe框架对预处理后的CNN网络进行了压缩,使用VGG16-SSD模型训练自己的数据集做识别。
Caffe全称Convolutional Architecture for Fast Feature Embedding,是一个兼具表达性、速度和思维模块化的深度学习框架。虽然其内核是用C++编写的,但Caffe有Python和Matlab相关接口。Caffe支持多种类型的深度学习架构,面向图像分类和图像分割,还支持CNN、RCNN、LSTM和全连接神经网络设计。Caffe提供了一套完整的层类型,包括:卷积、池、内积、非线性(如校正线性和逻辑)、局部响应规范化、元素操作和损耗(如softmax和hinge)。可以通过Caffe框架对CNN网络进行压缩。
考虑到单一的压缩方法并不能达到最好的压缩效果,因此,本发明通过上述方式融合多种压缩方法应用到CNN网络,即使用Caffe框架对CNN网络进行压缩时,增加了灵敏度分析、剪枝、量化等方法,降低计算复杂度,从而有效提高CNN的网络压缩效率
由此,本申请通过使用Caffe框架对CNN网络进行压缩时,增加了灵敏度分析、剪枝、量化等方法,从而提高CNN的网络压缩效率。对于所提出的融合多种压缩技术来有效实现CNN压缩效率提高的综合方法,与Top5基线精度相比,性能下降了0.7~7%,可能由于学习时间短,不足10个时代。如果对足够长的时间,精度将达到基线。
经实验证明,在除挤压网外的所有网络中,%W在7.22~39.08之间,这意味着超过一半的权重被消除。对于挤压网来说,由于它是为了最小化冗余重量而开发的,所以它的压缩率不像其他压缩网那样高。最后,尽管增加了稀疏索引,但本发明压缩率CR是原始CNN网络的3到27倍。
以上仅为本申请的实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些均属于本申请的保护范围。

Claims (8)

1.一种提高CNN网络压缩效率的方法,其特征在于,应用于图像识别和图像分类领域中,步骤包括:
第一步,分别计算不同输入对于整个CNN网络输出的灵敏度, 对不同输入所分别对应的灵敏度取平均值,获得平均灵敏度为, 其中,p表示不同输入所分别对应的编号;
第二步,选择全部输入分别对于整个CNN网络的灵敏度的向量 中最小的分量值,删除与该最小分量值相对应的输入节点后,对应找出CNN网络各层的剪枝阈值,利用剪枝阈值确定裁剪权重,按照裁剪权重相应对CNN网络中各层执行剪枝步骤;
第三步,按照CNN网络中各层的连接数计算更新Dropout率,按照Dropout率分别设置CNN网络中各神经元的激活状态,对所述CNN网络进行再训练;
第四步,对所述CNN网络进行动态定点量化,将CNN网络从32位浮动权重调整至具有8位固定权重;
第五步,使用8位稀疏索引分别表示第四步中权重的三维数据中的位置;
第六步,使用Caffe框架对第一步至第五步预处理后的CNN网络进行压缩,使用训练数据集训练所述CNN网络;
所述第四步中,对所述CNN网络进行动态定点量化,将CNN网络从32位浮动权重调整至具有8位固定权重的具体步骤包括:步骤401,以所述CNN网络作为输入,分析其权值的动态范围,确定一个不动点表示,根据32位浮动权重四舍五入的最近值进行从浮点到定点的量化;
步骤402,以正向路径向CNN网络输入训练图像,分析CNN网络所生成的激活层以确定有效量化的统计参数;
步骤403,为定点数的整数部分分配足够位数,然后执行二进制搜索,找到卷积权重、完全连接权重和层输出的最佳位数;
步骤404,依次迭代量化卷积层、完全连接层以及输出层中各网络的权重,对CNN网络进行训练,找到卷积层、完全连接层以及输出层的权重的最佳比特宽度,将CNN网络从32位浮动权重调整至具有8位固定权重。
2.如权利要求1所述的提高CNN网络压缩效率的方法,其特征在于,所述第一步中,具体按照以下步骤计算不同输入对于整个CNN网络输出的灵敏度:
根据CNN网络的结构和权值,建立矩阵S(p)=O(p)'×W×Y(p)'×V,其中,W表示CNN网络的输出层的权值矩阵,V表示CNN网络的输入层的权值矩阵,表示CNN网络中的各输入向量, 表示CNN网络中的隐节点的活动函数;
根据矩阵S计算I个输入分别对于整个CNN网络的灵敏度分别表示为,其中,
3.如权利要求2所述的提高CNN网络压缩效率的方法,其特征在于,所述第三步中,按照CNN网络中各层的连接数计算更新Dropout率的步骤具体包括:计Li为CNN网络中第i层中的连接数,计原始CNN网络中的连接数为Lio,计Si表示CNN网络中第i层中的神经元的数量,计重新训练后的CNN网络的连接数为Lir,其中,Li与Si满足等式Li=SiSi-1,则修剪参数后的Dropout率, 其中Do表示训练前原始Dropout率,Dr表示重新训练期间的Dropout率。
4.如权利要求1-3任一所述的提高CNN网络压缩效率的方法,其特征在于,所述第五步中,使用8位稀疏索引分别表示第四步中权重的三维数据中的位置时,对超出系数索引表示范围的权重由8位系数索引的最大值添零表示。
5.如权利要求1所述的提高CNN网络压缩效率的方法,其特征在于,所述第五步中,使用8位稀疏索引分别表示第四步中权重的三维数据后CNN网络的压缩率CR=100/(%W*(WBW+SIBW)/32),其中,%W表示最终稀疏权重百分比,WBW为权重位宽度(8),SIBW为稀疏索引位宽度(8)。
6.如权利要求2所述的提高CNN网络压缩效率的方法,其特征在于,所述第一步中,输出向量ok对输入xi的灵敏度为
7.如权利要求6所述的提高CNN网络压缩效率的方法,其特征在于,所述第一步中还将神经网络对灵敏度的计算修正为具有P个输入,通过分别计算每个输入的灵敏度后,对所有P个输入的灵敏度求其各对应分量的平均值作为判断标准,从CNN网络中删除灵敏度达不到平均值的相应连接。
8.如权利要求2所述的提高CNN网络压缩效率的方法,其特征在于,所述第六步中具体使用VGG16-SSD模型训练数据集,进行训练和识别。
CN202011258076.6A 2020-11-12 2020-11-12 一种提高cnn网络压缩效率的方法 Active CN112396178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011258076.6A CN112396178B (zh) 2020-11-12 2020-11-12 一种提高cnn网络压缩效率的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011258076.6A CN112396178B (zh) 2020-11-12 2020-11-12 一种提高cnn网络压缩效率的方法

Publications (2)

Publication Number Publication Date
CN112396178A CN112396178A (zh) 2021-02-23
CN112396178B true CN112396178B (zh) 2024-08-02

Family

ID=74600194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011258076.6A Active CN112396178B (zh) 2020-11-12 2020-11-12 一种提高cnn网络压缩效率的方法

Country Status (1)

Country Link
CN (1) CN112396178B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679617A (zh) * 2016-08-22 2018-02-09 北京深鉴科技有限公司 多次迭代的深度神经网络压缩方法
CN108009625A (zh) * 2016-11-01 2018-05-08 北京深鉴科技有限公司 人工神经网络定点化后的微调方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10621486B2 (en) * 2016-08-12 2020-04-14 Beijing Deephi Intelligent Technology Co., Ltd. Method for optimizing an artificial neural network (ANN)
CN109688990A (zh) * 2016-09-06 2019-04-26 新感知公司 用于向用户提供附属感觉信息的方法和系统
CN110210618A (zh) * 2019-05-22 2019-09-06 东南大学 动态修剪深度神经网络权重和权重共享的压缩方法
CN110276450B (zh) * 2019-06-25 2021-07-06 交叉信息核心技术研究院(西安)有限公司 基于多粒度的深度神经网络结构化稀疏系统和方法
CN110443359A (zh) * 2019-07-03 2019-11-12 中国石油大学(华东) 基于自适应联合剪枝-量化的神经网络压缩算法
CN110568445A (zh) * 2019-08-30 2019-12-13 浙江大学 一种轻量化卷积神经网络的激光雷达与视觉融合感知方法
CN110880038B (zh) * 2019-11-29 2022-07-01 中国科学院自动化研究所 基于fpga的加速卷积计算的系统、卷积神经网络

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679617A (zh) * 2016-08-22 2018-02-09 北京深鉴科技有限公司 多次迭代的深度神经网络压缩方法
CN108009625A (zh) * 2016-11-01 2018-05-08 北京深鉴科技有限公司 人工神经网络定点化后的微调方法和装置

Also Published As

Publication number Publication date
CN112396178A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
US20210089922A1 (en) Joint pruning and quantization scheme for deep neural networks
CN111079781B (zh) 基于低秩与稀疏分解的轻量化卷积神经网络图像识别方法
US11403528B2 (en) Self-tuning incremental model compression solution in deep neural network with guaranteed accuracy performance
CN110969251B (zh) 基于无标签数据的神经网络模型量化方法及装置
US12067495B2 (en) Neural network activation compression with non-uniform mantissas
CN109002889B (zh) 自适应迭代式卷积神经网络模型压缩方法
CN110309904B (zh) 一种神经网络压缩方法
CN114402596B (zh) 神经网络模型解码方法、装置、系统和介质
CN113837940A (zh) 基于密集残差网络的图像超分辨率重建方法及系统
CN108197707A (zh) 基于全局误差重建的卷积神经网络的压缩方法
CN109523016B (zh) 面向嵌入式系统的多值量化深度神经网络压缩方法及系统
CN114970853A (zh) 一种跨范围量化的卷积神经网络压缩方法
CN111160524A (zh) 一种两阶段的卷积神经网络模型压缩方法
CN110188877A (zh) 一种神经网络压缩方法与装置
CN116188878A (zh) 基于神经网络结构微调的图像分类方法、装置和存储介质
CN114154626B (zh) 一种用于图像分类任务的滤波器剪枝方法
CN114943335A (zh) 一种三值神经网络逐层优化方法
Park et al. Squantizer: Simultaneous learning for both sparse and low-precision neural networks
Lee et al. Retraining-based iterative weight quantization for deep neural networks
CN112396178B (zh) 一种提高cnn网络压缩效率的方法
CN116956997A (zh) 用于时序数据处理的lstm模型量化重训练方法、系统及设备
CN115905546B (zh) 基于阻变存储器的图卷积网络文献识别装置与方法
CN112488291A (zh) 一种神经网络8比特量化压缩方法
CN116227563A (zh) 一种基于数据量化的卷积神经网络压缩与加速方法
CN113177627B (zh) 优化系统、重新训练系统及其方法及处理器和可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220106

Address after: 2209-c1, No. 19, Erquan East Road, Huizhi enterprise center, Xishan District, Wuxi City, Jiangsu Province, 214000

Applicant after: Wuxi yuspace Intelligent Technology Co.,Ltd.

Address before: Room 1101, block C, Kangyuan smart port, No. 50, Jiangdong Street, Jialing, Jianye District, Nanjing City, Jiangsu Province, 210000

Applicant before: Jiangsu Yu Space Technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220916

Address after: Room 1101, block C, Kangyuan smart port, No. 50, Jiangdong Street, Jialing, Jianye District, Nanjing City, Jiangsu Province, 210000

Applicant after: Jiangsu Yu Space Technology Co.,Ltd.

Address before: 2209-c1, No. 19, Erquan East Road, Huizhi enterprise center, Xishan District, Wuxi City, Jiangsu Province, 214000

Applicant before: Wuxi yuspace Intelligent Technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230824

Address after: 2209-c1, No. 19, Erquan East Road, Huizhi enterprise center, Xishan District, Wuxi City, Jiangsu Province, 214000

Applicant after: Wuxi yuspace Intelligent Technology Co.,Ltd.

Address before: Room 1101, block C, Kangyuan smart port, No. 50, Jiangdong Street, Jialing, Jianye District, Nanjing City, Jiangsu Province, 210000

Applicant before: Jiangsu Yu Space Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant