CN108322221A - 一种用于深度卷积神经网络模型压缩的方法 - Google Patents

一种用于深度卷积神经网络模型压缩的方法 Download PDF

Info

Publication number
CN108322221A
CN108322221A CN201710038007.6A CN201710038007A CN108322221A CN 108322221 A CN108322221 A CN 108322221A CN 201710038007 A CN201710038007 A CN 201710038007A CN 108322221 A CN108322221 A CN 108322221A
Authority
CN
China
Prior art keywords
network
convolutional neural
neural networks
connection
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710038007.6A
Other languages
English (en)
Inventor
肖学锋
金连文
杨亚锋
常天海
刘汝杰
孙俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Fujitsu Ltd
Original Assignee
South China University of Technology SCUT
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Fujitsu Ltd filed Critical South China University of Technology SCUT
Priority to CN201710038007.6A priority Critical patent/CN108322221A/zh
Publication of CN108322221A publication Critical patent/CN108322221A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/70—Type of the data to be coded, other than image and sound

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种用于深度卷积神经网络模型压缩的方法，包括步骤：对于已经训练完成的深度卷积神经网络模型进行再训练，去除其中冗余的网络连接；对卷积神经网络的各网络层的剩余连接的权值进行编码；对卷积神经网络的各网络层的剩余连接的权值进行k‑means聚类；对聚类结果进行微调；保存微调后的结果，并对保存的文件进行哈夫曼编码。本发明通过动态阈值的设定，能够较平缓地去除网络中的连接，使网络能够从连接被去除的不利情况中恢复，从而能够达到相同准确率损失的情况下，压缩倍数较高的效果；在剩余连接编码过程中，使用的改进的CSR编码方法可以减少表示索引值所需要的比特位数，从而能够减小压缩文件的大小，提高压缩率。

Description

一种用于深度卷积神经网络模型压缩的方法
技术领域
本发明涉及深度学习和人工智能领域，尤其涉及一种用于深度卷积神经网络模型压缩的方法。
背景技术
近年来，深度学习算法在人工智能领域取得了一系列令人惊艳的结果，而深度卷积神经网络是目前在人工智能领域的分支计算机视觉领域中应用最为广泛、最为成功的深度学习算法之一。一般来说，为了解决更复杂的计算机视觉问题，卷积神经网络中就需要引入更多的神经元或者增加网络的层数，但这样势必导致网络中的参数变多，整个网络模型变大。例如用于解决ImageNet数据集分类问题的AlexNet深度卷积神经网络的模型大小达到了243.9M，这样大小的模型显然是无法部署到移动端或者是嵌入式等存储空间十分有限的设备上的。
发明内容
为克服现有技术的不足，在压缩深度卷积神经网络模型大小的同时保持其准确率基本不变，本发明提出一种用于深度卷积神经网络模型压缩的方法。
本发明的技术方案是这样实现的，一种用于深度卷积神经网络模型压缩的方法，包括步骤
S1：对于已经训练完成的深度卷积神经网络模型进行再训练，去除其中冗余的网络连接；
S2：对卷积神经网络的各网络层的剩余连接的权值进行编码；
S3：对卷积神经网络的各网络层的剩余连接的权值进行k-means聚类；
S4：对聚类结果进行微调；
S5：保存微调后的结果，并对保存的文件进行哈夫曼编码。
进一步地，步骤S1包括步骤
S11：对训练完成的深度卷积神经网络模型进行继续训练；
S12：对任一网络层进行训练时，每次迭代都去除该层中一些权值小于某一动态阈值的连接；
S13：当任一网络层中去除的连接数占该层原始连接数的比例达到预设的值时，固定此时的该网络层的动态阈值，对深度卷积神经网络进行继续训练；
S14：当训练次数达到最大训练次数时，停止训练。
进一步地，步骤S2包括步骤
S21：将各网络层连接的权值矩阵按行优先分别排列为一个行向量；
S22：对各个行向量进行改进的CSR编码。
进一步地，步骤S21中所述改进的CSR编码是指在存储非零值的位置时，用相对前一个非零值的位移来代替相对行首的位移，并当相对位移超过2k时，在该位置补0，并视此位置为非零值的位置，其他与标准CSR编码相同。
进一步地，步骤S3包括步骤
S31：获取各网络层的值向量；
S32：对各网络层值向量进行k-means聚类。
进一步地，步骤S4包括步骤
S41：利用步骤S3所得聚类结果和步骤S2的编码结果初始化各网络层的参数；
S42：设置求解参数，启动网络训练；
S43：在网络训练的过程中对聚类中心进行微调。
进一步地，步骤S43包括步骤
S431：根据当前网络参数对网络进行前向运算，得到网络的输出；
S432：根据网络的输出和此时网络的标签得到此时网络的损失值；
S433：利用网络损失值对网络进行反向传播，得到各层网络连接的梯度值；
S434：将属于同一个聚类中心的连接的梯度值加和，这样每一个聚类中心都有一个与之相对应的梯度加和值；
S435：将各聚类中心的值减去与其相对应的梯度加和值与此时网络学习率的乘积；
S436：将各网络连接的权值更新为该连接所属聚类中心的值；
S437：重复S431-S436直到网络训练收敛，停止训练。
进一步地，步骤S5包括步骤：
S51：将各个网络层的编码结果和微调之后的聚类结果保存成二进制文件；
S52：对所述二进制文件进行哈夫曼编码，保存为压缩文件。
本发明的有益效果在于，与现有技术相比，本发明的有益效果在于：
1.基于动态阈值去除网络冗余连接的过程中，通过动态阈值的设定，能够较平缓地去除网络中的连接，使网络能够从连接被去除的不利情况中恢复，从而能够达到相同准确率损失的情况下，压缩倍数较高的效果；
2.剩余连接编码过程中，使用的改进的CSR编码方法可以减少表示索引值所需要的比特位数，从而能够减小压缩文件的大小，提高压缩率。
附图说明
图1是本发明一种用于深度卷积神经网络模型压缩的方法流程图，
图2a-图2d是本发明中权值向量CSR编码的具体过程示例图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明主要用于解决深度卷积神经网络的模型压缩问题。通过基于动态阈去除网络冗余连接、剩余连接权值编码、权值聚类、聚类结果微调、结果压缩保存5个步骤，建立了一套解决深度卷积神经网络模型压缩的算法。该算法相比先前的算法能够在相同的准确率损失的条件下，取得更大的压缩倍数，整体流程如图1所示：
本发明包括步骤
S1：对于已经训练完成的深度卷积神经网络模型进行再训练，去除其中冗余的网络连接；
S2：对卷积神经网络的各网络层的剩余连接的权值进行编码；
S3：对卷积神经网络的各网络层的剩余连接的权值进行k-means聚类；
S4：对聚类结果进行微调；
S5：保存微调后的结果，并对保存的文件进行哈夫曼编码。
具体来说，首先要对训练完成且需要压缩的深度卷积神经网络模型进行继续训练，即使用该训练完成的模型来初始化网络参数，然后再继续训练。对某一网络层进行训练时，每次迭代都去除该层中一些权值小于某一动态阈值的网络连接。当某一网络层中去除的连接数占该层原始连接数的比例达到预设的值时，固定此时的该层的动态阈值，对网络进行继续训练。然后将各网络层连接的权值矩阵按行优先分别排列为一个行向量，接着对各个行向量进行改进的CSR编码。编码完成之后，对网络各层的剩余连接的权值进行k-means聚类。利用所得编码和聚类结果来初始化网络各层的参数。设置求解参数，重新启动网络训练，在网络训练的过程中对聚类中心进行微调。最后将编码和聚类的结果压缩保存。
以下分别对本发明的个主要步骤进行详细说明：
步骤S1：基于动态阈去除网络冗余连接。包括步骤：
S11：启动网络重训练。
用已经训练好的、待压缩的深度卷积神经网络模型中的参数来初始化一个与该深度卷积神经网络相同结构的深度卷积神经网络中的参数，然后设置各层网络预期将要去除的冗余连接的比例和求解器参数，最后启动网络训练。
S12：去除网络冗余连接。
在步骤S11的训练过程中，对网络中某一层进行训练时，都对该网络层的连接权值做如下操作：1.对该网络层中所有权值的绝对值进行从小到大排序；2.取第kN个排序值作为此次训练的阈值，其中k取1,2,3...为该层的训练次数，N的计算公式为：
记该网络层的参数总数为M，将该网络层参数去除到预设的比例所需要的代数(预设)为iter，则
式中方括号“[]”为向下取整操作；
3.将权值小于该阈值的连接从网络中移除，具体操作为将该连接的权值置零。
S13：固定阈值继续训练。
在执行步骤S12的过程中，如果某一网络层在某次训练时，检测到被移除的网络连接数达到了预定的比例，则记住该层此时的阈值，在该层接下来的训练过程中固定该层动态阈值为此阈值不变。
S14：停止训练。
当网络的训练次数达到预定的最大训练次数时，停止网络训练，即停止去除网络中的连接。
步骤S2：剩余连接权值编码。包括步骤：
S21：获取权值向量。
将网络各层的权值矩阵按照行优先的原则分别排列成一个行向量，这些权值包括那些被移除的网络连接的权值，被移除的连接的权值为0，这样获得的各层的权值向量中将会有很多元素为0，因此这些权值向量将是稀疏的。
S22：权值向量编码。
此步骤的示意图如图2a-图2d所示。对于其中图2a所示的一个权值矩阵，首先将其按照行优先的原则排列成一个行向量，如图2b所示。由于权值中很多为0，因此这个行向量是稀疏的。对这个稀疏的行向量进行CSR编码，编码过程的示意图如图2c所示，图中的相对偏移量为相对前一个非零值的位移。图2c中的相对偏移量为0～7，当某一个非零值距离前一个非零值的位移超过8时，在位移为8的位置补0，并视此位置为非零值的位置，继续编码，例如图2c中的0的即为此种情况。另外由于采用的是0～7进行的编码，因此只需要使用3个bit就可以表示这些相对偏移量，这可以节约大量的存储空间。同理，如果使用0～15对相对偏移量进行编码，只需要4个bit就可以了。最后编码的结果如图2d所示。
步骤S3：剩余连接权值聚类。包括步骤：
S31：获取编码之后的值向量。
在经过步骤S2之后得到网络各层的权值向量编码，将其中经过补0得到的值向量提取出来。
S32：对网络各层权值向量进行k-means聚类。
这一步骤的具体过程为对于网络各层：1.线性初始化聚类中心，指的是聚类中心为在输入数据的最小值和最大值的区间上等间隔地采样；2.计算值向量中各个数据与各聚类中心的欧式距离；3.根据2得到每个数据点距离最近的聚类中心，将此数据分配给距离其最近的聚类中心；4.将各个聚类中心移动到分配给它的数据点的重心处，即将各聚类中心的值更新为分配给它的数据点的平均值；5.重复2～4直到聚类中心不再改变，停止。
经过此步骤之后，值向量中的每一个值都被分配了一个聚类中心，而聚类中心的数量是有限个，一般为2k(k＝1,2,3...)个，因此可以用k个bit来存储索引值，从而达到减小存储量的目的。
步骤S4：聚类结果微调。包括步骤：
S41：网络参数初始化。
首先根据步骤S2的编码结果得到网络中各层连接经过步骤S1处理之后的剩余连接的位置，然后通过步骤S3的聚类结果得到各个连接的重构的权值，其他步骤S1中去除的连接的权值在接下来的训练过程中将始终为0。
S42：启动网络训练。
设置好网络的求解器参数即可开始训练。在求解器参数中，一般要将网络的学习率调小为原来的十分之一左右。
S43：微调聚类中心。
聚类中心的微调是在网络的训练过程中完成的。在训练过程中对聚类中心进行微调的方法为，1.根据当前网络参数对网络进行前向运算，得到网络的输出；2.根据网络的输出和此时网络的标签得到此时网络的损失值；3.利用网络损失值对网络进行反向传播，得到各层网络连接的梯度值；4.将属于同一个聚类中心的连接的梯度值加和，这样每一个聚类中心都有一个与之相对应的梯度加和值；5.将各聚类中心的值减去与其相对应的梯度加和值与此时网络学习率的乘积；6.将各网络连接的权值更新为该连接所属聚类中心的值；7.重复1～6直到网络训练收敛，停止训练。
经过此步骤之后，聚类中心会得到细微的调整，使得采用这些聚类中心重构的网络的准确率损失变得更小。
步骤S5：结果压缩保存。包括步骤：
S51：将结果保存成二进制文件。
需要保存的结果为步骤S2中的编码结果中的相对偏移向量，以及步骤S3的聚类结果，包括索引值和聚类中心值。其次还有一些帮助解析这些数据的其他数据，如相对偏移向量的大小、聚类中心的数量等。
S52：哈夫曼编码压缩。
将步骤E1中保存的结果做进一步的哈夫曼编码压缩，由于哈夫曼编码是无损的，因此可以从中完整地恢复出S51中保存的结果，然后将结果解析，即可恢复出压缩后的深度卷积神经网络模型中的参数。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (8)

1.一种用于深度卷积神经网络模型压缩的方法，其特征在于，包括步骤
S1：对于已经训练完成的深度卷积神经网络模型进行再训练，去除其中冗余的网络连接；
S2：对卷积神经网络的各网络层的剩余连接的权值进行编码；
S3：对卷积神经网络的各网络层的剩余连接的权值进行k-means聚类；
S4：对聚类结果进行微调；
S5：保存微调后的结果，并对保存的文件进行哈夫曼编码。
2.如权利要求1所述的用于深度卷积神经网络模型压缩的方法，其特征在于，步骤S1包括步骤
S11：对训练完成的深度卷积神经网络模型进行继续训练；
S12：对任一网络层进行训练时，每次迭代都去除该层中一些权值小于某一动态阈值的连接；
S13：当任一网络层中去除的连接数占该层原始连接数的比例达到预设的值时，固定此时的该网络层的动态阈值，对深度卷积神经网络进行继续训练；
S14：当训练次数达到最大训练次数时，停止训练。
3.如权利要求1所述的用于深度卷积神经网络模型压缩的方法，其特征在于，步骤S2包括步骤
S21：将各网络层连接的权值矩阵按行优先分别排列为一个行向量；
S22：对各个行向量进行改进的CSR编码。
4.如权利要求3所述的用于深度卷积神经网络模型压缩的方法，其特征在于，步骤S21中所述改进的CSR编码是指在存储非零值的位置时，用相对前一个非零值的位移来代替相对行首的位移，并当相对位移超过2k时，在该位置补0，并视此位置为非零值的位置，其他与标准CSR编码相同。
5.如权利要求1所述的用于深度卷积神经网络模型压缩的方法，其特征在于，步骤S3包括步骤
S31：获取各网络层的值向量；
S32：对各网络层值向量进行k-means聚类。
6.如权利要求1所述的用于深度卷积神经网络模型压缩的方法，其特征在于，步骤S4包括步骤
S41：利用步骤S3所得聚类结果和步骤S2的编码结果初始化各网络层的参数；
S42：设置求解参数，启动网络训练；
S43：在网络训练的过程中对聚类中心进行微调。
7.如权利要求6所述的用于深度卷积神经网络模型压缩的方法，其特征在于，步骤S43包括步骤
S431：根据当前网络参数对网络进行前向运算，得到网络的输出；
S432：根据网络的输出和此时网络的标签得到此时网络的损失值；
S433：利用网络损失值对网络进行反向传播，得到各层网络连接的梯度值；
S434：将属于同一个聚类中心的连接的梯度值加和，这样每一个聚类中心都有一个与之相对应的梯度加和值；
S435：将各聚类中心的值减去与其相对应的梯度加和值与此时网络学习率的乘积；
S436：将各网络连接的权值更新为该连接所属聚类中心的值；
S437：重复S431-S436直到网络训练收敛，停止训练。
8.如权利要求1所述的用于深度卷积神经网络模型压缩的方法，其特征在于，步骤S5包括步骤：
S51：将各个网络层的编码结果和微调之后的聚类结果保存成二进制文件；
S52：对所述二进制文件进行哈夫曼编码，保存为压缩文件。
CN201710038007.6A 2017-01-18 2017-01-18 一种用于深度卷积神经网络模型压缩的方法 Pending CN108322221A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710038007.6A CN108322221A (zh) 2017-01-18 2017-01-18 一种用于深度卷积神经网络模型压缩的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710038007.6A CN108322221A (zh) 2017-01-18 2017-01-18 一种用于深度卷积神经网络模型压缩的方法

Publications (1)

Publication Number Publication Date
CN108322221A true CN108322221A (zh) 2018-07-24

Family

ID=62892904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710038007.6A Pending CN108322221A (zh) 2017-01-18 2017-01-18 一种用于深度卷积神经网络模型压缩的方法

Country Status (1)

Country Link
CN (1) CN108322221A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109212960A (zh) * 2018-08-30 2019-01-15 周军 基于权值敏感度的二值神经网络硬件压缩方法
CN109325530A (zh) * 2018-09-07 2019-02-12 中国科学院自动化研究所 基于少量无标签数据的深度卷积神经网络的压缩方法
CN109543766A (zh) * 2018-11-28 2019-03-29 钟祥博谦信息科技有限公司 图像处理方法和电子设备、存储介质
CN109766993A (zh) * 2018-12-13 2019-05-17 浙江大学 一种适合硬件的卷积神经网络压缩方法
CN109996071A (zh) * 2019-03-27 2019-07-09 上海交通大学 基于深度学习的可变码率图像编码、解码系统及方法
CN110796238A (zh) * 2019-10-29 2020-02-14 上海安路信息科技有限公司 卷积神经网络权重压缩方法及其系统
CN111476366A (zh) * 2020-03-16 2020-07-31 清华大学 深度神经网络的模型压缩方法及系统
CN110298446B (zh) * 2019-06-28 2022-04-05 济南大学 面向嵌入式系统的深度神经网络压缩和加速方法及系统
CN114697654A (zh) * 2020-12-30 2022-07-01 中国科学院计算技术研究所 一种神经网络量化压缩方法及系统
US12008475B2 (en) 2018-11-14 2024-06-11 Nvidia Corporation Transposed sparse matrix multiply by dense matrix for neural network training

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109212960B (zh) * 2018-08-30 2020-08-14 周军 基于权值敏感度的二值神经网络硬件压缩方法
CN109212960A (zh) * 2018-08-30 2019-01-15 周军 基于权值敏感度的二值神经网络硬件压缩方法
CN109325530A (zh) * 2018-09-07 2019-02-12 中国科学院自动化研究所 基于少量无标签数据的深度卷积神经网络的压缩方法
CN109325530B (zh) * 2018-09-07 2021-05-04 中国科学院自动化研究所 一种图像分类方法、存储装置和处理装置
US12008475B2 (en) 2018-11-14 2024-06-11 Nvidia Corporation Transposed sparse matrix multiply by dense matrix for neural network training
CN109543766A (zh) * 2018-11-28 2019-03-29 钟祥博谦信息科技有限公司 图像处理方法和电子设备、存储介质
CN109766993A (zh) * 2018-12-13 2019-05-17 浙江大学 一种适合硬件的卷积神经网络压缩方法
CN109766993B (zh) * 2018-12-13 2020-12-18 浙江大学 一种适合硬件的卷积神经网络压缩方法
CN109996071A (zh) * 2019-03-27 2019-07-09 上海交通大学 基于深度学习的可变码率图像编码、解码系统及方法
CN109996071B (zh) * 2019-03-27 2020-03-27 上海交通大学 基于深度学习的可变码率图像编码、解码系统及方法
CN110298446B (zh) * 2019-06-28 2022-04-05 济南大学 面向嵌入式系统的深度神经网络压缩和加速方法及系统
CN110796238B (zh) * 2019-10-29 2020-12-08 上海安路信息科技有限公司 基于arm架构fpga硬件系统的卷积神经网络权重压缩方法及其装置
CN110796238A (zh) * 2019-10-29 2020-02-14 上海安路信息科技有限公司 卷积神经网络权重压缩方法及其系统
CN111476366A (zh) * 2020-03-16 2020-07-31 清华大学 深度神经网络的模型压缩方法及系统
CN111476366B (zh) * 2020-03-16 2024-02-23 清华大学 深度神经网络的模型压缩方法及系统
CN114697654A (zh) * 2020-12-30 2022-07-01 中国科学院计算技术研究所 一种神经网络量化压缩方法及系统

Similar Documents

Publication Publication Date Title
CN108322221A (zh) 一种用于深度卷积神经网络模型压缩的方法
CN108304928A (zh) 基于改进聚类的深度神经网络的压缩方法
CN104283568B (zh) 一种基于部分霍夫曼树的数据压缩编码方法
CN106919942A (zh) 用于手写汉字识别的深度卷积神经网络的加速压缩方法
DE102009017540B4 (de) Verfahren zum Wiederherstellen verlorener und/oder beschädigter Daten
CN106557812A (zh) 基于dct变换的深度卷积神经网络压缩与加速方案
CN108133266B (zh) 一种基于非均匀量化的神经网络权值压缩方法及使用方法
CN110009565A (zh) 一种基于轻量化网络的超分辨率图像重建方法
CN107016708A (zh) 一种基于深度学习的图像哈希编码方法
CN110248190B (zh) 一种基于压缩感知的多层残差系数图像编码方法
CN109040763A (zh) 一种基于生成式对抗网络的图像压缩方法及系统
CN111179144B (zh) 一种多进制秘密信息多次嵌入的高效信息隐藏方法
CN110868223B (zh) 一种哈夫曼编码的数值运算实现方法及电路
CN108696282A (zh) 一种高效低复杂度的qc-ldpc码全并行分层结构译码器
CN105227962B (zh) 一种基于数据差值的无损信息隐藏方法
CN111814975A (zh) 一种基于剪枝的神经网络模型构建方法及相关装置
CN116306912A (zh) 一种分布式联邦学习的模型参数更新方法
CN103763565A (zh) 基于三维自组织映射的视差图像编码方法
CN111222640A (zh) 一种信号识别卷积神经网络卷积核分区剪枝方法
DE102010035210A1 (de) Verfahren zur Rückgewinnung verlorener Daten und zur Korrektur korrumpierter Daten
CN109327283A (zh) 一种网络自适应的抗丢包方法、装置及终端设备
CN117036906A (zh) 一种基于生成对抗神经网络压缩的图像翻译方法和装置
CN107436865A (zh) 一种词对齐训练方法、机器翻译方法及系统
CN109857709A (zh) 一种数据压缩方法及装置
CN116187401B (zh) 神经网络的压缩方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180724

RJ01 Rejection of invention patent application after publication