CN107688850B - 一种深度神经网络压缩方法 - Google Patents

一种深度神经网络压缩方法 Download PDF

Info

Publication number
CN107688850B
CN107688850B CN201710671193.7A CN201710671193A CN107688850B CN 107688850 B CN107688850 B CN 107688850B CN 201710671193 A CN201710671193 A CN 201710671193A CN 107688850 B CN107688850 B CN 107688850B
Authority
CN
China
Prior art keywords
neural network
pruning
compression
retraining
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710671193.7A
Other languages
English (en)
Other versions
CN107688850A (zh
Inventor
李鑫
孟通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xilinx Inc
Original Assignee
Xilinx Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xilinx Inc filed Critical Xilinx Inc
Priority to CN201710671193.7A priority Critical patent/CN107688850B/zh
Priority to US15/693,488 priority patent/US20190050734A1/en
Publication of CN107688850A publication Critical patent/CN107688850A/zh
Application granted granted Critical
Publication of CN107688850B publication Critical patent/CN107688850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种改进的神经网络压缩方法，该方法可以用于将神经网络剪枝技术融入神经网络的原始训练过程中以减少训练迭代次数，从而缩短稀疏化神经网络的训练周期。该方法还可以用于将剪枝技术融入对训练好的模型的压缩重训过程中，从而在保证模型精度的前提下实现神经网络的压缩。

Description

一种深度神经网络压缩方法
发明领域
本发明涉及一种深度神经网络的压缩方法及装置。
背景技术
人工神经网络
人工神经网络(Artificial Neural Networks,ANNs)，又称神经网络(NNs)，是一种模仿动物神经网络的行为特征，进行分布式并行信息处理的数学计算模型。近年来，神经网络得到快速发展，被广泛应用于诸多领域，如图像识别、语音识别、自然语言处理、基因表达、内容推送等等。
在神经网络模型，存在大量彼此连接的节点(也称“神经元”)。每个神经元，通过某种特定的输出函数(也称“激活函数”(Activation Function))计算处理来自其它相邻神经元的加权输入值，并且神经元之间的信息传递强度用“权值”来定义。算法通过自我学习，调整该权值。
早期的神经网络只有输入和输出层两层，无法处理复杂的逻辑，限制了其实用性。深度神经网络(Deep Neural Network,DNNs)通过在输入和输出层之间添加隐藏的中间层，有效提升了网络在处理复杂问题时的表现。图1示出了深度神经网络的示意图。
为了适应不同的应用场景，深度神经网络进而衍生出多种不同的结构。例如，循环神经网络(Recurrent Neural Networks,RNNs)是一种常用的深度神经网络模型。不同于传统前向神经网络(Feed-forward Neural Networks)，循环神经网络本身具有记忆性，神经元既可以从上一层神经元获取信息，又可以从自身所在的隐层获取信息，这使其能够广泛应用于与时序相关的问题处理上。例如，在语音识别中，信号的前后关联很强，即，识别句子中的单词和该单词前面的单词序列关系十分紧密。因此，循环神经网络在语音识别领域有着非常广泛的应用。
深度神经网络的应用包括“训练”(training)、“推断”(inference)两个过程。训练神经网络旨在提升网络的学习能力。输入特征通过前向传播过程计算预测结果，该计算结果与标准答案比较后将残差通过反向传播回传，并将比较结果用于更新网络权值参数，从而达到修正网络的目的。神经网络训练完成后，可以将训练好的神经网络应用到实际场景中，即推断，在该过程中，根据输入特征通过前向传播过程计算得到合理的预测结果。
人工神经网络的压缩
通过近几年的迅速发展，神经网络的规模不断增长，已公开的比较先进的神经网络可达数百层、数亿个连接，属于计算和访存密集型应用。在神经网络逐渐变大的情况下，模型压缩变得极为重要。
在深度神经网络中，神经元的连接关系在数学上可以表示为一系列矩阵。经过训练后的网络虽然能够准确地进行预测，但是神经网络的矩阵是稠密的，即，矩阵中充满了非零元素。这会导致大量的存储和计算资源被消耗，因而计算速度降低，同时成本增加，使其难以在移动端推广应用，进而制约神经网络的发展。因此，通常对稠密的神经网络进行压缩。
图2是示出了神经网络的训练和压缩的示意图。
如图2所示，通常首先对神经网络进行训练，得到具有所需精度的训练好的神经网络。然后，利用剪枝、重训的方法对训练好的神经网络进行压缩，得到最终稀疏化的神经网络。
近年来，广泛的研究表明，通过训练得到的神经网络模型矩阵中，仅有部分权值较大的元素代表着重要连接，而其他权值较小的元素可以被移除(置为零)。将权值较小的元素置为零的操作被称为剪枝(pruning)。剪枝后的神经网络精度会下降，但是可以通过重训(fine tune)，对仍然保留在模型矩阵中权值的大小进行调整，从而减小精度损失。
图3示出了神经网络稀疏化的示意图。
模型压缩可以将神经网络中的稠密矩阵稀疏化，能够有效地降低存储量、减少计算量，从而在保持精度的同时实现加速。神经网络模型压缩对于专用的稀疏神经网络加速器而言，显得尤为重要。
语音识别Speech Recognition
语音识别是将语言的模拟信号顺序映射到一个具体的单词集合上。近年来，深度神经网络在语音识别领域有着非常广泛的应用。
图4示出了一种使用神经网络的语音识别引擎的例子。在图4的模型中，利用深度学习模型来计算语音输出概率，即输入语音串与各匹配候选之间得相似度预测。此外，可以利用例如FPGA来加速实现图4的DNN部分。
图5a和图5b进一步示出了应用于图4的语音识别引擎的深度学习模型。其中，图5a的深度学习模型显示了包含CNN(卷积神经网络)、LSTM(长短时记忆模型)、DNN(深度神经网络)、Softmax等模块。图5b的深度学习模型使用了多层长短时记忆(LSTM)模型。
LSTM(长短时记忆)模型
在语音识别领域，为了解决对长期信息的记忆问题，Hochreiter&Schmidhuber于1997年提出了长短时记忆(Long Short-Term Memory,LSTM)模型。
LSTM神经网络是RNN的一种。与DNN不同，RNN是时间依赖型的。具体而言，时刻T的输入依赖于时刻T-1的输出，即，当前帧的计算需要前一帧的计算结果。进一步地，LSTM神经网络将普通RNN当中简单的重复神经网络模块改变为复杂的连接交互关系。LSTM神经网络在语音识别中取得了非常好的应用效果。
关于LSTM的更多信息，可以参见如下文章：Sak H,Senior A W,Beaufays F.Longshort-term memory recurrent neural network architectures for large scaleacoustic modeling[C]//INTERSPEECH.2014：338-342，Sak H，Senior A，Beaufays F.Longshort-term memory based recurrent neural network architectures for largevocabulary speech recognition[J].arXiv preprint arXiv：1402.1128，2014.
图6示出了在语音识别领域中使用的一种LSTM网络模型。在图6所示的LSTM的结构中，各个参数的意义如下：
-i、f、o分别代表三个门，即输入门(input gate)、遗忘门(forget gate)以及输出门(output gate)，状态变量单元(cell)对信息进行长时间记忆，g为单元的特征输入；
-实线代表上一帧的输出；
-每个门有一个权值矩阵，T时刻输入与T-1的输出经过门时的计算量较大；
-虚线代表peephole，peephole以及三个叉乘符号对应的操作均为向量与对角矩阵的乘法，计算量较小。
图7示出了在语音识别领域中使用的一种改进的LSTM网络模型。如图7所示，为了减小LSTM层的计算量，额外引入一个投影层用于降维。
图7对应的计算公式为：
it＝σ(Wixxt+Wiryt-1+Wicct-1+bi)
ft＝σ(Wfxxt+Wrfyt-1+Wcfct-1+bf)
ct＝ft⊙ct-1+it⊙g(Wcxxt+Wcryt-1+bc)
ot＝σ(Woxxt+Woryt-1+Wocct+bo)
mt＝ot⊙h(ct)
yt＝Wyrmt
其中，σ()表示sigmoid激活函数，而个g()与h()则表示tanh激活函数，Wic，Wcf，Woc为peephole，对应图6中的三条虚线。在实际计算中，cell作为操作数的运算均为向量与对角矩阵的乘法，此时权值矩阵是对角矩阵。另外，公式中的最后一步在LSTM模型中并不是必须的，对应于图7中的投影层中的计算。
在设计和训练深度神经网络时，大的网络规模具有更强的表达能力，能够表示网络输入特征与输出之间的较强的非线性关系。但是，这种规模较大的网络在学习实际所需的有用模式时，更容易受到训练集中噪声的影响，使得学习到的模式与实际期望有所偏差。
因此，希望能够提供一种用于神经网络(例如，LSTM神经网络)的压缩方法，在保证深度神经网络准确率不下降的基础上实现神经网络的压缩。更具体地，希望提供一种神经网络(例如，LSTM神经网络)的压缩方法，其能够缩短神经网络的训练周期或重训周期，同时保证深度神经网络准确率不下降。
发明内容
本申请提出一种改进的神经网络压缩方法，该方法可以用于将神经网络剪枝技术融入神经网络的原始训练过程中以减少训练迭代次数，从而缩短稀疏化神经网络的训练周期。该方法还可以用于将剪枝技术融入对训练好的模型的重训过程中，从而在保证模型精度的前提下实现神经网络的压缩。
具体地，根据本发明的一方面，提出一种稠密神经网络的压缩方法，该稠密神经网络的神经元之间的连接关系由多个权重矩阵表示。该压缩方法包括：初始训练步骤，用于对初始稠密神经网络进行初始训练，使原始稠密神经网络收敛到中间稠密神经网络；压缩策略确定步骤，用于确定一个压缩周期的压缩策略，该压缩策略至少包括：该压缩周期内每次剪枝操作的压缩率、剪枝操作的次数和该压缩周期的目标压缩率；和剪枝及重训步骤，用于基于压缩策略对中间稠密神经网络进行剪枝和重训操作，直到中间稠密神经网络被压缩为具有该压缩周期的目标压缩率的稀疏神经网络。
根据本发明的另一方面，提出一种稠密神经网络的压缩装置，一种稠密神经网络的压缩装置，该稠密神经网络的神经元之间的连接关系由多个权重矩阵表示。该压缩装置包括：初始训练模块，用于对初始稠密神经网络进行初始训练，使原始稠密神经网络收敛到中间稠密神经网络；压缩策略确定模块，用于确定一个压缩周期的压缩策略，该压缩策略至少包括：该压缩周期内每次剪枝操作的压缩率、剪枝操作的次数和该压缩周期的目标压缩率；和剪枝及重训模块，用于基于压缩策略对中间稠密神经网络进行剪枝和重训操作，直到中间稠密神经网络被压缩为具有该压缩周期的目标压缩率的稀疏神经网络。
为使本申请的上述目的、特征和优点更清楚易懂，在下文中结合附图例举若干实施例，对本申请进行更详细的说明。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中使用的附图作简要介绍。应理解，仅以示例的方式示出以下附图，并且以下附图不应认为是对本申请范围的限定。附图中：
图1示出了深度神经网络的简化示意图。
图2是示出了神经网络的训练和压缩的示意图。
图3示出了剪枝后的神经网络，其中一部分神经元被剪枝。
图4示出了一种使用神经网络的语音识别引擎的示意图。
图5a和图5b示出了应用于语音识别引擎的深度学习模型。
图6示出了应用于语音识别领域的一种LSTM神经网络模型。
图7示出了应用于语音识别领域的一种改进的LSTM神经网络模型。
图8示出了根据第一实施例的用于LSTM神经网络的压缩流程。
图9示出了基于图8的流程图，敏感度测试的具体步骤。
图10显示了基于图9的流程，对LSTM神经网络应用敏感度测试的得到的相应曲线。
图11示出了基于图8的流程，确定最终稠密度序列并进行剪枝的具体步骤。
图12示出了基于图11的流程，通过“压缩试验-稠密度序列调整”迭代调整初始稠密度序列的具体子步骤。
图13a示出了基于图8的流程图，对神经网络进行重训的具体步骤。
图13b示出了利用梯度下降法对神经网络进行训练/重训的示意图。
图14示出了基于图13的流程，使用掩码矩阵进行重训的过程。
图15示出了根据第二实施例的压缩方法的一轮压缩的具体步骤。
图16示出了根据第二实施例的示例2.1中的稠密度变化曲线。
图17示出了根据第二实施例的示例2.1中的神经网络权值变化。
图18示出了在使用掩码矩阵进行压缩的情况下神经网络的权值变化。
图19示出了根据本申请的示例2.2中的稠密度变化曲线。
图20示出了根据本申请的示例2.2中的神经网络权值变化。
图21示出了根据本申请的示例2.2中对应的词错误率变化。
图22示出了应用第二实施例的边训练边压缩方法和未应用第二实施例的压缩方法的稠密度变化曲线。
具体实施方式
下面将结合附图，对本申请的技术方案进行清楚、完整的描述。
实施例1
图8示出了根据本申请的第一实施例的适用于LSTM神经网络的压缩方法，其中通过多次迭代操作来实现神经网络的压缩。每次迭代操作具体包括敏感度分析、剪枝、重训三个步骤。下面对每个步骤进行具体说明。
步骤8100，敏感度测试(Sensitivity analysis)
在该步骤中，例如，针对LSTM网络中所有矩阵进行敏感度分析，以确定不同矩阵的初始稠密度(或者初始压缩率)。
图9示出了敏感度测试的具体步骤。
如图9所示，在步骤8110，例如，对LSTM网络中的各个矩阵尝试按照不同稠密度进行压缩(所选择的稠密度例如是0.1,0.2,…,0.9，对矩阵的具体压缩方法参考步骤8200)。然后，测量以不同稠密度压缩的神经网络的词错误率(Word Error Rate,WER)。
在识别一段单词序列时，可能存在一些单词被错误地插入、删除或替换。例如，对于包含N个单词的一段初始识别文字而言，如果有I个单词被插入、D个单词被删除以及S个文字被替换，那么WER为：
WER＝(I+D+S)/N，
其中，WER通常由百分比表示。通常而言，压缩后网络的WER会变大，这意味着压缩后神经网络的精度会变差。
在步骤8120，对于一个矩阵，以稠密度为横坐标，WER为纵坐标，绘制神经网络中该矩阵在不同压缩率下的WER曲线。针对每个矩阵都绘制所述WER曲线。
在步骤8130，对于一个矩阵，从曲线中寻找WER剧烈变化的点所对应的稠密度为该矩阵的初始稠密度。针对每个矩阵都获得所述初始稠密度。
在本实施例中，选取稠密度-WER曲线的拐点所对应的稠密度作为该矩阵的初始稠密度。具体而言，在一次迭代中拐点以如下方法确定：
已知压缩前(即，稠密度为1)的初始网络WER为：WER(initial)；
针对不同稠密度得到相应的压缩后的网络WER为：WER(0.1)、WER(0.2)···WER(0.9)；
计算ΔWER，即：WER(0.1)与WER(initial)进行比较、WER(0.2)与WER(initial)进行比较···WER(0.9)与WER(initial)进行比较；
基于计算得到的ΔWER，拐点指的是ΔWER小于一定阈值的所有点当中具有最小稠密度的那个点。应当理解，可以基于其他策略选取曲线中WER剧烈变化的点。
对于一个3层LSTM网络，其中每层有9个稠密矩阵需要压缩：Wix、Wfx、Wcx、Wox、Wir、Wfr、Wcr、Wor、Wrm，这样一共有27个稠密矩阵需要压缩。
首先，对每个矩阵，按照稠密度从0.1到0.9，以步长0.1做9次试验，测试整个网络在9次试验中的WER，并绘制相应稠密度-WER曲线。这样，针对27个矩阵，一共会获得27条曲线。
然后，针对每个矩阵，从该矩阵对应的WER曲线中(例如，针对第一层LSTM中的Wix矩阵绘制的曲线)，找到WER剧烈变化的点。
这里，认为相比于本轮迭代的初始网络的WER，ΔWER变化小于1％的所有点当中具有最小稠密度的那个点为拐点。
例如，假设初始网络的WER为24％，则选取曲线中WER小于25％的所有点当中具有最小稠密度的那个点作为拐点。取拐点对应的稠密度作为该Wix的初始稠密度。
这样，可以得到一个长度为27的初始稠密度序列，分别对应每个矩阵的初始稠密度。因此可以以该初始稠密度序列指导压缩。
一个初始稠密度序列的例子如下(矩阵排列顺序为Wcx、Wix、Wfx、Wox、Wcr、Wir、Wfr、Wor、Wrm)：
densityList＝[0.2,0.1,0.1,0.1,0.3,0.3,0.1,0.1,0.3,
0.5,0.1,0.1,0.1,0.2,0.1,0.1,0.1,0.3,
0.4,0.3,0.1,0.2,0.3,0.3,0.1,0.2,0.5]
图10示出了一个单层LSTM网络中9个矩阵的相应稠密度-WER曲线。可以看到，不同矩阵对于压缩的敏感度大相径庭，其中，w_g_x，w_r_m，w_g_r相对于其他矩阵而言较为敏感，即在稠密度-WER曲线中存在max(ΔWER)>1的点。
步骤8200，确定最终稠密度序列(Density determination)并进行剪枝(Pruning)
图11示出了确定最终稠密度序列并进行剪枝的具体步骤。
如图11所示，图8的步骤8200可以包括若干子步骤。
首先，在步骤8210，基于步骤8100中确定的初始稠密度序列，指导每一个对应的矩阵进行初次压缩试验。
然后，在步骤8215，基于初次压缩试验的结果，测试压缩后网络的WER。如果压缩前后网络的ΔWER超过某一阈值ε(例如，4％)，则进行到下一步骤8220。如果ΔWER未超过该阈值ε，则直接进行到步骤8225，初始稠密度序列即为最终稠密度序列。
在步骤8220，通过“压缩试验-稠密度序列调整”迭代来调整初始稠密度序列。在步骤8225，获得最终稠密度序列。
最后，在步骤8230，基于最终稠密度序列指导LSTM网络进行剪枝。
下面，对图11的各子步骤进行详细说明。
步骤8210，进行初次压缩试验
根据研究中获得的经验，矩阵中绝对值比较大的权值对应着比较强的神经元连接关系。因此，在该示例中，基于矩阵中元素的绝对值进行矩阵压缩。
具体地，对每个矩阵中的所有元素按照绝对值从小到大进行排序。然后，基于步骤8100中确定的该矩阵的初始稠密度对该矩阵进行压缩，只保留指定的稠密度所对应比例的绝对值较大的元素，并且将其余元素置零。例如，如果该矩阵的初始稠密度为0.4，那么，保留该矩阵中绝对值较大的前40％的元素，将剩余60％元素置零。
步骤8215，判断压缩前后网络的ΔWER是否超过某一阈值ε(例如，4％)。
步骤8220，如果压缩前后网络的ΔWER超过某一阈值ε(例如，4％)，则通过“压缩试验-稠密度序列调整”迭代。如果没有，则从步骤8215直接转到步骤8225。
步骤8225，通过在步骤8220调整初始稠密度序列，获得最终稠密度序列。
图12示出了步骤8220的“压缩试验-稠密度序列调整”迭代调整初始稠密度序列的具体步骤。
如图12所示，在步骤8221，对相对敏感的矩阵的稠密度进行调整。即，上浮相对敏感的矩阵的稠密度，例如，上浮0.05。基于该稠密度，对相应矩阵进行压缩试验。
然后，计算压缩后的网络的WER，若WER仍不满足目标，则继续上浮相对敏感的矩阵的稠密度，例如上浮0.1。基于该稠密度，对相应矩阵进行压缩试验。以此类推，直到压缩前后网络的ΔWER在所述阈值ε(例如，4％)以下。
可选地或依次地，在步骤8222，可以继续对相对不敏感的矩阵的稠密度进行微调，从而使压缩前后网络的ΔWER在某一阈值ε’(例如，3.5％)以下。这样，可以进一步提高压缩后的网络的准确度。
如图12所示，对相对不敏感的矩阵的稠密度的微调过程类似于前述对相对敏感的矩阵的稠密度的微调过程。
例如，神经网络的原始WER为24.2％，步骤8100中获得的初始稠密度序列为：
densityList＝[0.2,0.1,0.1,0.1,0.3,0.3,0.1,0.1,0.3,
0.5,0.1,0.1,0.1,0.2,0.1,0.1,0.1,0.3,
0.4,0.3,0.1,0.2,0.3,0.3,0.1,0.2,0.5]
按照初始稠密度序列对网络进行剪枝，压缩后的网络的WER恶化为32％，此时需要调整初始稠密度序列。具体步骤如下：
根据步骤8100的结果得知，第一层LSTM中的矩阵Wcx,Wcr,Wir,Wrm、第二层中矩阵的Wcx,Wcr,Wrm、和第三层中矩阵的Wcx,Wix,Wox,Wcr,Wir,Wor,Wrm相对敏感，其余矩阵相对不敏感。
首先，对上述相对敏感的矩阵，按0.05的步长增大其对应的初始稠密度。
然后，基于上浮的稠密度对神经网络阵进行压缩试验。通过计算得到压缩后网络的WER为27.7％。此时，满足压缩前后网络ΔWER<4的要求，停止调整相对敏感的矩阵的稠密度。
可选地，可以对相对不敏感的矩阵的初始稠密度进行微调，使压缩前后网络ΔWER<3.5。
因此，通过“压缩试验-稠密度序列调整”迭代调整得到的最终稠密度序列为：
densityList＝[0.25,0.1,0.1,0.1,0.35,0.35,0.1,0.1,0.35,
0.55,0.1,0.1,0.1,0.25,0.1,0.1,0.1,0.35,
0.45,0.35,0.1,0.25,0.35,0.35,0.1,0.25,0.55]
此时，压缩后的神经网络的整体稠密度约为24％。
8230，基于最终稠密度进行剪枝。
具体地，对每个矩阵中的所有元素按照绝对值从小到大进行排序；然后，基于最终稠密度序列对各矩阵进行压缩，对于每个矩阵，只保留相应稠密度对应的绝对值较大的元素，并且将其余元素置零。
步骤8300，重训(Fine tuning)
对神经网络的训练和重训是对损失函数进行优化的过程。损失函数指的是在给定输入下，神经网络模型预测的结果与真实结果之间的差别。希望损失函数的值尽可能小。
对神经网络的训练的本质在于寻找最优解。重训则是指在已有的一个可能离最优解很近的次优解的情况下搜索最优解，即，在一定的基础上继续训练。
例如，对于经过训练的LSTM深度神经网络，我们认为其为最优解。在步骤8200剪枝操作以后，在保留下来的权值的基础上继续训练并寻找最优解的过程即为重训的过程。
图13a、13b示出了对神经网络进行重训的具体步骤。
如图13a所示，输入是在步骤8200剪枝操作之后的神经网络。
在步骤8310中，首先用训练集训练步骤8200得到的稀疏神经网络并进行权值矩阵更新。
在步骤8320中，判断该矩阵是否收敛到局部最优解。
如果未收敛到局部最优解，则返回步骤8310，重复训练集训练和权值矩阵更新的步骤。
如果收敛到最优解，则进行到步骤8330，获得达到要求的神经网络并输出。
在该实施例中，重训时采用梯度下降法来更新权值矩阵。具体地，梯度下降法基于这样的观察：
如果实值函数F(x)在点a处可微且有定义，那么函数F(x)在a点沿着梯度相反的方向-
Figure BDA0001373126420000091
下降最快。因而，如果：
Figure BDA0001373126420000092
对于γ＞0为一个够小数值时成立，那么F(a)≥F(b)，其中a是向量。
考虑到这一点，我们可以从函数F的局部极小值的初始估计x0出发，并考虑如下序列x0,x1,x2,…使得：
Figure BDA0001373126420000093
因此可得到：
F(x0)≥F(x1)≥F(x2)≥···
如果顺利的话，序列(xn)收敛到期望的极值。注意每次迭代步长γ可以改变。
这里，将F(x)理解为损失函数，就可以理解梯度下降法使得模型预测损失减小的原理。
在一个示例中，参考论文DSD：Regularizing Deep Neural Networks withDense-Sparse-Dense Training Flow in NIPS 2016，对LSTM深度神经网络的重训方法如下：
Figure BDA0001373126420000094
这里，W是权值矩阵，η代表学习率，也就是随机梯度下降法的步长，f是损失函数，
Figure BDA0001373126420000095
是对损失函数求梯度，x是训练数据，t+1代表更新权值。
上式的含义是：用权值矩阵减去学习率与损失函数梯度的乘积，来更新权值矩阵。
参见图13b，显示了利用梯度函数来更新权值矩阵的简要流程图。
在步骤8300中，可以采用各种方式来执行所述稀疏神经网络的重训及相应的权值矩阵更新。
在该示例中，使用掩码(mask)矩阵保持网络中各个矩阵压缩后非零元素的分布，该掩码矩阵仅包括0和1元素，用于记录压缩后矩阵非零元素的分布信息。其中，值为1的元素表示相应权值矩阵对应位置的元素被保留，而值为0的元素表示相应权值矩阵对应位置的元素被置零。
图14示出了使用掩码矩阵进行重训的过程。
如图14所示，在步骤1410中，对待压缩的网络nnet0剪枝，得到记录压缩后矩阵非零元素的分布信息的掩码矩阵M：
nnet0→M
在步骤1420中，将待压缩的网络与步骤1410中得到的掩码矩M点乘，完成剪枝操作，得到剪枝后的网络nneti：
nneti＝M⊙nnet0
在步骤1430中，对剪枝后的网络nneti带掩码重训，得到最终输出网络nnet0。
nneto＝Rmask(nneti，M)
其带掩码的重训过程具体可以表达为：
Figure BDA0001373126420000101
Mask＝(W(0)≠0)
即，对计算出来的梯度乘以掩码矩阵，保证梯度矩阵变成与掩码矩阵相同的形状，用来更新权值矩阵。
通过重训，网络的WER下降，从而减少了压缩带来的精度损失。例如，通过重训，一个稠密度为0.24的LSTM网络的WER可以从27.7％下降到25.8％。
迭代步骤
返回参照图8，如上文所述，该压缩方法通过多次迭代操作、即重复上述步骤8100、8200、8300而将神经网络压缩至期望稠密度。
例如，在一个示例中，希望最终网络稠密度为0.14。
在第一轮迭代中，通过步骤8300得到稠密度为0.24，WER为25.8％的网络。
重复上述步骤8100、8200、8300对该网络继续进行多轮压缩。
例如，在第二轮压缩后，网络的稠密度为0.18，WER为24.7％。
继续第三轮压缩后，网络稠密度为0.14，WER为24.6％，达到目标。
实施例2
在上文实施例1中，提出了一种对训练好的稠密神经网络基于固定形状的掩码矩阵进行压缩处理从而得到稀疏化的神经网络的方法。
在本实施例2中，申请人提出一种新的神经网络压缩方法，在每轮压缩中，该方法使用用户设计的动态压缩策略对神经网络进行压缩。
具体地，动态压缩策略包括：每次剪枝操作的当前剪枝次数、最大剪枝次数以及针对该次剪枝的稠密度，以这三个参数确定本次需要剪枝的权值的比例(即，本次剪枝操作的压缩率)，并基于此进行剪枝。
因此，在根据实施例2的方法的神经网络压缩过程中，每次剪枝的力度是剪枝次数(也可以理解为时间t)的函数。换言之，在神经网络的压缩过程中，神经网络的稠密度可以是随着每次剪枝操作而变化的可变参数，即神经网络的稠密度精确到每次剪枝处理，而非每轮压缩结束。
图15示出了根据实施例2的压缩方法的一轮压缩过程，其具体包括初始稠密神经网络训练、压缩策略确定、和剪枝及重训三个步骤。下面对每个步骤进行具体说明。
步骤1510：训练初始稠密神经网络
在步骤1510中，对初始稠密神经网络进行常规训练，以得到一个经过训练的稠密神经网络。
这里，经过训练的稠密神经网络可以是如实施例1所述的具有期望精度的训练好的稠密神经网络。
然而，不同于实施例1，在实施例2中，由于省略了实施例1的步骤8100，经过训练的稠密神经网络还可以是一个已经收敛但尚未达到期望精度的中间神经网络nnethalf。
步骤1520：确定压缩策略
在实施例2中，压缩策略包括本轮压缩的目标稠密度Dfinal和压缩函数fD(t,Dfinal)，其中压缩函数fD(t,Dfinal)决定本轮压缩的剪枝次数，以及每次剪枝操作的稠密度Dt。
具体地，假设第t次剪枝操作前网络的权值矩阵为Wt，第t次剪枝操作的稠密度为Dt，那么剪枝操作后的权值矩阵为：
Wt+1＝fW(Wt，Dt)
其中，fW(Wt,Dt)表示根据第t次剪枝操作的稠密度Dt对网络的权值矩阵Wt进行剪枝操作。这样，在神经网络的压缩过程中，神经网络的稠密度变化可以表示为剪枝次数(或时间t)的函数。
由于在整个压缩过程中，权值矩阵是通过训练/重训初始神经网络训练直接得到的，而不是自由参数，因此每次剪枝操作的稠密度只由稠密度随时间变化的参数决定，即：
Dt＝fD(t，Dfinal)
其中，fD(t,Dfinal)是计算时刻t的稠密度Dt的函数(在下文中，也称为“压缩函数”)，Dfinal为本轮压缩神经网络的目标稠密度。
因此，为了实现更好的压缩效果，在实际应用中，可以从两方面设计压缩策略：压缩函数fD(t,Dfinal)，和目标稠密度Dfinal，以获得精度较高的稀疏化神经网络。
压缩函数fD(t,Dfinal)的设计
对压缩函数的不同设计可以产生不同的压缩效果。下面，以两个示例对其进行说明。
示例2.1：神经网络的稠密度恒定
在该示例中，在神经网络的一轮压缩中，保持每次剪枝操作的目标稠密度不变。相应地，压缩函数为：
fD(t)＝Dfinal
即，在本轮压缩中，神经网络的稠密度始终保持为常数，但是权值大小和分布可以改变。
图16示出了示例2.1中的神经网络稠密度变化曲线。
图17示出了与图16对应的压缩过程中对应的神经网络权值分布变化。
图17的左侧示出了神经网络中各矩阵在每次剪枝操作中权值参数分布的变化，其中沿横轴示出了每个LSTM层中的9个矩阵，沿纵轴示出了剪枝操作的次数。可见，对应于图17，在该轮压缩中，一共进行了5次剪枝操作。
图17的右侧示出了与每次剪枝操作对应的简化的权值分布示意图，其中颜色(灰度)深浅表示权值大小(即，对应位置的权值被保留)，白色则表示权值为0(即，对应位置的权值被置零)。
如图17所示，在5次剪枝操作中，有颜色的格子总数未发生改变(即，神经网络的稠密度保持不变)，但是颜色深浅和分布都在变化(即，神经网络的权值大小和分布发生变化)。
实际上，实施例1提出的利用固定掩码矩阵进行重训的过程可以理解为该示例2.1的特例，其对应的压缩函数亦为：
fD(t)＝Dfinal
并且通过固定掩码对神经网络的权值分布进行限制。
图18示出了利用固定掩码矩阵进行剪枝操作时，对应的神经网络权值分布变化。
如图18所示，其与图17的区别在于，尽管格子的颜色(灰度)发生变化，但有颜色的格子始终有颜色，即对应位置处的权值大小发生变化，但不会被置零。
可见，在实施例1中，神经网络的权值大小可以变化，但其分布受到限制，即失去了部分(形状变化)的自由度。
示例2.2：神经网络稠密度线性下降
在该示例中，在神经网络的一轮压缩中，每次剪枝操作的稠密度逐渐减小。压缩函数为：
Dt＝1-(tcurrent-tstart)/(tend-tstart)×(1-Dfinal)
即，神经网络的稠密度在指定剪枝操作次数内，线性减少到目标稠密度Dfinal。
图19示出了示例2.2中的稠密度变化曲线。
图20示出了与图19对应的压缩过程中对应的神经网络权值分布变化。
图20的左侧示出了神经网络中各矩阵在每次剪枝操作中权值参数分布的改变。可见，对应于图20，在该轮压缩中，一共进行了10次剪枝操作。
图20的右侧示出了对应的简化的权值分布示意图。从图20右侧的变化可以看出，在10次剪枝操作过程中，有颜色的格子数量逐渐减少(即，稠密度逐渐下降)，同时各个格子颜色的深浅和分布也在变化(即，权值的大小和分布也在变化)。
图21示出了示例2.2对应的词错误率(WER)变化。
如图21所示，经过10次剪枝操作，神经网络的词错误率逐渐下降，即，神经网络的精度不断升高
当然，应理解，对于压缩函数fD(t,Dfinal)的设计，可以选择如上文所述的两种函数，也可以选择其他高次函数。本申请不对压缩函数的种类进行限制。
此外，还可以通过深度学习来确定压缩函数fD(t,Dfinal)。
例如，使用带有时效的神经网络(例如，循环神经网络RNN)学习网络参数。即：
Dt+1＝WtDt+bt
Wt+1＝WuwWt
bt+1＝Wubbt
因此，只需要通过训练得到相应的初始矩阵Wt和转移矩阵Wuw、Wub，就可以基于第t-1时刻的稠密度来确定第t时刻的稠密度。这样，压缩函数本身也可以经过训练得到。
目标稠密度Dfinal的设计
对于目标稠密度Dfinal的设计，可以根据经验预先设定某一目标稠密度。
此外，还可以根据实施例1的步骤8100所述的方法，确定一轮压缩的目标稠密度Dfinal。
具体地，对步骤1510获得的稠密神经网络进行敏感度测试，然后将获得的可接受稠密度作为本轮压缩的目标稠密度。
应理解，本申请不对目标稠密度的设计方法进行限制。
步骤1530：剪枝及重训
在步骤1530中，基于步骤1520确定的压缩策略，对步骤1510获得的稠密神经网络进行剪枝及重训操作，直到神经网络达到本轮压缩的最终稠密度Dfinal。
如上文所述，根据压缩策略，可以确定剪枝操作的次数以及本次剪枝操作的稠密度Dt。针对每一次剪枝操作，由于神经网络的压缩会导致精度下降，在每次剪枝操作后需要进行一次重训，用于恢复神经网络的精度。
因此，步骤1530进一步包括：剪枝步骤1531和重训步骤1532。
在本实施例中，剪枝步骤1531的操作方法可以例如参照实施例1的步骤8230。
具体地，在剪枝步骤1531中，对每个矩阵中的所有元素按照绝对值从小到大进行排序；然后，基于本次剪枝操作的稠密度Dt对各矩阵进行压缩，对于每个矩阵，只保留相应稠密度对应的绝对值较大的元素，并且将其余元素置零。
在本实施例中，重训步骤1532的操作方法可以例如参照实施例1的步骤8300，即，使用掩码矩阵对剪枝操作后的压缩神经网络进行重训。
具体地，首先，获得记录本次剪枝操作后矩阵非零元素的分布信息的掩码矩阵；然后，对剪枝后的神经网络带掩码重训，以恢复因本次剪枝操作造成的精度损失。
应理解，还可以通过其他方式进行剪枝步骤1531和重训步骤1532。本申请不对剪枝步骤和重训步骤的具体操作方法进行限制。
最后，根据压缩策略确定的剪枝操作次数迭代执行剪枝步骤1531和重训步骤1532，直到神经网络达到本轮压缩的目标稠密度Dfinal。
压缩迭代步骤
继续参照图15，根据实施例2的压缩方法可以包括多轮压缩过程。
具体地，可以分别设定每轮(或每个周期)压缩过程的目标稠密度Dfinal1、Dfinal2、…、Dfinaln，以及相应的压缩函数fD(t,Dfinal1)、fD(t,Dfinal2)、…、fD(t,Dfinaln)，迭代执行上述步骤1520和1530，最终将神经网络压缩至最终期望稠密度。
例如，对一个待压缩的稠密神经网络，假设最终的目标压缩率为Doutput＝0.2，可以例如进行三轮压缩(即，存在3个压缩周期)，每轮压缩周期的目标压缩率Dfinal分别为0.6，0.4，0.2。
首先，进行第一轮压缩，该轮压缩过程的目标压缩率为Dfinal1＝0.6。
具体地，参照上文所述的步骤1520，设定该轮压缩的压缩策略，例如，压缩策略可以设定为上文示例2.2中的压缩率线性递减并且剪枝次数为4次。相应地，每次剪枝操作的压缩率分别为D1＝0.9，D2＝0.8，D3＝0.7，D4＝0.6。随后，基于每次剪枝操作的压缩率进行四次剪枝及重训操作，以将稠密神经网络压缩到该压缩周期的目标压缩率。
然后，以相同的方式进行第二轮压缩和第三轮压缩，在每个压缩周期中可以分别设定相应的压缩策略，直到将稠密神经网络被压缩到最终的目标压缩率0.2。
图22示出了应用根据实施例2的边训练边压缩方法和未应用实施例2的压缩方法的稠密度变化曲线。
如图22所示，在目标稠密度相同情况下，根据实施例2的压缩方法可以自由设计稠密度下降的路径，所以可以在训练过程中在初始稠密网络尚未完全收敛到所需精度时就开始压缩，并逐渐提高压缩程度(即逐渐降低稠密度)，从而更快地达到目标稠密度。
有益效果
综上，根据实施例2的压缩方法可以从神经网络初始状态开始进行渐进式的稀疏化训练，最终得到符合精度要求的稀疏网络，而不必须在训练好的稠密神经网络基础上再进行稀疏化压缩。
因此，根据实施例2的压缩方法可以在保证最终神经网络的精度的同时，有效地缩短训练和压缩时间。
以上实施例仅以LSTM神经网络作为说明本发明的例子。应当理解，本发明可以不限于LSTM神经网络，而是可以应用到其他各种神经网络。
还应理解，上文示例仅为本申请的具体实施方式，而不旨在限制本申请的保护范围，本申请的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种在语音识别中压缩稠密神经网络以优化语音识别性能的方法，所述稠密神经网络的神经元之间的连接关系由多个权重矩阵表示，所述方法包括：
初始训练步骤，用于对初始稠密神经网络进行初始训练，使原始稠密神经网络收敛到中间稠密神经网络；
压缩策略确定步骤，用于确定一个压缩周期的压缩策略，所述压缩策略至少包括：所述压缩周期内每次剪枝操作的压缩率、剪枝操作的次数和所述压缩周期的目标压缩率；和
剪枝及重训步骤，用于基于所述压缩策略对中间稠密神经网络进行剪枝和重训操作，直到所述中间稠密神经网络被压缩为具有所述压缩周期的目标压缩率的稀疏神经网络，并使得语音识别结果中的词错误率下降。
2.根据权利要求1所述的方法，还包括：把所述压缩策略确定步骤和所述剪枝及重训步骤作为一个压缩周期，迭代执行多个压缩周期，直到所述中间稠密神经网络被压缩为具有最终的目标压缩率的稀疏神经网络。
3.根据权利要求1所述的方法，其中，每次剪枝操作的压缩率随剪枝次数线性下降至目标压缩率。
4.根据权利要求1所述的方法，其中，所述中间稠密神经网络是已经收敛但尚未达到所需精度的稠密神经网络。
5.根据权利要求1所述的方法，其中，所述剪枝及重训步骤进一步包括：
剪枝步骤，用于基于本次剪枝操作的压缩率对各个矩阵进行剪枝，以获得剪枝后的神经网络；和
重训步骤，用于使用训练集训练所述剪枝后的神经网络并进行权值矩阵更新，以恢复神经网络的精度。
6.根据权利要求5所述的方法，其中，所述剪枝及重训步骤进一步包括：迭代执行所述剪枝步骤和所述重训步骤，直到所述中间稠密神经网络被压缩为具有所述压缩周期的目标压缩率的稀疏神经网络。
7.根据权利要求5所述的方法，其中，所述剪枝步骤进一步包括：
对每个矩阵中的所有元素按照绝对值从小到大进行排序；
保留与本次剪枝的压缩率对应比例的绝对值较大的元素；以及
将其余元素置零。
8.根据权利要求5所述的方法，其中，所述重训步骤进一步包括：
获得掩码矩阵步骤，用于获得对应于所述剪枝后的神经网络的掩码矩阵，所述掩码矩阵记录所述剪枝后的神经网络的矩阵的非零元素的分布信息；和
带掩码重训步骤，用于对所述剪枝后的神经网络带掩码矩阵进行重训，以恢复神经网络的精度。
9.一种在语音识别中压缩稠密神经网络以优化语音识别性能的装置，所述稠密神经网络的神经元之间的连接关系由多个权重矩阵表示，所述装置包括：
初始训练模块，用于对初始稠密神经网络进行初始训练，使原始稠密神经网络收敛到中间稠密神经网络；
压缩策略确定模块，用于确定一个压缩周期的压缩策略，所述压缩策略至少包括：所述压缩周期内每次剪枝操作的压缩率、剪枝操作的次数和所述压缩周期的目标压缩率；和
剪枝及重训模块，用于基于所述压缩策略对中间稠密神经网络进行剪枝和重训操作，直到所述中间稠密神经网络被压缩为具有所述压缩周期的目标压缩率的稀疏神经网络，并使得语音识别结果中的词错误率下降。
10.根据权利要求9所述的装置，还包括判断模块，其用于：
判断所述中间稠密神经网络是否被压缩为具有最终的目标压缩率的稀疏神经网络，以及
如果不是，则将所述剪枝及重训模块的输出返回给所述压缩策略确定模块，使得所述压缩策略确定模块、所述剪枝及重训模块进行下一个压缩周期的操作；
如果是，则将所述剪枝及重训模块的输出作为具有最终的目标压缩率的稀疏神经网络被输出。
11.根据权利要求9所述的装置，其中，所述剪枝及重训模块被配置为使每次剪枝操作的压缩率随剪枝次数线性下降至目标压缩率。
12.根据权利要求9所述的装置，其中，所述初始训练模块被配置为使所述中间稠密神经网络是已经收敛但尚未达到所需精度的稠密神经网络。
13.根据权利要求9所述的装置，其中，所述剪枝及重训模块进一步包括：
剪枝单元，用于基于本次剪枝操作的压缩率对各个矩阵进行剪枝，以获得剪枝后的神经网络；和
重训单元，用于使用训练集训练所述剪枝后的神经网络并进行权值矩阵更新，以恢复神经网络的精度。
14.根据权利要求13所述的装置，其中，所述剪枝及重训模块还包括剪枝判断模块，其用于：
判断所述中间稠密神经网络是否被压缩为具有所述压缩周期的目标压缩率的稀疏神经网络，以及
如果不是，则将所述重训单元的输出返回给所述剪枝单元，使得所述剪枝单元进行下一次剪枝操作；
如果是，则将所述重训单元的输出作为具有所述压缩周期的目标压缩率的稀疏神经网络被输出。
15.根据权利要求13所述的装置，其中，所述剪枝单元进一步包括：
排序装置，用于对每个矩阵中的所有元素按照绝对值从小到大进行排序；和
剪枝装置，用于保留与本次剪枝的压缩率对应比例的绝对值较大的元素，以及将其余元素置零。
16.根据权利要求13所述的装置，其中，所述重训单元进一步包括：
掩码矩阵获得装置，用于获得对应于所述剪枝后的神经网络的掩码矩阵，所述掩码矩阵记录所述剪枝后的神经网络的矩阵的非零元素的分布信息；和
重训装置，用于对所述剪枝后的神经网络带掩码矩阵进行重训，以恢复神经网络的精度。
CN201710671193.7A 2017-08-08 2017-08-08 一种深度神经网络压缩方法 Active CN107688850B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710671193.7A CN107688850B (zh) 2017-08-08 2017-08-08 一种深度神经网络压缩方法
US15/693,488 US20190050734A1 (en) 2017-08-08 2017-09-01 Compression method of deep neural networks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710671193.7A CN107688850B (zh) 2017-08-08 2017-08-08 一种深度神经网络压缩方法

Publications (2)

Publication Number Publication Date
CN107688850A CN107688850A (zh) 2018-02-13
CN107688850B true CN107688850B (zh) 2021-04-13

Family

ID=61153351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710671193.7A Active CN107688850B (zh) 2017-08-08 2017-08-08 一种深度神经网络压缩方法

Country Status (2)

Country Link
US (1) US20190050734A1 (zh)
CN (1) CN107688850B (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512723B (zh) * 2016-01-20 2018-02-16 南京艾溪信息科技有限公司 一种用于稀疏连接的人工神经网络计算装置和方法
US11797877B2 (en) * 2017-08-24 2023-10-24 Accenture Global Solutions Limited Automated self-healing of a computing process
US11200495B2 (en) * 2017-09-08 2021-12-14 Vivante Corporation Pruning and retraining method for a convolution neural network
US20190087729A1 (en) * 2017-09-18 2019-03-21 Intel Corporation Convolutional neural network tuning systems and methods
US11461628B2 (en) * 2017-11-03 2022-10-04 Samsung Electronics Co., Ltd. Method for optimizing neural networks
US10657426B2 (en) * 2018-01-25 2020-05-19 Samsung Electronics Co., Ltd. Accelerating long short-term memory networks via selective pruning
JP7349438B2 (ja) * 2018-02-16 2023-09-22 三星電子株式会社 ニューラル・ネットワーク・アクセラレータ
CN108614996A (zh) * 2018-04-04 2018-10-02 杭州电子科技大学 一种基于深度学习的军船、民船自动识别方法
CN108647573A (zh) * 2018-04-04 2018-10-12 杭州电子科技大学 一种基于深度学习的军事目标识别方法
CN108629288B (zh) * 2018-04-09 2020-05-19 华中科技大学 一种手势识别模型训练方法、手势识别方法及系统
CN108665067B (zh) * 2018-05-29 2020-05-29 北京大学 用于深度神经网络频繁传输的压缩方法及系统
US11403528B2 (en) * 2018-05-31 2022-08-02 Kneron (Taiwan) Co., Ltd. Self-tuning incremental model compression solution in deep neural network with guaranteed accuracy performance
US11488019B2 (en) * 2018-06-03 2022-11-01 Kneron (Taiwan) Co., Ltd. Lossless model compression by batch normalization layer pruning in deep neural networks
CN108932550B (zh) * 2018-06-26 2020-04-24 湖北工业大学 一种基于模糊密集稀疏密集算法进行图像分类的方法
CN109063835B (zh) * 2018-07-11 2021-07-09 中国科学技术大学 神经网络的压缩装置及方法
CN108962247B (zh) * 2018-08-13 2023-01-31 南京邮电大学 基于渐进式神经网络多维语音信息识别系统及其方法
US20200104716A1 (en) * 2018-08-23 2020-04-02 Samsung Electronics Co., Ltd. Method and system with deep learning model generation
CN110874636B (zh) * 2018-09-04 2023-06-30 杭州海康威视数字技术股份有限公司 一种神经网络模型压缩方法、装置和计算机设备
US11449756B2 (en) * 2018-09-24 2022-09-20 Samsung Electronics Co., Ltd. Method to balance sparsity for efficient inference of deep neural networks
KR20200052182A (ko) * 2018-11-06 2020-05-14 한국전자통신연구원 딥러닝 모델 압축 및 압축 해제 방법 그리고 장치
CN109523017B (zh) * 2018-11-27 2023-10-17 广州市百果园信息技术有限公司 姿态检测方法、装置、设备及存储介质
CN111260052A (zh) * 2018-11-30 2020-06-09 阿里巴巴集团控股有限公司 图像处理方法、装置、设备
CN113168554B (zh) * 2018-12-29 2023-11-28 华为技术有限公司 一种神经网络压缩方法及装置
CN113424200A (zh) * 2019-02-15 2021-09-21 诺基亚技术有限公司 用于视频编码和视频解码的方法、装置和计算机程序产品
US11562248B2 (en) 2019-04-29 2023-01-24 Advanced Micro Devices, Inc. Data sparsity monitoring during neural network training
CN110245753A (zh) * 2019-05-27 2019-09-17 东南大学 一种基于幂指数量化的神经网络压缩方法
EP3748545A1 (en) * 2019-06-07 2020-12-09 Tata Consultancy Services Limited Sparsity constraints and knowledge distillation based learning of sparser and compressed neural networks
US11755903B2 (en) 2019-07-24 2023-09-12 Alibaba Group Holding Limited Systems and methods for providing block-wise sparsity in a neural network
WO2021025075A1 (ja) * 2019-08-05 2021-02-11 株式会社 Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 訓練装置、推定装置、訓練方法、推定方法、プログラム及びコンピュータ読み取り可能な非一時的記憶媒体
CN110472735A (zh) * 2019-08-14 2019-11-19 北京中科寒武纪科技有限公司 神经网络的稀疏方法及相关产品
CN111091177B (zh) * 2019-11-12 2022-03-08 腾讯科技（深圳）有限公司 一种模型压缩方法、装置、电子设备和存储介质
CN112862058B (zh) * 2019-11-26 2022-11-25 北京市商汤科技开发有限公司 神经网络的训练方法、装置和设备
JP7319905B2 (ja) * 2019-12-16 2023-08-02 株式会社日立製作所 ニューラルネットワーク最適化システム、ニューラルネットワーク最適化方法、及び電子機器
KR20210092575A (ko) * 2020-01-16 2021-07-26 에스케이하이닉스 주식회사 목표 성능에 따라 신경망을 압축하는 반도체 장치
CN111382581B (zh) * 2020-01-21 2023-05-19 沈阳雅译网络技术有限公司 一种机器翻译中的一次剪枝压缩方法
CN111314138B (zh) * 2020-02-19 2021-08-31 腾讯科技（深圳）有限公司 有向网络的检测方法、计算机可读存储介质及相关设备
CN113392953A (zh) * 2020-03-12 2021-09-14 澜起科技股份有限公司 用于对神经网络中卷积层进行剪枝的方法和装置
CN111754019B (zh) * 2020-05-08 2023-11-07 中山大学 一种基于时空图信息最大化模型的路段特征表示学习算法
KR20220071713A (ko) 2020-11-24 2022-05-31 삼성전자주식회사 뉴럴 네트워크 가중치 압축 방법 및 장치
CN112686506B (zh) * 2020-12-18 2022-06-17 海南电网有限责任公司电力科学研究院 基于多试验方法异步检测数据的配网设备综合评估方法
US20220207344A1 (en) * 2020-12-26 2022-06-30 International Business Machines Corporation Filtering hidden matrix training dnn
CN112883982B (zh) * 2021-01-08 2023-04-18 西北工业大学 一种面向神经网络稀疏特征的数据去零编码及封装方法
CN114969340B (zh) * 2022-05-30 2023-09-22 中电金信软件有限公司 一种对深度神经网络进行剪枝的方法及装置
US12040821B2 (en) * 2022-08-03 2024-07-16 Arm Limited Weight processing for a neural network

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285992B1 (en) * 1997-11-25 2001-09-04 Stanley C. Kwasny Neural network based methods and systems for analyzing complex data

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278961B1 (en) * 1997-07-02 2001-08-21 Nonlinear Solutions, Inc. Signal and pattern detection or classification by estimation of continuous dynamical models
US10965775B2 (en) * 2012-11-20 2021-03-30 Airbnb, Inc. Discovering signature of electronic social networks
US9274036B2 (en) * 2013-12-13 2016-03-01 King Fahd University Of Petroleum And Minerals Method and apparatus for characterizing composite materials using an artificial neural network
CN105611303B (zh) * 2016-03-07 2019-04-09 京东方科技集团股份有限公司 图像压缩系统、解压缩系统、训练方法和装置、显示装置
CN111860826B (zh) * 2016-11-17 2024-08-13 北京图森智途科技有限公司 一种神经网络剪枝方法及装置
CN106779068A (zh) * 2016-12-05 2017-05-31 北京深鉴智能科技有限公司 调整人工神经网络的方法和装置
CN106779075A (zh) * 2017-02-16 2017-05-31 南京大学 一种计算机中采用剪枝方法改进的神经网络
US10999247B2 (en) * 2017-10-24 2021-05-04 Nec Corporation Density estimation network for unsupervised anomaly detection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285992B1 (en) * 1997-11-25 2001-09-04 Stanley C. Kwasny Neural network based methods and systems for analyzing complex data

Also Published As

Publication number Publication date
CN107688850A (zh) 2018-02-13
US20190050734A1 (en) 2019-02-14

Similar Documents

Publication Publication Date Title
CN107688850B (zh) 一种深度神经网络压缩方法
CN107689224B (zh) 合理使用掩码的深度神经网络压缩方法
CN107688849B (zh) 一种动态策略定点化训练方法及装置
CN107679618B (zh) 一种静态策略定点化训练方法及装置
US10984308B2 (en) Compression method for deep neural networks with load balance
US10762426B2 (en) Multi-iteration compression for deep neural networks
US10832123B2 (en) Compression of deep neural networks with proper use of mask
CN107729999B (zh) 考虑矩阵相关性的深度神经网络压缩方法
CN110119854B (zh) 基于代价敏感lstm循环神经网络的稳压器水位预测方法
CN110909926A (zh) 基于tcn-lstm的太阳能光伏发电预测方法
CN110245801A (zh) 一种基于组合挖掘模型的电力负荷预测方法及系统
CN110428082B (zh) 基于注意力神经网络的水质预测方法
CN111985523A (zh) 基于知识蒸馏训练的2指数幂深度神经网络量化方法
CN107292382A (zh) 一种神经网络声学模型激活函数定点量化方法
CN114004346B (zh) 基于门控堆叠同构自编码器的软测量建模方法及存储介质
CN108171319A (zh) 网络连接自适应深度卷积模型的构建方法
CN110929798A (zh) 基于结构优化稀疏卷积神经网络的图像分类方法及介质
CN112784479B (zh) 一种洪水流量预测的方法
CN111382840B (zh) 一种面向自然语言处理的基于循环学习单元的htm设计方法
CN112578089A (zh) 一种基于改进tcn的空气污染物浓度预测方法
CN116992942A (zh) 自然语言模型优化方法、装置、自然语言模型、设备和介质
CN116681159A (zh) 一种基于鲸鱼优化算法和dresn的短期电力负荷预测方法
CN110288002B (zh) 一种基于稀疏正交神经网络的图像分类方法
CN117236900B (zh) 基于流程自动化的个税数据处理方法及系统
CN110110853A (zh) 一种深度神经网络压缩方法、装置及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180606

Address after: 100083, 17 floor, 4 Building 4, 1 Wang Zhuang Road, Haidian District, Beijing.

Applicant after: Beijing deep Intelligent Technology Co., Ltd.

Address before: 100083, 8 floor, 4 Building 4, 1 Wang Zhuang Road, Haidian District, Beijing.

Applicant before: Beijing insight Technology Co., Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190929

Address after: 2100 San Jose Rojack Avenue, California, USA

Applicant after: XILINX INC

Address before: 100083, 17 floor, 4 Building 4, 1 Wang Zhuang Road, Haidian District, Beijing.

Applicant before: Beijing Shenjian Intelligent Technology Co., Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant