CN107038476A - 经压缩的递归神经网络模型 - Google Patents

经压缩的递归神经网络模型 Download PDF

Info

Publication number
CN107038476A
CN107038476A CN201611262293.6A CN201611262293A CN107038476A CN 107038476 A CN107038476 A CN 107038476A CN 201611262293 A CN201611262293 A CN 201611262293A CN 107038476 A CN107038476 A CN 107038476A
Authority
CN
China
Prior art keywords
layer
recurrence
weight matrix
compressed
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611262293.6A
Other languages
English (en)
Other versions
CN107038476B (zh
Inventor
奥艾斯·阿尔沙里夫
罗希特·普拉卡什·普拉巴瓦尔卡尔
伊恩·C·麦格劳
安托万·让·布吕盖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107038476A publication Critical patent/CN107038476A/zh
Application granted granted Critical
Publication of CN107038476B publication Critical patent/CN107038476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/33—Director till display
    • G05B2219/33025—Recurrent artificial neural network
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40326—Singular value decomposition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Machine Translation (AREA)

Abstract

本申请涉及经压缩的递归神经网络模型。用于实现经压缩递归神经网络(RNN)的方法、系统和装置，所述装置包括在计算机存储介质上编码的计算机程序。系统中的一种包括经压缩RNN，经压缩RNN包括多个递归层，其中每个递归层具有相应的递归权重矩阵和相应的层间权重矩阵，并且其中至少一个递归层被压缩使得经压缩层的相应递归权重矩阵由第一经压缩权重矩阵和投影矩阵定义，并且经压缩层的相应层间权重矩阵由第二经压缩权重矩阵和投影矩阵定义。压缩可以提供许多技术优点，包括更有效地处理数据并且使用更少的数据存储的能力。

Description

经压缩的递归神经网络模型
技术领域
本说明书涉及神经网络架构和压缩神经网络。
背景技术
神经网络是采用一个或多个非线性单元层来预测所接收的输入的输出的机器学习模型。一些神经网络除了输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作所述网络中下一层的输入，即下一隐藏层或输出层的输入。网络的每层根据相应参数集的当前值从所接收的输入生成输出。例如被设计用于时间序列问题或序列到序列学习的那些神经网络(递归(recurrent)神经网络(RNN))的一些神经网络包括许可其以隐藏状态变量的形式的记忆持久存在于数据输入之间的层内的递归环路。RNN的变体，长的短期记忆(LSTM)神经网络包括每层内用于控制数据输入之间的数据的持久性的多个门。例如被设计用于时间序列问题或序列到序列学习的那些神经网络的一些神经网络包括许可以隐藏状态变量的形式的记忆持久在数据输入之间的层内的递归环路。
发明内容
本说明书描述了涉及递归神经网络架构的技术。一般来说，递归神经网络包括至少一个被压缩的递归神经网络层。具体地，使用共享投影矩阵来联合压缩用于经压缩递归层的递归权重矩阵和层间权重矩阵。
对于要被配置为执行特定操作或动作的一个或多个计算机的系统而言，意味着系统已经在其上安装了操作中的软件、固件、硬件或它们的组合，其在操作中使得系统执行操作或动作。对于要被配置为执行特定操作或动作的一个或多个计算机程序而言，意味着一个或多个程序包括当由数据处理装置执行时使得所述装置执行操作或动作的指令。
在本说明书中描述的主题可以在特定实施例中实现，以便实现以下优点中的一个或多个。通过在递归神经网络中压缩一个或多个递归层的权重矩阵，递归神经网络被配置为能够更有效地处理数据并且使用更少的数据存储。特别地，可以有效地训练具有一个或多个经压缩递归层的递归神经网络，以实现与全尺寸(例如未经压缩的递归神经网络)相当的性能，同时使用较少的数据存储并且能够通过以下方式更快地处理输入：经压缩递归层的经压缩权重矩阵具有比未经压缩递归神经网络中的对应层的权重矩阵少的参数。实际上，因为经压缩的递归神经网络具有较小的计算足迹，所以经压缩的网络可以能够有效地被实现为即使当未经压缩的网络不能在移动设备上运行时，也能够在具有有限存储和处理能力的移动设备上实时处理输入。
在下面的附图和描述中阐述了本说明书的主题的一个或多个实施例的细节。根据说明书、附图和权利要求，主题的其他特征、方面和优点将变得显而易见。
附图说明
图1示出了示例神经网络系统。
图2是用于经压缩递归神经网络的示例过程的流程图。
图3是用于针对特定递归层压缩层间权重矩阵和递归权重矩阵的示例过程的流程图。
各个附图中相同的附图标号和名称指示相同的元素。
具体实施方式
图1示出了示例神经网络系统100。神经网络系统100是被实现为其中实现了下面描述的系统、组件和技术的在一个或多个位置中的一个或多个计算机上的计算机程序的系统的示例。
神经网络系统100是机器学习系统，其在多个时间步长中的每一个处接收相应的神经网络输入，并且在每个时间步长处生成相应的神经网络输出。也就是说，在多个时间步长中的每一个处，神经网络系统100接收神经网络输入并处理神经网络输入以生成神经网络输出。例如，在给定的时间步长t处，神经网络系统100可以接收神经网络输入102并且生成神经网络输出142。
神经网络系统100可以将所生成的神经网络输出存储在输出数据存储库中或者提供神经网络输出以用于某些其他直接目的。
神经网络系统100可以被配置为接收任何种类的数字数据输入并且基于该输入生成任何种类的分数或分类输出。
例如，如果到神经网络系统100的输入是图像或已经从图像提取的特征，则由神经网络系统100针对给定图像所生成的输出可以是针对对象类别集中的每一个类别的评分，其中每个分数表示图像包含属于该类别的对象的图像的估计似然率。
作为另一示例，如果到神经网络系统100的输入是互联网资源(例如，网页)、文档或文档的部分或从互联网资源、文档或文档的部分提取的特征，则由用于给定的互联网资源，则神经网络系统100针对给定的互联网资源、文档或文档的部分所生成的输出可以是一组主题中的每一个的分数，其中每个分数代表互联网资源、文档或文档部分关于所述话题的估计似然率。
作为另一示例，如果到神经网络系统100的输入是针对用户的个性化推荐的特征，例如表征推荐的场境的特征、例如表征用户所采取的先前动作的特征，则通过神经网络系统100所生成的输出可以是内容项集合中的每一个内容项的分数，其中每个分数表示用户将有利地响应于被推荐内容项的估计似然率。在这些示例中的一些中，神经网络系统100是向用户提供内容推荐的强化学习系统的一部分。
作为另一示例，如果对神经网络系统100的输入是一种语言的文本，则由神经网络系统100所生成的输出可以是针对另一种语言的文本段集合中的每一个文本段的分数，其中每个分数表示所述另一种语言的文本段是所述输入文本到另一种语言的适当翻译的估计似然率。
作为另一个示例，如果到神经网络系统100的输入是所说话语的特征，则由神经网络系统100所生成的输出可以是文本段集合中的每一个文本段的分数，每个分数表示该文本段是该话语的正确转录的估计似然率。
作为另一个示例，如果到神经网络系统100的输入是图像，则由神经网络系统100所生成的输出可以是文本段集合中的每一个文本段的分数，每个分数表示文本段是存在于输入图像中的文本的估计似然率。
特别地，神经网络系统100包括递归神经网络110，其又包括多个递归层，即至少一个经压缩递归层l 120和递归层l+1 130。递归神经网络110被配置为在每个时间步长处接收在该时间步长处的神经网络输入并且处理神经网络输入以在该时间步长处生成神经网络输出。
除了经压缩递归层120和递归层130之外，递归神经网络110可以包括一个或多个其他组件，例如其他递归层，其他非递归神经网络层等等。
例如，递归神经网络100可以是包括多个递归层的深度递归网络，所述多个递归层包括一个在另一个之上的有序堆栈中排列的经压缩递归层120和递归层130，以及输出层，所述输出层在每个时间步长处接收来自堆栈中的最高递归层的层输出和可选地堆栈中的其他递归层的层输出，并且处理层输出以在时间步长处生成神经网络输出142。
经压缩递归层120被配置为在每个时间步长处接收当前层输入122并且处理当前层输入122、递归层120的当前层状态以及递归层120的当前层输出122，以生成新的层输出126并更新当前层状态以生成新的层状态124。
根据递归神经网络110的配置，当前层输入122可以是神经网络输入102或由递归神经网络110的不同组件所生成的输出。
另外，对于第一步骤之后的每个时间步长，当前层状态是在前一时间步长处所生成的新的层状态。对于第一时间步长，当前层状态可以是预定的初始层状态。
递归层130被配置为在每个时间步长处接收新的层输出126并且处理新的层输出126和递归层130的当前层状态以生成新的层输出136并且以更新当前层状态以生成新的层状态134。
根据递归神经网络110的配置，新的层输出126可以作为输入被提供给递归神经网络110中的另一个递归层，以作为对不同类型的神经网络组件的输入，例如到输出层或不同类型的神经网络层的输入，或者可以被提供作为递归神经网络110的神经网络输出142。
递归神经网络110中的每个递归层具有两个对应的权重矩阵：递归权重矩阵和层间权重矩阵。一般来说，在给定时间步长处的处理期间，给定递归层的递归权重矩阵被应用于在前一时间步长处由递归层所生成的层输出，而层间权重矩阵被应用于由递归层在给定的时间步长处所生成的层输出。因此，给定递归层的递归权重矩阵通常由给定递归层应用，而层间权重矩阵通常由下一层应用，该下一层在该时间步长处接收由给定递归层所生成的层输出，例如，在堆栈中给定层之上的下一层的输出。
在一些实施方式中，递归神经网络110是标准递归神经网络，因此每个递归层的状态也被用作递归层的层输出。也就是说，对于给定时间步长的层的经更新状态也被用作给定时间步长的层的层输出。因此，新的层输出136与新的层状态134相同，并且新的层输出126与新的层状态124相同。
在这些实施方式中，如果经压缩递归层120或递归层130都未被压缩，则经压缩递归层120将被配置为在时间步长t处生成层输出126(和新的层状态124)，其满足：
其中是在递归神经网络110中的层120之前的层的层间权重矩阵，是层120之前的层的层输出，是用于递归层120的未经压缩版本的递归权重矩阵，是当前层状态(以及从前一时间步长的层输出)，bl是层120的偏差向量，σ(·)表示非线性激活函数。
递归层130将被配置为在时间步长t处生成层输出(和新的层状态134)，其满足：
其中是层120的未经压缩版本的层间权重矩阵，是递归层120的层输出126，是递归层130的递归权重矩阵，是递归层130的当前层状态(以及从先前时间步长的层输出)，bl+1是递归层130的偏差向量，σ(·)表示非线性激活函数。
然而，因为至少经压缩递归层120已经被压缩，所以经压缩递归层120的层间和递归权重矩阵已经被修改。
特别地，经压缩递归层是递归层，对于该递归层，递归和层间矩阵已经各自被相应的低秩近似所代替。也就是说，经压缩递归层的递归权重矩阵已经被具有比所述递归权重矩阵低的秩的矩阵所替代，并且层间权重矩阵已经被具有比所述层间权重矩阵低的秩的矩阵所替代。在这样做时，递归和层间权重矩阵中的参数的数目已经减少。
特别地，使用本说明书中描述的压缩方案，已经通过用相应的第一和第二经压缩权重矩阵和以及对应的投影矩阵Pl来替换经压缩层120的递归权重矩阵和层间权重矩阵来压缩经压缩的递归层120。具体地，通过下述方式来联合压缩递归权重矩阵和层间权重矩阵确定投影矩阵，使得由定义，并且由定义。第一和第二经压缩权重矩阵和投影矩阵各自具有低于层间权重矩阵和递归权重矩阵的秩的秩。在下文中参考图3更详细地描述用于在保持高性能的同时压缩递归层以减少参数的数目的技术。
因此，在压缩之后，当递归神经网络110是标准递归神经网络时，由经压缩递归层120所生成的层输出满足：
而由递归层130所生成的层输出满足：
在一些其它实施方式中，递归神经网络110中的递归层是长的短期存储器(LSTM)层，并且给定LSTM层的状态和LSTM层的层输出是不同的。为了生成层输出，给定LSTM层将多个门应用于当前层输入和当前层状态，以生成新的层输出并更新当前层状态以生成新的层状态。因此，作为生成层输出的一部分，LSTM通常将不同的权重矩阵乘以当前层输入和当前层状态两者。在下文中描述了LSTM层的操作：H.Sak,A.Senior,and F.Beaufays,“Longshort-term memory recurrent neural network architectures for large scaleacoustic modeling,”in Proc.of Interspeech,2014,pp.338–342。
当递归层是LSTM层时，给定LSTM层的递归权重矩阵可以被认为是给定LSTM层应用于当前层状态的权重矩阵的垂直级联。用于给定LSTM层的层间权重矩阵可以被认为是下一个LSTM层应用于由给定LSTM层所生成的层输出的权重矩阵的垂直级联。
虽然在图1的示例中只有经压缩递归层120被压缩，但是在一些情况下，递归神经网络110中的多个递归层或甚至所有递归层都可以被压缩，如下面参考图3所述。
在一些实施方式中，共同压缩递归权重矩阵和层间权重矩阵，使得投影矩阵在如本说明书中所描述的递归和层间权重矩阵之间共享可以允许权重矩阵的更有效的参数化。在一些实施方式中，在递归神经网络110是语音识别模型的情况下，上述技术可用于将递归神经网络110压缩至少68％，同时实现在未经压缩模型的5％内的字错误率。
图2是用于压缩递归神经网络的示例过程200的流程图。为了方便，过程200将被描述为由位于一个或多个位置的一个或多个计算机的系统来执行。例如，根据本说明书适当地编程的神经网络系统(例如图1的神经网络系统100)可以执行过程200。
系统在训练数据上训练未经压缩的递归神经网络(步骤202)，以确定未经压缩的递归神经网络的层的权重矩阵中的参数的经训练值。例如，在网络中的任何递归层被压缩之前，系统可以训练图1的递归神经网络110。该系统可以使用常规的递归神经网络训练技术(例如利用随时间的反向传播的随机梯度下降)训练未经压缩的递归神经网络。
系统压缩递归神经网络中的一个或多个递归层(步骤204)。具体地，针对要被压缩的每个递归层，系统生成第一经压缩权重矩阵和投影矩阵Pl，使得第一经压缩权重矩阵和投影矩阵的乘积近似于递归层的递归权重矩阵并且基于所述第一经压缩权重矩阵和投影矩阵Pl生成第二经压缩权重矩阵使得所述第二经压缩权重矩阵和投影矩阵的乘积近似于递归层的层间权重矩阵。下面参照图3更详细地描述压缩特定递归层。由于给定层的压缩仅取决于层的递归权重矩阵和层间权重矩阵(即，不取决于任何其他层的矩阵)，所以系统可以压缩递归神经网络中的单个递归层、多个递归层或所有递归层。
系统利用经压缩的权重矩阵重新配置递归神经网络(步骤206)。也就是说，针对被压缩的每个递归层，系统用第一经压缩权重矩阵和投影矩阵的乘积来替换该层的递归权重矩阵，并且用第二经压缩权重矩阵和投影矩阵的乘积来替换该层的层间权重矩阵。因为第一经压缩权重矩阵和投影矩阵的乘积具有比递归权重矩阵更低的秩并且第二经压缩权重矩阵和投影矩阵的乘积具有比层的层间权重矩阵更低的秩，所以矩阵包括比未经压缩神经网络中的它们的对应矩阵更少的参数。
可选地，在重新配置递归神经网络之后，系统可以通过在附加训练数据上训练经重新配置的神经网络来微调经压缩神经网络的性能，以进一步调整参数的经训练值，同时维持投影矩阵和经压缩权重矩阵的秩，即，约束投影矩阵和经压缩权重矩阵的秩不增加。
系统存储经重新配置的神经网络的权重矩阵，用于实例化经训练的神经网络，即，可以有效地用于处理神经网络输入的经训练的递归神经网络(步骤208)。在一些情况下，除了存储权重矩阵或者代替存储权重矩阵，系统可以将权重矩阵和定义神经网络的配置的其他数据传送到另一个系统，以用于实现经训练的递归神经网络。例如，系统可以将配置数据传送到移动设备，以允许在移动设备上实现经压缩的递归神经网络。
图3是用于针对特定递归层压缩层间权重矩阵和递归权重矩阵的示例过程300的流程图。为了方便，过程300将被描述为由位于一个或多个位置的一个或多个计算机的系统来执行。例如，根据本说明书适当地编程的神经网络系统(例如，图1的神经网络系统100)可以执行过程300。
系统确定用于特定递归层的递归权重矩阵Wh的奇异值分解(SVD)(步骤302)。递归权重矩阵的奇异值分解是将矩阵Wh分解成第一酉(unitary)矩阵U、矩形对角矩阵Σ和第二酉矩阵V。特别地，SVD满足：
Wh＝U∑VT。
系统可以使用已知的SVD分解技术来确定递归权重矩阵的SVD。例如，系统可以首先将递归权重矩阵减少为双对角矩阵，然后使用迭代方法计算双对角矩阵的SVD，例如，QR算法的变体。
系统截断SVD以生成第一经压缩权重矩阵和投影矩阵Pl(步骤304)。特别地，系统通过以下方式截断SVD：(i)在矩形对角矩阵Σ中保留顶部(即，最高)l值，并将剩余值设置为零，(ii)将顶部的l值保留在第一酉矩阵U的每个奇异向量(即，列)中，并且将剩余值设置为零，以及(iii)将顶部的l值保留在第二酉矩阵V的每个奇异向量(即，列)中，并将剩余值设置为零。
通常，l是小于权重矩阵的维度并且被配置为控制应用到递归层的压缩程度的值。也就是说，l的值越小，所应用的压缩程度越高。
在一些实施方式中，l是预定值。
在一些其它实施方式中，系统确定l，使得被截断的SVD在SVD操作中保留至多可释方差的预定阈值分数τ。特别地，系统可以将l设置为这样的值，其中(i)矩形对角矩阵Σ中的顶部(即，最高)l个值的平方的总和与(ii)矩形对角矩阵Σ中的所有值的平方的总和的比率在仍然小于的T的同时最大。
在这些实施方式中，如果系统正在压缩递归神经网络内的多个递归层，则l的值在多个层之间可能不同，即，因为不同的l将满足用于不同矩阵的SVD的上述标准。
一旦系统已截断SVD以生成被截断的第一酉矩阵被截断的矩形对角矩阵和被截断的第二酉矩阵则系统可以将第一经压缩权重矩阵设置为等于并且将投影矩阵Pl设置为等于
系统通过第一经压缩权重矩阵和投影矩阵Pl确定第二经压缩权重矩阵(步骤306)。特别地，系统通过求解以下最小二乘问题来确定第二经压缩权重矩阵：
其中||X||F表示矩阵X的Frobenius范数。
本说明书中描述的主题和功能操作的实施例可以被实现在数字电子电路中、在有形体现的计算机软件或固件中、在计算机硬件(包括本说明书中公开的结构及其结构等同物)中或它们中的一种或多种的组合中。在本说明书中描述的主题的实施例可以被实现为一个或多个计算机程序，即，编码在有形非暂时性程序载体上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。替选地或另外地，程序指令可以被编码在人工生成的传播信号(例如，机器所生成的电、光或电磁信号)上，其被生成以对信息进行编码以传输到合适的接收机装置，以便由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备或它们中的一个或多个的组合。
术语“数据处理装置”是指数据处理硬件，并且包括用于处理数据的所有种类的装置、设备和机器，例如包括通过可编程处理器、计算机或多个处理器或计算机的形式。该装置还可以是或进一步包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除硬件之外，装置可以可选地包括创建用于计算机程序的执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。
计算机程序(其还可被称为或描述为程序、软件、软件应用、模块、软件模块、脚本或代码)可以以任何形式的编程语言编写，包括编译或解释性语言、或声明性或过程性语言，并且其可以以任何形式部署，包括作为独立程序或作为适于在计算环境中使用的模块、组件、子例程或其它单元。计算机程序可以但不需要与文件系统中的文件相对应。程序可以被存储在保存其他程序或数据(例如存储在标记语言文档中的一个或多个脚本)的文件的一部分中、在专用于所述程序的单个文件中或者在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。计算机程序可以被部署为在一个计算机上或在位于一个地点或跨多个地点分布并通过通信网络互连的多个计算机上执行。
本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))来执行，并且装置也可以被实现为该专用逻辑电路。
适合于执行计算机程序的计算机例如包括基于通用或专用微处理器或两者或任何其它类型的中央处理单元。通常，中央处理单元将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行或实施指令的中央处理单元和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，或者可操作地耦合以从其接收数据或向其传送数据。然而，计算机不需要具有这样的设备。此外，计算机可以被嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏机、全球定位系统(GPS)接收器或便携式存储设备，例如，通用串行总线(USB)闪存驱动器，此处仅举几个例子。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，例如包括：半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动盘；磁光盘；和CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
为了提供与用户的交互，本说明书中描述的主题的实施例可以在具有用于向用户显示信息的显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)的计算机上实现；以及用户可以通过其向计算机提供输入的键盘和指针设备，例如鼠标或轨迹球。其他类型的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以以包括声音、语音或触觉输入的任何形式接收来自用户的输入。另外，计算机可以通过向用户所使用的设备发送文档和从用户所使用的设备接收文档来与用户交互；例如，通过响应于从web浏览器所接收的请求，将网页发送到在用户的客户端设备上的web浏览器。
在本说明书中描述的主题的实施例可以被实现在计算系统中，所述计算系统包括后端组件(例如，作为数据服务器)或者包括中间件组件(例如，应用服务器)或者包括前端组件(例如，具有图形用户界面或Web浏览器的客户端计算机，用户可以通过该浏览器与本说明书中描述的主题的实施方式交互)或者一个或多个这样的后端、中间件或前端组件的任何组合。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)，例如互联网。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络交互。客户端和服务器的关系借助于在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。
尽管本说明书包含许多具体实施细节，但是这些不应被解释为对任何发明或要求保护的范围的限制，而是作为对特定发明的特定实施例特定的特征的描述。在本说明书中在单独实施例的场境中描述的某些特征也可以在单个实施例的组合中实现。相反，在单个实施例的场境中描述的各种特征也可以在多个实施例中单独地或以任何合适的子组合来实现。此外，虽然特征可以在上面描述为在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合的一个或多个特征在一些情况下可以从组合中去除，并且所要求保护的组合可以针对子组合或子组合的变体。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序或以依序执行，或者所有所示的操作被执行以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中都需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起被集成在单个软件产品中，或者被封装成多个软件产品。
已经描述了本主题的具体实施例。其他实施例在所附权利要求的范围内。例如，权利要求中记载的动作可以以不同的顺序执行并且仍然实现期望的结果。作为一个示例，附图中描绘的过程不一定需要所示的特定顺序或按照序列顺序，以实现期望的结果。在某些实施方式中，多任务和并行处理可能是有利的。

Claims (21)

1.一种系统，包括：
由一个或多个计算机实现的经压缩递归神经网络(RNN)，所述经压缩RNN包括多个递归层，
其中，所述RNN的所述多个递归层中的每一个递归层被配置为：针对多个时间步长中的每一个时间步长，接收针对该时间步长的相应层输入，并且处理针对该时间步长的所述层输入，以生成针对该时间步长的相应层输出，
其中，所述多个递归层中的每一个递归层具有相应的递归权重矩阵Wh和相应的层间权重矩阵Wx，以及
其中所述多个递归层中的至少一个递归层被压缩，使得所述经压缩层的相应的递归权重矩阵由第一经压缩权重矩阵和投影矩阵P1定义，并且所述经压缩层的相应层间权重矩阵由第二经压缩权重矩阵和投影矩阵P1定义。
2.根据权利要求1所述的系统，其中所述多个递归层中的每一个递归层被配置为，针对每个时间步长：
通过将用于先前层的层间权重矩阵应用于对该层的当前输入以及将用于该层的递归权重矩阵应用于对该层的递归输入，来生成针对该时间步长的所述相应层输出。
3.根据任何在前权利要求所述的系统，其中所述多个递归层中的被压缩的所述至少一个递归层被配置为，针对每个时间步长：
部分地通过将所述第一经压缩权重矩阵和所述投影矩阵应用于针对该层的相应递归输入，来生成针对该时间步长的所述相应层输出。
4.根据任何在前权利要求所述的系统，其中，所述相应的递归权重矩阵由所述第一经压缩权重矩阵和所述投影矩阵的乘积定义，并且其中，所述相应的层间权重矩阵由所述第二经压缩矩阵和所述投影矩阵的乘积定义。
5.根据任何在前权利要求所述的系统，其中所述RNN是声学模型。
6.根据权利要求1-4中任一项所述的系统，其中所述RNN是语音识别模型。
7.根据任何在前权利要求所述的系统，其中所述RNN是所述RNN的未经压缩版本的至少68％的压缩。
8.根据权利要求7所述的系统，其中，所述RNN的字错误率在所述RNN的未经压缩版本的字错误率的5％以内。
9.一种用于对递归神经网络(RNN)进行压缩的方法，
其中，所述RNN由一个或多个计算机实现并且包括多个递归层，
其中，所述RNN的所述多个递归层中的每一个递归层被配置为针对多个时间步长中的每一个时间步长，接收针对该时间步长的相应的层输入，并处理所述层输入以生成针对该时间步长的相应的层输出，以及
其中每个递归层具有相应的递归权重矩阵Wh和相应的层间权重矩阵Wx，针对所述多个递归层中的一个递归层，所述方法包括：
生成第一经压缩权重矩阵和投影矩阵P1，其中所述第一经压缩权重矩阵和所述投影矩阵的乘积近似所述多个递归层中的所述一个递归层的所述递归权重矩阵；以及
基于所述第一经压缩权重矩阵和所述投影矩阵P1生成第二经压缩权重矩阵其中所述第二经压缩权重矩阵和所述投影矩阵的乘积近似所述多个递归层中的所述一个递归层的所述层间权重矩阵。
10.根据权利要求9所述的方法，进一步包括：针对所述多个递归层中的所述一个递归层：
用所述第一经压缩权重矩阵和所述投影矩阵的所述乘积替换所述相应的递归权重矩阵；以及
用所述第二经压缩权重矩阵和所述投影矩阵的所述乘积替换所述相应的层间权重矩阵。
11.根据权利要求9或10中任一项所述的方法，其中，所述Zh和P的相应的秩小于Wh的所述秩。
12.根据权利要求9-11中任一项所述的方法，其中，所述Zx和P的相应的秩小于Wx的所述秩。
13.根据权利要求9-12中任一项所述的方法，其中，生成所述第二经压缩权重矩阵Zx包括将所述投影矩阵求逆，并将所述逆投影矩阵乘以所述层间权重矩阵。
14.根据权利要求9-13中任一项所述的方法，其中使用奇异值分解(SVD)压缩技术来生成所述第一经压缩权重矩阵Zh和所述投影矩阵P。
15.根据权利要求9-14中任一项所述的方法，其中所述多个层中的所述一个层是第l层，并且其中，针对所述第l层的所述输出可以由下式表示：
其中表示在时间t处所述第l层的隐藏层激活输出，表示来自先前第(l-1)层的层间权重矩阵，其中，bl表示第l层偏置向量，并且σ(·)表示非线性激活函数。
16.根据权利要求9-15中任一项所述的方法，其中所述RNN是长的短期存储器(LSTM)RNN。
17.根据权利要求9-16中任一项所述的方法，进一步包括在生成所述第一经压缩权重矩阵Zh、所述投影矩阵P和所述第二经压缩权重矩阵Zx之前训练所述RNN；以及在生成所述第一经压缩权重矩阵Zh，所述投影矩阵P和所述第二经压缩权重矩阵Zx之后重新训练所述RNN。
18.根据权利要求9-17中任一项所述的方法，其中所述RNN是声学模型。
19.根据权利要求9-17中任一项所述的方法，其中所述RNN是语音识别模型。
20.一种系统，所述系统包括一个或多个计算机和存储可操作指令的一个或多个存储设备，所述指令在由所述一个或多个计算机执行时，使得所述一个或多个计算机执行权利要求10-19中任一项所述的相应方法的所述操作。
21.一种编码有可操作指令的非暂时性计算机存储介质，所述指令当被一个或多个计算机执行时，使得所述一个或多个计算机执行根据权利要求10-19中任一项所述的相应方法的所述操作。
CN201611262293.6A 2016-02-03 2016-12-30 经压缩的递归神经网络模型 Active CN107038476B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662290624P 2016-02-03 2016-02-03
US62/290,624 2016-02-03

Publications (2)

Publication Number Publication Date
CN107038476A true CN107038476A (zh) 2017-08-11
CN107038476B CN107038476B (zh) 2024-08-02

Family

ID=57882138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611262293.6A Active CN107038476B (zh) 2016-02-03 2016-12-30 经压缩的递归神经网络模型

Country Status (7)

Country Link
US (2) US10878319B2 (zh)
EP (1) EP3374932B1 (zh)
JP (1) JP6706326B2 (zh)
KR (1) KR102100977B1 (zh)
CN (1) CN107038476B (zh)
DE (2) DE102016125918A1 (zh)
WO (1) WO2017136070A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670158A (zh) * 2018-12-27 2019-04-23 丹翰智能科技(上海)有限公司 一种用于根据资讯数据生成文本内容的方法与设备
CN109740737A (zh) * 2018-12-30 2019-05-10 联想(北京)有限公司 卷积神经网络量化处理方法、装置及计算机设备
CN109785826A (zh) * 2017-10-24 2019-05-21 百度（美国）有限责任公司 用于嵌入式模型的迹范数正则化和更快推理的系统和方法
CN110084357A (zh) * 2018-01-25 2019-08-02 三星电子株式会社 经由选择性修剪来加速长短期记忆网络
CN110533157A (zh) * 2018-05-23 2019-12-03 华南理工大学 一种基于svd和剪枝用于深度循环神经网络的压缩方法
CN110580525A (zh) * 2019-06-03 2019-12-17 北京邮电大学 神经网络压缩方法及系统

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3398119B1 (en) * 2016-02-05 2022-06-22 Deepmind Technologies Limited Generative neural networks for generating images using a hidden canvas
US10783535B2 (en) 2016-05-16 2020-09-22 Cerebri AI Inc. Business artificial intelligence management engine
US10599935B2 (en) * 2017-02-22 2020-03-24 Arm Limited Processing artificial neural network weights
US10762563B2 (en) 2017-03-10 2020-09-01 Cerebri AI Inc. Monitoring and controlling continuous stochastic processes based on events in time series data
US10402723B1 (en) * 2018-09-11 2019-09-03 Cerebri AI Inc. Multi-stage machine-learning models to control path-dependent processes
US11037330B2 (en) * 2017-04-08 2021-06-15 Intel Corporation Low rank matrix compression
US11321320B2 (en) * 2017-08-14 2022-05-03 Sisense Ltd. System and method for approximating query results using neural networks
US11216437B2 (en) 2017-08-14 2022-01-04 Sisense Ltd. System and method for representing query elements in an artificial neural network
US11720781B2 (en) * 2017-10-20 2023-08-08 Deepmind Technologies Limited Parallel execution of gated activation unit operations
US11106975B2 (en) * 2017-10-20 2021-08-31 Asapp, Inc. Fast neural network implementations by increasing parallelism of cell computations
CN109993291B (zh) * 2017-12-30 2020-07-07 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
WO2019129302A1 (zh) 2017-12-30 2019-07-04 北京中科寒武纪科技有限公司 集成电路芯片装置及相关产品
CN109993289B (zh) 2017-12-30 2021-09-21 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
CN109993290B (zh) 2017-12-30 2021-08-06 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
CN109993292B (zh) 2017-12-30 2020-08-04 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
US11586924B2 (en) * 2018-01-23 2023-02-21 Qualcomm Incorporated Determining layer ranks for compression of deep networks
US11593068B2 (en) * 2018-02-27 2023-02-28 New York University System, method, and apparatus for recurrent neural networks
EP3735658A1 (en) * 2018-07-12 2020-11-11 Huawei Technologies Co. Ltd. Generating a compressed representation of a neural network with proficient inference speed and power consumption
JP2020034625A (ja) * 2018-08-27 2020-03-05 日本電信電話株式会社 音声認識装置、音声認識方法、及びプログラム
KR20200036352A (ko) 2018-09-28 2020-04-07 삼성전자주식회사 신경망의 동작 방법과 학습 방법 및 그 신경망
US11068942B2 (en) 2018-10-19 2021-07-20 Cerebri AI Inc. Customer journey management engine
CN109523995B (zh) * 2018-12-26 2019-07-09 出门问问信息科技有限公司 语音识别方法、语音识别装置、可读存储介质和电子设备
US11599773B2 (en) 2018-12-27 2023-03-07 Micron Technology, Inc. Neural networks and systems for decoding encoded data
US11444845B1 (en) * 2019-03-05 2022-09-13 Amazon Technologies, Inc. Processing requests using compressed and complete machine learning models
CN112308197B (zh) * 2019-07-26 2024-04-09 杭州海康威视数字技术股份有限公司 一种卷积神经网络的压缩方法、装置及电子设备
US11922315B2 (en) * 2019-08-26 2024-03-05 Microsoft Technology Licensing, Llc. Neural adapter for classical machine learning (ML) models
US11424764B2 (en) * 2019-11-13 2022-08-23 Micron Technology, Inc. Recurrent neural networks and systems for decoding encoded data
KR20210074681A (ko) * 2019-12-12 2021-06-22 한국전자기술연구원 저복잡도 딥러닝 가속 하드웨어 데이터 가공장치
US11188616B2 (en) 2020-02-25 2021-11-30 International Business Machines Corporation Multi-linear dynamical model reduction
KR20210136706A (ko) * 2020-05-08 2021-11-17 삼성전자주식회사 전자 장치 및 이의 제어 방법
WO2021234967A1 (ja) * 2020-05-22 2021-11-25 日本電信電話株式会社 音声波形生成モデル学習装置、音声合成装置、それらの方法、およびプログラム
KR20220064054A (ko) * 2020-11-11 2022-05-18 포항공과대학교 산학협력단 행렬곱 연산량 감소 방법 및 장치
US11973513B2 (en) 2021-04-27 2024-04-30 Micron Technology, Inc. Decoders and systems for decoding encoded data using neural networks
US11563449B2 (en) 2021-04-27 2023-01-24 Micron Technology, Inc. Systems for error reduction of encoded data using neural networks
US20230057387A1 (en) * 2021-07-23 2023-02-23 Cohere Inc. System and Method for Low Rank Training of Neural Networks
US11755408B2 (en) 2021-10-07 2023-09-12 Micron Technology, Inc. Systems for estimating bit error rate (BER) of encoded data using neural networks

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102934131A (zh) * 2010-04-14 2013-02-13 西门子公司 用于计算机辅助地学习递归神经网络以对动态系统建模的方法
US20150161991A1 (en) * 2013-12-10 2015-06-11 Google Inc. Generating representations of acoustic sequences using projection layers
CN105184369A (zh) * 2015-09-08 2015-12-23 杭州朗和科技有限公司 用于深度学习模型的矩阵压缩方法和装置

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5408424A (en) * 1993-05-28 1995-04-18 Lo; James T. Optimal filtering by recurrent neural networks
DE60142582D1 (de) * 2000-10-13 2010-08-26 Fraunhofer Ges Forschung Verfahren zum überwachten trainieren eines iterativen künstlichen neuronalen netzwerks
WO2012109407A1 (en) * 2011-02-09 2012-08-16 The Trustees Of Columbia University In The City Of New York Encoding and decoding machine with recurrent neural networks
US8489529B2 (en) * 2011-03-31 2013-07-16 Microsoft Corporation Deep convex network with joint use of nonlinear random projection, Restricted Boltzmann Machine and batch-based parallelizable optimization
US9292787B2 (en) * 2012-08-29 2016-03-22 Microsoft Technology Licensing, Llc Computer-implemented deep tensor neural network
US20140156575A1 (en) * 2012-11-30 2014-06-05 Nuance Communications, Inc. Method and Apparatus of Processing Data Using Deep Belief Networks Employing Low-Rank Matrix Factorization
US9519858B2 (en) * 2013-02-10 2016-12-13 Microsoft Technology Licensing, Llc Feature-augmented neural networks and applications of same
US9728184B2 (en) * 2013-06-18 2017-08-08 Microsoft Technology Licensing, Llc Restructuring deep neural network acoustic models
US9400955B2 (en) 2013-12-13 2016-07-26 Amazon Technologies, Inc. Reducing dynamic range of low-rank decomposition matrices
US9552526B2 (en) * 2013-12-19 2017-01-24 University Of Memphis Research Foundation Image processing using cellular simultaneous recurrent network
US9721202B2 (en) * 2014-02-21 2017-08-01 Adobe Systems Incorporated Non-negative matrix factorization regularized by recurrent neural networks for audio processing
US9324321B2 (en) * 2014-03-07 2016-04-26 Microsoft Technology Licensing, Llc Low-footprint adaptation and personalization for a deep neural network
US11256982B2 (en) * 2014-07-18 2022-02-22 University Of Southern California Noise-enhanced convolutional neural networks
US20160035344A1 (en) * 2014-08-04 2016-02-04 Google Inc. Identifying the language of a spoken utterance
US10783900B2 (en) * 2014-10-03 2020-09-22 Google Llc Convolutional, long short-term memory, fully connected deep neural networks
US10229356B1 (en) * 2014-12-23 2019-03-12 Amazon Technologies, Inc. Error tolerant neural network model compression
CN104598972A (zh) * 2015-01-22 2015-05-06 清华大学 一种大规模数据回归神经网络快速训练方法
US10223635B2 (en) * 2015-01-22 2019-03-05 Qualcomm Incorporated Model compression and fine-tuning
CN104700828B (zh) * 2015-03-19 2018-01-12 清华大学 基于选择性注意原理的深度长短期记忆循环神经网络声学模型的构建方法
US10515301B2 (en) * 2015-04-17 2019-12-24 Microsoft Technology Licensing, Llc Small-footprint deep neural network
US20160328644A1 (en) * 2015-05-08 2016-11-10 Qualcomm Incorporated Adaptive selection of artificial neural networks
US10091140B2 (en) * 2015-05-31 2018-10-02 Microsoft Technology Licensing, Llc Context-sensitive generation of conversational responses
US20160350653A1 (en) * 2015-06-01 2016-12-01 Salesforce.Com, Inc. Dynamic Memory Network
US10515307B2 (en) * 2015-06-05 2019-12-24 Google Llc Compressed recurrent neural network models
GB201511887D0 (en) * 2015-07-07 2015-08-19 Touchtype Ltd Improved artificial neural network for language modelling and prediction
US10217018B2 (en) * 2015-09-15 2019-02-26 Mitsubishi Electric Research Laboratories, Inc. System and method for processing images using online tensor robust principal component analysis
US20170083623A1 (en) * 2015-09-21 2017-03-23 Qualcomm Incorporated Semantic multisensory embeddings for video search by text
US10366158B2 (en) * 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US10395118B2 (en) * 2015-10-29 2019-08-27 Baidu Usa Llc Systems and methods for video paragraph captioning using hierarchical recurrent neural networks
US9807473B2 (en) * 2015-11-20 2017-10-31 Microsoft Technology Licensing, Llc Jointly modeling embedding and translation to bridge video and language
US10332509B2 (en) * 2015-11-25 2019-06-25 Baidu USA, LLC End-to-end speech recognition
US10078794B2 (en) * 2015-11-30 2018-09-18 Pilot Ai Labs, Inc. System and method for improved general object detection using neural networks
US10832120B2 (en) * 2015-12-11 2020-11-10 Baidu Usa Llc Systems and methods for a multi-core optimized recurrent neural network
US10824941B2 (en) * 2015-12-23 2020-11-03 The Toronto-Dominion Bank End-to-end deep collaborative filtering
US10515312B1 (en) * 2015-12-30 2019-12-24 Amazon Technologies, Inc. Neural network model compaction using selective unit removal
US10482380B2 (en) * 2015-12-30 2019-11-19 Amazon Technologies, Inc. Conditional parallel processing in fully-connected neural networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102934131A (zh) * 2010-04-14 2013-02-13 西门子公司 用于计算机辅助地学习递归神经网络以对动态系统建模的方法
US20150161991A1 (en) * 2013-12-10 2015-06-11 Google Inc. Generating representations of acoustic sequences using projection layers
CN105184369A (zh) * 2015-09-08 2015-12-23 杭州朗和科技有限公司 用于深度学习模型的矩阵压缩方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HASIM，SAK 等: "LONG SHORT-TERM MEMORY BASED RECURRENT NEURAL NETWORK ARCHITECTURES FOR LARGE VOCABULARY SPEECH RECOGNITION", HTTP://ARXIV.ORG/PDF/1402.1128.PDF, 5 February 2014 (2014-02-05), pages 1 - 5 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785826A (zh) * 2017-10-24 2019-05-21 百度（美国）有限责任公司 用于嵌入式模型的迹范数正则化和更快推理的系统和方法
CN109785826B (zh) * 2017-10-24 2023-08-08 百度（美国）有限责任公司 用于嵌入式模型的迹范数正则化和更快推理的系统和方法
CN110084357A (zh) * 2018-01-25 2019-08-02 三星电子株式会社 经由选择性修剪来加速长短期记忆网络
CN110084357B (zh) * 2018-01-25 2024-02-27 三星电子株式会社 经由选择性修剪来加速长短期记忆网络
CN110533157A (zh) * 2018-05-23 2019-12-03 华南理工大学 一种基于svd和剪枝用于深度循环神经网络的压缩方法
CN109670158A (zh) * 2018-12-27 2019-04-23 丹翰智能科技(上海)有限公司 一种用于根据资讯数据生成文本内容的方法与设备
CN109670158B (zh) * 2018-12-27 2023-09-29 北京及客科技有限公司 一种用于根据资讯数据生成文本内容的方法与设备
CN109740737A (zh) * 2018-12-30 2019-05-10 联想(北京)有限公司 卷积神经网络量化处理方法、装置及计算机设备
CN110580525A (zh) * 2019-06-03 2019-12-17 北京邮电大学 神经网络压缩方法及系统
CN110580525B (zh) * 2019-06-03 2021-05-11 北京邮电大学 适用于资源受限的设备的神经网络压缩方法及系统

Also Published As

Publication number Publication date
US11948062B2 (en) 2024-04-02
JP6706326B2 (ja) 2020-06-03
KR20180084988A (ko) 2018-07-25
CN107038476B (zh) 2024-08-02
KR102100977B1 (ko) 2020-04-14
US20210089916A1 (en) 2021-03-25
JP2019509539A (ja) 2019-04-04
DE202016008253U1 (de) 2017-05-26
US10878319B2 (en) 2020-12-29
DE102016125918A1 (de) 2017-08-03
EP3374932B1 (en) 2022-03-16
EP3374932A1 (en) 2018-09-19
WO2017136070A1 (en) 2017-08-10
US20170220925A1 (en) 2017-08-03

Similar Documents

Publication Publication Date Title
CN107038476A (zh) 经压缩的递归神经网络模型
CN108351982B (zh) 卷积门控递归神经网络
KR102208989B1 (ko) 강화 학습을 통한 디바이스 배치 최적화
CN107145940B (zh) 压缩的递归神经网络模型
US20200251099A1 (en) Generating Target Sequences From Input Sequences Using Partial Conditioning
JP6758406B2 (ja) ワイドアンドディープマシンラーニングモデル
CN105940395B (zh) 生成文档的矢量表示
US20210004677A1 (en) Data compression using jointly trained encoder, decoder, and prior neural networks
CN107690663A (zh) 白化神经网络层
CN109478254A (zh) 使用合成梯度来训练神经网络
CN110023963A (zh) 使用神经网络处理文本序列
US20210027195A1 (en) Systems and Methods for Compression and Distribution of Machine Learning Models
KR20190138712A (ko) 배치 정규화 레이어들
JP2019517075A (ja) 比較セットを使用する入力例の分類
CN109785826A (zh) 用于嵌入式模型的迹范数正则化和更快推理的系统和方法
CN107969156A (zh) 用于处理图形数据的神经网络
WO2019075267A1 (en) ARTIFICIAL NEURON NETWORK AUTO-SYNCHRONIZATION ACTIVATION LAYERS
CN106355191A (zh) 一种深度生成网络随机训练算法及装置
US10635972B1 (en) Recurrent neural networks with rectified linear units
US20140214734A1 (en) Classifying a submission
US20170337465A1 (en) Reduction of parameters in fully connected layers of neural networks by low rank factorizations
US10482373B1 (en) Grid long short-term memory neural networks
CN114996426A (zh) 一种问答交互的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Google Inc.

Address before: California, USA

Applicant before: Google Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant