CN108304924A - 一种深度置信网的流水线式预训练方法 - Google Patents

一种深度置信网的流水线式预训练方法 Download PDF

Info

Publication number
CN108304924A
CN108304924A CN201711390483.0A CN201711390483A CN108304924A CN 108304924 A CN108304924 A CN 108304924A CN 201711390483 A CN201711390483 A CN 201711390483A CN 108304924 A CN108304924 A CN 108304924A
Authority
CN
China
Prior art keywords
training
hidden layer
rbm
layer
deep neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711390483.0A
Other languages
English (en)
Other versions
CN108304924B (zh
Inventor
马杰
马志强
杨双涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia University of Technology
Original Assignee
Inner Mongolia University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia University of Technology filed Critical Inner Mongolia University of Technology
Priority to CN201711390483.0A priority Critical patent/CN108304924B/zh
Publication of CN108304924A publication Critical patent/CN108304924A/zh
Application granted granted Critical
Publication of CN108304924B publication Critical patent/CN108304924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于DNN的蒙古语声学模型的训练方法。用DNN深度神经网络代替GMM高斯混合模型，实现对蒙古语声学状态的后验概率进行估算，构建DNN‑HMM声学模型，并公开了该模型的训练方法。本发明可有效降低词识别的错误率和字识别的错误率，提高模型使用性能。本发明涉及一种深度置信网的流水线式预训练方法，以解决深度置信网逐层训练耗时、效率低的问题。在逐层无监督预训练算法中，采用了堆叠RBM的方式来完成深度神经网络的预训练，在下层隐含层完成全部训练数据的拟合之前，不开始上层隐含层的训练任务的，因为上层隐含层的输入来自于下层隐含层的输出，这就是隐含层间的数据依赖。

Description

一种深度置信网的流水线式预训练方法
技术领域
本发明涉及一种深度置信网的流水线式预训练方法，以解决深度置信网逐层训练耗时、效率低的问题。
背景技术
在采用逐层无监督预训练算法进行深度神经网络初始化过程中，深度神经网络可以看作是一系列隐含层的有序堆叠，每个隐含层通过对其输入进行非线性变化，完成对输入数据的特征提取。然而，逐层无监督预训练算法由于其内在的逐层有序学习过程，每次只能有一个隐含层进行训练学习，即上层的隐含层由于对下层存在着数据依赖，必须等待下层隐含层训练完成后，才能得到输入数据，从而开始自身的训练，因此逐层无监督预训练算法的扩展性受到了很大的限制。随着网络层数、隐含层节点数目的增多以及训练数据的增长，即使采用高性能GPU和高效的优化策略，深度神经网络的训练也极为耗时。
现有技术对加速深度神经网络的训练，主要工作集中在如何利用分布式集群实现深度神经网络的并行化训练，从而提高网络的训练效率。深度神经网络的并行化训练主要分为模型并行和数据并行两类。模型并行表示整个深度神经网络模型分别存储在框架中的机器上，即模型参数被分布式存储在多台机器上，每台机器仅保存和训练一部分模型参数。因此，训练过程中要求模型的各节点间进行大量的通信和同步操作，从而使模型并行策略的效果并不明显。数据并行表示整个深度神经网络的模型参数存储于主节点上，各从节点通过随机的选取训练样本计算梯度从而完成对主节点模型参数的更新较为适合主从式分布式集群，在数据并行策略中。相比模型并行，数据并行更加有效和易于实现。
发明内容
本发明为解决深度置信网逐层训练耗时、效率低的问题，提供了一种深度置信网的流水线式预训练方法。
在逐层无监督预训练算法中，采用了堆叠RBM的方式来完成深度神经网络(DeepBelief Network，DBN)的预训练，在下层隐含层完成全部训练数据的拟合之前，是不会开始上层隐含层的训练任务的，因为上层隐含层的输入来自于下层隐含层的输出，这就是隐含层间的数据依赖。
为了并行化各隐含层的训练，必须为上层隐含层提前找到输入数据。下层隐含层在以RBM的形式进行训练过程中，每读入一个mini-batch的训练数据，均会产生一个相应的mini-batch的中间结果，即附图1中的黑色方块。在流式预训练算法中，这些中间结果便被当作上层隐含层构成的RBM的输入数据，如附图1所示隐含层L1构成的RBM的产生的中间结果便被作为L2构成的RBM的输入数据。在开始上层隐含层的训练前，还需要解决相邻隐含层构成的RBM会共享隐含层的问题，上层RBM的可见层偏执向量初始化问题，在流式预训练算法中是通过对隐含层进行复制解决该问题的，如附图1所示隐含层L1构成的RBM是由输入层和隐含层L1构成的，而L2构成的RBM是由隐含层L2和隐含层L1的复制层构成的。在实际应用中隐含层的复制是很容易实现的，仅仅对隐含层对应的偏执向量进行复制即可。
1.流式预训练学习算法主要完成过程如下：
(1)根据计算节点数目以及网络结构对深度神经网络进行划分。
深度神经网路的划分包括以下两种情况：当计算节点数不小于网络层数时，每个RBM将被分配到某个专属的计算节点上，即每个隐含层将在独有的机器上完成训练任务；否则，会存在相邻RBM分配到相同计算节点的情况，即多个隐含层将在同一台机器上完成训练任务。由于相邻RBM间共享网络层并存在数据依赖，为了实现深度神经网络的分布式划分，需要在相邻RBM间增加一个额外的隐含层，该隐含层是对下层RBM隐含层的复制，即二者的神经单元数、神经单元激励函数均完全相同，且会定时地利用下层RBM隐含层参数对复制的隐含层进行初始化。
(2)完成深度神经网络的分布式划分后，由深度神经网络的底层开始进行预训练。
(3)重复进行过程(2)直到所有的隐含层训练完毕。隐含层训练完毕后，收集各机器节点上的模型参数，便可以开始进行网络模型的调优。
2.流式预训练框架：
流式预训练框架采用主从式集群结构设计，主节点负责实现训练任务初始化、计算资源分配以及网络训练过程中的调度；从节点负责具体的隐含层训练工作以及与其它节点通信。该训练框架采用Python实现，节点间的通信通过socket通信实现的，而各计算节点上RBM的训练是通过Theano实现的。
附图说明
附图1为DBN流式预训练流程图。
附图2为共享隐含层复制过程图。
附图3为深度神经网络分割图。
附图4为N层DBN流式预训练算法训练过程图。
附图5为DBN流式预训练训练框架图。
附图6为DBN流式预训练算法加速情况图。
实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
实施例一：
1.流式预训练学习算法主要完成过程如下：
(1)根据计算节点数目以及网络结构对深度神经网络进行划分。
深度神经网路的划分包括以下两种情况：当计算节点数不小于网络层数时，每个RBM将被分配到某个专属的计算节点上，即每个隐含层将在独有的机器上完成训练任务；否则，会存在相邻RBM分配到相同计算节点的情况，即多个隐含层将在同一台机器上完成训练任务。由于相邻RBM间共享网络层并存在数据依赖，为了实现深度神经网络的分布式划分，需要在相邻RBM间增加一个额外的隐含层，该隐含层是对下层RBM隐含层的复制，即二者的神经单元数、神经单元激励函数均完全相同，且会定时地利用下层RBM隐含层参数对复制的隐含层进行初始化。
深度神经网络中共享隐含层的复制过程如附图2所示，附图2中共三个隐含层，其中Lm-1与Lm构成RBMm，Lm与Lm+1构成RBMm+1，由于RBM1与RBM2共享隐含层L1，为了将RBM1与RBM2分发到不同的训练节点，需要对隐含层L1进行复制，得到L1-copy层。此时，L0与L1构成RBM1在M1节点上进行训练，L1-copy与L2构成RBM2在M2机器上进行训练。由于L1-copy层是L1层的拷贝，需要定时地利用L1的参数对L1-copy进行初始化，因此需要不同计算节点间的通信以及参数传递，如附图2中虚线所示。
(2)完成深度神经网络的分布式划分后，由深度神经网络的底层开始进行预训练。附图3便是深度神经网络划分到分布式集群中的情况，原深度神经网络共包含5个隐含层L1,L2,L3,L4,L5，如附图3左所示。划分到分布式集群以后的情况如附图3右所示，5个隐含层L1,L2,L3,L4,L5分别在5台不同机器M1,M2,M3,M4,M5上进行训练。每个隐含层在完成一个最小批量的运算后，将该最小批量在本隐含层上相应的输出以及隐含层的偏执向量一起传递到下个隐含层所在的机器上，如附图3中带箭头虚线所示。最底层的输入层和第一个隐含层L1构成第一个RBM，即RBM1。RBM1首先初始化RBM参数W1，a1以及b1，然后读取一个mini-batch的训练数据作为输入进行训练，该mini-batch的输入数据训练完成后，将产生RBM1的输出RBM1-1-out，RBM1的隐含层L1的偏执向量也将更新成b1-1，b1-1表示第一个隐含层偏执向量经过一个mini-batch后的值。通过跨机器的消息传递将RBM1-1-out，b1-1传递到RBM2所在的机器，RBM2首次利用b1-1初始化RBM2得可见层L1-copy的偏执向量，然后以RBM1-1-out作为输入进行训练，经过训练RBM2将得到输出结果RBM2-1-out和以及隐含层L2的偏执向量b2-1。在流式预训练学习算法中，每个隐含层在完成k个(mini-batch)最小批量后，将生成k个最小批量的输出结果，隐含层的偏执向量也将跟新k次。
(3)重复进行过程(2)直到所有的隐含层训练完毕。隐含层训练完毕后，收集各机器节点上的模型参数，便可以开始进行网络模型的调优。
用流式预训练算法进行一个N层深度神经网络预训练时，过程如附图4所示：
深度神经网络隐含层依次用L1,L2,…,LN表示，相应地各隐含层对应的RBM依次用R1,R2,…,RN表示。在机器节点足够的情况下，这N个隐含层是在N台机器上并行进行训练的。图中的空白格表示当前RBM完成K个mini-batch训练的过程；带箭头的实线表示当前RBM完成k个mini-batch后，下一轮K个mini-batch训练的开始。带箭头的虚线表示下层RBM在完成k个mini-batch后向上层传递隐含层偏执向量以及RBM输出结果的过程。在预训练的开始阶段，各个隐含层的训练并不是完全并行的，上层隐含层训练相对下层隐含层会存在一个短暂的延迟，因为上层隐含层必须等待下层完成K个mini-batch后才能获得下层隐含层的偏执向量以及输入数据，例如隐含层L2训练的开始必须等待L1完成第一次K个mini-batch的训练(图中L1的第一个空白格)后才能开始，隐含层L2获得隐含层L1的偏执向量以及输入数据(L1指向L2的第一个带箭头的虚线)后才能开始自身的训练。这是流式预训练算法与逐层无监督预训练算法最大的不同点，也是其获得良好加速能力的主要原因。
2.流式预训练框架：
流式预训练框架设计附图5所示，该训练框架采用主从式集群结构设计，主节点负责实现训练任务初始化、计算资源分配以及网络训练过程中的调度；从节点负责具体的隐含层训练工作以及与其它节点通信。该训练框架采用Python实现，节点间的通信通过socket通信实现的，而各计算节点上RBM的训练是通过Theano实现的。
3.实验及结果：
(1)实验环境
由于流式预训练算法是面向分布式集群的分布式训练算法，相关实验需要在本发明所述的流式预训练框架环境下进行，集群环境以及各节点的配置如表1所示：
表1流式预训练框架配置
在进行深度神经网络预训练过程中主要参数设置如表2所示：
表2重要参数设置
(2)实验过程
在得到对齐后的标注特征数据后，本发明首先在Kaldi中完成了4层DNN-HMM模型的训练，并通过查看nnet.config得知各深度神经网络对应的网络结构。在TIMIT实验中，深度神经网络的输入层维度为：40*(5+1+5)＝440，输出层维度是绑定的三音子状态个数1947，隐含层层数为4，各层内节点个数均为1024，激活函数为tanh。
得到各深度神经网络结构后，为避免不同编程语言带来实验结果统计上的误差，本发明将首先采用Theano，并利用逐层无监督预训练算法结合各自训练数据预训练了两个完全相同结构的深度神经网络，并将训练耗时作为实验基准，记为TG。然后再通过流式预训练框架，并利用流式预训练算法结合各自训练数据再次预训练了两个完全相同结构的深度神经网络，并将训练耗时记为TP。
在保证预训练深度神经网络模型性能的前提下，通过比较TG和TP对算法性能进行评价。预训练深度神经网络模型性能则通过最终语音识别系统的识别准确率来评价。具体做法是：在完成深度神经网络的预训练后，利用预训练深度神经网络的参数初始化Kaldi中的DNN-HMM模型，即DNN-HMM模型训练的主要过程的第8步：利用align-data对ptdnn深度神经网络进行调优，得到网络模型dnn。即利用Theano和流式预训练框架预训练的深度神经网络代替步骤8中的ptdnn。
其中，DNN-HMM的模型的训练方法具体步骤为：
步骤1：进行GMM-HMM蒙古语声学模型训练，得到一个最优的GMM-HMM蒙古语语音识别系统，用gmm-hmm表示。
步骤2：利用维特比解码算法解析gmm-hmm，对gmm-hmm蒙古语声学模型的模型中的每一个senone进行标号，得到senone_id。
步骤3：利用gmm-hmm蒙古语声学模型，将声学状态tri-phone映射到相应的senone_id。
步骤4：利用gmm-hmm蒙古语声学模型初始化DNN-HMM蒙古语声学模型，主要是HMM隐马尔科夫模型参数部分，最终得到dnn-hmm1模型。
步骤5：利用蒙古语声学特征文件预训练DNN深度神经网络，得到ptdnn。
步骤6：使用gmm-hmm蒙古语声学模型，将蒙古语声学特征数据进行状态级别的强制对齐，对齐结果为align-raw。
步骤7：将align-raw的物理状态转换成senone_id，得到帧级别对齐的训练数据align-frame。
步骤8：利用对齐数据align-data对ptdnn深度神经网络进行有监督地微调，得到网络模型dnn。
步骤9：根据最大似然算法，利用dnn重新估计dnn-hmm1中HMM模型的转移概率得到的网络模型用dnn-hmm2表示。
步骤10：如果dnn和dnn-hmm2上测试集识别准确率没有提高，训练结束。否则，使用dnn-hmm2对训练数据再次进行状态级别对齐，然后执行步骤7。
(3)实验及结果
考虑到IMUT310语料库规模过小，本发明仅进行了4隐含层DNN-HMM模型的相关实验，IMUT310的各项实验数据如表3所示。
表3算法对比
由表3可以发现，将Kaldi中的深度神经网络的预训练任务通过Theano或者流式预训练框架，仍能保证最终DNN-HMM声学模型的性能，最终识别率也仅仅是小浮动的波动，可以忽略不计。在Kaldi中完成4隐含层深度神经网络的预训练用时109.5分钟，词识别准确率为25.7％，采用Theano完成4隐含层深度神经网络的预训练，同样采用逐层无监督预训练的情况下用时124.7分钟，并取得了相同的词识别准确率，这是由于Kaldi和Theano采用编程语言以及内部优化情况差异造成的。对比流式预训练算法与Theano平台下逐层无监督预训练算法完成4隐含层深度神经网络预训练的耗时可以发现，在4计算节点的情况下，流式预训练算法在加速比达到3.0，加速效果明显。
在TIMIT语料库实验中，由于数据规模明显多于IMUT310语料库，因此本发明进行了不同隐含层时逐层无监督预训练算法与流式预训练算法的对比实验。TIMIT的各项试验数据统计表4所示：
表4算法对比(TIMIT)
由表4可以发现，随着深度神经网络隐含层层数的增加，系统句识别准确率得到了提升，这也正好验证了本地第四章节声学模型试验的观点。同时，完成深度神经网络所需的时间也明显增加，采用逐层无监督预训练算法完成4隐含层深度神经网络训练需要241.2分钟，而完成6隐含层深度神经网络的训练需要371.9分钟，预训练所需时间增长了130.7分钟。但在流式预训练算法中随着隐含层网络层数的增减，训练所需用时增加不大。采用流式预训练算法完成4隐含层深度神经网络训练需要81.4分钟，完成6隐含层深度神经网络的训练也仅需要84.5分钟，预训练所需时间仅仅增长了3.1分钟。当然，预训练所需时间减少的同时，完成计算所需的机器数量也增加了2台。
由附表4可以得到在不同机器节点数量下流式预训练算法的加速情况，具体如附图6所示。流式预训练算法有着明显的加速效果。在训练一个4隐含层深度神经网络时，使用了4个计算节点，加速比为2.98；在训练一个6隐含层深度神经网络时，使用了6个计算节点，加速比为4.4；算法的并行效率达到了0.74，具体如附图6所示。

Claims (3)

1.一种深度置信网的流水线式预训练方法，其特征在于：
流式预训练学习算法主要完成过程如下：
(1)根据计算节点数目以及网络结构对深度神经网络进行划分。
(2)完成深度神经网络的分布式划分后，由深度神经网络的底层开始进行预训练。
(3)重复进行过程(2)直到所有的隐含层训练完毕。隐含层训练完毕后，收集各机器节点上的模型参数，便可以开始进行网络模型的调优。
流式预训练框架：
流式预训练框架采用主从式集群结构设计，主节点负责实现训练任务初始化、计算资源分配以及网络训练过程中的调度；从节点负责具体的隐含层训练工作以及与其它节点通信。该训练框架采用Python实现，节点间的通信通过socket通信实现的，而各计算节点上RBM的训练是通过Theano实现的。
2.如权利要求1所述的一种深度置信网的流水线式预训练方法，其特征在于：深度神经网路的划分包括以下两种情况：
当计算节点数不小于网络层数时，每个RBM将被分配到某个专属的计算节点上，即每个隐含层将在独有的机器上完成训练任务；否则，会存在相邻RBM分配到相同计算节点的情况，即多个隐含层将在同一台机器上完成训练任务。由于相邻RBM间共享网络层并存在数据依赖，为了实现深度神经网络的分布式划分，需要在相邻RBM间增加一个额外的隐含层，该隐含层是对下层RBM隐含层的复制，即二者的神经单元数、神经单元激励函数均完全相同，且会定时地利用下层RBM隐含层参数对复制的隐含层进行初始化。
3.如权利要求1所述的一种深度置信网的流水线式预训练方法，其特征在于：所述深度神经网络的分布式划分过程为：
原深度神经网络共包含5个隐含层L1,L2,L3,L4,L5，分别在5台不同机器M1,M2,M3,M4,M5上进行训练。每个隐含层在完成一个最小批量的运算后，将该最小批量在本隐含层上相应的输出以及隐含层的偏执向量一起传递到下个隐含层所在的机器上。最底层的输入层和第一个隐含层L1构成第一个RBM，即RBM1。RBM1首先初始化RBM参数W1，a1以及b1，然后读取一个mini-batch的训练数据作为输入进行训练，该mini-batch的输入数据训练完成后，将产生RBM1的输出RBM1-1-out，RBM1的隐含层L1的偏执向量也将更新成b1-1，b1-1表示第一个隐含层偏执向量经过一个mini-batch后的值。通过跨机器的消息传递将RBM1-1-out，b1-1传递到RBM2所在的机器，RBM2首次利用b1-1初始化RBM2得可见层L1-copy的偏执向量，然后以RBM1-1-out作为输入进行训练，经过训练RBM2将得到输出结果RBM2-1-out和以及隐含层L2的偏执向量b2-1。在流式预训练学习算法中，每个隐含层(也可以理解成RBM)在完成k个(mini-batch)最小批量后，将生成k个最小批量的输出结果，隐含层的偏执向量也将跟新k次。
CN201711390483.0A 2017-12-21 2017-12-21 一种深度置信网的流水线式预训练方法 Active CN108304924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711390483.0A CN108304924B (zh) 2017-12-21 2017-12-21 一种深度置信网的流水线式预训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711390483.0A CN108304924B (zh) 2017-12-21 2017-12-21 一种深度置信网的流水线式预训练方法

Publications (2)

Publication Number Publication Date
CN108304924A true CN108304924A (zh) 2018-07-20
CN108304924B CN108304924B (zh) 2021-10-12

Family

ID=62870301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711390483.0A Active CN108304924B (zh) 2017-12-21 2017-12-21 一种深度置信网的流水线式预训练方法

Country Status (1)

Country Link
CN (1) CN108304924B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008028A (zh) * 2019-04-10 2019-07-12 北京旷视科技有限公司 计算资源分配方法、装置、计算机设备和存储介质
CN110175636A (zh) * 2019-05-08 2019-08-27 深圳欧翼思特科技有限公司 一种物联网深度神经网络分布式判别推论系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140257803A1 (en) * 2013-03-06 2014-09-11 Microsoft Corporation Conservatively adapting a deep neural network in a recognition system
CN104463324A (zh) * 2014-11-21 2015-03-25 长沙马沙电子科技有限公司 一种基于大规模高性能集群的卷积神经网络并行处理方法
CN104751228A (zh) * 2013-12-31 2015-07-01 安徽科大讯飞信息科技股份有限公司 深度神经网络的构建方法及系统
CN105760324A (zh) * 2016-05-11 2016-07-13 北京比特大陆科技有限公司 数据处理装置和服务器
CN105894087A (zh) * 2015-01-26 2016-08-24 华为技术有限公司 用于神经网络中训练参数集的系统和方法
CN106650929A (zh) * 2016-10-11 2017-05-10 天津大学 基于递归图的深度学习模型及在油水相含率测量中的应用

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140257803A1 (en) * 2013-03-06 2014-09-11 Microsoft Corporation Conservatively adapting a deep neural network in a recognition system
CN104751228A (zh) * 2013-12-31 2015-07-01 安徽科大讯飞信息科技股份有限公司 深度神经网络的构建方法及系统
CN104463324A (zh) * 2014-11-21 2015-03-25 长沙马沙电子科技有限公司 一种基于大规模高性能集群的卷积神经网络并行处理方法
CN105894087A (zh) * 2015-01-26 2016-08-24 华为技术有限公司 用于神经网络中训练参数集的系统和方法
CN105760324A (zh) * 2016-05-11 2016-07-13 北京比特大陆科技有限公司 数据处理装置和服务器
CN106650929A (zh) * 2016-10-11 2017-05-10 天津大学 基于递归图的深度学习模型及在油水相含率测量中的应用

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GEORGE E. DAHL等: "Context-Dependent Pre-Trained Deep Neural Networks for Large-Vocabulary Speech Recognition", 《 IEEE TRANSACTIONS ON AUDIO, SPEECH, AND LANGUAGE PROCESSING》 *
杨志刚等: "基于虚拟化的多GPU深度神经网络训练框架", 《计算机工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008028A (zh) * 2019-04-10 2019-07-12 北京旷视科技有限公司 计算资源分配方法、装置、计算机设备和存储介质
CN110175636A (zh) * 2019-05-08 2019-08-27 深圳欧翼思特科技有限公司 一种物联网深度神经网络分布式判别推论系统及方法

Also Published As

Publication number Publication date
CN108304924B (zh) 2021-10-12

Similar Documents

Publication Publication Date Title
US20200364625A1 (en) Imitation training for machine learning networks
Su et al. Vitas: Vision transformer architecture search
CN113544703B (zh) 高效的离策略信用分配
CN109325516B (zh) 一种面向图像分类的集成学习方法及装置
CN106297774B (zh) 一种神经网络声学模型的分布式并行训练方法及系统
Lee et al. Deeply-supervised nets
CN103049792B (zh) 深层神经网络的辨别预训练
CN110889509B (zh) 一种基于梯度动量加速的联合学习方法及装置
CN107729999A (zh) 考虑矩阵相关性的深度神经网络压缩方法
Oymak et al. On the role of attention in prompt-tuning
CN103631758A (zh) 一种改进和声搜索算法求解非线性规划及绝对值方程的方法
CN106096728A (zh) 一种基于深层极限学习机的危险源识别方法
WO2019006541A1 (en) SYSTEM AND METHOD FOR AUTOMATIC CONSTRUCTION OF LEARNING MACHINES USING LEARNING MACHINES
CN109934330A (zh) 基于多样化种群的果蝇优化算法来构建预测模型的方法
CN108304924A (zh) 一种深度置信网的流水线式预训练方法
Lan et al. Accelerated device placement optimization with contrastive learning
An et al. Learning deep latent variable models by short-run mcmc inference with optimal transport correction
De Stefano et al. Pruning GP-based classifier ensembles by Bayesian networks
CN117744759A (zh) 文本信息的识别方法、装置、存储介质及电子设备
Fang et al. Teamnet: A collaborative inference framework on the edge
WO2021247944A1 (en) Federated mixture models
Bielza et al. Parameter control of genetic algorithms by learning and simulation of Bayesian networks—a case study for the optimal ordering of tables
Du Gradient Descent for Non-convex Problems in Modern Machine Learning.
Yakaryılmaz Quantum alternation
EP4170552A1 (en) Method for generating neural network, and device and computer-readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant