CN111275170B - 一种模型训练方法和相关装置 - Google Patents
一种模型训练方法和相关装置 Download PDFInfo
- Publication number
- CN111275170B CN111275170B CN202010060009.7A CN202010060009A CN111275170B CN 111275170 B CN111275170 B CN 111275170B CN 202010060009 A CN202010060009 A CN 202010060009A CN 111275170 B CN111275170 B CN 111275170B
- Authority
- CN
- China
- Prior art keywords
- model
- training
- units
- target
- parallel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 314
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000008569 process Effects 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 abstract description 7
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 15
- 238000003062 neural network model Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 238000012360 testing method Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Telephone Function (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种模型训练方法和相关设备，针对目标模型，其中包括m个并行的模型单元，该m个并行的模型单元共用所述目标模型的输入数据，所述m个并行的模型单元的输出数据用于构成所述目标模型的输出数据，所述方法包括：在对所述目标模型进行训练的过程中，包括多次训练。在第i次训练中，对所述目标模型中的n个目标单元进行训练，n小于m。通过所述多次训练完成对所述目标模型的训练，针对完成训练的所述目标模型中，所述m个并行的模型单元的模型参数是通过所述多次训练得到的。该方法有助于使得所训练的目标模型趋近于全局最优点，降低了目标模型的识别错误率。
Description
技术领域
本申请涉及人工智能领域，特别是涉及一种模型训练方法和相关装置。
背景技术
目前，大多数神经网络模型均包括多层级网络结构，以实现相应功能。例如，语音识别声学模型为包括了12层的网络结构，其中包括卷积神经网络(Convolutional NeuralNetwork,CNN)、时延神经网络(Time Delay Neural Network,TDNN)、长短期记忆模型(Long-Short Term Memory，LSTM)、门控循环单元(Gated recurrent unit，GRU)、循环神经网络(Recurrent Neural Networks，RNN)等类型的神经网络模型。
针对这类网络复杂度较高的神经网络模型，当前的训练方式包括：随机初始化网络参数，然后，使用训练样本来训练整个神经网络模型，并根据输出结果对网络参数进行优化更新，以完成针对整个神经网络模型的训练。
通过该种训练方式得到的神经网络模型，容易使得模型收敛于较差的局部最优点，错误率较高。
发明内容
为了解决上述技术问题，本申请提供了一种模型训练方法和相关装置，有助于使得所训练的目标模型趋近于全局最优点，降低了目标模型的识别错误率。
本申请实施例公开了如下技术方案：
一方面，本申请实施例提供了一种模型训练方法，目标模型包括m个并行的模型单元，所述m个并行的模型单元共用所述目标模型的输入数据，所述m个并行的模型单元的输出数据用于构成所述目标模型的输出数据，所述方法包括：
在对所述目标模型进行训练的过程中，包括多次训练；在第i次训练中，对所述目标模型中的n个目标单元进行训练；n小于m；
通过所述多次训练完成对所述目标模型的训练，针对完成训练的所述目标模型中，所述m个并行的模型单元的模型参数是通过所述多次训练得到的。
另一方面，本申请实施例提供了一种模型训练装置，所述装置包括：
训练单元，用于在对所述目标模型进行训练的过程中，包括多次训练；在第i次训练中，对所述目标模型中的n个目标单元进行训练；n小于m；其中，目标模型包括m个并行的模型单元，所述m个并行的模型单元共用所述目标模型的输入数据，所述m个并行的模型单元的输出数据用于构成所述目标模型的输出数据；
确定单元，用于通过所述多次训练完成对所述目标模型的训练，针对完成训练的所述目标模型中，所述m个并行的模型单元的模型参数是通过所述多次训练得到的。
另一方面，本申请实施例提供了一种设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述所述的模型训练方法。
另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述所述的模型训练方法。
由上述技术方案可以看出，针对目标模型，其中包括m个并行的模型单元，该m个并行的模型单元共用所述目标模型的输入数据，所述m个并行的模型单元的输出数据用于构成所述目标模型的输出数据，所述方法包括：在对所述目标模型进行训练的过程中，包括多次训练。在第i次训练中，对所述目标模型中的n个目标单元进行训练，n小于m。通过所述多次训练完成对所述目标模型的训练，针对完成训练的所述目标模型中，所述m个并行的模型单元的模型参数是通过所述多次训练得到的。该方法中，由于每次模型训练仅训练了少量的模型单元中的模型参数，减少了训练过程中各个模型单元间模型参数间的影响，且使得对每个并行的模型单元的训练更为充分，因此提高了所训练的模型参数的准确率，进而，有助于使得所训练的目标模型趋近于全局最优点，降低了目标模型的识别错误率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种模型训练方法的应用场景示意图；
图2为本申请实施例提供的一种模型训练方法流程图；
图3为本申请实施例提供的一种语音识别声学模型的网络结构示意图；
图4为本申请实施例提供的一种目标模型示意图；
图5a为本申请实施例提供的一种训练模型的结构示意图；
图5b为本申请实施例提供的一种训练模型的结构示意图；
图6为本申请实施例提供的一种训练模型示意图；
图7为本申请实施例提供的一种模型训练装置结构图；
图8为本申请实施例提供的一种数据处理设备结构图；
图9为本申请实施例提供的一种服务器的结构图。
具体实施方式
下面结合附图，对本申请的实施例进行描述。
目前，针对网络复杂度较高的神经网络模型，当前的训练方式包括：随机初始化网络参数，然后，使用训练样本来训练整个神经网络模型，并根据输出结果对网络参数进行优化更新，以完成针对整个神经网络模型的训练。通过该种训练方式得到的神经网络模型，容易使得模型收敛于较差的局部最优点，错误率较高。
为此，本申请实施例提供了一种模型训练方法，有助于使得所训练的目标模型趋近于全局最优点，降低了目标模型的识别错误率。
首先，对本申请实施例的执行主体进行介绍。本申请提供的模型训练方法可以通过数据处理设备执行，该数据处理设备可以是终端设备，也可以是服务器。其中，终端设备例如可以是智能手机、计算机、个人数字助理(Personal Digital Assistant，简称PDA)、平板电脑、销售终端(Point of Sales，简称POS)、车载电脑等设备。服务器可以是独立的服务器，也可以是集群中的服务器。
为了便于理解本申请的技术方案，下面以服务器作为执行主体，来结合实际应用场景对本申请实施例提供的模型训练方法进行介绍。
参见图1，该图示出了本申请实施例提供的。如图1所示，可以由该场景中的服务器101来执行该模型训练方法。
本申请实施例中的目标模型可以是需要进行模型训练的神经网络模型，在实际场景中，该目标模型可以是网络结构较为复杂的模型。例如，如图1所示，目标模型的网络结构中可以包括多个模型单元，即第一模型单元、第二模型单元、第三模型单元和第四模型单元，其中，每个模型单元中可以包括一个或多个神经网络模型，本申请实施例对此不作限定。
在本申请实施例中，目标模型可以是并行多支流(Multi-stream)结构，即可以包括m个并行的模型单元。其中，这m个并行的模型单元可以是目标模型对应的在目标模型中处于并行分布形式的模型单元。且这m个并行的模型单元共用目标模型的输入数据，m个并行的模型单元的输出数据用于构成目标模型的输出数据。也就是说，目标模型中的多个并行模型单元可以共享相同的输入，且将各个并行模型单元的输出拼接在一起，作为该多个并行模型单元的输出。如图1所示，该目标模型中的第二模型单元、第三模型单元和第四模型单元均为目标模型的并行的模型单元。
针对目标模型，服务器101可以对其进行多次训练。在第i次训练中，可以仅对目标模型中的n个目标单元进行训练。其中，n小于m，该n个目标单元为上述m个并行单元中的n个。也就是说，在每次训练中，仅对目标模型所包括的m个模型单元中的n个进行训练，以确定所训练的n个模型单元中的模型参数。
需要说明，本申请实施例不限定每次训练的模型单元数量n，即，每次训练的模型单元得数量n可以相同，也可以不同。例如，针对对目标模型的训练，第一次训练可以训练其中的2个并行的模型单元，第二次可以训练其中的3个并行的模型单元。
如图1所示，在针对图1中目标模型的训练时，可以对其进行3次模型训练，在每次训练时，可以仅训练其中的一个并行的模型单元，这样，通过该3次模型训练，可以训练目标模型中这三个模型单元、即第二模型单元、第三模型单元和第四模型单元的模型参数。
从而，服务器101可以通过上述多次训练完成对目标模型的训练。其中，针对完成训练的目标模型中，其中的m个并行的模型单元的模型参数是通过上述多次训练得到的。例如，如图1所示，针对所训练得到的目标模型，其中的三个并行的模型单元、即第二模型单元、第三模型单元和第四模型单元中的模型参数，均为通过上述训练方式训练得到的。
该方法中，由于每次模型训练仅训练了少量的模型单元中的模型参数，减少了训练过程中各个模型单元间模型参数间的影响，且使得对每个并行的模型单元的训练更为充分，因此提高了所训练的模型参数的准确率，进而，有助于使得所训练的目标模型趋近于全局最优点，降低了目标模型的识别错误率。
接下来，将以服务器作为执行主体，对本申请实施例提供的模型训练方法进行介绍。
参见图2，该图示出了本申请实施例提供的一种模型训练方法流程图，所述方法可以包括：
S201：在对所述目标模型进行训练的过程中，包括多次训练。
本申请实施例中进行训练的目标模型可以包括m个并行的模型单元，且m个并行的模型单元共用所述目标模型的输入数据；所述m个并行的模型单元的输出数据用于构成所述目标模型的输出数据。
需要说明，本申请实施例不限定待训练的模型必须包括多个并行的模型单元，即训练的模型为并行Multi-stream网络结构，在一种可能的实现方式中，若待训练模型为串行网络结构，所述方法还可以包括：
根据所述待训练模型中的模型单元，确定所述待训练模型对应的目标模型。
其中，上述串行网络结构可以是指模型中的第a个模型单元的输出数据为与之串联的第a+1个模型单元的输入数据，a大于等于1。
其中，基于待训练模型中的模型单元，为待训练模型确定的对应的目标模型，其中可以包括并行的模型单元，也就是说，该待训练模型对应的目标模型即为为待训练模型确定出的并行网络结构。
下面以待训练模型为语音识别声学模型为例进行举例说明，参见图3，该图示出了本申请实施例提供的一种语音识别声学模型的网络结构示意图，如图3所示，该语音识别声学模型即待训练模型为12层逐层叠加的串行网络结构，该网络结构中包括了CNN、TDNN、LSTM、GRU以及RNN等类型。该语音识别声学模型为隐马尔可夫模型-动态神经系统(HiddenMarkov Model-Dynamic Neural Network，HMM-DNN)声学模型，其建模对应的输入数据为语音特征，输出的建模单元对应HMM的状态，中间使用神经网络来建模。该神经网络模型的输入是40维的梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficient，MFCC)特征，输出对应5552个状态。
针对该语音识别声学模型，服务器可以确定对应的并行网络模型，如图4所示，该图示出了本申请实施例提供的一种目标模型示意图，针对图3对应的串行网络结构的语音识别声学模型，服务器可以确定其对应的如图4所示的并行网络结构，即目标模型。参见图4，该目标模型中包括了由虚线框框出的三个并行的模型单元，即模型单元1、模型单元2和模型单元3。
其中，相比图3所示的神经网络模型，图4的模型中增加了拼接层即Append层和线性变换层即Linear层，以用于对三个并行模型单元的输出结果进行拼接和线性变化，从而得到图4中的并行网络模型，作为目标模型。
通过该方式，使得可以为各种网络结构形式的神经网络模型进行训练，提高了该模型训练方法的适用范围。
在本申请实施例中，在对目标模型进行训练时，可以包括多次训练。以第i次训练为例进行说明，在第i次训练中，可以对目标模型中的n个目标单元进行训练。其中，n小于m。
也就是说，在每次模型训练中，仅对目标模型所包括的m个并行的模型单元中的n个进行训练，以确定出该n个模型单元中的模型参数。
在本申请实施例中，为了提高每次训练的模型单元中模型参数的准确性，在一种可能的实现方式中，通过全量训练样本进行上述多次训练。
这里所述的全量训练样本可以是用于训练目标模型的全部数量的训练样本。也就是说，对于每一次训练，均通过全量训练样本来进行训练，通过丰富全面的训练样本来进行训练，由此可以提高所训练的模型单元中模型参数的准确性。
S202：通过所述多次训练完成对所述目标模型的训练。
在本申请实施例中，通过上述多次训练，以完成针对目标模型的训练。其中，针对完成训练的目标模型中，其中的m个并行的模型单元的模型参数可以是通过上述多次训练得到的。
由上述技术方案可以看出，针对目标模型，其中包括m个并行的模型单元，该m个并行的模型单元共用所述目标模型的输入数据，所述m个并行的模型单元的输出数据用于构成所述目标模型的输出数据，所述方法包括：在对所述目标模型进行训练的过程中，包括多次训练。在第i次训练中，对所述目标模型中的n个目标单元进行训练，n小于m。通过所述多次训练完成对所述目标模型的训练，完成训练的所述目标模型中，所述m个并行的模型单元的模型参数是通过所述多次训练得到的。该方法中，由于每次模型训练仅训练了少量的模型单元中的模型参数，减少了训练过程中各个模型单元间模型参数间的影响，且使得对每个并行的模型单元的训练更为充分，因此提高了所训练的模型参数的准确率，进而，有助于所训练的目标模型趋近于全局最优点，降低了目标模型的识别错误率。
需要说明，本申请实施例不限定上述进行多次训练的方式，只要可以实现在每次训练中针对目标模型中的n个目标单元的训练即可。
针对上述的多次训练，在一种可能的实现方式中，针对多次训练中的第i次和第i+1次训练，第i+1次训练所训练的模型单元为第i次训练所训练的n个目标单元和k个模型单元。
其中，上述k个模型单元可以是目标模型所包括的m个并行的模型单元中的k个，且这k个模型单元与n个目标单元不重复，即k个模型单元未包括于n个目标单元中。
也就是说，在该方法中，在第i次对n个目标单元完成训练后，在第i+1次训练中，可以将训练好的n个目标单元和新增的k个模型单元一同进行训练，由于训练好的n个目标单元已在上一次即第i次训练中完成训练，因此在此次即第i+1次训练中主要针对新增的k个模型单元进行训练，并对n个目标单元中的模型参数进行微调。
通过该种逐次训练并行模型单元(Greedy stream-wise)的方式，实现了每次训练少量的模型单元，在完成多次训练后，所得的模型即为完成训练的目标模型。
其中，针对于该种Greedy stream-wise训练方式，在一种可能的实现方式中，针对第i+1次训练的训练模型，可以是将上述k个模型单元添加至第i次训练的训练模型后得到的。
也就是说，可以在每次训练时，根据目标模型和其中的m个并行的模型单元，确定本次训练对应的训练模型，并通过本次训练对应的训练模型，以训练目标模型中的n个目标单元。在第i+1次训练时，所应用的训练模型是根据第i次训练的训练模型和新添加的k个模型单元得到的，其中，第i次训练的训练模型中可以包括有n个目标单元，且这些目标单元可以作为该第i次训练的训练模型中的并行的模型单元。此外，针对第i+1次训练的训练模型，第i次训练的训练模型中的n个目标单元和新添加的k个模型单元均可以作为该训练模型中的并行的模型单元。
这样，通过第i+1次训练的训练模型，可以完成对所添加的k个模型单元的训练，以及对第i次训练的n个目标单元中的模型参数实现微调。
下面进行举例说明，针对图4所示的目标模型，对其进行训练的训练方式可以包括，首先对目标模型中的一个并行的模型单元即模型单元1(包括TDNN2、TDNN3和GRU1)进行训练。在该第一次训练中，参见图5a，该图示出了本申请实施例提供的一种训练模型的结构示意图，如图5a所示，可以根据目标模型和包括的并行的模型单元，确定出第一次训练的训练模型，即该训练模型中包括了模型单元1，通过对该训练模型进行训练，以完成对目标模型中的模型单元1的训练。
然后，参见图5b，该图示出了本申请实施例提供的一种训练模型的结构示意图，如图5b所示，在第二次训练中，基于第一次训练的训练模型，还可以加入目标模型中的模型单元2(对应于添加的k个模型单元，其中，k＝1)(包括TDNN4、TDNN5和GRU2)，以构建出对应于第二次训练的训练模型。通过对该训练模型进行训练，以完成对目标模型中的模型单元2的训练，以及对模型单元1进行了轻微调整。
接下来，进行第三次训练，在第三次训练中，基于第二次训练的训练模型，还可以加入目标模型中的模型单元3，以构建出对应于第三次训练的训练模型，该第三次训练的训练模型即如图4所示的模型结构。通过对该训练模型进行训练，以完成对目标模型中的模型单元3的训练，以及对模型单元1模型单元2进行了轻微调整。另外，完成该第三次训练后得到的训练模型，即为完成训练的目标模型。
针对对目标模型进行的多次训练，在一种可能的实现方式中，针对上述多次训练中的第i次训练，所训练的n个目标单元可以仅在第i次训练中进行训练。也就是说，在每次模型训练中，对目标模型包括的m个并行的模型单元中的n个进行训练，且不会对这n个模型单元中的任意一个再次进行重复训练。例如，在该方法中，对于一个模型单元，仅在一次训练中对其进行训练，而不会在另一次训练中再次对其进行训练。
通过该种仅对目标模型中的m个并行模型单元的单次训练，而不进行重复训练的方法，可以提高目标模型的训练效率。
对于该方法，在一种可能的实现方式中，针对第i次训练的训练模型中包括所训练的n个目标单元。也就是说，在构建每次训练的训练模型时，可以在该训练模型中加入上述m个并行的模型单元中的n个，以对该训练模型进行训练，从而完成针对该训练模型中的n个目标单元的训练。
举例来说，基于前述图4对应的示例，参见图6，该图示出了本申请实施例提供的一种训练模型示意图，可以根据目标模型中的三个并行的模型单元，分别构建三个训练模型，以使这三个训练模型中各包括一个模型单元，即分别包括模型单元1、模型单元2和模型单元3，在完成针对这三个训练模型的训练后，可以基于这三个并行的模型单元中的模型参数，来确定目标模型。如可以将完成训练的这三个训练模型合并在一起以进行整个网络的调优。
接下来，以目标模型为与语音识别技术相关的模型即上述的语音识别声学模型为例，并结合实际应用场景对本申请实施例提供的模型训练方法进行介绍。
其中，语音识别的服务可以用于服务车辆网语音交互、影响以及机器人等其他智能硬件。
针对语音识别技术，包括语音识别和语义理解两大部分，其中语音识别负责将语音信号转化为文字，语义理解负责理解语音的意图。语音识别进一步可以拆分为四大部分，分别为：前端处理部分，可以包括语音信号的降噪、声源定位、回声消除等技术；声学模型部分，可以用于对语音信号到对应发音单元的映射关系进行建模；语言模型和词典部分，用于对发音单元到汉字的映射关系进行建模；解码器部分，用于结合声学模型、语言模型、词典，进行语音到文字的整个搜索过程。
本申请实施例中，应用了三种方法对图3所示的待训练模型进行训练并进行测试。其中，所使用的训练样本和测试样本均来自于车载场景中的数据，参见下述表1，基于2000小时的语音数据确定的训练样本和测试样本，共包括4998条验证集和6901条测试集。
表1
| 训练样本 | 验证集 | 测试集 |
| 2000小时 | 4998条 | 6901条 |
另外，模型训练的准则为LFMMI，以及使用梯度下降法进行训练。其中，三次训练以及测试过程使用的训练超参数保持一致。
第一种训练方法为通过整体训练方式对图3所示的待训练模型(串行网络结构)进行训练。第二种训练方法为通过整体训练方式对图4对应的待训练模型(并行网络结构)进行训练。第三种训练方法为通过Greedy stream-wise的方式、即对应于图5a-5b的训练方式对图4对应的待训练模型(并行网络结构)进行训练。
最终的测试结果如表2所示：
表2
| 模型 | 验证集 | 测试集 |
| 第一种方法 | 10.71 | 9.25 |
| 第二种方法 | 10.98 | 9.60 |
| 第三种方法 | 10.59 | 9.22 |
根据测试结果，针对并行网络结构的目标模型，相比于第二种方法，通过第三种方法即Greedy stream-wise的训练方式，测试错误率可以获得相对4％的提升。
基于前述提供的模型训练方法，本申请实施例还提供了一种模型训练装置，参见图7，该图示出了本申请实施例提供的一种模型训练装置结构图，如图7所示，所述装置包括：
训练单元701，用于在对所述目标模型进行训练的过程中，包括多次训练；在第i次训练中，对所述目标模型中的n个目标单元进行训练；n小于m；其中，目标模型包括m个并行的模型单元，所述m个并行的模型单元共用所述目标模型的输入数据，所述m个并行的模型单元的输出数据用于构成所述目标模型的输出数据；
确定单元702，用于通过所述多次训练完成对所述目标模型的训练，针对完成训练的所述目标模型中，所述m个并行的模型单元的模型参数是通过所述多次训练得到的。
由上述技术方案可以看出，针对目标模型，其中包括m个并行的模型单元，该m个并行的模型单元共用所述目标模型的输入数据，所述m个并行的模型单元的输出数据用于构成所述目标模型的输出数据，所述方法包括：在对所述目标模型进行训练的过程中，包括多次训练。在第i次训练中，对所述目标模型中的n个目标单元进行训练，n小于m。通过所述多次训练完成对所述目标模型的训练，针对完成训练的所述目标模型中，所述m个并行的模型单元的模型参数是通过所述多次训练得到的。该方法中，由于每次模型训练仅训练了少量的模型单元中的模型参数，减少了训练过程中各个模型单元间模型参数间的影响，且使得对每个并行的模型单元的训练更为充分，因此提高了所训练的模型参数的准确率，进而，有助于使得所训练的目标模型趋近于全局最优点，降低了目标模型的识别错误率。
可选的，针对所述多次训练中的第i次和第i+1次训练，第i+1次训练所训练的模型单元为第i次训练所训练的n个目标单元和k个模型单元。
可选的，针对所述第i+1次训练的训练模型为将所述k个模型单元添加至所述第i次训练的训练模型后得到的。
可选的，所述多次训练中的第i次训练中所训练的n个目标单元仅在第i次训练中进行训练。
可选的，针对所述第i次训练的训练模型中包括所训练的所述n个目标单元。
可选的，若所述待训练模型为串行网络结构，所述方法还包括：
根据所述待训练模型中的模型单元，确定所述待训练模型对应的目标模型。
可选的，通过全量训练样本进行所述多次训练。
本申请实施例还提供了一种数据处理设备。下面结合附图对数据处理设备进行介绍。请参见图8所示，本申请实施例提供了一种数据处理设备800结构图，该数据处理设备800可以是终端设备，以终端设备为手机为例：
图8示出的是与本申请实施例提供的手机的部分结构框图。参考图8，手机包括：射频(Radio Frequency，简称RF)电路88、存储器820、输入单元830、显示单元840、传感器850、音频电路860、无线保真(wireless fidelity，简称WiFi)模块870、处理器880、以及电源890等部件。本领域技术人员可以理解，图8中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图8对手机的各个构成部件进行具体的介绍：
RF电路88可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器880处理；另外，将设计上行的数据发送给基站。通常，RF电路88包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，简称LNA)、双工器等。此外，RF电路88还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication，简称GSM)、通用分组无线服务(General Packet RadioService，简称GPRS)、码分多址(Code Division Multiple Access，简称CDMA)、宽带码分多址(Wideband Code Division Multiple Access，简称WCDMA)、长期演进(Long TermEvolution，简称LTE)、电子邮件、短消息服务(Short Messaging Service，简称SMS)等。
存储器820可用于存储软件程序以及模块，处理器880通过运行存储在存储器820的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器820可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元830可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元830可包括触控面板831以及其他输入设备832。触控面板831，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板831上或在触控面板831附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板831可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器880，并能接收处理器880发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板831。除了触控面板831，输入单元830还可以包括其他输入设备832。具体地，其他输入设备832可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元840可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元840可包括显示面板841，可选的，可以采用液晶显示器(Liquid CrystalDisplay，简称LCD)、有机发光二极管(Organic Light-Emitting Diode，简称OLED)等形式来配置显示面板841。进一步的，触控面板831可覆盖显示面板841，当触控面板831检测到在其上或附近的触摸操作后，传送给处理器880以确定触摸事件的类型，随后处理器880根据触摸事件的类型在显示面板841上提供相应的视觉输出。虽然在图8中，触控面板831与显示面板841是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板831与显示面板841集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器850，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板841的亮度，接近传感器可在手机移动到耳边时，关闭显示面板841和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路860、扬声器861，传声器862可提供用户与手机之间的音频接口。音频电路860可将接收到的音频数据转换后的电信号，传输到扬声器861，由扬声器861转换为声音信号输出；另一方面，传声器862将收集的声音信号转换为电信号，由音频电路860接收后转换为音频数据，再将音频数据输出处理器880处理后，经RF电路88以发送给比如另一手机，或者将音频数据输出至存储器820以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块870可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图8示出了WiFi模块870，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器880是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器820内的软件程序和/或模块，以及调用存储在存储器820内的数据，执行手机的各种功能和处理数据。可选的，处理器880可包括一个或多个处理单元；优选的，处理器880可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器880中。
手机还包括给各个部件供电的电源890(比如电池)，优选的，电源可以通过电源管理系统与处理器880逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本实施例中，该手机所包括的处理器880可以执行上述实施例中的步骤。
本申请实施例提供的数据处理设备可以是服务器，请参见图9所示，图9为本申请实施例提供的一种服务器900的结构图，服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，简称CPU)922(例如，一个或一个以上处理器)和存储器932，一个或一个以上存储应用程序942或数据944的存储介质930(例如一个或一个以上海量存储设备)。其中，存储器932和存储介质930可以是短暂存储或持久存储。存储在存储介质930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器922可以设置为与存储介质930通信，在服务器900上执行存储介质930中的一系列指令操作。
服务器900还可以包括一个或一个以上电源926，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口958，和/或，一个或一个以上操作系统941，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中的步骤也可以由服务器执行，该服务器可以基于该图9所示的服务器结构。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行前述各个实施例所述的方法。
本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例所述的方法。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(英文：read-only memory，缩写：ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种模型训练方法，其特征在于，目标模型包括m个并行的模型单元，所述m个并行的模型单元共用所述目标模型的输入数据，使得所述m个并行的模型单元共享相同的输入；所述m个并行的模型单元的输出数据用于构成所述目标模型的输出数据，所述目标模型为语音识别声学模型，所述输入数据为语音特征，所述模型单元的输出数据为所述模型单元对应隐马尔可夫模型HMM的状态；所述模型单元包括串行连接的2个时延神经网络TDNN和1个门控循环单元GRU；所述方法包括：
在对所述目标模型进行训练的过程中，包括多次训练；在第i次训练中，对所述目标模型中的n个目标单元进行训练；n小于m；所述多次训练所使用的训练样本是基于语音数据确定的；
针对所述多次训练中的第i次和第i+1次训练，第i+1次训练所训练的模型单元为第i次训练所训练的所述n个目标单元和所述m个并行的模型单元中的k个模型单元；所述k个模型单元与所述n个目标单元不重复；所述第i+1次训练用于针对所述k个模型单元进行训练，并对所述n个目标单元中的模型参数进行微调；
通过所述多次训练完成对所述目标模型的训练，针对完成训练的所述目标模型中，所述m个并行的模型单元的模型参数是通过所述多次训练得到的。
2.根据权利要求1所述的方法，其特征在于，针对所述第i+1次训练的训练模型为将所述k个模型单元添加至所述第i次训练的训练模型后得到的。
3.根据权利要求1-2任意一项所述的方法，其特征在于，若待训练模型为串行网络结构，所述方法还包括：
根据所述待训练模型中的模型单元，确定所述待训练模型对应的目标模型。
4.根据权利要求1-2任意一项所述的方法，其特征在于，通过全量训练样本进行所述多次训练。
5.一种模型训练装置，其特征在于，所述装置包括：
训练单元，用于在对目标模型进行训练的过程中，包括多次训练；在第i次训练中，对所述目标模型中的n个目标单元进行训练；n小于m；其中，目标模型包括m个并行的模型单元，所述m个并行的模型单元共用所述目标模型的输入数据，使得所述m个并行的模型单元共享相同的输入；所述m个并行的模型单元的输出数据用于构成所述目标模型的输出数据；所述目标模型为语音识别声学模型，所述输入数据为语音特征，所述模型单元的输出数据为所述模型单元对应隐马尔可夫模型HMM的状态；所述模型单元包括串行连接的2个时延神经网络TDNN和1个门控循环单元GRU；所述多次训练所使用的训练样本是基于语音数据确定的；针对所述多次训练中的第i次和第i+1次训练，第i+1次训练所训练的模型单元为第i次训练所训练的所述n个目标单元和所述m个并行的模型单元中的k个模型单元；所述k个模型单元与所述n个目标单元不重复；所述第i+1次训练用于针对所述k个模型单元进行训练，并对所述n个目标单元中的模型参数进行微调；
确定单元，用于通过所述多次训练完成对所述目标模型的训练，针对完成训练的所述目标模型中，所述m个并行的模型单元的模型参数是通过所述多次训练得到的。
6.根据权利要求5所述的装置，其特征在于，针对所述第i+1次训练的训练模型为将所述k个模型单元添加至所述第i次训练的训练模型后得到的。
7.根据权利要求5-6任意一项所述的装置，其特征在于，若待训练模型为串行网络结构，所述装置还用于根据所述待训练模型中的模型单元，确定所述待训练模型对应的目标模型。
8.根据权利要求5-6任意一项所述的装置，其特征在于，所述装置还用于通过全量训练样本进行所述多次训练。
9.一种设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-4任意一项所述的模型训练方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1-4任意一项所述的模型训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010060009.7A CN111275170B (zh) | 2020-01-19 | 2020-01-19 | 一种模型训练方法和相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010060009.7A CN111275170B (zh) | 2020-01-19 | 2020-01-19 | 一种模型训练方法和相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111275170A CN111275170A (zh) | 2020-06-12 |
| CN111275170B true CN111275170B (zh) | 2023-11-24 |
Family
ID=71003156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010060009.7A Active CN111275170B (zh) | 2020-01-19 | 2020-01-19 | 一种模型训练方法和相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111275170B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104143327A (zh) * | 2013-07-10 | 2014-11-12 | 腾讯科技（深圳）有限公司 | 一种声学模型训练方法和装置 |
| CN108615525A (zh) * | 2016-12-09 | 2018-10-02 | 中国移动通信有限公司研究院 | 一种语音识别方法及装置 |
| CN108735199A (zh) * | 2018-04-17 | 2018-11-02 | 北京声智科技有限公司 | 一种声学模型的自适应训练方法及系统 |
| CN109815992A (zh) * | 2018-12-30 | 2019-05-28 | 中国电子科技集团公司信息科学研究院 | 一种支持向量机并行加速训练方法及系统 |
| CN110110861A (zh) * | 2019-05-09 | 2019-08-09 | 北京市商汤科技开发有限公司 | 确定模型超参数及模型训练的方法和装置、存储介质 |
| CN110414432A (zh) * | 2019-07-29 | 2019-11-05 | 腾讯科技（深圳）有限公司 | 对象识别模型的训练方法、对象识别方法及相应的装置 |
| CN110556100A (zh) * | 2019-09-10 | 2019-12-10 | 苏州思必驰信息科技有限公司 | 端到端语音识别模型的训练方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10860829B2 (en) * | 2015-01-16 | 2020-12-08 | Oracle International Corporation | Data-parallel parameter estimation of the Latent Dirichlet allocation model by greedy Gibbs sampling |
| US11688160B2 (en) * | 2018-01-17 | 2023-06-27 | Huawei Technologies Co., Ltd. | Method of generating training data for training a neural network, method of training a neural network and using neural network for autonomous operations |
-
2020
- 2020-01-19 CN CN202010060009.7A patent/CN111275170B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104143327A (zh) * | 2013-07-10 | 2014-11-12 | 腾讯科技（深圳）有限公司 | 一种声学模型训练方法和装置 |
| CN108615525A (zh) * | 2016-12-09 | 2018-10-02 | 中国移动通信有限公司研究院 | 一种语音识别方法及装置 |
| CN108735199A (zh) * | 2018-04-17 | 2018-11-02 | 北京声智科技有限公司 | 一种声学模型的自适应训练方法及系统 |
| CN109815992A (zh) * | 2018-12-30 | 2019-05-28 | 中国电子科技集团公司信息科学研究院 | 一种支持向量机并行加速训练方法及系统 |
| CN110110861A (zh) * | 2019-05-09 | 2019-08-09 | 北京市商汤科技开发有限公司 | 确定模型超参数及模型训练的方法和装置、存储介质 |
| CN110414432A (zh) * | 2019-07-29 | 2019-11-05 | 腾讯科技（深圳）有限公司 | 对象识别模型的训练方法、对象识别方法及相应的装置 |
| CN110556100A (zh) * | 2019-09-10 | 2019-12-10 | 苏州思必驰信息科技有限公司 | 端到端语音识别模型的训练方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| Eugene Belilovsky,et al..Greedy Layerwise Learning Can Scale To ImageNet.《Proceedings of the 36th International Conference on Machine Learning》.2019,全文. * |
| 基于并行回火改进的GRBM的语音识别;赵彩光;张树群;雷兆宜;;《计算机工程与应用》(第8期);全文 * |
| 深度置信网络的Spark并行化在微博情感分类中的应用研究;张翔;石力;尚勃;董丽丽;;计算机应用与软件(02);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111275170A (zh) | 2020-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110164469B (zh) | 一种多人语音的分离方法和装置 | |
| CN110890093B (zh) | 一种基于人工智能的智能设备唤醒方法和装置 | |
| CN109145303B (zh) | 命名实体识别方法、装置、介质以及设备 | |
| CN108305296B (zh) | 图像描述生成方法、模型训练方法、设备和存储介质 | |
| CN107274885B (zh) | 语音识别方法及相关产品 | |
| CN110163367B (zh) | 一种终端部署方法和装置 | |
| CN109918684B (zh) | 模型训练方法、翻译方法、相关装置、设备及存储介质 | |
| CN110634474B (zh) | 一种基于人工智能的语音识别方法和装置 | |
| AU2013289660B2 (en) | Method for updating voiceprint feature model and terminal | |
| CN110570840B (zh) | 一种基于人工智能的智能设备唤醒方法和装置 | |
| CN108021572B (zh) | 回复信息推荐方法和装置 | |
| CN109256147B (zh) | 音频节拍检测方法、装置及存储介质 | |
| CN110162603B (zh) | 一种智能对话方法、动态存储方法和装置 | |
| CN112751648B (zh) | 丢包数据恢复方法和相关装置、设备及存储介质 | |
| CN113569572B (zh) | 文本实体生成方法、模型训练方法及装置 | |
| CN111522592A (zh) | 一种基于人工智能的智能终端唤醒方法和装置 | |
| CN110956265A (zh) | 一种模型训练方法和相关装置 | |
| CN111276138B (zh) | 一种语音唤醒系统中处理语音信号的方法及装置 | |
| CN114360510A (zh) | 一种语音识别方法和相关装置 | |
| US11308965B2 (en) | Voice information processing method and apparatus, and terminal | |
| CN112948763B (zh) | 件量预测方法、装置、电子设备及存储介质 | |
| CN109684501B (zh) | 歌词信息生成方法及其装置 | |
| CN111275170B (zh) | 一种模型训练方法和相关装置 | |
| CN117009845A (zh) | 一种类增量模型的训练方法、装置以及存储介质 | |
| CN109544241A (zh) | 一种点击率预估模型的构建方法、点击率预估方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40024735 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |