CN113345418A - 基于跨语种自训练的多语种模型训练方法 - Google Patents

基于跨语种自训练的多语种模型训练方法 Download PDF

Info

Publication number
CN113345418A
CN113345418A CN202110642597.XA CN202110642597A CN113345418A CN 113345418 A CN113345418 A CN 113345418A CN 202110642597 A CN202110642597 A CN 202110642597A CN 113345418 A CN113345418 A CN 113345418A
Authority
CN
China
Prior art keywords
training
network
language
model
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110642597.XA
Other languages
English (en)
Inventor
张自强
戴礼荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202110642597.XA priority Critical patent/CN113345418A/zh
Publication of CN113345418A publication Critical patent/CN113345418A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025—Phonemes, fenemes or fenones being the recognition units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G10L2015/0631—Creating reference templates; Clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明提供了一种基于跨语种自训练的多语种模型训练方法，所述方法包括先在某个高资源语种的有标注数据上训练声学音素分类器作为目标网络，然后训练主网络来逼近所述声学音素分类器在多语种上的表征；具体包括：获取目标网络；训练主网络；将训练好的主网络迁移至目标语种自动语音识别模型。

Description

基于跨语种自训练的多语种模型训练方法
技术领域
本发明涉及低资源语音识别和语音表示学习领域，尤其涉及一种基于跨语种自训练的多语种模型训练方法。
背景技术
目前先进的语音识别(Automatic Speech Recognition,ASR)模型通常需要在成百上千的有标注数据上训练得到，而这种规模的标注数据通常在低资源语种上难以获取。预训练方法可有效解决低资源ASR的数据问题，它先通过其他资源(其他语种数据或本语种无标注数据)预训练一个模型，然后将该模型迁移到低资源ASR模型上去。
已有的预训练方法可分为有监督和无监督方法。早期的研究关注于有监督预训练，在该方法中，预训练模型通常是在一个或多个其他语种的有标注数据上训练得到，然后用来初始化目标语种ASR模型的声学模型部分或者整个模型。
在现实世界中，无标注数据通常比有标注数据更容易获取，因此与有监督预训练相比，无监督预训练具有利用大量无标注数据的优势。在此情景下，我们期望无监督模型可以产生对语音有意义的压缩表征，类似于有监督模型产生的语义表征那样。无监督预训练可以通过根据上下文重建语音帧的方式，也可以通过对比损失的方式构建自监督任务，后者中的wav2vec 2.0也成为目前单语种和多语种最先进的无监督预训练模型。
对于单语种而言，另一种同时利用有标注数据和无标注数据的训练模型的方法为自训练(Self-training,ST)，它先在有标注数据上正常训练一个ASR模型，称之为教师模型，然后利用教师模型为无标注数据生成伪标签，最后再所有的重新标注后的数据上训练一个新的ASR模型，称之为学生模型。由于教师模型不能解码其他语种的语音，因此自训练的方法只能利用本语种的数据。
发明内容
有鉴于此，本发明的主要目的在于提供一种基于跨语种自训练的多语种训练方法及模型，以期部分地解决上述技术问题中的至少之一。
为了实现上述目的，本发明提供了一种基于跨语种自训练的多语种模型训练方法，所述方法包括先在某个高资源语种的有标注数据上训练声学音素分类器作为目标网络，然后训练主网络来逼近所述声学音素分类器在多语种上的表征；具体包括：
获取目标网络；
训练主网络；
将训练好的主网络迁移至目标语种自动语音识别模型。
其中，所述训练主网络包括：
获取目标网络表征，在输入多语种数据时，使用多视角数据增强对数据进行扰动；
获取主网络表征，输入多语种数据时，使用多视角数据增强对数据进行扰动；
模型参数滑动平均。
其中，所述多视角数据增强对输入的语音特征序列进行随机扰动，使所述目标网络和所述主网络分别接收不同视角下的语音特征序列，以此来增强所述主网络的表征重建能力和上下文建模能力。
其中，所述模型参数滑动平均在训练的过程中将所述主网络的模型参数以滑动平均的方式加到所述目标网络上去，不断优化所述目标网络的表征，使得训练过程朝着多语种表征能力不断增强的方向进行。
其中，所述训练方法还包括构建损失函数，以产生训练信号并指导主网络参数更新；接收目标网络和主网络的输出语音表征序列，并计算两个语音表征序列模值归一化之后的欧式距离。
其中，所述将训练好的主网络迁移至目标语种自动语音识别模型，具体包括：
主网络训练完毕后，单独拿出来去掉MLP非线性预测器之后，作为下游目标语种自动语音识别模型的声学部分，并在其上加上随机初始化的线性分类层。
其中，所述目标网络和主网络的结构一致，包括级联的卷积结构、Transformer层和MLP非线性预测器。
其中，所述目标网络是在某个语种上预先训练好的音素分类器，用于产生帧级别的语音表征；所述目标网络的输入是任一语种的语音特征序列，输出是时域降采样后的语音表征序列。
其中，通过训练所述主网络来优化主网络对于多语种的语音表示能力；所述主网络的输入是任一语种的语音特征序列，输出是时域降采样后的语音表征序列。
基于上述技术方案可知，本发明的基于跨语种自训练的多语种模型训练方法相对于现有技术至少具有如下有益效果的一部分：
目前基于无监督的训练方法存在语音表征不足、而有监督训练方法又存在数据不足的局限性。因此本发明提出了基于跨语种自训练的训练方法，目的是利用少量的有标注数据来增强模型在多语种无标注数据上的语义表征能力。
附图说明
图1为基于跨语种自训练的多语种预训练方法的流程图。
具体实施方式
目前基于无监督的预训练方法存在语义表征不足的局限性，而有监督预训练方法又存在数据不足的局限性。因此本发明提出了基于跨语种自训练的多语种训练方法，目的是利用少量的有标注数据来增强模型在多语种无标注数据上的语义表征能力。通过该方法预训练得到的模型，可作为多语种通用的初始化模型，迁移到任何一个低资源语种上去，促进低资源语种ASR模型的准确率。
本发明提出了一种基于跨语种自训练(Cross-lingual Self-training,XLST)的模型训练方法。在该训练模型的框架中，我们假设帧级的语音表征在具有跨语种的共享特性。该方法先在某个高资源语种的有标注数据上训练一个声学音素分类器，然后训练另一个模型来逼近该声学音素分类器在多语种上的表征。在此过程中，多视角数据增强(Multi-view augmentation)和滑动平均(Moving Average,MA)被用来促进训练。本发明能有效利用少量的某个高资源语种的有标注数据来促进模型在多语种无标注数据上的表示能力，预训练后的模型在下游的语音识别任务上具有跟好的迁移性能。
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
本发明提出了一种基于跨语种自训练的多语种模型训练方法，其技术方案如下：
该模型由两个平行的网络构成，称之为目标网络和主网络，两个网络的结构一致，由级联的卷积结构、Transformer层和MLP非线性预测器组成。另外，损失函数模块、多视角数据增强模块、滑动平均机制用于模型训练阶段。
1.目标网络模块。该模块是在某个语种上预先训练好的音素分类器，用于产生帧级别的语音表征。它的输入是任一语种的语音特征序列，依次通过卷积(CNN)网络层，Transformer层和MLP非线性预测层，输出时域降采样后的语音表征序列。该模块的预先训练是在某个高资源语种的少量有标注数据上完成的，使用传统的交叉熵训练准则。
2.主网络模块。该模块的网络结构和目标网络模块相同，通过训练该网络来优化它对于多语种的语音表示能力。它的输入是和目标网络输入相同的语音特征序列，输出是语音表征序列。
3.损失函数模块。该模块用于构建损失函数，产生训练信号并指导主网络参数更新。它接收目标网络和主网络的输出语音表征序列，并计算它们模值归一化之后的欧式距离(等价于余弦相似度)，训练的目标是最大化帧级表征在两个网络之间的相似度。
4.多视角数据增强模块。该模块用于对输入的语音特征序列进行随机扰动，使目标网络和主网络分别接收不同视角下的语音特征序列，以此来增强主网络的表征重建能力和上下文建模能力。随机扰动包括三种：1)频域掩蔽，即随机掩蔽掉语音频谱中的某些频带；2)时域掩蔽，即随机掩蔽掉语音频谱中的某些时域带；3)Mixup，即随机混合两条语音特征序列。
5.滑动平均机制。该机制用于在训练的过程中将主网络的参数以滑动平均的方式加到目标网络上去，不断优化目标网络的表征，使得训练过程朝着多语种表征能力不断增强的方向进行。
最后，在主网络训练完毕后，其网络参数可用来初始化任一目标语种的ASR模型的声学部分，通过在目标语种的少量有标注数据上进行微调，即可得到目标语种的ASR系统。
本发明公开了一种基于跨语种自训练的多语种预训练方法，方法包括先在某个高资源语种的有标注数据上训练目标网络，然后训练主网络来逼近该声学音素分类器在多语种上的表征；具体包括：获取目标网络；训练主网络；将训练好的主网络迁移至目标语种自动语音识别模型。
其中，所述训练主网络包括：获取目标网络表征，在输入多语种数据时，使用多视角数据增强对数据进行扰动；获取主网络表征，输入多语种数据时，使用多视角数据增强对数据进行扰动；参数滑动平均。
在本发明进一步的实施例中，预训练一共涉及两个阶段，目标网络的获得和主网络的训练。预训练结束后，将主网络作为初始化，对下游目标语种进行微调得到ASR模型。下面依次介绍各个阶段：
步骤1：目标网络的获取，所需模块：目标网络模块、多视角数据增强模块。
目的是得到一个初始化的表征，在本发明中，目标网络是预先在某个高资源语种(如英语)的有标注数据上，通过传统有监督训练得到的。假设提供的有标注数据集中的每条语音特征x＝(x1,x2,…,xT)(时间长度为T)具有帧级别的音素标注p＝(p1,p2,…,pT)。目标网络接收增强后的x作为输入，输出每帧的音素后验概率分布，然后通过交叉熵准则进行训练。
步骤2：主网络的训练，所需模块：所有模块。
目标网络得到后，构建如图1所示的训练框架，如图1所示，左边的虚线框内表示目标网络
Figure BDA0003107621850000051
其参数θo预先通过传统有监督的方式在某高资源语种的有标注数据上训练好，然后在此用作对多语种语音样本xu提供初始化的表征序列，即
Figure BDA0003107621850000061
其中A和A′表示多视角数据增强模块。右边虚线框表示主网络fθ，其参数θ为可训参数，主网络接收xu同样产生一条表征序列，即e＝fθ(A′(xu))。损失函数模块为最上方的Similarity部分，这里计算两条表征的归一化后的欧式距离，即
Figure BDA0003107621850000062
Figure BDA0003107621850000063
滑动平均机制(MA)用于将主网络的参数加权到目标网络上去，即θo←λθo+(1-λ)θ.训练后的主网络参数可以作为任一目标语种ASR模型声学部分的初始化。
主网络训练的具体流程为：
步骤2.1：目标表征的获取，所需模块：目标网络模块，多视角数据增强模块
利用上一步训练好的目标网络，对多语种数据
Figure BDA0003107621850000064
(时间长度为T)生成帧级别的表征，该表征取自目标网络的分类层之前，即
Figure BDA0003107621850000065
同时，在输入xu时，可使用数据增强模块对其扰动。
步骤2.2：主网络表征的获取。所需模块：主网络模块，多视角数据增强模块
由于主网络的模型结构和目标网络相同，只是参数不同，因此可以产生相同形状但不同内容的表征，即e＝fθ(A′(xu))，在这里，同样使用数据增强模块对输入进行扰动，A′的意思表示它与目标网络做的是不同随机化的扰动，因此，该扰动会使主网络的表征内容进一步偏离目标网络，训练的目的就是在此前提下使主网络的表征逼近目标网络，以此来提升主网络的信息抽取能力和上下文建模能力。
步骤2.3：损失函数的计算和梯度更新，所需模块：损失函数模块
损失函数模块用于计算主网络和目标网络的表征的相似度。这里用模值归一化后的欧式距离来衡量，即
Figure BDA0003107621850000066
Figure BDA0003107621850000067
随后，使用梯度下降算法如Adam等更新主网络的参数θ。
步骤2.4：参数滑动平均，所需模块：主网络、目标网络
在主网络每进行一次梯度更新之后，滑动平均机制(MA)用于将主网络的参数以权重(1-λ)加到目标网络上去，以优化目标网络对多语种的表征，即θo←λθo+(1-λ)θ。
步骤3：迁移至目标语种ASR阶段，所需模块：主网络模块
主网络训练完毕后，单独拿出来去掉MLP层之后，作为下游目标语种ASR模型的声学部分，并在其上加上随机初始化的分类层。如分类数为目标语种音素个数的线性投影层，用于CTC训练；或者自回归的Decoder层，用于ED训练。
为了验证本发明所提出方法的有效性，设计了如下实验：
(1)实验设置
实验使用100小时的英语作为高资源语种的有标注数据，另外使用793小时的来自10个语种的无标注语音数据作为多语种数据，对比实验使用了1250小时英语无标注语音数据。实验首先使用100小时有标注数据和交叉熵损失训练目标网络，记为T-100；然后使用T-100和457小时无标注英语数据按照本发明提出的方法训练得到主网络，记为ST-en457，该步骤仍是在英语即单一语种上进行的；最终，使用ST-en457作为目标网络，793小时多语种无标注数据按照本实验提出的方法训练得到主网络，记为XLST-multi793；作为对比，使用ST-en457作为目标网络，额外的793小时英语无标注数据来训练得到主网络，记为ST-en1250.
实验使用VGG-Transformer作为目标网络和主网络的结构，包含两个VGG层和12个Transformer层，Transformer层的attention维度和ffn维度分别是512和2048。在网络的最上方包含一个MLP非线性投影层，其隐层维度为2048，输出维度为256。单个网络模型参数量为45M。输入语音特征为83维的fbank(对数梅尔谱)，经过VGG层时域降采样为原来的1/2。
训练时，使用的多视角数据增强配置如下：频域掩蔽为2条宽度为0-27的频带；时域掩蔽为随机采样的宽度为10帧的窗口，整条序列被掩蔽的比率为40％；为简化训练，Mixup只用在目标网络的获取阶段即有监督训练阶段。
主网络训练好后，选取5个语种(西语、法语、意大利语、俄语、鞑靼语)作为下游ASR任务，ASR模型为主网络去掉MLP层之后加上一个2拼帧线性分类层。ASR模型在目标语种的1小时有标注数据上进行CTC训练。
(2)实验结果
关于跨语种自训练的实验结果如表1所示。从该表可以看出，1)对于英语预训练模型来说，使用本方法的若监督模型(ST-1250)的迁移性能甚至超过了全有监督预训练模型(CTC-Transfer)，说明本发明提出的方法即使只在英语上预训练，也更具有可迁移性；2)多语种上本发明提出的方法得到的预训练模型(ST-multi793)的迁移性能得到进一步增强，对比同样数据条件下的无监督预训练模型(wav2vec 2.0-Multi)，其下游ASR任务平均音素错误率(PER)相对下降了18.6％，相对于英语预训练模型(ST-1250)，PER下降了34.7％，可见本发明的预训练模型在多语种上可以学习到更好的语音表征。
表1.跨语种自训练得到的预训练模型在下游任务上的ASR结果，数据栏的*标注表示有标注数据
Figure BDA0003107621850000081
为了验证多视角数据增强模块和滑动平均机制的作用，进行了如表2和表3的实验，表2说明，滑动平均机制在只使用英语数据时虽然没有正面效果，但在从英语迁移到多语种时效果显著；表3表明，多视角数据增强模块对模型的迁移性能的提升起到了很重要的角色，特别是时域掩蔽，它可以促使模型学习到更多的上下文依赖关系。
表2.滑动平均机制(MA)对预训练模型的影响
Figure BDA0003107621850000082
Figure BDA0003107621850000091
表3.多视角数据增强模块对预训练的影响
Figure BDA0003107621850000092
总的来说，本发明提出了一种基于跨语种自训练的多语种训练方法，它从一个额外的有标注语种上训练的音素分类器出发，通过跨语种自训练，逐渐学习到多语种的语音表示。在此过程中，滑动平均机制和多视角数据增强模块起到了重要的作用。最后，在相似的数据条件下，本发明方法训练得到的模型可以显著提升在下游ASR任务上的性能。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于跨语种自训练的多语种模型训练方法，其特征在于，所述方法包括先在某个高资源语种的有标注数据上训练声学音素分类器作为目标网络，然后训练主网络来逼近所述声学音素分类器在多语种上的表征；具体包括：
获取目标网络；
训练主网络；
将训练好的主网络迁移至目标语种自动语音识别模型。
2.根据权利要求1所述的多语种模型训练方法，其特征在于，所述训练主网络包括：
获取目标网络表征，在输入多语种数据时，使用多视角数据增强对数据进行扰动；
获取主网络表征，输入多语种数据时，使用多视角数据增强对数据进行扰动；
模型参数滑动平均。
3.根据权利要求2所述的多语种模型训练方法，其特征在于，所述多视角数据增强对输入的语音特征序列进行随机扰动，使所述目标网络和所述主网络分别接收不同视角下的语音特征序列，以此来增强所述主网络的表征重建能力和上下文建模能力。
4.根据权利要求2所述的多语种模型训练方法，其特征在于，所述模型参数滑动平均在训练的过程中将所述主网络的模型参数以滑动平均的方式加到所述目标网络上去，不断优化所述目标网络的表征，使得训练过程朝着多语种表征能力不断增强的方向进行。
5.根据权利要求2所述的多语种模型训练方法，其特征在于，所述训练方法还包括构建损失函数，以产生训练信号并指导主网络参数更新；接收目标网络和主网络的输出语音表征序列，并计算两个语音表征序列模值归一化之后的欧式距离。
6.根据权利要求1所述的多语种模型训练方法，其特征在于，所述将训练好的主网络迁移至目标语种自动语音识别模型，具体包括：
主网络训练完毕后，单独拿出来去掉MLP非线性预测器之后，作为下游目标语种自动语音识别模型的声学部分，并在其上加上随机初始化的线性分类层。
7.根据权利要求1所述的多语种模型训练方法，其特征在于，所述目标网络和主网络的结构一致，包括级联的卷积结构、Transformer层和MLP非线性预测器。
8.根据权利要求1所述的多语种模型训练方法，其特征在于，所述目标网络是在某个语种上预先训练好的音素分类器，用于产生帧级别的语音表征；所述目标网络的输入是任一语种的语音特征序列，输出是时域降采样后的语音表征序列。
9.根据权利要求1所述的多语种模型训练方法，其特征在于，通过训练所述主网络来优化主网络对于多语种的语音表示能力；所述主网络的输入是任一语种的语音特征序列，输出是时域降采样后的语音表征序列。
CN202110642597.XA 2021-06-09 2021-06-09 基于跨语种自训练的多语种模型训练方法 Pending CN113345418A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110642597.XA CN113345418A (zh) 2021-06-09 2021-06-09 基于跨语种自训练的多语种模型训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110642597.XA CN113345418A (zh) 2021-06-09 2021-06-09 基于跨语种自训练的多语种模型训练方法

Publications (1)

Publication Number Publication Date
CN113345418A true CN113345418A (zh) 2021-09-03

Family

ID=77475695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110642597.XA Pending CN113345418A (zh) 2021-06-09 2021-06-09 基于跨语种自训练的多语种模型训练方法

Country Status (1)

Country Link
CN (1) CN113345418A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115062611A (zh) * 2022-05-23 2022-09-16 广东外语外贸大学 一种语法纠错模型的训练方法、装置、设备及存储介质
WO2023231576A1 (zh) * 2022-05-30 2023-12-07 京东科技信息技术有限公司 混合语言语音识别模型的生成方法及装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8260615B1 (en) * 2011-04-25 2012-09-04 Google Inc. Cross-lingual initialization of language models
CN103400577A (zh) * 2013-08-01 2013-11-20 百度在线网络技术（北京）有限公司 多语种语音识别的声学模型建立方法和装置
CN103839545A (zh) * 2012-11-23 2014-06-04 三星电子株式会社 用于构建多语言声学模型的设备和方法
CN105009206A (zh) * 2013-03-06 2015-10-28 三菱电机株式会社 语音识别装置和语音识别方法
CN108682417A (zh) * 2018-05-14 2018-10-19 中国科学院自动化研究所 语音识别中的小数据语音声学建模方法
CN109003601A (zh) * 2018-08-31 2018-12-14 北京工商大学 一种针对低资源土家语的跨语言端到端语音识别方法
CN109817213A (zh) * 2019-03-11 2019-05-28 腾讯科技（深圳）有限公司 用于自适应语种进行语音识别的方法、装置及设备
US20190189111A1 (en) * 2017-12-15 2019-06-20 Mitsubishi Electric Research Laboratories, Inc. Method and Apparatus for Multi-Lingual End-to-End Speech Recognition
CN110349564A (zh) * 2019-07-22 2019-10-18 苏州思必驰信息科技有限公司 一种跨语言语音识别方法和装置
CN110428818A (zh) * 2019-08-09 2019-11-08 中国科学院自动化研究所 低资源多语言的语音识别模型、语音识别方法
CN110838286A (zh) * 2019-11-19 2020-02-25 腾讯科技（深圳）有限公司 一种模型训练的方法、语种识别的方法、装置及设备
CN111833845A (zh) * 2020-07-31 2020-10-27 平安科技（深圳）有限公司 多语种语音识别模型训练方法、装置、设备及存储介质
CN112669841A (zh) * 2020-12-18 2021-04-16 平安科技（深圳）有限公司 多语种语音的生成模型的训练方法、装置及计算机设备
US20210125603A1 (en) * 2017-07-28 2021-04-29 Ping An Technology (Shenzhen) Co., Ltd. Acoustic model training method, speech recognition method, apparatus, device and medium

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8260615B1 (en) * 2011-04-25 2012-09-04 Google Inc. Cross-lingual initialization of language models
CN103839545A (zh) * 2012-11-23 2014-06-04 三星电子株式会社 用于构建多语言声学模型的设备和方法
CN105009206A (zh) * 2013-03-06 2015-10-28 三菱电机株式会社 语音识别装置和语音识别方法
CN103400577A (zh) * 2013-08-01 2013-11-20 百度在线网络技术（北京）有限公司 多语种语音识别的声学模型建立方法和装置
US20210125603A1 (en) * 2017-07-28 2021-04-29 Ping An Technology (Shenzhen) Co., Ltd. Acoustic model training method, speech recognition method, apparatus, device and medium
US20190189111A1 (en) * 2017-12-15 2019-06-20 Mitsubishi Electric Research Laboratories, Inc. Method and Apparatus for Multi-Lingual End-to-End Speech Recognition
CN108682417A (zh) * 2018-05-14 2018-10-19 中国科学院自动化研究所 语音识别中的小数据语音声学建模方法
CN109003601A (zh) * 2018-08-31 2018-12-14 北京工商大学 一种针对低资源土家语的跨语言端到端语音识别方法
CN109817213A (zh) * 2019-03-11 2019-05-28 腾讯科技（深圳）有限公司 用于自适应语种进行语音识别的方法、装置及设备
CN110349564A (zh) * 2019-07-22 2019-10-18 苏州思必驰信息科技有限公司 一种跨语言语音识别方法和装置
CN110428818A (zh) * 2019-08-09 2019-11-08 中国科学院自动化研究所 低资源多语言的语音识别模型、语音识别方法
CN110838286A (zh) * 2019-11-19 2020-02-25 腾讯科技（深圳）有限公司 一种模型训练的方法、语种识别的方法、装置及设备
CN111833845A (zh) * 2020-07-31 2020-10-27 平安科技（深圳）有限公司 多语种语音识别模型训练方法、装置、设备及存储介质
CN112669841A (zh) * 2020-12-18 2021-04-16 平安科技（深圳）有限公司 多语种语音的生成模型的训练方法、装置及计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115062611A (zh) * 2022-05-23 2022-09-16 广东外语外贸大学 一种语法纠错模型的训练方法、装置、设备及存储介质
WO2023231576A1 (zh) * 2022-05-30 2023-12-07 京东科技信息技术有限公司 混合语言语音识别模型的生成方法及装置

Similar Documents

Publication Publication Date Title
CN110489555B (zh) 一种结合类词信息的语言模型预训练方法
CN109523989B (zh) 语音合成方法、语音合成装置、存储介质及电子设备
CN112863483A (zh) 支持多说话人风格、语言切换且韵律可控的语音合成装置
CN111312245B (zh) 一种语音应答方法、装置和存储介质
WO2019113783A1 (zh) 一种机器翻译数字泛化方法及系统、计算机、计算机程序
CN110570845B (zh) 一种基于域不变特征的语音识别方法
US10916242B1 (en) Intent recognition method based on deep learning network
CN110688862A (zh) 一种基于迁移学习的蒙汉互译方法
CN112800782A (zh) 融合文本语义特征的语音翻译方法、系统、设备
CN113345418A (zh) 基于跨语种自训练的多语种模型训练方法
CN112992125B (zh) 一种语音识别方法、装置、电子设备、可读存储介质
CN109325109A (zh) 基于注意力编码器的抽取式新闻摘要生成装置
CN110532575A (zh) 文本翻译方法及装置
CN112395417A (zh) 基于深度学习的网络舆情演化仿真方法及系统
WO2023051148A1 (zh) 用于多语言处理的方法和装置
CN110473571A (zh) 基于短视频语音的情感识别方法和装置
CN110717341A (zh) 一种以泰语为枢轴的老-汉双语语料库构建方法及装置
Vāravs et al. Restoring punctuation and capitalization using transformer models
CN115114940A (zh) 一种基于课程化预训练的机器翻译风格的迁移方法和系统
CN112395891A (zh) 一种结合Bert语言模型和细粒度压缩的汉蒙翻译方法
CN113095063A (zh) 一种基于遮蔽语言模型的两阶段情感迁移方法和系统
Choi et al. Diff-HierVC: Diffusion-based Hierarchical Voice Conversion with Robust Pitch Generation and Masked Prior for Zero-shot Speaker Adaptation
CN115438678A (zh) 机器翻译方法、装置、电子设备及存储介质
CN115223549A (zh) 一种越南语语音识别语料构建方法
CN113889069A (zh) 一种基于可控最大熵自编码器的零样本语音风格迁移方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination