CN108766414A - 用于语音翻译的方法、装置、设备和计算机可读存储介质 - Google Patents

用于语音翻译的方法、装置、设备和计算机可读存储介质 Download PDF

Info

Publication number
CN108766414A
CN108766414A CN201810712539.8A CN201810712539A CN108766414A CN 108766414 A CN108766414 A CN 108766414A CN 201810712539 A CN201810712539 A CN 201810712539A CN 108766414 A CN108766414 A CN 108766414A
Authority
CN
China
Prior art keywords
data
phoneme sequence
source voice
expression
voice data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810712539.8A
Other languages
English (en)
Other versions
CN108766414B (zh
Inventor
熊皓
何中军
胡晓光
李芝
吴华
忻舟
吴甜
王海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810712539.8A priority Critical patent/CN108766414B/zh
Publication of CN108766414A publication Critical patent/CN108766414A/zh
Application granted granted Critical
Publication of CN108766414B publication Critical patent/CN108766414B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025—Phonemes, fenemes or fenones being the recognition units

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Machine Translation (AREA)

Abstract

本公开的实施例涉及用于语音翻译的方法、装置、设备和计算机程序产品。该方法包括：接收源语言形式的源语音数据；确定与所述源语音数据对应的音素序列，所述音素序列中的音素表示所述源语言的声音的单位；以及基于所述音素序列，生成目标语言形式的目标语音数据。以这种方式，可以降低错误的语音识别对机器翻译造成的影响，从而提高翻译的准确性。

Description

用于语音翻译的方法、装置、设备和计算机可读存储介质
技术领域
本公开的实施例一般涉及语音翻译，并且更具体地涉及用于语音翻译(特别是实时语音翻译)的方法、装置、设备和计算机可读存储介质。
背景技术
语音翻译是指将一种语言(也称源语言)的语音转换为另一种语言(目标语言)的语音，其可以解决跨语言的沟通问题。实时语音翻译，也称同声传译，常见于国际会议，例如联合国大会、国际学术交流会议和跨国企业内部会议等，通常会议参与者来自不同的国家，使用不同的语言进行沟通。
目前的语音翻译方案通常将语音识别成文字并对文字进行翻译，将翻译后的文字合成为目标语言的语音。这种方案不对讲话者的内容进行理解，而是转化为标准的翻译任务进行处理。这导致翻译的质量通常受语音识别的质量的严重影响。因此，需要提供一种至少部分解决上述技术问题的用于语音翻译的技术方案。
发明内容
根据本公开的实施例，提供了一种用于语音翻译的方案。
在本公开的第一方面，提供了一种用于语音翻译的方法。该方法包括：接收源语言形式的源语音数据；确定与所述源语音数据对应的音素序列，所述音素序列中的音素表示所述源语言的声音的单位；以及基于所述音素序列，生成目标语言形式的目标语音数据。
在本公开的第二方面，提供了一种用于语音翻译的装置。该装置包括：接收模块，被配置为接收源语言形式的源语音数据；第一确定模块，被配置为确定与所述源语音数据对应的音素序列，所述音素序列中的音素表示所述源语言的声音的单位；以及第一生成模块，被配置为基于所述音素序列，生成目标语言形式的目标语音数据。
在本公开的第三方面，提供了一种电子设备。该电子设备包括：一个或多个处理器；以及存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得电子设备实现根据本公开的第一方面的方法。
在本公开的第四方面中，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。
应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示出了能够在其中实现本公开的实施例的示例性环境的示意图；
图2示出了根据本公开的一些实施例的用于语音翻译的方法的流程图；
图3示出了根据本公开的一些实施例的翻译模型的示意性框图；
图4示出了根据本公开的一些实施例的用于语音翻译的方法的示意图；
图5示出了根据本公开的一些实施例的用于语音翻译的装置的方框图；以及
图6示出了能够实施本公开的一些实施例的电子设备的方框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
如上文所提及的，目前的语音翻译方案通常将语音识别成文字并对文字进行翻译，将翻译后的文字合成为目标语言的语音。这种方案不对讲话者的内容进行理解，而是转化为标准的翻译任务进行处理。这导致翻译的质量通常受语音识别的质量的严重影响。
例如，自动语音翻译装置首先对讲话者进行语音识别，转成文字后通过多语种翻译引擎翻译成目标语言的文字，最后通过语音合成技术生成参会者使用的语种语音。该方案仅识别讲话者的语音信息，不采集讲话者的人脸表情等动作，并且不对用户讲话内容进行上下文分析和理解，仅仅定义为需要翻译的单个句子，因此造成翻译的准确率不高，实用价值受影响。
针对上述问题以及其他可能的潜在问题，本公开的实施例提供了一种用于语音翻译的方案。在该方案中，将源语言形式的源语音数据转换为与源语音数据对应的音素序列，并且基于音素序列来获得目标语言形式的目标语音数据。以这种方式，可以降低错误的语音识别对机器翻译造成的影响，从而提高翻译的准确性。
下面将结合图1到图6来具体描述本公开的实施例。
图1示出了能够在其中实现本公开的实施例的示例性环境100的示意图。在环境100中，对象102使用一种语言(也称源语言)进行讲话，以产生语音数据，也称源语音数据104。在该示例中，源语言为中文，并且对象102以中文讲述“中印关系升温”。例如，对象102可以在国际会议、国际会谈等上发表讲话。
计算设备106获取源语音数据104，并将源语音数据104转换为另一种语言(也称目标语言)的语音数据，称之为目标语音数据108。在该示例中，目标语言是英语。应当理解，上述示例仅仅是为了说明的目的，而无意限制本公开的实施例的范围。例如，源语言也可以是英语、法语、日语等语言，目标语言也可以是中文、法语、日语等语言。
在本公开的上下文中，术语“语音”是指具有语言属性的音频，其可以由人体发出，也可以由扬声器等电子设备发出。除非上下文另外指出，否则术语“语音”不限于源自人体。
图2示出了根据本公开的一些实施例的用于语音翻译的方法200的流程图。方法200可以至少部分地由图1所示的计算设备106来实现。
在框202，计算设备106接收源语言形式的源语音数据104。源语音数据104可以是图1所示的对象102所产生的。例如，源语言数据104可以是一句话或者一定时间长度的语音。
在框204，计算设备106确定与源语音数据104对应的音素序列。音素序列中的音素表示源语言的声音的单位。例如，在源语言是中文时，音素对应于拼音，在源语言是英文时，音素对应于音标，等等。应当理解，上述示例仅仅是为了说明的目的，而无意限制本公开的实施例的范围。
在一些实施例中，计算设备106可以使用各种语音识别方法来确定音素序列。例如，可以通过声学模型(例如，CTC声学模型)来进行语音识别。声学模型可以确定与音素序列中的音素相关联的概率，其中概率指示对音素的预测的准确性。声学模型可以将语音信号转换为对应的文字信息。然而，计算设备106可以仅获取中间输出结果(例如，音素序列和相应的概率)，并提供这些中间输出结果。
在一些实施例中，可以自动地识别源语言，并根据自动识别的源语言(也称语种)来进行语音识别以确定音素序列。例如，可以通过声纹识别和/或人脸识别来确定对象102所使用的源语言。通过根据声纹识别结果和/或人脸识别结果来识别当前的讲话者，可以预先知道讲话者采用的语言或语种，以实现整个流程的完全自动化处理。
在一些实施例中，声纹识别可以基于源语音数据来确定对象102的声纹，并基于声纹来确定源语言，以用于确定音素序列。例如，可以确定各个对象的声纹特征参数，并将对象102的声纹参数与已知的声纹特征参数进行比较，以确定对象102与这些对象中的哪个对象的相似度最高。以这种方式，可以确定对象102的身份。
例如，可以使用梅尔倒谱系数(MFCC)来提取频谱特征。训练高斯混合模型-通用背景模型(GMM-UBM)，训练出每个高斯分量的参数(均值、方差、权值)。然后，训练总体变化子空间T，使高斯分量从高维映射到低维的i-vector向量。在获得i-vector向量以后利用线性判别式分析(LDA)进行降维操作，例如，从400维降到200维。然后，用类内协方差归一化(WCCN)对类内空间归一化来提升类间的差异。这样就可以获得各个对象的均值和方差作为对比的根据。针对当前待识别的对象，同样对源语音数据进行上述处理以获得待识别的参数，再与训练获得的各个对象的参数进行打分，来确定与哪个对象之间的相似度较高。例如，可以使用概率线性判别式分析(PLDA)来进行打分。
应当理解，可以使用现有的或将来开发的声纹识别方法来进行声纹识别，上述示例仅仅是为了说明的目的，而无意限制本公开的实施例的范围。
在一些实施例中，可以获取对象102的面部图像，并基于面部图像来识别对象的面部。例如，可以使用各种人脸特征识别模型来学习抽取人脸的特征，例如，DeepID。然后，可以基于识别的面部来确定源语言，以用于确定音素序列。例如，可以使用人脸特征比对模型来学习根据两张人脸特征进行比对，例如余弦相似度距离比对。最后输出当前讲话者属于某个特定角色的概率。
在框206，计算设备106基于音素序列来生成目标语言形式的目标语音数据108。例如，可以将音素序列翻译成目标语言形式的目标文字数据，并将目标文字数据合成为目标语音数据。
在一些实施例中，计算设备106可以获取翻译模型，该翻译模型的参数是基于音素序列训练数据而获得的。通过将当前的音素序列应用于翻译模型，计算设备106可以确定与源语音数据104对应的目标语言形式的目标文字数据。基于目标文字数据，计算设备106可以生成目标语音数据。
在一些实施例中，在框202确定了与音素序列相关联的概率。在这种情况下，计算设备106可以基于音素序列训练数据和相关联的概率训练数据来训练翻译模型以获得翻译模型的参数。通过将音素序列和概率应用于翻译模型，计算设备106可以确定与源语音数据对应的目标语言形式的目标文字数据。基于目标文字数据，计算设备106可以生成目标语音数据。
在一些实施例中，计算设备106可以确定与对象102的表情相关联的表情数据。例如，计算设备106获取对象102在产生源语音数据104时的表情，并且确定对象102的表情与多个预定义标签相关联的概率，以作为表情数据。例如，标签可以是正面表情、负面表情和正常表情。由于不直接输出表情判别的结果，而是输出每一类表情的分类概率，可以缓解表情识别错误带来的错误传播影响，而输出带概率的分类结果可以让最后的智能体模型自动学习利用视频信息来辅助翻译。
在一个实施例中，计算设备106使用68个特征点识别人脸，利用深度卷积神经网络进行表情识别，在最后的软最大化(softmax)层输出分类到每一类表情的概率，而不是0或1的判别结果。在训练时，可以定义三种表情：正面表情、负面表情和正常表情。对于视频流，可以进行20帧采样一次，累加当前一句话表达完毕后采集到的所有表情信息到下一步处理。应当理解，上述示例仅仅是为了说明的目的，而无意限制本公开的实施例的范围。
在一些实施例中，翻译模型的参数是基于音素序列训练数据和相关联的表情训练数据而获得的。通过将音素序列和表情数据应用于翻译模型，计算设备106可以确定与源语音数据对应的目标语言形式的目标文字数据。计算设备106基于目标文字数据来生成目标语音数据。
以上结合翻译模型介绍了多种不同的输入数据组合，应当理解，这些数据可以以各种可能的组合形式来使用。例如，翻译模型的参数可以接收音素序列、相应的概率以及相关联的表情数据来进行翻译操作。
在常规解决方案中，翻译模型是标准的句子到句子级别的翻译，不记录用户的历史翻译，不对用户历史信息进行记忆处理，同时也只能支持标准的句子文本输入格式。因此经过语音识别等环节后，会引入一些语音识别的错误，进而影响翻译准确率。同时在会议场景中，一些学术用语，省略上下文情景的表达经常发生，显然标准的句子级别翻译模型无法满足这些要求。
为了解决上述问题，翻译模型可以考虑每个对象自己的上下文，并考虑各个对象全体的上下文。例如，翻译模型确定源语音数据与角色数据的第一相似度，角色数据包括对象102的、与源语言对应的历史音素数据。翻译模型还确定源语音数据与全局数据的第二相似度，全局数据包括多个对象的与所述源语言对应的历史音素数据。例如，多个对象可以包括对象102。翻译模型基于音素序列、第一相似度和第二相似度来生成目标文字数据。由于考虑了与该对象的历史音素数据和全局的历史音素数据之间的关系，可以在翻译当前句子时提取该对象的历史句子的信息，并且结合全局的历史音素数据所提供的世界知识，修正一些词和句子的翻译结果，进而提高翻译准确率。
以下结合图3介绍根据本公开的一些实施例的翻译模型300。如图3所示，翻译模型300针对每一个对象构建了一个私有的角色记忆模块304，并对所有对象构建了一个全局记忆模块302。利用注意力机制策略，可以不仅仅计算当前句子内部的注意力关系，还计算和当前角色私有记忆模块和全局记忆模块的注意力关系。通过这种机制，能够保障翻译当前句子时提取历史句子的信息，同时结合全局记忆模块提供的世界知识，修正一些词和句子的翻译结果，进而提高翻译准确率。
多头注意力模块306-310可以以现有的或者将来开发的各种神经网络结构来实现。例如，多头注意力模块310可以确定源语音数据(例如，句子)内部的注意力关系。多头注意力模块308可以确定当前的源语音数据(例如，句子)与角色记忆模块304内的该对象的历史数据之间的相似度，以获取源语音数据的上下文。多头注意力模块306可以确定当前的源语音数据(例如，句子)与全局记忆模块302内的全局数据之间的相似度，并获取相关的上下文。
在一些实施例中，可以使用如下公式来计算当前的上下文知识：
其中softmax表示软最大化函数，Q表示查询，K表示关键字，V表示值，并且dk表示Q和K的维度。
多头注意力模块310的输入Q、K、V均等于输入嵌入层312的输出。多头注意力模块304的K和V使用角色记忆模块304的存储数据，而Q则来自多头注意力模块310的输出。多头注意力模块306的K和V使用全局记忆模块302的存储数据，而Q来自多头注意力模块308的输出。
使用图3所示的编码结构，可以在多头注意力模块308这一层捕捉当前角色之前表达的上下文信息，并且在多头注意力模块306这一层捕捉全局的上下文信息(例如，当前会议的世界知识)。以这种方式，可以在翻译的时候对一些术语、专有名词进行消歧义处理。例如，用户之前讲述了“中国和印尼之间存在一定的贸易关系”，并且之后讲述“中印之间加强了贸易合作”。如果缺少之前表达的上下文知识，很难准确的获取“中印”表达的是“中国和印尼”还是“中国和印度”。
在一些实施例中，输入嵌入层312所接收的输入不仅包括音素数据，而且包括相应的概率，因此，输入嵌入层312所提供的向量表示的不是文字的独热(one-hot)向量表示。例如，输入嵌入层的所示出的向量表示是类似于[[0.4 0.3 0.3],[0.4 0.3 0.3],[0.1 0.90.0]]的浮点数表示。另外，可以增加视频表情识别的一些矩阵向量，将其叠加到输入嵌入层312所输出的向量表示中。
在一些实施例中，角色记忆模块304被初始化为0，在翻译完一个句子后，可以将当前句子的输入嵌入层的输出累加到全局记忆模块304的矩阵中。在一些实施例中，由于在之前的步骤中已经进行了声纹识别和/或人脸识别，能够较准确的识别出当前讲话者属于哪个角色，进而提取对应的角色记忆模块。
全局记忆模块的初始化和更新机制类似，所不同的是，所有讲话者的翻译结果需要累加到全局记忆模块中，因此如果有中日英三种语种需要同声传译，则需要维护三个全局记忆模块，分别存储的是三种语言的向量表示信息。
图4示出了根据本公开的一个实施例的用于语音翻译的方法400的示意图。方法400可以至少部分地由图1所示的计算设备106来实现。
在框404，计算设备106基于对象102所产生的源语音数据执行声纹识别，以确定对象102是特定对象的概率。这可以由以上结合图2所述的方法来实现。在框406，计算设备106可以基于对象102的图像或视频执行人脸识别，以确定对象102是特定对象的概率。这可以由以上结合图2所述的方法来实现。在框410，计算设备106可以综合声纹识别和人脸识别的结果来执行语言识别，以确定对象102所使用的语言。例如，可以将声纹识别和人脸识别的概率加权平均等方法来执行语言识别。
在框412，计算设备106基于所识别的语言来执行语音识别，以获得与源语音数据对应的音素序列及相应的概率。这可以由以上结合图2所述的方法来实现。另外，在框408，计算设备106基于对象102的图像或视频来识别对象102的表情，并确定表情属于特定类别的概率。这可以由以上结合图2所述的方法来实现。在框414，计算设备106基于音素序列、相应的概率以及表情数据来确定对应的目标文字数据。这可以由以上结合图2和图3所述的方法来实现。在框416，计算设备106将目标文字数据合成为目标语音数据，以进行输出。例如，计算设备106可以使用不同的特征语音来个性化语音输出。例如，一个对象的目标语音数据可以被合成为比较可爱的升压，另一个目标语言数据可以被合成为比较深沉的声音。或者，不同的特征语音也可以对应于不同的影视角色、动画角色或者名人的声音。
根据本公开的某些实施例的该语音翻译方法是一个纯自动化解决方案，可以节省人力成本。采用多模态输入后，利用视频的输入信息，可以缓解传统解决方案中语音识别准确率不足，语种识别延时较高和准确率较低的问题。采用对当前讲话者进行单独建模和构建全局记忆模块的机制，能够缓解翻译中缺乏上下文带来的一词多义难以翻译，术语难以统一翻译的问题。
图5示出了根据本公开的一些实施例的用于语音翻译的装置500的方框图。装置500可以被包括在图1的计算设备106中或者至少部分地由计算设备106来实现。如图5所示，装置500包括接收模块502，接收模块502被配置为接收源语言形式的源语音数据。第一确定模块504被配置为确定与所述源语音数据对应的音素序列，所述音素序列中的音素表示所述源语言的声音的单位。第一生成模块506被配置为基于所述音素序列，生成目标语言形式的目标语音数据。
在一些实施例中，第一确定模块504包括：第二确定模块，被配置为确定与所述音素序列中的音素相关联的概率，所述概率指示对所述音素的预测的准确性，并且其中所述第一生成模块506包括：第一获取模块，被配置为获取第一翻译模型，所述第一翻译模型的参数是基于音素序列训练数据和与所述音素序列训练数据相关联的概率训练数据而获得的；第三确定模块，被配置为通过将所述音素序列和所述概率应用于所述第一翻译模型，来确定与所述源语音数据对应的目标语言形式的目标文字数据；以及第二生成模块，被配置为基于所述目标文字数据来生成所述目标语音数据。
在一些实施例中，装置500还包括声纹识别模块，被配置为基于所述源语音数据来确定产生所述源语音数据的对象的声纹；以及第四确定模块，被配置为基于所述声纹来确定所述源语言，以用于确定所述音素序列。
在一些实施例中，装置500还包括：第二获取模块，被配置为获取产生所述源语音数据的对象的面部图像；人脸识别模块，被配置为基于所述面部图像来识别所述对象的面部；以及第五确定模块，被配置为基于识别的所述面部来确定所述源语言，以用于确定所述音素序列。
在一些实施例中，装置500还包括：第六确定模块，被配置为确定与产生所述源语音数据的对象的表情相关联的表情数据，并且其中所述第一生成模块506包括：第三获取模块，被配置为获取第二翻译模型，所述第二翻译模型的参数是基于音素序列训练数据和与所述音素序列训练数据相关联的表情训练数据而获得的；第七确定模块，被配置为通过将所述音素序列和所述表情数据应用于所述第二翻译模型，来确定与所述源语音数据对应的目标语言形式的目标文字数据；以及第三生成模块，被配置为基于所述目标文字数据来生成所述目标语音数据。
在一些实施例中，所述第六确定模块包括：第四获取模块，被配置为获取所述对象在产生所述源语音数据时的表情；以及第七确定模块，被配置为确定所述对象的表情与多个预定义标签相关联的概率，以作为所述表情数据。
在一些实施例中，所述第一生成模块506包括：第八确定模块，被配置为确定所述源语音数据与角色数据的第一相似度，所述角色数据包括产生所述源语音数据的对象的、与所述源语言对应的历史音素数据；第九确定模块，被配置为确定所述源语音数据与全局数据的第二相似度，所述全局数据包括多个对象的、与所述源语言对应的历史音素数据；以及第四生成模块，被配置为基于所述音素序列、所述第一相似度和所述第二相似度，生成所述目标语音数据。
图6示出了一个可以用来实施本公开的实施例的设备600的示意性框图。设备600可以用于实现图1的计算设备106。如图所示，设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的计算机程序指令或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序指令，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如方法200，可由处理单元601执行。例如，在一些实施例中，方法200可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序被加载到RAM 603并由CPU 601执行时，可以执行上文描述的方法200的一个或多个步骤。备选地，在其他实施例中，CPU 601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法200。
本公开可以是方法、设备、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各实施例。

Claims (16)

1.一种用于语音翻译的方法，包括：
接收源语言形式的源语音数据；
确定与所述源语音数据对应的音素序列，所述音素序列中的音素表示所述源语言的声音的单位；以及
基于所述音素序列，生成目标语言形式的目标语音数据。
2.根据权利要求1所述的方法，其中确定所述音素序列还包括：
确定与所述音素序列中的音素相关联的概率，所述概率指示对所述音素的预测的准确性，并且
其中生成所述目标语音数据还包括：
获取第一翻译模型，所述第一翻译模型的参数是基于音素序列训练数据和与所述音素序列训练数据相关联的概率训练数据而获得的；
通过将所述音素序列和所述概率应用于所述第一翻译模型，来确定与所述源语音数据对应的目标语言形式的目标文字数据；以及
基于所述目标文字数据来生成所述目标语音数据。
3.根据权利要求1所述的方法，还包括：
基于所述源语音数据来确定产生所述源语音数据的对象的声纹；以及
基于所述声纹来确定所述源语言，以用于确定所述音素序列。
4.根据权利要求1所述的方法，还包括：
获取产生所述源语音数据的对象的面部图像；
基于所述面部图像来识别所述对象的面部；以及
基于识别的所述面部来确定所述源语言，以用于确定所述音素序列。
5.根据权利要求1所述的方法，还包括：确定与产生所述源语音数据的对象的表情相关联的表情数据，并且其中生成所述目标语音数据包括：
获取第二翻译模型，所述第二翻译模型的参数是基于音素序列训练数据和与所述音素序列训练数据相关联的表情训练数据而获得的；
通过将所述音素序列和所述表情数据应用于所述第二翻译模型，来确定与所述源语音数据对应的目标语言形式的目标文字数据；以及
基于所述目标文字数据来生成所述目标语音数据。
6.根据权利要求5所述的方法，其中确定所述表情数据包括：
获取所述对象在产生所述源语音数据时的表情；以及
确定所述对象的表情与多个预定义标签相关联的概率，以作为所述表情数据。
7.根据权利要求1所述的方法，其中生成所述目标语音数据包括：
确定所述源语音数据与角色数据的第一相似度，所述角色数据包括产生所述源语音数据的对象的、与所述源语言对应的历史音素数据；
确定所述源语音数据与全局数据的第二相似度，所述全局数据包括多个对象的、与所述源语言对应的历史音素数据；以及
基于所述音素序列、所述第一相似度和所述第二相似度，生成所述目标语音数据。
8.一种用于语音翻译的装置，包括：
接收模块，被配置为接收源语言形式的源语音数据；
第一确定模块，被配置为确定与所述源语音数据对应的音素序列，所述音素序列中的音素表示所述源语言的声音的单位；以及
第一生成模块，被配置为基于所述音素序列，生成目标语言形式的目标语音数据。
9.根据权利要求8所述的装置，其中所述第一确定模块包括：
第二确定模块，被配置为确定与所述音素序列中的音素相关联的概率，所述概率指示对所述音素的预测的准确性，并且
其中所述第一生成模块包括：
第一获取模块，被配置为获取第一翻译模型，所述第一翻译模型的参数是基于音素序列训练数据和与所述音素序列训练数据相关联的概率训练数据而获得的；
第三确定模块，被配置为通过将所述音素序列和所述概率应用于所述第一翻译模型，来确定与所述源语音数据对应的目标语言形式的目标文字数据；以及
第二生成模块，被配置为基于所述目标文字数据来生成所述目标语音数据。
10.根据权利要求8所述的装置，还包括：
声纹识别模块，被配置为基于所述源语音数据来确定产生所述源语音数据的对象的声纹；以及
第四确定模块，被配置为基于所述声纹来确定所述源语言，以用于确定所述音素序列。
11.根据权利要求8所述的装置，还包括：
第二获取模块，被配置为获取产生所述源语音数据的对象的面部图像；
人脸识别模块，被配置为基于所述面部图像来识别所述对象的面部；以及
第五确定模块，被配置为基于识别的所述面部来确定所述源语言，以用于确定所述音素序列。
12.根据权利要求8所述的装置，还包括：第六确定模块，被配置为确定与产生所述源语音数据的对象的表情相关联的表情数据，并且其中所述第一生成模块包括：
第三获取模块，被配置为获取第二翻译模型，所述第二翻译模型的参数是基于音素序列训练数据和与所述音素序列训练数据相关联的表情训练数据而获得的；
第七确定模块，被配置为通过将所述音素序列和所述表情数据应用于所述第二翻译模型，来确定与所述源语音数据对应的目标语言形式的目标文字数据；以及
第三生成模块，被配置为基于所述目标文字数据来生成所述目标语音数据。
13.根据权利要求12所述的装置，其中所述第六确定模块包括：
第四获取模块，被配置为获取所述对象在产生所述源语音数据时的表情；以及
第七确定模块，被配置为确定所述对象的表情与多个预定义标签相关联的概率，以作为所述表情数据。
14.根据权利要求8所述的装置，其中所述第一生成模块包括：
第八确定模块，被配置为确定所述源语音数据与角色数据的第一相似度，所述角色数据包括产生所述源语音数据的对象的、与所述源语言对应的历史音素数据；
第九确定模块，被配置为确定所述源语音数据与全局数据的第二相似度，所述全局数据包括多个对象的、与所述源语言对应的历史音素数据；以及
第四生成模块，被配置为基于所述音素序列、所述第一相似度和所述第二相似度，生成所述目标语音数据。
15.一种电子设备，所述电子设备包括：
一个或多个处理器；以及
存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现根据权利要求1-7中任一项所述的方法。
16.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1-7中任一项所述的方法。
CN201810712539.8A 2018-06-29 2018-06-29 用于语音翻译的方法、装置、设备和计算机可读存储介质 Active CN108766414B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810712539.8A CN108766414B (zh) 2018-06-29 2018-06-29 用于语音翻译的方法、装置、设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810712539.8A CN108766414B (zh) 2018-06-29 2018-06-29 用于语音翻译的方法、装置、设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108766414A true CN108766414A (zh) 2018-11-06
CN108766414B CN108766414B (zh) 2021-01-15

Family

ID=63975583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810712539.8A Active CN108766414B (zh) 2018-06-29 2018-06-29 用于语音翻译的方法、装置、设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN108766414B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522564A (zh) * 2018-12-17 2019-03-26 北京百度网讯科技有限公司 语音翻译方法和装置
CN109785824A (zh) * 2019-03-15 2019-05-21 科大讯飞股份有限公司 一种语音翻译模型的训练方法及装置
CN109918684A (zh) * 2019-03-05 2019-06-21 腾讯科技（深圳）有限公司 模型训练方法、翻译方法、相关装置、设备及存储介质
CN109949794A (zh) * 2019-03-14 2019-06-28 合肥科塑信息科技有限公司 一种基于互联网技术的智能语音转换系统
CN110072075A (zh) * 2019-04-30 2019-07-30 平安科技（深圳）有限公司 一种基于人脸识别的会议管理方法、系统和可读存储介质
CN110516238A (zh) * 2019-08-20 2019-11-29 广州国音智能科技有限公司 语音翻译方法、装置、终端及计算机存储介质
CN111105781A (zh) * 2019-12-23 2020-05-05 联想(北京)有限公司 语音处理方法、装置、电子设备以及介质
WO2020108332A1 (zh) * 2018-11-30 2020-06-04 腾讯科技（深圳）有限公司 一种序列模型的处理方法和装置
CN111738023A (zh) * 2020-06-24 2020-10-02 宋万利 一种图文音频自动翻译方法及其系统
CN111785246A (zh) * 2020-06-30 2020-10-16 联想(北京)有限公司 虚拟角色语音处理方法、装置及计算机设备
CN112530406A (zh) * 2020-11-30 2021-03-19 深圳市优必选科技股份有限公司 一种语音合成方法、语音合成装置及智能设备
TWI725608B (zh) * 2019-11-11 2021-04-21 財團法人資訊工業策進會 語音合成系統、方法及非暫態電腦可讀取媒體
WO2021134284A1 (zh) * 2019-12-30 2021-07-08 深圳市欢太科技有限公司 语音信息处理方法、中枢设备、控制终端及存储介质
CN113160793A (zh) * 2021-04-23 2021-07-23 平安科技（深圳）有限公司 基于低资源语言的语音合成方法、装置、设备及存储介质
CN113505611A (zh) * 2021-07-09 2021-10-15 中国人民解放军战略支援部队信息工程大学 在生成对抗中获得更好的语音翻译模型的训练方法和系统
CN114464179A (zh) * 2022-01-28 2022-05-10 达闼机器人股份有限公司 语音交互方法、系统、装置、设备及存储介质
WO2023142454A1 (zh) * 2022-01-28 2023-08-03 北京百度网讯科技有限公司 语音翻译和模型训练方法、装置、电子设备以及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0652290A (ja) * 1992-07-27 1994-02-25 Kokusai Denshin Denwa Co Ltd <Kdd> 口形状画像合成方法及び装置
CN1945562A (zh) * 2005-10-09 2007-04-11 株式会社东芝 训练音译模型、切分统计模型以及自动音译的方法和装置
WO2012061588A2 (en) * 2010-11-04 2012-05-10 Legendum Pro Vita, Llc Methods and systems for transcribing or transliterating to an iconophonological orthography
CN104575493A (zh) * 2010-05-26 2015-04-29 谷歌公司 使用地理信息的声学模型适配
CN105975625A (zh) * 2016-05-26 2016-09-28 同方知网数字出版技术股份有限公司 一种面向英文搜索引擎的中式英文查询纠错方法和系统
CN106328127A (zh) * 2015-06-30 2017-01-11 三星电子株式会社 语音识别设备，语音识别方法和电子装置
CN108170686A (zh) * 2017-12-29 2018-06-15 科大讯飞股份有限公司 文本翻译方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0652290A (ja) * 1992-07-27 1994-02-25 Kokusai Denshin Denwa Co Ltd <Kdd> 口形状画像合成方法及び装置
CN1945562A (zh) * 2005-10-09 2007-04-11 株式会社东芝 训练音译模型、切分统计模型以及自动音译的方法和装置
CN104575493A (zh) * 2010-05-26 2015-04-29 谷歌公司 使用地理信息的声学模型适配
WO2012061588A2 (en) * 2010-11-04 2012-05-10 Legendum Pro Vita, Llc Methods and systems for transcribing or transliterating to an iconophonological orthography
CN106328127A (zh) * 2015-06-30 2017-01-11 三星电子株式会社 语音识别设备，语音识别方法和电子装置
CN105975625A (zh) * 2016-05-26 2016-09-28 同方知网数字出版技术股份有限公司 一种面向英文搜索引擎的中式英文查询纠错方法和系统
CN108170686A (zh) * 2017-12-29 2018-06-15 科大讯飞股份有限公司 文本翻译方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALIM MURAT ET AL.: "Research and Implementation of the Uyghur-Chinese Personal Name Transliteration Based on Syllabification", 《2013 INTERNATIONAL CONFERENCE ON ASIAN LANGUAGE PROCESSING》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020108332A1 (zh) * 2018-11-30 2020-06-04 腾讯科技（深圳）有限公司 一种序列模型的处理方法和装置
CN109522564A (zh) * 2018-12-17 2019-03-26 北京百度网讯科技有限公司 语音翻译方法和装置
CN109522564B (zh) * 2018-12-17 2022-05-31 北京百度网讯科技有限公司 语音翻译方法和装置
CN109918684A (zh) * 2019-03-05 2019-06-21 腾讯科技（深圳）有限公司 模型训练方法、翻译方法、相关装置、设备及存储介质
CN109918684B (zh) * 2019-03-05 2024-07-09 腾讯科技（深圳）有限公司 模型训练方法、翻译方法、相关装置、设备及存储介质
CN109949794A (zh) * 2019-03-14 2019-06-28 合肥科塑信息科技有限公司 一种基于互联网技术的智能语音转换系统
CN109949794B (zh) * 2019-03-14 2021-04-16 山东远联信息科技有限公司 一种基于互联网技术的智能语音转换系统
CN109785824A (zh) * 2019-03-15 2019-05-21 科大讯飞股份有限公司 一种语音翻译模型的训练方法及装置
CN110072075A (zh) * 2019-04-30 2019-07-30 平安科技（深圳）有限公司 一种基于人脸识别的会议管理方法、系统和可读存储介质
CN110072075B (zh) * 2019-04-30 2022-05-13 平安科技（深圳）有限公司 一种基于人脸识别的会议管理方法、系统和可读存储介质
CN110516238A (zh) * 2019-08-20 2019-11-29 广州国音智能科技有限公司 语音翻译方法、装置、终端及计算机存储介质
CN110516238B (zh) * 2019-08-20 2023-12-19 广州国音智能科技有限公司 语音翻译方法、装置、终端及计算机存储介质
US11250837B2 (en) 2019-11-11 2022-02-15 Institute For Information Industry Speech synthesis system, method and non-transitory computer readable medium with language option selection and acoustic models
TWI725608B (zh) * 2019-11-11 2021-04-21 財團法人資訊工業策進會 語音合成系統、方法及非暫態電腦可讀取媒體
CN111105781A (zh) * 2019-12-23 2020-05-05 联想(北京)有限公司 语音处理方法、装置、电子设备以及介质
CN111105781B (zh) * 2019-12-23 2022-09-23 联想(北京)有限公司 语音处理方法、装置、电子设备以及介质
WO2021134284A1 (zh) * 2019-12-30 2021-07-08 深圳市欢太科技有限公司 语音信息处理方法、中枢设备、控制终端及存储介质
CN111738023A (zh) * 2020-06-24 2020-10-02 宋万利 一种图文音频自动翻译方法及其系统
CN111785246A (zh) * 2020-06-30 2020-10-16 联想(北京)有限公司 虚拟角色语音处理方法、装置及计算机设备
CN112530406A (zh) * 2020-11-30 2021-03-19 深圳市优必选科技股份有限公司 一种语音合成方法、语音合成装置及智能设备
CN113160793A (zh) * 2021-04-23 2021-07-23 平安科技（深圳）有限公司 基于低资源语言的语音合成方法、装置、设备及存储介质
CN113505611A (zh) * 2021-07-09 2021-10-15 中国人民解放军战略支援部队信息工程大学 在生成对抗中获得更好的语音翻译模型的训练方法和系统
CN113505611B (zh) * 2021-07-09 2022-04-15 中国人民解放军战略支援部队信息工程大学 在生成对抗中获得更好的语音翻译模型的训练方法和系统
CN114464179A (zh) * 2022-01-28 2022-05-10 达闼机器人股份有限公司 语音交互方法、系统、装置、设备及存储介质
WO2023142454A1 (zh) * 2022-01-28 2023-08-03 北京百度网讯科技有限公司 语音翻译和模型训练方法、装置、电子设备以及存储介质
CN114464179B (zh) * 2022-01-28 2024-03-19 达闼机器人股份有限公司 语音交互方法、系统、装置、设备及存储介质

Also Published As

Publication number Publication date
CN108766414B (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN108766414A (zh) 用于语音翻译的方法、装置、设备和计算机可读存储介质
US10388272B1 (en) Training speech recognition systems using word sequences
CN109036384B (zh) 语音识别方法和装置
CN109887497B (zh) 语音识别的建模方法、装置及设备
Mukherjee et al. A lazy learning-based language identification from speech using MFCC-2 features
CN108847249A (zh) 声音转换优化方法和系统
CN109523989A (zh) 语音合成方法、语音合成装置、存储介质及电子设备
WO2021135438A1 (zh) 多语种语音识别模型训练方法、装置、设备及存储介质
JP7266683B2 (ja) 音声対話に基づく情報検証方法、装置、デバイス、コンピュータ記憶媒体、およびコンピュータプログラム
Kim et al. Automatic pronunciation assessment using self-supervised speech representation learning
Chen et al. Speechformer++: A hierarchical efficient framework for paralinguistic speech processing
Xia et al. Audiovisual speech recognition: A review and forecast
CN110232914A (zh) 一种语义识别方法、装置以及相关设备
CN110222333A (zh) 一种语音交互方法、装置以及相关设备
CN118043885A (zh) 用于半监督语音识别的对比孪生网络
Li et al. Hierarchical Phone Recognition with Compositional Phonetics.
CN113380221A (zh) 中英文混合的语音合成方法、装置、电子设备和存储介质
Miao et al. Speaker anonymization using orthogonal householder neural network
Chen et al. A self-attention joint model for spoken language understanding in situational dialog applications
Futami et al. Non-autoregressive error correction for CTC-based ASR with phone-conditioned masked LM
Li et al. Phoneme Embedding and its Application to Speech Driven Talking Avatar Synthesis.
Chatziagapi et al. Audio and ASR-based filled pause detection
Vetter et al. Unsupervised Phoneme Segmentation of Previously Unseen Languages.
CN113053409B (zh) 音频测评方法及装置
Nasersharif et al. Multi-layer maximum mean discrepancy in auto-encoders for cross-corpus speech emotion recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant