CN109616096A - 多语种语音解码图的构建方法、装置、服务器和介质 - Google Patents

多语种语音解码图的构建方法、装置、服务器和介质 Download PDF

Info

Publication number
CN109616096A
CN109616096A CN201811643641.3A CN201811643641A CN109616096A CN 109616096 A CN109616096 A CN 109616096A CN 201811643641 A CN201811643641 A CN 201811643641A CN 109616096 A CN109616096 A CN 109616096A
Authority
CN
China
Prior art keywords
word
languages
subject kind
pronunciation
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811643641.3A
Other languages
English (en)
Other versions
CN109616096B (zh
Inventor
何金来
韩虎
雷宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Rubu Technology Co.,Ltd.
Original Assignee
Beijing Intelligent Housekeeper Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Intelligent Housekeeper Technology Co Ltd filed Critical Beijing Intelligent Housekeeper Technology Co Ltd
Priority to CN201811643641.3A priority Critical patent/CN109616096B/zh
Publication of CN109616096A publication Critical patent/CN109616096A/zh
Application granted granted Critical
Publication of CN109616096B publication Critical patent/CN109616096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025—Phonemes, fenemes or fenones being the recognition units

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Machine Translation (AREA)

Abstract

本发明实施例公开了一种多语种语音解码图的构建方法、装置、服务器和介质，涉及语音识别技术领域。所述方法包括：对样本语料库中包括的主语种词语和次语种词语进行标音，得到主语种词语和次语种词语的发音音素；根据所述样本语料库中的样本语料关联的样本语音，确定主语种词语和次语种词语的声学特征；根据所述样本语料库中的样本语料中包括的主语种词语和次语种词语，主语种词语和次语种词语的发音音素以及声学特征，确定用于多语种识别的解码图。本发明实施例通过根据样本语料库，得到主语种词语和次语种词语发音因素，进而确定其相关联的声学特性，最终获得用于多语种识别的解码图，实现了对多语种混读人群进行语音识别的需求。

Description

多语种语音解码图的构建方法、装置、服务器和介质
技术领域
本发明实施例涉及语音识别技术领域，尤其涉及一种多语种语音解码图的构建方法、装置、服务器和介质。
背景技术
语音识别是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高技术。例如，在智能家居中，在唤醒智能设备之后，用户只需说出相应指令即可对设备进行操作。设备正确识别出用户的语音信息之后，根据信息意图进行动作。语音识别在人机交互中起着重要的作用，在现代社会各项领域都有长足的发展前景。但是随着全球多元化的发展，用户已经不满足于单语种的识别。
现有的语音识别系统多数都是单语种的语音识别，即便是有多语种语音识别的方法，以中英混合为例，由于中国人的英语发音有其特殊性且每个人习惯不一，导致识别效果低下。
发明内容
本发明实施例提供了一种多语种语音解码图的构建方法、装置、服务器和介质，通过根据样本语料库，得到主语种词语和次语种词语发音因素，进而确定其相关联的声学特性，最终获得用于多语种识别的解码图，实现了对多语种混读人群进行语音识别的需求。
第一方面，本发明实施例提供了一种多语种语音解码图的构建方法，包括：
对样本语料库中包括的主语种词语和次语种词语进行标音，得到主语种词语和次语种词语的发音音素；
根据所述样本语料库中的样本语料关联的样本语音，确定主语种词语和次语种词语的声学特征；
根据所述样本语料库中的样本语料中包括的主语种词语和次语种词语，主语种词语和次语种词语的发音音素以及声学特征，确定用于多语种识别的解码图。
第二方面，本发明实施例提供了一种多语种语音解码图的构建装置，包括：
词语标音模块，用于对样本语料库中包括的主语种词语和次语种词语进行标音，得到主语种词语和次语种词语的发音音素；
声学特性确定模块，用于根据所述样本语料库中的样本语料关联的样本语音，确定主语种词语和次语种词语的声学特征；
解码图构建模块，用于根据所述样本语料库中的样本语料中包括的主语种词语和次语种词语，主语种词语和次语种词语的发音音素以及声学特征，确定用于多语种识别的解码图。
第三方面，本发明实施例提供了一种服务器，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的多语种语音解码图的构建方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的多语种语音解码图的构建方法。
本发明实施例通过根据样本语料库，得到主语种词语和次语种词语发音因素，再结合主语种词语和次语种词语对应的声学特性，最终获得用于多语种识别的解码图，实现了对多语种混读人群进行语音识别的需求。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例一提供的一种多语种语音解码图的构建方法的流程图；
图2为本发明实施例二提供的一种多语种语音解码图的构建装置的结构示意图；
图3为本发明实施例三提供的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种多语种语音解码图的构建方法的流程图，本实施例可适用于识别语音中多语种的情况，该方法可以由本发明实施例提供的一种多语种语音解码图的构建装置来执行。参见图1，该方法具体包括：
步骤101、对样本语料库中包括的主语种词语和次语种词语进行标音，得到主语种词语和次语种词语的发音音素。
其中，样本语料是指用于训练或优化声学模型以及语言模型的语言材料，样本语料可以为包括至少一个样本文本的语料库，本实施例中的样本语料至少包括两个语种。为了提高样本语料中词语的规范性，提高模型的训练或优化效果，样本语料可以选取来自报纸、期刊等对词语有严格规范要求的文本资源，或者也可以请专业人士对样本语料进行词语的规范化检查。标音是指对词语按预设规则进行标注，标注的结果称之为发音音素。
本实施中，对样本语料进行预处理，其中预处理至少包括分词处理，即将样本语料中连续的字序列按照一定的规范重新组合成词序列，每个词序列作为独立的分词结果存在。可选的，分别对样本语料库中包括的纯主语种文本、纯次语种文本和主次语种混合文本进行分词。示例性的，假设样本语料中包括如下文本内容：“end-to-end语音识别系统已经有不少paper了”，分词处理后，得到分词结果可以为，包括词语：“end-to-end”、“语音”、“识别”、“系统”、“已经”、“有”、“不少”、“paper”、“了”。
本实施中，对分词后的样本语料进行标音，可选的，采用主语种发音规则对所述纯主语种文本中包括的主语种词语进行标音，得到主语种词语的主语种发音因素；分别采用主语种发音规则和次语种发音规则对所述纯次语种文本中包括的次语种词语进行标音，得到次语种词语的主语种发音因素和次语种发音因素；采用主语种发音规则对所述主次语种混合文本中包括的主语种词语和次语种词语进行标音，得到主语种词语和次语种词语的主语种发音因素。示例性的，假设样本语料中包括如下分词后的文本内容：“你好”、“小狗”、“zero”、“dog”、“哆啦A梦”、“c哩c哩”，将汉语视为主语种，英语视为次语种，则所述文本对应因素为：“ni2 hao3”、“xiao3 gou3”、“ZIH1 R OW0，zei1 er0 ou4”、“D AO1 G，dao4ge0”、“duo1 la1 ei1 meng4”、“cei1 li1 cei1 li1”。本实施例中的标音规则仅为解释说明，并不对标音规则进行限定，并且主语种和词语中的选取不限于本实施例中所涉及的语种。
步骤102、根据所述样本语料库中的样本语料关联的样本语音，确定主语种词语和次语种词语的声学特征。
其中，声学特征用于表示语音信号的声音波形，可以用多维向量来表示。示例性的，文字发音为“好”的声学特征一致，其发音音素可以为“hao3”。
步骤103、根据所述样本语料库中的样本语料中包括的主语种词语和次语种词语，主语种词语和次语种词语的发音音素以及声学特征来确定用于多语种识别的解码图。
在本发明实施例中，声学模型的输入是从语音信号中提取的特征，用于将声学特征转换为发音；发音词典包含系统所能处理的语言的词语集及其对应的发音，用于将发音转换为词语；语言模型对系统所针对的语言进行建模，用于衡量词语的出现概率；解码图是指用于语音识别网络可以由声学模型、发音词典和语言模型共同构建。
可选的，根据主语种词语和主语种发音因素之间的映射关系，以及次语种词语分别与主语种发音因素和次语种发音因素之间的映射关系，构建发音词典；根据所述发音词典，以及声学特征分别与主语种词语和次语种词语之间的映射关系，确定主语种发音音素和次语种发音音素分别与声学特征之间的映射关系，得到声学模型；根据样本语料中包括的主语种词语和次语种词语，构建用于确定词语出现概率的语言模型；依据所述发音词典、所述声学模型和所述语言模型构建所述解码图。
在上述可选实施例方案中，构建语言模型，包括：根据各主语种词语和各次语种词语在样本语料中的出现次数，以及样本语料中的词语总数，确定各主语种词语和各次语种词语的出现概率；根据各主语种词语和各次语种词语的出现概率，构建所述语言模型。
本发明实施例提供的技术方案，通过根据样本语料库得到主语种词语和次语种词语与发音因素的映射关系，确定发音词典，并根据声学特征与主语种词语和次语种词语的映射关系，最终确定声学模型，根据声学模型、发音词典和语言模型构建解码图，实现了对多语种混读人群以及外音发音不标准人群进行语音识别的需求。
在上述技术方案的基础上，在用于多语种识别的解码图之后，还可以包括：采用所述解码图对待识别的主语种语音和/或次语种语音进行识别。
具体实现方式包括：提取待识别的主语种语音和/或次语种语音的目标声学特征；根据解码图的声学模型中声学特征分别与主语种发音音素和次语种发音音素的映射关系，确定所述目标声学特征关联的至少一个候选主语种发音音素和/或候选次语种发音音素；根据解码图的发音词典中主语种词语和主语种发音因素之间的映射关系，以及次语种词语分别与主语种发音因素和次语种发音因素之间的映射关系，确定候选主语种发音音素和/或候选次语种发音音素关联的至少一个候选主语种词语和/或候选次语种词语；根据解码图的语言模型中所述至少一个候选主语种词语和/或候选次语种词语的出现概率，确定目标主语种词语和/或目标次语种词语。
通过提取主语种语音和/或次语种语音的目标声学特征、发音因素，并根据词语与发音因素之间的映射关系，确定至少一个候选主语种词语和/或候选次语种词语，最后根据解码图的语言模型确定目标主语种词语和/或目标次语种词语，实现了对语音中多语种词语的识别。
实施例二
图2为本发明实施例二提供的一种多语种语音解码图的构建装置的结构示意图，该装置可执行本发明任意实施例所提供的多语种语音解码图的构建方法，具备执行方法相应的功能模块和有益效果。如图2所示，该装置可以包括：
标音模块21，用于对样本语料库中包括的主语种词语和次语种词语进行标音，得到主语种词语和次语种词语的发音音素；
声学特征确定模块22，用于根据所述样本语料库中的样本语料关联的样本语音，确定主语种词语和次语种词语的声学特征；
解码图构建模块23，用于根据所述样本语料库中的样本语料中包括的主语种词语和次语种词语，主语种词语和次语种词语的发音音素以及声学特征，确定用于多语种识别的解码图。
在上述实施例的基础上，所述标音模块21，具体用于：分别对样本语料库中包括的纯主语种文本、纯次语种文本和主次语种混合文本进行分词；采用主语种发音规则对所述纯主语种文本中包括的主语种词语进行标音，得到主语种词语的主语种发音因素；分别采用主语种发音规则和次语种发音因素对所述纯次语种文本中包括的次语种词语进行标音，得到次语种词语的主语种发音因素和次语种发音因素；采用主语种发音规则对所述主次语种混合文本中包括的主语种词语和次语种词语进行标音，得到主语种词语和次语种词语的主语种发音因素。
在上述实施例的基础上，所述解码图构建模块23，具体用于：根据主语种词语和主语种发音因素之间的映射关系，以及次语种词语分别与主语种发音因素和次语种发音因素之间的映射关系，构建发音词典；根据所述发音词典，以及声学特征分别与主语种词语和次语种词语之间的映射关系，确定主语种发音音素和次语种发音音素分别与声学特征之间的映射关系，得到声学模型；根据样本语料中包括的主语种词语和次语种词语，构建用于确定词语出现概率的语言模型；依据所述发音词典、所述声学模型和所述语言模型构建所述解码图。
在上述实施例的基础上，所述解码图构建模块23，具体用于：根据各主语种词语和各次语种词语在样本语料中的出现次数，以及样本语料中的词语总数，确定各主语种词语和各次语种词语的出现概率；根据各主语种词语和各次语种词语的出现概率，构建所述语言模型。
在上述实施例的基础上，所述解码图构建模块23之后还包括语音识别模块，具体用于：提取待识别的主语种语音和/或次语种语音的目标声学特征；根据解码图的声学模型中声学特征分别与主语种发音音素和次语种发音音素的映射关系，确定所述目标声学特征关联的至少一个候选主语种发音音素和/或候选次语种发音音素；根据解码图的发音词典中主语种词语和主语种发音因素之间的映射关系，以及次语种词语分别与主语种发音因素和次语种发音因素之间的映射关系，确定候选主语种发音音素和/或候选次语种发音音素关联的至少一个候选主语种词语和/或候选次语种词语；根据解码图的语言模型中所述至少一个候选主语种词语和/或候选次语种词语的出现概率，确定目标主语种词语和/或目标次语种词语。
上述实施例所述多语种语音解码图的构建装置用于执行上述实施例所述任一的多语种语音解码图的构建方法，其技术原理和产生的技术效果类似，这里不再赘述。
实施例三
图3为本发明实施例三提供的一种服务器的结构示意图，如图3所示，该服务器包括处理器30、存储器31、输入装置32和输出装置33；服务器中处理器30的数量可以是一个或多个，图3中以一个处理器30为例；服务器中的处理器30、存储器31、输入装置32和输出装置33可以通过总线或其他方式连接，图3中以通过总线连接为例。
存储器31作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的多语种语音解码图的构建方法对应的程序指令/模块(例如，标音模块21、声学特征确定模块22和解码图构建模块23)。处理器30通过运行存储在存储器31中的软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述的多语种语音解码图的构建方法。
存储器31可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器31可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器31可进一步包括相对于处理器30远程设置的存储器，这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置32可用于接收语音信号，输出装置33可包括显示屏等显示设备。
实施例四
本发明实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种多语种语音解码图的构建方法，该方法包括：
对样本语料库中包括的主语种词语和次语种词语进行标音，得到主语种词语和次语种词语的发音音素；
根据所述样本语料库中的样本语料关联的样本语音，确定主语种词语和次语种词语的声学特征；
根据所述样本语料库中的样本语料中包括的主语种词语和次语种词语，主语种词语和次语种词语的发音音素以及声学特征，确定用于多语种识别的解码图。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的多语种语音解码图的构建方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种多语种语音解码图的构建方法，其特征在于，包括：
对样本语料库中包括的主语种词语和次语种词语进行标音，得到主语种词语和次语种词语的发音音素；
根据所述样本语料库中的样本语料关联的样本语音，确定主语种词语和次语种词语的声学特征；
根据所述样本语料库中的样本语料中包括的主语种词语和次语种词语，主语种词语和次语种词语的发音音素以及声学特征，确定用于多语种识别的解码图。
2.根据权利要求1所述的方法，其特征在于，对样本语料库中包括的主语种词语和次语种词语进行标音，得到主语种词语和次语种词语的发音音素，包括：
分别对样本语料库中包括的纯主语种文本、纯次语种文本和主次语种混合文本进行分词；
采用主语种发音规则对所述纯主语种文本中包括的主语种词语进行标音，得到主语种词语的主语种发音因素；
分别采用主语种发音规则和次语种发音规则对所述纯次语种文本中包括的次语种词语进行标音，得到次语种词语的主语种发音因素和次语种发音因素；
采用主语种发音规则对所述主次语种混合文本中包括的主语种词语和次语种词语进行标音，得到主语种词语和次语种词语的主语种发音因素。
3.根据权利要求1所述的方法，其特征在于，根据样本语料中包括的主语种词语和次语种词语，主语种词语和次语种词语的发音音素以及声学特征，确定用于多语种识别的解码图，包括：
根据主语种词语和主语种发音因素之间的映射关系，以及次语种词语分别与主语种发音因素和次语种发音因素之间的映射关系，构建发音词典；
根据所述发音词典，以及声学特征分别与主语种词语和次语种词语之间的映射关系，确定主语种发音音素和次语种发音音素分别与声学特征之间的映射关系，得到声学模型；
根据所述样本语料库中的样本语料中包括的主语种词语和次语种词语，构建用于确定词语出现概率的语言模型；
依据所述发音词典、所述声学模型和所述语言模型构建所述解码图。
4.根据权利要求3所述的方法，其特征在于，根据样本语料中包括的主语种词语和次语种词语，构建用于确定词语出现概率的语言模型，包括：
根据各主语种词语和各次语种词语在样本语料中的出现次数，以及样本语料中的词语总数，确定各主语种词语和各次语种词语在所述样本语料的出现概率；
根据各主语种词语和各次语种词语在所述样本语料的出现概率，构建所述语言模型。
5.根据权利要求1所述的方法，其特征在于，用于多语种识别的解码图之后，还包括：
采用所述解码图对待识别的主语种语音和/或次语种语音进行识别。
6.根据权利要求5所述的方法，其特征在于，采用所述解码图对待识别的主语种语音和/或次语种语音进行识别，包括：
提取待识别的主语种语音和/或次语种语音的目标声学特征；
根据解码图的声学模型中声学特征分别与主语种发音音素和次语种发音音素的映射关系，确定所述目标声学特征关联的至少一个候选主语种发音音素和/或候选次语种发音音素；
根据解码图的发音词典中主语种词语和主语种发音因素之间的映射关系，以及次语种词语分别与主语种发音因素和次语种发音因素之间的映射关系，确定候选主语种发音音素和/或候选次语种发音音素关联的至少一个候选主语种词语和/或候选次语种词语；
根据解码图的语言模型中所述至少一个候选主语种词语和/或候选次语种词语的出现概率，确定目标主语种词语和/或目标次语种词语。
7.一种多语种语音解码图的构建装置，其特征在于，包括：
词语标音模块，用于对样本语料库中包括的主语种词语和次语种词语进行标音，得到主语种词语和次语种词语的发音音素；
声学特性确定模块，用于根据所述样本语料库中的样本语料关联的样本语音，确定主语种词语和次语种词语的声学特征；
解码图构建模块，用于根据所述样本语料库中的样本语料中包括的主语种词语和次语种词语，主语种词语和次语种词语的发音音素以及声学特征，确定用于多语种识别的解码图。
8.根据权利要求7所述的装置，其特征在于，所述解码图构建模块之后还包括语音识别模块，具体用于：
提取待识别的主语种语音和/或次语种语音的目标声学特征；
根据解码图的声学模型中声学特征分别与主语种发音音素和次语种发音音素的映射关系，确定所述目标声学特征关联的至少一个候选主语种发音音素和/或候选次语种发音音素；
根据解码图的发音词典中主语种词语和主语种发音因素之间的映射关系，以及次语种词语分别与主语种发音因素和次语种发音因素之间的映射关系，确定候选主语种发音音素和/或候选次语种发音音素关联的至少一个候选主语种词语和/或候选次语种词语；
根据解码图的语言模型中所述至少一个候选主语种词语和/或候选次语种词语的出现概率，确定目标主语种词语和/或目标次语种词语。
9.一种服务器，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一项所述的多语种语音解码图的构建方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的多语种语音解码图的构建方法。
CN201811643641.3A 2018-12-29 2018-12-29 多语种语音解码图的构建方法、装置、服务器和介质 Active CN109616096B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811643641.3A CN109616096B (zh) 2018-12-29 2018-12-29 多语种语音解码图的构建方法、装置、服务器和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811643641.3A CN109616096B (zh) 2018-12-29 2018-12-29 多语种语音解码图的构建方法、装置、服务器和介质

Publications (2)

Publication Number Publication Date
CN109616096A true CN109616096A (zh) 2019-04-12
CN109616096B CN109616096B (zh) 2022-01-04

Family

ID=66015929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811643641.3A Active CN109616096B (zh) 2018-12-29 2018-12-29 多语种语音解码图的构建方法、装置、服务器和介质

Country Status (1)

Country Link
CN (1) CN109616096B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070853A (zh) * 2019-04-29 2019-07-30 盐城工业职业技术学院 一种语音识别转化方法及系统
CN110517668A (zh) * 2019-07-23 2019-11-29 普强信息技术（北京）有限公司 一种中英文混合语音识别系统及方法
CN110634487A (zh) * 2019-10-24 2019-12-31 科大讯飞股份有限公司 一种双语种混合语音识别方法、装置、设备及存储介质
CN111369974A (zh) * 2020-03-11 2020-07-03 北京声智科技有限公司 一种方言发音标注方法、语言识别方法及相关装置
CN111916062A (zh) * 2019-05-07 2020-11-10 阿里巴巴集团控股有限公司 语音识别方法、装置和系统
CN112185346A (zh) * 2020-09-25 2021-01-05 北京百分点信息科技有限公司 多语种语音关键词检测、模型生成方法及电子设备
CN112466293A (zh) * 2020-11-13 2021-03-09 广州视源电子科技股份有限公司 解码图优化方法、装置及存储介质
CN112837675A (zh) * 2019-11-22 2021-05-25 阿里巴巴集团控股有限公司 语音识别方法、装置及相关系统和设备
CN113077786A (zh) * 2021-03-23 2021-07-06 北京儒博科技有限公司 一种语音识别方法、装置、设备及存储介质
CN114038463A (zh) * 2020-07-21 2022-02-11 中兴通讯股份有限公司 混合语音处理的方法、电子设备、计算机可读介质
WO2022178996A1 (zh) * 2021-02-26 2022-09-01 平安科技（深圳）有限公司 多语言语音模型生成方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063900A (zh) * 2010-11-26 2011-05-18 北京交通大学 克服混淆发音的语音识别方法及系统
JP2015001695A (ja) * 2013-06-18 2015-01-05 日本電信電話株式会社 音声認識装置、音声認識方法及びプログラム
CN106935239A (zh) * 2015-12-29 2017-07-07 阿里巴巴集团控股有限公司 一种发音词典的构建方法及装置
CN107195296A (zh) * 2016-03-15 2017-09-22 阿里巴巴集团控股有限公司 一种语音识别方法、装置、终端及系统
CN108986791A (zh) * 2018-08-10 2018-12-11 南京航空航天大学 针对民航陆空通话领域的中英文语种语音识别方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063900A (zh) * 2010-11-26 2011-05-18 北京交通大学 克服混淆发音的语音识别方法及系统
JP2015001695A (ja) * 2013-06-18 2015-01-05 日本電信電話株式会社 音声認識装置、音声認識方法及びプログラム
CN106935239A (zh) * 2015-12-29 2017-07-07 阿里巴巴集团控股有限公司 一种发音词典的构建方法及装置
CN107195296A (zh) * 2016-03-15 2017-09-22 阿里巴巴集团控股有限公司 一种语音识别方法、装置、终端及系统
CN108986791A (zh) * 2018-08-10 2018-12-11 南京航空航天大学 针对民航陆空通话领域的中英文语种语音识别方法及系统

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583905A (zh) * 2019-04-29 2020-08-25 盐城工业职业技术学院 一种语音识别转化方法及系统
CN110070853A (zh) * 2019-04-29 2019-07-30 盐城工业职业技术学院 一种语音识别转化方法及系统
CN111916062A (zh) * 2019-05-07 2020-11-10 阿里巴巴集团控股有限公司 语音识别方法、装置和系统
CN110517668A (zh) * 2019-07-23 2019-11-29 普强信息技术（北京）有限公司 一种中英文混合语音识别系统及方法
CN110517668B (zh) * 2019-07-23 2022-09-27 普强时代(珠海横琴)信息技术有限公司 一种中英文混合语音识别系统及方法
CN110634487A (zh) * 2019-10-24 2019-12-31 科大讯飞股份有限公司 一种双语种混合语音识别方法、装置、设备及存储介质
CN112837675A (zh) * 2019-11-22 2021-05-25 阿里巴巴集团控股有限公司 语音识别方法、装置及相关系统和设备
CN111369974A (zh) * 2020-03-11 2020-07-03 北京声智科技有限公司 一种方言发音标注方法、语言识别方法及相关装置
CN111369974B (zh) * 2020-03-11 2024-01-19 北京声智科技有限公司 一种方言发音标注方法、语言识别方法及相关装置
CN114038463A (zh) * 2020-07-21 2022-02-11 中兴通讯股份有限公司 混合语音处理的方法、电子设备、计算机可读介质
CN112185346A (zh) * 2020-09-25 2021-01-05 北京百分点信息科技有限公司 多语种语音关键词检测、模型生成方法及电子设备
CN112466293A (zh) * 2020-11-13 2021-03-09 广州视源电子科技股份有限公司 解码图优化方法、装置及存储介质
WO2022178996A1 (zh) * 2021-02-26 2022-09-01 平安科技（深圳）有限公司 多语言语音模型生成方法、装置、计算机设备及存储介质
CN113077786A (zh) * 2021-03-23 2021-07-06 北京儒博科技有限公司 一种语音识别方法、装置、设备及存储介质
CN113077786B (zh) * 2021-03-23 2022-12-02 北京如布科技有限公司 一种语音识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN109616096B (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
CN109616096A (zh) 多语种语音解码图的构建方法、装置、服务器和介质
US11942082B2 (en) Facilitating communications with automated assistants in multiple languages
US11354521B2 (en) Facilitating communications with automated assistants in multiple languages
EP3994683B1 (en) Multilingual neural text-to-speech synthesis
US10176804B2 (en) Analyzing textual data
US9472190B2 (en) Method and system for automatic speech recognition
US10242670B2 (en) Syntactic re-ranking of potential transcriptions during automatic speech recognition
CN107515862A (zh) 语音翻译方法、装置及服务器
CN109448704A (zh) 语音解码图的构建方法、装置、服务器和存储介质
JP7158217B2 (ja) 音声認識方法、装置及びサーバ
CN109754809A (zh) 语音识别方法、装置、电子设备及存储介质
CN103680498A (zh) 一种语音识别方法和设备
CN104573099A (zh) 题目的搜索方法及装置
CN109976702A (zh) 一种语音识别方法、装置及终端
CN110852075B (zh) 自动添加标点符号的语音转写方法、装置及可读存储介质
CN111508497B (zh) 语音识别方法、装置、电子设备及存储介质
WO2022267405A1 (zh) 语音交互方法、系统、电子设备及存储介质
CN104750677A (zh) 语音传译装置、语音传译方法及语音传译程序
CN110647613A (zh) 一种课件构建方法、装置、服务器和存储介质
CN116821290A (zh) 面向多任务对话的大语言模型训练方法和交互方法
US11056103B2 (en) Real-time utterance verification system and method thereof
Bangalore et al. Balancing data-driven and rule-based approaches in the context of a multimodal conversational system
CN112037772A (zh) 基于多模态的响应义务检测方法、系统及装置
CN113488034A (zh) 一种语音信息的处理方法、装置、设备及介质
KR20230156795A (ko) 단어 분할 규칙화

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 508-598, Xitian Gezhuang Town Government Office Building, No. 8 Xitong Road, Miyun District Economic Development Zone, Beijing 101500

Applicant after: BEIJING ROOBO TECHNOLOGY Co.,Ltd.

Address before: Room 508-598, Xitian Gezhuang Town Government Office Building, No. 8 Xitong Road, Miyun District Economic Development Zone, Beijing 101500

Applicant before: BEIJING INTELLIGENT STEWARD Co.,Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20210823

Address after: Room 301-112, floor 3, building 2, No. 18, YANGFANGDIAN Road, Haidian District, Beijing 100089

Applicant after: Beijing Rubu Technology Co.,Ltd.

Address before: Room 508-598, Xitian Gezhuang Town Government Office Building, No. 8 Xitong Road, Miyun District Economic Development Zone, Beijing 101500

Applicant before: BEIJING ROOBO TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant