CN110930980B - 一种中英文混合语音的声学识别方法及系统 - Google Patents
一种中英文混合语音的声学识别方法及系统 Download PDFInfo
- Publication number
- CN110930980B CN110930980B CN201911274911.2A CN201911274911A CN110930980B CN 110930980 B CN110930980 B CN 110930980B CN 201911274911 A CN201911274911 A CN 201911274911A CN 110930980 B CN110930980 B CN 110930980B
- Authority
- CN
- China
- Prior art keywords
- neural network
- recognition
- deep neural
- network layer
- chinese
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013528 artificial neural network Methods 0.000 claims abstract description 127
- 230000006870 function Effects 0.000 claims abstract description 11
- 230000001419 dependent effect Effects 0.000 claims abstract description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 11
- 238000010845 search algorithm Methods 0.000 claims description 5
- 230000015654 memory Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 230000010365 information processing Effects 0.000 description 7
- 238000005457 optimization Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000003672 processing method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/005—Language recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了利用中英文混合语音的声学识别模型的中英文混合语音的声学识别方法及系统。其中，方法包括：通过共享的深度神经网络层和声学模型资源对当前采集语音信息进行语音识别，获取第一识别解码且获取词图；通过独立的语音识别声学模型相关的深度神经网络层在所述词图上对所述共享的深度神经网络层重打分；在重打分的词图上检索获取语音识别结果。因此本发明中的中英文混合语音的声学识别方法，模型中将语种分类信息通过一个门函数应用到识别网络中，控制识别网络的输出，最终提升模型对中英文的区分度，进而提升中英文识别的性能。
Description
技术领域
本发明属于语音识别的技术领域，尤其涉及中英文混合语音的声学识别方法及系统。
背景技术
语音识别是一种让机器通过识别和理解过程把语音信息转变为相应的文本或命令的人工智能技术。近年来，随着互联网的发展及语音识别产品在生活着的普及,中英文混合识别技术被越来越多的应用到了语音识别产品中。
现有技术中的，中英文双语语音识别方法需获取国际音标IPA标注的中英文混合词典，中英文混合词典包括：中文词典和经过中式英语修正的英文词典；将中英文混合词典作为训练词典，以一层卷积神经网络CNN加上五层时间递归神经网络LSTM为模型，以国际音标的状态为目标，以联结主义时间分类器CTC为训练准则对模型进行训练，得到训练后的CTC声学模型；结合训练后的CTC声学模型对中英文混合语言进行语音识别。
现有技术中的方法采用两遍音素聚类的方法统一中英文音素集，重新训练得到中英文混合声学模型，并修正相应的双语发音字典，解码器根据这些实现中英文双语识别。
现有技术中的中英文双语识别方法的问题在于，使用合并的中英文音素，包括国际音标IPA，及聚类的方法合并音素的方法会降低中英文音素之间的区分度，带来更多的跨语言的识别错误。另外因为修改了音素集合，需要重新整理字典；将带来巨大的开销。现有技术中缺陷产生的主要原因在于国际音标IPA，及聚类的方法合并音素的方法，会合并中英文独立音素集合中发音比较相近的部分。
发明内容
本发明实施方式提供中英文混合语音的声学识别模型、方法及系统，用于至少解决上述技术问题之一。
第一方面，本发明提供了中英文混合语音的声学识别模型，包括：语音信息的特征提取单元、共享的深度神经网络层及独立的语音识别声学模型相关的深度神经网络层。
语音信息的特征提取单元，其配置为从当前采集语音信息中提取当前语音特征。
共享的深度神经网络层，其配置为卷积神经网络CNN串联长短时记忆神经网络LSTM的拓扑结构。共享的深度神经网络层接收从语音信息的特征提取单元发送的当前语音特征，以及当前采集语音信息。对当前采集语音信息识别，获取第一识别解码且获取词图。
独立的语音识别声学模型相关的深度神经网络层，其配置为前馈深度神经网络DNN。接收共享的深度神经网络层获取的第一识别解码且获取词图，在词图上对共享的深度神经网络层重打分。在重打分的词图上检索获取语音识别结果。
共享的深度神经网络层及独立的语音识别声学模型相关的深度神经网络层，通过中文音素及英文音素的并集作为建模单元，使用CTC作为模型训练准则。
在本发明中英文混合语音的声学识别模型的另一种优选的实施方式中，还包括，语种分类单元。
语种分类单元，其配置为通过门函数辨识中文语种及英文语种，语种分类单元接收共享的深度神经网络层的第一识别解码且获取词图。语种分类单元的输出连接独立的语音识别声学模型相关的深度神经网络层。
第二方面，本发明提供了利用中英文混合语音的声学识别模型的中英文混合语音的声学识别方法。中英文混合语音的声学识别方法包括：
步骤S101，通过共享的深度神经网络层和声学模型资源对当前采集语音识别，获取第一识别解码且获取词图。
步骤S102，通过独立的语音识别声学模型相关的深度神经网络层在词图上对共享的深度神经网络层重打分。
步骤S103、在重打分的词图上检索获取语音识别结果。
在本发明中英文混合语音的声学识别方法的另一种优选的实施方式中，步骤S101中包括，通过共享的深度神经网络层和声学模型资源，通过解码器搜索算法获取第一识别解码且获取词图。
在本发明中英文混合语音的声学识别方法的另一种优选的实施方式中，独立的语音识别声学模型相关的深度神经网络层为基于神经网络的语言模型。
在本发明中英文混合语音的声学识别方法的另一种优选的实施方式中，共享的深度神经网络层为具有中文音素及英文音素的语言模型。声学模型资源包括中文音素及英文音素资源。
在本发明中英文混合语音的声学识别方法的另一种优选的实施方式中，步骤S101中还包括，通过语音采集设备采集当前采集语音。
第三方面，本发明提供了利用中英文混合语音的声学识别模型的中英文混合语音的声学识别系统，包括，词图获取单元、重打分单元及识别单元，其中：
词图获取单元，通过共享的深度神经网络层和声学模型资源对当前采集语音识别，获取第一识别解码且获取词图。共享的深度神经网络层，其配置为卷积神经网络CNN串联长短时记忆神经网络LSTM的拓扑结构。共享的深度神经网络层接收从语音信息的特征提取单元发送的当前语音特征，以及当前采集语音信息。
重打分单元，配置为通过独立的语音识别声学模型相关的深度神经网络层在词图上对共享的深度神经网络层重打分。独立的语音识别声学模型相关的深度神经网络层，其配置为前馈深度神经网络DNN。接收共享的深度神经网络层获取的第一识别解码且获取词图。
共享的深度神经网络层及独立的语音识别声学模型相关的深度神经网络层，通过中文音素及英文音素的并集作为建模单元，使用CTC作为模型训练准则。
识别单元、配置为重打分的词图上检索获取语音识别结果。
在本发明中英文混合语音的声学识别系统的另一种优选的实施方式中，词图获取单元，还配置为通过共享的深度神经网络层和声学模型资源，通过解码器搜索算法获取第一识别解码且获取词图。
在本发明中英文混合语音的声学识别系统的另一种优选的实施方式中，独立的语音识别声学模型相关的深度神经网络层为基于神经网络的语言模型。
共享的深度神经网络层为具有中文音素及英文音素的语言模型。声学模型资源包括中文音素及英文音素资源。
词图获取单元，还配置为通过语音采集设备采集当前采集语音。
第四方面，提供一种电子设备，其包括：至少一个处理器，以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施方式的方法的步骤。
第五方面，本发明实施方式还提供一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行本发明任一实施方式的方法的步骤。
因此本发明中的中英文混合语音的声学识别模型、方法及系统，即联合优化的语种识别任务作为识别任务的补充，更容易使模型收敛到较好的局部最优值，防止过拟合。另外模型中将语种分类信息通过一个门函数应用到识别网络中，控制识别网络的输出，最终提升模型对中英文的区分度，进而提升中英文识别的性能。
附图说明
为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施方式提供的中英文混合语音的声学识别方法的流程图。
图2为本发明一实施方式提供的中英文混合语音的声学识别系统的组成图。
图3为本发明另一实施方式提供的中英文混合语音的声学识别方法的流程图。
图4为本发明一实施方式提供的中英文混合语音的声学识别模型的结构示意图。
图5为本发明另一实施方式提供的中英文混合语音的声学识别模型的结构示意图。
图6是本发明一实施方式提供的电子设备的结构示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
请参考图4，其示出了本发明一实施例提供的一种中英文混合语音的声学识别模型，其包括：语音信息的特征提取单元401、共享的深度神经网络层402及独立的语音识别声学模型相关的深度神经网络层403。
语音信息的特征提取单元401，其配置为从当前采集语音信息中提取当前语音特征。
共享的深度神经网络层402，其配置为卷积神经网络CNN串联长短时记忆神经网络LSTM的拓扑结构。共享的深度神经网络层接收从语音信息的特征提取单元发送的当前语音特征，以及当前采集语音信息。对当前采集语音信息识别，获取第一识别解码且获取词图。
独立的语音识别声学模型相关的深度神经网络层403，其配置为前馈深度神经网络DNN。接收共享的深度神经网络层获取的第一识别解码且获取词图，在词图上对共享的深度神经网络层重打分。在重打分的词图上检索获取语音识别结果。
共享的深度神经网络层及独立的语音识别声学模型相关的深度神经网络层，通过中文音素及英文音素的并集作为建模单元，使用CTC作为模型训练准则。
在本发明中英文混合语音的声学识别模型的另一种优选的实施方式中，还包括，语种分类单元404。
语种分类单元404，其配置为通过门函数辨识中文语种及英文语种，语种分类单元接收共享的深度神经网络层的第一识别解码且获取词图。语种分类单元的输出连接独立的语音识别声学模型相关的深度神经网络层。
请参考图1，其示出了本发明一实施例提供的一种中英文混合语音的声学识别方法，该声学识别方法利用上述中英文混合语音的声学识别模型来实现。如图1所示，该方法包括：
步骤S101，获取第一识别解码且获取词图。
本步骤中，通过共享的深度神经网络层和声学模型资源对当前采集语音识别，获取第一识别解码且获取词图。
步骤S102，优化词图。
本步骤中，通过独立的语音识别声学模型相关的深度神经网络层在词图上对共享的深度神经网络层重打分。
步骤S103、语音识别。
本步骤中，在重打分的词图上检索获取语音识别结果。
在本发明中英文混合语音的声学识别方法的另一种优选的实施方式中，其中，所述步骤S101中包括，通过共享的深度神经网络层和声学模型资源，通过解码器搜索算法获取第一识别解码且获取词图。
在本发明中英文混合语音的声学识别方法的另一种优选的实施方式中，所述独立的语音识别声学模型相关的深度神经网络层为基于神经网络的语言模型。
在本发明中英文混合语音的声学识别方法的另一种优选的实施方式中，所述共享的深度神经网络层为具有中文音素及英文音素的语言模型。所述声学模型资源包括中文音素及英文音素资源。
在本发明中英文混合语音的声学识别方法的另一种优选的实施方式中，所述步骤S101中还包括，通过语音采集设备采集所述当前采集语音。
请参考图2，其示出了本发明一实施例提供的一种中英文混合语音的声学识别系统，其包括，词图获取单元101、重打分单元201及识别单元301，其中：
词图获取单元101，通过共享的深度神经网络层和声学模型资源对当前采集语音识别，获取第一识别解码且获取词图。共享的深度神经网络层，其配置为卷积神经网络CNN串联长短时记忆神经网络LSTM的拓扑结构。共享的深度神经网络层接收从语音信息的特征提取单元发送的当前语音特征，以及当前采集语音信息。
重打分单元201，配置为通过独立的语音识别声学模型相关的深度神经网络层在词图上对共享的深度神经网络层重打分。独立的语音识别声学模型相关的深度神经网络层，其配置为前馈深度神经网络DNN。接收共享的深度神经网络层获取的第一识别解码且获取词图。
共享的深度神经网络层及独立的语音识别声学模型相关的深度神经网络层，通过中文音素及英文音素的并集作为建模单元，使用CTC作为模型训练准则。
识别单元301、配置为重打分的词图上检索获取语音识别结果。
在本发明中英文混合语音的声学识别系统的另一种优选的实施方式中，词图获取单元，还配置为通过共享的深度神经网络层和声学模型资源，通过解码器搜索算法获取第一识别解码且获取词图。
在本发明中英文混合语音的声学识别系统的另一种优选的实施方式中，独立的语音识别声学模型相关的深度神经网络层为基于神经网络的语言模型。
共享的深度神经网络层为具有中文音素及英文音素的语言模型。声学模型资源包括中文音素及英文音素资源。
在本发明中的中英文混合语音的声学识别方法的另一种实施方式中，本发明中的中英文混合语音的声学识别方法使用原有的中英文独立的音素集合，简单的将独立的中文，英文音素集合合并，提升音素间的区分度。同时多任务联合优化；在训练语音识别任务的同时，预测语种信息；并且共享底层的网络层增强模型的泛化能力及对中英文的区分度。
本发明是一种基于语种信息联合优化的中英文混合识别系统，如图3所示，系统结构和流程如下图所示；收集用户的语音信息后，利用预先训练的语言模型和声学模型资源及解码器搜索算法完成第一遍解码得到词图；然后利用基于神经网络的语言模型再词图上完成语言模型重打分；这里使用神经网络语言模型重打分主要有两方面考虑，首先相对于n元语法语言模型，神经网络语言模型可以建模更长的历史信息；其次，神经网络语言模型在一个连续空间上建模语言信息，可以减缓中英文语料数据稀疏带来的问题，最终提升模型的性能。最后在语言模型重打分后的词图上搜索得到最终的识别结果；本发明的重点在于基于语种信息联合优化的中英文混合识别声学模型训练。
本发明的核心是基于语种信息联合优化的中英文混合识别声学模型，其结构如图5所示，包括语音信息的特征提取，共享的深度神经网络层，独立的语音识别声学模型相关的深度神经网络层，联合优化的语种识别任务，及语音识别任务。这里共享的深度神经网络层是卷积神经网络CNN串联长短时记忆神经网络LSTM的拓扑结构，独立的语音识别声学模型相关模块是前馈神经网络DNN，并且使用中文音素及英文音素的并集作为识别任务的建模单元，避免音素合并带来的混淆；使用CTC作为模型训练准则。联合优化的语种识别任务作为识别任务的补充，更容易使模型收敛到较好的局部最优值，防止过拟合；另外模型中将语种分类信息通过一个门函数应用到识别网络中，控制识别网络的输出，最终提升模型对中英文的区分度，进而提升中英文识别的性能。
在另一些实施方式中，本发明实施方式还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施方式中的语音信息处理和使用方法；
作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：
本发明提供了中英文混合语音的声学识别方法，该声学识别方法使用上述中英文混合语音的声学识别模型来实现。中英文混合语音的声学识别方法包括：
步骤S101，通过共享的深度神经网络层和声学模型资源对当前采集语音识别，获取第一识别解码且获取词图。
步骤S102，通过独立的语音识别声学模型相关的深度神经网络层在词图上对共享的深度神经网络层重打分。
步骤S103、在重打分的词图上检索获取语音识别结果。
作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施方式中的语音信息处理方法对应的程序指令/模块。一个或者多个程序指令存储在非易失性计算机可读存储介质中，当被处理器执行时，执行上述任意方法实施方式中的语音信息处理方法。
非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据语音信息处理单元的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至语音信息处理单元。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本发明实施方式还提供一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行上述任一项语音信息处理方法。
图6是本发明实施方式提供的电子设备的结构示意图，如图6所示，该设备包括：一个或多个处理器610以及存储器620，图6中以一个处理器610为例。语音信息处理方法的设备还可以包括：输入单元630和输出单元640。处理器610、存储器620、输入单元630和输出单元640可以通过总线或者其他方式连接，图6中以通过总线连接为例。存储器620为上述的非易失性计算机可读存储介质。处理器610通过运行存储在存储器620中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施方式语音信息处理方法。输入单元630可接收输入的数字或字符信息，以及产生与信息投放单元的用户设置以及功能控制有关的键信息输入。输出单元640可包括显示屏等显示设备。
上述产品可执行本发明实施方式所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施方式中详尽描述的技术细节，可参见本发明实施方式所提供的方法。
作为一种实施方式，上述电子设备可以应用于语音识别网络的可视化生成平台中，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：
通过共享的深度神经网络层和声学模型资源对当前采集语音识别，获取第一识别解码且获取词图；
通过独立的语音识别声学模型相关的深度神经网络层再次在所述词图上语言模型重打分，根据所述打分结果优化所述词图；
在优化后的词图上识别所述当前采集语音获取语音识别结果。
本发明实施方式的电子设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子单元。
以上所描述的单元实施方式仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施方式方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施方式或者实施方式的某些部分的方法。
最后应说明的是：以上实施方式仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施方式对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施方式技术方案的精神和范围。
Claims (7)
1.一种使用中英文混合语音的声学识别模型的中英文混合语音的声学识别方法，所述中英文混合语音的声学识别模型包括：语音信息的特征提取单元、共享的深度神经网络层及独立的语音识别声学模型相关的深度神经网络层；
所述语音信息的特征提取单元，其配置为从当前采集语音信息中提取当前语音特征；
所述共享的深度神经网络层，其配置为卷积神经网络CNN串联长短时记忆神经网络LSTM的拓扑结构；所述共享的深度神经网络层接收从所述语音信息的特征提取单元发送的所述当前语音特征，以及所述当前采集语音信息；对所述当前采集语音信息识别，获取第一识别解码且获取词图；
所述独立的语音识别声学模型相关的深度神经网络层，其配置为前馈深度神经网络DNN；接收所述共享的深度神经网络层获取的所述第一识别解码且获取词图，在所述词图上对所述共享的深度神经网络层重打分；在重打分的词图上检索获取语音识别结果；
所述共享的深度神经网络层及所述独立的语音识别声学模型相关的深度神经网络层，通过中文音素及英文音素的并集作为建模单元，使用CTC作为模型训练准则；
所述声学识别模型，还包括，语种分类单元；所述语种分类单元，其配置为通过门函数辨识中文语种及英文语种，所述语种分类单元接收所述共享的深度神经网络层的第一识别解码且获取词图；所述语种分类单元的输出连接所述独立的语音识别声学模型相关的深度神经网络层；
所述中英文混合语音的声学识别方法包括：
步骤S101，通过所述共享的深度神经网络层和声学模型资源对当前采集语音识别，获取第一识别解码且获取词图；
步骤S102，通过所述独立的语音识别声学模型相关的深度神经网络层在所述词图上对所述共享的深度神经网络层重打分；
步骤S103、在重打分的词图上检索获取语音识别结果。
2.根据权利要求1所述的中英文混合语音的声学识别方法，其中，所述步骤S101中包括，通过所述共享的深度神经网络层和声学模型资源，通过解码器搜索算法获取第一识别解码且获取词图。
3.根据权利要求2所述的中英文混合语音的声学识别方法，所述独立的语音识别声学模型相关的深度神经网络层为基于神经网络的语言模型。
4.根据权利要求3所述的中英文混合语音的声学识别方法，所述共享的深度神经网络层为具有中文音素及英文音素的语言模型；所述声学模型资源包括中文音素及英文音素资源。
5.根据权利要求3所述的中英文混合语音的声学识别方法，所述步骤S101中还包括，通过语音采集设备采集所述当前采集语音。
6.一种使用中英文混合语音的声学识别模型的中英文混合语音的声学识别系统，所述中英文混合语音的声学识别模型包括：语音信息的特征提取单元、共享的深度神经网络层及独立的语音识别声学模型相关的深度神经网络层；
所述语音信息的特征提取单元，其配置为从当前采集语音信息中提取当前语音特征；
所述共享的深度神经网络层，其配置为卷积神经网络CNN串联长短时记忆神经网络LSTM的拓扑结构；所述共享的深度神经网络层接收从所述语音信息的特征提取单元发送的所述当前语音特征，以及所述当前采集语音信息；对所述当前采集语音信息识别，获取第一识别解码且获取词图；
所述独立的语音识别声学模型相关的深度神经网络层，其配置为前馈深度神经网络DNN；接收所述共享的深度神经网络层获取的所述第一识别解码且获取词图，在所述词图上对所述共享的深度神经网络层重打分；在重打分的词图上检索获取语音识别结果；
所述共享的深度神经网络层及所述独立的语音识别声学模型相关的深度神经网络层，通过中文音素及英文音素的并集作为建模单元，使用CTC作为模型训练准则；
所述声学识别模型，还包括，语种分类单元；所述语种分类单元，其配置为通过门函数辨识中文语种及英文语种，所述语种分类单元接收所述共享的深度神经网络层的第一识别解码且获取词图；所述语种分类单元的输出连接所述独立的语音识别声学模型相关的深度神经网络层；
所述中英文混合语音的声学识别系统包括：
词图获取单元，配置为通过所述共享的深度神经网络层和声学模型资源对当前采集语音识别，获取第一识别解码且获取词图；
重打分单元，配置为通过所述独立的语音识别声学模型相关的深度神经网络层在所述词图上对所述共享的深度神经网络层重打分；
识别单元，配置为在重打分的词图上检索获取语音识别结果。
7.根据权利要求6所述的中英文混合语音的声学识别系统，所述独立的语音识别声学模型相关的深度神经网络层为基于神经网络的语言模型；
所述共享的深度神经网络层为具有中文音素及英文音素的语言模型；所述声学模型资源包括中文音素及英文音素资源；
词图获取单元，还配置为通过语音采集设备采集所述当前采集语音。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911274911.2A CN110930980B (zh) | 2019-12-12 | 2019-12-12 | 一种中英文混合语音的声学识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911274911.2A CN110930980B (zh) | 2019-12-12 | 2019-12-12 | 一种中英文混合语音的声学识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110930980A CN110930980A (zh) | 2020-03-27 |
| CN110930980B true CN110930980B (zh) | 2022-08-05 |
Family
ID=69860314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911274911.2A Active CN110930980B (zh) | 2019-12-12 | 2019-12-12 | 一种中英文混合语音的声学识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110930980B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111613209B (zh) * | 2020-04-14 | 2023-05-26 | 北京三快在线科技有限公司 | 声学模型训练方法、装置、电子设备及存储介质 |
| CN111489735B (zh) * | 2020-04-22 | 2023-05-16 | 北京声智科技有限公司 | 语音识别模型训练方法及装置 |
| CN111833844A (zh) * | 2020-07-28 | 2020-10-27 | 苏州思必驰信息科技有限公司 | 用于语音识别和语种分类的混合模型的训练方法及系统 |
| CN112466278B (zh) * | 2020-12-16 | 2022-02-18 | 北京百度网讯科技有限公司 | 语音识别方法、装置和电子设备 |
| CN113516972B (zh) * | 2021-01-12 | 2024-02-13 | 腾讯科技（深圳）有限公司 | 语音识别方法、装置、计算机设备及存储介质 |
| CN114078468B (zh) * | 2022-01-19 | 2022-05-13 | 广州小鹏汽车科技有限公司 | 语音的多语种识别方法、装置、终端和存储介质 |
| CN116310401A (zh) * | 2022-12-19 | 2023-06-23 | 南京航空航天大学 | 一种基于单演特征联合稀疏表示的跨视角sar识别方法 |
| CN116386609A (zh) * | 2023-04-14 | 2023-07-04 | 南通大学 | 一种中英混合语音识别方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106297773A (zh) * | 2015-05-29 | 2017-01-04 | 中国科学院声学研究所 | 一种神经网络声学模型训练方法 |
| CN109616102A (zh) * | 2019-01-09 | 2019-04-12 | 百度在线网络技术（北京）有限公司 | 声学模型的训练方法、装置及存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10783900B2 (en) * | 2014-10-03 | 2020-09-22 | Google Llc | Convolutional, long short-term memory, fully connected deep neural networks |
| US10235994B2 (en) * | 2016-03-04 | 2019-03-19 | Microsoft Technology Licensing, Llc | Modular deep learning model |
| CN108711420B (zh) * | 2017-04-10 | 2021-07-09 | 北京猎户星空科技有限公司 | 多语言混杂模型建立、数据获取方法及装置、电子设备 |
| CN107301860B (zh) * | 2017-05-04 | 2020-06-23 | 百度在线网络技术（北京）有限公司 | 基于中英文混合词典的语音识别方法及装置 |
| CN109754790B (zh) * | 2017-11-01 | 2020-11-06 | 中国科学院声学研究所 | 一种基于混合声学模型的语音识别系统及方法 |
| US10593321B2 (en) * | 2017-12-15 | 2020-03-17 | Mitsubishi Electric Research Laboratories, Inc. | Method and apparatus for multi-lingual end-to-end speech recognition |
| CN108682417B (zh) * | 2018-05-14 | 2020-05-19 | 中国科学院自动化研究所 | 语音识别中的小数据语音声学建模方法 |
| CN109003601A (zh) * | 2018-08-31 | 2018-12-14 | 北京工商大学 | 一种针对低资源土家语的跨语言端到端语音识别方法 |
| CN109559749B (zh) * | 2018-12-24 | 2021-06-18 | 思必驰科技股份有限公司 | 用于语音识别系统的联合解码方法及系统 |
| CN110556100B (zh) * | 2019-09-10 | 2021-09-17 | 思必驰科技股份有限公司 | 端到端语音识别模型的训练方法及系统 |
-
2019
- 2019-12-12 CN CN201911274911.2A patent/CN110930980B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106297773A (zh) * | 2015-05-29 | 2017-01-04 | 中国科学院声学研究所 | 一种神经网络声学模型训练方法 |
| CN109616102A (zh) * | 2019-01-09 | 2019-04-12 | 百度在线网络技术（北京）有限公司 | 声学模型的训练方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110930980A (zh) | 2020-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110930980B (zh) | 一种中英文混合语音的声学识别方法及系统 | |
| CN112100349B (zh) | 一种多轮对话方法、装置、电子设备及存储介质 | |
| US10402433B2 (en) | Method and apparatus for recommending answer to question based on artificial intelligence | |
| CN108711420B (zh) | 多语言混杂模型建立、数据获取方法及装置、电子设备 | |
| CN110473531B (zh) | 语音识别方法、装置、电子设备、系统及存储介质 | |
| CN111090727B (zh) | 语言转换处理方法、装置及方言语音交互系统 | |
| US20240054767A1 (en) | Multi-modal Model Training Method, Apparatus and Device, and Storage Medium | |
| CN111402861B (zh) | 一种语音识别方法、装置、设备及存储介质 | |
| WO2015062482A1 (en) | System and method for automatic question answering | |
| CN107134279A (zh) | 一种语音唤醒方法、装置、终端和存储介质 | |
| JP6677419B2 (ja) | 音声対話方法及び装置 | |
| CN112528637B (zh) | 文本处理模型训练方法、装置、计算机设备和存储介质 | |
| CN108447471A (zh) | 语音识别方法及语音识别装置 | |
| JP7213943B2 (ja) | 車載機器の音声処理方法、装置、機器及び記憶媒体 | |
| CN110942763B (zh) | 语音识别方法及装置 | |
| CN111144102B (zh) | 用于识别语句中实体的方法、装置和电子设备 | |
| CN111159358A (zh) | 多意图识别训练和使用方法及装置 | |
| WO2024066920A1 (zh) | 虚拟场景的对话方法、装置、电子设备、计算机程序产品及计算机存储介质 | |
| CN114596844A (zh) | 声学模型的训练方法、语音识别方法及相关设备 | |
| CN111126084B (zh) | 数据处理方法、装置、电子设备和存储介质 | |
| US10714087B2 (en) | Speech control for complex commands | |
| CN115312034A (zh) | 基于自动机和字典树处理语音信号的方法、装置和设备 | |
| KR20190074508A (ko) | 챗봇을 위한 대화 모델의 데이터 크라우드소싱 방법 | |
| KR20200095947A (ko) | 전자 장치 및 이의 제어 방법 | |
| CN116522905B (zh) | 文本纠错方法、装置、设备、可读存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 215123 building 14, Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou City, Jiangsu Province Applicant after: Sipic Technology Co.,Ltd. Address before: 215123 building 14, Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou City, Jiangsu Province Applicant before: AI SPEECH Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |