CN110349564B - 一种跨语言语音识别方法和装置 - Google Patents

Abstract

本发明公开了一种跨语言语音识别的方法和装置，涉及语音处理技术领域。该方法的一具体实施方式包括：获取跨语言的样本数据，将所述样本数据作为预设的神经网络模型的输入数据进行训练，得到语言种类判别器；将待识别的音频输入所述语言种类判别器，按照语言种类判别器确定的语言种类切分所述待识别的音频；利用与所确定的语言种类对应的识别引擎，分别识别切分后的待识别的音频。该实施方式不需要对现有的语音识别引擎进行修改，成本低，识别率高，精确度高。

Description

一种跨语言语音识别方法和装置

技术领域

本发明涉及语音处理领域，尤其涉及一种跨语言语音识别方法和装置。

背景技术

电子设备的智能化和集成化程度越来越高，传统的信息检索和菜单操作方式已经越来越无法满足要求，迫切需要一种更加便捷的信息检索和命令操作方式来代替传统的按键操作，语音识别技术应运而生。但是，在大多数传统的自动语音识别系统中，仅支持本国的最常用的一种语言，对其他的语言支持度较低或者不支持。对于这种情况，常规的做法是：(1)不同的语言独立考虑，对每种语言从零开始训练一个语言模型。(2)在声学模型中将本国最常用的语言(例如中文音子集)和外文的音子集融合，将其他语言的发音映射成本国最常用的语言的发音。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：(1)从零开始为一种语言训练一个语言模型需要大量人工标注的数据，这些数据不仅代价高昂，而且需要很多时间来获得；为每种语言构建分开的语言模型阻碍了平滑的识别，并且增加了识别混合语言语音的代价。(2)训练耗时长，人力物力投入较大，其他语言识别的范围基于投入的领域，整体支持的范围比较窄，而且存在发音相似的情况，容易造成误识别，精确度低。

发明内容

有鉴于此，本发明实施例提供一种跨语言语音识别方法和装置，通过语言种类判别器对待识别的音频按照语言种类切分，然后使用对应的语音识别引擎对切分后的待识别音频进行识别，不需要对现有的语音识别引擎进行修改，成本低，识别率高，精确度高。

为实现上述目的，根据本发明实施例的一个方面，提供了一种跨语言语音识别方法，包括：

获取跨语言的样本数据，将所述样本数据作为预设的神经网络模型的输入数据进行训练，得到语言种类判别器；

将待识别的音频输入所述语言种类判别器，按照语言种类判别器确定的语言种类切分所述待识别的音频；

利用与所确定的语言种类对应的识别引擎，分别识别切分后的待识别的音频。

可选地，将所述样本数据作为预设的神经网络模型的输入数据进行训练的过程包括：按照语言种类切分所述样本数据，得到多个样本音频；对所述样本音频进行分帧，并提取每一帧样本音频的声学特征；将所述每一帧样本音频的声学特征作为所述预设的神经网络模型的输入数据进行训练。

可选地，在将待识别的音频输入所述语言种类判别器之前，所述方法还包括：对待识别的音频进行预处理，以得到所述待识别的音频中的有效音频。

可选地，利用与所确定的语言种类对应的识别引擎，分别识别切分后的待识别的音频包括：确定切分后的每段待识别音频边界处的语音帧，所述边界处的语音帧包括起始语音帧和结尾语音帧；将当前待识别音频的前一段的待识别音频的结尾语音帧和当前待识别音频的后一段的待识别音频的起始语音帧，与所述当前待识别音频拼接，将拼接后的待识别音频输入对应的识别引擎中进行识别。

可选地，在利用与所确定的语言种类对应的识别引擎，分别识别切分后的待识别的音频之后，所述方法还包括：将识别得到的文本数据进行拼接，并对拼接后的文本数据进行后处理，以消除歧义。

可选地，对拼接后的文本数据进行后处理的过程包括：去除所述文本数据中的停用词；基于口语顺滑方法，对所述文本数据进行规整处理，以去除影响语句通顺的词语；通过逆文本标准化的方法将所述文本数据中的数字转化为书面语形式。

为实现上述目的，根据本发明实施例的另一个方面，提供了一种跨语言语音识别装置，包括：模型训练模块，用于获取跨语言的样本数据，将所述样本数据作为预设的神经网络模型的输入数据进行训练，得到语言种类判别器；语种确定模块，用于将待识别的音频输入所述语言种类判别器，按照语言种类判别器确定的语言种类切分所述待识别的音频；语音识别模块，用于利用与所确定的语言种类对应的识别引擎，分别识别切分后的待识别的音频。

可选地，所述模型训练模块还用于：按照语言种类切分所述样本数据，得到多个样本音频；对所述样本音频进行分帧，并提取每一帧样本音频的声学特征；将所述每一帧样本音频的声学特征作为所述预设的神经网络模型的输入数据进行训练。

可选地，所述装置还包括语音预处理模块，用于：对待识别的音频进行预处理，以得到所述待识别的音频中的有效音频。

可选地，所述语音识别模块还用于：确定切分后的每段待识别音频的边界处的语音帧，所述边界处的语音帧包括起始语音帧和结尾语音帧；将当前待识别音频的前一段的待识别音频的结尾语音帧和当前待识别音频的后一段的待识别音频的起始语音帧，与所述当前待识别音频拼接，将拼接后的待识别音频输入对应的识别引擎中进行识别。

可选地，所述装置还包括语音后处理模块，用于将识别得到的文本数据进行拼接，并对拼接后的文本数据进行后处理，以消除歧义。

可选地，所述语音后处理模块还用于：去除所述文本数据中的停用词；和/或基于口语顺滑方法，对所述文本数据进行规整处理，以去除影响语句通顺的词语；和/或通过逆文本标准化的方法将所述文本数据中的数字转化为书面语形式。

为实现上述目的，根据本发明实施例的又一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的跨语言语音识别方法。

为实现上述目的，根据本发明实施例的再一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的跨语言语音识别方法。

上述发明中的一个实施例具有如下优点或有益效果：因为采用语言种类判别器对待识别的音频按照语言种类切分，然后使用对应的语音识别引擎对切分后的待识别音频进行识别的技术手段，所以不需要对现有的语音识别引擎进行修改，成本低，识别率高，精确度高，支持的范围广。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是本发明实施例的跨语言语音识别方法的主要流程的示意图；

图2是本发明实施例的跨语言语音识别方法子流程的示意图；

图3是根据本发明实施例的跨语言语音识别方法对样本数据切分的示意图；

图4是根据本发明实施例的跨语言语音识别方法拼接待识别音频的示意图；

图5是本发明另一实施例的跨语言语音识别方法对样本数据切分的示意图；

图6是根据本发明实施例的跨语言语音识别装置的主要模块的示意图；

图7是本发明实施例可以应用于其中的示例性系统架构图；

图8是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的跨语言语音识别方法的主要流程的示意图，如图1所示，该方法包括：

步骤S101：获取跨语言的样本数据，将所述样本数据作为预设的神经网络模型的输入数据进行训练，得到语言种类判别器。

在可选的实施例中，如图2所示，对样本数据进行训练的过程可以包括如下步骤：

步骤S201：按照语言种类切分所述样本数据，得到多个样本音频；

步骤S202：对所述样本音频进行分帧，并提取每一帧样本音频的声学特征；

步骤S203：将所述每一帧样本音频的声学特征作为所述预设的神经网络模型的输入数据进行训练。

对于步骤S201，可以对样本数据进行人工标注，标注出该样本数据中每一段语音所属的语言类别，然后按照语言种类切分该样本数据。如图3所示，假设样本数据中包含3种语言，按照语言种类切分该样本数据后得到3个样本音频：音频1、音频2和音频3。标签1、2和3分别表示样本音频的语言类别。

对于步骤S202，因为语音信号为短时平稳信号，所以需要进行分帧处理，以便把每一帧音频作为平稳信号处理。同时为了减少帧与帧之间的变化，相邻帧之间取重叠。在可选的实施例中，可以利用移动窗函数对样本音频进行分帧处理。作为具体的示例，可以使用帧长25ms、帧移10ms的移动窗对样本音频进行分帧。其中，帧移是指前后两帧的重叠，前一帧尾部与后一帧头部的重叠量。帧移后的每一帧信号都有上一帧的成分，防止两帧之间的不连续。语音信号虽然短时可以认为平稳，但是由于人说话并不是间断的，每帧之间都是相关的，加上帧移可以更好地与实际的语音相接近。

分帧后，还需提取样本音频的声学特征，即将每一帧音频变成一个多维向量，该多维向量包含了这帧音频的内容信息。具体的，可以提取样本音频的Fbank特征(FilterBank，滤波器组特征)也可以提取MFCC特征(Mel-Frequency Cepstral Coefficients，梅尔频率倒谱系数)。作为具体的示例，在本实施例中对每一帧样本音频提取40维的Fbank特征。

对于步骤S203，可以利用深度神经网络模型(Deep Neural Network，DNN)或长短期记忆网络模型(Longshort term memory，LSTM)对提取的特征进行训练，从而得到语言种类判别器。本发明实施例需要训练的语言种类判别器实质上是一种分类器，即对每一帧样本音频所属的语言类别进行分类，因此可以采用Cross-Entropy训练准则。Cross-Entropy(交叉熵)是神经网络训练中常用的损失函数，其用来判定实际的输出与期望的输出的接近程度。进一步的，可以利用MLE(Maximum Likelihood Estimate，极大似然估计)对每一帧进行分类优化，最小化每一帧的分类错误率，由此可以训练出帧级别的语言种类判别器。其中，MLE也称最大似然估计，其利用已知的样本结果反推(最大概率)导致这样的结果的参数值。

根据实验发现，一般人的语速是平均每个字在10-40帧左右，所以每一帧仅可能属于一种语言，因此，在本发明实施例的帧级别的语言种类判别器，能够快速准确的判断语音序列中每一帧音频的语言类别。

步骤S102：将待识别的音频输入所述语言种类判别器，按照语言种类判别器确定的语言种类切分所述待识别的音频。

可选的实施例中，在将待识别的音频输入所述语言种类判别器之前，还可以对待识别的音频进行预处理，得到所述待识别的音频中的有效音频，去除无效的静音和噪音。

作为具体的示例，可以利用VAD技术，检测出待识别的音频的起始点和终止点，去除无效的静音和噪音。其中，VAD(Voice Activity Detection，语音活动检测)又称语音短点检测或语音边界检测，目的是从带有噪声的语音中准确地定位出语音的开始点和结束点，把静音和背景噪声从实际语音中去除。具体的，可以通过帧能量、帧幅度或短时过零率分析来过滤静音和背景噪声。短时过零率表示一帧语音中语音信号波形穿过横轴(零电平)的次数。

在该步骤中，通过对待识别的语音进行预处理得到有效音频，可以减少后续要处理的数据量，并减少误差，提高精度。

步骤S103：利用与所确定的语言种类对应的识别引擎，分别识别切分后的待识别的音频。

在步骤S103中，由于语音识别具有时序性，长音频的识别性能比短音频的识别性能更好，因此，在将待识别的音频输入与其语言种类对应的识别引擎时，按照预设的帧长分次输入该识别引擎中，即当同一种语言的音频累积到一定时长时再输入其所属的识别引擎中进行识别。

本发明实施例的跨语言语音识别方法，采用语言种类判别器对待识别的音频按照语言种类切分，然后使用对应的语音识别引擎对切分后的待识别音频进行识别，所以不需要对现有的语音识别引擎进行修改，成本低，识别率高，精确度高，支持的范围广。

在可选的实施例中，利用与所确定的语言种类对应的识别引擎，分别识别切分后的待识别的音频包括：

确定切分后的每段待识别音频的边界处的语音帧，所述边界处的语音帧包括起始语音帧和结尾语音帧；其中，起始语音帧和结尾语音帧可以包括一帧音频，也可以包括多帧音频，本发明在此不做限制。

将当前待识别音频的前一段的待识别音频的结尾语音帧和当前待识别音频的后一段的待识别音频的起始语音帧，与所述当前待识别音频拼接，将拼接后的待识别音频输入对应的识别引擎中进行识别。

作为具体的示例，如图4所示，图中a所限定的是音频1的结尾语音帧，b所限定的是音频3的起始语音帧，在识别音频2时，将a和b范围内的音频也输入识别引擎进行识别，从而缓解语种边界判断不准确的影响。

本实施例在识别语音的过程中，将前一种语言的结尾语音帧和后一种语言的起始语音帧拼接在当前待识别音频的起始处和结尾处，可以避免语种切换时识别出错的问题，大大缓解了语种边界判定不准确的影响。

图5是本发明另一实施例的跨语言语音识别方法的主要流程的示意图，如图5所示，该方法包括：

步骤S501：获取跨语言的样本数据，将所述样本数据作为预设的神经网络模型的输入数据进行训练，得到语言种类判别器；

步骤S502：将待识别的音频输入所述语言种类判别器，按照语言种类判别器确定的语言种类切分所述待识别的音频；

步骤S503：利用与所确定的语言种类对应的识别引擎，分别识别切分后的待识别的音频；

步骤S504：将识别得到的文本数据进行拼接，并对拼接后的文本数据进行后处理，以消除歧义。

其中，步骤S501-S503与图1所示的实施例相同，本发明在此不再赘述。

对于步骤S504，具体可以包括以下一种或多种：

去除所述文本数据中的停用词；

基于口语顺滑方法，对所述文本数据进行规整处理，以去除影响语句通顺的词语；

通过逆文本标准化的方法将所述文本数据中的数字转化为书面语形式。

其中，在去除停用词时，可以先对该文本数据进行分词，然后与预先统计的停用词表进行匹配，从而去除该文本数据中的停用词。分词是指将连续的子序列按照一定的规范重新组合(或切分)成词序列的过程。具体的，可以通过现有的分词方法(例如基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法)进行分词，或者利用分词工具(例如jieba或THULAC)进行分词。

口语顺滑(Disfluency Detection)是指将语音识别文本进行规整处理，通过规则的方法，将语气词、停顿词、连续重复词等影响语句通顺的因素，通过正则匹配的形式进行去除。

逆文本标准化(Inverse Text Normalization，简称ITN)是指将识别文本中的日期、数字、百分比等进行数字转化，从而便于理解句意。

图6是根据本发明实施例的跨语言语音识别装置600的主要模块的示意图。如图6所示，该装置600包括：

模型训练模块601，用于获取跨语言的样本数据，将所述样本数据作为预设的神经网络模型的输入数据进行训练，得到语言种类判别器；

语种确定模块602，用于将待识别的音频输入所述语言种类判别器，按照语言种类判别器确定的语言种类切分所述待识别的音频；

语音识别模块603，用于利用与所确定的语言种类对应的识别引擎，分别识别切分后的待识别的音频。

可选地，所述模型训练模块602还用于：按照语言种类切分所述样本数据，得到多个样本音频；对所述样本音频进行分帧，并提取每一帧样本音频的声学特征；将所述每一帧样本音频的声学特征作为所述预设的神经网络模型的输入数据进行训练。

可选地，所述装置600还包括语音预处理模块，用于对待识别的音频进行预处理，以得到所述待识别的音频中的有效音频。

可选地，所述语音识别模块603还用于：确定切分后的每段待识别音频的边界处的语音帧，所述边界处的语音帧包括起始语音帧和结尾语音帧；将当前待识别音频的前一段的待识别音频的结尾语音帧和当前待识别音频的后一段的待识别音频的起始语音帧，与所述当前待识别音频拼接，将拼接后的待识别音频输入对应的识别引擎中进行识别。

可选地，所述装置还包括语音后处理模块，用于将识别得到的文本数据进行拼接，并对拼接后的文本数据进行后处理，以消除歧义。

可选地，所述语音后处理模块还用于：去除所述文本数据中的停用词；和/或基于口语顺滑方法，对所述文本数据进行规整处理，以去除影响语句通顺的词语；和/或通过逆文本标准化的方法将所述文本数据中的数字转化为书面语形式。

本发明实施例的跨语言语音识别装置，通过语言种类判别器对待识别的音频按照语言种类切分，然后使用对应的语音识别引擎对切分后的待识别音频进行识别，所以不需要对现有的语音识别引擎进行修改，成本低，识别率高，精确度高，支持的范围广。

上述装置可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

图7示出了可以应用本发明实施例的跨语言语音识别方法或跨语言语音识别装置的示例性系统架构700。

如图7所示，系统架构700可以包括终端设备701、702、703，网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器705可以是提供各种服务的服务器，例如对用户利用终端设备701、702、703所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息)反馈给终端设备。

需要说明的是，本发明实施例所提供的跨语言语音识别方法一般由服务器705执行，相应地，跨语言语音识别装置一般设置于服务器705中。

应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图8，其示出了适于用来实现本发明实施例的终端设备的计算机系统800的结构示意图。图8示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中，这些模块的名称在某种情况下并不构成对该单元本身的限定，例如，发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：

获取跨语言的样本数据，将所述样本数据作为预设的神经网络模型的输入数据进行训练，得到语言种类判别器；

将待识别的音频输入所述语言种类判别器，按照语言种类判别器确定的语言种类切分所述待识别的音频；

利用与所确定的语言种类对应的识别引擎，分别识别切分后的待识别的音频。

本发明实施例的技术方案，通过语言种类判别器对待识别的音频按照语言种类切分，然后使用对应的语音识别引擎对切分后的待识别音频进行识别，不需要对现有的语音识别引擎进行修改，成本低，识别率高，精确度高。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (12)

1.一种跨语言语音识别方法，其特征在于，包括：

获取跨语言的样本数据，将所述样本数据作为预设的神经网络模型的输入数据进行训练，得到语言种类判别器；

将待识别的音频输入所述语言种类判别器，按照语言种类判别器确定的语言种类切分所述待识别的音频；

利用与所确定的语言种类对应的识别引擎，分别识别切分后的待识别的音频；

其中，利用与所确定的语言种类对应的识别引擎，分别识别切分后的待识别的音频包括：

确定切分后的每段待识别音频边界处的语音帧，所述边界处的语音帧包括起始语音帧和结尾语音帧；

将当前待识别音频的前一段的待识别音频的结尾语音帧和当前待识别音频的后一段的待识别音频的起始语音帧，与所述当前待识别音频拼接，将拼接后的待识别音频输入对应的识别引擎中进行识别。

2.根据权利要求1所述的方法，其特征在于，将所述样本数据作为预设的神经网络模型的输入数据进行训练的过程包括：

按照语言种类切分所述样本数据，得到多个样本音频；

对所述样本音频进行分帧，并提取每一帧样本音频的声学特征；

将所述每一帧样本音频的声学特征作为所述预设的神经网络模型的输入数据进行训练。

3.根据权利要求1所述的方法，其特征在于，在将待识别的音频输入所述语言种类判别器之前，所述方法还包括：对待识别的音频进行预处理，以得到所述待识别的音频中的有效音频。

4.根据权利要求1所述的方法，其特征在于，在利用与所确定的语言种类对应的识别引擎，分别识别切分后的待识别的音频之后，所述方法还包括：

将识别得到的文本数据进行拼接，并对拼接后的文本数据进行后处理，以消除歧义。

5.根据权利要求4所述的方法，其特征在于，对拼接后的文本数据进行后处理的过程包括以下一种或多种：

去除所述文本数据中的停用词；

基于口语顺滑方法，对所述文本数据进行规整处理，以去除影响语句通顺的词语；

通过逆文本标准化的方法将所述文本数据中的数字转化为书面语形式。

6.一种跨语言语音识别装置，其特征在于，包括：

模型训练模块，用于获取跨语言的样本数据，将所述样本数据作为预设的神经网络模型的输入数据进行训练，得到语言种类判别器；

语种确定模块，用于将待识别的音频输入所述语言种类判别器，按照语言种类判别器确定的语言种类切分所述待识别的音频；

语音识别模块，用于利用与所确定的语言种类对应的识别引擎，分别识别切分后的待识别的音频；

其中，所述语音识别模块还用于：

确定切分后的每段待识别音频边界处的语音帧，所述边界处的语音帧包括起始语音帧和结尾语音帧；

将当前待识别音频的前一段的待识别音频的结尾语音帧和当前待识别音频的后一段的待识别音频的起始语音帧，与所述当前待识别音频拼接，将拼接后的待识别音频输入对应的识别引擎中进行识别。

7.根据权利要求6所述的装置，其特征在于，所述模型训练模块还用于：

按照语言种类切分所述样本数据，得到多个样本音频；

对所述样本音频进行分帧，并提取每一帧样本音频的声学特征；

将所述每一帧样本音频的声学特征作为所述预设的神经网络模型的输入数据进行训练。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括语音预处理模块，用于对待识别的音频进行预处理，以得到所述待识别的音频中的有效音频。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括语音后处理模块，用于将识别得到的文本数据进行拼接，并对拼接后的文本数据进行后处理，以消除歧义。

10.根据权利要求9所述的装置，其特征在于，所述语音后处理模块还用于：

去除所述文本数据中的停用词；和/或

基于口语顺滑方法，对所述文本数据进行规整处理，以去除影响语句通顺的词语；和/或

通过逆文本标准化的方法将所述文本数据中的数字转化为书面语形式。

11.一种电子设备， 其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一项所述的方法。

12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一项所述的方法。

Images