CN108492820A - 基于循环神经网络语言模型和深度神经网络声学模型的中文语音识别方法 - Google Patents

Abstract

本发明公开了一种基于循环神经网络语言模型和深度神经网络声学模型的中文语音识别方法，主要包括下述步骤：S1.训练基于循环神经网络的语言模型；S2.训练基于深度神经网络的声学模型；S3.基于循环神经网络语言模型和深度神经网络声学模型的中文语音识别方法的解码器采用维特比搜索方案。本发明结合循环神经网络的准确性和深度神经网络的低时延性，解决了现有n‑gram语言模型准确度低和长短时记忆网络声学模型高时延性的缺点，实现低时延较高准确度的中文语音识别。

Description

基于循环神经网络语言模型和深度神经网络声学模型的中文 语音识别方法

技术领域

本发明涉及语音识别技术和深度学习技术，具体涉及一种基于循环神经网络语言模型和深度神经网络声学模型的语音识别方法。

背景技术

随着Amazon Echo智能音箱等智能硬件产品的火热，作为其中最重要的人机交互手段，语音识别的市场也水涨船高。据国际知名市场研究公司Research and Markets 2016年发布的《2015-2020全球及中国语音产业报告》，随着语音在智能产业的应用不断加深，到2020年，全球语音市场规模预计将达到191.7亿美元。

传统连续语音识别技术的主流代表是GMM-HMM，2011年前后，微软、谷歌等公司开始将深度神经网络应用到语音识别中，取得了十年来最大的识别率提升，使其成为现代语音识别的主流技术。

现有的语音识别系统一般分为：

(1)基于n-gram语言模型和DNN-HMM声学模型的语音识别系统；

(2)基于n-gram语言模型和LSTM声学模型的语音识别系统；

(3)基于RNN语言模型和LSTM声学模型的语音识别系统；

(4)无单独语言模型的端到端语音识别系统；

现有语音识别系统的不足之处在于：

(1)无单独语言模型的端到端语音识别系统技术尚未实用，识别率尚未达到语言模型配合声学模型架构的效果；

(2)n-gram语言模型是目前语音识别系统中语言模型的主流，但是其困惑度(PPL)性能目前已经被RNN语言模型超越；

(3)DNN-HMM声学模型和LSTM声学模型相比，速度快，但是精度没有LSTM声学模型高；

近年来，随着计算能力的提升，循环神经网络语言模型技术得到了很好的发展，困惑度(perplexity，PPL)已经低于传统n-gram，在机器翻译、对话生成等领域的应用效果也超出了传统的n-gram方案的效果。所以本发明将会使用循环神经网络语言模型取代n-gram语言模型来改进传统语音识别方法。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于循环神经网络语言模型和深度神经网络声学模型的语音识别方法，结合循环神经网络的准确性和深度神经网络的低时延性，解决了现有n-gram语言模型准确度低和长短时记忆网络(LSTM)声学模型高时延性的缺点。

为了达到上述目的，本发明采用以下技术方案：

本发明一种基于循环神经网络语言模型和深度神经网络声学模型的中文语音识别方法，包括下述步骤：

S1.训练基于循环神经网络的语言模型：

S1.1利用srcapy网络爬虫脚本爬取中文互联网文本；

S1.2用BeautifulSoup工具包解析所爬取互联网文本，删除文本中的英文字母、乱码符号、书名号、花括号、括号、尖括号、方括号、空格、逗号、顿号、双引号、单引号内容，将句号、分号、问号、感叹号置换为回车符，留下纯汉字文本；

S1.3利用Jieba中文分词工具对纯汉字文本进行分词；

S1.4统计训练文本语料中不重复词汇总数，设为V；

S1.5将分词后的中文文本输入循环神经网络RNN进行训练，将网络输入层设置为个节点，隐层若干个节点，隐层若干层，输出层个节点，输出层每个节点表示一组预测情况输出概率，训练得到RNN语言模型，该语言模型的作用是输入上文词汇，输出在上文出现了这些词汇的情况下最有可能在此处出现的词汇；

S2.训练基于深度神经网络的声学模型：

S2.1读入音频流，并提取40维Fbank特征，然后进行倒谱均值方差归一化计算，去除带噪特征与纯净特征之间的偏差，降低信道影响，提升语音特征的鲁棒性；

S2.2单音素模型训练：训练单音素基础GMM-HMM模型，HMM模型为3状态HMM，迭代若干次，采用维特比方法按照realign_iters中规定好的次数进行数据对齐，使音频帧的特征和音素ID对齐，以备下一步骤使用；

S2.3三音素模型训练：以对齐后的单音素模型为输入，训练上下文相关的三音素GMM-HMM模型，迭代N次，采用维特比方法进行数据对齐，使音频帧的特征和音素ID对齐；

S2.4对步骤S2.3对齐后的数据利用基于特征空间的最大似然线性回归方法去除说话人差异对语音识别系统的影响，然后进行数据对齐，包括训练集和交叉验证集；

S2.5利用GMM-HMM，经过S2.1到S2.4的步骤后，已经得到了一个音频帧的特征到音素ID的映射对data+label，将该数据输入深度神经网络DNN进行训练，该DNN含4个隐层，每个隐层若干个节点，输出层若干个节点，使用交叉熵规则训练，优化准则为随机梯度下降，最小批次设置为256，初始学习率设置为0.008；

S3.基于循环神经网络语言模型和深度神经网络声学模型的中文语音识别方法的解码器采用维特比搜索方案：

S3.1基于加权有限状态转换器构建解码空间：将HMM模型(H)、三音素模型(C)、词典(L)和语言模型(G)四个模型转换成WFST形式，然后依次进行WFST网络的合并和压缩，从而得到完整的语音识别静态搜索空间，这四个模型相当于四个串联的子系统，前一子系统的输出作为下一子系统的输入，使用HMM的状态序列作为这个WFST的输入时，WFST系统将输出词序列及其得分；

S3.2提取特征：对待识别语音提取40维Fbank特征；

S3.3局部似然：计算观察矢量在词模型所有状态下的概率；

S3.4词内解码：在前向搜索中完成Viterbi解码；

S3.5语法级解码：根据WFST网络的词法限制在每个语法节点进行路径合并；

S3.6回溯：解码出最佳侯选词序列。

作为优选的技术方案，步骤S1.5中，将输入层节点数和输出层节点数设置为个，最后一层隐层到输出层的具体操作是：

根据词频将V个词分成组，先通过次判断，看下一个词属于哪个组，再组内遍历查找，判断其为组内哪个元素，计算复杂度为

作为优选的技术方案，步骤S1.5中，隐层节点数和隐层数视计算机计算能力而定，隐层节点设置数十个，隐层节点数越多，性能越好，所需的计算量也更大。

作为优选的技术方案，步骤S2.2中，realign_iters＝"1 2 3 4 5 6 7 8 9 10 1214 16 18 20 23 26 29 32 35 38"。

作为优选的技术方案，步骤S2.5中，音频帧的特征到音素ID的映射中使用到了发音词典，该发音词典中记录了汉语字词和他们的发音的对应关系，发音按“声母韵母+声调”的形式标注，声韵母加声调也是本套语音识别方案的识别基元。

作为优选的技术方案，步骤S3.4到S3.6中，采用维特比解码步骤伪代码如下：

a)初始化：设D(t；s_t；w)表示第t帧到达词w的状态s_t的最优路径得分，H(t；s_t；w)

表示第t帧到达词w的状态s_t的回溯指针，对于所有可能是句子开始的语法词的状态w，令

D(0；I(w)；w)＝0，H(0；I(w)；w)＝null

b)循环：

对帧t＝1到t＝T循环

对所有活动节点

在词内转移执行：

H(t；s_t；w)＝H(t-1；b_min(t；s_t；w)；w)

对所有活动词的终止状态，执行词间转移：

H(t；η；w)＝＜v_min,t＞::H(t；F(v_min)；v_min)

If D(t；η；w)＜D(t；I(w)；w)：

D(t；I(w)；w)＝D(t；η；w)；H(t；I(w)；w)＝H(t；η；w)

剪枝：找到最优路径并设置阈值，剪掉没有意义的路径；

c)终止：在T时刻选出所有可能终止状态中最好的路径，并对H(t；η；w)回溯；

其中，

d(o_t,s_t|s_t-1；w)＝-logP(s_t|s_t-1；w)-logP(o_t|s_t；w)

F(v)表示词的终止状态，η表示伪起始状态，::表示增加一个链接操作，P则是由RNN语言模型提供的后验概率，即出现前面几个词的情况下，下一个词为某个词的概率。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明结合循环神经网络的准确性和深度神经网络的低时延性，解决了现有n-gram语言模型准确度低和长短时记忆网络(LSTM)声学模型高时延性的缺点，使得本发明同时具备低时延和较高准确度的优点。

2、本发明循环神经网络等神经网络技术在人工智能时代的发展速度快，未来在语言模型性能上还能去的比现有传统n-gram方案更多的提升，更符合技术发展潮流；

3、比起端到端语音识别方案，本发明的语言模型和声学模型是单独训练的，而语音识别领域的语言模型，与自然语义理解、机器翻译、对话生成等领域的语言模型通用性强，能更方便去利用这些领域的语音模型新技术。

4、本发明声学模型采用DNN-HMM，实时性比LSTM声学模型好。

5、本发明语言模型采用循环神经网络，精度比n-gram语言模型高，能利用更长时间的序列相关性信息，而不是像n-gram那样只能往前看n个词。

附图说明

图1是本发明的方法流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本发明主要分为：步骤101～步骤105的循环神经网络语言模型训练、步骤201～步骤206的深度神经网络声学模型训练、步骤301～步骤303的识别解码三部分。

1.训练基于循环神经网络的语言模型：

步骤101，利用srcapy等网络爬虫脚本爬取大量中文互联网文本；

步骤102，用BeautifulSoup工具包解析所爬取互联网文本，删除文本中的英文字母、乱码符号、书名号、花括号、括号、尖括号、方括号、空格、逗号、顿号、双引号、单引号等内容，将句号、分号、问号、感叹号置换为回车符，留下纯汉字文本；

步骤103，利用Jieba中文分词工具对纯汉字文本进行分词；

步骤104，统计训练文本语料中不重复词汇总数，设为V；

步骤105，将分词后的中文文本输入循环神经网络(RNN)进行训练，由于词汇量巨大，若按照不重复词汇总数V设置输入层节点，将导致计算量过大，所以稍微牺牲一些精度，将网络输入层设置为个节点，隐层若干个节点，隐层若干层，输出层个节点，训练得到RNN语言模型；

在上述步骤S105中，将输入层节点数和输出层节点数设置为个，最后一层隐层到输出层的具体操作是：根据词频将V个词分成组，先通过次判断，看下一个词属于哪个组，再组内遍历查找，判断其为组内哪个元素，计算复杂度约为

进一步的，步骤S1.5中，隐层节点数和隐层数视计算机计算能力而定，一般隐层节点设置数十个，隐层节点数越多，性能越好，所需的计算量也更大。

2.训练基于深度神经网络的声学模型：

步骤201、步骤202，读入音频流，并提取40维Fbank特征，然后进行倒谱均值方差归一化(CMVN)计算，去除带噪特征与纯净特征之间的偏差，降低信道影响，提升语音特征的鲁棒性；

步骤203，单音素模型训练：训练单音素基础GMM-HMM模型，HMM模型为3状态HMM，迭代40次，采用维特比(Viterbi)方法按照realign_iters中规定好的次数进行数据对齐，使音频帧的特征和音素ID对齐，以备下一步骤使用；其中，realign_iters＝"1 2 3 4 5 6 78 9 10 12 14 16 18 20 23 26 29 32 35 38"。

步骤204，三音素模型训练：以对齐后的单音素模型为输入，训练上下文相关的三音素GMM-HMM模型，迭代35次，采用维特比(Viterbi)方法，进行数据对齐，使音频帧的特征和音素ID对齐；所述音频帧的特征到音素ID的映射中使用到了发音词典(lexicon)，该发音词典中记录了汉语字词和他们的发音的对应关系，发音按“声母韵母+声调”的形式标注，例如“好h ao3”，声韵母加声调也是本套语音识别方案的识别基元。

步骤205，对步骤S2.3对齐后的数据利用基于特征空间的最大似然线性回归(fMLLR)方法去除说话人差异对语音识别系统的影响，然后进行数据对齐，包括训练集和交叉验证(cross validation)集；

步骤206，利用GMM-HMM，经过S2.1到S2.4的步骤后，已经得到了一个音频帧的特征到音素ID的映射对(data+label)，将该数据输入深度神经网络(DNN)进行训练，该DNN含4个隐层，每个隐层1200个节点，输出层3386个节点，使用交叉熵(cross entropy)规则训练，优化准则为随机梯度下降(SGD)，最小批次(mini batch)设置为256，初始学习率设置为0.008；

步骤S205-步骤S206的伪代码如下：

a)初始化：设D(t；s_t；w)表示第t帧到达词w的状态s_t的最优路径得分，H(t；s_t；w)

表示第t帧到达词w的状态s_t的回溯指针，对于所有可能是句子开始的语法词的状态w，令

D(0；I(w)；w)＝0，H(0；I(w)；w)＝null

b)循环：

对帧t＝1到t＝T循环

对所有活动节点

在词内转移执行：

H(t；s_t；w)＝H(t-1；b_min(t；s_t；w)；w)

对所有活动词的终止状态，执行词间转移：

H(t；η；w)＝＜v_min,t＞::H(t；F(v_min)；v_min)

If D(t；η；w)＜D(t；I(w)；w)：

D(t；I(w)；w)＝D(t；η；w)；H(t；I(w)；w)＝H(t；η；w)

剪枝：找到最优路径并设置阈值，剪掉没有意义的路径

c)终止：在T时刻选出所有可能终止状态中最好的路径，并对H(t；η；w)回溯；

其中，

d(o_t,s_t|s_t-1；w)＝-logP(s_t|s_t-1；w)-logP(o_t|s_t；w)

F(v)表示词的终止状态，η表示伪起始状态，::表示增加一个链接操作,P则是由RNN语言模型提供的后验概率，即出现前面几个词的情况下，下一个词为某个词的概率。

3.基于循环神经网络语言模型和深度神经网络声学模型的中文语音识别方法的解码器采用维特比(Viterbi)搜索方案：

步骤301、步骤302，读入音频流，并提取40维Fbank特征；

步骤303，基于加权有限状态转换器(weighted finite-state transducer，WFST)构建解码空间：将HMM模型(H)、三音素模型(C)、词典(L)和语言模型(G)四个模型转换成WFST形式，然后依次进行WFST网络的合并和压缩，从而得到完整的语音识别静态搜索空间(HCLG网络)，这四个模型相当于四个串联的子系统，前一子系统的输出作为下一子系统的输入，使用HMM的状态序列作为这个WFST的输入时，WFST系统将输出词序列及其得分；局部似然：计算观察矢量在词模型所有状态下的概率；词内解码：在前向搜索中完成Viterbi解码；语法级解码：根据WFST网络的词法限制在每个语法节点进行路径合并；回溯(backtracking)：解码出最佳侯选词序列，即为所需识别结果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于循环神经网络语言模型和深度神经网络声学模型的中文语音识别方法，其特征在于，包括下述步骤：

S1.训练基于循环神经网络的语言模型：

S1.1利用srcapy网络爬虫脚本爬取中文互联网文本；

S1.2用BeautifulSoup工具包解析所爬取互联网文本，删除文本中的英文字母、乱码符号、书名号、花括号、括号、尖括号、方括号、空格、逗号、顿号、双引号、单引号内容，将句号、分号、问号、感叹号置换为回车符，留下纯汉字文本；

S1.3利用Jieba中文分词工具对纯汉字文本进行分词；

S1.4统计训练文本语料中不重复词汇总数，设为V；

S1.5将分词后的中文文本输入循环神经网络RNN进行训练，将网络输入层设置为个节点，隐层若干个节点，隐层若干层，输出层个节点，输出层每个节点表示一组预测情况输出概率，训练得到RNN语言模型，该语言模型的作用是输入上文词汇，输出在上文出现了这些词汇的情况下最有可能在此处出现的词汇；

S2.训练基于深度神经网络的声学模型：

S2.1读入音频流，并提取40维Fbank特征，然后进行倒谱均值方差归一化计算，去除带噪特征与纯净特征之间的偏差，降低信道影响，提升语音特征的鲁棒性；

S2.2单音素模型训练：训练单音素基础GMM-HMM模型，HMM模型为3状态HMM，迭代若干次，采用维特比方法按照realign_iters中规定好的次数进行数据对齐，使音频帧的特征和音素ID对齐，以备下一步骤使用；

S2.3三音素模型训练：以对齐后的单音素模型为输入，训练上下文相关的三音素GMM-HMM模型，迭代N次，采用维特比方法进行数据对齐，使音频帧的特征和音素ID对齐；

S2.4对步骤S2.3对齐后的数据利用基于特征空间的最大似然线性回归方法去除说话人差异对语音识别系统的影响，然后进行数据对齐，包括训练集和交叉验证集；

S2.5利用GMM-HMM，经过S2.1到S2.4的步骤后，已经得到了一个音频帧的特征到音素ID的映射对data+label，将该数据输入深度神经网络DNN进行训练，该DNN含4个隐层，每个隐层若干个节点，输出层若干个节点，使用交叉熵规则训练，优化准则为随机梯度下降，最小批次设置为256，初始学习率设置为0.008；

S3.基于循环神经网络语言模型和深度神经网络声学模型的中文语音识别方法的解码器采用维特比搜索方案：

S3.1基于加权有限状态转换器构建解码空间：将HMM模型(H)、三音素模型(C)、词典(L)和语言模型(G)四个模型转换成WFST形式，然后依次进行WFST网络的合并和压缩，从而得到完整的语音识别静态搜索空间，这四个模型相当于四个串联的子系统，前一子系统的输出作为下一子系统的输入，使用HMM的状态序列作为这个WFST的输入时，WFST系统将输出词序列及其得分；

S3.2提取特征：对待识别语音提取40维Fbank特征；

S3.3局部似然：计算观察矢量在词模型所有状态下的概率；

S3.4词内解码：在前向搜索中完成Viterbi解码；

S3.5语法级解码：根据WFST网络的词法限制在每个语法节点进行路径合并；

S3.6回溯：解码出最佳侯选词序列。

2.根据权利要求1所述基于循环神经网络语言模型和深度神经网络声学模型的中文语音识别方法，其特征在于，步骤S1.5中，将输入层节点数和输出层节点数设置为个，最后一层隐层到输出层的具体操作是：

根据词频将V个词分成组，先通过次判断，看下一个词属于哪个组，再组内遍历查找，判断其为组内哪个元素，计算复杂度为

3.根据权利要求1所述基于循环神经网络语言模型和深度神经网络声学模型的中文语音识别方法，其特征在于，步骤S1.5中，隐层节点数和隐层数视计算机计算能力而定，隐层节点设置数十个，隐层节点数越多，性能越好，所需的计算量也更大。

4.根据权利要求1所述基于循环神经网络语言模型和深度神经网络声学模型的中文语音识别方法，其特征在于，步骤S2.2中，realign_iters＝"1 2 3 4 5 6 7 8 9 10 12 1416 18 20 23 26 29 32 35 38"。

5.根据权利要求1所述基于循环神经网络语言模型和深度神经网络声学模型的中文语音识别方法，其特征在于，步骤S2.5中，音频帧的特征到音素ID的映射中使用到了发音词典，该发音词典中记录了汉语字词和他们的发音的对应关系，发音按“声母韵母+声调”的形式标注，声韵母加声调也是本套语音识别方案的识别基元。

6.根据权利要求1所述基于循环神经网络语言模型和深度神经网络声学模型的中文语音识别方法，其特征在于，步骤S3.4到S3.6中，采用维特比解码步骤伪代码如下：

a)初始化：设D(t；st；w)表示第t帧到达词w的状态s_t的最优路径得分，H(t；s_t；w)表示第t帧到达词w的状态s_t的回溯指针，对于所有可能是句子开始的语法词的状态w，令

D(0；I(w)；w)＝0，H(0；I(w)；w)＝null

b)循环：

对帧t＝1到t＝T循环

对所有活动节点

在词内转移执行：

H(t；s_t；w)＝H(t-1；b_min(t；s_t；w)；w)

对所有活动词的终止状态，执行词间转移：

H(t；η；w)＝＜v_min,t＞::H(t；F(v_min)；v_min)

If D(t；η；w)＜D(t；I(w)；w)：

D(t；I(w)；w)＝D(t；η；w)；H(t；I(w)；w)＝H(t；η；w)

剪枝：找到最优路径并设置阈值，剪掉没有意义的路径

c)终止：在T时刻选出所有可能终止状态中最好的路径，并对H(t；η；w)回溯；

其中，

d(o_t,s_t|s_t-1；w)＝-logP(s_t|s_t-1；w)-logP(o_t|s_t；w)

F(v)表示词的终止状态，η表示伪起始状态，::表示增加一个链接操作，P则是由RNN语言模型提供的后验概率，即出现前面几个词的情况下，下一个词为某个词的概率。