CN101645270A - 一种双向语音识别处理系统及方法 - Google Patents

Abstract

本发明涉及一种双向语音识别处理系统及方法，该系统包括：特征提取器、前向语音识别器、后向语音识别器、识别结果反向器及识别结果融合器。该系统及方法，其框架是基于同一知识源的双向语音识别解码完成，在前后双向的语音识别过程中分别得到相应的语音请求识别文本，将不同解码方向的语音请求识别结果融合处理得到语音搜索系统前端的文本请求。本发明的双向语音识别解码系统及方法，在已有的有限的知识源下，通过对双向解码结果的融合，得到更为精确的识别文本；与以往的正向解码方法相比，该方法在有效提高语音识别率的同时，也使语音搜索系统的搜索结果更为准确有效。

Description

一种双向语音识别处理系统及方法

技术领域

本发明涉及语音搜索系统领域，特别涉及一种语音识别处理系统及方法。

背景技术

当今世界正处在信息爆炸的时代，信息正在以指数级的速度增长。互联网技术的不断发展以及高效的文本搜索引擎的出现，像谷歌，百度提供的搜索服务让人们能在最短的时间获得自己最需要的信息。在没有键盘，手写板等文本输入手段的情况下，为了能更方便的向人们提供信息查询服务，语音搜索系统使人们能够仅通过语音输入进行信息请求服务就可得到需要查询的信息。

现有技术中语音搜索系统的主要框架如图1所示，影响语音搜索系统性能的主要技术是前端的语音识别技术和其后的自然语言理解技术。在语音搜索系统中，语音识别器位于其最前端，语音识别技术的好坏将直接影响到后面的各个模块的性能，最终将影响到整个语音搜索系统的性能。所以有效的提高系统中前端的语音识别器性能将能大幅提高语音搜索技术的性能。

在传统的语音识别技术中，多个语音识别器融合的方法通常都能提高语音识别的性能。以往的多识别器系统融合的方法基本都可以归为具有不同知识源的语音识别器的融合，不同的语音识别器通常具有不同的特征信息，声学层建模信息以及语言层的建模信息。而语音识别器的识别错误通常是由模型误差和解码误差产生，多知识源的语音识别器融合方法可以一定程度上减少模型误差，但基于多知识源的语音识别器的搭建需要的周期较长，需要的资源较多。

发明内容

为了克服上述现有技术的不足，本发明提供一种应用于语音搜索系统的双向语音识别处理系统及方法。本发明的目的是在有限的语音识别知识源的情况下，利用双向语音识别器的方法，通过有效提高语音搜索系统的前端的语音识别性能，从而进一步提高整个语音搜索系统的搜索准确率。

为了实现上述目的，本发明提供了一种双向语音识别处理系统，包括：

一特征提取器，用于从前向后顺序地提取用户输入的语音信号的特征信息，并将该语音信号的特征信息逐帧送入前向语音识别器与后向语音识别器。

一前向语音识别器，用于根据前向语音模型将语音信号的特征信息逐帧进行解码，得到前向识别文本和前向识别词图，并将该前向识别文本和前向识别词图送入识别结果融合器。

一后向语音识别器，用于根据后向语音模型将语音信号的特征信息逐帧进行解码，得到逆向识别文本和逆向识别词图，并将该逆向识别文本和逆向识别词图送入识别结果反向器。

一识别结果反向器，用于将输入的逆向识别文本和逆向识别词图进行倒序排列，得到后向识别文本和后向识别词图，并将该后向识别文本和后向识别词图送入识别结果融合器。及

一识别结果融合器，用于将输入的前向识别文本与后向识别文本进行融合，将前向识别词图与后向识别词图进行融合，最终得到用户输入语音信号的识别文本信息。

其中，所述前向语音识别器包括：前向声学模型，前向语言模型，前向发音词典及前向解码搜索空间。

所述前向声学模型采用基于隐含马尔科夫模型的框架。

所述前向语言模型采用基于3元文法的统计模型。

所述前向发音词典由语言学家归纳得到。

所述前向解码搜索空间通过前向发音字典、前向声学模型及前向语言模型构建得到。

其中，所述后向语音识别器包括：后向声学模型，后向语言模型，后向发音词典及后向解码搜索空间。

所述后向声学模型是将前向声学模型后向转换得到：首先，先将三音子进行逆序查找转换，如ing1(left)-j+ei3(right)转换为ei2(left)-j+ing3(right)；然后对转换后的三音子查找出基于隐含马尔科夫声学模型对应的隐含状态序列S₁ S₂ S₃，最后构造出后向声学模型的隐含状态序列S′₁ S′₂S′₃，该隐含状态序列满足以下公式：

对于观察概率满足：

P(O/S′₁)＝P(O/S₃)，P(O/S′₂)＝P(O/S₂)，P(O/S′₃)＝P(O/S₁)。

对于转移概率满足：

$T_{S_1^{\′}{S}_1^{\′}}=T_{S_3{S}_3},$ $T_{S_2^{\′}{S}_2^{\′}}=T_{S_2{S}_2},$ $T_{S_3^{\′}{S}_3^{\′}}=T_{S_1{S}_1},$ $T_{S_1^{\′}{S}_2^{\′}}=T_{S_2{S}_3},$ $T_{S_2^{\′}{S}_3^{\′}}=T_{S_1{S}_2}.$

所述后向语言模型是将前向语言模型的文本语料倒序后按相同的方法训练得到。如：语料(W₁，W₂…W_n)转换为(W_n，W_n-1…W₁)。

所述后向发音词典是将所述前向发音词典中的词条的发音逆序排列得到。(北京bei3jing1)转换为(北京ing1j ei3b)。

所述后向解码搜索空间通过后向发音字典、后向声学模型及后向语言模型构建得到。

其中，所述识别结果融合器对前向识别文本与后向识别文本进行融合的过程如下：

首先分别对前向识别文本w₁w₂…w_n和后向识别文本w₁w₂…w_n-1计算混淆度，公式如下： ${\mathrm{Perplexity}}_{\mathrm{forward}}={\[\underset{i=1}{\overset{n}{\mathrm{\Π}}}P\left(w_i\right|w_{1:i-1})\]}^{-\frac{1}{n}};$

${\mathrm{Perplexity}}_{\mathrm{backward}}={\[\underset{i=1}{\overset{n}{\mathrm{\Π}}}P\left(w_i^{\′}\right|w_{1:i-1}^{\′})\]}^{-\frac{1}{n}};$

然后取混淆度小的识别文本作为最后识别文本结果，公式如下：

$R=\left\{\begin{array}{c}{w}_1{w}_2\&CenterDot;\&CenterDot;\&CenterDot;w_n({\mathrm{Perplexity}}_{\mathrm{forward}}<={\mathrm{Perplexity}}_{\mathrm{backward}})\\ w_1^{\&prime;}{w}_2^{\&prime;}\&CenterDot;\&CenterDot;\&CenterDot;w_n^{\&prime;}({\mathrm{Perplexity}}_{\mathrm{forward}}>{\mathrm{Perplexity}}_{\mathrm{backward}})\end{array}\right..$

其中，所述识别结果融合器对前向识别词图与后向识别词图进行融合的过程如下：

首先使用大于前后向语音识别器中的语言模型权重对前后向词图进行重新打分，分别选取前后向词图中打分最高的两条路径：

S_forward(s₁s₂…s_n)和S_backward(s′_ns′_n-1…s′₁)

使用公式如下：

$S_{\mathrm{forward}}=\underset{i}{\arg \max }(\mathrm{LM}\left(S_{\mathrm{forward},i}\right)\&times;\mathrm{Scale}+\mathrm{AM}\left(S_{\mathrm{forward},i}\right))$

$S_{\mathrm{backward}}=\underset{i}{\arg \max }(\mathrm{LM}\left(S_{\mathrm{backward},i}\right)\&times;\mathrm{Scale}+\mathrm{AM}\left(S_{\mathrm{backward},i}\right))$

利用前向识别词图得到修正的前向识别文本：s₁s₂…s_n

利用后向识别词图得到修正的后向识别文本：s′₁s′₂…s′_n

分别计算修正的前后向识别文本的混淆度，公式如下：

${\mathrm{Perplexity}}_{\mathrm{forward}}={\&lsqb;\underset{i=1}{\overset{n}{\mathrm{\&Pi;}}}P\left(s_i\right|s_{1:i-1})\&rsqb;}^{-\frac{1}{n}}$

${\mathrm{Perplexity}}_{\mathrm{backward}}={\&lsqb;\underset{i=1}{\overset{n}{\mathrm{\&Pi;}}}P\left(s_i^{\&prime;}\right|s_{1:i-1}^{\&prime;})\&rsqb;}^{-\frac{1}{n}}$

然后取混淆度小的修正的识别文本作为最后识别文本结果，公式如下：

$R=\left\{\begin{array}{c}{s}_1{s}_2\&CenterDot;\&CenterDot;\&CenterDot;s_n({\mathrm{Perplexity}}_{\mathrm{forward}}<={\mathrm{Perplexity}}_{\mathrm{backward}})\\ s_1^{\&prime;}{s}_2^{\&prime;}\&CenterDot;\&CenterDot;\&CenterDot;s_n^{\&prime;}({\mathrm{Perplexity}}_{\mathrm{forward}}>{\mathrm{Perplexity}}_{\mathrm{backward}})\end{array}\right..$

本发明还提供了一种双向语音识别处理方法，包括以下步骤：

(1)利用有限知识源搭建前向语音识别器，包括声学模型，语言模型，发音词典，解码搜索空间。

(2)利用有限知识源以及步骤(1)中搭建好的前向语音识别器的资源，搭建后向语音识别器。

(3)特征提取器从前向后顺序地提取用户输入的语音信号的特征信息O₁，O₂…O_t，并将该语音信号的特征信息O₁，O₂…O_t逐帧送入前向语音识别器与后向语音识别器。

(4)前向语音识别器根据前向语音模型将语音信号的特征信息O₁，O₂…O_t逐帧进行解码，得到前向识别文本(w₁w₂…w_n)和前向识别词图，并将该前向识别文本和前向识别词图送入识别结果融合器。

(5)后向语音识别器根据后向语音模型将语音信号的特征信息O₁，O₂…O_t逐帧进行解码，得到逆向识别文本(w′_nw′_n-1…w′₁)和逆向识别词图，并将该逆向识别文本和逆向识别词图送入识别结果反向器。

(6)识别结果反向器将输入的逆向识别文本和逆向识别词图进行倒序排列，得到后向识别文本(w′₁w′₂…w′_n)和后向识别词图，并将该后向识别文本和后向识别词图送入识别结果融合器。

(7)识别结果融合器将输入的前向识别文本与后向识别文本进行融合，将前向识别词图与后向识别词图进行融合，最终得到用户输入语音信号的识别文本信息。

其中，所述步骤(4)和步骤(5)是相互独立的，两者没有先后次序。

本发明的优点在于：

1、本发明提供的双向语音识别处理系统及方法，在已有的有限的知识源下，通过双向解码结果的融合，得到更为精确的识别文本。

2、本发明的双向语音识别解码方法，与以往的正向解码方法相比，该系统及方法在有效提高语音识别率的同时，也使语音搜索系统的搜索结果更为准确有效。

附图说明

图1为现有技术语音搜索系统的主要框架图；

图2为本发明双向语音识别系统构建框图；

图3为本发明双向语音识别系统结构框图；

图4为本发明双向语音识别方法流程图；

图5为本发明实施例前向识别词图结构；

图6为本发明实施例逆向识别词图结构；

图7为本发明实施例后向识别词图结构。

具体实施方式

下面结合具体实施例和附图对本发明进行详细描述。

本实施例根据图2的双向语音识别系统构建框图，提供了一种双向语音识别处理系统，包括：(如图3)

一特征提取器，用于从前向后顺序地提取用户输入的语音信号的特征信息，并将该语音信号的特征信息逐帧送入前向语音识别器与后向语音识别器。

一前向语音识别器，用于根据前向语音模型将语音信号的特征信息逐帧进行解码，得到前向识别文本和前向识别词图，并将该前向识别文本和前向识别词图送入识别结果融合器。

一后向语音识别器，用于根据后向语音模型将语音信号的特征信息逐帧进行解码，得到逆向识别文本和逆向识别词图，并将该逆向识别文本和逆向识别词图送入识别结果反向器。

一识别结果反向器，用于将输入的逆向识别文本和逆向识别词图进行倒序排列，得到后向识别文本和后向识别词图，并将该后向识别文本和后向识别词图送入识别结果融合器。及

一识别结果融合器，用于将输入的前向识别文本与后向识别文本进行融合，将前向识别词图与后向识别词图进行融合，最终得到用户输入语音信号的识别文本信息。

本实施例采用的双向语音识别处理系统的处理方法，如图4所示，包括以下步骤：

(1)利用有限知识源搭建前向语音识别器，包括声学模型，语言模型，发音词典，解码搜索空间。其中声学模型训练采用基于隐含马尔科夫模型(HMM)的框架，语言模型采用基于3元文法的统计模型，发音词典由语言学家归纳得到，通过发音字典以及声学模型，语言模型可以构建解码搜索空间。

(2)利用有限知识源以及步骤(1)中搭建好的前向语音识别器的资源，搭建后向语音识别器。首先发音词典需要倒序，即将步骤(1)中的词典中词条的发音逆序排列，如：(北京bei3j ing1)转换为(北京ing1j ei3b)；其次是声学模型的后向转换，先将三音子(triphone)进行逆序查找，如：ing1(left)-j+ei3(right)转换为ei2(left)-j+ing3(right)；接着对转换后的triphone查找出步骤(1)中的HMM声学模型对应的隐含状态序列S₁S₂S₃，接着构造出后向声学模型的隐含状态序列S′₁S′₂S′₃使其满足以下公式：

对于观察概率：

P(O/S′₁)＝P(O/S₃)，P(O/S′₂)＝P(O/S₂)，P(O/S′₃)＝P(O/S₁)

对于转移概率：

$T_{S_1^{\&prime;}{S}_1^{\&prime;}}=T_{S_3{S}_3},$ $T_{S_2^{\&prime;}{S}_2^{\&prime;}}=T_{S_2{S}_2},$ $T_{S_3^{\&prime;}{S}_3^{\&prime;}}=T_{S_1{S}_1},$ $T_{S_1^{\&prime;}{S}_2^{\&prime;}}=T_{S_2{S}_3},$ $T_{S_2^{\&prime;}{S}_3^{\&prime;}}=T_{S_1{S}_2}$

然后是语言模型的后向转换，只需要将步骤(1)中的训练语言模型的文本语料倒序后按相同的方法训练即可，如：语料(W₁，W₂…W_n)转换为(W_n，W_n-1…W₁)；最后将后向转换过的发音词典以及声学模型，语言模型按1)中相同的方法重新构建出后向搜索空间。

(3)顺序从前向后提取用户输入语音信号的特征信息O₁，O₂…O_t。

(4)将步骤(3)中提取的用户输入语音信号的特征信息，按从前往后并顺序O₁，O₂…O_t送入前向语音识别器逐帧进行解码，解码完最后一帧数据得到前向识别文本(w₁w₂…w_n)和前向识别词图(lattice)，如图5。

(5)将步骤(3)中提取的用户输入语音信号的特征信息，按从后往前逆序O_t，O_t-1…O₁送入后向语音识别器逐帧进行解码，解码完最后一帧数据得到逆向识别文本(w′_nw′_n-1…w′₁)和逆向识别词图(lattice)，如图6。

(6)完成步骤(5)后，将步骤(5)中得到的逆向识别文本和逆向识别词图(lattice)进行倒序排列，得到后向识别文本(w′₁w′₂…w′_n)和后向识别词图(lattice)，如图7。

(7)完成步骤(4)和步骤(6)后，利用步骤(1)中得的语言模型信息，对步骤4)和步骤(6)中分别得到的识别文本和识别词图进行融合，最后得到用户输入语音信号的识别文本作为语音搜索系统的后端文本输入；对于识别文本的融合采用如下方法，根据步骤(1)中得到的语言模型，分别对步骤(4)中的前向识别文本w₁w₂…w_n和步骤(6)中的后向识别文本w′_nw′_n-1…w′₁计算混淆度，公式如下：

${\mathrm{Perplexity}}_{\mathrm{forward}}={\&lsqb;\underset{i=1}{\overset{n}{\mathrm{\&Pi;}}}P\left(w_i\right|w_{1:i-1})\&rsqb;}^{-\frac{1}{n}}---\left(1\right)$

${\mathrm{Perplexity}}_{\mathrm{backward}}={\&lsqb;\underset{i=1}{\overset{n}{\mathrm{\&Pi;}}}P\left(w_i^{\&prime;}\right|w_{1:i-1}^{\&prime;})\&rsqb;}^{-\frac{1}{n}}---\left(2\right)$

然后我们取混淆度小的识别文本作为最后识别结果。

识别结果为：

$R=\left\{\begin{array}{c}{w}_1{w}_2\&CenterDot;\&CenterDot;\&CenterDot;w_n({\mathrm{Perplexity}}_{\mathrm{forward}}<={\mathrm{Perplexity}}_{\mathrm{backward}})\\ w_1^{\&prime;}{w}_2^{\&prime;}\&CenterDot;\&CenterDot;\&CenterDot;w_n^{\&prime;}({\mathrm{Perplexity}}_{\mathrm{forward}}>{\mathrm{Perplexity}}_{\mathrm{backward}})\end{array}\right.---\left(3\right)$

对于识别词图的融合，我们先使用更大的语言模型权重对前后向词图进行重新打分，得到修正的前后向识别文本，然后同样通过公式(1)，(2)，(3)选择混淆度小的修正的识别文本作为最后的识别文本。

Claims (10)

1、一种双向语音识别处理系统，其特征在于，所述语音识别处理系统包括：

一特征提取器，用于从前向后顺序地提取用户输入的语音信号的特征信息，并将该语音信号的特征信息逐帧送入前向语音识别器与后向语音识别器；

一前向语音识别器，用于根据前向语音模型将语音信号的特征信息逐帧进行解码，得到前向识别文本和前向识别词图，并将该前向识别文本和前向识别词图送入识别结果融合器；

一后向语音识别器，用于根据后向语音模型将语音信号的特征信息逐帧进行解码，得到逆向识别文本和逆向识别词图，并将该逆向识别文本和逆向识别词图送入识别结果反向器；

一识别结果反向器，用于将输入的逆向识别文本和逆向识别词图进行倒序排列，得到后向识别文本和后向识别词图，并将该后向识别文本和后向识别词图送入识别结果融合器；及

一识别结果融合器，用于将输入的前向识别文本与后向识别文本进行融合，前向识别词图与后向识别词图进行融合，最终得到用户输入语音信号的识别文本信息。

2、根据权利要求1所述的双向语音识别处理系统，其特征在于，所述前向语音识别器包括：前向声学模型，前向语言模型，前向发音词典及前向解码搜索空间；

所述前向声学模型采用基于隐含马尔科夫模型的框架；

所述前向语言模型采用基于3元文法的统计模型；

所述前向发音词典由语言学家归纳得到；

所述前向解码搜索空间通过前向发音字典、前向声学模型及前向语言模型构建得到。

3、根据权利要求1所述的双向语音识别处理系统，其特征在于，所述后向语音识别器包括：后向声学模型，后向语言模型，后向发音词典及后向解码搜索空间；

所述后向声学模型是将前向声学模型后向转换得到：首先，先将三音子进行逆序查找转换，然后对转换后的三音子查找出基于隐含马尔科夫声学模型对应的隐含状态序列S₁S₂S₃，最后构造出后向声学模型的隐含状态序列S′₁S′₂S′₃，该后向声学模型的隐含状态序列满足以下公式：

对于观察概率满足：

P(O/S′₁)＝P(O/S₃)，P(O/S′₂)＝P(O/S₂)，P(O/S′₃)＝P(O/S₁)；

对于转移概率满足：

$T_{S_1^{\&prime;}{S}_1^{\&prime;}}=T_{S_{.3}{S}_3},$ $T_{S_2^{\&prime;}{S}_2^{\&prime;}}=T_{S_2{S}_2},$ $T_{S_3^{\&prime;}{S}_3^{\&prime;}}=T_{S_1{S}_1,}$ $T_{S_1^{\&prime;}{S}_2^{\&prime;}}=T_{S_2{S}_3,}$ $T_{S_2^{\&prime;}{S}_3^{\&prime;}}=T_{S_1{S}_2;}$

所述后向语言模型是将前向语言模型的文本语料倒序后按相同的方法训练得到；

所述后向发音词典是将所述前向发音词典中的词条的发音逆序排列得到；

所述后向解码搜索空间通过后向发音字典、后向声学模型及后向语言模型构建得到。

4、根据权利要求1所述的双向语音识别处理系统，其特征在于，所述识别结果融合器对前向识别文本与后向识别文本进行融合的过程如下：

首先分别对前向识别文本w₁w₂…w_n和后向识别文本w′₁w′₂…w′_n-1计算混淆度，公式如下：

$\mathrm{Perplexit}{y}_{\mathrm{forward}}={\left[\underset{i=1}{\overset{n}{\mathrm{\&Pi;}}}P\left(w_i\right|w_{1:i-1})\right]}^{-\frac{1}{n}};$

${\mathrm{Perplexity}}_{\mathrm{backward}}={\left[\underset{i=1}{\overset{n}{\mathrm{\&Pi;}}}P\left(w_i^{\&prime;}\right|w_{1:i-1}^{\&prime;})\right]}^{-\frac{1}{n}};$

然后取混淆度小的识别文本作为最后识别文本结果，公式如下：

$R=\left\{\begin{array}{c}{w}_1{w}_2...w_n({\mathrm{Perplexity}}_{\mathrm{forward}}<={\mathrm{Perplexity}}_{\mathrm{backward}})\\ w_1^{\&prime;}{w}_2^{\&prime;}...w_n^{\&prime;}(\mathrm{Perplexit}{y}_{\mathrm{forward}}>{\mathrm{Perplexity}}_{\mathrm{backward}})\end{array}\right..$

5、根据权利要求1所述的双向语音识别处理系统，其特征在于，所述识别结果融合器对前向识别词图与后向识别词图进行融合的过程如下：

首先对前后向词图进行重新打分，分别选取前后向词图中打分最高的两条路径：S_fprward(s₁s₂…s_n)和S_backward(s′_ns′_n-1…s′₁)

使用公式如下：

$S_{\mathrm{forward}}=\underset{i}{\arg \max }(\mathrm{LM}\left(S_{\mathrm{forward},i}\right)\&times;\mathrm{Scale}+\mathrm{AM}\left(S_{\mathrm{forward},i}\right))$

$S_{\mathrm{backward}}=\underset{i}{\arg \max }(\mathrm{LM}\left(S_{\mathrm{backward},i}\right)\&times;\mathrm{Scale}+\mathrm{AM}\left(S_{\mathrm{backward},i}\right))$

利用前向识别词图得到修正的前向识别文本：s₁s₂…s_n

利用后向识别词图得到修正的后向识别文本：s′₁s′₂…s′_n

分别计算修正的前后向识别文本的混淆度，公式如下：

${\mathrm{Perplexity}}_{\mathrm{forward}}={\left[\underset{i=1}{\overset{n}{\mathrm{\&Pi;}}}P\left(s_i\right|s_{1:i-1})\right]}^{-\frac{1}{n}}$

${\mathrm{Perplexity}}_{\mathrm{backward}}={\left[\underset{i=1}{\overset{n}{\mathrm{\&Pi;}}}P\left(s_i^{\&prime;}\right|s_{1:i-1}^{\&prime;})\right]}^{-\frac{1}{n}}$

然后取混淆度小的修正的识别文本作为最后识别文本结果，公式如下：

$R=\left\{\begin{array}{c}{s}_1{s}_2...s_n({\mathrm{Perplexity}}_{\mathrm{forward}}<={\mathrm{Perplexity}}_{\mathrm{backward}})\\ s_1^{\&prime;}{s}_2^{\&prime;}...s_n^{\&prime;}(\mathrm{Perplexit}{y}_{\mathrm{forward}}>{\mathrm{Perplexity}}_{\mathrm{backward}})\end{array}\right..$

6、一种双向语音识别处理方法，该方法包括以下步骤：

(1)特征提取器从前向后顺序地提取用户输入的语音信号的特征信息，并将该语音信号的特征信息逐帧送入前向语音识别器与后向语音识别器；

(2)前向语音识别器根据前向语音模型将语音信号的特征信息逐帧进行解码，得到前向识别文本和前向识别词图，并将该前向识别文本和前向识别词图送入识别结果融合器；

(3)后向语音识别器根据后向语音模型将语音信号的特征信息逐帧进行解码，得到逆向识别文本和逆向识别词图，并将该逆向识别文本和逆向识别词图送入识别结果反向器；

(4)识别结果反向器将输入的逆向识别文本和逆向识别词图进行倒序排列，得到后向识别文本和后向识别词图，并将该后向识别文本和后向识别词图送入识别结果融合器；

(5)识别结果融合器将输入的前向识别文本与后向识别文本进行融合，将前向识别词图与后向识别词图进行融合，最终得到用户输入语音信号的识别文本信息。

7、根据权利要求6所述的双向语音识别处理方法，其特征在于，还包括一搭建前向语音识别器的步骤：

所述前向语音识别器包括：前向声学模型，前向语言模型，前向发音词典及前向解码搜索空间；

所述前向声学模型采用基于隐含马尔科夫模型的框架；

所述前向语言模型采用基于3元文法的统计模型；

所述前向发音词典由语言学家归纳得到；

所述前向解码搜索空间通过前向发音字典、前向声学模型及前向语言模型构建得到。

8、根据权利要求6所述的双向语音识别处理方法，其特征在于，还包括一利用所述前向语音识别器的资源搭建后向语音识别器的步骤：

所述后向语音识别器包括：后向声学模型，后向语言模型，后向发音词典及后向解码搜索空间；

所述后向声学模型是将前向声学模型后向转换得到：首先，先将三音子进行逆序查找转换，然后对转换后的三音子查找出基于隐含马尔科夫声学模型对应的隐含状态序列S₁S₂S₃，最后构造出后向声学模型的隐含状态序列S′₁S′₂S′₃，该后向声学模型的隐含状态序列满足以下公式：

对于观察概率满足：

P(O/S′₁)＝P(O/S₃)P(O/S′₂)＝P(O/S₂)，P(O/S′₃)＝P(O/S₁)；

对于转移概率满足：

$T_{S_1^{\&prime;}{S}_1^{\&prime;}}=T_{S_{.3}{S}_3},$ $T_{S_2^{\&prime;}{S}_2^{\&prime;}}=T_{S_2{S}_2},$ $T_{S_3^{\&prime;}{S}_3^{\&prime;}}=T_{S_1{S}_1,}$ $T_{S_1^{\&prime;}{S}_2^{\&prime;}}=T_{S_2{S}_3,}$ $T_{S_2^{\&prime;}{S}_3^{\&prime;}}=T_{S_1{S}_2;}$

所述后向语言模型是将前向语言模型的文本语料倒序后按相同的方法训练得到；

所述后向发音词典是将所述前向发音词典中的词条的发音逆序排列得到；

所述后向解码搜索空间通过后向发音字典、后向声学模型及后向语言模型构建得到。

9、根据权利要求6所述的双向语音识别处理系统，其特征在于，所述识别结果融合器对前向识别文本与后向识别文本进行融合的步骤包括：

首先分别对前向识别文本w₁w₂…w_n和后向识别文本w′₁w′₂…w′_n-1计算混淆度，公式如下：

$\mathrm{Perplexit}{y}_{\mathrm{forward}}={\left[\underset{i=1}{\overset{n}{\mathrm{\&Pi;}}}P\left(w_i\right|w_{1:i-1})\right]}^{-\frac{1}{n}};$

${\mathrm{Perplexity}}_{\mathrm{backward}}={\left[\underset{i=1}{\overset{n}{\mathrm{\&Pi;}}}P\left(w_i^{\&prime;}\right|w_{1:i-1}^{\&prime;})\right]}^{-\frac{1}{n}};$

然后取混淆度小的识别文本作为最后识别文本结果，公式如下：

$R=\left\{\begin{array}{c}{w}_1{w}_2...w_n({\mathrm{Perplexity}}_{\mathrm{forward}}<={\mathrm{Perplexity}}_{\mathrm{backward}})\\ w_1^{\&prime;}{w}_2^{\&prime;}...w_n^{\&prime;}(\mathrm{Perplexit}{y}_{\mathrm{forward}}>{\mathrm{Perplexity}}_{\mathrm{backward}})\end{array}\right..$

10、根据权利要求6所述的双向语音识别处理方法，其特征在于，所述识别结果融合器对前向识别词图与后向识别词图进行融合的步骤包括：

首先对前后向词图进行重新打分，分别选取前后向词图中打分最高的两条路径：

S_forward(s₁s₂…s_n)和S_backward(s′_ns′_n-1…s′₁)

使用公式如下：

$S_{\mathrm{forward}}=\underset{i}{\arg \max }(\mathrm{LM}\left(S_{\mathrm{forward},i}\right)\&times;\mathrm{Scale}+\mathrm{AM}\left(S_{\mathrm{forward},i}\right))$

$S_{\mathrm{backward}}=\underset{i}{\arg \max }(\mathrm{LM}\left(S_{\mathrm{backward},i}\right)\&times;\mathrm{Scale}+\mathrm{AM}\left(S_{\mathrm{backward},i}\right))$

利用前向识别词图得到修正的前向识别文本：s₁s₂…s_n

利用后向识别词图得到修正的后向识别文本：s′₁s′₂…s′_n

分别计算修正的前后向识别文本的混淆度，公式如下：

${\mathrm{Perplexity}}_{\mathrm{forward}}={\left[\underset{i=1}{\overset{n}{\mathrm{\&Pi;}}}P\left(s_i\right|s_{1:i-1})\right]}^{-\frac{1}{n}}$

${\mathrm{Perplexity}}_{\mathrm{backward}}={\left[\underset{i=1}{\overset{n}{\mathrm{\&Pi;}}}P\left(s_i^{\&prime;}\right|s_{1:i-1}^{\&prime;})\right]}^{-\frac{1}{n}}$

然后取混淆度小的修正的识别文本作为最后识别文本结果，公式如下：

$R=\left\{\begin{array}{c}{s}_1{s}_2...s_n({\mathrm{Perplexity}}_{\mathrm{forward}}<={\mathrm{Perplexity}}_{\mathrm{backward}})\\ s_1^{\&prime;}{s}_2^{\&prime;}...s_n^{\&prime;}(\mathrm{Perplexit}{y}_{\mathrm{forward}}>{\mathrm{Perplexity}}_{\mathrm{backward}})\end{array}\right..$

Images