CN105355198A - 一种基于多重自适应的模型补偿语音识别方法 - Google Patents

Abstract

本发明公开一种基于多重自适应的模型补偿语音识别方法，首先对训练环境下预先训练的纯净语音声学模型的参数进行变换，得到与实际测试环境较为匹配的含噪语音声学模型；然后将首次自适应得到的含噪语音声学模型作为新的基环境声学模型，构建其对应的含噪语音与实际环境含噪测试语音之间的变换关系，对基环境声学模型再次进行模型自适应，包括正向自适应和负向自适应；最后比较正向自适应和负向自适应的输出似然值，取似然值较大的含噪语音声学模型作为该次模型自适应的结果。本发明可以进一步提高模型自适应的精度，得到与实际测试环境更加匹配的含噪语音声学模型。

Description

一种基于多重自适应的模型补偿语音识别方法

技术领域

本发明涉及到一种基于多重自适应的模型补偿语音识别方法，用矢量泰勒级数逼近基环境与目标环境之间的非线性环境变换关系，根据从测试语音中估得的环境偏差参数，更新声学模型的均值和方差，将每次自适应的结果作为基环境声学模型，再次进行模型自适应，通过多次模型自适应逼近非线性环境变换关系的多重模型自适应方法；属于语音识别技术领域。

背景技术

在实际应用中，加性背景噪声是导致测试环境与训练环境不匹配的重要因素，而且环境噪声通常是难以避免地，一个在实验室安静环境下精度很高的语音识别系统在噪声环境中识别性能会严重下降，甚至完全不能工作。因此，语音识别系统必须带有噪声补偿模块，以提高实际应用能力。模型自适应是一种有效的环境补偿方法，它根据测试环境下的少量自适应语音，对预先训练的声学模型的参数进行调整，使之与当前测试环境相匹配，从而减小环境失配的影响。

目前的语音识别系统多数以美尔频率倒谱系数(MFCC：Melfrequencycepstralcoefficient)为特征参数，以隐马尔可夫模型(HMM：HiddenMarkovModel)为声学模型。由于在MFCC的提取过程中存在取对数操作，因而在纯净语音和含噪语音的倒谱特征参数之间存在非线性变换关系。为了从含噪语音中得到噪声参数的闭式解，一般用矢量泰勒级数(VTS：VectorTaylorSeries)逼近这种非线性变换关系，对声学模型的参数进行自适应调整。在低信噪比等恶劣应用环境下，由于纯净训练环境与含噪测试环境之间的差异较大，线性泰勒级数展开式就难以很好地逼近实际非线性变换关系，因此模型自适应得到的含噪语音声学模型与用大量含噪测试语音直接训练得到的理想声学模型之间存在较大的差异。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种基于多重自适应的模型补偿语音识别方法，该方法将每次模型自适应的结果作为新的基环境声学模型，构建其与测试环境理想声学模型之间的变换关系，对其参数再次进行自适应调整，通过多次自适应来减小用线性展开式替代非线性变换关系带来的误差，提高模型自适应的精度。

基环境与目标环境之间的差异越小，用线性级数展开式逼近非线性变换的误差就越小。因此将模型自适应后的声学模型看作新的基环境声学模型，它与理想声学模型之间的差异远远小于纯净语音声学模型与理想声学模型之间的差异。由于新的基环境声学模型与理想声学模型都对应着含噪测试语音，因而用噪声偏差构建它们之间的变换关系，对该基环境声学模型再次进行模型自适应，可以减小用线性级数展开式替代非线性关系带来的误差，进一步提高模型自适应的精度。

技术方案：一种基于多重自适应的模型补偿语音识别方法，主要包括首次自适应、第2次自适应和后续自适应等模块，在第2次自适应和后续的每次自适应中都包括正向自适应、负向自适应和似然值比较三个子模块，下面具体说明其内容。

(1)首次自适应：首次自适应就是传统的模型自适应过程，用矢量泰勒级数逼近含噪测试语音与纯净训练语音之间的非线性变换关系，从含噪测试语音中估计噪声参数，对预先训练的纯净语音声学模型的参数进行变换，得到与实际测试环境较为匹配的含噪语音声学模型。

(2)第2次自适应：将首次自适应得到的自适应声学模型作为新的基环境声学模型，用噪声偏差构建其与测试环境理想声学模型之间的变换关系，再次进行模型自适应；由于实际含噪测试语音与基环境声学模型对应的含噪测试语音在线性谱域的偏差存在正负两种情况，因此第2次自适应及后续的每次自适应都需要通过正向和负向两次自适应来实现。

(3)正向自适应：在正向自适应中，假设实际含噪测试语音的线性谱特征与基环境声学模型对应的含噪语音的线性谱特征之间的差值为正值，构建两种含噪环境之间的变换关系，调整基环境声学模型的参数，得到含噪语音声学模型及似然值。

(4)负向自适应：在负向自适应中，假设实际含噪测试语音的线性谱特征与基环境声学模型对应的含噪语音的线性谱特征之间的差值为负值，构建两种含噪环境之间的变换关系，调整基环境声学模型的参数，得到含噪语音声学模型及似然值。

(5)似然值比较：正向自适应和负向自适应得到的声学模型中只有一个是正确的结果，取输出似然值较大的含噪语音声学模型作为模型自适应的结果。

(6)后续自适应：如果要进一步提高模型自适应的精度，可以将第2次自适应的结果作为新的基声学模型，再次进行模型自适应；考虑到模型自适应的计算量较大，且多重自适应的收敛性较好，后续自适应的次数不宜过多，通用有1到2次即可。

用两种含噪语音噪声的偏差构建非线性环境变换关系，再用矢量泰勒级数从含噪测试语音中估计噪声偏差的均值和方差，根据估得的偏差参数调整基环境声学模型的均值和方差，使之与实际测试环境更加匹配。

附图说明

图1为基于多重自适应的模型补偿语音识别系统总体框架图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，基于多重自适应的模型补偿语音识别方法包括首次自适应、第2次自适应和后续自适应等模块。在第2次自适应和后续的每次自适应中都包括正向自适应、负向自适应和似然值比较三个子模块。下面具体说明其内容。

1、首次自适应

首次自适应就是传统模型自适应过程，其目的是将训练阶段预先训练的纯净语音声学模型转换为含噪语音声学模型，用于模型自适应的噪声参数利用最大期望(EM：Expectation-Maximization)算法从含噪语音中估计。设语音识别系统以HMM为每个基本语音单元的声学模型，以MFCC为特征参数。对第k个HMM的第i个状态的第m个高斯单元，含噪语音的均值向量μ_y，kim和协方差矩阵可以分别表示为：

${\mathrm{\μ}}_{y,kim}=U_{kim}{\mathrm{\μ}}_n-U_{kim}{\mathrm{\μ}}_{n0}+Clog\left(\exp \right(C^{-1}{\mathrm{\μ}}_{x{,}_{kim}})+\exp (C^{-1}{\mathrm{\μ}}_{n0}\left)\right)---\left(1\right)$

${\mathrm{\Σ}}_{y{,}_{kim}}=(I-U_{kim}){\mathrm{\Σ}}_{x{,}_{kim}}{(I-U_{kim})}^T+U_{kim}{\mathrm{\Σ}}_n{U_{kim}}^T---\left(2\right)$

其中，和分别表示纯净语音的均值向量和协方差矩阵；μ_n、μ_n0和Σ_n分别表示加性噪声的均值向量、初始均值向量和协方差矩阵；C和C^-1分别表示离散余弦变换(DCT：DiscreteCosineTransform)矩阵及其逆矩阵；I表示单位矩阵；U_kim由下式给出：

$U_{kim}=Cdiag\left(\frac{\exp \left(C^{-1}{\mathrm{\μ}}_{n0}\right)}{\exp \left(C^{-1}{\mathrm{\μ}}_{x,kim}\right)+\exp \left(C^{-1}{\mathrm{\μ}}_{n0}\right)}\right)C^{-1}---\left(3\right)$

式(3)中diag()表示以括号中向量的元素为对角元素生成对角矩阵。

噪声均值μ_n的估计公式为：

$\begin{array}{c}{\mathrm{\μ}}_n={\[\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_{kim}\left(t\right)U_{kim}^T{\mathrm{\Σ}}_{y,kim}^{-1}{U}_{kim}\]}^{-1}\\ \[\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_{kim}\left(t\right)U_{kim}^T{\mathrm{\Σ}}_{y,kim}^{-1}(y_t-C\log (\exp \left(C^{-1}{\mathrm{\μ}}_{x,kim}\right)+\exp \left(C^{-1}{\mathrm{\μ}}_{n0}\right))+U_{kim}{\mathrm{\μ}}_{n0})\]\end{array}---\left(4\right)$

其中，γ_kim(t)＝P(θ_t＝i,δ_t＝m|Y,λ_k)，表示给定观测向量序列Y＝{y₁,…,y_t,…,y_T}和第k个HMM的先验参数集λ_k的条件下，第t帧向量属于该HMM第i个状态的第m个高斯单元的后验概率。

噪声方差Σ_n的估计公式为：

$\begin{array}{c}{\mathrm{\σ}}_n={\[\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_{kim}\left(t\right)G_{kim}(U_{kim}\·*U_{kim})\]}^{-1}\\ \[\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_{kim}\left(t\right)G_{kim}\left(\right(y_t-{\mathrm{\μ}}_{y,kim})\·*(y_t-{\mathrm{\μ}}_{y,kim})-(V_{kim}\·*V_{kim}){\mathrm{\σ}}_{x,kim}\]\end{array}---\left(5\right)$

其中，σ_y,m、σ_x,m、σ_n是分别用Σ_y,m、Σ_x,m、Σ_n的对角元素生成的方差向量；V_m＝I-U_m；操作符.*表示矩阵的点乘运算，即两个相同维数的矩阵的对应元素相乘；加权因子G_kim的表达式如下：

$G_{kim}=(U_{kim}^T\·*U_{kim}^T)diag\[{\left(\right(V_{kim}\·*V_{kim}){\mathrm{\σ}}_{x,kim}+(U_{kim}\·*U_{kim}\left){\mathrm{\σ}}_{n0}\right)}^{-2}\]---\left(6\right)$

2、第2次自适应

通过首次自适应得到的含噪语音声学模型已与实际环境下的理想声学模型较为接近，但是由于纯净训练语音与含噪测试语音的差异较大，线性级数展开式(1)和(2)不能很好地反应实际非线性环境变换关系，因此首次自适应得到的含噪语音声学模型与理想声学模型仍有一定偏差。在非线性变换关系中，因变量与自变量之间的差异越小，线性近似就越接近于非线性变换，因此只要对首次自适应的结果再次进行模型自适应，就可以提高模型自适应的精度。

为了便于描述，这里用y_t表示首次自适应后的含噪语音声学模型对应的特征向量，用o_t表示理想声学模型对应的特征向量，y_t和o_t都是含噪语音特征向量，它们的关系可以表示为：

o_t＝Clog(exp(C^-1y_t)±exp(C^-1b_t))(7)

其中，b_t是两种含噪语音在线性谱域的偏差所对应的倒谱特征。由式(7)包含两种不同的变换关系，因此就需要正向和负向两种自适应来实现。在正向自适应中，变换关系为：

o_t＝Clog(exp(C^-1y_t)+exp(C^-1b_t))(8)

正向自适应的变换方法与首次自适应基本相同，其参数变换公式为：

${\mathrm{\μ}}_{o,kim}=U_{kim}{\mathrm{\μ}}_b-U_{kim}{\mathrm{\μ}}_{b0}+Clog\left(\exp \right(C^{-1}{\mathrm{\μ}}_{y{,}_{kim}})+\exp (C^{-1}{\mathrm{\μ}}_{b0}\left)\right)---\left(9\right)$

${\mathrm{\Σ}}_{o{,}_{kim}}=(I-U_{kim}){\mathrm{\Σ}}_{y{,}_{krm}}{(I-U_{kim})}^T+U_{kim}{\mathrm{\Σ}}_b{U_{kim}}^T---\left(10\right)$

其中，和分别表示o_t的均值向量和协方差矩阵；μ_b、μ_b0和Σ_b分别表示偏差b_t的均值向量、初始均值向量和协方差矩阵；在计算U_kim时，式(3)中的μ_x,kim和μ_n0需分别替换为μ_y,kim和μ_b0。

变换参数μ_b和Σ_b的估计公式为：

$\begin{array}{c}{\mathrm{\μ}}_b={\[\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_{kim}\left(t\right)U_{kim}^T{\mathrm{\Σ}}_{o,kim}^{-1}{U}_{kim}\]}^{-1}\\ \[\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_{kim}\left(t\right)U_{kim}^T{\mathrm{\Σ}}_{o,kim}^{-1}(o_t-C\log (\exp \left(C^{-1}{\mathrm{\μ}}_{y,kim}\right)+\exp \left(C^{-1}{\mathrm{\μ}}_{b0}\right))+U_{kim}{\mathrm{\μ}}_{b0})\]\end{array}---\left(11\right)$

$\begin{array}{c}{\mathrm{\σ}}_b={\[\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_{kim}\left(t\right)G_{kim}(U_{kim}\·*U_{kim})\]}^{-1}\\ \[\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_{kim}\left(t\right)G_{kim}\left(\right(o_t-{\mathrm{\μ}}_{o,kim})\·*(o_t-{\mathrm{\μ}}_{o,kim})-(V_{kim}\·*V_{kim}){\mathrm{\σ}}_{x,kim}\]\end{array}---\left(12\right)$

在计算G_kim时，式(6)中的σ_x,kim和σ_n0需分别替换为σ_y,kim和σ_b0。

在负向自适应中，变换关系为：

o_t＝Clog(exp(C^-1y_t)-exp(C^-1b_t))(13)

将式(13)中的变量省略下标t，并在定点(μ_y,μ_b0)处用一阶矢量泰勒级数(VTS：VectorTaylorSeries)展开，可以得到如下的线性近似式：

o＝(I-U)(x-μ_y)+U(b-μ_b0)+Clog(exp(C^-1μ_y)-exp(C^-1μ_b0))(14)

其中U由下式决定：

$U=Cdiag\left(\frac{-\exp \left(C^{-1}{\mathrm{\μ}}_{b0}\right)}{\exp \left(C^{-1}{\mathrm{\μ}}_y\right)-\exp \left(C^{-1}{\mathrm{\μ}}_{b0}\right)}\right)C^{-1}---\left(15\right)$

对式(14)分别取均值和方差，即可得到两种模型的参数变换公式：

μ_o＝Uμ_b-Uμ_b0+Clog(exp(C^-1μ_y)-exp(C^-1μ_b0))(16)

Σ_o＝(I-U)Σ_y(I-U)^T+UΣ_bU^T(17)

对第k个HMM的第i个状态的第m个高斯单元，式(16)和(17)可以分别表示为：

μ_o,kim＝U_kimμ_b-U_kimμ_b0+Clog(exp(C^-1μ_y,kim)-exp(C^-1μ_b0))(18)

σ_o,kim＝((I-U_kim).*(I-U_kim))σ_y,kim+(U_kim.*U_kim)σ_b(19)

其中，σ_o,kim、σ_y,kim、σ_b分别是用Σ_o,kim、Σ_y,kim、Σ_b的对角元素生成的方差向量；U_kim由式(15)决定。

将式(18)和(19)分别代入EM算法的辅助函数，并分别令辅助函数关于μ_b和σ_b的导数等于0，即可得到μ_b和σ_b的估计公式：

$\begin{array}{c}{\mathrm{\μ}}_b={\[\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_{kim}\left(t\right)U_{kim}^T{\mathrm{\Σ}}_{o,kim}^{-1}{U}_{kim}\]}^{-1}\\ \[\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_{kim}\left(t\right)U_{kim}^T{\mathrm{\Σ}}_{o,kim}^{-1}(o_t-C\log (\exp \left(C^{-1}{\mathrm{\μ}}_{y,kim}\right)+\exp \left(C^{-1}{\mathrm{\μ}}_{b0}\right))+U_{kim}{\mathrm{\μ}}_{b0})\]\end{array}---\left(20\right)$

$\begin{array}{c}{\mathrm{\σ}}_b={\[\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_{kim}\left(t\right)G_{kim}(U_{kim}\·*U_{kim})\]}^{-1}\\ \[\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\γ}}_{kim}\left(t\right)G_{kim}\left(\right(o_t-{\mathrm{\μ}}_{o,kim})\·*(o_t-{\mathrm{\μ}}_{o,kim})-\left(\right(I-U_{kim})\·*(I-U_{kim})\left){\mathrm{\σ}}_{y,kim}\right)\]\end{array}---\left(21\right)$

式(21)中， $G_{kim}=(U_{kim}^T\·*U_{kim}^T)diag\[{\left(\right(\left(I-U_{kim}\right)\·*\left(I-U_{kim}\right)){\mathrm{\σ}}_{y,kim}+(U_{kim}\·*U_{kim}\left){\mathrm{\σ}}_{b0}\right)}^{-2}\].$

首次自适应得到的声学模型经过正向自适应和负向自适应后，各自得到一组含噪语音声学模型，通过比较两个自适应模块的似然值，选取似然值较大的含噪语音声学模型作为模型自适应的结果。

3、后续自适应

由于首次自适应后的声学模型与理想声学模型已经较为接近，因此矢量泰勒级数展开式与实际非线性环境变换关系的偏差很小，第2次自适应的结果与理想声学模型的偏差进一步缩小。如果要继续提高模型自适应的精度，可以通过后续自适应进一步改进模型参数。后续自适应的过程与第2次自适应相同，都是用上一次自适应的结果作为基模型，构建矢量泰勒级数近似式，根据估得的含噪语音的偏差参数，更新声学模型的均值和方差。考虑到模型自适应的计算量较大，且多重自适应的收敛性较好，后续自适应的次数不宜过多，一般有1到2次即可，或者直接用第2次自适应的声学模型作为最终模型自适应的结果。

Claims (6)

1.一种基于多重自适应的模型补偿语音识别方法，其特征在于，包括如下内容：

(1)通过首次自适应对纯净语音声学模型的参数进行变换，得到与实际测试环境较为匹配的含噪语音声学模型；

(2)将首次自适应得到的含噪语音声学模型作为新的基环境声学模型，构建其对应的含噪语音与实际环境含噪测试语音之间的变换关系，对基环境声学模型再次进行模型自适应；

(3)由于两种含噪语音在线性谱域存在正、负两种可能的偏差，因此在第2次自适应及后续的每次自适应中，通过正向自适应和负向自适应各自得到一组含噪语音声学模型及其输出似然值；

(4)对正向自适应和负向自适应的输出似然值进行比较，选取输出似然值较大的含噪语音声学模型作为该次模型自适应的结果；

(5)进行后续自适应，在后续自适应中重复第2次自适应的过程。

2.如权利要求1所述的基于多重自适应的模型补偿语音识别方法，其特征在于，后续自适应的次数为1到2次。

3.如权利要求1所述的基于多重自适应的模型补偿语音识别方法，其特征在于，首次自适应中用矢量泰勒级数逼近含噪测试语音与纯净训练语音之间的非线性变换关系，从含噪测试语音中估计噪声参数，对预先训练的纯净语音声学模型的参数进行变换，得到与实际测试环境较为匹配的含噪语音声学模型。

4.如权利要求1所述的基于多重自适应的模型补偿语音识别方法，其特征在于，第2次自适应：将首次自适应得到的自适应声学模型作为新的基环境声学模型，用噪声偏差构建其与测试环境理想声学模型之间的变换关系，再次进行模型自适应；由于实际含噪测试语音与基环境声学模型对应的含噪测试语音在线性谱域的偏差存在正负两种情况，因此第2次自适应及后续的每次自适应都需要通过正向和负向两次自适应来实现；

正向自适应：在正向自适应中，假设实际含噪测试语音的线性谱特征与基环境声学模型对应的含噪语音的线性谱特征之间的差值为正值，构建两种含噪环境之间的变换关系，调整基环境声学模型的参数，得到含噪语音声学模型及似然值；

负向自适应：在负向自适应中，假设实际含噪测试语音的线性谱特征与基环境声学模型对应的含噪语音的线性谱特征之间的差值为负值，构建两种含噪环境之间的变换关系，调整基环境声学模型的参数，得到含噪语音声学模型及似然值；

似然值比较：正向自适应和负向自适应得到的声学模型中只有一个是正确的结果，取输出似然值较大的含噪语音声学模型作为模型自适应的结果。

5.如权利要求1所述的基于多重自适应的模型补偿语音识别方法，其特征在于，设语音识别系统以HMM为每个基本语音单元的声学模型，以MFCC为特征参数。对第k个HMM的第i个状态的第m个高斯单元，含噪语音的均值向量μ_y,kim和协方差矩阵可以分别表示为：

${\mathrm{\μ}}_{y,kim}=U_{kim}{\mathrm{\μ}}_n-U_{kim}{\mathrm{\μ}}_{n0}+Clog\left(\exp \right(C^{-1}{\mathrm{\μ}}_{x_{,kim}})+\exp (C^{-1}{\mathrm{\μ}}_{n0}\left)\right)---\left(1\right)$

${\mathrm{\Σ}}_{y{,}_{kim}}=(I-U_{kim}){\mathrm{\Σ}}_{x{,}_{kim}}{(I-U_{kim})}^T+U_{kim}{\mathrm{\Σ}}_n{U_{kim}}^T---\left(2\right)$

其中，和分别表示纯净语音的均值向量和协方差矩阵；μ_n、μ_n0和Σ_n分别表示加性噪声的均值向量、初始均值向量和协方差矩阵；C和C^-1分别表示离散余弦变换矩阵及其逆矩阵；I表示单位矩阵；U_kim由下式给出：

$U_{kim}=Cdiag\left(\frac{\exp \left(C^{-1}{\mathrm{\μ}}_{n0}\right)}{\exp \left(C^{-1}{\mathrm{\μ}}_{x,kim}\right)+\exp \left(C^{-1}{\mathrm{\μ}}_{n0}\right)}\right)C^{-1}---\left(3\right)$

式(3)中diag()表示以括号中向量的元素为对角元素生成对角矩阵；

噪声均值μ_n的估计公式为：

${\mathrm{\μ}}_n={\[\underset{k=1}{\overset{K}{\Σ}}\underset{i=1}{\overset{N}{\Σ}}\underset{m=1}{\overset{M}{\Σ}}\underset{t=1}{\overset{T}{\Σ}}{\mathrm{\γ}}_{kim}\left(t\right)U_{kim}^T{\mathrm{\Σ}}_{y,kim}^{-1}{U}_{kim}\]}^{-1}$

$\[\underset{k=1}{\overset{K}{\Σ}}\underset{i=1}{\overset{N}{\Σ}}\underset{m=1}{\overset{M}{\Σ}}\underset{t=1}{\overset{T}{\Σ}}{\mathrm{\γ}}_{kim}\left(t\right)U_{kim}^T{\mathrm{\Σ}}_{y,kim}^{-1}(y_t-C\log (\exp \left(C^{-1}{\mathrm{\μ}}_{x,kim}\right)+\exp \left(C^{-1}{\mathrm{\μ}}_{n0}\right))+U_{kim}{\mathrm{\μ}}_{n0})\]---\left(4\right)$

其中，γ_kim(t)＝P(θ_t＝i,δ_t＝m|Y,λ_k)，表示给定观测向量序列Y＝{y₁,…,y_t,…,y_T}和第k个HMM的先验参数集λ_k的条件下，第t帧向量属于该HMM第i个状态的第m个高斯单元的后验概率。

噪声方差Σ_n的估计公式为：

${\mathrm{\σ}}_n={\[\underset{k=1}{\overset{K}{\Σ}}\underset{i=1}{\overset{N}{\Σ}}\underset{m=1}{\overset{M}{\Σ}}\underset{t=1}{\overset{T}{\Σ}}{\mathrm{\γ}}_{kim}\left(t\right)G_{kim}(U_{kim}\·*U_{kim})\]}^{-1}$

$\[\underset{k=1}{\overset{K}{\Σ}}\underset{i=1}{\overset{N}{\Σ}}\underset{m=1}{\overset{M}{\Σ}}\underset{t=1}{\overset{T}{\Σ}}{\mathrm{\γ}}_{kim}\left(t\right)G_{kim}\left(\right(y_t-{\mathrm{\μ}}_{y,kim})\·*(y_t-{\mathrm{\μ}}_{y,kim})-(V_{kim}\·*V_{kim}\left){\mathrm{\σ}}_{x,kim}\right)\]---\left(5\right)$

其中，σ_y,m、σ_x,m、σ_n是分别用Σ_y,m、Σ_x,m、Σ_n的对角元素生成的方差向量；V_m＝I-U_m；操作符·*表示矩阵的点乘运算，即两个相同维数的矩阵的对应元素相乘；加权因子G_kim的表达式如下：

$G_{kim}=(U_{kim}^T\·*U_{kim}^T)diag\[{\left(\right(V_{kim}\·*V_{kim}){\mathrm{\σ}}_{x,kim}+(U_{kim}\·*U_{kim}\left){\mathrm{\σ}}_{n0}\right)}^{-2}\]---\left(6\right).$

6.如权利要求5所述的基于多重自适应的模型补偿语音识别方法，其特征在于，

用y_t表示首次自适应后的含噪语音声学模型对应的特征向量，用o_t表示理想声学模型对应的特征向量，y_t和o_t都是含噪语音特征向量，它们的关系可以表示为：

o_t＝Clog(exp(C^-1y_t)±exp(C^-1b_t))(7)

其中，b_t是两种含噪语音在线性谱域的偏差所对应的倒谱特征；由式(7)包含两种不同的变换关系，因此就需要正向和负向两种自适应来实现；在正向自适应中，变换关系为：

o_t＝Clog(exp(C^-1y_t)+exp(C^-1b_t))(8)

正向自适应的变换方法与首次自适应基本相同，其参数变换公式为：

${\mathrm{\μ}}_{o,kim}=U_{kim}{\mathrm{\μ}}_b-U_{kim}{\mathrm{\μ}}_{b0}+Clog\left(\exp \right(C^{-1}{\mathrm{\μ}}_{y{,}_{kim}})+\exp (C^{-1}{\mathrm{\μ}}_{b0}\left)\right)---\left(9\right)$

${\mathrm{\Σ}}_{o{,}_{kim}}=(I-U_{kim}){\mathrm{\Σ}}_{y{,}_{kim}}{(I-U_{kim})}^T+U_{kim}{\mathrm{\Σ}}_b{U_{kim}}^T---\left(10\right)$

其中，和分别表示o_t的均值向量和协方差矩阵；μ_b、μ_b0和Σ_b分别表示偏差b_t的均值向量、初始均值向量和协方差矩阵；在计算U_kim时，式(3)中的μ_x,kim和μ_n0需分别替换为μ_y,kim和μ_b0；

变换参数μ_b和Σ_b的估计公式为：

${\mathrm{\μ}}_b={\[\underset{k=1}{\overset{K}{\Σ}}\underset{i=1}{\overset{N}{\Σ}}\underset{m=1}{\overset{M}{\Σ}}\underset{t=1}{\overset{T}{\Σ}}{\mathrm{\γ}}_{kim}\left(t\right)U_{kim}^T{\mathrm{\Σ}}_{o,kim}^{-1}{U}_{kim}\]}^{-1}$

$\[\underset{k=1}{\overset{K}{\Σ}}\underset{i=1}{\overset{N}{\Σ}}\underset{m=1}{\overset{M}{\Σ}}\underset{t=1}{\overset{T}{\Σ}}{\mathrm{\γ}}_{kim}\left(t\right)U_{kim}^T{\mathrm{\Σ}}_{o,kim}^{-1}(o_t-C\log (\exp \left(C^{-1}{\mathrm{\μ}}_{y,kim}\right)+\exp \left(C^{-1}{\mathrm{\μ}}_{b0}\right))+U_{kim}{\mathrm{\μ}}_{b0})\]---\left(11\right)$

${\mathrm{\σ}}_b={\[\underset{k=1}{\overset{K}{\Σ}}\underset{i=1}{\overset{N}{\Σ}}\underset{m=1}{\overset{M}{\Σ}}\underset{t=1}{\overset{T}{\Σ}}{\mathrm{\γ}}_{kim}\left(t\right)G_{kim}(U_{kim}\·*U_{kim})\]}^{-1}$

$\[\underset{k=1}{\overset{K}{\Σ}}\underset{i=1}{\overset{N}{\Σ}}\underset{m=1}{\overset{M}{\Σ}}\underset{t=1}{\overset{T}{\Σ}}{\mathrm{\γ}}_{kim}\left(t\right)G_{kim}\left(\right(o_t-{\mathrm{\μ}}_{o,kim})\·*(o_t-{\mathrm{\μ}}_{o,kim})-(V_{kim}\·*V_{kim}\left){\mathrm{\σ}}_{y,kim}\right)\]---\left(12\right)$

在计算G_kim时，式(6)中的σ_x,kim和σ_n0需分别替换为σ_y,kim和σ_b0；

在负向自适应中，变换关系为：

o_t＝Clog(exp(C^-1y_t)-exp(C^-1b_t))(13)

将式(13)中的变量省略下标t，并在定点(μ_y,μ_b0)处用一阶矢量泰勒级数(VTS：VectorTaylorSeries)展开，可以得到如下的线性近似式：

o＝(I-U)(x-μ_y)+U(b-μ_b0)+Clog(exp(C^-1μ_y)-exp(C^-1μ_b0))(14)

其中U由下式决定：

$U=Cdiag\left(\frac{-\exp \left(C^{-1}{\mathrm{\μ}}_{b0}\right)}{\exp \left(C^{-1}{\mathrm{\μ}}_y\right)-\exp \left(C^{-1}{\mathrm{\μ}}_{b0}\right)}\right)C^{-1}---\left(15\right)$

对式(14)分别取均值和方差，即可得到两种模型的参数变换公式：

μ_o＝Uμ_b-Uμ_b0+Clog(exp(C^-1μ_y)-exp(C^-1μ_b0))(16)

Σ_o＝(I-U)Σ_y(I-U)^T+UΣ_bU^T(17)

对第k个HMM的第i个状态的第m个高斯单元，式(16)和(17)可以分别表示为：

μ_o,kim＝U_kimμ_b-U_kimμ_b0+Clog(exp(C^-1μ_y,kim)-exp(C^-1μ_b0))(18)

σ_o,kim＝((I-U_kim)·*(I-U_kim))σ_y,kim+(U_kim·*U_kim)σ_b(19)

其中，σ_o,kim、σ_y,kim、σ_b分别是用Σ_o,kim、Σ_y,kim、Σ_b的对角元素生成的方差向量；U_kim由式(15)决定；

将式(18)和(19)分别代入EM算法的辅助函数，并分别令辅助函数关于μ_b和σ_b的导数等于0，即可得到μ_b和σ_b的估计公式：

${\mathrm{\μ}}_b={\[\underset{k=1}{\overset{K}{\Σ}}\underset{i=1}{\overset{N}{\Σ}}\underset{m=1}{\overset{M}{\Σ}}\underset{t=1}{\overset{T}{\Σ}}{\mathrm{\γ}}_{kim}\left(t\right)U_{kim}^T{\mathrm{\Σ}}_{o,kim}^{-1}{U}_{kim}\]}^{-1}$

$\[\underset{k=1}{\overset{K}{\Σ}}\underset{i=1}{\overset{N}{\Σ}}\underset{m=1}{\overset{M}{\Σ}}\underset{t=1}{\overset{T}{\Σ}}{\mathrm{\γ}}_{kim}\left(t\right)U_{kim}^T{\mathrm{\Σ}}_{o,kim}^{-1}(o_t-C\log (\exp \left(C^{-1}{\mathrm{\μ}}_{y,kim}\right)+\exp \left(C^{-1}{\mathrm{\μ}}_{b0}\right))+U_{kim}{\mathrm{\μ}}_{b0})\]---\left(20\right)$

${\mathrm{\σ}}_b={\[\underset{k=1}{\overset{K}{\Σ}}\underset{i=1}{\overset{N}{\Σ}}\underset{m=1}{\overset{M}{\Σ}}\underset{t=1}{\overset{T}{\Σ}}{\mathrm{\γ}}_{kim}\left(t\right)G_{kim}(U_{kim}\·*U_{kim})\]}^{-1}$

$\[\underset{k=1}{\overset{K}{\Σ}}\underset{i=1}{\overset{N}{\Σ}}\underset{m=1}{\overset{M}{\Σ}}\underset{t=1}{\overset{T}{\Σ}}{\mathrm{\γ}}_{kim}\left(t\right)G_{kim}\left(\right(o_t-{\mathrm{\μ}}_{o,kim})\·*(o_t-{\mathrm{\μ}}_{o,kim})-(\left(I-U_{kim}\right)\·*\left(I-U_{kim}\right)\left){\mathrm{\σ}}_{y,kim}\right)\]---\left(21\right)$

式(12)中， $G_{kim}=(U_{kim}^T\·*U_{kim}^T)diag\[{\left(\right(\left(I-U_{kim}\right)\·*\left(I-U_{kim}\right)){\mathrm{\σ}}_{y,kim}+(U_{kim}\·*U_{kim}\left){\mathrm{\σ}}_{b0}\right)}^{-2}\];$

首次自适应得到的声学模型经过正向自适应和负向自适应后，各自得到一组含噪语音声学模型，通过比较两个自适应模块的似然值，选取似然值较大的含噪语音声学模型作为模型自适应的结果。