CN105869627A - 基于车联网的语音处理方法 - Google Patents

Abstract

本发明提供了一种基于车联网的语音处理方法，该方法包括：在车载语音识别系统的前端处理过程中，通过成分分析对带噪语音信号进行频域分离，获得纯净语音信号；对所获得的纯净语音信号进行端点检测；提取所获语音段的特征参数，并导入车载语音识别系统中进行识别。本发明提出了一种基于车联网的语音处理方法，减弱了背景噪声对车载语音识别系统的干扰，有效地改善了在噪声环境下车载语音识别系统的性能。

Description

基于车联网的语音处理方法

技术领域

本发明涉及语音信号处理，特别涉及一种基于车联网的语音处理方法。

背景技术

语音识别是通过利用识别算法让机器能够准确地识别出人类所发出的语音命令并执行相应的操作。目前，随着语音信号处理技术的发展，一些较成熟的语音识别系统相继诞生。然而在车载现场环境下使用时，其识别性能会急剧下降。假设一个孤立词识别系统是由纯净语音训练得到的，那么它在相对安静环境下进行语音识别，其识别率可达到100％，但是如果在以90Km/h行驶的汽车内，其识别率下降到了30％。从上述对比数据中可以发现，在行驶中的车辆等噪声环境下语音识别系统性能无法满足人们的需求。在真实环境中，语音信号不可避免地受到各种外部噪声的干扰，而这些噪声的存在会使得带噪语音与原先由纯净语音训练出的模型之间失配，从而影响车载语音识别系统性能。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种基于车联网的语音处理方法，包括：

在车载语音识别系统的前端处理过程中，通过成分分析对带噪语音信号进行频域分离，获得纯净语音信号；对所获得的纯净语音信号进行端点检测；提取所获语音段的特征参数，并导入车载语音识别系统中进行识别。

所述车载语音识别系统包括卷积混合单元、分离单元、端点检测单元和语音识别单元，所述卷积混合单元进行语音信号与噪声的仿真卷积混合，以获得带噪语音信号；所述分离单元：对带噪语音信号进行频域分离，以获得纯净的语音信号；所述端点检测单元采用语音端点检测算法，选择待检测的语音信号、调整端点检测参数、并在检测后将检测到的有效语音段保存为语音文件；所述语音识别单元进行语音识别、显示识别结果和计算识别率，选择多个语音文件导入车载语音识别系统中识别；

其中，在所述语音端点检测过程中，利用以下基于动态峰度和能量双阈值的端点检测算法：

首先计算出语音信号的滑动窗峰度值，记为Kt(n)，并同时记录下中间值s₂(n)，其中n是语音信号的长度；

利用公式th＝max(Kt)/10来计算整个语音信号的峰度阈值；

将n记为起点start，在n不断递增的过程中，开始向后检索，

若n为空白段，则判断空白段样本点数nc与空白段所允许的最大样本点常数maxnc，以及语音段样本点数sc与语音段所允许的最小样本点常数minsc；

仅当满足nc>maxnc并且sc＞minsc时，输入语音段[start,start+sc+nc-1]。。

本发明相比现有技术，具有以下优点：

本发明提出了一种基于车联网的语音处理方法，减弱了背景噪声对车载语音识别系统的干扰，有效地改善了在噪声环境下车载语音识别系统的性能。

附图说明

图1是根据本发明实施例的基于车联网的语音处理方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明的一方面提供了一种基于车联网的语音处理方法。图1是根据本发明实施例的基于车联网的语音处理方法流程图。

本发明首先在车载语音识别系统的前端处理过程中增加了成分分析，对带噪语音信号进行频域分离从而获得纯净的语音信号；对所获得的纯净语音信号进行端点检测；最后提取所获语音段的特征参数，并导入车载语音识别系统中进行识别。

车载语音识别系统包括四个单元。卷积混合单元，进行语音信号与噪声的仿真卷积混合，以获得带噪语音信号；分离单元：对带噪语音信号进行频域分离，以获得纯净的语音信号；端点检测单元，采用语音端点检测算法，并选择待检测的语音信号、调整端点检测参数、并在检测后将检测到的有效语音段保存为语音文件。语音识别单元，用于语音识别、显示识别结果和计算识别率，可以选择多个语音文件导入车载语音识别系统中识别。

本发明利用基于动态峰度和能量双阈值的端点检测算法。首先计算出语音信号的滑动窗峰度值，记为Kt(n)，并同时记录下中间值s₂(n)，其中n是语音信号的长度。利用公式th＝max(Kt)/10来计算整个语音信号的峰度阈值。

将n记为起点start，在n不断递增的过程中，开始向后检索，若n为空白段，则判断空白段样本点数nc与空白段所允许的最大样本点常数maxnc，以及语音段样本点数sc与语音段所允许的最小样本点常数minsc；仅当满足nc>maxnc并且sc＞minsc，输入语音段[start,start+sc+nc-1]。

考虑到混合系统对源信号产生的延迟和卷积效应，本发明采用以下方法提取相对纯净的语音特征参数。首先利用短时FFT将带噪语音信号x_i，(i＝1，2)从时域变换到频域，生成L×M点采样信号矩阵，其中L表示FFT变换后频域下的频点个数，M表示对信号加窗分帧后的帧数；然后实现混合信号的频域分离，对提取出的频域分量进行FFT逆变换得到时域独立成分；最后对获得的MFL域特征和其对应的一阶差分系数进行线性组合，并将组合后的特征用于后续识别过程中。在特征提取前端，独立成分分析可以有效地减少噪声对源语音信号的干扰，使得在卷积噪声环境下所提取的语音特征参数也能较好地反映语音信号的本质特征。

本发明对语音信号进行FFT变换时是逐段进行的。对语音信号加窗，并让该窗在时间轴上平移。卷积混合过程可以描述为：

$\begin{array}{cc}xi\left(t\right)=\underset{j=1}{\overset{N}{\Σ}}\underset{k=0}{\overset{P-1}{\Σ}}{a}_{ij}\left(k\right)s_j(t-k)& i,j=1,2\end{array}$

其中P为卷积混合滤波器阶数，a_ij为第j个声源到第i个传感器的冲激响应，N为声源数量。对上式进行短时FFT变换，所得信号可以表示为：

$\begin{array}{ccc}{X}_i(f,\mathrm{\τ})=\underset{t=0}{\overset{L-1}{\Σ}}{x}_i\left(t\right)win(t-\mathrm{\τ})\exp (-j2\mathrm{\π}ft/f_s)& i=1,2;& \mathrm{\τ}={\mathrm{\τ}}_0,...{\mathrm{\τ}}_{M-1}\end{array}$

其中，win表示在预处理过程中所加的窗口函数，τ为窗口函数的位置；f_s为采样频率，f为离散频点，其取值为f＝f_sl/L；l＝0，1，…L-1。

对输入的语音进行短时FFT变换之后，将时域采样信号x_i(t)变换到时频域，得到一个L*M点的采样信号矩阵：

$\begin{array}{cc}{X}_i\left(f\right)=\left[\begin{array}{cccc}{X}_i(f_0,\mathrm{\τ})& X_i(f_0,{\mathrm{\τ}}_1)& \mathrm{...}& X_i(f_0,{\mathrm{\τ}}_{M-1})\\ X_i(f_1,\mathrm{\τ})& X_i(f_0,{\mathrm{\τ}}_1)& \mathrm{...}& X_i(f_0,{\mathrm{\τ}}_{M-1})\\ \mathrm{...}& \mathrm{...}& \mathrm{...}& \mathrm{...}\\ X_i(f_{L-1},\mathrm{\τ})& X_i(f_{L-1},{\mathrm{\τ}}_1)& \mathrm{...}& X_i(f_0,{\mathrm{\τ}}_{M-1})\end{array}\right]& i=1,2\end{array}$

将同频点f_k(k∈[0,L-1])的X_i(f_k)作为该频点进行独立成分提取的新采样数据，对新采样数据进行频域分离矩阵W(f_k)的估计，进而实现对信号频域分量Y_i(f_k)的提取。

其中独立成分分析算法对各频点进行频域分离，得到了短时频域分量Y_i(f，τ)，再消除幅值和排序模糊性之后得到U_i(f，τ)，它们是对纯净频域源信号S_i(f，τ)的逼近。

接下来就是将信号从频域转换到时域，则对U_i(f，τ)进行短时FFT逆变换，即按列对U_i(f，τ)时频矩阵求逆离散FFT运算，得到在不同时窗位置(τ_m，m＝0，1，...M-1)上的时间信号u_i(f，τ_m)：

$\begin{array}{ccc}{u}_i(f,{\mathrm{\τ}}_m)=\frac{1}{L}\underset{l=0}{\overset{L-1}{\Σ}}{U}_i(f_l,{\mathrm{\τ}}_m)\exp (\frac{2\mathrm{\π}}{L}l\×t)& t=0,...L-1;& i=1,2\end{array}$

然后按τ_m从小到大的顺序对u_i(f，τ_m)进行拼接，得到源的完整时间信号，即：

u_i(t)＝u_i(t,τ₀)+u_i(t-τ₁,τ₁)+…+u_i(t-τ_M-1,τ_M-1)

如果进行拼接处理时，相邻窗口内的时间信号出现部分重叠，则对重叠区域的数据采用相加求平均的处理方法。

为了提取语音MEL参数，首先对经过频域去卷积的处理的语音信号进行预加重处理，再使其通过MEL滤波器组，对每组输出结果做对数运算后再进行DCT变换，最后输出即为语音信号的MFL域特征。

此外，为了获得语音信号的动态信息，算法对提取出的MEL参数进行了差分运算，计算过程如下:

$\begin{array}{cc}d(i,t)=\mathrm{\α}\×\underset{k=0}{\overset{K}{\Σ}}k\×\[C_m(i,t-k)-C_m(i,t+k)\]& i\∈\[1,R-1\]\end{array}$

其中R是MEL系数的阶数，d反映信号的动态特征，α表示加权因子，K为进行一阶差分求取的帧的长度，C_m表示信号倒谱。经过上式计算可以获得与MFL域特征参数阶数R相同的差分MEL参数。最后将所得MEL参数和差分MEL参数进行组合得到2*R维的新组合特征作为语音信号特征矢量。

其中，频域去卷积处理是用于实现卷积混合信号的分离，具体包括，首先利用短时FFT将时域下的卷积混合变换成频域下的瞬时混合，然后采用独立成分分析对其中每个频点进行频域分离。最后为了获得时域下对应的语音信号，还通过短时FFT逆变换将频域信号变换成时域信号。

首先对采样信号进行FFT变换，可得：

X(f)＝A(f)S(f)

其中，X(f)和S(f)分别表示采样信号和源信号经FFT变换后得到的频域信号，A(f)是各混合滤波器频率响应构成的矩阵，经过FFT之后，语音信号从时域下的卷积混合变成了频域下的瞬时混合。对每个频点f_k(k＝0，1，...，i-1)利用瞬时独立成分分析算法进行频域分离，如下所示

X(f_k)＝A(f_k)S(f_k)，k＝0，1，…,L-1k为频点序号

经过FFT变换后，采样信号从时域变到频域，同时也使得待处理数据的数值从实数域变到了复数域，对于复数域的独立成分分析，本发明引入了多变量数据的四维累加量矩阵，并对其做特征分解，从而实现对信号的分离。

令；x＝[x₁,x₂…x_N]为一组采样信号，对其进行白化处理，即找到一个使得的自相关矩阵为单位矩阵I的线性变换矩阵B。其中，

z＝Bx＝BAs＝Vs

令M是N×N维的矩阵，则z的四阶累加矩阵为Q_Z(M)，其第ij个元素定义如下:

$\begin{array}{cc}{\[Qz\left(M\right)\]}_{ij}=\underset{k=2}{\overset{N}{\Σ}}\underset{l=1}{\overset{N}{\Σ}}Cu(z_i,z_j,z_k,z_l)m_{kl};& i,j=1,2,...N\end{array}$

式中，Cu为四阶累加量矩阵中第(k，l)个位置的累加量子矩阵的第i行第j列的元素。m_kl为矩阵M中(k，l)个元素。

令V＝[V₁,V₂…V_N]，取矩阵M＝[M₁,M₂…M_P]，对每个M_i求取Q_Z(M_i)，计算使得Q_Z(M_i)非对角元素平方和即V^H Q_Z(M_i)V出现极小值的矩阵V，最后提取独立成分u＝W’x＝V^HBx

对于幅值模糊性的出现，本发明通过幅值补偿来消除这种幅值模糊性问题，补偿算法如下：

设W(f_k)是对频点f_k对应的频域采样信号进行独立成分提取过程中计算得到的分离矩阵，则所提取的各通道独立成分构成向量：Y(f_k，τ)，其中τ表示滑动窗的位置，则该频点上的混合矩阵A(f_k)可计算为

A(f_k)＝W^-1(f_k)

利用混合矩阵A(f_k)对对应频点独立成分进行补偿，计算如下:

$\left[\begin{array}{c}{V}_{1j}(f_k,\mathrm{\τ})\\ .\\ .\\ .\\ V_{Nj}(f_k,\mathrm{\τ})\end{array}\right]=\left[\begin{array}{c}{A}_{1j}(f_k,\mathrm{\τ})Y_j(f_k,\mathrm{\τ})\\ .\\ .\\ .\\ A_{Nj}(f_k,\mathrm{\τ})Y_j(f_k,\mathrm{\τ})\end{array}\right]$

其中Y_j(f_k,τ)表示幅值补偿前所提取的第j通道频域分量，V_ij(f_k,τ)表示经过幅值补偿后第i个频域采样信号中实际上属于第j通道频域分量的部分。经过幅值补偿后，f_k频点对应的独立成分会产生N个补偿分量，经过一系列的后续处理，最终可以得到N个对应于同一个信号源的纯净语音信号。最后从N个信号求取平均作为最终输出信号。

在对各频点进行频域分离后得到的对应频点的分离结果是随机分配的，所以在分离之后对各频点的分离结果进行重新组合时可能会出现不同频点分离信号对应不同的源信号。本发明采用一种基于相邻频点相关性检测的方法来消除排序模糊性的问题。假设经独立成分提取后得到的信号分量为Y(f_k)＝[Y₁(f_k，τ)，Y₂(f_k，τ)]^T

则根据幅值补偿公式可得

$\left[\begin{array}{c}{V}_{11}(f_k,\mathrm{\τ})\\ V_{21}(f_k,\mathrm{\τ})\end{array}\right]=\left[\begin{array}{c}{A}_{11}\left(f_k\right)Y_1(f_k,\mathrm{\τ})\\ A_{21}\left(f_k\right)Y_1(f_k,\mathrm{\τ}).\end{array}\right]$

$\left[\begin{array}{c}{V}_{12}(f_k,\mathrm{\τ})\\ V_{22}(f_k,\mathrm{\τ})\end{array}\right]=\left[\begin{array}{c}{A}_{12}\left(f_k\right)Y_2(f_k,\mathrm{\τ})\\ A_{22}\left(f_k\right)Y_2(f_k,\mathrm{\τ}).\end{array}\right]$

假设R_i(f_k，τ)为独立成分Y_i(f_k，τ)的包络:

$\begin{array}{cc}{R}_i(f_k,\mathrm{\τ})=\frac{1}{2d+1}\underset{t=\mathrm{\τ}-d}{\overset{\mathrm{\τ}+d}{\Σ}}\underset{j=1}{\overset{2}{\Σ}}{V}_{ji}(f_k,t)& i=1,2\end{array}$

式中d表示平均宽度。根据上式可得包络函数R(f_k，τ)＝[R₁(f_k，τ),R₂(f_k，τ)]。通过对相邻频点的包络函数R(f_k，τ)和R(f_k+1，τ)进行匹配，并根据匹配结果对频域分量进行排序。

排序算法如下：

首先根据选定的匹配方法计算包络参数。定义相邻频点f_k和f_k+1之间的包络参数p_ij定义如下：

$\begin{array}{cc}{p}_{ij}=\underset{\mathrm{\τ}=0}{\overset{M-1}{\Σ}}{R}_i(f_k,\mathrm{\τ})R_j(f_{k+1},\mathrm{\τ})& i,j=1,2\end{array}$

式中M表示在对信号进行加窗FFT变换后的语音帧数。

根据所定义的包络参数构造调整矩阵P。对于相邻频点f_k和f_k+1的包络系数m构成一个如下调整矩阵

$P=\left[\begin{array}{cc}{p}_{11}& p_{12}\\ p_{21}& p_{22}\end{array}\right]$

根据调整矩阵判断是否要进行重新排序。若p₁₁+p₂₂>p₁₂+p₂₁，则表示相邻频点中，同源独立成分位置一致，则无需调整。若p₁₁+p₂₂小于p₁₂+p₂₁，则表示相邻频点中，同源独立成分的位置不一致，需要重新进行排序。若经过幅值补偿后的输出成分为

V(f_k)＝[V₁(f_k，τ)，V₂(f_k，τ)]^T

V(f_k+1)＝[V₁(f_k+1，τ)，V₂(f_k+1，τ)]^T

则利用P对后一个频点f_k+1的V(f_k+1)进行左乘，即

P×V(f_k+1)→V(f_k+1)

综上所述，本发明提出了一种基于车联网的语音处理方法，减弱了背景噪声对车载语音识别系统的干扰，有效地改善了在噪声环境下车载语音识别系统的性能。

显然，本领域的技术人员应该理解，上述的本发明的各单元或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行。这样，本发明不限制于任何特定的硬件和软件结合。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (2)

1.一种基于车联网的语音处理方法，其特征在于，包括：

在车载语音识别系统的前端处理过程中，通过成分分析对带噪语音信号进行频域分离，获得纯净语音信号；对所获得的纯净语音信号进行端点检测；提取所获语音段的特征参数，并导入车载语音识别系统中进行识别。

2.根据权利要求1所述的方法，其特征在于，所述车载语音识别系统包括卷积混合单元、分离单元、端点检测单元和语音识别单元，所述卷积混合单元进行语音信号与噪声的仿真卷积混合，以获得带噪语音信号；所述分离单元：对带噪语音信号进行频域分离，以获得纯净的语音信号；所述端点检测单元采用语音端点检测算法，选择待检测的语音信号、调整端点检测参数、并在检测后将检测到的有效语音段保存为语音文件；所述语音识别单元进行语音识别、显示识别结果和计算识别率，选择多个语音文件导入车载语音识别系统中识别；

其中，在所述语音端点检测过程中，利用以下基于动态峰度和能量双阈值的端点检测算法：

首先计算出语音信号的滑动窗峰度值，记为Kt(n)，并同时记录下中间值s₂(n)，其中n是语音信号的长度；

利用公式th＝max(Kt)/10来计算整个语音信号的峰度阈值；

将n记为起点start，在n不断递增的过程中，开始向后检索，

若n为空白段，则判断空白段样本点数nc与空白段所允许的最大样本点常数maxnc，以及语音段样本点数sc与语音段所允许的最小样本点常数minsc；

仅当满足nc>maxnc并且sc＞minsc时，输入语音段[start,start+sc+nc-1]。