CN102169690A - 基于表面肌电信号的语音信号识别系统和识别方法 - Google Patents

Abstract

基于表面肌电信号的语音信号识别系统和识别方法 。 如同前臂肌肉运动对应手、腕、肘的运动模式，说话时面部肌肉也对应着不同的运动模式，通过采集面部肌肉的表面肌电，完全可以从信号特征中识别对应的肌肉动作模式，进而识别语音信息。一种基于表面肌电信号的语音信号识别系统，其组成包括 : 语音信号采集模块（ 1 ）， 所述的语音信号采集模块连接语音信号预处理模块（ 2 ），所述的语音信号预处理模块连接语音信号分隔模块 (3) ，所述的语音信号分隔模块连接特征参数提取模块（ 4 ），所述的特征参数提取模块连接语音信号辨识模块 (5) 。本发明用于表面肌电信号的语音信号识别。

Description

基于表面肌电信号的语音信号识别系统和识别方法

技术领域：

本发明涉及一种驾驶舱、工业生产线等噪声环境和太空作业、水下作业等特殊物理环境中使用的通过表情进行语音识别的技术，具体涉及一种基于表面肌电信号的语音信号识别系统和识别方法。

背景技术：

自从可以记录肌电信号开始，人们对肌电展开了研究，可以通过检测人体肌肉组织的肌电信号来识别肢体动作控制假肢、推断肌肉状态和肌肉相关的病情等，因此，对肌电的研究主要集中在医学方面。在语言学方面，主要是利用肌电信号进行协同发音的研究，也有人利用肌电信号来做手语识别、无声语言识别的研究。

发明内容：

本发明的目的是提供一种基于表面肌电信号的语音信号识别系统，提供在噪声环境和特殊物理环境下控制指令的识别方法。

上述的目的通过以下的技术方案实现：

基于表面肌电信号的语音信号识别系统，其组成包括:语音信号采集模块，所述的语音信号采集模块连接语音信号预处理模块，所述的语音信号预处理模块连接语音信号分隔模块，所述的语音信号分隔模块连接特征参数提取模块，所述的特征参数提取模块连接语音信号辨识模块。

所述的基于表面肌电信号的语音信号识别系统，所述的语音信号采集模块的四对电极置于提肌口，颧肌部分，颈阔肌和二腹的前面腹部，参考电极置于鼻根部，采集四路表面肌电信号。

一种基于表面肌电信号的语音信号识别方法，由语音信号采集模块的四路电极采集面部四块肌肉对应的肌电信号；将采集到的信号送到语音信号预处理模块进行去基线漂移、去工频干扰、去噪处理；将处理后的肌电信号通过语音信号分隔模块按汉语特征和应用场合要求分隔为三段；将分隔后的各段信号通过特征参数提取模块进行经验模式分解(EMD)分解后提取希尔伯特hilbert space 进行hilbert transform 希伯特转换；通过希尔波特滤波器；Hilbert谱；建立三个BP神经网络，各段信号特征分别作BP神经网络的输入通过语音信号辨识模块识别。

所述的基于表面肌电信号的语音信号识别方法，所述的语音信号预处理模块将所述的语音信号采集模块采集到的其中采取去均值后经过巴特沃斯高通滤波器的方法处理基线漂移，采取基于可变长最小均方误差自适应滤波器去除工频干扰，采取小波分析方法去噪。

所述的基于表面肌电信号的语音信号识别方法，所述的语音信号分隔模块将所述的语音信号采集模块采集到的其中采用动态累加和方法，检测连续时间窗内信号幅值的变化，通过检测信号幅值比对数的极值点，确定语音信号变化点，将信号分为：动作命令信号、数量信号和数量单位信号三段。

所述的基于表面肌电信号的语音信号识别方法，所述的特征参数提取模块，首先采用经验模态分解(EMD)的方法，将信号分解为系列本证模态函数(IMF)，然后对该函数求取希尔伯特(hilbertspace希尔伯特空间hilberttransform希伯特转换；希耳伯特变换；希尔波特滤波器Hilbert)谱作为下一步识别的特征向量。

所述的基于表面肌电信号的语音信号识别系统，所述的语音信号辨识模块，将希尔伯特hilbert space 希尔伯特空间 hilbert transform 希伯特转换；希耳伯特变换；希尔波特滤波器 Hilbert)谱作为BP神经网络的输入，设计神经网络结构进行训练学习，将语音信号按类分别对应识别。

所述的基于表面肌电信号的语音信号识别系统的方法，所述的去基线漂移采用的方法：

首先将表面肌电时间序列去均值：

然后通过一个巴特沃斯高通滤波器：

其中， 为原始肌电信号离散时间序列，为去均值后的肌电信号离散时间序列，为滤波后的肌电信号离散时间序列。

所述的基于表面肌电信号的语音信号识别系统的方法，所述的去工频干扰的方法：

工频干扰的主要频率成分为50HZ，使用可变长最小均方误差（LMS）自适应滤波器去除, 自适应滤波器能自动跟踪频率的漂移，具有非常好的适应性，其结构简单性能稳定,其基本思想是调整滤波器自身参数，是滤波器的输出信号与期望输出信号之间的均方误差最小，这样系统输出的是有用信号的最佳估计;

输入信号矢量为：

其中

为期望提取的表面肌电信号，

为工频干扰噪声信号;

参考输入信号为：

，为一标准余弦波将其送入及端, 其中后者经过 90 度相移, 因而

，

,

权矢量为：

，两个权值 及,使得组合后的正弦波幅值和相位都可以调整, 因为两个权表示有两个自由度的调整;

自适应滤波器的输出为：

，相应的自适应滤波器的输出误差调节信号为：

,

根据最小均方误差准则 MSE, 最佳的滤波器参量

，应使得性能函数—均方误差为最小，也就是说根据极其过去值线性组合去估计,，的最佳估计值

使估计误差的均方值最小，最小的均方误差为：

,

，其中

，式中M为自适应滤波器的阶数；,

为收敛因子，控制自适应滤波器速度与稳定性的增益常数。

调节权矢量 使得幅度和相位都可以与原始输入中的干扰分量相同，即趋向于，则,亦趋向于，使输出,中的,工频干扰得以抵消, 以达到陷波的目的这时就可以得到期望信号

。

所述的基于表面肌电信号的语音信号识别系统的方法，所述的去噪处理方法即小波去噪方法：

小波消噪是利用噪声与信号在各尺度上的小波谱具有不同表现，将各尺度上由噪声产生的小波谱分量去掉，这样保留下来的小波谱基本上就是真实信号的小波谱，再利用小波变换的重构算法重构原信号，即可得去噪后的信号；一个含噪声的一维信号模型可以表示成如下的形式：

式中

为真实信号，为高斯白噪声，

为含噪声信号。

消噪过程可以按如下方法进行处理：首先对信号进行小波分解；信号中的低频分量通常为有用信号，信号中的高频分量为噪声；用门限阈值形式对小波系数进行处理，抑制信号中的高频噪声部分，保留低频信号，最后，将低频信号进行小波重构，得到原始信号中的无噪部分。

有益效果：

1.本发明的系统主要应用在强噪声和声音传播介质发生改变的情况，应用在常规语音信号识别受到限制的情况，适用性好、适用范围广。

传统的肌电语音识别与常规语音识别相比，识别率还较低，但是远远高于猜测。常规语音识别技术已比较成熟，可是其识别率受到很多因素的影响，如环境噪声，包括很多工业生产线，飞机、汽车等驾驶舱，自然灾害现场；如声音物理传播问题包括人类在太空和水下的作业；如不同生活地域产生的语音语调差别等，而肌电信号不依赖声学信号，它是表面肌电电极所接触到的许多运动单元发放的动作电位总和。所以，本发明利用表面肌电信号识别语音信息有效的克服了以上局限。基于表面肌电信号识别语音信息的研究是少见的，但其方法是有效的。如同前臂肌肉运动对应手、腕、肘的运动模式，说话时面部肌肉也对应着不同的运动模式，通过采集面部肌肉的表面肌电，完全可以从信号特征中识别对应的肌肉动作模式，进而识别语音信息。

2.本发明用面部肌电信号来识别语音信号，信号采集方式简单，表面电极对人体无害。

3.本发明的信号预处理模块中采用的各处理方法可以很好的去除基线漂移的影响，消除工频干扰，实现滤波，经过预处理模块的信号，分离出干扰信号，保留了有用信息。

4.本发明的语音信号分隔模块把连续的信号按命令特征分为三段，在有限语言库中区分信号，提高信号识别率，而且符合实际应用。

5.本发明特征参数提取模块提取了经验模式分解(EMD)后的本证模态函数(IMF)的希尔伯特(hilbert space 希尔伯特空间 hilbert transform 希伯特转换；希耳伯特变换；希尔波特滤波器 Hilbert)谱作为识别特征参数，类间差异大，区分性好，类内差异小，一致性好。

6.本发明用基于L-M算法的BP神经网络识别信号，速度快，收敛性好，不易达到局部最小。

7.本发明整体系统衔接紧密，稳定可靠，能够弥补特殊环境下常规语言的不足，是一种应用的实际中的新型技术，开发前景广阔。

附图说明：

附图1是本发明的系统图。

附图2是附图1的自适应滤波去除工频干扰图。

附图3是附图1的小波分解示意图。

附图4是附图1的动作分隔示意图。

附图5是附图1的EMD分解流程图。

附图6是附图1的BP训练流程图。

具体实施方式：

实施例1：

一种基于表面肌电信号的语音信号识别系统，其组成包括:语音信号采集模块1，所述的语音信号采集模块1连接语音信号预处理模块2，所述的语音信号预处理模块2连接语音信号分隔模块3，所述的语音信号分隔模块3连接特征参数提取模块4，所述的特征参数提取模块4连接语音信号辨识模块5。

实施例2：

实施例1所述的基于表面肌电信号的语音信号识别系统，所述的语音信号采集模块的四对电极置于提肌口，颧肌部分，颈阔肌和二腹的前面腹部，参考电极置于鼻根部，采集四路表面肌电信号。

实施例3：

一种基于表面肌电信号的语音信号识别的方法，由四路电极采集面部四块肌肉对应的肌电信号；将采集到的信号进行去基线漂移、去工频干扰、去噪处理；将处理后的肌电信号按汉语特征和应用场合要求分隔为三段；将分隔后的各段信号经过经验模式分解(EMD)后提取本证模态函数(IMF)的希尔伯特(hilbert space 希尔伯特空间 hilbert transform 希伯特转换；希耳伯特变换；希尔波特滤波器 Hilbert)谱；建立三个BP神经网络，各段信号特征分别作BP神经网络的输入。

实施例4：

上述的基于表面肌电信号的语音信号识别系统和识别方法中，所述的语音信号预处理模块将所述的语音信号采集模块采集到的其中采取去均值后经过巴特沃斯高通滤波器的方法处理基线漂移，采取基于可变长最小均方误差自适应滤波器去除工频干扰，采取小波分析方法去噪。

实施例5：

上述的基于表面肌电信号的语音信号识别系统和识别方法中，所述的语音信号分隔模块将所述的语音信号采集模块采集到的其中采用动态累加和方法，检测连续时间窗内信号幅值的变化，通过检测信号幅值比对数的极值点，确定语音信号变化点，将信号分为：动作命令信号、数量信号和数量单位信号三段。

实施例6：

上述的基于表面肌电信号的语音信号识别系统和识别方法中，所述的特征参数提取模块，首先采用经验模式分解(EMD)的方法，将信号分解为系列IMF函数，然后对本证模态函数(IMF)函数提取希尔伯特(hilbert space 希尔伯特空间 hilbert transform 希伯特转换；希耳伯特变换；希尔波特滤波器 Hilbert)谱作为下一步识别的特征向量。

实施例7：

上述的基于表面肌电信号的语音信号识别系统和识别方法中，所述的语音信号辨识模块，将希尔伯特(hilbert space 希尔伯特空间 hilbert transform 希伯特转换；希耳伯特变换；希尔波特滤波器 Hilbert)谱作为BP神经网络的输入，设计神经网络结构进行训练学习，将语音信号按类分别对应识别。

实施例8：

上述的基于表面肌电信号的语音信号识别系统和识别方法中，所述的去基线漂移采用的方法：

首先将表面肌电时间序列去均值：

然后通过一个巴特沃斯高通滤波器：

其中， 为原始肌电信号离散时间序列，为去均值后的肌电信号离散时间序列，为滤波后的肌电信号离散时间序列。

实施例9：

上述的基于表面肌电信号的语音信号识别系统和识别方法中，所述的去工频干扰的方法：

工频干扰的主要频率成分为50HZ，使用可变长最小均方误差(LMS)自适应滤波器去除。自适应滤波器能自动跟踪频率的漂移，具有非常好的适应性，其结构简单性能稳定。其基本思想是调整滤波器自身参数，是滤波器的输出信号与期望输出信号之间的均方误差最小，这样系统输出的是有用信号的最佳估计。

输入信号矢量为：

其中

为期望提取的表面肌电信号，

为工频干扰噪声信号。

参考输入信号为：

，为一标准正弦波将其送入及端, 其中后者经过 90 度相移, 因而

，

权矢量为：

，两个权值 及 使得组合后的正弦波幅值和相位都可以调整, 因为两个权表示有两个自由度的调整。

自适应滤波器的输出为：

相应的自适应滤波器的输出误差调节信号为：

根据最小均方误差准则 MSE, 最佳的滤波器参量 ，应使得性能函数—均方误差为最小，也就是说根据极其过去值线性组合去估计，的最佳估计值

使估计误差的均方值最小，最小的均方误差为：

其中

，式中M为自适应滤波器的阶数；为期望输出值；

为收敛因子，控制自适应滤波器速度与稳定性的增益常数。

调节权矢量 使得幅度和相位都可以与原始输入中的干扰分量相同，即趋向于，则亦趋向于，使输出 中的单频干扰得以抵消, 以达到陷波的目的这时就可以得到期望信号

。

实施例10：

上述的基于表面肌电信号的语音信号识别系统和识别方法中，所述的去噪处理方法即小波去噪方法：

小波消噪是利用噪声与信号在各尺度上的小波谱具有不同表现，将各尺度上由噪声产生的小波谱分量去掉，这样保留下来的小波谱基本上就是真实信号的小波谱，再利用小波变换的重构算法重构原信号，即可得去噪后的信号；一个含噪声的一维信号模型可以表示成如下的形式：

式中

为真实信号，

为高斯白噪声，

为含噪声信号。

消噪过程可以按如下方法进行处理：首先对信号进行小波分解；信号中的低频分量通常为有用信号，信号中的高频分量为噪声；用门限阈值形式对小波系数进行处理，抑制信号中的高频噪声部分，保留低频信号，最后，将低频信号进行小波重构，得到原始信号中的无噪部分。

实施例11：

以上实施例所述的基于表面肌电信号的语音信号识别系统和识别方法中，语言语音丰富多样，造成识别困难，从提高识别率出发，按照实际应用场合，规定语言识别库，即规定一个一定语言内容的范围。本发明根据应用领域的要求，识别语言库包括三类语言：第一：方向动作语言，包括进、退、快、慢、上、下、左、右、止；第二：数量语言0~9；第三：数量单位语言包括：秒、米、度。这样划分基本包含了本发明领域的命令，如进50米，左15度等。按照以下两大部分中各步骤进行的：

第一部分离线学习阶段：

步骤一：由语音信号采集模块采集组合命令，其中应该包括所有命令动作语言，数量语言和数量单位语言，各部分应分别包括：进、退、快、慢、上、下、左、右、止；0~9；秒、米、度。间隔10秒，按顺序采集多组后将信号存储；

步骤二：由语音信号预处理模块对所有信号进行预处理，首先去均值经过巴氏高通滤波器，去除基线漂移影响；然后由图2去除工频干扰，其中S(n)为有用信号，V(n)为工频干扰，X(n)为参考输入信号，利用W ₁ (n)和W ₂ (n) 分别调节X(n)的相位和幅值，使之趋于V(n)，则输出E(n)趋于有用信号V(n)，从而去掉了肌电信号中影响性较大的工频干扰；最后进行小波分解，其信号频段如图3所示，其中各层高频信号为噪声，低频信号为肌电信号，去除高频信号后，将CA ₁ 、CA ₂ 、CA ₃ …进行小波重构，得到去除基线漂移，没有工频干扰，无噪的肌电信号。

步骤三：由语音信号分隔模块对信号进行分隔，在图4所示信号图中，利用动态累加和的方法，求取信号幅值比的对数，经过极值比较，得到各段信号，以组合命令“左15度”为例，第一个极小值与极大值分别对应于命令动作信号“左”的始端和终端，最后一个极小值与极大值分别对应于数量单位语言“度”的终端和始端，在命令与单位间的信号为数量信号，继续通过极值判断分别得到两端信号，即“1”和“5”。经过分隔后的信号为4段，每段信号均为一个字。

步骤四：由特征参数提取模块对信号进行特征参数提取，利用经验模式分解(EMD)方法首先对各段信号进行分解，流程图如图5所示，计算信号的极值点，通过极大值点得到上包络线，通过极小值点得到下包络线，然后计算上下包络线的均值，用新号减去均值，判断差值信号是否符合IMF函数的要求，如果不符合，将差值信号看作待分信号重新进行经验模式分解(EMD)；如果符合IMF函数要求，则差值信号即为IMF ₁ ，从原始信号中减去IMF ₁ ，剩余的信号再进行经验模式分解(EMD)，直到剩余的信号不可再分为止。如此流程，得到系列IMF函数。然后，对所有的IMF函数计算希尔伯特(hilbert space 希尔伯特空间 hilbert transform 希伯特转换；希耳伯特变换；希尔波特滤波器，Hilbert)谱作为信号特征参数。

步骤五：由语音信号辨识模块对信号进行辨识，经过上述各步骤，待辨识样本为各类语言各通道系列IMF函数的希尔伯特(hilbert space 希尔伯特空间 hilbert transform 希伯特转换；希耳伯特变换；希尔波特滤波器Hilbert)谱。设计基于L-M算法的BP神经网络1，对九种命令动作语言进行分类，设计BP神经网络2，对0~9十个数量信号进行分类，设计BP神经网络3，对三个数量单位信号进行分类。根据图(6)流程图所示，其训练过程类似。最终达到期望均值，各网络学习到信号与语言的对应关系，记录各网络训练结果。

第二部分在线学习阶段：

以“进5米”为例，由步骤一、二、三、四，前四个模块对信号进行系列处理。然后将提取到的特征值输入已训练好的各网络，各网络分别识别出“进”、“5”、“米”，达到识别效果。

Claims (10)

1.一种基于表面肌电信号的语音信号识别系统，其组成包括:语音信号采集模块，其特征是: 所述的语音信号采集模块连接语音信号预处理模块，所述的语音信号预处理模块连接语音信号分隔模块，所述的语音信号分隔模块连接特征参数提取模块，所述的特征参数提取模块连接语音信号辨识模块。

2.根据权利要求1所述的基于表面肌电信号的语音信号识别系统，其特征是: 所述的语音信号采集模块的四对电极置于提肌口，颧肌部分，颈阔肌和二腹的前面腹部，参考电极置于鼻根部，采集四路表面肌电信号。

3.一种基于表面肌电信号的语音信号识别方法，其特征是: 由语音信号采集模块的四路电极采集面部四块肌肉对应的肌电信号；将采集到的信号送到语音信号预处理模块进行去基线漂移、去工频干扰、去噪处理；将处理后的肌电信号通过语音信号分隔模块按汉语特征和应用场合要求分隔为三段；将分隔后的各段信号通过特征参数提取模块进行经验模式分解(EMD)分解后提取希尔伯特hilbert space 进行hilbert transform 希伯特转换；通过希尔波特滤波器 ；Hilbert谱；建立三个BP神经网络，各段信号特征分别作BP神经网络的输入通过语音信号辨识模块识别。

4.根据权利要求3所述的基于表面肌电信号的语音信号识别方法，其特征是: 所述的语音信号预处理模块将所述的语音信号采集模块采集到的其中采取去均值后经过巴特沃斯高通滤波器的方法处理基线漂移，采取基于可变长最小均方误差自适应滤波器去除工频干扰，采取小波分析方法去噪。

5.根据权利要求3或4所述的基于表面肌电信号的语音信号识别方法，其特征是: 所述的语音信号分隔模块将所述的语音信号采集模块采集到的其中采用动态累加和方法，检测连续时间窗内信号幅值的变化，通过检测信号幅值比对数的极值点，确定语音信号变化点，将信号分为：动作命令信号、数量信号和数量单位信号三段。

6.根据权利要求3或4或5所述的基于表面肌电信号的语音信号识别方法，其特征是: 所述的特征参数提取模块，首先采用经验模态分解(EMD)的方法，将信号分解为系列本证模态函数(IMF)，然后对该函数求取希尔伯特(hilbert space 希尔伯特空间 hilbert transform 希伯特转换；希耳伯特变换；希尔波特滤波器 Hilbert)谱作为下一步识别的特征向量。

7.根据权利要求3或4或5或6所述的基于表面肌电信号的语音信号识别系统，其特征是: 所述的语音信号辨识模块，将希尔伯特hilbert space 希尔伯特空间 hilbert transform 希伯特转换；希耳伯特变换；希尔波特滤波器 Hilbert)谱作为BP神经网络的输入，设计神经网络结构进行训练学习，将语音信号按类分别对应识别。

8.根据权利要求3或4或5或6或7所述的基于表面肌电信号的语音信号识别系统的方法，其特征是:所述的去基线漂移采用的方法：

首先将表面肌电时间序列去均值：

然后通过一个巴特沃斯高通滤波器：

其中，为原始肌电信号离散时间序列，为去均值后的肌电信号离散时间序列，为滤波后的肌电信号离散时间序列。

9. 根据权利要求3或4或5或6或7或8所述的基于表面肌电信号的语音信号识别系统的方法，其特征是:所述的去工频干扰的方法：

工频干扰的主要频率成分为50HZ，使用可变长最小均方误差（LMS）自适应滤波器去除, 自适应滤波器能自动跟踪频率的漂移，具有非常好的适应性，其结构简单性能稳定,其基本思想是调整滤波器自身参数，是滤波器的输出信号与期望输出信号之间的均方误差最小，这样系统输出的是有用信号的最佳估计;

输入信号矢量为：

其中

为期望提取的表面肌电信号，

为工频干扰噪声信号;

参考输入信号为：

，为一标准余弦波将其送入 及 端, 其中后者经过 90 度相移, 因而 

，

,

权矢量为：

，两个权值  及 ,使得组合后的正弦波幅值和相位都可以调整, 因为两个权表示有两个自由度的调整;

自适应滤波器的输出为：

，相应的自适应滤波器的输出误差调节信号为：

,

根据最小均方误差准则 MSE, 最佳的滤波器参量

，应使得性能函数—均方误差为最小，也就是说根据极其过去值线性组合去估计,，的最佳估计值

使估计误差的均方值最小，最小的均方误差为：

,，其中

，式中M为自适应滤波器的阶数；,

为收敛因子，控制自适应滤波器速度与稳定性的增益常数，

调节权矢量使得幅度和相位都可以与原始输入中的干扰分量相同，即趋向于，则,亦趋向于，使输出 ,中的,工频干扰得以抵消, 以达到陷波的目的这时就可以得到期望信号

。

10. 根据权利要求3或4或5或6或7或8或9所述的基于表面肌电信号的语音信号识别系统的方法，其特征是:所述的去噪处理方法即小波去噪方法：

小波消噪是利用噪声与信号在各尺度上的小波谱具有不同表现，将各尺度上由噪声产生的小波谱分量去掉，这样保留下来的小波谱基本上就是真实信号的小波谱，再利用小波变换的重构算法重构原信号，即可得去噪后的信号；一个含噪声的一维信号模型可以表示成如下的形式：

式中

为真实信号，

为高斯白噪声，

为含噪声信号，

消噪过程可以按如下方法进行处理：首先对信号进行小波分解；信号中的低频分量通常为有用信号，信号中的高频分量为噪声；用门限阈值形式对小波系数进行处理，抑制信号中的高频噪声部分，保留低频信号，最后，将低频信号进行小波重构，得到原始信号中的无噪部分。

Images