CN103294199B - 一种基于脸部肌音信号的无声信息识别系统 - Google Patents

Abstract

本发明涉及一种基于脸部肌音信号的无声信息识别系统，包括：传感器，采集脸部动作信号；信号调理电路，与传感器连接，对传感器采集的信号进行稳压、电压缩放处理；单片机，与信号调理电路连接，接收经信号调理电路处理后的信号，并对该信号依次进行信号预处理、特征提取处理和动作分类处理，输出分类结果；上位机接收端，与单片机连接，接收单片机的动作分类结果并显示。与现有技术相比，本发明具有结构简单、便捷性好、可实现无声信号实时准确传递等优点。

Description

一种基于脸部肌音信号的无声信息识别系统

技术领域

本发明涉及一种无声信息识别装置，尤其是涉及一种基于脸部肌音信号的无声信息识别系统。

背景技术

早在第二次世界大战以前，科学家们就对在十分嘈杂的环境中实现通信颇感兴趣，而推动这项事业前进的动力来自军事需求。最著名的研究就是怎样实现飞行员之间以及飞行员与指挥中心的语音通信。起初，科学家们采用喉部微麦克风实现在嘈杂的环境中进行通信。后来，随着该领域的深入，科学家们逐渐的把重心放在了对生物信号的研究上。

20世纪90年代末，美国国家航空航天局(NASA)在一个名为“延长人类感官的倡议”的计划中，埃姆斯研究中心(Ames Research Center)采用EMG(electromyography，肌电图)作为信号源，对人与人之间以及人与机器之间的通信手段做了系统的评估。1997年，埃姆斯研究中心的科学家们设想利用EEG和EMG实现人对机器的控制以及人与人之间的通信，并设计了实验对其进行了探索。2003年，该研究中心发现，采用EMG作为单信号源也可以实现预期的实验目标，并实现了该技术在消防队员之间通信的应用。

2009年12月22日在达拉斯举行的德州仪器开发者会议上，Ambient公司(伊利诺斯州Champaign)的CEO兼创始人之一Michael Callahan演示了Audeo——一个能够将有意识的神经冲动转换成数字信息并随后将该信息转换成合成语音的方案。Audeo技术通过一个绑在人们脖子上的无线传感器，来捕捉由大脑传送给声带的神经活动，然后通过模拟数字技术把它转化为语言，这个技术的本质就是从大脑获取神经信息并转换成语音，信号源为EEG(electroencephalograph，脑电图)。

2010年3月2日，在德国汉诺威国际信息及通信技术博览会展出一种“无声电话”，可把嘴唇活动即时转化为电脑发声。使用这种电话，人们无需发声就能让电话另一端的人听清说话内容，避免喋喋不休地打扰他人。这种电话由德国卡尔斯鲁厄技术学院研发，通过电极监测记录人讲话时嘴部肌肉活动变化，并转化成电脉冲后再变为电脑发声。这一过程中，讲话者无需发出任何声音。

由此可见，目前无声信息传递技术的信号源一般是EEG或EMG，并取得了一定的成果，但无声信息传递技术的发展仍处于初期阶段，还不能得到广泛的实际应用。由于EEG是非常复杂的，目前对它的研究还仅限于开发简单的脑机接口装置，距离临床使用还有很长的距离。而EMG又非常微弱(仅uV级)，表面电极检测出的肌电信息并不能完全反映人脑对某一动作的运动指令，而人体感受到的外电场干扰又相对十分强大(达V级)，这些因素都会影响到无声信息传递技术的准确性。

因此，适合的信号源对推进无声信息传递技术的发展至关重要，本发明就将对以肌音信号作为信号源来实现无声信息传递，这种信号对采集设备要求较低，容易形成产品产业化。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种结构简单、便捷性好、可实现无声信号实时准确传递的基于脸部肌音信号的无声信息识别系统。

本发明的目的可以通过以下技术方案来实现：

一种基于脸部肌音信号的无声信息识别系统，包括：

传感器，采集脸部动作信号；

信号调理电路，与传感器连接，对传感器采集的信号进行稳压、电压缩放处理；

单片机，与信号调理电路连接，接收经信号调理电路处理后的信号，并对该信号依次进行信号预处理、特征提取处理和动作分类处理，输出分类结果；

上位机接收端，与单片机连接，接收单片机的动作分类结果并显示。

所述的传感器为加速度传感器。

所述的传感器的频率范围为0.5～1000Hz。

所述的传感器设有两个，分别固定在脸部两侧的颊肌和咬肌相交处。

所述的信号预处理包括依次进行的数字滤波处理、归一化处理和信号分割处理。

所述的数字滤波处理通过FIR数字滤波器实现，所述的归一化处理通过线性函数转换实现。

所述的信号分割处理具体为：

1)通过滑动窗将归一化处理后的信号分割为多个部分；

2)计算当前滑动窗内信号的短时帧方差和绝对均值，判断短时帧方差和绝对均值是否均超过相应的阈值，若是，则执行步骤3)，若否，则执行步骤4)；

3)判断动作开始发生并记录动作开始时间，然后提取其后规定长度的信号作为动作信号段；

4)移动至下一滑动窗，返回步骤2)。

所述的特征提取处理提取的特征包括绝对均值、方差、斜率改变次数、过零率、均方根、AR模型估计量、高阶累积量、功率谱参数、倒谱系数和功率谱非负矩阵分解系数。

所述的动作分类处理具体为：根据特征提取的特征值采用训练好的二次分类器进行动作识别分类。

所述的二次分类器的训练过程如下：

令X是训练样本集，它有L个特征列，类别标记为Υ＝{1,2,…,n}，n为类别总数，通过以下公式计算训练样本x属于哪一类：

J(x)＝x^TAx+b^Tx+c

A、b、c是由训练样本集X得到的系数矩阵；

那么对一输入的测试样本y∈Y，如果y对应的函数值J_y是所有类别中的最大值，那么y即被分类到类别为y_t∈Υ中：

与现有技术相比，本发明具有以下优点：

(1)利用肌音信号实现无声信息传递，设备技术相对简单，易于实现产业化；

(2)本发明系统采用的结构体积小巧，上位机接收端可采用笔记本电脑等便捷设备，具备一定便携性；

(3)本发明通过单片机的多特征提取、二次分类器分类等信号处理过程可实现无声信息准确地、实时地传递。

附图说明

图1为本发明的结构示意图；

图2为本发明肌音信号分割处理示意图；

图3为本发明工作流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，一种基于脸部肌音信号的无声信息识别系统，包括依次连接的传感器1、信号调理电路2、单片机3和上位机接收端4。

1)传感器1，采集脸部动作信号。传感器是整个硬件系统中最为核心的器件，传感器的选择遵循以下几点原则：足够的灵敏度和分辨力。一般的声音传感器能够响应的最小频率大概在200Hz左右，而肌音信号的主要频段为0-50Hz。因此该系统推荐采用响应频率覆盖肌音信号频段，灵敏度适中，重量轻盈，体积微小的加速度信号传感器，如北京颐松公司的TD-3型压电式腿动信号微加速度信号传感器，其响应频率范围0.5～1000Hz，灵敏度150mV/G，重量小于20g。所述的传感器设有两个，分别固定在脸部两侧的颊肌和咬肌相交处。

2)信号调理电路2，与传感器1连接，对传感器采集的信号进行稳压、电压缩放处理。在本系统中由传感器采集的电压信号需通过单片机的A/D转换功能转换为数字信号，要求采集的电压信号稳定尽量少毛刺，并且电压范围在单片机可接收电压范围之内。如当传感器采集信号范围为-5～5v，而单片机接收范围为0～3v，此时系统信号调理电路需要同时具备稳压、电压抬升和缩放的功能，使传感器采集的信号范围转变为0～3v。

3)单片机3，与信号调理电路2连接，接收经信号调理电路处理后的信号，并对该信号依次进行信号预处理、特征提取处理和动作分类处理，输出分类结果。系统中单片机作用是对传感器采集的信号进行处理并分类，要求其具备一定的运算能力。如采用ARM-Cortex-M3开发板，该单片机具有开源易于编程，运算能力强大的优点，能很好的满足系统对信号处理和分类的要求。

4)上位机接收端4，与单片机3连接，接收单片机的动作分类结果并显示。系统采集到的实时信号经过单片机处理并分类后，将分类结果传输到上位机接收端，用以实现无声信号的表达。如接收端可以显示程序运行过程的信号数据如滤波后信号、归一化后信号数值等等，以用来检验程序运行是否出错，并显示动作分类结果。

从肌音信号中识别无声信息必须利用模式识别的技术，包括：信号预处理、特征提取和动作分类决策。

信号预处理的目的是去除噪声，加强有用信号，并对输入测量仪器或其他因素所造成的退化现象进行复原。信号预处理包括依次进行的数字滤波处理、归一化处理和信号分割处理。

1)数字滤波：其作用是减少低高频率噪音对目标信号的干扰，本发明采用FIR数字滤波器，其系统函数为：

2)归一化：其作用是归纳统一样本的分布性，便于处理。本发明采用线性函数转换，其表达式如下：

3)信号分割：如图2所示，信号分割处理具体为：

31)通过滑动窗将归一化处理后的信号分割为多个部分；

32)计算当前滑动窗i内信号的短时帧方差和绝对均值，判断短时帧方差AMV(i)和绝对均值VAR(i)是否均超过相应的阈值Gm、Gv，即判断AMV(i)＞Gm&VAR(i)＞Gv是否成立，若是，则执行步骤33)，若否，则执行步骤34)；

33)判断动作开始发生并记录动作开始时间，然后提取其后规定长度Lgap的信号作为动作信号段Si；

34)移动至下一滑动窗，返回步骤32)。

判断动作发生的阈值由经验得到，这种方法可以较好地分辨出动作的发生，满足基本需要。

模式识别中，不能将样本直接用来做分类，因为样本数据长度过长，数据维数过高，必须通过特定的方法获取其特征量，从而进行分类识别。本发明利用了绝对均值、方差、斜率改变次数、过零率、均方根、AR模型3阶估计量、三阶累积量、四阶累积量、功率谱参数中的谱均值和谱标准差、倒谱系数、功率谱非负矩阵分解系数等特征，每个信号单通道共提取特征量18个。多特征的选取保证了分类结果的准确性，各特征描述如下。

1)常用统计量

常用统计量是只统计学中经常用到的量，本发明中主要包括绝对均值、方差值、绝对均值差分、斜率改变次数、过零率和均方根。若s_i＝{x₁,x₂,…,x_M},1≤i≤N代表第i个分割得到的动作信号，其部分统计量定义如下：

绝对均值：

方差值：

绝对均值差分：

斜率改变次数：式中

过零率：

均方根：

2)AR模型估计量

对采集到的一段肌音信号，其本质上是非平稳过程，但对于分割得到的动作信号，可视为短时平稳信号。所以在估计肌音动作信号时，为减少参数个数和模型复杂性，自回归模型被用来估计这些分割出来的短时肌音信号的模型参数。

AR(p)表示p阶自回归模型，其定义如下，

式中是自回归模型对肌音信号时间序列的估计参数，ε_t是白噪声。

确定自回归模型的阶数是此处提取特征的重要步骤，一般而言，对于平稳时间序列，不使用超过5阶的自回归模型来估计模型参数。在本发明中我们选择使用三阶自回归模型，由此，经过估计后，得到三个估计参数，也就是三个特征量。

3)高阶累积量

本发明中由于肌音信号的产生设计到肌肉的振动等过程，故肌音信号在统计上有非高斯成分，所以本研究选择三阶和四阶累积量来作为肌音信号的特征，下面详细叙述它们的定义。

对于高斯过程，其一阶矩为均值，二阶矩为方差，二阶以上的累积量为零，所以用高阶统计量分析高斯过程有效性较低。而对于非高斯过程x(t)，若令其均值为E{x(t)}，相关函数为R_x(τ)＝E{x(t)x(t+τ)}，而在实际应用中，为了求得k阶累积量的一致样本估计，通常假设非高斯过程x(t)是2k阶绝对可求和的，也即：

当x(t)满足上式的假设时，则可由下面三个公式估计样本数据s_i＝{x₁,x₂,…,x_M},1≤i≤N的三阶累积量和四阶累积量。

其中，为：

4)功率谱参数

本发明采用WELCH法估计信号的功率谱。Welch功率谱密度就是用改进的平均周期图法来求取随机信号的功率谱密度估计的，它采用信号重叠分段、加窗函数和FFT算法等计算一个信号序列的自功率谱估计。假定有肌音信号s_i＝{x₁,x₂,…,x_M},1≤i≤N，它的Fourier变换和功率谱密度估计存在下面的关系：

式中，

计算得到肌音信号s_i的功率谱估计后，则谱均值和谱标准差由一下两式定义：

5)倒谱系数

由于本研究中的肌音信号在信号产生机理上和人声音信号有一定的相似性，故此处也对肌音信号做倒频谱分析，提取其实倒频谱均值，作为后续模式识别的特征之一，其表达式如下：

式中，

6)功率谱非负矩阵分解系数

非负矩阵分解是Daniel D.Lee提出的一种新的对矩阵进行操作的方法。和其他的矩阵分解方法如QR分解，奇异值分解一样，它的目的是为了找到两个或以上的子矩阵，它们的乘积等于原矩阵，同时这些子矩阵有更好的特性，如秩值低，稀疏度大等。然而，与其他方法不同的是，非负矩阵分解对被分解飞矩阵和分解得到的子矩阵都有非负的约束，而且其他的约束方法也可以被添加以获得相应的分解方法。

非负矩阵分解问题可以描述为：假设一个m×n的非负矩阵矩阵V，可以将其分解为一个m×r的非负矩阵矩阵W和r×n的非负矩阵矩阵H，V＝WH。

原矩阵V的一列向量可解释为对左矩阵W所有列的加权和，而右矩阵H中对应列向量中的元素为此加权系数。由此，对于每一段肌音信号，结果动作分割后，在对其求功率谱估计，得到的功率谱矩阵为给定一正整数d＜min{k,m}，非负矩阵和那么通过下式中的函数f(W,H)的最小值问题即可求解得到所要求的非负分解矩阵，我们此处取正整数d的值为3，最后得到的权值矩阵H作为特征量。

本发明采用双通道(即两个传感器进行信号采集)，并直接分别对两路肌音信号提取特征，最后把两组18个特征合并，得到最终的36基本特征用来识别脸部动作。

动作分类处理具体为：根据特征提取的特征值采用训练好的二次分类器进行动作识别分类。二次分类器的训练过程如下：

令X是训练样本集，它有L个特征列，类别标记为Υ＝{1,2,…,n}，n为类别总数，通过以下公式计算训练样本x属于哪一类：

J(x)＝x^TAx+b^Tx+c

式中，A[L×L]、b[L×1]、c[1×1]是由训练样本集X得到的系数矩阵；

那么对一输入的测试样本y∈Y，如果y对应的函数值J_y是所有类别中的最大值，那么y即被分类到类别为y_t∈Υ中：

信号采集要求：

本发明中系统的两个传感器应固定在脸部两侧的颊肌和咬肌相交处作为肌音信号采集点，该采集点能够采集到强度较强的肌音信号，并能够较好的表达相应的脸部动作。

本发明要求采集当人体做出“a”“o”“m”“e”四种发声动作时(采集过程不发声)作为四种无声信号，除传感器应固定在最佳采集点外，要求被采者采用坐姿，上身正直不动，两手自然放置于膝处，并且每个动作要求做得快速、饱满有力。

图3为系统运行流程图。如上所述，本系统是以单片机(如ARM-Cortex-M3)为控制核心，通过一定的调理电路，结合压电传感器和上位机接收终端组成无声信息实时传递系统。下面将结合附图对整个过程的实现作详细的说明。

1)首先，使用者需用系统采集“a”“o”“e”“m”四种信号10组以上用来组成训练样本，需按文中所述信号采集要求进行采集。

2)之后将采集样本收集于PC端，在PC端运行信号处理及特征提取程序提取所有单个信号样本的对应特征，组成特征向量并标好类别。

3)在PC端通过软件(如Matlab或SPSS)采用二次分类算法完成四种信号的分类，并采用交叉验证方法验证算法识别率，若低于90％则重新采集样本。最后将验识别率高于90％的分类算法移植到单片机中。

4)完成上述工作后即可进行信号实时分类并输出。首先开启电源、单片机和接收端以启动系统。

5)之后按照信号采集要求，任意做出单个已训练动作，包括“a”“o”“e”“m”。

6)由单片机对信号进行处理并分类。

7)PC上位机中将显示相应分类结果。

当被测者完成10组(每组四个动作)以上信号样本时，实验验证当用该分类器在进行“a”“o”“m”“e”四个发声动作的分类时，可以实现双通道95.42±2.31％的识别正确率，满足实用需要。

Claims (8)

1.一种基于脸部肌音信号的无声信息识别系统，其特征在于，包括：

传感器，采集脸部动作信号，所述的传感器设有两个，分别固定在脸部两侧的颊肌和咬肌相交处；

信号调理电路，与传感器连接，对传感器采集的信号进行稳压、电压缩放处理；

单片机，与信号调理电路连接，接收经信号调理电路处理后的信号，并对该信号依次进行信号预处理、特征提取处理和动作分类处理，输出分类结果；

上位机接收端，与单片机连接，接收单片机的动作分类结果并显示；

所述的特征提取处理具体为：对经信号预处理后的两路传感器信号进行特征提取，并将提取到的两组特征值合并；

所述的动作分类处理具体为：根据特征提取的特征值采用训练好的二次分类器进行动作识别分类；

所述无声信息识别系统的运行流程为：利用传感器采集多组“a”“o”“e”“m”四种信号作为训练样本，进行信号预处理和特征提取处理，实现二次分类器的训练，将训练好的二次分类器移植到单片机中，单片机通过移植到单片机中采集任意单个已训练动作信号，进行处理并分类，实现双通道95.42±2.31％的识别正确率。

2.根据权利要求1所述的一种基于脸部肌音信号的无声信息识别系统，其特征在于，所述的传感器为加速度传感器。

3.根据权利要求1所述的一种基于脸部肌音信号的无声信息识别系统，其特征在于，所述的传感器的频率范围为0.5～1000Hz。

4.根据权利要求1所述的一种基于脸部肌音信号的无声信息识别系统，其特征在于，所述的信号预处理包括依次进行的数字滤波处理、归一化处理和信号分割处理。

5.根据权利要求4所述的一种基于脸部肌音信号的无声信息识别系统，其特征在于，所述的数字滤波处理通过FIR数字滤波器实现，所述的归一化处理通过线性函数转换实现。

6.根据权利要求4所述的一种基于脸部肌音信号的无声信息识别系统，其特征在于，所述的信号分割处理具体为：

1)通过滑动窗将归一化处理后的信号分割为多个部分；

2)计算当前滑动窗内信号的短时帧方差和绝对均值，判断短时帧方差和绝对均值是否均超过相应的阈值，若是，则执行步骤3)，若否，则执行步骤4)；

3)判断动作开始发生并记录动作开始时间，然后提取其后规定长度的信号作为动作信号段；

4)移动至下一滑动窗，返回步骤2)。

7.根据权利要求1所述的一种基于脸部肌音信号的无声信息识别系统，其特征在于，所述的特征提取处理提取的特征包括绝对均值、方差、斜率改变次数、过零率、均方根、AR模型估计量、高阶累积量、功率谱参数、倒谱系数和功率谱非负矩阵分解系数。

8.根据权利要求1所述的一种基于脸部肌音信号的无声信息识别系统，其特征在于，所述的二次分类器的训练过程如下：

令X是训练样本集，它有L个特征列，类别标记为Υ＝{1,2,…,n}，n为类别总数，通过以下公式计算训练样本x属于哪一类：

J(x)＝x^TAx+b^Tx+c

A、b、c是由训练样本集X得到的系数矩阵；

那么对一输入的测试样本y，如果y对应的函数值J_y是所有类别中的最大值，那么y即被分类到类别为y_t∈Υ中：