CN105919591A - 一种基于表面肌电信号的手语识别发声系统及方法 - Google Patents

Abstract

本发明提供一种基于表面肌电信号的手语识别发声系统及方法，该系统包括肌电采集单元、惯性测量单元、处理器单元和语音合成单元，肌电采集单元设置于受试者的手臂肌肉处，惯性测量单元设置于受试者手腕处，肌电采集单元的输出端和惯性测量单元的输出端均连接处理器单元的输入端，处理器单元的输出端连接语音合成单元的输入端；该方法为：采集受试者手臂部的肌电信号和手腕处动作的加速度信号，提取肌电信号的特征值和加速度信号的特征值，将肌电信号的特征值和加速度信号的特征值与各个手语动作的匹配模型库进行匹配，将匹配到的手语动作以文本形式输出，将手语动作的文本形式转换为声音，输出该手语动作的声音。

Description

一种基于表面肌电信号的手语识别发声系统及方法

技术领域

本发明属于数字信号处理及服务机器人技术领域，具体涉及一种基于表面肌电信号的手语识别发声系统及方法。

背景技术

手语是聋哑残疾人使用的语言。它是用手势比量动作，根据手势的变化模拟形象或者音节以构成一定的意思或词语，是一种靠动作和视觉进行交际的特殊语言。然而，手语是一个庞大而复杂的语言系统，让大多数正常人掌握并应用手语直接与聋哑残疾人进行交流显然是不现实的。目前聋哑人与正常人之间的沟通仅仅限于以懂手语的正常人做翻译等手段，在很大程度上限制了聋哑人的交流范围，使得不懂手语的正常人无法对聋哑残疾人所表达的全面理解，给聋哑残疾人日常生活、工作和学习带来极大的不便。

发明内容

针对现有技术的不足，本发明提出一种基于表面肌电信号的手语识别发声系统及方法。

本发明的技术方案是：

一种基于表面肌电信号的手语识别发声系统，包括肌电采集单元、惯性测量单元、处理器单元和语音合成单元；

所述肌电采集单元设置于受试者的手臂肌肉处，所述惯性测量单元设置于受试者手腕处，所述肌电采集单元的输出端和惯性测量单元的输出端均连接处理器单元的输入端，所述处理器单元的输出端连接语音合成单元的输入端；

所述肌电采集单元，用于采集受试者手臂部的肌电信号，发送至处理器单元；

所述惯性测量单元，用于采集受试者手腕处动作的加速度信号，发送至处理器单元；

所述处理器单元，用于将实时采集受试者使用手语时的肌电信号和加速度信号进行预处理，提取肌电信号的特征值和加速度信号的特征值，将肌电信号的特征值和加速度信号的特征值与各个手语动作的匹配模型库进行匹配，将匹配到的手语动作以文本形式输出至语音合成单元；

所述语音合成单元，用于将手语动作的文本形式转换为声音，输出该手语动作的声音。

还包括上位机，所述上位机通过RS232串口连接处理器单元，所述肌电采集单元的输出端和惯性测量单元的输出端均通过蓝牙连接所述上位机；

所述上位机，用于对采集的受试者的肌电信号和加速度信号进行预处理，提取肌电信号的特征值和加速度信号的特征值，将肌电信号特征值和加速度信号特征值作为分类器的输入，将不同手语动作的肌电信号特征值和加速度信号特征值输入分类器，得到各个手语动作的匹配模型库，将各个手语动作的匹配模型库输入处理器单元。

所述语音合成单元，包括语音合成模块、功放模块和喇叭。

所述分类器采用基于高斯混合模型的多流隐马尔科夫模型。

所述提取肌电信号的特征值包括肌电信号的均方根、肌电信号的短时傅里叶变换特征向量和肌电信号的功率谱密度特征值；

所述提取加速度信号的特征值包括加速度信号的均方根、加速度信号的短时傅里叶变换特征向量和加速度信号的功率谱密度特征值。

采用基于表面肌电信号的手语识别发声系统进行手语识别发声的方法，包括以下步骤：

步骤1：通过肌电采集单元采集受试者的使用各手语动作时手臂部的肌电信号，通过惯性测量单元采集受试者的使用各手语动作时手腕处动作的加速度信号，发送至上位机；

步骤2：上位机对采集的受试者的肌电信号和加速度信号进行预处理，提取肌电信号的特征值和加速度信号的特征值；

步骤3：上位机将肌电信号特征值和加速度信号特征值作为分类器的输入，将不同手语动作的肌电信号特征值和加速度信号特征值输入分类器，得到各个手语动作的匹配模型库，将各个手语动作的匹配模型库输入处理器单元；

步骤4：通过肌电采集单元实时采集受试者的使用手语动作时手臂部的肌电信号，通过惯性测量单元实时采集受试者的使用手语动作时手腕处动作的加速度信号，发送至处理器单元；

步骤5：处理器单元将实时采集受试者使用手语时的肌电信号和加速度信号进行预处理，提取肌电信号的特征值和加速度信号的特征值；

步骤6：处理器单元将肌电信号的特征值和加速度信号的特征值与各个手语动作的匹配模型库进行匹配，将匹配到的手语动作以文本形式输出至语音合成单元；

步骤7：语音合成单元将手语动作的文本形式转换为声音，输出该手语动作的声音。

本发明的有益效果：

本发明提出一种基于表面肌电信号的手语识别发声系统及方法，本发明利用提取不同特征向量输入多流隐马尔科夫分类器的方法，在离线的情况下得到最佳的手语与信号的匹配模板，并通过实时采集的表面肌电信号和加速度信号与模板匹配识别聋哑残疾人的手语，极大程度上提高了识别的实时性和准确性，并将识别结果实时转化为正常人听得懂的声音，有效减轻了聋哑残疾人与正常人之间的交流障碍。

附图说明

图1为本发明具体实施方式中基于表面肌电信号的手语识别发声系统的结构框图；

图2为本发明具体实施方式中采集的受试者手臂部的肌电信号；

图3为本发明具体实施方式中采集的受试者手腕处动作的加速度信号；

图4为本发明具体实施方式中四块肌肉的肌电信号功率谱密度谱图；

其中，(a)为1号肌肉簇的预处理后的肌电信号；

(b)为2号肌肉簇的预处理后的肌电信号；

(c)为1号肌肉簇的功率谱密度(PSD)；

(d)为2号肌肉簇的功率谱密度(PSD)；

(e)为3号肌肉簇的预处理后的肌电信号；

(f)为4号肌肉簇的预处理后的肌电信号；

(g)为3号肌肉簇的功率谱密度(PSD)；

(h)为4号肌肉簇的功率谱密度(PSD)；

图5为本发明具体实施方式中S3C2440A处理器的电路图；

图6为本发明具体实施方式中语音合成单元的结构框图；

图7为本发明具体实施方式中基于表面肌电信号的手语识别发声方法的流程图；

图8为本发明具体实施方式中选取的12种不同手语图；

图9为本发明具体实施方式中提取12种手语肌电信号的特征值与加速度信号的特征值分布图。

具体实施方式

下面结合附图对本发明具体实施方式加以详细的说明。

一种基于表面肌电信号的手语识别发声系统，如图1所示，包括肌电采集单元、惯性测量单元、处理器单元和语音合成单元，还包括上位机。

肌电采集单元设置于受试者的手臂肌肉处，惯性测量单元设置于受试者手腕处，肌电采集单元的输出端和惯性测量单元的输出端连接处理器单元的输入端，处理器单元的输出端连接语音合成单元的输入端，上位机通过RS232串口连接处理器单元，肌电采集单元的输出端和惯性测量单元的输出端通过蓝牙连接上位机。

肌电采集单元，用于采集受试者手臂部的肌电信号，发送至处理器单元。

本实施方式中，肌电信号采集单元采用的是津发科技有限公司定做的生理信号获取平台。肌电采集端子通过贴附于受试者皮肤表面的电极片获取电位变化，经过内部放大电路放大，以无线传输方式实时发送给接收端，该系统可以同时采集16路sEMG等生理信号，每一导采样频率可以达到4096Hz，sEMG量程为正负1500uv，共模抑制比达到110DB，干扰噪声最大小于1.7uv，每个接收端充满电后可以连续使用4～6小时，接收端与采集端最远距离可达500m，具有极强的跟踪范围，并且采集使用方便快捷。

本实施方式中，采集的受试者手臂部的肌电信号如图2所示，图2为“再见”手语的4块主要肌肉的表面肌电信号。

惯性测量单元，用于采集受试者手腕处动作的加速度信号，发送至处理器单元。

本实施方式中，惯性测量单元选取的是由荷兰Xsens公司提供的MTi微惯性航姿系统。MTi为一套微型陀螺仪增强姿态和航向参考系统(AHRS)，通过MTi微惯性航姿系统自带惯性低功耗微处理器能够得到无漂移地三轴方向和三轴校正地三轴加速度、三轴旋转地加速度陀螺和三轴地磁场的数据。MTi微惯性航姿系统可以通过串行接口RS-232或者USB接口与上位机相连接，可以实时显示采集数据，并且方便后续处理。

本实施方式中，采集的受试者手腕处动作的加速度信号如图3所示，MTi微惯性航姿系统的综合指标如表1所示：

表1 MTi微惯性航姿系统的综合指标

上位机，用于对采集的受试者的肌电信号和加速度信号进行预处理，提取肌电信号的特征值和加速度信号的特征值，将肌电信号特征值和加速度信号特征值作为分类器的输入，将不同手语动作的肌电信号特征值和加速度信号特征值输入分类器，得到各个手语动作的匹配模型库，将各个手语动作的匹配模型库输入处理器单元。

本实施方式中，对采集的受试者的肌电信号和加速度信号进行预处理具体包括：利用巴特沃斯滤波器和50Hz陷波器进行伪迹去除、带通滤波、叠加窗处理优化。

本实施方式中，提取肌电信号的特征值包括肌电信号的均方根、肌电信号的短时傅里叶变换特征向量和肌电信号的功率谱密度特征值。

提取加速度信号的特征值包括加速度信号的均方根、加速度信号的短时傅里叶变换特征向量和加速度信号的功率谱密度特征值。

本实施方式中，均方根是最常用的时域特征，能反映一定时间内肌肉放电的平均水平，被认为是与募集的运动单元数量和肌纤维放电的同步化有关，提取肌电信号的均方根和加速度信号的均方根的公式如式(1)所示：

$RMS=\sqrt{\frac{{\∫}_t^{t+T}{s}^2\left(t\right)dt}{T}}---\left(1\right)$

其中，RMS为肌电信号的均方根或加速度信号的均方根，s(t)为预处理后的肌电信号或预处理后的加速度信号，T为采样时间。

本实施方式中，短时傅里叶变换把信号划分成许多小的时间间隔，用傅里叶变换分析每一个时间间隔，可以确定在那个时间间隔存在的频率，这些频谱的总体表示了频谱在时间上的变化。

本实施方式中，肌电信号的短时傅里叶变换特征向量和加速度信号的短时傅里叶变换特征向量的计算公式如式(2)所示：

$P_{SP}(t,w)=|S_t\left(w\right){|}^2=|\frac{1}{\sqrt{2\mathrm{\π}}}\∫e^{-jwt}s\left(t\right)h(t-\mathrm{\Δ}t)dt{|}^2---\left(2\right)$

其中，P_SP(t，w)为肌电信号的短时傅里叶变换特征向量或加速度信号的短时傅里叶变换特征向量，S_t(ω)为肌电信号的短时傅里叶变换或加速度信号的短时傅里叶变换如式(3)所示：

$S_t\left(\mathrm{\ω}\right)=\frac{1}{\sqrt{2\mathrm{\π}}}\∫e^{-jwt}s\left(t\right)h(t-\mathrm{\Δ}t)dt---\left(3\right)$

其中，h(t-Δt)为以t为中心的分析窗。

对于每一个不同的时间，都可以得到一个不同的频谱，这些频谱的总体构成了信号的时-频分布P_SP(t，w)，通常称之为“频谱图”。体现出不同肌肉动作时，肌电信号的频谱分布及其随时间的变化确实呈现出不同的特性。

本实施方式中，功率谱密度是结构在随机动态载荷激励下响应的统计结果，是一条功率谱密度值-频率值的关系曲线。数学上，功率谱密度值-频率值的关系曲线下的面积就是方差，即响应标准偏差的平方值。随机信号的功率谱密度用来描述信号的能量特征随频率的变化关系。

功率谱密度估计：随机信号的功率谱与自相关函数互为傅里叶变换的关系，这两个函数分别从频率域和时间域来表征随机信号的基本特征。随机信号的功率谱与自相关函数互为傅里叶变换的关系，这两个函数分别从频率域和时间域来表征随机信号的基本特征。其中分为线性估计和非线性估计，在非线性估计里最常用的是最大熵估计。

本实施方式中，使用基于Burg算法的最大熵估计方法得到肌电信号的功率谱密度特征值和加速度信号的功率谱密度特征值，最大熵估计，即将具有功率谱密度的信号看成由白噪声所激励的物理网络所形成。通过Burg算法进行功率谱估计时是使前后向预测误差功率和最小。当阶次由1增大时在前述约束下，利用递推关系求解模型阶次和AR系数，最终求出肌电信号的功率谱密度特征值和加速度信号的功率谱密度特征值。此方法最突出的优点是具有较高的分辨率。最终得到的4块肌肉簇的肌电信号功率谱密度如图4所示。

分类器采用基于高斯混合模型的多流隐马尔科夫模型。本实施方式中，隐马尔科夫模型：用于时序信号特征识别的基本工具，具有很强的描述信号时空变化能力，尤其是对非平稳生理信号。

隐马尔科夫模型描述了一组双重随机过程，将肌电信号特征值和加速度信号特征值作为隐马尔科夫模型的输入，将不同手语动作的肌电信号特征值和加速度信号特征值输入隐马尔科夫模型，输出为由隐马尔科夫模型产生该特征值的似然概率。

多流隐马尔科夫模型：多流模型框架为多元信息融合提供了一种高效便利的方法，本发明中采用加速度(ACC)信号和表面肌电(sEMG)信号进行多流隐马尔科夫模型(HMM)融合，可以显著提高低信噪比情况下的语音识别准确性。

本实施方式中，一个待识别的动作的观测序列O由K个流组成，如式(4)所示：

O＝{O^(k)|k＝1，2，，，，K} (4)

其中，O^(k)为对应每个流的特征序列，则对每个动作类别建立的多流隐马尔科夫模型λ具有K个子模型区如式(5)所示：

λ＝{λ^(k)|k＝1，2，，，，K} (5)

其中，λ^(k)为第k个子模型区的隐马尔科夫模型如式(6)所示：

λ^(k)＝(A，B，π)^(k) (6)

其中，A＝[A_ij]为转移概率矩阵，其中a_ij代表由第i个状态跳转到第j个状态的概率，a_ij≥0，1≤i，j≤N，N为所选的状态数，π＝[π_i]为初始概率向量，π_i为每个状态初始概率，B为肌电信号的概率密度函数矩阵或加速度信号的概率密度函数矩阵如式(7)所示：

B＝{b_j(o_t)} (7)

其中，b_j(o_t)为j状态下观测符号o_t的概率密度，o_t为肌电信号的特征序列第t个时刻的特征值或加速度信号的特征序列第t个时刻的特征值。

多流隐马尔科夫模型中，观测序列O的识别结果可以表述为由该序列取得最大评估概率的模型所对应的类别如式(8)所示：

$\widehat{\mathrm{\λ}}=\arg \underset{\mathrm{\λ}}{\max }P\left(O\right|\mathrm{\λ})---\left(8\right)$

其中，为观测序列O的最大评估概率的模型所对应的类别，即该动作手语的匹配模型。其中，P(O|λ)为在每个动作类别建立的多流隐马尔科夫模型λ条件下，得到观测序列O的条件概率，如式(9)所示：

$P\left(O\right|\mathrm{\λ})=\underset{k=1}{\overset{K}{\Π}}{P}^{W_k}\left(O^{\left(k\right)}\right|{\mathrm{\λ}}^{\left(k\right)})---\left(9\right)$

其中，w_k为多流数据融合的权值w_k≥0，1≤k≤K，

本实施方式中，肌电信号特征序列和加速度信号特征序列作为多流隐马尔科夫模型的输入，如式(10)所示：

log P(O|λ)＝wlogP(O^(A)|λ^(A))+(1-w)log P(O^(E)|λ^(E)) (10)

其中，O^(A)为加速度信号特征值序列，O^(E)为肌电信号特征值序列，λ^(A)为加速度信号生成的多流隐马尔科夫模型，λ^(E)为加速度信号生成的多流隐马尔科夫模型，w为权值，w＝0～1。

本实施方式中，以w为权值进行加权处理，对每一个数据流的模型参数λ使用标准Baum-Welch算法即前向算法，进行训练建模。

处理器单元，用于将实时采集受试者使用手语时的肌电信号和加速度信号进行预处理，提取肌电信号的特征值和加速度信号的特征值，将肌电信号的特征值和加速度信号的特征值与各个手语动作的匹配模型库进行匹配，将匹配到的手语动作以文本形式输出至语音合成单元。

本实施方式中，处理器单元选用S3C2440A处理器，如图5所示，S3C2440处理器是Samsung公司基于ARM公司的ARM920T处理器核，为32位微控制器。S3C2440处理器拥有：独立的16KB指令Cache和16KB数据Cache，MMU，支持TFT的LCD控制器，NAND闪存控制器，3路UART，4路DMA，4路带PWM的Timer，I/O口，RTC，8路10位ADC，Touch Screen接口，IIC-BUS接口，IIS-BUS接口，2个USB主机，1个USB设备，SD主机和MMC接口，2路SPI。S3C2410处理器最高可运行在203MHz。其丰富的功能单元为系统功能的实现及以后的升级拓展提供了保障。

语音合成单元，用于将手语动作的文本形式转换为声音，输出该手语动作的声音。

本实施方式中，语音合成单元，包括语音合成模块、功放模块和喇叭。

本实施方式中，语音合成模块选用国内科大讯飞公司生产的XFS3031CNP中文语音合成芯片。如图6所示，语音合成模块XFS3031CNP的RXD引脚和TXD引脚连接处理器单元，XFS3031CNP的AUDIO引脚连接功放模块，功放模块的AUDIO引脚连接喇叭。

XFS3031CNP中文语音合成芯片，采用64脚封装，芯片尺寸10mm×10mm×1.4mm。相对于入门级芯片，采用智能的文本韵律处理方法和压缩编码方式，使得发音人音色柔和甜美，带来舒适的听觉感受，支持任意中文文本的合成，可以采用GB2312、GBK、BIG5和UNICODE四种编码方式；芯片支持多种文本控制标记，同时可通过发送“合成命令”发送文本控制标记，调节音量、设置数字读法、设置静音时间等。此外芯片支持查询芯片的工作状态、多种控制命令、低功耗模式。被广泛用在车载GPS调度终端、信息机、自动售货机、智能仪器、智能玩具等众多领域。

本实施方式中，功放模块选用TPA3123D2功率放大器，，采用节省空间的表面贴装24引脚TSSOP封装，工作电压范围10V～30V，在VCC＝24V时输出功率为20w，最大输出功率为25W(工作电压24V，负载4欧)；输出功率25W(工作电压27V，负载4欧)。内含左右两个声道音频功放电路，并可以驱动低至4个立体扬声器。

采用基于表面肌电信号的手语识别发声系统进行手语识别发声的方法，如图7所示，包括以下步骤：

步骤1：通过肌电采集单元采集受试者的使用各手语动作时手臂部的肌电信号，通过惯性测量单元采集受试者的使用各手语动作时手腕处动作的加速度信号，发送至上位机。

本实施方式中，选取12种不同手语图如图8所示，包括：“你”、“我”、“好”、“再见”、“谢谢”、“敬礼”、“高兴”、“失望”、“想”、“很”、“听”、“说话”。

步骤2：上位机对采集的受试者的肌电信号和加速度信号进行预处理，提取肌电信号的特征值和加速度信号的特征值。

本实施方式中，提取12种手语肌电信号的特征值与加速度信号的特征值分布图如图9所示。

步骤3：上位机将肌电信号特征值和加速度信号特征值作为分类器的输入，将不同手语动作的肌电信号特征值和加速度信号特征值输入分类器，得到各个手语动作的匹配模型库，将各个手语动作的匹配模型库输入处理器单元。

步骤4：通过肌电采集单元实时采集受试者的使用手语动作时手臂部的肌电信号，通过惯性测量单元实时采集受试者的使用手语动作时手腕处动作的加速度信号，发送至处理器单元。

步骤5：处理器单元将实时采集受试者使用手语时的肌电信号和加速度信号进行预处理，提取肌电信号的特征值和加速度信号的特征值。

步骤6：处理器单元将肌电信号的特征值和加速度信号的特征值与各个手语动作的匹配模型库进行匹配，将匹配到的手语动作以文本形式输出至语音合成单元。

步骤7：语音合成单元将手语动作的文本形式转换为声音，输出该手语动作的声音。

Claims (6)

1.一种基于表面肌电信号的手语识别发声系统，其特征在于，包括肌电采集单元、惯性测量单元、处理器单元和语音合成单元；

所述肌电采集单元设置于受试者的手臂肌肉处，所述惯性测量单元设置于受试者手腕处，所述肌电采集单元的输出端和惯性测量单元的输出端均连接处理器单元的输入端，所述处理器单元的输出端连接语音合成单元的输入端；

所述肌电采集单元，用于采集受试者手臂部的肌电信号，发送至处理器单元；

所述惯性测量单元，用于采集受试者手腕处动作的加速度信号，发送至处理器单元；

所述处理器单元，用于将实时采集受试者使用手语时的肌电信号和加速度信号进行预处理，提取肌电信号的特征值和加速度信号的特征值，将肌电信号的特征值和加速度信号的特征值与各个手语动作的匹配模型库进行匹配，将匹配到的手语动作以文本形式输出至语音合成单元；

所述语音合成单元，用于将手语动作的文本形式转换为声音，输出该手语动作的声音。

2.根据权利要求1所述的基于表面肌电信号的手语识别发声系统，其特征在于，还包括上位机，所述上位机通过RS232串口连接处理器单元，所述肌电采集单元的输出端和惯性测量单元的输出端均通过蓝牙连接所述上位机；

所述上位机，用于对采集的受试者的肌电信号和加速度信号进行预处理，提取肌电信号的特征值和加速度信号的特征值，将肌电信号特征值和加速度信号特征值作为分类器的输入，将不同手语动作的肌电信号特征值和加速度信号特征值输入分类器，得到各个手语动作的匹配模型库，将各个手语动作的匹配模型库输入处理器单元。

3.根据权利要求1所述的基于表面肌电信号的手语识别发声系统，其特征在于，所述语音合成单元，包括语音合成模块、功放模块和喇叭。

4.根据权利要求2所述的基于表面肌电信号的手语识别发声系统，其特征在于，所述分类器采用基于高斯混合模型的多流隐马尔科夫模型。

5.根据权利要求1或2所述的基于表面肌电信号的手语识别发声系统，其特征在于，所述提取肌电信号的特征值包括肌电信号的均方根、肌电信号的短时傅里叶变换特征向量和肌电信号的功率谱密度特征值；

所述提取加速度信号的特征值包括加速度信号的均方根、加速度信号的短时傅里叶变换特征向量和加速度信号的功率谱密度特征值。

6.采用权利要求1所述的基于表面肌电信号的手语识别发声系统进行手语识别发声的方法，其特征在于，包括以下步骤：

步骤1：通过肌电采集单元采集受试者的使用各手语动作时手臂部的肌电信号，通过惯性测量单元采集受试者的使用各手语动作时手腕处动作的加速度信号，发送至上位机；

步骤2：上位机对采集的受试者的肌电信号和加速度信号进行预处理，提取肌电信号的特征值和加速度信号的特征值；

步骤3：上位机将肌电信号特征值和加速度信号特征值作为分类器的输入，将不同手语动作的肌电信号特征值和加速度信号特征值输入分类器，得到各个手语动作的匹配模型库，将各个手语动作的匹配模型库输入处理器单元；

步骤4：通过肌电采集单元实时采集受试者的使用手语动作时手臂部的肌电信号，通过惯性测量单元实时采集受试者的使用手语动作时手腕处动作的加速度信号，发送至处理器单元；

步骤5：处理器单元将实时采集受试者使用手语时的肌电信号和加速度信号进行预处理，提取肌电信号的特征值和加速度信号的特征值；

步骤6：处理器单元将肌电信号的特征值和加速度信号的特征值与各个手语动作的匹配模型库进行匹配，将匹配到的手语动作以文本形式输出至语音合成单元；

步骤7：语音合成单元将手语动作的文本形式转换为声音，输出该手语动作的声音。