CN106569607A - 一种基于肌电及运动传感器的头部动作识别系统 - Google Patents

Abstract

本发明公开的一种头戴式人机交互系统，通过佩戴于头部的穿戴设备上的多通道表面肌电传感器采集头部肌肉表面肌电信号，利用幅值判断方法识别面部动作；通过穿戴设备上的多轴运动传感器积分计算头部运动轨迹；通过穿戴设备上的心率传感器监测心率，最终面部动作识别结果、头部运动轨迹、心率通过通讯模块发送至上位机，实现人机交互。本发明使得用户可以使用面部动作及头部运动这些自然方式与外部设备进行交互。为截瘫患者提供了一种与外界的交互方式；另外，正常人可通过本发明在解放双手的情况下与外界自由交互。另外，本发明无需用户训练过程，用户将系统佩戴于头部只需做对应的面部动作或头部动作即可，用户体验更加友好，使用更为便捷。

Description

一种基于肌电及运动传感器的头部动作识别系统

技术领域

本发明涉及人机交互领域，具体涉及一种基于肌电及运动传感器的头部动作识别系统，尤其是基于肌肉电信号、多轴运动传感器以及心率传感器的多信息融合，用于高位截瘫患者面部动作识别、头部运动轨迹追踪以及心率监测；也可以是一种可穿戴设备，用于正常人以更自然的方式进行人机交互。

背景技术

高位截瘫患者一般都会出现四肢瘫痪，日常生活需要人照顾。由于四肢瘫痪，只有头部能正常活动，导致患者生活质量下降，对于生活丧失信心。

通过对面部动作，如：咬牙、眨眼、皱眉等动作的识别，头部运动轨迹的追踪，可以实现截瘫患者与外部设备的交互。使得截瘫患者在一定程度上能够独立完成一些日常事务，增强截瘫患者的生活信心，提高其生活质量。

目前对于面部动作以及头部运动轨迹识别的主要技术方案为基于图像处理分析相关信息。然而图像处理受光线及背景条件影响较大，相关辅助设备较多，在实际应用中有较大局限性。

因此，本领域的技术人员致力于开发一种基于肌电及运动传感器的头部动作识别系统，提高面部动作以及头部运动轨迹识别，增强人机交互的体验。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何通过基于肌电及运动传感器提高面部动作以及头部运动轨迹识别。

为实现上述目的，本发明提供了一种基于肌电及运动传感器的头部动作识别系统，包括肌电信号传感器、运动传感器、心率传感器、微处理器以及通讯模块，所述微处理器被配置为接收和处理所述肌电信号传感器、所述运动传感器和所述心率传感器采集的数据；所述通讯模块被配置为在所述微处理器和上位机之间传输数据。

进一步地，所述肌电信号传感器包括四通道肌电信号差分电极、滤波电路、放大电路，所述四通道分别用于采集头部左右颞肌、左右枕额肌的表面肌电信号。

进一步地，所述运动传感器包括三轴加速度计、三轴角速度计以及三轴磁力计。

进一步地，所述心率传感器用于监测脑膜中动脉搏动频率。

进一步地，所述通讯模块被配置为采用有线或无线的传输方式。

进一步地，所述上位机被配置为通过串口发送控制指令。

进一步地，所述头部动作识别系统还包括弹性框架，所述肌电信号传感器、运动传感器、心率传感器、微处理器以及通讯模块被设置在所述弹性框架上。

本发明还提供了一种基于肌电及运动传感器的头部动作识别方法，包括以下步骤：

步骤1、提供如权利要求1-7任一一种基于肌电及运动传感器的头部动作识别系统；步骤2、开启头部动作识别系统，保持头部静息状态；

步骤3、采集第一肌电离散时间序列，然后数据预处理；

步骤4、进入激活状态，采集第二肌电离散时间序列，采集运动传感器数据和心率传感器数据，送入微处理器计算和判断面部动作和头部运动姿态；

步骤5、根据所述面部动作和所述头部动作姿态控制上位机。

进一步地，在步骤2中，所述数据预处理的过程包括：

通过微处理器对第一肌电离散时间序列分别做各通道的分窗处理，得到窗内时间序列，计算窗内短时平均能量；

将各通道计算所得窗内短时平均能量作为各通道阈值标定，标定的阈值表征肌肉处于静息状态时的肌肉电信号强度。

进一步地，在步骤4中，所述肌电信号传感器采集到肌肉的肌电信号，经过滤波、放大后得到第二表面肌电信号离散时间序列，将数据送入微处理器进行数据预处理，得到各通道窗内短时平均能量；

将各通道窗内短时平均能量与标定阈值分别进行对比，判断肌肉是否处于激活状态；基于幅值判断方法对面部动作分类，分类结果由通讯模块发送至上位机，从而将不同的面部动作映射为不同的控制命令。

本发明公开的一种头戴式人机交互系统，通过佩戴于头部的穿戴设备上的多通道表面肌电传感器采集头部肌肉表面肌电信号，利用幅值判断方法识别面部动作；通过穿戴设备上的多轴运动传感器积分计算头部运动轨迹；通过穿戴设备上的心率传感器监测心率，最终面部动作识别结果、头部运动轨迹、心率通过通讯模块发送至上位机，实现人机交互。

与现有技术相比，本发明的有益效果是：

1、本发明采集多通道肌肉电信号及多轴运动传感器信号作为信号源，使得用户可以使用面部动作及头部运动这些自然方式与外部设备进行交互。为截瘫患者提供了一种与外界的交互方式；另外，正常人可通过本发明在解放双手的情况下与外界自由交互。

2、本发明无需用户训练过程，用户将系统佩戴于头部只需做对应的面部动作或头部动作即可，用户体验更加友好，使用更为便捷。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的头戴式人机交互系统穿戴设备示意图；

图2是本发明的一个较佳实施例的头戴式人机交互系统静息状态数据处理流程图；

图3是本发明的一个较佳实施例的头戴式人机交互系统激活状态数据处理流程图。

具体实施方式

图1为本发明提供的一种较佳实施例的头戴式人机交互系统的穿戴设备示意图，包括佩戴于头部的弹性框架101，弹性框架101采用记忆材料，可根据用户头部尺寸按需调节。在弹性框架101内部，有四通道差分肌肉电信号传感器102、103、104、105，多轴运动传感器106，心率传感器107以及通讯模块108。

用户在使用时，将头戴式人机交互系统穿戴设备佩戴在头部，使得四通道肌肉电信号传感器102、103、104、105分别置于右颞肌、右枕额肌、左枕额肌、左颞肌四块肌肉上。

如图2所示为头戴式人机交互系统静息状态时数据处理过程。用户在开启设备后，面部动作先保持静息状态201。由肌肉电信号传感器1通道206、2通道207、3通道208、4通道209分别采集左颞肌202、左枕额肌203、右枕额肌204、右颞肌205的肌肉电信号，经过滤波电路、放大电路得到表面肌肉电信号离散时间序列210。将表面肌肉电信号离散时间序列210送入微处理器211进行数据预处理216。

数据预处理216具体流程包括：通过微处理器211对表面肌电信号离散时间序列210分别做各通道分窗处理212，得到窗内时间序列213，计算窗内短时平均能量214。

将各通道计算所得窗内短时平均能量作为各通道阈值标定215，标定阈值表征肌肉处于静息状态时的肌肉电信号强度。

如图3所示为头戴式人机交互系统激活状态数据处理过程。用户希望通过面部动作，如：咬牙、眨眼、皱眉等方式控制外部设备；或者用户希望通过头部运动操作鼠标时，进入激活状态301。肌肉电信号传感器1通道302、2通道303、3通道304、4通道305分别采集到对应肌肉的肌肉电信号，经过滤波、放大后得到表面肌肉电信号离散时间序列308，将数据送入微处理器309进行数据预处理310，数据预处理过程与图2中数据预处理216相同，得到各通道窗内短时平均能量将各通道窗内短时平均能量与标定阈值分别进行对比。如说明1通道肌肉处于激活状态，即左颞肌处于激活状态，进而可以判断为左侧咬牙动作。

经过将各通道窗内短时平均能量与标定阈值对比311后，基于幅值判断方法对面部动作分类312。分类结果313由通讯模块316发送至上位机317，从而将不同的面部动作映射为不同的控制命令。

在激活状态301，九轴运动传感器306将九轴原始数据信息发送至微处理器309，通过算法处理得到头部运动轨迹314，将头部运动轨迹314信息通过通讯模块316发送至上位机317，实现头部运动轨迹对上位机的控制。与此同时，心率监测模块307将监测到的数据发送至微处理器309，处理得到脑膜中动脉搏动频率315，脑膜中动脉搏动频率315经通讯模块316发送至上位机317。上位机317根据脑膜中动脉搏动频率监测用户心率变化，如：监测到心率过快，播放轻柔音乐让用户舒缓心情。

上位机317可通过通讯模块316发送指令控制头戴式交互穿戴设备的状态。

用户使用过程中不需要进行训练，佩戴穿戴设备即可实现用面部动作、头部动作控制外部设备。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于肌电及运动传感器的头部动作识别系统，其特征在于，包括肌电信号传感器、运动传感器、心率传感器、微处理器以及通讯模块，所述微处理器被配置为接收和处理所述肌电信号传感器、所述运动传感器和所述心率传感器采集的数据；所述通讯模块被配置为在所述微处理器和上位机之间传输数据。

2.如权利要求1所述的基于肌电及运动传感器的头部动作识别系统，其特征在于，所述肌电信号传感器包括四通道肌电信号差分电极、滤波电路、放大电路，所述四通道分别用于采集头部左右颞肌、左右枕额肌的表面肌电信号。

3.如权利要求1所述的基于肌电及运动传感器的头部动作识别系统，其特征在于，所述运动传感器包括三轴加速度计、三轴角速度计以及三轴磁力计。

4.如权利要求1所述的基于肌电及运动传感器的头部动作识别系统，其特征在于，所述心率传感器用于监测脑膜中动脉搏动频率。

5.如权利要求1所述的基于肌电及运动传感器的头部动作识别系统，其特征在于，所述通讯模块被配置为采用有线或无线的传输方式。

6.如权利要求1所述的基于肌电及运动传感器的头部动作识别系统，其特征在于，所述上位机被配置为通过串口发送控制指令。

7.如权利要求1-6任意一种所述的基于肌电及运动传感器的头部动作识别系统，其特征在于，所述头部动作识别系统还包括弹性框架，所述肌电信号传感器、运动传感器、心率传感器、微处理器以及通讯模块被设置在所述弹性框架上。

8.一种基于肌电及运动传感器的头部动作识别方法，其特征在于，包括以下步骤：

步骤1、提供如权利要求1-7任一一种基于肌电及运动传感器的头部动作识别系统；

步骤2、开启头部动作识别系统，保持头部静息状态；

步骤3、采集第一肌电离散时间序列，然后数据预处理；

步骤4、进入激活状态，采集第二肌电离散时间序列，采集运动传感器数据和心率传感器数据，送入微处理器计算和判断面部动作和头部运动姿态；

步骤5、根据所述面部动作和所述头部动作姿态控制上位机。

9.如权利要求8所述的基于肌电及运动传感器的头部动作识别发方法，其特征在于，在步骤2中，所述数据预处理的过程包括：

通过微处理器对第一肌电离散时间序列分别做各通道的分窗处理，得到窗内时间序列，计算窗内短时平均能量；

将各通道计算所得窗内短时平均能量作为各通道阈值标定，标定的阈值表征肌肉处于静息状态时的肌肉电信号强度。

10.如权利要求8所述的基于肌电及运动传感器的头部动作识别方法，其特征在于，在步骤4中，所述肌电信号传感器采集到肌肉的肌电信号，经过滤波、放大后得到第二表面肌电信号离散时间序列，将数据送入微处理器进行数据预处理，得到各通道窗内短时平均能量；

将各通道窗内短时平均能量与标定阈值分别进行对比，判断肌肉是否处于激活状态；基于幅值判断方法对面部动作分类，分类结果由通讯模块发送至上位机，从而将不同的面部动作映射为不同的控制命令。