CN104997581B - 基于面部表情驱动脑电信号的假手控制方法及装置 - Google Patents

Abstract

本发明公开了一种基于面部表情驱动脑电信号的假手控制方法及装置，其特征在于，受试者根据假手的四种基本动作，作出面部相应的四种简单表情；通过脑电采集模块提取其脑电信号；通过蓝牙传输模块传输给便携式信号处理模块，对接收的脑电信号进行特征提取与模式识别，识别结果通过无线通信模块发送至控制驱动模块，通过仿生假手臂筒内的控制驱动模块驱动电机完成假手目标动作。

Description

基于面部表情驱动脑电信号的假手控制方法及装置

技术领域

本发明涉及智能机器人领域，具体涉及一种脑电信号控制智能假手的方法及装置。

背景技术

由于交通事故、工伤、疾病等缘由的频繁发生，上肢残疾人数正在逐步上升。根据我国2006年残疾人抽样调成数据得知，目前我国残疾人总人数为8296万人,其中肢体残疾者为2412万人，占残疾人总人数的29.07％。我国最早的假手以装饰性为主并不具备太多的功能作用，因此并不能够辅助残疾人完成基本的生活。随后，功能简单的机械式假手逐步取代了装饰性假手，该类假手通过预先编辑好的程序进行工作，其功能简单并不能按照使用者的意愿进行工作，同时并不具备触滑觉反馈机制。随着生物技术、计算机技术、微电子技术的发展，近来国内外学者纷纷展开了采用生物电信号做为假手的控制源信号源，该类假手多以肌电信号作为控制信号源，但是长时间使用易肌肉疲劳影响控制精度，同时该类假手并不适用于一些缺乏肌肉控制力的患者，如肌萎缩侧索硬化症患者。

脑控假手通过直接建立大脑与假手之间的“外部通道”，解决了传统肌电假手由于肌肉疲劳引起的控制精度低的问题，目前国内外学者多采用基于运动想象和运动识别过程中产生的脑电信号做为控制源，并未对基于面部表情驱动下的脑电信号作为假手的控制信号源进行深入研究。

发明内容

本发明在现有脑电信号控制智能假手方法的基础上，以提高假手动作的正确率为目的，提供了一种新的脑电信号控制假手的方法及装置

为达到以上目的，本发明是采取如下技术方案予以实现的：

一种基于面部表情驱动脑电信号的假手控制方法，包括下述步骤：

(1)受试者根据假手的四种基本动作，作出面部相应的四种简单表情；

(2)采集受试者在不同表情下的大脑前额叶皮层FC5、FC6位置和大脑边缘系统F7、F8位置的脑电信号；

(3)对采集到的脑电信号进行放大和带通滤波预处理；

(4)提取预处理后脑电信号的时频域特征值；

(5)根据时频域特征值识别不同表情所对应的假手基本动作类型；

(6)根据识别结果控制假手完成四种基本动作。

上述方法中，所述四种简单表情分别为提眉、皱眉、左撇嘴、右撇嘴，每种表情至少重复3次。所述提眉对应于控制假手五指张开动作；皱眉对应于控制假手五指抓握动作；左撇嘴对应于控制假手腕内旋动作；右撇嘴对应于控制假手腕外旋动作。

一种基于面部表情驱动脑电信号的假手控制装置，其特征在于，包括：置于受试者头部的脑电采集模块、置于受试者头部以外身体上的便携化信号处理模块、戴于受试者臂部的仿生假手以及该假手臂筒内的控制驱动模块，所述脑电采集模块将采集的FC5、FC6、F7、F8位置脑电信号通过一蓝牙传输模块传输给信号处理模块；信号处理模块对接收的脑电信号进行特征提取与模式识别，识别结果通过一无线通信模块发送至控制驱动模块，通过电机驱动假手完成目标动作。

上述装置中，所述假手为十一自由度的五指仿生手，每个手指均具有两个独立的屈曲自由度，包括远指节、中指节和近指节，三指节之间通过远关节、中关节、基关节相连接，其中远关节为耦合关节；每个手指均含有两个微电机，一个置于手掌内，另一个和置于近指节内；手掌内电机通过驱动一对锥齿轮从而带动基关节运动，近指节内电机通过驱动两对反向选择的基齿轮，从而带动中关节和远关节运动；此外，五指中拇指的基关节还具有一个侧摆自由度。

所述远关节与中关节具有固定的运动关系比，二者的角速度之比为2:3。

本发明的优点在于：

1、针对传统的脑控假手方法，提出来一种新的基于面部表情驱动的脑控假手方法，以受试者做不同面部表情时产生的脑电信号作为控制信息源，实现假手的多目标任务，保证了用户操作多目标性与高精度性。

2、采用无线通信技术连接脑电采集模块、信号处理模块、以及假手驱动控制模块之间的数据传输，提高了受试者的灵活使用空间。

3、采用十一自由度仿生假手设计，根据人手的构造及运动规律，设计了基于齿轮传动的五指十一自由度仿生假手。增加了拇指侧摆自由度，实现假手的多功能动作。

附图说明

下面结合附图及实施例对本发明作进一步说明。

图1为本发明中脑电信号采集模块的布置示意。根据不同面部表情驱动产生机理，采集受试者头部前额叶皮层的FC5、FC6位置和位于边缘系统的F7、F8位置脑电信号，选用双侧耳后位置放置参考电极，测得的脑电信号，经放大、滤波后传给信号处理模块。

图2为本发明中4种面部表情示意图。其中，(a)为提眉；(b)为皱眉；(c)为左撇嘴；(d)为右撇嘴。

图3为本发明控制系统原理图。其中(a)为控制方法流程框图；(b)为控制装置结构框图。

图4为本发明十一自由度假手结构示意图。其中，(a)拇指结构；(b)其余四指结构；(c)五指张开；(d)五指抓握；(e)腕内旋；(f)腕外旋。图中：1、远指节；2、远关节；3、中指节；4、中关节；5、近指节；6、电机A；7、基关节；8、电机B；9、锥齿轮；10、齿形带；11、带轮；12、直齿轮。

具体实施方式

参考图1、图3(b)，本发明涉及的假手控制装置包括置于受试者头部的脑电信号采集模块310，优先采用便携化16通道无线脑电采集设备，选取国际标准10/20下位于前额叶皮层的FC5、FC6位置与位于边缘系统的F7、F8位置的脑电信号。脑电信号采集模块对采集到的脑电信号进行放大、滤波之后通过蓝牙传输模块320，将其送入便携化的信号处理模块330。

当装置开始工作后，脑电采信号集模块采集受试者经表情驱动产生的脑电信号，经放大、滤波后通过一种蓝牙技术传输给信号处理模块，信号处理模块负责将脑电信号进行特征提取和模式识别，识别结果通过TTL串口通信技术传输给置于假手360臂筒内的控制驱动模块350，控制驱动模块将识别结果转换为电机的控制命令完成假手目标运动。

参考图2四种简单面部表情，其中(a)为提眉，控制假手实现五指张开动作；(b)为皱眉，控制假手实现五指抓握动作；(c)为左撇嘴，控制假手实现腕内旋动作；(d)为右撇嘴，控制假手实现腕外旋动作。

参考图3(a)，本发明基于面部表情驱动的假手控制方法，当受试者开始面部表情驱动时，脑电采集设备采集前额叶皮区和边缘系统脑电信号，进行放大和带通滤波预处理。信号处理设备提取预处理后脑电信号的时频域特征值，并根据时频域特征值识别不同表情对应的假手基本动作类。最后，根据识别结果控制假手完成四种基本动作。具体包括下述步骤：

(1)步骤S110，，采集受试者大脑前额叶皮层的FC5、FC6位置和位于大脑边缘系统的F7、F8位置脑电信号(图1)。受试者分别做出提眉、皱眉、左撇嘴、右撇嘴、四种简单表情之一(图2)，同步采集FC5、FC6、F7、F8位置脑电信号。本实施例中，四种简单表情分别对应为十一自由度假手的五指张开、五指抓握、腕内旋、腕外旋(图4)。

(2)步骤S120，对采集到的脑电信号进行预处理。在本实施例中，对采集到的脑电信号首先进行放大，再进行2-40Hz带通滤波。

(3)步骤S130,提取脑电信号时频域特征值。受试者根据自身需求，随机做出四种简单表情之一后，提取脑电信号Alpha波段与theta波段信号，在本实施例中采用小波变换模均值模方法计算脑电信号的时频域特征值，构成多维特征向量。提取特征值除了本实施例中采用的小波变换外，还可采用主成分分析、共空域模式等特征提取方法。

(4)步骤S140，根据多维特征量向量，识别不同表情所对应的假手基本动作类型。在本实施例中采取BP神经网络对多维特征向量进行模式识别，根据预先训练的四种表情样本信号识别假手基本动作类型，也就是受试者在正式使用十一自由度假手之前，需要用四种简单表情下脑电信号的时频域特征值训练BP神经网络分类器，分类器输出结果控制假手完成四种基本动作，四种基本动作识别结果如表1所示。

表1 脑电识别结果

(5)步骤S150,假手根据识别结果完成四种基本动作。

(6)步骤S160，假手完成四种基本动作后，可通过视觉信息与生物感知，实现反馈。

参考图3(b)，基于图3(a)的方法，本发明对应提供了一种控制装置,包括：脑电信号采集模块310，蓝牙传输模块320，信号处理模块330，通信模块340，控制驱动模块350，以及仿生假手360。

该装置中，脑电信号采集模块310采集国际标准10/20下表情驱动特征脑电信号，选择双侧耳后位置为参考位置。便携化信号处理模块330采用嵌入式微处理器。脑电采集模块与信号处理模块通过蓝牙传输模块相连接。信号处理模块与假手的控制驱动模块采用通信模块相连接。本装置为受试者提供了一种灵活且高效的仿生假手：包括手部本体结构设计与温控传感设计，其中手部本体结构为十一自由度仿生假手，每个手指均具有两个独立的自由度，同时腕部具有一个独立自由度。

脑电采集模块310用于采集FC5、FC6、F7、F8位置脑电信号，选用16通道无线脑电帽Emotiv,自带软件进行放大、滤波。蓝牙传输模块320与信号处理模块330相连接，将脑电采集模块所采集到的脑电信号传给信号处理模块。信号处理模块330接收经由蓝牙传输模块320传来的脑电信号，进行特征提取与模式识别。采用小波变换模均值方法提取特征值向量，采用BP神经网络方法识别假手的四种基本动作。信号处理模块可选用随身携带的嵌入式微处理器。通信模块340由发生端子模块和接收端子模块组成，通过AT指令完成发射端与接收端初始化设置。其中，发射端与信号处理模块330相连接，接收端与假手的控制驱动模块350相连接。发射端子模块通过TTL串口通信将识别结果通过接收端子模块，传输给假手的控制驱动模块。假手的控制驱动模块350由电机控制子模块与电机驱动子模块组成。接收经由通信模块传输的假手基本动作类型识别结果。识别结果传给电机控制子模块后转换为0,1电平控制指令传给电机驱动子模块。电机驱动子模块根据电平控制指令，控制假手360完成四种基本动作。电机驱动子模块可选用内置于假手臂筒内电机控制电路Arduion‐Uno以及驱动电路L298N进行假手的控制驱动。如识别结果为假手的抓握动作，则控制驱动模块驱动五个手指同时工作，完成抓握动作。

假手360根据控制驱动模块350传来的动作指令，带动不同电机转动，最终实现假手的四种基本动作。

参考图4，本发明十一自由度五指仿生手，每个手指均具有两个独立的屈曲自由度，包括远指节、中指节和近指节，三指节之间通过远关节、中关节、基关节相连接，其中远关节为耦合关节；每个手指均含有两个微电机，一个置于手掌内，另一个和置于近指节内；手掌内电机通过驱动一对锥齿轮从而带动基关节运动，近指节内电机通过驱动两对反向选择的基齿轮，从而带动中关节和远关节运动；此外，五指中拇指的基关节还具有一个侧摆自由度。所述远关节与中关节具有固定的运动关系比，二者的角速度之比为2:3。

Claims (4)

1.一种基于面部表情驱动脑电信号的假手控制方法，其特征在于，包括下述步骤：

(1)受试者根据假手的四种基本动作，作出面部相应的四种简单表情；所述四种简单表情分别为提眉、皱眉、左撇嘴、右撇嘴，其中，提眉对应于控制假手五指张开动作；皱眉对应于控制假手五指抓握动作；左撇嘴对应于控制假手腕内旋动作；右撇嘴对应于控制假手腕外旋动作；

(2)采集受试者在不同表情下的大脑前额叶皮层FC5、FC6位置和大脑边缘系统F7、F8位置的脑电信号；

(3)对采集到的脑电信号进行放大和带通滤波预处理；

(4)提取预处理后脑电信号的时频域特征值；

(5)根据时频域特征值识别不同表情所对应的假手基本动作类型；

(6)根据识别结果控制假手完成四种基本动作。

2.如权利要求1所述的基于面部表情驱动脑电信号的假手控制方法，其特征在于，每种表情重复10次。

3.一种基于面部表情驱动脑电信号的假手控制装置，其特征在于，包括：置于受试者头部的脑电采集模块、置于受试者头部以外身体上任何部位的信号处理模块、戴于受试者臂部的仿生假手以及该假手臂筒内的控制驱动模块，所述脑电采集模块将采集的经表情驱动产生的位于前额叶皮层的FC5、FC6位置与大脑边缘系统的F7、F8位置的脑电信号通过一蓝牙传输模块传输给信号处理模块；信号处理模块对接收的脑电信号进行特征提取与模式识别，识别结果通过一无线通信模块发送至控制驱动模块，通过电机驱动假手完成目标动作；

其中，所述假手为十一自由度的五指仿生手，每个手指均具有两个独立的屈曲自由度，包括远指节、中指节和近指节，三指节之间通过远关节、中关节、基关节相连接，其中远关节为耦合关节；每个手指均含有两个微电机，一个置于手掌内，另一个置于近指节内；手掌内电机通过驱动一对锥齿轮从而带动基关节运动，近指节内电机通过驱动两对反向选择的基齿轮，从而带动中关节和远关节运动；此外，五指中拇指的基关节还具有一个侧摆自由度。

4.如权利要求3所述的基于面部表情驱动脑电信号的假手控制装置，其特征在于，所述远关节与中关节具有固定的运动关系比，二者的角速度之比为2:3。