CN105708586B - 一种假手柔顺抓取操作的串行多模态脑控方法 - Google Patents

Abstract

本发明公开了一种假手柔顺抓取操作的串行多模态脑控方法，当受试者进行主动表情驱动及场景动画视觉诱发时，脑电采集设备采集侧额叶皮质区F7、F8通道和枕叶区O1、O2通道脑电信号，进行放大和带通滤波预处理。信号处理设备提取预处理后的脑电信号的时频域特征值，并根据串行控制方法判断四种主动表情驱动，产生的脑电信号对应的假手基本动作类型以及由四个不同场景动画视觉诱发画面产生的脑电信号对应的假手基本动作过程的时频域特征值。最后，根据识别结果控制假手完成四种基本动作。

Description

一种假手柔顺抓取操作的串行多模态脑控方法

技术领域

本发明涉及智能机器人领域，具体涉及一种假手柔顺抓取操作的串行多模态脑控方法。

背景技术

脑-机接口技术建立了脑电信号与计算机两者间的直接联系，随着国内外脑-机接口技术的不断发展，脑控技术这一新概念应运而生。“脑控”技术是以脑-机接口技术为基础，通过提取人或动物的脑皮层产生的EEG信号，来推测大脑的思维活动，并将之翻译成相应的命令来控制外围的计算机或其它机电设备，以实现对人或动物的外围设备的意念控制。

混合脑控技术是在传统脑控技术的基础上提出的新研究方向，它在单一脑控系统的基础上，加入新的生理电信号，从而得到混合脑控系统。其中，新的生理电信号包括眼电、心电、血流变换等信号模式。混合脑控方法根据其控制顺序的不同可分为串行控制模式和并行控制模式，其中，基于串行模式的混合脑控方法可以实现两种脑电信号的协同控制，增加其控制目标，在提升系统可靠性的同时，减少了系统的误操作。

目前，混合脑控技术在残疾人神经功能辅助方面的研究尚处于起步阶段，尤其是在脑控假手技术方面。专利CN201110196026.4公开了一种基于多模态脑机接口的智能轮椅的控制系统，专利CN 201110268891.5公开了一种多模态脑机接口的自动车控制方法，上述发明专利均未涉及到假手的多模态混合脑控方法。基于此，本发明提出了一种假手柔顺抓取操作过程的串行多模态脑控方法与装置，以解决假手柔顺抓取操作过程中脑控系统的连续性、准确性以及可靠性等关键问题。

发明内容

本发明针对现有脑电信号控制假手方法的基础上，以提高假手柔顺抓取操作过程中脑控系统的正确率为目的，提供了一种假手柔顺抓取操作的串行多模态脑控方法。

为达到以上目的，本发明的技术方案是这样实现的：

一种假手柔顺抓取操作的串行多模态脑控方法，包括下述步骤：

1、事先在场景动画视觉诱发模块中植入基于残疾人手喝水过程分解的四个具有连续性的动作场景图像，每一个动作场景图像经过灰度处理后，分别得到两张黑白分明的反转色图片，交替变化呈现在受试者面前进行视觉诱发；其中，不同动作场景中的反转色图片采用不同频率的脉宽调制。所述两张黑白分明的反转色图片交替变化的频率，也即闪烁频率与该组图片的脉宽调制频率相同，所述脉宽频率调制范围为2-30Hz。

所述的场景动画视觉诱发模块为计算机显示器、电视屏幕、手机或平板电脑之一。

2、受试者通过四种主动表情驱动下产生的脑电信号来控制假手完成动作的开始、动作的结束、返回上一个动作、及进入下一个动作的基本动作类型选择；

所述提眉对应于假手动作的开始、皱眉对应于假手动作的结束、左撇嘴对应于假手返回上一个动作的转换、右撇嘴对应于假手进行下一个动作的转换。

四种主动表情驱动分别为提眉、皱眉、左撇嘴、右撇嘴，每种表情在驱动过程中至少重复三次；

3、受试者通过注视四个不同场景动画视觉诱发画面来控制假手完成四种基本动作过程；

4、采集受试者侧额叶皮质区F7、F8通道和枕叶区的O1、O2通道脑电信号；

5、对采集到的脑电信号进行放大和带通滤波预处理，所述滤波范围为4-40Hz；

6、经带通滤波后的脑电信号包含由主动表情驱动下产生的alpha频带特征信息以及由场景动画视觉诱发画面产生的稳态视觉诱发电位特征信息。采用小波变换模均值的方法提取由主动表情驱动产生的F7、F8通道脑电信号时频域特征，采用快速傅里叶变换的方法提取场景动画视觉诱发产生的O1、O2通道脑电信号时频域特征。

7、根据时频域特征值，采用前向反馈神经网络算法，通过串行分析的顺序依次判断假手的四个基本动作类型及四个基本动作过程。

所述的串行分析顺序为首先进行由主动表情驱动下产生的脑电信号时频域特征判断假手的基本动作类型；在确定了假手的基本动作类型后，进行由场景动视觉诱发画面产生的脑电信号时频域特征，判断假手的基本动作过程。

8、假手控制器根据步骤7的判断结果控制假手完成基本动作类型或基本动作过程。

本发明针对传统单一范式下脑电信号控制假手，其优越性在于：

1、本发明采用的串行多模态脑控方法，可有效提高假手脑控系统的信息传输率与准确性，降低了整个系统的误操作率，实现假手完整抓取动作的柔顺控制。

2、传统的脑控假手，往往只能实现动作过程的控制，并不能有效的实现假手动作的起、停与动作切换。本发明提供的串行多模态脑控方法提供了四个有效的动作类型选择指令与四个有效的动作过程选择指令，这对假手的实时性需求非常重要。

附图说明

图1脑电采集通道分布图根据场景动画视觉诱发及主动表情驱动产生机理图。

图2为基于场景动画视觉诱发的示意图。其中，(a)为手张开示意图；(b)为手抓握示意图；(c)为腕内旋示意图；(d)为腕外旋示意图。每种场景中，左侧为动作场景；中间和右侧分别为经过灰度处理后的两张黑白分明反转色图片。

图3为场景动画视觉诱发刺激界面图。

其中，(a)为手张开图；(b)为手抓握图；(c)为腕内旋图；(d)为腕外旋图。

图4为本发明的算法流程图。

其中(a)为控制方法流程框图；(b)为控制装置结构框图。

具体实施方式

下面结合附图及实施例对本发明作进一步说明。

参考图1、图4(b)，图1中，采集受试者头部枕叶区的O1、O2位置和位于侧额叶皮质区的F7、F8位置脑电信号，选用双侧耳后位置放置参考电极。本发明涉及的一种假手柔顺抓取操作的串行多模态脑控装置包括置于受试者头部的脑电信号采集模块310，置于受试者面前的场景动画视觉诱发模块370。优先采用便携化16通道无线脑电采集设备，选取国际标准10/20下位于枕叶区的O1、O2位置与位于侧额叶皮质区的F7、F8位置的脑电信号。脑电信号采集模块对采集到的脑电信号进行放大、滤波之后通过蓝牙传输模块320，将其送入便携化的信号处理模块330。

信号处理模块330接收经由通信模块340传来的脑电信号，进行串行多模态脑电信号的识别方法。采用小波变换模均值方法与快速傅里叶变换的方法提取特征值向量，采用BP神经网络方法识别假手的四种基本动作类型与四种基本动作过程。信号处理模块可选用随身携带的嵌入式微处理器。通信模块将识别结果通过蓝牙技术传输给假手的控制驱动模块。假手的控制驱动模块350由电机控制子模块与电机驱动子模块组成。接收经由通信模块传输的假手基本动作类型识别结果。识别结果传给电机控制子模块后转换为0,1电平控制指令传给电机驱动子模块。电机驱动子模块根据电平控制指令，控制假手360完成四种基本动作。如识别结果为假手的抓握动作，则控制驱动模块驱动假手完成抓握动作。假手360根据控制驱动模块350传来的动作指令，带动不同电机转动，最终实现假手的四种基本动作。

参考图2、图3本发明的场景动画视觉诱发刺激界面图，由残疾人喝水的四个具有连续性的场景动作组成，本实施例中，四个不同动作的场景图像分别为手张开、手抓握、腕内旋、腕外旋动作，其脉宽调制频率分别为8Hz、10Hz、12Hz、15Hz。

参考图4(a)，本发明涉及的一种假手柔顺抓取操作的串行多模态脑控方法，当受试者进行主动表情驱动及场景动画视觉诱发时，脑电采集设备采集侧额叶皮质区F7、F8通道和枕叶区O1、O2通道脑电信号，进行放大和带通滤波预处理。信号处理设备提取预处理后的脑电信号的时频域特征值，并根据串行控制方法判断四种主动表情驱动下产生的脑电信号对应的假手基本动作类型以及由四个不同场景动画视觉诱发画面产生的脑电信号对应的假手基本动作过程的时频域特征值。最后，根据识别结果控制假手完成四种基本动作。具体包括下述步骤：

(1)参考图2与图3，事先在场景稳态视觉诱发模块中植入残疾人取杯喝水的四个具有连续性的分解动作的场景图像(左侧那一张)，呈现在受试者面前进行视觉诱发，每一个动作场景图像，经过灰度处理后，分别得到两张黑白分明的反转色图片(中间及右侧)形成的两张黑白分明的反转色图片不断交替变化，用以对受试者视觉的刺激，诱发受试者的操作意图，进行假手动作的判断。本实施例中，四个不同动作的场景图像分别为手张开、手抓握、腕内旋、腕外旋动作过程。

(2)受试者做出提眉、皱眉、左撇嘴、右撇嘴、四种简单表情之一或注视场景动画视觉诱发模块，同步采集F7、F8、O1、O2位置脑电信号。本实施例中，假手的四种基本动作类型为动作的开始、动作的结束、返回上一个动作、及进入下一个动作；假手的四种基本动作过程分别为手张开、手抓握、腕内旋、腕外旋。

(3)对采集到的脑电信号进行预处理。在本实施例中，对采集到的脑电信号首先进行放大，共同平均参考后，在进行4‐40Hz的带通滤波。

(4)提取所采集到的脑电信号的时频域特征值。参考图4(a),采用假手的串行分析方法，首先进行假手的四种基本动作类型的判断。采用小波变换模均值方法，提取F7、F8通道的主动表情驱动脑电信号alpha频带特征值，进行特征判断，当判断结果为包含主动表情驱动脑电信号的特征向量后，将该特征向量输入分类器中，进行假手基本动作类型的判断。

当判断结果为不包含主动表情驱动脑电信号的特征向量后，进入第二级判断，进行假手动作过程的判断。首先对O1、O2通道的脑电信号进行2‐30的带通滤波，采用快速傅里叶变换方法，提取场景动画视觉诱发所产生的稳态视觉诱发电位幅值特征并输入分类器中进行判断，输入四种基本动作过程，四种基本动作识别结果如表1所示。

表1脑电识别结果

(5)假手的驱动控制模块根据判断结果控制假手完成基本动作类型或基本动作过程。

(6)假手完成基本动作后，可通过视觉信息与生物感知，实现反馈。

上述实施例只是为了说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。

Claims (2)

1.一种假手柔顺抓取操作的串行多模态脑控方法，其特征在于，按以下步骤进行：

1)事先在场景动画视觉诱发模块中植入基于残疾人手喝水过程分解的四个具有连续性的动作场景图像，每一个动作场景图像经过灰度处理后，分别得到两张黑白分明的反转色图片，交替变化呈现在受试者面前进行视觉诱发；其中，不同动作场景中的反转色图片采用不同频率的脉宽调制，所述两张黑白分明的反转色图片交替变化的频率，也即闪烁频率与两张黑白反转色图片的脉宽调制频率相同，所述脉宽频率调制范围为2-30Hz；

2)受试者通过四种主动表情驱动下产生的脑电信号来控制假手完成动作的开始、动作的结束、返回上一个动作、及进入下一个动作的基本动作类型选择；

提眉对应于假手动作的开始、皱眉对应于假手动作的结束、左撇嘴对应于假手返回上一个动作的转换、右撇嘴对应于假手进行下一个动作的转换；

所述四种主动表情驱动分别为提眉、皱眉、左撇嘴、右撇嘴，每种表情在驱动过程中至少重复三次；

3)受试者通过注视四个不同场景动画视觉诱发画面来控制假手完成四种基本动作过程；

4)采集受试者侧额叶皮质区F7、F8通道和枕叶区的O1、O2通道脑电信号；

5)对采集到的脑电信号进行放大和带通滤波预处理，所述滤波范围为4-40Hz；

6)经带通滤波后的脑电信号包含由主动表情驱动下产生的alpha频带特征信息以及由场景动画视觉诱发画面产生的稳态视觉诱发电位特征信息，采用小波变换模均值的方法提取由主动表情驱动产生的F7、F8通道脑电信号时频域特征，采用快速傅里叶变换的方法提取场景动画视觉诱发产生的O1、O2通道脑电信号时频域特征；

7)根据时频域特征值，采用前向反馈神经网络算法，通过串行分析的顺序依次判断假手的四个基本动作类型及四个基本动作过程；所述的串行分析顺序为首先进行由主动表情驱动下产生的脑电信号时频域特征判断假手的基本动作类型；在确定了假手的基本动作类型后，进行由场景动视觉诱发画面产生的脑电信号时频域特征，判断假手的基本动作过程；

8)假手控制器根据步骤(7)的判断结果控制假手完成基本动作类型或基本动作过程。

2.根据权利要求1所述的一种假手柔顺抓取操作的串行多模态脑控方法，其特征在于，所述的场景动画视觉诱发模块为计算机显示器、电视屏幕、手机或平板电脑之一。