CN113359991B - 一种面向残疾人的智能脑控机械臂辅助进食系统及方法 - Google Patents

Abstract

一种面向残疾人的智能脑控机械臂辅助进食系统及方法，人机交互界面模块用于提供用户与计算机系统之间信息交互的平台；信号采集模块用于采集稳态视觉刺激界面上刺激频闪所诱发的脑电数据(SSVEP)；信号处理模块用于对信号采集模块采得的脑电信号进行预处理和分类，并将分类结果转化为控制指令；机械臂进食模块用于识别信号处理模块通过USB串口传输的控制指令，并根据该控制指令驱动机械臂完成相应食物的辅助进食；本发明通过液晶显示屏上的方块闪烁的刺激诱发SSVEP，同时采用所提出的FBKCCA算法对SSVEP进行有效的分类，来处理上肢残疾者注视不同频率闪烁刺激时产生的脑电信号，分类准确率更高。

Description

一种面向残疾人的智能脑控机械臂辅助进食系统及方法

技术领域

本发明涉及一种医疗辅助系统，特别涉及一种面向残疾人的智能脑控机械臂辅助进食系统及方法。

背景技术

近20年来，随着老龄人口增多，我国脑卒中等疾病发病率总体呈上升趋势。这些疾病在一定程度上会导致患者一侧肢体运动功能受损，极大地影响了患者的日常生活，他们无法完成穿衣、进食等活动，严重者则完全丧失自理能力。通常，这类患者必须时刻有人看护，帮助他们完成日常活动。这将会加大患者家庭的经济压力和精神压力。同时对于患者而言，长期以来必须依靠他人才能完成生活的现实，致使患者的自信心和自尊心受挫，不利于患者的自我认同感。而脑机接口作为可以使脑部神经活动所产生信息和外部设备直接连通的技术，在针对此疾病的康复方面展现出重要的应用前景。为了提高上肢运动功能障碍患者的自理能力和护工的工作效率，我们设计了智能脑控机械臂辅助进食系统。基于此系统可实现脑电信号对机械臂的实时运动控制。因此，我们设计了一项面向残疾人的机械臂智能辅助进食系统。基于脑机接口技术，识别患者的自主意识进而控制机械臂完成相应的进食活动。在正常使用环境下，本产品的分类准确率可达到98％。同时，主动控制和辅助完成的形式能够给患者带来极佳的体验感，提高患者的生活能力，对帮助残疾人重新融入社会有着重要的作用。

脑机接口(Brian-Computer Interface，BCI)可以为有运动功能障碍的患者提供一种不依赖运动系统与外界交流的信息通道，通过大脑与外部设备的信息交互，发出对外部设备的控制命令，以帮助患者完成日常生活中的某些活动。在康复治疗中，患者主动参与或激发其主动运动的意愿，可以显著改善患侧大脑的侧支循环和局部循环，以及脑血流状况，对运动康复治疗有着强化作用。机械臂与BCI技术结合进行康复训练，为康复训练系统引入患者主动运动意愿信息、提高患者训练主动性和积极性提供了可能。

稳态视觉诱发电位(Steady-State Visual Evoked Potentials，SSVEP)可以作为BCI系统的输入脑信号成分，具有信噪比高和响应时间低的特点，它是当人眼注视大于4Hz频率调制的周期性视觉刺激时在大脑中产生的一种周期性响应，并具有和视觉刺激频率相同的基频与谐波频率。由于SSVEP容易产生和采集，信噪比高，频谱特征明显，故而SSVEP被广泛应用于BCI。

发明内容

针对现有技术中存在的问题，本发明的目的在于提供一种面向残疾人的智能脑控机械臂辅助进食系统及方法，采用融合核典型相关分析(Kernel Canonical CorrelationAnalysis，KCCA)和FBCCA(Filter Bank Canonical Correlation Analysis滤波器组典型相关分析)的“滤波器组核典型相关分析(Filter Bank Kernel Canonical CorrelationAnalysis，FBKCCA)”算法，通过液晶显示屏上的方块闪烁的刺激诱发SSVEP，同时采用所提出的FBKCCA算法对SSVEP进行有效的分类，来处理上肢残疾者注视不同频率闪烁刺激时产生的脑电信号，从而判断患者的进食意图，发出控制指令驱动机械臂的运动，以实现对机械臂的主动控制。

为实现上述目的，本发明采用的技术方案如下：

一种面向残疾人的智能脑控机械臂辅助进食系统，包括人机交互界面模块A、信号采集模块B、信号处理模块C和机械臂进食模块D；

所述的人机交互界面模块A用于提供用户与计算机系统之间信息交互的平台，在该平台中，用户设置食物与辅助对象的位置，点击“开始喂食”按钮进入稳态视觉刺激界面；

所述的信号采集模块B用于采集稳态视觉刺激界面上刺激频闪所诱发的SSVEP，简称脑电数据；

所述的信号处理模块C用于对信号采集模块B采得的脑电信号进行预处理和分类，并将分类结果转化为控制指令；

所述的机械臂进食模块D用于识别信号处理模块C通过USB串口传输的控制指令，并根据该控制指令驱动机械臂完成相应食物的辅助进食。

基于上述一种面向残疾人的智能脑控机械臂辅助进食系统的进食方法，包括以下步骤：

1：通过人机交互界面模块A进行食物和辅助对象的位置设定，点击“开始喂食”按钮进入稳态视觉刺激界面；

(2)：采集辅助对象在稳态视觉刺激界面上刺激频闪所诱发的SSVEP，简称脑电数据；

(3)：对脑电信号进行预处理，并用FBKCCA算法对预处理后的脑电信号进行分类，然后将分类结果转化为机械臂所能识别的控制指令；

(4)：通过USB串口传输控制命令，并驱动机械臂完成相应食物的辅助进食。

所述步骤(1)包括位置设定和进入刺激界面：

(1.1)：按照三维空间的格式，对食物与辅助对象的位置进行调整，每次调整的距离为1cm内，并在人机交互界面模块A上显示调整后的坐标。

(1.2)：点击“开始喂食”按钮，进入稳态视觉刺激界面。

所述步骤(2)具体包括：

(2.1)：将脑电极按照国际10-20系统电极放置标准放置在辅助对象头皮上，参考位置选取FPz，接地位置选取右耳乳突，电极阻抗保持在5kΩ以下；

(2.2)：辅助对象在注视某一个闪烁的方块时，在大脑中就会产生和视觉刺激频率具有相同的基频与谐波频率的周期响应，使用脑电记录仪进行放大、模数转换处理，然后将脑电信号传输至计算机。

所述步骤(3)具体包括：

(3.1)：对采集得到的脑电信号进行预处理

首先，将脑电信号降采样到200Hz；其次，对脑电信号进行4～95Hz的带通滤波处理；最后，对脑电信号进行50Hz的陷波处理，得到预处理后的脑电数据X；

(3.2)：使用FBKCCA算法对信号进行处理

a.划分脑电信号子带；

从脑电数据X中提取各子带成分，以SSVEP成分的上界频率作为截止频率，刺激信号带宽作为初始频率的公差，设置通带频率，利用切比雪夫Ⅰ型滤波器对脑电信号进行滤波处理，得到滤波后脑电信号X_i；

b.构造模板信号

构造模板信号Y_f如下所示，与刺激频率f相关的参考信号：

其中，N_h是f的谐波个数；

c.滤波后脑电信号X_i与模板信号Y_f映射到高维

对于每个子带的滤波后脑电信号X_i与模板信号Y_f，设和/>分别表示从原变量空间到希尔伯特空间H₁和H₂的映射，空间H₁中典型变量/>空间H₂中典型变量X_i和Y_f的中心化样本观察值记为X_i ^j和Y_f ^j，在核方法中，假设b₁和b₂可以用样本点下的线性组合表示：

那么典型变量U_i和V_f就表示为X_i ^j和Y_f ^j的如下非线性组合：

<，>表示希尔伯特空间H的内积运算，典型变量U_i和V_f就是滤波后脑电信号X_i与模板信号Y_f映射到高维后的信号；

d.频率分类

对典型变量U_i和V_f进行典型相关分析，寻找一对向量W_U和W_V，通过W_U和W_V来最大化相关变量u_i＝U_i ^TW_U和v_f＝V_f ^TW_V之间的相关性，相关系数表示如下所示：

对每个刺激频率f，最后的目标识别判别式如下所示：

由于SSVEP谐波成分的信噪比随着频率的增加而下降，因此各子带成分的权重系数定义如下所示：

w(i)＝i^-a+b

采用网格搜索法寻找a和b的最优值；

寻找系数和/>使得U_i和V_f的典型相关系数ρ_f ⁱ最大，计算各个刺激频率f的ρ_f，则最大的ρ_f所对应的刺激频率就被认为是SSVEP所对应的频率；

(3.4)：将分类结果转化为控制命令，向机械臂发送控制指令，从而实现辅助对象的稳态视觉诱发电位对机械臂的主动控制。

所述步骤(4)中机械臂为UFACTORY公司的市售产品UFACTORY uArm Swift Pro，通过USB串口将控制指令传输到机械臂的末端执行器中，实现三维空间内的运动，机械臂的坐标原点位于机械臂底座中心，其XY平面的运动范围为半圆环状，运动半径在119-359cm之间。

所述的脑电极为9通道，分别放置在辅助对象头皮P3、PZ、P4、PO3、POz、PO4、O1、Oz和O2位置上。

本发明有益效果：

1、设计了一套完整的智能辅助进食系统，通过基于SSVEP的BCI技术将患者的自主意愿引入到日常进食中，患者可通过诱发脑电参与控制机械臂，辅助患者完成进食活动。

2、脑电信号选择信噪比高的SSVEP信号，采用了所提出的FBKCCA算法进行分类，相比其他脑电信号如运动想象信号来讲，对于9通道SSVEP分类计算量更小，分类准确率更高，此外，FBKCCA算法比传统的FBCCA算法就SSVEP信号来说特征提取更有效。

3、开发的系统具有较强的可拓展性，未来预期能够帮助病患实现更多日常生活中无法独立完成的生活难题。

4、人机界面友好，易于操作，不要求使用者具有编程经验。

5、患者通过视觉与脑电信号控制本作品，解放双手的控制。

附图说明

图1是稳态视觉刺激界面主页。

图2是本发明方法流程示意图。

图3是人机交互界面中的设置界面。

图4是人机交互界面中的刺激界面。

图5是所提出的FBKCCA与其他算法分类准确率比较。

具体实施方式

下面结合附图对本发明做详细叙述。

参照图2，一种面向上肢残疾者的智能脑控机械臂辅助进食系统，包括人机交互界面模块A、信号采集模块B、信号处理模块C和机械臂进食模块D四个模块。

所述的人机交互界面模块A用于提供用户与计算机系统之间信息交互的平台，在该平台中，用户可设置食物与辅助对象的位置。按照三维空间的格式，对食物与辅助对象的位置进行调整，每次调整的距离为1cm，机械臂运动到相应位置，并在人机交互界面右上角显示调整后的XY平面位置。点击“开始喂食”按钮进入稳态视觉刺激界面，如图1。

所述的信号采集模块B用于采集稳态视觉刺激界面上刺激频闪所诱发的SSVEP，简称脑电数据。

所述的信号处理模块C用于对信号采集模块B采得的脑电信号进行预处理和分类，并将分类结果转化为控制命令。

所述的机械臂进食模块D用于识别信号处理模块C通过USB串口传输的控制指令，并根据该控制指令驱动机械臂完成相应食物的辅助进食。

基于上述一种面向残疾人的智能脑控机械臂辅助进食系统的进食方法，参照图2，包括以下步骤：

(1)：通过人机交互界面进行目标位置设定，选择开始喂食或退出。本事例中软件界面采用MATLAB编程完成，操作界面参照图3。

所述步骤(1)具体包括三种选择：

(1.1)：设定位置，参照图3，用户可以通过下拉菜单栏(Target)实现对使用者、食物1、食物2、食物3的坐标选择，通过对于坐标栏(X Position、Y Position、Z Position)的设置可以对选择的项目进行坐标设置，设置方法为：1.双击文本框通过键盘输入；2.点击文本框上下两端的小三角；3.点击键盘上的“w”“s”“a”“d”“e”“f”键进行X、Y、Z三栏的增加或减少；4.点击键盘上的“r”键可以对X、Y、Z坐标进行初始化；设置时请连接机械臂，机械臂与设置程序上的红点将会随着坐标的改变而移动，便于实现坐标的确定。

(1.2)：开始喂食后，软件将进入刺激界面，参照图4，屏幕上呈现持续5s的视觉刺激，也就是说，信号处理模块中所处理的脑电信号时长为5秒；随后进入机械臂运动阶段，辅助对象可短暂休息，防止视觉疲劳；喂食结束后，进入下一轮喂食；刺激界面设有结束模块，用户可自行选择是否结束喂食。使用液晶显示屏作为刺激器，其屏幕刷新频率为60Hz，分辨率为1920×1080。呈现刺激时，参照图4，在屏幕上出现四个黑白闪烁的矩形图片，分别位于屏幕的上侧，下侧，左侧和右侧，并分别以不同的频率闪烁，刺激频率依次是8Hz、10Hz、12Hz和15Hz，依次对应“食物1”、“结束”、“食物2”和“食物3”四种选择。

(1.3)：退出后，关闭程序，系统将自动保存用户设置。

(2)：采集用户9通道脑电数据。

所述步骤(2)具体包括：

(2.1)：用户需安静地坐在舒适的椅子上，9个脑电极按照国际10-20系统电极放置标准预先在用户头皮安放，分别为P3、PZ、P4、PO3、POz、PO4、O1、Oz和O2位置，参考电极放置在FPz上，接地电极选取右耳乳突，使用导电膏使得电极阻抗保持在5kΩ以下。

(2.2)：辅助对象在注视某一个闪烁的方块时，在大脑中就会产生和视觉刺激频率具有相同的基频与谐波频率的周期响应，使用数字脑电记录仪来进行放大、模数转换等处理获取脑电波数据。放大器的通频带范围为0.15Hz至200Hz，采样率设置为600Hz，然后将脑电信号传输至计算机。

(3)：对脑电信号进行预处理，并用自创的FBKCCA算法对预处理后的脑电信号进行分类，然后将分类结果转化为机械臂所能识别的控制指令。

(3.1)：对采集得到的脑电信号进行预处理。

为了滤除干扰、方便数据计算，在进行特征提取和特征分类之前，需要对脑电数据进行预处理。首先，将脑电信号降采样到200Hz；其次，由于脑电信号的实验中经常受到低于4Hz的低频噪声干扰，同时刺激频率远小于95Hz，所以对脑电信号进行4～95Hz的带通滤波处理；最后，为消除常见的电源线噪声，对脑电信号进行50Hz的陷波处理。经过以上处理后，得到预处理后的脑电数据X。

(3.2)：使用FBKCCA算法对信号进行处理。

本发明将融合核方法的典型相关分析(Kernel Canonical CorrelationAnalysis，KCCA)算法代替原来的CCA算法，提出一种基于核典型相关性分析的多子带算法(Filter Bank Kernel Canonical Correlation Analysis，FBKCCA)来解决脑电的非线性问题，将原空间中的非线性问题映射为高维空间中的线性问题，在高维空间进行CCA处理，并结合原有的多子带方法，提取SSVEP谐波成分的特征。

a.划分脑电信号子带

从脑电数据X中提取各子带成分，以SSVEP成分的上界频率作为截止频率，刺激信号带宽作为初始频率的公差，设置通带频率(Hz)分别为[8，88]、[16，88]、[24，88]、[32，88]、[40，88]、[48，88]、[56，88]、[64，88]、[72，88]和[80，88]，利用切比雪夫I型滤波器对脑电信号进行滤波处理，得到滤波后脑电信号X_i(i＝1，2，...，10)。

b.构造模板信号

构造模板信号Y_f如下所示，与刺激频率f相关的参考信号：

其中，N_h是f的谐波个数，一般取为5。

c.滤波后脑电信号X_i与模板信号Y_f映射到高维

对于每个子带的滤波后脑电信号X_i与模板信号Y_f，设和/>分别表示从原变量空间到希尔伯特空间H₁和H₂的映射，空间H₁中典型变量/>空间H₂中典型变量/>X_i和Y_f的中心化样本观察值记为X_i ^j和Y_f ^j，在核方法中，假设b₁和b₂可以用样本点下的线性组合表示：

那么，典型变量U_i和V_f就表示为X_i ^j和Y_f ^j的如下非线性组合：

<，>表示希尔伯特空间H的内积运算，典型变量U_i和V_f就是滤波后脑电信号X_i与模板信号Y_f映射到高维后的信号。

d.频率分类

对典型变量U_i和V_f进行典型相关分析，寻找一对向量W_U和W_V，通过W_U和W_V来最大化相关变量u_i＝U_i ^TW_U和v_f＝V_f ^TW_V之间的相关性，相关系数表示如下所示：

对每个刺激频率f，最后的目标识别判别式如下所示：

由于SSVEP谐波成分的信噪比随着频率的增加而下降，因此各子带成分的权重系数定义如下所示：

w(i)＝i^-a+b

采用网格搜索法寻找a和b的最优值，得到a＝1.25，b＝0.25。

寻找系数和/>使得U_i和V_f的典型相关系数ρ_f ⁱ最大，计算各个刺激频率f的ρ_f，则最大的ρ_f所对应的刺激频率就被认为是SSVEP所对应的频率。

(3.4)：将分类结果转化为控制命令，向机械臂发送控制指令，从而实现辅助对象的稳态视觉诱发电位对机械臂的主动控制。

分类频率为8Hz对应“食物1”喂食，分类频率为10Hz对应“结束”喂食，分类频率为12Hz对应“食物2”喂食，分类频率为15Hz对应“食物3”喂食，在四个不同分类频率下，MATLAB通过USB串口向机械臂发送四组不同的控制命令。

为比较所提出的算法与传统FBCCA算法的准确率和确定刺激时长，采集10位被试的9导联脑电数据来构造数据集。该数据集共有6个试次，从8Hz到15.8Hz，以0.2Hz为步长，共设置40个刺激频率。参照图5，融合KCCA和FBCCA的FBKCCA算法比传统的FBCCA算法特征提取更有效。此外，为比较不同时长SSVEP的分类准确率，采用遍历的方法，在1-4s间以0.5s为步长，并计算不同信号长度下的分类准确率，则最大的分类准确率对应的时长就被确定为刺激时长。参照图5，时长t为4s时，分类准确率最高，故时长t应设置为4s。在本实例中，刺激频率设置为4个，刺激时长设置为4s。

(4)：通过USB串口传输控制命令，并驱动机械臂完成相应食物的辅助进食。

所述步骤(4)中机械臂具体结构为：

机械臂为UFACTORY公司的市售产品UFACTORY uArm Swift Pro，由底座、大臂、小臂和末端执行器组成，通过USB串口将控制指令传输到机械臂的末端执行器中，可实现三维空间内的运动，机械臂的坐标原点位于机械臂底座中心，其XY平面的运动范围为半圆环状，运动半径在119-359cm之间。本发明使用的末端执行器为通用夹子，将吃饭器具(勺子)置于夹板内夹紧，控制机械臂在三维空间内移动。

Claims (5)

1.一种面向残疾人的智能脑控机械臂辅助进食系统的进食方法，进食系统包括人机交互界面模块(A)、信号采集模块(B)、信号处理模块(C)和机械臂进食模块(D)，其特征在于，包括以下步骤：

(1)：通过人机交互界面模块(A)进行食物和辅助对象的位置设定，点击“开始喂食”按钮进入稳态视觉刺激界面；

(2)：采集辅助对象在稳态视觉刺激界面上刺激频闪所诱发的SSVEP，简称脑电数据；

(3)：对脑电信号进行预处理，并用FBKCCA算法对预处理后的脑电信号进行分类，然后将分类结果转化为机械臂所能识别的控制指令；具体包括：

(3.1)：对采集得到的脑电信号进行预处理；

首先，将脑电信号降采样到200Hz；其次，对脑电信号进行4～95Hz的带通滤波处理；最后，对脑电信号进行50Hz的陷波处理，得到预处理后的脑电数据X；

(3.2)：使用FBKCCA算法对信号进行处理；

a.划分脑电信号子带

从脑电数据X中提取各子带成分，以SSVEP成分的上界频率作为截止频率，刺激信号带宽作为初始频率的公差，设置通带频率，利用切比雪夫I型滤波器对脑电信号进行滤波处理，得到滤波后脑电信号X_i；

b.构造模板信号

构造模板信号Y_f如下所示，与刺激频率f相关的参考信号：

其中，N_h是f的谐波个数；

c.滤波后脑电信号X_i与模板信号Y_f映射到高维

对于每个子带的滤波后脑电信号X_i与模板信号Y_f，设和/>分别表示从原变量空间到希尔伯特空间H₁和H₂的映射，空间H₁中典型变量/>空间H₂中典型变量X_i和Y_f的中心化样本观察值记为X_i ^j和Y_f ^j，在核方法中，假设b₁和b₂可以用样本点下的线性组合表示：

那么典型变量U_i和V_f就表示为X_i ^j和Y_f ^j的如下非线性组合：

<，>表示希尔伯特空间H的内积运算，典型变量U_i和V_f就是滤波后脑电信号X_i与模板信号Y_f映射到高维后的信号；

d.频率分类

对典型变量U_i和V_f进行典型相关分析，寻找一对向量W_U和W_V，通过W_U和W_V来最大化相关变量u_i＝U_i ^TW_U和v_f＝V_f ^TW_V之间的相关性，相关系数表示如下所示：

对每个刺激频率f，最后的目标识别判别式如下所示：

由于SSVEP谐波成分的信噪比随着频率的增加而下降，因此各子带成分的权重系数定义如下所示：

w(i)＝i^-a+b

采用网格搜索法寻找a和b的最优值；

寻找系数和/>使得U_i和V_f的典型相关系数ρ_f ⁱ最大，计算各个刺激频率f的ρ_f，则最大的ρ_f所对应的刺激频率就被认为是SSVEP所对应的频率；

(3.4)：将分类结果转化为控制命令，向机械臂发送控制指令，从而实现辅助对象的稳态视觉诱发电位对机械臂的主动控制；

(4)：通过USB串口传输控制命令，并驱动机械臂完成相应食物的辅助进食。

2.根据权利要求1所述的一种面向残疾人的智能脑控机械臂辅助进食系统的进食方法，其特征在于，

所述步骤(1)包括位置设定和进入刺激界面：

(1.1)：按照三维空间的格式，对食物与辅助对象的位置进行调整，每次调整的距离为1cm内，并在人机交互界面模块(A)上显示调整后的坐标；

(1.2)：点击“开始喂食”按钮，进入稳态视觉刺激界面。

3.根据权利要求1所述的一种面向残疾人的智能脑控机械臂辅助进食系统的进食方法，其特征在于，

所述步骤(4)中机械臂为UFACTORY公司的市售产品UFACTORY uArm Swift Pro，通过USB串口将控制指令传输到机械臂的末端执行器中，实现三维空间内的运动，机械臂的坐标原点位于机械臂底座中心，其XY平面的运动范围为半圆环状，运动半径在119-359cm之间。

4.根据权利要求1所述的一种面向残疾人的智能脑控机械臂辅助进食系统的进食方法，其特征在于，

所述步骤(2)具体包括：

(2.1)：将脑电极按照国际10-20系统电极放置标准放置在辅助对象头皮上，参考位置选取FPz，接地位置选取右耳乳突，电极阻抗保持在5kΩ以下；

(2.2)：辅助对象在注视某一个闪烁的方块时，在大脑中就会产生和视觉刺激频率具有相同的基频与谐波频率的周期响应，使用脑电记录仪进行放大、模数转换处理，然后将脑电信号传输至计算机。

5.根据权利要求4所述的一种面向残疾人的智能脑控机械臂辅助进食系统的进食方法，其特征在于，

所述的脑电极为9通道，分别放置在辅助对象头皮P3、PZ、P4、PO3、POz、PO4、O1、Oz和O2位置上。