CN106726030A - 基于临床脑电信号控制机械手运动的脑机接口系统及其应用 - Google Patents

Abstract

本发明公开了一种基于临床皮层脑电信号控制机械手运动的脑机接口系统，包括信号采集模块、脑电特征提取及解码模块、机械手控制模块以及外设模块，信号采集模块将采集到的临床脑电信号进行预处理后输入到脑电特征提取及解码模块，脑电特征提取及解码模块提取预处理的脑电信号的特征，机械手控制模块对预处理后的脑电信号的特征进行分类，并将类标发送到机械手，完成手势运动；外设模块监督和反馈机械手执行的任务。本发明还公开了该脑机接口系统的应用方法，本发明利用时空分辨率较高侵入程度小的临床皮层脑电信号，可实现高精度的在线机械手手势控制。

Description

基于临床脑电信号控制机械手运动的脑机接口系统及其应用

技术领域

本发明属于脑机接口技术领域，尤其涉及一种基于临床皮层脑电信号控制机械手运动的脑机接口系统及其应用。

背景技术

脑机接口是一种新型的，仅利用计算系统解析大脑活动信号并将其转化为控制指令，就可以让用户直接对效应器(肌肉，鼠标，键盘等)进行实时控制的技术。该技术的临床应用实施可以极大地帮助瘫痪病人或者肢残人士重建运动功能。据中国残疾人联合会统计，截止2010年，中国共有2472万肢体残疾，其中，大部分为上肢功能障碍和手指截除或缺损。因此，将脑机接口技术应用于临床将极大地改善残疾人的生活质量。

目前，脑机接口根据采集脑电信号时电极对大脑的侵入程度，可分为植入式脑机接口和非植入式脑机接口。其中，非植入式脑机接口采用头皮电极或者体外传感器观测大脑神经活动，无外科开颅手术风险，但时空分辨率较低，训练样本大，对于变化环境条件中的稳健性较差，目前为止还不能用于复杂的手部脑机接口控制。植入式脑机接口利用多通道电极采集颅内神经元信号，具有高时空分辨率，并且不易受到噪声干扰，可以提供较为精准的脑电信息，但由于侵入程度最大，手术及预后风险大，并且采集电极为针式阵列电极，长期植入后易受到生物相容性，排异反应以及电极脱落等影响，信号易衰减，不利于临床长期应用。如何平衡脑电信号质量与侵入性一直是脑机接口从实验非人动物研究到临床转化过程中的难点。

近年来，由于皮层脑电信号是通过硬脑膜下覆盖的贴片电极采集且不侵入大脑皮层，同时又具有高时空分辨率和长期稳定性的优点，因此受到广泛地关注。在临床上，该皮层脑电信号长期用于难治性癫痫病灶的定位，具有成熟的相关电极植入技术和术后干预技术，而在脑机接口领域的相关应用还较少。

发明内容

本发明的目的在于将医用临床皮层脑电信号作为脑机接口信号源，提供一种用于抓握运动功能重建的脑机接口系统，帮助临床上肢体残疾病人通过脑电控制外部假肢执行简单的抓握行为。

为实现上述目的，本发明提出了一种基于临床皮层脑电信号控制机械手运动的脑机接口系统，包括信号采集模块、脑电特征提取及解码模块、机械手控制模块以及外设模块，所述的信号采集模块将采集到的临床脑电信号进行预处理后输入到脑电特征提取及解码模块，脑电特征提取及解码模块提取和解码预处理的脑电信号的特征，机械手控制模块将解码的类标通过PC串口发送到机械手，完成手势运动；所述的外设模块监督和反馈用户及机械手执行的任务。

所述的信号采集模块用于对临床脑电信号进行处理以及运动任务开始时间和运动手势类别的获取。

所述的信号采集模块对临床脑电信号进行的预处理包括：

首先，通过分线器对临床脑电信号进行分流，将临床脑电信号分成两路，一路输入医院记录系统，另一路输入神经信号采集仪；

为了不影响医院记录系统的纪录，本发明脑机接口系统在使用过程中应独立于医院记录系统，因此需要对脑电信号进行分流。分流的具体过程为：医用临床脑电信号通过临床医用电极进入分线器，分线器将一路信号复制成为与流入信号完全一致的两路信号，其中一路信号进入医院记录系统，另一路进入神经信号采集仪；

然后，通过神经信号采集仪对临床脑电信号进行信号放大，带通滤波；

神经信号采集仪内部具有一个放大器，对临床脑电信号进行放大；带通滤波选用硬件滤波，带通范围为0.3-500Hz，陷波为50Hz，利用神经信号采集仪的显示屏肉眼观察每个通道的原始信号，除去受到噪声干扰较大的通道；

最后，将滤波后的临床脑电信号以1KHz的采样率存储于PC控制端。

所述的脑电特征提取及解码模块内置于PC控制端，用于提取滤波后特定频域的脑电信号的特征和实时解码运动手势，主要是对滤波后的临床脑电信号通过多窗谱方法估计时间-频率上的功率谱密度，然后，做归一化后处理，得到每个通道上临床脑电信号的时频特征，接下来，根据每个通道的时频特性，挑选与运动功能相关的通道、临床脑电信号激活时间以及频段；最后，利用挑选出的通道特征量，训练可用于多分类的支持向量机(SupportVector Machine，SVM)分类器，用于多种手势的分类。

所述的机械手控制模块内置于PC控制端，通过PC串口端发送指令到机械手，用于控制机械手按照指令执行相应的运动手势。

所述的外设模块包括语音模块、显示模块、数据手套以及摄像模块，显示模块用于提示用户需要执行的运动手势；语音模块用于提示用户任务开始以及手势执行情况的实时反馈；数据手套穿戴于用户双手上，用于用户手部运动的实时记录；摄像模块用于用户手部运动的记录和非直接观察。

利用脑机接口系统进行假肢运动分为两个阶段，分别为离线训练阶段和在线预测阶段。离线测试阶段用于构建最优的预判模型，具体包括特征参数的选取以及分类器参数的优化；在线预测阶段用于实时在线的用构建好的脑机接口系统对用户的脑电信号进行分析，并做出手势类别预测，然后控制外部机械手做出相应的手势。

离线训练阶段的步骤为：

(1)脑电采集模块采集临床脑电信号，并对临床脑电信号进行预处理，得到滤波后特定频域的脑电信号；

(2)脑电特征提取及解码模块提取滤波后特定频域的临床脑电信号的特征，得到通道特征量，并通过PC端获取对应的手势类别；

(3)将通道特征量和对应的手势类别输入到SVM分类器中，进行训练，得到预判模型。

步骤(1)的具体步骤为：

(1-1)利用分线器对临床脑电信号进行分流，将临床脑电信号分成两路，一路输入医院记录系统，另一路输入神经信号采集仪；

(1-2)利用神经信号采集仪对输入的临床脑电信号进行放大，带通滤波，得到滤波后特定频域的脑电信号。

步骤(2)的具体步骤为：

(2-1)利用多窗谱方法对滤波后的临床脑电信号进行估计，得到临床脑电信号的时间-频率上的功率谱密度；

(2-2)对功率谱密度做归一化处理，得到每个通道上临床脑电信号的时频特征；

(2-3)根据每个通道的时频特性，挑选与运动功能相关的通道、临床脑电信号激活时间以及频段，得到通道特征量。

在步骤(2-1)中，在提取频域特征时，利用一个长度为300ms的滑动窗每次以步进为100ms移动，截取的滤波后特定频域的脑电信号通过多窗谱方法计算其在频域上的能量。

在步骤(2-2)中，对功率谱密度做归一化的步骤为：

(2-2-1)对当前抓握任务中视觉提示前1秒，即10个窗的静息状态的脑电信号进行计算，获得当前抓握任务静息状态下的功率谱密度均值和方差，计算公式为：

S_{baseline_ave}＝mean(S₁(t),S₂(t),…S₁₀(t))

S_{baseline_std}＝std(S₁(t),S₂(t),…S₁₀(t))

其中，S₁(t),S₂(t),…S₁₀(t)为视觉提示前10个时间窗的脑电信号，mean(·)为均值函数，std(·)为方差函数，S_{baseline_ave}为抓握任务静息状态下的功率谱密度均值，S_{baseline_std}为抓握任务静息状态下的功率谱密度的方差；

(2-2-2)对运动开始后的脑电信号的功率谱密度做归一化处理，归一化公式为：

其中，S_i(t)为运动开始后的每个时间窗的功率谱密度值，通过以上公式使得每个时间窗上的功率谱密度在频域上得到归一化。

为了降低计算的维度，可以将低频和高频脑电信号求取以5Hz为频率分辨率下的功率谱密度平均值，并减去基础脑电信号均值，除以基础脑电信号方差做归一化。

在步骤(2-3)中，挑选出的与运动相关的通道具有的特性为：功率谱密度在范围为0.3-15Hz的低频和频率范围为70-135Hz的高频上随运动增高，在频率范围为15-35Hz的中频上随运动降低。

在步骤(2-3)中，通道特征量为一个1*n的向量，其中n为通道个数、以5Hz为频率分辨率的频域维度及临床脑电信号激活时间三者的乘积。

在步骤(3)中，将通道特征量与对应的手势类别输入到SVM解码器，利用交叉验证方法训练得出最佳SVM特征，得到预判模型，作为在线预测阶段的解码模型。在matlab界面中，利用的是libsvm工具包实现多手势分类。

在线预测阶段的步骤为：

(a)脑电采集模块采集临床脑电信号，利用分线器对临床脑电信号进行分流，然后通过神经信号采集仪对临床脑电信号进行放大和带通滤波，得到滤波后特定频域的脑电信号；

(b)脑电特征提取及解码模块在得到PC控制端发来的任务开始提示后，从神经信号采集仪的缓冲区获取临床脑电信号并计算与运动相关通道频段上的功率谱密度，并做归一化处理，利用已经训练好的预测模型对归一化的特征进行分类；

(c)机械手控制模块将分类器解码的类标通过PC串口发送到机械手，完成手势运动，同时，外设模块监督和反馈用户及机械手执行的任务。

在步骤(b)中，每隔100ms从神经信号采集仪中获取临床脑电信号，并利用前200ms信息计算功率谱。

在步骤(c)中，利用任务提示后的600ms激活时间内的临床脑电信号特征用于手势类别识别，并通过PC串口发送指令给外部假肢，控制假肢运动。

利用脑机接口系统进行假肢运动过程的所有任务相关指令由PC端的用C语言编写的主程序控制，主程序同时同步外部事件时间信息以及临床皮层脑电信号。在一次手势控制实验中，PC端主程序首先会提示对相关参数进行配置，然后通过显示器发送指定的手势类型，通过音响发送任务指令以及任务完成反馈。

运动任务开始时间为PC控制端发送任务提示时的系统时间减去脑电信号记录的起始时间。

本发明将临床脑电信号作为脑机接口系统的信号源，实现同步在线手部运动的精确控制，将极大地有利于运动型，特别是手部运动的脑机接口的临床转化，从而帮助手部残障人士恢复抓握运动功能。整套系统独立于临床系统，不影响临床系统的记录。系统设计简洁，任务设置简单易懂，不会对用户的理解和执行造成额外的负担。系统同时还兼顾便携性，用尽可能少的设备搭建，方便临床随时接入和撤出。

附图说明

图1为本发明的脑机接口系统示意图；

图2为本发明脑机接口系统应用方法离线训练阶段流程图；

图3为本发明脑机接口系统应用方法在线预测阶段流程图；

图4为本发明的PC控制端界面图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

在利用本发明脑机接口系统前，需要对用户和系统进行预先的处理，包括：用户需要做临床医用皮层脑电电极植入手术，并熟悉手势运动控制任务。用户需要以较为舒适的姿势完成任务，视线与显示屏幕齐平并保持除手以外其余运动部位尽可能静止不动。

如图1所示，本发明临床皮层脑电控制机械手运动的脑机接口系统包括：PC端控制系统、医院记录系统、分线器、神经信号采集仪、显示器、工业摄像头、机械手、数据手套以及音箱，其中神经信号采集仪通过网线和PC端连接，工业摄像头通过USB与PC端连接，数据手套通过USB与PC端相连，PC端控制系统控制整个实验流程。

利用此脑机接口系统进行测试的过程为：

首先，通过PC端控制系统设置神经信号采集仪的滤波参数为0.3-500Hz，采样率为1KHz，同时设定PC端用于信号存储的路径。然后同步打开神经信号采集仪、显示器、音箱、工业摄像头以及数据手套进行试验，在试验的过程中，神经信号采集仪对临床脑电信号进行采集、预处理以及记录存储；显示器同步显示手势类别的提示图片；利用工业摄像头和数据手套同步记录用户的手部运动状况，方便远程记录并观察用户的手部运动状态，摄像开始记录时还会通过模拟口向神经信号采集仪发送TTL高电平，用于神经信号的同步；此外，利用音箱反馈手势执行的正确性给用户。运动任务以单次抓握为基础，重复训练直到训练样本部分采集结束。最后加载用于手势预测的临床脑电信号，进行手势预测分析。之后在预测阶段，将手势预判类别转化为机械手对应手势设定，通过串口发送给机械手，机械手在整个任务过程中以静态状态实时准备，一旦接收到串口发送的指令立即进行手势切换。

利用该脑机接口系统控制假肢执行简单的运动，分为两个阶段，第一个阶段为离线训练阶段，第二个阶段为在线预测阶段。

如图2所示，离线训练阶段具体为：

步骤1，利用分线器对临床脑电信号进行分流，将临床脑电信号分成两路，一路输入医院记录系统，另一部分输入神经信号采集仪。

由于所搭建的脑机接口系统在使用过程中应独立于医院记录系统，因此需要对脑电信号进行分流。分流的具体过程为：医用临床脑电信号通过临床医用电极进入分线器，分线器将一路信号复制成为与流入信号完全一致的两路信号，其中一路信号进入医院记录系统，另一路进入神经信号处理系统。

步骤2，利用神经信号采集仪对输入的临床脑电信号进行放大，带通滤波，得到滤波后特定频域的脑电信号。

带通滤波选用硬件滤波，带通范围为0.3-500Hz，工作陷波50Hz。肉眼观察每个通道的原始信号，除去受到噪声干扰较大的通道。

步骤3，利用多窗谱对滤波后的临床脑电信号估计其时间-频率上的功率谱密度。

在提取频域特征时，利用一个长度为300ms的滑动窗每次以步进为100ms移动，截取的滤波后特定频域的脑电信号通过多窗谱估计算法计算其在频域上的能量。

步骤4，对功率谱密度做归一化处理，得到每个通道上临床脑电信号的时频特征。

首先，对当前抓握任务中视觉提示前1秒，即10个窗的静息状态的脑电信号进行计算，获得当前抓握任务静息状态下的功率谱密度均值和方差，计算公式为：

S_{baseline_ave}＝mean(S₁(t),S₂(t),…S₁₀(t))

S_{baseline_std}＝std(S₁(t),S₂(t),…S₁₀(t))

其中，S₁(t),S₂(t),…S₁₀(t)为视觉提示前10个时间窗的脑电信号，mean(·)为均值函数，std(·)为方差函数，S_{baseline_ave}为抓握任务静息状态下的功率谱密度均值，S_{baseline_std}为抓握任务静息状态下的功率谱密度的方差；

然后，对运动开始后的脑电信号的功率谱密度做归一化处理，归一化公式为：

其中，S_i(t)为运动开始后的每个时间窗的功率谱密度值，通过以上公式使得每个时间窗上的功率谱密度在频域上得到归一化。

步骤5，根据每个通道的时频特性，挑选与运动功能相关的通道、临床脑电信号激活时间以及频段，得到通道特征量。

挑选出的与运动相关的通道为具有功率谱密度在低频(0.3-15Hz)和高频(70-135Hz)上随运动增高，在中频(15-35Hz)上随运动降低特性的通道。将提示后的10个窗作为临床脑电信号激活时间。通道特征量为一个1*n的向量，其中n为通道个数、以5Hz为频率分辨率的频域维度及临床脑电信号激活时间三者的乘积。

步骤6，通过PC端获取对应的手势类别。

步骤7，将通道特征量和对应的手势类别输入到SVM分类器中，利用交叉验证方法训练得出最佳SVM特征，得到预判模型，作为在线预测阶段的解码模型。

如图3所示，在线预测阶段具体为：

步骤1，利用分线器对临床脑电信号进行分流，并通过神经信号采集仪对临床脑电信号进行放大和带通滤波，得到滤波后特定频域的脑电信号；

步骤2，脑电特征提取及解码模块在得到PC控制端发来的任务开始提示后，从神经信号采集仪的缓冲区获取临床脑电信号并计算与运动相关通道频段上的功率谱密度，并做归一化处理，利用已经训练好的SVM分类器对归一化的特征进行分类；

步骤3，机械手控制模块将分类器解码的类标通过PC串口发送到机械手，完成手势运动，同时，外设模块监督和反馈机械手执行的任务。

图4为PC端主程序界面图，该界面用C语言编写，根据图1连接好系统通路后，首先打开神经信号采集仪，依次进行神经信号采集仪(Neuroport)连接以及端口的设置，然后根据离线神经信号的时频特性，对解码模型的通道和频段进行选择，最后设置机械手连接的串口以及数据手套的三种手势运动的模板。其中数据手套的手势模板通过用户在佩戴数据手套的同时重复执行手势训练即可获取。

依次对以上参数进行设置并确保用户准备好进行任务执行后点击“开始试验”，即可开始整个脑机接口系统，包括脑电信号的采集，特征提取及解码，模型的训练以及最后手势预测和机械手控制。在点击“停止实验”后即可停止整个脑机接口系统实验，并暂停神经信号，视频信号等的存储。

每次用户抓握任务总长控制在10秒以内，包括3秒钟的准备阶段，4秒钟的手势执行阶段，以及3秒的手势放松阶段。在准备阶段要求用户将手保持掌心向上，手部放松姿势，在开始时有语音提示用户做好准备，即保持注意力集中。准备阶段结束后，显示屏上会等概率随机出现某种手势照片，用户需要在视觉提示后立即执行阶段想象并执行手势。在提示任务结束出现之前，手部要保持手势姿势。任务完成后，屏幕会提示手势放松并等待下一个任务的开始。

本系统设定机械手可以执行“石头”，“剪刀”，“布”三种手势，用户通过放在床前的显示器上的指示进行手势运动。在运动开始前，用户的手及手臂保持静止状态。单次手势抓握运动开始有声音提示“准备”。同时屏幕上会出现一个红色的加号，提示用户注意加号，并保持手掌向上放松。接下来的时间为静息状态，随机持续2-2.5秒。静息状态结束后，红色的加号会用手势图片代替，手势图片随机等概率地显示三种手势中的任一一种手势。用户需要即可对手势做出相应，并保持手势状态直到最后显示红点提示手部可以进行放松。整个手势阶段持续2-3.5秒。之后用户即可放松手，转换到静息状态。语音提示本次任务的正确性反馈给用户。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于临床皮层脑电信号控制机械手运动的脑机接口系统，其特征在于，包括信号采集模块、脑电特征提取及解码模块、机械手控制模块以及外设模块，所述的信号采集模块将采集到的临床脑电信号进行预处理后输入到脑电特征提取及解码模块，脑电特征提取及解码模块提取和解码预处理的脑电信号的特征，机械手控制模块将解码的类标通过PC串口发送到机械手，完成手势运动；所述的外设模块监督和反馈用户及机械手执行的任务。

2.根据权利要求1所述基于临床皮层脑电信号控制机械手运动的脑机接口系统，其特征在于：所述的信号采集模块对临床脑电信号进行的预处理包括：

首先，通过分线器对临床脑电信号进行分流，将临床脑电信号分成两路，一路输入医院记录系统，另一路输入神经信号采集仪；

然后，通过神经信号采集仪对临床脑电信号进行信号放大，带通滤波；

最后，将滤波后的临床脑电信号存储于PC控制端。

3.根据权利要求1所述基于临床皮层脑电信号控制机械手运动的脑机接口系统，其特征在于：所述的脑电特征提取及解码模块内置于PC控制端，提取预处理的脑电信号的特征的过程包括：

首先，对滤波后的临床脑电信号通过多窗谱方法估计时间-频率上的功率谱密度；

然后，做归一化后处理，得到每个通道上临床脑电信号的时频特征；

最后，根据每个通道的时频特性，挑选与运动功能相关的通道、临床脑电信号激活时间以及频段。

4.根据权利要求3所述基于临床皮层脑电信号控制机械手运动的脑机接口系统，其特征在于：挑选出的与运动相关的通道具有的特性为：功率谱密度在范围为0.3-15Hz的低频和频率范围为70-135Hz的高频上随运动增高，在频率范围为15-35Hz的中频上随运动降低。

5.根据权利要求1所述基于临床皮层脑电信号控制机械手运动的脑机接口系统，其特征在于：所述的外设模块包括语音模块、显示模块、数据手套以及摄像模块，显示模块用于提示用户需要执行的运动手势；语音模块用于提示用户任务开始以及手势执行情况的实时反馈；数据手套穿戴于用户双手上，用于用户手部运动的实时记录；摄像模块用于用户手部运动的记录。

6.根据权利要求1～5任一权利要求所述的脑机接口系统的应用方法，其特征在于，分为离线训练阶段和在线预测阶段；离线测试阶段用于构建最优的预判模型；在线预测阶段用于实时在线的用构建好的脑机接口系统对用户的脑电信号进行分析，并做出手势类别预测，然后控制外部机械手做出相应的手势。

7.根据权利要求6所述的应用方法，其特征在于，离线训练阶段的步骤为：

(1)脑电采集模块采集临床脑电信号，并对临床脑电信号进行预处理，得到滤波后特定频域的脑电信号；

(2)脑电特征提取及解码模块提取滤波后特定频域的临床脑电信号的特征，得到通道特征量，并通过PC端获取对应的手势类别；

(3)将通道特征量和对应的手势类别输入到SVM分类器中，进行训练，得到预判模型。

8.根据权利要求7所述的应用方法，其特征在于，步骤(1)的具体步骤为：

(1-1)利用分线器对临床脑电信号进行分流，将临床脑电信号分成两路，一路输入医院记录系统，另一路输入神经信号采集仪；

(1-2)利用神经信号采集仪对输入的临床脑电信号进行放大，带通滤波，得到滤波后特定频域的脑电信号。

9.根据权利要求7所述的应用方法，其特征在于，步骤(2)的具体步骤为：

(2-1)利用多窗谱方法对滤波后的临床脑电信号进行估计，得到临床脑电信号的时间-频率上的功率谱密度；

(2-2)对功率谱密度做归一化处理，得到每个通道上临床脑电信号的时频特征；

(2-3)根据每个通道的时频特性，挑选与运动功能相关的通道、临床脑电信号激活时间以及频段，得到通道特征量。

10.根据权利要求6所述的应用方法，其特征在于，在线预测阶段的步骤为：

(a)脑电采集模块采集临床脑电信号，利用分线器对临床脑电信号进行分流，然后通过神经信号采集仪对临床脑电信号进行放大和带通滤波，得到滤波后特定频域的脑电信号；

(b)脑电特征提取及解码模块在得到PC控制端发来的任务开始提示后，从神经信号采集仪的缓冲区获取临床脑电信号并计算与运动相关通道频段上的功率谱密度，并做归一化处理，并利用已经训练好的预测模型对归一化的特征进行分类；

(c)机械手控制模块将分类器解码的类标通过PC串口发送到机械手，完成手势运动，同时，外设模块监督和反馈用户及机械手执行的任务。