CN104615250A - 一种基于脑机接口的二维光标快速控制方法 - Google Patents

Abstract

本发明属于脑机控制技术领域，公开了一种基于脑机接口的二维光标快速控制方法，包括以下步骤：将外部刺激源以界面显示方式提供给使用者；通过脑电采集设备实时采集使用者脑电信号；采用信号放大器对脑电信号进行放大，并进行模数转换；通过信号处理设备对脑电信号进行特征提取、模式分类和指令翻译，判断使用者对光标的控制意图；根据翻译得到的控制意图，采用光标控制设备对光标速度进行控制；通过模数转换，实现光标在显示装置上的二维运动，使用者根据实时运动情况，继续调整光标运动速度，最终控制光标运动到目的位置。本发明外部刺激单一，减少多种刺激方式对使用者造成的混乱；操作步骤较少，操作时间短，操作简单。

Description

一种基于脑机接口的二维光标快速控制方法

技术领域

本发明属于脑机接口领域，涉及一种基于脑机接口的二维光标快速控制方法。

背景技术

脑机接口(BCI，Brain Computer Interface)技术是指把从人头皮上采集到的脑电信号，转化成计算机或者其他设备的控制指令，不依赖于大脑的外周神经系统以及肌肉组织等正常神经输出通路，建立人与外界进行信息交流的通讯或者控制通道。这种全新的人机接口方式通过人脑来控制外部物体在二维平面或者三维平面内运动，达到物随心动的控制效果，是近年来脑功能研究的热点课题。由于该技术不需要借助语言或者肢体动作，因此对于严重的运动残疾患者，能够帮助他们将思维意图传送到计算机、神经假肢、护理设备、以及家用电器等外部装置，帮助他们更方便更有效的生活和工作。

脑机接口分为植入式和非植入式两大类。植入式脑机接口的信号精度比较高，信噪比高，易于分析和处理，但其需要对使用者进行开颅手术，危险性比较大，目前主要用于动物实验研究。非植入式脑机接口获取的脑信号噪声大，信号特征的可区分性差,但由于它的信号获取相对容易，并且随着信号处理方法和技术的不断进步，对头皮脑电的处理目前已经能够达到一定的水平，所以在实际生活应用中，多使用非植入式脑机接口。

在非植入式脑机接口中，根据携带使用者意愿的大脑信号的产生方式，脑机接口系统可以分为诱发型和自发型两种。诱发性脑机系统需要在外部刺激源的帮助下，产生携带使用者意愿的大脑信号。例如通过目光转移来选择注视的刺激，而这个刺激能够诱发特定的大脑信号。自发型脑机系统不需要外部刺激源的帮助来产生携带使用者意愿的大脑信号，特定的大脑信号的产生可以仅仅通过“想”来产生。这个“想”的概念包括注意力，想象等各种意识活动。常见的诱发性刺激方式包括P300诱发电位、稳态视觉诱发电位(SSVEP，Steady StateVisual Evoked Potential)等。

目前利用脑机接口技术进行二维光标控制的技术中，有多种实现方式：(1)使用P300诱发电位控制光标的垂直位移，利用运动想象来控制光标的水平位移；(2)利用某种脑机接口控制光标移动到相应的位置后，再利用P300诱发电位和运动想象确认光标是否到达了使用者的预定目的地；(3)使用P300诱发电位控制光标的垂直运动，利用SSVEP诱发电位控制光标的水平运动；(4)将光标在二维平面的运动分为两两之间夹角为120°的三个向量，利用运动想象控制三个向量的运动，实现对光标在二维平面的运动控制；(5)采用运动想象和基于LCD视觉注意的混合脑机接口实现二维光标的运动控制与目标选择，采用LED视觉注意的脑机接口模拟计算机键盘，从而实现电子邮件的通讯功能。虽然现有技术已经实现光标的二维控制，但多采用两种甚至多种外部刺激源，容易对使用者造成混乱。在控制光标运动时，光标的每一步运动都要依赖于脑机接口的输入，因此使用者的工作强度较大。在分解二维运动时，水平和垂直的分解方法比较直观，但三维向量的分解方法对使用者要求较高，增加了操作难度。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：克服现有技术的上述缺陷，提出一种基于脑机接口的二维光标快速控制方法，采用单一的外部刺激源，控制光标在二维平面内的快速运动，减轻使用者负担，实现良好控制效果。

(二)技术方案

为了解决上述技术问题，本发明提供一种基于脑机接口的二维光标快速控制方法，其包括以下步骤：

步骤1：将外部刺激源以界面显示方式提供给使用者；

步骤2：通过脑电采集设备实时采集使用者脑电信号；

步骤3：采用信号放大器对脑电信号进行放大，并进行模数转换；

步骤4：通过信号处理设备对脑电信号进行特征提取、模式分类和指令翻译，判断使用者对光标的控制意图；

步骤5：根据翻译得到的控制意图，采用光标控制设备对光标速度进行控制；

步骤6：通过模数转换，实现光标在显示装置上的二维运动，使用者根据实时运动情况，继续调整光标运动速度，最终控制光标运动到目的位置。

其中，所述步骤4具体包括：

步骤41：对脑电信号进行特征提取；

步骤42：对脑电信号进行模式分类；

步骤43：对脑电信号进行指令翻译。

其中，所述步骤5中，控制意图分为5种，分别是水平加速，水平减速，垂直加速，垂直减速，停止；前四种控制意图分别包含7档不同速度，第五种控制意图使得水平速度和垂直速度均突变为0；前四种控制意图中，水平加速和水平减速的速度范围一致，垂直加速和垂直减速的速度范围一致，分别为各方向的：1档-反向较大速度、2档-反向中等速度、3档-反向较小速度、4档-零、5档-正向较小速度、6档-正向中等速度、7档-正向较大速度。

其中，所述水平加速、水平减速、垂直加速、垂直减速四个控制指令的控制过程相同；其中，水平加速的控制过程为：当使用者首次注视“水平加速”时，速度为5档正向较小速度，第二次注视时，速度变为6档正向中等速度，第三次注视时，速度变为7档正向最大速度，第四次甚至更多次注视时，速度保持7档正向最大速度；当需要降低速度时，注视“水平减速”控制指令，使得当前速度档位降低，每注视一次，档位降低一档，当速度降低至最低档位即1档反向最大速度时，如继续注视“水平减速”，则速度保持不变。

其中，在光标控制过程中，脑机指令改变的是光标的速度，当没有脑机指令时，光标以当前速度匀速行驶。在水平方向上，同一时刻，只能有“水平加速”或者“水平减速”一个控制指令有效，当其中一个有效时，另一个的速度档位自动为4档即零速度。

其中，在光标控制过程中，当给定光标起始位置和目标位置后，使用者根据初步估计结果对速度进行调整，当光标与目标位置距离较远时，选择较大速度，否则选择较小速度，当光标到达目标位置时，选择“停止”控制指令，从而实现光标从起始位置到目标位置的运动控制。

(三)有益效果

上述技术方案所提供的基于脑机接口的二维光标快速控制方法，外部刺激单一，减少多种刺激方式对使用者造成的混乱；操作步骤较少，操作时间短，操作简单。

附图说明

图1是本发明实施例基于脑机接口的二维光标快速控制系统的工作原理框图；

图2是本发明实施例基于脑机接口的二维光标快速控制方法的工作流程图；

图3是本发明实施例基于脑机接口的二维光标快速控制方法中脑机操控界面图。

具体实施方式

为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

如图1所示，实现本发明基于脑机接口的二维光标快速控制方法的系统的工作原理框图包含7个组成部分，具体为：作用于使用者的外部刺激源，顺次连接的脑电采集设备、信号放大器、信号处理设备、光标控制设备、显示装置，脑电采集设备和显示装置均与使用者连接；外部刺激源为使用者提供刺激源，脑电采集设备采集使用者接受外部刺激源后产生的脑电信号，信号放大器对脑电信号进行放大处理，信号处理设备对脑电信号进行特征提取、模式分类和指令翻译，光标控制设备执行指令翻译结果，对光标的二维运动进行控制，显示装置实时显示光标的二维运动结果，供使用者观察，为下一步的指令控制提供参考。

本实施例中，显示装置的屏幕分辨率为1024×768(单位，像素PX)，设计起始位置和目标位置，对光标运动速度进行调整和控制，求取光标从起始位置到达目标位置需要的速度调整次数和整体运动时间。设定光标起始位置为屏幕左下角O(0，0)，目标位置有两个，分别是屏幕右上方A(1024，768)和B(999，699)。目标位置A代表最远运动距离，目标位置B坐标值的个位/十位/百位数字都选取了屏幕分辨率范围内的最大值，因此B代表最复杂的运动距离。

如图2所示，基于脑机接口的二维光标快速控制方法包含以下步骤:

步骤1：将外部刺激源以界面显示方式提供给使用者；

步骤2：通过脑电采集设备实时采集使用者的脑电信号；

步骤3：采用信号放大器对脑电信号进行放大，并进行模数转换；

步骤4：通过信号处理设备对脑电信号进行特征提取、模式分类和指令翻译，判断使用者对光标的控制意图；

步骤5：根据翻译得到的控制意图，采用光标控制设备对光标速度进行控制；

步骤6：通过模数转换，实现光标在显示装置上的二维运动，使用者根据实时运动情况，继续调整光标运动速度，最终控制光标运动到目的位置。

具体地，步骤5中，如图3所示，脑机操控界面的控制指令分为5种，分别是水平加速(Ha,Horizontal accelerate)，水平减速(Hd,Horizontal decelerate)，垂直加速(Va,Vertical accelerate)，垂直减速(Ha,Horizontal decelerate)，停止(Stop)。

上述5种控制指令中，前四种控制指令分别包含7档不同速度，第五种控制指令使得水平速度和垂直速度均突变为0；

前四种控制指令中，水平加速和水平减速的速度范围一致，垂直加速和垂直减速的速度范围一致，分别为各方向的：1档-反向较大速度、2档-反向中等速度、3档-反向较小速度、4档-零、5档-正向较小速度、6档-正向中等速度、7档-正向较大速度。具体数值如表1所示。

表1  速度档位设定

表1中，正值表示光标向右或者向上运动，负值表示光标向左或者向下运动，零标志光标停止运动。Vha，Vhd，Vva，Vvd分别为脑机的四个指令即水平加速、水平减速、垂直加速、垂直减速对应的速度。

各控制指令对速度的控制方法有所不同，以“水平加速”控制指令为例，对提到的7个速度的控制方法进行说明。当使用者首次注视“水平加速”时，速度为5档正向较小速度即1px/s，第二次注视时，速度变为6档正向中等速度即10px/s，第三次注视时，速度变为7档正向最大速度即100px/s，第四次甚至更多次注视时，速度保持7档正向最大速度即100px/s；当需要降低速度时，注视“水平减速”控制指令，使得当前速度档位降低，每注视一次，档位降低一档，当速度降低至最低档位即1档反向最大速度即-100px/s时，如继续注视“水平减速”，则速度保持不变。

“水平减速”、“垂直加速”、“垂直减速”这三个控制指令的控制思想与“水平加速”控制指令的原理相同，不再赘述。

在光标控制过程中，脑机指令改变的是光标的速度，当没有脑机指令时，光标以当前速度匀速行驶。在水平方向上，同一时刻，只能有“水平加速”或者“水平减速”一个控制指令有效，当其中一个有效时，另一个的速度档位自动为4档即零速度。五个控制指令中，停止指令的优先级最高。

在以上步骤的设计下，光标在二维平面运动的位移计算方法为：当前位置加上当前速度乘以时间。如下公式所示：

$\left\{\begin{array}{c}x(k+1)=x\left(k\right)+v_{\mathrm{hg}}\left(k\right)*t+v_{\mathrm{hd}}\left(k\right)*t\\ y(k+1)=y\left(k\right)+v_{\mathrm{vg}}\left(k\right)*t+v_{\mathrm{vd}}\left(t\right)*t\end{array}\right.$

其中，x(k+1)为t时间以后的光标水平位置，x(k)为光标的当前水平位置，y(k+1)为t时间以后的光标垂直位置，y(k)为光标的当前垂直位置。

基于以上设计，当给定光标起始位置和目标位置后，使用者根据初步估计结果对速度进行调整，当光标与目标位置距离较远时，选择较大速度，否则选择较小速度，当光标到达目标位置时，选择“停止”控制指令。从而实现光标从起始位置到目标位置的运动控制。

步骤6中，在计算光标移动时间时，假设每次眨眼有效，且脑机操控者反应迅速敏捷，则计算得到的光标移动时间为比较理想的数值，该数值可以定性说明本发明所设计方法的合理性和便捷性。在真实操控过程中，首先需要对脑机操控者进行训练，使其熟悉速度控制方法，同时，由于每个脑机操控者对速度的理解有所不同，则速度的设计过程存在个性化差异。

首先对目标位置A进行分析。在设计过程中，同一时刻只能有一个方向的速度发生变化，优先设计水平方向，其次设计垂直方向。上述设计方法，使得垂直方向可能出现溢出情况，当出现溢出情况时，垂直方向坐标保持屏幕极限范围不变，在设计完水平方向的速度后，对垂直方向的速度进行反向设计即可。经计算得到，在本实施例所设计参数的前提下，光标从屏幕左下角O(0，0)运动到屏幕右上角A(1024，768)需要调整速度共7次，其中，水平方向3次，垂直方向3次，停止指令1次；需要的时间为22s。

其次对目标位置B进行分析。分析过程与上述方法相同，经计算得到，在本实施例所设计参数的前提下，光标从屏幕左下角O(0，0)运动到屏幕右上角B(999，699)需要调整速度共12次，其中，水平方向6次，垂直方向6次；需要的时间为34s。

与现有技术的光标控制方法相比，该方法到达目标的平均时间约为28秒，但现有技术并未给出光标运动速度。本发明所述方法在设定如上实施例参数值的情况下，从显示装置的左下方到右上方即运行最长距离需要的时间为22s，从左下方到右上方最复杂位置需要的时间为34s，因此可以估算，本方法到达目标的平均时间将明显小于28s。

本发明与现有的脑机接口控制光标的方法相比，具有四个优点：(1)外部刺激单一：减少多种刺激方式对使用者造成的混乱；(2)操作步骤较少：现有技术控制光标运动时，当指令有效，光标才会运动，当指令无效，光标处于停止状态。本发明控制了光标的运动速度变化，当指令有效，光标运动速度改变，当指令无效或者没有指令，光标保持当前运动速度。因此，本发明对脑机指令的操作步骤要求较少；(3)操作时间短：现有技术控制下光标的运动速度为固定值，一方面调整不够灵活，另一方面也难以保证光标精确到达目标位置。本发明的速度为可变值，当光标与目标位置距离较远时，选择较大速度，否则选择较小速度，不仅操作时间短，而且实现了灵活性和精确性；(4)操作简单：由于本发明的外部刺激方式单一，二维运动分解简单，因此具有简单的操作性，对肢体障碍残疾人具有重大意义。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种基于脑机接口的二维光标快速控制方法，其特征在于，包括以下步骤：

步骤1：将外部刺激源以界面显示方式提供给使用者；

步骤2：通过脑电采集设备实时采集使用者脑电信号；

步骤3：采用信号放大器对脑电信号进行放大，并进行模数转换；

步骤4：通过信号处理设备对脑电信号进行特征提取、模式分类和指令翻译，判断使用者对光标的控制意图；

步骤5：根据翻译得到的控制意图，采用光标控制设备对光标速度进行控制；

步骤6：通过模数转换，实现光标在显示装置上的二维运动，使用者根据实时运动情况，继续调整光标运动速度，最终控制光标运动到目的位置。

2.如权利要求1所述的基于脑机接口的二维光标快速控制方法，其特征在于，所述步骤4具体包括：

步骤41：对脑电信号进行特征提取；

步骤42：对脑电信号进行模式分类；

步骤43：对脑电信号进行指令翻译。

3.如权利要求1所述的基于脑机接口的二维光标快速控制方法，其特征在于，所述步骤5中，控制意图分为5种，分别是水平加速，水平减速，垂直加速，垂直减速，停止；前四种控制意图分别包含7档不同速度，第五种控制意图使得水平速度和垂直速度均突变为0；前四种控制意图中，水平加速和水平减速的速度范围一致，垂直加速和垂直减速的速度范围一致，分别为各方向的：1档-反向较大速度、2档-反向中等速度、3档-反向较小速度、4档-零、5档-正向较小速度、6档-正向中等速度、7档-正向较大速度。

4.如权利要求3所述的基于脑机接口的二维光标快速控制方法，其特征在于，所述水平加速、水平减速、垂直加速、垂直减速四个控制指令的控制过程相同；其中，水平加速的控制过程为：当使用者首次注视“水平加速”时，速度为5档正向较小速度，第二次注视时，速度变为6档正向中等速度，第三次注视时，速度变为7档正向最大速度，第四次甚至更多次注视时，速度保持7档正向最大速度；当需要降低速度时，注视“水平减速”控制指令，使得当前速度档位降低，每注视一次，档位降低一档，当速度降低至最低档位即1档反向最大速度时，如继续注视“水平减速”，则速度保持不变。

5.如权利要求4所述的基于脑机接口的二维光标快速控制方法，其特征在于，在光标控制过程中，脑机指令改变的是光标的速度，当没有脑机指令时，光标以当前速度匀速行驶；在水平方向上，同一时刻，只能有“水平加速”或者“水平减速”一个控制指令有效，当其中一个有效时，另一个的速度档位自动为4档即零速度。

6.如权利要求5所述的基于脑机接口的二维光标快速控制方法，其特征在于，在光标控制过程中，当给定光标起始位置和目标位置后，使用者根据初步估计结果对速度进行调整，当光标与目标位置距离较远时，选择较大速度，否则选择较小速度，当光标到达目标位置时，选择“停止”控制指令，从而实现光标从起始位置到目标位置的运动控制。