CN109582131B - 一种异步混合脑机接口方法 - Google Patents

Abstract

本发明公开了一种异步混合脑机接口方法，基于注视信号和稳态视觉诱发电位，其步骤为：(1)呈现控制界面，控制界面中包括有效区域和无效区域；(2)从注视跟踪模块获取注视信号，根据该注视信号判断注视时长是否超过预先设置的阈值，以及当前的注视点是否位于控制界面的有效区域内；(3)对在控制界面有效区域内的所有目标控制键施加定频闪烁的视觉刺激；(4)在(3)步骤实施的同时，在后台持续从注视跟踪模块获取注视信号，并实时判断当前的注视点是否发生变化，若判断结果为是，则立刻停止步骤(3)中的视觉刺激并回到步骤(2)；(5)目标识别过程，并根据结果输出控制命令。本发明具有原理简单、实现简便、控制精度高、信息传输率高、实时异步自主控制、中途纠错等优点。

Description

一种异步混合脑机接口方法

技术领域

本发明主要涉及到脑机接口技术领域，特指一种基于注视信号和稳态视觉诱发电位的异步混合脑机接口方法。

背景技术

脑机接口(Brain-Computer Interface，BCI)是一种新的不依赖于外周神经和肌肉参与的人机通讯系统。它通过检测并判别脑电信号中对应不同大脑活动所体现出来的时空模式来识别人的意图，并将其转换成能被计算机所识别和执行的数字信号，建立人脑与外设的直接通讯。目前，BCI在助残、康复工程及武器装备研发、娱乐等领域均有着广泛的应用前景，已受到国内外研究学者的广泛关注。

随着人们对大脑功能不断深入的研究及信号处理技术的快速发展，对通过在用户头部安放电极采集到的头皮脑电图(Electroencephalogram,EEG)信号的处理技术已经达到一定水平，并已用于网页浏览、机械臂和轮椅控制，以及字符输入等脑控技术的研究，这为基于EEG的BCI研究推广及其相关产品进入实际生活应用提供了技术基础。目前，国内外众多BCI研究团队对基于EEG信号的BCI研究主要集中在分别对其时域、空域、频域成分脑电模态的分析处理上。例如，采用稳态视觉诱发电位(Steady-state Visually EvokedPotential,SSVEP)的频域信息驱动的BCI系统的研究已经达到了较高水平，能够同时实现高准确率和高信息传输率。

SSVEP可通过施加定频闪烁的视觉刺激诱发产生。在刺激过程中，用户通过注视以某特定频率闪烁的字符模块，使其头部枕区(初级视皮层)EEG信号产生与刺激频率相对应的特征电位。系统通过对EEG信号频域成分的辨识来反推出视觉刺激的频率，进而确定用户所注视的目标位置。为实现高准确率和高信息传输率，传统的基于SSVEP的同步脑机接口，要求用户非常熟悉系统界面，控制过程中要高度集中注意力，这就增加了用户的学习成本和脑力负荷，连续地注视闪烁刺激会引起眼睛疲劳，而且用户无法自主控制闪烁的开始和停止，无法在闪烁中途纠错。另一方面，传统的基于SSVEP的异步脑机接口，则是以牺牲信息传输率为代价来确保较高的准确率，而且同样难以方便快捷自然地控制闪烁的开始和停止。这些问题降低了基于SSVEP的脑机接口系统的适用性，也给系统的推广应用增加了难度。

为了进一步优化系统，推进脑机接口走向实用，科研人员提出了混合脑机接口的概念。混合脑机接口包括2种类型：一类是指由两个以上脑机接口方法混合的系统，如SSVEP-P300混合脑机接口、SSVEP-MI(运动想象)混合脑机接口等；另一类是指由至少一个脑机接口和其他类型输入混合的系统，后者包括表面肌电、心电、人眼注视信号等。混合脑机接口可以充分利用多种交互技术的优点，常被用于提高目标识别准确率、系统信息传输率，改善系统异步性能，目前已受到了科研人员的广泛关注。

注视交互是指通过采集分析人眼注视信号，若注视某一目标的时长超过阈值即触发该目标对应的指令。由于人眼注视跟踪技术目前已相对成熟，相关设备的成本也较低，所以注视交互也逐渐走向了普通消费者人群，部分采用Windows10操作系统的新型电脑本身就支持注视交互。注视行为能提供自然的搜索动作，注视交互是一种自然人机交互方式，能显著降低学习成本，提高系统适用性。虽然注视跟踪和SSVEP系统均使用视觉通路，但是前者可实现非接触式采集，也不需与EEG信号同步采集，具有独立性，不会影响SSVEP系统，而且不占用其他通路也会降低人的脑力负荷。从经济方面考虑，注视跟踪设备的价格相对脑电采集系统非常低廉，结合二者不会显著增加成本。因此，注视信号和SSVEP的结合切实可行。利用注视信号和SSVEP混合的方法设计脑机接口系统，可在确保SSVEP系统所同时实现的高准确率和高信息传输率的同时，显著改善系统异步性能，进而推动混合脑机接口技术走向实用化。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种原理简单、实现简便、控制精度高、系统信息传输率高、支持实时异步自主控制和中途纠错的基于注视信号和稳态视觉诱发电位的异步混合脑机接口方法。

为解决上述技术问题，本发明采用以下技术方案：

一种基于注视信号和稳态视觉诱发电位的异步混合脑机接口方法，其步骤为：

(1)呈现出控制界面，控制界面中包括有效区域和无效区域，有效区域中包含一个或多个目标控制键，无效区域为控制界面中除了有效区域的其他区域；

(2)从注视跟踪模块获取注视信号，根据该注视信号判断：(a)注视时长是否超过预先设置的阈值，(b)当前的注视点是否位于控制界面的有效区域内，若(a)和(b)的判断结果均为是，则进入步骤(3)，否则，继续步骤(2)；

(3)对在控制界面有效区域内的所有目标控制键施加定频闪烁的视觉刺激；

(4)在(3)步骤实施的同时，在后台持续从注视跟踪模块获取注视信号，并实时判断当前的注视点是否发生变化，若判断结果为是，则立刻停止步骤(3)中的视觉刺激并回到步骤(2)；

(5)目标识别过程，并根据结果输出控制命令。

作为本发明的进一步改进：所述步骤(1)中，系统呈现出控制界面后，用户可自主选择注视：有效区域中的某个目标控制键，或无效区域。

作为本发明的进一步改进：所述步骤(2)和步骤(4)中的注视跟踪模块的主要功能是实时采集人眼的注视信号，该信号包括注视点在控制界面所在平面上的二维X-Y坐标和注视时长。

作为本发明的进一步改进：所述步骤(3)的特征包括：(a)各个目标控制键的闪烁频率均不相同；(b)各个目标控制键的闪烁频率和相位可预先设置；(c)所有目标控制键同时开始闪烁，同时停止闪烁；(d)闪烁的最大持续时间(记为Tsmax)可预先设置；(e)闪烁只发生在控制界面有效区域内的所有目标控制键上，控制界面有效区域内的其他区域不闪烁；(f)在闪烁开始的时刻，系统向脑电信号采集仪发送标签1；(g)若闪烁达到最大持续时间，则在闪烁停止时刻，系统向脑电信号采集仪发送标签2。

作为本发明的进一步改进：所述脑电信号采集仪的主要功能为：(a)采集脑电(EEG)信号，(b)对采集到的EEG信号进行放大，(c)对放大后的EEG信号进行模数转换，(d)采集系统发送的标签信号。

作为本发明的进一步改进：所述步骤(4)中，“在后台持续从注视跟踪模块获取注视信号，并实时判断当前的注视点是否发生变化”这一过程不影响步骤(3)的实施。

作为本发明的进一步改进：所述步骤(5)的具体步骤为：

(5.1)预先收集某用户A的训练数据并计算训练参数；

(5.2)实时从脑电信号采集仪读入EEG信号和标签信号，若标签信号依次为标签1和标签2，则进入步骤(5.3)，否则，继续步骤(5.2)；

(5.3)记标签1的时间戳数值为T₁，截取时间范围在[T₁+140ms,Tsmax+140ms]的EEG信号，对截取后的EEG信号依次进行频率为250Hz的降采样和频率范围为7～90Hz的带通滤波，获得预处理过的EEG信号；

(5.4)对预处理过的EEG信号，根据预先设置的次频带个数，应用FilterBank算法进行分解，获得一个或多个次频带成分；

(5.5)结合步骤(5.1)得到的训练参数，应用CCA或TRCA算法计算每个次频带成分与每个刺激频率的相关性系数；

(5.6)对每个刺激频率，将与其对应的所有次频带成分的相关性系数进行加权平方和运算，运算结果做为该刺激频率的特征值；

(5.7)从所有刺激频率的特征值中找出最大值，该最大值对应的刺激频率即为识别到的目标频率，据此选出目标控制键，输出控制指令。

作为本发明的进一步改进：所述步骤(5.1)的具体方法为：

(a)将步骤(3)中所述的视觉刺激呈现给某用户A多次，每次呈现之间休息2分钟，呈现次数可预先设置；

(b)利用脑电信号采集仪，采集并存储用户A的EEG信号，然后依次进行频率为250Hz的降采样和频率范围为7～90Hz的带通滤波，获得预处理过的EEG信号；

(c)对预处理过的EEG信号应用CCA或TRCA算法计算相应的训练参数。

作为本发明的进一步改进：所述步骤(5.6)中加权平方和运算的具体方法为：

α(m)＝m^-a+b，式中，n为某个刺激频率的序号，Nm为所述步骤(5.4)中的次频带个数，

为步骤(5.5)所述的应用CCA或TRCA算法计算得到的第m个次频带成分与第n个刺激频率的相关性系数，a和b为预先设置的参数。

与现有技术相比，本发明的优点在于：

1.本发明能同时实现与基于SSVEP的脑机接口系统相当的高准确率和高信息传输率；

2.本发明能实现异步自主控制，用户根据需要，自主调节信息传输率；

3.本发明能使用户在定频闪烁的中途对系统反应进行纠错，提高了系统实际信息传输率；

4.本发明能避免持续地定频闪烁刺激，减少用户的眼睛疲劳，提高用户的舒适度；

5.本发明能避免用户持续高度集中注意力，降低用户的脑力负荷；

6.本发明能减少用户的训练量，不要求用户对系统界面非常熟悉，降低用户的学习和训练成本；

7.本发明能提供相比基于SSVEP的脑机接口系统更趋近自然交互方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明异步混合脑机接口方法的流程示意图。

图2是本发明中控制界面示意图。

图3是本发明中定频刺激的频率和相位排布形式示意图。

图4是本发明中目标识别过程的流程示意图。

图5是本发明在预先获取用户训练参数的流程示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

在本发明中，所述注视跟踪模块的主要功能是实时采集人眼的注视信号，该信号包括注视点在控制界面所在平面上的二维X-Y坐标和注视时长；脑电信号采集仪的主要功能为：(a)采集脑电(EEG)信号，(b)对采集到的EEG信号进行放大，(c)对放大后的EEG信号进行模数转换，(d)采集系统发送的标签信号。

如图1所示，基于注视信号和稳态视觉诱发电位的异步混合脑机接口方法，其步骤为：

(1)呈现出控制界面，控制界面中包括有效区域和无效区域，有效区域中包含一个或多个目标控制键，无效区域为控制界面中除了有效区域的其他区域；用户可自主选择注视：有效区域中的某个目标控制键，或无效区域。如图2所示的控制界面中，画斜线的区域是有效区域，其他区域为无效区域。有效区域中，具有多个目标控制键，如字母、标点符号等。

(2)从注视跟踪模块获取注视信号，根据该注视信号判断：(a)注视时长是否超过预先设置的阈值，(b)当前的注视点是否位于控制界面的有效区域内，若(a)和(b)的判断结果均为是，则进入步骤(3)，否则，继续步骤(2)；

(3)对在控制界面有效区域内的所有目标控制键施加定频闪烁的视觉刺激；

(4)在(3)步骤实施的同时，在后台持续从注视跟踪模块获取注视信号，并实时判断当前的注视点是否发生变化，这一过程不影响步骤(3)的实施；若判断结果为是，则立刻停止步骤(3)中的视觉刺激并回到步骤(2)；

(5)目标识别过程，并根据结果输出控制命令。

如图3所示，在上述步骤(3)中，定频闪烁的视觉刺激具有以下特征：(a)各个目标控制键的闪烁频率均不相同；(b)各个目标控制键的闪烁频率和相位可预先设置；(c)所有目标控制键同时开始闪烁，同时停止闪烁；(d)闪烁的最大持续时间(记为Tsmax)可预先设置，通常该值取值范围为[300ms,500ms]；(e)闪烁只发生在控制界面有效区域内的所有目标控制键上，控制界面有效区域内的其他区域不闪烁；(f)在闪烁开始的时刻，系统向脑电信号采集仪发送标签1；(g)若闪烁达到最大持续时间，则在闪烁停止时刻，系统向脑电信号采集仪发送标签2。

如图4所示，上述步骤(5)的具体步骤为：

(5.1)预先收集某用户A的训练数据并计算训练参数；

(5.2)实时从脑电信号采集仪读入EEG信号和标签信号，若标签信号依次为标签1和标签2，则进入步骤(5.3)，否则，继续步骤(5.2)；

(5.3)记标签1的时间戳数值为T₁，截取时间范围在[T₁+140ms,Tsmax+140ms]的EEG信号，对截取后的EEG信号依次进行频率为250Hz的降采样和频率范围为7～90Hz的带通滤波，获得预处理过的EEG信号；

(5.4)对预处理过的EEG信号，根据预先设置的次频带个数(Nm，通常取5)，应用FilterBank算法进行分解，获得一个或多个次频带成分；

(5.5)结合步骤(5.1)得到的训练参数，应用CCA(即典型相关分析，CaninicalCorrelation Analysis)或TRCA(即任务相关成分分析，Task-Related ComponentAnalysis)算法计算每个次频带成分与每个刺激频率的相关性系数；

(5.6)对每个刺激频率，将与其对应的所有次频带成分的相关性系数进行加权平方和运算，运算结果做为该刺激频率的特征值；

(5.7)从所有刺激频率的特征值中找出最大值，该最大值对应的刺激频率即为识别到的目标频率，据此选出目标控制键，输出控制指令。

如图5所示，上述步骤(5.1)的具体方法为：

(a)将步骤(3)中所述的视觉刺激呈现给某用户A多次，每次呈现之间休息2分钟，呈现次数可预先设置，通常为9或11；

(b)利用脑电信号采集仪，采集并存储用户A的EEG信号，然后依次进行频率为250Hz的降采样和频率范围为7～90Hz的带通滤波，获得预处理过的EEG信号；

(c)对预处理过的EEG信号应用CCA或TRCA算法计算相应的训练参数。

上述步骤(5.4)中FilterBank算法的具体方法为：获取步骤(3)中所述的视觉刺激中的最小频率值Fmin(在本实施例中该值为8.0)；对预处理过的EEG信号分别进行频率为[Fmin*i,90](i取[1,Nm]范围内的整数)的带通滤波；获得Nm个次频带成分。

上述步骤(5.6)中加权平方和运算的具体方法为：

α(m)＝m^-a+b，式中，n为某个刺激频率的序号，Nm为所述步骤(5.4)中的次频带个数(通常取5)，

为步骤(5.5)所述的应用CCA或TRCA算法计算得到的第m个次频带成分与第n个刺激频率的相关性系数，a和b为预先设置的参数(通常分别取1.25和0.25)。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种异步混合脑机接口方法，基于注视信号和稳态视觉诱发电位，其特征在于，步骤为：

(1)呈现出控制界面，控制界面中包括有效区域和无效区域，有效区域中包含一个或多个目标控制键，无效区域为控制界面中除了有效区域的其他区域；

(2)从注视跟踪模块获取注视信号，根据该注视信号判断：(a)注视时长是否超过预先设置的阈值，(b)当前的注视点是否位于控制界面的有效区域内，若(a)和(b)的判断结果均为是，则进入步骤(3)，否则，继续步骤(2)；

(3)对在控制界面有效区域内的所有目标控制键施加定频闪烁的视觉刺激；

(4)在步骤(3)实施的同时，持续从注视跟踪模块获取注视信号，并实时判断当前的注视点是否发生变化，若判断结果为是，则立刻停止步骤(3)中的视觉刺激并回到步骤(2)；

(5)目标识别过程，并根据识别结果输出控制命令。

2.根据权利要求1所述的异步混合脑机接口方法，其特征在于，所述步骤(1)中，呈现出控制界面后，用户可自主选择注视：有效区域中的某个目标控制键，或无效区域。

3.根据权利要求1所述的异步混合脑机接口方法，其特征在于，所述注视跟踪模块的功能包括：实时采集人眼的注视信号，该信号包括注视点在控制界面所在平面上的二维X-Y坐标和注视时长。

4.根据权利要求1所述的异步混合脑机接口方法，其特征在于，所述定频闪烁的特征包括：(a)各个目标控制键的闪烁频率均不相同；(b)各个目标控制键的闪烁频率和相位可预先设置；(c)所有目标控制键同时开始闪烁，同时停止闪烁；(d)闪烁的最大持续时间可预先设置；(e)闪烁只发生在控制界面有效区域内的所有目标控制键上，控制界面有效区域内的其他区域不闪烁；(f)在闪烁开始的时刻，向脑电信号采集仪发送标签1；(g)若闪烁达到最大持续时间，则在闪烁停止时刻，向脑电信号采集仪发送标签2。

5.根据权利要求4所述的异步混合脑机接口方法，其特征在于，所述脑电信号采集仪的功能包括：(a)采集脑电信号，(b)对采集到的脑电信号进行放大，(c)对放大后脑电信号进行模数转换，(d)采集控制界面发送的标签信号。

6.根据权利要求1所述的异步混合脑机接口方法，其特征在于，所述步骤(4)中，“持续从注视跟踪模块获取注视信号，并实时判断当前的注视点是否发生变化”这一过程与步骤(3)的并行实施。

7.根据权利要求5所述的异步混合脑机接口方法，其特征在于，所述步骤(5)的具体步骤为：

(5.1)预先收集某用户的训练数据并计算训练参数；

(5.2)实时从脑电信号采集仪读入脑电信号和标签信号，若标签信号依次为标签1和标签2，则进入步骤(5.3)，否则，继续步骤(5.2)；

(5.3)记标签1的时间戳数值为T1，截取时间范围在[T1+140ms,Tsmax+140ms]的脑电信号，对截取后的脑电信号依次进行频率为250Hz的降采样和频率范围为7～90Hz的带通滤波，获得预处理过的脑电信号；其中Tsmax为闪烁的最大持续时间；

(5.4)对预处理过的脑电信号，根据预先设置的次频带个数，应用FilterBank算法进行分解，获得一个或多个次频带成分；

(5.5)结合步骤(5.1)得到的训练参数，应用CCA或TRCA算法计算每个次频带成分与每个刺激频率的相关性系数；

(5.6)对每个刺激频率，将与其对应的所有次频带成分的相关性系数进行加权平方和运算，运算结果做为该刺激频率的特征值；

(5.7)从所有刺激频率的特征值中找出最大值，该最大值对应的刺激频率即为识别到的目标频率，据此选出目标控制键，输出控制指令。

8.根据权利要求7所述的异步混合脑机接口方法，其特征在于，所述步骤(5.1)的具体方法为：

(a)将步骤(3)中所述的视觉刺激呈现给某用户多次，每次呈现之间休息2分钟，呈现次数可预先设置；

(b)利用脑电信号采集仪，采集并存储该用户的脑电信号，然后依次进行频率为250Hz的降采样和频率范围为7～90Hz的带通滤波，获得预处理过的脑电信号；

(c)对预处理过的脑电信号应用CCA或TRCA算法计算相应的训练参数。

9.根据权利要求7所述的异步混合脑机接口方法，其特征在于，所述步骤(5.6)中加权平方和运算的具体方法为：

α(m)＝m^-a+b，式中，n为某个刺激频率的序号，Nm为所述步骤(5.4)中的次频带个数，

为步骤(5.5)所述的应用CCA或TRCA算法计算得到的第m个次频带成分与第n个刺激频率的相关性系数，a和b为预先设置的参数。

Images