CN109471528A - 一种用于脑-机接口系统的脑-机互适应系统 - Google Patents

Abstract

本发明公开了一种用于脑‑机接口系统的脑‑机互适应系统，所述系统包括：认知状态监测模块、互适应调节模块、认知状态调控模块、以及BCI系统调控模块，所述互适应调节模块实时处理认知状态监测模块传输的用户认知状态，并根据用户认知状态对BCI系统调控模块和认知状态调控模块进行实时闭环控制；所述互适应调节模块包括动态建模、动态参数调节、动态视听反馈三种调节方式，所述三种调节方式共同构成了两个闭环控制通路，包括“机”适应脑闭环调节通路与脑适应“机”闭环调节通路。本发明根据用户认知状态闭环动态调整BCI系统的刺激参数和解码算法，以适应用户状态，同时优化反馈、调控用户认知状态以适应BCI的认知需求。

Description

一种用于脑-机接口系统的脑-机互适应系统

技术领域

本发明涉及神经工效学与脑-机接口技术的交叉领域，尤其涉及一种用于脑-机接口系统的脑-机互适应系统。

背景技术

脑-机接口(brain-computer interface，BCI)是一种不依赖肢体的人机交互方式。目前，最先进的BCI技术主要是在理想实验室环境中通过实验诱发或受操控的某种特定用户状态实现，用户往往被要求高度集中注意力，尽量通过实验设计避免其他思维活动和疲劳等因素对BCI性能的影响。

然而，在不受控的自然日常生活或工作环境中，可能有大量的思维活动相互作用，当BCI应用从实验室转移到现实场景中，这些不受控的心理活动和疲劳等因素就会干扰BCI系统所调制的用户状态，从而降低脑-机接口系统效率和真实环境下的可用性。

研究表明，较高的认知负荷会造成快速疲劳、灵活性降低、应激反应、人误增加和挫败情绪，引起信息获取分析的失误和决策错误，是导致人因事故的重要原因；过低的认知负荷会造成人力等资源浪费、引起厌恶感、导致作业绩效的下降。

近些年，脑-机接口技术不断发展，在现代交通、工业生产、航天、军事等领域都得到了广泛应用。但BCI系统在实际复杂作业环境下识别正确率降低、稳定性难以满足要求，成为了人们亟待解决的难题。

发明内容

本发明提供了一种用于脑-机接口系统的脑-机互适应系统，本发明根据用户认知状态闭环动态调整BCI系统的刺激参数和解码算法，以适应用户状态，同时优化反馈、调控用户认知状态以适应BCI的认知需求，详见下文描述：

一种用于脑-机接口系统的脑-机互适应系统，所述系统包括：认知状态监测模块、互适应调节模块、认知状态调控模块、以及BCI系统调控模块，

所述互适应调节模块实时处理认知状态监测模块传输的用户认知状态，并根据用户认知状态对BCI系统调控模块和认知状态调控模块进行实时闭环控制；

所述互适应调节模块包括动态建模、动态参数调节、动态视听反馈三种调节方式，所述三种调节方式共同构成了两个闭环控制通路，包括“机”适应脑闭环调节通路与脑适应“机”闭环调节通路。

其中，所述认知状态监测模块包括：脑电采集部分、功能性近红外采集部分、心电采集部分、以及眼动信号采集部分。

进一步地，所述动态建模具体为：

根据在线实时数据选择训练样本动态构建用于分类测试样本的分类器，以实现在认知负荷动态变化过程中构建适用于测试样本的最优分类器。

进一步地，所述构建适用于测试样本的最优分类器具体为：

在不同认知负荷类型和水平下训练与测试分类器，针对特定认知负荷水平的测试集选择不同认知负荷水平的训练集样本；

所述认知状态监测模块提取反应用户的认知负荷状态的特征数据，基于所述特征数据组成的特征空间，采用相似性原则选择背景特征相似的样本构建训练样本集。

其中，所述动态参数调节具体为：

通过BCI系统调控模块调节BCI系统参数，使用户在高认知负荷状态下仍能实现BCI系统的精度；

根据认知负荷与分类正确率的关系构建先验概率模型，并将此概率模型引入动态停止策略，实现依据实时认知负荷的动态停止，基于实时认知负荷状态调节BCI的视觉刺激呈现时间、刺激间隔、重复次数，实现认知负荷状态与BCI系统参数的最佳匹配，达到“机”适应脑的效果。

进一步地，所述动态视听反馈具体为：

根据状态检测的结果，通过视听反馈使用户进行自我调节，实现在高认知负荷下保证用户对BCI刺激的认知资源投入，使用户能根据提示来适应BCI系统，达到脑适应“机”的效果。

其中，所述“机”适应脑闭环调节通路具体为：

认知状态检测模块实时监测BCI系统用户的认知状态，将用户的认知状态传送至互适应调节模块，采用动态建模和动态参数调节两种方式，将调节参数传送至BCI系统调控模块；

BCI系统调控模块将传递来的参数应用到BCI系统中，使BCI系统实时适应用户状态。

进一步地，所述脑适应“机”闭环调节通路具体为：

认知状态检测模块实时监测BCI系统用户的认知状态，将用户的认知状态传送至互适应调节模块，采用动态视听反馈的方式，将调节参数传送至认知状态调控模块；

认知状态调控模块通过动态视听反馈使用户自我调整，对用户前额脑区进行经颅直流电刺激，用介入法使用户调整状态，使用户的认知状态适应BCI系统。

本发明提供的技术方案的有益效果是：

1、本发明基于生理信号对用户认知状态进行实时监测，并根据识别出的认知状态实时调整脑-机系统的刺激参数与解码算法，同时改变用户的状态，达到脑-机互适应的状态，优化了人机系统设计、降低人误风险；

2、不受控的环境因素和作业任务引发的认知活动产生的认知负荷会引起疲劳、降低用户对BCI刺激的注意力，本发明构建的脑-机互适应系统，通过改变BCI的刺激参数，和人的状态，来避免BCI系统正确率和真实应用环境下的可用性下降、甚至无法使用的情况；

3、本发明基于用户认知负荷动态训练解码模型，根据不同认知状态选取不同训练数据集和机器学习模型，使解码模型适应认知负荷水平(机适应脑)；

4、本发明根据用户不同的认知负荷状态，调整BCI系统刺激参数，使刺激参数适应认知负荷水平(机适应脑)；

5、本发明构建了根据用户实时的认知负荷状态，通过视觉听觉反馈以调控用户状态的系统，使用户根据反馈自我调节认知状态和对脑-机接口系统刺激的注意力以适应脑-机接口系统的需求(脑适应机)。

附图说明

图1为基于用户认知负荷的脑-机互适应系统构成的结构示意图；

图2为认知状态监测模块构成及实现原理的示意图；

图3为根据认知负荷选择训练集的示意图；

图4为选取与测试样本相近的训练集的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

现有传统BCI研究主要从改进范式、特征提取算法和机器学习算法入手提高BCI应用的准确率、信息传输率和稳定性，通过范式设计和刺激优化降低BCI系统本身产生的负荷和疲劳，很少从人的状态的角度考虑提高BCI应用的稳定性。但事实证明，与其他人机交互手段相同，用户本身的因素是影响BCI系统实际应用中的稳定性的重要原因。

本发明实施例根据用户认知状态闭环动态调整BCI系统的刺激参数和解码算法以适应用户状态，同时优化反馈、调控用户认知状态以适应BCI的认知需求。其潜在应用价值巨大，在各类BCI系统中应用中可以发挥巨大作用，有望带来可观的社会和经济效益。

本发明实施例提供了一种用于脑-机接口系统的脑-机互适应系统，参见图1，该系统包括：认知状态监测模块、互适应调节模块、认知状态调控模块、以及BCI系统调控模块。

一、认知状态监测模块：

认知状态监测模块包括：脑电采集部分、功能性近红外采集部分、心电采集部分、眼动信号采集部分。当用户开始执行BCI系统中的任务时，认知状态监测模块同时打开。

(1)脑电采集部分

该脑电采集部分包括：脑电电极和脑电放大器，用于实时采集用户在任务进行中的脑电信号，脑电电极推荐采用64导联的Ag-AgCl电极，覆盖整个脑区。用户使用过程中，各电极与参考电极之间阻抗应低于一定阈值，可供参考的阻抗阈值取值范围为2万欧姆-5万欧姆。脑电放大器采样率不低于1000Hz较优。同时对脑电信号进行预处理，包括1-40Hz带通滤波，同时去基线与伪迹并降采样至200Hz，对脑电信号的时域和频域特征进行实时特征提取，并把提取的特征实时传输到分类器。

(2)功能性近红外采集部分

该功能性近红外采集部分包括：近红外电极和近红外采集器，近红外电极分布在脑电电极的周围，主要采集区域为前额、头顶和颞叶，推荐16个接收器、16个发射器。用于获得对脑力负荷敏感的氧合血红蛋白和脱氧血红蛋白的变化情况，实时提取近红外信号特征，并把提取的特征实时传输到分类器。

(3)心电采集部分

该心电采集部分包括：两个心电电极及心电放大器，贴于用户锁骨下方，用于实时采集心电信号。推荐使用一次性心电电极。对心电信号进行带通滤波，实时提取脑力负荷监测的关键性指标，如心律变异性等，并把提取的特征实时传输到分类器。

(4)眼动信号采集部分

该眼动信号采集部分包括：一台眼动仪，可以实时采集用户的瞳孔直径等信息。当用户开始执行BCI系统中的任务时，眼动仪实时采集用户的眼动数据，并将采集到的数据做特征提取，实时传送至分类器。

(5)分类器

该分类器包括：根据脑电采集部分、功能性近红外采集部分、心电采集部分、眼动信号采集部分收集到的用户生理信号，提取EEG、心律变异性和眼动行为的时频、非线性参数和近红外脑网络参数等认知负荷敏感特征，采用支持向量机、神经网络等机器学习方法，分别从特征层和决策层实现三种信息的融合互补，建立基于多源融合特征的认知负荷预测模型，判断用户当前实时的认知负荷状态。并把结果实时传输给互适应调节模块。

二、互适应调节模块：

其中，互适应调节模块是整个脑-机互适应系统中的核心模块，当用户开始执行BCI系统中的任务时，互适应调节模块随着认知状态监测模块同时打开，实时处理认知状态监测模块传输来的用户认知状态，并根据用户实时的认知状态来对BCI系统调控模块和用户认知状态调控模块进行实时闭环控制。整个互适应调节模块包含三种调节方式，分别是：动态建模、动态参数调节、动态视听反馈。这三种调节方式共同构成了两个闭环控制通路，包括“机”适应脑闭环调节通路与脑适应“机”闭环调节通路。

1、三种调节方法

1)动态分类建模

为了使BCI系统适应用户的认知状态变化，互适应调节模块采用了动态建模的调节方法，即控制BCI系统根据在线实时数据选择训练样本动态构建用于分类测试样本的分类器，以实现在认知负荷动态变化过程中构建适用于测试样本的最优分类器。

以下列出两种方法：

①在不同认知负荷类型和水平下训练与测试BCI的分类器，如图3所示，针对特定认知负荷水平的测试集选择不同认知负荷水平的训练集样本。

②认知状态监测模块能够提取反应用户的认知负荷状态的特征，基于这些数据的特征空间，如图4，采用相似性原则(距离范围小)选择背景特征相似的样本构建训练样本集。

分别基于以上两种方法构建最优分类器的选择标准，实现根据测试样本对应的认知负荷状态或神经生理与行为状态动态选择训练集建立分类模型，由此可以通过适应用户的认知状态来提高BCI系统的分类精度，使“机”适应脑。

参见图3，示意特定认知负荷的信号特征测试集选择不同认知负荷的样本作为训练集；

参见图4，示意由背景脑电、心律变异性、眼动等特征构成的空间，每一个点与一个样本对应，空间内的两点之间的距离能够反映两个样本对应的被试的神经生理、行为状态的相似度(注：此处仅用二维空间示意，实际可能为多维)。

2)动态参数调节

动态参数调节方法，即根据用户实时的认知负荷状态，通过BCI系统调控模块调节BCI系统参数，包括：刺激间隔、刺激呈现时间、刺激对比度等参数，使用户在高认知负荷的状态下仍能保持实现BCI系统的精度。根据认知负荷与分类正确率的关系构建先验概率模型，并将此概率模型引入动态停止策略(dynamic stopping strategy)，实现依据实时认知负荷的动态停止方法。从而基于实时认知负荷状态调节BCI的视觉刺激呈现时间、刺激间隔、重复次数等参数，实现认知负荷状态与BCI系统参数最佳匹配，达到“机”适应脑的效果。

3)动态视听反馈

在高认知负荷作用下，用户通常专注于处理任务而忽略认知资源在不同子任务之间的合理分配，因此会造成重要子任务被忽略，一般来说BCI的视觉刺激是受认知负荷影响的子任务。本方法在高负荷下通过闭环反馈提示作业人员是克服这一影响，将状态检测、视听反馈与用户自我调节相结合，构建依据实时认知负荷提供视听反馈调控用户对BCI视觉刺激的认知资源分配，实现在高认知负荷下保证用户对BCI刺激的认知资源投入，从而保证BCI系统的准确度，使用户能根据提示来适应BCI系统，达到脑适应“机”的效果。

2、两个闭环控制通路

(1)“机”适应脑闭环调节通路

认知状态检测模块实时监测BCI系统用户的认知状态->将用户的认知状态传送至互适应调节模块，采用动态建模和动态参数调节两种方式，将调节参数传送至BCI系统调控模块->BCI系统调控模块将传递来的参数应用到BCI系统中，使BCI系统实时适应用户状态。

(2)脑适应“机”闭环调节通路

认知状态检测模块实时监测BCI系统用户的认知状态->将用户的认知状态传送至互适应调节模块，采用动态视听反馈的方式，将调节参数传送至认知状态调控模块->认知状态调控模块将通过动态视听反馈使用户自我调整，与此同时控制认知状态调控模块使用经颅直流电刺激(tDCS)等方式对用户的认知状态进行被动调节，使用户的认知状态适应BCI系统。

三、认知状态调控模块：

根据互适应调节模块的指令来控制认知状态调控模块的打开与关闭，当用户的脑力负荷状态处于良好状态时，认知状态调控模块处于关闭状态，当用户产生疲劳或者认知负荷过大时，认知状态调控模块将会开启，对用户前额脑区进行经颅直流电刺激(tDCS)等方法，用介入方法使用户调整状态，同时，认知状态调控模块采用视听刺激来提醒用户，使用户自己调整状态，达到脑适应“机”的效果。

四、BCI系统调控模块：

根据互适应调节模块的指令来控制BCI系统调控模块的打开与关闭，当用户的脑力负荷状态处于良好状态时，BCI系统调控模块处于关闭状态，当用户产生疲劳或者认知负荷过大时，BCI系统调控模块将会开启，对BCI系统的分类器策略与刺激参数进行调整，使BCI系统实时适应用户的认知状态，达到机适应“脑”的效果。

本发明实施例基于认知负荷的脑-机互适应技术，通过监测用户的认知状态来进行动态建模，缩小分类算法的训练集，减少了模型的训练时间，提高了脑-机接口系统的识别的精度。同时把用户的认知状态反馈给脑-机接口系统，调节刺激参数，使大脑响应和BCI系统相互适应、相互调整，从而优化BCI系统的性能，提高异常认知状态下的BCI系统稳定性。有效防止众多因素(如任务本身的原因、环境因素、生理因素、心理因素等)导致的人的认知功能的变化给系统带来的不确定性和人误风险，进而有效提高任务的绩效和安全性。

在某些极端环境(如载人航天长期在轨环境)下，人的认知功能可能发生很大变化，而这一技术的应用能够有效降低这些变化带来的负面影响，为保证任务绩效、安全性、健康带来可靠的解决方法。因此，基于用户认知负荷的互适应脑-机接口技术的应用有望带来可观的经济效益和社会效益。

综上所述，本发明实施例在传统BCI的基础上以在BCI系统中实现“脑-机互适应”为核心目标，通过探究认知负荷的实时监测和反馈调节方法，在原有BCI系统的基础上形成一个监测和反馈调节的环路，通过对用户认知状态的判断来进行动态建模，同时实现自适应调节BCI系统参数，能够在用户疲劳度较高、心理负荷较高等状态下及时干预，有效避免用户状态异常造成的BCI特征解码错误，从而提高BCI系统的稳定性和可靠性。本发明实施例能够实时监测并适应、调整用户的认知状态，实现闭环监测与调控，将有效提高BCI的稳定性，并使其更人性化。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种用于脑-机接口系统的脑-机互适应系统，其特征在于，所述系统包括：认知状态监测模块、互适应调节模块、认知状态调控模块、以及BCI系统调控模块，

所述互适应调节模块实时处理认知状态监测模块传输的用户认知状态，并根据用户认知状态对BCI系统调控模块和认知状态调控模块进行实时闭环控制；

所述互适应调节模块包括动态建模、动态参数调节、动态视听反馈三种调节方式，所述三种调节方式共同构成了两个闭环控制通路，包括“机”适应脑闭环调节通路与脑适应“机”闭环调节通路。

2.根据权利要求1所述的一种用于脑-机接口系统的脑-机互适应系统，其特征在于，所述认知状态监测模块包括：脑电采集部分、功能性近红外采集部分、心电采集部分、以及眼动信号采集部分。

3.根据权利要求2所述的一种用于脑-机接口系统的脑-机互适应系统，其特征在于，所述动态建模具体为：

根据在线实时数据选择训练样本动态构建用于分类测试样本的分类器，以实现在认知负荷动态变化过程中构建适用于测试样本的最优分类器。

4.根据权利要求3所述的一种用于脑-机接口系统的脑-机互适应系统，其特征在于，所述构建适用于测试样本的最优分类器具体为：

在不同认知负荷类型和水平下训练与测试分类器，针对特定认知负荷水平的测试集选择不同认知负荷水平的训练集样本；

所述认知状态监测模块提取反应用户的认知负荷状态的特征数据，基于所述特征数据组成的特征空间，采用相似性原则选择背景特征相似的样本构建训练样本集。

5.根据权利要求1所述的一种用于脑-机接口系统的脑-机互适应系统，其特征在于，所述动态参数调节具体为：

通过BCI系统调控模块调节BCI系统参数，使用户在高认知负荷状态下仍能实现BCI系统的精度；

根据认知负荷与分类正确率的关系构建先验概率模型，并将此概率模型引入动态停止策略，实现依据实时认知负荷的动态停止，基于实时认知负荷状态调节BCI的视觉刺激呈现时间、刺激间隔、重复次数，实现认知负荷状态与BCI系统参数的最佳匹配，达到“机”适应脑的效果。

6.根据权利要求1所述的一种用于脑-机接口系统的脑-机互适应系统，其特征在于，所述动态视听反馈具体为：

根据状态检测的结果，通过视听反馈使用户进行自我调节实现在高认知负荷下保证用户对BCI刺激的认知资源投入，使用户能根据提示来适应BCI系统，达到脑适应“机”的效果。

7.根据权利要求1所述的一种用于脑-机接口系统的脑-机互适应系统，其特征在于，所述“机”适应脑闭环调节通路具体为：

认知状态检测模块实时监测BCI系统用户的认知状态，将用户的认知状态传送至互适应调节模块，采用动态建模和动态参数调节两种方式，将调节参数传送至BCI系统调控模块；

BCI系统调控模块将传递来的参数应用到BCI系统中，使BCI系统实时适应用户状态。

8.根据权利要求1所述的一种用于脑-机接口系统的脑-机互适应系统，其特征在于，所述脑适应“机”闭环调节通路具体为：

认知状态检测模块实时监测BCI系统用户的认知状态，将用户的认知状态传送至互适应调节模块，采用动态视听反馈的方式，将调节参数传送至认知状态调控模块；

认知状态调控模块通过动态视听反馈使用户自我调整，对用户前额脑区进行经颅直流电刺激，用介入法使用户调整状态，使用户的认知状态适应BCI系统。