CN115421597A - 一种基于双脑耦合特征的脑机接口控制方法及系统 - Google Patents

Abstract

本发明公开了一种基于双脑耦合特征的脑机接口控制方法及系统，该方法包括：在至少两个被试协同进行脑机接口的运动控制任务时，将同步采集至少两个被试的导联对脑电数据分为脑电训练数据和脑电测试数据；运动控制任务包括至少一种运动模式；基于脑电训练数据进行双脑耦合特征提取，基于提取的特征进行数据变换得到特征矩阵；将特征矩阵输入分类器模型中进行训练得到分类模型，基于分类模型对脑电测试数据进行运动模式的分类得到模式分类结果，对模式分类结果的运动模式完成度进行判断，根据完成度判断结果得到测试分类准确率；基于测试分类准确率，判断协同脑机接口控制的有效性。本发明可以促进基于双脑耦合特征的脑机接口控制准确率的提升。

Description

一种基于双脑耦合特征的脑机接口控制方法及系统

技术领域

本发明涉及脑机接口控制技术领域，尤其涉及一种基于双脑耦合特征的脑机接口控制方法及系统。

背景技术

脑机接口技术通过解码人体的意图实现通过意念控制外部设备，使得任务的完成不再依赖于人身体的四肢，极大的拓展了人的运动控制能力和范围。但是，随着外部设备控制复杂性的提升，单人脑机接口控制技术难以完成复杂任务的执行，因此需要双人或多人的协同配合共同完成复杂任务的控制。因此，双人或多人的协同配合程度直接影响了脑机接口的解码准确率和控制精确性。合作任务中协同配合程度的提升可反映在双方的脑电信号的同步化，该同步化又被称为双脑耦合。2018年Goldstein等人证明了双脑耦合特征与人痛觉感知的敏感性之间具有相关性，2021年Reinero等人证明了大脑间的同步耦合特征可预测团队合作的最终工作绩效，并且合作者们大脑间的同步化会带来更好的任务完成表现。从上述双脑耦合特征与行为学的相关关系研究得出，基于双脑耦合特征构建意图解码模型的方法将进一步提升双人协同配合的意图解码准确率，提高对复杂任务的脑机接口控制效率。

已有的基于双脑的特征信息挖掘和解码的方法，如专利CN202110373684，是将双人各自的脑电信息分别作为特征输入，实现特征信息的融合和解码。不足之处在于忽略了双人在进行同一任务情况下双脑信息的协同耦合特征，缺少对双人协同配合下脑电特征同步化这一特征的挖掘和利用，限制了脑机接口控制准确率的提升。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为解决现有技术中存在的不足，本发明提出了一种基于双脑耦合特征的脑机接口控制方法，提出基于双人脑电特征同步化这一特征构建双人脑机接口控制算法模型，促进基于双脑耦合特征的脑机接口控制准确率的提升。

本发明的另一个目的在于提出一种基于双脑耦合特征的脑机接口控制系统。

为达上述目的，本发明一方面提出了一种基于双脑耦合特征的脑机接口控制方法，包括：

在至少两个被试协同进行脑机接口的运动控制任务时，同步采集至少两个被试的导联对脑电数据；其中，所述运动控制任务包括至少一种运动模式；

基于所述导联对脑电数据进行双脑耦合特征提取，基于提取的特征进行数据变换得到特征矩阵；

将所述特征矩阵输入分类器模型中进行训练得到分类模型，基于所述分类模型对所述脑电测试数据进行所述运动模式的分类得到模式分类结果，对所述模式分类结果的运动模式完成度进行判断，根据完成度判断结果得到测试分类准确率；

基于所述测试分类准确率，判断实现协同脑机接口控制的有效性。

根据本发明实施例的基于双脑耦合特征的脑机接口控制方法还可以具有以下附加技术特征：

进一步地，在本发明的一个实施例中，所述在至少两个被试协同进行脑机接口的运动控制任务之前，所述方法，还包括：获取预设的运动指令。

进一步地，在本发明的一个实施例中，所述基于导联对脑电数据进行双脑耦合特征提取，基于提取的特征进行数据变换得到特征矩阵，包括：基于脑区功能的差异信息获取导联对脑电数据所在脑区的权重向量，以及通过Hilbert变换计算得到导联对脑电信号的瞬时相位，并根据所述权重向量对所述瞬时相位进行赋权得到赋权瞬时相位；基于所述赋权瞬时相位和预设公式计算导联对的相关系数，利用Fisher’s Z变换将所述相关系数进行标准化操作，得到双脑耦合特征矩阵；根据所述双脑耦合特征矩阵中导联对的相关度值进行数值排序，基于数值排序结果得到所述特征矩阵。

进一步地，在本发明的一个实施例中，所述根据双脑耦合特征矩阵中导联对的相关度值进行数值排序，基于数值排序结果得到所述特征矩阵，包括：获取双脑耦合特征矩阵中的多个导联对；将所述多个导联对中相关度值最大的预设数量数值由大到小进行排列，得到第一维特征；将所述第一维特征对应的在所述双脑耦合特征矩阵中的矩阵行列位置编号值作为第二维信息，基于所述第一维特征和所述第二维信息得到特征矩阵。

进一步地，在本发明的一个实施例中，所述基于赋权瞬时相位和预设公式计算脑电训练数据导联对的相关系数的表达式为：

其中，

为两脑间任意导联对的相关系数，

和

分别为两脑间任意导联对的脑电信号的赋权瞬时相位。

为达到上述目的，本发明另一方面提出了一种基于双脑耦合特征的脑机接口控制系统，包括：

采集协同模块，用于在至少两个被试协同进行脑机接口的运动控制任务时，将同步采集至少两个被试的导联对脑电数据分为脑电训练数据和脑电测试数据；其中，所述运动控制任务包括至少一种运动模式；

特征变换模块，用于基于所述脑电训练数据进行双脑耦合特征提取，基于提取的特征进行数据变换得到特征矩阵；

分类测试模块，用于将所述特征矩阵输入分类器模型中进行训练得到分类模型，基于所述分类模型对所述脑电测试数据进行运动模式的分类得到模式分类结果，对所述模式分类结果的运动模式完成度进行判断，根据完成度判断结果得到测试分类准确率；

协同控制模块，用于基于所述测试分类准确率，判断协同脑机接口控制的有效性。

本发明实施例的基于双脑耦合特征的脑机接口控制方法及系统，通过对协同配合意图的解码实现对脑机接口的控制，促进基于双脑耦合特征的脑机接口控制准确率的提升。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于双脑耦合特征的脑机接口控制方法的流程图；

图2为根据本发明实施例的数据采集示意图；

图3为根据本发明实施例的双脑耦合特征矩阵可视化图；

图4为根据本发明实施例的协同配合场景下的解码准确率与其他非协同下的准确率结果比较示意图；

图5为根据本发明实施例的基于双脑耦合特征的脑机接口控制系统结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

下面参照附图描述根据本发明实施例提出的基于双脑耦合特征的脑机接口控制方法及系统。

图1是本发明一个实施例的基于双脑耦合特征的脑机接口控制方法的流程图。

如图1所示，该方法包括但不限于以下步骤：

S1，在至少两个被试协同进行脑机接口的运动控制任务时，将同步采集至少两个被试的导联对脑电数据分为脑电训练数据和脑电测试数据；其中，运动控制任务包括至少一种运动模式。

可以理解的是，该步骤是需要至少两个被试协同完成一项脑机接口运动控制任务，同步采集至少两个被试的n个导联的脑电数据，用于后续的双脑耦合特征的提取。将n个导联的脑电数据一部分作为脑电训练数据对后续模型的训练，一部分作为脑电测试数据用于模型的测试。

作为一种示例，如图2所示，可以选取12对相识了1年的朋友作为本实施例实验的被试，每对被试协同完成一项脑机接口控制任务，实验中须保持眼神交流和肢体接触，该控制任务要求受试者在接收到初始的指令后，通过脑机接口协同配合控制机械臂按照给定轨迹精准运动，初始的指令可以为通过外界设备向被试者提供的视觉、听觉等多种形式的提示。优选地，该实验过程中采集每对被试的31个导联的脑电数据，用于双脑耦合特征的提取。

S2，基于脑电训练数据进行双脑耦合特征提取，基于提取的特征进行数据变换得到特征矩阵。

具体地，依据被试者脑区功能的差异，定义各导联所在脑区的权重向量

，将与步骤S1中运动控制任务功能密切相关的脑区活动的有效信息凸显出来；

通过Hilbert变换计算得到两脑间任意导联对的脑电信号的瞬时相位分别为

和

，并依据权重向量

，对

和

分别进行赋权得到

和

；

基于计算所得到的瞬时相位

和

，按下式计算两脑间任意导联对的相关系数

：

(1)

采用Fisher’s Z变换将式（1）计算得到的两脑间任意导联对的相关系数

进行标准化以保证其符合正态分布，得到两脑间配对导联对带权的相关特征矩阵C（双脑耦合特征矩阵），将C进行可视化绘图如图3所示（图3中仅画出了相关度值最大的前10%的双脑耦合导联对）；

(2)

将带权的相关特征矩阵C中31*31个导联对中相关度值最大的前9个数值由大到小排列组成第一维特征，将其对应的在C中的矩阵行列位置编号值作为第二维信息，将这两维信息组成特征矩阵

。

S3，将特征矩阵输入分类器模型中进行训练得到分类模型，基于分类模型对脑电测试数据进行运动模式的分类得到模式分类结果，对模式分类结果的运动模式完成度进行判断，根据完成度判断结果得到测试分类准确率；

S4，基于测试分类准确率，判断实现协同脑机接口控制的有效性。

可以理解的是，将

作为特征输入到支持向量机模型（一种分类器模型）中进行训练，训练得到分类模型，并用步骤S1中采集到的脑电测试数据进行模型分类测试，输出测试分类准确率。由输出结果可得，如图4所示，在协同配合场景下其分类准确率明显高于未考虑协同配合因素的模型识别准确率。例如，通过前期的指令提示会告诉受试者这次要做什么任务，声音提示、视觉提示等，判断完成度为是否完成该任务，基于双人脑电特征同步化这一特征构建双人脑机接口控制算法模型，促进基于双脑耦合特征的脑机接口控制准确率的提升。通过脑机接口协同配合控制机械臂按照给定轨迹精准运动，如控制机械臂拿取物品、或者辅助患者进行康复训练等等。

根据本发明实施例的基于双脑耦合特征的脑机接口控制方法，通过对协同配合意图的解码实现对脑机接口的控制，促进基于双脑耦合特征的脑机接口控制准确率的提升。

为了实现上述实施例，如图5所示，本实施例中还提供了基于双脑耦合特征的脑机接口控制系统10，该系统10包括：采集协同模块100、特征变换模块200、分类测试模块300和协同控制模块400。

采集协同模块100，用于在至少两个被试协同进行脑机接口的运动控制任务时，将同步采集至少两个被试的导联对脑电数据分为脑电训练数据和脑电测试数据；其中，运动控制任务包括至少一种运动模式；

特征变换模块200，用于基于脑电训练数据进行双脑耦合特征提取，基于提取的特征进行数据变换得到特征矩阵；

分类测试模块300，用于将特征矩阵输入分类器模型中进行训练得到分类模型，基于分类模型对脑电测试数据进行运动模式的分类得到模式分类结果，对模式分类结果的运动模式完成度进行判断，根据完成度判断结果得到测试分类准确率；

协同控制模块400，用于基于测试分类准确率，判断实现协同脑机接口控制的有效性。

进一步的，系统10，还包括：

指令传输模块，用于获取预设的运动指令。

进一步的，上述特征变换模块200，包括：

第一变换子单元，用于基于脑区功能的差异信息获取脑电训练数据所在脑区的权重向量，以及通过Hilbert变换计算得到脑电训练数据的瞬时相位，并根据权重向量对瞬时相位进行赋权得到赋权瞬时相位；

第二变换子单元，用于基于赋权瞬时相位和预设公式计算脑电训练数据导联对的相关系数，利用Fisher’s Z变换将相关系数进行标准化操作，得到双脑耦合特征矩阵；

排序输出子单元，用于根据双脑耦合特征矩阵中导联对的相关度值进行数值排序，基于数值排序结果得到特征矩阵。

进一步的，上述排序输出子单元，用于：

获取双脑耦合特征矩阵中脑电训练数据的多个导联对；

将多个导联对中相关度值最大的预设数量数值由大到小进行排列，得到第一维特征；

将第一维特征对应的在双脑耦合特征矩阵中的矩阵行列位置编号值作为第二维信息，基于第一维特征和第二维信息得到特征矩阵。

进一步的，相关系数的表达式为：

其中，

为两脑间任意导联对的相关系数，

和

分别为两脑间任意导联对的脑电信号的赋权瞬时相位。

根据本发明实施例的基于双脑耦合特征的脑机接口控制系统，通过对协同配合意图的解码实现对脑机接口的控制，促进基于双脑耦合特征的脑机接口控制准确率的提升。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于双脑耦合特征的脑机接口控制方法，其特征在于，包括以下步骤：

在至少两个被试协同进行脑机接口的运动控制任务时，将同步采集至少两个被试的导联对脑电数据分为脑电训练数据和脑电测试数据；其中，所述运动控制任务包括至少一种运动模式；

基于所述脑电训练数据进行双脑耦合特征提取，基于提取的特征进行数据变换得到特征矩阵；

将所述特征矩阵输入分类器模型中进行训练得到分类模型，基于所述分类模型对所述脑电测试数据进行运动模式的分类得到模式分类结果，对所述模式分类结果的运动模式完成度进行判断，根据完成度判断结果得到测试分类准确率；

基于所述测试分类准确率，判断协同脑机接口控制的有效性。

2.根据权利要求1所述的方法，其特征在于，所述在至少两个被试协同进行脑机接口的运动控制任务之前，所述方法，还包括：

获取预设的运动指令。

3.根据权利要求1所述的方法，其特征在于，所述基于脑电训练数据进行双脑耦合特征提取，基于提取的特征进行数据变换得到特征矩阵，包括：

基于脑区功能的差异信息获取脑电训练数据所在脑区的权重向量，以及通过Hilbert变换计算得到脑电训练数据的瞬时相位，并根据所述权重向量对所述瞬时相位进行赋权得到赋权瞬时相位；

基于所述赋权瞬时相位和预设公式计算脑电训练数据导联对的相关系数，利用Fisher’s Z变换将所述相关系数进行标准化操作，得到双脑耦合特征矩阵；

根据所述双脑耦合特征矩阵中导联对的相关度值进行数值排序，基于数值排序结果得到所述特征矩阵。

4.根据权利要求3所述的方法，其特征在于，所述根据双脑耦合特征矩阵中脑电训练数据导联对的相关度值进行数值排序，基于数值排序结果得到所述特征矩阵，包括：

获取双脑耦合特征矩阵中脑电训练数据的多个导联对；

将所述多个导联对中相关度值最大的预设数量数值由大到小进行排列，得到第一维特征；

将所述第一维特征对应的在所述双脑耦合特征矩阵中的矩阵行列位置编号值作为第二维信息，基于所述第一维特征和所述第二维信息得到特征矩阵。

5.根据权利要求3所述的方法，其特征在于，所述基于赋权瞬时相位和预设公式计算脑电训练数据导联对的相关系数的表达式为：

其中，

为两脑间任意导联对的相关系数，

和

分别为两脑间任意导联对的脑电信号的赋权瞬时相位。

6.一种基于双脑耦合特征的脑机接口控制系统，其特征在于，包括：

采集协同模块，用于在至少两个被试协同进行脑机接口的运动控制任务时，将同步采集至少两个被试的导联对脑电数据分为脑电训练数据和脑电测试数据；其中，所述运动控制任务包括至少一种运动模式；

特征变换模块，用于基于所述脑电训练数据进行双脑耦合特征提取，基于提取的特征进行数据变换得到特征矩阵；

分类测试模块，用于将所述特征矩阵输入分类器模型中进行训练得到分类模型，基于所述分类模型对所述脑电测试数据进行运动模式的分类得到模式分类结果，对所述模式分类结果的运动模式完成度进行判断，根据完成度判断结果得到测试分类准确率；

协同控制模块，用于基于所述测试分类准确率，判断协同脑机接口控制的有效性。

7.根据权利要求6所述的系统，其特征在于，所述系统，还包括：

指令传输模块，用于获取预设的运动指令。

8.根据权利要求6所述的系统，其特征在于，所述特征变换模块，包括：

第一变换子单元，用于基于脑区功能的差异信息获取脑电训练数据所在脑区的权重向量，以及通过Hilbert变换计算得到脑电训练数据的瞬时相位，并根据所述权重向量对所述瞬时相位进行赋权得到赋权瞬时相位；

第二变换子单元，用于基于所述赋权瞬时相位和预设公式计算脑电训练数据导联对的相关系数，利用Fisher’s Z变换将所述相关系数进行标准化操作，得到双脑耦合特征矩阵；

排序输出子单元，用于根据所述双脑耦合特征矩阵中导联对的相关度值进行数值排序，基于数值排序结果得到所述特征矩阵。

9.根据权利要求8所述的系统，其特征在于，所排序输出子单元，还用于：

获取双脑耦合特征矩阵中脑电训练数据的多个导联对；

将所述多个导联对中相关度值最大的预设数量数值由大到小进行排列，得到第一维特征；

将所述第一维特征对应的在所述双脑耦合特征矩阵中的矩阵行列位置编号值作为第二维信息，基于所述第一维特征和所述第二维信息得到特征矩阵。

10.根据权利要求8所述的系统，其特征在于，所述相关系数的表达式为：

其中，

为两脑间任意导联对的相关系数，

和

分别为两脑间任意导联对的脑电信号的赋权瞬时相位。

Images