CN112465059A - 基于跨脑融合决策的多人运动想象识别方法及脑机系统 - Google Patents
基于跨脑融合决策的多人运动想象识别方法及脑机系统 Download PDFInfo
- Publication number
- CN112465059A CN112465059A CN202011431548.3A CN202011431548A CN112465059A CN 112465059 A CN112465059 A CN 112465059A CN 202011431548 A CN202011431548 A CN 202011431548A CN 112465059 A CN112465059 A CN 112465059A
- Authority
- CN
- China
- Prior art keywords
- motor imagery
- electroencephalogram
- training
- brain
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000004927 fusion Effects 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 59
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 230000033001 locomotion Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000001360 synchronised effect Effects 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000012800 visualization Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000002087 whitening effect Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 abstract 1
- 210000004556 brain Anatomy 0.000 description 21
- 239000013256 coordination polymer Substances 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 208000020016 psychiatric disease Diseases 0.000 description 2
- 230000003797 telogen phase Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 208000011597 CGF1 Diseases 0.000 description 1
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 208000030963 borderline personality disease Diseases 0.000 description 1
- 230000008309 brain mechanism Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 210000000624 ear auricle Anatomy 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000007230 neural mechanism Effects 0.000 description 1
- 230000008279 neurobiological mechanism Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 238000000554 physical therapy Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004039 social cognition Effects 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Abstract
本发明公开了基于跨脑融合决策的多人运动想象识别方法及脑机系统。本发明基于跨脑融合决策的多人运动想象识别方法，具体如下：一：n个训练人员进行运动想象；二、对步骤一获得的脑电数据分别进行预处理，并打标签。三、将训练集中各训练人员的脑电数据进行融合，得到各运动想象任务对应的训练用融合脑电数据。四、用带有标签的训练用融合脑电数据对分类器进行训练。五、n个被测者想象同一个运动，在想象的同时采集各被测者的脑电信号，并进行预处理。之后，对n个被测者的脑电数据进行融合，测到跨脑融合脑电数据；将跨脑融合脑电数据导入训练好的分类器中进行分类判断，获取n个被测者想象的运动类别。
Description
技术领域
本发明专利属于人工智能-模式识别-脑机接口领域，具体涉及一种基于跨脑融合决策的多人运动想象的在线脑机接口系统。
背景技术
脑机接口(Brain Computer Interface，BCI)被各国脑计划视为重要内容之一。BCI是指可以为人脑与外部环境之间建立起一种不依赖于外周神经或肌肉组织的新型信息交流方式的技术。其工作原理是通过采集人脑信号，对其进行模式识别，解析出大脑意图，再将其转化为外部指令，进而与外部设备/环境达到沟通交互。基于脑电信号(EEG)的脑机接口具有成本低、操作方便、非侵入等重要优点，是当前BCI主要方向。
BCI三大范式技术包括P300、运动想象和稳态视觉诱发。其中，运动想象是指没有实际的肢体行为，而是直接利用大脑意念想象肢体动作，进而转化为后续的实际操作。它是一种内源性自发脑电，与诱发脑电不同的是，其无需外界刺激，只需人进行想象运动，脑电波就呈现特异波形。因此，运动想象BCI的应用很广：对常见于老年人中的瘫痪、中风等疾病造成的肢体不便，其不仅能够帮助病患控制物体，实现自理；还可以作为一种康复理疗的手段，最大限度的帮助患者恢复自身的运动能力。但是当前的脑机接口系统存在以下三个缺陷：
(1)识别精度低；由于大脑中数百亿神经元的功能和机制并没有被足够的理解和挖掘，这使得BCI技术对于大脑信号的正确识别受到了制约。而且，脑信号受到来自环境和自身生理信号的多重干扰，使得与任务相关的信号难以被识别。
(2)稳定性弱；当前运动想象脑机接口主要依托于单人模式，系统的决策仅来源于单一个体，容易出现误判；同时，随着时间推进，用户的精神状态也容易发生变化，如存在疲惫、注意力不集中等问题。
(3)在线程度低；现有运动想象脑机接口，通常只进行离线数据分析，这将数据采集和算法分离，导致BCI研究仍停留在实验阶段。而实际的应用要求BCI必须是在线系统，提升大脑意图解码的实时性。
发明内容
本发明专利的目的在于克服现有技术的不足，提供一种基于跨脑融合决策的多人运动想象的在线脑机接口系统，该系统支持多人同时使用并提升在线决策的稳定性和识别精度。
本发明基于跨脑融合决策的多人运动想象识别方法，具体步骤如下：
步骤一：向n个训练人员提供多个运动想象任务，n≥2；该多个运动想象任务包含所有的m个任务类别，m≥2。在各训练人员进行运动想象的同时采集脑电信号，分别获得各训练人员在执行各个运动想象任务时的脑电信号。
步骤二、对步骤一获得的脑电数据分别进行预处理。并对脑电信号打上对应的运动想象任务标签，形成训练集。
步骤三、将训练集中各训练人员的脑电数据进行融合，得到各运动想象任务对应的训练用融合脑电数据。
步骤四、用带有标签的训练用融合脑电数据对分类器进行训练。
步骤五、n个被测者想象同一个运动，在想象的同时采集各被测者的脑电信号，并进行预处理。之后，对n个被测者的脑电数据进行融合，测到跨脑融合脑电数据；将跨脑融合脑电数据导入训练好的分类器中进行分类判断，获取n个被测者想象的运动类别。
作为优选，步骤三中，脑电数据的融合采用如下方法：将n个被测者的脑电数据取平均。
作为优选，步骤三中，脑电数据的融合采用如下方法：将n个被测者的脑电数据进行拼接。
作为优选，步骤四中所述的分类器包括并排设置的m个二分类器。m个二分类器的两个类别中，其中一个类别是单一的运动想象类别，另一个类别是该单一运动想象类别外的所有运动想象类别的融合类别。每个二分类器的单一的运动想象类别均不相同。将脑电数据输入m个二分类器后；m个二分类器进行分类后各自输出特征矩阵。将m个特征矩阵拼接后导入单一分类器输出分类结果。
作为优选，对分类器进行训练的具体过程如下：利用训练集对m个二分类器分别进行训练；训练时，按照二分类器预设的分类要求，先将m-1个运动想象类别合并为其中一类，将最后一个运动想象类别作为另一类进行二分类。
单个二分类器进行训练的过程如下：计算二分类器的两个类别的样本协方差N1、N2，计算公式如下：
其中，E1、E2分别为训练集中与二分类器的两个类别对应的脑电数据；trace(·)为矩阵的迹运算。
对样本协方差N1、N2进行主分量分解、白化处理、空间滤波、计算投影后，得到二分类器的投影矩阵WM×M；计算分类特征矩阵ZM×N＝WM×MEM×N。其中，EM×N为训练集的所有数据。
最后将m个二分类器对应的特征矩阵拼接后导入分类器。
作为优选，步骤一中，每个运动想象任务的任务指示时间为0.5s，运动想象时间为4s；两个运动想象任务的时间间隔为1s。
作为优选，步骤一中，采用64电极的Neuroscan设备来获取脑电数据，采样频率为1000Hz。
作为优选，步骤一中，运动想象任务通过视频或图片的方式向被测者展示。
作为优选，步骤二中的预处理包括带通滤波和去平均参考。
一种用于实现跨脑融合决策的运动想象训练方法的在线脑机接口系统，包括中央处理单元PC1、中央处理单元PC2、中央处理单元PC3和中央处理单元PC4。中央处理单元PC1和中央处理单元PC2中均设置有多人脑电同步采集模块和预处理模块，多人脑电同步采集模块采集用户的脑电信号并传输给预处理模块进行预处理。中央处理单元PC4中设置有任务模块和标签识别模块；任务模块在训练时向训练人员提供运动想象任务。标签识别模块生成标签。
中央处理单元PC3中设置有数据传输通信模块、特征计算模块、多人融合分析决策模块和可视化模块。预处理模块输出的脑电信号用标签识别模块打上标签后，通过数据传输通信模块输出到特征计算模块。特征计算模块对打上标签的脑电数据进行分类特征矩阵的计算。多人脑电信号同步采集模块内的分类器利用特征计算模块生成的分类特征矩阵进行训练，并在训练后对多人融合的脑电信号进行运动想象类别的识别，并将识别结果显示到可视化模块上。
本发明相对于现有技术具有如下的优点及效果：
1、本发明提供的跨脑融合决策的运动想象方法通过脑电设备采集多名用户的脑电数据，并将多名用户的数据进行融合，并在线计算其决策正确率，可显著提高运动想象识别的准确度，有利于新型多人混合脑机接口的发展。
2、本发明对多台多通道脑电采集设备的信号同步记录、跨脑信号的分析识别、决策结果可视化等功能。与传统的运动想象脑机接口的不同之处有以下几点：本发明实现跨脑间的决策融合，决策更精确；为实时在线系统，实验效果好，决策方法可任意更改，选择更灵活，简化分析过程；操作过程简便，多台PC之间通过局域网通信，通过系统的用户界面即可实现对决策结果的可视化及决策方法的调节。
附图说明
图1为本发明的系统框架图；
图2为本发明的系统流程图；
图3为本发明专利多人脑机接口系统示意图。
具体实施方式
下面将结合附图和具体两名用户参与的实例对本发明专利发明内容做详细讲解，但本发明的实施方法和用户人数不限于此。
如图1、2和3所示，一种用于实现跨脑融合决策的运动想象训练方法的在线脑机接口系统，包括中央处理单元PC1、PC2、PC3和PC4。中央处理单元PC1和中央处理单元PC2中均设置有多人脑电同步采集模块和预处理模块，多人脑电同步采集模块采集用户的脑电信号并传输给预处理模块进行预处理。
中央处理单元PC4中设置有任务模块和标签识别模块；任务模块在训练时向用用户显示运动想象的任务。标签识别模块根据任务模块显示的任务生成标签(即任务类型)。
中央处理单元PC3中设置有数据传输通信模块、特征计算模块、多人融合分析决策模块和可视化模块。预处理模块输出的脑电信号用标签识别模块打上标签后，通过数据传输通信模块输出到特征计算模块。特征计算模块对打上标签的脑电数据进行特征矩阵的计算。多人脑电信号同步采集模块内的分类器利用特征计算模块生成的特征矩阵进行训练，并在训练后对多人融合的脑电信号进行运动想象类别的识别，并将识别结果显示到可视化模块上。
该脑机接口系统进行基于跨脑融合决策的多人运动想象识别方法，具体过程如下：
步骤S1：任务模块:
设定生成时间间隔序列和任务序列，并维护一个定时器；本实施例中，生成时间间隔序列中的时间间隔为1s，任务指示时间为0.5s，运动想象时间为4s。在运动想象任务设计中，为了保证大脑的训练效果，将训练任务设计为包括交替进行的休息阶段和任务阶段的组块任务。定时器按时间间隔序列里面的时间作为倒计时，当定时器计时完毕，根据任务序列修改当前的指示画面，用于指示用户者进入休息阶段或者任务阶段；与此同时，将休息阶段和任务阶段的开始时间点和结束时间点通知数据预处理模块。本实施例中设置三个运动想象任务，分别为“左手抓握”，“右手抓握”和“空闲态”。
步骤S2：多人脑电同步采集模块：同步两个多通道脑电设备采集的脑电信号。本实施例采用64电极的Neuroscan设备来获取脑电数据，采样频率为1000Hz，电极帽采用国际10/20系统电极放置法，64个电极分别为FP1,FPZ,FP2,AF3,AF4,F7,F5,F3,F1,FZ,F2,F4,F6,F8,FT7,FC5,FC3,FC1,FCZ,FC2,FC4,FC6,FT8,T7,C5,C3,C1,CZ,C2,C4,C6,T8,M1,TP7,CP5,CP3,CP1,CPZ,CP2,CP4,CP6,TP8,M2,P7,P5,P3,P1,PZ,P2,P4,P6,P8,PO7,PO5,PO3,POZ,PO4,PO6,PO8,CB1,O1,OZ,O2,CB2。两个参考电极(即M1和M2)分别置于左耳垂、右耳垂。另设置EKG电极放在左手动脉处记录心电数据。除心电和参考电极外的62个脑电通道的位置。如图3所示。让两个用户(分别记为用户A和用户B)并排而坐，用户A的脑电采集设备连接在PC1上；用户B的脑电采集设备连接在PC2上。两个用户并排而坐，同时看PC4上的运动想象提示画面。
步骤S3：预处理模块:接收来自脑电采集模块的脑电数据。
对采集的脑电数据进行预处理，以减少伪迹的干扰。具体过程包括：(1)带通滤波：创建带通滤波器，从选取的脑电数据中提取2-47hz的脑电成分。本实施例使用2阶巴特沃斯滤波器实现滤波处理。(2)去平均参考：计算滤波后除心电外15个通道脑电数据的平均值，并将每个脑电通道的数据减去该平均值。
步骤S4：标签识别模块:实时检测运行Eprime的电脑的想象任务提示，基于不同的提示任务，对每个用户的脑电数据同时打上对应的标签。
步骤S5：数据传输模块：整合数据和传输数据，具体包括：
1)在PC3上创建“IPC”(命名管道)，为PC1和PC2提供共享内存，跨网络实现PC1和PC2之间的通信。
3)PC1、PC2、PC3和PC4基于SMB(Server Message Block)协议建立连接。
2)PC1和PC2将在线读取的脑电数据以设定好的长度进行分片传输给PC3。本实施例中，我们采用0.5秒的时间窗口，即每一秒发送上0.5秒的脑电数据，同时PC4将标签传输给PC3。PC3为接收到的用户1和用户2的脑电数据打上标签，形成训练集。
3)在PC3上读取数据与标签。
步骤S6：能量特征计算模块，具体包括：
1)建立三分类器模型；三分类器模型包括并排设置的三个二分类器。三个二分类器的各有其中一个分类类别是单一的运动想象类别，另一个类别是除自身对应的单一运动想象类别外的融合类别。将脑电数据输入三个二分类器后；三个二分类器各自输出特征矩阵。将三个特征矩阵拼接后导入SVM输出分类结果。
2)利用多类别的共空间模式(CSP，common spatial potential)计算三类运动想象任务的可区分程度最大的能量分布特征向量，具体如下：
利用训练集对三个二分类器分别进行训练；训练时，按照二分类器预设的分类要求，先将两个运动想象类别合并为其中一类，将第三个运动想象类别作为另一类进行二分类CSP，这样共做了3次二分类CSP，实现二分类向三分类的扩展。
计算二分类器的两个类别的样本协方差N1、N2，计算公式如下：
其中，E1、E2分别为训练集中与二分类器的两个类别对应的脑电数据；trace(·)为矩阵的迹运算。
对样本协方差N1、N2进行主分量分解、白化处理、空间滤波、计算投影后，得到二分类器的投影矩阵WM×M
进一步计算分类特征矩阵如ZM×N如下：
ZM×N＝WM×MEM×N
其中，EM×N为训练集的所有数据。
本实施例中，我们采用1秒的时间窗口来计算选定通道的CSP，
2)以两个用户的脑电信号分别作为训练集，按照前述方法对三分类器进行训练，得到单脑三分类器。
3)计算跨脑数据层融合-CSP特征，具体通过如下两种方法的其中一种进行处理：
①.通过将双人的脑电数据取平均后，得到跨用户的融合数据层，再按照前述方法对三分类器进行训练，得到跨脑三分类器。
②.将双人的脑电数据进行拼接，以增加通道数和数据量，提升CSP投影性能，再按照前述方法对三分类器进行训练，得到跨脑三分类器。
4)用同样的方法计算所有实验试次的特征向量。
步骤S7：使用单个用户进行运动想象，对单脑三分类器的分类精度进行测试。使用两个用户进行运动想象，并将脑电信号融合后，对跨脑三分类器的分类精度进行测试。
步骤S8：两个被测者想象同一个运动；对两个被测者根据步骤S2中的方法进行脑电信号采集。将采集到的两个被测者的脑电数据进行取平均值或拼接，得到融合脑电数据层；将所得融合脑电数据层输入到训练好的三分类器模型中，判断出两个被测者想象的运动类型。
通过本发明可以显著脑电采集运动想象指令的准确性，从而能够用于脑电控制等场景，也可以应用在社会认知多人交互机制挖掘中，具体的应用场景举例如下：
1.复杂任务场景：多人协同完成同一控制目标，如本系统可以用于内嵌到无人机系统中，提升对对无人机的控制，并能够实时显示大脑控制意图的判别准确率。
2.肢体运动锻炼：具有多人交互的运动锻炼新模式。多人参与到一个任务，如共同完成一个目标或者多个目标，中间就天然的具有相互交互，达到-人机-人的复合反馈调节，从而提高使用者的肢体锻炼效率。
3.鲁棒性-可异步的脑机接口：通过多人运动想象的特征指标，来实现单人难以确定的用户任务参与状态。例如脑活跃的用户很难确定空闲状态，多人的脑电叠加更容易分出空闲态，从而更好的实现异步。
4.游戏：多人对战，人机对战等等。本系统已应用的多人足球游戏。多人协同与机器对抗，通过想象控制球的移动，控制球进入球门，从而取得游戏的胜利。
5.挖掘社交障碍等精神类疾病脑机制。边缘性人格障碍是最常见的社会认知障碍性精神疾病，其特点是反复发生的人际冲突和不稳定的社会关系，但患者产生社交障碍的神经生物学机制仍不清楚。利用本系统分别对患者和对照组健康人进行社交互动任务，并同时记录对应的脑电信号，探索出患者社交障碍的神经机制。
为验证本发明相比于现有技术的优势，我们对基于单人、双人跨脑运动想象数据(10组，共20人)进行分类正确率识别。其中，每个单人(同组的单人分别表示为用户1，用户2)用户使用64通道脑电数据，对双人跨脑数据分别利用上述两种方法提取CSP特征，最后将特征用SVM分类，结果如表1所示。从结果可知：不同的融合方法下，基于多脑的分类准确率都要明显高于单脑分类准确率。
表1单一用户和不同多人跨脑融合方法下分类结果(准确率)
Claims (10)
1.基于跨脑融合决策的多人运动想象识别方法，其特征在于：步骤一：向n个训练人员提供多个运动想象任务，n≥2；该多个运动想象任务包含所有的m个任务类别，m≥2；在各训练人员进行运动想象的同时采集脑电信号，分别获得各训练人员在执行各个运动想象任务时的脑电信号；
步骤二、对步骤一获得的脑电数据分别进行预处理；并对脑电信号打上对应的运动想象任务标签，形成训练集；
步骤三、将训练集中各训练人员的脑电数据进行融合，得到各运动想象任务对应的训练用融合脑电数据；
步骤四、用带有标签的训练用融合脑电数据对分类器进行训练；
步骤五、n个被测者想象同一个运动，在想象的同时采集各被测者的脑电信号，并进行预处理；之后，对n个被测者的脑电数据进行融合，测到跨脑融合脑电数据；将跨脑融合脑电数据导入训练好的分类器中进行分类判断，获取n个被测者想象的运动类别。
2.根据权利要求1所述的基于跨脑融合决策的多人运动想象识别方法，其特征在于：步骤三中，脑电数据的融合采用如下方法：将n个被测者的脑电数据取平均。
3.根据权利要求1所述的基于跨脑融合决策的多人运动想象识别方法，其特征在于：步骤三中，脑电数据的融合采用如下方法：将n个被测者的脑电数据进行拼接。
4.根据权利要求1所述的基于跨脑融合决策的多人运动想象识别方法，其特征在于：步骤四中所述的分类器包括并排设置的m个二分类器；m个二分类器的两个类别中，其中一个类别是单一的运动想象类别，另一个类别是该单一运动想象类别外的所有运动想象类别的融合类别；每个二分类器的单一的运动想象类别均不相同；将脑电数据输入m个二分类器后；m个二分类器进行分类后各自输出特征矩阵；将m个特征矩阵拼接后导入单一分类器输出分类结果。
5.根据权利要求4所述的基于跨脑融合决策的多人运动想象识别方法，其特征在于：对分类器进行训练的具体过程如下：利用训练集对m个二分类器分别进行训练；训练时，按照二分类器预设的分类要求，先将m-1个运动想象类别合并为其中一类，将最后一个运动想象类别作为另一类进行二分类；
单个二分类器进行训练的过程如下：计算二分类器的两个类别的样本协方差N1、N2，计算公式如下：
其中，E1、E2分别为训练集中与二分类器的两个类别对应的脑电数据；trace(·)为矩阵的迹运算；
对样本协方差N1、N2进行主分量分解、白化处理、空间滤波、计算投影后，得到二分类器的投影矩阵WM×M；计算分类特征矩阵ZM×N＝WM×MEM×N；其中，EM×N为训练集的所有数据；
最后将m个二分类器对应的特征矩阵拼接后导入分类器。
6.根据权利要求1所述的基于跨脑融合决策的多人运动想象识别方法，其特征在于：步骤一中，每个运动想象任务的任务指示时间为0.5s，运动想象时间为4s；两个运动想象任务的时间间隔为1s。
7.根据权利要求1所述的基于跨脑融合决策的多人运动想象识别方法，其特征在于：步骤一中，采用64电极的Neuroscan设备来获取脑电数据，采样频率为1000Hz。
8.根据权利要求1所述的基于跨脑融合决策的多人运动想象识别方法，其特征在于：步骤一中，运动想象任务通过视频或图片的方式向被测者展示。
9.根据权利要求1所述的基于跨脑融合决策的多人运动想象识别方法，其特征在于：步骤二中的预处理包括带通滤波和去平均参考。
10.如权利要求1所述的基于跨脑融合决策的多人运动想象识别方法使用的脑机系统，其特征在于：包括中央处理单元PC1、中央处理单元PC2、中央处理单元PC3和中央处理单元PC4；中央处理单元PC1和中央处理单元PC2中均设置有多人脑电同步采集模块和预处理模块，多人脑电同步采集模块采集用户的脑电信号并传输给预处理模块进行预处理；中央处理单元PC4中设置有任务模块和标签识别模块；任务模块在训练时向训练人员提供运动想象任务；标签识别模块生成标签；
中央处理单元PC3中设置有数据传输通信模块、特征计算模块、多人融合分析决策模块和可视化模块；预处理模块输出的脑电信号用标签识别模块打上标签后，通过数据传输通信模块输出到特征计算模块；特征计算模块对打上标签的脑电数据进行分类特征矩阵的计算；多人脑电信号同步采集模块内的分类器利用特征计算模块生成的分类特征矩阵进行训练，并在训练后对多人融合的脑电信号进行运动想象类别的识别，并将识别结果显示到可视化模块上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011431548.3A CN112465059A (zh) | 2020-12-07 | 2020-12-07 | 基于跨脑融合决策的多人运动想象识别方法及脑机系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011431548.3A CN112465059A (zh) | 2020-12-07 | 2020-12-07 | 基于跨脑融合决策的多人运动想象识别方法及脑机系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112465059A true CN112465059A (zh) | 2021-03-09 |
Family
ID=74801121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011431548.3A Pending CN112465059A (zh) | 2020-12-07 | 2020-12-07 | 基于跨脑融合决策的多人运动想象识别方法及脑机系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112465059A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113220120A (zh) * | 2021-04-27 | 2021-08-06 | 武汉理工大学 | 一种融合主客观评估的自适应运动想象脑机接口训练方法 |
| CN113343798A (zh) * | 2021-05-25 | 2021-09-03 | 中电云脑(天津)科技有限公司 | 一种脑机接口分类模型的训练方法、装置、设备及介质 |
| CN113504828A (zh) * | 2021-06-28 | 2021-10-15 | 广州大学 | 基于语言想象和运动想象的脑机接口控制方法及系统 |
| CN113951896A (zh) * | 2021-09-10 | 2022-01-21 | 之江实验室 | 一种基于颅内脑电和头皮脑电融合的脑机接口解码方法 |
| CN114167983A (zh) * | 2021-11-24 | 2022-03-11 | 哈尔滨工业大学（深圳） | 一种基于共幅相测量的脑机接口系统 |
| CN114259241A (zh) * | 2021-12-16 | 2022-04-01 | 杭州电子科技大学 | 基于eeg的认知功能可视化系统 |
| CN114469090A (zh) * | 2021-12-31 | 2022-05-13 | 杭州电子科技大学 | 基于跨脑耦合关系计算的脑电情感识别方法及脑机系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103793058A (zh) * | 2014-02-13 | 2014-05-14 | 山西大学 | 一种主动式脑机交互系统运动想象任务分类方法及装置 |
| CN111931646A (zh) * | 2020-08-10 | 2020-11-13 | 华东理工大学 | 基于经验模态分解算法的运动想象脑电信号的识别系统 |
-
2020
- 2020-12-07 CN CN202011431548.3A patent/CN112465059A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103793058A (zh) * | 2014-02-13 | 2014-05-14 | 山西大学 | 一种主动式脑机交互系统运动想象任务分类方法及装置 |
| CN111931646A (zh) * | 2020-08-10 | 2020-11-13 | 华东理工大学 | 基于经验模态分解算法的运动想象脑电信号的识别系统 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113220120A (zh) * | 2021-04-27 | 2021-08-06 | 武汉理工大学 | 一种融合主客观评估的自适应运动想象脑机接口训练方法 |
| CN113220120B (zh) * | 2021-04-27 | 2022-08-30 | 武汉理工大学 | 一种融合主客观评估的自适应运动想象脑机接口训练方法 |
| CN113343798A (zh) * | 2021-05-25 | 2021-09-03 | 中电云脑(天津)科技有限公司 | 一种脑机接口分类模型的训练方法、装置、设备及介质 |
| CN113504828A (zh) * | 2021-06-28 | 2021-10-15 | 广州大学 | 基于语言想象和运动想象的脑机接口控制方法及系统 |
| CN113951896A (zh) * | 2021-09-10 | 2022-01-21 | 之江实验室 | 一种基于颅内脑电和头皮脑电融合的脑机接口解码方法 |
| CN114167983A (zh) * | 2021-11-24 | 2022-03-11 | 哈尔滨工业大学（深圳） | 一种基于共幅相测量的脑机接口系统 |
| CN114259241A (zh) * | 2021-12-16 | 2022-04-01 | 杭州电子科技大学 | 基于eeg的认知功能可视化系统 |
| CN114259241B (zh) * | 2021-12-16 | 2024-03-29 | 杭州电子科技大学 | 基于eeg的认知功能可视化系统 |
| CN114469090A (zh) * | 2021-12-31 | 2022-05-13 | 杭州电子科技大学 | 基于跨脑耦合关系计算的脑电情感识别方法及脑机系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112465059A (zh) | 基于跨脑融合决策的多人运动想象识别方法及脑机系统 | |
| CN105938397B (zh) | 基于稳态运动视觉诱发电位与缺省刺激响应的混合脑-机接口方法 | |
| Scherer et al. | Toward self-paced brain–computer communication: navigation through virtual worlds | |
| Pfurtscheller et al. | 15 years of BCI research at Graz University of Technology: current projects | |
| CN110169770B (zh) | 情绪脑电的细粒度可视化系统和方法 | |
| CN109298779B (zh) | 基于虚拟代理交互的虚拟训练系统与方法 | |
| Leeb et al. | Multimodal fusion of muscle and brain signals for a hybrid-BCI | |
| CN110765920A (zh) | 基于卷积神经网络的运动想象分类方法 | |
| CN107037883A (zh) | 一种基于运动想象的混合脑机接口系统及方法 | |
| CN109998570A (zh) | 服刑人员心理状态评估方法、终端、设备及系统 | |
| CN110534180B (zh) | 深度学习人机互适应运动想象脑机接口系统和训练方法 | |
| CN111265212A (zh) | 一种运动想象脑电信号分类方法及闭环训练测试交互系统 | |
| CN111110982A (zh) | 基于运动想象的手部康复训练方法 | |
| Li et al. | Active training paradigm for motor imagery BCI | |
| CN114847950A (zh) | 基于虚拟现实的注意力评估与训练系统、方法及存储介质 | |
| Yeh et al. | A multiplayer online car racing virtual-reality game based on internet of brains | |
| Bian et al. | Physiology-based affect recognition during driving in virtual environment for autism intervention. | |
| Lee et al. | ADHD assessment and testing system design based on virtual reality | |
| CN107085464A (zh) | 基于p300字符拼写任务的情绪识别方法 | |
| Choi et al. | Asynchronous motor imagery brain-computer interface for simulated drone control | |
| CN113082448A (zh) | 基于脑电信号和眼动仪的虚拟沉浸式自闭症儿童治疗系统 | |
| Scherer et al. | EEG-based endogenous online co-adaptive brain-computer interfaces: strategy for success? | |
| O'Doherty et al. | Exploring gaze-motor imagery hybrid brain-computer interface design | |
| Gao et al. | Toward a systematic survey on wearable computing for education applications | |
| Zhang et al. | Implement an asynchronous online SSVEP-based brain computer interface |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |