CN112433617B - 一种两人协同的p300-bci目标决策系统及方法 - Google Patents

一种两人协同的p300-bci目标决策系统及方法 Download PDF

Info

Publication number
CN112433617B
CN112433617B CN202011453678.7A CN202011453678A CN112433617B CN 112433617 B CN112433617 B CN 112433617B CN 202011453678 A CN202011453678 A CN 202011453678A CN 112433617 B CN112433617 B CN 112433617B
Authority
CN
China
Prior art keywords
dimensional
task
paradigm
bci
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011453678.7A
Other languages
English (en)
Other versions
CN112433617A (zh
Inventor
于扬
叶泽祺
周宗潭
胡德文
沈辉
党新龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202011453678.7A priority Critical patent/CN112433617B/zh
Publication of CN112433617A publication Critical patent/CN112433617A/zh
Application granted granted Critical
Publication of CN112433617B publication Critical patent/CN112433617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种两人协同的P300‑BCI目标决策系统及方法。所述两人协同的P300‑BCI目标决策系统包括脑机接口、任务识别机制及数据处理系统，所述脑机接口与所述任务识别机制连接，所述数据处理系统与所述任务识别机制连接，所述脑机接口可接收两个被试者的脑电信息，每个被试者对应识别待识别任务是否出现在所述N×N二维RC范式界面屏幕的行坐标或列坐标上，所述数据处理系统包括范式测试系统及被试者脑电信号数据处理模块，使能得知每个被试者所识别的待识别任务的行坐标，或列坐标，获得识别结果。本发明利用脑机接口两人协同决策的方式优化决策，以提高识别效率。

Description

一种两人协同的P300-BCI目标决策系统及方法
技术领域
本发明涉及人工智能脑科学与计算机技术领域，特别涉及一种两人协同的P300-BCI目标决策系统及方法。
背景技术
脑机接口(brain computer interface,BCI)，也被称为“大脑端口”或者“脑机融合感知，旨在建立人与外部设备之间的连接通路。在实验中，当被测试者收到外部视觉的刺激的时候，其大脑内部神经活动将会产生相应的变化，这些被动的响应将会形成不同的脑电时空尺度模式。利用计算机对脑电信号进行采集和分析，相应的刺激信号将会被识别和判断出来。通过对这些刺激信号的分析，可以将其作为人对外部设备控制的指令，从而实现对特定目标的识别。
传统的P300-BCI中，被试需要独自观察行扫描从而判断出目标的列坐标，再观察列扫描得出行坐标，从而定位目标。在经典p300范式实验中，通常是由一个人单独完成被试任务，长时间的屏幕刺激和高度紧张的状态容易使被试产生疲劳，被试因而不得不进行多组休息，大大降低了实验效率。
发明内容
本发明提供了一种两人协同的P300-BCI目标决策系统及方法，其目的是为了解决背景技术中决策的效率不高的技术问题。
将P300-BCI的范式进行分解，从而实现了多人协同的P300-BCI。以两人协同拼写范式为例，两人同时观察两个屏幕并选择相同的目标，一人负责行扫描给出列坐标，一人负责列扫描给出行坐标，共同决策定位目标，从而可以使在目前最快的字符识别技术上，再使时间减半。打开了多人协同脑机接口的大门。
为了达到上述目的，本发明的实施例提供的两人协同的P300-BCI目标决策系统，包括脑机接口、任务识别机制及数据处理系统，所述脑机接口与所述任务识别机制连接，所述数据处理系统与所述任务识别机制连接，所述脑机接口可接收两个被试者的脑电信息，所述任务识别机制为N×N二维RC范式界面屏幕，每个被试者对应一个N×N二维RC范式界面屏幕，每个被试者对应识别待识别任务是否出现在所述N×N二维RC范式界面屏幕的行坐标或列坐标上，所述数据处理系统包括范式测试系统及被试者脑电信号数据处理模块，使能得知每个被试者所识别的待识别任务的行坐标，或列坐标，获得识别结果。
优选地，所述N×N二维RC范式界面屏幕采用多进程和多线程的方法实现视觉刺激范式，两个所述N×N二维RC范式界面屏幕均包括主进程和子进程，所述主进程包括主显示线程、主设计线程及主通信线程，所述主显示线程显示所述主设计线程生成的信息，所述主通信线程将所述主设计线程生成的信息传递给所述子进程；所述子进程包括子通信线程及子显示线程，所述子通信线程可处于监听状态，所述子通信线程从主进程接收到数据，再通过全局变量更新所述接收到的数据，并将更新后的数据传递给所述子显示线程显示。
优选地，所述N×N二维RC范式界面屏幕显示待识别任务的机制包括：
步骤A、主进程根据备选任务，生成多个任务，形成任务列表，显示在第一个所述N×N二维RC范式界面屏幕中，同时，此任务列表将被发送到子进程，并在第二个所述N×N二维RC范式界面屏幕中同步显示；
步骤B、主进程从任务列表中提取当前任务，同步第一个所述N×N二维RC范式界面屏幕和第二个所述N×N二维RC范式界面屏幕中的提示，使第一个被试者和第二个被试者可以执行相同的指令；
步骤C、生成一个包含1-N的伪随机代码，表示闪烁的顺序，再根据顺序列表，将当前正在闪烁的行和列转换为相应的屏幕闪烁任务列表，所述屏幕闪烁任务列表表征如何在两个N×N二维RC范式界面屏幕中显示；
步骤D、所述屏幕闪烁任务列表包括行列表和列列表，行列表的闪烁会显示在第一个所述N×N二维RC范式界面屏幕中，而列列表的闪烁则会发送到第二个所述N×N二维RC范式界面屏幕中显示；如果当前任务在闪烁的行列表中，则将数据打上标签Label＝1；如果当前任务在闪烁的列列表中，则将数据打上标签Label＝2；如果当前任务同时在闪烁的行列表和闪烁的列列表中，将数据打上标签Label＝3
步骤E、对数据和标签进行处理从而得到结果，这个结果将同时显示在第一个所述N×N二维RC范式界面屏幕和第二个所述N×N二维RC范式界面屏幕中；
步骤F、主进程确定是否所有任务都已完成，如果没有完成，则返回步骤B进行循环。
优选地，所述备选任务包括0-9和a-z的36个备选任务。
优选地，两个所述N×N二维RC范式界面屏幕均显示经典BCI Speller的RC范式界面。
本发明的实施例提供的两人协同的P300-BCI目标决策方法，包括以下步骤：
步骤S1、两人协同的P300-BCI目标决策准备工作：两名被试者佩戴电极，在N×N二维RC范式界面屏幕前对备选任务进行识别，获取分类器参数；
步骤S2、获取待识别任务，获取任务列表：根据备选任务及需要决策的内容，生成待识别任务，待识别任务组成任务列表；
步骤S3、两人脑机接口协同决策：两名被试者佩戴电极，待识别任务显示在各自的N×N二维RC范式界面屏幕中，两名被试者根据待识别任务提示注视目标字符，分别获取两名被试者识别出的行坐标或列坐标，获得决策结果的行坐标与列坐标。
优选地，所述步骤S1具体包括如下步骤：
步骤S11、所述两名被试者佩戴电极，在各自N×N二维RC范式界面屏幕前准备开始脑机接口识别工作，N×N二维RC范式界面屏幕显示内容均为经典的BCI Speller的RC范式界面；
步骤S12、获取分类器参数：被试者需提前熟悉实验内容与流程，训练内容同正式实验内容步骤相同，两名被试者根据备选任务提示注视目标字符，并将采集的数据用于训练分类器参数，从而得出分类器的参数。
优选地，所述步骤S3中，待识别任务显示在各自的N×N二维RC范式界面屏幕中具体为：按照伪随机码的顺序依次在各自的N×N二维RC范式界面屏幕中心呈十字闪烁，各闪烁的时间间隔为240ms，其中刺激时间与刺激间隔各120ms，每次决策过程由4个trials组成，将N×N二维RC范式界面屏幕显示内容均闪烁一次，每次决策后，刺激暂停2s以显示识别结果，并提示下一个待识别任务。
优选地，所述步骤S1及步骤S3中佩戴电极具体为：被试者头戴32通道主动电极，信号通过放大器放大得到，共配置11个信号采集电极，一号被试者选择1-5通道主动电极，二号被试者选择6-10通道主动电极，11通道主动电极作为参考电极接于脑电信号幅值较小的被试者右侧耳后。
采用本发明能达到的技术效果有：
本发明采取一种新思路，即将经典p300范式实验按照行列拆分到两个屏幕上，两名被试分别注视两个屏幕获取列坐标与行坐标，整合结果后进行共同决策，通过识别的准确率可以确定该技术方案的可行性。通过比较该技术方案与单人p300实验的数据传输率(Information Transfer Rate,ITR)可以确定该技术方案的先进性。
本发明所述的思路将原本只能一个人完成的P300-BCI任务决策分配给两个人协同完成，成倍地提高了决策效率，是多人协同脑机接口研究实验中有创新意义的尝试；同时，本发明将此技术应用到生活产品中，以BCI拼写器为切入点，可有望提高残疾人的自理能力，推进BCI技术市场化；并为军事领域的脑机接口多层次控制提供了解决思路。
本发明打开多人协同脑机接口技术的大门，并在未来改善残疾人士生活自理能力，提高文字相关工作人士的工作效率，开发多人协同脑机接口游戏方面具有较大的现实意义。除此之外，在军事领域也为如何通过脑机接口技术同时下达多层次指令提供了解决途径。例如，在脑控无人机编队技术中，需要先选择控制某架无人机，再选择控制指令。通过本发明的技术，可以由一人负责选择无人机，一人负责下达控制指令，从而大大节省了时间，在时间就是生命的战场上，具有很大的现实意义。
附图说明
图1为本发明的两人协同的P300-BCI目标决策系统的流程图；
图2为本发明的两人协同的P300-BCI目标决策系统的电极配置示意图；
图3(a)为本发明的两人协同的P300-BCI目标决策系统的一较佳实施例的刺激界面的示意图；
图3(b)为本发明的两人协同的P300-BCI目标决策系统的一较佳实施例的行刺激界面的示意图；
图3(c)为本发明的两人协同的P300-BCI目标决策系统的一较佳实施例的列刺激界面的示意图；
图4为本发明的两人协同的P300-BCI目标决策系统的一较佳实施例的两人协同BCI Speller原理示意图；
图5为本发明的两人协同的P300-BCI目标决策系统的一较佳实施例的两个所述N×N二维RC范式界面屏幕的视觉刺激范式实现方式的示意图；
图6为本发明的两人协同的P300-BCI目标决策系统的一较佳实施例的识别机制。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的问题，提供了一种两人协同的P300-BCI目标决策系统，包括脑机接口、任务识别机制及数据处理系统，所述脑机接口与所述任务识别机制连接，所述数据处理系统与所述任务识别机制连接，所述脑机接口可接收两个被试者的脑电信息，所述任务识别机制为6×6二维RC范式界面屏幕，如图3(a)所示的刺激界面，每个被试者对应一个6×6二维RC范式界面屏幕，两个所述6×6二维RC范式界面屏幕均显示经典BCI Speller的RC范式界面，每个被试者对应识别待识别任务是否出现在所述6×6二维RC范式界面屏幕的行坐标或列坐标上，所述数据处理系统包括范式测试系统及被试者脑电信号数据处理模块，使能得知每个被试者所识别的待识别任务的行坐标，或列坐标，获得识别结果，如图4所示两人协同BCI Speller原理示意图。
如图5所示的视觉刺激范式实现方式，所述6×6二维RC范式界面屏幕采用多进程和多线程的方法实现视觉刺激范式，两个所述6×6二维RC范式界面屏幕均包括主进程和子进程，所述主进程包括主显示线程、主设计线程及主通信线程，所述主显示线程显示所述主设计线程生成的信息，所述主通信线程将所述主设计线程生成的信息传递给所述子进程；所述子进程包括子通信线程及子显示线程，所述子通信线程可处于监听状态，所述子通信线程从主进程接收到数据，再通过全局变量更新所述接收到的数据，并将更新后的数据传递给所述子显示线程显示。
所述6×6二维RC范式界面屏幕显示待识别任务的机制包括：
步骤A、主进程根据0-9和a-z的36个备选任务，生成多个任务，形成任务列表，显示在第一个所述6×6二维RC范式界面屏幕中，同时，此任务列表将被发送到子进程，并在第二个所述6×6二维RC范式界面屏幕中同步显示；
步骤B、主进程从任务列表中提取当前任务，同步第一个所述6×6二维RC范式界面屏幕和第二个所述6×6二维RC范式界面屏幕中的提示，使第一个被试者和第二个被试者可以执行相同的指令；
步骤C、生成一个包含1-6的伪随机代码，表示闪烁的顺序，再根据顺序列表，将当前正在闪烁的行和列转换为相应的屏幕闪烁任务列表，所述屏幕闪烁任务列表表征如何在两个6×6二维RC范式界面屏幕中显示；例如,如果伪随机代码为[5，2，3，1，4，6]，则闪烁第二行后将闪烁第五行，和第四行在第六行之前闪烁。如果当前伪随机代码为3,它将被转换成一个闪烁的行列表[13，14，15，16，17，18]和闪烁的列列表＝[3，9，15，21，27，33)。
步骤D、行列表的闪烁会显示在第一个所述6×6二维RC范式界面屏幕中，而列列表的闪烁则会发送到第二个所述6×6二维RC范式界面屏幕中显示，如图3(b)及图3(c)所示的行刺激界面及列刺激界面。如果当前任务在闪烁的行列表中，则将数据打上标签Label＝1；如果当前任务在闪烁的列列表中，则将数据打上标签Label＝2；如果当前任务同时在闪烁的行列表和闪烁的列列表中，将数据打上标签Label＝3；
步骤E、对数据和标签进行处理从而得到结果，这个结果将同时显示在第一个所述6×6二维RC范式界面屏幕和第二个所述6×6二维RC范式界面屏幕中；
步骤F、主进程确定是否所有任务都已完成，如果没有完成，则返回步骤B进行循环。
所述备选任务包括0-9(即0-9共10个整数)和a-z(即a-z共26个英文字母)的36个备选任务。
如图1所示的流程图，本发明的实施例提供的两人协同的P300-BCI目标决策方法，包括以下步骤：
步骤S1、两人协同的P300-BCI目标决策准备工作：两名被试者佩戴电极，在6×6二维RC范式界面屏幕前对备选任务进行识别，获取分类器参数；
步骤S2、获取待识别任务，获取任务列表：根据备选任务及需要决策的内容，生成待识别任务，待识别任务组成任务列表；
步骤S3、两人脑机接口协同决策：两名被试者佩戴电极，待识别任务显示在各自的6×6二维RC范式界面屏幕中，两名被试者根据待识别任务提示注视目标字符，分别获取两名被试者识别出的行坐标或列坐标，获得决策结果的行坐标与列坐标。
如图3所示，所述步骤S1及步骤S3中佩戴电极具体为：被试者头戴32通道主动电极，信号通过放大器放大得到，共配置11个信号采集电极，即被试者佩戴电极可以采集32个信号，但本实施例只使用11个，其中，一号被试者选择1-5通道主动电极，二号被试者选择6-10通道主动电极，11通道主动电极作为参考电极接于脑电信号幅值较小的被试者右侧耳后。
所述步骤S1具体包括如下步骤：
步骤S11、所述两名被试者佩戴电极，在各自6×6二维RC范式界面屏幕前准备开始脑机接口识别工作，6×6二维RC范式界面屏幕显示内容均为经典的P300 Speller的RC范式界面；
步骤S12、获取分类器参数：被试者需提前熟悉实验内容与流程，训练内容同正式实验内容步骤相同，两名被试者根据备选任务提示注视目标字符，并将采集的数据用于训练分类器参数，从而得出分类器的参数。
所述步骤S3中，待识别任务显示在各自的6×6二维RC范式界面屏幕中具体为：按照伪随机码的顺序依次在各自的6×6二维RC范式界面屏幕中心呈十字闪烁，各闪烁的时间间隔为240ms，其中刺激时间与刺激间隔各120ms，每次决策过程由4个trials组成，将6×6二维RC范式界面屏幕显示内容均闪烁一次，每次决策后，刺激暂停2s以显示识别结果，并提示下一个待识别任务。
单trial的脑电信号存在随机噪声，容易将有效的ERP信号淹没。所以通过测量多个trials，再进行平均。这样，随机的噪声就在很大程度被减弱，而有效信号得以凸显。行业内默认识别率达到70％才为有效识别，在实验过程中，发现4个trials的叠加才能达到70％以上的准确率。
实验中，两名被试互不干扰地坐在两个屏幕前。屏幕所呈现内容除闪烁的十字叉之外均相同。任务选择背景由任意6*6共计36个目标均匀分布，屏幕左上角有两行提示，上一行为待识别目标，下一行为识别结果。在实验开始后，每个任务前，会通过紫色矩形框选提示需要共同识别的任务，两名被试需要注视各自屏幕上被紫色矩形所框选的任务。一次实验共有20个任务，每个任务的刺激编码通过伪随机1-6的方式实现(数字几就代表第几行或者第几列)。每次任务中，屏幕会按照生成的伪随机码呈现十字闪烁画面(一台电脑闪烁行，一台电脑闪烁列)，时间间隔为240ms，刺激时间和刺激间隔均为120ms。每个任务的决策过程由4个trial组成(定义：所有的行闪烁一次，或者所有列闪烁一次，即为一个trial)。当一个字母拼写完成后，十字闪烁刺激暂停2s以便提示随后的训练目标。两名被试在读到紫色方框所圈字母后，待十字闪烁出现在方框内时，内心默默加一，一个任务能读到4次。当紫色方框出现在下一个字母时，重复上述步骤，直到实验结束。计算机通过读取并处理两名被试的脑电信号，识别ERP成分，分别解算出行坐标与列坐标，从而得出识别结果，与原待识别目标比对是否识别正确。
如图6所示的识别机制，第一行Characters代表识别20次字符的任务；
第二行Trails代表，每识别一个任务4个trial；
第三、四行的row Flickers和col Flickers为行和列的各6次闪烁，其中可以看到每个闪烁持续120ms，两个闪烁之间间隔120ms。第5,6行两个波形代表在目标刺激(标有target)出现300ms后，出现了一个波峰，即为时间相关电位(ERP)中的P300信号。如果检测这个信号就知道，哪个闪烁是目标刺激，从而知道目标处在第几行，第几列。
采用本发明能达到的技术效果有：
本发明采取一种新思路，即将经典p300范式实验按照行列拆分到两个屏幕上，两名被试分别注视两个屏幕获取列坐标与行坐标，整合结果后进行共同决策，通过识别的准确率可以确定该技术方案的可行性。通过比较该技术方案与单人p300实验的数据传输率(InformationTransfer Rate,ITR)可以确定该技术方案的先进性。
本发明所述的思路将原本只能由一人完成的P300 Speller任务决策分配给两个人协同完成，其根本机理是将时间上的串行，改变为了空间上的并行，从而成倍地提高了决策效率，是多人协同脑机接口研究实验中有创新意义的尝试；除此之外，对于每次分类来说，该思路将原来11/12出错的可能性，降低为了5/6，在一定程度上提高了识别的准确率；同时，本发明将此技术应用到生活产品中，以BCI拼写器为切入点，可有望提高残疾人的自理能力，推进BCI技术市场化；并为军事领域的脑机接口多层次控制提供了解决思路。
本发明打开多人协同脑机接口技术的大门，并在未来改善残疾人士生活自理能力，提高文字相关工作人士的工作效率，开发多人协同脑机接口游戏方面具有较大的现实意义。除此之外，在军事领域也为如何通过脑机接口技术同时下达多层次指令提供了解决途径。例如，在脑控无人机编队技术中，需要先选择控制某架无人机，再选择控制指令。通过本发明的技术，可以由一人负责选择无人机，一人负责下达控制指令，从而大大节省了时间，在时间就是生命的战场上，具有很大的现实意义。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种两人协同的P300-BCI目标决策系统，其特征在于，包括脑机接口、任务识别机制及数据处理系统，所述脑机接口与所述任务识别机制连接，所述数据处理系统与所述任务识别机制连接，所述脑机接口可接收两个被试者的脑电信息，所述任务识别机制为N×N二维RC范式界面屏幕，每个被试者对应一个N×N二维RC范式界面屏幕，每个被试者对应识别待识别任务是否出现在所述N×N二维RC范式界面屏幕的行坐标或列坐标上，所述数据处理系统包括范式测试系统及被试者脑电信号数据处理模块，使能得知每个被试者所识别的待识别任务的行坐标，或列坐标，获得识别结果；所述N×N二维RC范式界面屏幕采用多进程和多线程的方法实现视觉刺激范式，两个所述N×N二维RC范式界面屏幕均包括主进程和子进程，所述主进程包括主显示线程、主设计线程及主通信线程，所述主显示线程显示所述主设计线程生成的信息，所述主通信线程将所述主设计线程生成的信息传递给所述子进程；所述子进程包括子通信线程及子显示线程，所述子通信线程可处于监听状态，所述子通信线程从主进程接收到数据，再通过全局变量更新所述接收到的数据，并将更新后的数据传递给所述子显示线程显示；所述N×N二维RC范式界面屏幕显示待识别任务的机制包括：
步骤A、主进程根据备选任务，生成多个任务，形成任务列表，显示在第一个所述N×N二维RC范式界面屏幕中，同时，此任务列表将被发送到子进程，并在第二个所述N×N二维RC范式界面屏幕中同步显示；
步骤B、主进程从任务列表中提取当前任务，同步第一个所述N×N二维RC范式界面屏幕和第二个所述N×N二维RC范式界面屏幕中的提示，使第一个被试者和第二个被试者可以执行相同的指令；
步骤C、生成一个包含1-N的伪随机代码，表示闪烁的顺序，再根据顺序列表，将当前正在闪烁的行和列转换为相应的屏幕闪烁任务列表，所述屏幕闪烁任务列表表征如何在两个N×N二维RC范式界面屏幕中显示；
步骤D、所述屏幕闪烁任务列表包括行列表和列列表，行列表的闪烁会显示在第一个所述N×N二维RC范式界面屏幕中，而列列表的闪烁则会发送到第二个所述N×N二维RC范式界面屏幕中显示；如果当前任务在闪烁的行列表中，则将数据打上标签Label＝1；如果当前任务在闪烁的列列表中，则将数据打上标签Label＝2；如果当前任务同时在闪烁的行列表和闪烁的列列表中，将数据打上标签Label＝3；
步骤E、对数据和标签进行处理从而得到结果，这个结果将同时显示在第一个所述N×N二维RC范式界面屏幕和第二个所述N×N二维RC范式界面屏幕中；
步骤F、主进程确定是否所有任务都已完成，如果没有完成，则返回步骤B进行循环。
2.根据权利要求1所述的一种两人协同的P300-BCI目标决策系统，其特征在于，所述备选任务包括0-9和a-z的36个备选任务。
3.根据权利要求1所述的一种两人协同的P300-BCI目标决策系统，其特征在于，两个所述N×N二维RC范式界面屏幕均显示经典BCI Speller的RC范式界面。
4.一种应用权利要求1至3中任意一项所述的一种两人协同的P300-BCI目标决策系统的两人协同的P300-BCI目标决策方法，其特征在于，包括以下步骤：
步骤S1、两人协同的P300-BCI目标决策准备工作：两名被试者佩戴电极，在N×N二维RC范式界面屏幕前对备选任务进行识别，获取分类器参数；
步骤S2、获取待识别任务，获取任务列表：根据备选任务及需要决策的内容，生成待识别任务，待识别任务组成任务列表；
步骤S3、两人脑机接口协同决策：两名被试者佩戴电极，待识别任务显示在各自的N×N二维RC范式界面屏幕中，两名被试者根据待识别任务提示注视目标字符，分别获取两名被试者识别出的行坐标或列坐标，获得决策结果的行坐标与列坐标。
5.根据权利要求4所述的两人协同的P300-BCI目标决策方法，其特征在于，所述步骤S1具体包括如下步骤：
步骤S11、所述两名被试者佩戴电极，在各自N×N二维RC范式界面屏幕前准备开始脑机接口识别工作，N×N二维RC范式界面屏幕显示内容均为经典的BCI Speller的RC范式界面；
步骤S12、获取分类器参数：被试者需提前熟悉实验内容与流程，训练内容同正式实验内容步骤相同，两名被试者根据备选任务提示注视目标字符，并将采集的数据用于训练分类器参数，从而得出分类器的参数。
6.根据权利要求4所述的两人协同的P300-BCI目标决策方法，其特征在于，所述步骤S3中，待识别任务显示在各自的N×N二维RC范式界面屏幕中具体为：按照伪随机码的顺序依次在各自的N×N二维RC范式界面屏幕中心呈十字闪烁，各闪烁的时间间隔为240ms，其中刺激时间与刺激间隔各120ms，每次决策过程由4个trials组成，将N×N二维RC范式界面屏幕显示内容均闪烁一次，每次决策后，刺激暂停2s以显示识别结果，并提示下一个待识别任务。
7.根据权利要求4所述的两人协同的P300-BCI目标决策方法，其特征在于，所述步骤S1及步骤S3中佩戴电极具体为：被试者头戴32通道主动电极，信号通过放大器放大得到，共配置11个信号采集电极，一号被试者选择1-5通道主动电极，二号被试者选择6-10通道主动电极，11通道主动电极作为参考电极接于脑电信号幅值较小的被试者右侧耳后。
CN202011453678.7A 2020-12-11 2020-12-11 一种两人协同的p300-bci目标决策系统及方法 Active CN112433617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011453678.7A CN112433617B (zh) 2020-12-11 2020-12-11 一种两人协同的p300-bci目标决策系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011453678.7A CN112433617B (zh) 2020-12-11 2020-12-11 一种两人协同的p300-bci目标决策系统及方法

Publications (2)

Publication Number Publication Date
CN112433617A CN112433617A (zh) 2021-03-02
CN112433617B true CN112433617B (zh) 2022-06-14

Family

ID=74691091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011453678.7A Active CN112433617B (zh) 2020-12-11 2020-12-11 一种两人协同的p300-bci目标决策系统及方法

Country Status (1)

Country Link
CN (1) CN112433617B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115421597B (zh) * 2022-11-04 2023-01-13 清华大学 一种基于双脑耦合特征的脑机接口控制方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102200833A (zh) * 2011-05-13 2011-09-28 天津大学 一种Speller BCI系统及其控制方法
CN109521873A (zh) * 2018-10-26 2019-03-26 蓝色传感（北京）科技有限公司 基于协作式脑机接口控制系统及信号协作方法
CN111046369A (zh) * 2020-03-13 2020-04-21 南京邮电大学 基于双脑脑机接口系统的在线身份认证方法
CN111930238A (zh) * 2020-08-27 2020-11-13 北京理工大学 基于动态ssvep范式的脑机接口系统实现方法及装置
CN111984123A (zh) * 2020-08-19 2020-11-24 北京鲸世科技有限公司 脑电数据交互方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9031293B2 (en) * 2012-10-19 2015-05-12 Sony Computer Entertainment Inc. Multi-modal sensor based emotion recognition and emotional interface

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102200833A (zh) * 2011-05-13 2011-09-28 天津大学 一种Speller BCI系统及其控制方法
CN109521873A (zh) * 2018-10-26 2019-03-26 蓝色传感（北京）科技有限公司 基于协作式脑机接口控制系统及信号协作方法
CN111046369A (zh) * 2020-03-13 2020-04-21 南京邮电大学 基于双脑脑机接口系统的在线身份认证方法
CN111984123A (zh) * 2020-08-19 2020-11-24 北京鲸世科技有限公司 脑电数据交互方法及装置
CN111930238A (zh) * 2020-08-27 2020-11-13 北京理工大学 基于动态ssvep范式的脑机接口系统实现方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于EEG信号的情绪识别研究;仝来源;《中国优秀硕士学位论文全文数据库（电子期刊）》;20190615(第6期);I140-57 *

Also Published As

Publication number Publication date
CN112433617A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
Kiefer et al. Tracking the time course of action priming on object recognition: evidence for fast and slow influences of action on perception
CN101515199A (zh) 一种基于视线跟踪和p300脑电电位的字符输入装置
Fazel-Rezai Human error in P300 speller paradigm for brain-computer interface
Burra et al. Electrophysiological evidence for attentional capture by irrelevant angry facial expressions
Groen et al. The time course of natural scene perception with reduced attention
CN111930238B (zh) 基于动态ssvep范式的脑机接口系统实现方法及装置
CN110262658B (zh) 一种基于强化注意的脑机接口字符输入系统及实现方法
CN112732082A (zh) 基于附加汉字默读运动想象方式的脑-机接口方法
WO2023082972A1 (zh) 一种基于柔性电极探针的视觉增强方法、装置及系统
CN112433617B (zh) 一种两人协同的p300-bci目标决策系统及方法
CN112162634A (zh) 一种基于seeg信号的数字输入脑机接口系统
Gavett et al. Reducing human error in P300 speller paradigm for brain-computer interface
KR101768106B1 (ko) 뇌-컴퓨터 인터페이스 기반 문자 입력 장치 및 방법
CN101339413B (zh) 基于脑电中人脸识别特异性波的开关控制方法
Shishkin et al. N1 wave in the P300 BCI is not sensitive to the physical characteristics of stimuli
Edlinger et al. Goal-oriented control with brain-computer interface
Petrova et al. Cultural influences on oculomotor inhibition of remote distractors: Evidence from saccade trajectories
CN109308118A (zh) 基于eog的中文眼写信号识别系统及其识别方法
CN112462947A (zh) 多人脑机接口投票决策系统及方法
CN112826509A (zh) 视觉注意力水平识别方法
Zhang et al. The multiple phonological activation in Chinese spoken word production: An ERP study in a word translation task
CN111967333B (zh) 一种信号生成方法、系统、存储介质及脑机接口拼写器
CN114063773A (zh) 基于卷积神经网络和脑电大数据的跨个体脑机接口系统
Bi et al. A SSVEP brain-computer interface with the hybrid stimuli of SSVEP and P300
Dal Seno et al. On-line detection of p300 and error potentials in a BCI speller

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant