CN111967333A - 一种信号生成方法、系统、存储介质及脑机接口拼写器 - Google Patents
一种信号生成方法、系统、存储介质及脑机接口拼写器 Download PDFInfo
- Publication number
- CN111967333A CN111967333A CN202010699860.4A CN202010699860A CN111967333A CN 111967333 A CN111967333 A CN 111967333A CN 202010699860 A CN202010699860 A CN 202010699860A CN 111967333 A CN111967333 A CN 111967333A
- Authority
- CN
- China
- Prior art keywords
- signal
- recognition result
- potential signal
- error event
- generate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 title description 26
- 230000000007 visual effect Effects 0.000 claims abstract description 61
- 230000004927 fusion Effects 0.000 claims abstract description 59
- 230000000763 evoking effect Effects 0.000 claims abstract description 35
- 238000009826 distribution Methods 0.000 claims description 69
- 230000000638 stimulation Effects 0.000 claims description 66
- 210000001525 retina Anatomy 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 23
- 210000004556 brain Anatomy 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 6
- 230000002902 bimodal effect Effects 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 208000003464 asthenopia Diseases 0.000 description 4
- 230000001939 inductive effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000007177 brain activity Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000977 primary visual cortex Anatomy 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001242 postsynaptic effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种指令生成方法、系统、存储介质以及脑机接口拼写器，所述方法包括：根据接收脑电信号生成第一识别结果和第二识别结果；将所述第一识别结果和所述第二识别结果输入预先构建的信号融合判别模型进行融合判别，生成指令。因此，采用本申请实施例，本申请通过融合稳态视觉诱发电位信号和错误事件相关电位信号的方式识别用户的意图以生成指令，从而提高了脑机接口拼写器的识别精度。
Description
技术领域
本发明涉及脑机接口技术领域，特别涉及一种信号生成方法、系统、存储介质及脑机接口拼写器。
背景技术
随着相关学科的快速发展，脑-机接口的技术和理论研究已经取得了长足的进展，并已经在医疗康复、装备研发、娱乐游戏等领域有着广泛的应用前景，其重要的科学研究价值和广泛的应用前景受到国内外学者和高科技公司的广泛关注。近年来，基于稳态视觉诱发电位(Steady-state Visually Evoked Potential,SSVEP)的脑-机接口技术已经达到了较高水平，并已用于字符输入、网页浏览，以及机械臂和轮椅控制等脑控。
在当前基于SSVEP的脑机接口技术方案中，SSVEP通过施加定频闪烁的视觉刺激诱发产生。在刺激过程中，用户通过注视以某特定频率闪烁的字符模块，使其头部枕区(初级视皮层)脑电信号产生与刺激频率相对应的特征电位。系统通过对脑电信号频域成分的辨识来反推出视觉刺激的频率，进而确定用户所注视的目标位置。当用户较长时间的注视目标位置的可选命令数和刺激，从而会使用户视觉疲劳，当用户视觉疲劳时，诱发出的视觉稳态电位质量也会变差，在原有拼写器中会产生大量的错误指令，降低了脑机接口拼写器的精度和可靠性。
近年来人们在脑机接口的研究中发现了一种新的事件相关电位，错误相关电位(ErrP)。ErrP是在BCI交互过程中发生错误时所引发出的一种事件相关电位(ERP)。它被认为与大脑的错误监控系统有关，这种系统不仅会在个体犯错时被激活，当外部因素在动作监控过程中犯错误时也会被激活。
为了开发具有更高信息传输率的脑机接口拼写器，可以将ErrP与SSVEP融合起来，达到相辅相成互相增益，使打破传统基于SSVEP的脑机接口拼写器实时性能的瓶颈成为一件可能的事。达到系统舒适可靠的实用化标准，亟需发展新的脑电事件相关电位的诱发技术和新的方法。
发明内容
本申请实施例提供了一种信号生成方法、系统、存储介质及脑机接口拼写器。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本申请实施例提供了一种信号生成方法，应用于脑机接口拼写器，所述方法包括：
根据接收脑电信号生成第一识别结果和第二识别结果；
将所述第一识别结果和所述第二识别结果输入预先构建的信号融合判别模型进行融合判别，生成指令。
可选的，所述生成指令之后，还包括：
基于所述指令控制外部设备执行所述指令对应的功能。
可选的，所述根据所述脑电信号生成第一识别结果和第二识别结果，包括：
接收产生的第一脑电信号；
识别所述第一脑电信号中的稳态视觉诱发电位信号并对所述稳态视觉诱发电位信号处理后，生成第一识别结果。
可选的，所述生成第一识别结果之后，还包括：
反馈所述第一识别结果；
接收产生的第二脑电信号；
识别所述第二脑电信号中的错误事件相关电位信号并对所述错误事件相关电位信号处理后，生成第二识别结果。
可选的，所述识别所述第一脑电信号中的稳态视觉诱发电位信号并对所述稳态视觉诱发电位信号处理后，生成第一识别结果，包括：
识别所述第一脑电信号中的稳态视觉诱发电位信号；
将所述稳态视觉诱发电位信号进行降采样，生成降采样后的电位信号；
将所述降采样后的电位信号输入多频带滤波器中进行预处理，生成预处理后的电位信号；
将所述预处理后的电位信号进行特征提取后输入分类器，生成第一识别结果。
可选的，所述识别所述第二脑电信号中的错误事件相关电位信号并对所述错误事件相关电位信号处理后，生成第二识别结果，包括：
识别所述第二脑电信号中的错误事件相关电位信号；
将所述错误事件相关电位信号进行降采样，生成降采样后的错误事件相关电位信号；
将所述降采样后的错误事件相关电位信号输入多频带滤波器中进行预处理，生成预处理后的错误事件相关电位信号；
将所述预处理后的错误事件相关电位信号进行特征提取后输入分类器，生成第二识别结果。
可选的，所述根据接收脑电信号生成第一识别结果和第二识别结果之前，还包括：
实时计算视网膜接受的刺激强度；
基于所述刺激强度生成视觉刺激信号发送至视网膜。
可选的，所述将所述第一识别结果和所述第二识别结果输入预先构建的信号融合判别模型进行融合判别，生成指令，包括：
获取第一识别结果的概率分布对应的峰值分布；
获取第二识别结果的错误事件相关电位信号的得分；
通过预先构建的信号融合判别模型判断所述概率分布对应的峰值分布以及所述错误事件相关电位信号的得分，生成指令。
可选的，所述通过预先构建的信号融合判别模型判断所述概率分布对应的峰值分布以及所述错误事件相关电位信号的得分，生成指令，包括：
当所述概率分布对应的峰值为单峰分布且所述错误事件相关电位信号的得分为第一预设值时，输出所述第一识别结果的概率分布中最大概率值的指令。
可选的，所述通过预先构建的信号融合判别模型判断所述概率分布对应的峰值分布以及所述错误事件相关电位信号的得分，生成指令，包括：
当所述概率分布对应的峰值为双峰分布且所述错误事件相关电位信号的得分为第二预设值时，输出所述第一识别结果的概率分布中第二概率值的指令。
可选的，所述通过预先构建的信号融合判别模型判断所述概率分布对应的峰值分布以及所述错误事件相关电位信号的得分，生成指令，包括：
当所述概率分布对应的峰值为多峰分布且所述错误事件相关电位信号的得分为第三预设值时，阻断指令输出；其中，
所述第一预设值小于所述第二预设值且小于所述第三预设值，所述第三预设值大于等于所述第二预设值，所述第二概率值小于所述最大概率值。
第二方面，本申请实施例提供了一种信号生成系统，所述系统包括：
识别结果生成模块，用于根据接收脑电信号生成第一识别结果和第二识别结果；
指令生成模块，用于将所述第一识别结果和所述第二识别结果输入预先构建的信号融合判别模型进行融合判别，生成指令。
第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种脑机接口拼写器，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，脑机接口拼写器首先实时计算用户的视网膜接受的刺激强度，再基于刺激强度生成视觉刺激信号发送至用户的视网膜进行刺激，然后根据接收来自用户的脑电信号生成第一识别结果和第二识别结果，再将第一识别结果和所述第二识别结果输入预先构建的信号融合判别模型进行融合判别，生成指令，最后基于指令控制外部设备执行指令对应的相关功能。本申请通过融合稳态视觉诱发电位信合和错误事件相关电位信合的方式识别用户的意图以生成指令，从而提高了脑机接口拼写器的识别精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本申请实施例提供的一种信号生成方法的场景示意图；
图2是本申请实施例提供的一种信号生成方法的流程示意图；
图3是本申请实施例提供的一种信号生成方法的配置示意图；
图4是本申请实施例提供的另一种信号生成方法的流程示意图；
图5是本申请实施例提供的一种信号生成过程的过程示意图；
图6是本申请实施例提供的一种信号生成系统的系统示意图；
图7是本申请实施例提供的一种脑机接口拼写器的结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的系统和方法的例子。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
到目前为止，在当前基于SSVEP的脑机接口技术方案中，SSVEP通过施加定频闪烁的视觉刺激诱发产生。在刺激过程中，用户通过注视以某特定频率闪烁的字符模块，使其头部枕区(初级视皮层)脑电信号产生与刺激频率相对应的特征电位。系统通过对脑电信号频域成分的辨识来反推出视觉刺激的频率，进而确定用户所注视的目标位置。当用户较长时间的注视目标位置的可选命令数和刺激，从而会使用户视觉疲劳，当用户视觉疲劳时，导致脑机交互出现误差，从而降低了脑机接口拼写器的识别精度。为此，本申请提供了一种信号生成方法、系统、存储介质及脑机接口拼写器，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，由于本申请通过融合稳态视觉诱发电位信合和错误事件相关电位信合的方式识别用户的意图以生成指令，从而提高了脑机接口拼写器的识别精度。下面采用示例性的实施例进行详细说明。
请参见图1，图1是本申请实施例提供的一种应用于脑机接口拼写器的指令生成的场景示意图，该场景示意图由SSVEP诱发模块01、刺激/反馈呈现模块02、用户03、SSVEP识别模块04、ErrP识别模块05、SSVEP与ErrP信号的融合判别模块06以及外部设备组成07。
脑机接口拼写器首先通过SSVEP诱发模块01精确的计算出每个时刻视网膜需要接受的刺激强度，将刺激界面每一帧需要呈现的内容计算完毕后发送给刺激/反馈呈现模块02进行渲染，最后将渲染后的图像通过视觉信号真实地呈现在用户03的视网膜上。
当用户03接受到SSVEP刺激后，被动地产生了相应的EEG(脑电信号)信号，这一段EEG信号被SSVEP识别04模块捕获，在这个模块内，这段EEG信号依次经过降采样、预处理、特征提取、分类器，最后得到一个识别结果，该识别结果被发送到在刺激/反馈呈现模块02中进行反馈呈现，被用户观察到。用户的心理预期与观察到的反馈结果会形成一个对比，如果反馈结果与预期不同，则会在大脑中产生一个ErrP信号，这个电位存在的峰值在300ms～400ms，所以ErrP识别模块05会捕获用户03接受到反馈后的0.5s内的EEG信号进行判别。该判别结果会与SSVEP识别模块04的识别结果一起被发送到SSVEP与ErrP信号融合判别模块06进行融合判别，最后生成指令发送至外部设备07，控制外部设备07进行工作。
进一步地，SSVEP诱发模块可选的一种实现方式可以是一组具有不同频率和不同相位的正弦函数波形。
刺激/反馈呈现模块可选的一种实现方式是普通家用笔记本。如果为了提高便携性也可考虑轻便型虚拟现实设备。
SSVEP识别模块可选的一种实现方式是TRCA算法。这是近年来应用广泛的SSVEP信号分类算法。
ErrP信号识别模块可选一种实现方式为：CSP特征提取算法与LDA分类器的组合而构成的分类器。
在本申请实施例中，脑机接口拼写器首先实时计算用户的视网膜接受的刺激强度，再基于刺激强度生成视觉刺激信号发送至用户的视网膜进行刺激，然后根据接收来自用户的脑电信号生成第一识别结果和第二识别结果，再将第一识别结果和所述第二识别结果输入预先构建的信号融合判别模型进行融合判别，生成指令，最后基于指令控制外部设备执行指令对应的相关功能。本申请通过融合稳态视觉诱发电位信合和错误事件相关电位信合的方式识别用户的意图以生成指令，从而提高了脑机接口拼写器的识别精度。
下面将结合附图2-附图5，对本申请实施例提供的信号生成方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的信号生成系统上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。其中，本申请实施例中的信号生成系统为应用于脑机接口拼写器。
请参见图2，为本申请实施例提供了一种信号生成方法的流程示意图。如图1所示，本申请实施例的所述方法可以包括以下步骤：
S101，根据接收脑电信号生成第一识别结果和第二识别结果；
其中，脑电信号(即脑电波)是一种使用电生理指标记录大脑活动的方法，大脑在活动时，大量神经元同步发生的突触后电位经总和后形成的。它记录大脑活动时的电波变化，是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映。第一识别结果是通过稳态视觉诱发电位(Steady-state Visually Evoked Potential,SSVEP)技术获取SSVEP信号进行处理后得到的识别结果，第二识别结果是通过错误事件相关电位(ErrP)技术获取ErrP信号进行处理后得到的识别结果。
通常，在接收脑电信号之前，脑机接口拼写器首先实时计算用户视网膜接受的刺激强度，再根据刺激强度生成用户接受的视觉刺激诱发出SSVEP信号，以及进一步地获取到ErrP信号。
在一种可能的实现方式中，脑机接口拼写器首先计算出用户视网膜接收的视觉刺激强度并根据接受的视觉刺激发送不同频率和不同相位的正弦函数波形的视觉刺激的光信号至刺激界面中相应的区域上，用户选择注释相应的区域，这时在用户的枕区就会诱发出具有相应频率和相位信息的视觉稳态电位，脑机接口拼写器接收用户产生的脑电信号并识别脑电信号中的SSVEP信号，再将SSVEP信号依次进行降采样、预处理、特征提取以及分类器分类，分类结束后生成一个识别结果。
脑机接口拼写器将该识别结果反馈呈现给用户，被用户观察到，用户观察到后，用户的心理预期与观察到的反馈结果会形成一个对比，如果反馈结果与预期不同，则会在大脑中产生一个ErrP信号，这个电位存在的峰值在300ms～400ms，脑机接口拼写器二次接收脑电信号并识别脑电信号中的ErrP信号，再将ErrP信号依次进行降采样、预处理、特征提取以及分类器分类，分类，最后生成另外一个识别结果。
进一步地，在将SSVEP信号和ErrP信号进行降采样、预处理、特征提取以及分类器分类时，具体包括：
在SSVEP信号进行降采样、预处理、特征提取以及分类器分类时，首先识别第一脑电信号中的稳态视觉诱发电位信号，然后将稳态视觉诱发电位信号进行降采样，生成降采样后的电位信号，再将降采样后的电位信号输入多频带滤波器中进行预处理，生成预处理后的电位信号，最后将预处理后的电位信号进行特征提取后输入分类器，生成第一识别结果。
在ErrP信号进行降采样、预处理、特征提取以及分类器分类时，首先识别第二脑电信号中的错误事件相关电位信号，再将错误事件相关电位信号进行降采样，生成降采样后的错误事件相关电位信号，然后将降采样后的错误事件相关电位信号输入多频带滤波器中进行预处理，生成预处理后的错误事件相关电位信号，最后将预处理后的错误事件相关电位信号进行特征提取后输入分类器，生成第二识别结果。
S102，将所述第一识别结果和所述第二识别结果输入预先构建的信号融合判别模型进行融合判别，生成指令。
其中，信号融合判别模型是一种根据神经网络算法创建的数学模型，该数学模型可根据输入的SSVEP信号识别结果和ErrP信号识别结果生成指令。该模型的输入为通过识别SSVEP信号得出的结果和识别ErrP信号得出的结果，输出为概率最大的指令、概率次大的指令或者放弃指令输出。
在一种可能的实现方式中，将第一识别结果和第二识别结果输入预先构建的信号融合判别模型中，在模型创建时，利用卷积神经网络或循环神经网络创建融合判别模型，模型创建时具体使用的神经网络可根据实际情况而定，此处不做限定。在将识别结果输入模型中时，再获取第一识别结果的概率分布对应的峰值分布，然后获取第二识别结果的错误事件相关电位信号的得分，再通过预先构建的信号融合判别模型判断概率分布对应的峰值分布以及错误事件相关电位信号的得分，生成信号，最后将该信号发送至外部设备，控制外部设备进行工作。
例如图3所示，图3是本申请实施例提供的一种应用于脑机接口拼写器的指令生成方法的配置示意图，该配置示意图由3个回合组成，每个回合都有不同的职能。第一个回合和第二个回合是为了采集足够数量的训练数据而配置。第三个回合是真正的应用阶段。下面分别这3个回合更加详细的介绍。
需要说明的是，以下3个回合的描述只是可选的一种实现，其中的具体参数可根据实际场景进行改变，此处不做限定。
回合1，分为三个组，每个组的内容是相同的，他们每个组之间有1分钟的休息时间。每个组包含40×2＝80个试次，一共40个目标，每个目标进行2个试次。每个试次由1秒提示，2秒ssvep视觉刺激，1秒反馈，1秒休息构成。所以，一个试次需要5秒，一个组需要5×80＝400秒，回合1需要大约20分钟。在回合1中的反馈可以选择为全部正确反馈，也可以根据实验需要配置为以一定几率出现错误的反馈。回合1主要为后续应用提供了ssvep训练数据的支持，用以训练ssvep分类器，以构成ssvep识别模块。
回合2是为了构建诱发ErrP信号识别模块和SSVEP与ErrP信号融合判别模块而进行设置的，具体配置与回合1大体相同，唯一不同的地方在于反馈的来源。在回合2中的所有反馈都来自于由回合1所获数据训练构成的ssvep识别模块。在回合1的离线分析中，可以选择适当的参数降低去分类准确率，以期在回合2中产生足够多且适量的ErrP信号。收集反馈被呈现在刺激界面后的0.5秒EEG信号，用以支撑ErrP识别模块和的SSVEP与ErrP信号融合判别模块训练数据。构建SSVEP与ErrP信号融合判别模块是本发明的关键，现对其中一种实现方式进行描述。在构建ErrP识别模块的过程中，使用“留1法”进行交叉验证，会对每一个可能含有ErrP成分的样本进行打分，该打分表示这个样本含有ErrP成分的可信度。为方便描述，使用ei∈(0,1),i＝1,2,…,Ne表示。在构建SSVEP识别模块的过程中，同样使用“留1法”对每一个样本会产生一个概率分布，将其按递减排序，构成一个向量Si＝(p1,p1,…,pj,…,pstu),i＝1,2,…,Ns，pj表示第i个样本的标签是j的概率。并构成一个映射f∶(0,1)→{1,2,…,j,…,stu},记录概率pj排序前的索引。Si表示第i个样本的标签是f(pj)的概率是pj。可选的融合方式可以是简单向量拼接，如Mi＝(Si,ei)。如此构成了融合后的特征。
回合3是应用阶段。区别于传统脑机接口拼写器系统，本申请实施例在指令发出之前添加了一个预反馈环节，以实现自动纠错机制。传统脑机接口拼写器也有类似的纠错机制，但是他们大多数都是对分类器加以一个阈值作为可靠性评估。本发明区别于传统脑机接口的纠错机制，利用了人脑对认识到错误而诱发产生的事件相关电位来评价风险，提高了可靠性和稳定性。
在本申请实施例中，脑机接口拼写器首先实时计算用户的视网膜接受的刺激强度，再基于刺激强度生成视觉刺激信号发送至用户的视网膜进行刺激，然后根据接收来自用户的脑电信号生成第一识别结果和第二识别结果，再将第一识别结果和所述第二识别结果输入预先构建的信号融合判别模型进行融合判别，生成指令，最后基于指令控制外部设备执行指令对应的相关功能。由于本申请通过融合稳态视觉诱发电位信合和错误事件相关电位信合的方式识别用户的意图以生成指令，从而提高了脑机接口拼写器的识别精度。
请参见图4，为本申请实施例提供的一种信号生成方法的流程示意图。本实施例以信号生成方法应用于脑机接口拼写器来举例说明。该信号生成方法可以包括以下步骤：
S201，实时计算视网膜接受的刺激强度；
其中，视网膜是用户视网膜，刺激强度为脑机接口拼写器通过改变光信号强度识别出用户可承受光强范围。
在一种可能的实现方式中，脑机接口拼写器使用图1中的SSVEP诱发模块实时计算视网膜接受的刺激强度。
S202，基于所述刺激强度生成视觉刺激信号发送至视网膜；
在一种可能的实现方式中，视觉刺激是SSVEP诱发模块将刺激界面每一帧需要呈现的内容计算完毕，然后发送给刺激/反馈模块02，刺激/反馈模块02接收到刺激界面时发送至用户03的视网膜进行刺激。
S203，接收产生的第一脑电信号；
在一种可能的实现方式中，当刺激模块02对用户03的视网膜进行刺激后，接收用户产生的脑电信号。
S204，识别所述第一脑电信号中的稳态视觉诱发电位信号并对所述稳态视觉诱发电位信号处理后，生成第一识别结果；
其中，第一识别结果为基于SSVEP信号识别并处理得到的结果。
在一种可能的实现方式中，识别接收的脑电信号中SSVEP信号，并对SSVEP信号依次进行依次经过降采样、预处理、特征提取以及分类，最后得到一个识别结果。
S205，反馈所述第一识别结果；
在一种可能的实现方式中，将基于SSVEP信号识别并处理得到的结果发送至反馈呈现模块中，呈现给用户被用户观察到。用户的心理预期与观察到的反馈结果会形成一个对比，如果反馈结果与预期不同，则会在大脑中产生一个ErrP信号。
S206，接收产生的第二脑电信号；
在一种可能的实现方式中，反馈后接受产生的ErrP信号。
S207，识别所述第二脑电信号中的错误事件相关电位信号并对所述错误事件相关电位信号处理后，生成第二识别结果；
在一种可能的实现方式中，识别接收的脑电信号中ErrP信号，并对ErrP信号依次进行依次经过降采样、预处理、特征提取以及分类，最后得到一个识别结果。信号的具体处理过程具体可参见步骤S101，此处不再赘述。
S208，获取第一识别结果的概率分布对应的峰值分布；
S209，获取第二识别结果的错误事件相关电位信号的得分；
S210，通过预先构建的信号融合判别模型判断所述概率分布对应的峰值分布以及所述错误事件相关电位信号的得分，生成指令。
在一种可能的实现方式中，通过预先构建的信号融合判别模型判断概率分布对应的峰值分布以及错误事件相关电位信号的得分，当概率分布对应的峰值为单峰分布且错误事件相关电位信号的得分为第一预设值时，输出第一识别结果的概率分布中最大概率值的指令。
在另一种可能的实现方式中，通过预先构建的信号融合判别模型判断概率分布对应的峰值分布以及错误事件相关电位信号的得分，当概率分布对应的峰值为双峰分布且错误事件相关电位信号的得分为第二预设值时，输出第一识别结果的概率分布中第二概率值的指令。
在另一种可能的实现方式中，通过预先构建的信号融合判别模型判断概率分布对应的峰值分布以及错误事件相关电位信号的得分，当概率分布对应的峰值为多峰分布且错误事件相关电位信号的得分为第三预设值时，阻断指令输出；其中，第一预设值小于第二预设值且小于第三预设值，第三预设值大于等于第二预设值，第二概率值小于最大概率值。
例如图5所示，在开始时，用户首先接受SSVEP刺激，再获取来自用户的脑电信号，再将脑电信号送入SSVEP识别模块中进行识别，SSVEP识别模块得出分类结果后，先把识别结果发送到反馈模块呈现给用户，这样用户就能利用当前识别的结果与心理预期的结果形成对比，诱发出错误相关电位。将这段可能含有ErrP的EEG送入ErrP识别模块加以判断可以得到一个当前指令错误的可信度。最后将SSVEP识别模块得出的分类概率分布与ErrP识别模块当前指令错误的可信度融合为一个新的特征，将这个新的特征送入SSVEP与ErrP信号的融合判别模块进行最后的风险判别。如果风险很低，则输出当前的结果，如果风险比较高，则执行备选操作。备选操作可是放弃当前输出或输出当前第二可信的指令，当按照指令控制设备完成功能后，返回到开始阶段继续执行。例如1)SSVEP分布为单峰分布且ErrP得分很低，这时输出ssvep分布中概率最大的指令，2)SSVEP分布为差值很低双峰且ErrP得分很高，这时输出ssvep概率第二大的指令。3)SSVEP分布为多峰且ErrP得分很高，这时放弃本次的输出。
在本申请实施例中，脑机接口拼写器首先实时计算用户的视网膜接受的刺激强度，再基于刺激强度生成视觉刺激信号发送至用户的视网膜进行刺激，然后根据接收来自用户的脑电信号生成第一识别结果和第二识别结果，再将第一识别结果和所述第二识别结果输入预先构建的信号融合判别模型进行融合判别，生成指令，最后基于指令控制外部设备执行指令对应的相关功能。由于本申请通过融合稳态视觉诱发电位信合和错误事件相关电位信合的方式识别用户的意图以生成指令，从而提高了脑机接口拼写器的识别精度。
下述为本发明系统实施例，可以用于执行本发明方法实施例。对于本发明系统实施例中未披露的细节，请参照本发明方法实施例。
请参见图6，其示出了本发明一个示例性实施例提供的信号生成系统的结构示意图。该信号生成系统可以通过软件、硬件或者两者的结合实现成为脑机接口拼写器的全部或一部分。该系统1包括识别结果生成模块10、指令生成模块20。
识别结果生成模块10，用于根据接收脑电信号生成第一识别结果和第二识别结果；
指令生成模块20，用于将所述第一识别结果和所述第二识别结果输入预先构建的信号融合判别模型进行融合判别，生成指令。
需要说明的是，上述实施例提供的信号生成系统在执行信号生成方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的信号生成系统与信号生成方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，脑机接口拼写器首先实时计算用户的视网膜接受的刺激强度，再基于刺激强度生成视觉刺激信号发送至用户的视网膜进行刺激，然后根据接收来自用户的脑电信号生成第一识别结果和第二识别结果，再将第一识别结果和所述第二识别结果输入预先构建的信号融合判别模型进行融合判别，生成指令，最后基于指令控制外部设备执行指令对应的相关功能。由于本申请通过融合稳态视觉诱发电位信合和错误事件相关电位信合的方式识别用户的意图以生成指令，从而提高了脑机接口拼写器的识别精度。
本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的信号生成方法。
本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例所述的信号生成方法。
请参见图7，为本申请实施例提供了一种脑机接口拼写器的结构示意图。如图7所示，所述脑机接口拼写器1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏(Display)，可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储系统。如图7所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及信号生成应用程序。
在图7所示的脑机接口拼写器1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的信号生成应用程序，并具体执行以下操作：
根据接收脑电信号生成第一识别结果和第二识别结果；
将所述第一识别结果和所述第二识别结果输入预先构建的信号融合判别模型进行融合判别，生成指令。
在一个实施例中，所述处理器1001在执行所述生成指令之后时，还执行以下操作：
基于所述指令控制外部设备执行所述指令对应的功能。
在一个实施例中，所述处理器1001在执行根据所述脑电信号生成第一识别结果和第二识别结果时，具体执行以下操作：
接收产生的第一脑电信号；
识别所述第一脑电信号中的稳态视觉诱发电位信号并对所述稳态视觉诱发电位信号处理后，生成第一识别结果。
在一个实施例中，所述处理器1001在执行生成第一识别结果之后时，具体执行以下操作：
反馈所述第一识别结果；
接收产生的第二脑电信号；
识别所述第二脑电信号中的错误事件相关电位信号并对所述错误事件相关电位信号处理后，生成第二识别结果。
在一个实施例中，所述处理器1001在执行所述识别所述第一脑电信号中的稳态视觉诱发电位信号并对所述稳态视觉诱发电位信号处理后，生成第一识别结果时，具体执行以下操作：
识别所述第一脑电信号中的稳态视觉诱发电位信号；
将所述稳态视觉诱发电位信号进行降采样，生成降采样后的电位信号；
将所述降采样后的电位信号输入多频带滤波器中进行预处理，生成预处理后的电位信号；
将所述预处理后的电位信号进行特征提取后输入分类器，生成第一识别结果。
在一个实施例中，所述处理器1001在执行所述识别所述第二脑电信号中的错误事件相关电位信号并对所述错误事件相关电位信号处理后，生成第二识别结果时，具体执行以下操作：
识别所述第二脑电信号中的错误事件相关电位信号；
将所述错误事件相关电位信号进行降采样，生成降采样后的错误事件相关电位信号；
将所述降采样后的错误事件相关电位信号输入多频带滤波器中进行预处理，生成预处理后的错误事件相关电位信号；
将所述预处理后的错误事件相关电位信号进行特征提取后输入分类器，生成第二识别结果。
在一个实施例中，所述处理器1001在执行所述根据接收脑电信号生成第一识别结果和第二识别结果之前时，还执行以下操作：
实时计算视网膜接受的刺激强度；
基于所述刺激强度生成视觉刺激信号发送至视网膜。
在一个实施例中，所述处理器1001在执行所述将所述第一识别结果和所述第二识别结果输入预先构建的信号融合判别模型进行融合判别，生成指令，具体执行以下操作：
获取第一识别结果的概率分布对应的峰值分布；
获取第二识别结果的错误事件相关电位信号的得分；
通过预先构建的信号融合判别模型判断所述概率分布对应的峰值分布以及所述错误事件相关电位信号的得分，生成指令。
在本申请实施例中，脑机接口拼写器首先实时计算用户的视网膜接受的刺激强度，再基于刺激强度生成视觉刺激信号发送至用户的视网膜进行刺激，然后根据接收来自用户的脑电信号生成第一识别结果和第二识别结果，再将第一识别结果和所述第二识别结果输入预先构建的信号融合判别模型进行融合判别，生成指令，最后基于指令控制外部设备执行指令对应的相关功能。由于本申请通过融合稳态视觉诱发电位信合和错误事件相关电位信合的方式识别用户的意图以生成指令，从而提高了脑机接口拼写器的识别精度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (14)
1.一种指令生成方法，应用于脑机接口拼写器，其特征在于，所述方法包括：
根据接收脑电信号生成第一识别结果和第二识别结果；
将所述第一识别结果和所述第二识别结果输入预先构建的信号融合判别模型进行融合判别，生成指令。
2.根据权利要求1所述的方法，其特征在于，所述生成指令之后，还包括：
基于所述指令控制外部设备执行所述指令对应的功能。
3.根据权利要求1所述的方法，其特征在于，所述根据所述脑电信号生成第一识别结果和第二识别结果，包括：
接收产生的第一脑电信号；
识别所述第一脑电信号中的稳态视觉诱发电位信号并对所述稳态视觉诱发电位信号处理后，生成第一识别结果。
4.根据权利要求3所述的方法，其特征在于，所述生成第一识别结果之后，还包括：
反馈所述第一识别结果；
接收产生的第二脑电信号；
识别所述第二脑电信号中的错误事件相关电位信号并对所述错误事件相关电位信号处理后，生成第二识别结果。
5.根据权利要求3所述的方法，其特征在于，所述识别所述第一脑电信号中的稳态视觉诱发电位信号并对所述稳态视觉诱发电位信号处理后，生成第一识别结果，包括：
识别所述第一脑电信号中的稳态视觉诱发电位信号；
将所述稳态视觉诱发电位信号进行降采样，生成降采样后的电位信号；
将所述降采样后的电位信号输入多频带滤波器中进行预处理，生成预处理后的电位信号；
将所述预处理后的电位信号进行特征提取后输入分类器，生成第一识别结果。
6.根据权利要求4所述的方法，其特征在于，所述识别所述第二脑电信号中的错误事件相关电位信号并对所述错误事件相关电位信号处理后，生成第二识别结果，包括：
识别所述第二脑电信号中的错误事件相关电位信号；
将所述错误事件相关电位信号进行降采样，生成降采样后的错误事件相关电位信号；
将所述降采样后的错误事件相关电位信号输入多频带滤波器中进行预处理，生成预处理后的错误事件相关电位信号；
将所述预处理后的错误事件相关电位信号进行特征提取后输入分类器，生成第二识别结果。
7.根据权利要求1所述的方法，其特征在于，所述根据接收脑电信号生成第一识别结果和第二识别结果之前，还包括：
实时计算视网膜接受的刺激强度；
基于所述刺激强度生成视觉刺激信号发送至视网膜。
8.根据权利要求1所述的方法，其特征在于，所述将所述第一识别结果和所述第二识别结果输入预先构建的信号融合判别模型进行融合判别，生成指令，包括：
获取第一识别结果的概率分布对应的峰值分布；
获取第二识别结果的错误事件相关电位信号的得分；
通过预先构建的信号融合判别模型判断所述概率分布对应的峰值分布以及所述错误事件相关电位信号的得分，生成指令。
9.根据权利要求8所述的方法，其特征在于，所述通过预先构建的信号融合判别模型判断所述概率分布对应的峰值分布以及所述错误事件相关电位信号的得分，生成指令，包括：
当所述概率分布对应的峰值为单峰分布且所述错误事件相关电位信号的得分为第一预设值时，输出所述第一识别结果的概率分布中最大概率值的指令。
10.根据权利要求8所述的方法，其特征在于，所述通过预先构建的信号融合判别模型判断所述概率分布对应的峰值分布以及所述错误事件相关电位信号的得分，生成指令，包括：
当所述概率分布对应的峰值为双峰分布且所述错误事件相关电位信号的得分为第二预设值时，输出所述第一识别结果的概率分布中第二概率值的指令。
11.根据权利要求8所述的方法，其特征在于，所述通过预先构建的信号融合判别模型判断所述概率分布对应的峰值分布以及所述错误事件相关电位信号的得分，生成指令，包括：
当所述概率分布对应的峰值为多峰分布且所述错误事件相关电位信号的得分为第三预设值时，阻断指令输出；其中，
所述第一预设值小于所述第二预设值且小于所述第三预设值，所述第三预设值大于等于所述第二预设值，所述第二概率值小于所述最大概率值。
12.一种指令生成系统，其特征在于，所述系统包括：
识别结果生成模块，用于根据接收脑电信号生成第一识别结果和第二识别结果；
指令生成模块，用于将所述第一识别结果和所述第二识别结果输入预先构建的信号融合判别模型进行融合判别，生成指令。
13.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～11任意一项的方法步骤。
14.一种脑机接口拼写器，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～11任意一项的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010699860.4A CN111967333B (zh) | 2020-07-20 | 2020-07-20 | 一种信号生成方法、系统、存储介质及脑机接口拼写器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010699860.4A CN111967333B (zh) | 2020-07-20 | 2020-07-20 | 一种信号生成方法、系统、存储介质及脑机接口拼写器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111967333A true CN111967333A (zh) | 2020-11-20 |
| CN111967333B CN111967333B (zh) | 2023-04-07 |
Family
ID=73361767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010699860.4A Active CN111967333B (zh) | 2020-07-20 | 2020-07-20 | 一种信号生成方法、系统、存储介质及脑机接口拼写器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111967333B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114201041A (zh) * | 2021-11-09 | 2022-03-18 | 北京电子工程总体研究所 | 一种基于脑机接口的人机交互指挥方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103699226A (zh) * | 2013-12-18 | 2014-04-02 | 天津大学 | 一种基于多信息融合的三模态串行脑-机接口方法 |
| CN105938397A (zh) * | 2016-06-21 | 2016-09-14 | 西安交通大学 | 基于稳态运动视觉诱发电位与缺省刺激响应的混合脑-机接口方法 |
| CN109483572A (zh) * | 2018-10-15 | 2019-03-19 | 昆明理工大学 | 一种基于家庭智能服务机器人控制系统及其控制方法 |
| CN109965871A (zh) * | 2019-03-22 | 2019-07-05 | 中国科学院上海高等研究院 | 脑机接口信号的分析方法、系统、介质及设备 |
| CN110824979A (zh) * | 2019-10-15 | 2020-02-21 | 中国航天员科研训练中心 | 一种无人设备控制系统和方法 |
-
2020
- 2020-07-20 CN CN202010699860.4A patent/CN111967333B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103699226A (zh) * | 2013-12-18 | 2014-04-02 | 天津大学 | 一种基于多信息融合的三模态串行脑-机接口方法 |
| CN105938397A (zh) * | 2016-06-21 | 2016-09-14 | 西安交通大学 | 基于稳态运动视觉诱发电位与缺省刺激响应的混合脑-机接口方法 |
| CN109483572A (zh) * | 2018-10-15 | 2019-03-19 | 昆明理工大学 | 一种基于家庭智能服务机器人控制系统及其控制方法 |
| CN109965871A (zh) * | 2019-03-22 | 2019-07-05 | 中国科学院上海高等研究院 | 脑机接口信号的分析方法、系统、介质及设备 |
| CN110824979A (zh) * | 2019-10-15 | 2020-02-21 | 中国航天员科研训练中心 | 一种无人设备控制系统和方法 |
Non-Patent Citations (1)
| Title |
|---|
| FOTIS KALAGANIS 等: "An Error Aware SSVEP-based BCI", 《IEEE》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114201041A (zh) * | 2021-11-09 | 2022-03-18 | 北京电子工程总体研究所 | 一种基于脑机接口的人机交互指挥方法和装置 |
| CN114201041B (zh) * | 2021-11-09 | 2024-01-26 | 北京电子工程总体研究所 | 一种基于脑机接口的人机交互指挥方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111967333B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110169770B (zh) | 情绪脑电的细粒度可视化系统和方法 | |
| JP2019513516A (ja) | 人の視覚パフォーマンスを査定するために視覚データを入手し、集計し、解析する方法およびシステム | |
| CN101464728B (zh) | 视觉运动相关神经信号为载体的人机交互方法 | |
| CN112034977A (zh) | Mr智能眼镜内容交互、信息输入、应用推荐技术的方法 | |
| CN105105771B (zh) | 潜能值测验的认知指标分析方法 | |
| US20210401339A1 (en) | Adaptive behavioral training, and training of associated physiological responses, with assessment and diagnostic functionality | |
| CN110442244A (zh) | 一种基于脑机接口的虚拟现实游戏交互方法及系统 | |
| CN110827953A (zh) | 基于vr的认知记忆力训练评估系统、方法及存储介质 | |
| CN108379713A (zh) | 一个基于虚拟现实的交互冥想系统 | |
| CN113208593A (zh) | 基于相关性动态融合的多模态生理信号情绪分类方法 | |
| CN113362946A (zh) | 视频处理装置、电子设备及计算机可读存储介质 | |
| CN113053492B (zh) | 基于用户背景和情绪的自适应虚拟现实干预系统及方法 | |
| CN111967333B (zh) | 一种信号生成方法、系统、存储介质及脑机接口拼写器 | |
| CN108319367B (zh) | 一种基于运动起始诱发电位的脑机接口方法 | |
| CN114003048B (zh) | 多目标对象的运动控制方法、装置、终端设备及介质 | |
| CN111158471A (zh) | 一种基于眼动和脑机接口技术的人机交互方法 | |
| CN109820523A (zh) | 心理测试仪控制方法、装置及计算机可读存储介质 | |
| Zakrzewski et al. | VR-oriented EEG signal classification of motor imagery tasks | |
| CN111124124A (zh) | 一种基于眼动追踪技术的人机功效评估方法 | |
| CN114220522B (zh) | 基于视觉认知注意的心理测评数据采集与干预方法及系统 | |
| CN115036025A (zh) | 基于脑机接口的沉浸交互式评估方法及系统 | |
| CN113360876A (zh) | 基于ssvep的身份识别方法、装置、电子装置和存储介质 | |
| Tang et al. | A 3D visual stimuli based P300 brain-computer interface: for a robotic arm control | |
| CN114115534A (zh) | 一种基于房间式互动投影的关系增强系统及方法 | |
| CN115810099B (zh) | 一种用于虚拟沉浸式抑郁症治疗系统的图像融合设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |