CN111930238B - 基于动态ssvep范式的脑机接口系统实现方法及装置 - Google Patents
基于动态ssvep范式的脑机接口系统实现方法及装置 Download PDFInfo
- Publication number
- CN111930238B CN111930238B CN202010877287.1A CN202010877287A CN111930238B CN 111930238 B CN111930238 B CN 111930238B CN 202010877287 A CN202010877287 A CN 202010877287A CN 111930238 B CN111930238 B CN 111930238B
- Authority
- CN
- China
- Prior art keywords
- ssvep
- electroencephalogram
- module
- picture
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
Abstract
本发明公开基于动态SSVEP范式的脑机接口系统实现方法及装置，所述实现方法包括：获取实时画面，得到待识别的环境信息；构建并训练物体追踪模型，将环境信息输入到物体追踪模型，得到环境信息中物体的实时位置信息；根据物体的位置信息，采用不同频率的SSVEP闪烁块分别对画面中不同的物体进行标记，并根据物体的实时位置信息对SSVEP闪烁块的坐标进行更新，得到叠加有SSVEP信息的画面并呈现给待测者，采集待测者的脑电信号序列；采用FBCCA方法对脑电信号序列进行解析，根据解析结果得到待测者所注视的物体。本发明能够有效解决传统SSVEP范式控制不直观，用户交互感不高的问题，提高了脑机信号分类的准确率。
Description
技术领域
本发明涉及脑机接口技术领域，特别是涉及一种基于动态SSVEP范式的脑机接口系统实现方法及装置。
背景技术
脑机接口(Brain-Computer Interface，BCI)能够自动识别人的意图，利用的是大脑的信号，不依赖于神经系统和肌肉去控制外部设备，进而与外界交流互动。该技术广泛用于术后康复训练，重症及残障人士的护理，智能假肢以至机械设备控制等方面。与其他方法相比，SSVEP(Steady State Visual Evoked Potential，稳态视觉诱发电位)需要记录的脑电数据通道少，无需训练，还可以获得较高的识别度。然而，目前研究通常采用在一块静态背景的不同位置上输出不同频率闪烁，每一个闪烁对应一种固定频率，同时对应着某个固定的指令，如用于脑控轮椅的方向信息，用于脑控打字的字母信息等。例如，Omid Dehzangi及其团队就在黑色屏幕背景的上，下，左，右四个方向上分别施加不同频率的闪烁刺激，实现了重症病人的医护人员召唤及食物请求等不同需求。国内清华大学高上凯教授团队实现了利用SSVEP脑控打字，可以输出26个英文字母，10个数字以及部分功能按键等，在他们的研究中，字母、数字等以阵列闪烁的形式存在，使用者依次注视不同的字母，即可实现字符的输入与输出。
这些范式主要是在静态背景下输出刺激闪烁，被试无法直观地获取被脑电控制物体的实时状态，而且可能更容易导致视觉疲劳。所以近期部分研究者提出了基于增强现实的SSVEP研究。例如：Hakim Si-Mohammed及其团队的在2018年使用基于增强现实的SSVEP实现了脑电对智能车的控制，研究者们使用固定摄像机的采集图像，而非纯色背景，在增强现实背景上叠加SSVEP闪烁刺激，分别对应前进，左转，右转，并以此控制车按指定路线前进。Chenguang Yang及其团队于2018年基于物体追踪实现了增强现实背景与增强现实刺激的脑控机械臂系统，并以脑电控制机械臂直接抓取物体。然而，当前的SSVEP范式存在以下问题：1)其刺激方式为闪烁的黑白块，固定在某些位置，而实际应用中所识别的目标物体大多是动态的；2)当前SSVEP范式控制不直观，用户交互感不高。
因此，如何提供一种能够解决该问题的脑机接口系统实现方法及装置，是本领域技术人员目前亟需解决的问题。
发明内容
本发明的目的是提供一种基于动态SSVEP范式的脑机接口系统实现方法及装置，以解决现有技术中存在的技术问题，能够有效解决传统SSVEP范式控制不直观，用户交互感不高的问题，提高了脑机信号分类的准确率。
为实现上述目的，本发明提供了如下方案：本发明提供基于动态SSVEP范式的脑机接口系统实现方法，包括如下步骤：
S1、获取实时画面，得到待识别的环境信息；
S2、构建并训练物体追踪模型，将所述环境信息输入到所述物体追踪模型，得到所述环境信息中物体的实时位置信息；
S3、根据所述物体的位置信息，采用不同频率的SSVEP闪烁块分别对所述画面中不同的物体进行标记，并根据所述物体的实时位置信息对所述SSVEP闪烁块的坐标进行更新，得到叠加有SSVEP信息的画面；
S4、将叠加有SSVEP信息的画面呈现给待测者，并采集待测者的脑电信号序列；
S5、采用滤波器组典型相关分析FBCCA方法对所述脑电信号序列进行解析，根据解析结果得到待测者所注视的物体。
优选地，所述步骤S2中，通过所述物体追踪模型得到所述环境信息中物体的实时位置信息的具体方法包括：
S21、利用所述物体追踪模型实时输出第n帧画面中m个动态物体的边框，所述边框为矩形框四个顶点的坐标；
S22、分别计算m个动态物体所在区域的密度直方图；
S23、重复步骤S21、S22，计算第n+1帧画面中所有动态物体所在区域的密度直方图；
S24、将第n+1帧画面、第n帧画面中密度直方图的计算结果进行模式匹配，得到第n帧与第n+1帧画面中相同动态物体的位置；
S25、重复步骤S21～S24，得到物体的实时位置。
优选地，所述步骤S2中，所述物体追踪模型通过迁移学习方法进行训练，具体包括：
1)采集含有待追踪物体的画面，作为训练样本数据；
2)对所述训练样本数据进行样本增强，得到样本数据集，并将所述样本数据集划分为训练集、验证集；
3)通过所述训练集对所述物体追踪模型进行训练；
4)利用迁移学习的方法对所述物体追踪模型进行再训练，并对所述物体追踪模型的参数进行优化；
5)通过验证集对所述物体追踪模型的测试正确率进行验证，测试正确率大于预设阈值，则所述物体追踪模型训练完成，否则重复步骤4)。
优选地，所述步骤S5中，采用FBCCA方法对所述脑电信号序列进行解析的具体方法包括：
对于不同频率的SSVEP闪烁块，分别采集标准脑电信号序列；
基于标准脑电信号序列，通过滤波器组分析方法分别获取不同频率的SSVEP闪烁块对应的脑电模板信号；
对所述脑电模板信号和实时采集的脑电信号序列进行标准化处理，并采用CCA求解出实时采集的脑电信号序列与各脑电模板信号之间的相关系数；所述相关系数最大时，脑电模板信号对应的SSVEP闪烁块即为待测者所注视的物体。
优选地，通过滤波器组分析方法分别获取不同频率的SSVEP闪烁块对应的脑电模板信号，具体包括如下步骤：
通过若干个具有不同带通的无限脉冲响应IIR滤波器对所述标准脑电信号序列进行子带分解，得到所述标准脑电信号序列的子带分量，将所述子带分量分别进行标准典型相关分析CCA，得到所述子带分量和预设参考信号的相关值，根据所述相关值构造所述SSVEP闪烁块对应的脑电模板信号；其中，所述预设参考信号为所述SSVEP闪烁块的闪烁频率。
本发明还提供基于动态SSVEP范式的脑机接口系统实现装置，包括：获取模块、追踪模块、标注模块、脑电采集模块、脑电分析模块、屏幕；所述获取模块分别与所述追踪模块、标注模块相连，所述追踪模块与所述标注模块相连，所述标注模块与所述屏幕相连；所述脑电采集模块与所述脑电分析模块相连；
所述获取模块用于获取实时画面，根据所述实时画面得到待识别的环境信息，并将所述环境信息分别传送至所述追踪模块、标注模块；
所述追踪模块用于获取所述坏境信息中物体的实时位置信息，并将所述物体的实时位置信息发送至所述标注模块；
所述标注模块用于根据所述物体的位置信息，采用不同频率的SSVEP闪烁块分别对所述画面中不同的物体进行标记，并根据所述物体的实时位置信息对所述SSVEP闪烁块的坐标进行更新，得到叠加有SSVEP信息的画面并传送至所述屏幕；
所述屏幕用于对叠加有SSVEP信息的画面进行显示，供待测者观看；
所述脑电采集模块用于采集待测者的脑电信号序列，并将所述脑电信号序列传送至所述脑电分析模块；
所述脑电分析模块用于采用FBCCA方法对所述脑电信号序列进行解析，并根据解析结果得到待测者所注视的物体。
优选地，所述脑电采集模块通过实时读取数据流LSL协议将所述脑电信号序列送至所述脑电分析模块。
优选地，所述追踪模块还连接有训练模块，所述训练模块用于对所述物体追踪模型进行训练。
本发明公开了以下技术效果：
本发明通过摄像头获取实时画面，得到环境信息，将待标注环境信息输入到物体追踪模型，得到待识别环境信息的物体位置信息，根据物体位置信息，用相应频率的SSVEP闪烁块对物体进行标记，将叠加有SSVEP信息的画面呈现给用户，使用脑电采集设备采集用户脑电信号序列，将所述脑电信号序列通过LSL协议传输给脑电分析系统，脑电分析系统通过滤波器组典型相关分析方法解析脑电信号序列，判断出用户所注视的物体，有效解决了传统SSVEP范式控制不直观，用户交互感不高的问题，提高了脑机信号分类的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于动态SSVEP范式的脑机接口系统实现方法流程图；
图2为本发明基于动态SSVEP范式的脑机接口系统实现装置结构示意图；
图3为本发明SSVEP范式诱发脑电信号的原理示意图；
图4为本发明实施例中动态SSVEP范式诱发的脑电信号曲线图；
图5为本发明实施例中静态刺激信号实验过程中，不同时间窗口下8名受试者的平均准确率曲线图；
图6为本发明实施例中动态刺激信号实验过程中，不同时间窗口下8名受试者的平均准确率曲线图；
图7为本发明实施例中不同时间窗口下，动态刺激信号和静态刺激信号作用下各受试者脑电信号分类的准确率以及平均准确率对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1-4所示，本实施例提供基于动态SSVEP范式的脑机接口系统实现方法，包括如下步骤：
S1、获取实时画面，得到待识别的环境信息；
本实施例通过摄像头获取实时画面。
S2、构建并训练物体追踪模型，将所述环境信息输入到所述物体追踪模型，得到所述环境信息中物体的实时位置信息；
通过所述物体追踪模型得到所述环境信息中物体的实时位置信息的具体方法包括：
S21、利用所述物体追踪模型实时输出第n帧画面中m个动态物体的边框，所述边框为矩形框四个顶点的坐标；
S22、分别计算m个动态物体所在区域的密度直方图；
S23、重复步骤S21、S22，计算第n+1帧画面中所有动态物体所在区域的密度直方图；
S24、将第n+1帧画面、第n帧画面中密度直方图的计算结果进行模式匹配，得到第n帧与第n+1帧画面中相同动态物体的位置；
S25、重复步骤S21～S24，得到物体的实时位置，实现物体的实时追踪。
所述物体追踪模型通过迁移学习方法进行训练得到，所述物体追踪模型的训练方法包括：
1)采集200帧含有待追踪物体的画面，作为训练样本数据；
2)对所述训练样本数据进行样本增强，增强至2000个样本，得到样本数据集，并将所述样本数据集划分为训练集、验证集；
3)通过所述训练集对所述物体追踪模型进行训练；
4)利用迁移学习的方法对所述物体追踪模型进行再训练，并对所述物体追踪模型的参数进行优化；
5)通过验证集对所述物体追踪模型的测试正确率进行验证，测试正确率大于98％，则所述物体追踪模型训练完成，否则重复步骤4)。
S3、根据所述物体的位置信息，采用不同频率的SSVEP闪烁块分别对所述画面中不同的物体进行标记，并根据所述物体的实时位置信息对所述SSVEP闪烁块的坐标进行更新，得到叠加有SSVEP信息的画面，从而在LED屏幕上呈现出AR(Augmented Reality，增强现实)与SSVEP相结合的动态刺激范式；
S4、将叠加有SSVEP信息的画面呈现给待测者，并采用布署在待测者头皮位置的脑电采集设备采集待测者的脑电信号序列；
S5、对所述脑电信号序列进行解析，根据解析结果得到待测者所注视的物体。
本实施例采用FBCCA(Filter Bank Canonical Correlation Analysis，滤波器组典型相关分析)方法对所述脑电信号序列进行解析，具体包括：
1)对于不同频率的SSVEP闪烁块，分别采集标准脑电信号序列；
2)基于标准脑电信号序列，通过滤波器组分析方法分别获取不同频率的SSVEP闪烁块对应的脑电模板信号，具体包括：
通过若干个具有不同带通的IIR(Infinite Impulse Response，无限脉冲响应)滤波器对所述标准脑电信号序列进行子带分解，得到所述标准脑电信号序列的子带分量，将所述子带分量分别进行标准CCA(Canonical Correlation Analysis，典型相关分析)，得到所述子带分量和预设参考信号的相关值，根据所述相关值构造所述SSVEP闪烁块对应的脑电模板信号；其中，所述预设参考信号为所述SSVEP闪烁块的闪烁频率。
3)对所述脑电模板信号和实时采集的脑电信号序列进行标准化处理，并采用简化的CCA求解出实时采集的脑电信号序列与各脑电模板信号之间的相关系数；所述相关系数最大时，脑电模板信号对应的SSVEP闪烁块即为待测者所注视的物体。
本实施例还提供基于动态SSVEP范式的脑机接口系统实现装置，包括：获取模块、追踪模块、标注模块、脑电采集模块、脑电分析模块、屏幕；所述获取模块分别与所述追踪模块、标注模块相连，所述追踪模块与所述标注模块相连，所述标注模块与所述屏幕相连；所述脑电采集模块与所述脑电分析模块相连；
所述获取模块用于获取实时画面，根据所述实时画面得到待识别的环境信息，并将所述环境信息分别传送至所述追踪模块、标注模块；
所述追踪模块用于将所述环境信息输入至物体追踪模型，得到所述坏境信息中物体的实时位置信息，并将所述物体的实时位置信息发送至所述标注模块；
所述标注模块用于根据所述物体的位置信息，采用不同频率的SSVEP闪烁块分别对所述画面中不同的物体进行标记，并根据所述物体的实时位置信息对所述SSVEP闪烁块的坐标进行更新，得到叠加有SSVEP信息的画面并传送至所述屏幕；
所述屏幕为LED屏幕，用于对叠加有SSVEP信息的画面进行显示，供待测者观看；通过叠加有SSVEP信息的画面，能够在LED屏幕上呈现出AR(Augmented Reality，增强现实)与SSVEP相结合的动态刺激范式。
所述脑电采集模块通过部署在待测者头皮位置的脑电采集设备采集待测者的脑电信号序列，并将所述脑电信号序列通过LSL(lab streaming layer，实时读取数据流)协议传送至所述脑电分析模块；
LSL是用于研究的实验测量时间序列的统一收集，处理双方的网络，时间同步，实时访问设备系统以及可选的数据采集，可视化视图和保存记录数据。
所述脑电分析模块用于对所述脑电信号序列进行解析，并根据解析结果得到待测者所注视的物体。
进一步地优化方案，所述追踪模块还连接有训练模块，所述训练模块用于对所述物体追踪模型进行训练，具体训练流程包括：
1)采集200帧含有待追踪物体的画面，作为训练样本数据；
2)对所述训练样本数据进行样本增强，得到样本数据集，并将所述样本数据集划分为训练集、验证集；将所述训练集、验证集数据输入所述训练模块；
3)通过所述训练集对所述物体追踪模型进行训练；
4)利用迁移学习的方法对所述物体追踪模型进行再训练，并对所述物体追踪模型的参数进行优化；
5)通过验证集对所述物体追踪模型的测试正确率进行验证，测试正确率大于98％，则所述物体追踪模型训练完成，否则重复步骤4)。
进一步地优化方案，所述追踪模块的具体工作流程包括：
1)利用所述物体追踪模型实时输出第n帧画面中m个动态物体的边框，所述边框为矩形框四个顶点的坐标；
2)分别计算m个动态物体所在区域的密度直方图；
3)重复步骤1)～2)，计算第n+1帧画面中所有动态物体所在区域的密度直方图；
4)将第n+1帧画面、第n帧画面中密度直方图的计算结果进行模式匹配，得到第n帧与第n+1帧画面中相同动态物体的位置；
5)重复步骤1)～4)，得到物体的实时位置，实现物体的实时追踪。
进一步地优化方案，所述脑电分析模块采用FBCCA方法对所述脑电信号序列进行解析，具体包括：
1)对于不同频率的SSVEP闪烁块，分别采集标准脑电信号序列；
2)基于标准脑电信号序列，通过滤波器组分析方法分别获取不同频率的SSVEP闪烁块对应的脑电模板信号，具体包括：
通过若干个具有不同带通的IIR(Infinite Impulse Response，无限脉冲响应)滤波器对所述标准脑电信号序列进行子带分解，得到所述标准脑电信号序列的子带分量，将所述子带分量分别进行标准CCA(Canonical Correlation Analysis，典型相关分析)，得到所述子带分量和预设参考信号的相关值，根据所述相关值构造所述SSVEP闪烁块对应的脑电模板信号；其中，所述预设参考信号为所述SSVEP闪烁块的闪烁频率。
3)对所述脑电模板信号和实时采集的脑电信号序列进行标准化处理，并采用简化的CCA求解出实时采集的脑电信号序列与各脑电模板信号之间的相关系数；所述相关系数最大时，脑电模板信号对应的SSVEP闪烁块即为待测者所注视的物体。
本实施例还提供一种计算机设备，所述计算机设备包括存储器、处理器，所述存储器上存储有计算机程序，所述计算机程序能够在所述处理器上运行，所述处理器用于执行所述基于动态SSVEP范式的脑机接口系统实现方法的具体步骤。
本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储所述计算机程序。
为进一步验证本发明方法的有效性，本实施例对其效果进行实验验证。
本实验共有8名受试者，北京理工大学研究生，年龄23～30岁，实验前均表示无疾病，视力正常或者经过矫正后正常。受试者均有过做脑电实验的经历，在本项实验前保证了充足的睡眠时间，并将头发洗干净。实验在正常环境中进行，没有屏蔽外界的电磁干扰和周围同学走动的干扰等。
视觉刺激显示在27英寸的LED屏幕上，屏幕帧速率为60Hz，最高亮度为600nit。受试者坐在离屏幕60厘米的地方，采用干电极(O1，O2，OZ，P3)对被试者的脑电进行采集，电极位置分布采用10-20国际标准放置法，放大器中记录脑电图EEG，电极以(Cz)作为参考，以前额为地，这样的电极配置能够覆盖视觉皮层。使用ActiCHamp-32放大器(BrainProduct，德国)以500Hz的频率记录脑电图数据，使用工作站(Intel 8700K CPU、16GB-DDR5 RAM、Nvidia GTX1060图形卡)做刺激呈现以及数据分析。
每个受试者分别进行动态刺激和静态刺激两组实验，第一组实验为静态刺激，第二组实验为动态刺激，受试者被告知试验方案，并完全同意后，按上述方案佩戴脑电采集设备，并完成4组SSVEP数据采集实验。每组实验由20个Block组成，在每个Block中，都有4个目标以不同频率闪烁，参与者按照提示注视某一目标。每一个Block持续12秒，包括6秒的刺激，以及6秒的休息时间。在第一组实验中，静态背景下呈现4个固定目标(分别以8、10、12、15Hz频率闪烁)。被试在每个Block中被提示随机注视其中的一个目标。第二组实验中，利用一个实时高速摄像头，被试可以直观感受到外部环境，摄像头置于机器人头部，置物架以预先设定好的采用机器视觉追踪并以特定频率闪烁块标记物体，机器视觉追踪采用深度学习方法追踪目标，实时获取目标坐标位置信息并进行频率标记。系统语音提示受试者需注视目标后，被标记的物体开始闪烁，系统分析1s后给出分类结果，机械臂进行抓取动作(比如分类结果是12Hz，机械臂执行抓取橙子动作)。此组在线实验系统提示受试者0.25s,采集1s,休息0.25s。
第一组实验结果如下：
离线数据分类利用FBCCA算法对SSVEP信号进行频率识别，分别在时间窗口长度为0.5s、1s、1.5s、2s、2.5s、3s、3.5s时，对8名受试者脑电信号进行频率识别，不同时间窗口下8名受试者的平均准确率如图5所示，根据图5可知，随时间窗口长度的增加，信号的分类准确率逐渐增大。其中，时间窗口长度(Time Window Length，TWL)是在稳态视觉诱发电位范式中频率识别正确率的影响因素，是指算法每次进行频率识别所利用的信号时间长度，它等于信号长度与采样率的比值。
第二组实验结果如下：
把动态刺激作为在增强现实和SSVEP结合下的模拟实验，分析在真实背景下，大脑视觉区域对移动刺激的反应，不同时间窗口下8名受试者的平均准确率如图6所示。
两组实验中，不同时间窗口下各受试者脑电信号分类的准确率对比如图7所示，根据图7可知，除受试者S5外，其余受试者在动态刺激下的目标识别准确率均高于静态刺激，表明增强现实和SSVEP结合更够有效提高准确率，进一步提高人机互动性，为以后的脑机接口研究发展提供新思路。
以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (8)
1.基于动态SSVEP范式的脑机接口系统实现方法，其特征在于，包括如下步骤：
S1、获取实时画面，得到待识别的环境信息；
S2、构建并训练物体追踪模型，将所述环境信息输入到所述物体追踪模型，得到所述环境信息中物体的实时位置信息；
S3、根据所述物体的位置信息，采用不同频率的SSVEP闪烁块分别对所述画面中不同的物体进行标记，并根据所述物体的实时位置信息对所述SSVEP闪烁块的坐标进行更新，得到叠加有SSVEP信息的画面；
S4、将叠加有SSVEP信息的画面呈现给待测者，并采集待测者的脑电信号序列；
S5、采用滤波器组典型相关分析FBCCA方法对所述脑电信号序列进行解析，根据解析结果得到待测者所注视的物体。
2.根据权利要求1所述的基于动态SSVEP范式的脑机接口系统实现方法，其特征在于，所述步骤S2中，通过所述物体追踪模型得到所述环境信息中物体的实时位置信息的具体方法包括：
S21、利用所述物体追踪模型实时输出第n帧画面中m个动态物体的边框，所述边框为矩形框四个顶点的坐标；
S22、分别计算m个动态物体所在区域的密度直方图；
S23、重复步骤S21、S22，计算第n+1帧画面中所有动态物体所在区域的密度直方图；
S24、将第n+1帧画面、第n帧画面中密度直方图的计算结果进行模式匹配，得到第n帧与第n+1帧画面中相同动态物体的位置；
S25、重复步骤S21～S24，得到物体的实时位置。
3.根据权利要求1所述的基于动态SSVEP范式的脑机接口系统实现方法，其特征在于，所述步骤S2中，所述物体追踪模型通过迁移学习方法进行训练，具体包括：
1)采集含有待追踪物体的画面，作为训练样本数据；
2)对所述训练样本数据进行样本增强，得到样本数据集，并将所述样本数据集划分为训练集、验证集；
3)通过所述训练集对所述物体追踪模型进行训练；
4)利用迁移学习的方法对所述物体追踪模型进行再训练，并对所述物体追踪模型的参数进行优化；
5)通过验证集对所述物体追踪模型的测试正确率进行验证，测试正确率大于预设阈值，则所述物体追踪模型训练完成，否则重复步骤4)。
4.根据权利要求1所述的基于动态SSVEP范式的脑机接口系统实现方法，其特征在于，所述步骤S5中，采用FBCCA方法对所述脑电信号序列进行解析的具体方法包括：
对于不同频率的SSVEP闪烁块，分别采集标准脑电信号序列；
基于标准脑电信号序列，通过滤波器组分析方法分别获取不同频率的SSVEP闪烁块对应的脑电模板信号；
对所述脑电模板信号和实时采集的脑电信号序列进行标准化处理，并采用CCA求解出实时采集的脑电信号序列与各脑电模板信号之间的相关系数；所述相关系数最大时，脑电模板信号对应的SSVEP闪烁块即为待测者所注视的物体。
5.根据权利要求4所述的基于动态SSVEP范式的脑机接口系统实现方法，其特征在于，通过滤波器组分析方法分别获取不同频率的SSVEP闪烁块对应的脑电模板信号，具体包括如下步骤：
通过若干个具有不同带通的无限脉冲响应IIR滤波器对所述标准脑电信号序列进行子带分解，得到所述标准脑电信号序列的子带分量，将所述子带分量分别进行标准典型相关分析CCA，得到所述子带分量和预设参考信号的相关值，根据所述相关值构造所述SSVEP闪烁块对应的脑电模板信号；其中，所述预设参考信号为所述SSVEP闪烁块的闪烁频率。
6.基于动态SSVEP范式的脑机接口系统实现装置，其特征在于，包括：获取模块、追踪模块、标注模块、脑电采集模块、脑电分析模块、屏幕；所述获取模块分别与所述追踪模块、标注模块相连，所述追踪模块与所述标注模块相连，所述标注模块与所述屏幕相连；所述脑电采集模块与所述脑电分析模块相连；
所述获取模块用于获取实时画面，根据所述实时画面得到待识别的环境信息，并将所述环境信息分别传送至所述追踪模块、标注模块；
所述追踪模块用于获取所述坏境信息中物体的实时位置信息，并将所述物体的实时位置信息发送至所述标注模块；
所述标注模块用于根据所述物体的位置信息，采用不同频率的SSVEP闪烁块分别对所述画面中不同的物体进行标记，并根据所述物体的实时位置信息对所述SSVEP闪烁块的坐标进行更新，得到叠加有SSVEP信息的画面并传送至所述屏幕；
所述屏幕用于对叠加有SSVEP信息的画面进行显示，供待测者观看；
所述脑电采集模块用于采集待测者的脑电信号序列，并将所述脑电信号序列传送至所述脑电分析模块；
所述脑电分析模块用于采用FBCCA方法对所述脑电信号序列进行解析，并根据解析结果得到待测者所注视的物体。
7.根据权利要求6所述的基于动态SSVEP范式的脑机接口系统实现装置，其特征在于，所述脑电采集模块通过实时读取数据流LSL协议将所述脑电信号序列送至所述脑电分析模块。
8.根据权利要求6所述的基于动态SSVEP范式的脑机接口系统实现装置，其特征在于，所述追踪模块还连接有训练模块，所述训练模块用于对所述物体追踪模型进行训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010877287.1A CN111930238B (zh) | 2020-08-27 | 2020-08-27 | 基于动态ssvep范式的脑机接口系统实现方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010877287.1A CN111930238B (zh) | 2020-08-27 | 2020-08-27 | 基于动态ssvep范式的脑机接口系统实现方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111930238A CN111930238A (zh) | 2020-11-13 |
| CN111930238B true CN111930238B (zh) | 2022-08-05 |
Family
ID=73308510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010877287.1A Active CN111930238B (zh) | 2020-08-27 | 2020-08-27 | 基于动态ssvep范式的脑机接口系统实现方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111930238B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112433617B (zh) * | 2020-12-11 | 2022-06-14 | 中国人民解放军国防科技大学 | 一种两人协同的p300-bci目标决策系统及方法 |
| CN113349802A (zh) * | 2021-06-01 | 2021-09-07 | 杭州回车电子科技有限公司 | 基于ssvep的分类方法、系统、装置及可读存储介质 |
| CN114146283A (zh) * | 2021-08-26 | 2022-03-08 | 上海大学 | 一种基于目标检测和ssvep的注意力训练系统及方法 |
| CN114489335B (zh) * | 2022-01-21 | 2023-12-01 | 上海瑞司集测科技有限公司 | 脑机接口的检测方法、装置、存储介质及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103399639A (zh) * | 2013-08-14 | 2013-11-20 | 天津医科大学 | 基于ssvep和p300联合脑机接口方法及装置 |
| CN104965584A (zh) * | 2015-05-19 | 2015-10-07 | 西安交通大学 | 基于ssvep与osp的混合脑-机接口方法 |
| CN107346179A (zh) * | 2017-09-11 | 2017-11-14 | 中国人民解放军国防科技大学 | 基于诱发式脑机接口的多移动目标选择方法 |
| WO2019212150A1 (ko) * | 2018-05-04 | 2019-11-07 | 계명대학교 산학협력단 | 거울신경세포의 활성화를 극대화하는 뇌 자극과 뇌-컴퓨터 인터페이스(bci) 기술을 결합한 게임 방식의 재활 시스템 및 그 제어방법 |
-
2020
- 2020-08-27 CN CN202010877287.1A patent/CN111930238B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103399639A (zh) * | 2013-08-14 | 2013-11-20 | 天津医科大学 | 基于ssvep和p300联合脑机接口方法及装置 |
| CN104965584A (zh) * | 2015-05-19 | 2015-10-07 | 西安交通大学 | 基于ssvep与osp的混合脑-机接口方法 |
| CN107346179A (zh) * | 2017-09-11 | 2017-11-14 | 中国人民解放军国防科技大学 | 基于诱发式脑机接口的多移动目标选择方法 |
| WO2019212150A1 (ko) * | 2018-05-04 | 2019-11-07 | 계명대학교 산학협력단 | 거울신경세포의 활성화를 극대화하는 뇌 자극과 뇌-컴퓨터 인터페이스(bci) 기술을 결합한 게임 방식의 재활 시스템 및 그 제어방법 |
Non-Patent Citations (2)
| Title |
|---|
| 基于视觉双特征的并行联合脑-机接口范式的研究;丁佳等;《科学技术与工程》;20150408(第10期);43-47页 * |
| 闪光视觉诱发电位在脑机接口中的应用研究;黄漫玲等;《计算机应用与软件》;20091115(第11期);19-22页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111930238A (zh) | 2020-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111930238B (zh) | 基于动态ssvep范式的脑机接口系统实现方法及装置 | |
| Pfurtscheller et al. | 15 years of BCI research at Graz University of Technology: current projects | |
| CN110765920A (zh) | 基于卷积神经网络的运动想象分类方法 | |
| CN103699226B (zh) | 一种基于多信息融合的三模态串行脑-机接口方法 | |
| CN103699216B (zh) | 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法 | |
| CN106933353A (zh) | 一种基于运动想象和编码调制视觉诱发电位的二维光标运动控制系统及方法 | |
| CN112008725B (zh) | 一种人机融合脑控机器人系统 | |
| CN113918008A (zh) | 一种基于源空间脑磁信号解码的脑机接口系统及应用方法 | |
| Khalili et al. | Emotion detection using brain and peripheral signals | |
| Chen et al. | DeepFocus: Deep encoding brainwaves and emotions with multi-scenario behavior analytics for human attention enhancement | |
| CN110262658B (zh) | 一种基于强化注意的脑机接口字符输入系统及实现方法 | |
| CN108478224A (zh) | 基于虚拟现实与脑电的紧张情绪检测系统及检测方法 | |
| CN114224342A (zh) | 一种基于时空融合特征网络的多通道脑电信号情绪识别方法 | |
| Gupta et al. | Detecting eye movements in EEG for controlling devices | |
| CN107212883A (zh) | 一种基于脑电控制的机械臂写字装置及控制方法 | |
| CN110472595B (zh) | 脑电信号的识别模型构建方法、装置以及识别方法、装置 | |
| Soylu et al. | ERP differences in processing canonical and noncanonical finger-numeral configurations | |
| CN114601476A (zh) | 一种基于视频刺激下的eeg信号情感识别方法 | |
| CN101339413B (zh) | 基于脑电中人脸识别特异性波的开关控制方法 | |
| CN113128353B (zh) | 面向自然人机交互的情绪感知方法及其系统 | |
| CN204759349U (zh) | 一种基于稳态视觉诱发电位的飞行器控制装置 | |
| CN107822628B (zh) | 一种癫痫脑部病灶区自动定位装置及系统 | |
| CN109308118A (zh) | 基于eog的中文眼写信号识别系统及其识别方法 | |
| CN116088686B (zh) | 一种脑电溯源的运动想象脑机接口训练方法与系统 | |
| Jia | Neural network in the application of EEG signal classification method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |