CN113552941A - 多感官模态的bci-vr控制方法、系统及vr设备 - Google Patents
多感官模态的bci-vr控制方法、系统及vr设备 Download PDFInfo
- Publication number
- CN113552941A CN113552941A CN202110749709.1A CN202110749709A CN113552941A CN 113552941 A CN113552941 A CN 113552941A CN 202110749709 A CN202110749709 A CN 202110749709A CN 113552941 A CN113552941 A CN 113552941A
- Authority
- CN
- China
- Prior art keywords
- sensory
- signal
- eeg
- signals
- bci
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000001953 sensory effect Effects 0.000 claims abstract description 81
- 230000000007 visual effect Effects 0.000 claims abstract description 69
- 238000000605 extraction Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 38
- 230000001960 triggered effect Effects 0.000 claims abstract description 7
- 238000001914 filtration Methods 0.000 claims description 20
- 238000007781 pre-processing Methods 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 7
- 230000002457 bidirectional effect Effects 0.000 claims description 6
- 230000001427 coherent effect Effects 0.000 claims description 5
- 230000010365 information processing Effects 0.000 claims description 5
- 230000000638 stimulation Effects 0.000 abstract description 32
- 210000004556 brain Anatomy 0.000 abstract description 27
- 208000003464 asthenopia Diseases 0.000 abstract description 5
- 230000002452 interceptive effect Effects 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 8
- 238000012706 support-vector machine Methods 0.000 description 7
- 230000000763 evoking effect Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000033764 rhythmic process Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 208000012661 Dyskinesia Diseases 0.000 description 3
- 230000003321 amplification Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000004070 electrodeposition Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 210000001595 mastoid Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000869 occipital lobe Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 210000004761 scalp Anatomy 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000001428 peripheral nervous system Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Neurosurgery (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了多感官模态的BCI‑VR控制方法、系统及VR设备，所述控制方法包括：获取EEG信号，所述EEG信号由VR场景触发并且包括与不同感官模态分别对应的多个感官信号；对所述感官信号进行特征提取与分类识别处理，分别获得与所述感官信号对应的EEG分类信息；将所述EEG分类信息进行组合，以获得所述EEG信号的识别结果。本发明将传统的VR设备与多感官模态BCI相结合，通过融合SSVEP刺激进模拟现实环境，减缓了SSVEP单一视觉模态的BCI依赖于目标物体闪烁刺激导致直接对用户的大脑重复刺激的适应性和疲劳感，缓解了视觉疲劳，提升了用户使用体验。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种多感官模态的BCI-VR控制方法、系统及VR设备。
背景技术
脑机接口(Brain Computer Interface，BCI)使得人类有能力将自身大脑信号转换为控制外部设备的指令，而无需外周神经系统和肌肉组织的参与。BCI在医疗康复领域有着很好的应用前景，为严重运动障碍的患者提供了新的辅助运动功能和对外交流途径，即无需肢体动作或者语言即可控制轮椅、打字等。
脑电(Electroencephalogram，EEG)因其无创、时间分辨率高、设备价格低廉和便于携带等优点成为BCI最常采用的大脑信号。其中，稳态视觉诱发电位(Steady StateVisual Evoked Potentials，SSVEP)是通过特定频率的外部视觉目标刺激大脑视觉皮层，诱发产生稳定的该刺激频率(基频与倍频处)功率谱分量较为强烈的EEG信号。
基于运动想象(Motor Imagery，MI)的事件相关去同步化与同步化(Event-related Desynchronization/Synchronization，ERD/ERS)的BCI通过检测大脑相关运动区中与运动相关的μ(8-12Hz)和β(18-26Hz)节律能量的下降或上升来判断大脑正在进行的运动想象状态，比如想象左手或右手运动时，大脑对侧的相关运动区的μ节律和β节律发生ERD，而大脑同侧的相关运动区发生μ和β的ERD。想象脚与舌的运动也会在大脑皮层的相应区域产生类似现象。基于MI的BCI无需特定的外界刺激。但同一用户的不同时间点，其运动想象的能力和状态会发生变化，且个体差异较大，因此基于运动想象的BCI需用户进行大量的练习且分类正确率也有待提高。
传统的基于SSVEP的BCI的视觉目标刺激通常呈现在电脑屏幕上，与真实的视觉刺激相差甚远，这样限制了基于SSVEP的BCI在商业中的应用。
而且，现实中的目标刺激也并非只有单一模块视觉，还可能有听觉、触觉、嗅觉等；基于单一视觉模态的BCI难以适用现实生活中多感官信息输入的场景，严重限制了外部输出命令的数量，制约了其完成复杂任务的能力，当面临多元分类问题时，正确率降低，难以在实际应用中取得好的表现。
发明内容
本发明要解决的技术问题是为了克服现有技术中单一视觉模态的BCI难以适用现实生活中多感官信息输入的场景的缺陷，提供一种多感官模态的BCI-VR控制方法、系统及VR设备。
本发明是通过下述技术方案来解决上述技术问题：
本发明提供了一种多感官模态的BCI-VR控制方法，所述控制方法包括：
获取EEG信号，所述EEG信号由VR场景触发并且包括与不同感官模态分别对应的多个感官信号；
对所述感官信号进行特征提取与分类识别处理，分别获得与所述感官信号对应的EEG分类信息；
将所述EEG分类信息进行组合，以获得所述EEG信号的识别结果。
较佳地，对所述感官信号进行特征提取与分类识别处理，分别获得与所述感官信号对应的EEG分类信息的步骤包括：
对所述感官信号进行特征提取，获得感官信号对应的EEG特征信息；
根据所述EEG特征信息对与其对应的所述感官信号进行分类识别，以获得所述感官信号对应的EEG分类信息。
较佳地，所述感官模态包括视觉模态；所述视觉模态对应的感官信号为SSVEP视觉信号；对所述SSVEP视觉信号进行特征提取与分类识别处理，获得SSVEP视觉信号对应的EEG分类信息的步骤包括：
对所述SSVEP视觉信号进行特征提取，获得SSVEP视觉特征信息；
基于CCA算法，根据所述SSVEP视觉特征信息，对所述SSVEP视觉信号进行分类识别，获得SSVEP视觉分类信息。
较佳地，所述感官模态包括听觉模态；所述听觉模态对应的感官信号为P300听觉信号；对所述P300听觉信号进行特征提取与分类识别处理，获得P300听觉信号对应的EEG分类信息的步骤包括：
基于相干平均法，对所述P300听觉信号进行特征提取，获得P300听觉特征信息；
基于LDA，根据所述P300听觉特征信息，对所述P300听觉信号进行分类识别，获得P300听觉分类信息。
较佳地，所述感官模态包括运动想象MI模态；所述运动想象MI模态对应的感官信号为运动想象MI信号；对所述运动想象MI信号进行特征提取与分类识别处理，获得运动想象MI信号对应的EEG分类信息的步骤包括：
基于双向带通滤波算法，对所述运动想象MI信号进行特征提取，获得运动想象MI特征信息；
基于空间滤波算法和SVM算法，根据所述运动想象MI特征信息，对所述运动想象MI信号进行分类识别，获得运动想象MI分类信息。
较佳地，对所述感官信号进行特征提取与分类识别处理，分别获得与所述感官信号对应的EEG分类信息的步骤之前还包括步骤：
对所述EEG信号进行放大处理；
选取参考基准信号，并对放大处理后的EEG信号进行去基准预处理；
基于空间滤波器，对去基准预处理后的EEG信号进行降噪处理。
较佳地，对所述感官信号进行特征提取与分类识别处理，分别获得与所述感官信号对应的EEG分类信息的步骤之后还包括：
基于所述EEG信号的识别结果获得触发指令，以触发对应操作的执行。
本发明还提供了一种多感官模态的BCI-VR系统，包括：
采集模块，用于获取EEG信号，所述EEG信号由VR场景触发并且包括与不同感官模态分别对应的多个感官信号；
信息处理模块，用于对所述感官信号进行特征提取与分类识别处理，分别获得与所述感官信号对应的EEG分类信息；
信息组合模块，用于将所述EEG分类信息进行组合，以获得所述EEG信号的识别结果。
本发明还提供了一种VR设备，所述VR设备包括上述的多感官模态的BCI-VR系统。
较佳地，所述VR设备包括VR游戏设备。
本发明的积极进步效果在于：
本发明提供的多感官模态的BCI-VR控制方法及系统能够使多感官模态相结合而提升大脑与BCI系统交互控制的精确度，从而大大提高单一模态BCI的训练效率、正确率、稳定性和控制命令的数量；通过融合SSVEP刺激模拟现实环境减缓了SSVEP单一视觉模态的BCI依赖于目标物体的闪烁刺激导致直接对用户的大脑重复刺激的适应性和疲劳感，缓解了视觉疲劳，提升了用户使用体验。本发明提供的VR设备基于上述系统，不仅能够使运动功能障碍患者受益，并且提供了基于脑控的全新控制方式，代替了传统的手控方式，提升了虚拟场景领域的用户体验，具有广阔的应用前景。
附图说明
图1为本发明实施例1的多感官模态的BCI-VR控制方法的流程图。
图2为本发明实施例2的多感官模态的BCI-VR控制系统的模块图。
图3为本发明实施例3的VR游戏设备的应用原理图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
参见图1，本实施例提供了一种多感官模态的BCI-VR控制方法，包括步骤：
S1.获取EEG信号，EEG信号由VR场景触发并且包括与不同感官模态分别对应的感官信号。
VR(Virtual Reality,虚拟现实)是为用户提供身临其境的三维空间虚拟现实环境，并提供多种感官模拟体验的计算机仿真系统，VR场景是基于虚拟现实技术构建的目标物体。
本实施例中，不同感官模态可以包括视觉模态、听觉模态和运动想象模态；相应地，EEG信号包括与上述感官模态对应的SSVEP视觉信号、P300听觉信号和MI运动想象信号。
S2.对感官信号进行特征提取与分类识别处理，获得感官信号对应的EEG分类信息。
S3.将EEG分类信息进行组合，以获得所述EEG信号的识别结果。
步骤S3将每一感官信号对应的EEG分类信息进行组合获得EEG信号的识别结果。本实施方式中，将SSVEP视觉分类信息、P300听觉分类信息和运动想象MI分类信息进行组合。
作为较佳的实施方式，步骤S2包括：
S21.对感官信号进行特征提取，获得对应的EEG特征信息。
S22.根据感官信号对应的EEG特征信息对感官信号进行分类识别，获得感官信号对应的EEG分类信息。
作为一种可选的实施方式，当EEG信号为SSVEP视觉信号时，步骤S21对SSVEP视觉信号进行特征提取，获得SSVEP视觉特征信息。
步骤S22基于CCA算法，根据SSVEP视觉特征信息，对SSVEP视觉信号进行分类识别，获得SSVEP视觉分类信息。
SSVEP视觉信号是通过向用户呈现特定频率的视觉刺激，在头皮脑电上会记录到与刺激频率倍频相同的稳态信号；具体地，当被试者在观看以12Hz闪烁的视觉刺激时，相应产生的SSVEP视觉信号的频率在12Hz、24Hz、36Hz等，也就是刺激频率的1倍率、2倍率、3倍率处有明显的峰值。因此，基于SSVEP视觉模态的BCI的原理就是检测脑电信号中是否存在某些特定频率的成分。
CCA算法是通过多通道的EEG信号与由正余弦信号构建的参考信号之间的相关系数，求两个信号的最大相关性的算法，具体地：
对于两组多维实数域变量X∈RC×N和Y(f)∈R2Nh×N，满足：
式中，X为多通道的EEG信号，Y(f)为每个刺激频率对应的由一组正余弦信号组构建的参考信号，其中C为EEG信号的通道个数，N为脑电采样点的总数，Nh为参与构建刺激的参考信号的谐波数，f为刺激频率，fs是采样频率。
其中，多通道的EEG信号X和每个刺激频率对应的由一组正余弦信号组构建的参考信号Y(f)是通过广义特征值的分解来寻找线性组合X’＝aTX和Y’＝bTY(f)的，使得X和Y(f)经过此线性组合后相关系数ρ(X’,Y’)的值最大，即存在：
其中a和b分别为X和Y(f)的权重向量即投影向量，X’和Y’为典型变量。
将EEG信号X与每个刺激频率对应的由一组正余弦信号组构建的参考信号Y(f)分别做CCA运算，得到EEG信号X与每个刺激频率对应的由一组正余弦信号组构建的参考信号Y(f)之间的相关系数ρ(X’,Y’)，其中值最大的相关系数对应的刺激频率被认为是EEG信号的预测频率。CCA算法的正确率高，且稳定性强，应用广泛。
作为另一种可选的实施方式，当EEG信号为P300听觉信号时，步骤S21对P300听觉信号进行特征提取与分类识别处理，获得P300听觉信号对应的EEG分类信息。
具体地，步骤S21基于相干平均法，对P300听觉信号进行特征提取，获得P300听觉特征信息。
步骤S22基于LDA，根据所述P300听觉特征信息，对所述P300听觉信号进行分类识别，获得P300听觉分类信息。
相干平均就是在同一时间内同时测量一个输出多次，并且对这些数求平均，即对同一时间的幅值取平均。通过LDA对P300听觉信号进行分类识别，LDA具有简单易行、速度快、存储量小等优点。
作为另一种可选的实施方式，当EEG信号为运动想象MI信号时，步骤S21对运动想象MI信号进行特征提取与分类识别处理，获得运动想象MI信号对应的EEG分类信息。
具体地，步骤S21基于双向带通滤波(Infinite Impulse Response,IIR)算法，对运动想象MI信号进行特征提取，获得运动想象MI特征信息。
步骤S22基于空间滤波算法和SVM算法，根据运动想象MI特征信息，对运动想象MI信号进行分类识别，获得运动想象MI分类信息。
进行特征提取与分类识别处理具体包括：
基于双向带通滤波算法，对预处理后的运动想象MI信号中的μ和β节律所在的频带进行MI特征提取，获得运动想象MI特征信息。
基于CSP(Common Spatial Pattern,共同空间模式)的空间滤波算法和机器学习算法，根据运动想象MI特征信息，对预处理后的运动想象MI信号进行分类识别，获得运动想象MI分类信息。
其中，CSP空间滤波算法是通过计算信号的协方差矩阵，再对其对角化处理，使得一种状态下的空间滤波信号的方差最大化，同时另一种状态下的空间滤波信号的方差最小化，使得两种信号的方差距离拉大，有利于了二分类的问题。
本实施方式中机器学习算法为SVM(support vector machine，支持向量机)算法，SVM算法是基于结构风险最小化原则(Structure Risk Minimization,SRM)，在特征空间中构建最优分割超平面，从而使得学习器得到全局最优化，将两类运动想象MI特征信息区分开。
综上，步骤S2针对感官模态对应的SSVEP视觉信号、P300听觉信号和MI运动想象信号进行特征提取与分类识别处理，获得每一感官信号对应的EEG分类信息
作为较佳的实施方式，步骤S2之前还包括步骤S2’：
S21’.对EEG信号进行放大处理；
S22’.选取参考基准信号，并对放大处理后的EEG信号进行去基准预处理；
S23’.基于空间滤波器，对去基准预处理后的EEG信号进行降噪处理。
本实施方式以1000Hz的采样率获取的9个通道的EEG信号为例进行说明，其中EEG信号的电极位置分布采用10-20国际标准放置方法，SSVEP视觉信号在枕叶位置(电极Oz、O1、O2)处采集，MI运动想象信号在中央区位置(电极Cz、C3、C4)处采集，P300听觉信号在顶叶位置(电极Pz、P3、P4)处采集。S21’对采集到的EEG信号进行放大处理，以便进一步进行精确的信号处理。
S22’信号处理选取参考基准信号，并基于参考基准信号对放大处理后的EEG信号进行去基准预处理。本实施例中，采集EEG信号的参考电极为左右乳突处(A1、A2)，则选取参考电极A1和A2的均值作为参考基准信号，以便基于参考基准信号对放大处理后的EEG信号进行电极去参考处理；参考基准信号的阻抗小于10kΩ，带通滤波频率为0.1-50Hz，工频陷波为50Hz。
S23’基于空间滤波器，对去基准预处理后的EEG信号进行降噪处理。具体地，基于均值滤波和高斯滤波组合的空间滤波器，将频率处理后的EEG信号的高频噪声进行降噪处理，降低伪迹和噪声对EEG信号的影响；即将去基准预处理后的EEG信号的低频基线去除。
作为较佳的实施方式，步骤S3之后还包括：基于EEG信号的识别结果获取对应的触发指令，以触发对应操作的执行。
具体地，可以在一种用户和虚拟现实设备交互的环境中，根据EEG信号的识别结果，按照预设的规则来获得触发指令，从而实现基于用户脑电信息的对于虚拟现实设备的反馈。例如在对虚拟现实游戏进行的交互控制中，根据稳态视觉诱发电位类别和运动想象脑电类别获取的识别结果，按照预设的规则获得相应的触发指令A，根据触发指令A对虚拟现实游戏中主角的运动进行控制；或是根据稳态视觉诱发电位类别和听觉P300脑电类别获取的识别结果，按上述方式获得触发指令B，由触发指令B控制对虚拟现实游戏中目标进行攻击。
本实施方式通过设置于识别结果对应的触发指令，能够将本实施例的控制方法结合实际应用场景，取得用户端和虚拟设备端的双向反馈的互动效果。
本实施例提供的多感官模态的BCI-VR控制方法能够使多感官模态相结合而提升大脑与BCI系统交互控制的精确度，从而大大提高单一模态BCI的训练效率、正确率、稳定性和控制命令的数量；通过融合SSVEP刺激模拟现实环境减缓了SSVEP单一视觉模态的BCI依赖于目标物体的闪烁刺激导致直接对用户的大脑重复刺激的适应性和疲劳感，缓解了视觉疲劳，提升了用户使用体验。
实施例2
参见图2，本发明提供了一种多感官模态的BCI-VR系统，如附图3所示，多感官模态的BCI-VR系统包括：采集模块100、信息预处理模块200、信息处理模块300、信息组合模块400和触发模块500。
其中，采集模块100用于获取EEG信号；EEG信号由VR场景触发并且包括与不同感官模态对应的感官信号；其中，在本实施例1中，不同感官模态包括：视觉模态、听觉模态和运动想象模态；则EEG信号包括一一对应的SSVEP视觉信号、P300听觉信号和MI运动想象信号。
VR场景是基于虚拟现实技术构建的目标物体；不同的目标物体按照不同的闪烁频率进行闪烁，闪烁触发大脑产生视觉感官模态对应的SSVEP视觉信号，不同的闪烁频率包括：8Hz、9Hz、10Hz、11Hz和12Hz；不同的目标物体按照不同的小概率声音频率进行刺激，声音刺激触发大脑产生听觉感官模态对应的P300听觉信号；小概率声音频率为相对于非靶刺激(即背景音)的小概率频率，不同的小概率声音频率的刺激会诱发振幅不同的P300听觉信号。而且，不同目标物体的声音刺激音高、音调和方位都有所不同，其所诱发的P300听觉信号也存在差异。
本实施例中，采集模块100以1000Hz的采样率获取9个通道的EEG信号，且EEG信号的电极位置分布采用10-20国际标准放置方法，SSVEP视觉信号在枕叶位置(电极Oz、O1、O2)处采集，MI运动想象信号在中央区位置(电极Cz、C3、C4)处采集，P300听觉信号在顶叶位置(电极Pz、P3、P4)处采集。
信息预处理模块200对EEG信号进行预处理；其中，信息预处理模块200具体包括：信号放大单元201、预处理单元202、降噪单元203。
信号放大单元201对EEG信号进行放大处理，预处理单元202选取参考基准信号，并基于参考基准信号对放大处理后的EEG信号进行去基准预处理；其中采集EEG信号时的参考电极为左右乳突处(A1、A2)，选取参考电极A1和A2的均值作为参考基准信号，基于参考基准信号对放大处理后的EEG信号进行电极去参考处理；其中，参考基准信号的阻抗小于10kΩ，带通滤波频率为0.1-50Hz，工频陷波为50Hz。
预处理单元202还用于进行频率预处理，即基于去趋势算法，对去基准预处理后的EEG信号进行频率预处理；具体地，对去基准预处理后的EEG信号进行频率处理包括将去基准预处理后的EEG信号的低频基线去除。
降噪单元203基于均值滤波和高斯滤波组合的空间滤波器，对频率预处理后的EEG信号进行降噪处理；具体地，将频率处理后的EEG信号的高频噪声进行降噪处理，降低伪迹和噪声对EEG信号的影响。
信息处理模块300对预处理后的每一感官信号进行特征提取与分类识别处理，获得每一感官信号对应的EEG分类信息。
其中，信息处理模块300包括：特征提取单元301和分类识别单元302；特征提取单元301对每一感官信号进行特征提取，获得每一感官信号对应的EEG特征信息；分类识别单元302根据每一感官信号对应的EEG特征信息，对每一感官信号进行分类识别，获得每一感官信号对应的EEG分类信息。
在一种可选的实施方式中，特征提取单元301具体用于对预处理后的SSVEP视觉信号进行SSVEP特征提取，获得SSVEP视觉特征信息；分类识别单元302具体用于基于CCA算法，根据SSVEP视觉特征信息，对预处理后的SSVEP视觉信号进行分类识别，获得SSVEP视觉分类信息。
SSVEP视觉信号是通过向用户呈现特定频率的视觉刺激，在头皮脑电上会记录到与刺激频率倍频相同的稳态信号；具体来说，当被试者在观看以12Hz闪烁的视觉刺激时，相应产生的SSVEP视觉信号的频率在12Hz、24Hz、36Hz等，也就是刺激频率的1倍率、2倍率、3倍率处有明显的峰值。因此，基于SSVEP视觉模态的BCI的原理就是检测脑电信号中是否存在某些特定频率的成分。
CCA算法是通过多通道的EEG信号与由正余弦信号构建的参考信号之间的相关系数，求两个信号的最大相关性的算法，具体地：
对于两组多维实数域变量X∈RC×N和Y(f)∈R2Nh×N，满足：
式中，X为多通道的EEG信号，Y(f)为每个刺激频率对应的由一组正余弦信号组构建的参考信号，其中C为EEG信号的通道个数，N为脑电采样点的总数，Nh为参与构建刺激的参考信号的谐波数，f为刺激频率，fs是采样频率。
其中，多通道的EEG信号X和每个刺激频率对应的由一组正余弦信号组构建的参考信号Y(f)是通过广义特征值的分解来寻找线性组合X’＝aTX和Y’＝bTY(f)的，使得X和Y(f)经过此线性组合后相关系数ρ(X’,Y’)的值最大，即存在：
其中a和b分别为X和Y(f)的权重向量即投影向量，X’和Y’为典型变量。
将EEG信号X与每个刺激频率对应的由一组正余弦信号组构建的参考信号Y(f)分别做CCA运算，得到EEG信号X与每个刺激频率对应的由一组正余弦信号组构建的参考信号Y(f)之间的相关系数ρ(X’,Y’)，其中值最大的相关系数对应的刺激频率被认为是EEG信号的预测频率。CCA算法的正确率高，且稳定性强，应用广泛。
在另一种可选的实施方式中，特征提取单元301具体用于基于相干平均法，对预处理后的P300听觉信号进行P300特征提取，获得P300听觉特征信息；
分类识别单元302具体用于基于Fisher准则的线性判别分类器，根据P300听觉特征信息，对预处理后的P300听觉信号进行分类识别，获得P300听觉分类信息；其中，LDA具有简单易行、速度快、存储量小等优点。
在另一种可选的实施方式中，特征提取单元301具体用于基于双向带通滤波算法，对预处理后的运动想象MI信号中的μ和β节律所在的频带进行MI特征提取，获得运动想象MI特征信息。分类识别单元302具体用于基于共同空间模式的空间滤波算法和机器学习算法，根据运动想象MI特征信息，对预处理后的运动想象MI信号进行分类识别，获得运动想象MI分类信息。
其中，CSP算法是通过计算信号的协方差矩阵，再对其对角化处理，使得一种状态下的空间滤波信号的方差最大化，同时另一种状态下的空间滤波信号的方差最小化，使得两种信号的方差距离拉大，有利于了二分类的问题。
本实施方式中，机器学习算法为支持向量机算法，SVM算法是基于结构风险最小化原则，在特征空间中构建最优分割超平面，从而使得学习器得到全局最优化，将两类运动想象MI特征信息区分开。
信息组合模块400将每一感官信号对应的EEG分类信息进行组合，获得EEG信号的识别结果；本实施例中，可以将SSVEP视觉分类信息、P300听觉分类信息和运动想象MI分类信息进行组合。
触发模块500基于EEG信号的识别结果，获得触发指令，以触发对VR场景对应操作的执行。
具体地，触发模块500可以在一种用户和虚拟现实设备交互的环境中，根据EEG信号的识别结果，按照预设的规则来获得触发指令，从而实现基于用户脑电信息的对于虚拟现实设备的反馈。例如在对虚拟现实游戏进行的交互控制中，根据稳态视觉诱发电位类别和运动想象脑电类别获取的识别结果，按照预设的规则获得相应的触发指令A，根据触发指令A对虚拟现实游戏中主角的运动进行控制；或是根据稳态视觉诱发电位类别和听觉P300脑电类别获取的识别结果，按上述方式获得触发指令B，由触发指令B控制对虚拟现实游戏中目标进行攻击。
本实施方式通过设置于识别结果对应的触发指令，能够将本实施例的控制方法结合实际应用场景，取得用户端和虚拟设备端的双向反馈的互动效果。
本实施例提供的多感官模态的BCI-VR控制系统能够使多感官模态相结合而提升大脑与BCI系统交互控制的精确度，从而大大提高单一模态BCI的训练效率、正确率、稳定性和控制命令的数量；通过融合SSVEP刺激模拟现实环境减缓了SSVEP单一视觉模态的BCI依赖于目标物体的闪烁刺激导致直接对用户的大脑重复刺激的适应性和疲劳感，缓解了视觉疲劳，提升了用户使用体验。
实施例3
本实施例提供了一种VR设备，包括实施例2中的多感官模态的BCI-VR系统。较佳地，VR设备是一种VR游戏设备。参见图3，示出了一种VR游戏设备的应用原理图。
具体地，在一种应用场景中，VR游戏设备基于VR游戏的游戏场景类型构建虚拟主角及目标物体；不同的虚拟主角及目标物体按照不同的闪烁频率进行闪烁，如虚拟主角的左手、右手、头和脚分别按不同闪烁频率闪烁以触发大脑产生视觉感官模态对应的SSVEP视觉信号，虚拟主角的左手、右手、头和脚按照不同的小概率声音频率进行刺激，触发大脑产生听觉感官模态对应的P300听觉信号，此外用户还产生运动想象MI信号。基于对上述用户产生的信号的；并综上对各类感官信号的EEG分类信息组合得到的识别结果，VR设备生成触发指令控制游戏中的虚拟主角移动及向目标物体射击，从而使得游戏在与用户的互动中继续顺利进行。
本实施例提供的VR设备基于多感官模态的BCI-VR控制系统，能够使多感官模态相结合而提升大脑与BCI系统交互控制的精确度，从而大大提高单一模态BCI的训练效率、正确率、稳定性和控制命令的数量；通过融合SSVEP刺激模拟现实环境减缓了SSVEP单一视觉模态的BCI依赖于目标物体的闪烁刺激导致直接对用户的大脑重复刺激的适应性和疲劳感，缓解了视觉疲劳，提升了用户使用体验。进而，本实施例的VR设备能够使运动功能障碍患者受益，并且提供了基于脑控的全新控制方式，代替了传统的手控方式，提升了虚拟场景领域的用户体验，具有广阔的应用前景。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
Claims (10)
1.一种多感官模态的BCI-VR控制方法，其特征在于，所述控制方法包括：
获取EEG信号，所述EEG信号由VR场景触发并且包括与不同感官模态分别对应的多个感官信号；
对所述感官信号进行特征提取与分类识别处理，分别获得与所述感官信号对应的EEG分类信息；
将所述EEG分类信息进行组合，以获得所述EEG信号的识别结果。
2.如权利要求1所述的多感官模态的BCI-VR控制方法，其特征在于，对所述感官信号进行特征提取与分类识别处理，分别获得与所述感官信号对应的EEG分类信息的步骤包括：
对所述感官信号进行特征提取，获得感官信号对应的EEG特征信息；
根据所述EEG特征信息对与其对应的所述感官信号进行分类识别，以获得所述感官信号对应的EEG分类信息。
3.如权利要求2所述的多感官模态的BCI-VR控制方法，其特征在于，所述感官模态包括视觉模态；所述视觉模态对应的感官信号为SSVEP视觉信号；对所述SSVEP视觉信号进行特征提取与分类识别处理，获得SSVEP视觉信号对应的EEG分类信息的步骤包括：
对所述SSVEP视觉信号进行特征提取，获得SSVEP视觉特征信息；
基于CCA算法，根据所述SSVEP视觉特征信息，对所述SSVEP视觉信号进行分类识别，获得SSVEP视觉分类信息。
4.如权利要求2所述的多感官模态的BCI-VR控制方法，其特征在于，所述感官模态包括听觉模态；所述听觉模态对应的感官信号为P300听觉信号；对所述P300听觉信号进行特征提取与分类识别处理，获得P300听觉信号对应的EEG分类信息的步骤包括：
基于相干平均法，对所述P300听觉信号进行特征提取，获得P300听觉特征信息；
基于LDA，根据所述P300听觉特征信息，对所述P300听觉信号进行分类识别，获得P300听觉分类信息。
5.如权利要求2所述的多感官模态的BCI-VR控制方法，其特征在于，所述感官模态包括运动想象MI模态；所述运动想象MI模态对应的感官信号为运动想象MI信号；对所述运动想象MI信号进行特征提取与分类识别处理，获得运动想象MI信号对应的EEG分类信息的步骤包括：
基于双向带通滤波算法，对所述运动想象MI信号进行特征提取，获得运动想象MI特征信息；
基于空间滤波算法和SVM算法，根据所述运动想象MI特征信息，对所述运动想象MI信号进行分类识别，获得运动想象MI分类信息。
6.如权利要求1所述的多感官模态的BCI-VR控制方法，其特征在于，对所述感官信号进行特征提取与分类识别处理，分别获得与所述感官信号对应的EEG分类信息的步骤之前还包括步骤：
对所述EEG信号进行放大处理；
选取参考基准信号，并对放大处理后的EEG信号进行去基准预处理；
基于空间滤波器，对去基准预处理后的EEG信号进行降噪处理。
7.如权利要求1所述的多感官模态的BCI-VR控制方法，其特征在于，对所述感官信号进行特征提取与分类识别处理，分别获得与所述感官信号对应的EEG分类信息的步骤之后还包括：
基于所述EEG信号的识别结果获得触发指令，以触发对应操作的执行。
8.一种多感官模态的BCI-VR系统，其特征在于，包括：
采集模块，用于获取EEG信号，所述EEG信号由VR场景触发并且包括与不同感官模态分别对应的多个感官信号；
信息处理模块，用于对所述感官信号进行特征提取与分类识别处理，分别获得与所述感官信号对应的EEG分类信息；
信息组合模块，用于将所述EEG分类信息进行组合，以获得所述EEG信号的识别结果。
9.一种VR设备，其特征在于，所述VR设备包括权利要求8所述的多感官模态的BCI-VR系统。
10.如权利要求9所述的VR设备，其特征在于，所述VR设备包括VR游戏设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110749709.1A CN113552941A (zh) | 2021-07-02 | 2021-07-02 | 多感官模态的bci-vr控制方法、系统及vr设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110749709.1A CN113552941A (zh) | 2021-07-02 | 2021-07-02 | 多感官模态的bci-vr控制方法、系统及vr设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113552941A true CN113552941A (zh) | 2021-10-26 |
Family
ID=78102588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110749709.1A Pending CN113552941A (zh) | 2021-07-02 | 2021-07-02 | 多感官模态的bci-vr控制方法、系统及vr设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113552941A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115067971A (zh) * | 2022-05-18 | 2022-09-20 | 上海暖禾脑科学技术有限公司 | 基于脑电信号反馈控制虚拟对象的神经反馈系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102866775A (zh) * | 2012-09-04 | 2013-01-09 | 同济大学 | 基于多模式融合的脑机接口控制系统及方法 |
| CN105528072A (zh) * | 2015-12-02 | 2016-04-27 | 天津大学 | 一种动态停止策略下的脑-机接口拼写系统 |
| US20170035317A1 (en) * | 2014-04-17 | 2017-02-09 | The Regents Of The University Of California | Portable brain activity sensing platform for assessment of visual field deficits |
| KR20180006573A (ko) * | 2016-07-08 | 2018-01-18 | 주식회사 에이치나인헬스케어 | 특정 장소내에 하이브리드형 bci 안경모듈·다방향디스플레이모듈을 통한 vr실감체험형성장치 및 방법 |
| US20190307356A1 (en) * | 2018-04-09 | 2019-10-10 | Massachusetts Institute Of Technology | Brain-computer interface for user's visual focus detection |
| CN110442244A (zh) * | 2019-08-22 | 2019-11-12 | 中国农业大学 | 一种基于脑机接口的虚拟现实游戏交互方法及系统 |
| US20200237221A1 (en) * | 2019-01-29 | 2020-07-30 | Beijing Boe Optoelectronics Technology Co., Ltd. | Wearable device, signal processing method and device |
-
2021
- 2021-07-02 CN CN202110749709.1A patent/CN113552941A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102866775A (zh) * | 2012-09-04 | 2013-01-09 | 同济大学 | 基于多模式融合的脑机接口控制系统及方法 |
| US20170035317A1 (en) * | 2014-04-17 | 2017-02-09 | The Regents Of The University Of California | Portable brain activity sensing platform for assessment of visual field deficits |
| CN105528072A (zh) * | 2015-12-02 | 2016-04-27 | 天津大学 | 一种动态停止策略下的脑-机接口拼写系统 |
| KR20180006573A (ko) * | 2016-07-08 | 2018-01-18 | 주식회사 에이치나인헬스케어 | 특정 장소내에 하이브리드형 bci 안경모듈·다방향디스플레이모듈을 통한 vr실감체험형성장치 및 방법 |
| US20190307356A1 (en) * | 2018-04-09 | 2019-10-10 | Massachusetts Institute Of Technology | Brain-computer interface for user's visual focus detection |
| US20200237221A1 (en) * | 2019-01-29 | 2020-07-30 | Beijing Boe Optoelectronics Technology Co., Ltd. | Wearable device, signal processing method and device |
| CN110442244A (zh) * | 2019-08-22 | 2019-11-12 | 中国农业大学 | 一种基于脑机接口的虚拟现实游戏交互方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 高上凯，吕宝粮，张丽清编；张钹总主编: "脑-计算机交互研究前沿", 31 December 2019, 上海交通大学出版社, pages: 60 - 64 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115067971A (zh) * | 2022-05-18 | 2022-09-20 | 上海暖禾脑科学技术有限公司 | 基于脑电信号反馈控制虚拟对象的神经反馈系统 |
| CN115067971B (zh) * | 2022-05-18 | 2023-12-19 | 上海暖禾脑科学技术有限公司 | 基于脑电信号反馈控制虚拟对象的神经反馈系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Multimodal BCIs: target detection, multidimensional control, and awareness evaluation in patients with disorder of consciousness | |
| Wang et al. | Common spatial pattern method for channel selelction in motor imagery based brain-computer interface | |
| Pfurtscheller et al. | 15 years of BCI research at Graz University of Technology: current projects | |
| Makeig et al. | A natural basis for efficient brain-actuated control | |
| Kam et al. | Non-homogeneous spatial filter optimization for ElectroEncephaloGram (EEG)-based motor imagery classification | |
| Wolpaw et al. | Brain-computer interface research at the Wadsworth Center | |
| Barbosa et al. | Activation of a mobile robot through a brain computer interface | |
| Yamawaki et al. | An enhanced time-frequency-spatial approach for motor imagery classification | |
| US20070060830A1 (en) | Method and system for detecting and classifying facial muscle movements | |
| CN103699216B (zh) | 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法 | |
| TW201238562A (en) | Brain wave control system and method | |
| Gupta et al. | Detecting eye movements in EEG for controlling devices | |
| WO2024114480A1 (zh) | 一种视觉刺激方法、脑机训练方法和脑机训练系统 | |
| CN111820876B (zh) | 一种脑电空间滤波器的动态构建方法 | |
| Birch et al. | Brain-computer interface research at the Neil Squire Foundation | |
| CN110262658B (zh) | 一种基于强化注意的脑机接口字符输入系统及实现方法 | |
| US11717163B2 (en) | Wearable device, signal processing method and device | |
| Gao et al. | Multi-ganglion ANN based feature learning with application to P300-BCI signal classification | |
| KR20150123423A (ko) | 뇌파를 이용하여 사용자의 감정을 분류하는 방법 및 시스템 | |
| Chen et al. | Effects of visual attention on tactile P300 BCI | |
| KR20190030611A (ko) | 뇌-컴퓨터 인터페이스 시스템 기반의 통합 신호 처리 방법 | |
| CN110688013A (zh) | 一种基于ssvep的英文键盘拼写系统及拼写方法 | |
| CN113552941A (zh) | 多感官模态的bci-vr控制方法、系统及vr设备 | |
| CN116088686B (zh) | 一种脑电溯源的运动想象脑机接口训练方法与系统 | |
| Ahmed et al. | Effective hybrid method for the detection and rejection of electrooculogram (EOG) and power line noise artefacts from electroencephalogram (EEG) mixtures |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: No. 337 Shahe Road, Jiangqiao Town, Jiading District, Shanghai, March 2018_ Room 203 JT3300 Applicant after: Shanghai Lisha Technology Co.,Ltd. Address before: 200233 room 502A, building 2, No. 391 Guiping Road, Xuhui District, Shanghai Applicant before: Shanghai Lisha Technology Co.,Ltd. |