CN110442244A - 一种基于脑机接口的虚拟现实游戏交互方法及系统 - Google Patents

一种基于脑机接口的虚拟现实游戏交互方法及系统 Download PDF

Info

Publication number
CN110442244A
CN110442244A CN201910779419.4A CN201910779419A CN110442244A CN 110442244 A CN110442244 A CN 110442244A CN 201910779419 A CN201910779419 A CN 201910779419A CN 110442244 A CN110442244 A CN 110442244A
Authority
CN
China
Prior art keywords
classification
feature
eeg signals
mental imagery
reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910779419.4A
Other languages
English (en)
Inventor
李想
钱鹏昊
许茂泽
王思诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN201910779419.4A priority Critical patent/CN110442244A/zh
Publication of CN110442244A publication Critical patent/CN110442244A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Neurosurgery (AREA)
  • Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供一种基于脑机接口的虚拟现实游戏交互方法及系统，该方法包括：获取操作者的脑电信号，所述脑电信号包括稳态视觉诱发电位信号和运动想象脑电信号；对所述稳态视觉诱发电位信号进行特征提取处理，得到稳态视觉诱发电位特征；对所述运动想象脑电信号进行特征提取处理，得到运动想象特征；对所述稳态视觉诱发电位特征进行分类识别，得到稳态视觉诱发电位类别；对运动想象特征进行分类识别，得到运动想象类别；根据所述稳态视觉诱发电位类别和所述运动想象类别，获取对应的控制指令，以用于对虚拟现实游戏进行交互控制。本发明实施例提高了虚拟现实游戏的操作性，同时拓展了脑机接口的应用范围。

Description

一种基于脑机接口的虚拟现实游戏交互方法及系统
技术领域
本发明涉及脑电信号采集分析技术领域，尤其涉及一种基于脑机接口的虚拟现实游戏交互方法及系统。
背景技术
虚拟现实技术(Virtual Reality，简称VR)是一种可以创建和体验虚拟世界的计算机仿真系统，利用计算机生成一种模拟环境，使用户沉浸到该虚拟环境中。虚拟现实技术就是利用现实生活中的数据，通过计算机技术产生的电子信号，将其与各种输出设备结合使其转化为能够让人们感受到的现象，这些现象可以是现实中真真切切的物体，也可以是我们肉眼所看不到的物质，通过三维模型表现出来。因为这些现象不是我们直接所能看到的，而是通过计算机技术模拟出来的现实中的世界，故称为虚拟现实。
基于VR技术构建的VR游戏，使得用户可以在虚拟现实世界体验到最真实的感受，其模拟环境的真实性与现实世界难辨真假，让人有种身临其境的感觉；同时，虚拟现实具有一切人类所拥有的感知功能，比如听觉、视觉、触觉、味觉、嗅觉等感知系统；最后，它具有超强的仿真系统，真正实现了人机交互，使人在操作过程中，可以随意操作并且得到环境最真实的反馈。
然而，现有的VR游戏大多数都是采用VR头盔定位，操作手柄进行交互控制，导致操作的局限性较大，用户的操作体验较差。因此，现在亟需一种基于脑机接口的虚拟现实游戏交互方法及系统来解决上述问题。
发明内容
针对现有技术存在的问题，本发明实施例提供一种基于脑机接口的虚拟现实游戏交互方法及系统。
第一方面，本发明实施例提供了一种基于脑机接口的虚拟现实游戏交互方法，包括：
获取操作者的脑电信号，所述脑电信号包括稳态视觉诱发电位信号和运动想象脑电信号；
对所述稳态视觉诱发电位信号进行特征提取处理，得到稳态视觉诱发电位特征；对所述运动想象脑电信号进行特征提取处理，得到运动想象特征；
对所述稳态视觉诱发电位特征进行分类识别，得到稳态视觉诱发电位类别；对运动想象特征进行分类识别，得到运动想象类别；
根据所述稳态视觉诱发电位类别和所述运动想象类别，获取对应的控制指令，以用于对虚拟现实游戏进行交互控制。
进一步地，在所述获取操作者的脑电信号之后，所述方法还包括：
对所述脑电信号进行预处理，以根据预处理后的脑电信号对虚拟现实游戏进行交互控制，其中，所述预处理包括归一化处理和滤波去噪处理。
进一步地，在所述获取操作者的脑电信号之前，所述方法还包括：
基于虚拟现实技术，并根据虚拟现实游戏的游戏场景类型，构建用于触发稳态视觉诱发电位信号和运动想象脑电信号的虚拟物体；
根据所述稳态视觉诱发电位类别对应的控制指令和所述运动想象类别对应的控制指令，对所述虚拟物体进行相应的操作，以用于对虚拟现实游戏进行交互控制。
进一步地，所述对所述稳态视觉诱发电位信号进行特征提取处理，得到稳态视觉诱发电位特征；对所述运动想象脑电信号进行特征提取处理，得到运动想象特征，包括：
根据快速傅里叶变换，对所述稳态视觉诱发电位信号进行特征提取，得到稳态视觉诱发电位特征；
根据离散小波变换，对所述运动想象脑电信号进行特征提取，得到运动想象特征。
进一步地，所述对所述稳态视觉诱发电位特征进行分类识别，得到稳态视觉诱发电位类别；对运动想象特征进行分类识别，得到运动想象类别，包括：
根据典型相关分析法，对稳态视觉诱发电位特征进行分类识别，得到稳态视觉诱发电位类别；
根据线性回归算法，对运动想象特征进行分类识别，得到运动想象类别。
进一步地，所述虚拟现实游戏的游戏场景通过Unity3d技术构建得到。
第二方面，本发明实施例提供了一种基于脑机接口的虚拟现实游戏交互系统，包括：
脑电信号获取模块，用于获取操作者的脑电信号，所述脑电信号包括稳态视觉诱发电位信号和运动想象脑电信号；
脑电信号特征提取模块，用于对所述稳态视觉诱发电位信号进行特征提取处理，得到稳态视觉诱发电位特征；对所述运动想象脑电信号进行特征提取处理，得到运动想象特征；
分类识别模块，用于对所述稳态视觉诱发电位特征进行分类识别，得到稳态视觉诱发电位类别；对运动想象特征进行分类识别，得到运动想象类别；
交互控制模块，用于根据所述稳态视觉诱发电位类别和运动想象类别，获取对应的控制指令，以用于对虚拟现实游戏进行交互控制。
进一步地，所述系统还包括：
预处理模块，用于对所述脑电信号进行预处理，以根据预处理后的脑电信号对虚拟现实游戏进行交互控制，其中，所述预处理包括归一化处理和滤波去噪处理。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的一种基于脑机接口的虚拟现实游戏交互方法及系统，将视觉刺激产生的脑电信号和运动想象产生的脑电信号，与虚拟现实技术相结合，通过稳态视觉诱发电位信号和运动想象脑电信号实现虚拟现实游戏的交互控制，使得操作者无需再用过头盔定位和手柄操作虚拟现实游戏，提高了虚拟现实游戏的操作性，同时拓展了脑机接口的应用范围。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于脑机接口的虚拟现实游戏交互方法的流程示意图；
图2为本发明实施例提供的基于脑机接口的虚拟现实游戏交互系统的结构示意图；
图3为本发明实施例提供的电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
脑机接口(Brain-Computer Interface，简称BCI)作为一种非神经肌肉传导的通道，可直接把人体头皮上采集到的脑电信号转换成计算机设备的控制指令，并在医学领域取得了一定的成果。其中，脑电信号的获取有侵入式和非侵入式两种方式，前者直接将电极植入到人体大脑的灰质，记录皮质脑电图信号，因此，获取到的脑电信号的质量较高，但具有手术风险；而非侵入式则是将电极贴附在人体头皮处，从而获取脑电信号。本发明实施例所采用的脑电信号为非侵入式，操作方便简单，并且无需经过手术风险对人体脑电信号进行采集。
图1为本发明实施例提供的基于脑机接口的虚拟现实游戏交互方法的流程示意图，如图1所示，本发明实施例提供了一种基于脑机接口的虚拟现实游戏交互方法，包括：
步骤101，获取操作者的脑电信号，所述脑电信号包括稳态视觉诱发电位信号和运动想象脑电信号。
在本发明实施例中，通过采集操作者脑部头皮相应位置的脑电信号，从而得到稳态视觉诱发电位(Steady-State Visual Evoked Potentials，简称SSVEP)信号和运动想象脑电信号，其中，SSVEP信号为操作者在受到一个刺激频率(固定频率)的视觉刺激时，操作者的大脑视觉皮层会产生一个连续的，且与刺激频率相关的响应；运动想象脑电信号为操作者的大脑在进行思维活动产生运动意识时，其脑部神经系统会产生一系列的生物电活动变化。在本发明实施例中，可采用较为轻便以及抗干扰能力强的BCI设备对脑电信号进行采集，从而降低采集环境中的电磁波干扰，提高采集到的脑电信号的精确度。
具体地，操作者首先佩戴脑电帽(例如8号盐水电极脑电帽)和VR头盔，并将这些信号采集设备与计算机端进行连接；然后，通过计算机端开启VR游戏，操作者根据VR游戏中的提示，产生特定的脑电信号，并通过脑电帽将采集到到脑电信号发送到计算机端进行处理；计算机端通过MATLAB对脑电信号进行分析转换，得到对应的控制信号，并将控制信号反馈到VR游戏中，从而完成VR游戏的交互控制。
步骤102，对所述稳态视觉诱发电位信号进行特征提取处理，得到稳态视觉诱发电位特征；对所述运动想象脑电信号进行特征提取处理，得到运动想象特征；
步骤103，对所述稳态视觉诱发电位特征进行分类识别，得到稳态视觉诱发电位类别；对运动想象特征进行分类识别，得到运动想象类别；
步骤104，根据所述稳态视觉诱发电位类别和所述运动想象类别，获取对应的控制指令，以用于对虚拟现实游戏进行交互控制。
在本发明实施例中，根据VR游戏的游戏场景类型，在该VR游戏场景中，设置有不同闪烁频率的虚拟物体，并为这些虚拟物体设置了对应的控制动作，当操作者的眼睛通过VR设备观察这些虚拟物体时，通过观察对象发生改变，使得SSVEP信号发生变化。根据SSVEP信号的变化规律可知，当人体眼睛观察到不同闪烁频率的虚拟物体时，其SSVEP会产生相应的响应，因此，根据设置的虚拟物体，从SSVEP信号中提取得到对应的SSVEP特征。例如，在VR游戏场景中，某个虚拟物体位于操作者的右边，人眼在对这个虚拟物体进行观察时，SSVEP信号也会发生变化，此时在SSVEP信号中进行特征提取，并对提取得到的特征进行识别，从而判断获知提取到的特征为观察到该虚拟物体的脑电信号数据，通过该特征对应的控制指令，实现操作者在VR游戏中的视角变化。
进一步地，由于每个虚拟物体还包括有可操作的控制动作，需要通过运动想象脑电信号实现虚拟物体的交互控制。在本发明实施例中，运动想象脑电信号对应有三种想象类型，分别为左手动作想象、右手动作想象和双脚运动想象，当操作者通过思维去想象不同类型的动作时，在大脑皮层的相应区域会产生特定的脑电信号，因此，通过提取这些信号特征，从而实现VR游戏中虚拟物体的交互控制。例如，当操作者在进行运动想象时，将会从运动脑电信号中提取得到对应的脑电数据特征，并对这些脑电数据特征进行识别，根据识别结果对实现在VR游戏场景中的交互控制，具体地，在操作者的眼睛观察到目标虚拟物体时，首先操作者在虚拟游戏场景中，视角方向会发生改变，当操作者的运动想象为双脚运动想象，根据预设控制规则，双脚运动想象对应的控制动作为靠近虚拟物体，此时，操作者会体会到在VR游戏中，正在向该虚拟物体靠近；相应地，若此时操作者继续想象不同类型运动想象，在VR游戏中场景中会产生不同的交互控制，比如，左手运动想象为拿去该虚拟物体，右手运动想象为控制该虚拟物体悬浮。
本发明实施例提供的一种基于脑机接口的虚拟现实游戏交互方法，将视觉刺激产生的脑电信号和运动想象产生的脑电信号，与虚拟现实技术相结合，通过稳态视觉诱发电位信号和运动想象脑电信号实现虚拟现实游戏的交互控制，使得操作者无需再用过头盔定位和手柄操作虚拟现实游戏，提高了虚拟现实游戏的操作性，同时拓展了脑机接口的应用范围。
在上述实施例的基础上，在所述获取操作者的脑电信号之后，所述方法还包括：
对所述脑电信号进行预处理，以根据预处理后的脑电信号对虚拟现实游戏进行交互控制，其中，所述预处理包括归一化处理和滤波去噪处理。
在本发明实施例中，采集到的脑电信号属于微弱信号，并夹杂有许多噪声和干扰信号，因此，首先需要对脑电信号进行预处理，通过对脑电信号进行归一化处理，提高脑电信号的信噪比，并根据预设的虚拟物体的刺激频率，设置相应的滤波器对脑电信号进行滤波，从而得到预处理后的脑电信号。具体地，在本发明一实施例中，首先可通过noisetool工具对脑电信号的原始波形进行波形重整(detrend)，并对伪迹点进行标记；然后，计算滑动时间窗口的方差，若方差小于预设阈值，或方差数值大于设备极限值，则判断获知数据存在缺失；再通过0.5至40Hz带通滤波器进行滤波，若波形中没有高于预设阈值的尖峰，则判断波形有效，反之则无效；最后，保留非缺失非伪迹的数据段，从而得到预处理后的脑电信号。
在上述实施例的基础上，在所述获取操作者的脑电信号之前，所述方法还包括：
基于虚拟现实技术，并根据虚拟现实游戏的游戏场景类型，构建用于触发稳态视觉诱发电位信号和运动想象脑电信号的虚拟物体；
根据所述稳态视觉诱发电位类别对应的控制指令和所述运动想象类别对应的控制指令，对所述虚拟物体进行相应的操作，以用于对虚拟现实游戏进行交互控制。
在本发明实施例中，通过VR技术，结合游戏场景类型，在VR游戏中构建用于触发稳态视觉诱发电位信号和运动想象脑电信号的虚拟物体，其中，不同闪烁频率对应不同的虚拟物体，并为每个虚体物体设置运动想象对应的交互控制动作(可根据VR游戏场景的切换，相同的运动想象可对应多种交互控制动作)。具体地，在本发明一实施例中，构建的VR游戏场景为近未来世界场景，在该场景中，设置的虚拟物体包括木箱、幼苗和装满水的铁桶，当操作者注视到木箱时，通过想象左手运动，可控制该木箱隔空抬起，此时可观察到木箱中有一颗幼苗；然后，操作者将目光转移到装满水的铁桶，通过想象右手动作，可控制铁桶中的水浇灌到幼苗上，此时，幼苗速度生长，并形成一颗结满果实的大树，操作者对其中某个果实进行几秒的凝视，并通过运动想象(设置为想象左手运动)，将该果实击落，在通过想象双脚运动，移动到该果实的落地处，最后通过想象右手运动将该果实拾取。在本发明另一实施例中，还可在上述VR游戏场景的四个角落设置不同频率的闪烁，以实现操作者在观察不同频率的闪烁时，实现在该VR游戏场景中的自由移动。
在上述实施例的基础上，所述对所述稳态视觉诱发电位信号进行特征提取处理，得到稳态视觉诱发电位特征；对所述运动想象脑电信号进行特征提取处理，得到运动想象特征，包括：
根据快速傅里叶变换，对所述稳态视觉诱发电位信号进行特征提取，得到稳态视觉诱发电位特征。
根据离散小波变换，对所述运动想象脑电信号进行特征提取，得到运动想象特征。
在上述实施例的基础上，所述对所述稳态视觉诱发电位特征进行分类识别，得到稳态视觉诱发电位类别；对运动想象特征进行分类识别，得到运动想象类别，包括：
根据典型相关分析法，对稳态视觉诱发电位特征进行分类识别，得到稳态视觉诱发电位类别；
根据线性回归算法，对运动想象特征进行分类识别，得到运动想象类别。
在本发明实施例中，通过MATLAB对SSVEP信号和运动想象脑电信号进行特征提取和分类识别处理，产生不同的VR游戏控制命令，从而在VR游戏中进行交互控制。其中，在本发明实施例中，对SSVEP信号进行特征提取，当人眼试注视VR游戏中不同闪烁频率的视觉刺激时，会产生相应的SSVEP幅度增量，即产生对应响应频率的脑电信号。因此，通过典型相关分析法(Canonical Correlation Analysis，简称CCA)，对脑电信号与闪烁频率对应的正弦信号进行处理，将相关系数最大的频率作为注视闪烁频率对应的脑电信号频率，从而提取得到SSVEP特征。具体地，在本发明一实施例中，SSVEP信号的处理流程为：首先，以3秒为时间窗口截取SSVEP信号数据，并去除前后30秒的数据，取中间2分钟的数据，以用于下一步骤；然后，通过带通滤波器，提取0.5至40Hz波形；再按照预设频率，构建预设频率对应的正弦函数；最后，根据CCA分析法，根据滤波后的波形和每个预设频率计算相关系数，并取相关系数最大的频率作为输出结果，即得到SSVEP特征。
在本发明另一实施例中，运动想象的处理流程为：首先，在游戏开始前，通过受试者想象左右手及脚的运动想象，采集不同脑电信号做为训练集，具体为，开始前2s的VR屏幕上无任何显示，处于黑屏状态，此阶段受试者不进行任何运动想象，处于放松状态；第2s开始，屏幕中央出现提示符号“+”，提示运动想象指令即将出现，受试者需要集中注意力，其中，提示符号“+”在VR屏幕上持续显示1s；实验的第3s开始，提示符号“+”消失，屏幕中央出现向左、向右或向上的箭头，提示受试者分别想象左手、右手和脚的运动，其中，这个过程持续4s，在此期间提示箭头一直显示在VR屏幕中间，直到到第7秒，实验结束，提示箭头消失；在单次实验结束后，有2-3秒的随机间隔时间，然后继续下一次实验。需要说明的是，在本发明实施例中，以30个单次实验为一组，包括左右手脚各10次，每组实验结束之后，受试者可以休息2-5分钟，每个受试者要求完成8～20组实验，具体情况按照被试完成情况而定。在本发明实施例中，由于不同类型的运动想像特征是不同的，需要通过傅里叶变换之后的频谱图，选取特定频带，并利用线性分类器(fisher三分类)分类输出结果，即得到运动想象特征。
在上述实施例的基础上，所述虚拟现实游戏的游戏场景通过Unity3d技术构建得到。
在本发明实施例中，基于脑机接口使用的场景需求，使用Unity3d技术设计VR游戏场景，从而提高VR游戏交互控制的舒适度。
图2为本发明实施例提供的基于脑机接口的虚拟现实游戏交互系统的结构示意图，如图2所示，本发明实施例提供了一种基于脑机接口的虚拟现实游戏交互系统，包括脑电信号获取模块201、脑电信号特征提取模块202、分类识别模块203和交互控制模块204，其中，脑电信号获取模块201用于获取操作者的脑电信号，所述脑电信号包括稳态视觉诱发电位信号和运动想象脑电信号；脑电信号特征提取模块202用于对所述稳态视觉诱发电位信号进行特征提取处理，得到稳态视觉诱发电位特征；对所述运动想象脑电信号进行特征提取处理，得到运动想象特征；分类识别模块203用于对所述稳态视觉诱发电位特征进行分类识别，得到稳态视觉诱发电位类别；对运动想象特征进行分类识别，得到运动想象类别；交互控制模块204用于根据所述稳态视觉诱发电位类别和运动想象类别，获取对应的控制指令，以用于对虚拟现实游戏进行交互控制。
在本发明实施例中，脑电信号获取模块201通过采集操作者脑部头皮相应位置的脑电信号，从而得到稳态视觉诱发电位(Steady-State Visual Evoked Potentials，简称SSVEP)信号和运动想象脑电信号，其中，SSVEP信号为操作者在受到一个刺激频率(固定频率)的视觉刺激时，操作者的大脑视觉皮层会产生一个连续的，且与刺激频率相关的响应；运动想象脑电信号为操作者的大脑在进行思维活动产生运动意识时，其脑部神经系统会产生一系列的生物电活动变化。在本发明实施例中，脑电信号获取模块201可采用较为轻便以及抗干扰能力强的BCI设备对脑电信号进行采集，从而降低采集环境中的电磁波干扰，提高采集到的脑电信号的精确度。
进一步地，当操作者的眼睛通过VR设备观察VR游戏中的虚拟物体时，通过观察对象发生改变，使得SSVEP信号发生变化。根据SSVEP信号的变化规律可知，当人体眼睛观察到不同闪烁频率的虚拟物体时，其SSVEP会产生相应的响应，因此，根据设置的虚拟物体，脑电信号特征提取模块202从SSVEP信号中提取得到对应的SSVEP特征。例如，在VR游戏场景中，某个虚拟物体位于操作者的右边，人眼在对这个虚拟物体进行观察时，SSVEP信号也会发生变化，此时，脑电信号特征提取模块202在SSVEP信号中进行特征提取，分类识别模块203对提取得到的特征进行识别，从而判断获知提取到的特征为观察到该虚拟物体的脑电信号数据；最后，交互控制模块204通过该特征对应的控制指令，实现操作者在VR游戏中的视角变化。
进一步地，由于每个虚拟物体还包括有可操作的控制动作，交互控制模块204需要通过运动想象脑电信号实现虚拟物体的交互控制。因此，脑电信号特征提取模块202通过提取这些运动想象脑电信号特征，分类识别模块203对提取得到的特征进行识别，从而判断获知提取到的特征为大脑想象该虚拟物体运动的脑电信号数据；最后，交互控制模块204通过该特征对应的控制指令，实现VR游戏中虚拟物体的交互控制。
本发明实施例提供的一种基于脑机接口的虚拟现实游戏交互系统，将视觉刺激产生的脑电信号和运动想象产生的脑电信号，与虚拟现实技术相结合，通过稳态视觉诱发电位信号和运动想象脑电信号实现虚拟现实游戏的交互控制，使得操作者无需再用过头盔定位和手柄操作虚拟现实游戏，提高了虚拟现实游戏的操作性，同时拓展了脑机接口的应用范围。
在上述实施例的基础上，所述系统还包括：预处理模块，用于对所述脑电信号进行预处理，以根据预处理后的脑电信号对虚拟现实游戏进行交互控制，其中，所述预处理包括归一化处理和滤波去噪处理。
本发明实施例提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
图3为本发明实施例提供的电子设备结构示意图，参照图3，该电子设备可以包括：处理器(processor)301、通信接口(Communications Interface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令，以执行如下方法：获取操作者的脑电信号，所述脑电信号包括稳态视觉诱发电位信号和运动想象脑电信号；对所述稳态视觉诱发电位信号进行特征提取处理，得到稳态视觉诱发电位特征；对所述运动想象脑电信号进行特征提取处理，得到运动想象特征；对所述稳态视觉诱发电位特征进行分类识别，得到稳态视觉诱发电位类别；对运动想象特征进行分类识别，得到运动想象类别；根据所述稳态视觉诱发电位类别和所述运动想象类别，获取对应的控制指令，以用于对虚拟现实游戏进行交互控制。
此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于脑机接口的虚拟现实游戏交互方法，例如包括：获取操作者的脑电信号，所述脑电信号包括稳态视觉诱发电位信号和运动想象脑电信号；对所述稳态视觉诱发电位信号进行特征提取处理，得到稳态视觉诱发电位特征；对所述运动想象脑电信号进行特征提取处理，得到运动想象特征；对所述稳态视觉诱发电位特征进行分类识别，得到稳态视觉诱发电位类别；对运动想象特征进行分类识别，得到运动想象类别；根据所述稳态视觉诱发电位类别和所述运动想象类别，获取对应的控制指令，以用于对虚拟现实游戏进行交互控制。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于脑机接口的虚拟现实游戏交互方法，其特征在于，包括：
获取操作者的脑电信号，所述脑电信号包括稳态视觉诱发电位信号和运动想象脑电信号；
对所述稳态视觉诱发电位信号进行特征提取处理，得到稳态视觉诱发电位特征；对所述运动想象脑电信号进行特征提取处理，得到运动想象特征；
对所述稳态视觉诱发电位特征进行分类识别，得到稳态视觉诱发电位类别；对运动想象特征进行分类识别，得到运动想象类别；
根据所述稳态视觉诱发电位类别和所述运动想象类别，获取对应的控制指令，以用于对虚拟现实游戏进行交互控制。
2.根据权利要求1所述的基于脑机接口的虚拟现实游戏交互方法，其特征在于，在所述获取操作者的脑电信号之后，所述方法还包括：
对所述脑电信号进行预处理，以根据预处理后的脑电信号对虚拟现实游戏进行交互控制，其中，所述预处理包括归一化处理和滤波去噪处理。
3.根据权利要求1所述的基于脑机接口的虚拟现实游戏交互方法，其特征在于，在所述获取操作者的脑电信号之前，所述方法还包括：
基于虚拟现实技术，并根据虚拟现实游戏的游戏场景类型，构建用于触发稳态视觉诱发电位信号和运动想象脑电信号的虚拟物体；
根据所述稳态视觉诱发电位类别对应的控制指令和所述运动想象类别对应的控制指令，对所述虚拟物体进行相应的操作，以用于对虚拟现实游戏进行交互控制。
4.根据权利要求1所述的基于脑机接口的虚拟现实游戏交互方法，其特征在于，所述对所述稳态视觉诱发电位信号进行特征提取处理，得到稳态视觉诱发电位特征；对所述运动想象脑电信号进行特征提取处理，得到运动想象特征，包括：
根据快速傅里叶变换，对所述稳态视觉诱发电位信号进行特征提取，得到稳态视觉诱发电位特征；
根据离散小波变换，对所述运动想象脑电信号进行特征提取，得到运动想象特征。
5.根据权利要求1所述的基于脑机接口的虚拟现实游戏交互方法，其特征在于，对所述稳态视觉诱发电位特征进行分类识别，得到稳态视觉诱发电位类别；对运动想象特征进行分类识别，得到运动想象类别，包括：
根据典型相关分析法，对稳态视觉诱发电位特征进行分类识别，得到稳态视觉诱发电位类别；
根据线性回归算法，对运动想象特征进行分类识别，得到运动想象类别。
6.根据权利要求3所述的基于脑机接口的虚拟现实游戏交互方法，其特征在于，所述虚拟现实游戏的游戏场景通过Unity3d技术构建得到。
7.一种基于脑机接口的虚拟现实游戏交互系统，其特征在于，包括：
脑电信号获取模块，用于获取操作者的脑电信号，所述脑电信号包括稳态视觉诱发电位信号和运动想象脑电信号；
脑电信号特征提取模块，用于对所述稳态视觉诱发电位信号进行特征提取处理，得到稳态视觉诱发电位特征；对所述运动想象脑电信号进行特征提取处理，得到运动想象特征；
分类识别模块，用于对所述稳态视觉诱发电位特征进行分类识别，得到稳态视觉诱发电位类别；对运动想象特征进行分类识别，得到运动想象类别；
交互控制模块，用于根据所述稳态视觉诱发电位类别和运动想象类别，获取对应的控制指令，以用于对虚拟现实游戏进行交互控制。
8.根据权利要求7所述的基于脑机接口的虚拟现实游戏交互系统，其特征在于，所述系统还包括：
预处理模块，用于对所述脑电信号进行预处理，以根据预处理后的脑电信号对虚拟现实游戏进行交互控制，其中，所述预处理包括归一化处理和滤波去噪处理。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于脑机接口的虚拟现实游戏交互方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述基于脑机接口的虚拟现实游戏交互方法的步骤。
CN201910779419.4A 2019-08-22 2019-08-22 一种基于脑机接口的虚拟现实游戏交互方法及系统 Pending CN110442244A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910779419.4A CN110442244A (zh) 2019-08-22 2019-08-22 一种基于脑机接口的虚拟现实游戏交互方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910779419.4A CN110442244A (zh) 2019-08-22 2019-08-22 一种基于脑机接口的虚拟现实游戏交互方法及系统

Publications (1)

Publication Number Publication Date
CN110442244A true CN110442244A (zh) 2019-11-12

Family

ID=68437166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910779419.4A Pending CN110442244A (zh) 2019-08-22 2019-08-22 一种基于脑机接口的虚拟现实游戏交互方法及系统

Country Status (1)

Country Link
CN (1) CN110442244A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111991806A (zh) * 2020-08-28 2020-11-27 北京捷通华声科技股份有限公司 游戏操控方法及装置
CN112870687A (zh) * 2021-02-22 2021-06-01 华南理工大学 一种基于脑机接口的象棋操作方法
CN113552941A (zh) * 2021-07-02 2021-10-26 上海厉鲨科技有限公司 多感官模态的bci-vr控制方法、系统及vr设备
CN114003048A (zh) * 2021-12-31 2022-02-01 季华实验室 多目标对象的运动控制方法、装置、终端设备及介质
CN114027870A (zh) * 2020-12-09 2022-02-11 武汉联影医疗科技有限公司 医疗控制设备、系统、方法、装置和计算机设备
CN114115547A (zh) * 2022-01-27 2022-03-01 中国医学科学院生物医学工程研究所 一种混合脑机接口的目标呈现方法及装置
CN114367090A (zh) * 2021-12-15 2022-04-19 郑州大学 一种上肢训练系统、方法及可读存储介质
CN116360602A (zh) * 2023-05-16 2023-06-30 中国第一汽车股份有限公司 一种脑机接口功能改进、测试方法、装置、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102866775A (zh) * 2012-09-04 2013-01-09 同济大学 基于多模式融合的脑机接口控制系统及方法
CN103699217A (zh) * 2013-11-18 2014-04-02 南昌大学 一种基于运动想象和稳态视觉诱发电位的二维光标运动控制系统及方法
CN103955269A (zh) * 2014-04-09 2014-07-30 天津大学 一种基于虚拟现实环境的智能眼镜脑-机接口方法
CN106909226A (zh) * 2017-03-06 2017-06-30 广东工业大学 一种多态脑机接口系统
CN108008810A (zh) * 2016-11-01 2018-05-08 深圳纬目信息技术有限公司 一种基于运动想象的确认方法和系统
CN108597584A (zh) * 2018-03-06 2018-09-28 上海大学 结合稳态视觉诱发电位及运动想象的三阶段脑控上肢康复方法
CN109471530A (zh) * 2018-10-22 2019-03-15 吉林大学 基于稳态视觉诱发电位和运动想象的脑控输入法
US20190212816A1 (en) * 2018-01-09 2019-07-11 Holland Bloorview Kids Rehabilitation Hospital Eeg brain-computer interface platform and process for detection of changes to mental state

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102866775A (zh) * 2012-09-04 2013-01-09 同济大学 基于多模式融合的脑机接口控制系统及方法
CN103699217A (zh) * 2013-11-18 2014-04-02 南昌大学 一种基于运动想象和稳态视觉诱发电位的二维光标运动控制系统及方法
CN103955269A (zh) * 2014-04-09 2014-07-30 天津大学 一种基于虚拟现实环境的智能眼镜脑-机接口方法
CN108008810A (zh) * 2016-11-01 2018-05-08 深圳纬目信息技术有限公司 一种基于运动想象的确认方法和系统
CN106909226A (zh) * 2017-03-06 2017-06-30 广东工业大学 一种多态脑机接口系统
US20190212816A1 (en) * 2018-01-09 2019-07-11 Holland Bloorview Kids Rehabilitation Hospital Eeg brain-computer interface platform and process for detection of changes to mental state
CN108597584A (zh) * 2018-03-06 2018-09-28 上海大学 结合稳态视觉诱发电位及运动想象的三阶段脑控上肢康复方法
CN109471530A (zh) * 2018-10-22 2019-03-15 吉林大学 基于稳态视觉诱发电位和运动想象的脑控输入法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111991806A (zh) * 2020-08-28 2020-11-27 北京捷通华声科技股份有限公司 游戏操控方法及装置
CN114027870A (zh) * 2020-12-09 2022-02-11 武汉联影医疗科技有限公司 医疗控制设备、系统、方法、装置和计算机设备
CN114027870B (zh) * 2020-12-09 2023-11-21 武汉联影医疗科技有限公司 医疗控制设备、系统、方法、装置和计算机设备
CN112870687A (zh) * 2021-02-22 2021-06-01 华南理工大学 一种基于脑机接口的象棋操作方法
CN112870687B (zh) * 2021-02-22 2023-10-24 华南理工大学 一种基于脑机接口的象棋操作方法
CN113552941A (zh) * 2021-07-02 2021-10-26 上海厉鲨科技有限公司 多感官模态的bci-vr控制方法、系统及vr设备
CN114367090A (zh) * 2021-12-15 2022-04-19 郑州大学 一种上肢训练系统、方法及可读存储介质
CN114003048A (zh) * 2021-12-31 2022-02-01 季华实验室 多目标对象的运动控制方法、装置、终端设备及介质
CN114003048B (zh) * 2021-12-31 2022-04-26 季华实验室 多目标对象的运动控制方法、装置、终端设备及介质
CN114115547A (zh) * 2022-01-27 2022-03-01 中国医学科学院生物医学工程研究所 一种混合脑机接口的目标呈现方法及装置
CN116360602A (zh) * 2023-05-16 2023-06-30 中国第一汽车股份有限公司 一种脑机接口功能改进、测试方法、装置、设备及介质
CN116360602B (zh) * 2023-05-16 2023-08-18 中国第一汽车股份有限公司 一种脑机接口功能改进、测试方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN110442244A (zh) 一种基于脑机接口的虚拟现实游戏交互方法及系统
Ebrahimi et al. Brain-computer interface in multimedia communication
CN109992113B (zh) 一种基于多场景诱发的mi-bci系统及其控制方法
Chen et al. Phase space reconstruction for improving the classification of single trial EEG
Scherer et al. Toward self-paced brain–computer communication: navigation through virtual worlds
CN113398422B (zh) 基于运动想象-脑机接口和虚拟现实的康复训练系统及方法
CN106095086B (zh) 一种基于无创电刺激的运动想象脑机接口控制方法
CN107957783A (zh) 一种基于脑电与肌电信息的多模式智能控制系统及方法
CN106362287A (zh) 一种新型mi‑sssep混合脑‑机接口方法及系统
CN109657560A (zh) 机械手臂控制在线脑-机接口系统及实现方法
CN112987917B (zh) 运动想象增强方法、装置、电子设备和存储介质
CN108021232B (zh) 一种大脑皮层电信号解码的方法和装置
Fatima et al. Towards a low cost Brain-computer Interface for real time control of a 2 DOF robotic arm
CN109326341A (zh) 一种康复动作引导方法和装置
CN106502404A (zh) 一种基于稳态体感诱发电位的新型脑‑机接口方法及系统
CN113053492A (zh) 基于用户背景和情绪的自适应虚拟现实干预系统及方法
Fang et al. Recent advances of P300 speller paradigms and algorithms
CN108319367B (zh) 一种基于运动起始诱发电位的脑机接口方法
CN115444717B (zh) 基于脑机接口的肢体功能康复训练方法及系统
CN107272905A (zh) 一种基于eog和emg的交互方法
Petoku et al. Object movement motor imagery for EEG based BCI system using convolutional neural networks
CN116098634A (zh) 一种基于刺激事件的脑功能检测评估方法、装置及系统
Dietrich et al. Towards EEG-based eye-tracking for interaction design in head-mounted devices
CN108388345A (zh) 基于小波多分辨率复杂网络的脑电极优化方法及其应用
CN106940592B (zh) 一种脑控虚拟人避障控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191112