CN109814720A - 一种设备的脑控方法及系统 - Google Patents

一种设备的脑控方法及系统 Download PDF

Info

Publication number
CN109814720A
CN109814720A CN201910107874.XA CN201910107874A CN109814720A CN 109814720 A CN109814720 A CN 109814720A CN 201910107874 A CN201910107874 A CN 201910107874A CN 109814720 A CN109814720 A CN 109814720A
Authority
CN
China
Prior art keywords
signal
eeg signals
equipment
virtual controlling
controlling key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910107874.XA
Other languages
English (en)
Other versions
CN109814720B (zh
Inventor
何惠东
张�浩
陈丽莉
雷雨
韩鹏
陆原介
张硕
孙玉坤
范清文
刘炳鑫
薛亚冲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910107874.XA priority Critical patent/CN109814720B/zh
Publication of CN109814720A publication Critical patent/CN109814720A/zh
Application granted granted Critical
Publication of CN109814720B publication Critical patent/CN109814720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供了一种设备的脑控方法及系统,所述方法包括:通过虚拟现实VR设备在VR场景中为使用者提供一个或多个虚拟控制键;采集所述使用者的脑电信号,当所述脑电信号与所述虚拟控制键对应的脑电信号匹配时,将所述脑电信号转换为所述虚拟控制键对应的指令信号;将所述指令信号分别输入VR设备和被控设备。为使用者提供沉浸式的控制体验,便于使用者集中注意力。

Description

一种设备的脑控方法及系统
技术领域
本发明涉及脑电控制技术领域,尤指一种设备的脑控方法及系统。
背景技术
脑-机接口(brain-computer interface,BCI)也被称为直接神经接口,是一种不需要依托于任何脑神经和肌肉的通信手段,可以提供从大脑到通讯到控制设备的直接连接,它为人类与外界交流提供了一种新的手段。脑-机器人交互系统是一种基于脑-机接口技术的,对机器人、智能轮椅等设备进行控制的新型控制系统,通过分析使用者的大脑信号,了解使用者的心理意图,进而转换为发送消息或控制家庭设备的命令,以达到控制的目的从而提高使用者的生活质量。
基于稳态视觉诱发电位(steady state visual evoked potential,SSVEP)的BCI正逐渐成为该领域的一个研究热点,因为相比于其他BCI系统,它具有更高的信噪比和更快的信息传输速率,同时也不需要密集的训练。越来越多的研究将SSVEP应用到轮椅控制中,根据调制方法和提取特征的不同,有两种典型的基于SSVEP的BCI系统,即频率编码和相位编码,而频率编码的方法在智能轮椅的控制中比较常用。频率编码的SSVEP是利用不同频率的视觉刺激,并提取脑电信号频域特征中的峰值来进行传输指令,刺激的数量总是等于目标的数量。
目前的轮椅控制系统通常是通过给用户观看图片,引发用户脑电信号,如果用户无法集中注意力观看图片,则导致控制效果不好。
发明内容
本发明实施例提供一种设备的脑控方法和系统,为使用者提供沉浸式的脑控体验。
一方面,本发明实施例提供了一种设备的脑控方法,包括:
通过虚拟现实VR设备在VR场景中为使用者提供一个或多个虚拟控制键;
采集所述使用者的脑电信号,当所述脑电信号与所述虚拟控制键对应的脑电信号匹配时,将所述脑电信号转换为所述虚拟控制键对应的指令信号;
将所述指令信号分别输入所述VR设备和被控设备。
在一个可选实施例中,所述虚拟控制键的闪烁频率小于12赫兹;当所述虚拟控制键有多个时,每个虚拟控制键的闪烁频率与其他虚拟控制键的闪烁频率不同。
在一个可选实施例中,在采集使用者的脑电信号之后,所述方法还包括:从所述脑电信号中去除以下信号中的一种或多种:眼电信号、参考信号和干扰信号。
在一个可选实施例中,所述将所述脑电信号转换为所述虚拟控制键对应的指令信号,包括:
提取所述脑电信号中的特征向量;
对提取出的特征向量进行分类,得到分类结果;
根据所述分类结果将所述脑电信号转换为对应的指令信号。
在一个可选实施例中,所述将所述指令信号分别输入VR设备和被控设备,包括:
将所述指令信号输入VR设备,所述VR设备根据所述指令信号变换VR场景;以及
将所述指令信号转换为电压信号或电流信号输入被控设备,所述被控设备根据所述电压信号或电流信号进行动作。
另一方面,本发明实施例还提供了一种设备的脑控系统,所述系统包括包括虚拟现实VR设备、脑电采集设备、存储器、与所述存储器相连的处理器,其中:
所述VR设备,用于在VR场景中为使用者提供一个或多个虚拟控制键;
所述脑电采集设备,用于采集所述使用者的脑电信号;
所述存储器用于存储可在处理器上运行的计算机程序;
所述处理器执行所述计算机程序时实现以下步骤:接收所述脑电采集设备采集的脑电信号,判断所述脑电信号与所述虚拟控制键对应的脑电信号匹配时,将所述脑电信号转换为所述虚拟控制键对应的指令信号,以及将所述指令信号分别输入所述VR设备和被控设备。
在一个可选实施例中,所述VR设备用于采用小于12赫兹的频率使所述虚拟控制键在所述VR场景中闪烁;以及用于在所述虚拟控制键有多个时,为每个虚拟控制键设置一个与其他虚拟控制键不同的闪烁频率。
在一个可选实施例中,所述处理器还用于在接收所述脑电采集设备采集的脑电信号后,从所述脑电信号中去除以下信号中的一种或多种:眼电信号、参考信号和干扰信号。
在一个可选实施例中,所述处理器将所述脑电信号转换为所述虚拟控制键对应的指令信号,包括:
所述处理器提取所述脑电信号中的特征向量,对提取出的特征向量进行分类,得到分类结果,根据所述分类结果将所述脑电信号转换为对应的指令信号。
在一个可选实施例中,所述VR设备还用于根据所述处理器输入的指令信号变换VR场景;所述处理器用于将所述指令信号转换为电压信号或电流信号后输入被控设备,以使所述被控设备根据所述电压信号或电流信号动作。
本发明实施例方法通过VR设备为使用者提供虚拟控制键,通过脑电采集设备检测使用者将注意力集中在哪个虚拟控制键上,最后再将该脑电信号转换为该虚拟控制键对应的实际控制指令信号,控制被控设备的动作。由于结合VR设备和脑电设备,在三维立体场景中为使用者提供虚拟控制键,为使用者提供沉浸式的控制体验,便于使用者集中注意力。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。本发明的其它特征和优点将在随后的说明书实施例中阐述,并且,部分地从说明书实施例中变得显而易见,或者通过实施本发明而了解。本发明实施例的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。附图中各部件的形状和大小不反映真实比例,目的只是示意说明本发明内容。
图1为本发明实施例脑控方法流程图;
图2为本发明实施例脑控系统结构示意图;
图3为本发明实施例脑控轮椅系统工作原理图;
图4为本发明实施例脑控轮椅系统硬件结构图;
图5为本发明实施例轮椅电路系统结构框图。
具体实施方式
下面结合附图和实施例对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
本发明实施例提供了一种被控设备的脑控方法,如图1所示,包括以下步骤:
步骤1,通过虚拟现实(Virtual Reality,VR)设备在VR场景中为使用者提供一个或多个虚拟控制键;
所述虚拟控制键用于控制被控设备。当VR场景中有多个虚拟控制键时,该多个虚拟控制键的位置和排列可依据使用者的特点或习惯设置,例如铺开摆放(如设置在同一行或同一列),或者集中摆放(如根据虚拟控制键的数量平均分布于一圆形或方形区域中)。使用者佩戴VR设备后,可以清楚的看见VR场景中的虚拟控制键。
所述虚拟控制键类似于图标,每个虚拟控制键可使用与该虚拟控制键对应的指令信号相关的或者与控制设备动作相关的图案或颜色或图案与颜色的结合来表示。
为了便于使用者能够分辩不同的虚拟控制键,可以为每个虚拟控制键设置一个闪烁频率。可选地,每个虚拟控制键的闪烁频率与其他虚拟控制键的闪烁频率不同。为了避免使用者感到不适,可选择小于12赫兹的低频频率作为虚拟控制键的闪烁频率。
步骤2,采集使用者的脑电信号,当所述脑电信号与所述虚拟控制键对应的脑电信号匹配时,将所述脑电信号转换为所述虚拟控制键对应的指令信号;
为了避免进行不必要的脑电信号处理,可以先将采集的脑电信号与虚拟控制键对应的脑电信号进行匹配,也即判断采集的脑电信号是否在虚拟控制键对应的脑电信号范围内,只有匹配(在范围内)的脑电信号才进行后续处理。
将匹配的脑电信号进行转换处理,转换成虚拟控制键对应的指令信号。,可以预先通过测试获得每个虚拟控制键对应的脑电信号范围,通过将采集到的脑电信号与预先测试获得的脑电信号范围进行比对,可以获知采集到的脑电信号对应哪个虚拟控制键,进而可以将脑电信号转换为该虚拟控制键对应的指令信号。指令信号例如可以是电压信号,也可以是电流信号。
步骤3,将所述指令信号输入VR设备和被控设备。
将指令信号输入被控设备以控制被控设备的动作,所述动作可以是被控设备的移动(例如包括向前移动、向后移动、向左移动或向右移动,还可以包括靠背位置的调整),所述动作还可以是被控设备的打开或关闭等,具体可根据被控设备以及用户的需求来进行设定。
将指令信号输入VR设备以使所述VR设备根据指令信号进行VR场景的相应变换,例如指令信号是使被控设备的前进,则该指令信号输入VR设备后根据被控设备的前进改变VR场景中的背景。
采用本实施例方法,通过VR设备为使用者提供虚拟控制键,通过脑电采集设备检测使用者将注意力集中在哪个虚拟控制键上,最后再将该脑电信号转换为该虚拟控制键对应的实际控制指令信号,控制被控设备的行为。由于结合VR设备和脑电设备,在三维立体场景中为使用者提供虚拟控制键,为使用者提供沉浸式的控制体验,便于使用者集中注意力。
在一个可选实施例中,上述步骤2中,在采集使用者的脑电信号之后,所述方法还包括:从所述脑电信号中去除以下信号中的一种或多种:眼电信号、参考信号和干扰信号。以排除眼电信号、参考信号和干扰信号的影响。其中,眼电信号是眼球在水平或垂直方向上移动时产生的电位信号;参考信号是指通过脑电采集设备(如电极帽)上的参考电极(身体相对零电位点GND)所采集的脑电信号;干扰信号是指由于生理动作如眨眼或大幅度晃头所产生的噪声信号。通过去除这些信号以获得更准确的脑电信号。
在一个可选实施例中,所述将所述脑电信号转换为所述虚拟控制键对应的指令信号,包括以下步骤:
步骤221,提取所述待处理脑电信号中的特征向量;
例如可以采用典型相关性分析和快速傅里叶变换提取特征向量。
典型相关性分析(canonical correlation analysis,CCA)是一种用于特征提取的滤波算法,傅里叶变换方法可以将SSVEP信号从时域转化为频域表示,从而得到频域结构和信息。快速傅里叶变换(FFT)就是运用计算机的计算速度快速进行傅里叶变换的一种方法。本实施例可以采用CCA结合FFT的方法来提取SSVEP信号的频域特征,利用CCA拟合多通道的SSVEP信号与模板信号,求出SSVEP信号的权重系数矩阵Wx,再利用FFT转化为频域下的表达从而提取基波的能量幅值作为信号分类的特征向量。
步骤222,对提取出的特征向量进行分类,得到分类结果;
例如可以采用支持向量机(Support Vector Machine,SVM)对特征向量进行分类。
本实施例利用核函数构造的支持向量机来解决SSVEP信号的多分类问题,主要思想是通过定义适当的核函数(如不同维度选取不同的核函数)将原始空间变换到新的高维空间,然后在新的维度空间中求取最优分类超平面。
得到的分类函数可以表示为:
其中,xi表示样本数据,yi表示样本数据的类别标号,ai表示样本的系数,b表示分类阈值,K(xi,x)是进行分类运算的核函数,sgn()是符号函数。样本数据xi的类别号yi是一个多维向量,当xi属于第j类时,yi的第j个分量就为1,最后的分类决策由公式(1-2)表示,即将样本数据划分为f(x)取最大值时所对应的类别。
类别总数与虚拟控制键数量相同。
步骤223,根据分类结果将脑电信号转换为对应的指令信号。
根据分类结果可以确定脑电信号对应哪个虚拟控制键,即可以将脑电信号转换为对应的指令信号。
本发明实施例方法不仅可以用于日常的设备控制还可以用于进行注意力训练或测试,可为使用者提供逼真、可靠、安全的训练或测试场景。沉浸式体验可以帮助使用者更好的集中精神。本实施例方法可以应用于脑控轮椅、脑控智能家居、脑控智能车或脑控仿人机器人等。
实现上述方法的脑控系统如图2所示,包括VR设备21、脑电采集设备22、存储器23、与所述存储器23相连的处理器24,其中:
所述VR设备21,用于在VR场景中为使用者提供一个或多个虚拟控制键;
所述脑电采集设备22,用于采集所述使用者的脑电信号;
所述存储器23,用于存储可在处理器24上运行的计算机程序;
所述处理器24执行所述计算机程序时实现以下步骤:
接收所述脑电采集设备22采集的脑电信号,判断所述脑电信号与所述虚拟控制键对应的脑电信号匹配时,将所述脑电信号转换为所述虚拟控制键对应的指令信号,以及将所述指令信号分别输入所述VR设备21和被控设备。
采用本实施例系统,通过VR设备为使用者提供虚拟控制键,通过脑电采集设备检测使用者将注意力集中在哪个虚拟控制键上,最后再将该脑电信号转换为该虚拟控制键对应的实际控制指令信号,控制被控设备的行为。由于结合VR设备和脑电设备,在三维立体场景中为使用者提供虚拟控制键,为使用者提供沉浸式的控制体验,便于使用者集中注意力。
在一个可选实施例中,所述VR设备21用于采用小于12赫兹的频率使所述虚拟控制键在所述VR场景中闪烁;以及用于在所述虚拟控制键有多个时,为每个虚拟控制键设置一个与其他虚拟控制键不同的闪烁频率。
在一个可选实施例中,所述处理器24还用于在接收所述脑电采集设备22采集的脑电信号后,从所述脑电信号中去除以下信号中的一种或多种:眼电信号、参考信号和干扰信号。
在一个可选实施例中,所述处理器24将所述脑电信号转换为所述虚拟控制键对应的指令信号,包括:
所述处理器24提取所述脑电信号中的特征向量,对提取出的特征向量进行分类,得到分类结果,根据所述分类结果将所述脑电信号转换为对应的指令信号。
在一个可选实施例中,所述VR设备21还用于根据所述处理器24输入的指令信号变换VR场景;
所述处理器24用于将所述指令信号转换为电压信号或电流信号后输入被控设备,以使所述被控设备根据所述电压信号或电流信号动作。
本发明实施例系统不仅可以用于日常的设备控制还可以用于进行注意力训练或测试,使用者通过VR头显中的虚拟场景完成人机交互,为使用者提供逼真、可靠、安全的训练或测试场景。沉浸式体验可以帮助使用者更好的集中精神,提高脑控的丰富性和趣味性。本实施例系统可以应用于脑控轮椅、脑控智能家居、脑控智能车或脑控仿人机器人等。
下面以被控设备为电动轮椅为例,对上述方法和系统进行说明。
本实施例将BCI技术与VR相结合,构成基于VR的脑-机接口新形式。结合轮椅,可以实现VR与脑-机接口技术相结合的脑控训练模式。采用低频稳态视觉诱发电位作为脑电范式控制轮椅移动,在VR设备的虚拟场景中设置表示轮椅不同运动状态的虚拟控制键,每个虚拟控制键以不同的低频进行闪烁,分别控制轮椅的不同动作如前进、后退、左转、右转以及靠背位置的调整),采集的脑电信号经过处理,转换成相应的控制指令,同时输入到VR设备端和轮椅端,使被使通过虚拟场景中的指示,控制轮椅移动进行训练。一方面,将代表使用者意愿的脑电信号转化成的控制指令作为VR设备和轮椅系统的输入,更为直观反应更为迅速,且不需要添加其他的传感器;另一方面,利用虚拟场景作为信息反馈的工具,与BCI的传统简单反馈模式相比,虚拟场景可以为使用者提供更积极主动、更丰富多彩、更具激励性的情境模式,使使用者可以在进行训练的同时体验VR的趣味,可以从一定程度上提高训练效果。
在硬件方面,搭建了一套基于SSVEP的脑控系统,将VR头显、脑电信号采集设备与处理器(例如采用轮椅系统中的PC机)进行连接。针对大多数脑电信号采集设备不够便携化和响应实时性较差的问题,采用现场可编程门阵列(FPGA)作为脑电采集设备的处理器,可以并行传输和处理多通道(例如40通道)的脑电信号。可选地,可以将脑电信号采集设备的信号接收器与脑电采集设备本体分开,通过无线方式接收脑电信号,将信号接收器与处理器嵌入被控设备如智能轮椅中,实现系统的一体化。该便携式的信号接收器可以通过USB接口接入被控设备中,可以满足多通道脑电数据的快速传输并保证脑控系统在嘈杂混乱的环境中依然维持稳定的数据通信。数据传输的同时,可以利用上位机界面显示数据,可显示脑电数据和曲线图,以及传输波特率等,还可以实时监控数据传输的有效性,如果某一时刻传输为零,则表明传输有问题,上位机界面可利用微软基础类库(MFC)工程构建的窗口。
本实施例的基于VR技术的脑控轮椅系统工作原理如图3所示。可以采用单图形刺激方法在VR设备中设置激励目标(即虚拟控制键),例如可以是指示运动方向的箭头,可选地,还可以包含轮椅示意图。每个激励目标具有不同的闪烁频率,用来控制轮椅的一种运动状态。可以选择低频SSVEP作为脑电诱导范式,为了避免倍频对SSVEP频域特征产生影响,可以选择例如6.67Hz、7.50Hz、8.57Hz、10Hz或12Hz这些低频信号(4-12Hz的频段)。处理器例如采用PC机用于信号处理。脑电采集设备可以采用国际导联标准的40通道脑电信号同时采集的方式,其中包含垂直眼电(包括VEOU和VEOL)和水平眼电(包括HEOL和HEOR)四个眼电通道,因此采集的信号中混有眼电成分,这些成分会对脑电信号的特征提取和分类产生干扰,本实施例中使用MATLAB中的EEGLAB工具包来进行干扰去除处理(或称去伪迹处理)。首先从EEGLAB工具包的通道选择工具栏里选择需要去除的信号,包括但不限于:四个眼电电极、参考电极以及其他干扰。之后,可以再使用一个1~25Hz的带通滤波器进行滤波来筛选SSVEP信号,保留可以通过该滤波器的SSVEP信号,进而消除干扰,经过处理后可以得到30通道的SSVEP信号。
为了识别采集的SSVEP信号,需要从获得的数据中提取出主要的频率特征,本实施例可以采用CCA结合FFT的方法来提取SSVEP信号的频域特征,利用CCA拟合多通道的SSVEP信号与模板信号,求出SSVEP信号的权重系数矩阵Wx,再利用FFT转化为频域下的表达从而提取基波的能量幅值作为信号分类的特征向量。CCA+FFT算法可以降低数据维度,简化计算量,提高工作效率。获取带有特征的脑电信号后,对其进行准确地分类才能保证轮椅移动的精确性,从而达到训练的效果。本实施例中选择支持向量机作为脑电信号分类算法,与传统的线性分类器相比,在分类性能上有着明显的优势。由于在训练中需要控制轮椅进行多种运动状态的切换,因此需要利用核函数构造的支持向量机来解决SSVEP信号的多分类问题,主要思想是通过定义适当的核函数(如不同维度选取不同的核函数)将原始空间变换到新的高维空间,然后在新的维度空间中求取最优分类超平面。由于整个求解过程可以通过原空间的核函数计算,因此不用担心维度过高导致计算难度增加的问题。得到的分类函数可以表示为:
其中,xi表示样本数据,yi表示样本数据xi类别标号,ai表示样本的系数,b表示分类阈值,K(xi,x)是进行分类运算的核函数,sgn()是符号函数。样本数据xi的类别号yi实际上是一个多维向量,当xi属于第j类时,yi的第j个分量就为1,最后的分类决策由公式(1-2)表示,即将样本数据划分为f(x)取最大值时所对应的类别。
类别总数与虚拟控制键数量相同。
使用者在VR场景中进行训练获得的脑电信号传输到处理器(PC机)上,经过去伪迹、特征提取、分类等处理后,传输给轮椅系统,可以由轮椅系统的指令解析及Wi-Fi通信模块进行解析,解析后的指令作为轮椅的输入信号从而控制轮椅进行相应移动,同时将指令信号反馈到VR头显中,使用户可以实时观测控制状况,系统的硬件结构如图4所示。系统的被控设备为电动轮椅,运动状态控制方法为在模拟电压信号输入端输入2路模拟电压信号,其中X端用于控制轮椅两个驱动轮的左右差速,Y端用于控制轮椅两个驱动轮的前后差速,从而通过X和Y端不同模拟电压信号组合的输入来控制电动轮椅的不同的运动状态。脑控轮椅电路系统包括:电源模块、脉冲宽度调制(PWM)转电压模块、STM32微处理器、指令解析及Wi-Fi通信模块,结构框图如图5所示。其中STM32微处理器用于对PWM转电压模块和指令解析及Wi-Fi通信模块进行AP(无线接入)连接、通信波特率等设置,并进行数据传输。PWM转电压模块用于将STM32输出的PWM方波转换为轮椅控制电压。指令解析及Wi-Fi通信模块用于与PC机进行无线通信,以及将接收到的指令信号解析为轮椅的输入信号。在进行基于VR和脑-机接口技术的训练时,只需测得的轮椅各个运动状态所对应的X和Y端电压值,在接收到脑控指令后转换为相应的2路电压值,便可以根据使用者的意愿来控制轮椅移动。
本发明实施例方案将基于虚拟现实的脑-机接口(BCI-VR)新技术应用于脑控领域,相比于传统的的人脑控制系统,VR技术在BCI系统中成为非常有用的信息反馈工具,与BCI的传统简单反馈模式相比,VR头显中的虚拟场景能为用户提供更积极主动、更丰富多彩、更具激励性的情境反馈(与大脑思维信息输出密切关联)模式。因此,使用VR技术可以提高BCI的可学习性并缩短训练时间,而且虚拟场景可作为BCI用户在实际使用之前最廉价、最逼真、最可靠、最安全的训练和测试场景。在虚拟环境下进行脑电信号的采集和分析,可以增加使用者的沉浸感,使用者在虚拟场景中更容易激励产生稳定的脑电信号,从而提高效率。而且,基于VR技术的脑控系统适用范围更广,且VR设备中的虚拟场景更适合人类的视觉特点,且操作过程较为简单,测试时不易受环境的影响,不会对使用者造成精神压力和紧张感,具有更高的适用性和趣味性。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理单元的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器,如数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种设备的脑控方法,其特征在于,所述方法包括:
通过虚拟现实VR设备在VR场景中为使用者提供一个或多个虚拟控制键;
采集所述使用者的脑电信号,当所述脑电信号与所述虚拟控制键对应的脑电信号匹配时,将所述脑电信号转换为所述虚拟控制键对应的指令信号;
将所述指令信号分别输入所述VR设备和被控设备。
2.根据权利要求1所述的方法,其特征在于,其中,
所述虚拟控制键的闪烁频率小于12赫兹;
当所述虚拟控制键有多个时,每个虚拟控制键的闪烁频率与其他虚拟控制键的闪烁频率不同。
3.根据权利要求1所述的方法,其特征在于,在采集使用者的脑电信号之后,所述方法还包括:
从所述脑电信号中去除以下信号中的一种或多种:眼电信号、参考信号和干扰信号。
4.根据权利要求1或2或3所述的方法,其特征在于,其中,所述将所述脑电信号转换为所述虚拟控制键对应的指令信号,包括:
提取所述脑电信号中的特征向量;
对提取出的特征向量进行分类,得到分类结果;
根据所述分类结果将所述脑电信号转换为对应的指令信号。
5.根据权利要求1所述的方法,其特征在于,其中,所述将所述指令信号分别输入VR设备和被控设备,包括:
将所述指令信号输入VR设备,所述VR设备根据所述指令信号变换VR场景;以及
将所述指令信号转换为电压信号或电流信号输入被控设备,所述被控设备根据所述电压信号或电流信号进行动作。
6.一种设备的脑控系统,其特征在于,所述系统包括虚拟现实VR设备、脑电采集设备、存储器、与所述存储器相连的处理器,其中:
所述VR设备,用于在VR场景中为使用者提供一个或多个虚拟控制键;
所述脑电采集设备,用于采集所述使用者的脑电信号;
所述存储器,用于存储可在处理器上运行的计算机程序;
所述处理器执行所述计算机程序时实现以下步骤:接收所述脑电采集设备采集的脑电信号,判断所述脑电信号与所述虚拟控制键对应的脑电信号匹配时,将所述脑电信号转换为所述虚拟控制键对应的指令信号,以及将所述指令信号分别输入所述VR设备和被控设备。
7.根据权利要求6所述的系统,其特征在于,其中,
所述VR设备用于采用小于12赫兹的频率使所述虚拟控制键在所述VR场景中闪烁;以及用于在所述虚拟控制键有多个时,为每个虚拟控制键设置一个与其他虚拟控制键不同的闪烁频率。
8.根据权利要求6所述的系统,其特征在于,所述处理器还用于在接收所述脑电采集设备采集的脑电信号后,从所述脑电信号中去除以下信号中的一种或多种:眼电信号、参考信号和干扰信号。
9.根据权利要求6或7或8所述的系统,其特征在于,其中,
所述处理器将所述脑电信号转换为所述虚拟控制键对应的指令信号,包括:
所述处理器提取所述脑电信号中的特征向量,对提取出的特征向量进行分类,得到分类结果,根据所述分类结果将所述脑电信号转换为对应的指令信号。
10.根据权利要求6所述的系统,其特征在于,其中,
所述VR设备还用于根据所述处理器输入的指令信号变换VR场景;
所述处理器用于将所述指令信号转换为电压信号或电流信号后输入被控设备,以使所述被控设备根据所述电压信号或电流信号动作。
CN201910107874.XA 2019-02-02 2019-02-02 一种设备的脑控方法及系统 Active CN109814720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910107874.XA CN109814720B (zh) 2019-02-02 2019-02-02 一种设备的脑控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910107874.XA CN109814720B (zh) 2019-02-02 2019-02-02 一种设备的脑控方法及系统

Publications (2)

Publication Number Publication Date
CN109814720A true CN109814720A (zh) 2019-05-28
CN109814720B CN109814720B (zh) 2021-01-26

Family

ID=66605262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910107874.XA Active CN109814720B (zh) 2019-02-02 2019-02-02 一种设备的脑控方法及系统

Country Status (1)

Country Link
CN (1) CN109814720B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377028A (zh) * 2021-06-15 2021-09-10 湖南汽车工程职业学院 一种基于vr及5d的动力蓄电池测试教学系统
WO2023020380A1 (zh) * 2021-08-18 2023-02-23 京东方科技集团股份有限公司 处理方法及装置、控制方法及装置、vr眼镜、设备、介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101897640A (zh) * 2010-08-10 2010-12-01 北京师范大学 一种新型的基于运动想象脑电控制的智能轮椅系统
US20120059273A1 (en) * 2010-09-03 2012-03-08 Faculdades Catolicas, a nonprofit association, Maintainer of the Pontificia Universidade Cotolica Process and device for brain computer interface
CN103955269A (zh) * 2014-04-09 2014-07-30 天津大学 一种基于虚拟现实环境的智能眼镜脑-机接口方法
CN104820500A (zh) * 2015-05-31 2015-08-05 仲佳 一种具有脑电控制功能的虚拟现实头盔
CN107229330A (zh) * 2017-04-25 2017-10-03 中国农业大学 一种基于稳态视觉诱发电位的文字输入方法及装置
CN107239137A (zh) * 2017-04-25 2017-10-10 中国农业大学 一种基于虚拟键盘的文字输入方法及装置
CN107329571A (zh) * 2017-06-29 2017-11-07 华南理工大学 一种面向虚拟现实应用的多通道自适应脑机交互方法
CN107714331A (zh) * 2017-09-13 2018-02-23 西安交通大学 基于视觉诱发脑机接口的智能轮椅控制及路径优化方法
CN108008810A (zh) * 2016-11-01 2018-05-08 深圳纬目信息技术有限公司 一种基于运动想象的确认方法和系统
CN108681391A (zh) * 2018-03-19 2018-10-19 南京邮电大学 一种基于多模式的脑电信号虚拟键盘设计方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101897640A (zh) * 2010-08-10 2010-12-01 北京师范大学 一种新型的基于运动想象脑电控制的智能轮椅系统
US20120059273A1 (en) * 2010-09-03 2012-03-08 Faculdades Catolicas, a nonprofit association, Maintainer of the Pontificia Universidade Cotolica Process and device for brain computer interface
CN103955269A (zh) * 2014-04-09 2014-07-30 天津大学 一种基于虚拟现实环境的智能眼镜脑-机接口方法
CN104820500A (zh) * 2015-05-31 2015-08-05 仲佳 一种具有脑电控制功能的虚拟现实头盔
CN108008810A (zh) * 2016-11-01 2018-05-08 深圳纬目信息技术有限公司 一种基于运动想象的确认方法和系统
CN107229330A (zh) * 2017-04-25 2017-10-03 中国农业大学 一种基于稳态视觉诱发电位的文字输入方法及装置
CN107239137A (zh) * 2017-04-25 2017-10-10 中国农业大学 一种基于虚拟键盘的文字输入方法及装置
CN107329571A (zh) * 2017-06-29 2017-11-07 华南理工大学 一种面向虚拟现实应用的多通道自适应脑机交互方法
CN107714331A (zh) * 2017-09-13 2018-02-23 西安交通大学 基于视觉诱发脑机接口的智能轮椅控制及路径优化方法
CN108681391A (zh) * 2018-03-19 2018-10-19 南京邮电大学 一种基于多模式的脑电信号虚拟键盘设计方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113377028A (zh) * 2021-06-15 2021-09-10 湖南汽车工程职业学院 一种基于vr及5d的动力蓄电池测试教学系统
CN113377028B (zh) * 2021-06-15 2022-11-18 湖南汽车工程职业学院 一种基于vr及5d的动力蓄电池测试教学系统
WO2023020380A1 (zh) * 2021-08-18 2023-02-23 京东方科技集团股份有限公司 处理方法及装置、控制方法及装置、vr眼镜、设备、介质

Also Published As

Publication number Publication date
CN109814720B (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
CN110222643B (zh) 一种基于卷积神经网络的稳态视觉诱发电位信号分类方法
CN103699226B (zh) 一种基于多信息融合的三模态串行脑-机接口方法
CN105654063B (zh) 基于人工蜂群时频参数优化的运动想象脑电模式识别方法
CN102793540B (zh) 一种视听认知事件相关电位实验范式的优化方法
CN101576772B (zh) 基于虚拟仪器稳态视觉诱发电位脑机接口系统及控制方法
CN103955269A (zh) 一种基于虚拟现实环境的智能眼镜脑-机接口方法
CN105956624B (zh) 基于空时频优化特征稀疏表示的运动想象脑电分类方法
CN104503580B (zh) 一种对稳态视觉诱发电位脑‑机接口目标的识别方法
CN106267514B (zh) 基于脑电反馈的情绪调控系统
Lee et al. A brain-wave-actuated small robot car using ensemble empirical mode decomposition-based approach
CN103793058A (zh) 一种主动式脑机交互系统运动想象任务分类方法及装置
CN103699230A (zh) 一种基于图标脑电控制的数字界面交互方法
CN107037883A (zh) 一种基于运动想象的混合脑机接口系统及方法
CN107329571B (zh) 一种面向虚拟现实应用的多通道自适应脑机交互方法
CN105962935A (zh) 用于运动学习功能改善的脑电神经反馈训练系统及其方法
CN107656612B (zh) 基于p300-ssvep的大指令集脑-机接口方法
CN102096468A (zh) 一种基于脑-机接口的家电遥控装置及方法
CN103150023A (zh) 一种基于脑机接口的光标控制系统及方法
CN108681391A (zh) 一种基于多模式的脑电信号虚拟键盘设计方法
CN104997581A (zh) 基于面部表情驱动脑电信号的假手控制方法及装置
CN109656356A (zh) 一种ssvep脑-机接口的异步控制系统
CN108937968A (zh) 基于独立分量分析的情感脑电信号的导联选择方法
CN107582051A (zh) 一种动物情绪脑电分析设备
CN110074779A (zh) 一种脑电信号识别方法及装置
CN104571504A (zh) 一种基于想象动作的在线脑-机接口方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant