CN107544675A - 脑控式虚拟现实方法 - Google Patents

Abstract

本发明涉及脑‑机接口、虚拟现实技术领域，为提出一种虚拟现实技术方案，实现符合正常思维行动控制过程和接近实际交互应用，为新型基于运动想象的虚拟现实系统提供关键技术保障，进一步研究可以得到完善的脑控式虚拟现实系统，有望获得可观的社会效益和经济效益。本发明采用的技术方案是，脑控式虚拟现实方法，借助unity3D软件设计用户运动想象‑交互的虚拟现实场景的在线实验，搭建好实验所需的脑电信号采集装置，然后在实验系统指导下，采集操作者脑电信号数据，将其存储后再进行一定的预处理、特征提取、分类识别，从而实现用户对虚拟场景下的目标移动进行意念控制。本发明主要应用于脑‑机接口场合。

Description

脑控式虚拟现实方法

技术领域

本发明涉及脑-机接口、虚拟现实技术领域，具体讲,涉及脑控式虚拟现实系统。

背景技术

1985年：杰伦·拉尼尔最先提出“虚拟现实”这一术语，同时创办了VPL Research公司。公司产品包括“数据手套”，用户可通过手与虚拟环境交流，以及头戴式显示器“EyePhone”。“虚拟现实(Virtual Reality，VR)”是指通过计算机构建一个具备三维信息的人工环境，这项技术既可以高度逼真地模拟真实世界，也可以模拟不存在的虚幻世界，使用者在这样的一个三维环境中可以通过自己的感官、肢体或者特殊装置自然地与之进行交互，具有“身临其境”的感觉。Burdea和Coiffet描述了虚拟现实的“3I”原则作为虚拟现实技术的基本特征——沉浸感(Immersion)、交互性(Interaction)、构想性(Imagination)。

2015年以来，虚拟现实技术成为了研究热点。Juniper Research公司于2015年12月发布了一项关于2016年全球科技市场的发展趋势预测报告，其中虚拟现实技术名列10大热门科技之首，2016年虚拟现实技术将会从科技爱好者逐步走进主流消费者市场，应用空间也会从游戏市场拓展到其他领域。

在虚拟现实游戏中，现有的交互方式为：触觉反馈、眼球追踪、肌电模拟、手势追踪、语音交互等等，但是这几种交互方式都不是很成熟，用户戴上虚拟眼镜后，在虚拟环境中无法看到自己的双手来实际操作，这也是虚拟现实游戏中亟待解决的问题，而脑-机接口技术可以通过脑控方式来实现对外部设备的操作，可以解决虚拟现实游戏的交互问题，这为脑-机接口技术也带来了新的挑战和机遇。

第一次脑-机接口国际会议给出的BCI的定义是：“BCI是一种不依赖于大脑外围神经与肌肉正常输出通道的通讯控制系统。”目前的研究成果中，它主要是通过采集和分析不同状态下人的脑电信号，然后使用一定的工程技术手段在人脑与计算机或其它电子设备之间建立起直接的交流和控制通道，从而实现一种全新的信息交换与控制技术，可以为残疾人特别是那些丧失了基本肢体运动功能但思维正常的病人提供一种与外界进行信息交流与控制的途径。即可以不需语言或肢体动作，直接通过控制脑电来表达意愿或操纵外界设备。为此，BCI技术也越来越受到重视。

虚拟现实技术以其多交互性、高沉浸感、体验丰富的特点，用于场景设计、人物体验具有显著优势，本设计拟通过脑-机交互同步控制虚拟环境下，小车游戏中角色的行进方向，搭建脑控式虚拟现实系统平台，实现身随意动、形思合一、解放双手，进一步拓展开发，有望用于作战模拟、微观层面观察学习、历史穿越体验、手术模拟操作、游戏控制体验，为军事、教育、医疗、娱乐事业提供有效技术支撑。

发明内容

为克服现有技术的不足，本发明旨在提出一种虚拟现实技术方案，实现符合正常思维行动控制过程和接近实际交互应用，为新型基于运动想象的虚拟现实系统(Motorimagery-virtual reality，MI-VR)提供关键技术保障，进一步研究可以得到完善的脑控式虚拟现实系统，有望获得可观的社会效益和经济效益。本发明采用的技术方案是，脑控式虚拟现实方法，借助unity3D软件设计用户运动想象-交互的虚拟现实场景的在线实验，搭建好实验所需的脑电信号采集装置，然后在实验系统指导下，采集操作者脑电信号数据，将其存储后再进行一定的预处理、特征提取、分类识别，从而实现用户对虚拟场景下的目标移动进行意念控制。

在一个实例中，借助pc机、在Unity3D平台下编写的虚拟现实反馈界面、脑电采集器与蓝牙模块实现，脑电采集器将采集到的运动相关导联的脑电信号通过蓝牙模块传入pc机，导联共14通道，AF3、AF4、F3、F4、F7、F8、FC5、FC6、T7、T8、P7、P8、O1、O2；使用者头戴虚拟眼镜安静地坐于靠椅上，注视头戴显示器中的反馈界面，进行运动想象，包括想象左手或右手抬起，在此过程中使用者脑电会产生相应的变化：脑电信号在大脑皮层产生，由头皮电极探测后经过脑电放大器放大、滤波后输入计算机；采集到得脑电数据再经过后续的数据处理提取相应的运动想象特征信号，将这些特征应用于模式识别；经过对人脑运动想象产生的实时脑电信号数据处理解码，输出指令信号发送至虚拟串口控制虚拟现实系统反馈界面中小车向目标区域运动，来碰撞金币，最终根据碰撞的金币种类、数量计算用户得分，进而形成了相应的视觉反馈，引导使用者利用更优的想象方式实现更好的靶向控制，从而构成一个闭环控制系统。

本发明的特点及有益效果是：

本发明设计了基于运动想象脑-机接口技术下的虚拟现实系统，利用脑-机接口技术作为系统的交互方式，符合大脑正常思维活动状态，可以让使用者与游戏的交互更为舒适、便捷，克服了现有的虚拟现实交互方式的控制缺陷，也可以更好地引导使用者运动想象方式，更接近实际应用，有望为新型MI-VR系统设计提供关键技术保障，也为脑-机接口尽快步入大范围应用阶段奠定基础。

附图说明：

图1系统设计框图。

图2本系统中的小车3D模型。其中，(a)小车的3D模型正面(b)小车3D模型背面及计数板。

图3系统中的金币模型。

图4系统交互场景。

(a)山地随机分布的100枚金币模型 (b)游戏运行界面

(c)小车碰撞金币效果 (d)游戏结束界面。

图5系统流程图。

具体实施方式

本发明设计了一种基于运动想象脑-机接口(Motor Imagery-Brain ComputerInterface，MI-BCI)范式的脑控式虚拟现实系统模型。虚拟现实技术是以计算机科学为核心，结合多学科、多方向交叉的新技术，能够生成近似真实环境的视觉、听觉、触觉、感觉等感知信息的虚拟环境。应用虚拟任务场景设计，利用其多感知性、高交互性、强自主性的优势，增强用户沉浸感、主动参与程度等，强化大脑特征控制源信息。其技术流程是：借助unity3D软件设计用户运动想象交互的虚拟现实场景的在线实验，搭建好实验所需的脑电信号采集装置，然后在实验系统指导下，采集操作者脑电信号数据，将其存储后再进行一定的预处理、特征提取、分类识别，从而实现用户对虚拟场景下的目标移动进行意念控制。

本发明旨在利用虚拟场景任务设计的方法，结合MI-BCI系统指令输出对虚拟现实场景目标移动进行控制，提高虚拟现实游戏的用户体验。与传统的虚拟现实游戏相比，更符合正常思维行动控制过程和接近实际交互应用，有望为新型基于运动想象的虚拟现实系统(Motor Imagery-Virtual Reality，MI-VR)提供关键技术保障，进一步研究可以得到完善的脑控式虚拟现实系统，有望获得可观的社会效益和经济效益。

本发明系统设计框图如图1所示。

该系统主要由pc机，虚拟现实反馈界面(在Unity3D平台下编写设计的)，Emotiv脑电采集器和与蓝牙模块构成。Emotiv将采集到的运动相关导联(共14通道，AF3、AF4、F3、F4、F7、F8、FC5、FC6、T7、T8、P7、P8、O1、O2)的脑电信号通过蓝牙模块传入pc机，使用者头戴Oculus虚拟眼镜安静地坐于靠椅上，注视头戴显示器中的反馈界面，进行运动想象(想象左手或右手抬起)。在此过程中使用者脑电会产生相应的变化：脑电信号在大脑皮层产生，由头皮电极探测后经过Emotiv脑电放大器放大、滤波后输入计算机。采集到得脑电数据再经过后续的数据处理提取相应的运动想象特征信号，将这些特征应用于模式识别。经过对人脑运动想象产生的实时脑电信号数据处理解码，输出指令信号发送至虚拟串口控制虚拟现实系统反馈界面中小车向目标区域运动，来碰撞金币，最终根据碰撞的金币种类、数量计算用户得分，进而形成了相应的视觉反馈，引导使用者利用更优的想象方式实现更好的靶向控制，从而构成一个闭环控制系统。

交互界面设计

小车的3D模型来源自合作方乐鱼游戏公司，如图2(a)所示，为淡黄色外壳的甲壳虫战车，场景设定为在山地中，用户控制小车的前进方向(向左、向右)，限时60s驾驶小车撞击金币，金币分为1、2、3三个等级，撞击后，金币向上弹起，并分别可以获得1、2、3的积分，如图2(b)所示用户可以通过小车上方的计数板实时获得剩余时间及目前得分情况。图3为三种金币模型，为了更好地辨别它们，分别设置颜色为绿色(R:0,G:255,B:0,A:123)、红色(R:255,G:0,B:0,A:123)、蓝色(R:0,G:32,B:255,A:123)。

如图4(a)所示，本系统中在小车周围的山地随机分布100个金币，三种金币约各占三分之一。交互界面开始后，用户即可以跟随小车前进，并控制小车向左转或者向右转，如图4(b)所示，小车上方的计数板开始倒计时。若用户成功控制小车碰撞金币，则金币向上弹起，然后消失，计数板中累计相应得分，如图4(c)所示。倒计时结束后，小车停止运行，界面中心出现灰色面板，上有当前得分及最高纪录，用户按下“R”键即可重新开始游戏，若用户后续得分高于之前得分，则最高纪录更新得分，如图4(d)所示。

系统运行范式设计

如图5所示，用户初次使用本系统时，需要先静息30s，并根据中间20s数据ERD值生成初始判定阈值，然后用户可以开始想象左手或右手抬起，本系统对每5s的脑电数据进行一次判断，达到阈值则输出目标指令反馈结果(小车向左或向右转动45°)。若用户在小车的行驶过程中成功碰撞到金币，则金币向上弹起并累加相应的分值，若没有碰撞到金币，则不会有金币弹起及加分，重复上述过程，直到倒计时结束。

本发明设计了一种基于运动想象脑-机接口技术的虚拟现实系统。该项发明可以用于残疾人康复、电子娱乐、工业控制、航天工程等领域，进一步研究可以得到完善的脑-机接口的虚拟现实系统，有望获得可观的社会效益和经济效益。

Claims (2)

1.一种脑控式虚拟现实方法，其特征是，借助unity3D软件设计用户运动想象-交互的虚拟现实场景的在线实验，搭建好实验所需的脑电信号采集装置，然后在实验系统指导下，采集操作者脑电信号数据，将其存储后再进行一定的预处理、特征提取、分类识别，从而实现用户对虚拟场景下的目标移动进行意念控制。

2.如权利要求1所述的脑控式虚拟现实方法，其特征是，在一个实例中，借助pc机、在Unity3D平台下编写的虚拟现实反馈界面、脑电采集器与蓝牙模块实现，脑电采集器将采集到的运动相关导联的脑电信号通过蓝牙模块传入pc机，导联共14通道，AF3、AF4、F3、F4、F7、F8、FC5、FC6、T7、T8、P7、P8、O1、O2；使用者头戴虚拟眼镜安静地坐于靠椅上，注视头戴显示器中的反馈界面，进行运动想象，包括想象左手或右手抬起，在此过程中使用者脑电会产生相应的变化：脑电信号在大脑皮层产生，由头皮电极探测后经过脑电放大器放大、滤波后输入计算机；采集到得脑电数据再经过后续的数据处理提取相应的运动想象特征信号，将这些特征应用于模式识别；经过对人脑运动想象产生的实时脑电信号数据处理解码，输出指令信号发送至虚拟串口控制虚拟现实系统反馈界面中小车向目标区域运动，来碰撞金币，最终根据碰撞的金币种类、数量计算用户得分，进而形成了相应的视觉反馈，引导使用者利用更优的想象方式实现更好的靶向控制，从而构成一个闭环控制系统。