CN103955269A - 一种基于虚拟现实环境的智能眼镜脑-机接口方法 - Google Patents

Abstract

本发明公开了一种基于虚拟现实环境的智能眼镜脑-机接口方法，本方法通过短暂的视觉刺激训练，可以通过想象运动控制虚拟现实环境中人物运动，包括训练模式和应用模式，在训练模式中，智能眼镜界面只显示简单刺激诱发范式，实时地采集来自用户的脑电数据和简单视觉刺激传送的事件代码；读取脑电信号和事件代码，对数据进行处理分析，建立合适的模型。在应用模式中，智能眼镜界面呈现活动场景接收指令控制信号并通过界面内人物活动反馈给用户；采集用户的脑电数据，读取脑电数据，经过训练模式中建立的模型分析并将结果发送到指令控制模块；指令控制模块接收结果，并将结果转换为相应的控制指令输入到虚拟现实环境中。本发明提高了识别率，增加了实用性。

Description

一种基于虚拟现实环境的智能眼镜脑-机接口方法

技术领域

本发明涉及脑-机接口领域，尤其涉及一种基于虚拟现实环境的智能眼镜脑-机接口方法。

背景技术

人机接口是指在人机交互当中用来交换信息，建立联系的输入/输出设备的接口，她的目的是实现用户对设备的操作和设备反馈信息的理解。人机交互系统可以是各种机器，其中，计算机就是一种典型的人机交互系统。人机接口可以通过各种设备来实现信息交互，例如：我们常用的键盘、鼠标和显示屏幕等。使用大脑信号直接控制机器的脑-机接口（BCI）技术也是其中的一种。传统的人机接口主要包括按键，显示器等输入输出设备，对于这些设备的操作都需要操作人使用一定的肢体动作来表达自己的意愿。

发明内容

本发明提供了一种基于虚拟现实环境的智能眼镜脑-机接口方法，本发明提高了识别率，增加了实用性，详见下文描述：

一种基于虚拟现实环境的智能眼镜脑-机接口方法，所述方法包括以下步骤：

（1）建立显示界面；

（2）搭建脑电信号采集平台，采集脑电信号；

（3）判断用户的模式为训练模式还是应用模式，如果是训练模式，执行步骤（4），否则为应用模式，执行步骤（6）；

（4）智能眼镜中显示简单视觉刺激范式，通过脑电信号采集平台采集读取此时的脑电数据，判断脑电数据的储存时间是否达到反应时间，如果是，执行步骤（5），如果否，继续读取脑电数据直到满足时间条件后，执行步骤（5）；

（5）截取提取到的脑电数据，对脑电数据进行特征提取和模式识别，统计训练模式中的脑电数据，建立对应用户的模型并存储；

（6）智能眼镜中显示虚拟现实场景，通过脑电信号采集平台采集读取应用模式中的脑电数据，使用步骤（5）中产生的用户模型进行即时的特征提取和模式识别，根据用户指令输出指令结果，执行步骤（7）；

（7）将上一步输出的指令结果发送到指令控制模块，再由指令控制模块输入到虚拟现实环境当中，虚拟现实环境中的人物就会做出相应的动作，反馈给用户，形成完整的闭环。

所述脑电信号采集平台具体为：

脑电信号的采集采用40导脑电放大器，采集3导脑电信号，按照国际的10-20系统排列，所有导联的脑电信号以右乳突为参考，以左乳突为地，阻抗值均在5K以下。

所述特征提取和模式识别具体为：

设m层小波包分解后第w个节点的系数为向量Wi，则第α个小波包的归一化能量为P_α；

$p_{\mathrm{\α}}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{W}_i^2/\underset{\mathrm{\α}=0}{\overset{2^m}{\mathrm{\Σ}}}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{W}_i^2$

小波包熵S为：

$S=-\underset{\mathrm{\α}=0}{\overset{2^m}{\mathrm{\Σ}}}{p}_{\mathrm{\α}}{\log }_{10}{p}_{\mathrm{\α}}$

提取存在事件相关去同步/同步现象的特征节点，与小波包熵S共同组成特征向量；

模式识别使用马氏距离判别法；

得到想象左手、右手、走步和停止的数据构造为四类标准样本集L、R、F和Z，分别计算各类样本的均值μ_L，μ_R，μ_F和μ_Z以及全体样本的协方差S，将测试样本x带入获取四类动作所对应马氏距离；

测试样本x的类别由f(x)＝min(D_L,D_R,D_F,D_Z)判断，其中，结果为D_L时表示为左手，为D_R时表示右手，为D_F时为走步，为D_Z时为停止。

本发明提供的技术方案的有益效果是：本方法通过对采集到的脑电数据经过特征提取获取到相应的特征信号，然后将这些特征信号应用于实验的模式识别任务当中，进而将识别结果转换为控制指令，输入到智能眼镜当中，完成控制人物的走步、停止和左右手运动。本方法在虚拟现实的环境下对脑电信号进行采集和分析，可以增加被试者的沉浸感并给予被试者实时的反馈，因此可以提高训练效率，缩短训练周期，在短期内达到较高的分类精度。智能眼镜的加入是它设计的一大亮点，整体设计方式减小了设备体积，大大增加了它的实用价值，预留端口未来可以连接外部设备，可以有很多的拓展功能。本设计为其他视觉诱发的脑机接口的设计提供了典范，也为脑机接口设备走入日常生活，实现商业化铺平了道路。

附图说明

图1为本发明的结构框图；

图2为智能眼镜的显示界面；

图3为一种基于虚拟现实环境的智能眼镜脑-机接口方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

基于虚拟现实环境的智能眼镜脑-机接口可以分为BCI系统和虚拟现实环境两部分。BCI部分负责脑电信号的提取与分析处理，可以直接输出经过判别后受试者发出的指令。VR环境部分提供一个沉浸感很强的虚拟现实场景，给受试者提供一定的视觉刺激，使受试者做出思维判断，并且可以根据BCI部分提供的信号做出实时反馈，以便于受试者做出调整。

脑-机接口（BCI）是一种不依赖于大脑外围神经与肌肉正常输出通道的通讯控制系统。一直以来，研究BCI的主要目的是设计程序对外交流、控制和代替病人的一些缺失的动作功能。脑机接口系统的运用和发展真正实现了“人-机交互”的目的，它主要是通过采集和分析不同状态下人的脑电信号，然后使用一定的工程技术手段在人脑与计算机或其它电子设备之间建立起直接的交流和控制通道，从而实现一种全新的信息交换与控制技术即可以不需语言或肢体动作，直接通过控制脑电来表达意愿或操纵外界设备。它能使部分中枢神经信息传递阻滞并因此失去了基本运动功能的瘫痪病人有可能重建或再造新的神经通路，从而重新恢复其运动功能。

虚拟现实是利用电脑模拟产生一个三维空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般，可以及时、没有限制地观察三度空间内的事物。在过去的十年技术进步使得虚拟现实系统吸引了对各种研究的注意力，航空和军事领域训练程序模拟(在外面培训太贵或难以监测和控制)，心理治疗和医疗手术等。虚拟现实技术将越来越多的应用到各种训练当中。

现有的BCI技术可以分为以下三类：基于自发脑电的BCI技术，基于诱发电位的BCI技术和基于植入电位的BCI技术。基于诱发电位的BCI技术，包括事件相关电位(P300)、事件相关去同步ERD、事件相关同步ERS、短时视觉诱发电位SLVEP和稳态视觉诱发电位SSVEP等。其中，本发明使用的ERD/ERS是指给人体的感觉器官施加某种刺激，可以记录到外周神经系统与中枢神经系统在信息传递过程中产生的微弱电位变化。ERD/ERS与运动过程相关联并且大脑以想象动作替代真实动作，即在预动作条件下同样存在ERD/ERS现象。使用ERD/ERS可以更好的贴近人的正常思维来实现有效控制，使用更简便快捷。

在虚拟现实的环境下对脑电信号进行采集和分析，可以增加被试的沉浸感并给予被试实时的反馈。因此可以提高训练效率，缩短训练周期，在短期内达到较高的分类精度。而且他的场景设置可以非常贴近现实，这就使得在虚拟场景中可以实现的任务经过一段时间的训练，也可以转移到现实生活当中使用。

它的工作流程为首先智能眼镜产生简单刺激，采集EEG信号，提取离线信号样本，经过特征提取、模式识别，建立合适的分类器，然后引入虚拟现实环境，提取受试者在虚拟环境刺激下的EEG信号，使用先前建立的分类器结合在线技术，经过在线处理后转换成为实时的控制信号并将此控制信号输入到虚拟现实环境中，其中的虚拟人物即时做出相应的反应，这样，在线的反馈就通过智能眼镜传递给了受试者。受试者通过观察到的反馈，可以适时地调整想象运动的程度以及方式，以期达到更好的效果。两者形成完整的闭环。

本设计采用单一模式的信号，足够满足简单运动训练的需求，它输出的信号可以控制虚现实中人物实现它的自由活动，也就证明它的输出信号可以控制现实环境中的外部设备可以实现自由移动，满足日常生活的需求。它的内部设计简单，处理速度较快，使用更加方便快捷。

目前视觉诱发的脑机接口设备往往存在识别率不高，且跨人识别率还会下降等问题。本设备由于其视觉诱发设备能够呈现一个沉浸度较高的视觉诱发及反馈场景，因此它的识别率较以往的设备将会大大提高。本设计在正式使用前添加了一个简短的训练环节，这个环节可以解决跨人识别困难的问题，分别提取不同使用着的脑电数据建立样本，使得本有着更高的跨人识别水平。

101：建立显示界面；

本发明中显示界面均由SONY索尼公司生产的HMZ-T1智能眼镜产生。在训练模式中，使用想象运动刺激诱发范式，当箭头指向左右时分别想象左右手运动，指向上时想象走步，箭头消失则停止，采集在简单视觉刺激下的脑电信号作为样本。在应用模式中，该界面可以产生虚拟现实场景（如酒吧等），场景中的环境呈现非常接近使用者的视角，其中会设置一定的任务，比如向前走向吧台，在吧台前停止，左右手分别抓握酒杯等。

102：搭建脑电信号采集平台；

虚拟现实环境的智能眼镜脑-机接口的完成首先需要对输入信号（脑电信号）进行实时采集。脑电信号的采集采用Neuroscan公司生产的40导脑电放大器NuAmp，电极选择用到自制的脑电电极帽，即：共采集3导脑电信号：C3，C4和Cz，按照国际的10-20系统（10-20国际标准导联）排列，所有导联的脑电信号以右乳突为参考，以左乳突为地，阻抗值均在5K以下。受试者佩戴SONY索尼公司生产的HMZ-T1智能眼镜安静地坐于靠椅上，注视眼镜中产生的相应的视觉刺激范式及虚拟现实场景执行自主想象动作任务从而完成控制虚拟现实环境中人物的运动，实现输入信号的实时采集和读取。使用软件搭建在线的信息处理平台为后续在线的数据处理奠定了基础。

103：判断用户的模式为训练模式还是应用模式，如果是训练模式，执行步骤104，否则为应用模式，执行步骤106；

104：智能眼镜中显示简单视觉刺激范式，通过脑电信号采集平台采集读取此时的脑电数据，判断脑电数据的储存时间是否达到反应时间，如果是，执行步骤105，如果否，继续读取脑电数据直到满足时间条件后，执行步骤105；

105：截取提取到的脑电数据，对脑电数据进行特征提取和模式识别，汇总训练模式中的脑电数据和处理方式，建立对应用户的模型并存储，即存储每一位新用户从最初采集的脑电信号到输出最终判断结果的中间处理过程；

106：智能眼镜中显示虚拟现实场景，通过脑电信号采集平台采集读取应用模式中的脑电数据，使用步骤105中产生的用户模型进行即时的特征提取和模式识别，根据用户指令输出指令结果，执行步骤107；

新用户使用时，首先进行训练模式中的104步骤，之后通过执行步骤105产生用户模型训练模式结束，然后在以后的使用中直接进入应用模式，应用模式在步骤103之后进入步骤106，在步骤106的执行中需要调用步骤105当中产生的模型，最后执行步骤107，应用模式结束。

107：将上一步输出的指令结果发送到指令控制模块，再由指令控制模块输入到虚拟现实环境当中，虚拟现实环境中的人物就会做出相应的动作，反馈给用户，形成完整的闭环。

其中，指令分为左手伸展、右手伸展、走步和停止四种。实际应用时还可以设置一个预留的外部端口，该端口可以输出控制信号，为以后的功能拓展做准备。

本发明提取的脑电信号ERD/ERS是出现在运动、感觉皮层特定频带的信号。伴随着信号与事件相关的程度，信号的幅度会出现同步减少或同步增加现象。当受试者想象左手运动时，C3通道的脑电信号出现ERS现象，C4通道出现ERD现象；反之想象右手运动C3通道出现ERD，C4通道出现ERS；想象走步时，Cz通道出现ERD现象。

其中，数据处理部分包括特征提取和模式识别。处理脑电数据时计算各时间段ERD/ERS比率来选取特征频段和时间，其中ERD/ERS比率是用来表示运动想象时脑电信号的变化程度，如公式(1)所示：

$f=\frac{M-B}{B}---\left(1\right)$

M表示想象时脑电信号的能量，B表示安静状态时的脑电能量，f为变化程度，若为正值，表明脑电能量增大，即出现ERS现象，若为负值表明脑电能量减少，即出现ERD现象。

将小波包归一化能量和小波包熵组合为特征向量。设m层小波包分解后第w个节点的系数为向量W_i(i=1,2…n)，n表示节点的长度，则第α个小波包的归一化能量为P_α：改符号

$p_{\mathrm{\α}}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{W}_i^2/\underset{\mathrm{\α}=0}{\overset{2^m}{\mathrm{\Σ}}}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{W}_i^2---\left(2\right)$

小波包熵S为：

$s=-\underset{\mathrm{\α}=0}{\overset{2^m}{\mathrm{\Σ}}}{p}_{\mathrm{\α}}{\log }_{10}{p}_{\mathrm{\α}}---\left(3\right)$

提取存在事件相关去同步/同步（ERD/ERS）现象的特征节点，与小波包熵S共同组成特征向量，然后进行下一步模式识别。其中，肢体部位实际动作或想象动作均可导致大脑皮层感觉运动区中大量神经元活动状态的改变，并使脑电信号中的某些频率成分同步衰减或增强，这种现象称为事件相关去同步化或者同步化（ERD/ERS）现象^[1]。

模式识别使用马氏距离判别法，马氏距离进行分类就是计算待测样本与各个标准样本之间的马氏距离，距离最小的即归为同一类。

得到想象左手、右手、走步和停止的数据构造为四类标准样本集L、R、F和Z(与前方四类动作相对应)，分别计算各类样本的均值μ_L，μ_R，μ_F和μ_Z以及全体样本的协方差S，将测试样本x带入，按照以下公式计算四类动作所对应马氏距离：

$D_L=\sqrt{{(x-u_L)}^T{S}^{-1}(x-u_L)}$

$D_R=\sqrt{{(x-u_R)}^T{S}^{-1}(x-u_R)}$

$D_F=\sqrt{{(x-u_F)}^T{S}^{-1}(x-u_F)}$

$D_Z=\sqrt{{(x-u_Z)}^T{S}^{-1}(x-u_Z)---\left(4\right)}$

x的类别可由判别式(5)决定：

$f\left(x\right)=\min (D_L{D}_R,D_F,D_Z)---\left(5\right)$

结果为D_L时表示为左手，为D_R时表示右手，为D_F时为走步，为D_Z时为停止。

操作界面设计为用户信息显示，每个新用户需使用按键建立新的个人文件，新的个人文件建立后首先执行训练模式，这将在操作界面内显示，在训练模式完成后才会进入应用模式。选择用户信息时发现该用户已经在该设备中建立了完整的用户数据模型，当用户启动该设备后将调用内部存储的模型，直接进入应用模式。

其中，指令控制模块就是将数据处理的结果转换为相应的控制指令。指令控制模块需要将四种分类结果即时传输到智能眼镜当中，智能眼镜中呈现的虚拟现实环境中的人物将会根据传输的指令，执行相应的任务，通过视觉反馈给用户。

综上所述，传统的基于视觉诱发的脑机接口设备通常体积庞大，需要使用显示屏幕作为视觉诱发设备，既不能方便携带，又使得对训练场地的要求很高，而本设计拟采用可以产生虚拟现实环境的智能眼镜作为视觉诱发设备，而且，脑电信号的采集设备也将搭建在智能眼镜上，这将缩小它的体积，这将极大的扩展了它的适用范围，提高用户体验水平。因此有着非常广泛的应用前景。

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

参考文献

[1]周仲兴.复合下肢想象动作电位的特征识别新技术研究.天津大学,2009.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于虚拟现实环境的智能眼镜脑-机接口方法，其特征在于，所述方法包括以下步骤：

（1）建立显示界面；

（2）搭建脑电信号采集平台，采集脑电信号；

（3）判断用户的模式为训练模式还是应用模式，如果是训练模式，执行步骤（4），否则为应用模式，执行步骤（6）；

（4）智能眼镜中显示简单视觉刺激范式，通过脑电信号采集平台采集读取此时的脑电数据，判断脑电数据的储存时间是否达到反应时间，如果是，执行步骤（5），如果否，继续读取脑电数据直到满足时间条件后，执行步骤（5）；

（5）截取提取到的脑电数据，对脑电数据进行特征提取和模式识别，统计训练模式中的脑电数据，建立对应用户的模型并存储；

（6）智能眼镜中显示虚拟现实场景，通过脑电信号采集平台采集读取应用模式中的脑电数据，使用步骤（5）中产生的用户模型进行即时的特征提取和模式识别，根据用户指令输出指令结果，执行步骤（7）；

（7）将上一步输出的指令结果发送到指令控制模块，再由指令控制模块输入到虚拟现实环境当中，虚拟现实环境中的人物就会做出相应的动作，反馈给用户，形成完整的闭环。

2.根据权利要求1所述的一种基于虚拟现实环境的智能眼镜脑-机接口方法，其特征在于，所述脑电信号采集平台具体为：

脑电信号的采集采用40导脑电放大器，采集3导脑电信号，按照国际的10-20系统排列，所有导联的脑电信号以右乳突为参考，以左乳突为地，阻抗值均在5K以下。

3.根据权利要求1所述的一种基于虚拟现实环境的智能眼镜脑-机接口方法，其特征在于，所述特征提取和模式识别具体为：

设m层小波包分解后第w个节点的系数为向量Wi，则第个小波包的归一化能量为P_α；

$p_{\mathrm{\α}}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{W}_i^2/\underset{\mathrm{\α}=0}{\overset{2^m}{\mathrm{\Σ}}}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{W}_i^2$

小波包熵S为：

$S=-\underset{\mathrm{\α}=0}{\overset{2^m}{\mathrm{\Σ}}}{p}_{\mathrm{\α}}{\log }_{10}{p}_{\mathrm{\α}}$

提取存在事件相关去同步/同步现象的特征节点，与小波包熵S共同组成特征向量；

模式识别使用马氏距离判别法；

得到想象左手、右手、走步和停止的数据构造为四类标准样本集L、R、F和Z，分别计算各类样本的均值μ_L，μ_R，μ_F和μ_Z以及全体样本的协方差S，将测试样本x带入获取四类动作所对应马氏距离；

测试样本x的类别由f(x)＝min(D_L,D_R,D_F,D_Z)判断，

其中，结果为D_L时表示为左手，为D_R时表示右手，为D_F时为走步，为D_Z时为停止。