CN102973371A - 一种脑机接口视觉刺激显示系统 - Google Patents

Abstract

本发明提供一种能够为使用者兼顾脑机接口刺激和周围环境的显示系统，该系统能够在将各种控制行为和控制动作，转化为不同的视觉刺激信息的情况下，通过抬头显示系统呈现这些刺激，然后由使用者通过脑电实现对被控对象的具体控制。该系统可以根据不同的使用者的具体要求获得具体的安装位置，根据系统的随动设置，自适应的获得最佳的显示状态。

Description

一种脑机接口视觉刺激显示系统

技术领域

本发明涉及一种脑机接口视觉刺激显示系统，具体地说，本发明的脑机接口视觉刺激显示系统是指通过投影设备将脑机接口所需的外界刺激信息，经过多次反射后，显示到相应的抬头显示屏上，并且可以自动调整刺激的角度和位置的装置。本发明属于认知神经领域与工业设计领域的结合应用，为助残康复医疗器械领域。

背景技术

脑机接口（BCI）可以在人脑和计算机或其它外界设备之间建立一种直接的信息交流和控制通道，是一种不依赖于常规大脑输出通路（外周神经和肌肉组织）的全新的信息交流系统。脑机接口的出现有效的提高了肢体无自主行为能力的患者的活动范围。现有的脑机接口技术已经能够进行单词拼写、网页浏览以及收发邮件等，并通过脑机接口技术与电动轮椅等外部助残设备结合，出现脑控轮椅、脑控假肢等。这些都为肢体残疾患者提供了诸多的便利。

现有的脑机接口技术，最主要也是应用最为广泛的集中于稳态视觉诱发（SSVEP）、P300、事件相关去同步/同步(ERD/ERS)等三种形式。而其中SSVEP和P300两种形式的脑机接口均需要有外部进行相应的刺激，才可以获得需要的脑电信号。现有的刺激形式对于SSVEP主要是采用LED光源进行固定频率的刺激，近几年出现通过CRT/LCD的刺激形式；P300脑机接口主要采用LCD的方式实现。这些刺激显示大多需要独立的刺激器，使用者在利用脑机接口下达指令时需要注视刺激器，因而这些刺激显示的形式存在着在进行刺激的时候无法兼顾周围环境信息的问题，而频繁的注意力的切换，会影响脑机接口性能的同时造成对周围环境的错误观察，对于被控对象，尤其是移动中的被控对象来说是极其不利的。

而上面提到的问题对于现有的车辆信息的显示以及飞机上信息的显示也存在这样的问题。目前技术人员提出了抬头显示系统(head-up display，HUD)的方式，将需要显示的信息提供给该系统，通过光反射的原理，显示在用户的前方，这样需要显示的信息在用户的视野前方及时的出现，同时不会影响用户前方视野，避免由于用户在低头看各项仪表的时候周围环境的突发变化，引起事故!

综上所述，如果将抬头显示与脑机接口技术相结合，开发出一种新型的脑机接口刺激抬头显示系统，就可以很好的解决由于注意力转移所造成的各种问题。该种刺激显示系统，可以应用于脑控轮椅系统等。当将该种刺激显示系统与车辆抬头显示相结合，则全新的基于脑机接口技术的智能车辆将成为可能。

发明内容

本发明的目的是提供一种能够为使用者提供一种兼顾脑机接口刺激和周围环境的交互显示系统，该设备能够在将各种控制行为和控制动作，转化为不同的视觉刺激信息的情况下，通过抬头显示系统呈现这些刺激，然后由使用者通过脑电实现对被控对象的具体控制。具有此种功能的系统可在不借助肢体移动的情况下使通过脑电信号控制外部设备（如：轮椅移动、机械臂的抓取东西等）成为可能（例如肢体残疾人或肢体行动受限者在无外人帮助的情况下对被控对象进行操作控制），同时由于兼顾了周围的环境，使得使用者能够及时的发现环境中的危险情况，并进行相应的调整，这样也提高了操作的安全性。

本发明是一种脑机接口视觉刺激显示系统，可以适用于电动轮椅（5），使用者坐在电动轮椅（5）上，所述显示系统包括：支座（11），布置在电动轮椅（5）的脚踏板附近；投影设备（10），布置在支座（11）的第一倾斜部分（111）上；第一镜面（9），安装在支座（11）的竖直部分（112）上；第二镜面（8），安装在支座（11）的第二倾斜部分（113）上；显示部分（6），布置在电动轮椅（5）的外部，位于使用者的视野的正前方，其中，第二镜面（8）和第一镜面（9）之间的夹角是可调节的，显示部分（6）可调节地连接到电动轮椅（5），与对第二镜面（8）和第一镜面（9）之间的夹角的调节联动的调节显示部分（6）。

支座（11）的竖直部分（112）形成在支座（11）的第一倾斜部分（111）的一端；支座（11）的第二倾斜部分（113）位于第一倾斜部分（111）上方且与竖直部分（112）隔开预定距离；竖直部分（112）和第二倾斜部分（113）通过中间部分（114）连接。

支座（11）的内部形成中空空间；竖直部分（112）的上表面形成有开口；第一镜面（9）安装在竖直部分（112）的形成所述内部空间的内表面上；第二镜面（8）安装在第二倾斜部分（113）直接面对竖直部分（112）的表面上。

显示部分（6）由反射膜形成；显示部分（6）通过顶棚（1）可调节地连接到电动轮椅（5）。

在第二镜面（8）的背面的下部的边缘设置有转轴（13）；在第二倾斜部分（113）的与转轴（13）对应的位置设置有孔；转轴（13）穿过该孔，并连接到外部动力源，从而调节第二镜面（8）。

投影设备（10）、第一镜面（9）、第二镜面（8）以及显示部分（6）之间满足一定的关系，使得从投影设备（10）发射的刺激信息能够显示在显示部分（6）上。

防尘罩（7）盖住竖直部分（112）的上表面、第二倾斜部分（113）的直接面对竖直部分（112）的表面的整个边缘。

本发明的优点在于：

(1)避免了传统脑机接口刺激显示系统无法兼顾周围信息的问题，提高了安全性；

(2)由于该系统显示的刺激可以通过软件实现，这样就为刺激信息的实时的修改提供了可能，并有利于构建更加人性化的界面设计；

(3)各个组成模块的联动设计，能够使使用者对轮椅的使用更加方便、更加人性化；

(4)本发明可以通过对电动轮椅进行简单的改造就可行使用，因此更加便携。

附图说明

图1是本发明的使用示例图。

图2是本发明中视觉刺激显示系统的构造图。

图3是图2中视觉刺激显示系统的分解立体图。

图4是图3中视觉刺激显示系统的部分结构的放大立体图。

图5是图2中刺激显示的光路图。

具体实施方式

下面将结合附图对本发明作进一步的详细说明。

请参见图1所示，该图显示的是本发明使用示例图。在图1中，显示系统的投影部分4布置在电动轮椅5上，优选地，布置在电动轮椅5的脚踏板附近（但是不妨碍使用者（例如，行动不方便的人）上下电动轮椅5），投影部分4发射刺激信息，该刺激信息顺序经过第一镜面9和第二镜面8的反射（将在下面描述第一镜面9和第二镜面8及刺激信息如何反射），显示在抬头显示系统的显示部分2（由固定到电动轮椅5的顶棚1支撑，其具体位置将在下面描述）上。使用者坐在电动轮椅5上，能够通过注视经由显示部分2显示的刺激信息，诱发出相应脑电信号，该脑电信号发送至（优选地）布置在电动轮椅5的靠背外的脑电采集和处理系统3，脑电采集和处理系统3通过本领域已知的算法解读出使用者的真实意图，并通过处理单元（未示出）将相应的意图转化为对电动轮椅5的控制命令，并输出该控制命令，从而使使用者利用其脑电信号实现对电动轮椅5的控制。

图2是本发明中显示系统的构造图。图3是图2中显示系统的分解立体图。图4是图3中显示系统的部分结构的放大立体图。

在图2和图3中，根据本发明的显示系统主要由投影设备10（例如，投影仪）、包括第一镜面9和第二镜面8的反射部分、显示部分6以及外罩（也被称为防尘罩，主要用于保护和防尘）7、支座11等组成。

如上所述，支座11布置在电动轮椅5的脚踏板附近，其具体形状如图3所示。支座11包括形成支座11的底部的第一倾斜部分111、形成在形成支座11一端的竖直部分112、以及位于第一倾斜部分111上方且与竖直部分112隔开预定距离的第二倾斜部分113。其中，竖直部分112和第二倾斜部分113通过中间部分114连接，投影设备10安装在第一倾斜部分111上，第一镜面9安装在竖直部分112上，第二镜面8安装在第二倾斜部分113上。

防尘罩7安装到支座11，以使防尘罩7盖住竖直部分112的上表面（在该上表面中形成有开口）、第二倾斜部分113的直接面对竖直部分112的表面的整个边缘，从而保护第一镜面9和第二镜面8。

显示部分6布置在支座11的外部，优选地，如图1所示，布置在电动轮椅5的前方，由顶棚1支撑，方便使用者抬头观看。可根据使用者的平均身高等参数合适地确定显示部分6与地面的距离。

支座11的内部形成中空空间，且竖直部分112的上表面形成有开口，以便来自投影设备10的刺激信号经过该中空空间，到达第一镜面9，然后经过第一镜面9的反射，经过该开口，到达第二镜面8，经过第二镜面8的反射，最后到达显示部分6，以在显示部分6上显示出来。

为了最大程度地反射刺激信号以及最优地显示刺激信号，第一镜面9和第二镜面8均需要满足一定的要求（在后面有描述），显示部分6由光反射膜贴膜构成，但是不限于此（亦可以选择具有HUD显示功能的玻璃构成）。另外，为了调节刺激信号最终到达显示部分6的位置，可以调节支座11的第二倾斜部分113的倾角，进而调节第二镜面8和第一镜面9之间的夹角，这将在后面描述。

如图4所示，在第一镜面9和第二镜面8的边缘部分（即，四个拐角处）开孔（具体地说，螺栓孔），以使第一镜面9和第二镜面8分别螺栓连接到支座11的竖直部分112和第二倾斜部分113。另外，如上所述，为了调节第二镜面8和第一镜面9之间的夹角，在第二镜面8的背面（即，直接接触第二倾斜部分113的表面）的下部的边缘设置有转轴13，且在支座11的第二倾斜部分113的与转轴13对应的位置设置有孔，转轴13穿过该孔，延伸到支座11的外部，并连接到外部动力源（例如，电机），将会根据这些模块之间的联结关系（在后面有描述）获得相应的转动角度。

此外，第二镜面9还通过支撑架15支撑在支座11的支撑底座14上，支撑架15抵靠在支座11的竖直部分112上。这样，第二镜面9被固定，第二镜面8可调节。

图5是图2中刺激显示的光路图。通过第一镜面9和第二镜面8实现将来自投影设备10的刺激信息，反射到显示部分6上，能够有效的降低投影设备10与显示部分6之间的距离，降低脑机接口视觉刺激显示系统的体积，提高其便携性。

本发明的视觉刺激显示系统参照图2至图4的描述的各个模块之间的联结关系将依据光路的走向设定（见图5），为：

1、为了使投影设备10的刺激信息能够完全在显示部分6上显示，则需要满足第一镜面9的镜面高度X满足投影距离为D（投影设备10与第一镜面9间的距离）下的要求；而第一镜面9的镜面宽度同样需要满足对应投影距离为D的情况下的要求。如果投影设备10为投影仪，则可以根据投影仪本身的参数设置进行设计；如果投影设备10为其他发光体，如：高亮度的LCD屏，则需要满足该屏信息能够在限定的距离范围内显示在第一镜面9上；

2、第二镜面8由于是接收第一镜面9反射的信息，因此，在位置关系上受到投影设备10投影到第一镜面9的信息反射角度的影响，而第二镜面8与第一镜面9的相对距离由会引起反射到第二镜面8的范围问题。故：在投影设备10和第一镜面9的具体的位置和尺寸固定条件下（以第一镜面9垂直支撑底座14为例），需要满足第二镜面8的倾斜角度β（第二镜面8与底座11的夹角）和第二镜面8的镜面高度Y满足关系为：

$=\frac{X-L\·\tan \mathrm{\θ}}{\sin \mathrm{\β}}+\frac{[\frac{X-L\·\tan \mathrm{\θ}}{\tan \mathrm{\β}}+L]\·\cos \mathrm{\α}}{-\cos (\mathrm{\α}+\mathrm{\β})}$

其中： $\{\mathrm{\α}\arctan \left(\frac{D\tan \mathrm{\θ}+X}{D}\right)---\left(1\right)$

而第二镜面8的高度Z必须满足：

G≤Z≤X’+L·tanθ;    （2）

X’：第一镜面9的高度（第一镜面9下边缘距离支撑底座14的距离）；G：投影设备10的垂直高度；α：来自投影设备10的光线与第一镜面9最高点的夹角；θ：投影设备10与支座11之间的夹角；L：第二镜面8下边缘与第一镜面9的水平方向距离。

3、显示部分6的显示信息来源于反射部分中的第二镜面8，因此，在第二镜面8的具体位置与尺寸确定之后，显示部分6的位置以及尺寸也必须满足一定的关系：

$=\frac{Y\·\cos \mathrm{\ζ}}{\cos (\mathrm{\β}-\mathrm{\ζ}-\mathrm{\ϵ})}+\frac{[\frac{M}{\sin (\mathrm{\β}-\mathrm{\ζ})}-\frac{Y\·\sin (\mathrm{\β}-\mathrm{\ϵ})}{\cos (\mathrm{\β}-\mathrm{\ζ}-\mathrm{\ϵ})}]\·\sin (\mathrm{\ζ}+\mathrm{\δ}-2\mathrm{\β})}{\sin (\mathrm{\β}-\mathrm{\ϵ}+\mathrm{\δ})};$

其中：

M：显示部分6的下边缘与第二镜面8下边缘的水平距离；ζ：光线经过第二镜面8下边缘的发射角度；ε：显示部分6的显示镜面与支座11的夹角；δ：光线由第一镜面9发射至第二镜面8的上边缘与第二镜面8的夹角。

显示部分6的高度N必须满足：

N≤Z+M·tan(ζ+90°-β)

=Z+M·cot(β-ζ);    （4）

4、在显示部分6上显示的刺激信息的接收者为用户，因此需要将其设置在用户视野的正前方，以利于用户的使用，显示部分6与使用者位置的关系为：

$2(\frac{H}{\sin \mathrm{\ϵ}}\·\tan \mathrm{\φ})\≤R;---\left(5\right)$

ε:显示部分6的显示镜面与支座11的夹角；

用户的视角；H：反射部分6的中线位置与用户之间的水平距离。显示部分6的显示镜面可以根据具体用户的需求进行一定弧度的设计，但整体仍然需要满足以上的要求。

本系统的各个模块之间的联接关系必须满足以上的几何关系，并通过联动装置（如上所述的转轴13及动力源）实现，在其中一个模块位置改变的情况下，其他模块也随着自动调节。

该发明以支座11为基准，第一镜面9根据投影设备10的参数设计尺寸，在第一镜面9和投影设备10固定的情况下，根据（1）和（2）中的关系确定出第二镜面8的位置与尺寸；并由（3）和（4）实现显示部分6的随动。

（5）作为显示部分6的约束条件存在，也是反向自动调节该系统的基础，使用者可根据自己需求调节显示部分6，显示部分6通过随动装置实现第二镜面8在限制条件（1）（2）（3）（4）下随动，使用户能够方便的实现对该系统的调整。

对于水平方向的尺寸设计，根据投影的水平尺寸和垂直尺寸的比例，参照垂直方向的尺寸同比例的设计水平方向的尺寸。

Claims (7)

1.一种脑机接口刺激抬头显示系统，可以用于电动轮椅（5），使用者坐在电动轮椅（5）上，所述抬头显示系统包括：

支座（11），布置在电动轮椅（5）的脚踏板附近；

投影设备（10），布置在支座（11）的第一倾斜部分（111）上；

第一镜面（9），安装在支座（11）的竖直部分（112）上；

第二镜面（8），安装在支座（11）的第二倾斜部分（113）上；

显示部分（6），布置在电动轮椅（5）的外部，位于使用者的视野的正前方，

其中，第二镜面（8）和第一镜面（9）之间的夹角是可调节的，显示部分（6）可调节地连接到电动轮椅（5）；与对第二镜面（8）和第一镜面（9）之间的夹角的调节联动地调节显示部分（6）。

2.根据权利要求1所述的抬头显示系统，其中：

支座（11）的竖直部分（112）形成在支座（11）的第一倾斜部分（111）的一端；

支座（11）的第二倾斜部分（113）位于第一倾斜部分（111）上方且与竖直部分（112）隔开预定距离；

竖直部分（112）和第二倾斜部分（113）通过中间部分（114）连接。

3.根据权利要求1所述的抬头显示系统，其中：

支座（11）的内部形成中空空间；

竖直部分（112）的上表面形成有开口；

第一镜面（9）安装在竖直部分（112）的形成所述内部空间的内表面上；

第二镜面（8）安装在第二倾斜部分（113）直接面对竖直部分（112）的表面上。

4.根据权利要求1所述的抬头显示系统，其中：

显示部分（6）由反射膜形成；

显示部分（6）通过顶棚（1）可调节地连接到电动轮椅（5）。

5.根据权利要求1所述的抬头显示系统，其中：

在第二镜面（8）的背面的下部的边缘设置有转轴（13）；

在第二倾斜部分（113）的与转轴（13）对应的位置设置有孔；

转轴（13）穿过该孔，并连接到外部动力源，从而调节第二镜面（8）。

6.根据权利要求1所述的抬头显示系统，其中：

投影设备（10）、第一镜面（9）、第二镜面（8）以及显示部分（6）之间满足一定的关系，使得从投影设备（10）发射的刺激信息能够显示在显示部分（6）上。

7.根据权利要求1所述的抬头显示系统，所述抬头显示系统还包括：

防尘罩（7），盖住竖直部分（112）的上表面、第二倾斜部分（113）的直接面对竖直部分（113）的表面的整个边缘。

Images