CN204839844U - 基于脑控移动眼的残疾人辅助系统 - Google Patents

Abstract

本实用新型揭示了一种基于脑控移动眼的残疾人辅助系统，所述系统包括视觉诱发设备、信号采集设备、信号处理设备、外围控制设备；视觉诱发设备用以提供整个系统的用户交互界面，使用者全程利用该界面进行控制；信号采集设备用以采集头皮处的脑电活动，将采集到的模拟信号转化成数字信号，传输到信号处理设备；信号处理设备用以实时分析采集到的数据，同时用来控制实验流程；外围控制设备包括移动眼、轮椅；移动眼包括智能车、设置于智能车的摄像头云台；外围控制设备能根据信号处理设备发送的控制指令做相应的动作。本实用新型基于脑控移动眼的残疾人辅助系统，可增加轮椅控制的安全性。

Description

基于脑控移动眼的残疾人辅助系统

技术领域

本实用新型属于智能控制技术领域，涉及一种残疾人辅助系统，尤其涉及一种基于脑控移动眼的残疾人辅助系统。

背景技术

辅助设备涉及到脑-机接口BrainComputerInterface技术于1970年代由JacquesVidal的研究拉开序幕，在1999年的第一届脑-机接口国际会议上做出了如下定义：“脑-计算机接口是一种不依赖于正常的由外围神经和肌肉组成的输出通路的通讯系统”(译文)，简单的说，用意念来控制外围设备。现今的脑-机接口通常有如下组件，视觉诱发设备可选，大脑活动信号提取设备，信号处理设备，外围被控制设备。

脑-机接口包括基于P300电位的脑-机接口。P300电位是事件相关电位EventrelatedPotential,ERP的一种。人受到外界刺激后的大致300ms，在大脑相关区域产生的正向电位波动。该电位可以由视觉，听觉，触觉等多种感官刺激诱发。该刺激需是小概率事件，如果刺激过于频繁会影响P300的质量。采用视觉P300为基础的脑-机接口打字机系统于1988年被第一次提出。在该类脑-机接口中，视觉刺激的图案，刺激的闪烁序列，以及界面布局都对系统的表现有影响。

通常使用的大脑活动信号为EEGElectroencephalography，通过电极于大脑头皮外侧采集，是一种非入侵的方式。该采集方式在信号分辨率，成本和实用性方面具有优势。

随着生活水平的改善，各类电动轮椅相继出现，协助行动不便人士改善生活。但现今绝大多数轮椅都需要手来控制，而对于严重丧失肌肉运动能力的人群而言，这类控制技术毫无意义。脑-机接口技术直接读取使用者的大脑信号，几乎不需要肌肉组织参与，可以有效服务上述人群。

专利号为CN201310163499.3的中国专利公开了一种基于SSVEP稳态视觉诱发电位steady-statevisualevokedpotentials的智能轮椅系统，包括LED频闪刺激器、电极帽、脑电预处理电路、无线传输系统、上位机、轮椅控制电路、电动轮椅和自动避障模块。电极帽采集到的脑电信号通过脑电预处理电路进行预处理后经无线传输系统传送给上位机进行处理产生控制信号，再经无线传输系统传送给轮椅控制电路对轮椅进行控制。不过该方案设计中视觉诱发模块同时出现多个一定频率的闪烁视觉刺激，容易让使用者疲劳。

专利号为CN201410269902.5的中国专利公开了一种基于脑机接口与自动驾驶技术的智能轮椅控制方法，包括以下步骤：根据网络摄像头获取当前图片对障碍物实现定位；障碍物信息产生候选目的地和用于路径规划的航迹点；对轮椅进行自定位；用户通过脑机接口选择目的地；将轮椅当前的位置作为起点，用户选择的目的地作为终点，结合航迹点规划最优路径；计算轮椅当前位置与最优路径的位置差作为PID路径跟踪算法的反馈；PID路径跟踪算法计算出参考角速度和线速度并入到PID运动控制器，并将里程数据转化为当前的角速度和线速度信息作为PID运动控制器的反馈，实时控制轮椅行驶至目的地。该方案中需要使用外部摄像头，只能用于熟悉的环境。此外P300的叠加次数固定为4次，不利于轮椅的输出效率。

上述轮椅辅助系统中，受控对象只有轮椅一项，人坐在轮椅上无法观察陌生环境下的视觉死角地区。

有鉴于此，如今迫切需要设计一种新的辅助系统，以便克服现有系统的上述缺陷。

实用新型内容

本实用新型所要解决的技术问题是：提供一种基于脑控移动眼的残疾人辅助系统，可增加轮椅控制的安全性。

为解决上述技术问题，本实用新型采用如下技术方案：

一种基于脑控移动眼的残疾人辅助系统，所述系统包括：视觉诱发设备、信号采集设备、信号处理设备、外围控制设备；信号处理设备分别连接视觉诱发设备、信号采集设备、外围控制设备；

所述视觉诱发设备为用户提供整个系统的交互界面，使用者全程利用该界面进行控制；视觉诱发设备提供的界面包含三个部分：视频实时反馈框、控制命令显示栏、人脸刺激源；

所述信号采集设备采集头皮处的脑电活动，将采集到的模拟信号转化成数字信号，通过USB端口传输到信号处理设备；

所述信号处理设备用以实时分析采集到的数据，并对视觉诱发设备、外围控制设备发出指令；信号处理设备包括第一处理器、第一无线通讯单元；

所述外围控制设备包括移动眼、轮椅；移动眼包括智能车、设置于智能车的摄像头云台、第二无线通讯单元，轮椅包括第三无线通讯单元；外围控制设备能根据信号处理设备发送的控制指令做相应的动作。

一种基于脑控移动眼的残疾人辅助系统，所述系统包括：主辅助控制设备、外围控制设备，主辅助控制设备与外围控制设备无线连接；

所述主辅助控制设备包括第一无线通讯单元；

所述外围控制设备包括移动眼、轮椅；移动眼包括智能车、设置于智能车的摄像头云台、第二无线通讯单元，轮椅包括第三无线通讯单元；外围控制设备能根据信号处理设备发送的控制指令做相应的动作。

作为本实用新型的一种优选方案，所述主辅助控制设备包括视觉诱发设备、信号采集设备、信号处理设备；

所述视觉诱发设备用以提供整个系统的用户交互界面，使用者全程利用该界面进行控制；

所述信号采集设备用以采集头皮处的脑电活动，将采集到的模拟信号转化成数字信号，传输到信号处理设备；

所述信号处理设备用以实时分析采集到的数据，并对视觉诱发设备、外围控制设备发出控制指令。

本实用新型的有益效果在于：本实用新型提出的基于脑控移动眼的残疾人辅助系统，将带有无线摄像头的智能车(移动眼)系统引入脑控轮椅中。智能车系统探索使用者的视觉盲区，将路况信息传回供使用者观察，辅助其决断，以增加轮椅控制的安全性。

本实用新型设计了基于人脸的闪烁范式，人脸可以诱发更好的P300，以及相关的多种ERP成分，可以增加分类准确率。此外设计了闪烁的编码以及相关的闪烁顺序策略。可以同时闪烁多个目标来加快速度；部分刺激组不会出现，减少因为误判该刺激而出现错误；减少同一个目标发生接连刺激，保证包括P300在内的ERP信号质量。相比其他P300系统，有效提高了系统的准确率，进而提高使用效率。

本实用新型根据临近trial的分类结果，动态控制trial的数量。可以在保证准确率的情况下，尽量减少单个目标输出的时间。如果使用者不注视屏幕，因为每个trial输出具有大量的随机性，系统不容易输出错误目标。

附图说明

图1为本实用新型系统的组成示意图。

图2为本实用新型视觉诱发界面的示意图。

图3为本实用新型诱发刺激方式示意图。

具体实施方式

下面结合附图详细说明本实用新型的优选实施例。

实施例一

一种基于脑控移动眼的残疾人辅助系统，所述系统包括：视觉诱发设备(视觉诱发界面)、信号采集设备、信号处理设备、外围控制设备；信号处理设备分别连接视觉诱发设备、信号采集设备、外围控制设备。

所述视觉诱发设备为用户提供整个系统的交互界面，使用者全程利用该界面进行控制；视觉诱发界面包含三个部分：视频实时反馈框、控制命令显示栏、人脸刺激源；

所述信号采集设备采集头皮处的脑电活动，将采集到的模拟信号转化成数字信号，通过USB端口传输到信号处理设备；

所述信号处理设备用以获取信号采集设备采集的数字信号，并以此对视觉诱发设备、外围控制设备发出指令；信号处理设备包括第一处理器、第一无线通讯单元。信号处理设备可以利用现有技术的设备。

所述外围控制设备包括移动眼、轮椅；移动眼包括智能车、设置于智能车的摄像头云台、第二无线通讯单元，轮椅包括第三无线通讯单元；外围控制设备能根据信号处理设备发送的控制指令做相应的动作。

实施例二

一种基于脑控移动眼的残疾人辅助系统，所述系统包括：主辅助控制设备、外围控制设备，主辅助控制设备与外围控制设备无线连接；

所述主辅助控制设备包括第一无线通讯单元；

所述外围控制设备包括移动眼、轮椅；移动眼包括智能车、设置于智能车的摄像头云台、第二无线通讯单元，轮椅包括第三无线通讯单元；外围控制设备能根据信号处理设备发送的控制指令做相应的动作。

实施例三

请参阅图1，本实用新型揭示了一种基于脑控移动眼的残疾人辅助系统，包括视觉诱发界面，信号采集设备，信号处理设备，外围控制设备4个部分。视觉诱发界面，信号采集设备，信号处理设备可以利用现有的设备，为现有技术。

(1)视觉诱发界面

视觉诱发界面为整个系统的用户交互界面，使用者全程利用该界面进行控制(如图2所示)。系统具有两种控制界面：摄像头与智能车控制界面，轮椅控制界面，用户可以根据需要进行两种控制界面的切换。

布局。用户控制界面包含三个部分：视频实时反馈框，控制命令显示栏，人脸刺激源。图2正中为视频实时反馈框，显示摄像头传输回的视频路况信息。顶部为控制命令显示栏，第一行target位置显示控制目标，框中feedback部分显示系统输出的文字反馈。视频框的周围有10图标，那些是带有指令图片的人脸刺激源，在智能车控制，和轮椅控制模式下功能不同，参见表1。系统运行中，人脸刺激源将按照上位机的控制，以一定规律来进行诱发刺激。

表1

诱发刺激方式。如图3，指令图片左侧为刺激产生位置，当图标不进行诱发刺激时，方框保持蓝色。刺激开始时，蓝色区域出现一张著名人物的人脸，随后立刻消失。

刺激编码。表2显示了10个图标的刺激编码。表格中的数字表示，闪烁的组别。举例：当上位机发送命令，需要第1组的刺激开始，所有对应表格中有1的图标会被点亮，也就是第1列。部分编号没有被使用，但是上位机也会发送相关闪烁指令。这些编码存在为了增加系统中对同一个目标的闪烁间隔，以求增加所诱发信号的质量。同时，增加多余的闪烁组，可以减少错误指令被输出的可能。

1,7	4,10	5,11	2,7
				1,8	无	无	2,8
1,9	3,9	6,12	2,9

表2

(2)信号采集设备

信号采集设备采集头皮处的脑电活动，将采集到的模拟信号转化成数字信号，通过USB端口传输到信号处理设备。

(3)信号处理设备

信号处理设备在使用中拥有两个主要功能：1)实时分析采集到的数据。脑电波数据从信号采集设备输入到信号处理设备，电脑将对数据进行巴特沃兹带通滤波，特征提取，最后利用贝叶斯线性分类器进行分类。2)控制实验流程。该模块同时作为上位机，控制整个实验流程，对视觉诱发设备，外围设备发出指令。该指令可以是，控制轮椅，智能车移动，摄像头云台移动，诱发界面切换，同时发送文字反馈给诱发界面。

(4)外围控制设备

外围控制设备包括智能车和摄像头云台(统称移动眼)，轮椅。

智能车接受无线信号控制，可以做出两个自由度的动作，也就是前，后运动，以及左右转向。

智能车搭载了摄像头云台系统，可以根据无线命令进行两个自由度内的变换摄像头角度，可以运用轮椅移动到使用者视觉盲区进行观测。

轮椅接受无线串口命令来进行操作，类似于智能车一样做出前后左右的移动，并且有微动和大幅移动两个步骤。

视频通过摄像头采集，可以通过无线实时回传观察到的视频信息给用户。

本实用新型系统的使用步骤如下：

步骤1、系统开启，摄像头持续传回画面到诱发界面中；

步骤2、画面上的指令按钮开始闪烁；

步骤3、使用者根据需要来选择所需要的指令，默数对应蓝色区域人脸出现的个数(第一个命令需为“start”)；

步骤4、数据处理模块输出指令控制，闪烁刺激停止；

步骤5、界面稍作暂停后诱发继续开始，直到使用结束。

视觉刺激控制的处理步骤包括：在系统开始工作前，数据处理模块将按如下规则计算闪烁刺激出现的次序：同一个位置不能连续出现闪烁刺激2次；所有12组刺激必须出现，而且仅出现一次，完成一个trial。之后下一个trial开始。需要闪烁刺激时，数据处理模块按照固定时间间隔，挨个发送刺激序列中的每一个刺激组别，视觉诱发模块接收命令后，点亮相应的图标。

信号处理设备的P300信号处理流程包括：

步骤S1、每一个闪烁刺激命令发送后，数据处理程序将接收到的数据存放在缓存中；

步骤S2、当紧接着某个刺激的800ms的数据被记录下后，程序开始处理数据；

步骤S3、预处理，包括1-30Hz巴特沃兹带通滤波和4点的下采样；

步骤S4、预处理后的特征通过贝叶斯线性分类器进行计算，得出对应score；

步骤S5、当一个trial结束后，其中12个刺激对应的脑电数据都被处理，得出12个score，选出最大的2个score代表的闪烁组别，对应表2，得到相应命令；

步骤S6、如果得到的命令存在，被记录，不然被抛弃；

步骤S7、如果连续的两个trial得出的命令都存在，且相同，该命令作为控制信号输出，同时暂停闪烁刺激命令发送；

综上所述，本实用新型提出的基于脑控移动眼的残疾人辅助系统，将带有无线摄像头的智能车(移动眼)系统引入脑控轮椅中。智能车系统探索使用者的视觉盲区，将路况信息传回供使用者观察，辅助其决断，以增加轮椅控制的安全性。

本实用新型设计了基于人脸的闪烁范式，人脸可以诱发更好的P300，以及相关的多种ERP成分，可以增加分类准确率。此外设计了闪烁的编码以及相关的闪烁顺序策略。可以同时闪烁多个目标来加快速度；部分刺激组不会出现，减少因为误判该刺激而出现错误；减少同一个目标发生接连刺激，保证包括P300在内的ERP信号质量。相比其他P300系统，有效提高了系统的准确率，进而提高使用效率。

本实用新型根据临近trial的分类结果，动态控制trial的数量。可以在保证准确率的情况下，尽量减少单个目标输出的时间。如果使用者不注视屏幕，因为每个trial输出具有大量的随机性，系统不容易输出错误目标。

这里本实用新型的描述和应用是说明性的，并非想将本实用新型的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本实用新型的精神或本质特征的情况下，本实用新型可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本实用新型范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。

Claims (3)

1.一种基于脑控移动眼的残疾人辅助系统，其特征在于，所述系统包括：视觉诱发设备、信号采集设备、信号处理设备、外围控制设备；信号处理设备分别连接视觉诱发设备、信号采集设备、外围控制设备；

所述视觉诱发设备为用户提供整个系统的交互界面，使用者全程利用该界面进行控制；视觉诱发设备提供的界面包含三个部分：视频实时反馈框、控制命令显示栏、人脸刺激源；

所述信号采集设备采集头皮处的脑电活动，将采集到的模拟信号转化成数字信号，通过USB端口传输到信号处理设备；

所述信号处理设备用以获取信号采集设备采集的数字信号，以此对视觉诱发设备、外围控制设备发出指令；信号处理设备包括第一处理器、第一无线通讯单元；

所述外围控制设备包括移动眼、轮椅；移动眼包括智能车、设置于智能车的摄像头云台、第二无线通讯单元，轮椅包括第三无线通讯单元；外围控制设备能根据信号处理设备发送的控制指令做相应的动作。

2.一种基于脑控移动眼的残疾人辅助系统，其特征在于，所述系统包括：主辅助控制设备、外围控制设备，主辅助控制设备与外围控制设备无线连接；

所述主辅助控制设备包括第一无线通讯单元；

所述外围控制设备包括移动眼、轮椅；移动眼包括智能车、设置于智能车的摄像头云台、第二无线通讯单元，轮椅包括第三无线通讯单元；外围控制设备能根据信号处理设备发送的控制指令做相应的动作。

3.根据权利要求2所述的基于脑控移动眼的残疾人辅助系统，其特征在于：

所述主辅助控制设备包括视觉诱发设备、信号采集设备、信号处理设备；

所述视觉诱发设备用以提供整个系统的用户交互界面，使用者全程利用该界面进行控制；

所述信号采集设备用以采集头皮处的脑电活动，将采集到的模拟信号转化成数字信号，传输到信号处理设备；

所述信号处理设备用以实时分析采集到的数据，并对视觉诱发设备、外围控制设备发出控制指令。