CN103099693A

CN103099693A - 基于脑电/语音指令助残控制系统

Info

Publication number: CN103099693A
Application number: CN2013100492406A
Authority: CN
Inventors: 王禹
Original assignee: Individual
Current assignee: Individual
Priority date: 2013-02-07
Filing date: 2013-02-07
Publication date: 2013-05-15

Abstract

本发明公开了一种基于脑电/语音指令助残控制系统，由计算机、脑电波采集装置、脑机接口装置、蓝牙耳麦、家居控制装置、轮椅控制装置与电动轮椅组成；其中，所述的脑电波采集装置通过脑机接口装置收集使用者脑电信号，计算机接收到脑电信号转换成计算机键盘事件；所述的蓝牙耳麦将使用者发出的语音指令无线传输到计算机中，语音识别程序对语音指令进行识别处理，将语音指令转换成计算机键盘事件；所述的计算机键盘事件再转换为数字信号，通过家居控制装置实现常见家用电器的控制以及通过轮椅控制装置改变电动轮椅的控制电位，实现轮椅前进、后退、向左、向右、停止功能。本发明可以帮助肢体或语言不便等残疾人实现独立生活、自主出行的目的，对于缓解残疾人士的心理压力有很大贡献，并且结构简单，成本低廉，易于操作。

Description

基于脑电/语音指令助残控制系统

技术领域

本发明涉及人工智能控制领域，尤其是肢体残疾人群利用脑电波或者语音指令来控制常见的家用电器以及控制轮椅行走的智能装置。

背景技术

脑机接口是在人或动物脑与外部设备间建立的直接连接通路。对脑机接口的研究已持续40年，20世纪90年代中期以来，从实验中获得的此类知识显著增长。在获取脑电信号方式的角度来看脑机接口分为以下几种：侵入式脑机接口、部分侵入式脑机接口和非侵入式脑机接口；所谓非侵入式脑机接口也就是不用将脑机接口直接植入到大脑的灰质或者颅腔内，直接在大脑皮层表面采集信号，从而使脑机接口装置变得轻便，方便携带，是一种理想的实现装置。

目前市场上还未见有将轮椅整合到助残控制系统中的产品，而在市场上常见有两种轮椅，一是手动轮椅，二是电动轮椅，但这两种轮椅的控制方式都是利用人的上肢来操作并实现轮椅行走的，上述的两种轮椅都只适用于下肢残疾的人士使用，这使得有一部分上肢残疾的人士无法使用轮椅，从而在生活上造成很多不便。

专利201110268891.5公开了一种基于多模态脑机接口的智能轮椅，受试者头戴32导联电极帽，操作过程中需要受试者眼睛距离视觉刺激界面65cm，且需长时间注视界面，进而改变行进状态实现轮椅向各个方向行进，但是在真实的环境中，残疾人不可能随时保持距刺激界面65cm，而且使用者需要经长时间训练才能操作，这样使其实用性受到极大限制，同时存在很大的安全隐患。

日本丰田公司也进行了类似的研究，从其公开的外观可知该装置的受试者是头戴多个电极帽，并且处理信号以及控制装置过于庞大，不适合真正使用的残疾人。

发明内容

本发明主要针对现有技术问题的缺陷和不足，提供一种无需任何肢体操作而利用脑电或语音指令控制常见的家用电器与电动轮椅，在本发明运行后可以随时控制家用电器，同时还可以改变轮椅的行进状态。本发明是一种可随时控制家用电器而且又不会影响轮椅行进安全的基于脑电/语音指令助残控制系统。

为了实现上述目的，本发明采用以下技术方案来实现：

一种基于脑电/语音指令助残控制系统，由计算机、脑电波采集装置、脑机接口装置、蓝牙耳麦、家居控制装置、轮椅控制装置与电动轮椅组成；

其中，所述的脑电波采集装置通过脑机接口装置收集使用者脑电信号，计算机接收到脑电信号转换成计算机键盘事件；

所述的蓝牙耳麦将使用者发出的语音指令无线传输到计算机中，语音识别程序对语音指令进行识别处理，将语音指令转换成计算机键盘事件；

所述的计算机键盘事件再转换为数字信号，通过家居控制装置实现控制常见的家用电器；计算机键盘事件转换为的数字信号，还可通过轮椅控制装置改变电动轮椅的控制电位，实现轮椅前进、后退、向左、向右、停止功能；

所述的家居控制装置独立安装在室内，与控制计算机通过wifi环境无线连接，该装置由PLC和控制接口板组成；

所述的轮椅控制装置安装在所述电动轮椅上，其包括PLC和驱动接口板；

所述电动轮椅上还装有超声波测距防撞装置，它由电动轮椅四周装设的超声波传感器组成，所述传感器检测轮椅周围障碍物的距离并反馈到PLC中，随着数据的变化PLC会对轮椅做出相应的控制处理，当距障碍小于预设值时，轮椅上的控制器会自动发出制动控制指令；

通过设置通讯端口和通讯协议，所述数字信号以串行通讯的方式传输给轮椅控制装置。

通过设置通讯端口和通讯协议，所述数字信号以串行通讯的方式在wifi环境下无线传输给家居控制装置。

首先，使用者需要通过肌肉紧张和松弛产生的脑电信号被脑电波采集装置收集到；其次，在电脑接收到脑电信号或蓝牙耳麦传来的语音信号时需要转换成键盘事件；第三，键盘事件再转换为数字信号输出至PLC中，再由PLC输出相应的控制指令；最后通过PLC实现控制常见的家用电器以及通过PLC控制电位器模拟霍尔元件最终实现轮椅的前进、后退、向左、向右、停止。从而给残疾人士带来便利。

由于采用上述技术方案，本发明具有以下优点和效果：

1、本发明利用脑电/语音双重指令进行控制，增加了控制的多样性、准确性，无需任何肢体操作，使用者可以根据自己的想法控制室内的家用电器以及轮椅的向前、向后、向左、向右、停止操作；

2、本发明的脑电波采集装置，佩戴的电极数量少，同时可以保证控制的准确度；

3、本发明的控制计算机安装在轮椅上，家居控制装置与计算机无线通讯，这样可以使操作者在室内的任意位置控制家庭中任意的家用电器从而突出了本发明操作的便捷性；

4、本发明增加了采用冗余设计的容错措施，减小了系统出现误控制的情况；

5、本发明设置超声波测距装置，智能的进行障碍物检测，从而增加了残疾人在使用过程中的安全性，减少事故的发生率；

6、本发明控制装置体积小，重量轻，成本低廉，系统操作简单，易于实现。

附图说明

图1为本发明系统组成示意图；

图2为本发明计算机应用程序界面示意图；

图3为本发明语音指令控制轮椅示意图；

图4为本发明脑电波指令控制轮椅示意图；

图5为本发明脑电波采集装置模拟示意图；

图6为本发明超声波测距装置安装位置以及运行原理示意图；

图7为本发明原理示意图；

图8为本发明原理示意图；

图9为本发明原理示意图；

图10为本发明原理示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细说明，但本发明的实施方式不限于此。

本实施例仅描述利用脑电波/语音指令实现控制轮椅行进，其余控制家用电器与控制轮椅的方法类似。

如图1所示，脑电、语音轮椅控制系统主要由硬件和软件这两大部分组成，其中：硬件是由计算机、蓝牙耳麦、脑电波采集装置、脑机接口装置、轮椅控制装置（PLC和接口板）以及改装后的电动轮椅组成；软件是由基于脑电/语音指令助残控制系统的计算机应用程序、PLC轮椅控制装置程序组成的。

本发明的脑电波采集装置以及脑机接口是采用OCZ公司所生产的NIA（Neural Impulse Actuator）产品， PLC控制器采用的西门子公司生产的S7-200型可编程系控制器。电位器模拟霍尔元件最终实现轮椅的前进、后退、向左、向右、停止。

使用者头戴有3个电极的脑电波采集装置以及便携式的蓝牙耳麦，坐在电动轮椅的座椅上，脑机接口与计算机放置在轮椅后背袋内或置于轮椅台面上，基于脑电/语音指令助残控制系统的计算机应用程序安装在计算机内，轮椅控制装置（PLC和接口板）固定在轮椅扶手的下方，并由电动轮椅自带的24V直流电源供电。超声波测距装置由超声波传感器组成，分散放置于轮椅的四周，进行360°无死角探测。

如图2所示，基于脑电/语音指令助残控制系统的计算机应用程序界面共有五个按钮，并且五个按钮分别显示不同的文字，即：前进、后退、向左、向右、停止。在系统启动后，使用者可以使面部肌肉紧张或松弛产生的脑电信号通过采集装置、脑机接口传入计算机中，从而控制轮椅的前进、后退及停止；使用者通过左、右眼肌的张弛产生相应的脑电信号控制轮椅的向左、向右；而且使用者还可以根据界面上按钮控件所显示的提示文字进行语音控制轮椅。

如图3所示，使用者发出语音指令通过蓝牙耳麦无线传输到系统计算机中，语音识别程序对语音指令进行识别处理，再由计算机软件将语音指令转换成计算机键盘事件，并通过设置通讯端口和通讯协议，以串行通讯的方式将控制数据传输给可编程序控制器（PLC），经过控制器程序处理后的输出信号传递到驱动接口板从而控制轮椅行进。

如图4所示，通过脑机接口装置将采集到使用者的脑电信号传输给系统计算机，脑电指令处理软件将接收到的信息定义成相应的控制指令单元，再由计算机软件将控制指令单元转换成相应的计算机键盘事件，以串行通讯方式将控制数据传输给可编程序控制器（PLC），经过控制器程序处理后的输出信号传递到驱动接口板，控制轮椅的行进。

如图5所示，本发明应用的非侵入式脑机接口实现的脑电控制轮椅，脑电波采集装置有三个电极，把他们佩戴于前额处，中间的电极位于眉心正上方。

如图6所示，本图显示了超声波测距装置的运行原理，在系统启动时测距装置也就开始运行，实时监测四周的障碍物与轮椅的距离并反馈到PLC中，一旦距离过近，轮椅会自动制动。

由于使用者的个体差异，所产生的脑电波特性也不尽相同，所以在首次使用之前，只需要进行10-20分钟左右的熟悉过程即可达到比较高操作准确率。

本发明还专门设置了模拟训练模式，初次使用者可在计算机上进行离线训练，头戴脑电波采集装置，进行肌肉张弛控制训练，而且在基于脑电/语音指令助残控制系统的计算机应用程序会有相应的反馈，若使用者通过肌肉紧张试图进行前进操作，如脑电波采集成功，系统界面会在向前的按钮上发生相应的控制成功提示。

实机练习同离线练习相似，差别在于实机练习计算机与PLC通过数据通讯电缆相连，并且轮椅通电，使用者的操作会现实的反映在轮椅上。

本实施例中的脑电或语音控制既可分别独立控制也可同时混合控制，无需设置转换。

本发明中的控制计算机安装在电动轮椅上，计算机与家居控制装置通过wifi环境无线通讯，从而实现控制家用电器。

本系统通过电路和软件的设置还可以实现其他助残功能如下：

（1）轮椅运行控制（前、后、左、右、停）；

（2）电视机遥控（频道转换、音量调节、电源控制）；

（3）室内灯光控制（开、关灯具电源）；

（4）空调控制（开关电源、调节室温）

（5）门禁系统控制（开、关门）；

（6）电饭煲电源控制；

（7）音响控制（打开/关闭、音量增大/减小、调台）

（8）远程呼叫电梯；

（9）打电话（摘机、拨号、挂机）；

（10）发短信（输入电话号码、写入短信、发送控制、接收短信）；

（11）紧急呼救（电话呼救、短信呼救）

（12）办公软件应用；

（13）上网；

（14）收发电子邮件；

（15）网上聊天软件等。

本实施例的控制方式适用于相同或相近的脑电波或语音对开关量及计算机操作的控制。

Claims

1.一种基于脑电/语音指令助残控制系统，由计算机、脑电波采集装置、脑机接口装置、蓝牙耳麦、家居控制装置、轮椅控制装置与电动轮椅组成；其特征在于：所述的脑电波采集装置通过脑机接口装置收集使用者脑电信号，计算机接收到脑电信号转换成计算机键盘事件；所述的蓝牙耳麦将使用者发出的语音指令无线传输到计算机中，语音识别程序对语音指令进行识别处理，将语音指令转换成计算机键盘事件；所述的计算机键盘事件再转换为数字信号，通过所属的家居控制装置实现常见家用电器的控制以及通过轮椅控制装置改变电动轮椅的控制电位，实现轮椅前进、后退、向左、向右、停止功能。

2.根据权利要求1所述的基于脑电/语音指令助残控制系统，其特征在于：所述的家居控制装置独立安装在室内，由PLC和控制接口板组成，可实现通过脑电波/语音指令控制常见的家用电器。

3.根据权利要求1所述的基于脑电/语音指令助残控制系统，其特征在于：所述的家居控制装置可以与安装在轮椅上的计算机通过wifi连接，从而使操作者在室内的任意位置实现对家用电器的控制。

4.根据权利要求1所述的基于脑电/语音指令助残控制系统，其特征在于：所述的轮椅控制装置安装在所述电动轮椅上，其包括PLC和驱动接口板。

5.根据权利要求2所述的基于脑电/语音指令助残控制系统，其特征在于：所述电动轮椅上还装有超声波测距防撞装置，它由电动轮椅四周装设的超声波传感器组成，所述传感器检测轮椅周围障碍物的距离并反馈到PLC中，随着数据的变化PLC会对轮椅做出相应的控制处理，当距障碍小于预设值时，轮椅上的控制器会自动发出制动控制指令。

6.根据权利要求3所述的基于脑电/语音指令助残控制系统，其特征在于：通过设置通讯端口和通讯协议，所述数字信号以串行通讯的方式传输给轮椅控制装置。