CN107967064B - 基于脑机接口与激光辅助瞄准的智能家居控制系统 - Google Patents

Abstract

本发明是基于脑机接口与激光辅助瞄准的智能家居系统，包括脑电头盔、家电控制终端和服务器。脑电头盔采集佩戴者脑电信号，发送到服务器进行数据分析处理，处理过后的信息进行分类处理分别发送到脑电头盔和家电控制终端，发送给控制脑电头盔的信号可以控制头盔上激光输出光斑的大小，进行不同家电的选择，再将运动想象处理后的信号发送到家电控制终端，家电控制终端对服务器发送的信号进行处理，改变家电状态，构成一套方便、高效、稳定的智能家居系统。

Description

基于脑机接口与激光辅助瞄准的智能家居控制系统

技术领域

本发明属于嵌入式系统和激光通信技术以及脑机接口应用的交叉技术领域，具体的说是涉及一种基于脑机接口与激光通信的数据采集、数据处理、信息传输、激光定位、光斑自动化控制、终端控制的设计和实现方案，旨在构成基于脑电与激光辅助瞄准的智能家居系统。

背景技术

脑电检测技术是目前热门的新兴技术，它能建立人脑与计算机之间的联系，实现大脑与外界信息的交换，将大脑活动信号通过计算机去控制外部设备，或者提供观察信息，能广泛地运用于生活、娱乐、医疗和军事等领域。脑电技术通过电极从人脑中提取脑电信息，再通过计算机进行去伪除噪处理后得到需要的信息，利用这些信息可以控制相应的物体。通过这项技术就能设计出一套较为完善的智能家居系统。由于目前脑电技术还不够成熟，尤其是脑电技术中运动想象的分类限制，分类越多精度反而越低，这极大地限制了脑电技术在智能家居中的应用。虽然简单的二分类、三分类运动想象已经能够在技术上实现，且二分类实验能达到100%的精度，但太多分类的难度和复杂度明显提高，且精度和准确率会大大下降。目前也有许多智能家居设计方案，比如配备一个屏幕，通过想象屏幕上鼠标的上下左右移动去选中想要控制的家电再完成对家电的相应控制，或者是利用陀螺仪感知头部左右运动去选择屏幕上的不同家用电器。就使用效果而言，这些方案针对残障人士或者行动不便的老年人有很好的辅助作用，而对于普通大众而言倒显得不是很方便。我们通过日常观察发现，当人们想要控制某种家用电器时会不由自主地望向它，于是设计了一种脑电检测装置与激光辅助瞄准相结合的智能家居系统。

发明内容

为了克服目前脑电技术发展的局限性，即运动想象多分类实现精度低且稳定性差的缺点，本发明设计了一种基于脑机接口与激光辅助瞄准的智能家居系统实现方法，将脑电技术应用于智能家居以方便人们的生活。

为了达到上述目的 ，本发明是通过以下技术方案实现的：

本发明是一种基于脑机接口与激光辅助瞄准的智能家居控制系统，所述控制系统包括脑电头盔、家电控制终端和服务器，所述脑电头盔采集人的脑电信息并发送给服务器、服务器将数据处理之后反馈给脑电头盔，所述脑电头盔包括脑电采集模块、第一控制器、激光调制器、光学发送天线、第一通信模块，所述第一控制器分别连接脑电采集模块、激光调制模块、光学发送天线、第一通信模块，所述激光调制模块连接光学发送天线，所述家电控制终端安装在家用电器上，所述家电控制终端包括光电转换器、解调器、第二控制器、指示灯、执行部件和第二通信模块，所述光电转换器、解调器、第二控制器依次连接，所述第二通信模块、第二控制器依次连接，所述第二控制器还分别连接指示灯和执行部件，所述执行部件为所述家用电器的受控部件。

本发明的进一步改进在于：所述的光学发送天线包含激光二极管、凹透镜、凸透镜、电机和调焦环，所述凹透镜和凸透镜安装在调焦环上，共轴放置，所述电机连接调焦环并控制调焦环运动，所述激光二极管发出的激光光束经过凹透镜扩散后再经凸透镜缩小扩散角度，激光调制器可以用来调制激光二极管输出的激光束，使光束上加载相关信息。

本发明的进一步改进在于：所述调制的方式包括但不限于幅度调制、幅度键控、开关键控、脉冲相位调制、脉冲宽度调制。

本发明的进一步改进在于：加载的信息包括但不限于脑电头盔的ID信息。

一种基于脑机接口与激光辅助瞄准的智能家居控制系统，所述控制系统包括如下步骤：

（1）用户佩戴上脑电头盔，脑电头盔从佩戴者大脑中采集到脑电信息，在用户初始无任何操作时脑电头盔上激光二极管状态为关；

（2）脑电信号通过第一通信模块被传送到服务器上进行数据处理，数据处理后提取出的信息分为两类：

（2a）控制激光的信号，通过第一通信模块发送给脑电头盔上的第一控制器，再由第一控制器驱动激光调制器和激光二极管，控制激光的信号有两种类型，一个是控制开关的眨眼信号，一个是改变光斑大小的运动想象信号；

（2b）控制家用电器状态的信号，运动想象信号，用户用来控制想要改变的家用电器的目标状态；

当检测到操作者有意识的2次连续眨眼信号，激光二极管打开，以初始设置输出光束；

（3）使用者对光斑进行粗对准、细对准和确认对准三个步骤：

（3a）激光二极管打开后会首先输出一个较大的光斑进行粗对准；

（3b）通过运动想象能改变光斑的大小，通过想象光斑扩大和缩小两种状态，自动调节透镜之间的距离，从而改变光束照射在家用电器上的光斑的大小，这步为光斑细对准；

（4）家电控制终端接收到光束，安装在家电控制终端内的光电转换器将光信号转化为电信号，再通过解调器对信号进行解调得到信息码，此时被照射到的家电控制终端确认信息码无误后都会亮起指示灯，用户根据指示灯的提示细对准光斑，即若亮起的指示灯不是用户想要控制的家用电器，或者同时亮起了两个及以上的指示灯，则缩小光斑使光斑只照射在用户准备控制的电器上，使目标电器亮起，当同时亮起两个及以上的指示灯时，家用电器的状态不能被改变；

（5）当用户看见家用电器的信号灯亮起，即可通过运动想象控制其开关状态，当用户选择好某一家用电器为目标电器后，通过两次眨眼进入控制家用电器状态，所述控制家用电器状态的信息是指脑电信号由脑电采集模块采集后，通过第一通信模块发送到服务器进行处理，由服务器向家电设备发送的信息；

（6）用户通过运动想象去控制家用电器的开关，对于同一个家用电器，状态总是有限的，且一般只有很少几种状态；

（7）家电控制终端接收到控制指令，通过第二控制器控制执行部件，从而控制家用电器。

本发明的有益效果是：1.本发明设计的系统不仅仅适用于残疾人和行动不便的老年人，也同样方便四肢健全的人使用，为生活带来便捷性，当经过短暂的练习后，即可通过视线锁定家用电器，并通过运动想象来控制家用电器，此过程完全不需要双手操作，也不需要改变人的位置；2.本发明设计的脑电对准装置即激光选择装置具有光斑大小自动可调、无需手动调节，更加方便，符合用户的使用习惯；3.本发明中的脑机接口与激光辅助瞄准系统构成的智能家居使得在不改变用户习惯的前提下运动想象的分类数大大减少，与其他基于脑机接口的智能家居相比，具有高效、稳定的特点。

该系统由脑电采集、数据分析处理、通信模块、激光光斑微机电控制、激光通信、控制终端、服务器等多个功能模块组成，模块间的协调工作使用户能够方便快捷地控制家中的电器，最终实现一套精度高、稳定性强、用户体验好的智能家居系统。

激光通信技术与无线通信原理相似，即先将目标信号调制到激光束上，然后把带有目标信号的激光发送出去，最后用接收装置把目标信号检验出来，激光通信技术由于其单色性好、方向性强、光功率集中、难以窃听、成本低和安装快等特点，得到了广泛的研究与应用，在此系统中，由于用户控制家用电器时可能不会100%对准家用电器，因此需要设置光斑大小自动可调的功能。

附图说明

图1 是本发明的系统框图。

图2 是本发明光学发送天线设计图。

图3 是本发明透镜运动示意图。

图4 是本发明透镜间距扩大运动示意图。

图5 是本发明系统模拟图。

具体实施方式

为了加深对本发明的理解，下面将结合附图和实施例对本发明做进一步详细描述，该实施例仅用于解释本发明，并不对本发明的保护范围构成限定。

如图1-5所示，本发明是一种基于脑机接口与激光辅助瞄准的智能家居控制系统，所述控制系统包括脑电头盔、家电控制终端和服务器，所述脑电头盔采集人的脑电信息并发送给服务器、服务器将数据处理之后反馈给脑电头盔，如图1所示，所述脑电头盔包括脑电采集模块、第一控制器、激光调制器、光学发送天线、第一通信模块，所述第一控制器分别连接脑电采集模块、激光调制模块、光学发送天线、第一通信模块，所述激光调制模块连接光学发送天线，所述家电控制终端安装在家用电器上，如图1所示，所述家电控制终端包括光电转换器、解调器、第二控制器、指示灯、执行部件和第二通信模块，所述光电转换器、解调器、第二控制器依次连接，所述第二通信模块、第二控制器依次连接，所述第二控制器还分别连接指示灯和执行部件，所述执行部件为所述家用电器的受控部件，所述脑电头盔可以实现两个功能：其一是从脑电信号中判断人脑的运动想象命令以及眨眼命令，从而发出对相关设备的控制指令；其二是发出光束扩散角可调的光束，并通过对光束的调制使得光束上加载相关信息，并通过将光束指向欲控制的家电从而选中该家电，所述家电控制终端可以监测脑电头盔发出的调制光束，解调出光束中加载的信息，控制指示灯的亮灭，所述服务器分别和脑电头盔和家电终端进行双向通信，传送数据和指令，如图2所示，图1 中的所述的光学发送天线包含激光二极管、凹透镜、凸透镜、电机和调焦环，所述凹透镜和凸透镜安装在调焦环上，共轴放置，如图3所示，所述电机连接调焦环并控制调焦环运动，从而使得凸透镜和凹透镜的间距发生改变，进而改变出射的光束扩散角度，如图4所示当凸透镜和凹透镜间距扩大时，光束发散角减小，所述电机连接调焦环并控制调焦环运动，从而使得凸透镜和凹透镜的间距发生改变，进而改变出射的光束扩散角度，所述激光二极管发出的激光光束经过凹透镜扩散后再经凸透镜缩小扩散角度，激光调制器可以用来调制激光二极管输出的激光束，使光束上加载相关信息，所述调制的方式包括但不限于幅度调制、幅度键控、开关键控、脉冲相位调制、脉冲宽度调制，加载的信息包括但不限于脑电头盔的ID信息。

系统中各部分功能具体描述如下：

1、可穿戴脑电设备能实时采集佩戴者脑部的脑电数据，由于人体脑部信号非常微弱，因此需要采用多电极、高采样率、高精度的数模转换器进行信号采集，并通过低通滤波器进行初步滤波，得到脑电原始数据。原始数据通过第一通信模块发送到服务器进行下一步处理。

2、原始脑电数据在服务器上做进一步的数据处理，区分眨眼信号和运动想象信号。

3、光学发送天线是一种激光光束发散控制设备，主要包括激光二极管、凹透镜、凸透镜，他们的组合能使激光达到一定的发散角度，其功能是方便用户选择所要控制的家用电器，整个设备安装在脑电设备的前额头处，仅露出激光出射口，通过调节凹透镜和凸透镜以及激光二极管三者之间的距离来调节最终光学发送天线出射光斑的大小。

4、调制器可以用来调制激光二极管输出的激光束，使激光束携带相关信息，调制的方式包括但不限于幅度调制、幅度键控、开关键控、脉冲相位调制、脉冲宽度调制，通过将一个带有相关信息的数据包加载进激光中，所述相关信息包括起始位标记、脑电头盔ID、停止位标记，以激光二极管出射光束为载体传输该信号至接收端，在接收端光电转换器接收到信号后，通过解码器进行解码，当解码匹配后，对应的家用电器A（不失一般性，家电控制终端标记为家用电器A）中的控制器认为家用电器A的控制开关打开，同时发送一个信号给家用电器A上的指示灯，指示灯亮起，给用户提示此时家用电器A可控。

5、脑电提取的信号主要有眨眼信号，运动想象信号，运动想象主要针对较少类别的分类，如二分类、三分类和四分类；具体应用场景有二分类应用于家中家用电器的开启和关闭两种状态，控制风扇的三种状态时（强风、弱风、关闭）采用三分类，以及其他家用电器的状态改变，在家庭中控制同一个家用电器的不同状态时也许不会仅仅涉及到2种状态，但是也不会涉及到过多的状态；当通过光束对准选择了家用电器以后，再用脑电信号去控制家电不同状态的运动想象分类数将大大减少。

实施例一

1、本方法中可以使用“Emotiv Epoc+”意念控制器作为脑电波数据采集设备，使用者戴上之后，该设备即可实时提取使用者当前脑电波的原始数据，并通过无线蓝牙的方式对原始脑电数据进行传输，接收端使用官方标配的USB Dongle进行数据接收；“EmotivEPOC+”头盔最重要的部分是十六个感测器，其中有两个感测器作为参考电极，14个电极即为脑电波数据的14路原始通道，通过对脑电信号的数据捕捉分析，观察到操作者在眨眼时刻的脑电波会产生一个明显的幅值波峰，通过观察平时眨眼产生的波形以及刻意连续眨眼两次的波形，设计了眨眼检测单元，功能如下：

（1）对数据进行差分运算，得到相应的差分波形、丢弃负脉冲、设定正常脉冲阈值，在一定时间间隔内统计超过阈值的正脉冲的个数，即为连续眨眼次数；

（2）系统检测到第一个正脉冲的位置命名为“起点”，检测到第二个正脉冲的位置命名为“终点”，起点至终点的值叫做差离值，如果差离值小于512（采样率为128HZ，时间为4s），系统将该动作识别为一个连续眨眼动作，眨眼数量加1；反之，如果差离值大于512，则系统认为该动作为操作者自然眨眼动作，不计入连续眨眼次数中；

“眨眼检测单元”主要用来实现和检测操作者有意识的2次连续眨眼信号，当检测到这个信号，激光二极管打开，表示用户想要对某种家用电器进行操作；

2、佩戴者通过想象一个小球上下左右运动来训练脑电信号，分别对应A、B、C、D四种判定类别，存入数据库，以备其后的脑电信号判断使用；脑电信号通过蓝牙发送到服务器，服务器对其进行分析处理，判断是控制光斑的信号还是控制家电的信号；控制光斑的信号通过WIFI模块ESP8266发送到脑电头盔，控制家电的信号通过WIFI模块ESP8266发送到家电控制终端；

3、以家电控制终端内置于空调机为例，实验者通过连续两次眨眼打开激光二极管开关，输出光束，得到一个初始大小的光斑，将光斑覆盖到2m外的空调上，通过向上和向下的想象控制光斑大小的变化，分别控制照射在空调上的光斑变大或者变小；当空调上的指示灯亮起，表示此时空调被选中，为可控制状态；

4、在脑电头盔上的控制器使用的是STM32F407系列核心板，WIFI接收器接收到信号后，判断信息，控制电机向左或者向右转动调焦环，进一步调节凸透镜与凹透镜之间的距离，调节输出光斑大小；

5、调制器通过开关键控将数据包调制到输出光束，空调的接收端接收到光束后通过解码匹配信号，信号与预设置的信号一致则打开空调的指示灯，同时向服务器发送反馈信号，反馈信号包括家用电器编码和此时的状态，接收端使用的是STM32F407控制器。

6、在空调控制状态打开后，即指示灯亮起时，通过连续眨眼两次进入控制空调状态，即表示确认选中这个家用电器，此时的运动想象信号则不再是控制激光光束大小，而是控制空调状态；脑电头盔佩戴者想象小球向上运动和向下运动分别表示开空调和关空调，想象小球向左和向右运动分别表示空调温度加和空调温度减；家用电器状态改变完毕之后，通过眨眼两次，即表示确认此时的状态，之后关闭激光二极管，退出空调状态可控状态。

图4为系统模拟图，一个脑电头盔可以发送控制光束，使其照射到某个家电控制终端上，从而对家电执行远程脑电控制，主要步骤如下：

（1）用户佩戴上脑电头盔，脑电头盔从佩戴者大脑中采集到脑电信息；在用户初始无任何操作时脑电头盔上激光二极管状态为关；

（2）脑电信号通过第一通信模块被传送到服务器上进行数据处理，数据处理后提取出的信息分为两类：

（2a）控制激光的信号，通过第一通信模块发送给脑电头盔上的第一控制器，再由第一控制器驱动激光调制器和激光二极管，控制激光的信号有两种类型，一个是控制开关的眨眼信号，一个是改变光斑大小的运动想象信号；

（2b）控制家用电器状态的信号，运动想象信号，用户用来控制想要改变的家用电器的目标状态；

当检测到操作者有意识的2次连续眨眼信号，激光二极管打开，以初始设置输出光束；

（3）使用者对光斑进行粗对准、细对准和确认对准三个步骤：

（3a）激光二极管打开后会首先输出一个较大的光斑进行粗对准；

（3b）通过运动想象能改变光斑的大小。通过想象光斑扩大和缩小两种状态，自动调节透镜之间的距离，从而改变光束照射在家用电器上的光斑的大小，这步定义为光斑细对准；

（4）家电控制终端接收到光束，安装在家电控制终端内的光电转换器将光信号转化为电信号，再通过解调器对信号进行解调得到信息码，此时被照射到的家电控制终端确认信息码无误后都会亮起指示灯，用户可以根据指示灯的提示细对准光斑。即若亮起的指示灯不是用户想要控制的家用电器，或者同时亮起了两个及以上的指示灯，则缩小光斑使光斑只照射在用户准备控制的电器上，使目标电器亮起，当同时亮起两个及以上的指示灯时，家用电器的状态不能被改变；

（5）当用户看见家用电器的信号灯亮起，即可通过运动想象控制其开关状态，当用户选择好某一家用电器为目标电器后，通过两次眨眼进入控制家用电器状态，所述控制家用电器状态的信息是指脑电信号由脑电采集模块采集后，通过第一通信模块发送到服务器进行处理，由服务器向家电设备发送的信息；

（6）用户通过运动想象去控制家用电器的开关，对于同一个家用电器，状态总是有限的，且一般只有很少几种状态；

（7）家电控制终端接收到控制指令，通过第二控制器控制执行部件，从而控制家用电器。

本发明脑电头盔采集佩戴者脑电信号，发送到服务器进行数据分析处理，处理过后的信息进行分类处理分别发送到脑电头盔和家电控制终端，发送给控制脑电头盔的信号可以控制头盔上激光输出光斑的大小，进行不同家电的选择，再将运动想象处理后的信号发送到家电控制终端，家电控制终端对服务器发送的信号进行处理，改变家电状态，构成一套方便、高效、稳定的智能家居系统。

Claims (5)

1.一种基于脑机接口与激光辅助瞄准的智能家居控制系统，其特征在于：所述控制系统包括脑电头盔、家电控制终端和服务器，所述脑电头盔采集人的脑电信息并发送给服务器、服务器将数据处理之后反馈给脑电头盔，所述脑电头盔包括脑电采集模块、第一控制器、激光调制器、光学发送天线、第一通信模块，所述第一控制器分别连接脑电采集模块、激光调制模块、光学发送天线、第一通信模块，所述激光调制模块连接光学发送天线，所述家电控制终端安装在家用电器上，所述家电控制终端包括光电转换器、解调器、第二控制器、指示灯、执行部件和第二通信模块，所述光电转换器、解调器、第二控制器依次连接，所述第二通信模块、第二控制器依次连接，所述第二控制器还分别连接指示灯和执行部件，所述执行部件为所述家用电器的受控部件。

2.根据权利要求1所述基于脑机接口与激光辅助瞄准的智能家居控制系统，其特征在于：所述的光学发送天线包含激光二极管、凹透镜、凸透镜、电机和调焦环，所述凹透镜和凸透镜安装在调焦环上，共轴放置，所述电机连接调焦环并控制调焦环运动，所述激光二极管发出的激光光束经过凹透镜扩散后再经凸透镜缩小扩散角度，激光调制器调制激光二极管输出的激光束，使光束上加载相关信息。

3.根据权利要求2所述基于脑机接口与激光辅助瞄准的智能家居控制系统，其特征在于：所述调制的方式包括幅度调制、幅度键控、开关键控、脉冲相位调制、脉冲宽度调制。

4.根据权利要求2所述基于脑机接口与激光辅助瞄准的智能家居控制系统，其特征在于：加载的信息包括脑电头盔的ID信息。

5.根据权利要求1所述基于脑机接口与激光辅助瞄准的智能家居控制系统，其特征在于：所述控制系统包括如下步骤：

（1）用户佩戴上脑电头盔，脑电头盔从佩戴者大脑中采集到脑电信息，在用户初始无任何操作时脑电头盔上激光二极管状态为关；

（2）脑电信号通过第一通信模块被传送到服务器上进行数据处理，数据处理后提取出的信息分为两类：

（2a）控制激光的信号，通过第一通信模块发送给脑电头盔上的第一控制器，再由第一控制器驱动激光调制器和激光二极管，控制激光的信号有两种类型，一个是控制开关的眨眼信号，一个是改变光斑大小的运动想象信号；

（2b）控制家用电器状态的信号，运动想象信号，用户用来控制想要改变的家用电器的目标状态；

当检测到操作者有意识的2次连续眨眼信号，激光二极管打开，以初始设置输出光束；

（3）使用者对光斑进行粗对准、细对准和确认对准三个步骤：

（3a）激光二极管打开后会首先输出一个较大的光斑进行粗对准；

（3b）通过运动想象能改变光斑的大小，通过想象光斑扩大和缩小两种状态，自动调节透镜之间的距离，从而改变光束照射在家用电器上的光斑的大小，这步为光斑细对准；

（4）家电控制终端接收到光束，安装在家电控制终端内的光电转换器将光信号转化为电信号，再通过解调器对信号进行解调得到信息码，此时被照射到的家电控制终端确认信息码无误后都会亮起指示灯，用户根据指示灯的提示细对准光斑，即若亮起的指示灯不是用户想要控制的家用电器，或者同时亮起了两个及以上的指示灯，则缩小光斑使光斑只照射在用户准备控制的电器上，使目标电器亮起，当同时亮起两个及以上的指示灯时，家用电器的状态不能被改变；

（5）当用户看见家用电器的信号灯亮起，即可通过运动想象控制其开关状态，当用户选择好某一家用电器为目标电器后，通过两次眨眼进入控制家用电器状态，所述控制家用电器状态的信息是指脑电信号由脑电采集模块采集后，通过第一通信模块发送到服务器进行处理，由服务器向家电设备发送的信息；

（6）用户通过运动想象去控制家用电器的开关；

（7）家电控制终端接收到控制指令，通过第二控制器控制执行部件，从而控制家用电器。

Images