CN112578682A - 一种基于眼电控制的智能助障家居系统 - Google Patents

Abstract

本发明公开了一种基于眼电控制的智能助障家居系统，通过眼电信号采集模块采集眨眼动作信号，经眨眼识别模块滤除无意识眨眼和前庭眼跳干扰，通过眼电离线辨识模块构建适用于眼电信号的离线辨识模型并将其植入控制器模块，将基本眼电动作及其组合转化成相应的控制指令实现设备控制，并且利用人机交互模块对外部设备上实时控制。本发明利用人机交互界面对外部设备实时反馈，实现了对外部设备的精准控制，能够帮助肢体残障和老龄行动不便的人群在生活上实现自理。

Description

一种基于眼电控制的智能助障家居系统

技术领域

本发明属于智能助障家居领域，具体涉及一种基于眼电控制的智能助障家居系统。

背景技术

随着生活水平和医疗水平的提高，我国老年人数量逐年增加。同时，各种疾病或意外事故导致的肢体残疾人数也在逐年增加。这两类人群行动不便，无法像常人一样独立自主的生活，需要家人或他人的长期照料，耗时费力且给自己和他人带来诸多不便。在科技迅速发展的社会背景下，如何提高他们的生活品质，让科技更好的辅助他们生活是非常有意义的。

现有的助障装置大多采用键盘、鼠标、触摸屏等人机交互方式与外部设备进行方便自如的交互。这需要使用者通过肢体进行操控，且其功能较为单一，不能满足上述特殊人群的日常生活需求。考虑到生物电信号，相较于脑电信号(Electroencephalogram, EEG)、眼电信号(Electrooculogram, EOG)、心电信号(Electrocardiogram, ECG)、肌电信号(Electromyography, EMG)等，EOG信号具有波形特征明显、控制模式多样化、识别度高等优势，使用者只需眼部能自如并有意识地运动，便可自主灵活的与外界进行无障碍的信息交流。

发明内容

本发明的提出了基于眼电控制的智能助障家居系统，该智能助障家居系统实现了对外部设备的精准控制，能够帮助肢体残障和老龄行动不便的人群在生活上实现自理。

为实现以上目的，本发明采用以下技术方案：

一种基于眼电控制的智能助障家居系统，包括眼电信号采集模块、眨眼识别模块、眼电离线辨识模块、控制器模块、人机交互模块；眼电信号采集模块采集眨眼动作的EOG信号，经眨眼识别模块滤除无意识眨眼和前庭眼跳干扰，通过眼电离线辨识模块构建适用于眼电信号的离线辨识模型并将其植入控制器模块，将基本眼电动作及其组合转化成相应的控制指令实现设备控制，并且利用人机交互模块对外部设备上实时控制。

所述眼电信号采集模块，包括有源探头和调理电路，所述调理电路包含仪表差分放大电路、右腿驱动抵消电路（DRL）、工频陷波器和带通滤波器以及后级放大电路；所述有源探头贴于眼部实时采集眼电信号，并且将采集到的信号传递至调理电路进行预处理。

所述眨眼识别模块滤除无意识眨眼、眼跳干扰以及前庭眼跳干扰（VOR）的方法原理为，根据有意识眨眼信号和无意识眨眼幅值特性，利用动态阈值法滤除无意识眨眼，对眨眼信号做一次差分后信号在眨眼处会出现一个极小值和一个极大值，且极大值和极小值的比值x在一个很小的范围内，具体精确到0.5<x<2的范围内，当x<0.5，判断为左眼跳，当x>2判断为右眼跳，同时计算一次极大值与极小值之间的时间t，有意识眨眼的一次极大值与极小值之间的时间在80-120ms之间，VOR的一次极大值与极小值之间的时间在600-800ms之间，因此判断t的大小，当t≤200ms时判定为有效眨眼，当t>200ms时，判定为视为VOR干扰。

所述眼电离线辨识模块，对去噪后的信号提取特征，并根据特征量对一次眨眼、二眨眼、三次眨眼分类，所述的眼电离线辨识模块使用小波软阈值的方法对影响原始EOG信号比较严重的肌电（EMG）、系统高频噪声、尖峰噪声等干扰进行滤波，对经过小波阈值处理过的经过滤波处理后的EOG信号，提取其功率谱熵（PSE）和多尺度熵（MSE）两种特征量，将提取到的这两种特征量数据分为训练集和测试集送入支持向量机（SVM）训练模型进行分类，进而识别出一次眨眼二次眨眼和三次眨眼的三类信号。

所述控制器模块，将接收到的信号通过处理转换成控制指令发送至外部设备；MCU将接收到的信号送入ADC，采样频率为1kHz，将信号在MCU中通过算法实现，转换成相应控制指令，生成控制指令表，切换至不同界面每次眨眼对应着不同设备的开关命令，实现控制指令方式表与眨眼信号一一对应。

所述人机交互模块，实时反映当前设备的运行情况以及开关状态。

所述系统还包括智能家居和轮椅模块，所述模块是一台具有蓝牙接收装置的电动轮椅和可扩展的家居模型。

本发明提出的一种基于眼电控制的智能助障家居系统，利用有源探头双通道模式同时采集双眼眼电信号，调理电路的放大滤波等预处理，通过眨眼识别模型滤除无意识眨眼和前庭眼跳干扰，后构建适用于眼电信号的离线辨识模型并将其植入控制器，将基本眼电动作及其组合转化成相应的控制指令实现对电动轮椅、电灯、风扇、电视机等设备控制，并且利用人机交互界面对外部设备实时反馈，实现了对外部设备的精准控制，能够帮助肢体残障和老龄行动不便的人群在生活上实现自理。

附图说明

图1是本发明的系统结构框图；

图2是本发明眼电信号采集装置硬件示意图；

图3是本发明眨眼识别算法框图；

图4是本发明离线辨识算法框图；

图5是本发明家居模型和人机交互界面系统图。

具体实施方式

下面结合附图和具体实施方式对本发明技术方案进一步说明。

参见图1，本发明提供的一种基于眼电控制的智能助障家居系统，包括眼电信号采集模块、眨眼识别模块、眼电离线辨识模块、控制器模块、人机交互模块、智能家居和轮椅模块；可以利用眼电传感器探头采集有意识眨眼动作的信号（EOG），通过眨眼识别模型滤除无意识眨眼和前庭眼跳干扰，后构建适用于眼电信号的离线辨识模型并将其植入控制器，将基本眼电动作及其组合转化成相应的控制指令实现对电动轮椅、电灯、风扇、电视机等设备控制，并且利用人机交互界面对外部设备实时控制。此智能助障家居系统能够达到对外部设备所需的控制精准，最终实现了对肢体残障和老龄行动不便的人群在生活上的帮助。

1、眼电信号采集模块

参阅图2，眼电信号采集模块可用于采集使用者眼电信号，采集装置由有源探头和调理电路组成，其中调理电路包含仪表差分放大电路、右腿驱动抵消电路（DRL）、工频陷波器和带通滤波器以及后级放大电路；有源探头贴于眼部实时采集眼电信号并且将采集到的信号经调理电路放大、滤波、陷波等预处理；有源探头增加了带载驱动能力且不需要涂抹导电硅脂易于佩戴，调理电路提高了信号的输入阻抗及共模抑制比（CMRR），有效地消除内部噪声干扰，从而能够准确地提取0.5~40Hz之间的EOG有效信号。

由于眼电信号幅值相对于普通数字AD输入来说十分微弱，因此使用有源探头增加电流输出提升其驱动能力。后级采集电路中，为避免过大的放大倍数导致有效信号淹没在噪声中，采用多级放大滤波处理的方法，其中第一级处理采用高性能仪表差分输入放大器，有效提高信号的输入阻抗及CMRR。并且在该部分引入生物电采集中常用的DRL反馈抵消电路，可有效地消除内部噪声干扰。同时在电路中也增加了一级工频陷波器用于消除工频干扰，并且增加带通滤波器，提取0.5~40Hz之间的眼电有效信号。由于整体电路最终送入MCU的AD中进行模数转换，因此整个模块运放电源供电中都采用双电源供电，避免进行电平抬升，之后在单片机中进行后续处理。

2、眨眼识别模块

参阅图3，为眨眼识别模块可滤除无意识眨眼、眼跳干扰以及前庭眼跳干扰（VOR），根据有意识眨眼信号和无意识眨眼幅值特性（有意识眨眼幅值是无意识眨眼幅值8倍左右），利用动态阈值法滤除无意识眨眼。对眨眼信号做一次差分后信号在眨眼处会出现一个极小值和一个极大值，且极大值和极小值的比值x在一个很小的范围内，具体精确到0.5<x<2的范围内，当x<0.5，判断为左眼跳，当x>2判断为右眼跳。同时计算一次极大值与极小值之间的时间t，有意识眨眼的一次极大值与极小值之间的时间在80-120ms之间，VOR的一次极大值与极小值之间的时间在600-800ms之间，因此判断t的大小，当t≤200ms时判定为有效眨眼，当t>200ms时，判定为VOR干扰。

3、眼电离线辨识模块

参阅图4，为眼电离线辨识模块对去噪后的信号提取特征，根据特征量对一次眨眼、二眨眼、三次眨眼分类。所述的眼电离线辨识模块使用小波软阈值的方法对影响原始EOG信号比较严重的肌电（EMG）、系统高频噪声、尖峰噪声等干扰进行滤波。对经过小波阈值处理过的经过滤波处理后的EOG信号，提取其功率谱熵（PSE）和多尺度熵（MSE）两种特征量，将提取到的这两种特征量数据分为训练集和测试集送入支持向量机（SVM）训练模型进行分类，进而识别出一次眨眼二次眨眼和三次眨眼的三类信号。

具体实现过程如下;

（1）对眨眼识别模块处理过的眼电信号做一次小波软阈值处理，率除掉其中参杂的噪声伪迹，得到“干净”的信号。

（2）将去噪后的EOG信号保留，建立一个小型EOG信号数据库。取出其中70%的信号作为训练样本，剩余30%的数据作为测试集。

（3）根据信号在时频域不同特征提取多种特征量进行测试，最终选取特征提取效果最为明显的功率谱熵（PSE）和多尺度熵（MSE），提取特征值

（4）利用步骤2中70%的样本信号作为训练集训练三层SVM网络，进而用训练完成的网络对剩余的30%的测试样本进行分类。

4、控制器模块

所述模块将接收到的信号通过处理转换成控制指令发送至外部设备；MCU将接收到的信号送入ADC，采样频率为1kHz，将信号在MCU中通过算法实现，转换成相应控制指令，生成控制指令表，控制指令的具体控制方式为：双眼有意识眨动两次为切换信号，例如切换至轮椅控制界面，双眼有意识眨动三次确认该界面，左眼有意识眨动一次轮椅前进，右眼有意识眨动一次轮椅后退，左眼有意识眨动两次轮椅左转，右眼有意识眨动两次轮椅右转，双眼有意识眨动一次轮椅停止。切换至不同界面每次眨眼对应着不同设备的开关命令（人机交互界面显示该对应关系），实现控制指令方式表与眨眼信号一一对应。

5、人机交互模块及智能家居和轮椅模块

参阅图5，所述人机交互模块实时反映当前设备的运行情况以及开关状态；此模块用LCD显示外部设备信息，该人机交互界面分为三部分，左侧是界面命令栏，使用者可根据指令转换方式表实现不同页面的切换，中间部分显示家居模型和当前所处状态（比如灯的开或者关），以及出现故障时警告等的提示。右侧显示的是界面与主控制器的连接状态和控制模式以及设备开关命令对应的眨眼指令。使用者需要操作外部设备时根据系统控制指令转换方式表控制该设备即可。若要退出系统，切换至关机界面，确认后退出系统。

所述智能家居和轮椅模块，是一台具有蓝牙接收装置的电动轮椅和可扩展的家居模型。

电动轮椅具有无线通讯功，能接收主控制器发送的信号，实现了轮椅的启动、停止、前进、后退、左转、右转，同时具备报警功能，当轮椅遇到障碍物或者摔倒时轮椅警报灯发出警报。家居模型中的照明灯和风扇的开可接收主控制器的信号实现开关控制，同时家居模型中留有扩展接口，可实现更加完善的家居系统。此系统实现了复杂控制，保证了外部设备的独立运行和重叠运行，即在控制轮椅运动时可以开启和关闭任意灯和风扇也可同时打开和关闭。

人机交互模块能实时反映当前设备的运行情况以及开关状态，使用者需要操作外部设备时根据系统控制指令转换方式表控制该设备即可。

Claims (7)

1.一种基于眼电控制的智能助障家居系统，其特征在于：

包括眼电信号采集模块、眨眼识别模块、眼电离线辨识模块、控制器模块、人机交互模块；眼电信号采集模块采集眨眼动作的EOG信号，经眨眼识别模块滤除无意识眨眼和前庭眼跳干扰，通过眼电离线辨识模块构建适用于眼电信号的离线辨识模型并将其植入控制器模块，将基本眼电动作及其组合转化成相应的控制指令实现设备控制，并且利用人机交互模块对外部设备上实时控制。

2.根据权利要求1所述的一种基于眼电控制的智能助障家居系统，其特征在于：

所述眼电信号采集模块，包括有源探头和调理电路，所述调理电路包含仪表差分放大电路、右腿驱动抵消电路DRL、工频陷波器和带通滤波器以及后级放大电路；所述有源探头贴于眼部实时采集眼电信号，并且将采集到的信号传递至调理电路进行预处理。

3.根据权利要求1所述的一种基于眼电控制的智能助障家居系统，其特征在于：

所述眨眼识别模块滤除无意识眨眼、眼跳干扰以及前庭眼跳干扰VOR的方法原理为，根据有意识眨眼信号和无意识眨眼幅值特性，利用动态阈值法滤除无意识眨眼，对眨眼信号做一次差分后信号在眨眼处会出现一个极小值和一个极大值，且极大值和极小值的比值x在一个很小的范围内，具体精确到0.5<x<2的范围内，当x<0.5，判断为左眼跳，当x>2判断为右眼跳，同时计算一次极大值与极小值之间的时间t，有意识眨眼的一次极大值与极小值之间的时间在80-120ms之间，VOR的一次极大值与极小值之间的时间在600-800ms之间，因此判断t的大小，当t≤200ms时判定为有效眨眼，当t>200ms时，判定为视为VOR干扰。

4.根据权利要求1所述的一种基于眼电控制的智能助障家居系统，其特征在于：

所述眼电离线辨识模块，对去噪后的信号提取特征，并根据特征量对一次眨眼、二眨眼、三次眨眼分类，所述的眼电离线辨识模块使用小波软阈值的方法对影响原始EOG信号比较严重的肌电EMG、系统高频噪声、尖峰噪声等干扰进行滤波，对经过小波阈值处理过的经过滤波处理后的EOG信号，提取其功率谱熵PSE和多尺度熵MSE两种特征量，将提取到的这两种特征量数据分为训练集和测试集送入支持向量机SVM训练模型进行分类，进而识别出一次眨眼二次眨眼和三次眨眼的三类信号。

5.根据权利要求1所述的一种基于眼电控制的智能助障家居系统，其特征在于：

所述控制器模块，将接收到的信号通过处理转换成控制指令发送至外部设备；MCU将接收到的信号送入ADC，采样频率为1kHz，将信号在MCU中通过算法实现，转换成相应控制指令，生成控制指令表，切换至不同界面每次眨眼对应着不同设备的开关命令，实现控制指令方式表与眨眼信号一一对应。

6.根据权利要求1所述的一种基于眼电控制的智能助障家居系统，其特征在于：

所述人机交互模块，实时反映当前设备的运行情况以及开关状态。

7.根据权利要求1所述的一种基于眼电控制的智能助障家居系统，其特征在于：

所述系统还包括智能家居和轮椅模块，所述模块是一台具有蓝牙接收装置的电动轮椅和可扩展的家居模型。

Images