CN111856958A

CN111856958A - 智能家居控制系统、控制方法、计算机设备及存储介质

Info

Publication number: CN111856958A
Application number: CN202010730141.4A
Authority: CN
Inventors: 董洋瑞; 陆舒媛; 齐锦
Original assignee: Northwestern University
Current assignee: Northwestern University
Priority date: 2020-07-27
Filing date: 2020-07-27
Publication date: 2020-10-30

Abstract

本发明属于肌电辅助脑电的控制技术领域，公开了一种智能家居控制系统、控制方法、计算机设备及存储介质，对采集的脑波信号与眼电、表面肌电信号，进行小波分解重构与傅里叶变换结合的方法提取所述眼电、表面肌电信号的特征；对获取的眼电、表面肌电信号的特征采用SVM机器学习进行分类处理，利用分类处理的数据实时对智能家居进行控制。本发明使用非侵入式TGAM脑电采集传感器佩戴方便，成本低，并通过蓝牙连接，将采集模块与数据处理模块分体处理，增加用户的舒适感，通过小波变换与傅里叶变换提取特征，SVM分类处理，降低对数据的干扰，提高了控制准确度。使用脑电信号加上眼电、肌电信号实现对家用电器的控制普适性强，操作方便。

Description

智能家居控制系统、控制方法、计算机设备及存储介质

技术领域

本发明属于肌电辅助脑电的控制技术领域，尤其涉及一种智能家居控制系统、控制方法、计算机设备及存储介质。

背景技术

现有技术：近年来，智能家居逐渐走进大众生活。随着语音识别技术的发展，在智能家居领域也出现了语音识别的热潮，涌现了一批具有智能家居控制功能的智能设备，如亚马逊的Echo和阿里的天猫精灵。此外，图像识别技术也发展迅速，可以通过手势识别、人脸识别等方式控制智能家居。用户也可以使用移动终端实现对家用电器的控制。

目前的脑机交互技术大多为科研级和医疗级，往往成本较高或不易携带。而现有对便携且成本低的非侵入式脑电采集设备的研究也通常没有提取除该芯片自有专利外的其他特征参数。

目前，脑机接口方面的研究(科研级和医疗级，实现效果好，但往往成本较高或不易携带)。在国外，Polat K于2007年使用决策树分类器与快速傅里叶变换的混合系统来利用脑电波信号检测癫痫病的发作与否，首先利用快速傅里叶变换进行特征提取，而后使用决策树分类器进行模式识别，取得了很好的成绩。MVM Yeo和XP Li于2009年使用支持向量机进行模式识别从而开发出了一种自动检测驾驶时驾驶员是否处于疲劳驾驶状态的方法，并且实验结果表明，该方法的识别准确率高达99.3％，可以在90％的数据样本中，可靠地预测出警觉性到睡意之间的转变。2011年，日本Osaka大学的研究者利用从运动障碍患者头部采集到的脑电信息，将其成功转化控制了机器人，使其成功动起来，准确率最高可以达到90％。Nguyen T和Ngyen TH于2013年发表文章，提出了一种阈值方法来识别眨眼状态，找到了一个可以识别睁眼和闭眼的阈值，并且在检测结果上取得了很好的效果。Wang于2014年发表文章利用增量神经网络来识别人眼状态，他们认为脑电波信号是一种时间序列，利用时间序列的特性，采用移动平均的方法求得其统计特征，如均值，方差等特征，并将这些特征逐一加入网络，最终取得了高于平均水平的准确率。Satapathy SK于2017年使用神经网络和支持向量机对癫痫病的发作进行基于脑电波的模式识别，文中使用了多层神经网络并且研究了不同的传播训练算法，针对SVM选择了多种核函数，通过实验结果说明，支持向量机与概率神经网络会有较好的效果。2019年4月加州大学旧金山分校的AnumanchipalliG.，Chartier J.和Chang E.发表在nature上的文章，提出他们使用了RNN深度学习模型，利用脑机接口直接读取瘫痪患者大脑中的想法，产生口语句子可以达到150个单词，已经接近人来正常水平，而再次之前的技术只能让病人每分钟打出最多8个单词。

在国内，相关的研究也有很多，2011年，欧居尚利用脑电波数据进行安全行为驾驶的研究，建立用来对EEG进行分析的指标体系，使用快速傅里叶变换，利用成对t检验分析各项指标。2015年，刘珑发现原始的EEG存在非平稳性，易受到其他噪音信号的干扰等特点，并针对这些特点提出了基于小波变换等方法对EEG进行特征提取。王晓璐于2017年发表文章，利用脑电波来对新生儿的脑功能进行评估，靠客观数据处理使得新生儿睡眠自动分期得以实现，并可以自动检出新生儿癫痫发作的时间段。2017年，王伟利用小波包分析各自提取了正常的脑电波与发病时的脑电波特征，由此构造出相应的特征向量，使用判别分析方法与聚类分析方法分析脑电的疾病特征。张韩于2018年发表文章使用S算法，双线性插值法进行数据预处理，而后再使用卷积神经网络提取脑电、心电的特征，进行分类识别，最终在人脑意图识别方面取得了较为准确的结果。总的来说，自从人类发现了脑电波以来，无数的专家学者致力于破解脑电波中传递的信息，其中2019年研究成果表明，利用脑机接口可以识别脑电波中基本的口语句子，帮助瘫痪病人达到正常人类交流的水平。这对于脑电波的模式识别具有十分重要且深远的意义。

其次，使用TGAM芯片的相关研究(便携且成本低，但通常没有提取除该芯片自有专利外的其他特征参数)如下：

2016年巴西马瑙斯亚马逊州立大学控制与自动化工程系的Paula等人使用TGAM芯片的眨眼参数(TGAM自有专利)实现了一个安卓软件。该项目设计和开发了一个系统来获取脑电图信号，使用Neurosky的干电极，Think Gear ASIC模块(TGAM)，通过蓝牙串行通信模块通信，并使用Java语言编写的一种智能算法进行分析，最终实现用于Android P的发送电子邮件的软件。

同年，印度Kiran博士等人使用TGAM芯片的眨眼参数、专注度、冥想度(均为TGAM自有专利)设计了一个应用程序。用户只需改变脑电波水平来集中注意力或冥想就可以拨打电话，基于手机应用程序中预加载的编码算法，可以生成各种字母或数字。

同年，发表于IEEE的一篇会议以TGAM芯片为核心采集EEG数据利用eSense算法(TGAM自带)完成数据的量化并控制轮椅的MCU；最后实现EEG图像显示。

2018年华南理工大学广州学院设计了一款基于ATMEGA 2560控制器的小车控制系统，他们通过TGAM传感器采集的“专注力”(TGAM自有专利)实现了不同精神状态对小车车速的控制。

2020年秦皇岛市第一医院的张超等人发表了基于TGAM模块的可穿戴式EEG实时采集与监控论文，但他们主要在医学方面研究，不是应用于控制。他们通过FIR滤波器对EEG信号进行低通滤波，主成分分析筛选特征量，并提出了一种平滑算法，来计算新特征量。通过归一化标准差测试进一步标记大脑异常，确定了睡眠呼吸暂停事件的发生。

再者，对智能家居控制方面的研究(语音识别、图像识别控制的较成熟)如下：

近年来，智能家居逐渐走进大众生活。随着语音识别技术的发展，在智能家居领域也出现了语音识别的热潮，涌现了一批具有智能家居控制功能的智能设备，如亚马逊的Echo和阿里的天猫精灵。此外，图像识别技术也发展迅速，可以通过手势识别、人脸识别等方式控制智能家居。用户也可以使用移动终端实现对家用电器的控制。

将脑电波技术应用于教育的研究，2013中国台湾的國立屏東科技大學采集了4种脑波(alpha、beta、delta、theta)提取特征，通过SVM、核心函数等方法区分是否专心。“運用腦波識別專注狀態”。2018年河南城建学院计算机与数据科学学院对EEG采集、滤波，运用时频谱和复杂度分析提取精神状态特征，设计神经网络多层分类器对精神状态进行分类和识别，最后完成精神状态的自动检测和识别，以提高学生上课的注意力。2018年贵州师范学院副教授于国龙运用TGAM自有专利选取专注度，将学生的注意力状态反馈给教师，主要是研究EEG注意力监测技术在教学中的应用与实践，并未对信号进行任何处理，且只选取了专注度一个指标来判断学生的注意力集中情况。

通过上述分析，现有技术存在的问题及缺陷为：

(1)现有大型侵入式脑电采集设备操作危险困难，成本高昂。

(2)现有研究对TGAM采集的信号的分析不足，TGAM传感器的脑电设备，具有便携性和成本低的特点，但对于它的开发，现有技术通常只使用了该传感器eSense算法(该公司自有专利算法)的参数，而没有提取其他特征参数。

(3)智能家居控制技术部分：

①语音识别：

嘈杂环境下语音识别精度降低。语音识别需要清晰的识别出人声，嘈杂环境使得人声的提取变得非常困难，尤其是针对远场语音交互，噪音的问题更加突出。例如远场安静环境下语音识别准确率能达到95％，但是在嘈杂环境下仅能达到80％左右。

用户的独立性。目前的许多语音识别软件，是基于标准的发音来进行识别的。而实际上，人们说话千差万别，发音也各不相同，特别对于有口音的语音来说，更是对语音识别软件提出了严峻的挑战。

②图像识别：易受光线、地点和遮挡物的限制。已有的研究对于戴眼镜、头发遮挡等问题识别精度不够，同时脸部旋转也无法准确识别。视频采集设备精度也会对识别有影响。而且，图像识别受光强影响较大，暗光环境是否依旧能准确识别有待技术的进一步提高。

③移动终端：操作困难，对用户使用移动终端等的能力要求大，当用户在洗菜等双手不方便或者用户为残疾人时，要实现对家用电器的控制则十分不便。

(4)在线教育的学生自律和交互问题。线上教育学生难以把控自己的精神和思考状态，出现上课走神或是过度集中缺乏休息和自主思考的问题。学生与教师时空分离，导致他们无法及时交流，课堂学习氛围不足。

解决以上问题及缺陷的难度为：

(1)便携性的脑电穿戴设备的硬件设计。对用以增加用户舒适感部分硬件设计，对TGAM芯片脑波信息采集提取的研究，对机器学习训练完成后的模型移植到linux平台的卡片式计算机的方法，对卡片式计算机与单片机的通信。此外，考虑到脑波信号传输时延、电源供给，对于系统整个硬件平台的联动也是硬件系统搭建要解决的问题之一。

(2)脑电信号的信号处理。在利用TGAM eSense算法提取的参数判断学生学习状态的基础上，如何对原始信号进行处理。这里考虑使用小波分解重构和傅里叶变换进行信号处理。

(3)脑电信号机器学习。脑电信号特征提取中，如何从毫无规律的复杂脑电信号中提取关键特征信息是本发明解决的问题。机器学习模型的训练中，如何选择最优模型对信号分类识别，如SVM、决策树等，也是本发明解决的问题。

(4)对于学生上课精神状态的脑电、肌电研究由于不同人的头部特征、习惯不同，可能会影响“脑电交互线上教育系统”的判断。例如，学生上课困倦打哈欠时的脑电、肌电具体状态。

解决以上问题及缺陷的意义为：

①针对现有大型侵入式脑电采集设备操作困难，成本高昂的问题，本发明意欲设计便携性的脑电穿戴设备。本发明使用TGAM非侵入式传感器，并对脑电信号采集模块、数据处理模块、通信与控制模块都进行了分体设计。

本发明的硬件设计降低了脑电研究控制设备的成本，增强了用户舒适感，可以使脑机交互技术得到更好的普及。

②针对现有研究对TGAM采集的信号的分析不足，本发明打算通过算法来分析、处理信号。本发明通过小波分析、傅里叶变换对信号进行处理，机器学习合适的模型对信号进行分类识别。

本发明的信号处理和机器学习部分相对弥补了非侵入式脑电采集设备受外界干扰大的缺陷和相应研究对信号分析的不足，促进了可穿戴设备的兴起，推进便捷式脑机交互技术的研究。

③针对在线教育的学生自律和交互问题，本发明利用脑电研究和交互系统软硬件设计来解决这一问题。本发明旨在分析学生上课精神状态的脑电、肌电和眼电，并以文字、音乐等方式提高学生的学习效率；并识别学生的眼电、肌电信号实现线上教育的便捷式交互。

本发明将脑电和在线教育结合，推进了脑电研究在教育领域的应用。

④针对现有智能家居控制技术，如语音识别、图像识别、移动端控制等受环境影响大，对用户要求高等问题，基于TGAM头戴式非侵入脑电波采集信号实现对家用电器的控制普适性强，操作方便，随时随地都可以使用，对于残疾人也十分友好。

本发明使用佩戴方便，成本低的传感器，通过部分硬件设计增加用户的舒适感，通过算法分析处理数据，提高控制准确度，并将脑电研究与智能家居、在线教育结合。项目促进了便捷式脑机交互技术的研究与普及，同时弥补了在线教育和智能家居控制技术的不足，推进线上教育和智能家居控制技术的进一步发展。

发明内容

针对现有技术存在的问题，本发明提供了一种智能家居控制系统、控制方法、计算机设备及存储介质。

本发明是这样实现的，一种智能家居控制方法，包括：对采集的脑波信号与眼电、表面肌电信号，快速傅里叶变换频域数据、小波系数和小波分解重构的频域数据相结合的特征提取方法提取所述眼电、表面肌电信号的特征；

对获取的眼电、表面肌电信号的特征采用SVM机器学习进行分类处理，利用分类处理的数据实时对智能家居进行控制。

进一步，所述采集脑波信号与眼电、表面肌电信号的方法包括：

第一步，采集脑电信号数据采集模块和负责数据处理的数据处理模块分体式分离，通过蓝牙连接，数据处理模块对接收到的数据流进行解码；

第二步，控制信号的选取，选取专注度、松弛度、冥想度、眨眼、张嘴动作、摇头动作参数作为控制信号。

进一步，所述第一步中，数据处理模块每秒传输513个数据包，解码后得到四组脑电图参数:脑电图频谱、传输状态的信号质量、脑电原始数据和eSense算法生成的精神状态；所述eSense算法产生用于描述精神状态的专注度、松弛度、冥想度三个维度的特征。

进一步，所述快速傅里叶变换频域数据、小波系数和小波分解重构的频域数据相结合的特征提取方法包括：使用小波分析的方法提取眨眼、张嘴动作和摇头动作的特征；

小波变换如式(1)所示：

其中，a为函数的伸缩变换系数，b为函数的平移系数。通过a,b的不断变化便可得到小波变换基函数

对小波函数

的参数a,b进行离散化处理，f(x)的离散小波变换形式如式(2)所示；

其中，k＝2^-jb。

使用Mallat算法，利用小波滤波器对测量的信号进行分解，得到低频系数c_j,k和高频系数d_j,k如式(3)、(4)所示

c_j,k＝∑_mh₀(m-2k)c_j-1,m (3)

d_j,k＝∑_mh₁(m-2k)c_j-1,m (4)

高频成分对应的小波系数设为零；

由低频系数c_j,k和高频系数d_j,k，得到重构的信号为：

H_j(k)＝∑_mc_j+1(m)h₀(k-2m)+d_j+1(m)h₁(k-2m) (5)

对原始信号进行离散小波变换得到其高频系数和低频系数，获得不同尺度下的重构信号，有效获取原始信号的近似、细节部分，在保留原始信号特点的同时，对肌电和脑电信号进一步分类识别；

对眨眼动作信号进行六层小波分解，并分别对第二到六层的高频信号进行重构来观察，接下来对原始信号和重构后的信号，使用FFT得到频谱图，挑选出特征最明显的重构层数进行重构；

将快速傅里叶变换频域数据、小波系数和小波分解重构的频域数据相结合，构建机器学习的训练数据集。

本发明提供一种智能家居控制系统包括：

信号采集模块，使用无创非侵入式头戴干电极采集额头表面电压信号，经芯片处理后得到数据流，并通过蓝牙模块发送至数据处理模块；

数据处理模块，用于对脑波信息存储和运算，还用于外设和通信；

智能家居沙盘模块，用于接收数据处理模块的控制信号，再通过烧录的程序实现对沙盘模型上设备的控制。

进一步，所述信号采集模块集成TGAM芯片、滤波器、A/D转换器、干电极、电源器件，用于数据采集、滤波、放大、A/D转换、数据预处理功能；

还引出3个非侵入式干电极，直接与皮肤接触进行测量；一个前额处干电极用于采集头皮处电位值，两个双耳耳垂处干电极用于采集参考电位，参考电位用于辅助降噪。

使用AT命令将蓝牙模块设置为从模式，波特率为38400bps，与设置为主模式的树莓派蓝牙进行配对；配对成功后，实现信号采集模块与数据处理模块之间的无线传输。

进一步，所述智能家居沙盘模块采用基于ARM处理器的STM32微控制器；STM32通过UART串口通信与信号采集模块连接，同步波特率后接收数据处理模块的控制信号，再通过STM32片上烧录的程序对沙盘模型上设备的控制。

本发明另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

对采集的脑波信号与眼电、表面肌电信号，进行小波分解重构与傅里叶变换结合的方法提取所述眼电、表面肌电信号的特征；

本发明另一目的在于提供一种计算机可读存储介质，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

结合上述的所有技术方案，本发明所具备的优点及积极效果为：

本发明同时采集脑波信号与眼电、表面肌电信号作为智能家居的控制信号。

本发明信号的特征提取与分类：小波分解重构与傅里叶变换(FFT算法)结合的方法提取特征，采用SVM机器学习进行分类处理。

本发明使用非侵入式TGAM脑电采集传感器佩戴方便，成本低，并通过蓝牙连接，将采集模块与数据处理模块分体处理，增加用户的舒适感，通过小波变换与傅里叶变换提取特征，SVM分类处理，降低对数据的干扰，提高了控制准确度。使用脑电信号加上眼电、肌电信号实现对家用电器的控制普适性强，操作方便，对于残疾人也十分友好。

本发明系统的指令识别准确率较高，稳定性较强。但对“眨眼”、“张嘴”和“摇头”信号识别率较理论值稍低，推测主要原因是实际项目中系统的噪声干扰、信号衰减以及训练样本比较有限。此外，由于测试数据来自不同受测者(不同人的EEG、EMG、EMG有差异)，且无创便捷式采集模块的设计使得在不同对象、时间情况下电极所在的头部位置有些许偏移，采集到的信号都会有差别，识别成功的准确率也有差异。因此今后工作重点将是增强系统的适应性和鲁棒性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的智能家居控制系统示意图：(a)、智能家居硬件系统架构；(b)、在线教育部分硬件系统架构。

图2是本发明实施例提供的信号采集模块原理图。

图3是本发明实施例提供的RPi设备机械结构图。

图4是本发明实施例提供的RPi外观图。

图5是本发明实施例提供的智能家居沙盘模块包括的硬件模块图。

图6是本发明实施例提供的软件系统架构图。

图7是本发明实施例提供的眨眼动作(a)、张嘴动作(b)和摇头动作(c)的原始数据图和时谱图。

图8是本发明实施例提供的小波变换信号分解与重构过程图。

图9是本发明实施例提供的摇头信号和对其小波号分解重构信号的频谱图。

图10是本发明实施例提供的摇头、张嘴、眨眼信号的第五层高频信号的频谱图。

图11是本发明实施例提供的智能家居沙盘效果图。

图12是本发明实施例提供的智慧教育线上交互小程序界面示意图。

图13是本发明实施例提供的不同数据集使用SVM线性核分类的准确度对比图。

图14是本发明实施例提供的为机器学习不同模型的分类效果对比图。

图15是本发明实施例提供的熟练设备者与生疏者的平均次数对比图。

图16是本发明实施例提供的SVM分类的最优超平面示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种智能家居控制系统及控制方法，下面结合附图对本发明作详细的描述。

本发明涉及的TGAM含义为：由美国Neurosky公司开发的一款脑电信号采集芯片。它使用干电极读取人的大脑信号，可以过滤掉周围的噪音和电器的干扰，并将检测到的大脑信号转成数字信号。TGAM模块包括了TGAT芯片，该芯片是一个高度集成的单一芯片脑电传感器，可以输出脑电原始信号和3个Neurosky自有专利的eSense参数，可以进行模数转换，检测接触不良的异常状态，过滤掉噪音及50/60hz交流电干扰。

如图1所示，本发明实施例提供的智能家居控制系统，以智能家居沙盘中控制某些设备为例，展现脑电波控制家居设备的过程。整个系统组成主要分为三部分，包括信号采集模块、数据处理模块以及智能家居沙盘模块。

在本发明中，信号采集模块：

本模块使用无创非侵入式头戴干电极采集人体额头表面电压信号，经TGAM芯片处理后得到EEG数据流，最后通过蓝牙发送至下一模块。该设计成本低廉，且经蓝牙传输后，本模块与下一模块实现了分体设计，有利于佩戴者的舒适性与便捷性。其原理如图2所示。

TGAM集成了TGAM芯片、滤波器、A/D转换器、干电极、电源等器件，具有数据采集、滤波、放大、A/D转换、数据预处理等功能。该模块的采样率为512Hz，频率范围为3Hz-100Hz，运行电压为2.97-3.63v，支持标准串口通信协议。该模块引出了3个非侵入式干电极，可直接与皮肤接触进行测量。当测试者佩戴该模块时，一个前额处干电极用于采集头皮处电位值，两个双儿耳垂处干电极用于采集参考电位，参考电位用于辅助降噪。

蓝牙串口部分选用支持SPP串口规范的HC-05蓝牙模块，通过I2C总线协议与TGAM芯片相连接。HC-05具有干扰能力强，体积小，易于集成设计等优点。在焊接本模块电路完成后，本发明对HC-05与树莓派蓝牙进行配对。本发明使用AT命令将HC-05蓝牙设置为从模式，将波特率设置为38400bps，与设置为主模式的Raspberry Pi 3B的蓝牙模块配对。配对成功后，可以实现本模块与下一模块之间的无线传输。

在本发明中，数据处理模块：

本发明的信号采集模块的采样频率约为512Hz，这对数据处理模块的实时存储能力要求较高。同时，为实现实时控制智能家居沙盘模块，对设备的运算能力也提出了较高要求。

本发明的脑波信息存储设备选择了卡片式计算机——Raspberry Pi 3B(以下简称RPi)。RPi是一款基于ARM的微型电脑主板，CPU为四核ARM Cortex-A531.2GHz，内存1G，以SD/MicroSD卡为硬盘，运行操作系统基于Linux，具有较高的运算性能和便捷性，可以满足本发明对于存储和运算和需求。同时，RPi集成了蓝牙模块，有17个GPIO及HAT规格铺设，可以满足本发明对于外设和通信的需求。

本模块的RPi设备的机械结构与外观如图3RPi设备机械结构图、图4RPi外观所示。

在本发明中，智能家居沙盘模块：

由于RPi在控制外设方面有一定的局限性，并且考虑到实际家居场景中，智能家居设备与数据处理模块相距较远，因此本发明对数据处理模块和智能家居沙盘模块也做了分体设计。

智能家居沙盘模块单独采用了基于ARM处理器的STM32微控制器，其具有高性能、低成本、低功耗且更适于控制嵌入式设备等优点。STM32通过UART串口通信与上一模块的RPi建立连接，同步波特率后就可正常接收RPi的控制信号，再通过STM32片上烧录的程序即可实现对沙盘模型上设备的控制。例如，对于风扇的控制，本发明通过STM32控制脉冲频率及输出脉冲的占空比来改变电机的转速，从而调节风扇的转速。

本发明提供的智能家居控制系统，硬件整体模块构造如图5所示。

线上教育交互模块

由于RPi在控制外设方面有一定的局限性，并且考虑到实际工作、学习场景中，自我控制穿戴设备与数据处理模块相距较远，因此本发明对数据处理模块和通信与STM32线上教育交互模块也做了分体设计。

通信与自我监督模块单独采用了基于ARM处理器的STM32微控制器，其具有高性能、低成本、低功耗且更适于控制嵌入式设备等优点。STM32通过UART串口通信与上一模块的RPi建立连接，同步波特率后就可正常接收RPi的控制信号，再通过STM32片上烧录的程序即可实现对线上教育的便捷式交互和学生上课状态的监督。

系统硬件整体模块构造如图5所示：

根据小波变换特征提取及SVM分类，本发明得以区分受测者颈部及以上不同状态下的肌电信号，并利用TGAM模块的eSense算法得出受测者的专注度、松弛度和冥想度等脑波信号。由此，本发明将以上信号作为控制信号，借助STM32单片机控制自身屏幕、蜂鸣器并控制相应的听课软件，将受测者的不同状态与屏幕和蜂鸣器的不同状态对应起来，从而达到由受测者的状态控制对应功能。

通过不同状态下的脑电、眼电及肌电信号实现自我监督功能，具体功能如表1所示：

表1受测者状态及所对应的功能实现

其中，所有状态的设定值(时间)都可以由用户自行设置，也可以选择系统自身带有的“自律规划”、“日常规划”、“自由模式”等。待用户恢复屏幕或蜂鸣器所提示的状态后，屏幕所显示的文字自动消失，蜂鸣器自动停止响动。

下面结合系统软件实现，即本发明实施例提供的智能家居控制方法，对本发明作进一步描述。

如图6所示为本发明实施例提供的智能家居控制方法包括：

1)TGAM芯片数据流

为了满足人体头戴脑电设备的舒适性，采集脑电信号的TGAM芯片和负责数据处理的RPi采用分体式设计。TGAM芯片与RPi之间采用蓝牙连接，RPi可对接收到的数据流进行解码。

TGAM芯片每秒传输513个数据包，解码后可得到四组脑电图参数:脑电图频谱(α波β波等)、传输状态的信号质量、脑电原始数据和eSense算法生成的精神状态。eSense算法是NeuroSky的专利算法，产生用于描述精神状态的专注度、松弛度、冥想度三个维度的特征。eSense算法是动态自适应的，可以针对不同的用户匹配对应的“慢适应”算法来调整生成的精神状态数据。

2)控制信号的选取

TGAM芯片通过自有eSense算法获得三个精神状态参数：专注度、松弛度、冥想度。这些参数反映的是实时的精神状态，适用于判断被测者精神是否集中，但仅凭这些精神参数难以满足对智能家居多设备、多功能控制的要求。

本发明通过实验发现TGAM芯片采集到的脑电原始数据会包含一定的“干扰”，如肌电信号(EMG)和眼电信号(EOG)。眼电信号(EOG)是眼球在转动过程中使得眼睛周围电场空间相位变化时产生的信号，肌电信号(EMG)是众多肌纤维中的运动单元动作电位(MUAP)在空间和时间上的叠加。眨眼等眼部活动会产生极大瞬间前额脉冲，肌电活动则产生具有显著变化的宽带信号，这些较为显著的“干扰”信号对脑电信号(EEG)而言属于伪迹。但他们实际是动作电位产生的信号，对TGAM采集到的原始数据影响较大，更适用于对设备进行控制。控制信号(即用于控制设备的脑电信号(EEG)、肌电信号(EMG)和眼电信号(EOG)，下同)的数据特征较为明显，本发明根据TGAM采集信号在身体上的位置来选取合适的肌电信号。由于TGAM的采集信息的电极分布在前额，用户头部的动作引起的信号变化更大，在长期的观察研究后，本发明最终选取专注度、松弛度、冥想度、眨眼、张嘴动作、摇头动作这六个参数作为本发明的控制信号。

由于脑电等信号具有短时平稳性，为提高分类识别精度，对眨眼、张嘴、摇头动作的信号进行加窗分帧处理，采用可移动的，有限长度的矩形窗窗口进行加权的方法来分割出帧数相同且动作均发生一次的信号。

分别绘制他们的原始信号和时谱图如图7所示。

3)控制信号的小波分解与重构

专注度、松弛度、冥想度的值可由eSense算法直接得到，但对于眨眼和张嘴、摇头等动作产生的信号而言，由于直接采集到的时域信号杂乱无章，难以直接分析，需要进一步处理。目前针对脑波信号的处理方法有，频域分析、主成分分析、小波分析、独立向量分析(Independent Component Analysis，ICA)等。其中，小波分析具有时频域分析的特点，能对信号进行多角度、深层次的特征提取。因此本发明使用小波分析的方法提取眨眼、张嘴和摇头动作的特征。

小波变换如式(1)所示：

对小波函数

的参数a,b进行离散化处理，f(x)的离散小波变换形式如式(2)所示。

其中，k＝2^-jb。

使用Mallat算法，利用小波滤波器对测量的信号进行分解，得到低频系数c_j,k和高频系数d_j,k如式(3)(4)所示

c_j,k＝∑_mh₀(m-2k)c_j-1,m (3)

d_j,k＝∑_mh₁(m-2k)c_j-1,m (4)

如图8所示的小波变换信号分解过程，由于肌电信号频率主要集中在50Hz-150Hz，眼电信号频率主要集中在0Hz-40Hz，均处在中低频段，此处将高频成分对应的小波系数设为零。

由低频系数c_j,k和高频系数d_j,k，可得到重构的信号为：

H_j(k)＝∑_mc_j+1(m)h₀(k-2m)+d_j+1(m)h₁(k-2m) (5)

对原始信号进行离散小波变换得到其高频系数和低频系数，进而获得不同尺度下的重构信号，有效获取原始信号的近似、细节部分，在保留原始信号特点的同时，对肌电和脑电信号进一步分类识别。

对眨眼动作信号进行六层小波分解，并分别对第二到六层的高频信号进行重构来观察，接下来对原始信号和重构后的信号，使用FFT得到频谱图如图9所示，挑选出特征最明显的重构层数进行重构；

本发明提供的业内的普通技术人员还可以采用其他的步骤实施，上面的所述的图提供的仅仅是一个具体实施例而已。

下面结合实验对本发明的技术效果作详细的描述。

本发明中，控制信号的分类与检验包括：经实验，单一的对小波重构后的信号进行时域分析，难以准确提取本系统所需的控制信号。而在频域分析过程中，本发明发现在不同频带上存在明显分布规律的不同。由此，本发明采集受测者在不同状态下产生的原始信号数据，经小波分解重构后，对要识别的控制信号进行频域特征比对，发现在某个频带有明显的特征差异，就可以提取该频带作为控制信号的特征。

本发明对眨眼动作、张嘴动作、摇头动作取第六层高频信号进行频域对比，如图16所示，可以发现它们有明显的差异。本发明将该频谱的相关参数作为控制信号的特征。

本发明采用支持向量机(Support Vector Machine，SVM)机器学习的分类方法进行控制信号的分类。支持向量机可在更高维找出超平面并将其作为决策边界。

本发明采用支持向量机(Support Vector Machine，SVM)的核方法。使用SVM进行按监督学习，在更高维找出超平面并将其作为决策边界，该决策边界是对学习样本求解的最大边距超平面。图16所示为SVM分类最优超平面示意图。

使用非线性函数将输入数据映射至高维空间后应用线性SVM可得到非线性SVM。非线性SVM有如下优化问题：

其原始形式如下式所示：

s.t.y_i(ω·φ(x_i)+b)≥1-ξ_i(i＝1,2,…,m)；

ξ_i≥0(i＝1,2,…,m)；

其中m为样本个数，样本为(x₁,y₁),(x₂,y₂),…,(x_m,y_m)。ω,b是分离超平面的ω·φ(x_i)+b＝0的系数，ξ_i为第i个样本的松弛程度，C为惩罚系数。φ(x_i)为低维到高维的映射函数。

这是一个凸优化问题，通过拉格朗日函数以及对偶化后的形式为：

0≤α_i≤C；

其中，α为拉格朗日系数向量。K(x_i,x_j)为核函数。

利用KKT条件求解，得到最终的分类决策函数为：

其中，a^*可由SMO算法求解得到，

在机器学习的数据集构建中，为保证训练集数据的多样性，本发明首先采集不同人坐着时的脑电、眼电、肌电信号，总共6370组，7873320帧“眨眼”、“张嘴”、“摇头”信号数据。对其使用前述小波变换方法提取特征，将控制信号所对应的受测者动作作为数据集的标签。本发明将数据集合理划分为训练集和测试集进行机器学习，最终实现对控制信号的分类，分类详细结果如表2所示：

表2眼电、肌电信号的SVC分类结果

对眨眼、张嘴和摇头状态下的肌电信号识别准确率、召回率和对应的F1-score均在0.97及以上，由此可见本系统识别信号的准确性可基本满足要求，可将其作为部分控制信号控制智能家居部分功能。

在本发明中，智能家居模拟沙盘控制与检验包括：

根据小波变换特征提取及SVM分类，本发明得以区分受测者颈部及以上不同状态下的肌电信号，并利用TGAM模块的eSense算法得出受测者的专注度、松弛度和冥想度等脑波信号。由此，本发明将以上信号作为控制信号，借助STM32单片机设计了包含灯光、电扇、智能音箱和家电开关控制等模块的智能家居模拟沙盘，如图11所示.

通过不同状态下的脑电、眼电及肌电信号实现控制智能家居模拟沙盘功能如表3所示：

表3智能家居控制系统受测者状态及所对应的功能控制

表4智能家居控制实验测试准确度

表5线上教育交互系统实验测试准确度

注：“高专注度”指专注度值超过50。

在机器学习的数据集构建中，为保证训练集数据的多样性，本发明采集了不同人在不同状态下的脑电、眼电、肌电信号，包括坐、站、躺三个状态，总共6370组，7873320帧“眨眼”、“张嘴”、“摇头”信号数据。并对其使用前述小波变换方法提取特征，将控制信号所对应的受测者动作作为数据集的标签。本发明通过将单独频域信号、小波分解系数、小波分解重构的时频域信号不同组合，用SVC线性核对其进行分类，根据准确度选择合适的数据集。

图13所示为不同数据集使用SVM线性核分类的准确度对比图。

其中，数据集从左到右分别为：(组合一)原始数据经过小波6层分解6层高频重构和FFT生成的频域数据，(组合二)小波6层分解产生的系数，(组合三)原始数据经过FFT产生的频域数据，(组合四)经FFT产生的频域数据+小波系数，(组合五)FFT频域数据+小波系数+小波分解重构的时域和频域数据，(组合六)FFT频域数据+小波系数+小波分解重构的频域数据。

由图13趋势线可知，分类效果最好的数据集为FFT频域数据+小波系数+小波分解重构的频域数据，因此本发明最终采用这一构建数据集的方案。

在机器学习的模型选择中，本发明将数据集合理划分为训练集和测试集用于不同的模型进行机器学习，并根据最终的准确度和评价表来决定使用的分类模型。图14所示为机器学习不同模型的分类效果对比图。

由图14所示，本发明选取了K-means，朴素贝叶斯(包括高斯朴素贝叶斯和伯努利朴素贝叶斯)，决策树与随机森林，SVM(线性核与高斯核)进行对比实验。由趋势线可知，从左往右分类器分类的准确度依次上升，由此可以证明我们选择线性核SVM进行数据分类，即信号识别是合理的。

最终7873320帧“眨眼”、“张嘴”、“摇头”信号数据的分类效果如表6所示。

表6眼电、肌电信号的SVC分类结果

对眨眼、张嘴和摇头状态下的肌电信号识别准确率、召回率以及对应的F1-score均高于0.96，由此可见本系统识别信号的准确性可基本满足要求，可将其作为部分控制信号控制智能家居部分功能。

下面结合测试结果对本发明的技术效果进行进一步分析。

(1)测试环境与对象

为测试系统的准确度，本发明邀请了15名受测者来测试。1-5号年龄在10-25岁之间，6-10号的年龄在26-40岁之间，11-15号的年龄在41-50岁之间，无影响测试结果的疾病或特征。其中，每一组的前两名受测者为熟悉设备者。

测试所在的实验室防磁、噪音等环境因素产生的干扰都对结果影响较小。

(2)实验测试过程

首先，对每位受测者进行10分钟的训练，如正确佩戴数据采集设备，集中注意力，输出某一指令后回归平静状态等。再以开启设备-打开灯光-打开风扇-响起欢快音乐-响起舒缓音乐-关闭设备6种指令为一组(若开启和关闭的指令未成功识别则手动开启、关闭)，每位受测者共测试60组。

(3)结果分析

图15为熟练设备者与生疏者的平均次数对比图；控制成功所需要执行的动作的成功率(Y轴)，目前能够实现的功能(X轴)。

由图14看出，无论是熟练设备者还是生疏者都能在合适次数内完成指定任务。但相对于根据专注度和冥想度控制智能家居的成功率近乎相同，利用“眨眼”、“摇头”、“张嘴”控制的成功率差异相对明显，考虑到可能是生疏者动作不够规范。两类人的数据总体相差较小，说明本作品稳定性较高，操作便利。

表7给出了15名受测者进行的总共900组测试成功次数及成功率。

表7实验测试准确度

状态	实现功能	成功数	准确率
				连续眨眼2次	设备开启	828	92.00％
连续眨眼2次	设备关闭	839	93.20％
				连续摇头2次	灯光打开	834	92.60％
连续张嘴2次	风扇打开	814	90.50％
				专注度	灯光亮度调节，达到50时欢快音乐响起	883	98.11％
冥想度	风扇转速调节，达到50时舒缓音乐响起	878	97.56％

结果显示总体上本系统的指令识别准确率较高，稳定性较强。但对“眨眼”、“张嘴”和“点头”信号识别率较理论值稍低，推测主要原因是实际项目中系统的噪声干扰、信号衰减以及训练样本比较有限。此外，由于测试数据来自不同受测者(不同人的EEG、EMG、EMG有差异)，且无创便捷式采集模块的设计使得在不同对象、时间情况下电极所在的头部位置有些许偏移，采集到的信号都会有差别，识别成功的准确率也有差异。因此今后工作重点将是增强系统的适应性和鲁棒性。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims

1.一种智能家居控制方法，其特征在于，所述智能家居控制方法包括：对采集的脑波信号与眼电、表面肌电信号，快速傅里叶变换频域数据、小波系数和小波分解重构的频域数据相结合的特征提取方法提取所述眼电、表面肌电信号的特征；

2.如权利要求1所述的智能家居控制方法，其特征在于，所述采集脑波信号与眼电、表面肌电信号的方法包括：

3.如权利要求2所述的智能家居控制方法，其特征在于，所述第一步中，数据处理模块每秒传输513个数据包，解码后得到四组脑电图参数:脑电图频谱、传输状态的信号质量、脑电原始数据和eSense算法生成的精神状态；所述eSense算法产生用于描述精神状态的专注度、松弛度、冥想度三个维度的特征。

4.如权利要求1所述的智能家居控制方法，其特征在于，所述快速傅里叶变换频域数据、小波系数和小波分解重构的频域数据相结合的特征提取方法包括：使用小波分析的方法提取眨眼、张嘴动作和摇头动作的特征；

小波变换如式(1)所示：

对小波函数

其中，k＝2^-jb。

c_j,k＝∑_mh₀(m-2k)c_j-1,m (3)

d_j,k＝∑_mh₁(m-2k)c_j-1,m (4)

高频成分对应的小波系数设为零；

由低频系数c_j,k和高频系数d_j,k，得到重构的信号为：

H_j(k)＝∑_mc_j+1(m)h₀(k-2m)+d_j+1(m)h₁(k-2m) (5)

5.一种实时权利要求1～4任意一项所述方法的智能家居控制系统，其特征在于，所述智能家居控制系统包括：

6.如权利要求5所述的智能家居控制系统，其特征在于，所述信号采集模块集成TGAM芯片、滤波器、A/D转换器、干电极、电源器件，用于数据采集、滤波、放大、A/D转换、数据预处理功能；

7.如权利要求5所述的智能家居控制系统，其特征在于，使用AT命令将蓝牙模块设置为从模式，波特率为38400bps，与设置为主模式的树莓派蓝牙进行配对；配对成功后，实现信号采集模块与数据处理模块之间的无线传输。

8.如权利要求5所述的智能家居控制系统，其特征在于，所述智能家居沙盘模块采用基于ARM处理器的STM32微控制器；STM32通过UART串口通信与信号采集模块连接，同步波特率后接收数据处理模块的控制信号，再通过STM32片上烧录的程序对沙盘模型上设备的控制。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

10.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：