CN110955152A - 基于脑机接口的智能家居控制方法及系统 - Google Patents

基于脑机接口的智能家居控制方法及系统 Download PDF

Info

Publication number
CN110955152A
CN110955152A CN201911211847.3A CN201911211847A CN110955152A CN 110955152 A CN110955152 A CN 110955152A CN 201911211847 A CN201911211847 A CN 201911211847A CN 110955152 A CN110955152 A CN 110955152A
Authority
CN
China
Prior art keywords
brain
feature vectors
computer interface
electroencephalogram
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911211847.3A
Other languages
English (en)
Inventor
孙科
王文强
何彩洋
贺鹏飞
储朱涛
施佳
张新念
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Chuangjiang Information Technology Co ltd
Original Assignee
Hangzhou Chuangjiang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Chuangjiang Information Technology Co ltd filed Critical Hangzhou Chuangjiang Information Technology Co ltd
Priority to CN201911211847.3A priority Critical patent/CN110955152A/zh
Publication of CN110955152A publication Critical patent/CN110955152A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2642Domotique, domestic, home control, automation, smart house

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明涉及一种基于脑机接口的智能家居控制方法及系统,应用于智能家居技术领域,其中,方法包括通过脑机接口采集人脑的脑电信号;将脑电信号进行预处理,以得到特征向量;将特征向量输入预先训练的脑电信号类型识别模型中,对特征向量进行分类,得到特征向量对应的分类结果;将分类结果对应的控制指令,发送至相应的家居设备。

Description

基于脑机接口的智能家居控制方法及系统
技术领域
本发明涉及智能家居技术领域,具体涉及基于脑机接口的智能家居控制方法及系统。
背景技术
在智能家居系统中,人们日常使用的各种家电(如空调、冰箱、洗衣机、电视机、电脑、音响等家电),都可以通过移动客户端,或智能语音控制技术来进行操控,方便快捷。然而,大部分家居系统都是为普通用户设计,并没有考虑到部分残障人士,如患有视觉、听觉、语言障碍或行动不便的用户。根据世界卫生组织的描述,全世界大约有1.9亿的人患有中风、脊髓损伤等严重的残疾,如此庞大的残疾人群体给社会带来了极大的负担,如何照顾残疾人、如何提高残疾人的生活质量成为了当今社会亟待解决的难题。
虽然现在市面上已经有许多的智能家居设备,但是它们大多数是靠按键或者语音来控制的,完全丧失运动能力的瘫痪病人并不能自主的使用它们。
发明内容
有鉴于此,本发明为了在至少一定程度上克服相关技术中存在的问题,提供一种基于脑机接口的智能家居控制方法及系统。
为解决上述技术问题,本发明采用如下技术方案:
第一方面,一种基于脑机接口的智能家居控制方法,包括:
通过脑机接口采集人脑的脑电信号;
将所述脑电信号进行预处理,以得到特征向量;
将所述特征向量输入预先训练的脑电信号类型识别模型中,对所述特征向量进行分类,得到所述特征向量对应的分类结果;
将所述分类结果对应的控制指令,发送至相应的家居设备。
可选的,所述脑机接口上具有多个电极帽,各所述电极帽采用互不相同的通道采集所述脑电信号;
所述将所述脑电信号进行预处理,包括:
对预设数量的通道中的脑电信号数据进行滤波;
对各所述通道内的脑电信号数据以预设频率进行下采样,得到多个子数据向量;
将各所述子数据向量依次连接,以得到所述特征向量;
可选的,所述脑电信号类型识别模型为双向长短时记忆神经模型,所述双向长短时记忆神经模型包括:
输入层,用于输入待训练的脑电信号的训练特征向量;
隐藏层,用于以顺向时间序列将所述训练特征向量进行计算,得到第一输出特征数据,并以逆向时间序列将所述训练特征向量进行计算,得到第二输出特征数据,将所述第一输出特征数据与所述第二输出特征数据进行特征融合;
全连接层,用于对融合后的特征向量进行分类,得到分类结果;
输出层,输出所述分类结果。
可选的,所述对融合后的特征向量进行分类,包括:
分别计算所述融合后的特征向量属于所述脑电信号类型识别模型中各分类类别的概率;
将所述融合后的特征向量所属的概率最大的所述分类类别作为所述分类结果。
可选的,还包括:
获取训练特征向量;
将所述训练特征向量输入所述双向长短时记忆神经模型;
计算所述分类结果与预设值之间的误差值;
根据反向传播算法将所述误差值反向传播,以调整所述双向长短时记忆神经模型中的参数。
可选的,还包括:
在所述分类结果达到最小化目标函数时,完成所述双向长短时记忆神经模型的训练,并将训练结果作为所述脑电信号类型识别模型。
第二方面,一种基于脑机接口的智能家居控制系统,包括:
脑机接口,用于采集预设时间段内人脑的脑电信号;
预处理器,用于对将所述脑电信号进行预处理,以得到特征向量;
分类器,用于将所述特征向量输入预先训练的脑电信号类型识别模型中,对所述特征向量进行分类,得到所述特征向量对应的分类结果;
控制器,用于将所述分类结果对应的控制指令,发送至相应的家居设备。
可选的,还包括多个传感器,各所述传感器均与所述控制器相连接,所述传感器用于将感应情况发送至所述控制器,以使控制器根据所述感应情况,向相应的家居设备发送控制指令;
所述传感器包括光敏传感器、温度传感器、湿度传感器以及烟雾传感器中的至少一种。
可选的,脑机接口包括视觉刺激设备,所述视觉刺激设备用于显示闪烁键,所述闪烁键用于供用户选择相应的家居设备及所述家居设备的功能。
可选的,还包括:家居设备、无线通信模块和控制管理平台;
所述家居设备,用于接收并响应所述控制指令;
无线通信模块,所述控制器通过所述无线通信模块与所述家居设备通信;
控制管理平台,用于通过远程控制接口对所述家居设备进行远程控制。
第三方面,一种基于脑机接口的智能家居控制设备,包括:
处理器,以及与所述处理器相连接的存储器;
所述存储器用于存储计算机程序;
所述处理器用于调用并执行所述存储器中的所述计算机程序,以执行如第一方面所述的基于脑机接口的智能家居控制方法。
第四方面,一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时,实现如本发明第一方面任一项所述基于脑机接口的智能家居控制方法。
本发明采用以上技术方案,可以实现如下技术效果:
本申请先通过脑机接口采集人脑的脑电信号,然后将脑电信号进行预处理,以得到特征向量,将特征向量输入预先训练的脑电信号类型识别模型中,对特征向量进行分类,得到特征向量对应的分类结果,将分类结果对应的控制指令,发送至相应的家居设备。如此,仅需要通过脑机接口获取人脑的脑电信号,然后将脑电信号处理后输入,便可以得到相应的控制指令,可以使完全丧失运动能力的瘫痪病人也能自主的控制家居设备,应用更加广泛。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的基于脑机接口的智能家居控制方法的流程示意图;
图2是本发明另一实施例提供的基于脑机接口的智能家居控制方法的流程示意图;
图3为本发明一实施例提供的基于脑机接口的智能家居控制方法中双向长短时神经网络的结构示意图;
图4是本发明一实施例提供的基于脑机接口的智能家居控制系统的结构示意图;
图5是本申请一实施例提供的一种基于脑机接口的智能家居控制设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将对本发明的技术方案进行详细的描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式,都属于本发明所保护的范围。
为了更好的理解本申请提供的方案,需要了解以下内容:
研究表明,当人睡眠或进行思维活动时,神经元会产生相应的变化,神经系统的电活动会相应的改变。将这种电活动产生的电信号提取出来,可以对脑电波进行研究。将不同的脑电波产生的信号进行特征提取之后再进行分类识别,输入进计算机中,根据不同的脑电信号代表的不同含义计算机发出相应的控制指令进行设备的简单控制,这也就是脑机接口(brain-computer interface,BCI)的最初形态。
现如今,脑机接口的原型系统被用于各个领域因此呈现多样化。但是BCI系统的总体结构一般由信号的采集、处理、转换等几部分组成。信号的采集是利用电极采集大脑皮层的生物电信号并把脑电信号从其他干扰信号分离出来。信号处理就是把模拟信号转换成数字信号存储到计算机,计算机则通过对这些信号进行分类以确定其对应的大脑活动。每一种特征代表着一种意识活动,计算机经过分析再把相应的特征信号转换为特定的指令,外围设备然后根据这些指令执行相应的动作,这样就实现了意念控制。
实施例
图1是本发明一实施例提供的基于脑机接口的智能家居控制方法的流程示意图。如图1所示,本实施例提供一种基于脑机接口的智能家居控制方法,包括:
步骤101、通过脑机接口采集人脑的脑电信号;
在脑机接口中,目前使用的电极记录信号的方式可以分为两种,一种是将电极置于人体里面,另一种是将电极贴于头皮,不对人体造成破坏。具体来说,内置式是将脑电极通过手术植入进被测试者的头皮下方,与大脑皮层直接接触进行信号采集。这种方式采集到的信号噪声小,不容易被干扰,但是由于要进行手术的操作,对人体伤害较大,易感染。外置式则是将脑电极置于人头皮外的不同测试点上,可以同时进行多通道的脑电信号,操作简单安全。但是由于脑电信号非常微弱,又没有直接与信号接触,所以难以达到测试的标准级,而且极易受到工频信号或者其他噪声的干扰。
本实施例中,使用非侵入式基的基于脑电图(Electroencephalograph,EEG)的脑机接口来进行脑电信号采集,形类似头戴式耳机,用蓝牙匹配到脑电信号处理设备就可以,具有易用性、便携性和较高的时间分辨率。另外使用视觉刺激来诱发脑电信号产生变化,然后进行数据采集。
其中,脑机接口与人脑接触的部分设置有多个电极帽,电极帽采用不同的通道采集脑电信号。采集脑电的电极帽一共有32个电极按照国际标准10-20系统分布,如果所有的电极数据都使用,按照250Hz的采样率,原始数据的特征维数为8000,有些分类器需要数据的协方差矩阵,那数据的维数将达到64000000维,这样会造成维数过高而无法提取特征信息,即维数灾难。
为减少计算的数据量及数据维数,只使用电极帽32个通道中P300脑电信号较强的几个通道。本申请主要使用的通道有:“FZ”、“FCz”、“Cz”、“CPz”、“P7”、“P3”、“Pz”、“P4”、“P8”、“O1”、“Oz”、“O2”十二个通道。
脑机接口还包括视觉刺激界面,主要用来诱发使用者的P300脑电信号,从而让使用者通过脑电控制系统中的各种设备。具体的,在时间刺激界面上设置有与家居设备对应的闪烁键,界面中的闪烁键随机的进行黑、绿两种颜色(也可以为其他颜色)的闪烁,每次闪烁持续时间为100ms,两次闪烁的间隔为150ms。使用者通过注视闪烁键来诱导P300脑电,从而实现某个闪烁键的选中。当实验者通过P300脑电选中某个闪烁键时,该闪烁键的四周会出现绿框,以提示该键被选中。视觉刺激界面根据家电的类型而定,比如电视控制界面有音量控制(音量+-键)、频道控制(0~9台键、channel+-键),以及电视电源的控制(开关键)。空调控制界面。使用者可以通过这个界面实现空调的温度控制(温度+-键)、扫风控制(上下扫风键、左右扫风键)、风速控制(风速0123键)、模式选择(制冷、送风、加湿、自动)、空调电源控制(开关键)。
步骤102、将脑电信号进行预处理,以得到特征向量;
一些实施例中,对脑电信号的预处理的方式有多种,例如,先去脑电信号进行去噪处理,以去除脑电信号中的干扰,如眼动伪迹等。其中,去噪处理可以采用傅里叶变换分析,小波分析等方式,具体可以参照现有技术,本申请中不再赘述。
对于采集的脑电信号去噪后,在对脑电信号进行特征提取和分类,提取出有价值的信息。具体的,本申请的脑电信号是通过上述的通道获得的,提取特征向量时,将对预设数量的通道中的脑电信号数据进行滤波;对各通道内的脑电信号数据以预设频率进行下采样,得到多个子数据向量;将各子数据向量依次连接,以得到特征向量。进一步的,预设数量的通道可以为上述的十二通道,对脑电信号数据进行滤波可以为,将十二通道的数据使用截止频率为20Hz的低通滤波器进行滤波,然后进行频率为5Hz的下采样,然后把每个通道的数据顺序连接起来,形成一个一维空间上的向量,构成特征向量。
步骤103、将特征向量输入预先训练的脑电信号类型识别模型中,对特征向量进行分类,得到特征向量对应的分类结果;
一些实施例中,常用的脑电信号分类算法如支持向量机、朴素贝叶斯、决策树等由于多余多分类支持的性能不够好、精度对于噪声较为敏感等特点,不太适用于本申请提出的智能家居控制流程。本实施例中,脑电信号类型识别模型为双向长短时记忆神经模型,长短记忆神经网络是一种基于时间递归的神经网络,适合于处理和预测时刻序列中间隔和延迟相对较长的重要事件。长短记忆神经网络模型已经在科技领域有了多种应用。基于长短记忆神经网络模型的系统可以学习翻译语言、控制机器人、图像分析、文档摘要、语音识别图像识别、手写识别、控制聊天机器人、预测疾病等任务。长短记忆神经网络模型为循环神经网络模型的变体,其特点在于可以通过控制门对时间序列的信息进行判断与取舍,进而完成预测部分信息内容的组合,其表征为遗忘门、输入门、输出门和状态更新。
其中,双向长短时记忆神经模型包括:输入层,用于输入待训练的脑电信号的训练特征向量;
隐藏层,用于以顺向时间序列将训练特征向量进行计算,得到第一输出特征数据,并以逆向时间序列将训练特征向量进行计算,得到第二输出特征数据,将第一输出特征数据与第二输出特征数据进行特征融合;
全连接层,用于对融合后的特征向量进行分类,得到分类结果;
输出层,输出分类结果。
进一步的,对融合后的特征向量进行分类,包括:
分别计算所述融合后的特征向量属于所述脑电信号类型识别模型中各分类类别的概率;
将所述融合后的特征向量所属的概率最大的所述分类类别作为所述分类结果。
具体的,因此,我们创新性地设计了针对脑电信号特征的双向长短时神经网络(Bi-directional long short-term memory,Bi-LSTM)来进行脑电信号的分类识别。其中,长短时记忆递归神经(LSTM)是深度学习模型的一种,网络通过门机制对cell state中的信息进行管理,包括输入门、遗忘门和输出门。遗忘门对ht-1和xt进行检查,对cell statect-1中的每个值输出一个[0,1]之间的数字,0表示抛弃所有信息,1表示保留所有信息,得到ft,其公式如下:
ft=σ(Wxfxt+Whfht-1+bf)
输入门决定哪些新信息需要保留在cell state中,它通过sigmoid层和tanh层生成state更新向量值gt,其公式如下:
it=σ(Wxixt+Whiht-1+bi);
gt=tanh(Wxcxt+Whcht-1+bc);
通过遗忘门和输入门可以更新出一个新的cell state,即ct,公式如下:
ct=ft⊙ct-1+it⊙gt
最后通过输出门确定需要输出的信息,通过sigmoid层得到输出值ot,其公式为:
ot=σ(Wxoxt+Whoht-1+bo);
将cell state值通过tanh,再乘上输出层输出,最后得到输出层的隐藏状态值ht,也就是本实施例中决定输出的信息值,公式为:
ht=ot⊙tanh(ct)。
图3为本发明一实施例提供的基于脑机接口的智能家居控制方法中双向长短时神经网络的结构示意图。标准的LSTM网络适合于处理时间序列类型的数据,适用于本申请中采集到的随着时间变化的脑电信号,而双向LSTM(Bi-LSTM)则是在顺序时间序列的基础上加入了逆序时间的信息传递,使得网络能够容纳更为丰富的信息,识别精度也相较传统的LSTM有更好的表现。将输入的脑电信号的过去和未来的特征信息提供给输出层,以此捕获更多的可用信息,通过引入逆向序列层扩展标准的LSTM网络,其中隐藏层到隐藏层的连接以相反的时间顺序流动,本实施例通过向量合并(特征连结)融合了这两个方向的输出,向全连接层产生了双倍的输出量,同时为了提取与类别相关的信息,本实施例在隐藏状态f_t中添加了另外一个输出网络(图3中的输出类别标签),因此使本实施例的模型能够有效地结合序列过去和未来的信息。
步骤104、将分类结果对应的控制指令,发送至相应的家居设备。
本申请先通过脑机接口采集人脑的脑电信号,然后将脑电信号进行预处理,以得到特征向量,将特征向量输入预先训练的脑电信号类型识别模型中,对特征向量进行分类,得到特征向量对应的分类结果,将分类结果对应的控制指令,发送至相应的家居设备。如此,仅需要通过脑机接口获取人脑的脑电信号,然后将脑电信号处理后输入脑电信号类型识别模型,便可以得到相应的控制指令,可以使完全丧失运动能力的瘫痪病人也能自主的控制家居设备,应用更加广泛。与现在的方案进行对比,本系统提出的基于脑机接口的智能家居控制方案在成本实现方面更低,需要的硬件成本种类少,在脑电采集方面采用非侵入式和视觉刺激采集,用户体验较好,同时在信号识别方面提出基于双向长短时记忆网络的深度学习模型,在已有的算法结果上获得了精度方面的提升,进一步加强了方案的实用性。
图2是本发明另一实施例提供的基于脑机接口的智能家居控制方法的流程示意图。如图2所示,本实施例提供一种基于脑机接口的智能家居控制方法中脑电信号类型识别模型的训练过程,具体包括:
步骤201、获取训练特征向量。
步骤202、将训练特征向量输入双向长短时记忆神经模型。
步骤203、计算分类结果与预设值之间的误差值。
步骤204、根据反向传播算法将误差值反向传播,以调整双向长短时记忆神经模型中的参数。
步骤205、在分类结果达到最小化目标函数时,完成双向长短时记忆神经模型的训练,并将训练结果作为脑电信号类型识别模型。
具体地,在进行模型训练运算时,首先输入训练数据集,然后通过前向传播,根据上述原理计算双向长短时记忆递归神经网络中隐层向量序列,在本实施例中设置的隐藏层数量为64,学习率为0.01,迭代次数为10000,每次前向传播计算输出预测值。再计算预测值与真实值的误差,并利用反向传播算法将误差反向传播;使用梯度下降原理更新模型中的参数,并在最小化目标函数是完成训练,生成脑电信号类型识别模型。
图4是本发明一实施例提供的基于脑机接口的智能家居控制系统的结构示意图。如图4所示,本实施例提供一种基于脑机接口的智能家居控制系统,包括:
脑机接口401,用于采集预设时间段内人脑的脑电信号;
预处理器402,用于对将脑电信号进行预处理,以得到特征向量;
分类器403,用于将特征向量输入预先训练的脑电信号类型识别模型中,对特征向量进行分类,得到特征向量对应的分类结果;
控制器404,用于将分类结果对应的控制指令,发送至相应的家居设备。
一些实施例中,基于脑机接口的智能家居控制系统还包括多个传感器,各传感器均与控制器相连接,传感器用于将感应情况发送至控制器,以使控制器根据感应情况,向相应的家居设备发送控制指令;
传感器包括光敏传感器、温度传感器、湿度传感器以及烟雾传感器中的至少一种。具体的,光敏传感器可以实时监测整个家居环境的光照强度或者亮度,当夕阳西下的时候,开启屋内的柔和光源,并且每隔一个小时将亮度提升一级,三次提升后,亮度保持不变。当太阳升起的时候,关闭屋内的明亮光源。温度传感器实时监测整个家居环境的温度,当温度高于26℃或者低于20℃时,开启中央空调,调整温度达到20~26℃之间。制冷或者制暖的选择要根据室外温度进行不同的控制。湿度传感器实时监测整个家居环境的湿度,当相对湿度低于40%,开启加湿装置,如果相对湿度高于60%时,可以短暂的开启空调除湿系统进行湿度的降低。烟雾传感器实时控制厨房、卫生间的有毒有害气体(如天然气、氯气)的含量,一旦达到危险值,要开启报警系统。
一些实施例中,脑机接口包括视觉刺激设备,视觉刺激设备用于显示闪烁键,闪烁键用于供用户选择相应的家居设备及家居设备的功能。具体的,可以参照上述实施例,此处不再赘述。
一些实施例中,基于脑机接口的智能家居控制系统还包括:家居设备、无线通信模块和控制管理平台。
具体的,家居设备,用于接收并响应控制指令。主要包括:
家电设备
一般家电都是固定位置的,所以对于家电设备的控制来说,有线控制的方式比较方便数据的传递。家庭总线一般采用两芯双绞线,再加上红外遥控器或者射频遥控器对家电进行直接控制,达到更为人性化的控制设置。
安防报警设备
与安防报警相关的设备有红外探测器,微波探测器,烟雾探测器,燃气泄露探测器等等。与入侵报警系统中的探测器连接方法相同,有源设备可以通过四芯线连接,无源设备则是通过两芯线连接,对线缆则没有什么特殊要求。
抄表系统
抄表系统是将水表、电表、气表的数据信息传送至设备终端,控制中心收到数据后可以进行查验、保存,并计算出用户的使用量。表头和智能终端之间通过四芯信号线相连接,不同的居住条件或者不同的系统对线缆的规格要求不同。
监控系统
监控设备主要是摄像机,对周围的环境进行监测,对不正常的情况进行报警,分为网络摄像机和模拟摄像机两种。前者通过家庭局域网与智能终端进行连接,而后者则是通过同轴电缆连接终端设备。
背景音乐设备
对于公共场所的建筑物来说,背景音乐系统使用较为频繁,因为需要播放广播通知或者播放背景音乐。对于家居生活来说,使用则较为少。音乐设备本身通过两芯音频线相连接,控制音频设备时一般要采用两芯双绞线,即家庭总线相连。
当智能终端与本地设备相连时,如果已建设局域网或者两端都连接在住宅局域网内,则可以通过局域网进行连接。如果在智能家居系统中还是使用总线方式进行通信的话,则需要建立专用的总线通信网络。在智能家居系统中加入可视对讲系统时,除了数据线和地线外,还有两条声音线,所以需要使用四芯总线控制系统,要是需要增加门禁控制功能,则还要再加两芯总线。
在传统智能家机接口的设备,除了完成智能终端控制家电或者环境参数的功能,还有脑电控制的部分,使得人们在家居生活中的主观控制意识得到实现。在这个系统中需要对光照强度、湿度进行实时监控,需要将传感器布置在合适的位置对这些环境参数进行收集,并将收集到的数据上传给指挥中心,根据传来的数据判断是否在正常的范围,如果是的话对数据进行存储,否则反馈一个控制信号对设备进行操作命令,而脑机接口可以使得人们直接通过想象对设备进行控制操作。
无线通信模块,控制器通过无线通信模块与家居设备通信。
目前使用较多的智能家居技术为EnOcean、Zigbee、Z-Wave和Bluetooth等。其中,ZigBee是一个开放的高层通信协议,它也可以被理解为IEEE802.15.4协议的另一种形式,是应用软件和组网时使用的技术标准。由于这项技术的能耗所需带宽也低,所以非常适合小型项目的无线连接使用或者创建一个小的个人区域网络。ZigBee技术在若干各传感器之间进行全双工形式的通信,网络中的设备还可以监测通信过程中网络消耗的能量,比蓝牙和wifi都简单,成本也更低。为了防止数据传输过程中有可能出现的“抢道”,网络采用了碰撞避免机制。对于所传输的数据采用128位的密钥加密算法,保证了数据传输的可靠性和安全性。
由于传感器网络要求全面覆盖,必须对传感器节点进行组网的操作,大大增加了网络的能耗和成本,而通过ZigBee技术构建的无线传感网络采用AD-HOC模式,以协同工作的方式有效地感知、采集和处理监控对象地信息。加之节点的可移动性,使得监控的范围不会局限在某一区域之内。所以,ZigBee技术对于家庭网络的构建有着其他技术不可比拟的优点。
如果按照每个节点在网络中所处的位置来划分的话,可以分为三种设备。ZigBee协调器(Coordinator):主要用于建立一个新的网络,管理网络中的节点传递信息,对各节点的地址进行分配,作为控制器有且仅有一个,所以需要有大容量,超强计算力的设备,因此协调器必须使用全功能设备。
ZigBee路由器(Router):需要为其他设备加入网络提供路由通道,也具有发送数据和路由的功能。当路由器处于活动状态时,一般采用主供电的方式;如果是进行周期运行的时候,可以使用路由器供电的方式。
ZigBee终端设备(End-device):终端设备的功能就是对收集到的数据进行存储和发送,不需要维护网络设备,所以可以处于休眠状态,也可以处于唤醒的状态。
由于不同的设备之间会存在兼容性的问题,所以ZigBee由于其标准化的技术规范被众多厂家所青睐。ZigBee的协议栈共分为四层,不同于标准的OSI模型。每一层都要先完成本层的工作任务,然后通过接口向下一层传递数据或者控制指令。
本系统在家居控制端的通信技术为ZigBee技术,组网方式为新型拓扑结构。由于每个房间的板型和所控制的变量都不一样,所以整个无线网络的拓扑图采用簇—树状结构。在通信芯片方面选择CC2530。CC2530芯片在IEEE802.15.4协议的基础上又将ZigBee协议栈Z-Stack进行了合作,操作起来简单易行,用户可以完全不了解底层代码,也不需要指导协议栈代码的具体运行过程,就可以直接使用API来进行研发和实验,Z-Stack使用的是轮转的任务执行方式,给用户带来了更加方便的体验。
组建ZigBee网络时首先要用CCdebugger将协调器终端设备的设置程序下载到每一个ZigBee模块中,设置完成之后,可以向每个模块中拷贝程序进行通信。通信过程分为三个步骤:
1)组网:协调器会通过协议栈中自带的组网函数新建一个网络,然后向周围的ZigBee节点广播信息,通过调用加入网络函数,就可成功地建立与其他节点的联系。
2)发送:需要发送信息时,该模块会判断周围协调器、路由器、终端的状态,然后调用发送函数周期性地发送数据,设定任务的初始ID以及事件号还有重复的周期,然后无线发送数据。
3)接收:如果有节点需要接收信息,则先建立一个缓冲数组,然后检查串口数据是否接收完成,如果是的话就将数据放入之前建立的数组中,实现数据的无线接收。
控制管理平台,用于通过远程控制接口对家居设备进行远程控制。
控制管理平台可以分为本地控制和远程控制。本系统采用网络型联网,也就是说控制中心的各软硬件设备直接和互联网相连接,通过互联网实现远程监控的目的。在局域网系统中,智能终端通过住宅局域网与本地控制中心相连接,也就是从交换机中牵出网线供各个设备的使用,像是可视对讲、家电控制、监控报警功能都通过这个网络实现控制。
在远程控制方面,系统提供各家居设备的远程控制接口,可以设计相关的APP或者是网页,通过计算机可以直接访问或者打开对智能家居进行远程控制。例如发现家里的电器没有关闭或者煤气没有关闭的情况下,可以远程控制开关;对于已安装监控报警系统的,还可以用来进行远程监控和报警功能。如果家中有老人或者小孩的话,这种远程控制就能很好地保障老人小孩的生活,创建一个安全舒适便捷的居家生活环境。
将传感器采集到的为串口数据,通过设置路由器将数据通过路由器转换为TCP/IP格式上传至网络中,由物联网网关与路由器同时作用,将ZigBee网络同外部WAN连接,进行有效的数据传递。用户可以通过计算机或者APP使用互联网或者手机网络访问控制中心的软件实时监控环境参数。
系统开始后,首先进入锁定状态,用户必须要通过顺序选定刺激界面中的“开关”键与“确定”键来打开开关,从而开启整个控制系统。设计这一步骤的原因是为了减少使用者在空闲状态下的系统误输出次数。
当开启控制系统后,使用者通过顺序选定刺激界面中的某个功能键加“确定”键来进入某个设备的控制。例如顺序选定“电视”与“确定”键后,会进入电视控制界面,然后进行电视控制。使用者完成一次电视控制后,可以选择回到主界面去选择控制其他设备,也可以继续进行电视控制。
在控制系统开启的状态下,如果使用者在5分钟内没有对任何设备进行控制,系统将自动进入锁定状态,以减少系统的误输出次数。使用者也可以通过顺序选定“开关”加“确定”键来主动关闭控制系统。
图5是本申请一实施例提供的一种基于脑机接口的智能家居控制设备的结构示意图。参照图5,本申请实施例的提供了一种基于脑机接口的智能家居控制设备,包括:
处理器501,以及与处理器相连接的存储器502;
存储器502用于存储计算机程序;
处理器501用于调用并执行存储器502中的计算机程序,以执行如上述实施例中的基于脑机接口的智能家居控制方法。
本实施例的具体实现方案可以参见前述实施例记载的基于脑机接口的智能家居控制方法及方法实施例中的相关说明,此处不再赘述。
本发明实施例提供一种存储介质,存储介质存储有计算机程序,计算机程序被处理器执行时,实现如基于脑机接口的智能家居控制方法中各个步骤。
本实施例的具体实现方案可以参见上述基于脑机接口的智能家居控制方法实施例中的相关说明,此处不再赘述。
可以理解的是,上述各实施例中相同或相似部分可以相互参考,在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是,在本发明的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于脑机接口的智能家居控制方法,其特征在于,包括:
通过脑机接口采集人脑的脑电信号;
将所述脑电信号进行预处理,以得到特征向量;
将所述特征向量输入预先训练的脑电信号类型识别模型中,对所述特征向量进行分类,得到所述特征向量对应的分类结果;
将所述分类结果对应的控制指令,发送至相应的家居设备。
2.根据权利要求1所述的方法,其特征在于,所述脑机接口上具有多个电极帽,各所述电极帽采用互不相同的通道采集所述脑电信号;
所述将所述脑电信号进行预处理,包括:
对预设数量的通道中的脑电信号数据进行滤波;
对各所述通道内的脑电信号数据以预设频率进行下采样,得到多个子数据向量;
将各所述子数据向量依次连接,以得到所述特征向量。
3.根据权利要求1所述的方法,其特征在于,所述脑电信号类型识别模型为双向长短时记忆神经模型,所述双向长短时记忆神经模型包括:
输入层,用于输入待训练的脑电信号的训练特征向量;
隐藏层,用于以顺向时间序列将所述训练特征向量进行计算,得到第一输出特征数据,并以逆向时间序列将所述训练特征向量进行计算,得到第二输出特征数据,将所述第一输出特征数据与所述第二输出特征数据进行特征融合;
全连接层,用于对融合后的特征向量进行分类,得到分类结果;
输出层,输出所述分类结果。
4.根据权利要求3所述的方法,其特征在于,所述对融合后的特征向量进行分类,包括:
分别计算所述融合后的特征向量属于所述脑电信号类型识别模型中各分类类别的概率;
将所述融合后的特征向量所属的概率最大的所述分类类别作为所述分类结果。
5.根据权利要求3所述的方法,其特征在于,还包括:
获取训练特征向量;
将所述训练特征向量输入所述双向长短时记忆神经模型;
计算所述分类结果与预设值之间的误差值;
根据反向传播算法将所述误差值反向传播,以调整所述双向长短时记忆神经模型中的参数。
6.根据权利要求5所述的方法,其特征在于,还包括:
在所述分类结果达到最小化目标函数时,完成所述双向长短时记忆神经模型的训练,并将训练结果作为所述脑电信号类型识别模型。
7.一种基于脑机接口的智能家居控制系统,其特征在于,包括:
脑机接口,用于采集预设时间段内人脑的脑电信号;
预处理器,用于对将所述脑电信号进行预处理,以得到特征向量;
分类器,用于将所述特征向量输入预先训练的脑电信号类型识别模型中,对所述特征向量进行分类,得到所述特征向量对应的分类结果;
控制器,用于将所述分类结果对应的控制指令,发送至相应的家居设备。
8.根据权利要求7所述的系统,其特征在于,还包括多个传感器,各所述传感器均与所述控制器相连接,所述传感器用于将感应情况发送至所述控制器,以使控制器根据所述感应情况,向相应的家居设备发送控制指令;
所述传感器包括光敏传感器、温度传感器、湿度传感器以及烟雾传感器中的至少一种。
9.根据权利要求7所述的系统,其特征在于,脑机接口包括视觉刺激设备,所述视觉刺激设备用于显示闪烁键,所述闪烁键用于供用户选择相应的家居设备及所述家居设备的功能。
10.根据权利要求7所述的系统,其特征在于,还包括:家居设备、无线通信模块和控制管理平台;
所述家居设备,用于接收并响应所述控制指令;
无线通信模块,所述控制器通过所述无线通信模块与所述家居设备通信;
控制管理平台,用于通过远程控制接口对所述家居设备进行远程控制。
CN201911211847.3A 2019-12-02 2019-12-02 基于脑机接口的智能家居控制方法及系统 Pending CN110955152A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911211847.3A CN110955152A (zh) 2019-12-02 2019-12-02 基于脑机接口的智能家居控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911211847.3A CN110955152A (zh) 2019-12-02 2019-12-02 基于脑机接口的智能家居控制方法及系统

Publications (1)

Publication Number Publication Date
CN110955152A true CN110955152A (zh) 2020-04-03

Family

ID=69979558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911211847.3A Pending CN110955152A (zh) 2019-12-02 2019-12-02 基于脑机接口的智能家居控制方法及系统

Country Status (1)

Country Link
CN (1) CN110955152A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111576539A (zh) * 2020-04-30 2020-08-25 三一重机有限公司 挖掘机控制方法、装置、计算机设备和可读存储介质
CN115499830A (zh) * 2022-10-08 2022-12-20 上海术理智能科技有限公司 基于Wi-Fi独立加密信道的脑机控制系统和方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105559777A (zh) * 2016-03-17 2016-05-11 北京工业大学 基于小波包和lstm型rnn神经网络的脑电识别方法
CN107961007A (zh) * 2018-01-05 2018-04-27 重庆邮电大学 一种结合卷积神经网络和长短时记忆网络的脑电识别方法
CN108446021A (zh) * 2018-02-28 2018-08-24 天津大学 基于压缩感知的p300脑机接口在智能家居中的应用方法
CN109472194A (zh) * 2018-09-26 2019-03-15 重庆邮电大学 一种基于cblstm算法模型的运动想象脑电信号特征识别方法
CN109583346A (zh) * 2018-11-21 2019-04-05 齐鲁工业大学 基于lstm-fc的脑电信号特征提取与分类识别方法
CN109614885A (zh) * 2018-11-21 2019-04-12 齐鲁工业大学 一种基于lstm的脑电信号快速分类识别方法
CN110292377A (zh) * 2019-06-10 2019-10-01 东南大学 基于瞬时频率和功率谱熵融合特征的脑电信号分析方法
CN110309797A (zh) * 2019-07-05 2019-10-08 齐鲁工业大学 融合CNN-BiLSTM模型和概率协作的运动想象识别方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105559777A (zh) * 2016-03-17 2016-05-11 北京工业大学 基于小波包和lstm型rnn神经网络的脑电识别方法
CN107961007A (zh) * 2018-01-05 2018-04-27 重庆邮电大学 一种结合卷积神经网络和长短时记忆网络的脑电识别方法
CN108446021A (zh) * 2018-02-28 2018-08-24 天津大学 基于压缩感知的p300脑机接口在智能家居中的应用方法
CN109472194A (zh) * 2018-09-26 2019-03-15 重庆邮电大学 一种基于cblstm算法模型的运动想象脑电信号特征识别方法
CN109583346A (zh) * 2018-11-21 2019-04-05 齐鲁工业大学 基于lstm-fc的脑电信号特征提取与分类识别方法
CN109614885A (zh) * 2018-11-21 2019-04-12 齐鲁工业大学 一种基于lstm的脑电信号快速分类识别方法
CN110292377A (zh) * 2019-06-10 2019-10-01 东南大学 基于瞬时频率和功率谱熵融合特征的脑电信号分析方法
CN110309797A (zh) * 2019-07-05 2019-10-08 齐鲁工业大学 融合CNN-BiLSTM模型和概率协作的运动想象识别方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111576539A (zh) * 2020-04-30 2020-08-25 三一重机有限公司 挖掘机控制方法、装置、计算机设备和可读存储介质
CN111576539B (zh) * 2020-04-30 2022-07-29 三一重机有限公司 挖掘机控制方法、装置、计算机设备和可读存储介质
CN115499830A (zh) * 2022-10-08 2022-12-20 上海术理智能科技有限公司 基于Wi-Fi独立加密信道的脑机控制系统和方法

Similar Documents

Publication Publication Date Title
Chen et al. Smart clothing: Connecting human with clouds and big data for sustainable health monitoring
Mshali et al. A survey on health monitoring systems for health smart homes
CN104483953B (zh) 一种控制方法及穿戴式电子设备
Chen et al. Living with I-fabric: Smart living powered by intelligent fabric and deep analytics
Lin et al. Brain computer interface-based smart living environmental auto-adjustment control system in UPnP home networking
CN109920544A (zh) 基于体感信息的实时自适应智能楼宇系统
CN105807726A (zh) 一种终端控制系统及方法
CN105652767A (zh) 一种智能浴室的调节方法及调节系统
CN108446021B (zh) 基于压缩感知的p300脑机接口在智能家居中的应用方法
Wcislik et al. Wireless health monitoring system
CN104656593A (zh) 家电控制方法及穿戴式智能终端
CN110955152A (zh) 基于脑机接口的智能家居控制方法及系统
CN109284004A (zh) 一种基于脑机接口的智能护理系统
Rajarajan et al. IoT in Brain-Computer Interfaces for Enabling Communication and Control for the Disabled
Santos et al. Context inference for mobile applications in the UPCASE project
KR101717216B1 (ko) 저전력 기반의 바이오 데이터 수집 및 관리 시스템
Kawa et al. Building management system based on brain computer interface. Review
Selvamathiseelan et al. Brain controlled smart home automation system
Ibrahim et al. Smart Homes for Disabled People: A Review Study
CN110045619A (zh) 基于自学习技术的窗帘智能控制方法及智能控制系统
CN115327945A (zh) 基于ssvep的智能家居控制系统及智能家居控制方法
CN115185320A (zh) 一种智能车载睡眠系统及其控制方法
Augustyniak Adaptive architecture for assisted living systems
CN104997507B (zh) 三位一体帽式智能监测预警系统
Liu et al. Intelligent home design for elderly health monitoring and rating based wireless passive sensor network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200403