CN108446021A - 基于压缩感知的p300脑机接口在智能家居中的应用方法 - Google Patents

Abstract

一种基于压缩感知的P300脑机接口在智能家居中的应用方法：构建多源数据采集和汇总的平台，平台包括多功能传感器与显示器；通过EEG脑电信号采集设备采集P300脑电信号，基于数据压缩感知理论对P300脑电信号进行压缩，得到观测信号；将观测信号通过Wifi无线传输至上位机，然后基于正交匹配追踪算法确定稀疏系数的估计，进而重构P300脑电信号估计，用于后续分析；设计基于P300脑电信号的意念控制平台，实现对目标家电的意念控制。本发明能够基于压缩感知理论实现P300脑电信号的高效获取，提高数据传输效率，将用户的脑电信号转化为有效的控制指令，使脑‑机接口在智能家居中得到有效应用，实现对家电的意念控制。

Description

基于压缩感知的P300脑机接口在智能家居中的应用方法

技术领域

本发明涉及一种脑机接口。特别是涉及一种基于压缩感知的P300脑机接口在智能家居中的应用方法。

背景技术

脑机接口(BCI)是人和外界设备之间建立的直接交流、控制的通道，使得人不依赖于大脑外围的神经、肌肉等组织，便可向外界设备传递信息。脑电实验常用的范式有稳态视觉诱发电位(SSVEP)、P300、运动想象三种，其中，P300有分类类别多、准确率高的优点，在多分类实验中应用广泛。

智能家居是把家居环境下的各种设备终端通过家庭网络完成连接，融合人工智能、自动化方法后，通过人与算法的双重指导完成家居环境的智能化。在智能家居条件中，某种程度上可以减少人们生活中因控制各种家用电器造成的时间浪费，同时可以享受更加舒适的家居环境，是科技进步背景下家居设施发展的必然趋势。但目前智能家居系统在自主决策与人为控制的衔接阶段仍有问题存在，当自主决策不能满足要求，转成人为控制后用户需要在对应的家电旁方可进行。通过脑机接口对智能家居进行功能提升后，用户只需进行P300脑电实验，利用脑机接口产生电信号，即可远程控制对应家电来调整当前环境以满足需求。

发明内容

本发明所要解决的技术问题是，提供一种基于压缩感知的P300脑机接口在智能家居中的应用方法，能够将实验获取的P300脑电信号基于压缩感知数据传输理论进行传输后通过LSTM模型辨识分类生成控制指令进而实现控制智能家居。

本发明所采用的技术方案是：一种基于压缩感知的P300脑机接口在智能家居中的应用方法，包括如下步骤：

1)构建多源数据采集和汇总的平台，所述的平台包括多功能传感器与显示器，所述的多功能传感器用于实时获取家居环境中包括温度、湿度以及光强数据，同时了解室内各个家电的运行状况以及相应参数数据；所述的显示器用于实时显示多功能传感器所收集的数据，方便用户实时了解家居环境、家电运行状况及参数，并且根据用户的生活习惯安装在卧室、客厅位置；

2)通过EEG脑电信号采集设备采集P300脑电信号μ，基于数据压缩感知理论对P300脑电信号μ进行压缩，得到观测信号y；

3)将观测信号y通过Wifi无线传输至上位机，然后基于正交匹配追踪算法确定稀疏系数的估计，进而重构P300脑电信号估计用于后续分析；

4)设计基于P300脑电信号的意念控制平台，实现对目标家电的意念控制。

步骤1)中所述的显示器具有以下特点：

(1)支持用户通过语音查询已经显示的信息，并将查询结果通过语音告知用户，方便用户在看不到屏幕的情况下获取想要知道的信息；

(2)具备联网功能，显示器通过自主比较家居环境与室外环境，以健康、舒适生活为标准，提供最佳温度、湿度以及光强设定参数，用于用户控制家电，同时所述的显示器具有根据所述的设定参数自动控制家电的功能；

(3)实时同步至计算机、平板、手机终端，方便用户远程控制家电。

步骤2)包括：

(1)选用一组稀疏基对长度为Z的P300脑电信号μ进行稀疏表示：系数向量α满足该系数向量α中非零元素个数P远小于其中稀疏基选用正弦基、余弦基、小波基和curvelet基中的一种；

(2)取用大小为M×Z的高斯观测矩阵S，矩阵中任意元素均服从高斯分布N(0,1/M)，观测信号表示为：y＝Sμ＝Sψα＝Gα，其中G＝Sψ是大小为的传感矩阵，M是得到的观测信号的维数，满足P＜M＜＜Z，观测矩阵S和稀疏矩阵ψ必须满足不相关性的要求。

步骤3)包括：

(1)以观测信号y以及传感矩阵G为输入，并设定稀疏度Q，初始化残差r₀＝y，构建索引集初始化迭代次数t＝1；

(2)分别计算残差r_t-1和传感矩阵G_t-1的所有列g_j,的内积，G₀＝G，确定内积中最大值对应的角标即

(3)更新索引集Λ_t＝Λ_t-1∪{λ_t}，记录传感矩阵G_t-1中的重建原子集合即每一次迭代将使得传感矩阵增多一列；

(4)确定重构P300脑电信号估计并更新残差t＝t+1；

(5)判断迭代次数是否满足t＞Q，若满足，则停止迭代；若不满足，返回第(2)步。

步骤4)包括：

(1)采用6×6的矩阵视觉刺激界面，矩阵视觉刺激界面的行标号为i₁＝1,2,...,6，视觉刺激界面列标号为i₂＝1,2,...,6，其中每行代表一种常用家电及相应家电的功能；

(2)用户佩戴脑电极帽，使脑电极帽中所有电极分布均符合10～20国际标准导联，将步骤1)所述的显示器中所显示的能够被控制的智能家居设备和家电的图片显示在矩阵视觉刺激界面上；

(3)用户选择目标时，刺激界面上的所有行和列重复闪烁n轮，在每轮闪烁中，界面上的行和列交替随机闪烁，所有行和列随机不重复闪烁，每次闪烁持续160ms，间歇40ms；在闪烁过程中，通过EEG脑电采集设备获取Fz、Cz、Pz、Oz、P3、P4、T5和T6这8个通道的测量信号，以右耳后电极A2为参考电极，GND为接地电极，信号采样率为1000Hz；针对每个闪烁图片，采集800ms的数据，压缩后传输至上位机；

(4)建立LSTM模型，将P300脑电信号估计作为LSTM模型的输入，对LSTM模型进行训练，通过前向传播和误差反向传播实现LSTM模型参数的最优化，得到训练好的LSTM模型；

(5)通过训练好的LSTM模型，实现对P300脑电信号的准确分类、辨识，生成相应的家电控制信号，实现对目标家电的操作。

本发明的基于压缩感知的P300脑机接口在智能家居中的应用方法，能够基于压缩感知理论实现P300脑电信号的高效获取，提高数据传输效率，融合LSTM神经网络理论实现对P300脑电信号的有效辨识、分类，将用户的脑电信号转化为有效的控制指令，关联多种家电可实现对家电的统一管理，通过人与算法双重指导完成家居环境的智能化，使脑-机接口在智能家居中得到有效应用，实现对家电的意念控制。

附图说明

图1是本发明基于压缩感知的P300脑机接口在智能家居中的应用方法的流程示意图；

图2是本发明中P300智能家居控制界面示意图；

图3是本发明采用的10～20国际标准导联脑电通道示意图；

图4是LSTM模型结构图。

具体实施方式

下面结合实施例和附图对本发明的基于压缩感知的P300脑机接口在智能家居中的应用方法做出详细说明。

本发明的基于压缩感知的P300脑机接口在智能家居中的应用方法，通过P300脑电实验搭建意念控制平台，通过EEG脑电信号采集设备实现P300脑电信号获取，基于数据压缩感知理论对P300脑电信号进行压缩后，通过WiFi无线传输至上位机，而后经重构算法进行还原，供后续分析；数据分析过程引入了长短期记忆网络(LSTM)，通过大量P300脑电信号样本的训练，确定可用于实现对P300脑电信号准确分类、辨识的最佳LSTM模型，进而关联相应的家电控制模块，实现对目标家电的操作。

如图1所示，本发明的基于压缩感知的P300脑机接口在智能家居中的应用方法，包括如下步骤：

1)构建多源数据采集和汇总的平台，所述的平台包括多功能传感器与显示器，所述的多功能传感器用于实时获取家居环境中包括温度、湿度以及光强数据，同时了解室内各个家电的运行状况以及相应参数数据；所述的显示器用于实时显示多功能传感器所收集的数据，方便用户实时了解家居环境、家电运行状况及参数，并且根据用户的生活习惯安装在卧室、客厅位置；所述的显示器具有以下特点：

(1)支持用户通过语音查询已经显示的信息，并将查询结果通过语音告知用户，方便用户在看不到屏幕的情况下获取想要知道的信息；

(2)具备联网功能，显示器通过自主比较家居环境与室外环境，以健康、舒适生活为标准，提供最佳温度、湿度以及光强设定参数，用于用户控制家电，同时所述的显示器具有根据所述的设定参数自动控制家电的功能。例如当室内湿度低于健康标准时，显示器会提醒用户调节加湿器增大湿度，当室外天气过于晴朗使室内光线过强时，显示器提醒用户调节窗帘的开度来使室内光线符合用户习惯；当用户不方便进行调节而授权自动调节时，显示器可依据健康标准以及用户习惯自主对相应家电进行控制，调节室内环境。

(3)实时同步至计算机、平板、手机终端，方便用户远程控制家电，例如当用户在回家途中通过手机知晓室内温度低于正常情况时，可利用手机进行远程控制，操控显示器进而控制空调升高室内温度，使得用户回家后即可享受舒适的环境。

2)通过EEG脑电信号采集设备采集P300脑电信号μ，基于数据压缩感知理论对P300脑电信号μ进行压缩，得到观测信号y；包括：

(1)选用一组稀疏基对长度为Z的P300脑电信号μ进行稀疏表示：系数向量α满足该系数向量α中非零元素个数P远小于其中稀疏基选用正弦基、余弦基、小波基和curvelet基中的一种；

(2)取用大小为M×Z的高斯观测矩阵S，矩阵中任意元素均服从高斯分布N(0,1/M)，观测信号表示为：y＝Sμ＝Sψα＝Gα，其中G＝Sψ是大小为的传感矩阵，M是得到的观测信号的维数，满足P＜M＜＜Z，观测矩阵S和稀疏矩阵ψ必须满足不相关性的要求。

3)将观测信号y通过Wifi无线传输至上位机，然后基于正交匹配追踪算法确定稀疏系数的估计，进而重构P300脑电信号估计用于后续分析；包括：

(1)以观测信号y以及传感矩阵G为输入，并设定稀疏度Q，初始化残差r₀＝y，构建索引集初始化迭代次数t＝1；

(2)分别计算残差r_t-1和传感矩阵G_t-1的所有列g_j,的内积，G₀＝G，确定内积中最大值对应的角标即

(3)更新索引集Λ_t＝Λ_t-1∪{λ_t}，记录传感矩阵G_t-1中的重建原子集合即每一次迭代将使得传感矩阵增多一列；

(4)确定重构P300脑电信号估计并更新残差t＝t+1；

(5)判断迭代次数是否满足t＞Q，若满足，则停止迭代；若不满足，返回第(2)步。

4)设计基于P300脑电信号的意念控制平台，实现对目标家电的意念控制。包括：

(1)如图2所示，采用6×6的矩阵视觉刺激界面，矩阵视觉刺激界面的行标号为i₁＝1,2,...,6，视觉刺激界面列标号为i₂＝1,2,...,6，其中每行代表一种常用家电及相应家电的功能；

(2)用户佩戴脑电极帽，脑电极帽中所有电极分布均符合10～20国际标准导联，如图3所示，保证导电性良好；将步骤1)所述的显示器中所显示的能够被控制的智能家居设备和家电的图片显示在矩阵视觉刺激界面上；

(3)用户选择目标时，刺激界面上的所有行和列重复闪烁n轮，在每轮闪烁中，界面上的行和列交替随机闪烁，所有行和列随机不重复闪烁，每次闪烁持续160ms，间歇40ms；在闪烁过程中，通过EEG脑电采集设备获取Fz、Cz、Pz、Oz、P3、P4、T5和T6这8个通道的测量信号，以右耳后电极A2为参考电极，GND为接地电极，信号采样率为1000Hz；针对每个闪烁图片，采集800ms的数据，压缩后传输至上位机；

(4)建立LSTM模型，将P300脑电信号估计作为LSTM模型的输入，对LSTM模型进行训练，通过前向传播和误差反向传播实现LSTM模型参数的最优化，得到训练好的LSTM模型；

(5)通过训练好的LSTM模型，实现对P300脑电信号的准确分类、辨识，生成相应的家电控制信号，实现对目标家电的操作。

例如，当用户想将电视声音调大时，注视图2中第2行第5列的刺激图片，经过n轮闪烁之后将8个通道的测量信号压缩后传输到上位机，以此为输入数据输入经过训练好的LSTM模型进行有效的分类辨识，确定用户注视的刺激图片为电视声音调大对应的图片，从而生成相应指令，实现电视音量调节。

LSTM模型结构可以总结为一个存储单元，如图4所示，其包含3个控制门(Gate)和一个记忆节点(memory cell)；存储单元是一种可以传递历史信息的存储器结构，三个门分别用来控制信息流通行，0表示阻止，1表示通行，其特点在于添加了控制门节点实现输入，记忆和输出的不同功能：输入门(input gate)用于控制当前时刻的输入信息，决定是否要使其进入并影响该节点状态，输出门(output gate)用于控制此节点的输出，决定在当前时刻是否要输出此节点的状态，遗忘门(forget gate)用于适时忘记该节点的历史信息；

LSTM模型的BPTT(Back Propagation Through Time)过程分为前向传播与后向传播，其中：a表示神经元的输入，b表示神经元的输出；与输入门相关的下标标记为l，遗忘门下标输出门下标ω；c表示存储体的状态；w_pq表示神经元间的连边权重，w_c下标表示是细胞内部的连边权重；控制门激活函数为f，细胞输入激活函数g，细胞输出激活函数h；输入层神经元个数为I，输出层神经元K个，隐层元胞H个。

(1)LSTM前向传播流程如下：

存储体内输入门的计算过程如下：

式中表示当前时刻的输入作为输入，表示上一时刻同一记忆块内所有元胞作为输入，C表示元胞的个数，当每层仅有一个记忆块、一个元胞时，可以忽略。如上式所示，输入门可包含输入层的输入、泛指的输入和窥视孔连接三部分，可以汇总现时输入，上一时刻隐藏层神经元输出和上一时刻元胞状态，并经过一定激活函数方可向细胞内部输入数据进行学习。

遗忘门输入输出的计算公式如下：

式中表示当前时刻的输入作为输入，表示上一时刻同一记忆块内所有元胞作为输入，同输入门作相同处理，遗忘门输入可包含输入层的输入、泛指的输入和窥视孔连接三部分。

元胞可接受两个输入，分别为输入门和输入的乘积、遗忘门和上一时刻对应元胞的乘积，其内部输入输出计算公式如下：

输出门输入输出计算公式如下：

式中表示当前时刻的输入作为输入，表示当前时刻同一记忆块内所有元胞作为输入，由于此时元胞的结果已经产生，所以输出门的输出直接采用元胞当前结果即可，无需使用上一时刻。

元胞输出即激活后的状态值和输出门的乘积，计算公式如下：

(2)LSTM误差反向传播更新流程如下：

式中为损失函数，其中k∈1,2,…K，网络输出类别为k的概率为y_k，而真实值为z_k，为细胞输出的梯度，为状态梯度。

元胞梯度计算公式如下：

输出门梯度计算公式如下：

状态梯度计算公式如下

元胞误差计算公式如下

遗忘门误差计算公式如下

输入门误差计算公式如下

所有梯度求解完成后，利用梯度去更新每个权重其中mΔw^n-1为上一次权重的更新值，且m∈[0,1]，η为学习率，即以上所求的梯度。

通过前向传播和误差反向传播实现LSTM模型参数的最优化，得到训练好的LSTM模型，对用户的EEG脑电信号进行有效辨识，为生成有效的控制指令奠定基础。

以上对本发明和实施例的描述，并不局限于此，实施例中的描述仅是本发明的实施方式之一，在不脱离本发明创造宗旨的情况下，任何不经创造性的设计出与该技术方案类似的结构或实施例，均属本发明的保护范围。

Claims (5)

1.一种基于压缩感知的P300脑机接口在智能家居中的应用方法，其特征在于，包括如下步骤：

1)构建多源数据采集和汇总的平台，所述的平台包括多功能传感器与显示器，所述的多功能传感器用于实时获取家居环境中包括温度、湿度以及光强数据，同时了解室内各个家电的运行状况以及相应参数数据；所述的显示器用于实时显示多功能传感器所收集的数据，方便用户实时了解家居环境、家电运行状况及参数，并且根据用户的生活习惯安装在卧室、客厅位置；

2)通过EEG脑电信号采集设备采集P300脑电信号μ，基于数据压缩感知理论对P300脑电信号μ进行压缩，得到观测信号y；

3)将观测信号y通过Wifi无线传输至上位机，然后基于正交匹配追踪算法确定稀疏系数的估计，进而重构P300脑电信号估计用于后续分析；

4)设计基于P300脑电信号的意念控制平台，实现对目标家电的意念控制。

2.根据权利要求1所述的基于压缩感知的P300脑机接口在智能家居中的应用方法，其特征在于，步骤1)中所述的显示器具有以下特点：

(1)支持用户通过语音查询已经显示的信息，并将查询结果通过语音告知用户，方便用户在看不到屏幕的情况下获取想要知道的信息；

(2)具备联网功能，显示器通过自主比较家居环境与室外环境，以健康、舒适生活为标准，提供最佳温度、湿度以及光强设定参数，用于用户控制家电，同时所述的显示器具有根据所述的设定参数自动控制家电的功能；

(3)实时同步至计算机、平板、手机终端，方便用户远程控制家电。

3.根据权利要求1所述的基于压缩感知的P300脑机接口在智能家居中的应用方法，其特征在于，步骤2)包括：

(1)选用一组稀疏基ψ＝[ψ₁,ψ₂,...,ψ_N]，对长度为Z的P300脑电信号μ进行稀疏表示：系数向量α满足该系数向量α中非零元素个数P远小于其中稀疏基选用正弦基、余弦基、小波基和curvelet基中的一种；

(2)取用大小为M×Z的高斯观测矩阵S，矩阵中任意元素均服从高斯分布N(0,1/M)，观测信号表示为：y＝Sμ＝Sψα＝Gα，其中G＝Sψ是大小为的传感矩阵，M是得到的观测信号的维数，满足P＜M＜＜Z，观测矩阵S和稀疏矩阵ψ必须满足不相关性的要求。

4.根据权利要求1所述的基于压缩感知的P300脑机接口在智能家居中的应用方法，其特征在于，步骤3)包括：

(1)以观测信号y以及传感矩阵G为输入，并设定稀疏度Q，初始化残差r₀＝y，构建索引集初始化迭代次数t＝1；

(2)分别计算残差r_t-1和传感矩阵G_t-1的所有列g_j,的内积，G₀＝G，确定内积中最大值对应的角标即

(3)更新索引集Λ_t＝Λ_t-1∪{λ_t}，记录传感矩阵G_t-1中的重建原子集合即每一次迭代将使得传感矩阵增多一列；

(4)确定重构P300脑电信号估计并更新残差t＝t+1；

(5)判断迭代次数是否满足t＞Q，若满足，则停止迭代；若不满足，返回第(2)步。

5.根据权利要求1所述的基于压缩感知的P300脑机接口在智能家居中的应用方法，其特征在于，步骤4)包括：

(1)采用6×6的矩阵视觉刺激界面，矩阵视觉刺激界面的行标号为i₁＝1,2,...,6，视觉刺激界面列标号为i₂＝1,2,...,6，其中每行代表一种常用家电及相应家电的功能；

(2)用户佩戴脑电极帽，使脑电极帽中所有电极分布均符合10～20国际标准导联，将步骤1)所述的显示器中所显示的能够被控制的智能家居设备和家电的图片显示在矩阵视觉刺激界面上；

(3)用户选择目标时，刺激界面上的所有行和列重复闪烁n轮，在每轮闪烁中，界面上的行和列交替随机闪烁，所有行和列随机不重复闪烁，每次闪烁持续160ms，间歇40ms；在闪烁过程中，通过EEG脑电采集设备获取Fz、Cz、Pz、Oz、P3、P4、T5和T6这8个通道的测量信号，以右耳后电极A2为参考电极，GND为接地电极，信号采样率为1000Hz；针对每个闪烁图片，采集800ms的数据，压缩后传输至上位机；

(4)建立LSTM模型，将P300脑电信号估计作为LSTM模型的输入，对LSTM模型进行训练，通过前向传播和误差反向传播实现LSTM模型参数的最优化，得到训练好的LSTM模型；

(5)通过训练好的LSTM模型，实现对P300脑电信号的准确分类、辨识，生成相应的家电控制信号，实现对目标家电的操作。