CN110367967B

CN110367967B - 一种基于数据融合的便携型轻量化人脑状态检测方法

Info

Publication number: CN110367967B
Application number: CN201910655228.7A
Authority: CN
Inventors: 徐小龙; 徐浩严
Original assignee: Nanjing University of Posts and Telecommunications
Current assignee: Nanjing University of Posts and Telecommunications
Priority date: 2019-07-19
Filing date: 2019-07-19
Publication date: 2021-11-12
Anticipated expiration: 2039-07-19
Also published as: CN110367967A

Abstract

本发明公开了一种基于数据融合的便携型轻量化人脑状态检测方法，包括：采用脑电信号采集设备获取N个通道的原始脑电信号数据，对原始脑电信号数据进行预处理；将预处理后的脑电信号数据进行盲源信号分离，得到多个信号源的信号，基于小波包变换，对每个信号源的信号进行特征提取；每个信号源分别输入至多个已训练好的轻量化卷积神经网络模型中进行分析，对多个轻量化卷积神经网络模型的输出进行加权投票，得到最终的分类结果；所述轻量化卷积神经网络模型以每个信号源由小波包变换得到的特征作为输入，以信号源类别为输出。

Description

一种基于数据融合的便携型轻量化人脑状态检测方法

技术领域

本发明属于脑机接口技术领域，具体涉及一种基于数据融合的便携型轻量化人脑状态检测方法。

背景技术

目前人们对生理状态监测的需求日益增高。使用脑电信号对人的生理状态进行监测非常重要。传统的基于脑电信号的监测，首先使用时频分析的方法提取出信号的特征，然后通过SVM，k-means等机器学习方法进行信号分析。但是这些方法最终分析出的准确率并不理想。随着深度学习的出现，CNN、RNN等方法在脑电信号分析方面也有了不俗的表现。但由于深度学习模型的结构化风险较高，模型容易出现泛化能力较差，过拟合，实时性较差等情况。同时对于数据的采集设备来说，需要大量的通道数才能实现准确的分析，但这在现实中难以应用。

发明内容

本发明所要解决的技术问题是：基于少量通道的脑电信号分析准确率较低的问题与基于深度学习的分析模型其训练时间与实时相应时间较差的问题，以及以往分析脑电信号使用多通道不便携带的问题。本发明提出了一种基于数据融合的便携型轻量化人脑状态检测方法。

本发明所采用的技术方案是：一种基于数据融合的便携型轻量化人脑状态检测方法，包括以下步骤：

步骤1：采用N个通道的脑电信号采集设备获取原始脑电信号数据，对原始脑电信号数据进行预处理；

步骤2：将预处理后的脑电信号数据进行盲源信号分离，得到N个信号源的信号，基于小波包变换，对每个信号源的信号进行特征提取；

步骤3：将每个信号源分别输入至多个已训练好的轻量化卷积神经网络模型中进行分析，对多个轻量化卷积神经网络模型的输出进行加权投票，得到最终的结果；所述轻量化卷积神经网络模型以每个信号源由小波包变换得到的特征作为输入，以生理状态为输出。

进一步的，所述步骤1中的预处理为数据融合的过程，具体步骤为：

假设脑电信号数据的每个通道的采样频率为v赫兹，则第i秒第n个通道的采样的数据形式为{x_n,i,1,x_n,i,2,x_n,i,3,x_n,i,3,...,x_n,i,v-2,x_n,i,v-1,x_n,i,v}；第i秒第n个通道的分析样本为X_i,n＝{x_n,i-1,v/2,x_n,i-1,v/2+1,...,x_n,i+1,v-2,x_n,i+1,v-1,x_n,i+1,v}；第i个样本为X_i＝{X_i,1,X_i,2,X_i,3,...,X_i,n-1,X_i,n}为一个2v·N的矩阵；

对X_i,n进行去中心化，使得每一列数据的均值为0，具体为：令每一维L_i,n＝X_i,n-∑X_i,n/2v，得到L_i＝{L_i,1,L_i,2,L_i,3,...,L_i,n-1,L_i,n}；

对L_i进行白化处理，去除各数据之间的相关性，得到白化后的结果Z_i＝W·L_i，其中有E{Z·Z^T}＝I，其中E{}为均值运算，I为单位矩阵，W为随机权矢量W＝UΛ^-1/2U^T，Λ为L_i·L_i ^T的特征值的对角矩阵，U为L_i·L_i ^T的特征向量的正交矩阵。

进一步的，所述步骤2中的盲源信号分离，分离得到N个独立的信号源，具体包括以下步骤：

S2.1：初始化随机权矢量W；

S2.2：令W^*＝E{Zg(W^TZ)}-E{g'(W^TZ)}W，其中E{}为0均值运算,g()代表非线性函数g(y)＝y³；

S2.3：令W＝W^*/||W^*||，判断是否收敛，若未收敛，则返回S2.2；否则执行S2.4；所述收敛为前后两次向量W在同一方向上，点积为1；

S2.4：输出信号源S＝W^TZ。

进一步的，所述步骤2中的基于小波包变换对每个信号源的信号进行特征提取，具体为：对每个信号源的信号使用小波包变换进行不同频段分解，根据不同频段，得到对应的生理特征；

所述小波包变换包括小波包分解和小波包重构；

具体包括以下步骤：

确定各频段对应的节点：将小波包分解的过程描述为一个二进制树结构，二进制树的各节点处的数值为(j,r)，(j,r)表示为第j层上的第r个节点，一个节点对应一个频段；

将信号源的信号进行分解：

g₁(k)＝(-1)^1-kg₀(1-k) (4)

其中，S(k)为需要分解的信号，其中k表示信号中的时间，

表示第j层上的第r个小波包，称为小波包系数，m表示信号最终共分解为2^m个频带，g₀(k)、g₁(k)为一对正交滤波器；

信号重构：在节点(j,r)处的小波包系数

可由式(5)得到：

式中，

和

分别是

和

两个点插入一个0后所得的序列；

为重构所得的信号。

进一步的，所述轻量化卷积神经网络模型的卷积层中根据频段采用不同大小的一维卷积核进行卷积运算，在卷积层中每个卷积核与输入层中边界补0的输入序列从序列首端做内积运算一直到序列末端，得到输出层的值，形成新的特征序列；

将输出层的结果通过Relu激活函数激活，所述Relu激活函数如式(7)所示：

Y＝max(0,x) (7)

对激活层的输出进行两次池化包括最大池化和均值池化；输出层的长度为n，最大池化层的输出长度为q＝n/ma，均值池化层的输出长度为p＝q/me，其中ma为最大池化的长度，me为均值池化的长度,m_i为最大池化的结果，M_i为均值池化的结果：

m_i＝max({Y_i,Y_i+1...Y_i+ma-2,Y_i+ma-1}) (8)

将池化结果输入到全连接层中进行分类，把分布式特征映射到样本标记空间；所述全连接层由每个均值池化层连成一个一维向量最后连接两个输出构成；

(x₁，x₂)＝(∑M·W₁，∑M·W₂) (10)

其中，W₁、W₂为随机的权重；

将全连接层输出的值输入到SoftMax中，得到每个类别的概率，计算方法如式(11)：

其中，c为类别总数，x_h为每个类别由SoftMax的输出，p_h为第h类的概率。

有益效果：具有以下优点：

1、疲劳检测更加精确：使用相同的预处理方法之后，使用卷积神经网络对脑电信号分析，在最后几十轮的梯度下降中准确率出现了较大的震荡，最后20轮的平均准确率为80.1％。而本发明构建的分类模型对相同的数据进行分析，模型的准确率有了很好的收敛，最后20轮的平均准确率为96.4％；

2、模型轻量化：传统的32通道脑电信号采集设备，不经佩戴不方便，而且数据量大且分析慢、设备能耗大且不便携带。本方法中的分类分析模型只需要使用5个通道的脑电信号数据，使得采集的数据量小、设备能耗降低、设备更加便携、数据分析更快、实用性更高。在分类模型上，本方法丢弃了多层堆叠卷积核来提取整体特征的方法，采用横向添加根据信号频率所设计的卷积核来进行卷积。模型的深度大大减少，传统的CNN模型相比于本模型平均每轮的分析时间是其5.8倍。

附图说明

图1为本发明的算法的流程示意图；

图2(a)为原始数据；

图2(b)为盲源信号分离的结果；

图3为小波包树结构图；

图4为小波包变换效果图；

图5为分类模型的示意图；

图6为卷积层结构图；

图7为激活层结构图；

图8为池化层结构图；

图9为全连接层结构图；

图10为集成学习；

图11为ROC曲线对比图；

图12为准确率与AUC值对比图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合具体实施方式，进一步阐明本发明。

实施例：

本实施例的主要思想为：首先将便携式脑电信号采集设备得到的5个通道的脑电信号进行盲源信号分离得到5个信号源的数据，其中包含眼电信号等噪声信号。然后将每个信号源的数据进行小波包变换，将信号分解到不同的频段上。最后将每个信号源分解的信号输入到轻量化卷积神经网络模型中，得到五个分类模型使用集成学习的方法的到最终的分类结果。该机制在使用少量通道与轻量化模型的情况下保证了检测的精度，降低计算开销。整体的流程图如图1所示，包括以下步骤：

步骤1：使用一个N＝5通道的脑电信号采集设备Emotiv Insight来采集脑电信号数据D，每个通道的采样频率为v＝128赫兹，则第i秒第n个通道的采样的数据形式为{x_n,i,1,x_n,i,2,x_n,i,3,x_n,i,3,...,x_n,i,v-2,x_n,i,v-1,x_n,i,v}，第i秒第n个通道的分析样本为X_i,n＝{x_n,i-1,v/2,x_n,i-1,v/2+1,...,x_n,i+1,v-2,x_n,i+1,v-1,x_n,i+1,v}，第i个样本为X_i＝{X_i,1,X_i,2,X_i,3,...,X_i,n-1,X_i,n}为一个256×5的矩阵。

步骤2：对观测数据进行去中心化，使得每一列数据的均值为0，具体操作为：令每一维L_i,n＝X_i,n-∑X_i,n/2v，得到新的数据L_i＝{L_i,1,L_i,2,L_i,3,...,L_i,n-1,L_i,n}。

步骤3：对数据进行白化处理，去除各观测信号之间的相关性，简化后续的独立分量的提取过程，使得算法有良好的收敛性。白化后的结果Z_i＝W·L_i，其中，有E{Z·Z^T}＝I，E{}为均值运算，I为单位矩阵，W＝UΛ^-1/2U^T，Λ为L_i·L_i ^T的特征值的对角矩阵，U为L_i·L_i ^T的特征向量的正交矩阵。

步骤4：对信号Z进行盲源信号分离，分离出独立的信号源，具体操作如下：

S4-1：初始化随机权矢量W；

S4-2：令W^*＝E{Zg(W^TZ)}-E{g'(W^TZ)}W，其中E{}为0均值运算,g()代表非线性函数g(y)＝y³；

S4-3：令W＝W^*/||W^*||；

S4-4：若未收敛，则回到S4-2，其中收敛意味着前后两次向量W在同一方向上，即它们的点积为1；若收敛转S4-5；

S4-5：输出独立的信号源S＝W^TZ，S仍然为一个256×5的矩阵。

最终得到多个信号源的数据其中会包含脑电信号与眼电信号等信号，盲源信号分离效果图如图2(b)所示。

步骤5：将每个信号源的数据分解到五个不同的频段上，分为δ波(1-3Hz)、θ波(4-7Hz)、α波(8-15Hz)、β波(16-31Hz)、γ波(>32Hz)；各频段对应的生理特征如下：δ波在睡眠时比较活跃，θ波在冥想时比较活跃，α波在放松时比较活跃，β波在思考时比较活跃，γ波在进行一些认知行为时比较活跃。具体操作如下：

S5-1：确定信号频段对应的节点：将小波包分解的过程描述为一个二进制树结构，如j＝3的小波包分解树第一层节点为(0,0)，第二层为(1,0)与(1,1)，第三层为(2,0),(2,1),(2,2)和(2,3)，第四层为叶子结点(3,0),(3,1),(3,2),(3,3),(3,4),(3,5),(3,6)和(3,7)。二进制树的节点处的数值为(j,r)。需要重构δ波、θ波、α波、β波、γ波，对应的节点分别为(4,0),(4,1),(3,1),(2,1)(1,1)，小波包变换树如图3所示。

S5-2：信号分解，S(k)为需要分解的信号，其中k表示信号中的时间，d_j ^r(k)表示第j层上的第r个小波包，称为小波包系数。利用正交小波包变换的快速算法，则第j层、第r点的小波包分解系数可以由式(2)、(3)获得。

其中m表示信号最终共分解为2^m个频带，g₀(k)、g₁(k)为一对正交滤波器，二者之间满足式(4)

g₁(k)＝(-1)¹-^kg₀(1-k) (4)

S5-3：信号重构，第j层的分解系数可以通过第j-1层系数来求得，依次类推，可以求出一个数字信号f(k)的各层小波包分解系数。在节点(j,r)处的小波包系数

可由式(5)重建：

和

分别是

和

两个点插入一个0后所得的序列；

为重构所得的信号，

最终得到一个256×25的矩阵。小波包变换部分效果图如图4所示。

步骤6：根据轻量化卷积神经网络模型将小波包变换的结果进行分析，整体的分类模型如图5所示。下面对模型的各个细节进行讲解。

将之前通过小波包变换提取的特征作为输入数据进行分析：

数据输入到输入层中，共有五个信号源的数据。在输入层中输入在其中一个信号源由小波包变换得到的五个不同频段的脑电信号。输入层的形状为长为256，宽为1，5个通道。

使用不同大小的卷积核进行卷积运算。针对脑电这样的长序列数据，根据脑电信号不同频段来进行分类，得到五种大小不同的一维卷积核同时进行卷积。这样有助于学习到不同频段的信号的特征。卷积核的长度分别为4、8、16、32、64，宽度均为1，共有5个通道，每种卷积核有16个。这样设计卷积核利于获取信号的特征。输入层中为输入层，共有n个输入元素x。Conv为卷积层，其中共有j个卷积核。输出层为输出层。Padding设置为same，即为了使得输入与输出的序列长度一致，在边界添加0来进行卷积运算。卷积过程如下图，在conv层中每个卷积核与输入层中边界补0的输入序列从序列首端做内积运算一直到序列末端，可以得到输出层的值。形成j个新的特征序列。卷积层结构如图6所示。

对卷积层的输出，输入到激活函数中。将卷积所提取的特征通过Relu激活函数激活,使用Relu激活函数可以更加有效率的梯度下降以及反向传播，避免了梯度爆炸和梯度消失问题。简化了计算过程，没有了其他复杂激活函数中诸如指数函数的影响；同时活跃度的分散性使得神经网络整体计算成本下降。将输出层的结果输入到relu当中，输出得到Y。选出输出层其中一个输出结果，输入激活函数式(7)。激活层结构如图7所示。

relu＝max(0,x) (7)

对激活层的输出进行两次池化。池化方法使用的最大池化和均值池化。由于特征提取的误差主要来自两个方面，邻域大小受限造成的估计值方差增大和卷积层参数误差造成估计均值的偏移。一般来说，平均池化层能减小第一种误差，更多的保留背景信息，最大池化层能减小第二种误差，更多的保留纹理信息。通过池化层对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度；一方面进行特征压缩，提取主要特征，增强模型的泛化能力。输出层的长度为n，最大池化层输出的长度为q＝n/4，均值池化层输出的长度为p＝q/8。池化层结构如图8所示。

m_i＝max({Y_i,Y_i+1,Y_i+2,Y_i+3}) (8)

将池化层的结果输入到全连接层当中。使用全连接层进行分类，把分布式特征映射到样本标记空间，可以大大减少特征位置对分类带来的影响。由于有多个大小不同的卷积核，最终也会得到多个均值池化层，要将每个均值池化层连成一个一维向量最后连接两个输出构成全连接层。其中W₁、W₂为随机的权重。全连接层结构如图9所示。

(x₁，x₂)＝(∑M·W₁，∑M·W₂) (10)

将全连接层输出的值输入到SoftMax中，得到每个类别的概率。计算方法如下式，其中共有c个类，每个类由SoftMax的输出为x_h。p_h为第h类的概率。p＝{p_h},h＝1,2。

对每个轻量化卷积神经网络模型的预测结果进行加权投票，有利于提高模型最终预测的准确率。p_t为第t个模型的输出。将五个分类器的结果相加，返回最大的下标O，得到最终的预测结果。O为最后得到的类别。集成学习结构如图10所示。

本实施例采用有标签数据作为训练样本数据，使用梯度下降策略训练模型。对于给定的迭代次数，首先基于在整个数据集上求出的罚函数loss(W)对输入的参数向量W计算梯度向量。然后对参数w进行更新：对参数w减去梯度值乘学习率的值，也就是在反梯度方向，更新参数。其中，

为参数梯度下降方向，即loss(W)的偏导数，η为学习率。其中y_i表示样本的真实值，p_i为预测为第i类的概率。当完成迭代时，实现W的更新与模型的建立。

将本发明提出的算法与目前已有的三种算法进行比较。分别为k-means，SVM和传统CNN。所用指标为预测准确率，ROC曲线与AUC值。

计算方法如下：对于一个二分类问题，共有n个样本，可以将其分为正例T与负例F。

Table

	预测为T	预测为F
			样本为T	True Positive(TP)	False Negative(FN)
样本为F	False Positive(FP)	True Negative(TN)

(1)准确率

准确率的计算公式为：

ACC＝(TP+TN)/(TP+FP+FN+TN) (15)

(2)击中概率

击中概率的计算公式为：

TPR＝TP/(TP+FN) (16)

(3)惊虚概率：

惊虚概率的计算公式为：

FPR＝FP/(FP+TN) (17)

(4)ROC曲线

根据学习器的预测结果对样例进行排序，按此顺序逐个把样本作为正例来进行预测，每次计算出TPR与FPR，分别以它们为横纵坐标作图，就得到了ROC曲线。

(5)AUC值

AUC是通过对ROC曲线下各部分的面积求和而得。假定ROC曲线是由坐标为{(x₁,y₁),(x₂,y₂),...,(x_n,y_n)}的点按顺序连接而形成其中(x₁＝0,x_n＝1)则AUC可估算为：

使用EMOTIV Insight采集了疲劳状态与清醒状态的的脑电数据。其结果如图11与图12所示。轻量化脑电分析模型，CNN，SVM与K-means的准确率分别为96.4％、80.1％、74.7％与65.6％，AUC值分别为0.9762，0.9125，0.8476余0.7649。本方法各指标都高于其他三个模型。ROC曲线也在其他三个模型的上方，其表现也优于其它三个模型。

另外在训练时间上本方法与传统CNN相比实时性提高了5.8倍。