CN115969390A - 一种基于深度置信网络的非完整运动想象脑电解码方法 - Google Patents

Abstract

本发明涉及一种基于深度置信网络的非完整运动想象脑电解码方法，其特征在于，所述方法包括五部分过程：1)运动想象脑电信号采集；2)信号预处理过程；3)非完整EEG构造过程；4)特征提取过程；5)识别分类过程。本发明针对运动想象脑电在采集过程中出现数据丢失或极大干扰噪声情况，构造非完整运动想象脑电数据集并提取频带功率谱特征，利用深度置信神经网络对非完整运动想象脑电进行识别分类，在保证分类精度前提下有效提高脑电解码的鲁棒性与抗干扰性，为脑‑机接口系统在线、不间断地解码信息提供有效途径。

Description

一种基于深度置信网络的非完整运动想象脑电解码方法

技术领域

本发明涉及生物信号识别、脑机接口技术领域，具体涉及一种基于深度置信网络的非完整运动想象脑电解码方法。

背景技术

脑-机接口(Brain-Computer Interface，BCI)是一种与人的思维意图相关的新型人机交互控制系统，广泛应用于神经假肢、智能轮椅、外骨骼机器人、意念打字等领域。相比于诱发式BCI技术，自发式BCI技术更能反映使用者的真实意图，在神经康复辅助、机器人交互控制等方面具有独一无二的优势，其中基于运动想象脑电(Electroencephalography,EEG)的BCI系统正逐渐成为当前BCI技术研究的焦点。

由于运动想象EEG的幅值微弱，易受眼电、肌电、工频干扰、运动伪迹、基线漂移等非EEG噪声影响，导致其信噪比低。传统的滤波器、独立元分析和离散小波变换等去噪方法，虽然能提升EEG的信噪比，但对于一些诸如电极脱落、电极偏移、间歇性电路故障或断线、A/D转换错误等导致EEG数据丢失以及例如被试眼球、额肌、颞肌等大范围频繁运动导致的极大干扰情形却无能为力。通常将受到极大干扰或数据丢失等情形污染的运动想象EEG信号直接全部剔除，这样就导致可用的脑电信号样本减少，无法保证充足的训练数据，额外增加了被试采集时间。另外，从在线BCI系统实用性的角度看，连贯的、持续的、无中断的EEG信号识别是极其重要的。

代替剔除整个EEG信号段，仅去除或处理受极大干扰与数据丢失影响的数据段，而保留未受污染的数据段，从而构建非完整运动想象EEG样本，这为解决上述问题提供了一种新颖的思路。当前仅有很少文献开展这方面的研究，如Zhang等人应用贝叶斯张量分解算法提升非完整EEG的识别精度，但该方法计算复杂度高和耗时，无法适用于在线BCI系统应用。目前的研究与应用中，未见到从特征提取与学习角度出发针对非完整运动想象EEG进行分类解码研究。

发明内容

为解决上述技术问题，本发明提供一种基于深度置信网络的非完整运动想象脑电信号鲁棒性解码方法，其目的在于解决数据丢失或极大干扰噪声情形下的脑电信号连续、不间断识别分类问题。

本发明为实现上述目的所采用的技术方案是：

一种基于深度置信网络的非完整运动想象脑电解码方法，包括以下步骤：

1)运动想象脑电信号采集：设计不同肢体的运动想象实验范式，采集覆盖全脑区的多通道运动想象脑电信号；

2)信号预处理：利用滤波器对采集到的运动想象脑电信号进行带通滤波；

3)非完整运动想象脑电构造：对滤波后的运动想象脑电信号，提取实验范式提示信息出现后设定时长的信号段，对其做滑动窗分割得到运动想象脑电信号片段，并去除数据丢失或干扰噪声信号段，构造非完整运动想象脑电数据集；

4)特征提取：对非完整运动想象脑电数据集提取频带功率谱特征，组成非完整运动想象脑电特征样本集，并进行特征归一化处理；

5)识别分类：利用深度置信网络对非完整运动想象脑电特征样本集进行识别分类，解码出不同的运动想象意图。

所述步骤1)中不同肢体的运动想象实验范式包括左手、右手和双脚三类肢体的运动想象实验范式。

所述步骤2)中滤波器为五阶巴特沃斯滤波器，增益为1.5。

所述步骤2)中带通滤波为通频带8-30Hz带通滤波。

所述步骤3)中在实验范式提示信息出现后设定时长的信号段上做滑动窗分割，采用时间窗长1s和80％重叠的滑动窗。

所述步骤3)中构造非完整运动想象脑电数据集，采用信号采样点去除和信号段去除两种方式，利用高斯分布将含有数据丢失或干扰噪声大于阈值的信号段直接设置为零或NaN值，组成非完整运动想象脑电数据集，记为EEG：

EEG＝{eeg^(k)∈R^N×T,k＝1,2,...,K}

其中eeg^(k)为第k个非完整运动想象脑电信号矩阵，N为通道数，T为样本采样点数，K为非完整运动想象脑电数据集信号矩阵个数。

所述步骤4)中频带细分为8-13Hz，13-18Hz，18-23Hz和23-28Hz四种子频带。

所述步骤4)中频带功率谱特征，采用Lomb-Scargle Periodogram方法提取，频带功率谱特征为

其中，ω₁和ω_F分别为频带的下截止频率和上截止频率，F表示截止频率上限。

所述步骤5)中深度置信网络具有深层次的结构，由三层预训练的受限玻尔兹曼机RBM顺次堆叠而成，并通过softmax regression层训练整个网络进行回归分类，所述深度置信网络直接输出非完整运动想象脑电所属的类别。

所述softmax regression层训练整个网络进行回归分类，其过程为：

第一步：将三层RBM顺次堆叠在一起，即将归一化后的非完整运动想象脑电功率谱特征样本作为第一层RBM的输入，计算得到的输出作为第二层RBM的输入，第二层RBM的输出作为第三层RBM的输入，通过计算获得第三层RBM的输出为X_RBM；

第二步：将第三层RBM的输出X_RBM输入到softmax regression层，计算该样本所属运动想象类别的概率，根据最大概率准则确定待分类样本类别，并计算所有样本的类别误差；

第三步：利用随机梯度下降法和误差反向传播算法训练深度置信网络，调整参数θ_t，得到更新的参数θ_t+1；

第四步：迭代第三步，若迭代次数满足设定次数，或者误差值达到设定值，则网络训练过程结束；否则，将θ_t+1赋值给θ_t，并返回第一步。

本发明具有以下有益效果及优点：

1.本发明采用信号采样点去除和信号段去除两种方式构造非完整运动想象脑电信号，在实际应用中，能够有效去除数据丢失或极大干扰噪声对信号的影响，提高系统的实用性。

2.本发明采用Lomb-Scargle Periodogram方法对非完整运动想象脑电信号提取功率谱特征，提升频域特征的鲁棒性；

3.本发明采用三层深度置信网络架构对提取的功率谱特征进行学习和分类，提高非完整运动想象脑电信号的分类正确率，为脑-机接口系统在线、不间断地解码信息提供有效途径，具有较高的实际应用价值。

附图说明

图1是本发明方法流程图；

图2a是本发明的信号采样点去除方法效果图；

图2b是本发明的信号段去除方法效果图；

图3是本发明的被试非完整运动想象脑电信号在3种方法下的对比识别结果图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

如图1所示为本发明的方法流程图。针对左手、右手和双脚三类肢体的运动想象实验范式，采集覆盖大范围脑区的64通道脑电信号，采样频率为1000Hz。

利用增益为1.5的五阶巴特沃斯滤波器对采集到的运动想象脑电信号进行通频带8-30Hz带通滤波。

对滤波后的EEG信号，提取实验范式“运动想象提示”出现后的信号段，采用时间窗长1s和80％重叠的滑动窗分割得到运动想象EEG信号片段。如图2a和图2b所示，采用信号采样点去除和信号段去除两种方式，利用高斯分布将含有数据丢失或极大干扰噪声的信号段直接设置为零或NaN值，组成非完整EEG数据集，记为EEG：

EEG＝{eeg^(k)∈R^N×T,k＝1,2,...,K}

其中eeg^(k)为第k个非完整EEG信号矩阵，N为通道数，T为样本采样点数，K为非完整EEG数据集信号矩阵个数。

对非完整EEG数据集采用Lomb-Scargle Periodogram方法提取8-13Hz，13-18Hz，18-23Hz和23-28Hz四种子频带的频带功率谱特征，组成非完整EEG特征样本集，并进行特征归一化处理。Lomb-Scargle Periodogram方法计算过程如下：

其中，eeg(t)是eeg^(k)的单通道信号时间序列，t为信号采样点，ω_f为指定频率，a和b为关于频率ω_f的系数，通过求解最小化问题获得系数的最优解：

其中，

和

则对应于频率ω_f的功率特征P(ω_f)为：

则频带功率谱特征为

其中ω₁和ω_F分别为频带的下截止频率和上截止频率。

非完整EEG特征样本集V为：

其中，V^(k)是第k个非完整EEG信号矩阵eeg^(k)的频带功率谱特征向量，即：

V^(k)＝[P₁₁,P₁₂,P₁₃,P₁₄,P₂₁,P₂₂,P₂₃,P₂₄,…,P_N1,P_N2,P_N3,P_N4]

P_j1，P_j2，P_j3和P_j4分别为4个频带功率谱特征，j＝1,2,...,N，N为通道数。

特征归一化处理过程为：

其中，v_max(m)＝max{V(m)},v_min(m)＝min{V(m)},m∈R^4×N。

利用深度置信网络对非完整EEG特征样本集进行识别分类，解码出不同的运动想象意图。深度置信网络具有深层次的结构，由三层预训练的受限玻尔兹曼机(RBM)堆叠而成，并通过softmax regression层训练整个网络进行回归分类，该深度置信网络的顶层直接输出非完整运动想象脑电所属的类别。

受限玻尔兹曼机由可视层和隐含层构成，可视层神经元为二进制随机单元v∈{0,1}^m，隐含层神经元为二进制随机单元h∈{0,1}ⁿ，可视层和隐含层是全连接的，状态{v,h}的能量函数定义为：

其中{w,b,a}为模型参数；w_ij是可视化层神经元i和隐含层神经元j之间的连接权值；b_i和a_j是偏置项。可视化层神经元和隐含层神经元的联合概率分布定义为：

其中

代表归一化项。

受限玻尔兹曼机的预训练过程为：设定迭代总次数T，随机初始化待训练的参数θ₀＝{w₀,b₀,a₀}，t为当前迭代次数；第一步：将待输入的归一化特征向量赋值给v₀，并利用p(v|h)，p(h|v)反复迭代k次获得h₀，v_k和h_k，v₀表示第0次迭代可视层(输入向量)的各个分量，表示第0次迭代隐含层的各个分量，条件概率计算如下：

其中σ(·)表示logistic sigmoid激活函数；第二步：利用随机梯度下降法和对比散度学习算法获得经过k次吉布斯采样的联合概率分布梯度值，更新待训练的参数θ_t＝{w_t,b_t,a_t}为θ_t+1；第三步：若迭代次数满足t＝T，或者误差值达到一定小的值，则预训练过程结束；否则，将θ_t+1赋值给θ_t，并返回第二步。

softmax regression层训练整个网络进行回归分类，其过程为：第一步：将三层RBM堆叠在一起，即将非完整运动想象脑电功率谱特征样本作为第一层RBM的可视层(输入)，计算得到的输出作为第二层RBM的输入，第二层RBM的输出作为第三层RBM的输入，获得第三层RBM的输出为X_RBM；第二步：将第三层RBM的输出X_RBM输入到softmax regression层，计算该样本所属运动想象类别的概率，根据最大概率准则确定待分类样本类别，并计算所有样本的类别误差；第三步：利用随机梯度下降法和误差反向传播算法训练深度置信网络，微调参数θ_t＝{w_t,b_t,a_t}，得到θ_t+1；第四步：若迭代次数满足t＝T，或者误差值达到一定小的值，则网络训练过程结束；否则，将θ_t+1赋值给θ_t，并返回第一步。

如图3所示为被试非完整运动想象脑电信号在3种方法下的对比识别结果。

Claims (10)

1.一种基于深度置信网络的非完整运动想象脑电解码方法，其特征在于，包括以下步骤：

1)运动想象脑电信号采集：设计不同肢体的运动想象实验范式，采集覆盖全脑区的多通道运动想象脑电信号；

2)信号预处理：利用滤波器对采集到的运动想象脑电信号进行带通滤波；

3)非完整运动想象脑电构造：对滤波后的运动想象脑电信号，提取实验范式提示信息出现后设定时长的信号段，对其做滑动窗分割得到运动想象脑电信号片段，并去除数据丢失或干扰噪声信号段，构造非完整运动想象脑电数据集；

4)特征提取：对非完整运动想象脑电数据集提取频带功率谱特征，组成非完整运动想象脑电特征样本集，并进行特征归一化处理；

5)识别分类：利用深度置信网络对非完整运动想象脑电特征样本集进行识别分类，解码出不同的运动想象意图。

2.根据权利要求1所述的基于深度置信网络的非完整运动想象脑电解码方法，其特征在于，所述步骤1)中不同肢体的运动想象实验范式包括左手、右手和双脚三类肢体的运动想象实验范式。

3.根据权利要求1所述的基于深度置信网络的非完整运动想象脑电解码方法，其特征在于，所述步骤2)中滤波器为五阶巴特沃斯滤波器，增益为1.5。

4.根据权利要求1所述的基于深度置信网络的非完整运动想象脑电解码方法，其特征在于，所述步骤2)中带通滤波为通频带8-30Hz带通滤波。

5.根据权利要求1所述的基于深度置信网络的非完整运动想象脑电解码方法，其特征在于，所述步骤3)中在实验范式提示信息出现后设定时长的信号段上做滑动窗分割，采用时间窗长1s和80％重叠的滑动窗。

6.根据权利要求1所述的基于深度置信网络的非完整运动想象脑电解码方法，其特征在于，所述步骤3)中构造非完整运动想象脑电数据集，采用信号采样点去除和信号段去除两种方式，利用高斯分布将含有数据丢失或干扰噪声大于阈值的信号段直接设置为零或NaN值，组成非完整运动想象脑电数据集，记为EEG：

EEG＝{eeg^(k)∈R^N×T,k＝1,2,...,K}

其中eeg^(k)为第k个非完整运动想象脑电信号矩阵，N为通道数，T为样本采样点数，K为非完整运动想象脑电数据集信号矩阵个数。

7.根据权利要求1所述的基于深度置信网络的非完整运动想象脑电解码方法，其特征在于，所述步骤4)中频带细分为8-13Hz，13-18Hz，18-23Hz和23-28Hz四种子频带。

8.根据权利要求1所述的基于深度置信网络的非完整运动想象脑电解码方法，其特征在于，所述步骤4)中频带功率谱特征，采用Lomb-Scargle Periodogram方法提取，频带功率谱特征为

其中，ω₁和ω_F分别为频带的下截止频率和上截止频率，F表示截止频率上限。

9.根据权利要求1所述的基于深度置信网络的非完整运动想象脑电解码方法，其特征在于，所述步骤5)中深度置信网络具有深层次的结构，由三层预训练的受限玻尔兹曼机RBM顺次堆叠而成，并通过softmax regression层训练整个网络进行回归分类，所述深度置信网络直接输出非完整运动想象脑电所属的类别。

10.根据权利要求9所述的基于深度置信网络的非完整运动想象脑电解码方法，其特征在于，所述softmax regression层训练整个网络进行回归分类，其过程为：

第一步：将三层RBM顺次堆叠在一起，即将归一化后的非完整运动想象脑电功率谱特征样本作为第一层RBM的输入，计算得到的输出作为第二层RBM的输入，第二层RBM的输出作为第三层RBM的输入，通过计算获得第三层RBM的输出为X_RBM；

第二步：将第三层RBM的输出X_RBM输入到softmax regression层，计算该样本所属运动想象类别的概率，根据最大概率准则确定待分类样本类别，并计算所有样本的类别误差；

第三步：利用随机梯度下降法和误差反向传播算法训练深度置信网络，调整参数θ_t，得到更新的参数θ_t+1；

第四步：迭代第三步，若迭代次数满足设定次数，或者误差值达到设定值，则网络训练过程结束；否则，将θ_t+1赋值给θ_t，并返回第一步。

Images