CN107168524B - 一种基于深度学习混合模型的稳态视觉诱发电位分类方法 - Google Patents

Abstract

本发明公开了一种基于深度学习混合模型的稳态视觉诱发电位分类方法，包括步骤：1、采用LCD显示器作为刺激源，确定好闪烁频率，选择采集脑电的电极通道，针对多个不同的被试对象进行实验，采集得到稳态视觉脑电信号数据库；2、基于数据库中的短时间序列脑电信号，训练并确定卷积神经网络模型的参数，完成脑电信号特征的自动提取；3、采用卷积深度学习网络的输出作为玻尔兹曼机网络的输入，针对不同被试者对分类网络模型的参数进行微调，确定玻尔兹曼机网络模型的参数。本发明可以很好地实现脑电信号泛化特征的提取，减少脑电信号畸变对信号分类的影响，能够利用短时间长度的脑电信号来很好地完成信号分类。

Description

一种基于深度学习混合模型的稳态视觉诱发电位分类方法

技术领域

本发明涉及脑机接口的技术领域，尤其是指一种基于深度学习混合模型的稳态视觉诱发电位分类方法。

背景技术

脑机接口是一种将人脑的脑电信号翻译成外部控制信号的系统，为人脑与外界进行信息交流开辟了全新的通路。脑机接口作为一种新型的人机交互方式正在逐渐成为脑科学研究的热门课题，在康复工程、高危作业、心理认知等领域具有很大的应用前途。近年来，随着脑科学、信号处理技术、计算机科学等的发展，脑机接口技术正在快速发展。

根据产生的过程是否需要有外界刺激，脑机接口系统的模式可以分为诱发式脑电和自发式脑电。诱发式脑电信号是借助外部刺激源产生的，视觉诱发电位和时间相关电位都属于这类信号，实验对象只需要经过短期训练就能达到很好的效果。自发式脑电信号是实验对象大脑自发产生的，需要长期的训练才能达到较好的效果，比如心理作业、μ节律等等。基于视觉诱发电位的脑机接口系统研究已经成为脑机领域的热点之一，因为它能够诱发被试对象产生稳定的脑电波形，并且不需要进行复杂长期的脑电训练实验。被试对象受到图像或者光闪烁刺激时，大脑有关区域的脑电信号会发生变化，并且产生的脑电信号与刺激相关。

视觉诱发脑电根据刺激的方式不同，可以分为两类：稳态视觉诱发电位和瞬态视觉诱发电位。基于稳态视觉诱发电位的脑机接口系统于1996年首次被提出来，它具有信噪比高，信息传输率高以及被试对象不需要进行训练就能达到较好的效果等优点，已经成为脑机接口领域一大热点。

由于头皮表层电极采集到的脑电信号极其微弱，一般是十几毫伏，而背景噪声如肌电、自发脑电、工频干扰都要比脑电信号大得多，这样给稳态诱发脑电的分类带来困难。目前针对稳态视觉诱发脑电信号的分类研究算法的困难在于：第一，稳态视觉诱发电位在不同的实验对象之间会有畸变，分类效果因不同对象有差异；第二，主要考虑到信号频率域的特征，特征选择比较单一；第三，用于分类的信号时间长度与分类正确率之间的平衡，往往用于分类的信号时间越长，正确率会更高。

基于多个不同实验对象的稳态视觉诱发脑电数据库，结合信号的时频特征，采用短时间的脑电数据序列，建立脑电信号特征提取模型，针对不同被试者，利用迁移学习的思想对分类网络进行权值微调，提高在较短情况下分类稳态视觉诱发脑电的正确率，是一种可行的分析方法。

发明内容

本发明的目的在于克服现有技术的缺点和不足，提供了一种基于深度学习混合模型的稳态视觉诱发电位分类方法，该分类方法是一种利用不同实验对象的稳态视觉诱发脑电信号来自动提取脑电分类特征的方法，该分类方法减少了在不同对象之间脑电分类的畸变情况，提高了脑电分类正确率，同时实现了在短时间序列的脑电信号下，脑电分类正确率保持较好，这样就减少了测试时的刺激时间。

为实现上述目的，本发明所提供的技术方案为：一种基于深度学习混合模型的稳态视觉诱发电位分类方法，包括以下步骤：

1)脑电信号采集阶段

1.1)采用LCD显示器作为刺激源，确定好闪烁频率；

1.2)选择采集脑电的电极通道，确保分布在脑枕叶后区的电极通道能够采集到良好的脑电信号；

1.3)针对多个不同的被试对象进行实验，采集得到稳态视觉脑电信号数据库；

2)卷积神经网络的特征训练阶段

基于数据库中的短时间序列脑电信号，训练并确定卷积神经网络模型的参数，完成脑电信号特征的自动提取；

3)多通道的限制玻尔兹曼机网络分类阶段

采用卷积深度学习网络的输出作为玻尔兹曼机网络的输入，针对不同被试者对分类网络模型的参数进行微调，确定玻尔兹曼机网络模型的参数。

在步骤1.1)中，闪烁频率的确定表示为：

式中，60hz为液晶显示屏的刷新频率，N为整数，低频范围是6-15hz，所以选择的刺激频率有6.7hz、7.5hz、8.57hz、10hz、12hz。

在步骤1.2)中，选择采集脑电的电极通道，有关电极通道的选择，稳态视觉刺激诱发人脑产生活跃的脑电信号的区域是枕叶后区，电极P7、P3、Pz、P4、P8、O1、Oz、O2大致分布在枕叶后区。

所述步骤2)包括以下步骤过程：

2.1)基于采集到的脑电信号数据库，将短时间序列的脑电数据作为卷积神经网络的输入；

2.2)卷积层设定，设定两层卷积层作为时空滤波器；

2.3)傅里叶变换层的设定，经过时空滤波之后，对得到的特征向量进行傅里叶变换，获取脑电信号的频率高级特征；

2.4)多层神经网络分类，将之前得到的特征向量汇合成一个全连接层，根据设定的代价函数进行网络权值的更新。

在步骤2.1)中，卷积神经网络的输入表示为：

N_elec为脑电信号采集阶段中选定的电极通道数目，N_t为采用的短时间序列的脑电数据点数；并且在网络训练之前，对脑电数据进行归一化处理，使得每个训练样本零均值和标准方差为1。

在步骤2.2)中，卷积层设定如下：

隐层神经元的值，第l层隐层的第m个特征map的第j个神经元的值χ_l,m,j可以求得：

χ_l,m,j＝f(σ_l,m,j)，

式中，l为神经元所在的隐层层数，m为该神经元所在的特征map，j为神经元在map中的位置，同时σ_l.m.j为输入层神经元和连接权值的卷积和；

卷积神经网络前向传播的过程，两层卷积层的激活函数采用ReLU，表达式为：

f(σ)＝max(0,σ)，

式中σ为输入层神经元和连接权值的卷积和。

两层卷积层作为时空滤波层，即第一层L₁卷积层作为空域滤波为：

式中，w_1,m,0为第m个空域卷积核的阈值，w_1,m,i为第m个空域卷积核的第i个权值，0≤i＜N_elec表示为N_elec个电极通道的空间滤波。

第二层L₂卷积层作为时域滤波为：

式中，w_2,m,0为第m个时域卷积核的阈值，w_2,m,i为第m个时域卷积核的第i个权值，N_k表示为时域卷积核的长度，χ_1,m,j-i表示为对L₁层的神经元进行时域卷积。

在步骤2.3)中，傅里叶变换得到的神经元值表示为：

χ_3,m,j＝|Y_m(u)|

式中T是基于时域卷积层的神经元χ_2,m,i进行补零后的脑电数据的长度，本发明中长度为1024；N_t为在时间域上数据长度，N_k为时域卷积核的长度。

在步骤2.4)中，卷积神经网络的代价函数的设定为平方误差代价函数，表示为：

这里

表示第n个样本对象的标签的第k维，

表示第n个样本对应的网络输出的第k个输出；对于多类问题，输出通常组织为“one‐of‐c”的形式，也就是该输入对应的类的输出节点为正，其他类的节点为0或负数，这个取决于输出层的激活函数；

全连接层L₄的设定，基于傅里叶变换层L₃的输出神经元χ_3,i,k表示为：

式子中，w_4,0,j为傅里叶变换层L₃到全连接层之间的偏置，w_4,i,k为傅里叶变换层到全连接层之间的连接权值，N_s为傅里叶变换层L₃得到的特征map个数，N_f为傅里叶变换层L₃得到的特征map长度。

最后一层L₅的设定，全连接层L₄到输出层L₅表示为：

式子中，w_5,0,j为全连接层L₄到输出层L₅之间的偏置，w_5,i为全连接层L₄到输出层L₅之间的连接权值，N_s*N_f为全连接层神经元个数。

在全连接层L₄与输出层L₅过程中，激活函数采用Sigmoid函数，表达式为：

式中σ为输入层神经元和连接权值的卷积和。

所述步骤3)包括以下步骤过程：

3.1)基于卷积神经网络特征提取阶段，卷积网络自动提取的特征矩阵作为多通道限制玻尔兹曼机网络的输入层；

3.2)搭建多通道的玻尔兹曼机网络，进行可见层与隐含层之间的迭代更新训练，直到网络的代价函数符合要求；

3.3)针对不同被试对象的脑电数据，修改可见层与隐含层之间的连接权值，然后将隐含层输出神经元的值进行全连接分类。

在步骤3.1)中，基于卷积神经网络特征提取阶段，对傅里叶变换得到的特征矩阵进行归一化处理，使得每个训练样本零均值和标准方差为1，由于输入的脑电信号特征矩阵为实数值，采用高斯‐限制玻尔兹曼机网络结构，若有N_c个脑电特征向量，那么多通道限制玻尔兹曼机网络由N_c个高斯‐限制玻尔兹曼机构成。

在步骤3.2)中，在多通道限制玻尔兹曼机网络中，由N_c个高斯‐限制玻尔兹曼机网络组成，每一个网络有N_v个实数值可见层神经元，有N_h个隐含层神经元，那么每个网络可见层与隐含层之间的连接权值个数为N_v×N_h，这样N_c个高斯‐玻尔兹曼机网络总共权值个数就为N_c×N_v×N_h，导致网络的参数过多，容易导致过拟合；

在此，多通道限制玻尔兹曼机网络采用“权值共享”的方法，各个高斯‐玻尔兹曼机网络都共享相同的权值矩阵，“权值共享”是基于：稳态视觉脑电信号都源于大脑皮层，这样电极获得的脑电信号应该具有相似的信号模式，相邻的传感器应该获得相似的信号模式；

多通道限制玻尔兹曼机网络需要定义一个能量函数，定义如下：

每个可视节点和隐含节点之间的连接结构都有一个能量，这里的v_ki为第k个高斯‐玻尔兹曼机网络的第i个可视节点，h_kj为第k个高斯‐玻尔兹曼机网络的第j个隐含节点，w_ij为可视节点和隐含节点之间的连接权值，b_j为隐含层的偏值，c_i为可见层的偏值。

根据能量函数，就能够定义一个可视节点和隐含节点的联合概率：

也就是一个可视节点的一组取值和一个隐含节点的一组取值发生的概率p(v,h)是由能量函数来定义的；

根据能量函数和联合概率分布，多通道限制玻尔兹曼机网络的条件概率：

这里的N(μ,γ²)是一个均值为μ和方差为γ²的正态分布，b_j为隐含层的偏值，c_i为可见层的偏值；

多通道的限制玻尔兹曼机网络采用对比散度算法来求解最大似然函数，相比于Gibbs抽样，当使用训练样本初始化v₀的时候，仅需要较少的抽样步数就能够得到足够的近似，其中，多通道限制玻尔兹曼机网络基于对比散度快速学习的主要步骤如下：

①网络的可见层为：v₁,v₂,...,v_m，隐含层为：h₁,h₂,...,h_n，近似权值梯度初始化为：Δw_ij＝0,Δb_j＝0,Δc_i＝0；

②进行k次的Gibbs抽样过程：

③进行权值梯度更新：

Δw_ij←Δw_ij+p(h_i＝1|v⁽⁰⁾)·v_j ⁽⁰⁾-p(h_i＝1|v^(k))·v_j ^(k)

Δb_j←Δb_j+v_j ⁽⁰⁾-v_j ^(k)

Δc_i←Δc_i+p(h_i＝1|v⁽⁰⁾)-p(h_i＝1|v^(k))

多通道限制玻尔兹曼机网络权值参数更新之后公式为：

式子中，E_data表示给定可见层在条件分布p(h|v)下的期望值，E_model表示给定可见层在联合分布p(v,h)下的期望值。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明采用卷积神经网络的方法来实现脑电信号特征自动提取。一方面，基于脑电信号数据库，卷积神经网络经过训练，实现了脑电信号泛化特征的自动提取，减少脑电信号畸变对信号分类的影响；另一方面，卷积网络的输入是短时间序列的信号，实现了采用短时间序列的脑电信号来完成信号分类。

2、本发明混合了两种深度学习网络结构。卷积神经网络实现提取脑电信号的特征，采用两层时空卷积层可以很好地保留信号的频域特征，且采用傅里叶变换层对信号的频域特征进行了提取。多通道限制玻尔兹曼机网络基于可见层与隐含层能量模型，能够很好地对非线性可分特征进行分类，针对不同被试对象训练得到分类网络的权值。因此将两种深度学习方法结合，能够很好地提高在短时间序列脑电信号下脑电分类正确率。

附图说明

图1为本发明的工作流程示意图。

图2为本发明的脑电电极分布图。

图3为本发明的视觉刺激界面示意图。

图4为卷积神经网络提取特征的结构。

图5为多通道限制玻尔兹曼机网络结构。

图6为卷积神经网络和多通道限制玻尔兹曼机网络混合深度模型。

具体实施方式

下面结合具体实施例对本发明做进一步的说明。

参见图1所示，本实施例所述的基于深度学习混合模型的稳态视觉诱发脑电分类方法，包括如下步骤：

1)在脑电信号采集阶段

1.1)采用LCD显示器作为刺激源，确定好闪烁频率；

1.2)选择采集脑电的电极通道，确保分布在脑枕叶后区的电极通道可以采集到良好的脑电信号；

1.3)针对多个不同的被试对象进行实验，采集得到稳态视觉脑电信号数据库；

2)卷积神经网络的特征训练阶段

2.1)基于采集到的脑电信号数据库，将短时间序列的脑电数据作为卷积神经网络的输入；

2.2)卷积层的设定，设定两层卷积层作为时空滤波器；

2.3)傅里叶变换层的设定，经过时空滤波之后，对得到的特征向量进行傅里叶变换，获取脑电信号的频率高级特征；

2.4)多层神经网络分类，将傅里叶变换层得到的特征向量汇合成一个全连接层，根据设定的代价函数进行网络权值的更新；

3)多通道的限制玻尔兹曼机网络分类阶段

3.1)基于卷积神经网络特征提取阶段，卷积网络的特征矩阵作为多通道限制玻尔兹曼机网络的输入层；

3.2)搭建多通道的玻尔兹曼机网络，进行可见层与隐含层之间的迭代更新训练，直到网络的代价函数符合要求；

3.3)针对不同被试对象的脑电数据，修改可见层与隐含层之间的连接权值，然后将隐含层输出神经元的值进行全连接分类。

进一步地，在脑电信号采集阶段通过如下的技术方案实现：

S11、视觉刺激器的设计。采用LCD显示器作为刺激器的系统，如图3所示为LCD刺激界面，闪烁频率选择低频范围；

S12、被试对象的准备工作。被试对象实验前先确保精神状态良好，视力正常或经矫正好视力正常，保持头皮干爽。

S13、选择采集脑电的电极通道，电极分布图如图2所示，确保分布在脑枕叶后区的电极通道可以采集到良好的脑电信号。

S14、针对多个不同的被试对象进行以上步骤，采集得到稳态视觉电位数据。

在步骤S11中，闪烁频率的确定表示为：

式中，60hz为液晶显示器的刷新频率，N为整数，低频范围是6‐15hz，所以选择的刺激频率有6.7hz、7.5hz、8.57hz、10hz、12hz。

以上所述步骤S13中选择采集脑电的电极通道，有关电极通道的选择，人脑稳态视觉刺激诱发脑电信号活跃的区域是枕叶后区。本发明采用的脑电采集系统是美国Neuroscan公司研制的SynAmps2放大器、SCAN4.5分析软件和32导电极帽，如附图2所示，电极P7、P3、Pz、P4、P8、O1、Oz、O2大致分布在枕叶后区。

在卷积神经网络的特征训练阶段，如图4所示通过如下的技术方案实现：

S21、基于采集到的脑电信号数据库，将短时间序列的脑电数据作为卷积神经网络的输入；

S22、卷积层设定，设定两层卷积层作为时空滤波器；

S23、经过时空滤波之后，对得到的向量进行傅里叶变换，获取脑电信号的频率高级特征；

S23、多层神经网络分类，将之前得到的特征向量汇合成一个全连接层，根据设定的代价函数进行网络权值的更新。

其中，卷积神经网络的输入表示为：

N_elec为脑电信号采集阶段中选定的电极通道数目，N_t为采用的短时间序列脑电数据点数；在网络训练之前，需要对脑电数据进行归一化处理，使得每个训练样本零均值和标准方差为1。

进一步地隐层神经元的值，第l层隐层的第m个特征map的第j个神经元的值χ_l,m,j可以求得：

χ_l,m,j＝f(σ_l,m,j)，

式中，l为神经元所在的隐层层数，m为该神经元所在的特征map，j为神经元在map中的位置，同时σ_l.m.j为输入层神经元和连接权值的卷积和；

卷积神经网络前向传播的过程，两层卷积层的激活函数采用ReLU，表达式为：

f(σ)＝max(0,σ)，

式中σ为输入层神经元和连接权值的卷积和。

在全连接层过程中，激活函数采用Sigmoid函数，表达式为：

式中σ为输入层神经元和连接权值的卷积和。

两层卷积层作为时空滤波层，即第一层L₁卷积层作为空域滤波为：

式中，w_1,m,0为第m个空域卷积map的阈值，w_1,m,i为第m个空域卷积核的第i个权值，0≤i＜N_elec表示为N_elec个电极通道的空间滤波。

第二层L₂卷积层作为时域滤波为：

式中，w_2,m,0为第m个时域卷积核的阈值，w_2,m,i为第m个时域卷积核的第i个权值，N_k表示为时域卷积核的长度。

在步骤2.3)中，傅里叶变换层L₃得到的神经元值表示为：

χ_3,m,u＝|Y_m(u)|，

式中T是基于χ_2,m,i进行补零后脑电数据的长度1024，N_t为在时间域上数据长度，N_k为时间卷积核的长度。

全连接层L₄的设定，基于傅里叶变换层L₃的输出神经元χ_3,i,k表示为：

式子中，w_4,0,j为傅里叶变换层L₃到全连接层之间的偏置，w_4,i,k为傅里叶变换层到全连接层之间的连接权值，N_s为傅里叶变换层L₃得到的特征map个数，N_f为傅里叶变换层L₃得到的特征map长度。

最后一层L₅的设定，全连接层L₄到输出层L₅表示为：

式子中，w_5,0,j为全连接层L₄到输出层L₅之间的偏置，w_5,i为全连接层L₄到输出层L₅之间的连接权值，N_s*N_f为全连接层神经元个数。

卷积神经网络的代价函数的设定为平方误差代价函数，表示为：

这里

表示第n个样本对象的标签的第k维，

表示第n个样本对应的网络输出的第k个输出；对于多类问题，输出通常组织为“one‐of‐c”的形式，也就是该输入对应的类的输出节点为正，其他类的节点为0或负数，这个取决于输出层的激活函数；

卷积神经网络反向传播的过程，输出层到全连接层为：

δ_5,j＝(o(j)-χ_5,j)f'(χ_5,j)，

式中，o(j)为输出层第j个神经元的期望值，χ_5,j为输出层L₅第j个神经元实际值；

卷积层的反向传播表示为：

N_out是第L层每个特征map神经元的个数。

傅里叶层的反向传播，即做傅里叶逆变换表示为：

δ_2,m,j＝|z_m(u)|，

在步骤2.4)中，卷积神经网络中，卷积核权值的更新表示为：

Δw_l,m,i＝γδ_l+1,m,jχ_l,m,i，

式中，w_l,m,j为n(l,m,j)和n(l+1,m,j)之间的连接权值，γ为学习率；

其中学习率γ表示为：

这里

是输入n(l,m,j)的数量，λ是一个常数。

在多通道的限制玻尔兹曼机网络分类阶段，如图5所示通过如下技术方案实现：

S31、基于卷积神经网络特征提取阶段，卷积网络的特征矩阵作为多通道限制玻尔兹曼机网络的输入层；

S32、搭建多通道的玻尔兹曼机网络，进行可见层与隐含层之间的迭代更新训练，直到网络的代价函数符合要求；

S33、针对不同被试对象的脑电数据，修改可见层与隐含层之间的连接权值，然后将隐含层输出神经元的值进行全连接分类。

进一步地，基于卷积神经网络特征提取阶段，对傅里叶变换层得到的特征矩阵进行归一化处理。由于输入的脑电信号特征矩阵为实数值，采用高斯‐限制玻尔兹曼机网络结构，若有N_c个脑电特征向量，那么多通道限制玻尔兹曼机网络由N_c个高斯‐限制玻尔兹曼机构成。

在多通道限制玻尔兹曼机网络中，由N_c个高斯‐限制玻尔兹曼机网络组成，每一个网络有N_v个实数值可见层神经元，有N_h个隐含层神经元，那么每个网络可见层与隐含层之间的连接权值个数为N_v×N_h，这样N_c个高斯‐玻尔兹曼机网络总共权值个数就为N_c×N_v×N_h，导致网络的参数过多，容易导致过拟合。

在此，多通道限制玻尔兹曼机网络采用“权值共享”的方法，各个高斯‐玻尔兹曼机网络都共享相同的权值矩阵，“权值共享”是基于：稳态视觉脑电信号都源于大脑皮层，这样电极获得的脑电信号应该具有相似的信号模式，相邻的传感器应该获得相似的信号模式；

多通道限制玻尔兹曼机网络需要定义一个能量函数，定义如下：

每个可视节点和隐含节点之间的连接结构都有一个能量，这里的v_ki为第k个高斯‐玻尔兹曼机网络的第i个可视节点，h_kj为第k个高斯‐玻尔兹曼机网络的第j个隐含节点，w_ij为可视节点和隐含节点之间的连接权值，b_j为隐含层的偏值，c_i为可见层的偏值。

根据能量函数，就可以定义一个可视节点和隐含节点的联合概率：

也就是一个可视节点的一组取值(一个状态)和一个隐含节点的一组取值(一个状态)发生的概率p(v,h)是由能量函数来定义的。

根据能量函数和联合概率分布，多通道限制玻尔兹曼机网络的条件概率：

这里的N(μ,γ²)是一个均值为μ和方差为γ²的正态分布，b_j为隐含层的偏值，c_i为可见层的偏值；

多通道的限制玻尔兹曼机网络利用Gibbs抽样的方法来求解最大似然函数，基于限制玻尔兹曼机网络的堆成结构，以及其中节点的条件独立，我们可以使用Gibbs抽样方法得到服从限制玻尔兹曼机定义的分布随机样本。在限制玻尔兹曼机网络中进行k步Gibbs抽样的具体算法为：用一个训练样本初始化可视节点的状态v₀,交替进行下面的抽样：

h₀～P(h|v₀)，v₁～P(v|h₀)，

h₁～P(h|v₁)，v₂～P(v|h₁)，

...，v_k+1～P(v|h_k).

多通道的限制玻尔兹曼机网络采用对比散度算法，相比于Gibbs抽样，当使用训练样本初始化v₀的时候，仅需要较少的抽样步数就可以得到足够好的近似了。下面给出多通道限制玻尔兹曼机网络基于对比散度快速学习的主要步骤：

①网络的可见层为：v₁,v₂,...,v_m，隐含层为：h₁,h₂,...,h_n，近似权值梯度初始化为：Δw_ij＝0,Δb_j＝0,Δc_i＝0；

②进行k次的Gibbs抽样过程：

③进行权值梯度更新：

Δw_ij←Δw_ij+p(h_i＝1|v⁽⁰⁾)·v_j ⁽⁰⁾-p(h_i＝1|v^(k))·v_j ^(k)

Δb_j←Δb_j+v_j ⁽⁰⁾-v_j ^(k)

Δc_i←Δc_i+p(h_i＝1|v⁽⁰⁾)-p(h_i＝1|v^(k))

多通道限制玻尔兹曼机网络权值参数更新之后公式为：

式子中，E_data表示给定可见层在条件分布p(h|v)下的期望值，E_model表示给定可见层在联合分布p(v,h)下的期望值。

综上所述，本发明是一种结合卷积神经网络和多通道限制玻尔兹曼机网络的深度学习混合模型(参见图6所示)来实现稳态视觉脑电分类的方法，脑电信号自动提取特征的过程由卷积神经网络来完成，信号分类的过程由多通道限制玻尔兹曼机网络来完成。在卷积神经网络自动提取特征的阶段，基于不同实验对象的脑电信号数据库，完成短时间序列的脑电信号特征提取，实现稳态视觉脑电特征的泛化提取过程。在脑电信号分类的阶段，采用多通道限制玻尔兹曼机网络，基于能量函数将非线性可分的脑电特征进行分类，采用了对比散度的方法完成网络权值梯度的更新。本发明可以用于在短时间序列的脑电信号的情况下，针对不同被试对象，能够很好地进行稳态视觉脑电信号的分类，对基于稳态视觉电位的脑机接口系统研究有很重要的意义，值得推广。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (9)

1.一种基于深度学习混合模型的稳态视觉诱发电位分类方法，其特征在于，包括以下步骤：

1)脑电信号采集阶段

1.1)采用LCD显示器作为刺激源，确定好闪烁频率；

1.2)脑电通道的选择，采用分布在脑枕叶后区的电极通道；

1.3)进行不同被试对象的实验，采集并建立稳态视觉脑电信号数据库；

2)卷积神经网络的特征训练阶段

基于数据库的短时间序列脑电信号，训练并确定卷积神经网络模型的参数，完成脑电信号特征的自动提取；包括以下步骤过程，

2.1)基于采集到的脑电信号数据库，将短时间序列的脑电数据作为卷积神经网络的输入；

2.2)卷积层设定，设定两层卷积层作为时空滤波器；

2.3)傅里叶变换层的设定，经过时空滤波之后，对得到的特征向量进行傅里叶变换，获取脑电信号的频率高级特征；

2.4)多层神经网络分类，将之前得到的特征向量汇合成一个全连接层，根据设定的代价函数进行网络权值的更新；

3)多通道的限制玻尔兹曼机网络分类阶段

采用卷积神经网络的特征矩阵作为玻尔兹曼机网络的输入，基于能量函数建立多通道限制玻尔兹曼机网络模型，针对不同被试者的脑电信号对分类网络进行训练并确定模型的权值。

2.根据权利要求1所述的一种基于深度学习混合模型的稳态视觉诱发电位分类方法，其特征在于，在步骤1.1)中，闪烁频率的确定表示为：

式中，60hz为液晶显示屏的刷新频率，N为整数，低频范围是6-15hz，所以选择的刺激频率有6.7hz、7.5hz、8.57hz、10hz、12hz。

3.根据权利要求1所述的一种基于深度学习混合模型的稳态视觉诱发电位分类方法，其特征在于：在步骤1.2)中，选择采集脑电的电极通道，有关电极通道的选择，稳态视觉刺激诱发人脑产生活跃的脑电信号的区域是枕叶后区，电极P7、P3、Pz、P4、P8、O1、Oz、O2大致分布在枕叶后区。

4.根据权利要求1所述的一种基于深度学习混合模型的稳态视觉诱发电位分类方法，其特征在于：在步骤2.1)中，卷积神经网络的输入表示为：

N_elec为脑电信号采集阶段中选定的电极通道数目，N_t为采用的短时间序列脑电数据点数；在网络训练之前，需要对脑电数据进行归一化处理，使得每个训练样本零均值和标准方差为1。

5.根据权利要求1所述的一种基于深度学习混合模型的稳态视觉诱发电位分类方法，其特征在于，在步骤2.2)中，卷积层设定如下：

隐层神经元的值，第l层隐层的第m个特征map的第j个神经元的值χ_l,m,j可以求得：

χ_l,m,j＝f(σ_l,m,j)

式中，l为神经元所在的隐层层数，m为该神经元所在的特征map，j为神经元在map中的位置，同时σ_l.m.j为输入层神经元和连接权值的卷积和；

卷积神经网络前向传播的过程，两层卷积层的激活函数采用ReLU，表达式为：

f(σ)＝max(0,σ)

式中σ为输入层神经元和连接权值的卷积和；

两层卷积层作为时空滤波层，即第一层L₁卷积层作为空域滤波为：

式中，w_1,m,0为第m个空域卷积核的阈值，w_1,m,i为第m个空域卷积核的第i个权值，0≤i＜N_elec表示为N_elec个电极通道的空间滤波；

第二层L₂卷积层作为时域滤波为：

式中，w_2,m,0为第m个时域卷积核的阈值，w_2,m,i为第m个时域卷积核的第i个权值，N_k表示为时域卷积核的长度，χ_1,m,j-i表示为对L₁层的神经元进行时域卷积。

6.根据权利要求1所述的一种基于深度学习混合模型的稳态视觉诱发电位分类方法，其特征在于，在步骤2.3)中，傅里叶变换层L₃得到的神经元值表示为：

χ_3,m,j＝|Y_m(u)|

式中T是基于时域卷积层的神经元χ_2,m,i进行补零后的脑电数据的长度，N_t为在时间域上数据长度，N_k为时域卷积核的长度。

7.根据权利要求1所述的一种基于深度学习混合模型的稳态视觉诱发电位分类方法，其特征在于，在步骤2.4)中，卷积神经网络的代价函数的设定为期望平方误差代价函数，表示为：

这里

表示第n个样本对象标签的第k维，

表示第n个样本对应的网络输出的第k个输出；对于多类问题，输出通常组织为“one-of-c”的形式，也就是该输入对应的类的输出节点为正，其他类的节点为0或负数，这个取决于输出层的激活函数；

全连接层L₄的设定，基于傅里叶变换层L₃的输出神经元χ_3,i,k表示为：

式子中，w_4,0,j为傅里叶变换层L₃到全连接层之间的偏置，w_4,i,k为傅里叶变换层到全连接层之间的连接权值，N_s为傅里叶变换层L₃得到的特征map个数，N_f为傅里叶变换层L₃得到的特征map长度；

最后一层L₅的设定，全连接层L₄到输出层L₅表示为：

式子中，w_5,0,j为全连接层L₄到输出层L₅之间的偏置，w_5,i为全连接层L₄到输出层L₅之间的连接权值，N_s*N_f为全连接层神经元个数；

在全连接层L₄与输出层L₅过程中，激活函数采用Sigmoid函数，表达式为：

式中σ为输入层神经元和连接权值的卷积和。

8.根据权利要求1所述的一种基于深度学习混合模型的稳态视觉诱发电位分类方法，其特征在于，所述步骤3)包括以下步骤过程：

3.1)基于卷积神经网络特征提取阶段，卷积网络的特征矩阵作为多通道限制玻尔兹曼机网络的输入层；

3.2)搭建多通道的玻尔兹曼机网络，进行可见层与隐含层之间的迭代更新训练，直到网络的代价函数符合要求；

3.3)针对不同被试对象的脑电数据，修改可见层与隐含层之间的连接权值，对隐含层输出神经元的值进行全连接分类。

9.根据权利要求8所述的一种基于深度学习混合模型的稳态视觉诱发电位分类方法，其特征在于：在步骤3.1)中，基于卷积神经网络特征提取阶段，对傅里叶变换层得到的特征矩阵进行归一化处理，使得网络输入零均值和标准方差为1，由于输入的脑电信号特征矩阵为实数值，采用高斯-限制玻尔兹曼机网络结构，若有N_c个脑电特征向量，那么多通道限制玻尔兹曼机网络由N_c个高斯-限制玻尔兹曼机构成；

在步骤3.2)中，在多通道限制玻尔兹曼机网络中，由N_c个高斯-限制玻尔兹曼机网络组成，每一个网络有N_v个实数值可见层神经元，有N_h个隐含层神经元，那么每个网络可见层与隐含层之间的连接权值个数为N_v×N_h，这样N_c个高斯-玻尔兹曼机网络总共权值个数就为N_c×N_v×N_h，导致网络的参数过多，容易导致过拟合；

在此，多通道限制玻尔兹曼机网络采用“权值共享”的方法，各个高斯-玻尔兹曼机网络都共享相同的权值矩阵，“权值共享”是基于：稳态视觉脑电信号都源于大脑皮层，这样电极获得的脑电信号应该具有相似的信号模式，相邻的传感器应该获得相似的信号模式；

多通道限制玻尔兹曼机网络需要定义一个能量函数，定义如下：

每个可视节点和隐含节点之间的连接结构都有一个能量，这里的v_ki为第k个高斯-玻尔兹曼机网络的第i个可视节点，h_kj为第k个高斯-玻尔兹曼机网络的第j个隐含节点，w_ij为可视节点和隐含节点之间的连接权值，b_j为隐含层的偏值，c_i为可见层的偏值；

根据能量函数，就能够定义一个可视节点和隐含节点的联合概率：

也就是一个可视节点的一组取值和一个隐含节点的一组取值发生的概率p(v,h)是由能量函数来定义的；

根据能量函数和联合概率分布，多通道限制玻尔兹曼机网络的条件概率：

这里的N(μ,γ²)是一个均值为μ和方差为γ²的正态分布，b_j为隐含层的偏值，c_i为可见层的偏值；

多通道的限制玻尔兹曼机网络采用对比散度算法来求解最大似然函数，相比于Gibbs抽样，当使用训练样本初始化v₀的时候，仅需要较少的抽样步数就能够得到足够的近似，其中，多通道限制玻尔兹曼机网络基于对比散度快速学习的主要步骤如下：

①网络的可见层为：v₁,v₂,...,v_m，隐含层为：h₁,h₂,...,h_n，近似权值梯度初始化为：Δw_ij＝0,Δb_j＝0,Δc_i＝0；

②进行k次的Gibbs抽样过程：

③进行权值梯度更新：

Δb_j←Δb_j+v_j ⁽⁰⁾-v_j ^(k)

Δc_i←Δc_i+p(h_i＝1|v⁽⁰⁾)-p(h_i＝1|v^(k))

多通道限制玻尔兹曼机网络权值参数更新之后公式为：

式子中，E_data表示给定可见层在条件分布p(h|v)下的期望值，E_model表示给定可见层在联合分布p(v,h)下的期望值。

Images