CN107122050A - 基于csfl‑gdbn的稳态运动视觉诱发电位脑‑机接口方法 - Google Patents

Abstract

基于CSFL‑GDBN的稳态运动视觉诱发电位脑‑机接口方法，先进行硬件连接，再收集带有标签的SSMVEP数据对CSFL‑GDBN进行训练，使其能对SSMVEP信号进行有效分类，CSFL‑GDBN由GRBM和RBM堆叠而成，在其底层的输入数据层对来自不同通道的数据进行多个GRBM训练，提取各通道的信号特征，接下来将提取到的分通道特征在下一层特征融合层进行融合，最后对融合特征再抽象后进行分类，得到SSMVEP的刺激目标信息；本发明能够自动提取信号特征，不易丢失有用信息，多通道融合机制使提取到的特征包含多通道脑电信号中的空间信息，具有识别速度快、识别正确率个体间表现稳定的优点。

Description

基于CSFL-GDBN的稳态运动视觉诱发电位脑-机接口方法

技术领域

本发明涉及脑-机接口技术领域，具体涉及基于CSFL-GDBN(Channel SeparatedFeature Learning Gaussian Deep Belief Networks)的稳态运动视觉诱发电位脑-机接口方法。

背景技术

脑-机接口是在人脑和外界之间建立不依赖于常规大脑信息输出通路的一种人机交互系统。作为人-机接口中的一种，脑-机接口由于不依赖常规的大脑输出通路，为大脑与外界进行信息交流和控制开辟了一条全新的途径，使人能够实现通过大脑直接控制外部设备。由于在游戏娱乐、康复医疗以及航天、军事等领域表现出较大的应用潜力，近年来脑-机接口技术发展非常迅速。

稳态运动视觉诱发电位(Steady-State Motion Visually Evoked Potential,SSMVEP)是大脑视觉系统对外部持续周期性运动视觉刺激的响应，是在脑-机接口系统的常用输入信号——稳态视觉诱发电位(Steady-State Visually Evoked Potential,SSVEP)的基础上进行改进而产生的。相比P300、事件相关同步、自发脑电等信号，SSVEP具有操作简单、记录电极少、训练时间短、信息传输率高及抗干扰能力强等优点，是脑-机接口系统中具有广泛应用前景和应用价值的重要研究范式。SSMVEP对SSVEP易引起使用者疲劳的缺点进行了改进，同时保持了较高的信噪比，在脑-机接口应用中日趋广泛。

基于SSMVEP的脑-机接口通过提取使用者的SSMVEP信息，通过一定的信号处理和模式识别方法将其转换为对外部设备的控制指令，从而实现与外部世界的交互。其中，对采集到的SSMVEP信号进行模式识别得到的正确率的高低是判断脑-机接口性能的关键因素。因此，寻求有效的特征提取及模式识别方法成为脑-机接口系统的一个关键技术点。

目前对于SSMVEP信号的特征提取和模式识别主要采用典型相关分析(CanonicalCorrelation Analysis，CCA)方法。通过将采集信号与标准信号进行相关性分析，与采集信号相关性最强的标准信号即被判断为刺激目标。CCA利用了脑-机接口信号突出的频率特性，具有计算量低，识别正确率高的优点。但同时由于脑-机接口极为复杂，CCA人工设计特征的方法极易丢失信号中的有用特征，导致其分类正确率在个体间表现不稳定，并且需要3-5秒的采集时间才能实现准确分类，限制了基于SSMVEP的脑-机接口技术的进一步发展。

深度学习(Deep Learning，DL)具有强大的处理非线性、非平稳和高维数据的能力，能够自动从原始数据中提取有效信息，在对脑电数据的建模中表现出先天的优势。由受限制玻尔兹曼机(Restricted Boltzmann Machine，RBM)堆叠成的深度置信网络(DeepBelief Nets，DBN)，其主要结构RBM是能够用概率图模型解释的网络模型，因此，DBN是一种善于处理脑电信号等复杂随机性信号的DL模型。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供了基于CSFL-GDBN的稳态运动视觉诱发电位脑-机接口方法，基于高斯型深度置信网络，将不同通道的脑电信号进行分通道特征提取后再融合，在算法最顶层采用Softmax分类层进行分类，获得脑-机接口指令。

为了达到上述目的，本发明采取的技术方案为：

基于CSFL-GDBN的稳态运动视觉诱发电位脑-机接口方法，包括以下步骤：

步骤1)，在受试者头部X的枕区n个位置分别安放测量电极A1、A2、…、An，在受试者头部X的单侧耳垂位置安放参考电极D，在受试者头部X的前额Fpz位置安放地电极E，测量电极A1、A2、…、An的输出端接入采集器F的输入端F1、F2、…、Fn，参考电极D的输出端接入采集器F的输入端F(n+1)，地电极E的输出端接入采集器F的输入端F(n+2)，采集器F的输出端和放大器G的输入端相连，放大器G的输出端与计算机H的输入端相连，计算机H的屏幕进行结果显示；

步骤2)，在计算机H的屏幕上同时显示m个SSMVEP刺激目标，每次显示持续时间为t秒，使用者采用空间选择性方式注视目标；

步骤3)，使用者注视步骤2)中的m个SSMVEP刺激目标的其中之一时，通过采集器F获得脑电信号；使用者在注视m个刺激目标时所产生的脑电信号分别标记为1、2、…、m类，得到带标签的样本数据，每个样本中包含来自n个采样通道的脑电信号；

步骤4)，对步骤3)中采集到的脑电数据进行预处理，数据预处理的具体步骤如下：

4.1)对步骤3)中采集到的脑电数据进行带通滤波，得到滤波后的脑电数据；

4.2)采用Zero-phase Component Analysis(ZCA)白化方法对滤波后的脑电数据进行白化，得到白化后的脑电数据；

4.3)采用Z-score标准化方法对白化后的脑电数据进行标准化，得到标准化后的脑电数据；

步骤5)，将步骤4)所得到的标准化后的脑电数据输入分通道特征学习高斯型深度置信CSFL-GDBN网络，对CSFL-GDBN网络进行预训练，以使CSFL-GDBN网络能够对数据进行初步建模，对CSFL-GDBN网络预训练的具体步骤如下：

5.1)将步骤4)得到的标准化后的脑电数据分通道输入CSFL-GDBN网络，并对分通道特征学习层进行预训练；

分通道特征学习层采用高斯型受限制玻尔兹曼机(Gaussian RestrictedBoltzmann Machine，GRBM)构建，其训练采用Geoffrey Hintion的CD₁方法，包含隐层生成、数据重构、隐层再生成的过程，生成隐层的数学公式如下：

其中：v为采集到的SSMVEP数据；h_j为第j个隐层神经元；p(h_j＝1|v)为在输入向量v的条件下h_j激活的概率；σ为Logistic函数；v_i为第i个可见层神经元的取值；w_ij为第i个可见层神经元与第j个隐藏层神经元之间的连接权值；b_j为第j个隐层神经元的偏置；

用所得到的p(h_j＝1|v)对第j个隐层神经元在0和1之间进行采样，即得到h_j的取值；接下来利用所得到的隐层神经元向量对输入数据进行重构，所用的数学公式如下：

其中：a_i为第i个可见层神经元的偏置；

用所得到的可见层重构数据再次重复隐藏层生成过程，即得到隐藏层数据的重构；在此基础上，使用CD₁对分通道特征学习层的参数进行更新，计算其更新值的数学公式如下：

Δw_ij＝ε[(v_ih_j)_data-(v_ih_j)_recon]

Δa_i＝ε[(v_i)_data-(v_i)_recon]

Δb_j＝ε[(h_j)_data-(h_j)_recon]

其中：下标data表示输入数据或由输入数据生成的隐层神经元取值；下标recon表示重构数据或由重构数据生成并采样得到的隐层神经元的取值；ε为学习率；

用所得到的参数更新值进行参数更新，迭代i₁次后即得到能够对数据进行初步建模的分通道特征学习层；

5.2)将步骤5.1)中分通道特征学习层在预训练后所提取到的特征输入CSFL-GDBN的特征融合层，并对特征融合层进行预训练，使得经分通道提取的特征在特征融合层能够有效融合；

特征融合层及其上的特征隐层均由原始的RBM构建，其更新规则与GRBM相同，只有输入层的重构规则有差别，重构时所用数学公式为：

其中：p(v_i＝1|h)为在隐层向量h的条件下v_i激活的概率；

用所得到的p(v_i＝1|h)对可见层在0和1之间进行采样，得到v_i的取值，采用与GRBM相同的规则对参数进行更新；迭代i₂次后即得到能够对特征进行有效融合的特征融合层；

5.3)在特征融合层之上，堆叠k个原始RBM进行进一步的抽象特征提取，获得SSMVEP中的更高级的信号特征，并对它们进行逐层预训练；

5.4)在k个特征抽象层之上，堆叠Softmax分类层进行SSMVEP信号的分类，并对其进行预训练，Softmax分类采用反向传播算法(Back Propagation，BP)；

步骤6)，将步骤4)中得到的标准化后的脑电数据及其标签输入CSFL-GDBN中，并采用BP对步骤5)中逐层训练后的整个CSFL-GDBN进行训练，迭代j次后得到更擅长SSMVEP分类任务的CSFL-GDBN；

步骤7)，将步骤6)所得到的CSFL-GDBN应用于步骤1)、2)、3)所构建的脑-机接口SSMVEP信号的实时识别，在识别的同时同步进行CSFL-GDBN的训练。

本发明的有益效果为：

本发明针对传统的人工提取特征并识别的方法，如CCA等在识别所需信号时间过长、准确率在个体间差异较大的缺点，将深度学习自动提取特征的思想引入SSMVEP的模式识别中，提出了分通道提取特征再融合的思想，对不同通道中所包含的SSMVEP信号特征提取并融合，得到信号中的空间信息作为分类依据，并基于对随机性、非平稳性信号有较强建模能力的深度置信网络实现该思想。自动提取特征的方法避免了人工提取特征过程中有用信息的丢失，各通道特征融合后所产生的空间特征增加了算法的分类依据，具有信号采样时间短、准确率个体间差异小的优点。显然，显著缩短的信号采样时间，会大大提高人机交互的通讯传输率；再加上在个体间识别准确率的稳定表现，本发明提高了现有脑-机接口技术的可靠性及可行性，进而提高了其交互能力，推进了脑-机接口技术在生物医学、虚拟现实、航天、军事等领域的应用，具有重要的学术理论研究和实际应用价值。

附图说明

图1是本发明硬件连接示意图。

图2是本发明实施例中诱发稳态运动视觉诱发电位的牛顿环刺激及其在显示器上的排布示意图。

图3是本发明CSFL-GDBN的模型结构示意图。

图4是本发明CSFL-GDBN的组成结构之一——Gaussian型受限制波尔兹曼机示意图。

图5是本发明CSFL-GDBN的组成结构之一——原始的受限制波尔兹曼机示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。

基于CSFL-GDBN的稳态运动视觉诱发电位脑-机接口方法，包括以下步骤：

步骤1)，参照图1，在受试者头部X的枕区O1、O2、Oz位置分别安放测量电极A1、A2、A3，在受试者头部X的单侧耳垂位置安放参考电极D，在受试者头部X的前额Fpz位置安放地电极E，测量电极A1、A2、A3的输出端接入脑电采集器F的输入端F1、F2、F3，参考电极D的输出端接入采集器F的输入端F4，地电极E的输出端接入采集器F的输入端F5，采集器F的输出端和放大器G的输入端相连，放大器G的输出端与计算机H的输入端相连，计算机H的屏幕进行结果显示；

步骤2)，参照图2，在计算机屏幕上按照上、下、左、右的位置同时显示4个稳态运动视觉刺激目标，其运动翻转频率分别为8.57Hz、10Hz、12Hz、15Hz，持续时间为2秒；使用者采用空间选择性方式注视目标；

步骤3)，使用者注视步骤2)中的4个SSMVEP刺激目标的其中之一时，通过采集器F获得脑电信号，其采样频率为1200Hz；使用者在注视4个刺激目标时所产生的脑电信号分别标记为1、2、3、4类，得到带标签的样本数据，每个样本中包含来自3个采样通道的脑电信号；

步骤4)，对步骤3)中采集到的脑电数据进行预处理，数据预处理的具体步骤如下：

4.1)对步骤3)中采集到的脑电数据进行2-48Hz的带通滤波，得到滤波后的脑电数据；

4.2)采用Zero-phase Component Analysis(ZCA)白化方法对滤波后的脑电数据进行白化，得到白化后的脑电数据；

4.3)采用Z-score标准化方法对白化后的脑电数据进行保准化，得到标准化后的脑电数据；

步骤5)，将步骤4)所得到的标准化后的脑电数据输入分通道特征学习高斯型深度置信CSFL-GDBN网络，见图3所示，对CSFL-GDBN网络进行预训练，以使CSFL-GDBN网络能够对数据进行初步建模，对CSFL-GDBN网络预训练的具体步骤如下：

5.1)将步骤4)得到的标准化后的脑电数据分通道输入CSFL-GDBN网络，并对分通道特征学习层进行预训练；

分通道特征学习层采用高斯型受限制玻尔兹曼机(Gaussian RestrictedBoltzmann Machine，GRBM)构建，其组成结构如图4所示，其训练采用Geoffrey Hintion的CD₁方法，包含隐层生成、数据重构、隐层再生成的过程，生成隐层的数学公式如下：

其中：v为采集到的SSMVEP数据；h_j为第j个隐层神经元；p(h_j＝1|v)为在输入向量v的条件下h_j激活的概率；σ为Logistic函数；v_i为第i个可见层神经元的取值；w_ij为第i个可见层神经元与第j个隐藏层神经元之间的连接权值；b_j为第j个隐层神经元的偏置；

用所得到的p(h_j＝1|v)对第j个隐层神经元在0和1之间进行采样，即得到h_j的取值；接下来利用所得到的隐层神经元向量对输入数据进行重构，所用的数学公式如下：

其中：a_i为第i个可见层神经元的偏置；

用所得到的可见层重构数据再次重复隐藏层生成过程，得到隐藏层数据的重构；在此基础上，使用CD₁对分通道特征学习层的参数进行更新，计算其更新值的数学公式如下：

Δw_ij＝ε[(v_ih_j)_data-(v_ih_j)_recon]

Δa_i＝ε[(v_i)_data-(v_i)_recon]

Δb_j＝ε[(h_j)_data-(h_j)_recon]

其中：下标data表示输入数据或由输入数据生成的隐层神经元取值；下标recon表示重构数据或由重构数据生成并采样得到的隐层神经元的取值；ε为学习率；

用所得到的参数更新值进行参数更新，迭代100次后，得到能够对数据进行初步有效建模的分通道特征学习层；

5.2)将步骤5.1)中分通道特征学习层在预训练后所提取到的特征输入CSFL-GDBN的特征融合层，并对特征融合层进行预训练，使得经分通道提取的特征在特征融合层能够有效融合；

特征融合层及其上的特征隐层均由原始的RBM构建，组成结构如图5所示，其更新规则与GRBM相比大致相同，只有输入层的重构规则稍有差别，重构时所用数学公式为：

其中：p(v_i＝1|h)为在隐层向量h的条件下v_i激活的概率；

用所得到的p(v_i＝1|h)对可见层在0和1之间进行采样，得到v_i的取值，即可采用与GRBM相同的规则对参数进行更新；迭代100次后，得到能够对特征进行有效融合的特征融合层；

5.3)在特征融合层之上，堆叠1个原始RBM进行进一步的抽象特征提取，获得更SSMVEP中的高级信号特征，并对它们进行逐层预训练；

5.4)在特征抽象层之上，堆叠Softmax分类层进行SSMVEP信号的分类，并对其进行预训练，Softmax分类采用反向传播算法(Back Propagation，BP)；

步骤6)，将步骤4)中得到的标准化后的脑电数据及其标签输入CSFL-GDBN中，并采用BP对步骤5)中逐层训练后的整个CSFL-GDBN进行训练，迭代j次后得到更擅长SSMVEP分类任务的CSFL-GDBN；

步骤7)，将步骤6)所得到的CSFL-GDBN应用于步骤1)、2)、3)所构建的脑-机接口SSMVEP信号的实时识别，在识别的同时同步进行CSFL-GDBN的训练，，达到在使用过程中保证准确率较高的前提下，分类所需信号采样时间降低、分类正确率在个体间表现稳定性增强。最终训练得到的CSFL-GDBN在使用过程中的准确率为80.6％，信号采样时间由CCA的3-5秒缩短为2秒，且识别正确率在个体间差异较小。

Claims (1)

1.基于CSFL-GDBN的稳态运动视觉诱发电位脑-机接口方法，其特征在于，包括以下步骤：

步骤1)，在受试者头部X的枕区n个位置分别安放测量电极A1、A2、…、An，在受试者头部X的单侧耳垂位置安放参考电极D，在受试者头部X的前额Fpz位置安放地电极E，测量电极A1、A2、…、An的输出端接入采集器F的输入端F1、F2、…、Fn，参考电极D的输出端接入采集器F的输入端F(n+1)，地电极E的输出端接入采集器F的输入端F(n+2)，采集器F的输出端和放大器G的输入端相连，放大器G的输出端与计算机H的输入端相连，计算机H的屏幕进行结果显示；

步骤2)，在计算机H的屏幕上同时显示m个SSMVEP刺激目标，每次显示持续时间为t秒，使用者采用空间选择性方式注视目标；

步骤3)，使用者注视步骤2)中的m个SSMVEP刺激目标的其中之一时，通过采集器F获得脑电信号；使用者在注视m个刺激目标时所产生的脑电信号分别标记为1、2、…、m类，得到带标签的样本数据，每个样本中包含来自n个采样通道的脑电信号；

步骤4)，对步骤3)中采集到的脑电数据进行预处理，数据预处理的具体步骤如下：

4.1)对步骤3)中采集到的脑电数据进行带通滤波，得到滤波后的脑电数据；

4.2)采用Zero-phase Component Analysis(ZCA)白化方法对滤波后的脑电数据进行白化，得到白化后的脑电数据；

4.3)采用Z-score标准化方法对白化后的脑电数据进行标准化，得到标准化后的脑电数据；

步骤5)，将步骤4)所得到的标准化后的脑电数据输入分通道特征学习高斯型深度置信CSFL-GDBN网络，对CSFL-GDBN网络进行预训练，以使CSFL-GDBN网络能够对数据进行初步建模，对CSFL-GDBN网络预训练的具体步骤如下：

5.1)将步骤4)得到的标准化后的脑电数据分通道输入CSFL-GDBN网络，并对分通道特征学习层进行预训练；

分通道特征学习层采用高斯型受限制玻尔兹曼机(Gaussian Restricted BoltzmannMachine，GRBM)构建，其训练采用Geoffrey Hintion的CD₁方法，包含隐层生成、数据重构、隐层再生成的过程，生成隐层的数学公式如下：

<mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>h</mi> <mi>j</mi> </msub> <mo>=</mo> <mn>1</mn> <mo>|</mo> <mi>v</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msub> <mi>b</mi> <mi>j</mi> </msub> <mo>+</mo> <munder> <mo>&amp;Sigma;</mo> <mi>i</mi> </munder> <msub> <mi>v</mi> <mi>i</mi> </msub> <msub> <mi>w</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow>

其中：v为采集到的SSMVEP数据；h_j为第j个隐层神经元；p(h_j＝1|v)为在输入向量v的条件下h_j激活的概率；σ为Logistic函数；v_i为第i个可见层神经元的取值；w_ij为第i个可见层神经元与第j个隐藏层神经元之间的连接权值；b_j为第j个隐层神经元的偏置；

用所得到的p(h_j＝1|v)对第j个隐层神经元在0和1之间进行采样，即得到h_j的取值；接下来利用所得到的隐层神经元向量对输入数据进行重构，所用的数学公式如下：

<mrow> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>=</mo> <msub> <mi>a</mi> <mi>i</mi> </msub> <mo>+</mo> <munder> <mo>&amp;Sigma;</mo> <mi>j</mi> </munder> <msub> <mi>h</mi> <mi>j</mi> </msub> <msub> <mi>w</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> </mrow>

其中：a_i为第i个可见层神经元的偏置；

用所得到的可见层重构数据再次重复隐藏层生成过程，即得到隐藏层数据的重构；在此基础上，使用CD₁对分通道特征学习层的参数进行更新，计算其更新值的数学公式如下：

Δw_ij＝ε[(v_ih_j)_data-(v_ih_j)_recon]

Δa_i＝ε[(v_i)_data-(v_i)_recon]

Δb_j＝ε[(h_j)_data-(h_j)_recon]

其中：下标data表示输入数据或由输入数据生成的隐层神经元取值；下标recon表示重构数据或由重构数据生成并采样得到的隐层神经元的取值；ε为学习率；

用所得到的参数更新值进行参数更新，迭代i₁次后即得到能够对数据进行初步建模的分通道特征学习层；

5.2)将步骤5.1)中分通道特征学习层在预训练后所提取到的特征输入CSFL-GDBN的特征融合层，并对特征融合层进行预训练，使得经分通道提取的特征在特征融合层能够有效融合；

特征融合层及其上的特征隐层均由原始的RBM构建，其更新规则与GRBM相同，只有输入层的重构规则有差别，重构时所用数学公式为：

<mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>=</mo> <mn>1</mn> <mo>|</mo> <mi>h</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msub> <mi>a</mi> <mi>i</mi> </msub> <mo>+</mo> <munder> <mo>&amp;Sigma;</mo> <mi>j</mi> </munder> <msub> <mi>h</mi> <mi>j</mi> </msub> <msub> <mi>w</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow>

其中：p(v_i＝1|h)为在隐层向量h的条件下v_i激活的概率；

用所得到的p(v_i＝1|h)对可见层在0和1之间进行采样，得到v_i的取值，采用与GRBM相同的规则对参数进行更新；迭代i₂次后即得到能够对特征进行有效融合的特征融合层；

5.3)在特征融合层之上，堆叠k个原始RBM进行进一步的抽象特征提取，获得SSMVEP中的更高级的信号特征，并对它们进行逐层预训练；

5.4)在k个特征抽象层之上，堆叠Softmax分类层进行SSMVEP信号的分类，并对其进行预训练，Softmax分类采用反向传播算法(Back Propagation，BP)；

步骤6)，将步骤4)中得到的标准化后的脑电数据及其标签输入CSFL-GDBN中，并采用BP对步骤5)中逐层训练后的整个CSFL-GDBN进行训练，迭代j次后得到更擅长SSMVEP分类任务的CSFL-GDBN；

步骤7)，将步骤6)所得到的CSFL-GDBN应用于步骤1)、2)、3)所构建的脑-机接口SSMVEP信号的实时识别，在识别的同时同步进行CSFL-GDBN的训练。