CN109948427A - 一种基于长短时记忆模型的意念识别方法 - Google Patents

Abstract

本发明提供一种基于长短时记忆模型的意念识别方法，包括如下步骤：获取脑电信号数据；提取脑电信号的数据特征；对提取到的数据特征进行分类学习，完成网络模型的搭建；评估搭建的网络模型的性能。利用LSTM网络模型提取脑电信号特征，再将此特征通过GB分类器进行分类处理，得到网络模型的性能评估。实验结果表明，本发明方法能够将深度学习中LSTM算法与传统的GB分类器相结合，在成功分类出所有的脑电信号样本下，也为后续脑电分类识别研究提供一个新的方向。

Description

一种基于长短时记忆模型的意念识别方法

技术领域

本发明涉及人工智能中的BCI相关技术领域，具体涉及一种基于长短时记忆模型的意念识别方法。

背景技术

BCI是脑机接口英文单词的缩写，其中，“机”不仅仅代表着计算机，从广义上来讲，一切有计算处理能力的机器都可以是“机”，简言之，BCI就是一种通过电极或其他手段(近红外、功能性磁共振等)来获取大脑神经活动的信息，再通过“机”的处理，转换成相应的控制指令进而控制其他设备的通信手段。

随着美国于2013年提出Brain Initiative计划后，世界各国开始大面积开展脑科学研究计划，中国也于2016迅速加入时代洪流，制定了十五年(2016年-2030年)一体两翼的中国脑计划，其中的一个“飞机翅膀”就是研究脑机智能系统。

随着科技的发展，基于BCI系统的研究已经受到了国内外诸多学者的关注，同时也取得一定的研究成果。真正意义上的BCI是凭借大脑思维想象便可以进行通信的系统，因此基于运动想象的BCI系统成为当下最流行的研究范式之一。大脑的想象可以激发运动皮层脑电节律变化，通过采集这些电信号，再利用信号处理技术便得到相应的控制指令。

根据脑电信号采集方式不同，脑电信号的类型也不同，一般分为侵入式和非侵入式两种采集方式，其中皮质脑电图(Electrocorticography，ECoG)作为一种典型的侵入式脑电信号，因其具有较高的分辨率、较宽的带宽和较高的振幅成为BCI系统的研究内容之一。

目前对脑电信号的分类算法研究多采用传统的算法进行分析，如支持向量机(Support Vector Machine，SVM)、自回归(Adaptive autoregressive，AR)模型、线性判别式分析(Linear Discriminant Analysis，LDA)以及共空间模式(Commonspatial pattern，CSP)等。然而脑电信号是一个复杂的非平稳非线性时序信号，上述的算法基本上是在基于单一的时域、频域或者空间域上进行分析的，同时，传统的算法在对脑电信号进行特征提取时多需要大量的、复杂的、枯燥的特征的设计工程。作为基于运动想象的BCI系统的核心，脑电信号的分类识别已经成为了制约BCI系统发展的瓶颈，迫切需要更加准确、更加快速、更加简单的算法来实现。

得益于人工智能的发展，人们构建了一种可以不需要设计特征就可以自动学习数据的特征，即深度学习算法，其中，循环神经网络(Recurrent Neural Networks，RNN)作为深度学习中一种重要的算法，在处理时序信息上有着天然的优点，其按时间顺序展开的训练方式，可以提取出脑电信号中可能隐含的时序特征信息。然而普通的RNN网络在学习过程中很容易发生梯度消失或者爆破的现象。

长短时记忆神经网络(Long Short-Term Memory，LSTM)，已经在文本处理，机器翻译和对话生成中有着很好的应用。

梯度提升(Gradient Boosting，GB)算法是在消除先验知识影响的同时，找到一种比随机猜想略好的弱分类器，将其提升为强分类器的方法，其中，强分类器是指分类算法能区分一组样本且准确率较高的分类算法，与之相反，若是识别准确率低于1/2，与随机猜想效果略好，则称为弱分类器。

因为在神经网络中，其权值是很难得训练的，模型的复杂会导致网络泛化能力降低，模型的简单则又会导致学不到特征，取二者合适的阈值往往是需要大量的、枯燥的调参工作，甚至最终的分类结果也不尽人意，因此需要一种效率更高的算法对提取的特征进行处理。

本发明提供一种将采用LSTM进行脑电数据的特征提取，再利用GB分类器将所提取到的特征映射到输出结果上，进而实现脑电信号分类的方法以期达到更好的效果。

发明内容

本发明针对传统的算法对脑电信号处理基本上是在基于单一的时域、频域或者空间域上进行分析的，同时，在对脑电信号进行特征提取时多需要大量的、复杂的、枯燥的特征的设计工程的问题，本发明提供一种LSTM模型进行脑电信号特征的提取，再利用GB分类器将所提取到的特征映射到输出结果上，进而实现脑电信号分类的方法。

本发明的技术方案是：

一种基于长短时记忆模型的意念识别方法，包括如下步骤：

提取脑电信号的数据特征；

对提取到的数据特征进行分类学习，完成网络模型的搭建；

评估搭建的网络模型的性能。

优选地，获取脑电信号数据，包括：

通过侵入式方法采集了被试者运动想象脑电信号数据，其中，侵入式方法包括：

被试者大脑右半球运动皮层表面放置一个铂电极，被试者根据提示重复想象设定的运动，并记录数据。

优选地，提取脑电信号的数据特征，包括：

定义LSTM的网络结构，进行脑电信号的特征提取，其中，在LSTM中分别设置输入门、遗忘门和输出门三个门机制结合使用一个sigmoid神经网络和一个按位做乘法的操作，实现网络有效的保存长时记忆的能力。由于脑电波采集过程中的时间间隔和铂电极放置位置的变化，甚至是被试者轻微的生理变化都会影响到信号采集的正确性，因此加大了算法的处理难度。而LSTM通过添加门机制和记忆单元可以很好的控制训练过程中的网络权重变化，同时，可以处理和预测时间序列中间隔和延迟相对较长的重要事件。

优选地，提取脑电信号的数据特征，具体包括：

遗忘门根据输入x_t和隐藏层h_t-1的状态决定要被遗忘的部分记忆，用数学表示为：

f_t＝sigmoid(W_f·[h_t-1,x_t]+b_f)

其中，sigmoid函数为常见的S型函数，其数学表达式为

输入门，用于将遗忘门决定忘掉部分记忆后，根据输入x_t和隐藏层h_t-1的状态从当前的输入补充最新的记忆加入单元状态中，对输入的数据处理由两个部分组成，如下：

i_t＝sigmoid(W_i·[h_t-1,x_t]+b_i)

其中，tanh为双曲正切函数，其数学表达式为h_t-1为上一时刻隐藏层的状态，可以理解为待候选记忆单元，遗忘门和输入门的结果都会作用于C_t，进而完成控制参数的更新：

其中，*为点乘操作。

输出门，用于在得到新的单元状态更新值C_t后，产生当前时刻的输出；输出门根据最新状态C_t、上一时刻的输出h_t-1和当前时刻的输入x_t来决定该时刻的输出h_t：

o_t＝sigmoid(W_o·[h_t-1,x_t]+b_o)

h_t＝o_t*tanh(C_t)

其中，W_f、W_i、W_C、W_o和b_i、b_C、b_o、b_f均分别是LSTM网络中权值矩阵和偏差向量，且初始化均为0。

优选地，为了提取出更有效的脑电信号特征，LSTM的最终输出h_t加一层全连接层对数据进行加权操作，具体包括：

若h＝[h₁,h₂,...h_n]^T为LSTM最终的输出值，经过全连接网络的隐藏层后可得到线性的输出向量为U＝[u₁,u₂,...u_m]^T，用公式表示如下：

U＝W_u*h+b_u

其中，W_u为当前全连接层网络的一个m*n的权值矩阵，m和n均为某一个正整数，b_u为偏置向量，且b_u＝[b_u0,b_u1,...b_um]^T。

优选地，对提取到的数据特征进行分类学习，完成网络模型的搭建，针对提取到的特征数据进行正确的分类是很重要的，没有哪种算法是适用于各种情况的，对于本发明所采用的脑电信号而言，其可训练的样本数目太少，利用LSTM构建的分类器直接对目标进行分类，其效果并不好，所以本方案采用GB算法对LSTM提取的脑电信号特征进行分类，若u_i表示LSTM提取的特征数据，y_i表示标签，GB分类器的初始值设定为F₀＝0，对数回归模型为：

则经过M次迭代后的分类器F_m将不断更新：

将普通最小二乘法(Ordinary Least Square，OLS)回归作为最小化损失函数进行GB算法运算。

优选地，衡量一个模型学习性能的好坏，常常使用一个损失函数来进行，损失是指预测的标签和真实的标签之间的差异，因此，损失越小，表示误差越小，模型的学习效果或者预测的准确性就越高。本实验将采用传统的GB分类器对LSTM所提取的特征进行分类，GB算法每一次模型的建立都是在之前建立损失函数的梯度下降方向上建立起来的，换句话，就是在梯度的方向上让损失下降，若损失在下降，则说明模型在改进，网络在学习。

将普通最小二乘法(Ordinary Least Square，OLS)回归作为最小化损失函数，对于m＝1:M，基于OLS回归的GB算法过程如下：

S31：在梯度下降的方向计算损失函数：

S32：利用OLS选择出最适合弱分类器f_m的梯度：

S33：计算弱分类器的权重：

S34：每一步乘以一个小数值ε，缩小γ_m值，迭代获得一个强的分类器：

F_m＝F_m-1+εγ_mf_m

S35：得到新的对数回归值：

优选地，评估搭建的网络模型的性能，包括：

将测试集特征输入GB分类器中进行标签的预测，并将预测出的标签与真实的标签对比，得到模型的准确率，其计算分类的准确率公式如下：

从以上技术方案可以看出，本发明具有以下优点：获取脑电信号数据，利用LSTM网络模型提取脑电信号特征，再将此特征通过GB分类器进行分类处理，得到网络模型的性能评估。实验结果表明，本发明方法能够将深度学习中LSTM算法与传统的GB分类器相结合，在成功分类出所有的脑电信号样本下，也为后续脑电分类识别研究提供一个新的方向。

此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。

由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。

附图说明

图1为本发明的整体设计框图；

图2为BCI系统中的脑电信号采集的设备的简图；

图3为LSTM的单元细节图，其中输入为c_t-1、h_t-1、x_t，输出为C_t、h_t；

图4为一个全连接层的结构简图；

图5为LSTM提取的特征在GB上最终分类的准确率图。

具体实施方式

下面结合附图并通过具体实施例对本发明进行详细阐述，以下实施例是对本发明的解释，而本发明并不局限于以下实施方式。

实施例一

如图1所示，本发明实施例提供一种基于长短时记忆模型的意念识别方法，包括如下步骤：

S1：获取脑电信号数据并生成数据集；

S2：提取脑电信号的数据特征；

本实施例中，通过LSTM提取出采集的脑电信号的数据特征，在LSTM中分别设置输入门、遗忘门和输出门三个门机制结合使用一个sigmoid神经网络和一个按位做乘法的操作，实现网络有效的保存长时记忆的能力；

S3：对提取到的数据特征进行分类学习，完成网络模型的搭建；

本步骤中，采用传统的GB分类器对LSTM所提取的特征进行分类，GB算法每一次模型的建立都是在之前建立损失函数的梯度下降方向上建立起来的，换句话，就是在梯度的方向上让损失下降，若损失在下降，则说明模型在改进，网络在学习；

S4：评估搭建的网络模型的性能；

需要说明的是，通过LSTM提取出测试集的数据特征，将其输入GB分类器中进行标签的预测，并将预测出的标签与真实的标签对比，得到模型的准确率评估整个网络设计的性能。其中，分类准确率的计算如下：

实施例二

本发明实施例提供的一种基于长短时记忆模型的意念识别方法，包括如下步骤：

S1：获取脑电信号数据；

本实施例中，获取脑电信号数据，直接采用国际BCI Competition III竞赛数据库中的数据集I，数据I属于基于运动想象的ECoG数据，在患者大脑右半球运动皮层表面放置一个8×8cm，规格为8×8的网格状铂电极，如图2所示，通过64个数据信道来记录ECoG数据。在实验中，受试者想象伸舌头和左小指两类运动，整个实验数据集均采集于同样的受试者和相同的任务，其中采集训练集和测试集之间相隔了一周的时间，共采集278组训练数据和100组测试数据，其采样的频率为1000Hz。

S2：提取脑电信号的数据特征；

需要说明的是，本实施例中，通过LSTM提取出采集的脑电信号的数据特征，LSTM是一种循环神经网络，由于其独特的设计结构，适合于处理和预测时间序列中间隔和延迟非常长的重要事件。其引入门机制和单元来实现对过去的记忆，其中，所谓的“门”机制就是结合使用一个sigmoid神经网络和一个按位做乘法的操作，激活函数sigmoid可以将输出映射到0和1之间，其中，1表示输入信息可以全部通过，0表示输入信息全部丢失，类似于门的开与关。

本实施例中，在LSTM中分别设置了输入门、遗忘门和输出门三个门机制来实现网络有效的保存长时记忆的能力，图3为LSTM的单元细节图，具体的，对于第t时刻网络的输入x_t，若上一时刻的隐藏层状态为h_t-1，LSTM每个“门”的定义如下：

首先是遗忘门，遗忘门可以根据输入x_t和隐藏层h_t-1的状态决定哪一部分记忆需要被遗忘，用数学表示为：

f_t＝sigmoid(W_f·[h_t-1,x_t]+b_f)

其中，sigmoid函数为一种常见S型函数，其数学表达式为

其次是输入门，网络忘记了部分之前的状态后，还需要从当前的输入补充最新的记忆，此时输入门会根据输入x_t和隐藏层h_t-1的状态决定哪些信息加入单元状态中，对输入的数据处理由两个部分组成，如下：

i_t＝sigmoid(W_i·[h_t-1,x_t]+b_i)

其中，tanh为双曲正切函数，其数学表达式为可以理解为待候选记忆单元，前面的遗忘门和输入门的结果都会作用于C_t，进而完成控制参数的更新：

其中，*为点乘操作。

最后是输出门，得到新的单元状态更新值C_t后，需要产生当前时刻的输出，输出门会根据最新状态C_t、上一时刻的输出h_t-1和当前时刻的输入x_t来决定该时刻的输出h_t：

o_t＝sigmoid(W_o·[h_t-1,x_t]+b_o)

h_t＝o_t*tanh(C_t)

上述是LSTM的前向传播的简单梳理，其中，W_f、W_i、W_C、W_o和b_i、b_C、b_o、b_f均分别是LSTM网络中权值矩阵和偏差向量，且初始化均为0。

如图4所示，进一步需要说明的是，对于LSTM的最终输出h_t，可以加一层简单的全连接层对数据进行加权操作，以期提取出更有效的脑电信号特征。

若h＝[h₁,h₂,...h_n]^T为LSTM最终的输出值，如图4所示，其经过全连接网络的隐藏层后可得到线性的输出向量为U＝[u₁,u₂,...u_m]^T，用公式表示如下：

U＝W_u*h+b_u

其中，W_u为当前全连接层网络的一个m*n的权值矩阵，m和n均为某一个正整数，b_u为偏置向量，且b_u＝[b_u0,b_u1,...b_um]^T。

S3：将LSTM提取到的脑电特征输入GB网络中进行训练：

本实验采用GB算法对LSTM提取的脑电信号特征进行分类，GB算法每一次模型的建立都是在之前建立损失函数的梯度下降方向上建立起来的，简单而言，就是在梯度的方向上让损失下降，损失在下降，则表明模型在改进。

若u_i表示LSTM模型所提取的特征数据，y_i表示标签，GB分类器的初始值设定为F₀＝0，对数回归模型为：

则经过M次迭代后的分类器F_m将不断更新：

然后，将普通最小二乘法(Ordinary Least Square，OLS)回归作为最小化损失函数，对于m＝1:M，基于OLS回归的GB算法其过程如下：

S31：在梯度下降的方向计算损失函数：

S32：利用OLS选择出最适合弱分类器f_m的梯度：

S33：计算弱分类器的权重：

S34：每一步乘以一个小数值ε，缩小γ_m值，迭代获得一个强的分类器：

F_m＝F_m-1+εγ_mf_m

S35：得到新的对数回归值：

S4：将测试集特征输入GB分类器中进行标签的预测，并将预测出的标签与真实的标签对比，得到模型的准确率：

为了评估模型的性能，将测试集体征输入GB分类器中进行分裂预测，再将其与正确的标签对比，其计算分类的准确率公式如下：

如图所示5，其中通过GB分类器后，最终的分类精度可达100％，完美的预测出所有样本的类别。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种基于长短时记忆模型的意念识别方法，其特征在于，包括如下步骤：

提取脑电信号的数据特征；

对提取到的数据特征进行分类学习，完成网络模型的搭建；

评估搭建的网络模型的性能。

2.根据权利要求1所述的一种基于长短时记忆模型的意念识别方法，其特征在于，提取脑电信号的数据特征之前，包括：

获取脑电信号数据。

3.根据权利要求2所述的一种基于长短时记忆模型的意念识别方法，其特征在于，提取脑电信号的数据特征，包括：

定义LSTM的网络结构，进行脑电信号的特征提取，其中，在LSTM中分别设置输入门、遗忘门和输出门三个门机制结合使用一个sigmoid神经网络和一个按位做乘法的操作，实现网络有效的保存长时记忆的能力。

4.根据权利要求3所述的一种基于长短时记忆模型的意念识别方法，其特征在于，提取脑电信号的数据特征，具体包括：

遗忘门根据输入x_t和隐藏层h_t-1的状态决定要被遗忘的部分记忆，用数学表示为：

f_t＝sigmoid(W_f·[h_t-1,x_t]+b_f)

其中，sigmoid函数为常见的S型函数，其数学表达式为

输入门，用于将遗忘门决定忘掉部分记忆后，根据输入x_t和隐藏层h_t-1的状态从当前的输入补充最新的记忆加入单元状态中，对输入的数据处理由两个部分组成，如下：

i_t＝sigmoid(W_i·[h_t-1,x_t]+b_i)

其中，tanh为双曲正切函数，其数学表达式为h_t-1为上一时刻隐藏层的状态，可以理解为待候选记忆单元，遗忘门和输入门的结果都会作用于C_t，进而完成控制参数的更新：

其中，*为点乘操作。

输出门，用于在得到新的单元状态更新值C_t后，产生当前时刻的输出；输出门根据最新状态C_t、上一时刻的输出h_t-1和当前时刻的输入x_t来决定该时刻的输出h_t：

o_t＝sigmoid(W_o·[h_t-1,x_t]+b_o)

h_t＝o_t*tanh(C_t)

其中，W_f、W_i、W_C、W_o和b_i、b_C、b_o、b_f均分别是LSTM网络中权值矩阵和偏差向量，且初始化均为0。

5.根据权利要求4所述的一种基于长短时记忆模型的意念识别方法，其特征在于，LSTM的最终输出h_t加一层全连接层对数据进行加权操作，具体包括：

若h＝[h₁,h₂,...h_n]^T为LSTM最终的输出值，经过全连接网络的隐藏层后可得到线性的输出向量为U＝[u₁,u₂,...u_m]^T，用公式表示如下：

U＝W_u*h+b_u

其中，W_u为当前全连接层网络的一个m*n的权值矩阵，m和n均为某一个正整数，b_u为偏置向量，且b_u＝[b_u0,b_u1,...b_um]^T。

6.根据权利要求5所述的一种基于长短时记忆模型的意念识别方法，其特征在于，对提取到的数据特征进行分类学习，完成网络模型的搭建，包括：

采用GB算法对LSTM提取的脑电信号特征进行分类，若u_i表示LSTM提取的特征数据，y_i表示标签，GB分类器的初始值设定为F₀＝0，对数回归模型为：

则经过M次迭代后的分类器F_m将不断更新：

将OLS回归作为最小化损失函数进行GB算法运算。

7.根据权利要求6所述的一种基于长短时记忆模型的意念识别方法，其特征在于，将OLS回归作为最小化损失函数，对于m＝1:M，基于OLS回归的GB算法过程如下：

S31：在梯度下降的方向计算损失函数：

S32：利用OLS选择出最适合弱分类器f_m的梯度：

S33：计算弱分类器的权重：

S34：每一步乘以一个小数值ε，缩小γ_m值，迭代获得一个强的分类器：

F_m＝F_m-1+εγ_mf_m

S35：得到新的对数回归值：

8.根据权利要求6所述的一种基于长短时记忆模型的意念识别方法，其特征在于，评估搭建的网络模型的性能，包括：

将测试集特征输入GB分类器中进行标签的预测，并将预测出的标签与真实的标签对比，得到模型的准确率，其计算分类的准确率公式如下：