CN109375776B - 基于多任务rnn模型的脑电信号动作意图识别方法 - Google Patents

Abstract

基于多任务RNN模型的脑电信号动作意图识别方法，涉及多任务递归神经网络对脑电信号进行动作意图识别的方法，解决现有技术不能很好的处理信号噪声以及时序信息的缺陷，本发明提出了一种应用多任务递归神经网络，来从脑电信号中学习独特的特征的新框架。通过学习用于人体运动意图识别的分离信号来提高不同脑电信号频带与生物学意义之间的相关性。还利用不同信道之间的时间相关性。以这种方式，实现了二元和多元意图识别的改进。本发明在公开可用的脑电信号基准数据集上进行了广泛的实验，并将我们的方法与许多最先进的算法进行了比较。实验结果表明，本发明提出的方法胜过所有比较方法，达到了准确率97.8％。

Description

基于多任务RNN模型的脑电信号动作意图识别方法

技术领域

本发明涉及多任务递归神经网络对脑电信号进行动作意图识别的方法。

背景技术

人类大脑显然是一个复杂的系统，脑-计算机接口(BCI)可以将神经活动转化为信号，从而研究发现大脑活动和行为之间的相关性。脑电(EEG)信号分析是一种通过BCI获取脑活动的非侵入性技术，可反映受试者执行特定任务时的大脑活动。

大多数基于脑电信号的意图识别工作只是以一个频率表示脑电信号的特征。这样处理对后续的学习模型的效果不利。一个脑电信号段内的信息可以被进一步划分为不同的频率范围，其中每一个频率范围对于特定的脑活动具有不同的相关性等级。特定的频率范围特别与特定的神经元活动相关联。具体而言，大部分神经元活动可由0.5Hz至28Hz范围内的脑电数据反映，其主要分为六个频带：Alpha，Beta1，Beta2，Beta3，Theta和Delta。这些分段脑电信号频带具有独特的生物学意义。例如，Alpha随着闭眼和放松而轻微波动，而Beta波形与运动行为密切相关，在运动期间波形衰减。通过信号分解，瞬态特征可以被准确地捕获并且在相关频率中定位，这有助于更好的增强意图识别的性能。在现有技术中，存在仅用Alpha频段进行意识识别的工作，但只取得了约60％的准确性。通过考虑被隔离频带之间的空间相关性，现有技术也能相对精确识别不同的手部动作。

但是上述技术在以下缺陷：

(1)与其他直接接触神经元的侵入性技术不同，基于脑电信号的BCI系统通过放置在颅骨上的传感器获取信号，从而导致强度变化和信号中的可能有大量噪声。

(2)现有技术忽略了不同波段间的时序性信息，如不同频率范围之间随时间变化的相关性，在意识识别任务中并没有被考虑进来，这样会导致意识行为识别的偏差。也就是说，脑电信号和多种不同意图之间的相关性很难建模，这导致了多意图识别的低性能。

(3)可以观察到，相同的意图可以产生不同形状的脑电信号，导致大的同类变异，大的同类变化可能进一步削弱基于脑电信号的多意图识别的性能。

发明内容

本发明为解决现有技术不能很好的处理信号噪声以及时序信息的缺陷，提供一种基于多任务RNN模型的脑电信号动作意图识别方法。

基于多任务RNN模型的脑电信号动作意图识别方法，该方法由以下步骤实现：

步骤一、采用BCI系统将大脑中神经元活动信号转化为脑电信号，在t时刻的原始脑电信号r采用单维矢量

表示，其中，t∈T，n和T为正整数；

步骤二、对步骤一获得的脑电信号进行分解；具体过程为：

波段筛选：

脑电信号r包含多个时间序列，所述多个时间序列分别对应于各个频段的测量结果，原始脑电信号r被分割成不同的带宽类别C，所述C＝{δ，θ，α，β₁,β₂，β₃}，其中δ，θ，α，β₁,β₂,β₃分别表示不同的频带，在t时刻第i个电极传感器分解的脑电读数R表示为一组子波的线性组合

其中r_t ^α,i,r_t ^β,i，

r_t ^θ，i，r_t ^δ，i分别表示t时刻第i个电极传感器在δ，θ，α，β₁，β₂，β₃频带上的信号；

波段过滤：

采用带通滤波器获得指定频率范围的脑电信号，所述带通滤波器由高通滤波器和低通滤波器组成；高通滤波器传递频率高于某个界限频率的信号，低通滤波器对所述频率高于所述某个界限频率的信号进行衰减，实现全波信号按波段处理；

步骤三、对步骤二过滤后的脑电信号进行多任务学习，即通过建立的多任务脑电模型实现对过滤后脑电信号进行动作意图识别；

具体的多任务脑电模型为：

将每一时刻的LSTM单元定义为R^d中向量的集合，包括输入门I，遗忘门f，输出门o，记忆单元c，以及隐藏层h；LSTM传递公式如下：

I_t＝σ(W_rIr_t+W_hIh_t-1+W_cIc_t-1+b_I)

f_t＝σ(W_rfr_t+W_hfh_t-1+W_cfc_t-1+b_f)

o_t＝σ(W_ror_t+W_hoh_t-1+W_coc_t-1+b_o)

c_t＝f_tc_t-1+I_ttanh(W_rcr_t+W_hch_t-1+b_c)

h_t＝o_ttanh(c_t)

其中，r_t为t时刻的输入，W为权重，b为偏置，σ代表Sigmoid函数，b_I为输入门偏置，b_f为遗忘门偏置，b_o为输出门偏置，b_c为记忆单元偏置，W_rI为输入权重，W_rf为遗忘权重，W_ro为输出权重，W_rc为记忆权重；

采用多LSTM任务机制抽取不同的频域下的脑电波信号的序列特征，LSTM^(m)和LSTM^(v)代表不同任务，分配所述不同频域下的脑电波信号用于捕获特征并且嵌入分解超时的脑电信号，其中m,n＝{m,v∈Z|1≤m,v≤6}，为了捕获分解信号之间的相关性，引入一个共享隐含层LSTM^(s)，所述共享隐含层与指定任务的LSTM单元是全连接的，共享的

的激活函数与基础LSTM相同，而任务

的激活函数为：

在任务

中，为记忆单元提出新的门机制，获取在共享层神经元传递的输出

在t时刻，任务LSTM^(m)的新状态

由如下公式计算：

其中，

为t-1时刻的输出，

为共享层t-1时刻的输出，⊙代表连接操作。

本发明的有益效果：

(1)本发明通过学习用于人体运动意图识别的分离信号来提高不同脑电信号频带与生物学意义之间的相关性。

(2)本发明提出了一种应用多任务递归神经网络，来从脑电信号中学习独特的特征的新框架。更重要的是，所提出的方法不仅学习每个频带，而且还利用不同信道之间的时间相关性。以这种方式，实现了二元和多元意图识别的改进。

(3)本发明在公开可用的脑电信号基准数据集上进行了广泛的实验，并将我们的方法与许多最先进的算法进行了比较。实验结果表明，本发明提出的方法胜过所有比较方法，达到了准确率97.8％。

附图说明

图1为本发明所述的多任务递归神经网络对脑电信号进行动作意图识别的方法的流程图；

图2为本发明所述的多任务递归神经网络对脑电信号进行动作意图识别的方法中脑电信号分解原理图；

图3为本发明所述的多任务递归神经网络对脑电信号进行动作意图识别的方法中多任务学习的原理框图。

具体实施方式

具体实施方式一、结合图1至图3说明本实施方式，基于多任务RNN模型的脑电信号动作意图识别方法，

本实施方式提出了一种新的框架，其中多任务递归神经网络学习分离的脑电信号。由于噪声只能在特定频率上占较大比重，我们首先将脑电信号分解为不同的频率信道，以降低其他频率信号的噪声的干扰。以这种方式，与非分离信号表示方法相比，可以实现更强健的特征学习。

对于每个频带通道而言，具有真实信息的信号将由循环神经网络学习以获得该频带的复杂表示。具体而言，一个特殊类型的循环神经网络(RNN)，长短期记忆网络(LSTM)来从具有不同频带的信号中去伪造一个暂时的特征。

为了克服大的类内变异问题，本实施方式使用共享层来利用具有不同频率的信号的特征之间的时间相关性。所提出的模型不仅能够识别具体的意图，而且能够准确地识别多个运动的意图。

本实施方式的主流程图如图1所示，该方法包括下列步骤：

(1)数据采集：通过使用BCI系统的可穿戴设备将受试者大脑中神经元活动转化为脑电信号。当受试者大脑产生一个动作意向时，来自头皮的电压波动将通过可穿戴设备的多个电极传感器持续捕获。因此，在t时刻的原始脑电信号r采用单维矢量

表示，其中，t∈T，n和T为正整数；

(2)脑电信号分解：

波段筛选：脑电信号记录包含多个时间序列，分别对应于不同频段的测量结果。最显着的特征与不同频率下的不同人类行为相关。信号的频谱图可以用于研究信号的丰富程度，并且可以应用快速傅里叶变换来观察脑电信号的功率。受临床实践中使用的脑电信号的启发，如表1所示，每个频率范围具有独特的生物学意义，并且信号与特定的脑活动有很好的相关性。因此，可以根据病理特征将脑电信号在频率范围0.5Hz到28Hz之间进行量化。原始脑电信号r被分割成不同的带宽类别C，所述C＝{δ,θ,α,β₁,β₂,β₃}，其中δ,θ,α,β₁,β₂,β₃分别表示不同的频带，在t时刻第i个电极传感器分解的脑电读数R表示为一组子波的线性组合

其中r_t ^α,i,r_t ^β,i,

r_t ^θ,i,r_t ^δ,i分别表示t时刻第i个电极传感器在δ,θ,α,β₁,β₂,β₃频带上的信号；如表1所示：

表1脑电信号带宽与脑功能之间的相关性

波段过滤：通过使用滤波器获得指定频率范围的脑电信号。带通滤波器由一个高通滤波器和一个低通滤波器组成。高通滤波器传递频率高于某个界限频率的信号。低通滤波器仅对那些频率高于某个界限频率的信号进行衰减，实现全波信号按波段处理；图2表示出了信号分波段过滤的过程，其中，第一个滤波器的采样输出提供和下一个分解的输入。通过在同一通道同时比较滤波的信号

和原始信号

其中i＝3和t＝180万秒。

(3)多任务学习：对(2)过滤后的脑电信号进行多任务学习，即通过建立的多任务脑电模型实现对过滤后脑电信号进行动作意图识别；

本实施方式设计的LSTM网络通过合并控制功能解决渐失梯度的问题。每一时刻的LSTM单元定义为R^d中向量的集合，包括输入门I，遗忘门f，输出门o，记忆单元c，以及隐藏层h。LSTM传递公式如下：

I_t＝σ(W_rIr_t+W_hIh_t-1+W_cIc_t-₁+b_I)

f_t＝σ(W_rfr_t+W_hfh_t-1+W_cfc_t-1+b_f)

o_t＝σ(W_ror_t+W_hoh_t-1+W_coc_t-1+b_o)

c_t＝f_tc_t-1+I_ttanh(W_rcr_t+W_hch_t-1+b_c)

h_t＝o_ttanh(c_t)

其中，r_t为t时刻的输入，W为权重，b为偏置，σ代表Sigmoid函数，b_I为输入门偏置，b_f为遗忘门偏置，b_o为输出门偏置，b_c为记忆单元偏置，W_rI为输入权重，W_rf为遗忘权重，W_ro为输出权重，W_rc为记忆权重；

采用多LSTM任务机制抽取不同的频域下的脑电波信号的序列特征，LSTM^(m)和LSTM^(v)代表不同任务，分配所述不同频域下的脑电波信号用于捕获特征并且嵌入分解超时的脑电信号，其中m,n＝{m,v∈Z|1≤m，v≤6}，为了捕获分解信号之间的相关性，引入一个共享隐含层LSTM^(s)，所述共享隐含层与指定任务的LSTM单元是全连接的，共享的

的激活函数与基础LSTM相同，而任务

的激活函数为：

在任务

中，为记忆单元提出新的门机制，获取在共享层神经元传递的输出

在t时刻，任务LSTM^(m)的新状态

由如下公式计算：

其中，

为t-1时刻的输出，

为共享层t-1时刻的输出，⊙代表连接操作。

本实施方式如图3所示，其中所述的方法能够提取不同频率的脑电信号，并引入一种新的多任务深度学习模型来学习不同脑电信号型对应的动作意图。通过联合学习不同的脑电信号韵律，提高脑电信号频率与生物学意义之间的相关性，通过嵌入多任务深度学习模型中的共享层实现不同的学习任务，最终达到97.8％的动作意图识别率。

Claims (2)

1.基于多任务RNN模型的脑电信号动作意图识别方法，其特征是，该方法由以下步骤实现：

步骤一、采用BCI系统将大脑中神经元活动信号转化为脑电信号，在t时刻的原始脑电信号r采用单维矢量r_t＝[r_t ¹，r_t ²，...，r_t ⁿ]表示，其中，t∈T，n和T为正整数；

步骤二、对步骤一获得的脑电信号进行分解；具体过程为：

波段筛选：

脑电信号r包含多个时间序列，所述多个时间序列分别对应于各个频段的测量结果，原始脑电信号r被分割成不同的带宽类别C，所述C＝{δ，θ，α，β₁，β₂，β₃}，其中δ，θ，α，β₁，β₂，β₃分别表示不同的频带，在t时刻第i个电极传感器分解的脑电读数R表示为一组子波的线性组合

其中r_t ^α，i，r_t ^β，i，

r_t ^θ，i，r_t ^δ，i分别表示t时刻第i个电极传感器在δ，θ，α，β₁，β₂，β₃频带上的信号；

波段过滤：

采用带通滤波器获得指定频率范围的脑电信号，所述带通滤波器由高通滤波器和低通滤波器组成；高通滤波器传递频率高于某个界限频率的信号，低通滤波器对所述频率高于所述某个界限频率的信号进行衰减，实现全波信号按波段处理；

步骤三、对步骤二过滤后的脑电信号进行多任务学习，即通过建立的多任务脑电模型实现对过滤后脑电信号进行动作意图识别；

具体的多任务脑电模型为：

将每一时刻的LSTM单元定义为R^d中向量的集合，包括输入门I，遗忘门f，输出门o，记忆单元c，以及隐藏层h；LSTM传递公式如下：

h_t＝o_ttanh(c_t)

其中，r_t为t时刻的输入，W为权重，b为偏置，σ代表Sigmoid函数，b_I为输入门偏置，b_f为遗忘门偏置，b_o为输出门偏置，b_c为记忆单元偏置，W_rI为输入权重，W_rf为遗忘权重，W_ro为输出权重，W_rc为记忆权重；

W_hI为隐藏层输入权重；W_hf为隐藏层遗忘权重；W_ho为隐藏层输出权重；W_hc为隐藏层记忆权重；

W_cI为输入门记忆权重；W_cf为遗忘门记忆权重；W_co为输出门记忆权重；

采用多LSTM任务机制抽取不同的频域下的脑电波信号的序列特征，LSTM^(m)和LSTM^(v)代表不同任务，分配所述不同频域下的脑电波信号用于捕获特征并且嵌入分解超时的脑电信号，其中m，v＝{m，v∈Z|1≤m，v≤6}，为了捕获分解信号之间的相关性，引入一个共享隐含层LSTM^(s)，所述共享隐含层与指定任务的LSTM单元是全连接的，共享的

的激活函数与基础LSTM相同，而任务

的激活函数为：

在任务

中，为记忆单元提出新的门机制，获取在共享层神经元传递的输出

为t-1时刻，第i个传感器在记忆单元的输入；在t时刻，任务LSTM^(m)的新状态

由如下公式计算：

其中，

为t-1时刻的输出，

为共享层t-1时刻的输出，⊙代表连接操作，r_t ^c，I为t-1时刻，所有传感器在记忆单元的输入。

2.根据权利要求1所述的基于多任务RNN模型的脑电信号动作意图识别方法，其特征在于，

信号分波段过滤的过程为：第一个滤波器的采样输出提供和下一个分解的输入，通过在同一通道同时比较滤波的和原始信号，实现分波处理，即将全波信号按波段分频段处理。

Images