CN108776788A - 一种基于脑电波的识别方法 - Google Patents

Abstract

本发明公开了一种基于脑电波的识别方法，属于生物识别技术邻域。本发明基于深度学习框架直接实现用原始脑电波信号与用户匹配，并且同时也实现了对用户动作的脑电信号识别，去除了现有的信号做预处理和特征提取，极大的简化了以往的脑电波身份认证模型；同时采用切割后的脑电波信号作为模型输入，降低了数据输入模型的深度和维度。由于脑电波信号是不稳定信号，为了降低由于不稳定的脑电波信号对算法性能的不良影响，选用自适应力矩估计优化算法作为优化算法。深度学习框架中引入循环神经网络中的长短期记忆模型实现用户关联匹配，采用卷积神经网络模型实现脑电波的动作分类。本发明在保证识别准确率的前提下极大的降低了脑电认证的计算复杂度。

Description

一种基于脑电波的识别方法

技术领域

本发明涉及生物识别认证与人工智能的技术领域，具体涉及一种基于脑电波识别认证的实现方法。

背景技术

随着社会的发展，人类活动也越来越多元化、智能化，与此同时，信息泄露、身份伪造等事件频频出现，从而准确无误的识别认证显得尤为重要。传统的身份验证技术，如使用访问码、密码或者IC(集成电路)卡，虽然不一定能获取更可靠的人类生物特性，但由于丢失、伪造、偷窃或妥协，使得身份验证易受影响。作为可利用的生物识别技术已经广泛应用于信息系统或者网络环境，包括指纹、人脸(光学和红外)、虹膜、DNA、按键输入模式甚至步态等。然而这些技术仅有有限的处理能力。例如，研究已经表明，用凝胶做成的假手指能很容易的骗过指纹识别认证系统。蜡烛雕刻的隐形眼镜上的错误虹膜特征也能轻易完成虹膜验证。有时为了获取用户的生物特征，甚至可以违法从人体上直接获得。

在科学领域，备受关注的基于脑电波(EEG)的生物识别系统，是一个可靠的、不易窃取且和人类的大脑密切相关的生物信号。一方面，EEG是一种由大脑产生的自发的电信号并记录到人脑的头皮里。因为每一个个体都拥有独一无二的脑部结构，应用到每个人身上是不同的。另一方面，EEG信号不仅依赖DNA，而且依赖他们的生活经历，这样脑电信号EEG更加具有独特性，因此基于此EEG的生物识别系统会更加可靠。

目前，常见的基于脑电波的生物识别系统包括EEG获取模块、EEG预处理模块、特征提取模块、识别模型训练模块和EGG匹配模块，其中EEG获取模块用于采集EEG信号并送入EEG预处理模块，进行过滤、标准差处理及噪点去除处理等；再通过特征提取模块过对预处理后的EEG信号进行特征提取，主要是进行时、频域转换后，提取对应的复合特征，再送入识别模型训练模块完成识别模型的训练，再基于训练好的模型，在EGG匹配模块中实时完成对待识别的EEG信号匹配识别处理。

由于现有的生物识别系统在学习识别处理时，采用的是一般的机器学习分类算法，这就使得在进行信号处理时，必须提取信号的时域和频域的特征，否则会由于信号维度太高，现有的生物识别系统所采用的机器学习分类算法不能进行训练。

此外，现有的基于脑电波的生物识别系统对EEG信号的采集还存在诸多限制，例如局限于简单的采集背景，忽略大脑休息状态、以及排除生理变化所引起的信号变化，其识别的稳健型和识别处理的复杂度有待于提高。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种通过深度学习法实现基于脑电波的识别方法，在保证识别准确率的前提下降低现有基于脑电波的生物识别技术的识别处理复杂度。

本发明的基于脑电波的识别方法，包括下列步骤：

构建能进行身份认证和动作分类识别的脑电波识别模型，所述脑电波识别模型包括用于身份认证的长短期记忆LSTM网络结构，和用于动作分类识别的卷积神经CNN网络结构，其中LSTM网络结构为：5层LSTM网络，每层512个神经元节点，输出为1个全连接层；CNN网络结构为：5层网络，每层包含2个卷积层和1个池化层，其中每个卷积层接1个ReLU(RectifiedLinear Units)激活函数，卷积核大小为3*3，滑动步长为1；池化层的池化核大小为2*2，滑动步长为1，池化方式为最大值池化；最后输出为1个全连接层；

采集脑电波信号，对所述脑电波识别模型进行模型训练：

将电极设置在人脑头皮上采集脑电波信号，包括用户在不同动作、不同情感下的脑电波数据，用k表示采集通道数，即信号的维数，用L表示采集的时间长度，m表示每个用户的采集次数，则每次采集到的脑电波信号的维度为k×L；

对每个用户每次采集到的脑电波信号进行两种方式的分割，第一分割方式为：按采集传感器通道进行切割；第二分割方式为：按采集时间序列进行切割；并将按照第一分割方式得到的数据作为CNN网络结构的训练数据，将按照第二分割方式得到的数据作为LSTM网络结构的训练数据；

基于采集到的分割后的训练数据分别对脑电波识别模型的CNN网络结构、LSTM网络结构进行深度学习模型训练，得到训练好的脑电波识别模型；

采集待识别对象的脑电波信号，同样的采集m次脑电波信号，每次的脑电波信号的维度为k×L，并分别采用第一、第二分割方式进行分割，并将第一分割方式的结果作为训练好的脑电波识别模型的CNN网络结构的输入，将第二分割方式的结果作为训练好的脑电波识别模型的LSTM网络结构的输入；

基于CNN网络结构的输出得到待识别对象的身份认证的识别结果，基于LSTM网络结构的输出得到待识别对象的动作分类识别结果。

综上所述，由于采用了上述技术方案，本发明的有益效果是：基于本发明所构建的深度神经网络进行训练，从而使得可以用原始的脑电信号进行训练分类器，极大的简化了以往的脑电认证方式，避免了以往的信号预处理和特征提取的过程；并且使用原始信号进行分类训练可以最大化的代表个体的生物信息，不存在特征提取而带来的信息损失问题，而且本发明所提供的学习框架运行效果稳定可靠。

附图说明

图1是本发明提出的一种基于脑电波识别认证方法的处理过程示意图。

图2是本发明模型的算法模型示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

实施例

基于惯用的深度学习框架构建满足认证需求的脑电波识别认证模型，其中，对于身份认证识别，则采用循环神经网络(RNN)中的长短期记忆(LSTM，Long Short-TermMemory)网络模型构建本发明的脑电波识别认证模型，其中所采用的LSTM的网络结构为：5层LSTM网络，每层512个神经元节点，输出为1个全连接层(Softmax层)；

而对于用户动作分类识别(例如睁眼和闭眼，张开和握紧拳头，伸直和收缩双腿等)，则采用卷积神经(CNN)网络模型构建本发明的脑电波识别认证模型。其中所采用的CNN的网络结构为：5层网络，每层包含2个卷积层，每个卷积层接1个ReLU(Recitified LinearUnit)激活函数，卷积核(filter)大小为3*3，滑动步长(stride)为1，每层网络包含1个池化层，池化核大小为2*2，滑动步长为1，池化方式为最大值池化，最后输出为1个全连接层(Softmax)。

将本发明的基于脑电波的识别方法用于对脑电波信号的分类(人体在不同状态下的脑电波信号分类)处理中，来具体说明本发明的实现过程，参见图1，其具体包括下列步骤：

步骤101、脑电波信号获取。

将电极放置在人脑头皮上采集脑电波信号，包括用户在不同动作、不同情感下的脑电波数据。

用k表示采集的信号的维数(即采集通道，本具体实施方式中，采用的优选值为64)，用L表示采集的时间长度(本具体实施方式中，采用的优选值为9600)；

每个用户采集m(本具体实施方式中，采用的优选值为14)次，每次采集为一次task，每一个task就由k×L矩阵构成。

步骤102、切割脑电波信号。

采用不同的切割方式，对每一个任务(task)的脑电波数据进行分割，分成一个个子序列，如图2所示，图中的表示对应不同切割方式后得到的子序列，k表示切割后对应的行，L表示切割后对应的列，即不同的切割方式主要指保持task的行或列进行矩阵块分割。S＝{s₁,s₂,…,s_n}表示n个对象(用户)的脑电波信号，A＝{a₁,a₂,…,a_q}表示每个对象的q个不同类别的动作，例如睁眼、闭眼；张开和握紧左拳或右拳，想象张开和握紧左拳或右拳，伸直和收缩双腿或者张开和握紧双拳，想象伸直和收缩双腿或者张开和握紧双拳等不同类别的动作。

具体的，当进行动作分类识别处理时，则采用横向的切割(即采集传感器通道的切割，使用的脑电采集点越少)，这样采集的时间越长，可以更好的提取出动作对脑电信号的影响，更好的对动作进行识别；而当进行身份认证的识别处理时，则采用纵向的切割(即采集时间序列上的切割，使用的时间序列越短，但是信号源的采集点没变)，这样保证获取到全部脑电采集点传感器通道的信号，更多地识别出个体间的差异性，并更好地进行身份认证。

步骤103、制作训练集和测试集。

将切割后的数据进行随机等分，一份用于训练脑电波识别认证模型(深度学习框架)，一份用于对训练后的脑电波识别认证模型的测试。

步骤104、将训练数据输入到构建好的脑电波识别认证模型进行模型参数训练，包括为训练数据设置类别标签，前向传播，获得卷积神经网络模型输出的类别标签；反向传播:计算前向传播输出的类别标签与训练样本实际类别标签的之间的损失函数值，将损失函数值按极小化误差的方法反向传播来调整卷积层的权值矩阵，从而得到训练好的卷积神经网络模型，即训练好的脑电波识别认证模型(包括LSTM的网络模型和CNN的网络网络模型)，简称ESML模型。

用训练好的脑电波识别认证模型测试测试集的数据。

步骤105、使用测试集来测试训练好的脑电波识别认证模型，分类结果即为对应全连接层(Softmax分类器)的输出。

步骤106、输出对测试样本的识别结果。

本发明的识别方法虽简单但有效。其去除了现有基于脑电波的生物识别技术中的信号预处理过程和特征提取，采用基于LSTM神经网络来预测EEG和用户的关联，实现用户身份认证。除此之外，为了基于脑电波信号的任务分类，也构建了一个CNN模型来理解刺激后的脑电波信号。从而尽量消除现有方式中对EGG信号采集的诸多限制，以使得获取EEG信号更加具有一般化。

本实施例中，测试了对不同类型的EEG信号模型的稳健性，包括视觉刺激脑电波、行为刺激脑电波、以及其他情绪的脑电波反应，所有测试呈现了相似的结果。

在多组公共EEG数据上进行实验，对109个人的大数据集得到高达96％的准确率。实验结果是稳定的，没有上下波动，也不存在突发因素。

表1

表1为本发明的ESML与其他现有的三种方式(SVM表示支持向量机，LDA(LinearDiscriminant Analysis)表示线性判别式分析，NN表示原始的神经网络)在三个数据集(RSVP、Stemberg Task、BCI2000)上性能比较，其中涉及的性能为：准确率(Precision)，召回率(Recall)，F1值(F1-Measure，准确率和召回率的调和均值)。本发明的ESML比基准表现性更好。当在三个数据集上收集EEG时，对每个主体任务数量的不同会导致在性能方面存在很大的差异。对于BCI2000数据集，ESML可达到96％的高精确度。

在横向分割包含完整任务信息的任务上，采用一维卷积神经网络。本发明的模型在分为三个动作分类和五个动作分类表现性能都相对不错(如表2所示)。

表2

本发明中，对于身份认证，使用没有任何预处理和特征提取的原始EEG信号呈现了一个新颖的深度学习基础框架，其分别由基于LSTM模型的EEG用户关联(EUL)和基于CNN模型的EEG任务分类组成。不同与已有的识别技术，当收集EEG时，ESML对受试者的思维和动作不会做出任何限制。在三个公共数据集上，与用户关联和任务分类的之前研究相比，ESML的表现性最好，并在性能方面有显著的提高。

综上，本发明实施例的有益效果是，极大的简化了以往的脑电认证方式，直接将原始脑电信号进行身份认证和动作分类，避免了以往的信号预处理和特征提取的过程，并且本框架的实验效果稳定可靠，在109人的大数据集的实验上达到了96％的高准确率，在动作分类的效果上同样达到了高达98％的准确率。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (2)

1.一种基于脑电波的识别方法，其特征在于，包括下列步骤：

构建能进行身份认证和动作分类识别的脑电波识别模型，所述脑电波识别模型包括用于身份认证的长短期记忆LSTM网络结构，和用于动作分类识别的卷积神经CNN网络结构，其中LSTM网络结构为：5层LSTM网络，每层512个神经元节点，输出为1个全连接层；CNN网络结构为：5层网络，每层网络包含2个卷积层和1个池化层，其中每个卷积层接1个ReLU激活函数，卷积核大小为3*3，滑动步长为1；池化层的池化核大小为2*2，滑动步长为1，池化方式为最大值池化；最后输出为1个全连接层；

采集脑电波信号，对所述脑电波识别模型进行模型训练：

将电极设置在人脑头皮上采集脑电波信号，包括用户在不同动作、不同情感下的脑电波数据，用k表示采集通道数，即信号的维数，用L表示采集的时间长度，m表示每个用户的采集次数，则每次采集到的脑电波信号的维度为k×L；

对每个用户每次采集到的脑电波信号进行两种方式的分割，第一分割方式为：按采集传感器通道进行切割；第二分割方式为：按采集时间序列进行切割；并将按照第一分割方式得到的数据作为CNN网络结构的训练数据，将按照第二分割方式得到的数据作为LSTM网络结构的训练数据；

基于采集到的分割后的训练数据分别对脑电波识别模型的CNN网络结构、LSTM网络结构进行深度学习模型训练，得到训练好的脑电波识别模型；

采集待识别对象的脑电波信号，采集m次脑电波信号，每次的脑电波信号的维度为k×L，并分别采用第一、第二分割方式进行分割，并将第一分割方式的结果作为训练好的脑电波识别模型的CNN网络结构的输入，将第二分割方式的结果作为训练好的脑电波识别模型的LSTM网络结构的输入；

基于CNN网络结构的输出得到待识别对象的身份认证的识别结果，基于LSTM网络结构的输出得到待识别对象的动作分类识别结果。

2.如权利要求1所述的方法，其特征在于，参数m、k、L的优选取值分别为：14，64，9600。