CN110151203B - 基于多级雪崩式卷积递归网络eeg分析的疲劳驾驶识别方法 - Google Patents

Abstract

本发明公开了一种基于多级雪崩式卷积递归网络EEG分析的疲劳驾驶识别方法，具体步骤为将一维EEG序列转换为二维EEG网格；创建包含空间信息和时间信息的3D数据架构；提取每个数据网格的空间特征；将提取的空间特征后的序列馈送到RNN中以提取时间特征；一个完全连接层接收RNN层的最后一个时间步的输出；馈送到softmax层进行处理；判定是否疲劳驾驶。本发明大大降低了采集数据时的困难度，提高模型对疲劳驾驶状态的识别性能；实验装备脑‑计算机接口(BCI)使用户能够直接与外界通信或仅使用大脑意图来控制仪器，进而进行数据采集与分析作出判断。

Description

基于多级雪崩式卷积递归网络EEG分析的疲劳驾驶识别方法

技术领域

本发明涉及一种利用多个电极的脑-计算机接口(BCI)头戴装置获取通过头部皮肤记录的脑电图，实现EEG数据采集，进而来分析疲劳驾驶情况。

背景技术

随着经济的发展，私家车不断普及。由此也带来了一系列的隐患例如疲劳驾驶。近几年由疲劳驾驶所引起的交通事故占总交通事故的比率不断攀升，高达35％～45％。疲劳驾驶作为现代生活中交通事故主要发生原因之一，引起了越来越多人的关注。因此，实时监控驾驶人员的疲劳情况可以有效减少交通事故的发生。

脑电波是大脑皮层神经细胞集群活动所产生的电生理信号，脑电波信号直接反应驾驶员的疲劳驾驶情况，所以通过收集脑电波信号来检测驾驶员疲劳被认为是最准确客观的分析方法。该发明则是基于脑电图(EEG)的多级并行的雪崩卷积递归神经网络脑机接口(BCI)的疲劳驾驶分析。

EEG的BCI系统对外界环境及自身生理活动有很大的局限性。首先，在EEG信号收集过程中，易受噪音的影响，对EEG信号会造成很大损伤，被测试者的肌肉活动和心跳等生理活动也会对收集高信噪比的EEG信号造成影响，不利于EEG信号的收集。其次，基于EEG的脑-计算机(BCI)接口通常有8～128个信号通道，与图像视频相比，分辨率极其有限。

发明专利CN105595997 A“一种基于台阶式疲劳判定的疲劳驾驶脑电监测方法”，其公开了一种基于台阶式疲劳判定的疲劳驾驶脑电监测方法，包括步骤：一、设备连接及参数初始化；二、脑电波信号采集：采用脑电信号获取装置对驾驶员的脑电波信号进行采集及预处理，并将预处理后的脑电波信号同步传送至脑电信号监测终端；三、脑电波信号分析处理：对任一秒内采集并预处理后的脑电波信号进行分析处理时，主控芯片调用台阶式疲劳判定模块进行分析处理。而本发明也是连接设备、采集数据、分析数据、做出相应的判断。两者不同之处在于脑电波信号的采集方式与处理方式。其发明是采用脑电信号获取装置且按照预先设定的采样频率对驾驶员的脑电波信号进行采集及预处理，并将预处理后的脑电波信号同步传送至脑电信号监测终端，并根据当前时间段来计算判断所处的阈值来进行疲劳驾驶的判断。另外还需通过导航来收集车辆所属的地理位置和车速，准备过程复杂，所受局限度较高。

发明专利CN1060377724 A“一种基于脑电波防疲劳监测的骨传导反馈装置”，该发明中，脑电波传感器包括设置在前额的干电极和设置在耳垂的参考电极，该干电极和参考电极实时采集前额处的脑电压信号，并发送到脑电波信号处理模块中。包括脑电波采集单元，该脑电波采集单元包括脑电波传感器和脑电波信号处理模块，该脑电波传感器用于实时采集人脑的脑电波并发送到脑电波信号处理模块中；疲劳监测单元，该疲劳监测单元包括预设的疲劳阈值；骨传导反馈单元，该骨传导反馈单元包括若干骨传导扬声器。通过涉及一种基于脑电波防疲劳监测的骨传导反馈装置，采集人脑的脑电波，不足之处在于此耳机需要用电池蓄电，而且需驾驶员佩戴，存在装备电池无电及忘记佩戴的情况，存在其他因素干扰。大多数情况下脑电检测装置需要粘贴很多电极，侵入性高，佩戴者舒适度体验较差且影响驾驶操作；产品一般以耳垂为参考电压，佩戴者需要在耳朵上夹一个耳夹，这样时间久了，耳朵血液容易不循环且有明显的疼痛感；疲劳算法单一，可靠性差，容易造成误报警、漏报警。

发明专利CN106504475 A“基于脑电信号的疲劳驾驶检测方法”，发明公开了一种基于脑电信号的疲劳驾驶检测方法，包括以下步骤：S1：实时采集驾驶员在驾车时的脑电信号，并进行去除眨眼伪迹处理，获取EEG脑波信号；

S2：对时域信号的EEG脑波进行转换，转换到频域，进而求得脑波中各个频域段特征脑波的能量值，再根据其相对能量的大小来确定疲劳程度；S3：设计BP神经网络分类器，进行识别疲劳程度的特征信号；S4：疲劳指数和疲劳程度的估计。通过对自发脑电信号进行脑电节律分析，实现实时判断驾驶员的疲劳状态，由于个体间的差异，不同人的生理信号特征会有所不同，有的区别相当大，所以有很大的局限性。EEG信号有一些独特的不可避免的噪音在记录过程中，诸如眨眼，肌肉活动和心跳等生理活动都会对收集高信噪比的EEG信号造成伤害。在整个实验期间，很难确保参与者专注于执行任务，采集到的数据准确低。

实用新型专利CN205582206U“一种脑电波疲劳驾驶检测仪”，其公开了一种脑电波疲劳驾驶检测仪，包括头架、罩体、脑电波传感器、扬声器、安装盒、脑电波分析仪、控制主板、数据线，该脑电波疲劳驾驶检测仪通过探测分析司机的脑电波来判断司机是否疲劳驾驶，当处于疲劳状态时，该装置可及时提醒司机处于疲劳驾驶，避免由疲劳驾驶造成的交通事故。该脑电波疲劳驾驶检测仪，首先将头架卡在司机的头上，使得脑电波传感器贴在司机的头上，扬声器处于司机耳朵处，当司机在驾驶过程中出现疲劳状态时，脑电波的强度随之降低，因此脑电波传感器能检测出司机的脑电波强度降低，并且将脑电波通过数据线传送给脑电波分析仪，通过脑电波分析仪分析出司机处于疲劳驾驶状态，并将信息传送给控制主板，再由控制主板控制扬声器发出提示音。通过探测分析司机的脑电波来判断司机是否疲劳驾驶。不足之处在于装备复杂，不易操作，影响美观与驾驶员的使用感觉。基于驾驶员心电、肌电，脉搏、呼吸频率等生理信息。但是这种测量方式受接触的限制，且时效性差，敏感性不高，不能实时反应驾驶员疲劳的瞬时变化，需要较长时间的统计，而交通事故的发生往往只需要几秒内。

发明专利CN106691443A“关于基于脑电的穿戴式司机防疲劳智能监测预警系统”相比较，其为脑电处理模块，用于对原始脑电波进行预处理后通过传输定位模块传输给移动设备，并接收移动设备返回的司机疲劳驾驶状态的检测结果；若检测结果为司机有疲劳驾驶的趋势或者轻度疲劳驾驶状态，则通过传输定位模块发送预警指令至预警模块；若检测结果为重度疲劳驾驶状态，则通过传输定位模块发送预警指令至预警模块，并由传输定位模块定位将携带司机当前位置信息的短信发送指令发送至移动设备。通过收集数据是否达到阈值，以及参考关注度函数和眨眼函数，通过检测脸部特征具有一定的偶然性，可干扰因素太多，收集单一。

发明专利CN108309331A“一种疲劳驾驶检测系统”相比较，其公开了包括脑电波传感器、车载终端、测速装置、里程测量装置、同于脑电波信号微弱时提供提神喷雾的加湿器、驱动电路与用于存储导航数据的云服务器；所述车载终端包括计时器、处理器、用于接收服务器导航数据的无线通信模块、报警单元、显示单元；所述测速装置、里程测量装置与处理器输入端相连；所述处理器通过无线通信模块与云服务器相连；所述计时器与处理器输入端相连；处理器输出端与显示单元输入端、报警单元输入端相连；所述处理器通过驱动电路与加湿器相连；所述显示单元用于剩余里程显示、实时速度显示、行驶时间显示、到达下一站点的剩余时间显示以及推荐速度显示。设置超时驾驶检测是比较有效的一种防疲劳驾驶的措施，特别对一些司机不会感觉到自己已经在超时疲劳驾驶，或虽然感觉到但因为经常如此自以为没有问题，该装置只是在关键的时候得到超时提醒装置的报警，不能做出相应的判断，相应的反应。

发明内容

1、发明目的。

本发明为了提高分辨率，降低噪音的影响，本发明提出了一种基于脑电图(EEG)的多级并行的雪崩式卷积递归神经网络脑机接口(BCI)的疲劳驾驶分析，对疲劳驾驶进行检测实时监控驾驶人员的疲劳情况可以有效提供预警，从而减少交通事故的发生。

2、本发明所采用的技术方案。

本发明提出了一种基于多级雪崩式卷积递归网络EEG分析的疲劳驾驶识别方法，具体为如下步骤：

步骤1、EEG数据采集并学习有效时空动态成分

头戴装置有多个电极接收大脑皮层的电压波动，获取EEG信号，并记录为在采集频率下的时间序列数据：

步骤2、将一维EEG序列转换为二维EEG网状数据：

步骤2.1、BCI头戴装置上每个电极的分布都与其他电极相邻，将两个直线上的相邻电极关联性的矢量数据构成一维EEG序列转换成表达多个电极相互之间关联性的二维EEG序列；

步骤2.2、通过将EEG记录与EEG采集电极的空间信息进行映射，从一维链状EEG数据序列矢量构建二维的网状原始EEG信号结构，以对应相邻EEG信号和相应脑区域之间的关联性；每个所得到的二维数据网包含有在所记录时刻大脑脑电波信号的空间位置信息；

步骤3、创建包含空间信息和时间信息的3D数据架构

多级雪崩式卷积递归网络模型的输入为2D网状数据，加入时间信息形成一个包含空间信息和时间信息的3D数据架构；

步骤4、提取每个数据网格的空间特征

步骤4.1为了提取每个数据网的空间特征，定义第j个输入段s_j＝[h_k,h_k+1,…,h_k+δ-1]∈R^δ×h×w，其中有δ个数据网表示为F_j＝[f_τ…f_τ+δ-1]∈i^δ×τ，每个数据网的大小为h×w；

其中，S表示窗口大小，j＝1,2，...，q，在观察期间有q个输入段，h_n(n＝k，k+1，......，k+δ-1)表示的为数据网格，共有δ个数据网格，h代表数据网格的高，w代表数据网格的宽，h×w为每个数据网格的大小；F_j表示空间特征表示序列，f_n(n＝τ,τ+1,…,τ+δ-1)表示提取空间特征，具有τ个元素的特征向量。

步骤4.2数据网格分别输入到二维CNN，并且每个数据网解析为空间特征表示f_n(n＝τ·τ+1…τ+δ-1):

AvalCNN:f_n＝C_2D(h_n)·f_n∈i^m

最终得到空间特征表示f_n是具有n个元素的特征向量。我们用32个特征映射启动第一个卷积层，并在以下每个卷积层中加倍特征映射。在最后一个卷积层中有128个特征映射.

其中，f_n(n＝τ,τ+1,…,τ+δ-1)表示提取空间特征，h_n表示的为数据网格，f_n∈R^m表示具有m个神经元的完全连接层将128个特征映射转换为最终空间特征表示。

步骤4.3通过二维CNN空间特征提取步骤，输入数据段被转换为空间特征表示序列：

对于空间特征提取，存在三个具有相同内核大小3×3的二维卷积层，在每个卷积运算中，使用零填充技术来防止丢失输入网状数据边缘的信息；

其中，F_i表示为空间特征表示序列，f_n(n＝τ,τ+1,…,τ+δ-1)表示提取空间特征，δ表示为数据网格，具有τ个元素的特征向量。

步骤5、将提取的空间特征后的序列馈送到RNN中以提取时间特征

空间特征表示序列F_i被输入到RNN以计算时间特征，RNN提取时间特征使用长短期记忆单元来构建两个堆叠在一起的RNN层，每层中有S个LSTM单元，第二个RNN层的输入是前一个RNN层的输出：

步骤5.1、在当前时间步骤k的第一RNN层的LSTM单元的隐藏状态表示为h_k，并且h_k-1是前一个时间步骤k-1的隐藏状态；前一时间步骤的信息将被传送到当前步骤，并影响最终输出，因此使用LSTM单元的隐藏状态作为LSTM单元的输出；

步骤5.2、第一LSTM层的隐藏状态序列[h_k,h_k+1,…,h_k+s-1]的输出到第二LSTM层；其中h_n(n＝k，k+1，......，k+δ-1)表示的为数据网格。

步骤5.3、由于需要得到的是整个测试期间识别大脑脑电波来判断是否处于疲劳驾驶状态，因此要对LSTM观察到滑动窗口的整个样本时提取的特征做进一步分析；只有最后一个时间步长LSTM下一状态的h'_k+s-1的输出被送入下一个完全连接层；其中h'_k+s-1表示用RNN来提取跨越的时间特征h'_k+s-1数据网格。

步骤6、一个完全连接层接收RNN层的最后一个时间步的输出

数据段s_l的时间特征输出表达式为h'_k+s-1

AvalCNN：h'_k+s-1＝R_2n(F_l),h'_k+s-1∈i^m

其中m是LSTM单元隐藏状态的大小；

步骤7、馈送到softmax层进行处理

完全连接层的后面是最终softmax层，将输出每个类的最终概率预测，输出表达式为：

Aval_softmax:P_l＝S_m(h'_k+s-1),P_l∈i^k

其为产生每个类的最终概率预测，R^k表示K维向量空间的集合。

步骤8、判定是否疲劳驾驶

二维CNN阶段和最终分类阶段处理完之后，将退出多级雪崩式卷积递归网络框架操作；根据softmax层输出结果判断驾驶员是否处于疲劳驾驶状态；如果没有疲劳驾驶情况，则继续进行EEG信号的采集与处理；

更进一步，所述的步骤1中，来自时间指数τ的信号采集系统的原始数据是一维数据矢量r_τ＝[y_τ ¹·y_τ ²…y_τ ^m]^τ，其中y_τ ^mi是第mi个电极的读得数据，其通道时间戳为mi；采集系统完全包含m个通道；对于一个观察周期[τ，τ+N]之内，则有N+1一维数据向量，每个数据向量的m个元素为对应于采集头戴式耳装置的第m个电极所采集的脑电波数据；

更进一步，还包括步骤2.3、利用滑动窗口设计将二维网状数据序列最终分割剪辑；

更进一步，还包括步骤9、根据是否疲劳驾驶结果采取预警措施

驾驶员如果处于疲劳驾驶状态，系统将发出预警信号或者采取其他措施制止交通事故的发生。

3、本发明所产生的技术效果。

(1)本发明有效地解决了常见的基于EEG的脑-计算机接口系统(BCI)的疲劳驾驶识别技术的不足；基于深度学习TensorFlow神经网络框架，装置便携。

(2)本发明设计了级联的并行卷积递归神经网络，称之为多级雪崩式卷积递归网络，通过从原始EEG数据流信号中学习有效的时空动态成分，无需预处理来检测是否处于疲劳驾驶状态。

(3)本发明通过将EEG记录与EEG采集电极的空间信息进行映射，从一维链状EEG数据序列矢量构建二维的网状原始EEG信号层次，从而能够得到对应相邻EEG信号和相应脑区域之间的相关联性。

(4)本发明提出的多级雪崩式卷积递归网络模型具有多级级联卷积递归网络结构，增加CNN模型的维度，比现有的技术增加了空间或时间信息，从而提高模型对疲劳驾驶状态的识别性能。而本发明的实验装备脑-计算机接口(BCI)使用户能够直接与外界通信或仅使用大脑意图来控制仪器，进而进行数据采集与分析作出判断。

附图说明

图1多级雪崩式卷积递归网络EEG分析的疲劳驾驶识别流程；

图2多级雪崩式卷积递归网络架构；

图3疲劳驾驶EEG采集和预处理流程；

图4输入的与处理过的二维数据结构。

具体实施方式

为了解决脑电图的BCI系统的上述种种障碍，本发明对实验进行了以下的改进。本发明提出了级联的模型和并行的模型两种卷积递归神经网络，本发明称之为多级雪崩式卷积递归网络模型，通过从原始EEG数据流信号中学习有效的时空动态成分，而无需预处理来检测是否处于疲劳驾驶状态。

多级雪崩式卷积递归网络EEG分析的疲劳驾驶识别流程如图1所示，本发明设计了一个多级雪崩式卷积递归网络架构来实现疲劳驾驶检测，多级雪崩式卷积递归网络架构如图2所示，多级雪崩式卷积递归网络EEG分析的疲劳驾驶识别分为9个步骤：

步骤1、EEG数据采集：

如图2所示，驾驶员佩戴具有多个电极的BCI头戴装置，驾驶员驾驶时，头戴装置有多个电极，在受试者疲劳或者有困意时，每个电极接收来自受试者大脑皮层的电压波动，从而获取EEG信号，并记录为时间序列数据，由于记录电极通道编号的不同，电极的电压波动图也是不同的。来自EEG采集系统的电压感知读数表示为在采集频率下的时间序列数据。

来自时间指数τ的信号采集系统的原始数据是一维数据矢量r_τ＝[y_τ ¹·y_τ ²…y_τ ^m]^τ，其中y_τ ^mi是第mi个电极的读得数据，其通道时间戳为mi。采集系统完全包含m个通道。对于一个观察周期[τ，τ+N]之内，则有(N+1)个一维数据向量，每个数据向量的m个元素为对应于采集头戴式耳装置的第m个电极所采集的脑电波数据。

步骤2、数据的预处理阶段，建立2D网状数据：

将一维EEG序列转换为二维EEG网状数据。整体EEG采集和预处理流程如图3所示。

步骤2.1、BCI头戴装置上每个电极的分布都与多个头上其他电极相邻，而一维链状EEG数据序列矢量只能表达2个直线上的相邻电极的关联性。将这些矢量数据的一维EEG序列转换成二维EEG序列如图4所示，图中矩阵里没有电极的地方填充为0。

步骤2.2、通过将EEG记录与EEG采集电极的空间信息进行映射，从一维链状EEG数据序列矢量构建二维的网状原始EEG信号结构，以对应相邻EEG信号和相应脑区域之间的关联性。每个所得到的二维数据网包含有在所记录时刻大脑脑电波信号的空间位置信息。

步骤2.3、利用滑动窗口设计将二维网状数据序列最终分割成剪辑。

步骤3、创建包含空间信息和时间信息的3D数据架构

多级雪崩式卷积递归网络模型的输入是2D网状数据，加入时间信息从而创建一个包含空间信息和时间信息的3D数据架构。

步骤4、提取每个数据网格的空间特征

步骤4.1为了提取每个数据网的空间特征，定义第j个输入段s_j＝[h_k,h_k+1,…,h_k+δ-1]∈R^δ×h^×w，其中有δ个数据网表示为F_j＝[f_τ…f_τ+δ-1]∈i^δ×τ，每个数据网的大小为h×w。

其中，S表示窗口大小，j＝1,2，...，q，在观察期间有q个输入段，h_n(n＝k，k+1，......，k+δ-1)表示的为数据网格，共有δ个数据网格，h代表数据网格的高，w代表数据网格的宽，h×w为每个数据网格的大小；F_j表示空间特征表示序列，f_n(n＝τ,τ+1,…,τ+δ-1)表示提取空间特征，具有τ个元素的特征向量。

步骤4.2数据网格分别输入到二维CNN，并且每个数据网解析为空间特征表示f_n(n＝τ,τ+1,…,τ+δ-1):

AvalCNN:f_n＝C_2D(h_n)·f_n∈i^m

最终得到空间特征表示f_n是具有n个元素的特征向量。我们用32个特征映射启动第一个卷积层，并在以下每个卷积层中加倍特征映射。在最后一个卷积层中有128个特征映射.

其中，f_n(n＝τ,τ+1,…,τ+δ-1)表示提取空间特征，h_n表示的为数据网格，f_n∈R^m表示具有m个神经元的完全连接层将128个特征映射转换为最终空间特征表示。

步骤4.3通过二维CNN空间特征提取步骤，输入数据段被转换为空间特征表示序列：

对于空间特征提取，存在三个具有相同内核大小3×3的二维卷积层。在每个卷积运算中，使用零填充技术来防止丢失输入网状数据边缘的信息。

其中，F_i表示为空间特征表示序列，f_n(n＝τ,τ+1,…,τ+δ-1)表示提取空间特征，δ表示为数据网格，具有τ个元素的特征向量。

步骤5、将提取的空间特征后的序列馈送到RNN中以提取时间特征

空间特征表示序列F_i被输入到RNN以计算时间特征。RNN提取时间特征使用长短期记忆(LSTM)单元来构建两个堆叠在一起的RNN层。每层中有S个LSTM单元，第二个RNN层的输入是前一个RNN层的输出。

步骤5.1在当前时间步骤k的第一RNN层的LSTM单元的隐藏状态表示为h_k，并且h_k-1是前一个时间步骤k-1的隐藏状态。前一时间步骤的信息将被传送到当前步骤，并影响最终输出，因此本发明使用LSTM单元的隐藏状态作为LSTM单元的输出。

步骤5.2第一LSTM层的隐藏状态序列[h_k,h_k+1,…,h_k+s-1]的输出到第二LSTM层。其中h_n(n＝k，k+1，......，k+δ-1)表示的为数据网格。

步骤5.3由于本发明需要得到的是整个测试期间识别大脑脑电波来判断是否处于疲劳驾驶状态，因此要对LSTM观察到滑动窗口的整个样本时提取的特征做进一步分析。只有最后一个时间步长LSTM下一状态的h'_k+s-1的输出被送入下一个完全连接层，如图2的时间信息提取的输出所示。其中h'_k+s-1表示用RNN来提取跨越的时间特征h'_k+s-1数据网格。

步骤6、一个完全连接层接收RNN层的最后一个时间步的输出

是，数据段s_l的时间特征输出表达式为h'_k+s-1

AvalCNN：h'_k+s-1＝R_2n(F_l),h'_k+s-1∈i^m

其中m是LSTM单元隐藏状态的大小。

步骤7、馈送到softmax层进行处理

完全连接层的后面是最终softmax层，将输出每个类的最终概率预测，输出表达式为：

Aval_softmax:P_l＝S_m(h'_k+s-1),P_l∈i^k

其为产生每个类的最终概率预测，R^k表示K维向量空间的集合。

步骤8、判定是否疲劳驾驶

二维CNN阶段和最终分类阶段处理完之后，将退出多级雪崩式卷积递归网络框架操作。根据softmax层输出结果判断驾驶员是否处于疲劳驾驶状态。如果没有疲劳驾驶情况，则继续进行EEG信号的采集与处理。

步骤9、根据是否疲劳驾驶结果采取预警措施

驾驶员如果处于疲劳驾驶状态，系统将发出预警信号或者采取其他措施制止交通事故的发生。

实施例

1.实验系统及过程

对受试者疲劳驾驶状态的研究主要从主观和客观两方面进行研究，主观研究主要是通过调查问卷评估司机的综合疲劳状况，此类研究受受试者和研究者主观判断能力的影响，可靠性难以保证，因此目前主要从客观角度对疲劳驾驶进行研究。为了尽量避免噪音等其它干扰因素，整个实验和脑电信号数据的获取都是在实验室中进行的。分别采集100名受试者的脑电信号，在实验进行的前一天，保证受试者睡眠充足，状态良好。在实验进行时，保证现场环境足够安静。实验过程中首先获取100名受试者正常状态下的脑电信号，模拟实际驾驶过程，然后让100名受试者持续进行2小时及以上驾驶状态。当受试者感到疲惫时，再次获取受试者的脑电信号。随着受试者的驾驶时间增加，疲劳程度不断增加，每隔30分钟。分别对100名受试者再次进行脑电信号的收集。将收集到的脑电信号用于后续疲劳驾驶的分析。

2.EEG信号的收集：

人在疲劳或者清醒状态下，脑电信号节律波的信号差异往往表现在大脑皮层分布上的改变，因此脑电信号的电极位置等特征的识别是正确识别大脑状态的基础。本发明通过将EEG记录与EEG采集电极的空间信息进行映射，从一维链状EEG矢量构建网状原始EEG信号层次，以对准相邻EEG信号和相应脑区域之间的相关性。接下来，开发级联和并行卷积递归网络模型，以分别依次或并行地从空间和时间维度解码稳健的EEG表示。所提出的模型是统一的端到端可训练模型，同时学习强大的特征表示并对EEG原始信号进行分类以检测运动或指令意图。

3.EEG数据的处理：

首先使用具有多个电极的BCI头戴装置设备获取EEG信号并记录为时间序列数据矢量。然后根据BCI头戴装置的电极图将这些数据矢量转换为二维数据网格。使用滑动窗口技术将转换后的二维网格最终分割为剪辑。由于不同的采集通道，收集到的转化数据电极图根据不同的BCI系统而变化。EEG采集系统的感觉读数表示采集频率下的时间序列数据。通常，来自时间指数τ的信号采集系统的原始数据是一维数据矢量r_τ＝[y_τ ¹·y_τ ²…y_τ ^m]^τ，其中y_τ ^mi是第mi个电极的读得数据，其通道时间戳mi。采集系统完全包含m个通道。对于一个观察周期[τ，τ+N]之内，存在(N+1)个一维数据向量，每个数据向量为对应于采集头戴式耳装置的m个电极的m个元件所采集的脑电波数据。从EEG转换数据图中，观察到每个电极在物理上邻近多个电极，其测量脑的某个区域中的EEG信号，而链状的一维EEG数据向量的元素被限制为两个相邻距离。

4.最终驾驶员状态预测和判定：

收集数据网格公式，提取每个数据网格的空间特征，然后将提取的空间特征的序列馈送到RNN中以提取时间特征。一个完全连接的层接收RNN层的最后一个时间步的输出，并馈送softmax层以进行最终意图预测，对驾驶员状态作出判定。

本发明设备的采集数据的过程是利用多个电极的脑-计算机接口(BCI)耳机捕获头皮记录的脑电图，实现EEG数据采集。(6)本发明的系列的实验要么深度学习EEG分类方法提高了识别准确度，要么专注于复杂的预处理，将EEG信号转换成图像。因此，在收集检测EEG信号方面还具有很大的挑战与创新性。本发明的实验则是基于脑电图(EEG)的级联和多级雪崩式卷积递归网络EEG疲劳驾驶分析。

如表1所示，可见劳驾驶识别精确度有显著提高。

表1与现有EEG疲劳驾驶识别的多种方法比较

EEG疲劳驾驶识别方法	识别精度
		1D-CNN	0.8798
2D-CNN	0.8941
		3D-CNN	0.9258
Aval-CNN(多级雪崩式卷积递归网络)	0.9930

Claims (4)

1.一种基于多级雪崩式卷积递归网络EEG分析的疲劳驾驶识别方法，其特征在于：

步骤1、EEG数据采集并学习有效时空动态成分

头戴装置有多个电极接收大脑皮层的电压波动，获取EEG信号，并记录为在采集频率下的时间序列数据：

步骤2、将一维EEG序列转换为二维EEG网状数据：

步骤2.1、BCI头戴装置上每个电极的分布都与其他电极相邻，将两个直线上的相邻电极关联性的矢量数据构成一维EEG序列转换成表达多个电极相互之间关联性的二维EEG序列；

步骤2.2、通过将EEG记录与EEG采集电极的空间信息进行映射，从一维链状EEG数据序列矢量构建二维的网状原始EEG信号结构，以对应相邻EEG信号和相应脑区域之间的关联性；每个所得到的二维数据网包含有在所记录时刻大脑脑电波信号的空间位置信息；

步骤3、创建包含空间信息和时间信息的3D数据架构

多级雪崩式卷积递归网络模型的输入为2D网状数据，加入时间信息形成一个包含空间信息和时间信息的3D数据架构；

步骤4、提取每个数据网格的空间特征

步骤4.1为了提取每个数据网的空间特征，定义第j个输入段s_j＝[h_k·h_k+1…h_k+δ-1]∈R^δ×h×w，其中有δ个数据网表示为

每个数据网的大小为h×w；

其中，S表示窗口大小，j＝1,2，...，q，在观察期间有q个输入段，h_n(n＝k，k+1，......，k+δ-1)表示的为数据网格，共有δ个数据网格，h代表数据网格的高，w代表数据网格的宽，h×w为每个数据网格的大小；F_j表示空间特征表示序列，f_n(n＝τ,τ+1,…,τ+δ-1)表示提取空间特征，具有τ个元素的特征向量；

步骤4.2数据网格分别输入到二维CNN，并且每个数据网解析为空间特征表示f_n(n＝τ,τ+1,…,τ+δ-1):

最终得到空间特征表示f_n是具有n个元素的特征向量；我们用32个特征映射启动第一个卷积层，并在以下每个卷积层中加倍特征映射，在最后一个卷积层中有128个特征映射；

其中，f_n(n＝τ,τ+1,…,τ+δ-1)表示提取空间特征，h_n表示的为数据网格，f_n∈R^m表示具有m个神经元的完全连接层将128个特征映射转换为最终空间特征表示；

步骤4.3通过二维CNN空间特征提取步骤，输入数据段被转换为空间特征表示序列：

其中，F_i表示为空间特征表示序列，f_n(n＝τ,τ+1,…,τ+δ-1)表示提取空间特征，δ表示为数据网格，具有τ个元素的特征向量；

对于空间特征提取，存在三个具有相同内核大小3×3的二维卷积层，在每个卷积运算中，使用零填充技术来防止丢失输入网状数据边缘的信息；

步骤5、将提取的空间特征后的序列馈送到RNN中以提取时间特征

空间特征表示序列F_i被输入到RNN以计算时间特征，RNN提取时间特征使用长短期记忆单元来构建两个堆叠在一起的RNN层，每层中有S个LSTM单元，第二个RNN层的输入是前一个RNN层的输出：

步骤5.1、在当前时间步骤k的第一RNN层的LSTM单元的隐藏状态表示为h_k，并且h_k-1是前一个时间步骤k-1的隐藏状态；前一时间步骤的信息将被传送到当前步骤，并影响最终输出，因此使用LSTM单元的隐藏状态作为LSTM单元的输出；

步骤5.2、第一LSTM层的隐藏状态序列[h_k,h_k+1,…,h_k+s-1]的输出到第二LSTM层；其中h_n(n＝k，k+1，......，k+δ-1)表示的为数据网格；

步骤5.3、由于需要得到的是整个测试期间识别大脑脑电波来判断是否处于疲劳驾驶状态，因此要对LSTM观察到滑动窗口的整个样本时提取的特征做进一步分析；只有最后一个时间步长LSTM下一状态的h'_k+s-1的输出被送入下一个完全连接层；

步骤6、一个完全连接层接收RNN层的最后一个时间步的输出

数据段s_l的时间特征输出表达式为h'_k+s-1

AvalCNN：h'_k+s-1＝R_2n(F_l),

其中m是LSTM单元隐藏状态的大小；

步骤7、馈送到softmax层进行处理

完全连接层的后面是最终softmax层，将输出每个类的最终概率预测，输出表达式为：

Aval_softmax:P_l＝S_m(h'_k+s-1),

其为产生每个类的最终概率预测，R^k表示K维向量空间的集合；

步骤8、判定是否疲劳驾驶

二维CNN阶段和最终分类阶段处理完之后，将退出多级雪崩式卷积递归网络框架操作；根据softmax层输出结果判断驾驶员是否处于疲劳驾驶状态；如果没有疲劳驾驶情况，则继续进行EEG信号的采集与处理。

2.根据权利要求1所述的基于多级雪崩式卷积递归网络EEG分析的疲劳驾驶识别方法，其特征在于：所述的步骤1中，来自时间指数τ的信号采集系统的原始数据是一维数据矢量r_τ＝[y_τ ¹·y_τ ²…y_τ ^m]^τ，其中y_τ ^mi是第mi个电极的读得数据，其通道时间戳为mi；采集系统完全包含m个通道；对于一个观察周期[τ，τ+N]之内，则有N+1一维数据向量，每个数据向量的m个元素为对应于采集头戴式耳装置的第m个电极所采集的脑电波数据。

3.根据权利要求1所述的基于多级雪崩式卷积递归网络EEG分析的疲劳驾驶识别方法，其特征在于：还包括步骤2.3、利用滑动窗口设计将二维网状数据序列最终分割剪辑。

4.根据权利要求1所述的基于多级雪崩式卷积递归网络EEG分析的疲劳驾驶识别方法，其特征在于：还包括步骤9、根据是否疲劳驾驶结果采取预警措施

驾驶员如果处于疲劳驾驶状态，系统将发出预警信号或者采取其他措施制止交通事故的发生。

Images