CN114781442A - 基于四维注意力卷积循环神经网络的疲劳分类方法 - Google Patents

Abstract

本发明公开了一种基于四维注意力卷积循环神经网络的疲劳分类方法，包括以下步骤：S1、采集脑电信号并输入四维特征提取模块，提取脑电信号的四维特征；S2、将提取到的四维特征输入注意力模块，到拥有空间‑通道注意力的特征；S3、将拥有空间‑通道注意力的特征输入卷积循环神经网络模块，进行疲劳分类。本发明解决了基于脑电信号的神经网络可解释性差的问题，它不仅提高了分类的准确率，并且通过它可以从空间和频带的角度进行可视化，提高网络的可解释性。使用深度可分离卷积层，相比于普通卷积层，模型大小降低了70％左右，准确率却提高1.44％，并且提出一种双分支深度可分离卷积，对空间信息的处理上融合了两种尺度感受野，进一步将准确率提高0.45％。

Description

基于四维注意力卷积循环神经网络的疲劳分类方法

技术领域

本发明涉及一种基于四维注意力卷积循环神经网络的疲劳分类方法。

背景技术

驾驶疲劳通常由过度活动和缺乏休息引起，它会削弱驾驶员对车辆的控制能力，目前已经成为交通事故产生的主要原因之一。据统计，大约20％-30％的交通事故是由疲劳驾驶引起的，大约60％的人都承认经历过疲劳驾驶，根据美国国家公路交通安全管理局(NHTSA)的数据，每年由疲劳驾驶引起的交通事故约有10万件。因此可靠的疲劳检测对于交通安全来说具有积极意义。

根据以往的研究，主要有三种监测疲劳驾驶的方法。第一种是基于心理学的方法，通常依靠心理测量问卷来评估个体的疲劳水平；第二种是基于视频的方法，通常监测驾驶员的操作行为和身体状态，如面部状况、头部位置、反应时间、车辆操作、车道偏离等；第三种是基于生理学的方法，如驾驶员的心率、呼吸、脑电和呼吸率。在考虑个人习惯、光照、图像采集角度和车况等几个不确定因素的影响后，生理信号在检测驾驶员疲劳上有着很大优势。研究表明，脑电是检测驾驶员疲劳有效的方法，脑电方式的优点是获取成本相对低廉，时间分辨率高，客观性，此外，随着可穿戴式脑电设备和干电极技术的快速发展，有许多基于脑电信号的算法被提出并用来分析和检测驾驶员的疲劳。

研究表明，脑电信号的信噪比低，因此研究中，通常都先经过预处理，如基线校准，带通滤波，ICA滤除伪迹，手动去除伪迹等。由于脑网络是一个非平稳系统，因果关系是非线性的，因此人们提出了许多从脑电信号中提取有用信息的方法，如频域分析中可以使用傅里叶变换，时频分析中可以使用小波变换，非线性分析可以提取熵特征等。最后将提取的特征和疲劳标签通过机器学习分类模型，如SVM(Support Vector Machine)等，进行疲劳分类，得到分类结果。

近年来，多种深度学习方法在许多领域都表现出了很高的研究价值。特别是在计算机视觉领域中，自动特征学习的能力取得了巨大的成功。与浅层算法相比，深度学习算法通过多层堆叠的方式从原始数据中学习高级特征。近年来，一些脑电图研究都采用了深度学习算法。Jingwei等人将卷积神经网络(CNN)应用于运动想象任务。Hajinoroozi等人的试图用宽通道卷积神经网络(CCNN)预测司机的认知状态(瞌睡或警觉)。Lu等人利用受限玻尔兹曼机(RBMs)进行运动想象任务。研究人员利用深度学习的力量来探索在执行特定任务或经历认知状态变化时大脑动力学的差异。然而，如何更好地利用不同模型的脑电信号知识已成为一个问题。在以往的研究中，脑电图信号的频带反映了心理状态。Dissanayaka的研究表明，当参与者处于困倦状态时，alpha带的能量会增加。时间信息在脑电分析中也是必不可少的，相邻时间框架的连接代表了大脑动态状态的趋势。脑电通道的空间信息是近年来研究的热点。研究表明，认知负荷与额叶和顶叶密切相关。在Hooi的研究中，脑电图信号被转换成一幅地形图，这是一种将电极位置合并成脑电图读数的方法。先前的研究显示了多种处理多维数据的方法用于认知负荷评估。有效地提取嵌入空间和时间域的运动特征。3-D CNN的性能在许多应用中都很有前景，但是神经网络在基于脑电信号的疲劳检测中还存在输入特征域维度不充分，模型参数量不合理和可解释性差等问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种使用深度可分离卷积层，相比于普通卷积层，模型大小降低了70％左右，准确率却提高1.44％的基于四维注意力卷积循环神经网络的疲劳分类方法。

本发明的目的是通过以下技术方案来实现的：基于四维注意力卷积循环神经网络的疲劳分类方法，包括以下步骤：

S1、采集脑电信号并输入四维特征提取模块，提取脑电信号的四维特征；

S2、将提取到的四维特征输入注意力模块，到拥有空间-通道注意力的特征；

S3、将拥有空间-通道注意力的特征输入卷积循环神经网络模块，进行疲劳分类。

进一步地，所述步骤S1具体实现方法为：

S11、利用多个电极采集脑电信号，将每个通道采集到的脑电信号分别划分为多个不重叠的脑电信号片段；

S12、将每个脑电信号片段以0.5秒大小的窗口进行划分，然后将每个0.5秒的信号用巴特沃斯滤波器分解为δ、θ、α、β和γ五个频带，其中δ频带的频率为0.5～3Hz，θ频带的频率为4～7Hz，α频带的频率为8～13Hz、β频带的频率为14～30Hz，γ频带的频率为30～50Hz；

S13、分别从五个频带的信号中提取微分熵特征：

其中，σ_i表示第i个0.5秒信号的标准差；

对于每个脑电信号片段，以窗口大小为0.5秒来计算每个频带的微分熵，然后将0.5秒内每个频带的所有通道的微分熵转换为二维矩阵，得到5个二维矩阵，每个脑电信号片段一共得到2T个窗口大小为0.5秒的五个二维矩阵；然后将一个脑电信号片段内所有窗口的信号按照时间顺序连接起来，得到该脑电信号片段的四维特征，表示为X_n∈R^h×w×d×2T，n＝1,2,…,N；其中N表示总样本的数量，h和w分别表示转换的二维矩阵的高和宽，d为频带数，T表示采样时间。

进一步地，所述注意力模块由空间注意力和通道注意力的两部分组成，空间注意力部分先在通道上进行压缩，再在空间部分上进行激励，最后得到拥有空间注意力的特征；通道注意力部分先通过一个全局池化层和两个线性层和激活函数，再在通道部分上进行激励，最后得到拥有通道注意力的特征；最后将拥有空间注意力的特征和拥有通道注意力的特征进行特征结合，得到拥有空间-通道注意力的特征。

进一步地，所述卷积循环神经网络模块由卷积神经网络、循环神经网络和线性分类层组成；

所述卷积神经网络依次包括三个深度可分离卷积层、一个双分支卷积层、两个深度可分离卷积层、一个平均池化层和一个线性层；

双分支卷积层由两条支路组成，每条支路分别对一半通道的信号进行深度可分离卷积，第一条支路使用一层深度可分离卷积层，第二条支路使用两层深度可分离卷积层，最后将两条支路输出的特征进行融合后输出；

所述循环神经网络采用两层LSTM；

所述线性分类层由两层线性层组成，通过线性变换的方式使用两层线性层对循环神经网络输出的特征进行最终的输出，最终输出为一个预测值，将预测值同标签阈值进行比较得到预测分类结果：

当预测值y'大于或等于预设阈值P时，则视为疲劳Fatigue；否则视为清醒Wake。

本发明的有益效果是：本发明将脑电信号中的空间、频率和时间信息显性的整合为一个四维特征信息流，不仅融合更全面的维度信息，而且为网络模型提供更直观的可解释性。然后通过注意力模块对四维特征信息流的频率和空间信息进一步融合，在一定程度上解决了基于脑电信号的神经网络可解释性差的问题，它不仅提高了分类的准确率，并且通过它可以从空间和频带的角度进行可视化，提高网络的可解释性。在本网络模型中的卷积循环神经网络模块，为了解决深度学习中通常出现的参数量与准确率不能兼顾的问题，使用深度可分离卷积层，相比于普通卷积层，模型大小降低了70％左右，准确率却提高1.44％；并且提出一种双分支深度可分离卷积，对空间信息的处理上融合了两种尺度感受野，进一步将准确率提高0.45％。

附图说明

图1为本发明的基于四维注意力卷积循环神经网络的疲劳分类方法的流程图；

图2为本发明的四维特征组合示意图；

图3为本发明的电极位置的紧凑二维矩阵；

图4为本发明注意力模块的工作示意图；

图5为本发明卷积循环模块结构示意图；

图6为本发明深度可分离卷积工作示意图；

图7为本发明深度可分离卷积层结构示意图；

图8为本发明双支路卷积模块网络结构示意图；

图9为本实施例不同卷积层数量的实验结果图；

图10为本实施例使用两种卷积层的实验结果的雷达图；

图11为本实施例模型对比的雷达图；

图12为疲劳标签下空间注意力热力图；

图13为清醒标签下空间注意力热力图；

图14为疲劳与清醒的差值注意力热力图；

图15为通道注意力热力图；

图16为五个频带实验结果的雷达图。

具体实施方式

为了解决神经网络在基于脑电信号的疲劳检测中输入特征域维度不充分，模型参数量不合理和可解释性差的问题，本发明提出一种新的基于脑电的四维注意力卷积循环神经网络(4D-EACRNN)，首先该网络使用脑电信号构建四维特征信息流，四维信息流显性整合时间，空间和频域信息，充分的输入维度信息流使得网络提取特征更有效。接着使用注意力模块对四维特征信息流的通道和空间分别进行注意力融合，注意力融合后四维信息流拥有更好的可解释性。然后通过卷积循环神经网络模块提取特征，其中卷积神经网络提取空间和频域信息特征，循环神经网络提取时间信息特征。最后通过线性层进行疲劳分类。

下面结合附图进一步说明本发明的技术方案。

如图1所示，本发明的一种基于四维注意力卷积循环神经网络(4D-ACRNN)的疲劳分类方法，包括以下步骤：

S1、采集脑电信号并输入四维特征提取模块，提取脑电信号的四维特征；

为了同时整合EEG信号的频率、空间和时间信息，本发明构建了包含这三种信息的四维信息流结构，如图2所示。具体实现方法为：

S11、利用多个电极采集多个通道的脑电信号，为了增加训练数据量，将每个通道采集到的脑电信号分别划分为多个不重叠的脑电信号片段，并为每段脑电信号片段分配标签，标签为脑电信号片段中闭眼时间占总时间的比值，也就是0到1的数值，可以视为这段脑电信号的疲劳程度，由此对应来达到数据+标签的训练。

S12、将每个脑电信号片段以0.5秒大小的窗口进行划分，然后将每个0.5秒的信号用巴特沃斯滤波器分解为δ、θ、α、β和γ五个频带，其中δ频带的频率为0.5～3Hz，θ频带的频率为4～7Hz，α频带的频率为8～13Hz、β频带的频率为14～30Hz，γ频带的频率为30～50Hz；当人体进行不同活动时，这五个频带的信号将会表现出不同趋势的增强或减弱；

S13、分别从五个频带的信号中提取微分熵特征，微分熵(differential entropy,DE)已经被证明是疲劳检测中最稳定有效的一种熵特征；微分熵是香农信息熵-∑_xp(x)log(p(x))在连续变量上的推广形式：

其中，p(x)表示连续信息的概率密度函数；而对于一段特定长度近似服从高斯分布N(μ,σ_i ²)的脑电信号，它的微分熵为

其中，σ_i表示第i个0.5秒信号的标准差；例如采样频率为200Hz，则0.5秒可以采集100个信号，则σ_i为这100个信号的标准差。

对于每个脑电信号片段，以窗口大小为0.5秒来计算每个频带的微分熵，然后将0.5秒内每个频带的所有通道的微分熵转换为二维矩阵，得到5个二维矩阵，每个脑电信号片段一共得到2T个窗口大小为0.5秒的五个二维矩阵；然后将一个脑电信号片段内所有窗口的信号按照时间顺序连接起来，得到该脑电信号片段的四维特征，表示为X_n∈R^h×w×d×2T，n＝1,2,…,N其中N表示总样本的数量，h和w分别表示转换的二维矩阵的高和宽，d为频带数，T表示采样时间；在本实施例中h为6，w为9，d为5。

为了保留关于电极位置的空间信息，图3左图所示为脑电信号采集装置的电极放置，其中两侧的6个圆圈内的电极位置为颞部，中间11个圆圈内的电极位置为顶部，图3右图所示为转换后的二维矩阵，其中没有用到的电极位置都用0表示，使用到的电极的值为计算出的微分熵。根据转换后的二维矩阵位置，将五个频带的二维矩阵进行转换，最后叠加起来得到三维矩阵，最后连续片段的三维矩阵就组成了我们想要的四维特征表示。其中，CPZ脑电信号一般会选择一个通道作为参考电极(也就是零电位)，CPZ电极的信号虽然采集了，但将它作为参考电极。按照FT7那行作为二维转换矩阵的第一行，O1那行作为二维转换矩阵的最后一行，FT7的那列是二维转换矩阵的第一列，FT8的那列是二维转换矩阵的最后一列，就构成了6行9列，刚好容下17个有效通道的位置，矩阵空出的地方就补0。具体转换方法可参考《Shen F,Dai G,Lin G,et al.EEG-based emotion recognition using4Dconvolutional recurrent neural network[J].Cognitive Neurodynamics,2020:1-14》或《Lin CT,Chuang C H,Hung Y C,et al.A Driving Performance ForecastingSystem Based on Brain Dynamic State Analysis Using 4-D Convolutional NeuralNetworks[J].IEEE Transactions on Cybernetics,2020,PP(99):1-9》两偏文章中的方法。

这个四维特征包含了脑电信号五个频带的微分熵特征，通过电极位置对应的二维矩阵进行构建出三维矩阵，最后每个连续时间窗口的三维矩阵组成了四维特征，包含了时间，频率和空间三个域的信息。

S2、将提取到的四维特征输入注意力模块，到拥有空间-通道注意力的特征；

该注意力模块首次提出是在图像分割领域，它受到了SE模块的启发，由空间注意力和通道注意力的两部分组成，如图4所示。本文使用该注意力模块正好能够同时对空间和频带进行特征提取，对于脑电信号来说，五个频带对应的就是五个通道。

所述注意力模块由空间注意力(sSE)和通道注意力(cSE)的两部分组成，空间注意力部分先在通道上进行压缩，再在空间部分上进行激励，最后得到拥有空间注意力的特征；通道注意力部分先通过一个全局池化层和两个线性层和激活函数，再在通道部分上进行激励，最后得到拥有通道注意力的特征；最后将拥有空间注意力的特征和拥有通道注意力的特征进行特征结合，得到拥有空间-通道注意力的特征，能够从构建的四维特征中对空间和频带信息进一步融合。

S3、将拥有空间-通道注意力的特征输入卷积循环神经网络模块，进行疲劳分类；

所述卷积循环神经网络模块由卷积神经网络、循环神经网络和线性分类层组成，如图5所示；

卷积神经网络在图像等二维数据的处理中相当有效，使用普通卷积层的堆叠就可以提取出有效的高维特征，在脑电信号的卷积神经网络研究中通常也是这样做的。但随着目前脑电信号研究更加追求实时性，和深度可分离卷积等轻量化卷积层的出现，它相比于普通卷积层不仅拥有更少的参数量，而且准确率还有一定程度的增加，在本发明中，卷积神经网络模块中卷积层使用的都是深度可分离卷积。

卷积神经网络模块的核心是深度可分离卷积，卷积神经网络依次包括三个深度可分离卷积层、一个双分支卷积层、两个深度可分离卷积层、一个平均池化层和一个线性层；各个层的参数配置具体如表1所示。

表1

卷积层	卷积核维度	输入大小
			深度可分离卷积层1	3x3x5x32	32x5x6x9
深度可分离卷积层2	3x3x32x64	32x32x6x9
			深度可分离卷积层3	3x3x64x128	32x64x6x9
双支路卷积层	3x3x128x128	32x128x6x9
			深度可分离卷积层4	3x3x128x64	32x128x6x9
深度可分离卷积层5	3x3x64x32	32x64x6x9
			平均池化层	池化2x2	32x32x6x9

深度可分离卷积是由mobilenet提出的一种轻量级卷积结构，深度可分离卷积使用一个逐深度卷积和逐点卷积替换一个标准卷积。如图6所示，先进行逐深度卷积，考虑区域信息。后进行逐点卷积，考虑通道信息。使用深度可分离卷积替换普通卷积可以大幅度降低参数量，从神经网络的角度来看，和普通卷积相比，虽然这样会牺牲一定通道间的信息，但在注意力模块中已经对空间和通道信息进行了融合。在本发明中，深度可分离卷积层由依次连接的卷积核为3x3的逐深度卷积、卷积核为1x1的逐点卷积、二维归一化和Relu激活函数，如图7所示；

双分支卷积层的提出首先是在人脸识别领域，是用于构建上下文以增加检测的目标范围。本发明的双分支卷积层由两条支路组成，如图8所示。每条支路分别对一半的通道进行深度可分离卷积，第一条支路使用一层深度可分离卷积层，第二条支路使用两层深度可分离卷积层，最后将两条支路输出的特征进行融合后输出；该结构可以充分融合四维特征中的空间信息，避免空间中相隔位置较远的信息孤立，通过两种不同尺度的感受野后，全局空间不同位置间信息感受效果更好。

所述循环神经网络是一种能够学习输入数据的时间相关性的神经网络，在这里能够提取四维特征信息流中时间切片间的时间特征。该循环神经网络采用两层LSTM，每层LSTM包括2T个LSTM模块，竖着的2T个LSTM模块为一层LSTM，一共是两层LSTM，这里LSTM用于提取时间特征。由于脑电信号含有丰富的时间信息，我们构建的四维特征结构，它的时间片段之间的变化可能隐藏了额外的信息，从而有助于更准确地进行疲劳检测。因此，在经过卷积神经网络对四维特征信息流提取空间和频率特征后，再利用两层带有LSTM细胞的循环神经网络进一步提取其时间特征。

所述线性分类层由两层线性层组成，通过线性变换的方式使用两层线性层对循环神经网络输出的特征进行最终的输出，最终输出为一个预测值，将预测值同标签阈值进行比较得到预测分类结果：

当预测值y'大于或等于预设阈值P(一般设置为0.35)时，则视为疲劳(Fatigue)；小于0.35视为清醒(Wake)。

下面通过实验进一步验证本发明的疲劳分类效果。

一、数据集介绍：SEED(SJTU Emotion EEG Dataset)是上海交通大学的仿脑计算与机器智能研究中心实验室提供的脑电公开数据集。SEED-VIG(SJTU Emotion EEGDataset-Vigilance Estimation)是SEED的一个子数据集，它开发了一个模拟驾驶环境，道路以笔直和单调为主，更容易诱发受试者的疲劳，并使用神经扫描系统记录脑电图信号。实验共有23名被试者，大部分被试者都是在午饭后进行的实验，持续时间约为2小时。以8秒内闭眼时间百分比(PERCLOS)值来记录驾驶员的心理疲劳状态，分为清醒、疲劳和嗜睡三种类型，阈值分别为0.35和0.7。

数据集包含了脑电信号与眼电信号，本发明选择其中的脑电信号的原始数据，采样率为200HZ，时长为118分钟，共采集了17个通道电极的信号，每个被试者的原始脑电信号数据格式为采样数*通道(1416000*17)。

在本实验中，为了更符合实际情况和更好与其他模型进行比较，目前的脑电疲劳信号研究，分类模型都是二分类为主，所以只取阈值0.35来分为清醒与疲劳。为了更好评估模型的性能，全部使用五折交叉验证进行实验，一定程度上降低实验结果的偶然性。

评价指标：评价指标使用的是五个常用的分类指标，分别是准确率，召回率，精确率，F1得分和Kappa。准确率(Accuracy)是指分类正确的总样本数占总样本数的比例；召回率(Recall)是指分类正确的正样本数占实际的正样本总数的比例；精确率(Precision)是指分类正确的正样本数占预测为正样本的总样本数的比例；F1得分(F1-score)是指召回率和精确率的调和平均值；Kappa是统计学中度量一致性的指标，在分类问题中用于度量模型预测结果和实际分类结果是否一致。

实现细节：使用热门的pytorch框架来实现4D-ACRNN。初始的学习率为2e-3，使用Adamw优化器进行训练，衰减权重为2e-2，每次训练200个epoch，记录保留测试集准确率最高的那一轮，每组都进行了五折交叉验证，并固定了随机数种子以确保实验结果的可靠性。但在参数选择实验中，为了节约时间，只训练100个epoch，本文所有实验都运行在一块NVIDIA GeForce GTX 1660SUPER GPU上。

参数选择实验：卷积层的数量是卷积神经网络的一个重要参数，为确保卷积循环神经网络的效果，分别从4层，5层，6层，7层这四种不同层数的卷积神经网络进行了实验，实验设置如表2所示。

表2

实验结果如图9所示。由评价指标的准确率，Kappa，F1得分可以看出，相比于另外三种结果，使用6层卷积层的效果是其中相对较好的，虽然精确率相比之下不是最高的，但其实召回率和精确率实际上是一对矛盾的度量，通常两者不会同时为高，不能单方面看这两个指标说明模型分类的好坏，而F1得分是两者的调和平均值，所以可以观察F1得分来代替单独观察召回率和精确率。

二、消融实验：为了验证网络模型中注意力模块和双支路卷积模块对于疲劳分类结果的有效性，分别对其做了消融实验。

表3分别是本发明的模型、去除注意力模块和去除双支路卷积模块消融实验的结果。

表3

	本发明模型	去除注意力模块	去除双支路卷积模块
				准确率	0.8713	0.8697	0.8668
召回率	0.9215	0.9187	0.9203
				Kappa	0.7171	0.7138	0.7066
F1得分	0.9011	0.8997	0.8978
				精确率	0.8817	0.8815	0.8765

为了验证模型中卷积神经网络部分使用的深度可分离卷积层的效果，分别使用普通卷积层和深度可分离卷积层进行了实验，实验结果如表4所示，评价指标的雷达图如图10所示。

表4

从图10和表4都能看出，相比于使用普通卷积层使用深度可分离卷积层后，模型的参数量从0.462M降低到0.14M，模型参数量降低约70％，反而准确率，F1得分，Kappa等指标还进一步提高，由此可见，深度可分离卷积层适用于本模型中，达到降低模型参数量，提高分类模型性能的效果。

三、模型对比实验：为了展示本发明模型的有效性，本文在SEED-VIG数据集下，将四维注意力卷积循环神经网络模型与目前流行的四种模型进行对比(这四种模型没有公开代码，但有具体网络结构，我们复现了这四种模型)，模型对比的雷达图如图11所示，实验结果如表5所示。

下面是其他四个模型的简单介绍。

1、EEG_Conv：Zeng等人提出的一种基于脑电信号的卷积神经网络模型。

2、EEG_Conv_R：Zeng等人在提出的EEG_Conv模型的基础上，结合残差结构所提出的新模型。

3、EEGNET：Lawhern V等人提出一种应用于BCI的紧凑型卷积神经网络。

4、ESTCNN：Gao等人提出的一种基于脑电信号的时空卷积神经网络模型。

表5

	4D-ACRNN	EEG_Conv	EEG_Conv_R	EEGNet	ESTCNN
						准确率	0.8713	0.7948	0.7684	0.7266	0.6407
召回率	0.9215	0.8957	0.8722	0.8792	0.9186
						Kappa	0.7171	0.5364	0.4784	0.3654	0.0832
F1得分	0.9011	0.8475	0.8273	0.8038	0.7639
						精确率	0.8817	0.8045	0.7874	0.7404	0.6573

如图11和表5所示，在SEED-VIG数据集上，我们的4D-EACRNN在这五种模型中有着更突出的表现，准确率、召回率、Kappa、F1得分和精确率上，都优于其余四种模型，比EEG-Conv的准确率高出7.65％。

这得益于我们的模型，整合时间、空间和频率三种域的信息，构建四维特征信息流，并通过注意力模块进一步整合四维特征，通过深度可分离卷积层组成卷积神经网络后，提取到空间和频率特征，再继续通过循环神经网络，提取出四维特征时间片之间的时间特征，最后通过线性层进行分类。

四、模型可解释性：目前脑电信号的深度学习研究中，深度学习的可解释性一直是一个未被关注的缺口，而得益于注意力模块的加入，我们的模型4D-EARCNN除了在SEED-VIG数据集上有着不错的性能，模型还具有一定的可解释性。

1、注意力模块分析：注意力模块中的空间注意力指的是脑电信号的17个电极位置，而通道注意力指的是脑电信号中的5个频带。

空间注意力：通过设置神经网络的输出，将训练好的模型中注意力模块的空间注意力输出，并将标签为疲劳和清醒的空间注意力分开，最后分别求得两种状态下的空间注意力平均值，并可视化。

从神经网络来看，空间位置对应的颜色越深，该电极位置的脑电信号对疲劳分类的影响越大，由图12和图13可观察到，无论是疲劳还是清醒状态下的脑电信号的左右颞部电极都对分类结果有着很大影响，但为了更好观察两者间的差异，我们求得疲劳与清醒标签下的空间注意力的差值进行可视化。疲劳标签下空间注意力热力图如图12所示，清醒标签下空间注意力热力图如图13所示，疲劳与清醒的差值注意力热力图如图14所示。

由图14可见，T7和T8电极位置对应的脑电信号对疲劳分类结果有着一定影响。

通道注意力：由训练好的模型中，可以提取出注意力模块中关于通道注意力的权重值，并使用双线性插值并且进行可视化为热力图以方便观察，将五个频带与其对应，通道注意力热力图如图15所示，图中，由上至下依次是δ，θ，α，β和γ五个频带，从神经网络来看，频带对应的颜色越深，该频带对疲劳分类的影响越大，可见随着五个频带的频率增加，对疲劳分类的影响也随着增加，为了验证该注意力模块可视化结果，对五个频带对模型分类的影响进行实验。

2、通道注意力验证实验：将四维特征信息流中的δ，θ，α，β和γ五个频带分别单独构建，并输入到模型中，最后根据评价指标观察是否与通道注意力可视化的结论相同，实验结果如表6所示，实验结果雷达图如图16所示。

表6

	五个频带	δ频带	θ频带	α频带	β频带	γ频带
							准确率	0.8713	0.7889	0.8247	0.8331	0.8500	0.8530
召回率	0.9215	0.8619	0.8941	0.9097	0.9122	0.9087
							Kappa	0.7171	0.5342	0.6119	0.6257	0.6684	0.6697
F1得分	0.9011	0.8386	0.8665	0.8737	0.8855	0.8847
							精确率	0.8817	0.8168	0.8406	0.8405	0.8605	0.8625

由表6和图16都可以看出，随着频率增加，从δ，θ，α，β和γ，疲劳分类结果性能越好，由此验证注意力模块中可视化的结果，证明γ频带确实对疲劳分类的结果更重要。

本文提出的4D-EACRNN中的注意力模块，不仅能够提高模型分类的效果，而且使得模型具有一定的可解释性，在该数据集下，脑电信号随着频率增大，在γ频带对于疲劳分类的结果有着明显影响，并且T7和T8电极位置处脑电信号的变化可能是区分疲劳和清醒状态的重要电极位置。并且使用五个频带进行分类的结果明显优于使用单个频带。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (4)

1.基于四维注意力卷积循环神经网络的疲劳分类方法，其特征在于，包括以下步骤：

S1、采集脑电信号并输入四维特征提取模块，提取脑电信号的四维特征；

S2、将提取到的四维特征输入注意力模块，到拥有空间-通道注意力的特征；

S3、将拥有空间-通道注意力的特征输入卷积循环神经网络模块，进行疲劳分类。

2.根据权利要求1所述的基于四维注意力卷积循环神经网络的疲劳分类方法，其特征在于，所述步骤S1具体实现方法为：

S11、利用多个电极采集脑电信号，将每个通道采集到的脑电信号分别划分为多个不重叠的脑电信号片段；

S12、将每个脑电信号片段以0.5秒大小的窗口进行划分，然后将每个0.5秒的信号用巴特沃斯滤波器分解为δ、θ、α、β和γ五个频带，其中δ频带的频率为0.5～3Hz，θ频带的频率为4～7Hz，α频带的频率为8～13Hz、β频带的频率为14～30Hz，γ频带的频率为30～50Hz；

S13、分别从五个频带的信号中提取微分熵特征：

其中，σ_i表示第i个0.5秒信号的标准差；

对于每个脑电信号片段，以窗口大小为0.5秒来计算每个频带的微分熵，然后将0.5秒内每个频带的所有通道的微分熵转换为二维矩阵，得到5个二维矩阵，每个脑电信号片段一共得到2T个窗口大小为0.5秒的五个二维矩阵；然后将一个脑电信号片段内所有窗口的信号按照时间顺序连接起来，得到该脑电信号片段的四维特征，表示为X_n∈R^h×w×d×2T，n＝1,2,…,N；其中N表示总样本的数量，h和w分别表示转换的二维矩阵的高和宽，d为频带数，T表示采样时间。

3.根据权利要求1所述的基于四维注意力卷积循环神经网络的疲劳分类方法，其特征在于，所述注意力模块由空间注意力和通道注意力的两部分组成，空间注意力部分先在通道上进行压缩，再在空间部分上进行激励，最后得到拥有空间注意力的特征；通道注意力部分先通过一个全局池化层和两个线性层和激活函数，再在通道部分上进行激励，最后得到拥有通道注意力的特征；最后将拥有空间注意力的特征和拥有通道注意力的特征进行特征结合，得到拥有空间-通道注意力的特征。

4.根据权利要求1所述的基于四维注意力卷积循环神经网络的疲劳分类方法，其特征在于，所述卷积循环神经网络模块由卷积神经网络、循环神经网络和线性分类层组成；所述卷积神经网络依次包括三个深度可分离卷积层、一个双分支卷积层、两个深度可分离卷积层、一个平均池化层和一个线性层；

双分支卷积层由两条支路组成，每条支路分别对一半通道的信号进行深度可分离卷积，第一条支路使用一层深度可分离卷积层，第二条支路使用两层深度可分离卷积层，最后将两条支路输出的特征进行融合后输出；

所述循环神经网络采用两层LSTM；

所述线性分类层由两层线性层组成，通过线性变换的方式使用两层线性层对循环神经网络输出的特征进行最终的输出，最终输出为一个预测值，将预测值同标签阈值进行比较得到预测分类结果：

当预测值y'大于或等于预设阈值P时，则视为疲劳Fatigue；否则视为清醒Wake。

Images