CN109480835A - 一种基于长短期记忆神经网络的精神疲劳检测方法 - Google Patents

Abstract

本发明涉及一种基于长短期记忆神经网络的精神疲劳检测方法。步骤S1、采用单通道便携式脑电采集设备，对脑电信号进行采集；步骤S2、采集的脑电信号数据经蓝牙传送到移动端上，并通过无线网络发送至服务器端；步骤S3、服务器端接收脑电信号数据，采用小波阈值去噪法对脑电信号数据降噪，降噪处理后的数据通过长短期记忆神经网络模型进行分析计算得出人精神疲劳状态分级结果返回移动端；步骤4、移动端接收人精神疲劳状态分级结果并实时显示或提示。本发明方法进行精神疲劳检测所需的时间短，步骤简单，设计合理且实现方便，检测精度高，可实时对精神疲劳程度进行检测分级。

Description

一种基于长短期记忆神经网络的精神疲劳检测方法

技术领域

本发明涉及人工智能技术领域，脑电波检测技术领域，具体为一种基于长短期记忆神经网络的精神疲劳检测方法。

背景技术

随着现代社会的发展，一些行业的从业人员需要长时间不间断的工作，比如驾驶、机械操作、军事、航空、医务和一些公共服务部门，长时间不间断从事某项工作容易导致人的精神疲劳。精神疲劳指人体肌肉工作强度不大、但由于神经系统紧张程度过高或者长时间从事单调、重复的工作而引起的疲劳。精神疲劳是长时间的认知活动给人造成的体验，对人的分析判断能力造成影响，表现为注意不集中，思维迟缓，情绪低落，主观感觉体力不支。精神疲劳的持续发展，将导致头痛、眩晕、心血管和呼吸系统功能紊乱、食欲减低、消化不良以及失眠等。

精神疲劳与中枢神经活动有关，受大脑皮层的活动状态影响，大脑皮层的活动状态则取决于兴奋和抑制两种系统的均衡。根据大脑皮层活动水平的不同，大脑皮层活动状态大致可分为熟睡、浅睡、思睡、疲倦、懈怠、静止、新鲜、机灵、兴奋和警戒等不同状态，精神疲劳是介于懈怠与睡眠之间的一种状态。

脑电信号主要来源于大脑皮层神经元之间的突触后电位，脑电信号作为人体的一种基本信号，无论是从研究领域还是临床诊断应用，都得到了快速的发展。

传统的脑电信号分析方法主要是从时域和频域分析其波形和能量等特征，近年来非线性动力学的研究方法在脑电信号研究领域逐渐开展。脑电信号是时变的非平稳序列，极易混杂各种噪声干扰，选用小波变换去噪方法具有良好的效果，小波变换去噪方法是对信号进行分解，然后对分解后的系数进行阈值处理，最后重构得到去噪信号。该算法其主要理论依据是：小波变换具有很强的去数据相关性，它能够使信号的能量在小波域集中在一些大的小波系数中；而噪声的能量却分布于整个小波域内。因此，经小波分解后，信号的小波系数幅值要大于噪声的系数幅值。可以认为，幅值比较大的小波系数一般以信号为主，而幅值比较小的系数在很大程度上是噪声。于是，采用阈值的办法可以把信号系数保留，而使大部分噪声系数减小至零。最后将处理后获得的小波系数用逆小波变换进行重构，得到去噪后的信号。

当前人们对脑疲劳形成机制认识水平有限，还不能完全准确的了解精神疲劳的脑电特征。而人工神经网络因其具有较好的自适应学习和非线性映射能力，对事物发生的物理机制并不一定要了解得十分清楚，比较适合处理那些物理机制复杂、因果关系和推理规则难以确定的非线性问题。因此，人工神经网络适合应用基于脑电波的精神疲劳程度的检测中。

采用人工神经网络的方法进行疲劳程度的分级相比传统的疲劳程度分级方法更加精确更加客观，在不了解精神疲劳状态下脑电波形成机制的情况下也能实现很好的分级效果。然而以往受限于人们对神经网络的认识以及计算机的计算能力，很多研究人员仅仅采用神经网络中较为简单的结构，如全连接的BP神经网络等，对精神疲劳度进行检测。脑电波数据是离散时间序列数据，t时刻的脑电信号受t-1时刻的脑电信号的影响，同时也影响t+1时刻的脑电信号。而全连接BP神经网络不具备记忆数据的能力，无法通过历史数据的关联来推测后续的事情，因此无法学习到脑电波在时间上的关系，导致检测精度不高。

为解决此问题，本发明采用人工神经网络的一种新的适合处理时间序列相关数据的变种——LSTM模型来对精神疲劳程度进行分级。LSTM（Long Short-Term Memory）是长短期记忆网络，是一种时间递归神经网络，适合处理和预测时间序列中间隔和延迟相对较长的重要事件，是循环神经网络(Recurrent Neural Network,RNN)一种特殊的类型，可以学习长期依赖信息。LSTM作为RNN的一种特殊类型其特点主要在于除了具有记忆能力的“记忆门”以外，还增加了一个判断信息有用与否的“遗忘门”。LSTM的隐含层数以及隐含层中的神经元数可手动调节以使训练得到的LSTM模型预测效果最佳。

LSTM模型具备了传统循环神经网络能够对时序数据进行记忆的优点的同时还解决了传统RNN存在的梯度消失、梯度爆炸以及长期记忆能力不足的问题。LSTM结构如图2、图3所示，LSTM 的关键就是细胞状态，水平线在图上方贯穿运行。细胞状态类似于传送带，直接在整个链上运行，只有一些少量的线性交互。信息在上面流传保持不变会很容易。输入门是用于控制当前数据输入对记忆单元状态的影响，遗忘门是用于控制历史信息对当前记忆单元状态值的影响，输出门用于控制记忆单元状态值的输出。通过引入门控的设计，LSTM单元有保存、读取、重置和更新长距离历史信息的能力，LSTM网络采用通过时间的反向传播算法进行训练，可以学习长期依赖信息。LSTM 通过刻意的设计来避免长期依赖问题，因而在精神疲劳程度的分级中，LSTM模型的表现更好。

发明内容

本发明的目的在于提供一种基于长短期记忆神经网络的精神疲劳检测方法，该方法进行精神疲劳检测所需的时间短，步骤简单，设计合理且实现方便，检测精度高，可实时对精神疲劳程度进行检测分级。

为实现上述目的，本发明的技术方案是：一种基于长短期记忆神经网络的精神疲劳检测方法，包括如下步骤：

步骤S1、采用单通道便携式脑电采集设备，对脑电信号进行采集；

步骤S2、采集的脑电信号数据经蓝牙传送到移动端，以脑波形式显示，并通过无线网络发送至服务器端；

步骤S3、服务器端接收脑电信号数据，采用小波阈值去噪法对脑电信号数据降噪，降噪处理后的数据通过长短期记忆神经网络模型进行分析计算得出人精神疲劳状态分级结果返回移动端；

步骤S4、移动端接收人精神疲劳状态分级结果并实时显示或提示。

在本发明一实施例中，所述步骤S3中，采用小波阈值去噪法对脑电信号数据降噪，即对信号进行分解，然后对分解后的系数进行阈值处理，最后重构去噪信号；其中，阈值处理公式如下：

式中，表示小波系数，为给定阈值。

在本发明一实施例中，所述步骤S3中，长短期记忆神经网络模型，即LSTM模型的训练方法如下：

步骤S31、选择处于不同疲劳程度的受试对象，受试对象填写疲劳量表，算出疲劳程度分级得分作为长短期记忆神经网络模型的输出；疲劳量表为疲劳量表FS-14，由14个条目组成，每个条目都是一个与疲劳相关的问题，14个条目分别从不同角度反映疲劳的轻重，经主成分分析将14个条目分为两类，一类反映躯体疲劳，包括第1~8共8个条目；一类反映精神疲劳，包括第9~14共6个条目；每一条目符合得1分，不符合得0分，最高得分14分，最低得分0分，以此得分区分不同疲劳程度；

步骤S32、采用单通道便携式脑电数据采集设备采集受试对象脑电信号数据，分别作为长短期记忆神经网络模型的训练数据和测试数据，并采用小波阈值去噪法对脑电原始数据进行降噪；

步骤S33、采用不同时间步长并经过降噪处理的训练数据对LSTM模型进行训练以得到不同的LSTM分级模型；

步骤S34、用经过降噪处理的测试数据评估不同LSTM模型的分级检测效果，并选取分级结果最符合疲劳量表得分情况的LSTM分级模型作为疲劳程度分级模型。

相较于现有技术，本发明具有以下有益效果：以原始脑电信号数据作为LSTM神经网络的输入，避免现有脑电信号特征提取技术过度依赖经验等问题；LSTM模型的隐含层数及隐含层中的神经元数可手动调节使LSTM模型检测效果最佳；本发明方法进行精神疲劳检测所需的时间短，步骤简单，设计合理且实现方便，检测精度高，可实时对精神疲劳程度进行检测分级。

附图说明

图1为本发明方法流程示意图。

图2为LSTM模型循环单元示意图。

图3为LSTM模型示意图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

如图1所示，本发明一种基于长短期记忆神经网络（LSTM）的精神疲劳检测方法，具体方案可以分为两部分，包括以下步骤：

第一部分：

1）选择处于不同疲劳程度的受试对象，受试对象填写疲劳量表，算出疲劳程度分级得分作为长短期记忆神经网络（LSTM）模型的输出；

2）采用单通道便携式脑电数据采集设备采集受试对象脑电信号数据，分别作为长短期记忆神经网络（LSTM）模型的训练数据和测试数据。采用小波阈值去噪法对脑电原始数据进行降噪；

3）采用不同时间步长并经过降噪处理的训练数据对LSTM模型进行训练以得到不同的LSTM分级模型；

4）用经过降噪处理的测试数据评估不同LSTM模型的分级检测效果，并选取分级结果最符合疲劳量表得分情况的LSTM分级模型作为疲劳程度分级模型；

第二部分：

5）采用单通道便携式脑电采集设备，对脑电信号进行采集；

6）采集的脑电信号数据经蓝牙传送到移动端，以脑波形式显示，并通过无线网络发送至服务器端；

7）服务器端接收脑电信号数据，采用小波阈值去噪法对脑电信号数据降噪，降噪处理后的数据通过选取的LSTM模型进行分析计算得出人精神疲劳状态分级结果并将结果返回移动端；

8）移动端接收人精神疲劳状态分级结果并实时显示或提示。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，包括但不限于长短期记忆神经网络（LSTM）如RNN的循环神经网络以及GRU神经网络等，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

以上是本发明的较佳实施例，不限于单个LSTM模型包括以单个模型调整LSTM、RNN、GRU等多个神经网络模型作为组合模型时所占的权重值，凡通过组合模型的方式等，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

以上是本发明的较佳实施例，不限于仅仅使用小波阈值去噪法对原始数据进行降噪，凡依此方法所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (3)

1.一种基于长短期记忆神经网络的精神疲劳检测方法，其特征在于，包括如下步骤：

步骤S1、采用单通道便携式脑电采集设备，对脑电信号进行采集；

步骤S2、采集的脑电信号数据经蓝牙传送到移动端，以脑波形式显示，并通过无线网络发送至服务器端；

步骤S3、服务器端接收脑电信号数据，采用小波阈值去噪法对脑电信号数据降噪，降噪处理后的数据通过长短期记忆神经网络模型进行分析计算得出人精神疲劳状态分级结果返回移动端；

步骤S4、移动端接收人精神疲劳状态分级结果并实时显示或提示。

2.根据权利要求1所述的一种基于长短期记忆神经网络的精神疲劳检测方法，其特征在于，所述步骤S3中，采用小波阈值去噪法对脑电信号数据降噪，即对信号进行分解，然后对分解后的系数进行阈值处理，最后重构去噪信号；其中，阈值处理公式如下：

式中，表示小波系数，为给定阈值。

3.根据权利要求1所述的一种基于长短期记忆神经网络的精神疲劳检测方法，其特征在于，所述步骤S3中，长短期记忆神经网络模型，即LSTM模型的训练方法如下：

步骤S31、选择处于不同疲劳程度的受试对象，受试对象填写疲劳量表，算出疲劳程度分级得分作为长短期记忆神经网络模型的输出；疲劳量表为疲劳量表FS-14，由14个条目组成，每个条目都是一个与疲劳相关的问题，14个条目分别从不同角度反映疲劳的轻重，经主成分分析将14个条目分为两类，一类反映躯体疲劳，包括第1~8共8个条目；一类反映精神疲劳，包括第9~14共6个条目；每一条目符合得1分，不符合得0分，最高得分14分，最低得分0分，以此得分区分不同疲劳程度；

步骤S32、采用单通道便携式脑电数据采集设备采集受试对象脑电信号数据，分别作为长短期记忆神经网络模型的训练数据和测试数据，并采用小波阈值去噪法对脑电原始数据进行降噪；

步骤S33、采用不同时间步长并经过降噪处理的训练数据对LSTM模型进行训练以得到不同的LSTM分级模型；

步骤S34、用经过降噪处理的测试数据评估不同LSTM模型的分级检测效果，并选取分级结果最符合疲劳量表得分情况的LSTM分级模型作为疲劳程度分级模型。