CN111603158B - 基于电生理信号人工智能分析的疲劳驾驶告警方法及系统 - Google Patents

Abstract

本发明涉及一种基于电生理信号人工智能分析的疲劳驾驶告警方法及系统,包括采集前额三通道电生理信号，构造原始待处理数据矩阵并放入缓存；对原始待处理数据矩阵作预处理；对预处理后的数据矩阵作多通道经验模态分解，三个通道上分别得到通道间对应频率一致的多个本征模函数分量；基于矩阵联合对角化得到三个通道上各自的脑电信号、垂直眼电分量和水平眼电分量；将所述三个通道上各自的垂直眼电分量和水平眼电分量合并得到汇总的垂直眼电信号和水平眼电信号；将所述三个通道各自的脑电信号、汇总的垂直眼电信号和水平眼电信号输入预先搭建并训练好的多通道循环神经网络，根据输出结果判断是否属于疲劳驾驶。本发明适用范围广，而且准确度高。

Description

基于电生理信号人工智能分析的疲劳驾驶告警方法及系统

技术领域

本发明涉及疲劳驾驶检测的技术领域，尤其是指一种基于电生理信号人工智能分析的疲劳驾驶告警方法及系统。

背景技术

引发交通事故发生的因素有很多，驾驶人员的疲劳驾驶是主要因素之一，已成为重大交通事故的第二大诱因。

为了克服疲劳驾驶，目前已存在很多单独利用脑电、单独利用眼电或者联合利用脑电和眼电进行疲劳状态判断的现有文献。对单独利用脑电的方式而言，往往需要繁琐的脑电数据预处理，特别是去眼电的过程把与疲劳状态相关的有用眼电信号也去除了，因此侦测效果差；对单独利用眼电的方式而言，眼电电极的设置可能干扰驾驶员的正常行驶，实用性差；因此联合利用脑电和眼电进行疲劳状态的判断方案变得越来越流行。

联合利用脑电和眼电进行疲劳状态判断的方式，目前主要包括两种途径：一种途径是分别设置脑电采集电极和眼电采集电极并利用两者采集到的数据联合分析；另一种途径是只利用前额电极进行电生理信号采集，然后从其中分别提取脑电和眼电信息联合进行分析。如中国发明专利(CN105595996A)公开了一种眼电与脑电综合判定的疲劳驾驶脑电监测方法，分别利用眼电判定模块和脑电判定模块对信号进行处理与分析，脑电判定模块和眼电判定模块分别利用脑电波的能量和测试人员的眨眼次数设定相应的阈值对驾驶人员所处状态进行监测，两者均超出设定的阈值时，则做出驾驶人员处于疲劳驾驶的判断。上述虽然将眼电与脑电相结合对疲劳状态进行了综合监测，但眼电仅提取了眨眼次数这一特征，对眼电的利用比较粗糙，无法准确提取眼电信号加以全面的利用。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中对眼电的利用比较粗糙，无法准确提取眼电信号的问题，从而提供一种可以准确提取眼电信号的基于电生理信号人工智能分析的疲劳驾驶告警方法。

为解决上述技术问题，本发明的一种基于电生理信号人工智能分析的疲劳驾驶告警方法，包括：采集前额三通道电生理信号，构造原始待处理数据矩阵S＝[s₁,s₂,s₃]并放入缓存；对所述缓存内的原始待处理数据矩阵S_raw作预处理，得到预处理后的数据矩阵S；对所述预处理后的数据矩阵S作多通道经验模态分解，三个通道上分别得到通道间对应频率一致的多个本征模函数分量，其中第i个通道上的第n个本征模函数分量表示为

n＝1，2，...，N，i＝1，2，3；根据所述本征模函数分量，基于矩阵联合对角化得到三个通道上各自的脑电信号e_i、垂直眼电分量v_i和水平眼电分量h_i；将所述三个通道上各自的垂直眼电分量v_i和水平眼电分量h_i合并得到汇总的垂直眼电信号v和水平眼电信号h；将所述三个通道各自的脑电信号e_i、汇总的垂直眼电信号v和水平眼电信号h输入预先搭建并训练好的多通道循环神经网络，根据输出结果判断是否属于疲劳驾驶。

在本发明的一个实施例中，采集前额三通道电生理信号的方法为：采用三个数据采集电极，且所述三个数据采集电极的位置分别为左侧眉骨上方、右侧眉骨上方以及眉心上方，并将地电极和参考电极分别置于左侧太阳穴附近和右侧太阳穴附近。

在本发明的一个实施例中，对所述缓存内的原始待处理矩阵S_raw作预处理的方法为：将各通道每一个采样点数值减去该通道部分时间数据的均值，再将每个通道上的数据通过一个带通滤波器。

在本发明的一个实施例中，对所述预处理后的数据矩阵S作多通道经验模态分解的方法为：由序列采样法在二维球面上获得合适的均匀采样点集，确定三维空间的多个方向向量；将所述预处理后的数据矩阵S在所述L个方向向量上做投影，形成L个二维球面上的投影，确定投影后形成的各个矩阵各列向量的极值所在位置，在每列的极值点周围插值获取多维包络，计算包络均值

其中在每列的极值点周围插值获取多维包络E_l,l＝1,2,...,L；计算所述预处理后的数据矩阵S与所述包络均值的差值H＝S-M，判断差值H是否满足所述本征模函数分量的筛分停止条件，若不满足，则用所述差值H替换所述预处理后的数据矩阵S，重复进行步骤S32、步骤S33，若满足，则定义

进入步骤S34；判断预处理后的数据矩阵S与已分解出的各个本征模函数分量做差形成的余量R＝S-IMF₁-IMF₂-…-IMF_n是否满足多通道经验模态分解终止条件，若满足终止条件，则停止本征模函数分量提取；若不满足，将所述余量作为输入，返回至所述步骤S32开始循环。

在本发明的一个实施例中，所述步骤S33中，所述本征模函数分量筛分停止条件为经过若干个连续的筛分步骤后信号过零点和极值点的数目相同。

在本发明的一个实施例中，所述步骤S34中，分解终止条件为当余量只有一个极值的函数或是一个单调函数。

在本发明的一个实施例中，基于矩阵联合对角化得到三个通道上各自的脑电信号e_i、垂直眼电分量v_i和水平眼电分量h_i的方法为：对于第i个通道上的第n个本征模函数分量

以多个数据点滑动、1个数据点交迭，构造增广数据矩阵X_i,n,n＝1,2,...,N,i＝1,2,3，根据所述增广数据矩阵计算除第一本征模函数分量和第二本征模函数分量之外的本征模函数分量对应的本征模协方差矩阵/>

其中n＝3～7，(·)^T为矩阵转置；对于第n(n＞2)个本征模函数分量，计算三通道数据分别对应的本征模协方差矩阵C_1,n、C_2,n与C_3,n的联合对角化，并提取对应于绝大部分能量的主成分基矩阵U_n；以第六个主成分基矩阵为垂直眼电分量的参考基矩阵，对于第n＝3,4,5,7个主成分基矩阵的第k列向量u_n,k，若与参考基矩阵形成的相关系数/>

大于预设阈值，则将该向量作为所述主成分基矩阵中垂直眼电分量基矩阵U_v,n的新增列，否则将其作为水平眼电分量基矩阵U_h,n的新增列，最终形成垂直眼电的投影矩阵/>

水平眼电的投影矩阵/>

n＝3,4,5,7和对应于垂直眼电分量参考基矩阵的参考投影矩阵/>

对于第i个通道，通过所述垂直眼电数据矩阵P_v,n和水平眼电数据矩阵P_h,n分别计算出垂直眼电数据矩阵

和水平眼电数据矩阵

由向量构造矩阵相反的方式通过所述垂直眼电数据矩阵V_i和水平眼电数据的矩阵H_i投影的结果分别反构造出垂直眼电分量v_i和水平眼电分量h_i，再由三通道数据上各自与垂直眼电分量v_i、和水平眼电分量h_i的差值计算脑电信号e_i＝s_i-v_i-h_i。

在本发明的一个实施例中，所述合并得到汇总的垂直眼电信号和水平眼电信号的方法为：对三通道中两两通道的垂直眼电分量v₁和v₂、v₁和v₃分别滑动求互相关系数，确定对应于各自最大互相关系数的第一时间间隔T_v,12和T_v,13，并确定各自的水平眼电分量h₁和h₂、h₁和h₃的最大互相关系数对应的第二时间间隔T_h,12和T_h,13；根据所述垂直眼电分量和所述第一时间间隔汇总得到垂直眼电信号v(t)＝v₁(t)+v₂(t+T_v,12)+v₃(t+T_v,13)，根据所述水平眼电分量和所述第二时间间隔汇总得到水平眼电信号h(t)＝h₁(t)+h₂(t+T_h,12)+h₃(t+T_h,13)。

在本发明的一个实施例中，所述多通道循环神经网络为多层双向长短期记忆网络，由一个正向的多层长短期记忆网络和一个逆向的多层长短期记忆网络构成。

本发明还提供了一种基于电生理信号人工智能分析的疲劳驾驶告警系统，包括：采集模块，用于采集前额三通道电生理信号，构造原始待处理数据矩阵S_raw＝[s₁,s₂,s₃]并放入缓存；预处理模块，用于对所述缓存内的原始待处理数据矩阵S_raw作预处理，得到预处理后的数据矩阵S；分解模块，用于对所述预处理后的数据矩阵S作多通道经验模态分解，三个通道上分别得到通道间对应频率一致的多个本征模函数分量，其中第i个通道上的第n个本征模函数分量表示为

n＝1，2，...，N，i＝1，2，3；提取模块，用于根据所述本征模函数分量，基于矩阵联合对角化得到三个通道上各自的脑电信号e_i、垂直眼电分量v_i和水平眼电分量h_i；汇总模块，用于将所述三个通道上各自的垂直眼电分量v_i和水平眼电分量h_i合并得到汇总的垂直眼电信号v和水平眼电信号h；人工智能输出模块，用于将所述三个通道各自的脑电信号e_i、汇总的垂直眼电信号v和水平眼电信号h输入预先搭建并训练好的多通道循环神经网络，根据输出结果判断是否属于疲劳驾驶。

本发明的上述技术方案相比现有技术具有以下优点：

本发明所述的基于电生理信号人工智能分析的疲劳驾驶告警方法，通过前额干电极采集脑电与眼电两种电生理信号，简化了电极放置方式，无需放置眼电电极，更便于实际使用。

本发明实现了脑电与眼电的盲分离，并将眼电区分为垂直眼电和水平眼电两部分信号，联合考虑了它们在疲劳判断中所起的不同作用，提高了疲劳监测的鲁棒性。

本发明利用多层双向长短期记忆网络这一种循环神经网络在疲劳判断中考虑数据在多通道间、时序间的关系，提高了疲劳监测的准确率。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1是本发明基于电生理信号人工智能分析的疲劳驾驶告警方法流程图；

图2是本发明前额电极布局示意图；

图3是本发明采集到的前额三通道脑电信号预处理后的数据实例；

图4a是左边电极上的结果；

图4b是中间电极上的结果；

图4c是右边电极上的结果；

图5是IMF分量重构得到的垂直眼电、水平眼电和三个通道上的纯净脑电信号实例；

图6是本发明所用循环神经网络结构示意图。

具体实施方式

实施例一

如图1和图2所示，本实施例提供一种基于电生理信号人工智能分析的疲劳驾驶告警方法，包括：步骤S1：采集前额三通道电生理信号S_raw＝[s₁,s₂,s₃]，构造原始待处理数据矩阵S_raw并放入缓存；步骤S2：对所述缓存内的原始待处理数据矩阵S_raw作预处理，得到预处理后的数据矩阵S；步骤S3：对所述预处理后的数据矩阵S作多通道经验模态分解，三个通道上分别得到通道间对应频率一致的多个本征模函数分量，其中第i个通道上的第n个本征模函数分量表示为

n＝1，2，...，N，i＝1，2，3；步骤S4：根据所述本征模函数分量，基于矩阵联合对角化得到三个通道上各自的脑电信号e_i、垂直眼电分量v_i和水平眼电分量h_i；步骤S5：将所述三个通道上各自的垂直眼电分量v_i和水平眼电分量h_i合并得到汇总的垂直眼电信号v和水平眼电信号h；步骤S6：将所述三个通道各自的脑电信号e_i、汇总的垂直眼电信号v和水平眼电信号h输入预先搭建并训练好的多通道循环神经网络，根据输出结果判断是否属于疲劳驾驶。

本实施例所述基于电生理信号人工智能分析的疲劳驾驶告警方法，所述步骤S1中，采集前额三通道电生理信号，构造原始待处理数据矩阵S_raw＝[s₁,s₂,s₃]并放入缓存，由于通过前额采集脑电与眼电两种电生理信号，因此简化了电极放置方式，无需放置眼电电极，有利于于实际使用；所述步骤S2中，对所述缓存内的原始待处理数据矩阵S_raw作预处理，得到预处理后的数据矩阵S，有利于对数据进行校正；所述步骤S3中，对所述预处理后的数据矩阵作多通道经验模态分解，三个通道上分别得到通道间对应频率一致的多个本征模函数分量，其中第i个通道上的第n个本征模函数分量表示为

n＝1，2，...，N，i＝1，2，3，有利于对三通道上分别得到的本征模函数分量进行统一分析；所述步骤S4中，根据所述本征模函数分量/>

基于矩阵联合对角化得到三个通道上各自的脑电信号e_i、垂直眼电分量v_i和水平眼电分量h_i，由于实现了脑电与眼电的盲分离，并将眼电区分为垂直眼电和水平眼电两部分信号，联合考虑了它们在疲劳判断中所起的不同作用，提高了疲劳监测的鲁棒性；所述步骤S5中，将所述三个通道上各自的垂直眼电分量v_i和水平眼电分量h_i合并得到汇总的垂直眼电信号v和水平眼电信号h，从而有利于完整地记录眼电信息；所述步骤S6中，将所述三个通道各自的脑电信号e_i、汇总的垂直眼电信号v和水平眼电信号h输入预先搭建并训练好的多通道循环神经网络，根据输出结果判断是否属于疲劳驾驶，本发明即可以保证驾驶员的正常驾驶，同时完整地记录脑电与眼电信息，实现了脑电信号与眼电信号的盲分离，使得可以同时利用脑电与眼电的完整信号波形用于疲劳驾驶告警，不但适用范围广，而且准确度高。

如图2所示，所述步骤S1中，采集前额三通道电生理信号的方法为：采用三个数据采集电极，且三个数据采集电极的位置分别为左侧眉骨上方、右侧眉骨上方以及眉心上方，并将地电极和参考电极分别置于左侧太阳穴附近和右侧太阳穴附近。另外，所用到的五个电极均为干电极，可将它们嵌入一个布带，布带作为发带或者帽子的一部分，从而将所有的电极按其相对位置固定在前额上。信号经差分式放大电路和模数转换，形成三通道采样数据。具体地，本发明的采样率为f_s＝300Hz，每隔5秒更新缓存内的数据，利用这段时间内采集到的从左至右三个通道的数据向量s₁、s₂和s₃构成原始待处理数据矩阵S_raw＝[s₁,s₂,s₃]，将其放入缓存。

所述步骤S2中，为了对数据进行校正，对所述缓存内的原始待处理数据矩阵S_raw作预处理的方法为：将各通道每一个采样点数值减去该通道开始部分数据的均值，再将每个通道上的数据通过一个带通滤波器。具体地，首先将各通道每一个采样点数值减去该通道开始1秒数据的均值，然后将每个通道上的数据通过一个[0.1Hz,100Hz]的带通滤波器。一个实采的5秒时间段三通道电生理信号预处理后的数据实例如图3所示。

所述步骤S3中，对所述预处理后的数据矩阵S作多通道经验模态分解，三个通道上分别得到通道间对应频率一致的N个本征模函数分量，其中第i个通道上的第n本征模函数分量表示为

其中1≤n≤N。

其中对所述原始待处理数据矩阵作多通道经验模态分解的方法为：

步骤S31：由序列采样法在二维球面上获得合适的均匀采样点集，确定三维空间的多个方向向量；

步骤S32：将所述预处理后的数据矩阵S在L个方向向量上做投影，形成L个二维球面上的投影，确定投影后形成的各个矩阵各列向量的极值所在位置，在每列的极值点周围插值获取多维包络，计算包络均值

其中在每列的极值点周围插值获取多维包络E_l,l＝1,2,...,L；

步骤S33：计算所述预处理后的数据矩阵S与所述包络均值M的差值H＝S-M，判断差值H是否满足所述本征模函数分量的筛分停止条件，若不满足，则用所述差值H替换所述预处理后的数据矩阵S，重复进行步骤S32、步骤S33，若满足，则定义

进入步骤S34；

步骤S34：判断预处理后的数据矩阵S与已分解出的各个本征模函数分量做差形成的余量R＝S-IMF₁-IMF₂-…-IMF_n是否满足多通道经验模态分解终止条件，若满足终止条件，则停止本征模函数分量提取；若不满足，将所述余量作为输入，返回至所述步骤S32开始循环。

具体地，在所述步骤S31中，由Hammersley序列采样法在两维球面上获得合适的均匀采样点集，确定三维空间的L(L应远大于数据采集通道个数的两倍)个方向向量。

在所述步骤S32中，将所述预处理后的数据矩阵S在这L个方向向量上做投影，形成L个二维球面上的投影,即得到在同一方向向量上角度一致的L个矩阵P_l,l＝1,2,...,L，确定投影后形成的各个矩阵各列向量的极值所在位置，在每列的极值点周围插值获取多维包络E_l,l＝1,2,...,L，计算包络均值

所述步骤S33中，计算H＝S-M，其中H代表所述预处理后的数据矩阵S与所述包络均值M的差值，判断H是否满足本征模函数分量IMF筛分条件，若满足IMF筛分停止条件，则

进入步骤S34；否则用所述差值H替换所述预处理后的数据矩阵S，重复进行步骤S32、步骤S33；其中，所述本征模函数分量IMF筛分停止条件为经过若干个连续的筛分步骤后信号过零点和极值点的数目相同。

所述步骤S34中，判断余量R＝S-IMF₁-IMF₂-…-IMF_n是否满足多通道经验模态分解终止条件，若满足终止条件，则停止本征模函数分量提取，最终得到N＝n个三通道本征模函数分量矩阵IMF₁,IMF₂,…,IMF_N；否则将R作为输入，并计算n+1轮的余量，回到骤S32；其中多通道经验模态分解的分解终止条件为当余量只有一个极值的函数或是一个单调函数。最终三个通道上分别得到通道间对应频率一致的N个本征模函数分量，其中第i个通道上的第n本征模函数分量表示为

图3对应的三通道数据的多通道经验模态分解结果如图4a-图4c所示。

所述步骤S4中，利用三个通道上的本征模函数分量

n＝1，2，...，N，i＝1，2，3，基于矩阵联合对角化得到三个通道上各自的脑电信号e_i、垂直眼电分量v_i和水平眼电分量h_i。

其中，基于矩阵联合对角化得到三个通道上各自的脑电分量e_i、垂直眼电分量v_i和水平眼电分量h_i的方法为：

步骤S41：对于第i个通道上的第n个本征模函数分量

以多个数据点滑动、1个数据点交迭，构造增广数据矩阵X_i,n,n＝1,2,...,N,i＝1,2,3，根据所述增广数据矩阵计算除第一本征模函数分量和第二本征模函数分量之外的本征模函数分量对应的本征模协方差矩阵/>

其中n＝3～7，(·)^T为矩阵转置；

步骤S42：对于第n(n＞2)个本征模函数分量，计算三通道数据分别对应的本征模协方差矩阵C_1,n、C_2,n与C_3,n的联合对角化，并提取对应于绝大部分能量的主成分基矩阵U_n；

步骤S43：以第六个主成分基矩阵为垂直眼电分量的参考基矩阵，对于第n＝3,4,5,7个主成分基矩阵的第k列向量u_n,k，若与参考基矩阵形成的相关系数

大于预设阈值，则将该向量作为所述主成分基矩阵中垂直眼电分量基矩阵U_v，n的新增列，否则将其作为水平眼电分量基矩阵U_h，n的新增列，最终形成垂直眼电的投影矩阵/>

水平眼电的投影矩阵/>

n＝3,4,5,7和对应于垂直眼电分量参考基矩阵的参考投影矩阵/>

步骤S44：对于第i个通道，通过所述垂直眼电投影矩阵P_v,n和水平眼电投影矩阵P_h，n分别计算出垂直眼电数据矩阵

和水平眼电数据矩阵/>

由向量构造矩阵相反的方式通过所述垂直眼电数据矩阵V_i和对应于水平眼电数据矩阵H_i分别反构造出垂直眼电分量v_i和水平眼电分量h_i，再由三通道数据上各自与垂直眼电分量v_i、水平眼电分量h_i的差值计算脑电信号e_i＝s_i-v_i-h_i。

具体地，在所述步骤S41中，对于第i个通道上的第n个本征模函数分量

以500个数据点滑动、1个数据点交迭，构造增广数据矩阵X_i,n,n＝1,2,...,N,i＝1,2,3，计算n＝3～7对应的本征模协方差矩阵/>

其中(·)^T为矩阵转置。

在所述步骤S42中，对于第n个本征模函数分量，n＝3～7，计算C_1,n、C_2,n与C_3,n的联合对角化，并由此提取对应于95％能量的主成分基矩阵U_n。

在所述步骤S43中，以U₆为垂直眼电分量的参考基矩阵，对于U_n,n＝3,4,5,7的第k列向量u_n,k，若

(相关系数)大于预设阈值Thr则将该向量作为第n个本征模函数分量中垂直眼电分量基矩阵U_v,n的新增列，否则将其作为水平眼电分量基矩阵U_h,n的新增列，最终形成/>

与/>

n＝3,4,5,7，/>

在所述步骤S44中，对于第i(i＝1,2,3)个通道，垂直眼电数据矩阵

和水平眼电数据矩阵

参考步骤S41由向量构造矩阵相反的方式由矩阵V_i和H_i分别反构造出垂直眼电分量v_i和水平眼电分量h_i，计算脑电分量e_i＝s_i-v_i-h_i。

所述步骤S5中，将所述三个通道上各自的垂直眼电分量v_i和水平眼电分量h_i合并得到汇总的垂直眼电信号v和水平眼电信号h。

其中所述合并得到汇总的垂直眼电信号v和水平眼电信号h的方法为：对三通道中两两通道的垂直眼电分量v₁和v₂、v₁和v₃分别滑动求互相关系数，确定对应于各自最大互相关系数的第一时间间隔T_v,12和T_v,13，并确定各自的水平眼电分量h₁和h₂、h₁和h₃的最大互相关系数对应的第二时间间隔T_h,12和T_h,13；根据所述垂直眼电分量和所述第一时间间隔汇总得到垂直眼电信号v(t)＝v₁(t)+v₂(t+T_v,12)+v₃(t+T_v,13)，根据所述水平眼电分量和所述第二时间间隔汇总得到水平眼电信号h(t)＝h₁(t)+h₂(t+T_h,12)+h₃(t+T_h,13)。

具体地，利用三个通道上各自的垂直眼电分量v_i和水平眼电分量h_i，i＝1,2,3，合并得汇总的垂直眼电信号v和水平眼电信号h包括：

首先，对v₁和v₂、v₁和v₃，分别滑动求互相关系数，确定对应于各自最大互相关系数的时间间隔T_v,12和T_v,13；同样地，确定对h₁和h₂、h₁和h₃各自最大互相关系数对应的时间间隔T_h,12和T_h,13；该过程只需在处理第一个5秒数据段时执行，T_v,12、T_v,13、T_h,12和T_h,13确定后将固定不变；

然后，汇总的垂直眼电信号v(t)＝v₁(t)+v₂(t+T_v,12)+v₃(t+T_v,13)，汇总的水平眼电信号h(t)＝h₁(t)+h₂(t+T_h,12)+h₃(t+T_h,13)。图3对应的三通道数据的最终分解得到的垂直眼电信号、水平眼电信号以及三通道脑电信号如图5所示。

所述步骤S6中，将所述汇总的垂直眼电信号v、水平眼电信号h和三个通道的脑电信号e₁,e₂,e₃输入预先搭建并训练好的五通道循环神经网络，以实现对疲劳与否的分类，根据输出结果判断是否属于疲劳驾驶。

其中所述多通道循环神经网络为多层双向长短期记忆网络，由一个正向的多层长短期记忆网络和一个逆向的多层长短期记忆网络构成。具体地，如图6所示，所述循环神经网络为多层双向长短期记忆网络(BiLSTM)，由一个正向的L层长短期记忆网络(LSTM)和一个逆向的L层LSTM构成，其中输入时间序列数据长度T＝采样率×时长＝1500。第l层的前向LSTM计算节点LSTM_F,l的参数组成一个20×10的矩阵W_F ^l，该节点在第t个时间点上的计算过程为：

前向细胞状态/>

前向隐藏状态/>

其中σ(x)为Sigmoid函数，x[a:b]表示由向量的第a个到第b个元素组成的向量，⊙表示Hadamard积；同样的，第l层的后向LSTM计算节点LSTM_B，l的参数组成一个20×10的矩阵W_B ^l，该节点在第t个时间点上的计算过程为：

后向细胞状态/>

后向隐藏状态/>

所述步骤S6中，所述输出结果分为两类，“0”代表驾驶员处于清醒状态，“1”代表驾驶员处于疲劳状态并给出告警信息，然后判断是否继续监测，若停止疲劳状态监控，退出；若继续进行疲劳状态监控，清空缓存内数据，返回到所述步骤S1，其中清空缓存内数据后，继续采集下一个如5秒数据，从步骤S1开始。

本发明中，将数据整理为

输入如图6所示的循环神经网络中，得到该段时间所表示的驾驶员属于清醒或者疲劳的结果，具体地，通过全连接层和softmax层后输出一个包含两个元素的向量p＝[p₁,p₂]^T，其中p₁是清醒的概率，p₂是疲劳的概率，通过判断p₁与p₂的大小关系可以得出驾驶员是否清醒或者疲劳。输出结果分为两类，“0”代表驾驶员处于清醒状态，“1”代表驾驶员处于疲劳状态并给出告警信息。若继续进行疲劳状态监控，清空缓存内数据，回到开始步骤并继续进行数据采集、数据处理以及疲劳状态判断；若停止疲劳状态监控，退出。在52名志愿者(27男25女)上采集数据，通过滑动截取了共4328段带标注的时长为5s的数据，利用75％的数据作为训练数据来训练一个隐藏层层数为100的BiLSTM，利用另外25％的数据作为测试数据，在该循环神经网络下可得到驾驶员清醒/疲劳状态的判断准确率为0.9307。

实施例二

基于同一发明构思，本实施例提供了基于电生理信号人工智能分析的疲劳驾驶告警系统，其解决问题的原理与所述基于电生理信号人工智能分析的疲劳驾驶告警方法类似，重复之处不再赘述。

本实施例提供一种基于电生理信号人工智能分析的疲劳驾驶告警系统，包括：

采集模块，用于采集前额三通道电生理信号，构造原始待处理数据矩阵S_raw＝[s₁,s₂,s₃]并放入缓存；

预处理模块，用于对所述缓存内的原始待处理数据矩阵S_raw作预处理，得到预处理后的数据矩阵S；

分解模块，用于对所述预处理后的数据矩阵S作多通道经验模态分解，三个通道上分别得到通道间对应频率一致的多个本征模函数分量，其中第i个通道上的第n个本征模函数分量表示为

提取模块，用于根据所述本征模函数分量，基于矩阵联合对角化得到三个通道上各自的垂直眼电分量v_i和水平眼电分量h_i，将所述三个通道上各自的脑电信号e_i、垂直眼电分量v_i和水平眼电分量h_i；

汇总模块，用于将所述三个通道上各自的垂直眼电分量v_i和水平眼电分量h_i合并得到汇总的垂直眼电信号v和水平眼电信号h；

人工智能输出模块，将所述三个通道各自的脑电信号e₁,e₂,e₃、汇总的垂直眼电信号v和水平眼电信号h输入预先搭建并训练好的多通道循环神经网络，根据输出结果判断是否属于疲劳驾驶。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (8)

1.一种基于电生理信号人工智能分析的疲劳驾驶告警方法，其特征在于，包括如下步骤：

步骤S1：采集前额三通道电生理信号，构造原始待处理数据矩阵S_raw＝[s₁,s₂,s₃]并放入缓存；

步骤S2：对所述缓存内的原始待处理数据矩阵S_raw作预处理，得到预处理后的数据矩阵S；

步骤S3：对所述预处理后的数据矩阵S作多通道经验模态分解，三个通道上分别得到通道间对应频率一致的多个本征模函数分量，其中第i个通道上的第n个本征模函数分量表示为

；

步骤S4：根据所述本征模函数分量，基于矩阵联合对角化得到三个通道上各自的脑电信号e_i、垂直眼电分量v_i和水平眼电分量h_i；

步骤S5：将所述三个通道上各自的垂直眼电分量v_i和水平眼电分量h_i合并得到汇总的垂直眼电信号v和水平眼电信号h；

步骤S6：将所述三个通道各自的脑电信号e_i、汇总的垂直眼电信号v和水平眼电信号h输入预先搭建并训练好的多通道循环神经网络，根据输出结果判断是否属于疲劳驾驶；

其中对所述预处理后的数据矩阵S作多通道经验模态分解的方法为：

步骤S31：由序列采样法在二维球面上获得合适的均匀采样点集，确定三维空间的多个方向向量；

步骤S32：将所述预处理后的数据矩阵S在L个方向向量上做投影，形成L个二维球面上的投影，确定投影后形成的各个矩阵各列向量的极值所在位置，在每列的极值点周围插值获取多维包络，计算包络均值

，其中在每列的极值点周围插值获取多维包络E_l,l＝1,2,...,L；

步骤S33：计算所述预处理后的数据矩阵S与所述包络均值M的差值H＝S-M，判断差值H是否满足所述本征模函数分量的筛分停止条件，若不满足，则用所述差值H替换所述预处理后的数据矩阵S，重复进行步骤S32、步骤S33，若满足，则定义

，进入步骤S34；

步骤S34：判断预处理后的数据矩阵S与已分解出的各个本征模函数分量做差形成的余量R＝S-IMF₁-IMF₂-…-IMF_n是否满足多通道经验模态分解终止条件，若满足终止条件，则停止本征模函数分量提取；若不满足，将所述余量作为输入，返回至所述步骤S32开始循环；

基于矩阵联合对角化得到三个通道上各自的脑电信号e_i、垂直眼电分量v_i和水平眼电分量h_i的方法为：

步骤S41：对于第i个通道上的第n个本征模函数分量

，以多个数据点滑动、1个数据点交迭，构造增广数据矩阵X_i,n,n＝1,2,...,N,i＝1,2,3，根据所述增广数据矩阵计算除第一本征模函数分量和第二本征模函数分量之外的本征模函数分量对应的本征模协方差矩阵/>

，其中n＝3～7，(·)^T为矩阵转置；

步骤S42：对于第n(n>2)个本征模函数分量，计算三通道数据分别对应的本征模协方差矩阵C_1,n、C_2,n与C_3,n的联合对角化，并提取对应于绝大部分能量的主成分基矩阵U_n；

步骤S43：以第六个主成分基矩阵U₆为垂直眼电分量的参考基矩阵，对于第n＝3,4,5,7个主成分基矩阵的第k列向量u_n,k，若与参考基矩阵形成的相关系数

大于预设阈值，则将该向量作为所述主成分基矩阵中垂直眼电分量基矩阵U_v,n的新增列，否则将其作为水平眼电分量基矩阵U_h,n的新增列，最终形成垂直眼电投影矩阵

、水平眼电投影矩阵/>

，n=3,4,5,7和对应于垂直眼电分量参考基矩阵的参考投影矩阵/>

;

步骤S44：对于第i个通道，通过所述垂直眼电投影矩阵P_v,n和水平眼电投影矩阵P_h,n分别计算出垂直眼电数据矩阵

和水平眼电数据矩阵/>

，由向量构造矩阵相反的方式通过所述垂直眼电数据矩阵V_i和水平眼电数据矩阵H_i分别反构造出垂直眼电分量v_i和水平眼电分量h_i，再由三通道数据上各自与垂直眼电分量v_i和水平眼电分量h_i的差值计算脑电信号e_i＝s_i-v_i-h_i。

2.根据权利要求1所述的基于电生理信号人工智能分析的疲劳驾驶告警方法，其特征在于：采集前额三通道电生理信号的方法为：采用三个数据采集电极，且所述三个数据采集电极的位置分别为左侧眉骨上方、右侧眉骨上方以及眉心上方，并将地电极和参考电极分别置于左侧太阳穴附近和右侧太阳穴附近。

3.根据权利要求1所述的基于电生理信号人工智能分析的疲劳驾驶告警方法，其特征在于：对所述缓存内的原始待处理矩阵S_raw作预处理的方法为：将各通道每一个采样点数值减去该通道开始部分数据的均值，再将每个通道上的数据通过一个带通滤波器。

4.根据权利要求1所述的基于电生理信号人工智能分析的疲劳驾驶告警方法，其特征在于：所述步骤S33中，所述本征模函数分量筛分停止条件为经过若干个连续的筛分步骤后信号过零点和极值点的数目相同。

5.根据权利要求1所述的基于电生理信号人工智能分析的疲劳驾驶告警方法，其特征在于：所述步骤S34中，分解终止条件为当余量只有一个极值的函数或是一个单调函数。

6.根据权利要求1所述的基于电生理信号人工智能分析的疲劳驾驶告警方法，其特征在于：所述合并得到汇总的垂直眼电信号和水平眼电信号的方法为：对三通道中两两通道的垂直眼电分量v₁和v₂、v₁和v₃分别滑动求互相关系数，确定对应于各自最大互相关系数的第一时间间隔T_v,12和T_v,13，并确定各自的水平眼电分量h₁和h₂、h₁和h₃的最大互相关系数对应的第二时间间隔T_h,12和T_h,13；根据所述垂直眼电分量和所述第一时间间隔汇总得到垂直眼电信号v(t)＝v₁(t)+v₂(t+T_v,12)+v₃(t+T_v,13)，根据所述水平眼电分量和所述第二时间间隔汇总得到水平眼电信号h(t)＝h₁(t)+h₂(t+T_h,12)+h₃(t+T_h,13)。

7.根据权利要求1所述的基于电生理信号人工智能分析的疲劳驾驶告警方法，其特征在于：所述多通道循环神经网络为多层双向长短期记忆网络，由一个正向的多层长短期记忆网络和一个逆向的多层长短期记忆网络构成。

8.一种基于电生理信号人工智能分析的疲劳驾驶告警系统，其特征在于，包括：

采集模块，用于采集前额三通道电生理信号，构造原始待处理数据矩阵S_raw＝[s₁,s₂,s₃]并放入缓存；

预处理模块，用于对所述缓存内的原始待处理数据矩阵S_raw作预处理得到预处理后的数据矩阵S；

分解模块，用于对所述预处理后的数据矩阵S作多通道经验模态分解，三个通道上分别得到通道间对应频率一致的多个本征模函数分量，其中第i个通道上的第n个本征模函数分量表示为

，其中对所述预处理后的数据矩阵S作多通道经验模态分解时，包括：

由序列采样法在二维球面上获得合适的均匀采样点集，确定三维空间的多个方向向量；

将所述预处理后的数据矩阵S在L个方向向量上做投影，形成L个二维球面上的投影，确定投影后形成的各个矩阵各列向量的极值所在位置，在每列的极值点周围插值获取多维包络，计算包络均值

，其中在每列的极值点周围插值获取多维包络E_l,l＝1,2,...,L；

计算所述预处理后的数据矩阵S与所述包络均值M的差值H＝S-M，判断差值H是否满足所述本征模函数分量的筛分停止条件，若不满足，则用所述差值H替换所述预处理后的数据矩阵S，重复进行上两步，若满足，则定义

，进入下一步；

判断预处理后的数据矩阵S与已分解出的各个本征模函数分量做差形成的余量R＝S-IMF₁-IMF₂-…-IMF_n是否满足多通道经验模态分解终止条件，若满足终止条件，则停止本征模函数分量提取；若不满足，将所述余量作为输入，返回至将所述预处理后的数据矩阵S在L个方向向量上做投影的步骤开始循环；

提取模块，用于根据所述本征模函数分量，基于矩阵联合对角化得到三个通道上各自的脑电信号e_i、垂直眼电分量v_i和水平眼电分量h_i，

基于矩阵联合对角化得到三个通道上各自的脑电信号e_i、垂直眼电分量v_i和水平眼电分量h_i时，对于第i个通道上的第n个本征模函数分量

，以多个数据点滑动、1个数据点交迭，构造增广数据矩阵X_i,n,n＝1,2,...,N,i＝1,2,3，根据所述增广数据矩阵计算除第一本征模函数分量和第二本征模函数分量之外的本征模函数分量对应的本征模协方差矩阵/>

，其中n＝3～7，(·)^T为矩阵转置；

对于第n(n>2)个本征模函数分量，计算三通道数据分别对应的本征模协方差矩阵C_1,n、C_2,n与C_3,n的联合对角化，并提取对应于绝大部分能量的主成分基矩阵U_n；

以第六个主成分基矩阵U₆为垂直眼电分量的参考基矩阵，对于第n＝3,4,5,7个主成分基矩阵的第k列向量u_n,k，若与参考基矩阵形成的相关系数

大于预设阈值，则将该向量作为所述主成分基矩阵中垂直眼电分量基矩阵U_v,n的新增列，否则将其作为水平眼电分量基矩阵U_h,n的新增列，最终形成垂直眼电投影矩阵

、水平眼电投影矩阵/>

，n=3,4,5,7和对应于垂直眼电分量参考基矩阵的参考投影矩阵/>

；

对于第i个通道，通过所述垂直眼电投影矩阵P_v,n和水平眼电投影矩阵P_h,n分别计算出垂直眼电数据矩阵

和水平眼电数据矩阵/>

，由向量构造矩阵相反的方式通过所述垂直眼电数据矩阵V_i和水平眼电数据矩阵H_i分别反构造出垂直眼电分量v_i和水平眼电分量h_i，再由三通道数据上各自与垂直眼电分量v_i和水平眼电分量h_i的差值计算脑电信号e_i＝s_i-v_i-h_i；

汇总模块，用于将所述三个通道上各自的垂直眼电分量v_i和水平眼电分量h_i合并得到汇总的垂直眼电信号v和水平眼电信号h；

人工智能输出模块，将所述三个通道各自的脑电信号e_i、汇总的垂直眼电信号v和水平眼电信号h输入预先搭建并训练好的多通道循环神经网络，根据输出结果判断是否属于疲劳驾驶。

Images