CN112052905B - 一种基于循环神经网络的驾驶人多操作疲劳特征提取方法 - Google Patents

Abstract

本发明涉及汽车主动安全技术领域，具体公开了一种基于循环神经网络的驾驶人多操作疲劳特征提取方法，包括步骤：S1.基于循环神经网络构建模糊循环神经网络模型；S2.对模糊循环神经网络模型进行训练和测试，得到训练完成的疲劳特征提取模糊循环神经网络；S3.采用疲劳特征提取模糊循环神经网络实时提取实际驾驶中驾驶人多操作变量下的疲劳特征。本发明基于循环神经网络构建具有四层网络结构的模糊循环神经网络模型，综合考虑了驾驶人多种操作变量对疲劳特征提取的稳定贡献，采用了大量的驾驶人多操作传感数据进行训练和测试，得到训练完成的疲劳特征提取模糊循环神经网络，并应用在驾驶人的实际驾驶中，从而能够实时有效地提取驾驶人疲劳特征。

Description

一种基于循环神经网络的驾驶人多操作疲劳特征提取方法

技术领域

本发明涉及汽车主动安全技术领域，尤其涉及一种基于循环神经网络的驾驶人多操作疲劳特征提取方法。

背景技术

研究表明：由于驾驶人导致的交通事故约占总量的92.9％，而疲劳驾驶是人为交通事故的重要诱因。驾驶人操作传感数据能实时、直接反应驾驶人的疲劳驾驶特性，是客观准确反映驾驶人操作规律的重要数据。基于驾驶人操作信息的驾驶人疲劳状态检测已成为汽车主动安全领域的热点研究内容和主要技术之一。

通常，与驾驶人操作行为直接相关的传感数据包括方向盘转角、制动压力、左转向灯、右转向灯、节气门开度、横摆角速度、纵向加速度、横向加速度等。驾驶人由于长时间的实车操作，其心理和生理变得疲劳，驾驶人对道路环境感知能力、路况判断能力和车辆操控能力也随之变弱，使得驾驶人对车辆的边界容忍误差变大、操作变量的控制精度降低，因此，通过有效挖掘驾驶人操作变量的疲劳特征，预警驾驶人疲劳驾驶是减低道路交通安全事故的重要技术措施。

然而，实车工况下，受道路随机性和驾驶人个体差异性的影响，使得驾驶人操作数据存在严重的漂移现象，现有疲劳预警技术通常采用一项或多项传感数据作为特征提取对象，使得驾驶人操作行为特征对疲劳状态辨识的稳定贡献度不够，构建的驾驶人疲劳预警系统精度也不高。

发明内容

本发明提供一种基于循环神经网络的驾驶人多操作疲劳特征提取方法，解决的技术问题在于：现有疲劳预警技术提取的驾驶人操作行为特征对疲劳状态辨识的稳定贡献度不够，构建的驾驶人疲劳预警系统精度也不高。

为解决以上技术问题，本发明提供一种基于循环神经网络的驾驶人多操作疲劳特征提取方法，包括步骤：

S1.基于循环神经网络构建模糊循环神经网络模型；所述模糊循环神经网络模型包括输入层、模糊层、隐含层和竞争层，所述输入层用于输入驾驶人多操作变量；所述模糊层用于对所述驾驶人多操作变量进行模糊化；所述隐含层用于训练时调整神经网络参数；所述竞争层用于寻找竞争获胜神经元，以及调整竞争获胜神经元的权向量并将该权向量作为对应操作变量的疲劳特征输出；

S2.对所述模糊循环神经网络模型进行训练和测试，得到训练完成的疲劳特征提取模糊循环神经网络；

S3.采用所述疲劳特征提取模糊循环神经网络实时提取实际驾驶中驾驶人多操作变量下的疲劳特征。

进一步地，所述步骤S2具体包括步骤：

S21.采集实车路况下的驾驶人多操作变量，并对所述驾驶人多操作变量进行数据处理后分为训练样本集和测试样本集；

S22.将所述训练样本集输入所述模糊循环神经网络模型中进行训练，确定所述模糊循环神经网络模型的神经网络参数；

S23.将所述测试样本集输入训练完成的所述模糊循环神经网络模型中，提取对应的疲劳特征；

S24.判断提取的疲劳特征是否满足需求，若是则将训练完成的所述模糊循环神经网络模型作为疲劳特征提取模糊循环神经网络，若否则更新训练样本集对所述模糊循环神经网络模型进行重新训练直至满足需求。

进一步地，在所述步骤S21中，所述进行数据处理具体为：

采用双加窗的方式对驾驶人多操作变量的时间序列进行数据处理；

所述双加窗的方式为：

每隔第一预设时间段对所述时间序列进行一次加窗，以及在所述第一预设时间段内每隔第二预设时间段对所述时间序列进行一次加窗，所述第一预设时间段为所述第二预设时间段的整数倍。

优选的，所述第一预设时间段为60s，所述第二预设时间段为1s。

优选的，所述模糊层进行模糊化采用的函数为高斯函数，表示为：

其中，x_j表示所述驾驶人多操作变量中每一操作变量在第一预设时间段内的第j个时间序列，j＝1,2…m，m＝所述第一预设时间段/所述第二预设时间段。

进一步地，所述隐含层的前向传播表示为：

H_i＝σ(W_FHF_i+W_HHH_i-1+b_H) (2)

其中，W_FH为所述模糊层到所述隐含层的权重矩阵，W_HH为所述隐含层神经元之间的连接权重矩阵，b_H为偏置向量，i＝1,2,…,n，n表示所述驾驶人多操作变量中操作变量的个数，σ(·)表示激活函数；循环神经元系数采用BPTT算法进行训练学习，对于基于梯度的学习需要模型参数θ和损失函数L之间存在闭式解，根据估计值和实际值之间的误差来最小化损失函数，则在损失函数上计算得到的梯度信息传回给模型，实现神经网络参数的修改；

假设对于序列Z₁,Z₂,…,Z_t，通过S_t＝G_θ(S_t-1,Z_t)将上一时刻的状态S_t-1映射到下一时刻的状态S_t，所述隐含层中神经元的损失函数L_T的梯度表示为：

根据链式法则，将Jacobian矩阵

分解为：

其中，S_T表示当前周期的状态矩阵，S_T-1表示上一周期的状态矩阵，S_T-2表示上上周期的状态矩阵，以此类推；一个周期等于所述第一预设时间段，每个周期具有m个时刻的状态。

进一步地，所述竞争层竞争获胜的前一输出，通过记忆单位S传递至下一个神经元，构成疲劳特征指标序列；

所述竞争层寻找竞争获胜神经元的算法是：假定经所述输入层输入的模式为X＝(X₁,X₂,…,X_n)，其中

x_i 、

分别表示x_i的左边界值和右边界值，x_i表示第i操作变量，I[0,1]表示取值为0～1区间的实数集合，所述竞争层中所有神经元对应的权向量w_j＝(w_j1,w_j2,…,w_jn)(j＝ 1,2,…,m)；

所述竞争层将与X最相似的权向量判为竞争获胜神经元，最后按照Winner- Take-All学习规则调整权值，调整规则为：

w_j*(t+1)＝w_j*(t)+α(f(w_j*1,X),f(w_j*2,X),…,f(w_j*n,X)) (5)

f(w_j*i,X)＝sgn(x_i -w_j*i)d(w_j*i,X) (6)

其中，式(5)中α∈[0,1]为学习率。

具体的，所述驾驶人多操作变量为与操作人直接相关的传感数据。

优选的，所述传感数据包括方向盘转角、制动压力、左转向灯、右转向灯、节气门开度、横摆角速度、纵向加速度、横向加速度的时间序列。

本发明提供的一种基于循环神经网络的驾驶人多操作疲劳特征提取方法，基于循环神经网络构建具有四层网络结构的模糊循环神经网络模型，综合考虑了驾驶人多种操作变量对疲劳特征提取的稳定贡献，采用了大量的驾驶人多操作传感数据进行训练和测试，得到训练完成的疲劳特征提取模糊循环神经网络，并应用在驾驶人的实际驾驶中，从而能够实时有效地提取驾驶人疲劳特征，进一步提高驾驶人疲劳预警系统的正确率与稳定性。

附图说明

图1是本发明实施例提供的一种基于循环神经网络的驾驶人多操作疲劳特征提取方法的步骤流程图；

图2是本发明实施例提供的模糊循环神经网络模型及疲劳特征提取模糊循环神经网络的层级结构图；

图3是本发明实施例提供的对时间序列进行双加窗的示例图；

图4是本发明实施例提供的对疲劳特征提取模糊循环神经网络进行测验的结果展示图。

具体实施方式

下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。

本发明实施例提供一种基于循环神经网络的驾驶人多操作疲劳特征提取方法，如图1所示，包括步骤：

S1.基于循环神经网络构建模糊循环神经网络模型；

S2.对模糊循环神经网络模型进行训练和测试，得到训练完成的疲劳特征提取模糊循环神经网络；

S3.采用疲劳特征提取模糊循环神经网络实时提取实际驾驶中驾驶人多操作变量下的疲劳特征。

其中，步骤S1构建的所述模糊循环神经网络模型如图2所示，包括输入层、模糊层、隐含层和竞争层。输入层用于输入驾驶人多操作变量；模糊层用于对驾驶人多操作变量进行模糊化；隐含层用于训练时调整神经网络参数；竞争层用于寻找竞争获胜神经元，以及调整竞争获胜神经元的权向量并将该权向量作为对应操作变量的疲劳特征输出。

在本实施例中，步骤S2具体包括步骤：

S21.采集实车路况下的驾驶人多操作变量，并对驾驶人多操作变量进行数据处理后分为训练样本集和测试样本集；

S22.将训练样本集输入模糊循环神经网络模型中进行训练，确定模糊循环神经网络模型的神经网络参数；

S23.将测试样本集输入训练完成的模糊循环神经网络模型中，提取对应的疲劳特征；

S24.判断提取的疲劳特征是否满足需求，若是则将训练完成的模糊循环神经网络模型作为疲劳特征提取模糊循环神经网络，若否则更新训练样本集对模糊循环神经网络模型进行重新训练直至满足需求。

其中，步骤S21采集的驾驶人多操作变量为与操作人直接相关的传感数据。在本实施例中，传感数据包括方向盘转角、制动压力、左右转向灯、节气门开度、横摆角速度、纵向加速度、横向加速度等时间序列，如图2所示，从输入层输入。而在将驾驶人多操作变量输入至模糊层前需要对序列进行数据处理，具体为：

采用双加窗的方式对驾驶人多操作变量的时间序列进行数据处理；

双加窗的方式为：

每隔第一预设时间段对时间序列进行一次加窗，以及在第一预设时间段内每隔第二预设时间段对时间序列进行一次加窗，第一预设时间段为第二预设时间段的整数倍。

如图3所示，以方向盘转角序列为例，在本实施例中，第一预设时间段为 60s，第二预设时间段为1s。

进一步地，在步骤S22中，模糊层进行模糊化采用的函数为高斯函数，表示为：

其中，x_j表示驾驶人多操作变量中每一操作变量在第一预设时间段内的第j 个时间序列，j＝1,2…m，m＝第一预设时间段/第二预设时间段＝60/1＝60。

进一步地，在隐含层中，神经元不仅与上一层激励输出有关，而且还实现同层的神经元信息传递，实现权重的近邻影响，刻画了驾驶人在实车工况下疲劳状态与时间的紧密关系。隐含层的前向传播表示为：

H_i＝σ(W_FHF_i+W_HHH_i-1+b_H) (2)

其中，W_FH为模糊层到隐含层的权重矩阵，W_HH为隐含层神经元之间的连接权重矩阵，b_H为偏置向量，i＝1,2,…,n，n表示驾驶人多操作变量中操作变量的个数，σ()表示激活函数，本实施例采用经典的tanh函数；循环神经元系数采用BPTT算法进行训练学习，对于基于梯度的学习需要模型参数θ和损失函数L之间存在闭式解，根据估计值和实际值之间的误差来最小化损失函数，则在损失函数上计算得到的梯度信息传回给模型，实现神经网络参数的修改；

假设对于序列Z₁,Z₂,…,Z_t，通过S_t＝G_θ(S_t-1,Z_t)将上一时刻的状态S_t-1映射到下一时刻的状态S_t，隐含层中神经元的损失函数L_T的梯度表示为：

根据链式法则，将Jacobian矩阵

分解为：

其中，S_T表示当前周期的状态矩阵，S_T-1表示上一周期的状态矩阵，S_T-2表示上上周期的状态矩阵，以此类推；T＝第一预设时间段＝60s，每个周期具有 m＝60个时刻的状态。

进一步地，竞争层竞争获胜的前一输出，通过记忆单位S传递至下一个神经元，构成疲劳特征指标序列；

竞争层寻找竞争获胜神经元的算法是：假定经输入层输入的模式为X＝ (X₁,X₂,…,X_n)，其中

x_i 、

分别表示x_i的左边界值和右边界值，x_i表示第i操作变量，I[0,1]表示取值为0～1区间的实数集合，竞争层中所有神经元对应的权向量w_j＝(w_j1,w_j2,…,w_jn)(j＝1,2,…,m)；

竞争层将与X最相似的权向量判为竞争获胜神经元，最后按照Winner-Take- All学习规则调整权值，调整规则为：

w_j*(t+1)＝w_j*(t)+α(f(w_j*1,X),f(w_j*2,X),…,f(w_j*n,X)) (5)

f(w_j*i,X)＝sgn(x_i -w_j*i)d(w_j*i,X) (6)

其中，式(5)中α∈[0,1]为学习率，在本实施例中，学习率设为0.85。

为说明本模型的效果，将1分钟样本输入至疲劳特征提取模糊循环神经网络，输出的疲劳特征点如图4所示。可见，驾驶人三种状态的特征聚类效果明显，具有较好的分类效果。

需要说明的是，在其他实施例中，传感数据可包括方向盘转角、制动压力、左右转向灯、节气门开度、横摆角速度、纵向加速度、横向加速度等时间序列中的几种，还可以是其他传感数据，根据不同的车辆配置而定。

本发明实施例提供的一种基于循环神经网络的驾驶人多操作疲劳特征提取方法，基于循环神经网络构建具有四层网络结构的模糊循环神经网络模型，综合考虑了驾驶人多种操作变量对疲劳特征提取的稳定贡献，采用了大量的驾驶人多操作传感数据进行训练和测试，得到训练完成的疲劳特征提取模糊循环神经网络，并应用在驾驶人的实际驾驶中，克服了现有技术直接采用某一项或多项传感数据带来的不稳定性，从而能够实时有效地提取驾驶人疲劳特征，进一步提高驾驶人疲劳预警系统的正确率与稳定性，同时便于工程实现，对不同驾驶者表现出了较高的工程泛化能力。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.基于循环神经网络的驾驶人多操作疲劳特征提取方法，其特征在于，包括步骤：

S1.基于循环神经网络构建模糊循环神经网络模型；所述模糊循环神经网络模型包括输入层、模糊层、隐含层和竞争层，所述输入层用于输入驾驶人多操作变量；所述模糊层用于对所述驾驶人多操作变量进行模糊化；所述隐含层用于训练时调整神经网络参数；所述竞争层用于寻找竞争获胜神经元，以及调整竞争获胜神经元的权向量并将该权向量作为对应操作变量的疲劳特征输出；

所述竞争层竞争获胜的前一输出，通过记忆单位S传递至下一个神经元，构成疲劳特征指标序列；

所述竞争层寻找竞争获胜神经元的算法是：假定经所述输入层输入的模式为X＝(X₁,X₂,…,X_n)，其中

x_i 、

分别表示第i操作变量x_i的左边界值和右边界值，I[0,1]表示取值为0～1区间的实数集合，所述竞争层中所有神经元对应的权向量w_j＝(w_j1,w_j2,…,w_jn)(j＝1,2,…,m)；

所述竞争层将与X最相似的权向量判为竞争获胜神经元，最后按照Winner-Take-All学习规则调整权值，调整规则为：

w_j*(t+1)＝w_j*(t)+α(f(w_j*1,X),f(w_j*2,X),…,f(w_j*n,X)) (5)

f(w_j*i,X)＝sgn(x_i -w_j*i)d(w_j*i,X) (6)

其中，式(5)中α∈[0,1]为学习率；

S2.对所述模糊循环神经网络模型进行训练和测试，得到训练完成的疲劳特征提取模糊循环神经网络；所述步骤S2具体包括步骤：

S21.采集实车路况下的驾驶人多操作变量，并对所述驾驶人多操作变量进行数据处理后分为训练样本集和测试样本集；在所述步骤S21中，所述进行数据处理具体为：

采用双加窗的方式对驾驶人多操作变量的时间序列进行数据处理；

所述双加窗的方式为：

每隔第一预设时间段对所述时间序列进行一次加窗，以及在所述第一预设时间段内每隔第二预设时间段对所述时间序列进行一次加窗，所述第一预设时间段为所述第二预设时间段的整数倍；

所述模糊层进行模糊化采用的函数为高斯函数，表示为：

其中，x_j表示所述驾驶人多操作变量中每一操作变量在第一预设时间段内的第j个时间序列，j＝1,2…m，m＝所述第一预设时间段/所述第二预设时间段；

S3.采用所述疲劳特征提取模糊循环神经网络实时提取实际驾驶中驾驶人多操作变量下的疲劳特征。

2.如权利要求1所述的基于循环神经网络的驾驶人多操作疲劳特征提取方法，其特征在于，在所述步骤S21后，所述步骤S2还包括步骤：

S22.将所述训练样本集输入所述模糊循环神经网络模型中进行训练，确定所述模糊循环神经网络模型的神经网络参数；

S23.将所述测试样本集输入训练完成的所述模糊循环神经网络模型中，提取对应的疲劳特征；

S24.判断提取的疲劳特征是否满足需求，若是则将训练完成的所述模糊循环神经网络模型作为疲劳特征提取模糊循环神经网络，若否则更新训练样本集对所述模糊循环神经网络模型进行重新训练直至满足需求。

3.如权利要求1所述的基于循环神经网络的驾驶人多操作疲劳特征提取方法，其特征在于：

所述第一预设时间段为60s，所述第二预设时间段为1s。

4.如权利要求1所述的基于循环神经网络的驾驶人多操作疲劳特征提取方法，其特征在于，所述隐含层的前向传播表示为：

H_i＝σ(W_FHF_i+W_HHH_i-1+b_H) (2)

其中，W_FH为所述模糊层到所述隐含层的权重矩阵，W_HH为所述隐含层神经元之间的连接权重矩阵，b_H为偏置向量，i＝1,2,…,n，n表示所述驾驶人多操作变量中操作变量的个数，σ(·)表示激活函数；循环神经元系数采用BPTT算法进行训练学习，对于基于梯度的学习需要模型参数θ和损失函数L之间存在闭式解，根据估计值和实际值之间的误差来最小化损失函数，则在损失函数上计算得到的梯度信息传回给模型，实现神经网络参数的修改；

假设对于序列Z₁,Z₂,…,Z_t，通过S_t＝G_θ(S_t-1,Z_t)将上一时刻的状态S_t-1映射到下一时刻的状态S_t，所述隐含层中神经元的损失函数L_T的梯度表示为：

根据链式法则，将Jacobian矩阵

分解为：

其中，S_T表示当前周期的状态矩阵，S_T-1表示上一周期的状态矩阵，S_T-2表示上上周期的状态矩阵，以此类推；一个周期等于所述第一预设时间段，每个周期具有m个时刻的状态。

5.如权利要求1所述的基于循环神经网络的驾驶人多操作疲劳特征提取方法，其特征在于：所述驾驶人多操作变量为与操作人直接相关的传感数据。

6.如权利要求5所述的基于循环神经网络的驾驶人多操作疲劳特征提取方法，其特征在于：所述传感数据包括方向盘转角、制动压力、左转向灯、右转向灯、节气门开度、横摆角速度、纵向加速度、横向加速度的时间序列。

Images