CN109934171B - 基于分层网络模型的驾驶员消极驾驶状态在线感知方法 - Google Patents

Abstract

本发明公开了一种基于分层网络模型的驾驶员消极驾驶状态在线感知方法，是对驾驶员消极驾驶状态进行分级，选取能够表征驾驶员消极驾驶状态的特征参数，构建分层网络模型进行训练，直至其满足系统误差要求；通过实时获取当前行车过程中行车信息，操作信息和面部信息，提取行车信息中的行车特征信息、操作信息中的操作特征信息以及面部信息中的面部特征信息；然后将提取的特征信息输入分层网络模型进行计算，得到当前驾驶员的消极驾驶程度。本发明通过提取到的特征能够在线的识别出驾驶员消极驾驶状态，可以有效的提高消极驾驶状态检测的精度，为提高驾驶安全性奠定基础，并且具有良好的实时性和迁移性，具有广阔的应用前景。

Description

基于分层网络模型的驾驶员消极驾驶状态在线感知方法

技术领域

本发明属于人工智能领域，主要涉及一种基于分层网络模型的驾驶员消极驾驶状态在线感知方法。

背景技术

近年来随着中国汽车保有量的迅速增加，道路交通安全问题已经成为社会焦点。据不完全统计，我国每年都有近10万人因车辆交通事故失去生命，交通事故成为全国各项事故中伤亡人数最多的一项，其中由于消极驾驶状态驾驶造成的交通安全事故占比很大一部分，严重威胁着广大社会群体的生命财产安全。因此，对影响驾驶行为的驾驶员消极驾驶状态进行监测和调节，可以更好的减少危险驾驶行为，保障交通安全。

目前，国内外对驾驶员消极驾驶状态的研究主要包括驾驶员消极驾驶状态的产生机理和影响因素、驾驶员带有消极驾驶状态时的行为表现、驾驶员消极驾驶对交通安全的影响以及驾驶员驾驶过程中的消极驾驶状态的感知等。其中对消极驾驶状态的产生机理、消极驾驶状态的行为表现和不良影响的研究相对成熟，但对消极驾驶状态感知方面的研究较少，且主要采用主观调查法，即通过访谈、问卷调查以及观察等形式对驾驶员的消极驾驶状态进行判别。主观调查法虽然具有直接、简单的特点，但易受到驾驶员主观因素的影响且具有时间滞后性，无法对驾驶员进行及时有效的帮助和驾驶安全等消极状态的预警。

因此，基于现代数据采集与信息融合技术、数据挖掘与分层智能网络模型等算法，探究基于多源信息融合的消极驾驶状态感知方法，对准确识别驾驶员的消极驾驶状态，从而尽可能地减小乃至避免驾驶员因消极驾驶状态对道路交通安全等产生的不良影响，具有重要的理论意义和应用价值。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于分层网络模型的驾驶员消极驾驶状态在线感知方法，以期能提高驾驶员消极驾驶状态感知的效率和准确度，从而为后续智能驾驶相关策略的制定提供重要依据。

本发明为解决技术问题采用如下技术方案：

本发明一种基于分层网络模型的驾驶员消极驾驶状态在线感知方法的特点是按如下步骤进行：

步骤1、对驾驶员消极驾驶状态分级；

根据驾驶员消极驾驶状态程度的不同，将驾驶员的消极程度划分为P个级别，并构成消极程度集合D＝{D₁,D₂,…,D_r,…D_P}，其中D_r表示第r个级别的消极程度，1≤r≤P；

步骤2、选取特征参数来表征驾驶员消极驾驶状态的特征；

将驾驶员消极驾驶状态的特征分为：行车特征、操作特征和面部信息特征；

定义每种特征分别含有R个特征参数，从而构成3×R个特征参数的特征矩阵集合x＝[x₁,x₂,…,x_s,…,x_S]，其中，x_s表示第s个特征参数，且所述特征矩阵集合x中前R个特征参数为行车特征参数、第R+1个特征参数到第2R个特征参数为操作特征参数、第2R+1个特征参数到第3R个特征参数为面部信息特征参数；s＝1,2,…S，S＝3×R；

步骤3、构建分层网络模型；

定义所述分层网络模型由起始层、优化层和输出层构成；

定义所述分层网络模型的起始层含有S个起始节点；

定义所述分层网络模型的优化层含有C个优化节点；

定义所述分层网络模型的输出层含有1个节点；

步骤4、利用标准样本对分层网络模型中的每个优化系数和优化偏置项进行训练，直至其满足误差要求，从而得到在线感知的分层网络模型；

步骤4.1、利用式(1)计算优化层的节点个数C：

式(1)中，1为输出层的节点个数，M为调节常数，且0≤M≤100，

为向下取整函数；

步骤4.2、从数据库中获取包含行车特征参数、操作特征参数和面部信息特征参数的N组输入样本X＝[X₁,X₂,…X_n,…,X_N]及其对应的期望输出结果U＝[U₁,U₂,…U_n,…,U_N]，其中，X_n为第n组输入样本，且第n组输入样本X_n包含R个行车特征参数、R个操作特征参数和R个面部信息特征参数，记为

为第n组输入样本的第s个输入样本，U_n为第n组输入样本X_n的期望输出结果，1≤n≤N；

步骤4.3、令n为训练次数，并初始化n＝1；将第n组输入样本X_n作为第n次训练的输入样本；

步骤4.4、利用式(2)得到第n次训练的第i个优化层节点的预转化值y_i′ⁿ：

式(2)中，

为第n次训练的第i个优化层节点的优化偏置项，

为第n次训练的第i个优化层节点分别与起始层中S个起始节点之间的优化系数矩阵，且

表示第n次训练的第j个起始层节点与第i个优化层节点之间的优化系数，T为矩阵转置；

步骤4.5、利用式(3)计算第n次训练的第i个优化层节点的优化转化值

从而得到第n次训练的优化转化值矩阵

步骤4.6、利用式(4)计算第n次训练的输出层节点输出的驾驶消极状态值U′_n：

式(4)中，μ_n为第n次训练的优化层各节点与输出层节点之间的优化系数矩阵，且

为第n次训练的第i个优化层节点与输出层节点之间的优化系数，L为优化层节点与输出层节点之间的优化偏置项；

步骤4.7、利用式(5)计算第n次训练的输出层节点的输出结果与第n组输入样本X_n的样本期望输出结果之间的误差E_n：

E_n＝(U′_n-U_n)² (5)

步骤4.8、若E_n＜ε，则保持各优化系数以及优化偏置项值不变，并执行步骤4.11；若E_n＞ε，则顺序执行步骤4.9；其中，ε为给定的误差精度；

步骤4.9、利用式(6)进行修正，得到第n次训练的修正后的第j个起始层节点与第i个优化层节点之间的优化系数ω_i′_j ⁿ、第n次训练的修正后的第i个优化层节点的优化偏置项λ_i′ⁿ、第n次训练的修正后的第i个优化层节点与输出层节点之间的优化系数μ_i′ⁿ：

式(6)中α、β、γ为训练系数；

步骤4.10、将ω_i′_j ⁿ赋值给

将λ_i′ⁿ赋值给

将μ_i′ⁿ赋值给

步骤4.11、将n+1赋值给n后，判断n＞N是否成立，若成立，则表示得到第N次训练的第j个起始层节点与第i个优化层节点之间的优化系数

第N次训练的第i个优化层节点的优化偏置项

第N次训练的第i个优化层节点与输出层节点之间的优化系数

并分别作为最优的优化系数ω_ij ^*和μ_i ^*以及优化偏置项λ_i ^*；否则返回步骤4.4执行；

步骤4.12、将所述最优的优化系数ω_ij ^*和μ_k ^*以及优化偏置项λ_i ^*代入式(2)、式(3)和式(4)中，从而得到在线感知的分层网络模型；

步骤5、在驾驶员行驶过程中实时获取R个行车特征参数、R个操作特征参数和R个面部信息特征参数并组成待识别特征矩阵集合

并将所述待识别特征矩阵集合

输入所述在线感知的分层网络模型，得到驾驶消极状态值

步骤6、利用式(7)得到所述驾驶消极状态值

在所述消极程度集合D中所对应的驾驶消极状态等级

以实现驾驶员消极驾驶状态的在线感知：

与已有技术相比，本发明的有益效果在：

1、本发明设计了一种基于分层网络模型的驾驶员消极驾驶状态在线感知方法，能够在线感知出驾驶员的消极驾驶状态程度，实现了消极状态感知；设计了能够通过一定数量样本进行训练的分层网络模型，通过不断地模拟训练，逐步降低了模型的系统误差，直至其满足精度要求；根据采集的行车信息、操作信息、面部信息实时地对驾驶员情绪状态进行感知，得出消极驾驶状态等级，从而为后续智能驾驶相关策略的制定提供重要依据。

2、本发明通过传感器获取车辆行驶信息和驾驶员操作信息；通过摄像头获取驾驶员面部信息，并对图像去噪，对图像中的人脸区域进行识别与分割，提取了面部特征信息；各类特征参数信息识别准确；融合了行车信息、驾驶员操作信息和驾驶员面部信息综合评价驾驶员的情绪，强调了决策信息的全面性；同时，在连接层设置了曲化函数，能够增加分层智能网络模型的非线性；极大地提高了驾驶员消极驾驶状态评价的准确率，降低了交通事故的发生概率。

3、本发明提出的驾驶员消极驾驶状态在线感知方法，使用设备简单，可适应于在各种环境下进行在线感知，并且不影响驾驶员的正常驾驶操作；实验过程方便实现。

4、本发明可扩展至驾驶情绪识别研究领域，该方法可移植性强，可应用于多种情况下的情绪识别。

附图说明

图1为本发明分层网络模型结构图；

图2为本发明分层网络模型的模型训练过程图。

具体实施方式

本实施例中，一种基于分层网络模型的驾驶员消极驾驶状态在线感知方法：是对驾驶员消极驾驶状态进行分级，选取能够表征驾驶员消极驾驶状态的特征参数，构建分层网络模型进行训练，直至其满足系统误差要求；通过实时获取当前行车过程中行车信息，操作信息和面部信息，提取行车信息中的行车特征信息、操作信息中的操作特征信息以及面部信息中的面部特征信息；然后将提取的特征信息输入分层网络模型进行计算，得到当前驾驶员的消极驾驶程度。具体的说，是按如下步骤进行：

步骤1、对驾驶员消极驾驶状态分级；

根据驾驶员消极驾驶状态程度的不同，将驾驶员的消极程度划分为P个级别，并构成消极程度集合D＝{D₁,D₂,…,D_r,…D_P}，其中D_r表示第r个级别的消极程度，1≤r≤P；

本实施例中，选取P＝10个级别的消极程度，构成消极程度集合D＝{1,2,3,4,5,6,7,8,9,10}；

步骤2、选取特征参数来表征驾驶员消极驾驶状态的特征；

将驾驶员消极驾驶状态的特征分为：行车特征、操作特征和面部信息特征；

定义每种特征分别含有R个特征参数，从而构成3×R个特征参数的特征矩阵集合x＝[x₁,x₂,…,x_s,…,x_S]，其中，x_s表示第s个特征参数，且特征矩阵集合x中前R个特征参数为行车特征参数、第R+1个特征参数到第2R个特征参数为操作特征参数、第2R+1个特征参数到第3R个特征参数为面部信息特征参数；s＝1,2,…S，S＝3×R；

本实施例中，行车特征参数包括有：车辆速度、加速度、横摆角速度；操作特征参数包括有：方向盘转角、加速踏板位置、变速器档位；面部信息特征参数包括有：驾驶员的眼睛闭合度、嘴巴张开程度、眉毛弯曲程度。

步骤3、构建分层网络模型；

定义分层网络模型由起始层、优化层和输出层构成；

定义分层网络模型的起始层含有S个起始节点；

定义分层网络模型的优化层含有C个优化节点；

定义分层网络模型的输出层含有1个节点；

本实施例中，由于行车特征参数、操作特征参数、面部信息特征参数各选取了3个，因此起始层含有S＝9个起始节点；

步骤4、利用标准样本对分层网络模型中的每个优化系数和优化偏置项进行训练，直至其满足误差要求，从而得到在线感知的分层网络模型；分层网络模型的模型训练过程图如图2所示；

步骤4.1、利用式(1)计算优化层的节点个数C：

式(1)中，1为输出层的节点个数，M为调节常数，且0≤M≤100，

为向下取整函数；

具体实施中，调节常数的取值要尽量使优化层节点个数处于起始层节点个数和输出层节点个数之间，本实施例中，取M＝6，由于已知起始层节点S的个数为9，输出层节点个数为1，计算得出优化层节点个数为4；分层网络模型结构图如图1所示；

步骤4.2、从数据库中获取包含行车特征参数、操作特征参数和面部信息特征参数的N组输入样本X＝[X₁,X₂,…X_n,…,X_N]及其对应的期望输出结果U＝[U₁,U₂,…U_n,…,U_N]，其中，X_n为第n组输入样本，且第n组输入样本X_n包含R个行车特征参数、R个操作特征参数和R个面部信息特征参数，记为

为第n组输入样本的第s个输入样本，U_n为第n组输入样本X_n的期望输出结果，1≤n≤N；

具体实施中，从数据库中获取的标准样本应尽量大于1000小于100000，训练样本过少会降低情绪状态感知的准确度，训练样本过多会增加训练负担。

步骤4.3、令n为训练次数，并初始化n＝1；将第n组输入样本X_n作为第n次训练的输入样本；

步骤4.4、利用式(2)得到第n次训练的第i个优化层节点的预转化值y_i′ⁿ：

式(2)中，

为第n次训练的第i个优化层节点的优化偏置项，

为第n次训练的第i个优化层节点分别与起始层中S个起始节点之间的优化系数矩阵，且

表示第n次训练的第j个起始层节点与第i个优化层节点之间的优化系数，T为矩阵转置；

步骤4.5、利用式(3)计算第n次训练的第i个优化层节点的优化转化值

从而得到第n次训练的优化转化值矩阵

由于式(2)为线性函数，我们可以利用式(3)的曲化函数对预转化值y_i′ⁿ进行曲化，目的是增加分层网络模型的非线性，提高分层网络模型识别的精度；

步骤4.6、利用式(4)计算第n次训练的输出层节点输出的驾驶消极状态值U_n′：

式(4)中，μ_n为第n次训练的优化层各节点与输出层节点之间的优化系数矩阵，且

为第n次训练的第i个优化层节点与输出层节点之间的优化系数，L为优化层节点与输出层节点之间的优化偏置项；

步骤4.7、利用式(5)计算第n次训练的输出层节点的输出结果与第n组输入样本X_n的样本期望输出结果之间的误差E_n：

E_n＝(U′_n-U_n)² (5)

步骤4.8、若E_n＜ε，则保持各优化系数以及优化偏置项值不变，并执行步骤4.11；若E_n＞ε，则顺序执行步骤4.9；其中，ε为给定的误差精度；本实施例中，取ε＝0.02；

步骤4.9、利用式(6)进行修正，得到第n次训练的修正后的第j个起始层节点与第i个优化层节点之间的优化系数

第n次训练的修正后的第i个优化层节点的优化偏置项λ_i′ⁿ、第n次训练的修正后的第i个优化层节点与输出层节点之间的优化系数μ_i′ⁿ：

式(6)中α、β、γ为训练系数；作用是使模型在给定样本的情况下以一定的速率进行训练优化，以满足误差要求。本实施例中，取α＝0.1；β＝0.1；γ＝0.1；

步骤4.10、将ω_ij′ⁿ赋值给

将λ_i′ⁿ赋值给

将μ_i′ⁿ赋值给

步骤4.11、将n+1赋值给n后，判断n＞N是否成立，若成立，则表示得到第N次训练的第j个起始层节点与第i个优化层节点之间的优化系数

第N次训练的第i个优化层节点的优化偏置项

第N次训练的第i个优化层节点与输出层节点之间的优化系数

并分别作为最优的优化系数ω_ij ^*和μ_i ^*以及优化偏置项λ_i ^*；否则返回步骤4.4执行；

步骤4.12、将最优的优化系数ω_ij ^*和μ_k ^*以及优化偏置项λ_i ^*代入式(2)、式(3)和式(4)中，从而得到在线感知的分层网络模型；

步骤5、在驾驶员行驶过程中实时获取R个行车特征参数、R个操作特征参数和R个面部信息特征参数并组成待识别特征矩阵集合

并将待识别特征矩阵集合

输入在线感知的分层网络模型，得到驾驶消极状态值

具体实施中，可通过安装在汽车车身上的采集设备采集行车参数信息；通过安装在方向盘、油门踏板、变速器档位之上的采集设备采集操作参数信息；通过设置在车内仪表盘之上的红外高速摄像头采集驾驶员的面部视频图像信息；从采集行车参数信息设备中提取车辆行驶信息；从采集驾驶员操作参数信息设备中提取驾驶员操作信息；从面部视频信息中获取驾驶员的面部图像，并从中提取面部特征。

其中，从面部视频信息中获取驾驶员的面部图像，并从中提取面部特征，步骤：从视频图像信息中提取当前驾驶员面部图像，对图像去噪，然后基于YCbCr色彩空间的自适应肤色分割方法对图像中的人脸区域进行识别与分割，再从人脸区域中基于灰度投影积分提取面部特征，人脸区域包括人的眼睛、眉毛和嘴巴区域。

步骤6、利用式(7)得到驾驶消极状态值

在消极程度集合D中所对应的驾驶消极状态等级

以实现驾驶员消极驾驶状态的在线感知：

综上，本方法是在研究驾驶员消极驾驶状态识别系统的基础上，完善驾驶员消极驾驶状态的感知方法，从而实现提高效率和准确度的目的。为后续智能驾驶相关策略的制定提供重要依据，并且该方法可扩展至汽车智能驾驶决策系统的研究领域。

Claims (1)

1.一种基于分层网络模型的驾驶员消极驾驶状态在线感知方法，其特征是按如下步骤进行：

步骤1、对驾驶员消极驾驶状态分级；

根据驾驶员消极驾驶状态程度的不同，将驾驶员的消极程度划分为P个级别，并构成消极程度集合D＝{D₁,D₂,…,D_r,…D_P}，其中D_r表示第r个级别的消极程度，1≤r≤P；

步骤2、选取特征参数来表征驾驶员消极驾驶状态的特征；

将驾驶员消极驾驶状态的特征分为：行车特征、操作特征和面部信息特征；

定义每种特征分别含有R个特征参数，从而构成3×R个特征参数的特征矩阵集合x＝[x₁,x₂,…,x_s,…,x_S]，其中，x_s表示第s个特征参数，且所述特征矩阵集合x中前R个特征参数为行车特征参数、第R+1个特征参数到第2R个特征参数为操作特征参数、第2R+1个特征参数到第3R个特征参数为面部信息特征参数；s＝1,2,…S，S＝3×R；

步骤3、构建分层网络模型；

定义所述分层网络模型由起始层、优化层和输出层构成；

定义所述分层网络模型的起始层含有S个起始节点；

定义所述分层网络模型的优化层含有C个优化节点；

定义所述分层网络模型的输出层含有1个节点；

步骤4、利用标准样本对分层网络模型中的每个优化系数和优化偏置项进行训练，直至其满足误差要求，从而得到在线感知的分层网络模型；

步骤4.1、利用式(1)计算优化层的节点个数C：

式(1)中，1为输出层的节点个数，M为调节常数，且0≤M≤100，

为向下取整函数；

步骤4.2、从数据库中获取包含行车特征参数、操作特征参数和面部信息特征参数的N组输入样本X＝[X₁,X₂,…X_n,…,X_N]及其对应的期望输出结果U＝[U₁,U₂,…U_n,…,U_N]，其中，X_n为第n组输入样本，且第n组输入样本X_n包含R个行车特征参数、R个操作特征参数和R个面部信息特征参数，记为

为第n组输入样本的第s个输入样本，U_n为第n组输入样本X_n的期望输出结果，1≤n≤N；

步骤4.3、令n为训练次数，并初始化n＝1；将第n组输入样本X_n作为第n次训练的输入样本；

步骤4.4、利用式(2)得到第n次训练的第i个优化层节点的预转化值

式(2)中，

为第n次训练的第i个优化层节点的优化偏置项，

为第n次训练的第i个优化层节点分别与起始层中S个起始节点之间的优化系数矩阵，且

表示第n次训练的第j个起始层节点与第i个优化层节点之间的优化系数，T为矩阵转置；

步骤4.5、利用式(3)计算第n次训练的第i个优化层节点的优化转化值

从而得到第n次训练的优化转化值矩阵

步骤4.6、利用式(4)计算第n次训练的输出层节点输出的驾驶消极状态值U′_n：

式(4)中，μ_n为第n次训练的优化层各节点与输出层节点之间的优化系数矩阵，且

为第n次训练的第i个优化层节点与输出层节点之间的优化系数，L为优化层节点与输出层节点之间的优化偏置项；

步骤4.7、利用式(5)计算第n次训练的输出层节点的输出结果与第n组输入样本X_n的样本期望输出结果之间的误差E_n：

E_n＝(U′_n-U_n)² (5)

步骤4.8、若E_n＜ε，则保持各优化系数以及优化偏置项值不变，并执行步骤4.11；若E_n＞ε，则顺序执行步骤4.9；其中，ε为给定的误差精度；

步骤4.9、利用式(6)进行修正，得到第n次训练的修正后的第j个起始层节点与第i个优化层节点之间的优化系数

第n次训练的修正后的第i个优化层节点的优化偏置项

第n次训练的修正后的第i个优化层节点与输出层节点之间的优化系数

式(6)中α、β、γ为训练系数；

步骤4.10、将

赋值给

将

赋值给

将

赋值给

步骤4.11、将n+1赋值给n后，判断n＞N是否成立，若成立，则表示得到第N次训练的第j个起始层节点与第i个优化层节点之间的优化系数

第N次训练的第i个优化层节点的优化偏置项

第N次训练的第i个优化层节点与输出层节点之间的优化系数

并分别作为最优的优化系数ω_ij ^*和μ_i ^*以及优化偏置项λ_i ^*；否则返回步骤4.4执行；

步骤4.12、将所述最优的优化系数ω_ij ^*和μ_k ^*以及优化偏置项λ_i ^*代入式(2)、式(3)和式(4)中，从而得到在线感知的分层网络模型；

步骤5、在驾驶员行驶过程中实时获取R个行车特征参数、R个操作特征参数和R个面部信息特征参数并组成待识别特征矩阵集合

并将所述待识别特征矩阵集合

输入所述在线感知的分层网络模型，得到驾驶消极状态值

步骤6、利用式(7)得到所述驾驶消极状态值

在所述消极程度集合D中所对应的驾驶消极状态等级

以实现驾驶员消极驾驶状态的在线感知：

Images