CN111738337A - 一种混行交通环境下的驾驶人分心状态检测识别方法 - Google Patents

一种混行交通环境下的驾驶人分心状态检测识别方法 Download PDF

Info

Publication number
CN111738337A
CN111738337A CN202010578266.XA CN202010578266A CN111738337A CN 111738337 A CN111738337 A CN 111738337A CN 202010578266 A CN202010578266 A CN 202010578266A CN 111738337 A CN111738337 A CN 111738337A
Authority
CN
China
Prior art keywords
data
driver
driving
indexes
mixed traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010578266.XA
Other languages
English (en)
Other versions
CN111738337B (zh
Inventor
金立生
华强
郭柏苍
迟浩天
孙栋先
张舜然
高铭
石健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Yanshan University
Original Assignee
Jilin University
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University, Yanshan University filed Critical Jilin University
Priority to CN202010578266.XA priority Critical patent/CN111738337B/zh
Publication of CN111738337A publication Critical patent/CN111738337A/zh
Application granted granted Critical
Publication of CN111738337B publication Critical patent/CN111738337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种混行交通环境下的驾驶人分心状态检测识别方法，包括：搭建混行场景、采集驾驶人眼动参数数据及驾驶绩效数据、处理数据和择优筛选、搭建基于融合注意力机制的LSTM驾驶人分心识别模型、对驾驶人分心状态进行辨识等步骤，本发明采用融合注意力机制的LSTM算法进行分心驾驶的识别建模，提高分心识别的准确度与鲁棒性，填补了在混行交通环境下对驾驶人分心识别的空白，解决驾驶人在混行交通环境下驾驶过程中出现的分心驾驶而引发道路交通事故的技术问题，提高驾驶人的车辆驾驶安全性。

Description

一种混行交通环境下的驾驶人分心状态检测识别方法
技术领域
本发明涉及一种驾驶状态检测识别方法，特别涉及一种混行交通环境下的驾驶人分心状态检测识别方法。
背景技术
分心驾驶是导致交通事故的主要原因，构成了日益严重的交通安全问题，据美国高速公路安全局统计，25％的交通事故是由于驾驶分心导致的，一项基于1367名驾驶员的调查研究发现，驾驶分心导致的大型交通事故约占14％-33％，并且随着自动驾驶和智能网联技术逐渐发展，人工驾驶车辆、网联人工驾驶车辆、非网联自动驾驶车辆和网联自动驾驶车辆混行将成为常态，混行交通环境将变得更加复杂，导致驾驶分心的因素也明显增多，因此,在混行交通环境下对驾驶人驾驶状态进行分心识别变得极其重要,当出现分心驾驶状态时,给予有效的预警,能够避免道路交通事故的发生，提高驾驶安全性。
目前,分心驾驶检测方法大多数是在传统驾驶环境下对驾驶人进行分心识别，然而基于必将出现的混行交通环境，对分心识别的研究较少，现有的分心行为识别方法一般是以驾驶姿态图片做叠加处理构建后作为输入，基于深度卷积神经网络的分心驾驶识别方法对分心驾驶状态进行识别，都是基于传统驾驶环境，而未考虑眼动参数、驾驶绩效参数，尤其是眼动参数是识别分心驾驶的重要指标，若不能够全面的考虑驾驶分心的影响指标，对分心识别的精度会产生一定的影响。
发明内容
本发明为解决上述技术问题，提供一种混行交通环境下的驾驶人分心状态检测识别方法，包括以下步骤：
(1)搭建混行交通场景，包括直道、弯道、十字交叉路口、人行横道、建筑物、行人、网联人工驾驶车辆、自动驾驶车辆、人工驾驶车辆、网联自动驾驶车辆，设置车流量、车辆类型及其运行规则，在所搭建的场景中，车道及每个路口出现的车辆类型都设定为随机；
(2)采集驾驶人在混行交通场景中，正常驾驶状态下的眼动参数数据和驾驶绩效数据，及分心驾驶状态下的眼动参数数据和驾驶绩效数据；
(3)对采集的数据预处理，剔除异常数据；
(4)对预处理后的数据进行相关均值、标准差计算，采用min-max标准化方法对数据进行归一化处理，然后融合数据；
(5)利用基于灰色粗糙集理论的特征提取方法提取分心驾驶重要特征指标，通过最优特征筛选方法对候选特征指标进行择优提取，筛选出数项最优特征指标，采用统计分析的方法检验在正常驾驶和分心驾驶两种不同驾驶状态下所选最优特征指标差异的显著性,构成特征指标数据集A；
(6)将特征指标数据集A制作好标签数据，标签0为正常驾驶，标签1为分心驾驶；将数据集A拆分为训练集和测试集，训练集将用来对混行交通场景下驾驶人分心状态识别模型建立及模型参数优化，测试集用来检验模型的泛化能力。
(7)构建混行交通场景下的分心驾驶识别模型结构并分心识别：采用单向的LSTM结构来构建模型，包括第一层sequenceInput层，第二层LSTM层，第三层attention层，第四层output层：LSTM层处理时序数据，attention层计算LSTM层输出向量ht的权重，通过加权计算得到最终的特征向量a；最后通过softmax层输出分心驾驶的识别结果，输出结果为0或1，标签0为正常驾驶，标签1为分心驾驶；
步骤(1)中，采用simulink、PreScan、Vissim软件搭建混行交通场景，构成一个具有8个十字交叉路口、总长度为5千米的椭圆形车道，相邻路口之间相距500米。
步骤(2)中，眼动参数数据包括眨眼频率、注视频率、眼跳频率、眼跳幅度、眨眼持续时间、注视持续时间、瞳孔直径、眼跳峰值速度、眼跳速度、眼跳持续时间；驾驶绩效数据包括最小减速度、最大加速度、制动时间、横向加速度、速度、十字路口通过时长、横向位移、制动时长、转向熵。
步骤(2)所采集的样本数据大于1000，步骤(3)采用Grubbs criterion对数据里的异常数据进行剔除：若某样本测量值xi对应的残差vi满足|vi|＝|xi-x|≥g(n,a)×σ(X)时将该数据舍去；其中
Figure BDA0002551599970000031
是样本数据的均值，
Figure BDA0002551599970000032
是测量数据集的标准偏差，g(n,a)取决于测量次数n和显著性水平a，相当于犯“弃真”错误的概率系数，a取0.01或0.05。
步骤(4)对步骤(3)预处理后的数据进行相关均值
Figure BDA0002551599970000033
标准差
Figure BDA0002551599970000034
计算，yi为处理后的样本特征值，得到相关均值、标准差参数指标(瞳孔直径均值、眼跳幅度标准差、眼跳持续时间均值、眼跳持续时间标准差等)数据，为避免不同参数之间存在单位量纲不同的影响，消除各指标之间的差异性，采用min-max标准化方法对样本数据进行归一化处理：
Figure BDA0002551599970000035
其中，y'为归一化后的值；y为样本初始值；ymin为样本最小值；ymax为样本最大值。
步骤(5)利用基于灰色粗糙集理论的特征提取方法提取分心驾驶重要特征指标,通过最优特征选取算法对候选特征指标进行择优提取，筛选出前8项最优特征指标；所述的候选特征指标包括眨眼频率、注视频率、眼跳频率、眼跳幅度均值、眨眼持续时间均值、眨眼持续时间标准差、注视持续时间均值、注视持续时间标准差、瞳孔直径标准差、瞳孔直径均值、眼跳幅度标准差、眼跳峰值速度均值、眼跳峰值速度标准差、眼跳速度均值、眼跳速度标准差、眼跳持续时间均值、眼跳持续时间标准差、最小减速度、最大加速度、制动时间、横向加速度、速度标准差、速度均值、十字路口通过时长、横向位移、制动时长、转向熵。
步骤(5)中灰色关联系数计算如下；
设有n个待选特征指标Xn，每个参数包含m个特征数据，记为Xn＝(xn(1)，xn(2)，…，xn(m))，对所有的i≤j,i,j＝1,2,…,m，计算出xi与xj的关联系数ξij(m)，其计算公式如下：
Δmin(m)＝minmin|xi(m)-xj(m)|
Δmax(m)＝maxmax|xi(m)-xj(m)|
Figure BDA0002551599970000041
式中：minmin|xi(m)-xj(m)|为两级最小差，maxmax|xi(m)-xj(m)|为两级最大差，ρ为分辨系数，ρ越大，分辨率越小，灰色系统理论取关联系数ξi(n)的均值作为序列Xi与Xj的关联系数
Figure BDA0002551599970000042
进而得出灰色关联度矩阵Rn×n如下：
Figure BDA0002551599970000043
将粗糙集理论中指标划分论域算法与一次形成聚类结构算法相结合，进行分类，其步骤为：选取两个指标，若都不属于已分好的组，则归为一个独立分组；若一个出现在已有的组中，则不分组；若分别属于已有的两个分组中，则把这两个组合并；若都出现在同一组中，则不再分组，如此反复操作，直至把全部待选指标聚类完成；然后采用粗糙集理论通过不可分辨关系求出指标数据的知识约简；
将信息系统表示为S＝(U,A,V,f)，U是对象的有限集，A是有限属性集，A＝C∪D，C是条件属性子集，D是决策属性子集，V是属性值组成的集合，指定U中每一个对象的属性值，即f:U×A→V。
设
Figure BDA0002551599970000051
不可分辨关系IND(P)＝{(x,y)∈U2
Figure BDA0002551599970000052
x≠y,f(x,a)＝f(y,a)}，IND(P)成就了U的一个划分，用U/IND(P)表示，简记为U/P＝{x1,x2,…,xk}。
设
Figure BDA0002551599970000053
r∈R，当IND(R)＝IND(R-{r})时，称r是R中不必要的，否则称r是R中必要的；若每个r∈R都是R中必要的，则称R为独立的。假设Q∈R，若Q是独立的，并且IND(P)＝IND(Q)，则称Q为论域U在属性集P上的约简。
根据此分类应用粗糙集理论约简指标得到最优特征评价指标数据集A。
步骤(6)，将特征指标数据集A作为驾驶人分心状态识别的输入，利用“留出法”对模型进行测试集和训练集的划分，保证数据分布的一致性，即每次训练的过程中，能够确保训练集中包含正常驾驶和分心驾驶状态；
步骤(7)中LSTM层由3部分组成，分别是输入门it、输出门ot和遗忘门ft，通过其元胞内部隐藏状态的一系列计算可以输出计算结果，其中σ是sigmoid激活函数,Ct、
Figure BDA0002551599970000054
代表更新状态，Wf,Wi,Wo,Wc代表了相应权重，bf,bi,bc,bo是相应偏置；其LSTM元胞内部的计算过程如下：
第一步决定从元细胞中丢弃什么信息，这个决定是通过遗忘门完成的，此门输入当前层t时刻的信息数据xt和上个隐藏层的输出结果ht-1，然后输出一个0-1的数值给细胞状态Ct-1，其公式如下：
ft＝σ(Wf·[ht-1,xt]+bf)
第二步是确定哪些新信息存储在细胞单元中，其步骤分两部分完成，第一，“输入门层”决定什么信息将要更新，然后，tanh层创建一个新的候选值向量
Figure BDA0002551599970000061
其用于更新下个新状态，公式如下：
it＝σ(Wi·[ht-1,xt]+bi)
Figure BDA0002551599970000062
第三步将旧细胞状态Ct-1更新为新的细胞状态Ct，首先ft与Ct-1相乘，去除不重要的信息，然后添加
Figure BDA0002551599970000063
产生新的细胞状态，公式如下：
Figure BDA0002551599970000064
最后，输出门ot决定什么重要信息应该输出，然后tanh层处理细胞状态Ct，二者相乘得到最终的输出结果，公式如下：
ot＝σ(Wo·[ht-1,xt]+bo)
ht＝ot*tanh(Ct)
步骤(7)中attention层中学习机制F是通过全连接层实现的，用来计算LSTM层输出向量ht的权重，通过加权计算得到最终的特征向量a，相应的计算公式如下：
et＝F(ht)
式中，向量ht代表t时刻LSTM层的输出，其权重Wt的计算公式如下：
Figure BDA0002551599970000065
然后通过公式进行加权计算得到特征表示向量a，公式如下：
Figure BDA0002551599970000071
本发明的有益效果：
本发明提出的混行交通环境下基于融合注意力机制的LSTM驾驶员分心状态识别方法,是一种时间循环神经网络识别模型，对前后信息具有记忆，能够利用历史信息来挖掘有用信息。此模型的输入数据为驾驶人眼动参数数据与驾驶绩效数据的融合，该数据序列富含有大量的内容，数据信息彼此间有着复杂的时间关联性，因此采用融合注意力机制的LSTM算法进行分心驾驶的识别建模提高分心识别的准确度与鲁棒性。本发明填补了在混行交通环境下对驾驶人分心识别的空白，对混行交通环境下驾驶人出现的分心驾驶状态进行识别，用来解决驾驶人在混行交通环境下驾驶过程中出现的分心驾驶而引发道路交通事故的技术问题，提高驾驶人的车辆驾驶安全性。本发明也弥补了现有分心识别系统未考虑驾驶人生理信息数据与驾驶绩效数据融合的缺陷。
附图说明
图1为本发明驾驶分心识别流程示意图；
图2为本发明融合注意力机制的LSTM驾驶人分心状态识别模型架构示意图。
具体实施方式
本发明为解决上述技术问题，提供一种混行交通环境下的驾驶人分心状态检测识别方法，包括以下步骤：
(1)采用simulink、PreScan、Vissim软件搭建混行交通场景：
打开PreScan Process Manager，选择GUI进入场景搭建界面，并新建文件；
点击界面左侧场景元素区域中的Infrastructure，拖拽8个X Crossing模块、4个Straight Road模块以及4个Curved Road模块于界面中央的编辑区域，对这些模块进行相应的编辑，使其组成一个具有8个十字交叉路口且总长度为5千米的椭圆形车道，相邻路口之间相距500米；
分别拖拽Pedestrian Crossing模块到8个十字交叉路口上，构建人行横道；
从左侧的buildings选项中，拖拽建筑物模块于道路附近，构建道路周边楼房建筑物，完成静态道路构建；
从左侧的Actors模块中选取所需车型作为主车，将其拖拽到驾驶起点后，设置PreScan中的V2X传感器及V2X插件，将其构建成网联人工驾驶车辆，通过外接罗技G29方向盘由驾驶人驾驶，驾驶人可获得车道上200m内其他网联车辆的驾驶信息如行驶速度，相对距离等；
在PreScan上方的工具栏中依次点击Plugins>Vissim>Settings，设置ObjectPool中的车辆类型及数量，构建道路中所包含的车辆类型分别为网联人工驾驶车辆、自动驾驶车辆、人工驾驶车辆、网联自动驾驶车辆；
打开Visssim，在PreScan中依次点击Plugins>Vissim2.1.0>Generate roads inVissim，在Vissim中创建路网并设置车流量、车辆类型及其运行规则，在所搭建的场景中，车道及每个路口出现的车辆类型都设定为随机，且符合真实场景；
最后通过Simulink将PreScan与Vissim相连接，从而完成混行交通场景的构建。
(2)采集40名驾驶人驾驶网联人工驾驶车辆在混行交通场景中，正常驾驶状态下的眼动参数数据和驾驶绩效数据，及分心驾驶状态下的眼动参数数据和驾驶绩效数据；
眼动参数数据采用Tobii Eye tracker眼动仪进行采集，包括眨眼频率、注视频率、眼跳频率、眼跳幅度、眨眼持续时间、注视持续时间、瞳孔直径、眼跳峰值速度、眼跳速度、眼跳持续时间；驾驶绩效数据通过驾驶模拟器导出，包括最小减速度、最大加速度、制动时间、横向加速度、速度、十字路口通过时长、横向位移、制动时长、转向熵。
其中，驾驶分心是由钟表次任务诱发的，方法为：驾驶助理随机对驾驶人说出一个时间(如2:05锐角)，时间范围为1:00-12:59，每个问题时间间隔为4s,驾驶人需思考答出时针与分针之间的夹角为钝角还是锐角，从而诱发驾驶人分心驾驶。钟表次任务时长覆盖整个驾驶时长，以保证全过程为分心驾驶。
(3)对采集的数据预处理，剔除异常数据：
采集样本数据2000组，属于大样本，满足格拉布斯准则的样本需求，可采用Grubbscriterion对数据库里的异常数据进行剔除；
若某样本测量值xi对应的残差vi满足下式|vi|＝|xi-x|≥g(n,a)×σ(X)时应将该数据舍去；其中
Figure BDA0002551599970000091
是样本数据的均值；
Figure BDA0002551599970000092
是测量数据集的标准偏差，可从贝塞尔函数中得到；g(n,a)是取决于测量次数n和显著性水平a(相当于犯“弃真”错误的概率系数)，a通常取0.01或0.05，可通过查表得到；
(4)采用spss软件对处理后的数据进行相关均值
Figure BDA0002551599970000093
标准差
Figure BDA0002551599970000094
计算，yi为处理后的样本特征值，为避免不同参数之间存在单位量纲不同的影响，消除各指标之间的差异性，采用min-max标准化方法对样本数据进行归一化处理：
Figure BDA0002551599970000095
其中，y'为归一化后的值；y为样本原始值；ymin为样本最小值；ymax为样本最大值；然后融合数据。
(5)利用基于灰色粗糙集理论的特征提取方法提取分心驾驶特征指标，通过最优特征筛选方法对27项候选特征指标进行择优提取，筛选出前8项最优特征指标，所述的候选特征指标包括眨眼频率、注视频率、眼跳频率、眼跳幅度均值、眨眼持续时间均值、眨眼持续时间标准差、注视持续时间均值、注视持续时间标准差、瞳孔直径标准差、瞳孔直径均值、眼跳幅度标准差、眼跳峰值速度均值、眼跳峰值速度标准差、眼跳速度均值、眼跳速度标准差、眼跳持续时间均值、眼跳持续时间标准差、最小减速度、最大加速度、制动时间、横向加速度、速度标准差、速度均值、十字路口通过时长、横向位移、制动时长、转向熵；
灰色关联系数计算；
设有n个待选特征指标Xn，每个参数包含m个特征数据，记为Xn＝(xn(1)，xn(2)，…，xn(m))，对所有的i≤j,i,j＝1,2,…,m，计算出xi与xj的关联系数ξij(m)，其计算公式如下：
Δmin(m)＝minmin|xi(m)-xj(m)|
Δmax(m)＝maxmax|xi(m)-xj(m)|
Figure BDA0002551599970000101
式中：minmin|xi(m)-xj(m)|为两级最小差，maxmax|xi(m)-xj(m)|为两级最大差，分辨系数ρ越大，分辨率越小，通常取0.5最优，灰色系统理论取关联系数ξi(n)的均值作为序列Xi与Xj的关联系数
Figure BDA0002551599970000102
进而得出灰色关联度矩阵Rn×n如下：
Figure BDA0002551599970000103
将粗糙集理论中指标划分论域算法与一次形成聚类结构算法相结合，进行分类，其步骤为：选取两个指标，若都不属于已分好的组，则归为一个独立分组；若一个出现在已有的组中，则不分组；若分别属于已有的两个分组中，则把这两个组合并；若都出现在同一组中，则不再分组，如此反复操作，直至把全部待选指标聚类完成。根据此分类应用粗糙集理论约简指标得到最优特征指标；
设论域U＝{x}，x为分心驾驶，x内包含j个指标，即x＝(x1,x2,x3····xj)，j＝1,2,3····27，各评价指标用Cj表示，Cj＝xj，分类如下：
X＝U/C
根据此分类应用粗糙集理论约简指标得：
U/(C-C1)＝U/(C-C2)＝U/(C-C14)＝U/(C-C6)＝U/(C-C21)＝U/(C-C9)
U/(C-C3)＝U/(C-C5)＝U/(C-C12)＝U/(C-C17)＝U/(C-C22)＝U/(C-C25)
U/(C-C15)＝U/(C-C7)＝U/(C-C16)＝U/(C-C11)＝U/(C-C24)＝U/(C-C19)
U/(C-C20)＝U/(C-C27)＝U/(C-C26)＝U/(C-C23)＝U/(C-C18)
U/(C-C4)＝U/(C-C8)
U/(C-C10)＝U/(C-C13)
分析集合约简掉C2,C14,C6,C21,C9,C5,C12,C17,C22,C25,C7,C16,C11,C24,C19,C27,C26,C23,C18后不影响分类结果，属于不必要的指标，C4,C8分别属于眼动状态指标和驾驶绩效指标，故两个指标都保留；约简后的最优特征评价指标集为{C1,C3,C4,C8,C10,C13,C15,C20}＝{速度均值、眨眼频率、注视频率、最大加速度、眼跳频率、十字路口通过时长、眼跳幅度均值、瞳孔直径均值}。
采用统计分析的方法检验在不同驾驶状态(正常驾驶、分心驾驶)下所选最优特征指标差异的显著性,证明筛选出的最优特征指标的合理性,构成最优特征指标数据集A。
(6)将特征指标数据集A作为驾驶人分心状态识别的输入，利用“留出法”对模型进行测试集和训练集的划分，保证数据分布的一致性，即每次训练的过程中，能够确保训练集中包含正常驾驶和分心驾驶状态；
(7)构建混行交通场景下的分心驾驶识别模型结构并分心识别：
采用单向的LSTM结构来构建模型，初始的长短期记忆网络单元个数为100，包括第一层sequenceInput层，第二层LSTM层，第三层attention层，第四层output层：
其中，LSTM属于RNN中一种，在处理时序数据时具有与标准RNN相同的良好性能，对比普通RNN，LSTM能够记住长期序列历史数据中重要特征或时刻，并引入遗忘门能够防止梯度爆炸和梯度消失。标准LSTM由3部分组成，分别是输入门、输出门和遗忘门，通过其元胞内部隐藏状态的一系列计算可以输出计算结果，其中σ是sigmoid激活函数，Ct、
Figure BDA0002551599970000121
代表更新状态，Wf,Wi,Wo,Wc代表了相应权重，bf,bi,bc,bo是相应偏置，其LSTM元胞内部的计算过程如下：
第一步决定从元细胞中丢弃什么信息，这个决定是通过忘记门完成的，此门输入当前层t时刻的信息数据xt和上个隐藏层的输出结果ht-1，然后输出一个0-1的数值给细胞状态Ct-1，其公式如下：
ft＝σ(Wf·[ht-1,xt]+bf)
第二步是确定哪些新信息存储在细胞单元中，其步骤分两部分完成，第一，“输入门层”决定什么信息将要更新；然后，tanh层创建一个新的候选值向量
Figure BDA0002551599970000122
其用于更新下个新状态，公式如下：
it＝σ(Wi·[ht-1,xt]+bi)
Figure BDA0002551599970000123
第三步将旧细胞状态Ct-1更新为新的细胞状态Ct，首先ft与Ct-1相乘，去除不重要的信息，然后添加
Figure BDA0002551599970000124
产生新的细胞状态，公式如下：
Figure BDA0002551599970000125
最后，输出门ot决定什么重要信息应该输出，然后tanh层处理细胞状态Ct，二者相乘得到最终的输出结果，公式如下：
ot＝σ(Wo·[ht-1,xt]+bo)
ht＝ot*tanh(Ct)
在LSTM框架attention层中学习机制F是通过全连接层实现的，用来计算LSTM层输出向量ht的权重，通过加权计算得到最终的特征向量a,最后通过softmax层输出驾驶分心识别结果。相应的计算公式如下：
et＝F(ht)
式中，向量ht代表t时刻LSTM层的输出，其权重Wt的计算公式如下：
Figure BDA0002551599970000131
然后通过公式进行加权计算得到特征表示向量a，公式如下：
Figure BDA0002551599970000132
网络共采用有效样本容量大小为2000组，训练样本容量1200，测试样本容量800，输入的样本矩阵为
Figure BDA0002551599970000133
其中i＝8，yi为输入特征向量，分别为速度均值、眨眼频率、注视频率、最大加速度、眼跳频率、十字路口通过时长、眼跳幅度均值、瞳孔直径均值，使用min-batch训练方法，批大小为100，选用交叉熵损失函数作为代价函数和选用Adam优化器来训练网络；应用测试集对混行交通环境下驾驶人驾驶状态进行分心识别，输出结果为0或1,标签0为正常驾驶，标签1为分心驾驶。
分心识别模型性能评估：
针对测试集数据，分别采用准确率(Accuracy)、精确率(Precision)、召回率(Recall)和F值对分心识别模型性能进行评价；
其中，
Figure BDA0002551599970000141
TP标记为1预测为1的实例数，FN标记为1预测为0的实例数，FP标记为0预测为1的实例数，TN标记为0预测为0的实例数。
实例识别结果如下：
Figure BDA0002551599970000142
由表可知，其识别准确率为96.37％，精确率为97.42％，识别精准度较高，具有良好的鲁棒性，证明该模型适用于混合交通环境下分心驾驶的识别。

Claims (10)

1.一种混行交通环境下的驾驶人分心状态检测识别方法，其特征在于：包括以下步骤：
(1)搭建混行交通场景，包括直道、弯道、十字交叉路口、人行横道、建筑物、行人、网联人工驾驶车辆、自动驾驶车辆、人工驾驶车辆、网联自动驾驶车辆，设置车流量、车辆类型及其运行规则，在所搭建的场景中，车道及每个路口出现的车辆类型都设定为随机；
(2)采集驾驶人在混行交通场景中，正常驾驶状态下的眼动参数数据和驾驶绩效数据，及分心驾驶状态下的眼动参数数据和驾驶绩效数据；
(3)对采集的数据预处理，剔除异常数据；
(4)对预处理后的数据进行相关均值、标准差计算，采用min-max标准化方法对数据进行归一化处理，然后融合数据；
(5)利用基于灰色粗糙集理论的特征提取方法提取分心驾驶重要特征指标，通过最优特征筛选方法对候选特征指标进行择优提取，筛选出数项最优特征指标，采用统计分析的方法检验在正常驾驶和分心驾驶两种不同驾驶状态下所选最优特征指标差异的显著性,构成特征指标数据集A；
(6)将特征指标数据集A制作好标签数据，标签0为正常驾驶，标签1为分心驾驶；将数据集A拆分为训练集和测试集，训练集将用来对混行交通场景下驾驶人分心状态识别模型建立及模型参数优化，测试集用来检验模型的泛化能力；
(7)构建混行交通场景下的分心驾驶识别模型结构：采用单向的LSTM结构来构建模型，包括第一层sequenceInput层，第二层LSTM层，第三层attention层，第四层output层：LSTM层处理时序数据，attention层计算LSTM层输出向量ht的权重，通过加权计算得到最终的特征向量a；最后通过softmax层输出分心驾驶的识别结果，输出为1×2的向量，分别为0或1，标签0为正常驾驶，标签1为分心驾驶。
2.根据权利要求1所述的一种混行交通环境下的驾驶人分心状态检测识别方法，其特征在于：步骤(1)中，采用simulink、PreScan、Vissim软件搭建混行交通场景，构成一个具有8个十字交叉路口、总长度为5千米的椭圆形车道，相邻路口之间相距500米。
3.根据权利要求1所述的一种混行交通环境下的驾驶人分心状态检测识别方法，其特征在于：步骤(2)中，眼动参数数据包括眨眼频率、注视频率、眼跳频率、眼跳幅度、眨眼持续时间、注视持续时间、瞳孔直径、眼跳峰值速度、眼跳速度、眼跳持续时间；驾驶绩效数据包括最小减速度、最大加速度、制动时间、横向加速度、速度、十字路口通过时长、横向位移、制动时长、转向熵。
4.根据权利要求1所述的一种混行交通环境下的驾驶人分心状态检测识别方法，其特征在于：步骤(2)所采集的样本数据大于1000，步骤(3)采用Grubbscriterion对数据里的异常数据进行剔除：若某样本测量值xi对应的残差vi满足|vi|＝|xi-x|≥g(n,a)×σ(X)时将该数据舍去；其中
Figure FDA0002551599960000021
是样本数据的均值，
Figure FDA0002551599960000022
是测量数据集的标准偏差，g(n,a)取决于测量次数n和显著性水平a，相当于犯“弃真”错误的概率系数，a取0.01或0.05。
5.根据权利要求1所述的一种混行交通环境下的驾驶人分心状态检测识别方法，其特征在于：步骤(4)对步骤(3)预处理后的数据进行相关均值
Figure FDA0002551599960000023
标准差
Figure FDA0002551599960000024
计算，yi为处理后的样本特征值，得到相关均值、标准差参数指标数据，为避免不同参数之间存在单位量纲不同的影响，消除各指标之间的差异性，采用min-max标准化方法对样本数据进行归一化处理：
Figure FDA0002551599960000031
其中，y'为归一化后的值；y为样本初始值；ymin为样本最小值；ymax为样本最大值。
6.根据权利要求1所述的一种混行交通环境下的驾驶人分心状态检测识别方法，其特征在于：步骤(5)利用基于灰色粗糙集理论的特征提取方法提取分心驾驶特征指标,通过最优特征选取算法对候选特征指标进行择优提取，筛选出前8项最优特征指标；所述的候选特征指标包括眨眼频率、注视频率、眼跳频率、眼跳幅度均值、眨眼持续时间均值、眨眼持续时间标准差、注视持续时间均值、注视持续时间标准差、瞳孔直径标准差、瞳孔直径均值、眼跳幅度标准差、眼跳峰值速度均值、眼跳峰值速度标准差、眼跳速度均值、眼跳速度标准差、眼跳持续时间均值、眼跳持续时间标准差、最小减速度、最大加速度、制动时间、横向加速度、速度标准差、速度均值、十字路口通过时长、横向位移、制动时长、转向熵。
7.根据权利要求1或6所述的一种混行交通环境下的驾驶人分心状态检测识别方法，其特征在于：步骤(5)中灰色关联系数计算如下；
设有n个待选特征指标Xn，每个参数包含m个特征数据，记为Xn＝(xn(1)，xn(2)，…，xn(m))，对所有的i≤j,i,j＝1,2,…,m，计算出xi与xj的关联系数ξij(m)，其计算公式如下：
Δmin(m)＝min min|xi(m)-xj(m)|
Δmax(m)＝max max|xi(m)-xj(m)|
Figure FDA0002551599960000032
式中：min min|xi(m)-xj(m)|为两级最小差，max max|xi(m)-xj(m)|为两级最大差，ρ为分辨系数，ρ越大，分辨率越小，灰色系统理论取关联系数ξi(n)的均值作为序列Xi与Xj的关联系数
Figure FDA0002551599960000041
进而得出灰色关联度矩阵Rn×n如下：
Figure FDA0002551599960000042
将粗糙集理论中指标划分论域算法与一次形成聚类结构算法相结合，进行分类，其步骤为：选取两个指标，若都不属于已分好的组，则归为一个独立分组；若一个出现在已有的组中，则不分组；若分别属于已有的两个分组中，则把这两个组合并；若都出现在同一组中，则不再分组，如此反复操作，直至把全部待选指标聚类完成；然后采用粗糙集理论通过不可分辨关系求出指标数据的知识约简；
将信息系统表示为S＝(U,A,V,f)，U是对象的有限集，A是有限属性集，A＝C∪D，C是条件属性子集，D是决策属性子集，V是属性值组成的集合，指定U中每一个对象的属性值，即f:U×A→V；
设
Figure FDA0002551599960000043
不可分辨关系
Figure FDA0002551599960000044
IND(P)成就了U的一个划分，用U/IND(P)表示，简记为U/P＝{x1,x2,…,xk}；
设
Figure FDA0002551599960000045
r∈R，当IND(R)＝IND(R-{r})时，称r是R中不必要的，否则称r是R中必要的；若每个r∈R都是R中必要的，则称R为独立的；假设Q∈R，若Q是独立的，并且IND(P)＝IND(Q)，则称Q为论域U在属性集P上的约简；
根据此分类应用粗糙集理论约简指标得到最优特征评价指标数据集A。
8.根据权利要求1所述的一种混行交通环境下的驾驶人分心状态检测识别方法，其特征在于：步骤(6)将特征指标数据集A作为驾驶人分心状态识别的输入，利用“留出法”对模型进行测试集和训练集的划分，保证数据分布的一致性，即每次训练的过程中，选择当前单个样本作为测试集，其余样本作为训练集，确保训练集中包含正常驾驶和分心驾驶状态；使用min-batch训练方法，批大小为100，选用交叉熵损失函数作为代价函数和选用Adam优化器来训练网络，对混行交通环境下驾驶人驾驶状态进行分心识别。
9.根据权利要求1所述的一种混行交通环境下的驾驶人分心状态检测识别方法，其特征在于：步骤(7)中LSTM层由3部分组成，分别是输入门it、输出门ot和遗忘门ft，通过其元胞内部隐藏状态的一系列计算可以输出计算结果，其中σ是sigmoid激活函数,Ct、
Figure FDA0002551599960000051
代表更新状态，Wf,Wi,Wo,Wc代表了相应权重，bf,bi,bc,bo是相应偏置；其LSTM元胞内部的计算过程如下：
第一步决定从元细胞中丢弃什么信息，这个决定是通过遗忘门完成的，此门输入当前层t时刻的信息数据xt和上个隐藏层的输出结果ht-1，然后输出一个0-1的数值给细胞状态Ct-1，其公式如下：
ft＝σ(Wf·[ht-1,xt]+bf)
第二步是确定哪些新信息存储在细胞单元中，其步骤分两部分完成，第一，“输入门层”决定什么信息将要更新，然后，tanh层创建一个新的候选值向量
Figure FDA0002551599960000055
其用于更新下个新状态，公式如下：
it＝σ(Wi·[ht-1,xt]+bi)
Figure FDA0002551599960000052
第三步将旧细胞状态Ct-1更新为新的细胞状态Ct，首先ft与Ct-1相乘，去除不重要的信息，然后添加
Figure FDA0002551599960000053
产生新的细胞状态，公式如下：
Figure FDA0002551599960000054
最后，输出门ot决定什么重要信息应该输出，然后tanh层处理细胞状态Ct，二者相乘得到最终的输出结果，公式如下：
ot＝σ(Wo·[ht-1,xt]+bo)
ht＝ot*tanh(Ct)。
10.根据权利要求1所述的一种混行交通环境下的驾驶人分心状态检测识别方法，其特征在于：步骤(7)中attention层中学习机制F是通过全连接层实现的，用来计算LSTM层输出向量ht的权重，通过加权计算得到最终的特征向量a，相应的计算公式如下：
et＝F(ht)
式中，向量ht代表t时刻LSTM层的输出，其权重Wt的计算公式如下：
Figure FDA0002551599960000061
然后通过公式进行加权计算得到特征表示向量a，公式如下：
Figure FDA0002551599960000062
CN202010578266.XA 2020-06-23 2020-06-23 一种混行交通环境下的驾驶人分心状态检测识别方法 Active CN111738337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010578266.XA CN111738337B (zh) 2020-06-23 2020-06-23 一种混行交通环境下的驾驶人分心状态检测识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010578266.XA CN111738337B (zh) 2020-06-23 2020-06-23 一种混行交通环境下的驾驶人分心状态检测识别方法

Publications (2)

Publication Number Publication Date
CN111738337A true CN111738337A (zh) 2020-10-02
CN111738337B CN111738337B (zh) 2022-03-25

Family

ID=72650544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010578266.XA Active CN111738337B (zh) 2020-06-23 2020-06-23 一种混行交通环境下的驾驶人分心状态检测识别方法

Country Status (1)

Country Link
CN (1) CN111738337B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183466A (zh) * 2020-10-26 2021-01-05 同济大学 一种基于道路场景识别的分心驾驶识别方法
CN112426124A (zh) * 2020-11-23 2021-03-02 天津大学 一种基于眼动数据的车辆驾驶效率监测方法
CN113743471A (zh) * 2021-08-05 2021-12-03 暨南大学 一种驾驶评估方法及其系统
CN113762123A (zh) * 2021-08-31 2021-12-07 同济大学 一种驾驶员使用手机检测方法及计算机可读介质
CN114299473A (zh) * 2021-12-24 2022-04-08 杭州电子科技大学 一种基于多源信息融合的驾驶员行为识别方法
DE102021213396A1 (de) 2021-11-29 2023-06-01 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Identifizierung des Fahrers eines Fahrzeugs

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446645A (zh) * 2018-03-26 2018-08-24 天津大学 基于深度学习的车载人脸识别方法
US20200082248A1 (en) * 2018-09-11 2020-03-12 Nvidia Corporation Future object trajectory predictions for autonomous machine applications

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446645A (zh) * 2018-03-26 2018-08-24 天津大学 基于深度学习的车载人脸识别方法
US20200082248A1 (en) * 2018-09-11 2020-03-12 Nvidia Corporation Future object trajectory predictions for autonomous machine applications

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
NACHIKET DEO等: "Looking at the Driver/Rider in Autonomous Vehicles to Predict Take-Over Readiness", 《IEEE TRANSACTIONS ON INTELLIGENT VEHICLES》 *
吴潇颖等: "基于CNN与双向LSTM的行为识别算法", 《计算机工程与设计》 *
孙剑等: "基于自然驾驶数据的分心驾驶行为识别方法", 《中国公路学报》 *
李力: "基于CNNs和LSTM的驾驶员疲劳和分心状态识别研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
龚天洋等: "视觉类次任务驾驶安全性预测模型", 《科学技术与工程》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183466A (zh) * 2020-10-26 2021-01-05 同济大学 一种基于道路场景识别的分心驾驶识别方法
CN112183466B (zh) * 2020-10-26 2022-12-16 同济大学 一种基于道路场景识别的分心驾驶识别方法
CN112426124A (zh) * 2020-11-23 2021-03-02 天津大学 一种基于眼动数据的车辆驾驶效率监测方法
CN113743471A (zh) * 2021-08-05 2021-12-03 暨南大学 一种驾驶评估方法及其系统
CN113743471B (zh) * 2021-08-05 2023-06-09 暨南大学 一种驾驶评估方法及其系统
CN113762123A (zh) * 2021-08-31 2021-12-07 同济大学 一种驾驶员使用手机检测方法及计算机可读介质
CN113762123B (zh) * 2021-08-31 2022-11-18 同济大学 一种驾驶员使用手机检测方法及计算机可读介质
DE102021213396A1 (de) 2021-11-29 2023-06-01 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Identifizierung des Fahrers eines Fahrzeugs
WO2023094099A1 (de) 2021-11-29 2023-06-01 Robert Bosch Gmbh Verfahren zur identifizierung des fahrers eines fahrzeugs
CN114299473A (zh) * 2021-12-24 2022-04-08 杭州电子科技大学 一种基于多源信息融合的驾驶员行为识别方法

Also Published As

Publication number Publication date
CN111738337B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN111738337B (zh) 一种混行交通环境下的驾驶人分心状态检测识别方法
US11899411B2 (en) Hybrid reinforcement learning for autonomous driving
Dong et al. Characterizing driving styles with deep learning
Gu et al. A novel lane-changing decision model for autonomous vehicles based on deep autoencoder network and XGBoost
CN111583639B (zh) 一种道路交通拥堵预警方法及系统
CN110569783B (zh) 一种驾驶人换道意图识别方法及系统
CN107133974A (zh) 高斯背景建模与循环神经网络相结合的车型分类方法
CN111114556A (zh) 基于多源指数加权损失下lstm的换道意图识别方法
CN112613225B (zh) 一种基于神经网络元胞传输模型的交叉口交通状态预测方法
CN114675742B (zh) 一种面向高度自动驾驶的人机决策逻辑在线校验方法
CN112668172A (zh) 考虑车型和驾驶风格异质性的跟驰行为建模方法及其模型
CN110781873A (zh) 一种双模态特征融合的驾驶员疲劳等级识别方法
CN113380033A (zh) 基于人机混合增强智能的城市交通安全预警方法及系统
CN110619482A (zh) 基于逻辑回归和单层次分析赋权法的驾驶行为评分方法
CN114655227A (zh) 驾驶风格识别方法、辅助驾驶方法及装置
CN112860782A (zh) 一种基于大数据分析的纯电动车续驶里程估计方法
CN109866776A (zh) 适用于三车道复杂环境的驾驶偏好辨识方法、设备和介质
CN109782751A (zh) 用于自主系统性能和基准测试的方法和设备
CN111967308A (zh) 一种在线路面不平度辨识方法及系统
Chu et al. A review of driving style recognition methods from short-term and long-term perspectives
CN112749508B (zh) 一种基于gmm和bp神经网络的路感模拟方法
CN112632705B (zh) 一种基于gmm和高斯过程回归的路感模拟方法
Zhao et al. Interaction-aware personalized trajectory prediction for traffic participant based on interactive multiple model
CN112632706B (zh) 一种基于gmm和cart回归树的路感模拟方法
CN116946183A (zh) 一种考虑驾驶能力的商用车驾驶行为预测方法及车用设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant