CN112644506A - 一种基于模型长短时记忆神经网络lstm-nn检测驾驶人驾驶分心的方法 - Google Patents

一种基于模型长短时记忆神经网络lstm-nn检测驾驶人驾驶分心的方法 Download PDF

Info

Publication number
CN112644506A
CN112644506A CN202110008305.7A CN202110008305A CN112644506A CN 112644506 A CN112644506 A CN 112644506A CN 202110008305 A CN202110008305 A CN 202110008305A CN 112644506 A CN112644506 A CN 112644506A
Authority
CN
China
Prior art keywords
distraction
driver
driving
vehicle
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110008305.7A
Other languages
English (en)
Inventor
刘志强
彭满才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202110008305.7A priority Critical patent/CN112644506A/zh
Publication of CN112644506A publication Critical patent/CN112644506A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于模型长短时记忆神经网络LSTM‑NN检测驾驶人驾驶分心的方法，包括以下步骤：步骤1，通过信号采集模块采集车辆的纵向与横向参数；其中，纵向采集参数为：纵向速度，纵向加速度，跟车距离，与前车相对速度；横向采集参数为：横向加速度，方向盘转角；步骤2，通过驾驶分心信号检测单元对于信号采集单元采集到的各类指标数据进行预处理，由驾驶分心行为判别单元对传输过来的多类指标进行分析判断，得出驾驶员注意力状态并将结果传送到分心预警模块；步骤3，分心预警模块根据驾驶分心的行为特征，通过三极管确定是否接通该条支路，进行提示驾驶人注意力状态。本发明模型能够学习前后时间序列信息并可靠地检测分心行为。

Description

一种基于模型长短时记忆神经网络LSTM-NN检测驾驶人驾驶 分心的方法
技术领域
本发明涉及驾驶人注意力检测和主动安全技术领域，特别是设计一种基于LSTM-NN检测驾驶人驾驶分心的方法。
背景技术
在驾驶人、机动车和道路组成的人-车-路闭环系统中，机动车驾驶人是其中的薄弱环节。据统计，美国和日本道路交通事故中驾驶人因素所占的比例均在90％以上，而中国也超过了80％。驾驶车辆是一个复杂的过程，主要包括环境感知、决策和执行等多个环节，在此期间难免发生分心失误、判断错误等突发异常，导致行车风险。其中，由于驾驶员主动参与次任务，分心驾驶导致交通事故占27％-35％。分心驾驶本质上是驾驶人注意力的短暂转移，驾驶人的注意力部分从驾驶主任务转移到了与驾驶无关的事情上，例如，与乘客聊天、抽烟和调整车内设施等。分心状态下驾驶人的安全驾驶意识下降，容易造成交通事故。因此，快速准确的检测驾驶人注意力的状态，在其分心时进行及时提醒，对保护驾驶人的生命财产安全，保障道路顺畅具有重要的研究意义。
为避免驾驶员分心驾驶，许多国家和地区颁布了相关的法律法规和处理办法。例如，在英国开车时打电话最高可判入狱2年，如因发短信造成致死车祸，肇事司机面临最高14年的监禁；在美国驾驶人开车时打电话、操作GPS导航、发送接收短信电子邮件被定义为危害公共安全罪，每次罚款120美元。在我国，根据相应法规：驾驶机动车不得有下列行为，拨打接听手持电话的行为，违者罚款200，扣2分。可以说，在法律层面上，分心驾驶也是被禁止的。尽管如此，分心驾驶的监管还是较为不足，一方面是分心驾驶时间短，表现状态各异。另一方面是车载地图、娱乐系统等的大力发展对驾驶人注意力的需求不断上升，伴随着这类需求的增长，分心驾驶已经成为了当前道路安全上的严重威胁。
驾驶员注意力监测系统(Driving Monitoring System,DMS)是先进辅助驾驶系统(Advance Driving Asistance System,ADAS)中的一块内容，这类系统通过摄像头捕捉驾驶人面部图像，采集车辆状态和操作数据等对驾驶人的注意力异常进行监测。如瑞典萨博驾驶人注意力监测系统和融合了驾驶人注意力信息的日本丰田驾驶辅助系统。目前针对驾驶人注意力多是通过驾驶人眼动信息、车辆状态信息等进行检测。至于驾驶人的心率、脑电、皮电等信息，则由于采集设备的庞大、笨重且昂贵，难以大规模在车辆上安装，因此应用并不广泛，偶尔的应用也是在实验室用来验证数据准确性。
基于车辆状态信息则由于成本低，数据来源简单可靠，应用较为普遍。例如德国梅赛德斯-奔驰公司(Mercedes-Benz)开发的驾驶员注意力辅助系统，该系统主要使用的操作信号为转向盘角度，并融合了踏板信号、车辆速度、纵向加速度等信号。除此之外，系统还将连续驾驶时间、车辆外部环境和车载信息系统(In-Vehicle Information System,IVIS)使用情况等信息综合起来，综合评价驾驶员注意力状态。
随着智能交通系统(Intelligent Transportation System,ITS)的发展，驾驶员能够取得并利用的信息量越来越多且复杂。“人－辅助驾驶系统－车－路”各环节之间存在着复杂、频繁的信息交互。注意力监测研究的发展趋势是将道路场景信息、驾驶员眼动和操作信号、车辆状态信息综合考虑。然而，目前市场上的驾驶人注意力检测多针对于疲劳驾驶，这是一个长时间累积的过程，但驾驶分心时间短，特征多，类型复杂和结论一致性差。因此，快速识别驾驶人注意力状态，保障驾驶人的生命财产安全，具有一定的意义。
发明内容
本发明内容为一种基于LSTM-NN检测驾驶人驾驶分心的方法，以实现对驾驶人注意力状态的快速识别。
为达到上述目的，本发明所采用的技术方案为：
一种基于模型长短时记忆神经网络LSTM-NN检测驾驶人驾驶分心的方法，包括以下步骤：
步骤1，通过信号采集模块采集车辆的纵向与横向参数；其中，纵向采集参数为：纵向速度，纵向加速度，跟车距离，与前车相对速度；横向采集参数为：横向加速度，方向盘转角；
步骤2，数据处理模块主要由驾驶分心信号检测单元和驾驶分心行为判别单元两部分组成，通过驾驶分心信号检测单元对于信号采集单元采集到的各类指标数据进行预处理，包括数据标准化和差异化分析，若某类指标与驾驶分心之间存在显著性差异，则把该指标作为判别驾驶分心的指标之一并传输至驾驶分心行为判别单元，由驾驶分心行为判别单元对传输过来的多类指标进行分析判断，得出驾驶员注意力状态并将结果传送到分心预警模块；
步骤3，分心预警模块根据驾驶分心的行为特征，通过内置单片机来确定是否接通该条支路，进行提示驾驶人注意力状态。
进一步，信号采集模块包括毫米波雷达、三轴加速仪、GPS定位系统和高清摄像头四部分。
进一步，所述毫米波雷达采集试验车辆两侧车道、当前车道前车之间的车距及相对速度，测量范围为车辆前方横向40m，纵向150m内区域，数据采集频率10Hz；三轴加速仪采集车辆三个方面的横向、纵向加减速度、方位角信息，用于确定车辆运动状态，数据采集频率10Hz；GPS定位系统提供车辆定位信息、数据采集频率1Hz；4个高清摄像头拍摄车辆前视、后视、驾驶人面部、手部的驾驶行为。
进一步，所述步骤2的具体过程为：
步骤2.1：通过驾驶分心信号检测单元对于信号采集单元采集到的各类指标数据进行预处理，使用Min-max归一化方法来减少不同尺度特征之间的差异；
Figure BDA0002883960400000031
其中，xi为第i个x指标的值，xmin为x指标的最小值，xmax为x指标的最大值，xi*为数据xi标准化之后的值；
步骤2.2：使用皮尔逊相关系数法检验特征间的线性相关性，并删除相关系数绝对值大于0.8的特征：
Figure BDA0002883960400000032
其中，Xi为指标X的第i个值，
Figure BDA0002883960400000033
为指标X的均值，Yi为指标Y的第i个值，
Figure BDA0002883960400000034
为指标Y的均值，i＝1，2，…，n，r为指标X与指标Y的相关系数；
对于剩余特征，通过梯度提升决策树-递归特征消除算法GBDT-RFE进行分析指标的重要性，得到指标的重要度排序，进而通过递归特征消除RFE方法遍历选择重要度高的特征；其中梯度提升决策树GBDT采用Boosting算法，能根据基学习器的表现对训练样本分布进行调整，使得先前的基学习器做错的训练样本在后续获得更多关注，最终将N个基学习器进行加权结合，得到最优的特征参数；算法步骤具体过程为：
所有样本在K个类别上的估计值Fk0(x)初始化为0，有：
Fk0(x)＝0,k＝1,2,…，K；
其中，k：表示待分类的类别，一共有K个类别；
通过Logistic变换将估值F(x)转换成0～1之间的概率pk(x)：
Figure BDA0002883960400000041
其中，Fk(x)为样本x在第k个分类下的估值；Fl(x)为样本x在第l个分类下的估值；
遍历所有样本的概率，计算每个样本在第k个样本上的概率梯度
Figure BDA0002883960400000042
Figure BDA0002883960400000043
其中，i：表示样本编号，一共有N个样本；yik为输入的样本数据的实际类别，当一个样本x属于类别k时，yik＝1，否则yik＝0；xi,i＝1,2,…,N为所有样本；
沿着梯度方法到J个叶子节点的回归树Rjkm：
Figure BDA0002883960400000044
计算每个子节点的增益γjkm：
Figure BDA0002883960400000045
更新所有样本在k类下的估计值Fkm(x)：
Figure BDA0002883960400000046
其中，Fk，m-1(x)为第m-1次迭代中的第k类下的估计值；
步骤2.3：由驾驶分心行为判别单元对传输过来的多类指标进行分析判断：将上述车辆相关参数作为模型长短时记忆神经网络LSTM-NN的输入，预先通过实验得到模型的关键参数，神经元数量为64，迭代次数为100，Batch_size为32，输出层激活函数选定sigmoid，优化器选择Adam，学习率Ir为10-3，损失函数为binary_crossentropy；若LSTM-NN的判别结果为驾驶人是驾驶分心状态，则由分心预警模块进行预警提醒，否则认为驾驶人注意力处于正常状态。
相比其他同类发明，本发明具有以下优点：
1.本发明基于自然驾驶数据提取驾驶人驾驶分心事件。与驾驶模拟器等其他试验场地受限、驾驶人分心时间受限相比较，本试验数据更加接近于实际情况；
2.本发明对驾驶人的驾驶行为进行实时监测，能够捕捉驾驶人的短时分心行为并且进行及时的传递；
3.本发明采用非侵入式的车辆运动状态特征，采用GBDT-RFE筛选重要度较高的特征指标，降低无关特征和冗余特征对于模型的影响，降低数据维度，提高模型运算速度；
4.本发明采用LSTM-NN深度学习模型对分心状态进行分类。结果表明，驾驶分心是一个随时间动态波动的过程，且LSTM-NN模型能够学习前后时间序列信息并可靠地检测分心行为。
附图说明
图1为本发明的基于LSTM-NN检测驾驶人驾驶分心的结构原理图；
图2为LSTM的立体结构图。
具体实施方式
下面结合附图并举实施例，对于本发明进行详细描述。
如图1-2所示，本发明的一种基于LSTM-NN检测驾驶人驾驶分心的方法，信号采集模块、数据处理模块和分心预警模块三部分。
信号采集模块包括毫米波雷达、三轴加速仪、GPS定位系统(Global PositionSystem,GPS)和高清摄像头四部分。
其中，多普勒雷达采集试验车辆两侧车道、当前车道前车之间的车距及相对速度，测量范围为车辆前方横向40m，纵向150m内区域，数据采集频率10Hz；三轴加速仪采集车辆三个方面的横向、纵向加减速度、方位角信息，用于确定车辆运动状态，数据采集频率10Hz；GPS定位系统提供车辆定位信息(x、y、z坐标)、数据采集频率1Hz；4个高清摄像头拍摄车辆前视、后视、驾驶人面部、手部的驾驶行为。
数据处理模块主要由驾驶分心信号检测单元和驾驶分心行为判别单元两部分组成，驾驶分心信号检测单元和驾驶分心行为判别单元这部分工作在DSP芯片中编程完成。信号检测单元对于信号采集单元采集到的各类指标数据进行预处理，主要包括数据标准化和差异化分析，若某类指标与驾驶分心之间存在显著性差异，则把该指标作为判别驾驶分心的指标之一并传输至行为判别单元，由行为判别单元对传输过来的多类指标进行分析判断，得出驾驶员注意力状态并将结果传送到分心预警模块。
分心预警模块(通过单片机STC89C52编程完成)根据驾驶分心的行为特征，通过内置单片机来确定是否接通该条支路，进行提示驾驶人注意力状态。其中，数据处理模块主要步骤为：
使用Min-max归一化方法来减少不同尺度特征之间的差异；
Figure BDA0002883960400000061
其中，xi为第i个x指标的值，xmin为x指标的最小值，xmax为x指标的最大值，xi*为数据xi标准化之后的值。
使用皮尔逊相关系数法检验特征间的线性相关性，并删除相关系数绝对值大于0.8的特征。
Figure BDA0002883960400000062
根据美国国家高速公路交通安全管理局(National Highway Traffic SafetyAdministration,NHTSA)的定义，驾驶分心根据来源被划分为四类，分别是视觉，认知，听觉和生物力学。视觉分心由视觉次任务导致，如查看导航设备，这类任务与驾驶主任务在视觉资源上产生直接的冲突；认知分心由认知次任务导致，如接听电话，虽然通话是听觉输入，不会直接占用驾驶人的视觉资源，但是通话内容引起驾驶人的视觉记忆时就会对视觉输入产生干扰，导致驾驶人出现视觉上的盲区。
在实际的驾驶分心情况下，单一次任务导致的驾驶分心并不常见，相反地，几种次任务的混合导致地分心驾驶更为普遍。因此，本发明并不拘泥于某一种特定的次任务导致的驾驶分心，适用范围较为广泛。通过信号采集模块采集车辆的纵向与横向参数。其中，纵向采集参数为：纵向速度，纵向加速度，跟车距离，与前车相对速度；横向采集参数为：横向加速度，方向盘转角。
由于本发明采用的是自然驾驶数据，因此对于驾驶分心下的跟车数据提取，通过设定下列条件：(1)毫米波雷达的探测目标识别号码未发生变化；(2)车辆在跟车期间未发生变道超车行为；(3)与前车的跟车距离小于80m，消除完全不受限的跟车状态；(4)自车的车速大于20km/h；(5)跟车时间不低于10s，获取足够的跟车片段供后续分析使用。
对于采集到的特征参数，首先使用3δ准则去除异常数据，再通过Max-min对数据进行标准化，通过显著性差异分析筛选出无关特征，通过皮尔逊相关系数去除冗余特征，得到和驾驶人注意力相关的参数。基于GBDT-RFE算法，将基学习器的表现对训练样本分布进行调整，使得先前的基学习器做错的训练样本在后续获得更多关注，最终将N个基学习器进行加权结合，得到特征参数的重要度排序。具体算法过程为：
k：表示待分类的类别，一共有K个类别；m：表示迭代次数，一共迭代M次；i：表示样本编号，一共有N个样本；F(x)为所有样本统称；Fk(x)为样本x在第k个分类下的估值；Fl(x)为样本x在第l个分类下的估值；yik为输入的样本数据的实际类别，当一个样本x属于类别k时，yik＝1，否则yik＝0；xi,i＝1,2,…,N为所有样本；第m次迭代中的第k类下，所有样本的估计值F可以通过上次迭代m-1中，这些样本的估计值+增益向量求得；
Fk0(x)＝0,k＝1,2,…，K
//所有样本在K个类别上的估计值初始化为0；//
For m＝1to M do:
Figure BDA0002883960400000071
//通过Logistic变换将F(x)转换成0～1之间的概率pk(x)；//
For k＝1to K do:
Figure BDA0002883960400000072
//遍历所有样本的概率，计算每个样本在第k个样本上的概率梯度
Figure BDA0002883960400000073
//
Figure BDA0002883960400000074
//沿着梯度方法到J个叶子节点的回归树Rjkm；//
Figure BDA0002883960400000075
//计算每个子节点的增益γjkm；//
Figure BDA0002883960400000076
//更新所有样本在k类下的估计值Fkm(x)；//
endFor
endFor
将上述车辆相关参数作为LSTM-NN的输入，预先通过实验得到模型的关键参数，神经元数量为64，迭代次数为100，Batch_size为32，输出层激活函数选定sigmoid，优化器选择Adam，学习率Ir为10-3，损失函数为binary_crossentropy。若LSTM-NN的判别结果为驾驶人是驾驶分心状态，则由分心预警模块进行预警提醒，否则认为驾驶人注意力处于正常状态。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (6)

1.一种基于模型长短时记忆神经网络LSTM-NN检测驾驶人驾驶分心的方法，其特征在于：包括以下步骤：
步骤1，通过信号采集模块采集车辆的纵向与横向参数；其中，纵向采集参数为：纵向速度，纵向加速度，跟车距离，与前车相对速度；横向采集参数为：横向加速度，方向盘转角；
步骤2，数据处理模块主要由驾驶分心信号检测单元和驾驶分心行为判别单元两部分组成，通过驾驶分心信号检测单元对于信号采集单元采集到的各类指标数据进行预处理，包括数据标准化和差异化分析，若某类指标与驾驶分心之间存在显著性差异，则把该指标作为判别驾驶分心的指标之一并传输至驾驶分心行为判别单元，由驾驶分心行为判别单元对传输过来的多类指标进行分析判断，得出驾驶员注意力状态并将结果传送到分心预警模块；
步骤3，分心预警模块根据驾驶分心的行为特征，通过内置单片机来确定是否接通该条支路，进行提示驾驶人注意力状态。
2.根据权利要求1所述的一种基于模型长短时记忆神经网络LSTM-NN检测驾驶人驾驶分心的方法，其特征在于：信号采集模块包括毫米波雷达、三轴加速仪、GPS定位系统和高清摄像头四部分。
3.根据权利要求2所述的一种基于模型长短时记忆神经网络LSTM-NN检测驾驶人驾驶分心的方法，其特征在于：所述毫米波雷达采集试验车辆两侧车道、当前车道前车之间的车距及相对速度，测量范围为车辆前方横向40m，纵向150m内区域，数据采集频率10Hz；三轴加速仪采集车辆三个方面的横向、纵向加减速度、方位角信息，用于确定车辆运动状态，数据采集频率10Hz；GPS定位系统提供车辆定位信息、数据采集频率1Hz；4个高清摄像头拍摄车辆前视、后视、驾驶人面部、手部的驾驶行为。
4.根据权利要求1所述的一种基于模型长短时记忆神经网络LSTM-NN检测驾驶人驾驶分心的方法，其特征在于：所述步骤2的具体过程为：
步骤2.1：通过驾驶分心信号检测单元对于信号采集单元采集到的各类指标数据进行预处理，使用Min-max归一化方法来减少不同尺度特征之间的差异；
Figure FDA0002883960390000011
其中，xi为第i个x指标的值，xmin为x指标的最小值，xmax为x指标的最大值，xi*为数据xi标准化之后的值；
步骤2.2：使用皮尔逊相关系数法检验特征间的线性相关性，并删除相关系数绝对值大于0.8的特征：
Figure FDA0002883960390000021
其中，Xi为指标X的第i个值，
Figure FDA0002883960390000022
为指标X的均值，Yi为指标Y的第i个值，
Figure FDA0002883960390000026
为指标Y的均值，i＝1，2，…，n，r为指标X与指标Y的相关系数；
对于剩余特征，通过梯度提升决策树-递归特征消除算法GBDT-RFE进行分析指标的重要性，得到指标的重要度排序，进而通过递归特征消除RFE方法遍历选择重要度高的特征；其中梯度提升决策树GBDT采用Boosting算法，能根据基学习器的表现对训练样本分布进行调整，使得先前的基学习器做错的训练样本在后续获得更多关注，最终将N个基学习器进行加权结合，得到最优的特征参数；算法步骤具体过程为：
所有样本在K个类别上的估计值Fk0(x)初始化为0，有：
Fk0(x)＝0,k＝1,2,…，K；
其中，k：表示待分类的类别，一共有K个类别；
通过Logistic变换将估值F(x)转换成0～1之间的概率pk(x)：
Figure FDA0002883960390000023
其中，Fk(x)为样本x在第k个分类下的估值；Fl(x)为样本x在第l个分类下的估值；
遍历所有样本的概率，计算每个样本在第k个样本上的概率梯度
Figure FDA0002883960390000027
Figure FDA0002883960390000024
其中，i：表示样本编号，一共有N个样本；yik为输入的样本数据的实际类别，当一个样本x属于类别k时，yik＝1，否则yik＝0；xi,i＝1,2,…,N为所有样本；
沿着梯度方法到J个叶子节点的回归树Rjkm：
Figure FDA0002883960390000025
计算每个子节点的增益γjkm：
Figure FDA0002883960390000031
更新所有样本在k类下的估计值Fkm(x)：
Figure FDA0002883960390000032
其中，Fk，m-1(x)为第m-1次迭代中的第k类下的估计值；
步骤2.3：由驾驶分心行为判别单元对传输过来的多类指标进行分析判断。
5.根据权利要求4所述的一种基于模型长短时记忆神经网络LSTM-NN检测驾驶人驾驶分心的方法，其特征在于：由驾驶分心行为判别单元对传输过来的多类指标进行分析判断的具体过程为：将上述车辆相关参数作为模型长短时记忆神经网络LSTM-NN的输入，预先通过实验得到模型的关键参数，若LSTM-NN的判别结果为驾驶人是驾驶分心状态，则由分心预警模块进行预警提醒，否则认为驾驶人注意力处于正常状态。
6.根据权利要求5所述的一种基于模型长短时记忆神经网络LSTM-NN检测驾驶人驾驶分心的方法，其特征在于：所述长短时记忆神经网络LSTM-NN的神经元数量为64，迭代次数为100，Batch_size为32，输出层激活函数选定sigmoid，优化器选择Adam，学习率Ir为10-3，损失函数为binary_crossentropy。
CN202110008305.7A 2021-01-05 2021-01-05 一种基于模型长短时记忆神经网络lstm-nn检测驾驶人驾驶分心的方法 Pending CN112644506A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110008305.7A CN112644506A (zh) 2021-01-05 2021-01-05 一种基于模型长短时记忆神经网络lstm-nn检测驾驶人驾驶分心的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110008305.7A CN112644506A (zh) 2021-01-05 2021-01-05 一种基于模型长短时记忆神经网络lstm-nn检测驾驶人驾驶分心的方法

Publications (1)

Publication Number Publication Date
CN112644506A true CN112644506A (zh) 2021-04-13

Family

ID=75367276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110008305.7A Pending CN112644506A (zh) 2021-01-05 2021-01-05 一种基于模型长短时记忆神经网络lstm-nn检测驾驶人驾驶分心的方法

Country Status (1)

Country Link
CN (1) CN112644506A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113553900A (zh) * 2021-06-11 2021-10-26 同济大学 一种驾驶员疲劳驾驶检测方法、系统及计算机可读介质
CN113642114A (zh) * 2021-09-14 2021-11-12 吉林大学 可犯错的拟人化随机跟车驾驶行为建模方法
CN114299473A (zh) * 2021-12-24 2022-04-08 杭州电子科技大学 一种基于多源信息融合的驾驶员行为识别方法
CN114435373A (zh) * 2022-03-16 2022-05-06 一汽解放汽车有限公司 疲劳驾驶检测方法、装置、计算机设备和存储介质
CN114569130A (zh) * 2022-02-25 2022-06-03 西南交通大学 高速铁路行车调度员监控工作的注意力水平识别方法
CN115447600A (zh) * 2022-11-08 2022-12-09 蔚来汽车科技(安徽)有限公司 基于深度学习的车辆防拥堵方法、控制器和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4342204A1 (de) * 1993-12-10 1995-06-14 Telefunken Microelectron Verfahren zur Steuerung der Antriebseinheit von Kraftfahrzeugen
CN110733571A (zh) * 2018-07-19 2020-01-31 现代自动车株式会社 基于急动度确定驾驶员分心的装置和方法及车辆系统
CN111791814A (zh) * 2019-03-22 2020-10-20 福特全球技术公司 车辆胶囊网络
CN111845736A (zh) * 2020-06-16 2020-10-30 江苏大学 一种由分心监测触发的车辆碰撞预警系统及控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4342204A1 (de) * 1993-12-10 1995-06-14 Telefunken Microelectron Verfahren zur Steuerung der Antriebseinheit von Kraftfahrzeugen
CN110733571A (zh) * 2018-07-19 2020-01-31 现代自动车株式会社 基于急动度确定驾驶员分心的装置和方法及车辆系统
CN111791814A (zh) * 2019-03-22 2020-10-20 福特全球技术公司 车辆胶囊网络
CN111845736A (zh) * 2020-06-16 2020-10-30 江苏大学 一种由分心监测触发的车辆碰撞预警系统及控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙剑等: "基于自然驾驶数据的分心驾驶行为识别方法", 《中国公路学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113553900A (zh) * 2021-06-11 2021-10-26 同济大学 一种驾驶员疲劳驾驶检测方法、系统及计算机可读介质
CN113642114A (zh) * 2021-09-14 2021-11-12 吉林大学 可犯错的拟人化随机跟车驾驶行为建模方法
CN113642114B (zh) * 2021-09-14 2023-10-17 吉林大学 可犯错的拟人化随机跟车驾驶行为建模方法
CN114299473A (zh) * 2021-12-24 2022-04-08 杭州电子科技大学 一种基于多源信息融合的驾驶员行为识别方法
CN114569130A (zh) * 2022-02-25 2022-06-03 西南交通大学 高速铁路行车调度员监控工作的注意力水平识别方法
CN114435373A (zh) * 2022-03-16 2022-05-06 一汽解放汽车有限公司 疲劳驾驶检测方法、装置、计算机设备和存储介质
CN114435373B (zh) * 2022-03-16 2023-12-22 一汽解放汽车有限公司 疲劳驾驶检测方法、装置、计算机设备和存储介质
CN115447600A (zh) * 2022-11-08 2022-12-09 蔚来汽车科技(安徽)有限公司 基于深度学习的车辆防拥堵方法、控制器和存储介质

Similar Documents

Publication Publication Date Title
CN112644506A (zh) 一种基于模型长短时记忆神经网络lstm-nn检测驾驶人驾驶分心的方法
CN107492251B (zh) 一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法
CN109823345B (zh) 一种基于生理信息的安全驾驶系统
CN110866427A (zh) 一种车辆行为检测方法及装置
CN104751600A (zh) 基于虹膜识别的防疲劳驾驶安全设备及其使用方法
Shirazi et al. Detection of intoxicated drivers using online system identification of steering behavior
CN106570444A (zh) 基于行为识别的车载智能提醒方法及系统
Kanaan et al. Using naturalistic vehicle-based data to predict distraction and environmental demand
CN111301428A (zh) 机动车驾驶员分心检测警示方法、系统及机动车
CN106295474A (zh) 船舶驾驶员的疲劳检测方法、系统和服务器
CN114852088A (zh) 一种识别并警告危险及疲劳驾驶行为的驾驶员辅助系统及方法
CN111563468A (zh) 一种基于神经网络注意力的驾驶员异常行为检测方法
Mizuno et al. Detecting driver's visual attention area by using vehicle-mounted device
CN116238544B (zh) 一种自动驾驶车辆的行驶控制方法及控制系统
Wu et al. Fuzzy logic based driving behavior monitoring using hidden markov models
CN114973212A (zh) 一种基于视觉特征、方向盘操作检测并主动干预的制止疲劳驾驶方法
EP3654246B1 (en) Method, vehicle, system, and storage medium for indicating anomalous vehicle scenario using encoder network and replay buffer
CN115782895B (zh) 一种智能辅助驾驶方法、系统及装置
CN110956064A (zh) 基于大数据的驾驶员行为分析预测系统
CN110956867B (zh) 基于大数据驾驶员行为分析的培训系统及培训方法
Sharma et al. Intelligent Speed Adaptive System using Image Regression Method for Highway and Urban Roads
Azam et al. EMGNet: Driver's Intent Prediction using Neurosignals
Pan The drowsy testing system according to deep-learning
CN118072551A (zh) 基于时空轨迹的安全预警方法、装置、系统及电子设备
CN115909289A (zh) 一种基于深度学习的车载人脸表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210413