CN111516700A - 一种驾驶员分心细粒度监测方法和系统 - Google Patents
一种驾驶员分心细粒度监测方法和系统 Download PDFInfo
- Publication number
- CN111516700A CN111516700A CN202010391108.3A CN202010391108A CN111516700A CN 111516700 A CN111516700 A CN 111516700A CN 202010391108 A CN202010391108 A CN 202010391108A CN 111516700 A CN111516700 A CN 111516700A
- Authority
- CN
- China
- Prior art keywords
- driver
- distraction
- controller
- network
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 146
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000001537 neural effect Effects 0.000 claims abstract description 26
- 238000010845 search algorithm Methods 0.000 claims abstract description 24
- 238000012795 verification Methods 0.000 claims description 63
- 238000012549 training Methods 0.000 claims description 54
- 230000008569 process Effects 0.000 claims description 18
- 230000001149 cognitive effect Effects 0.000 claims description 16
- 230000002996 emotional effect Effects 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 13
- 238000010276 construction Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 11
- 230000035479 physiological effects, processes and functions Effects 0.000 claims description 8
- 239000010410 layer Substances 0.000 description 48
- 238000013527 convolutional neural network Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 9
- 230000002787 reinforcement Effects 0.000 description 9
- 238000013209 evaluation strategy Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 239000011229 interlayer Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000001800 adrenalinergic effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000010352 nasal breathing Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及一种驾驶员分心细粒度监测方法和系统。所述方法包括：获取驾驶员的时序数据和驾驶员分心监测模型；采用所述驾驶员分心监测模型，根据所述驾驶员的时序数据得到预测向量；根据所述预测向量确定所述驾驶员的分心状态。本发明提供的驾驶员分心细粒度监测方法和系统，通过采用基于神经架构搜索算法自动构建的驾驶员分心监测模型能够提取更为丰富的多尺度特征，表征不同分心状态之间的细微差异，进而实现对驾驶员的细粒度分心状态的精准监测。
Description
技术领域
本发明涉及驾驶员分心状态监测领域，特别是涉及一种驾驶员分心细粒度监测方法和系统。
背景技术
随着家用汽车的普及，全球道路交通死亡人数持续上升，每年因道路交通事故造成的死亡人数大约为135万人，有数千万人受伤或致残。研究表明，驾驶员分心是影响道路交通安全的重要风险因素，并且大约30％的道路交通事故是由驾驶员分心引起的。因此，无论是开发更先进的高级驾驶辅助系统(Advanced Driver Assistance System，ADAS)，还是提高自动驾驶汽车的安全水平，驾驶员分心的实时监测均具有重要的研究价值，可显著预防道路交通事故并提升驾驶安全性。
驾驶员分心是指驾驶员的注意力从驾驶汽车的主要任务转移到驾驶过程中处理其他事件的次要任务上的一种表现形式。根据分心刺激的来源，驾驶员的分心通常分为以下三种类型:视觉分心、认知分心和手动分心。针对驾驶员分心监测所采集的原始数据类型差异，传统监测方法主要分为以下四类：基于计算机视觉的驾驶员分心监测、基于车辆动力学的驾驶员分心监测、基于生理信号的驾驶员分心检测和基于多源信息的驾驶员分心监测。尽管当前驾驶员分心监测方法已取得诸多进展，但仍存在以下不足：
1、目前的分心监测方法未将计算机视觉、车辆动态信息、生理信号等进行充分融合，多数方法仅将计算机视觉和车辆动态信息进行结合，缺乏生理信号的监控。然而，生理信号是认知分心的最重要指标，没有生理信号，很难准确地衡量认知分心。此外，现有研究中收集的信息维度仍然较小，仅获取少数几维特征。因此，很难从全面的角度来描述驾驶员分心。
2、当前的分心监测方法仅集中于监测驾驶员是否分心，并未深度分析驾驶员分心的具体类型，即属于何种分心状态。然而，不同类型的分心对驾驶安全的影响程度存在明显差异，通过监测不同类型的分心，可以将驾驶员状态更为精准地反馈给控制系统，汽车制造商或智能设备开发商可根据分心的类型设计更准确、更安全的ADAS，并根据具体分心状态实施不同的预警和制动措施，进而精准地提高驾驶安全性和舒适性。
3、当前的分心监测方法主要分为基于传统机器学习和迁移深度学习模型所进行的监测方式。但是，传统机器学习需要繁杂的手工设计和调参，即针对特定问题设计相应的特征提取方法，包括超参和特征项都需要大量的手工调整和试错，极其依赖于专家经验，主观性强、鲁棒性差且难以迁移特征。迁移深度学习是将图像识别和目标检测领域常用的成熟框架直接迁移到特定的驾驶员分心监测问题，然后对超参数和网络结构设计进行复杂的手动调整，包括调整卷积核尺寸、步长、通道数、跳跃连接、激活函数类型、全连接层节点数等。这些手工设计深度网络的过程极其繁杂，需要大量的试错才能完成。而且，手工调整的最终深度网络未必是最佳架构，并不适合于驾驶员分心监测的问题。
针对现有方法存在的不足，提供一种能够更好的应用到具体的驾驶员分心监测任务中的驾驶员分心细粒度监测方法是本领域亟待解决的一个技术难题。
发明内容
本发明的目的是提供一种驾驶员分心细粒度监测方法和系统，以更好的应用到具体的驾驶员分心监测任务中，提高驾驶员分心监测的准确性和鲁棒性。
为实现上述目的，本发明提供了如下方案：
一种驾驶员分心细粒度监测方法，包括：
获取驾驶员的时序数据；所述时序数据包括：计算机视觉的时间序列数据、车辆动态的时间序列数据和驾驶员生理的时间序列数据；
获取驾驶员分心监测模型；所述驾驶员分心监测模型包括15个卷积层、1个全局平均池化层和1个softmax分类器；
采用所述驾驶员分心监测模型，根据所述驾驶员的时序数据得到预测向量；
根据所述预测向量确定所述驾驶员的分心状态；所述分心状态包括：正常驾驶状态、认知分心状态、情绪分心状态和感觉运动分心状态。
优选的，所述驾驶员分心监测模型的构建过程具体包括：
获取神经架构搜索算法；
根据所述神经架构搜索算法构建所述驾驶员分心监测模型。
优选的，所述根据所述神经架构搜索算法构建所述驾驶员分心监测模型，具体包括：
设定所需构建模型的基本架构，并设定搜索空间；所述搜索空间包括：用于搜索的网络算子和超参数；所述超参数包括各卷积层中卷积核的宽度、卷积核的高度、卷积通道数和级联惩罚因子；
获取控制器；所述控制器的输入端为设定的搜索空间，所述控制器的输出端为预测超参数；
采用所述控制器，根据所述搜索空间得到预测超参数；
根据所述预测超参数生成候选子网络；
对获取的驾驶员的时序数据进行标定采样，得到与所述驾驶员的时序数据相对应的分心状态；
根据所述驾驶员的时序数据和与所述驾驶员的时序数据相对应的分心状态生成训练集和验证集；
采用所述训练集训练所述候选子网络直至收敛；
采用所述验证集对收敛后的所述候选子网络进行性能评估以确定验证精度；
以所述验证精度为控制器的损失值，对控制器的超参数进行更新，直至达到设定阈值后收敛，得到收敛后的控制器；
采用收敛后的控制器重新迭代生成子网络，对子网络进行训练及验证；待满足设定条件后，导出验证精度值最高的子网络；所述验证精度值最高的子网络即为所述驾驶员分心监测模型。
优选的，所述神经架构搜索算法包括：定义搜索空间、设计搜索策略和制定性能评估指标。
优选的，采用驾驶模拟器获取所述驾驶员的时序数据。
一种驾驶员分心细粒度监测系统，包括：
时序数据获取模块，用于获取驾驶员的时序数据；所述时序数据包括：计算机视觉的时间序列数据、车辆动态的时间序列数据和驾驶员生理的时间序列数据；
驾驶员分心监测模型获取模块，用于获取驾驶员分心监测模型；所述驾驶员分心监测模型包括15个卷积层、1个全局平均池化层和1个softmax分类器；
预测向量确定模块，用于采用所述驾驶员分心监测模型，根据所述驾驶员的时序数据得到预测向量；
分心状态确定模块，用于根据所述预测向量确定所述驾驶员的分心状态；所述分心状态包括：正常驾驶状态、认知分心状态、情绪分心状态和感觉运动分心状态。
优选的，所述系统还包括：驾驶员分心监测模型构建模块，所述驾驶员分心监测模型构建模块具体包括：
神经架构搜索算法获取单元，用于获取神经架构搜索算法；
驾驶员分心监测模型构建单元，用于根据所述神经架构搜索算法构建所述驾驶员分心监测模型。
优选的，所述驾驶员分心监测模型构建单元具体包括：
设定子单元，用于设定所需构建模型的基本架构，并设定搜索空间；所述搜索空间包括：用于搜索的网络算子和超参数；所述超参数包括各卷积层中卷积核的宽度、卷积核的高度、卷积通道数和级联惩罚因子；
控制器获取子单元，用于获取控制器；所述控制器的输入端为预设的搜索空间，所述控制器的输出端为预测超参数；
预测超参数确定子单元，用于采用所述控制器，根据所述搜索空间得到预测超参数；
候选子网络生成子单元，用于根据所述预测超参数生成候选子网络；
标定采样子单元，用于对获取的驾驶员的时序数据进行标定采样，得到与所述驾驶员的时序数据相对应的分心状态；
训练集和验证集生成子单元，用于根据所述驾驶员的时序数据和与所述驾驶员的时序数据相对应的分心状态生成训练集和验证集；
训练子单元，用于采用所述训练集训练所述候选子网络直至收敛；
验证精度确定子单元，用于采用所述验证集对收敛后的所述候选子网络进行性能评估以确定验证精度；
超参数更新单元，用于以所述验证精度为控制器的损失值，对控制器的超参数进行更新，直至达到设定阈值后收敛，得到收敛后的控制器；
驾驶员分心监测模型生成子单元，用于采用收敛后的控制器重新迭代生成子网络，对子网络进行训练及验证；待满足设定条件时，导出验证精度值最高的子网络；所述验证精度值最高的子网络即为所述驾驶员分心监测模型。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明通过采用驾驶员分心监测模型可以对驾驶员的分心状态进行监测，以提高驾驶员分心监测的准确性和鲁棒性。
并且，本发明通过获取包括有计算机视觉的时间序列数据、车辆动态的时间序列数据和驾驶员生理的时间序列数据等的时序数据，可以细化监测数据，达到对驾驶员分心状态的细粒度监测效果，进而提高监测精确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明驾驶员分心细粒度监测方法的流程图；
图2为应用本发明所提供的驾驶员分心细粒度监测方法对驾驶员分心状态进行监测的流程框图；
图3为本发明中驾驶员分心监测模型的构建流程框图；
图4为本发明中构建的驾驶员分心监测模型的结构示意图；
图5为本发明实施例中采用循环神经网络模型生成子网络的流程示意图；
图6为本发明驾驶员分心细粒度监测系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种驾驶员分心细粒度监测方法和系统，以更好的应用到具体的驾驶员分心监测任务中，提高驾驶员分心监测的准确性和鲁棒性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明驾驶员分心细粒度监测方法的流程图，图2为应用本发明所提供的驾驶员分心细粒度监测方法对驾驶员分心状态进行监测的流程框图。如图1和图2所示，一种驾驶员分心细粒度监测方法，包括：
步骤100：获取驾驶员的时序数据；所述时序数据包括：计算机视觉的时间序列数据、车辆动态的时间序列数据和驾驶员生理的时间序列数据。
其中，计算机视觉的时间序列数据包括：驾驶员面部表情信号、眼睛注视方向和鼻周呼吸EDA信号；车辆动态的时间序列数据包括：速度、加速度、制动力、转向角和车道位置。驾驶员生理的时间序列数据包括：心率、呼吸率和手掌EDA信号。上述各类数据均以时间序列形式记录，采样频率为1Hz，每条数据维度为15维，共收集数据项目总数为244800条。
步骤101：获取驾驶员分心监测模型；所述驾驶员分心监测模型包括15个卷积层、1个全局平均池化层和1个softmax分类器。
步骤102：采用所述驾驶员分心监测模型，根据所述驾驶员的时序数据得到预测向量。
步骤103：根据所述预测向量确定所述驾驶员的分心状态；所述分心状态包括：正常驾驶状态、认知分心状态、情绪分心状态和感觉运动分心状态。
其中，正常驾驶状态为该时间段内，无任何二次活动刺激，即驾驶员无额外压力源，保持正常驾驶状态。
认知分心状态：驾驶员被施加认知压力源的情况下驾驶，认知压力源是指在驾驶过程中的某一时间段内，实验人员不断向驾驶员发送数学问题和分析性问题，驾驶员用口答方式尽可能地回答问题。
情绪分心状态：驾驶员被施加情绪压力源的情况下驾驶，情绪压力源是指在驾驶过程中的某一时间段内，实验人员向驾驶员提出扰乱其情绪的口答问题。具有两组问题：一组为无针对性的基本问题和一组为具有针对性的问题。在情绪压力时间段内，实验人员向驾驶员交叉提问不同时间长度的基本问题和针对性问题，驾驶员必须尽其所能地回答所有问题。
感觉运动分心状态：驾驶员被施加感觉运动压力源的情况下驾驶，感觉运动压力源是指在驾驶过程中的某一时间段内，实验人员向驾驶员发短信，将单词逐个发送到驾驶员的智能手机，驾驶员收到信息后即刻回复，持续彼此发送和回复信息。
本发明的主要创新是基于神经架构搜索(Neural Architecture Search，NAS)的深度卷积神经网络(Convolutional Neural Networks，CNN)的自动构建，该技术用于融合多源感知数据以实现对多种分心的监测。因此，在本发明中，将详细描述基于NAS的深度卷积神经网络的构建过程(即驾驶员分心监测模型的构建过程)。
NAS的主要策略是使用已建立的学习规则来自动构建深度神经网络架构。NAS在图像分类、目标检测等领域已得到初步尝试，但是，NAS在自动驾驶、ADAS、驾驶员分心监测领域，未见有其应用。因此，本发明针对驾驶员分心的细粒度监测，设计一种基于NAS的深度CNN的自动构建方法，用于自动构建更适用和更灵活的深度CNN(驾驶员分心监测模型)。
该驾驶员分心监测模型的构建过程具体包括：
获取神经架构搜索算法；如图2所示，所述神经架构搜索算法包括：定义搜索空间、设计搜索策略和定制性能评估策略。首先，通过定义搜索空间：确定深度CNN的基本架构及需要搜索的网络超参；其次，设计搜索策略：基于定义的搜索空间，构建RNN控制器用于快速搜索和生成候选深度CNN架构，并设计强化学习机制，对RNN控制器进行训练更新，以生成更优的候选深度CNN架构；最后，制定性能评估策略：对候选深度CNN架构进行训练更新和验证，计算验证精度，并将其反馈至第二步，作为RNN控制器的损失，指导RNN反向训练更新。重复上述三个步骤，设定收敛条件，导出具有最高验证精度的CNN架构作为最终搜索得到的最优驾驶员分心监测网络。
其中，定义搜索空间是指确定需要搜索的网络组件(超参)，首先，考虑到本发明中所采集的驾驶员分心样本的时序输入维度为15维，为提取更为有效的深层抽象特征，设计深度CNN的基本架构包含15个卷积层，1个全局平均池化层和1个softmax分类器层；进而，定义需要搜索的网络组件，即每层卷积层的卷积核尺寸(包括卷积核的宽度和高度，本发明中将宽度和高度设为一致)、卷积通道数、相邻卷积层是否级联(定义级联系数，其值为0或1，1表示级联，0表示不级联)，则定义上述网络组件的搜索范围分别为{1，3}、{16，32，64，128，256}、{0，1}；
设计搜索策略是指确定子网络的搜索和生成方法，首先，设计基于循环神经网络(RecurrentNeuralNetwork，RNN)的子网络生成方法，其输入端即为第一步中所定义的搜索空间中的组件候选数值序列，输出端为预测的组件数值序列，进而利用预测的组件数值序列生成子网络，即候选深度CNN；然后，构建基于强化学习的优化策略，将第三步中的验证精度作为RNN的损失值(即奖励)，用于训练更新RNN的网络参数，从而不断地迭代生成更优的候选深度CNN。
制定性能评估策略是指设计生成子网络的性能评估方法，制定训练-验证的性能评估策略，首先，基于训练集，训练利用第二步中循环神经网络生成的子网络直到收敛，基于验证集对子网络进行性能评估，计算得到验证精度。
根据上述神经架构搜索算法就可以构建得到本发明中所采用的驾驶员分心监测模型。驾驶员分心监测模型完整的构建流程如图3所示。
上述神经架构搜索算法所包括的定义搜索空间、设计搜索策略和定制性能评估策略的具体实施方式为：
A.定义搜索空间
定义搜索空间是指确定需要搜索的网络组件，搜索空间包含NAS必须搜索的结构或变量，包括两步：定义基本架构和确定用于搜索的一系列网络算子和超参数。
第一步，定义基本架构：
本发明通过对驾驶员分心状态特征的深入分析，所采用的原始驾驶员分心状态特征维度为15维，时间窗口尺度Δt≤60，则原始的数据输入尺寸约为15×60，相较于图像识别和目标检测中常用的大尺寸图像，本发明中所使用的数据输入维度较小，无需采用过于庞大和复杂的分支模块化堆叠设计。为此，本发明采用链式结构的搜索空间，更适合于驾驶员分心监测问题。设计了一个新的链式结构神经网络搜索空间，该空间由输入层、15层卷积层、1个全局平均池化层和1个softmax分类器层组成。图4中详细说明了构建的链式结构神经网络的体系结构。图4的最左侧是输入层，该输入层即为上一步中的加窗分心状态w(Δt)。图4中间部分代表15个卷积层，这也是本发明所关注的搜索空间，即使用NAS进行搜索的网络空间。
第二步，确定用于搜索的一系列网络算子和超参数：
定义搜索的算子为卷积，其超参数包括每个卷积核的高度、卷积核的宽度和卷积核的数量(即通道数、级联，步幅和激活函数)。首先，将卷积核的宽度和高度设置为相同值，设计卷积核宽度和高度的搜索范围为1和3，然后，将卷积核通道数的搜索范围设置为{16，32，64，128，256}。此外，由于不同卷积层提取的特征的表示形式不同，为充分融合不同级别的抽象特征，增强深层CNN的特征表示性能，防止梯度消失并加快网络训练速度，本发明引入层间级联机制，并将其定义为搜索空间的一部分。定义如下：层l-2输出的特征图Zl-2被直接输入到随后的第l层，并与层l-1的特征图Zl-1级联，即al＝[Zl-2，Zl-1]。进一步，将al作为第l层的输入，第l层输出的特征图为Zl＝H(al)，为使各层间特征融合具有灵活性，定义超参数γ用于控制层l-2、层l-1、层l的特征级联，其数学表达式如下：
zl＝H(al) (2)
式中，符号
表示张量级联运算，γl表示第l层的级联罚因子，控制是否执行级联运算。将选择范围设置为γl∈{0，1}，其中γl是需要确定的控制超参数，即为本发明中所定义的搜索空间的一部分。此外，Zl-1代表l-1层的特征图，Zl-2代表l-2层的特征图，al代表第l-1层的输入，zl代表第l-1层的特征图，H{·}代表卷积运算。
设计卷积核的步长：由于分心的窗口数据的维度并不大，并且分心类型之间的差异很小，因此必须从更详细的角度捕获特征信息。为便于特征级联，本发明中不改变步长，以使特征图的宽度和高度保持不变。因此，将卷积内核的步长固定为1。此外，设计15个卷积层的激活函数均使用深度学习中最为成熟的ReLU函数，它可以很好地抑制深层网络引起的梯度的消失，以便可以更好地训练建立的网络。在15个卷积层之后，设计一个平均池化层，计算方法是对每个通道的特征图中的所有像素值求平均，并获得1×1特征图。引入全局平均池化层的目的基于两个方面：全局平均池化层不需要引入更多的参数，简化了网络体量；全局平均池化用于对特征图的空间信息求和，对输入中的空间变化更健壮，并且更有利于多样的分心监测。设计的搜索空间在15个卷积层的中间不使用maxpooling，由于驾驶员分心加窗原始数据尺寸不似RGB图像那么巨大，而且，卷积后特征图的尺寸也很小，在此种小尺寸特征图上使用maxpooling可能会损失卷积层提取的有用特征信息。因此，本发明使用具有全卷积架构来自动提取深层特征信息，并利用上述中的级联搜索设计，融入多尺度特征，以满足对不同分心状态信息的精准描述。
B.搜索策略的设计
根据上面的定义的搜索空间，需要搜索15个卷积层中卷积核的宽度和高度、卷积通道数、级联惩罚因子γl；因此，搜索空间的候选集大小为(2×5×2)15＝2015，即搜索空间包含2015种可能的子网络架构，若使用传统的遍历或网格搜索方法，其工程量太大难以搜索到最佳子网络。因此，本发明设计一种高效搜索策略，用于搜索最佳子网络架构。本发明使用强化学习机制来搜索最佳网络体系结构，其主要策略是：基于第一步中定义的搜索空间，构建一个可训练的控制器，该控制器用于不断更新并生成深度CNN的网络超参数(控制器输入端为搜索空间，输出端为预测的网络超参数，这些超参数即为上述中的卷积核尺寸、通道数、级联惩罚因子)，并利用这些超参数构建深度CNN，即为候选的子网络。进一步地，采用强化学习迭代更新控制器的参数，以便控制器生成更优的子网络。方法详细描述如下：
首先，定义一个控制器，用于生成网络超参数以构建深层网络架构。这里考虑的超参数对应于上一节中定义的搜索空间。在本发明中，使用循环神经网络(RNN)作为控制器，其架构如图5所示。将控制器RNN的连接参数定义为θc。控制器RNN的核心策略是使用RNN以序列形式选择和输出网络各层的超参数，并使用这些超参数构建子网络并迭代更新RNN的参数θc，以生成更好的子网络架构。图5中的每个虚线框代表搜索空间的一层。顶部是每层softmax分类器的输出值，即为需要学习的深度网络超参数，并使用这些输出超参数序列生成子网络。
其次，设计一种网络训练策略用于更新控制器RNN的参数θc，以输出更合适的网络超参数并得出更好的网络架构。为此，使用强化学习来更新RNN的参数。强化学习包括三个关键组成部分：代理，动作和奖励。
在本发明中，使用控制器RNN作为代理，在训练过程中，RNN生成一组序列化的超参数，并将该超参数集定义为动作，该超参数集用于生成子网络，将子网络在验证集上的分类精度定义为奖励。强化学习的运行机制如下：在训练过程中，奖励不断反馈给代理，代理根据奖励调整动作，并不断更新以寻找最优解。为此，本发明定义控制器RNN的策略，表示为P(a1:T，θc)，其中a1:T是RNN的输出，它是一系列序列化的超参数，T即用于构造子网络的超参数数量。将基于强化学习的训练过程分为两个步骤：第一步是固定RNN的参数θc以更新子网络的参数w，操作如下：固定RNN的参数，使用当前控制器的策略P(a1:T，θc)预测网络的超参数，并生成子网络，表示为m～P(a1:T，θc)，其中m是RNN生成的第m个子网络，此外，使用深度神经网络的标准梯度下降算法来更新子网络m～P(a1:T，θc)的参数w。使用交叉熵函数作为子网络的损失函数，其定义如下：
yi是真实标签；
为预测标签，它是驾驶员的分心窗口数据w(Δt)经过生成的子网络m～P(a1:T，θc)前向传播获得；n是标签尺寸，w表示网络的连接权重，对应需要学习的参数。使用Adam优化器来最小化Lcross_entropy用于更新最优网络参数w，如等式(4)所示。损失函数Lcross_entropy对参数w的梯度计算如下：
第二步是固定子网络的结构和参数w，以更新控制器RNN的超参数，第一步中的子网络训练收敛后，将在验证集上计算出的准确性用作RNN的奖励，记为R。R用于反向控制RNN，定义控制器RNN的目标函数如下：
其中，P(a1:T，θc)是上文定义的控制器RNN的策略函数，R是子网络在验证集上的精度，E{·}是R的期望。要获得更高的验证精度R，必须通过RNN决策生成更优的子网络。因此，必须最大化公式(5)。然而，根据等式(5)，精度R是不可微的，通过传统的反向传播算法更新梯度的方法不可行，为此，使用REINFORCE算法来更新RNN的参数θc。则公式(5)的梯度计算如下：
进而，使用该梯度近似表达式来更新RNN的参数θc。然后，扩展期望并计算以下内容：
其中K表示RNN训练期间生成的子网络的数量，T是RNN预测用于生成子网络的超参数的数量，Rk代表第k个子网络训练完成后验证集的准确性。
等式(8)提供了参数θc的梯度的无偏估计，具有很高的方差。因此，引入一个基线函数来减小等式的方差。最后，RNN的目标函数相对于参数θc的梯度表示为：
其中，b是引入的基线函数，其计算方法是验证集中子网络准确性的指数移动平均值。
C.制定性能评估策略
制定性能评估策略，用于评估控制器生成的子网络架构的性能。本发明采用小批量训练验证方法作为生成子网络的性能评估策略。具体性能评估策略如下：首先，子网络m～P(a1:T，θc)由控制器RNN的策略P(a1:T，θc)生成。根据公式(6)，使用mini-batch策略在驾驶员分心训练集迭代更新子网络的参数w。在训练集收敛后，计算子网络的最小批量的平均验证精度，并将该精度作为生成的子网络m～P(a1:T，θc)的性能评估指标。因此，mini-batch的平均验证准确性计算如下：
其中
表示分类正确的样本，
表示分类正确的样本总和，N是批次数，Nmini-batch表示每个批次的样本数。
因此，式(9)中的R(m～P(a1:T，θc)；w)表示生成的第m个子网络的性能评估指标。该索引R(m～P(a1:T，θc)；w)也作为训练控制器RNN的奖励。
NAS数据处理流程
本发明设计的基于NAS自动搜索深度网络方法的完整数据处理流程如下：
第一步：基于训练集，固定控制器RNN参数(权值及偏置)，使用网络控制器RNN预测CNN架构的网络参数，并以此生成子网络；
第二步：基于训练集，对生成的子网络进行指定迭代次数的训练，更新子网络的权值和偏置，直至子网络收敛；
第三步：基于验证集，对收敛的子网络进行精度评估，得到验证奖励，即为式(9)中的奖励R；
第四步：将奖励R反馈至控制器RNN，并以此奖励R作为RNN的目标损失，利用强化学习策略对控制器RNN进行训练，更新RNN的网络参数，即权值及偏置；待控制器RNN训练完成之后，返回第一步；
第五步：重复上述第一步至第四步，达到设定的搜索步数或终止策略之后，结束神经架构搜索过程，导出在验证集中获得最高精度的子网络作为最优子网络；该最优子网络即为最终用于驾驶员分心监测的深度CNN模型。
第六步：采用测试集对所得到的驾驶员分心监测的深度CNN模型进行测试，以验证所构建的用于驾驶员分心监测的深度CNN模型是否满足要求，若不满足要求则对第五步中导出的最优子网络进行重新训练。其中，根据测试人员具体需求来对用于驾驶员分心监测的深度CNN模型的具体要求进行设定。
其中，本发明中的所有正常驾驶和分心驾驶数据均是通过RealtimeTechnologies，Inc，RoyalOak，MI.制造的驾驶模拟器采集得到。图2的左上方显示了驾驶模拟器。该模拟器配备有多种传感器，用于提取多源信号，其中包括：
手掌EDA传感器：用于从驾驶员的手掌中提取皮肤电活动(EDA)信号，表示为p(t)。
肾上腺素传感器：用于提取驾驶员的心率和呼吸率，分别记录为a1(t)和a2(t)。然后，将上述数据融合为a(t)＝(a1(t)，a2(t))T。
热面部摄像机：用于捕获驾驶员面部的热成像视频并提取驾驶员的鼻周出汗信号，该信号被称为鼻周EDA信号，并表示为e(t)。
视觉面部摄像机：用于捕获驾驶员正面的视频和图像信息，并进行二次分析以提取驾驶员的面部表情信号，从而确定对象的情绪水平。该变量表示为v(t)。
FaceLAB眼动跟踪系统：用于捕获驾驶员的视线方向。收集的变量包括凝视x位置，凝视y位置，左瞳孔直径和右瞳孔直径，分别表示为f1(t)，f2(t)，f3(t)和f4(t)，并组合得到f(t)＝(f1(t)，f2(t)，f3(t)，f4(t))T。
驾驶参数提取器：用于在驾驶过程中提取以下车辆动态信息：速度，加速度，制动，转向和车道位置(包括车辆中心的偏离距离和车辆距车道线的距离)。这些参数分别表示为d1(t)，d2(t)，d3(t)，d4(t)，d5(t)，和d6(t)，并组合成一个动态信息变量:d(t)＝(d1(t)，d2(t)，d3(t)，d4(t)，d5(t)，d6(t))T。
在上述变量中，t是时间戳，即每个变量由时间序列数据表示。由在驾驶模拟器中配置的六种类型的传感器收集的数据完全涵盖了基于计算机视觉的信息，生理信号和车辆动态信息的三个维度。基于计算机视觉信息的变量为f(t)，它可以表示驾驶员眼睛在前方场景上的聚焦程度。对应于生理信号的变量是p(t)，a(t)，v(t)和e(t)。这四种类型的变量可以表征驾驶员的生理变化。代表车辆动态信息的变量是d(t)，它可以代表车辆行驶状态的细微动态变化。
训练集、验证集和测试集的构建过程为：
构造一个三维坐标系：x、y和z。坐标x是时间轴t，单位是秒。坐标y是变量的幅度值，单位取决于变量。坐标z表示通道，每个通道代表一种变量。进一步，融合上述多源感知数据，以构建多模态驾驶员数据集，该数据集定义为X，表示如下：
其中NX代表数据集的大小，即时间步长。然后，每个时间戳t的数据如下：
其中DX是通道数，即上述数据x(t)的维度，本发明中为15维。
表示Nx×Dx组成的状态空间。考虑到特征之间幅度及单位的差异，使用最大和最小归一化来预处理数据集X，将X标准化到(0，1)范围，每个时间戳t的归一化数据x(t)表示为n(t)，表示如下：
其中fn(t)表示根据f(t)所在的通道或维度通过归一化获得的数据，其余变量的处理方式相同。为提取上下文特征并减轻噪声的负面影响，对原始数据进行滑动时间窗口处理，设置时间窗长为Δt，窗移设为1，窗口数据表示为
w(Δt)＝(fn(Δt),pn(Δt),an(Δt),vn(Δt),en(Δt),dn(Δt))T (13)
因此，在本发明中，上述w(Δt)即为最小样本，样本集中的每条数据即为w(Δt)。并根据实验设置对每条数据w(Δt)进行打标签，标签包括4类：正常驾驶状态(Baseline)、认知分心状态、情绪分心状态、感觉运动分心状态。将所有分心状态的窗口数据w(Δt)和其所对应的标签进行存储，并按照比例8:1:1随机分为训练集、验证集、测试集，即建立样本集。
上述根据所述神经架构搜索算法构建所述驾驶员分心监测模型的过程可以进一步概括为：
设定所需构建模型的基本架构，并设定搜索空间；所述搜索空间包括：用于搜索的网络算子和超参数；所述超参数包括各卷积层中卷积核的宽度、卷积核的高度、卷积通道数和级联惩罚因子；
获取控制器；所述控制器的输入端为设定的搜索空间，所述控制器的输出端为预测超参数；
采用所述控制器，根据所述搜索空间得到预测超参数；
根据所述预测超参数生成候选子网络；
对获取的驾驶员的时序数据进行标定采样，得到与所述驾驶员的时序数据相对应的分心状态；
根据所述驾驶员的时序数据和与所述驾驶员的时序数据相对应的分心状态生成训练集和验证集；
采用所述训练集训练所述候选子网络直至收敛；
采用所述验证集对收敛后的所述候选子网络进行性能评估以确定验证精度；
以所述验证精度为控制器的损失值，对控制器的超参数进行更新，直至达到设定阈值后收敛，得到收敛后的控制器；
采用收敛后的控制器重新迭代生成子网络，对子网络进行训练及验证；待满足设定条件后，导出验证精度值最高的子网络；所述验证精度值最高的子网络即为所述驾驶员分心监测模型。
通过描述的详细实现方案，可以通过NAS自动学习最佳的深度CNN即驾驶员分心监测模型。进一步，使用驾驶员分心监测模型进行驾驶员分心细粒度监测。
本发明提出的驾驶员分心细粒度监测方法不同于现有的监测方法，现有方法集中于驾驶员是否分心，属于二分类问题，从技术角度来说比较容易处理。然而，本发明不仅监测驾驶员是否分心，而且着重于监测具体为何种类型的分心状态，即对分心状态进行细粒度的监测。
此外，由于感觉运动分心、认知分心和情绪分心不是完全独立的，彼此间存在相关性，并且不同分心状态之间的差异很小，因此，捕捉不同分心状态之间的细微差异特征具有极大的挑战性。为实现对驾驶员分心的细粒度监测，本发明通过基于NAS的自动构建的驾驶员分心监测模型实现端到端的分心监测，通过小尺寸卷积核的连续多层映射计算以获得更细粒度的多尺度特征，以最小的差异监测分心。
如图2右侧所示，实现方案如下：基于测试集，输入待监测驾驶时序数据，利用自动构建的驾驶员分心监测模型对驾驶员分心进行细粒度监测，输出one-hot预测向量，表征预测的驾驶员状态，其中驾驶员状态具体分为4类：正常驾驶状态、认知分心状态、情绪分心状态和感觉运动分心状态。即定义4维的one-hot预测向量来表征预测的驾驶员状态。其中，one-hot预测向量仅包含0和1两类数值，将正常驾驶状态记为[1，0，0，0]，将认知分心状态记为[0，1，0，0]，将情绪分心状态记为[0，0，1，0]，将感觉运动分心状态记为[0，0，0，1]。
针对上述提供的驾驶员分心细粒度监测方法，本发明还对应提供了一种驾驶员分心细粒度监测系统。
图6为本发明驾驶员分心细粒度监测系统的结构示意图。如图6所示，本发明所提供的驾驶员分心细粒度监测系统包括：时序数据获取模块1、驾驶员分心监测模型获取模块2、预测向量确定模块3和分心状态确定模块4。
其中，时序数据获取模块1用于获取驾驶员的时序数据；所述时序数据包括：计算机视觉的时间序列数据、车辆动态的时间序列数据和驾驶员生理的时间序列数据。
驾驶员分心监测模型获取模块2用于获取驾驶员分心监测模型；所述驾驶员分心监测模型包括15个卷积层、1个全局平均池化层和1个softmax分类器。
预测向量确定模块3用于采用所述驾驶员分心监测模型，根据所述驾驶员的时序数据得到预测向量。
分心状态确定模块4用于根据所述预测向量确定所述驾驶员的分心状态；所述分心状态包括：正常驾驶状态、认知分心状态、情绪分心状态和感觉运动分心状态。
作为本发明的另一实施例，所述系统还包括：驾驶员分心监测模型构建模块。所述驾驶员分心监测模型构建模块具体包括：神经架构搜索算法获取单元和驾驶员分心监测模型构建单元。
其中，神经架构搜索算法获取单元用于获取神经架构搜索算法。
驾驶员分心监测模型构建单元用于根据所述神经架构搜索算法构建所述驾驶员分心监测模型。
作为本发明的另一实施例，上述驾驶员分心监测模型构建单元具体包括：设定子单元、控制器获取子单元、预测超参数确定子单元、候选子网络生成子单元、标定采样子单元、训练集和验证集生成子单元、训练子单元、验证精度确定子单元、超参数更新单元和驾驶员分心监测模型生成子单元。
其中，设定子单元用于设定所需构建模型的基本架构，并设定搜索空间；所述搜索空间包括：用于搜索的网络算子和超参数；所述超参数包括各卷积层中卷积核的宽度、卷积核的高度、卷积通道数和级联惩罚因子；
控制器获取子单元用于获取控制器；所述控制器的输入端为预设的搜索空间，所述控制器的输出端为预测超参数；
预测超参数确定子单元用于采用所述控制器，根据所述搜索空间得到预测超参数；
候选子网络生成子单元用于根据所述预测超参数生成候选子网络；
标定采样子单元用于对获取的驾驶员的时序数据进行标定采样，得到与所述驾驶员的时序数据相对应的分心状态；
训练集和验证集生成子单元用于根据所述驾驶员的时序数据和与所述驾驶员的时序数据相对应的分心状态生成训练集和验证集；
训练子单元用于采用所述训练集训练所述候选子网络直至收敛；
验证精度确定子单元用于采用所述验证集对收敛后的所述候选子网络进行性能评估以确定验证精度；
超参数更新单元用于以所述验证精度为控制器的损失值，对控制器的超参数进行更新，直至达到设定阈值后收敛，得到收敛后的控制器；
驾驶员分心监测模型生成子单元用于采用收敛后的控制器重新迭代生成子网络，对子网络进行训练及验证；待满足设定条件时，导出验证精度值最高的子网络；所述验证精度值最高的子网络即为所述驾驶员分心监测模型。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种驾驶员分心细粒度监测方法，其特征在于，包括：
获取驾驶员的时序数据；所述时序数据包括：计算机视觉的时间序列数据、车辆动态的时间序列数据和驾驶员生理的时间序列数据；
获取驾驶员分心监测模型；所述驾驶员分心监测模型包括15个卷积层、1个全局平均池化层和1个softmax分类器；
采用所述驾驶员分心监测模型，根据所述驾驶员的时序数据得到预测向量；
根据所述预测向量确定所述驾驶员的分心状态；所述分心状态包括：正常驾驶状态、认知分心状态、情绪分心状态和感觉运动分心状态。
2.根据权利要求1所述的驾驶员分心细粒度监测方法，其特征在于，所述驾驶员分心监测模型的构建过程具体包括：
获取神经架构搜索算法；
根据所述神经架构搜索算法构建所述驾驶员分心监测模型。
3.根据权利要求2所述的驾驶员分心细粒度监测方法，其特征在于，所述根据所述神经架构搜索算法构建所述驾驶员分心监测模型，具体包括：
设定所需构建模型的基本架构，并设定搜索空间；所述搜索空间包括：用于搜索的网络算子和超参数；所述超参数包括各卷积层中卷积核的宽度、卷积核的高度、卷积通道数和级联惩罚因子；
获取控制器；所述控制器的输入端为设定的搜索空间，所述控制器的输出端为预测超参数；
采用所述控制器，根据所述搜索空间得到预测超参数；
根据所述预测超参数生成候选子网络；
对获取的驾驶员的时序数据进行标定采样，得到与所述驾驶员的时序数据相对应的分心状态；
根据所述驾驶员的时序数据和与所述驾驶员的时序数据相对应的分心状态生成训练集和验证集；
采用所述训练集训练所述候选子网络直至收敛；
采用所述验证集对收敛后的所述候选子网络进行性能评估以确定验证精度；
以所述验证精度为控制器的损失值，对控制器的超参数进行更新，直至达到设定阈值后收敛，得到收敛后的控制器；
采用收敛后的控制器重新迭代生成子网络，对子网络进行训练及验证；待满足设定条件后，导出验证精度值最高的子网络；所述验证精度值最高的子网络即为所述驾驶员分心监测模型。
4.根据权利要求2所述的驾驶员分心细粒度监测方法，其特征在于，所述神经架构搜索算法包括：定义搜索空间、设计搜索策略和制定性能评估指标。
5.根据权利要求1所述的驾驶员分心细粒度监测方法，其特征在于，采用驾驶模拟器获取所述驾驶员的时序数据。
6.一种驾驶员分心细粒度监测系统，其特征在于，包括：
时序数据获取模块，用于获取驾驶员的时序数据；所述时序数据包括：计算机视觉的时间序列数据、车辆动态的时间序列数据和驾驶员生理的时间序列数据；
驾驶员分心监测模型获取模块，用于获取驾驶员分心监测模型；所述驾驶员分心监测模型包括15个卷积层、1个全局平均池化层和1个softmax分类器；
预测向量确定模块，用于采用所述驾驶员分心监测模型，根据所述驾驶员的时序数据得到预测向量；
分心状态确定模块，用于根据所述预测向量确定所述驾驶员的分心状态；所述分心状态包括：正常驾驶状态、认知分心状态、情绪分心状态和感觉运动分心状态。
7.根据权利要求6所述的驾驶员分心细粒度监测系统，其特征在于，所述系统还包括：驾驶员分心监测模型构建模块，所述驾驶员分心监测模型构建模块具体包括：
神经架构搜索算法获取单元，用于获取神经架构搜索算法；
驾驶员分心监测模型构建单元，用于根据所述神经架构搜索算法构建所述驾驶员分心监测模型。
8.根据权利要求7所述的驾驶员分心细粒度监测系统，其特征在于，所述驾驶员分心监测模型构建单元具体包括：
设定子单元，用于设定所需构建模型的基本架构，并设定搜索空间；所述搜索空间包括：用于搜索的网络算子和超参数；所述超参数包括各卷积层中卷积核的宽度、卷积核的高度、卷积通道数和级联惩罚因子；
控制器获取子单元，用于获取控制器；所述控制器的输入端为预设的搜索空间，所述控制器的输出端为预测超参数；
预测超参数确定子单元，用于采用所述控制器，根据所述搜索空间得到预测超参数；
候选子网络生成子单元，用于根据所述预测超参数生成候选子网络；
标定采样子单元，用于对获取的驾驶员的时序数据进行标定采样，得到与所述驾驶员的时序数据相对应的分心状态；
训练集和验证集生成子单元，用于根据所述驾驶员的时序数据和与所述驾驶员的时序数据相对应的分心状态生成训练集和验证集；
训练子单元，用于采用所述训练集训练所述候选子网络直至收敛；
验证精度确定子单元，用于采用所述验证集对收敛后的所述候选子网络进行性能评估以确定验证精度；
超参数更新单元，用于以所述验证精度为控制器的损失值，对控制器的超参数进行更新，直至达到设定阈值后收敛，得到收敛后的控制器；
驾驶员分心监测模型生成子单元，用于采用收敛后的控制器重新迭代生成子网络，对子网络进行训练及验证；待满足设定条件时，导出验证精度值最高的子网络；所述验证精度值最高的子网络即为所述驾驶员分心监测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010391108.3A CN111516700A (zh) | 2020-05-11 | 2020-05-11 | 一种驾驶员分心细粒度监测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010391108.3A CN111516700A (zh) | 2020-05-11 | 2020-05-11 | 一种驾驶员分心细粒度监测方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111516700A true CN111516700A (zh) | 2020-08-11 |
Family
ID=71907342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010391108.3A Pending CN111516700A (zh) | 2020-05-11 | 2020-05-11 | 一种驾驶员分心细粒度监测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111516700A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112241786A (zh) * | 2020-10-23 | 2021-01-19 | 北京百度网讯科技有限公司 | 模型超参数的确定方法及设备、计算设备和介质 |
| CN113191214A (zh) * | 2021-04-12 | 2021-07-30 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种驾驶人员失误操作风险预警方法及系统 |
| CN113469078A (zh) * | 2021-07-07 | 2021-10-01 | 西安电子科技大学 | 基于自动设计长短时记忆网络的高光谱图像分类方法 |
| CN114187581A (zh) * | 2021-12-14 | 2022-03-15 | 安徽大学 | 一种基于无监督学习的驾驶员分心细粒度检测方法 |
| CN114511798A (zh) * | 2021-12-10 | 2022-05-17 | 安徽大学 | 基于transformer的驾驶员分心检测方法及装置 |
| CN116176600A (zh) * | 2023-04-25 | 2023-05-30 | 合肥工业大学 | 一种智能健康座舱的控制方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108021983A (zh) * | 2016-10-28 | 2018-05-11 | 谷歌有限责任公司 | 神经架构搜索 |
| CN109034134A (zh) * | 2018-09-03 | 2018-12-18 | 深圳市尼欧科技有限公司 | 基于多任务深度卷积神经网络的异常驾驶行为检测方法 |
| CN110476172A (zh) * | 2017-07-21 | 2019-11-19 | 谷歌有限责任公司 | 用于卷积神经网络的神经架构搜索 |
| CN110575163A (zh) * | 2019-08-01 | 2019-12-17 | 深圳大学 | 一种检测驾驶员分心的方法及装置 |
-
2020
- 2020-05-11 CN CN202010391108.3A patent/CN111516700A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108021983A (zh) * | 2016-10-28 | 2018-05-11 | 谷歌有限责任公司 | 神经架构搜索 |
| CN110476172A (zh) * | 2017-07-21 | 2019-11-19 | 谷歌有限责任公司 | 用于卷积神经网络的神经架构搜索 |
| CN109034134A (zh) * | 2018-09-03 | 2018-12-18 | 深圳市尼欧科技有限公司 | 基于多任务深度卷积神经网络的异常驾驶行为检测方法 |
| CN110575163A (zh) * | 2019-08-01 | 2019-12-17 | 深圳大学 | 一种检测驾驶员分心的方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| ZOPH,B.；LE,Q.V.: "Neural architecture search with reinforcement learning", 《ARXIV PREPRINT ARXIV:1611.01578》 * |
| 张彬，于欣妍，朱永贵等: "《图像复原优化算法》", 31 August 2019, 国防工业出版社 * |
| 陈杰: "深度学习正则化技术研究及其在驾驶安全风险领域的应用", 《中国博士学位论文全文数据库工程科技1辑》 * |
| 黄孝平: "《当代机器深度学习方法与应用研究》", 30 November 2017 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112241786A (zh) * | 2020-10-23 | 2021-01-19 | 北京百度网讯科技有限公司 | 模型超参数的确定方法及设备、计算设备和介质 |
| CN112241786B (zh) * | 2020-10-23 | 2024-02-20 | 北京百度网讯科技有限公司 | 模型超参数的确定方法及设备、计算设备和介质 |
| CN113191214A (zh) * | 2021-04-12 | 2021-07-30 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种驾驶人员失误操作风险预警方法及系统 |
| CN113469078A (zh) * | 2021-07-07 | 2021-10-01 | 西安电子科技大学 | 基于自动设计长短时记忆网络的高光谱图像分类方法 |
| CN114511798A (zh) * | 2021-12-10 | 2022-05-17 | 安徽大学 | 基于transformer的驾驶员分心检测方法及装置 |
| CN114511798B (zh) * | 2021-12-10 | 2024-04-26 | 安徽大学 | 基于transformer的驾驶员分心检测方法及装置 |
| CN114187581A (zh) * | 2021-12-14 | 2022-03-15 | 安徽大学 | 一种基于无监督学习的驾驶员分心细粒度检测方法 |
| CN114187581B (zh) * | 2021-12-14 | 2024-04-09 | 安徽大学 | 一种基于无监督学习的驾驶员分心细粒度检测方法 |
| CN116176600A (zh) * | 2023-04-25 | 2023-05-30 | 合肥工业大学 | 一种智能健康座舱的控制方法 |
| CN116176600B (zh) * | 2023-04-25 | 2023-09-29 | 合肥工业大学 | 一种智能健康座舱的控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111516700A (zh) | 一种驾驶员分心细粒度监测方法和系统 | |
| US11755108B2 (en) | Systems and methods for deep reinforcement learning using a brain-artificial intelligence interface | |
| CN109222972B (zh) | 一种基于深度学习的fMRI全脑数据分类方法 | |
| Manawadu et al. | Multiclass classification of driver perceived workload using long short-term memory based recurrent neural network | |
| CN109255366B (zh) | 一种针对在线学习的情感状态调节系统 | |
| CN111204348A (zh) | 调节车辆行驶参数方法、装置、车辆及存储介质 | |
| CN114648354A (zh) | 一种基于眼动追踪和情绪状态的广告测评方法和系统 | |
| CN113743471B (zh) | 一种驾驶评估方法及其系统 | |
| CN110472512A (zh) | 一种基于深度学习的人脸状态识别方法及其装置 | |
| CN111436929A (zh) | 一种神经生理信号的生成和识别方法 | |
| CN112733772B (zh) | 仓储拣选任务中的实时认知负荷与疲劳度检测方法与系统 | |
| JP2022039977A (ja) | ドライバー方向転換意思連続予測方法およびシステム | |
| CN113139474A (zh) | 生物识别技术和数据驱动下的汽车座舱智能适应模型算法 | |
| CN113282840B (zh) | 一种训练采集综合管理平台 | |
| Xiaoling | Motor imagery-based EEG signals classification by combining temporal and spatial deep characteristics | |
| CN112494034B (zh) | 基于3d体态检测分析的数据处理分析系统及方法 | |
| CN113435234B (zh) | 一种基于双模态视频eeg数据的驾驶员视觉显著性区域预测方法 | |
| CN109934171B (zh) | 基于分层网络模型的驾驶员消极驾驶状态在线感知方法 | |
| CN117747064A (zh) | 一种基于ai的抑郁症临床决策方法及系统 | |
| CN116779160A (zh) | 一种自适应认知障碍筛查系统 | |
| CN116985741A (zh) | 基于听觉与嗅觉的多模态驾驶员愤怒情绪调节方法 | |
| CN114604255A (zh) | 车辆控制方法、车辆控制装置、计算机设备及存储介质 | |
| Xing et al. | Continuous driver steering intention prediction considering neuromuscular dynamics and driving postures | |
| Suresh et al. | Analysis and Implementation of Deep Convolutional Neural Network Models for Intelligent Driver Drowsiness Detection System | |
| CN117852758B (zh) | 一种基于人工智能的个性化教育方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200811 |
|
| RJ01 | Rejection of invention patent application after publication |