CN114595714A - 一种基于多源信息融合的驾驶员认知状态辨识方法及系统 - Google Patents

一种基于多源信息融合的驾驶员认知状态辨识方法及系统 Download PDF

Info

Publication number
CN114595714A
CN114595714A CN202210167809.8A CN202210167809A CN114595714A CN 114595714 A CN114595714 A CN 114595714A CN 202210167809 A CN202210167809 A CN 202210167809A CN 114595714 A CN114595714 A CN 114595714A
Authority
CN
China
Prior art keywords
driver
data
cognitive state
experiment
fixation point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210167809.8A
Other languages
English (en)
Inventor
李婧媛
刘亚辉
季学武
陶书鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210167809.8A priority Critical patent/CN114595714A/zh
Publication of CN114595714A publication Critical patent/CN114595714A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提出了一种基于多源信息融合的驾驶员认知状态辨识方法及系统，包括七个部分：驾驶员分心实验、数据预处理、特征提取、标准化处理、模型训练、特征重要性分析和认知状态确定，模型辨识结果为驾驶员的三级认知状态，包括专注、轻度分心、重度分心，本发明将车辆信息、驾驶员眼动信息、驾驶员脑电信息相融合，同时考虑了道路特征和驾驶员个体特征，所训练的模型实现了对驾驶员认知状态较为准确的辨识，所提取出的对辨识结果影响较大的特征，可以用于实车驾驶员状态检测中。

Description

一种基于多源信息融合的驾驶员认知状态辨识方法及系统
技术领域
本发明涉及驾驶员状态监测领域，特别涉及一种基于多源信息融合的驾驶员认知状态辨识方法及系统。
背景技术
近年来，随着智能终端的普及和车载信息系统的日益完善，驾驶员分心驾驶的行为变得越来越普遍。分心驾驶行为降低了驾驶员对交通环境的应变能力，会导致错误的决策和操作。例如，当驾驶员在一边开车一边接打电话时，注意力就会从驾驶任务转移到通话上，导致驾驶员的反应时间增长、对车辆的操纵能力下降，在遇到突发情况时极容易发生交通事故。因此，如果能对驾驶员的认知状态进行准确辨识，在检测到驾驶员存在危险行为时，对驾驶员进行必要的提醒、促使驾驶员从分心状态回到正常驾驶状态，就能够有效避免交通事故的发生。
现有某项技术公开了一种用于检测和提醒驾驶员分心的驾驶系统及判断方法，通过采集方向盘转角、车辆行驶路径、视觉注视位置、方向盘握力等信号进行驾驶员的认知状态辨识。该方法结构较为简单、易于实现，可以达到检测目的。但是，利用所定义的分心驾驶参数指标是否达到阈值来判别驾驶员的分心状态，说服力较弱，其应用具有一定的局限性。现有另一项技术还公开了一种基于多源信息融合的驾驶员认知分心监测方法，该方法使用的数据包括方向盘转角、车速、驾驶员头部朝向和注视点位置，采用支持向量机算法对驾驶员的认知分心状态进行实时监测。然而，该方法仅采集了车辆信号和驾驶员的眼动信号，尚未考虑驾驶员认知状态变化在脑电信号上的体现，而且未考虑个体特征和道路特征，因此对多样化道路和不同驾驶员的普适性较差。
另外，上述两方法均仅提出了驾驶员认知状态的辨识方法，并未进一步研究哪些因素对驾驶员认知状态的表征能力更强、哪些特征更适合被用于驾驶员分心状态的辨识。
发明内容
针对上述问题，本发明的目的是提供一种对多样化道路和不同驾驶员的普适性较高的基于多源信息融合的驾驶员认知状态辨识方法及系统。
为实现上述目的，本发明采取以下技术方案：第一方面，提供一种基于多源信息融合的驾驶员认知状态辨识方法，包括：
建立认知状态辨识模型；
在实车中同时获取车辆数据以及驾驶员的生理数据并进行处理；
将处理后的数据输入至建立的认知状态辨识模型，确定驾驶员的认知状态。
进一步地，所述建立认知状态辨识模型，包括：
在驾驶模拟器上进行驾驶员的分心实验，同时获取实验的车辆数据以及驾驶员的生理数据；
对获取的车辆数据以及驾驶员的生理数据进行预处理；
对预处理后的车辆数据以及驾驶员的生理数据进行特征提取，并对实验道路的特征和驾驶员的个体特征进行提取；
对提取的特征进行标准化处理；
根据标准化处理后的特征，建立认知状态辨识模型，并筛选出标准化处理后的特征中平均SHAP值前若干位的特征。
进一步地，所述在驾驶模拟器上进行驾驶员的分心实验，同时获取实验的车辆数据以及驾驶员的生理数据，包括：
对眼动仪进行校准，并对半干电极脑电系统的电极帽定位；
驾驶员基于校准后的眼动仪和定位后的半干电极脑电系统，在驾驶模拟器上进行预实验；
驾驶员基于校准后的眼动仪和定位后的半干电极脑电系统，在驾驶模拟器上进行正式实验，并同时获取对应实验的车辆数据以及驾驶员的眼动数据和脑电数据。
进一步地，所述正式实验包括第一实验、第二实验和第三实验，每一正式实验均使驾驶员操纵驾驶模拟器，在给定道路上由起点驾驶至终点；
在第一实验中，不对驾驶员施加分心干扰；在第二实验中，对驾驶员施加第一组任务的干扰；在第三实验中，对驾驶员施加第二组任务的干扰。
进一步地，所述车辆数据的特征包括方向盘转角标准差、方向盘转角均值、方向盘转角最大值、方向盘转角最小值、侧向偏差标准差、侧向偏差均值、侧向偏差最大值、侧向偏差最小值、纵向车速标准差、纵向车速均值、纵向车速最大值和纵向车速最小值；
所述眼动数据的特征包括左眼注视点水平移动速度、左眼注视点垂直移动速度、左眼注视点前后移动速度、右眼注视点水平移动速度、右眼注视点垂直移动速度、右眼注视点前后移动速度、左眼平均瞳孔直径、右眼平均瞳孔直径、眼球转动角速度均值、眼球转动角速度标准差、左眼注视点水平位置均值、左眼注视点垂直位置均值、右眼注视点水平位置均值、右眼注视点垂直位置均值、左眼注视点水平位置标准差、左眼注视点垂直位置标准差、右眼注视点水平位置标准差、右眼注视点垂直位置标准差、眼跳频率和注视频率；
所述脑电数据的特征包括α波与β波的平均功率谱密度之比、α波与β波的平均功率谱密度之和；
所述实验道路的特征为道路曲率；
所述驾驶员的个体特征为驾龄。
进一步地，所述对获取的车辆数据以及驾驶员的生理数据进行预处理，包括：
对获取的车辆数据以及驾驶员的眼动数据和脑电数据进行数据剔除；
对数据剔除后的车辆数据以及驾驶员的眼动数据和脑电数据进行时间轴同步；
对时间轴同步后的车辆数据以及驾驶员的眼动数据和脑电数据进行数据降采样。
进一步地，所述根据标准化处理后的特征，建立认知状态辨识模型，并筛选出标准化处理后的特征中平均SHAP值前若干位的特征，包括：
根据标准化处理后的特征，采用LightGBM算法进行模型训练，建立认知状态辨识模型，其中，认知状态辨识模型的输入为标准化处理后的特征，输出为驾驶员的认知状态；
根据标准化处理后的特征，进行基于SHAP值的特征重要性分析，筛选出标准化处理后的特征中平均SHAP值前若干位的特征。
第二方面，提供一种基于多源信息融合的驾驶员认知状态辨识系统，包括：
模型建立模块，用于建立认知状态辨识模型；
实车数据采集模块，在实车中同时获取车辆数据以及驾驶员的生理数据并进行处理；
认知状态确定模块，用于将处理后的数据输入至建立的认知状态辨识模型，确定驾驶员的认知状态。
第三方面，提供一种处理设备，包括计算机程序指令，其中，所述计算机程序指令被处理设备执行时用于实现上述基于多源信息融合的驾驶员认知状态辨识方法对应的步骤。
第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时用于实现上述基于多源信息融合的驾驶员认知状态辨识方法对应的步骤。
本发明由于采取以上技术方案，具有以下优点：
1、本发明在驾驶员分心实验中同时采集车辆数据、驾驶员眼动数据、驾驶员脑电数据，并额外考虑了道路特征和驾驶员个体特征对驾驶员认知状态的影响，融合上述五类特征进行驾驶员认知状态辨识，能够得到训练结果较好、普适性较强的辨识模型。
2、本发明采用SHAP值分析特征的重要性，提取出25个对驾驶员认知状态辨识结果有重要影响的特征，能够提高模型的可解释性，对研究驾驶员认知状态的主观、客观表征量有一定的启发意义，所提取出的较为重要的特征可以用于实车中驾驶员状态的实时检测。
附图说明
下文将通过阐述优选实施方式对该发明的益处进行具体分析。附图仅用于示出优选实施方式，并不是对本发明的限制。在附图中：
图1是本发明一实施例提供的方法流程示意图；
图2是本发明一实施例提供的方法中正式实验阶段的流程示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施方式。虽然附图中显示了本发明的示例性实施方式，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本发明，并且能够将本发明的范围完整地传达给本领域的技术人员。
应理解的是，文中使用的术语仅出于描述特定示例实施方式的目的，而无意于进行限制。除非上下文另外明确地指出，否则如文中使用的单数形式“一”、“一个”以及“所述”也可以表示包括复数形式。术语“包括”、“包含”、“含有”以及“具有”是包含性的，并且因此指明所陈述的特征、步骤、操作、元件和/或部件的存在，但并不排除存在或者添加一个或多个其它特征、步骤、操作、元件、部件、和/或它们的组合。文中描述的方法步骤、过程、以及操作不解释为必须要求它们以所描述或说明的特定顺序执行，除非明确指出执行顺序。还应当理解，可以使用替代的步骤。
本发明实施例提供的基于多源信息融合的驾驶员认知状态辨识方法及系统，将车辆数据、驾驶员眼动数据、驾驶员脑电数据相融合，同时考虑了道路特征和驾驶员个体特征。所训练的模型实现了对驾驶员认知状态较为准确的辨识，所提取出的对辨识结果影响较大的特征可以用于驾驶员状态实时检测中。
实施例1
如图1所示，本实施例提供一种基于多源信息融合的驾驶员认知状态辨识方法，包括以下步骤：
1)在驾驶模拟器上进行驾驶员的分心实验，同时获取实验的车辆数据、驾驶员的生理数据，其中，车辆数据包括方向盘转角、侧向偏差和纵向车速，生理数据包括驾驶员眼动数据和32通道的脑电数据，具体为：
1.1)对眼动仪进行校准，并对半干电极脑电系统的电极帽定位。
具体地，驾驶员的眼动数据采用眼动仪进行采集，驾驶员的脑电数据采用32通道半干电极脑电系统(包括电极帽和脑电信号放大器)进行采集。
具体地，眼动仪的校准过程包括：驾驶员双眼注视屏幕上不断移动的红点；实验人员通过平均注视点和目标注视点之间的距离评估校准结果；如果校准结果没有达到预设的要求或没有校准反馈，则重新校准。
具体地，电极帽的定位过程包括：测量驾驶员的头部尺寸，找出Nz点(驾驶员的双眼与鼻子之间凹陷处)和Iz点(驾驶员头部正后方凸起处)之间的中点Cz；驾驶员基于找出的中点Cz穿戴电极帽，以方便电极的定位，Cz点对齐后，电极帽其他的位置也会相应对齐。
进一步地，电极帽各个电极的命名和位置分布与脑图学会国际联合会提出的10～20标准系统一致。
1.2)驾驶员基于校准后的眼动仪和定位后的半干电极脑电系统，在驾驶模拟器上进行预实验：
驾驶员按照自然驾驶习惯操纵驾驶模拟器的方向盘，沿屏幕中给定的道路行驶，使车辆始终位于路径的中央，一直驾驶至道路末端。
具体地，令驾驶员进行约10min的驾驶练习，使其熟悉驾驶模拟器的操作和实验道路。在驾驶过程中，要求驾驶员始终保持舒适的自然驾驶姿态，同时确保固定在驾驶员头部的电极帽不与驾驶模拟器座椅等部件发生空间干涉。
1.3)如图2所示，令驾驶员在驾驶模拟器上进行正式实验，并同时获取车辆数据、驾驶员的眼动数据和32通道的脑电数据，其中，正式实验包括第一实验、第二实验和第三实验，每次正式实验中，均使驾驶员操纵驾驶模拟器，在屏幕中给定道路上由起点驾驶至终点。从车辆开始行驶时计时，每次实验耗时约7min30s。
具体地，第一实验为用于对比的基线实验，在该实验中，不对驾驶员施加分心干扰，驾驶员的认知状态为专注驾驶。在第二实验中，对驾驶员施加第一组任务的干扰。在第三实验中，对驾驶员施加第二组任务的干扰。
具体地，第一组任务和第二组任务均包括：在0～1min内，给驾驶员打电话，驾驶员采用蓝牙耳机接听电话；在时间为2min、3min、4min、5min和6min时，依次向驾驶员提出5个问题，驾驶员需要在1min内(即下一个问题提出之前)对问题进行答复。进一步地，第一组任务和第二组任务内容可以如下表1所示。第一组任务的内容属于日常谈话的范畴，难度较低；第二组任务的问题为四则运算，难度比第一组任务高，需要驾驶员更多地将注意力转移到回答问题的任务上。因此，从第一实验到第二实验、再到第三实验，驾驶员的分心程度依次加深，对应地，维持较优驾驶表现的难度也依次提高。在第二实验中，考虑到驾驶员接听电话后听到问题、回答问题的整个过程均属于在执行驾驶次任务，因此，认为驾驶员的认知状态在1～7min时是轻度分心。在第三实验中，考虑到驾驶员接听电话后听到问题、回答问题的整个过程均属于在执行更加复杂的驾驶次任务，因此，认为驾驶员的认知状态在1～7min时是重度分心。
表1：第一组任务和第二组任务的问题
Figure BDA0003516253500000061
2)对实验获取的车辆数据、驾驶员的生理数据进行预处理，具体为：
2.1)对实验获取的车辆数据、驾驶员的眼动数据和脑电数据进行数据剔除。
具体地，在每次实验开始时，由于软硬件之间信息传输存在延迟效应，当开始记录驾驶员的生理数据时，车辆信号不能同步记录。因此，需要将每次实验最开始一段时间(约2s左右)的生理数据剔除。
2.2)对数据剔除后的车辆数据、驾驶员的眼动数据和脑电数据进行时间轴同步。
具体地，在每次实验中，将开始记录车辆数据的时刻设置为零时刻。
2.3)对时间轴同步后的车辆数据、驾驶员的眼动数据和脑电数据进行数据降采样。各项数据的原始采样频率如下表2所示。
表2：数据的原始采样频率
Figure BDA0003516253500000062
对于车辆数据，将方向盘转角的采样频率从1000Hz降到100Hz，与侧向偏差和车速的频率保持一致。对于脑电数据，根据采样定理，采样率为所研究频段最高频率的两倍以上便可还原该频率内的波形(脑电数据通常要求至少3～4倍采样率)。本发明实施例研究的脑电波频率范围为1Hz～30Hz，因此为提高计算效率，将脑电数据的频率降低为100Hz。眼动数据的频率保持不变。
3)对预处理后的车辆数据、驾驶员的生理数据进行特征提取，并对实验道路的特征和驾驶员的个体特征进行提取。车辆数据特征和驾驶员生理数据特征的计算周期均为1秒。
具体地，车辆数据的特征包括方向盘转角标准差、方向盘转角均值、方向盘转角最大值、方向盘转角最小值、侧向偏差标准差、侧向偏差均值、侧向偏差最大值、侧向偏差最小值、纵向车速标准差、纵向车速均值、纵向车速最大值和纵向车速最小值。
具体地，眼动数据的特征包括左眼注视点水平移动速度、左眼注视点垂直移动速度、左眼注视点前后移动速度、右眼注视点水平移动速度、右眼注视点垂直移动速度、右眼注视点前后移动速度、左眼平均瞳孔直径、右眼平均瞳孔直径、眼球转动角速度均值、眼球转动角速度标准差、左眼注视点水平位置均值、左眼注视点垂直位置均值、右眼注视点水平位置均值、右眼注视点垂直位置均值、左眼注视点水平位置标准差、左眼注视点垂直位置标准差、右眼注视点水平位置标准差、右眼注视点垂直位置标准差、眼跳频率和注视频率。
具体地，脑电数据的特征包括α波与β波的平均功率谱密度之比、α波与β波的平均功率谱密度之和。
具体地，实验道路的特征为道路曲率，驾驶员的个体特征为驾龄。
综上，得到36个特征如下表3所示。
表3：特征提取后得到的36个特征
Figure BDA0003516253500000071
Figure BDA0003516253500000081
4)对提取的特征进行标准化处理，以消除各项特征数据量纲不统一造成的影响，同时保留同一特征内部各个数据的相对大小关系。
具体地，采用Min-max标准化方法，将提取的各项特征分别进行线性变换，使其分别映射至[0,1]区间上，转换公式为：
Figure BDA0003516253500000082
其中，x为某一特征；xnorm为特征x经过标准化后得到的结果；xmax为特征x中的最大值；xmin为特征x中的最小值。
5)根据标准化处理后的特征，采用LightGBM(Light Gradient BoostingMachine)算法进行模型训练，建立认知状态辨识模型，具体为：
5.1)采用四折交叉验证方法，将步骤4)中得到的数据分为四份，其中，三份数据作为训练集，一份数据作为验证集。
5.2)基于LightGBM算法，采用训练集和验证集分别进行模型训练和模型验证，得到认知状态辨识模型，其中，认知状态辨识模型的输入为表3中经过标准化处理后的各项特征，输出为驾驶员的三级认知状态，分别为专注、轻度分心和重度分心。
6)根据标准化处理后的特征，进行基于SHAP(SHapley Additive exPlanations)值的特征重要性分析，筛选出标准化处理后的特征中平均SHAP值由大到小排名前若干位的特征。
具体地，进行基于SHAP值的特征重要性分析，筛选出标准化处理后的特征中平均SHAP值排名前25位的特征，并将该25个特征按照平均SHAP值的大小分为三组，第一组特征的SHAP值区间为SHAP>0.8，第二组特征的SHAP值区间为SHAP＝0.4～0.8，第三组特征的SHAP值区间为SHAP＝0.1～0.4，三组特征对驾驶员状态辨识模型的重要性依次递减。
更具体地，第一组特征包括眼跳频率、方向盘转角标准差、侧向偏差标准差、驾驶员的驾龄、左眼注视点水平位置标准差、右眼注视点水平位置标准差、左眼平均瞳孔直径和右眼平均瞳孔直径，第二组特征包括方向盘转角最小值、侧向偏差最大值、左眼注视点垂直位置均值、右眼注视点垂直位置均值和左眼注视点水平位置均值，第三组特征包括道路曲率、方向盘转角最大值、方向盘转角均值、侧向偏差均值、侧向偏差最小值、右眼注视点水平位置均值、左眼注视点垂直位置标准差、右眼注视点垂直位置标准差、左眼注视点水平移动速度、右眼注视点水平移动速度、眼球转动角速度均值和眼球转动角速度标准差，如下表4所示。
表4：前25个特征
Figure BDA0003516253500000091
7)在实车中，同时采集车辆数据和驾驶员的生理数据，计算步骤6)中的第一组特征，或计算步骤6)中的第一组特征和第二组特征，并将实时计算得到的特征数据输入至所建立的认知状态辨识模型，确定实车驾驶员的认知状态。
下面通过具体实施例详细说明本发明采用的LightGBM算法的有效性：
依次采用支持向量机(SVM，Support Vector Machine)算法、K邻近(KNN，K-Nearest Neighbors)算法、决策树(Decision Tree)算法、二次判别(QDA，QuadraticDiscriminant Analysis)算法、随机森林(Random Forest)算法、极限树(Extra Trees)算法、CatBoost(Categorical Boosting)算法和XGBoost(eXtreme Gradient Boosting)算法进行模型训练，得到对应的模型。
将采用八种算法训练后得到的八个模型与采用LightGBM算法训练后得到的模型进行对比。
具体地，采用五项性能指标评价模型的优劣，五项性能指标包括准确率、精确率、召回率、F1值和AUC值。上述九种算法的训练结果如下表5所示。
表5：LightGBM与其他八种算法的训练结果对比
算法 准确率 精确率 召回率 F1值 AUC值
SVM 0.771 0.767 0.767 0.767 0.89
KNN 0.740 0.737 0.737 0.737 0.86
Decision Tree 0.762 0.758 0.743 0.750 0.91
QDA(Quadratic Discriminant Analysis) 0.700 0.701 0.695 0.698 0.87
Random Forest 0.772 0.767 0.767 0.767 0.91
Extra Trees 0.775 0.758 0.759 0.759 0.89
CatBoost(Categorical Boosting) 0.778 0.775 0.774 0.774 0.92
XGBoost(eXtreme Gradient Boosting) 0.780 0.776 0.774 0.775 0.92
LightGBM 0.782 0.779 0.777 0.778 0.92
可以看出，本发明中采用的LightGBM算法在准确率、精确率、召回率、F1值和AUC值上均比其他八种算法高，基于LightGBM算法的驾驶员认知状态辨识更加准确。
实施例2
本实施例提供一种基于多源信息融合的驾驶员认知状态辨识系统，包括：
实验模块，用于进行驾驶员的分心实验，同时获取实验的车辆数据以及驾驶员的生理数据，包括设备校准、预实验和正式实验。
数据预处理模块，用于对实验数据进行预处理，包括数据剔除、时间轴同步和数据降采样。
特征提取模块，用于对预处理后的车辆数据和驾驶员的生理数据进行特征提取，并对道路特征和驾驶员个体特征进行提取。
特征标准化处理模块，用于对提取的特征进行标准化处理。
模型训练模块，用于根据标准化处理后的特征，基于LightGBM算法进行模型训练，建立认知状态辨识模型。
特征重要性分析模块，用于根据标准化处理后的特征，进行基于SHAP值的特征重要性分析，筛选出平均SHAP值最大的前若干位特征。
认知状态确定模块，用于将处理后的数据输入至建立的认知状态辨识模型，确定实际驾驶员的认知状态。
实施例3
本实施例提供一种与本实施例1所提供的基于多源信息融合的驾驶员认知状态辨识方法对应的处理设备，处理设备可以是用于客户端的处理设备，例如手机、笔记本电脑、平板电脑、台式机电脑等，以执行实施例1的方法。
所述处理设备包括处理器、存储器、通信接口和总线，处理器、存储器和通信接口通过总线连接，以完成相互间的通信。存储器中存储有可在处理设备上运行的计算机程序，处理设备运行计算机程序时执行本实施例1所提供的基于多源信息融合的驾驶员认知状态辨识方法。
在一些实现中，存储器可以是高速随机存取存储器(RAM：Random AccessMemory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
在另一些实现中，处理器可以为中央处理器(CPU)、数字信号处理器(DSP)等各种类型通用处理器，在此不做限定。
实施例4
本实施例提供一种与本实施例1所提供的基于多源信息融合的驾驶员认知状态辨识方法对应的计算机程序产品，计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本实施例1所述的基于多源信息融合的驾驶员认知状态辨识方法的计算机可读程序指令。
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意组合。
上述各实施例仅用于说明本发明，其中各部件的结构、连接方式和制作工艺等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。

Claims (10)

1.一种基于多源信息融合的驾驶员认知状态辨识方法，其特征在于，包括：
建立认知状态辨识模型；
在实车中同时获取车辆数据以及驾驶员的生理数据并进行处理；
将处理后的数据输入至建立的认知状态辨识模型，确定驾驶员的认知状态。
2.如权利要求1所述的一种基于多源信息融合的驾驶员认知状态辨识方法，其特征在于，所述建立认知状态辨识模型，包括：
在驾驶模拟器上进行驾驶员的分心实验，同时获取实验的车辆数据以及驾驶员的生理数据；
对获取的车辆数据以及驾驶员的生理数据进行预处理；
对预处理后的车辆数据以及驾驶员的生理数据进行特征提取，并对实验道路的特征和驾驶员的个体特征进行提取；
对提取的特征进行标准化处理；
根据标准化处理后的特征，建立认知状态辨识模型，并筛选出标准化处理后的特征中平均SHAP值前若干位的特征。
3.如权利要求2所述的一种基于多源信息融合的驾驶员认知状态辨识方法，其特征在于，所述在驾驶模拟器上进行驾驶员的分心实验，同时获取实验的车辆数据以及驾驶员的生理数据，包括：
对眼动仪进行校准，并对半干电极脑电系统的电极帽定位；
驾驶员基于校准后的眼动仪和定位后的半干电极脑电系统，在驾驶模拟器上进行预实验；
驾驶员基于校准后的眼动仪和定位后的半干电极脑电系统，在驾驶模拟器上进行正式实验，并同时获取对应实验的车辆数据以及驾驶员的眼动数据和脑电数据。
4.如权利要求3所述的一种基于多源信息融合的驾驶员认知状态辨识方法，其特征在于，所述正式实验包括第一实验、第二实验和第三实验，每一正式实验均使驾驶员操纵驾驶模拟器，在给定道路上由起点驾驶至终点；
在第一实验中，不对驾驶员施加分心干扰；在第二实验中，对驾驶员施加第一组任务的干扰；在第三实验中，对驾驶员施加第二组任务的干扰。
5.如权利要求3所述的一种基于多源信息融合的驾驶员认知状态辨识方法，其特征在于，所述车辆数据的特征包括方向盘转角标准差、方向盘转角均值、方向盘转角最大值、方向盘转角最小值、侧向偏差标准差、侧向偏差均值、侧向偏差最大值、侧向偏差最小值、纵向车速标准差、纵向车速均值、纵向车速最大值和纵向车速最小值；
所述眼动数据的特征包括左眼注视点水平移动速度、左眼注视点垂直移动速度、左眼注视点前后移动速度、右眼注视点水平移动速度、右眼注视点垂直移动速度、右眼注视点前后移动速度、左眼平均瞳孔直径、右眼平均瞳孔直径、眼球转动角速度均值、眼球转动角速度标准差、左眼注视点水平位置均值、左眼注视点垂直位置均值、右眼注视点水平位置均值、右眼注视点垂直位置均值、左眼注视点水平位置标准差、左眼注视点垂直位置标准差、右眼注视点水平位置标准差、右眼注视点垂直位置标准差、眼跳频率和注视频率；
所述脑电数据的特征包括α波与β波的平均功率谱密度之比、α波与β波的平均功率谱密度之和；
所述实验道路的特征为道路曲率；
所述驾驶员的个体特征为驾龄。
6.如权利要求2所述的一种基于多源信息融合的驾驶员认知状态辨识方法，其特征在于，所述对获取的车辆数据以及驾驶员的生理数据进行预处理，包括：
对获取的车辆数据以及驾驶员的眼动数据和脑电数据进行数据剔除；
对数据剔除后的车辆数据以及驾驶员的眼动数据和脑电数据进行时间轴同步；
对时间轴同步后的车辆数据以及驾驶员的眼动数据和脑电数据进行数据降采样。
7.如权利要求2所述的一种基于多源信息融合的驾驶员认知状态辨识方法，其特征在于，所述根据标准化处理后的特征，建立认知状态辨识模型，并筛选出标准化处理后的特征中平均SHAP值前若干位的特征，包括：
根据标准化处理后的特征，采用LightGBM算法进行模型训练，建立认知状态辨识模型，其中，认知状态辨识模型的输入为标准化处理后的特征，输出为驾驶员的认知状态；
根据标准化处理后的特征，进行基于SHAP值的特征重要性分析，筛选出标准化处理后的特征中平均SHAP值前若干位的特征。
8.一种基于多源信息融合的驾驶员认知状态辨识系统，其特征在于，包括：
模型建立模块，用于建立认知状态辨识模型；
实车数据采集模块，在实车中同时获取车辆数据以及驾驶员的生理数据并进行处理；
认知状态确定模块，用于将处理后的数据输入至建立的认知状态辨识模型，确定驾驶员的认知状态。
9.一种处理设备，其特征在于，包括计算机程序指令，其中，所述计算机程序指令被处理设备执行时用于实现权利要求1-7中任一项所述的基于多源信息融合的驾驶员认知状态辨识方法对应的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时用于实现权利要求1-7中任一项所述的基于多源信息融合的驾驶员认知状态辨识方法对应的步骤。
CN202210167809.8A 2022-02-23 2022-02-23 一种基于多源信息融合的驾驶员认知状态辨识方法及系统 Pending CN114595714A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210167809.8A CN114595714A (zh) 2022-02-23 2022-02-23 一种基于多源信息融合的驾驶员认知状态辨识方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210167809.8A CN114595714A (zh) 2022-02-23 2022-02-23 一种基于多源信息融合的驾驶员认知状态辨识方法及系统

Publications (1)

Publication Number Publication Date
CN114595714A true CN114595714A (zh) 2022-06-07

Family

ID=81806983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210167809.8A Pending CN114595714A (zh) 2022-02-23 2022-02-23 一种基于多源信息融合的驾驶员认知状态辨识方法及系统

Country Status (1)

Country Link
CN (1) CN114595714A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115782895A (zh) * 2022-12-29 2023-03-14 北京津发科技股份有限公司 一种智能辅助驾驶方法、系统及装置
CN116595429A (zh) * 2022-12-27 2023-08-15 北京津发科技股份有限公司 驾驶员状态评估方法和系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116595429A (zh) * 2022-12-27 2023-08-15 北京津发科技股份有限公司 驾驶员状态评估方法和系统
CN115782895A (zh) * 2022-12-29 2023-03-14 北京津发科技股份有限公司 一种智能辅助驾驶方法、系统及装置
CN115782895B (zh) * 2022-12-29 2024-02-06 北京津发科技股份有限公司 一种智能辅助驾驶方法、系统及装置

Similar Documents

Publication Publication Date Title
CN114595714A (zh) 一种基于多源信息融合的驾驶员认知状态辨识方法及系统
Pal et al. EEG-based subject-and session-independent drowsiness detection: an unsupervised approach
Chai et al. Driver fatigue classification with independent component by entropy rate bound minimization analysis in an EEG-based system
CN107577343B (zh) 一种基于力触觉反馈和脑电信号分析的注意力训练与评价装置
CN110013249B (zh) 一种便携式可调式的头戴癫痫监测仪
US20120101402A1 (en) method and system for controlling a device
CN112656431A (zh) 基于脑电的注意力识别方法、装置、终端设备和存储介质
CN110390272B (zh) 一种基于加权主成分分析的eeg信号特征降维方法
Peng et al. 3D-STCNN: Spatiotemporal Convolutional Neural Network based on EEG 3D features for detecting driving fatigue
Yang et al. Real-time driver cognitive workload recognition: Attention-enabled learning with multimodal information fusion
CN112644506A (zh) 一种基于模型长短时记忆神经网络lstm-nn检测驾驶人驾驶分心的方法
CN113133769A (zh) 基于运动想象脑电信号的设备控制方法、装置及终端
CN113208593A (zh) 基于相关性动态融合的多模态生理信号情绪分类方法
Kang et al. 1D convolutional autoencoder-based PPG and GSR signals for real-time emotion classification
CN110584597A (zh) 基于时空卷积神经网络的多通道脑电信号监测方法及应用
CN114595725B (zh) 一种基于加法网络和监督对比学习的脑电信号分类方法
Balam et al. Statistical channel selection method for detecting drowsiness through single-channel EEG-based BCI system
CN111310783A (zh) 基于脑电微状态特征与神经网络模型的言语状态检测方法
Han et al. Deep convolutional neural network based eye states classification using ear-EEG
Wardoyo et al. Oversampling approach using radius-SMOTE for imbalance electroencephalography datasets
CN113397482A (zh) 一种人类行为分析方法及系统
McCallan et al. Seizure classification of EEG based on wavelet signal denoising using a novel channel selection algorithm
Kumar et al. Classification of driver cognitive load based on physiological data: Exploring recurrent neural networks
CN114435373A (zh) 疲劳驾驶检测方法、装置、计算机设备和存储介质
Omar et al. Enhancing EEG signals classification using LSTM‐CNN architecture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination