CN115743137A - 一种基于人机增强感知的驾驶情境理解方法 - Google Patents

一种基于人机增强感知的驾驶情境理解方法 Download PDF

Info

Publication number
CN115743137A
CN115743137A CN202211340369.8A CN202211340369A CN115743137A CN 115743137 A CN115743137 A CN 115743137A CN 202211340369 A CN202211340369 A CN 202211340369A CN 115743137 A CN115743137 A CN 115743137A
Authority
CN
China
Prior art keywords
driver
perception
driving
following
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211340369.8A
Other languages
English (en)
Inventor
孙博华
马文霄
冷炘伦
张宇飞
吴官朴
赵帅
翟洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202211340369.8A priority Critical patent/CN115743137A/zh
Publication of CN115743137A publication Critical patent/CN115743137A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/80—Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
    • Y02T10/84—Data processing systems or methods, management, administration

Landscapes

  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于人机增强感知的驾驶情境理解方法，其方法包括的步骤为：第一步、整合多源人机感知数据；第二步、分析驾驶人驾驶属性；第三步、构建人机增强感知模型；第四步、构建驾驶情境理解模型；有益效果：构建个性化驾驶习性计算模型，使自动驾驶感知系统更具人性化及个性化。实现根据当前时刻驾驶人习性类型，驾驶人感知模式和感知逻辑进行自主感知，实现对当前驾驶情境的人机融合感知语义推断。为智能车辆决策提供准确、全面的感知信息。能够实时计算驾驶情境复杂度和危险度，评估交通态势。

Description

一种基于人机增强感知的驾驶情境理解方法
技术领域
本发明涉及一种驾驶情境理解方法，特别涉及一种基于人机增强感知的驾驶情境理解方法。
背景技术
目前，自动驾驶感知系统是实现自动驾驶技术的关键环节。自动驾驶感知系统通过车辆搭载的高精度、多种传感器获取数据，经过数据处理和融合，可以实现对车辆周围环境的精确感知，为自动驾驶车辆决策系统提供准确、丰富的信息。与驾驶人感知周围环境相比，机器感知具有精度高，连续性强的优势。机器感知维度广，感知过程会获取海量数据。然而存在一些数据对自动驾驶系统理解周围环境没有实质性影响，对这些数据进行处理和融合还会造成资源浪费。另外，机器感知无法覆盖交通态势错综复杂和极端场景，尚未达到驾驶人的智能化水平。驾驶人在执行感知任务时，能够快速、有效地捕捉场景中的关键元素，一定条件下能够较好地理解当前驾驶情境然后做出合理的决策。然而，驾驶人容易受生理和心理的影响，不易长期保持良好的驾驶状态，给驾驶任务造成安全隐患。
由于自动驾驶技术不成熟和法律法规的约束，人在回路的人机共驾技术是当下研究的热点。目前，相比人机共驾技术控制层而言，对人机共驾感知层的研究较少。如何发挥驾驶人和机器感知的各自优势，实现以驾驶人为中心的自动驾驶感知系统，对于全面、准确地理解驾驶情境具有重要的意义。研究基于人机增强感知的驾驶情境理解方法对自动驾驶行为决策具有重要的指导意义。
发明内容
本发明的目的是为了发挥驾驶人和机器感知的各自优势，实现以驾驶人为中心的自动驾驶感知系统，以达到全面、准确地理解驾驶情境的目的，而提供的一种基于人机增强感知的驾驶情境理解方法。
本发明提供的基于人机增强感知的驾驶情境理解方法，其方法包括的步骤如下：
第一步、整合多源人机感知数据，具体过程如下：
步骤一、驾驶人生理数据整合，驾驶人生理数据包括脑电、肌电、心电、眼电和皮电的电信号；
步骤二、驾驶人外特性数据整合，在执行驾驶任务时，驾驶人外特性表现形式为头动，眼动，四肢操作控制方向盘、加速和制动踏板；
步骤三、交通环境与车辆状态数据整合，除完成步骤一和步骤二数据的整合外，还要将步骤一和步骤二中表征驾驶人的感知数据和步骤三中机器感知的数据通过处理实现时间和空间的同步，针对不同驾驶行为，提取描述不同驾驶行为相关的参数变量，获得驾驶行为特征矩阵，分析与驾驶人驾驶行为之间的关系；
第二步、分析驾驶人驾驶属性，具体过程如下：
步骤一、驾驶意图在线计算模型，分析驾驶人的驾驶属性，建立驾驶意图在线模型；
步骤二、个性化驾驶习性计算模型，为提高智能车辆的驾乘安全性和舒适性，使自动驾驶系统更具人性化及个性化，判断驾驶人驾驶习性，驾驶人驾驶习性分为稳健型、一般型和激进型，通过构建个性化驾驶习性计算模型，分析驾驶人的驾驶属性；
步骤三、驾驶人感知规律分析，为研究驾驶人驾驶属性，对不同习性驾驶人感知规律进行分析，包括激进型、稳健性、一般型驾驶人的跟驰感知规律，换道感知规律、疲劳感知规律和紧急工况感知规律；
第三步、构建人机增强感知模型，具体步骤如下：
步骤一、建立驾驶人感知机制模型；
步骤二、建立以人为中心的自驾系统感知模型，具体方法如下：
将驾驶人横向和纵向感知机制模型输入以人为中心的自驾系统感知模型，一方面，自动驾驶感知系统以驾驶人为主，根据当前时刻驾驶人习性类型，驾驶人感知模式和感知逻辑进行自主感知，根据感兴趣区域进行交通参与物优先级确定，如果以人为中心的自动驾驶感知系统获得当前激进型驾驶人产生的换道意图，自驾系统对当前车道和左侧车道感兴趣交通参与物赋予较高的权值，右侧车道感知的交通参与物权值较低，根据权值大小逐级纳入自驾系统感知信息，另一方面，自驾系统需要对驾驶人感知信息的合理性进行评判，对当前驾驶人感知的信息是否准确以及有遗漏，完成以人为中心的自动驾驶感知系统纵侧向感知信息整合；
步骤三、人机感知一致性对比模型：
将步骤一中的驾驶人感知机制模型和步骤二中的以人为中心的自驾系统感知机制模型输入至人机感知一致性对比模型中，将驾驶人和以人为中心的自驾系统感知结果进行对比，若驾驶人和自驾系统感知结果一致时，直接输出感知结果；若驾驶人和自驾系统感知结果不一致时，自驾系统判断当前时刻驾驶人状态，对由于驾驶人状态引起的感知信息准确性和全面性进行校验，把自驾系统感知的信息以设定的权重补偿到人机感知一致性对比模型中，最终输出人机感知结果；
步骤四、人机感知数据融合模型。通过人机感知一致性对比模型感知结果之后，确定驾驶人感知信息和自驾系统感知信息，将有价值的信息输入至人机感知数据融合模型；
第四步、构建驾驶情境理解模型，具体步骤如下：
步骤一、人机融合感知语义推断；
步骤二、驾驶情境态势分析，具体方法如下：
驾驶人在行车过程中驾驶情境会不断演化，驾驶人感兴趣区域如何变化，得到开放驾驶情境的分析和预测结果，如果车辆在换道之后，本车和周围交通车的轨迹如何演化，对驾驶情境态势进行分析；
步骤三、驾驶情境复杂度评估，具体方法如下：
驾驶情境复杂度用道路动态交通环境复杂度和道路拓扑机构复杂度表示，由数位具有丰富驾驶经验的驾驶员对动态交通环境复杂度和道路拓扑结构复杂度进行评价，动态交通环境复杂度评价指标包括但不局限于交通参与者数目、密度和类型；道路拓扑结构复杂度评价指标包括但不局限于道路坡度、道路曲率、粘着系数、积水程度和平坦度；采用层次分析法，通过对上述评价指标进行重要度比较，得到不同动态交通环境和不同道路拓扑结构的不同评价指标的复杂度权重，按照评价指标及其权重计算道路动态交通环境复杂度和道路拓扑结构复杂度，将映射为[0,1]的区间；
步骤四、驾驶情境危险度评估，具体方法如下：
驾驶情境危险度影响因素为本车与周围车辆碰撞时间和驾驶员疲劳状态，在驾驶员疲劳状态定义为0-1之间的量纲数，“0”代表驾驶人状态良好，“1”代表驾驶人极度疲劳，其数值越大，造成驾驶情境危险度越大，碰撞时间越小驾驶情境危险度也越小，驾驶人极度疲劳，碰撞时间越小更容易发生交通事故，由此产生的驾驶情境危险度也越高，根据上述两个因素，评估驾驶情境危险度。
第一步步骤一中驾驶人生理数据整合包括的环节如下：
环节一、驾驶人生物电信号采集，具体方法如下：
通过佩戴传感器采集驾驶人生物电信号，驾驶人在执行驾驶任务时需要大脑进行协调完成驾驶操作，脑电信号能够反映驾驶人的的感知活动，为研究驾驶人的纵向和横向驾驶意图，完成驾驶人的小腿和小臂表面肌电信号的采集，同样完成驾驶人的心电、眼电、皮电的电信号采集；
环节二、驾驶人生物电信号降噪处理，具体方法如下：
脑电信号是一种极其微弱的生理电信号，很容易受外界环境的干扰，需要对脑电数据进行预处理，选择脑电信号频段范围在1-30Hz，采用滤波器进行滤波，剔除混叠进脑电信号中的高低频噪声，完成脑电信号的预处理，根据脑电波频率分为δ波、θ波、α波、β波，同时对驾驶人的肌电、心电、眼电和皮电的电信号进行预处理；
环节三、驾驶人生物电信号同步处理，具体方法如下：
不同传感器采集的存在时间差，对上述信号进行时间同步预处理；
环节四、驾驶人生物电信号特征提取，具体方法如下：
通过提取生物电信号的特征参数组成特征向量，作为研究驾驶员意图识别模型重要组成参数，通过多种脑电数据特征提取方法得到驾驶人脑电特征量，通过时频域特征分析法对驾驶人肌电信号进行特征分析，提取可反映驾驶人动作的肌电信号的主要特征，同样完成驾驶人的心电、眼电和皮电的电信号特征提取，然后整合驾驶人脑电、肌电、心电、眼电和皮电的电信号，通过组合驾驶人生物电信号实现对驾驶人状态的综合表征。
第一步步骤二中驾驶人外特性数据整合包括以下环节：
环节一、驾驶人四肢操纵、头动眼动信号采集，具体方法如下：
通过相机提取驾驶人头部运动的视频，眼动仪获得驾驶人的注视情况，记录驾驶人在执行跟车、制动和换道的不同驾驶动作时注视区域和注视时间的关系变化数据，如果驾驶人在准备换道阶段，采集驾驶人注视后视镜的时间和次数，不同方向盘转速，加速和制动踏板速度能够反映驾驶人驾驶意图，如果正常制动和紧急制动，使用传感器获得方向盘、加速和制动踏板信号；
环节二、信号同步处理，具体方法如下：
上述不同传感器采集的信号存在时间差，同样需要进行采集数据的时间同步预处理，匹配头动、眼动行为和驾驶行为数据的时间序列，完成驾驶人外特性数据整合实现时间同步；
环节三、驾驶人外特性特征提取，具体方法如下：
提取表征驾驶人外特性的特征，包括扫视时间、扫视幅度、头部转动角度标准差以及后视镜注意力分配率，方向盘转速，油门踏板、制动踏板位置和速度。
第一步步骤三中实现交通环境和车辆状态数据整合，包括以下环节。
环节一、本车及周围车辆、行人信息采集，具体方法如下：
通过车辆搭载的传感器以及车路协同设备获取车辆、行人和动物的动态交通参与者信息，包括交通参与者的数量、位置、速度和加速度信息，本车与其他车辆之间的碰撞时间；
环节二、车道线、标识牌、红绿灯信息采集，具体方法如下：
采集交通环境信息，包括车道线、交通标识牌、红绿灯和静态障碍物信息。
第二步步骤一包括以下环节：
环节一、特征选择输入数据，具体方法如下：
驾驶意图在线计算模型采用神经网络模型，输入特征参数为本车车速Vego、方向盘转角θsteer、方向盘转速wsteer、油门踏板位移Sthrottle、油门踏板速度Vthrottle、制动踏板位移Sbraking、制动踏板速度Vbraking，输出为A＝(a1,a2,a3,a4,a5)，其中(1,0,0,0,0)，(0,1,0,0,0)，(0,0,1,0,0)，(0,0,0,1,0)，(0,0,0,0,1)分别表示驾驶意图为左换道、右换道、加速、制动和保持；
环节二、神经网络模型结构确定，具体方法如下：
第一步中步骤二整合的数据划分训练集和测试集，首先确定隐含层节点数，将训练集的数据输入至输入层，选取左换道、右换道、加速、制动和保持作为网络的输出层，通过正反向传播算法，确定输入层与隐含层，隐含层与输出层的连接权值；
环节三、神经网络输出结果，具体方法如下。
通过建立驾驶意图在线计算模型，在驾驶过程中，采集的数据信息输入到驾驶意图在线计算模型中，得到每个采样时刻的驾驶人意图。
第二步步骤二中个性化驾驶习性计算模型包括以下环节：
环节一、个性化驾驶习性计算方法，具体方法如下：
将第一步中整合的多源人机感知数据经过特征提取后输入至个性化驾驶习性计算模型，包括第一步步骤一中的驾驶人生理数据提取的脑电、肌电、心电、皮电和眼电的信号特征，第一步步骤二驾驶人外特性整合的数据，提取的驾驶人头动、眼动特征以及表征驾驶人的横向控制特征和纵向控制特征，第一步步骤三交通环境与车辆状态数据整合提取特征，包括主车和目标车的相对位置、速度和相对加速度，由于提取的特征参数维度较多，采用主成分分析方法对数据进行降维处理，保留高维特征参数保留的信息，根据上述特征参数，特征数据用样本矩阵Z表示，记作：
Figure BDA0003916172000000081
对m维随机变量进行n次实验观测，z1,z2,…,zn表示观测样本；
zj＝(z1j,z2j,…,zmj)T表示第j个观测样本；
zij表示第j个观测样本的第i个变量，j＝1,2,…,n；
对特征参数进行标准化，样本协方差矩阵，计算主成分的累计方差贡献率；
Figure BDA0003916172000000082
选择累计方差贡献率超过90％的主成分作为降维后的成分得到新数据集，对新数据集进行训练集和测试集的划分；
环节二、个性化驾驶习性计算结果，具体方法如下：
通过聚类分析，把驾驶人风格分为激进型、一般型和稳健型三种，驾驶人相关特征数据输入至个性化驾驶习性计算模型中，判断当前驾驶人的驾驶习性。
第二步步骤三中包括的环节如下：
环节一、跟驰感知规律分析，具体方法如下：
驾驶人在执行驾驶任务时视觉注意力会发生变化，将驾驶人的视线范围划分为5个区域，包括正前方区域1、左后视镜区域2、右后视镜区域3、仪表盘区域4和车内后视镜区域5，分析跟驰任务时研究驾驶人的视觉注视和视线转移特征；
首先将第一步步骤二中采集的驾驶人头动、眼动信号输入，视觉注视特征基于信息熵对各区域的注视时长进行统计；
离散变量熵信息为E，注视熵率值Ee计算公式：
Figure BDA0003916172000000091
Emax＝log2 N
Figure BDA0003916172000000092
式中，N表示注视区域数量，N＝5，
Figure BDA0003916172000000093
是对某个区域注视的概率；
Figure BDA0003916172000000094
为驾驶人在某区域停留的平均注视时间，n表示区域序号；
驾驶人注视行为主要包括对目标物的注视次数和注视时长，表征驾驶人在跟驰任务中的感兴趣区域分布和兴趣程度，驾驶人扫视行为反映驾驶人在感兴趣区域的转移特性和视觉搜索模式；
通过马尔科夫链构建驾驶人视线转移概率矩阵，分析不同驾驶习性驾驶人在跟驰任务中的视线转移特征；
M为一步转移概率Pij组成的状态转移矩阵，表示为
Figure BDA0003916172000000095
Pij表示转移矩阵概率第i行第j列的元素，每一行的转移概率总和为1；
运用马尔可夫链理论，探索注视点在各个注视区域之间的注视转移规律及其平稳分布特性；分析不同习性驾驶人在跟驰阶段的注视分布情况差异，得到不同习性驾驶人在跟驰任务的感知规律；
环节二、换道感知规律分析，具体方法如下。
同驾驶人跟驰阶段感知规律分析方法一样，进行换道感知规律分析，分析在换道意图阶段与换道执行阶段驾驶人的注视分布情况差异，获得换道阶段驾驶人的注视点在当前车道正前方区域和后视镜区域以及其他目标区域之间视线转移规律；
环节三、疲劳感知规律分析，具体方法如下。
驾驶人在疲劳状态下易造成行车风险，通过驾驶人的眼动、头动信息和驾驶行为特征表征驾驶人疲劳状态下感知规律，眼动、头动特征包括瞳孔闭合时间、眨眼频率、头部低垂角度、点头次数和打哈欠次数；驾驶行为包括方向盘修正频率，通过确定眼动、头动信息以及驾驶行为的疲劳检测参数，表征驾驶人疲劳状态感知规律；
环节四、紧急工况感知规律分析，具体方法如下。
分析驾驶人在紧急工况下的反应时间，根据驾驶人紧急工况感知反应时间长短，采用方差分析的方法进行检验，反应时间长短会造成扫视兴趣区域概率和水平眼睛活动有显著性差异，分析紧急工况下不同反应时间对紧急工况的熟悉度和敏感度，获得不同习性驾驶人紧急工况感知规律。
第三步步骤一中包括以下环节：
环节一、驾驶人纵向感知机制模型，具体方法如下：
驾驶人纵向感知机制模型输入为第二步中当前驾驶人的驾驶意图，驾驶习性和感知规律结果，如果当前时刻激进型驾驶人意图在线计算模型输出加速意图，根据激进型驾驶人纵向感知规律，主要包括头动和眼动规律，当前驾驶人对仪表盘区域和前方区域的注视时长规律和扫视区域转移规律，推理得到当前驾驶人当前时刻要进行油门踏板动作；
环节二、驾驶人侧向感知机制，具体方法如下：
将当前驾驶人的驾驶意图，驾驶习性和感知规律结果同样输入至驾驶人侧向感知机制模型，对驾驶员的感知进行推理，比如驾驶员当前时刻向左换道的意图，根据当前驾驶人换道感知规律，驾驶人关注点在左后视镜区域和前方区域，根据车辆当前车道和左车道交通信息，推理出驾驶人当前时刻要向左换道，驾驶人纵侧向感知机制模型输出当前时刻驾驶人感知的综合信息。
第三步步骤四中包括以下环节：
环节一、驾驶人感知信息集合表示，具体方法如下。
驾驶人感知信息集合D＝{Target_number,Target_type,Target_position,Target_speed,Lane_information}，其中，Target_number表示当前驾驶人感知的交通参与物的数量，Target_type表示目标物的类型，可分为行人、自行车、乘用车、卡车和动物，Target_position表示交通参与物的位置，分为正前方、左前方、右前方、左侧、右侧、正后方、左后方和右后方，Target_speed表示为交通参与物运动快慢；
环节二、自动驾驶感知信息集合表示，具体方法如下：
自动驾驶系统感知的信息集合A＝{target_ID,target_type,target_size,target_distance,target_speed,target_acceleration,lane_ID,lane_style}，target_ID表示传感器获得的目标物的ID；target_type表示目标物类型；target_size表示目标物尺寸；target_distance表示目标物的距离；target_speed表示目标物的速度；target_acceleration表示目标物的加速度；lane_ID表示车道的ID；“0”表示当前车道；“-1”表示左车道；“1”表示右车道；lane_style表示车道类型；将驾驶人和自动驾驶系统感知的信息集合元素对应，确定人机纵侧向融合感知数据消息格式，建立人机感知数据融合模型。
第四步步骤一中的具体环节如下：
环节一、人机融合感知结果输入，具体方法如下：
将人机融合感知结果数据输入进行人机融合感知语义推断，提取描述当前驾驶情境关键的语义信息；
环节二、人机融合感知语义信息表示，具体方法如下：
如果自动驾驶系统感知的信息集合A＝{(Target_number＝2),(lane_ID＝0,target_distance＝50,target_speed＝40,target_acceleration＝0),(lane_ID＝-1,target_dista-nce＝-60,target_speed＝70,target_acceleration＝0)}；语义信息表示为当前场景有2辆目标车，其中一辆在当前车道前方50m处以40km/h的速度行驶，另一辆在左车道后方60m以70km/h的速度行驶，与此类似，完成对当前驾驶情境的人机融合感知语义推断。
本发明的有益效果：
1)、本发明所述的基于人机增强感知的驾驶情境理解方法提供一种整合驾驶人和自动驾驶系统的多源感知数据集。
2)、本发明所述的基于人机增强感知的驾驶情境理解方法提高智能车辆的驾乘安全性和舒适性，构建个性化驾驶习性计算模型，使自动驾驶感知系统更具人性化及个性化。
3)、本发明所述的基于人机增强感知的驾驶情境理解方法获得不同驾驶习性人驾驶人感知规律，包括换道感知规律，跟驰感知规律、疲劳感知规律、紧急工况感知规律。
4)、本发明所述的基于人机增强感知的驾驶情境理解方法以人为中心的自动驾驶感知系统，实现根据当前时刻驾驶人习性类型，驾驶人感知模式和感知逻辑进行自主感知。
5)、本发明所述的基于人机增强感知的驾驶情境理解方法构建了人机融合感知模型，将人机融合感知信息语义表示，实现对当前驾驶情境的人机融合感知语义推断。为智能车辆决策提供准确、全面的感知信息。
6)、本发明所述的基于人机增强感知的驾驶情境理解方法提供驾驶情境理解方法，可以实时计算驾驶情境复杂度和危险度，评估交通态势。
附图说明
图1为本发明所述的驾驶情境理解方法的整体步骤示意图。
图2为本发明所述的驾驶情境理解方法的整体架构示意图。
图3为本发明所述的第一步的整体架构示意图。
图4为本发明所述的第二步的整体架构示意图。
图5为本发明所述的第三步的整体架构示意图。
图6为本发明所述的第四步的整体架构示意图。
图7为本发明所述的第二步中步骤二的算法流程图。
图8为本发明所述的第二步中步骤三的算法流程图。
图9为本发明所述的第三步中步骤二的算法流程图。
图10为本发明所述的第四步中步骤三的计算结果示例图。
图11为本发明所述的第四步中步骤四的计算结果示例图。
具体实施方式
请参阅图1至图11所示：
本发明提供的基于人机增强感知的驾驶情境理解方法，其方法包括的步骤如下：
第一步、整合多源人机感知数据；
第二步、分析驾驶人驾驶属性；
第三步、构建人机增强感知模型；
第四步、构建驾驶情境理解模型。
第一步中的过程如下：
步骤一、驾驶人生理数据整合。驾驶人生理数据包括脑电、肌电、心电、眼电、皮电等电信号。驾驶人生理数据整合包括以下环节。
环节一、驾驶人生物电信号采集，具体方法如下：
通过佩戴传感器采集驾驶人生物电信号。驾驶人在执行驾驶任务时需要大脑进行协调完成驾驶操作，脑电信号可以反映驾驶人的的感知活动。为研究驾驶人的纵向和横向驾驶意图，完成驾驶人的小腿和小臂表面肌电信号的采集。同样完成驾驶人的心电、眼电、皮电等电信号的采集。
环节二、驾驶人生物电信号降噪处理，具体方法如下：
脑电信号是一种极其微弱的生理电信号，很容易受外界环境的干扰。因此，需要对脑电数据进行预处理，选择脑电信号频段范围在1-30Hz，采用滤波器进行滤波，剔除混叠进脑电信号中的高低频噪声，完成脑电信号的预处理。根据脑电波频率分为δ波、θ波、α波、β波。同时对驾驶人的肌电、心电、眼电、皮电等电信号进行预处理。
环节三、驾驶人生物电信号同步处理，具体方法如下：
不同传感器采集的存在时间差，对上述信号进行时间同步预处理。
环节四、驾驶人生物电信号特征提取，具体方法如下：
通过提取生物电信号的特征参数组成特征向量，作为研究驾驶员意图识别模型重要组成参数。通过多种脑电数据特征提取方法得到驾驶人脑电特征量。通过时频域特征分析法对驾驶人肌电信号进行特征分析，提取可反映驾驶人动作的肌电信号的主要特征。同样完成驾驶人的心电、眼电、皮电等电信号的特征提取。然后整合驾驶人脑电、肌电、心电、眼电、皮电等电信号，通过组合驾驶人生物电信号实现对驾驶人状态的综合表征。
步骤二、驾驶人外特性数据整合。在执行驾驶任务时，驾驶人外特性表现形式为头动，眼动，四肢操作控制方向盘、加速和制动踏板。驾驶人外特性数据整合包括以下环节。
环节一、驾驶人四肢操纵、头动眼动信号采集，具体方法如下：
通过相机提取驾驶人头部运动的视频，眼动仪获得驾驶人的注视情况，记录驾驶人在执行跟车、制动、换道等不同驾驶动作时注视区域和注视时间的关系变化数据。例如驾驶人在准备换道阶段，采集驾驶人注视后视镜的时间和次数。不同方向盘转速，加速和制动踏板速度可以反映驾驶人驾驶意图，例如正常制动、紧急制动等。使用传感器获得方向盘、加速和制动踏板信号。
环节二、信号同步处理，具体方法如下：
上述不同传感器采集的信号存在时间差，同样需要进行采集数据的时间同步预处理，匹配头动、眼动行为和驾驶行为数据的时间序列，完成驾驶人外特性数据整合实现时间同步。
环节三、驾驶人外特性特征提取，具体方法如下：
提取表征驾驶人外特性的特征，包括扫视时间、扫视幅度、头部转动角度标准差以及后视镜注意力分配率。方向盘转速，油门踏板、制动踏板位置和速度。
步骤三、交通环境与车辆状态数据整合。除完成步骤一和步骤二数据的整合外。还需要实现交通环境和车辆状态数据整合，包括以下环节。
环节一、本车及周围车辆、行人信息采集，具体方法如下：
通过车辆搭载的传感器以及车路协同设备获取车辆、行人、动物等动态交通参与者信息。包括交通参与者的数量、位置、速度、加速度信息，本车与其他车辆之间的碰撞时间。
环节二、车道线、标识牌、红绿灯信息采集，具体方法如下：
采集交通环境信息，包括车道线、交通标识牌、红绿灯和静态障碍物信息等。
将步骤一和步骤二中表征驾驶人的感知数据和步骤三中机器感知的数据通过处理实现时间和空间的同步，针对不同驾驶行为，提取描述不同驾驶行为相关的参数变量，获得驾驶行为特征矩阵，分析与驾驶人驾驶行为之间的关系。
第二步中的过程如下：
步骤一、驾驶意图在线计算模型。分析驾驶人的驾驶属性，建立驾驶意图在线模型，包括以下环节。
环节一、特征选择输入数据，具体方法如下。
驾驶意图在线计算模型采用神经网络模型，输入特征参数为本车车速Vego、方向盘转角θsteer、方向盘转速wsteer、油门踏板位移Sthrottle、油门踏板速度Vthrottle、制动踏板位移Sbraking、制动踏板速度Vbraking，输出为A＝(a1,a2,a3,a4,a5)，其中(1,0,0,0,0)，(0,1,0,0,0)，(0,0,1,0,0)，(0,0,0,1,0)，(0,0,0,0,1)分别表示驾驶意图为左换道、右换道、加速、制动、保持。
环节二、神经网络模型结构确定，具体方法如下。
第一步中步骤二整合的数据划分训练集和测试集，首先确定隐含层节点数，将训练集的数据输入至输入层，选取左换道、右换道、加速、制动、保持作为网络的输出层。通过正反向传播算法，确定输入层与隐含层，隐含层与输出层的连接权值。
环节三、神经网络输出结果，具体方法如下。
通过的建立驾驶意图在线计算模型，在驾驶过程中，采集的数据信息输入到驾驶意图在线计算模型中，得到每个采样时刻的驾驶人意图。
步骤二、个性化驾驶习性计算模型。为提高智能车辆的驾乘安全性和舒适性，使自动驾驶系统更具人性化及个性化，判断驾驶人驾驶习性，驾驶人驾驶习性可分为稳健型、一般型、激进型。通过构建个性化驾驶习性计算模型，分析驾驶人的驾驶属性。个性化驾驶习性计算模型包括以下环节。
环节一、个性化驾驶习性计算方法，具体方法如下。
将第一步中整合的多源人机感知数据经过特征提取后输入至个性化驾驶习性计算模型。包括第一步步骤一中的驾驶人生理数据提取的脑电、肌电、心电、皮电、眼电等信号特征，第一步步骤二驾驶人外特性整合的数据，提取的驾驶人头动、眼动特征以及表征驾驶人的横向控制特征和纵向控制特征。第一步步骤三交通环境与车辆状态数据整合提取特征，包括主车和目标车的相对位置、速度、相对加速度。由于提取的特征参数维度较多，采用主成分分析方法对数据进行降维处理，保留高维特征参数保留的信息。根据上述特征参数，特征数据用样本矩阵Z表示，记作
Figure BDA0003916172000000171
对m维随机变量进行n次实验观测，z1,z2,…,zn表示观测样本；
zj＝(z1j,z2j,…,zmj)T表示第j个观测样本；
zij表示第j个观测样本的第i个变量，j＝1,2,…,n。
对特征参数进行标准化，样本协方差矩阵，计算主成分的累计方差贡献率。
Figure BDA0003916172000000172
选择累计方差贡献率超过90％的主成分作为降维后的成分得到新数据集，对新数据集进行训练集和测试集的划分。
环节二、个性化驾驶习性计算结果，具体方法如下。
通过聚类分析，把驾驶人风格分为激进型、一般型和稳健型三种。驾驶人相关特征数据输入至个性化驾驶习性计算模型中，判断当前驾驶人的驾驶习性。
步骤三、驾驶人感知规律分析。为研究驾驶人驾驶属性，对不同习性驾驶人感知规律进行分析，包括激进型、稳健性、一般型驾驶人的跟驰感知规律，换道感知规律、疲劳感知规律和紧急工况感知规律。
环节一、跟驰感知规律分析，具体方法如下。
驾驶人在执行驾驶任务时视觉注意力会发生变化，将驾驶人的视线范围划分为5个区域，包括正前方区域1、左后视镜区域2、右后视镜区域3、仪表盘区域4、车内后视镜区域5。分析跟驰任务时研究驾驶人的视觉注视和视线转移特征。
首先将第一步步骤二中采集的驾驶人头动、眼动信号输入。视觉注视特征基于信息熵对各区域的注视时长进行统计。
离散变量熵信息为E，注视熵率值Ee计算公式
Figure BDA0003916172000000181
Emax＝log2 N
Figure BDA0003916172000000182
式中，N表示注视区域数量，N＝5，
Figure BDA0003916172000000183
是对某个区域注视的概率；
Figure BDA0003916172000000184
为驾驶人在某区域停留的平均注视时间，n表示区域序号。
驾驶人注视行为主要包括对目标物的注视次数、注视时长，表征驾驶人在跟驰任务中的感兴趣区域分布和兴趣程度。驾驶人扫视行为反映驾驶人在感兴趣区域的转移特性和视觉搜索模式。
通过马尔科夫链构建驾驶人视线转移概率矩阵，分析不同驾驶习性驾驶人在跟驰任务中的视线转移特征。
M为一步转移概率Pij组成的状态转移矩阵，表示为
Figure BDA0003916172000000191
Pij表示转移矩阵概率第i行第j列的元素，每一行的转移概率总和为1。
运用马尔可夫链理论，探索注视点在各个注视区域之间的注视转移规律及其平稳分布特性；分析不同习性驾驶人在跟驰阶段的注视分布情况差异。得到不同习性驾驶人在跟驰任务的感知规律。
环节二、换道感知规律分析，具体方法如下。
同驾驶人跟驰阶段感知规律分析方法一样，进行换道感知规律分析。分析在换道意图阶段与换道执行阶段驾驶人的注视分布情况差异。获得换道阶段驾驶人的注视点在当前车道正前方区域和后视镜区域以及其他目标区域之间视线转移规律。
环节三、疲劳感知规律分析，具体方法如下。
驾驶人在疲劳状态下易造成行车风险，通过驾驶人的眼动、头动信息和驾驶行为特征表征驾驶人疲劳状态下感知规律，眼动、头动特征包括瞳孔闭合时间、眨眼频率、头部低垂角度、点头次数和打哈欠次数；驾驶行为包括方向盘修正频率。通过确定眼动、头动信息以及驾驶行为的疲劳检测参数，表征驾驶人疲劳状态感知规律。
环节四、紧急工况感知规律分析，具体方法如下。
分析驾驶人在紧急工况下的反应时间，根据驾驶人紧急工况感知反应时间长短，采用方差分析的方法进行检验，反应时间长短会造成扫视兴趣区域概率和水平眼睛活动有显著性差异。分析紧急工况下不同反应时间对紧急工况的熟悉度和敏感度，获得不同习性驾驶人紧急工况感知规律。
第三步中的过程如下：
步骤一、驾驶人感知机制模型。包括以下环节。
环节一、驾驶人纵向感知机制模型，具体方法如下。
驾驶人纵向感知机制模型输入为第二步中当前驾驶人的驾驶意图，驾驶习性和感知规律结果。例如，当前时刻激进型驾驶人意图在线计算模型输出加速意图，根据激进型驾驶人纵向感知规律，主要包括头动和眼动规律，当前驾驶人对仪表盘区域和前方区域的注视时长规律和扫视区域转移规律，推理得到当前驾驶人当前时刻要进行油门踏板动作。
环节二、驾驶人侧向感知机制，具体方法如下。
将当前驾驶人的驾驶意图，驾驶习性和感知规律结果同样输入至驾驶人侧向感知机制模型。对驾驶员的感知进行推理，比如驾驶员当前时刻向左换道的意图，根据当前驾驶人换道感知规律，驾驶人关注点在左后视镜区域和前方区域，根据车辆当前车道和左车道交通信息，推理出驾驶人当前时刻要向左换道。驾驶人纵侧向感知机制模型输出当前时刻驾驶人感知的综合信息。
步骤二、以人为中心的自驾系统感知模型，具体方法如下。
将驾驶人横向和纵向感知机制模型输入以人为中心的自驾系统感知模型。一方面，自动驾驶感知系统以驾驶人为主，根据当前时刻驾驶人习性类型，驾驶人感知模式和感知逻辑进行自主感知。根据感兴趣区域进行交通参与物优先级确定。例如，以人为中心的自动驾驶感知系统获得当前激进型驾驶人产生的换道意图，自驾系统对当前车道和左侧车道感兴趣交通参与物赋予较高的权值，右侧车道感知的交通参与物权值较低，根据权值大小逐级纳入自驾系统感知信息。另一方面，自驾系统需要对驾驶人感知信息的合理性进行评判。对当前驾驶人感知的信息是否准确以及有遗漏。完成以人为中心的自动驾驶感知系统纵侧向感知信息整合。
步骤三、人机感知一致性对比模型。
将步骤一中的驾驶人感知机制模型和步骤二中的以人为中心的自驾系统感知机制模型输入至人机感知一致性对比模型中，将驾驶人和以人为中心的自驾系统感知结果进行对比。若驾驶人和自驾系统感知结果一致时，直接输出感知结果；若驾驶人和自驾系统感知结果不一致时，若不一致，自驾系统判断当前时刻驾驶人状态，对由于驾驶人状态引起的感知信息准确性和全面性进行校验，把自驾系统感知的信息以一定的权重补偿到人机感知一致性对比模型中，最终输出人机感知结果。
步骤四、人机感知数据融合模型。通过人机感知一致性对比模型感知结果之后，确定驾驶人感知信息和自驾系统感知信息，将有价值的信息输入至人机感知数据融合模型。包括以下环节。
环节一、驾驶人感知信息集合表示，具体方法如下。
驾驶人感知信息集合D＝{Target_number,Target_type,Target_position,Target_speed,Lane_information}。其中，Target_number表示当前驾驶人感知的交通参与物的数量。Target_type表示目标物的类型，可分为行人、自行车、乘用车、卡车、动物、等。Target_position表示交通参与物的位置，可分为正前方、左前方、右前方、左侧、右侧、正后方、左后方、右后方。Target_speed表示为交通参与物运动快慢。
环节二、自动驾驶感知信息集合表示，具体方法如下。
自动驾驶系统感知的信息集合A＝{target_ID,target_type,target_size,target_distance,target_speed,target_acceleration,lane_ID,lane_style}，target_ID表示传感器获得的目标物的ID。target_type表示目标物类型。target_size表示目标物尺寸。target_distance表示目标物的距离。target_speed表示目标物的速度。target_acceleration表示目标物的加速度。lane_ID表示车道的ID，“0”表示当前车道，“-1”表示左车道，“1”表示右车道。lane_style表示车道类型。将驾驶人和自动驾驶系统感知的信息集合元素对应，确定人机纵侧向融合感知数据消息格式，建立人机感知数据融合模型。
第四步中的过程如下：
步骤一、人机融合感知语义推断。
环节一、人机融合感知结果输入，具体方法如下。
将人机融合感知结果数据输入至步骤一进行人机融合感知语义推断，提取一些描述当前驾驶情境关键的语义信息。
环节二、人机融合感知语义信息表示，具体方法如下。
例如{(Target_number＝2),(lane_ID＝0,target_distance＝50,target_speed＝40,target_acceleration＝0),(lane_ID＝-1,target_distance＝-60,target_speed＝70,target_acceleration＝0)}。语义信息表示为当前场景有2辆目标车，其中一辆在当前车道前方50m处以40km/h的速度行驶，另一辆在左车道后方60m以70km/h的速度行驶。与此类似，完成对当前驾驶情境的人机融合感知语义推断。
步骤二、驾驶情境态势分析，具体方法如下。
驾驶人在行车过程中驾驶情境会不断演化，驾驶人感兴趣区域如何变化，得到开放驾驶情境的分析和预测结果。例如车辆在换道之后，本车和周围交通车的轨迹如何演化，对驾驶情境态势进行分析。
步骤三、驾驶情境复杂度评估，具体方法如下。
驾驶情境复杂度用道路动态交通环境复杂度和道路拓扑机构复杂度表示。由多位具有丰富驾驶经验的驾驶员对动态交通环境复杂度和道路拓扑结构复杂度进行评价。动态交通环境复杂度评价指标包括但不局限于交通参与者数目、密度、类型。道路拓扑结构复杂度评价指标包括但不局限于道路坡度、道路曲率、粘着系数、积水程度、平坦度等。采用层次分析法，通过对上述评价指标进行重要度比较，得到不同动态交通环境和不同道路拓扑结构的不同评价指标的复杂度权重。按照评价指标及其权重计算道路动态交通环境复杂度和道路拓扑结构复杂度，将映射为[0,1]的区间。驾驶情境复杂度如图10所示。
步骤四、驾驶情境危险度评估，具体方法如下。
驾驶情境危险度影响因素为本车与周围车辆碰撞时间和驾驶员疲劳状态。在驾驶员疲劳状态定义为0-1之间的量纲数，“0”代表驾驶人状态良好，“1”代表驾驶人极度疲劳，其数值越大，造成驾驶情境危险度越大。碰撞时间越小驾驶情境危险度也越小。驾驶人极度疲劳，碰撞时间越小更容易发生交通事故，由此产生的驾驶情境危险度也越高。根据上述两个因素，评估驾驶情境危险度如图11所示。

Claims (10)

1.一种基于人机增强感知的驾驶情境理解方法，其特征在于：其方法包括的步骤如下：
第一步、整合多源人机感知数据，具体过程如下：
步骤一、驾驶人生理数据整合，驾驶人生理数据包括脑电、肌电、心电、眼电和皮电的电信号；
步骤二、驾驶人外特性数据整合，在执行驾驶任务时，驾驶人外特性表现形式为头动，眼动，四肢操作控制方向盘、加速和制动踏板；
步骤三、交通环境与车辆状态数据整合，除完成步骤一和步骤二数据的整合外，还要将步骤一和步骤二中表征驾驶人的感知数据和步骤三中机器感知的数据通过处理实现时间和空间的同步，针对不同驾驶行为，提取描述不同驾驶行为相关的参数变量，获得驾驶行为特征矩阵，分析与驾驶人驾驶行为之间的关系；
第二步、分析驾驶人驾驶属性，具体过程如下：
步骤一、驾驶意图在线计算模型，分析驾驶人的驾驶属性，建立驾驶意图在线模型；
步骤二、个性化驾驶习性计算模型，为提高智能车辆的驾乘安全性和舒适性，使自动驾驶系统更具人性化及个性化，判断驾驶人驾驶习性，驾驶人驾驶习性分为稳健型、一般型和激进型，通过构建个性化驾驶习性计算模型，分析驾驶人的驾驶属性；
步骤三、驾驶人感知规律分析，为研究驾驶人驾驶属性，对不同习性驾驶人感知规律进行分析，包括激进型、稳健性、一般型驾驶人的跟驰感知规律，换道感知规律、疲劳感知规律和紧急工况感知规律；
第三步、构建人机增强感知模型，具体步骤如下：
步骤一、建立驾驶人感知机制模型；
步骤二、建立以人为中心的自驾系统感知模型，具体方法如下：
将驾驶人横向和纵向感知机制模型输入以人为中心的自驾系统感知模型，一方面，自动驾驶感知系统以驾驶人为主，根据当前时刻驾驶人习性类型，驾驶人感知模式和感知逻辑进行自主感知，根据感兴趣区域进行交通参与物优先级确定，如果以人为中心的自动驾驶感知系统获得当前激进型驾驶人产生的换道意图，自驾系统对当前车道和左侧车道感兴趣交通参与物赋予较高的权值，右侧车道感知的交通参与物权值较低，根据权值大小逐级纳入自驾系统感知信息，另一方面，自驾系统需要对驾驶人感知信息的合理性进行评判，对当前驾驶人感知的信息是否准确以及有遗漏，完成以人为中心的自动驾驶感知系统纵侧向感知信息整合；
步骤三、人机感知一致性对比模型：
将步骤一中的驾驶人感知机制模型和步骤二中的以人为中心的自驾系统感知机制模型输入至人机感知一致性对比模型中，将驾驶人和以人为中心的自驾系统感知结果进行对比，若驾驶人和自驾系统感知结果一致时，直接输出感知结果；若驾驶人和自驾系统感知结果不一致时，自驾系统判断当前时刻驾驶人状态，对由于驾驶人状态引起的感知信息准确性和全面性进行校验，把自驾系统感知的信息以设定的权重补偿到人机感知一致性对比模型中，最终输出人机感知结果；
步骤四、人机感知数据融合模型，通过人机感知一致性对比模型感知结果之后，确定驾驶人感知信息和自驾系统感知信息，将有价值的信息输入至人机感知数据融合模型；
第四步、构建驾驶情境理解模型，具体步骤如下：
步骤一、人机融合感知语义推断；
步骤二、驾驶情境态势分析，具体方法如下：
驾驶人在行车过程中驾驶情境会不断演化，驾驶人感兴趣区域如何变化，得到开放驾驶情境的分析和预测结果，如果车辆在换道之后，本车和周围交通车的轨迹如何演化，对驾驶情境态势进行分析；
步骤三、驾驶情境复杂度评估，具体方法如下：
驾驶情境复杂度用道路动态交通环境复杂度和道路拓扑机构复杂度表示，由数位具有丰富驾驶经验的驾驶员对动态交通环境复杂度和道路拓扑结构复杂度进行评价，动态交通环境复杂度评价指标包括但不局限于交通参与者数目、密度和类型；道路拓扑结构复杂度评价指标包括但不局限于道路坡度、道路曲率、粘着系数、积水程度和平坦度；采用层次分析法，通过对上述评价指标进行重要度比较，得到不同动态交通环境和不同道路拓扑结构的不同评价指标的复杂度权重，按照评价指标及其权重计算道路动态交通环境复杂度和道路拓扑结构复杂度，将映射为[0,1]的区间；
步骤四、驾驶情境危险度评估，具体方法如下：
驾驶情境危险度影响因素为本车与周围车辆碰撞时间和驾驶员疲劳状态，在驾驶员疲劳状态定义为0-1之间的量纲数，“0”代表驾驶人状态良好，“1”代表驾驶人极度疲劳，其数值越大，造成驾驶情境危险度越大，碰撞时间越小驾驶情境危险度也越小，驾驶人极度疲劳，碰撞时间越小更容易发生交通事故，由此产生的驾驶情境危险度也越高，根据上述两个因素，评估驾驶情境危险度。
2.根据权利要求1所述的一种基于人机增强感知的驾驶情境理解方法，其特征在于：所述的第一步步骤一中驾驶人生理数据整合包括的环节如下：
环节一、驾驶人生物电信号采集，具体方法如下：
通过佩戴传感器采集驾驶人生物电信号，驾驶人在执行驾驶任务时需要大脑进行协调完成驾驶操作，脑电信号能够反映驾驶人的的感知活动，为研究驾驶人的纵向和横向驾驶意图，完成驾驶人的小腿和小臂表面肌电信号的采集，同样完成驾驶人的心电、眼电、皮电的电信号采集；
环节二、驾驶人生物电信号降噪处理，具体方法如下：
脑电信号是一种极其微弱的生理电信号，很容易受外界环境的干扰，需要对脑电数据进行预处理，选择脑电信号频段范围在1-30Hz，采用滤波器进行滤波，剔除混叠进脑电信号中的高低频噪声，完成脑电信号的预处理，根据脑电波频率分为δ波、θ波、α波、β波，同时对驾驶人的肌电、心电、眼电和皮电的电信号进行预处理；
环节三、驾驶人生物电信号同步处理，具体方法如下：
不同传感器采集的存在时间差，对上述信号进行时间同步预处理；
环节四、驾驶人生物电信号特征提取，具体方法如下：
通过提取生物电信号的特征参数组成特征向量，作为研究驾驶员意图识别模型重要组成参数，通过多种脑电数据特征提取方法得到驾驶人脑电特征量，通过时频域特征分析法对驾驶人肌电信号进行特征分析，提取可反映驾驶人动作的肌电信号的主要特征，同样完成驾驶人的心电、眼电和皮电的电信号特征提取，然后整合驾驶人脑电、肌电、心电、眼电和皮电的电信号，通过组合驾驶人生物电信号实现对驾驶人状态的综合表征。
3.根据权利要求1所述的一种基于人机增强感知的驾驶情境理解方法，其特征在于：所述的第一步步骤二中驾驶人外特性数据整合包括以下环节：
环节一、驾驶人四肢操纵、头动眼动信号采集，具体方法如下：
通过相机提取驾驶人头部运动的视频，眼动仪获得驾驶人的注视情况，记录驾驶人在执行跟车、制动和换道的不同驾驶动作时注视区域和注视时间的关系变化数据，如果驾驶人在准备换道阶段，采集驾驶人注视后视镜的时间和次数，不同方向盘转速，加速和制动踏板速度能够反映驾驶人驾驶意图，如果正常制动和紧急制动，使用传感器获得方向盘、加速和制动踏板信号；
环节二、信号同步处理，具体方法如下：
上述不同传感器采集的信号存在时间差，同样需要进行采集数据的时间同步预处理，匹配头动、眼动行为和驾驶行为数据的时间序列，完成驾驶人外特性数据整合实现时间同步；
环节三、驾驶人外特性特征提取，具体方法如下：
提取表征驾驶人外特性的特征，包括扫视时间、扫视幅度、头部转动角度标准差以及后视镜注意力分配率，方向盘转速，油门踏板、制动踏板位置和速度。
4.根据权利要求1所述的一种基于人机增强感知的驾驶情境理解方法，其特征在于：所述的第一步步骤三中实现交通环境和车辆状态数据整合，包括以下环节：
环节一、本车及周围车辆、行人信息采集，具体方法如下：
通过车辆搭载的传感器以及车路协同设备获取车辆、行人和动物的动态交通参与者信息，包括交通参与者的数量、位置、速度和加速度信息，本车与其他车辆之间的碰撞时间；
环节二、车道线、标识牌、红绿灯信息采集，具体方法如下：
采集交通环境信息，包括车道线、交通标识牌、红绿灯和静态障碍物信息。
5.根据权利要求1所述的一种基于人机增强感知的驾驶情境理解方法，其特征在于：所述的第二步步骤一包括以下环节：
环节一、特征选择输入数据，具体方法如下：
驾驶意图在线计算模型采用神经网络模型，输入特征参数为本车车速Vego、方向盘转角θsteer、方向盘转速wsteer、油门踏板位移Sthrottle、油门踏板速度Vthrottle、制动踏板位移Sbraking、制动踏板速度Vbraking，输出为A＝(a1,a2,a3,a4,a5)，其中(1,0,0,0,0)，(0,1,0,0,0)，(0,0,1,0,0)，(0,0,0,1,0)，(0,0,0,0,1)分别表示驾驶意图为左换道、右换道、加速、制动和保持；
环节二、神经网络模型结构确定，具体方法如下：
第一步中步骤二整合的数据划分训练集和测试集，首先确定隐含层节点数，将训练集的数据输入至输入层，选取左换道、右换道、加速、制动和保持作为网络的输出层，通过正反向传播算法，确定输入层与隐含层，隐含层与输出层的连接权值；
环节三、神经网络输出结果，具体方法如下：
通过建立驾驶意图在线计算模型，在驾驶过程中，采集的数据信息输入到驾驶意图在线计算模型中，得到每个采样时刻的驾驶人意图。
6.根据权利要求1所述的一种基于人机增强感知的驾驶情境理解方法，其特征在于：所述的第二步步骤二中个性化驾驶习性计算模型包括以下环节：
环节一、个性化驾驶习性计算方法，具体方法如下：
将第一步中整合的多源人机感知数据经过特征提取后输入至个性化驾驶习性计算模型，包括第一步步骤一中的驾驶人生理数据提取的脑电、肌电、心电、皮电和眼电的信号特征，第一步步骤二驾驶人外特性整合的数据，提取的驾驶人头动、眼动特征以及表征驾驶人的横向控制特征和纵向控制特征，第一步步骤三交通环境与车辆状态数据整合提取特征，包括主车和目标车的相对位置、速度和相对加速度，由于提取的特征参数维度较多，采用主成分分析方法对数据进行降维处理，保留高维特征参数保留的信息，根据上述特征参数，特征数据用样本矩阵Z表示，记作：
Figure FDA0003916171990000071
对m维随机变量进行n次实验观测，z1,z2,…,zn表示观测样本；
zj＝(z1j,z2j,…,zmj)T表示第j个观测样本；
zij表示第j个观测样本的第i个变量，j＝1,2,…,n；
对特征参数进行标准化，样本协方差矩阵，计算主成分的累计方差贡献率；
Figure FDA0003916171990000072
选择累计方差贡献率超过90％的主成分作为降维后的成分得到新数据集，对新数据集进行训练集和测试集的划分；
环节二、个性化驾驶习性计算结果，具体方法如下：
通过聚类分析，把驾驶人风格分为激进型、一般型和稳健型三种，驾驶人相关特征数据输入至个性化驾驶习性计算模型中，判断当前驾驶人的驾驶习性。
7.根据权利要求1所述的一种基于人机增强感知的驾驶情境理解方法，其特征在于：所述的第二步步骤三中包括的环节如下：
环节一、跟驰感知规律分析，具体方法如下：
驾驶人在执行驾驶任务时视觉注意力会发生变化，将驾驶人的视线范围划分为5个区域，包括正前方区域1、左后视镜区域2、右后视镜区域3、仪表盘区域4和车内后视镜区域5，分析跟驰任务时研究驾驶人的视觉注视和视线转移特征；
首先将第一步步骤二中采集的驾驶人头动、眼动信号输入，视觉注视特征基于信息熵对各区域的注视时长进行统计；
离散变量熵信息为E，注视熵率值Ee计算公式：
Figure FDA0003916171990000081
Emax＝log2 N
Figure FDA0003916171990000082
式中，N表示注视区域数量，N＝5，
Figure FDA0003916171990000083
是对某个区域注视的概率；
Figure FDA0003916171990000084
为驾驶人在某区域停留的平均注视时间，n表示区域序号；
驾驶人注视行为主要包括对目标物的注视次数和注视时长，表征驾驶人在跟驰任务中的感兴趣区域分布和兴趣程度，驾驶人扫视行为反映驾驶人在感兴趣区域的转移特性和视觉搜索模式；
通过马尔科夫链构建驾驶人视线转移概率矩阵，分析不同驾驶习性驾驶人在跟驰任务中的视线转移特征；
M为一步转移概率Pij组成的状态转移矩阵，表示为
Figure FDA0003916171990000085
Pij表示转移矩阵概率第i行第j列的元素，每一行的转移概率总和为1；
运用马尔可夫链理论，探索注视点在各个注视区域之间的注视转移规律及其平稳分布特性；分析不同习性驾驶人在跟驰阶段的注视分布情况差异，得到不同习性驾驶人在跟驰任务的感知规律；
环节二、换道感知规律分析，具体方法如下：
同驾驶人跟驰阶段感知规律分析方法一样，进行换道感知规律分析，分析在换道意图阶段与换道执行阶段驾驶人的注视分布情况差异，获得换道阶段驾驶人的注视点在当前车道正前方区域和后视镜区域以及其他目标区域之间视线转移规律；
环节三、疲劳感知规律分析，具体方法如下：
驾驶人在疲劳状态下易造成行车风险，通过驾驶人的眼动、头动信息和驾驶行为特征表征驾驶人疲劳状态下感知规律，眼动、头动特征包括瞳孔闭合时间、眨眼频率、头部低垂角度、点头次数和打哈欠次数；驾驶行为包括方向盘修正频率，通过确定眼动、头动信息以及驾驶行为的疲劳检测参数，表征驾驶人疲劳状态感知规律；
环节四、紧急工况感知规律分析，具体方法如下：
分析驾驶人在紧急工况下的反应时间，根据驾驶人紧急工况感知反应时间长短，采用方差分析的方法进行检验，反应时间长短会造成扫视兴趣区域概率和水平眼睛活动有显著性差异，分析紧急工况下不同反应时间对紧急工况的熟悉度和敏感度，获得不同习性驾驶人紧急工况感知规律。
8.根据权利要求1所述的一种基于人机增强感知的驾驶情境理解方法，其特征在于：所述的第三步步骤一中包括以下环节：
环节一、驾驶人纵向感知机制模型，具体方法如下：
驾驶人纵向感知机制模型输入为第二步中当前驾驶人的驾驶意图，驾驶习性和感知规律结果，如果当前时刻激进型驾驶人意图在线计算模型输出加速意图，根据激进型驾驶人纵向感知规律，主要包括头动和眼动规律，当前驾驶人对仪表盘区域和前方区域的注视时长规律和扫视区域转移规律，推理得到当前驾驶人当前时刻要进行油门踏板动作；
环节二、驾驶人侧向感知机制，具体方法如下：
将当前驾驶人的驾驶意图，驾驶习性和感知规律结果同样输入至驾驶人侧向感知机制模型，对驾驶员的感知进行推理，比如驾驶员当前时刻向左换道的意图，根据当前驾驶人换道感知规律，驾驶人关注点在左后视镜区域和前方区域，根据车辆当前车道和左车道交通信息，推理出驾驶人当前时刻要向左换道，驾驶人纵侧向感知机制模型输出当前时刻驾驶人感知的综合信息。
9.根据权利要求1所述的一种基于人机增强感知的驾驶情境理解方法，其特征在于：所述的第三步步骤四中包括以下环节：
环节一、驾驶人感知信息集合表示，具体方法如下：
驾驶人感知信息集合D＝{Target_number,Target_type,Target_position,Target_speed,Lane_information}，其中，Target_number表示当前驾驶人感知的交通参与物的数量，Target_type表示目标物的类型，可分为行人、自行车、乘用车、卡车和动物，Target_position表示交通参与物的位置，分为正前方、左前方、右前方、左侧、右侧、正后方、左后方和右后方，Target_speed表示为交通参与物运动快慢；
环节二、自动驾驶感知信息集合表示，具体方法如下：
自动驾驶系统感知的信息集合A＝{target_ID,target_type,target_size,target_di-stance,target_speed,target_acceleration,lane_ID,lane_style}，target_ID表示传感器获得的目标物的ID；target_type表示目标物类型；target_size表示目标物尺寸；target_distance表示目标物的距离；target_speed表示目标物的速度；target_acceleration表示目标物的加速度；lane_ID表示车道的ID；“0”表示当前车道；“-1”表示左车道；“1”表示右车道；lane_style表示车道类型；将驾驶人和自动驾驶系统感知的信息集合元素对应，确定人机纵侧向融合感知数据消息格式，建立人机感知数据融合模型。
10.根据权利要求1所述的一种基于人机增强感知的驾驶情境理解方法，其特征在于：所述的第四步步骤一中的具体环节如下：
环节一、人机融合感知结果输入，具体方法如下：
将人机融合感知结果数据输入进行人机融合感知语义推断，提取描述当前驾驶情境关键的语义信息；
环节二、人机融合感知语义信息表示，具体方法如下：
如果自动驾驶系统感知的信息集合A＝{(Target_number＝2),(lane_ID＝0,target_distance＝50,target_speed＝40,target_acceleration＝0),(lane_ID＝-1,target_distan-ce＝-60,target_speed＝70,target_acceleration＝0)}；语义信息表示为当前场景有2辆目标车，其中一辆在当前车道前方50m处以40km/h的速度行驶，另一辆在左车道后方60m以70km/h的速度行驶，与此类似，完成对当前驾驶情境的人机融合感知语义推断。
CN202211340369.8A 2022-10-29 2022-10-29 一种基于人机增强感知的驾驶情境理解方法 Pending CN115743137A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211340369.8A CN115743137A (zh) 2022-10-29 2022-10-29 一种基于人机增强感知的驾驶情境理解方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211340369.8A CN115743137A (zh) 2022-10-29 2022-10-29 一种基于人机增强感知的驾驶情境理解方法

Publications (1)

Publication Number Publication Date
CN115743137A true CN115743137A (zh) 2023-03-07

Family

ID=85354227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211340369.8A Pending CN115743137A (zh) 2022-10-29 2022-10-29 一种基于人机增强感知的驾驶情境理解方法

Country Status (1)

Country Link
CN (1) CN115743137A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117644870A (zh) * 2024-01-30 2024-03-05 吉林大学 一种基于情景感知的驾驶焦虑检测与车辆控制方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117644870A (zh) * 2024-01-30 2024-03-05 吉林大学 一种基于情景感知的驾驶焦虑检测与车辆控制方法及系统
CN117644870B (zh) * 2024-01-30 2024-03-26 吉林大学 一种基于情景感知的驾驶焦虑检测与车辆控制方法及系统

Similar Documents

Publication Publication Date Title
Rastgoo et al. Automatic driver stress level classification using multimodal deep learning
EP1997705B1 (en) Drive behavior estimating device, drive supporting device, vehicle evaluating system, driver model making device, and drive behavior judging device
Khodairy et al. Driving behavior classification based on oversampled signals of smartphone embedded sensors using an optimized stacked-LSTM neural networks
CN111428699A (zh) 伪3d卷积神经网络与注意力机制结合的驾驶疲劳检测方法及系统
Lu et al. XGBoost algorithm-based monitoring model for urban driving stress: Combining driving behaviour, driving environment, and route familiarity
CN113743471B (zh) 一种驾驶评估方法及其系统
Lotz et al. Response times and gaze behavior of truck drivers in time critical conditional automated driving take-overs
Peng et al. Intelligent method for identifying driving risk based on V2V multisource big data
CN115027484A (zh) 一种面向高度自动驾驶的人机融合感知方法
Wang et al. Effect of human factors on driver behavior
Wei et al. Driver's mental workload classification using physiological, traffic flow and environmental factors
CN115743137A (zh) 一种基于人机增强感知的驾驶情境理解方法
Zhu et al. Analysis of braking intention based on fNIRS in driving simulation experiments
Yang et al. Real-time driver cognitive workload recognition: Attention-enabled learning with multimodal information fusion
CN114735010A (zh) 基于情绪识别的智能车辆行驶控制方法、系统及存储介质
Xing et al. Advanced driver intention inference: Theory and design
Hua et al. Cognitive distraction state recognition of drivers at a nonsignalized intersection in a mixed traffic environment
Zheng et al. Detection of perceived discomfort in sae l2 automated vehicles through driver takeovers and physiological spikes
Ju et al. Detection of Emergency Braking Intention From Soft Braking and Normal Driving Intentions Using EMG Signals
Xing et al. A unified multi-scale and multi-task learning framework for driver behaviors reasoning
Lashkov et al. Aggressive behavior detection based on driver heart rate and hand movement data
Fleicher et al. Using physiological metrics to improve reinforcement learning for autonomous vehicles
Song et al. A Study on the Driver-Vehicle Interaction System in Autonomous Vehicles Considering Driver’s Attention Status
Li et al. Identification of Driver’s Braking Intention in Cut-In Scenarios
DE102019208979A1 (de) Steuergerät zum Einsatz in einem Kraftfahrzeug

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination