CN113191283B - 一种基于在途出行者情绪变化的行驶路径决策方法 - Google Patents

一种基于在途出行者情绪变化的行驶路径决策方法 Download PDF

Info

Publication number
CN113191283B
CN113191283B CN202110498091.6A CN202110498091A CN113191283B CN 113191283 B CN113191283 B CN 113191283B CN 202110498091 A CN202110498091 A CN 202110498091A CN 113191283 B CN113191283 B CN 113191283B
Authority
CN
China
Prior art keywords
driving
traffic flow
emotion
layer
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110498091.6A
Other languages
English (en)
Other versions
CN113191283A (zh
Inventor
朱敏清
石鹏
崔洪军
李晰晔
彭亚荣
周巍
闽雪峰
杨昱泽
李霞
马新卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202110498091.6A priority Critical patent/CN113191283B/zh
Publication of CN113191283A publication Critical patent/CN113191283A/zh
Application granted granted Critical
Publication of CN113191283B publication Critical patent/CN113191283B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Abstract

本发明为一种基于在途出行者情绪变化的行驶路径决策方法，包括步骤一、设计基于在途出行者情绪变化的交通流状态评价实验，采集受试者的生理数据和面部表情；根据是否会使受试者产生消极情绪将交通流状态分为两类；步骤二、得到不同驾驶环境对应的两类交通流状态图像数据集；步骤三、划分训练集和测试集；步骤四、构建卷积神经网络；步骤五、训练集作为卷积神经网络的输入，将情绪结果作为卷积神经网络的输出对卷积神经网络进行训练，得到行驶路径决策模型，每种驾驶环境都得到一个行驶路径决策模型；步骤六、将行驶路径决策模型中用于路径决策。该方法将出行者的情绪感知作为行驶路径决策的依据，提升了用户体验感和舒适性，避免产生不良情绪。

Description

一种基于在途出行者情绪变化的行驶路径决策方法
技术领域
本发明属于无人驾驶技术领域，具体是一种基于在途出行者情绪变化的行驶路径决策方 法。
背景技术
随着人们生活水平的提高，汽车保有量也急剧攀升，城市道路交通拥堵问题已经成为通 病。交通拥堵会使驾驶员产生烦躁、愤怒等不良情绪，出现注意力减退、疲劳感增加等现象， 特别是在无人驾驶领域，若能合理地进行路径选择，不仅能让使用者在出行过程中始终保持 轻松愉快的心情，还可以有效缓解拥堵状况，提高车辆的通行效率，使行驶的安全性得到保 障。
在驾驶汽车过程中，驾驶员主要通过行车记录仪获取车辆信息及交通状况信息，不断感 知外部交通环境，进而选择合适的行驶路径。目前，在无人驾驶领域，主要通过综合考量路 径的曲率和弧长来进行路径规划，从而实现路径选择的最优化，避免与其他车辆发生碰撞和 保持安全距离，但是并没有将出行者面向实时交通流状态的情绪感知考虑在内。在交通系统 中出行者个人才是最终的交通受益者，出行者面对不同拥堵程度的交通流状态时的情绪变化 也会不同，因此为了提高无人驾驶的体验感和舒适性，需要将出行者面对交通流状态时的个 人情绪考虑在内。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于在途出行者情绪变化 的行驶路径决策方法。
本发明解决所述技术问题采用的技术方案是：
一种基于在途出行者情绪变化的行驶路径决策方法，其特征在于，该方法包括以下内容：
步骤一、设计基于在途出行者情绪变化的交通流状态评价实验，采集受试者的生理数据 和面部表情；当生理数据和面部表情均反映了受试者产生了消极情绪，则表明此种交通流状 态会使受试者产生消极情绪；根据是否会使受试者产生消极情绪将交通流状态分为两类；
步骤二、从每类交通流状态对应的每个驾驶场景中每间隔一段时间截取一张交通流状态 图像，得到不同驾驶环境对应的两类交通流状态图像数据集；
步骤三、将交通流状态图像数据集进行归一化处理，将归一化后的交通流状态图像数据 集进行增广处理，将增广处理后的交通流状态图像数据集划分为训练集和测试集；
步骤四、构建卷积神经网络，卷积神经网络的结构层次依次为第一卷积层、第二卷积层、 第一池化层、第三卷积层、第二池化层、第四卷积层、第三池化层、第五卷积层、第四池化 层、第一全连接层、dropout层和第二全连接层；
步骤五、将步骤三得到的训练集作为卷积神经网络的输入，将情绪结果作为卷积神经网 络的输出对卷积神经网络进行训练，得到行驶路径决策模型，每种驾驶环境都得到一个行驶 路径决策模型；
步骤六、将所有的行驶路径决策模型储存在处理终端中，根据不同的驾驶环境调用相应 的行驶路径决策模型，将实时采集的交通流状态图像输入到相应的行驶路径决策模型中，完 成基于在途出行者情绪变化的路径决策。
步骤一中，基于在途出行者情绪变化的交通流状态评价实验的步骤为：
分别构建白天和晚上、高峰时间段和平峰时间段的城市典型路段的驾驶环境，每种驾驶 环境包含20个驾驶场景，这20个驾驶场景的稳定交通流跟车状态的平均行驶速度逐渐减小， 相邻驾驶场景处于稳定交通流跟车状态的平均行驶速度相差2.5km/h，交通流处于畅通状态对 应的驾驶场景的稳定交通流跟车状态的平均行驶速度为47.5-50km/h；令受试者在每个驾驶场 景中进行模拟驾驶，在模拟驾驶过程中采集受试者的生理数据和面部表情。
所述生理数据为心率，当稳定交通流跟车状态的平均行驶速度为47.5-50km/h时，受试者 的心率变化平稳，测得每个受试者在此行驶速度下每分钟内的心率值，选取某一分钟内的最 大心率值pi作为受试者i在平稳情绪下的心率阈值，每个受试者都有各自的心率阈值；当受试 者i在模拟驾驶过程中某一分钟的心率值超过心率阈值pi，则从生理上反映了受试者i出现情 绪波动，若受试者i在此时间段内的面部表情分析输出的情绪结果也为消极情绪，即生理数据 与面部表情分析的输出结果一致，则认为受试者i在这一分钟内产生了消极情绪，视为有效数 据；若生理数据与面部表情分析的输出结果不一致，则视为无效数据；当受试者i有超过一半 驾驶时长均产生了消极情绪，则视为受试者i受到此种交通流状态的影响产生了消极情绪；当 某个驾驶场景中有超过50％的受试者均产生了消极情绪，即消极情绪百分率≥50％则认为该 驾驶场景对应的交通流状态会使受试者产生消极情绪。
利用动态心电测试仪采集受试者的心率，利用FaceReader软件对受试者的面部表情进行 分析并输出情绪结果。
当驾驶环境为白天双向四车道时，使受试者产生消极情绪的驾驶场景有9个，作为第一 类交通流状态；不会使受试者产生消极情绪的驾驶场景有11个，作为第二类交通流状态。
步骤三中的增广处理包括旋转、平移和翻转操作。
卷积神经网络的第一卷积层中卷积滤波器的总数为32个、卷积滤波器的像素大小为3× 3，步长为1个像素；第二卷积层中卷积滤波器的总数为64个、卷积滤波器的像素大小为3 ×3，步长为1个像素；第一池化层中池化区域为2×2，池化步长为2个像素；第三卷积层中卷积滤波器的总数为128个、卷积滤波器的像素大小为3×3，卷积步长为1个像素；第二池化层中池化区域为2×2，池化步长为2个像素；第四卷积层中卷积滤波器的总数为256个、卷积滤波器的像素大小为3×3，卷积步长为1个像素；第三池化层中池化区域为2×2，池化步长为2个像素；第四卷积层中卷积滤波器的总数为256个、卷积滤波器的像素大小为3×3，卷积步长为1个像素；第四池化层中池化区域为2×2，池化步长为2个像素；第一全连接层节点总数为1024；dropout层的保留概率为0.5；第二全连接层的节点总数为2。
与现有技术相比，本发明的有效益效果在于：
1.本发明将出行者个人面向不同交通流状态的情绪感知作为行驶路径决策的依据，通过 设计在途出行者情绪变化的交通流状态评价实验，获取受试者在不同交通流状态的驾驶场景 中的情绪感知情况，量化了出行者个体对于不同拥堵程度的交通流状态的情绪变化情况；此 外，根据是否使受试者产生消极情绪将不同交通流分为两类，得到两类交通流状态图像数据 集，利用卷积神经网络进行训练得到行驶路径决策模型，实现了行驶路径决策的智能化。
2.本发明的方法尤其适用于无人驾驶领域，在行驶过程中实时采集交通流状态图像，通 过行驶路径决策模型输出结果，此结果能够反映出行者面对不同交通流状态时的情绪变化， 通过感知出行者的情绪变化进行行驶路径决策，有利于提升用户体验感和舒适性，避免用户 产生不良情绪。
3.本发明的方法还可以用于交通管理部门进行交通流量分配，有利于对拥堵路段进行交 通疏散；当行驶路径决策模型的输出结果表明需要调整行驶路径时，交通管理部门可采取相 关措施进行交通疏散，达到缓解交通拥堵的效果，使城市道路交通流状态更加贴合出行者的 情绪以及路网中的车辆能够高效畅通地运行，避免驾驶员产生消极情绪，提高了安全保障。
附图说明
图1为本发明的整体流程图；
图2为本发明的在途出行者情绪变化的交通流状态评价实验的流程图；
图3为本发明的卷积神经网络的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案作进一步说明，并不用于限定本申请的 保护范围。
本发明为一种基于在途出行者情绪变化的行驶路径决策方法(简称方法)，包括以下步 骤：
步骤一、设计基于在途出行者情绪变化的交通流状态评价实验，采集受试者的生理数据 和面部表情；当生理数据和面部表情均反映了受试者产生了消极情绪，则表明此种交通流状 态会使受试者产生消极情绪；根据是否会使受试者产生消极情绪将交通流状态分为两类；
步骤二、从每类交通流状态对应的每个驾驶场景中每间隔一段时间截取一张交通流状态 图像，得到不同驾驶环境对应的两类交通流状态图像数据集；
步骤三、将交通流状态图像数据集进行归一化处理，将归一化后的交通流状态图像数据 集进行增广处理，将增广处理后的交通流状态图像数据集划分为训练集和测试集；
步骤四、构建卷积神经网络，卷积神经网络的结构层次依次为第一卷积层、第二卷积层、 第一池化层、第三卷积层、第二池化层、第四卷积层、第三池化层、第五卷积层、第四池化 层、第一全连接层、dropout层和第二全连接层；
步骤五、将步骤三得到的训练集作为卷积神经网络的输入，将情绪结果作为卷积神经网 络的输出对卷积神经网络进行训练，得到行驶路径决策模型；
步骤六、将实时采集的交通流状态图像输入到行驶路径决策模型中，完成基于在途出行 者情绪变化的路径决策。
实施例1
本实施例的基于在途出行者情绪变化的行驶路径决策方法(参见图1-3)，包括以下内容：
步骤一、设计基于在途出行者情绪变化的交通流状态评价实验，采集受试者在实验过程 中的生理数据和面部表情，根据是否产生不良情绪将每种驾驶环境中的交通流状态分为第一 类交通流状态和第二类交通流状态；
招募89名志愿者作为受试者，年龄在20-45岁之间，均拥有C1驾驶证，驾龄大于2年， 其中男性受试者为62名，女性受试者为27名，要求受试者身体健康，实验前24小时内未饮 用酒精和剧烈运动；基于在途出行者情绪变化的交通流状态评价实验在仿真平台上实现，仿 真平台由驾驶行为虚拟仿真试验测试系统(Simlab系统，软件部分)和驾驶操纵装置(硬件 系统)组成，为了与道路上的实际驾驶环境更切合，更好地展现人车交互的视觉效果，在驾 驶操纵装置的前方、左、右两侧均布置一个50寸高清液晶屏，显示不同方位的驾驶环境。每 个高清液晶屏上方均安置一个分辨率为1920×1080像素的高清摄像头，距离受试者面部距离 约1.2米，确保受试者的面部完全位于高清摄像头的视野范围内，以采集受试者在实验过程 中的面部表情视频。
Simlab系统是一款用于交通场景建模的驾驶仿真试验测试系统，可以根据需求搭建个性 化的交通场景和道路环境，并能够为道路环境中的车辆和行人赋予相应的动作，以满足不同 的研究需求；该系统具有丰富的场景素材库，可以根据需求进行场景编辑，包括选取道路参 数和交通流量，如车道数量、车道方向、道路宽度、道路长度等，同时可以设置不同的环境 状况，包括车辆数量、行驶状态以及行人的行为动作。
利用Simlab系统分别构建白天和夜晚，城市典型路段包含双向四车道、双向六车道和双 向八车道这三种车道数的驾驶环境，因此本实施例一共包含6种驾驶环境，每种驾驶环境下 设置20个驾驶场景，这20个驾驶场景处于稳定交通流跟车状态的平均行驶速度为 47.5-50km/h......7.5-10km/h、5-7.5km/h、2.5-5km/h、0-2.5km/h；每个驾驶场景的驾驶时长设 为10分钟，模拟驾驶达到驾驶时长时，模拟驾驶结束；
进行实验前，受试者需要试驾，熟悉驾驶操纵装置的相关操作及驾驶环境的道路路况； 每种驾驶环境下的20个驾驶场景以组为单位进行实验，将20个驾驶场景的顺序随机打乱， 令受试者在每个驾驶场景中进行模拟驾驶，为了避免连续模拟驾驶使受试者产生消极情绪对 实验结果产生较大误差，每完成一个驾驶场景的模拟驾驶后令受试者休息3分钟再进行下一 个驾驶场景的模拟驾驶。在模拟驾驶过程中采用Century3000动态心电测试仪对模拟驾驶过 程中受试者的心率进行实时采集，该采集仪为穿戴式设备，可在不影响受试者操作驾驶的情 况下佩戴，避免对实验结果造成影响。
将受试者在每个驾驶场景中采集的面部表情视频文件导入到FaceReader软件，对面部表 情进行分析处理并输出情绪结果；FaceReader软件是一个面部表情分析软件，能够直观客观 的评价受试者的情绪状态和情绪变化，能够对面部表情视频文件中的受试者的面部表情进行 分析，输出情绪结果，如消极情绪和非消极情绪。
实验结束后，收集实验数据进行并处理，分析受试者在不同驾驶场景中的情绪变化情况。 当跟车状态的平均行驶速度为47.5-50km/h，表示交通流处于畅通状态，受试者的心率表现平 稳，将其作为平稳情绪下的心率表现，随着交通流状态逐渐拥堵(跟车状态的平均行驶速度 逐渐减小)，受试者的情绪出现波动。
当稳定交通流跟车状态的平均行驶速度为47.5-50km/h时，受试者的心率变化平稳，测得 每个受试者在此行驶速度下每分钟内的心率值，选取某一分钟内的最大心率值pi作为受试者i 在平稳情绪下的心率阈值。考虑到个体的生理属性差异性，每个受试者在平稳情绪下的心率 阈值大小都不同，因此每个受试者都有各自的心率阈值。当受试者i在模拟驾驶过程中某一分 钟的心率值超过其心率阈值pi，则从生理上反映了受试者i出现情绪波动，若受试者i在此时 间段内的面部表情分析输出的情绪结果也为消极情绪，即生理数据与面部表情分析的输出结 果一致，则认为受试者i在这一分钟内产生了消极情绪，视为有效数据；若生理数据与面部表 情分析的输出结果不一致，则视为无效数据，予以剔除；当受试者i有超过一半驾驶时长即受 试者在大于任意非连续或连续的5分钟时间内均产生了消极情绪，则视为受试者i受到此种交 通流状态的影响产生了消极情绪；当某个驾驶场景中有超过50％的受试者均产生了消极情绪， 即消极情绪百分率≥50％则表明该交通流状态为拥堵，会使受试者产生消极情绪；
以白天双向四车道为例，汇总实验数据，将有无效数据予以剔除，受试者在每种驾驶场 景中的情绪状态情况如表1。
表1 不同交通流状态下受试者的消极情绪汇总
Figure BDA0003055260500000051
由表1可知，当跟车状态的平均行驶速度为小于22.5km/h时，超过50％的受试者都受到 交通流状态影响产生了消极情绪，则认为平均行驶速度为0-2.5km/h......20-22.5km/h这9个驾 驶场景的交通流状态会使受试者产生消极情绪，将其定义为第一类交通流状态，而平均行驶 速度为大于22.5km/h的11个驾驶场景中的交通流状态并不会使受试者产生消极情绪，将其 定义为第二类交通流状态。
步骤二、从第一类交通流状态和第二类交通流状态对应的每个驾驶场景中每间隔一段时 间截取一张交通流状态图像，得到第一类交通流状态图像数据集和第二类交通流状态图像数 据集，每种驾驶环境下都得到两类交通流状态图像数据集；
以白天双向四车道的20个驾驶场景为例，对于第一类交通流状态对应的9个驾驶场景， 每个驾驶场景选取处于稳定交通流跟车状态下的30秒视频数据，每隔0.5s截取一张交通流状 态图像，故每个驾驶场景一共得到60张交通流状态图像，这60张交通流状态图像作为一个 小组，因此从第一类交通流状态对应的9个驾驶场景中一共得到9小组交通流状态图像，将 这9小组的交通流状态图像汇总成第一大组，作为白天双向四车道对应的第一类交通流状态 图像数据集；同理，得到白天双向四车道对应的第二类交通流状态图像数据集。
步骤三、对交通流状态图像数据集进行归一化处理，将归一化后的部分图像进行增广处 理，得到增广处理后的交通流状态图像数据集，将增广处理后的交通流状态图像数据集划分 为训练集和测试集；
将步骤二得到的交通流状态图像数据集进行归一化处理，每张交通流状态图像处理为200 ×200像素；
由于实际驾驶场景中车载摄像头所采集的图像包含不同拍摄角度和不同程度被遮挡的情 况，考虑到行驶路径决策模型的实用性，需要使交通流状态图像数据集中的图像更加接近实 际交通环境中车载摄像头所采集的图像，故对交通流状态图像数据集的部分图像进行增广处 理，以提高卷积神经网络的鲁棒性，提高了识别的准确率；
对归一化后每大组交通流状态图像数据集中各选取100张的交通流状态图像进行增广处 理：以图像中心为原点，顺时针方向每隔60度旋转一次，每张图像旋转一周，每次旋转都得 到一张旋转后的图像，即得到600张旋转后的图像；将每张旋转后的图像在原始尺寸框内随 机平移10个像素点，将平移后超出原始尺寸框的部分去除，再将图像设置为原始尺寸大小得 到600张平移后的图像；将每张平移后的图像在空间范围内按顺时针方向进行翻转，每隔60 度翻转一次，每张图像翻转一周，一共得到3600张翻转后的图像，将旋转后、平移后和翻转 后的图像保留，完成图像的增广处理；增广处理后的第一大组交通流状态图像数据集一共包 含4040张交通流状态图像，第二大组交通流状态图像数据集一共包含4160张交通流状态图 像；
将每种驾驶环境对应的增广处理后的交通流状态图像数据集的80％划分为训练集，其余 20％划分为测试集；
步骤四、构建卷积神经网络：在传统LeNet-5卷积神经网络模型的基础上进行改进，设 计一个十二层的卷积神经网络，其结构层次如图3所示，依次为第一卷积层→第二卷积层→ 第一池化层→第三卷积层→第二池化层→第四卷积层→第三池化层→第五卷积层→第四池化 层→第一全连接层→dropout层→第二全连接层；
城市道路的交通流状况错综复杂，车辆较多，同向行驶的车辆会出现相互遮挡等现象， 因此图像特征不易提取，为了准确识别拥堵程度，需要提高卷积神经网络的特征提取能力； 本实施例的卷积神经网络主要由五个卷积层、四个池化层、一个dropout层和两个全连接层构 成，相比较于传统LeNet-5卷积神经网络模型多了第二卷积层和第五卷积层，提高了卷积神 经网络对交通流状态图像的特征提取能力，提高分类准确率；通过增加第三池化层和第四池 化层充分压缩图像尺寸，减少计算量，提高实时性和其运算准确率；通过增加第一全连接层 增强卷积神经网络的非线性表达能力，提高卷积神经网络的学习能力，使全连接层在整个卷 积神经网络中起“分类器”的作用；
其中，第一卷积层中卷积滤波器的总数为32个、卷积滤波器的像素大小为3×3，步长 为1个像素；第二卷积层中卷积滤波器的总数为64个、卷积滤波器的像素大小为3×3，步长为1个像素；第一池化层中池化区域为2×2，池化步长为2个像素；第三卷积层中卷积滤波器的总数为128个、卷积滤波器的像素大小为3×3，卷积步长为1个像素；第二池化层中池化区域为2×2，池化步长为2个像素；第四卷积层中卷积滤波器的总数为256个、卷积滤波器的像素大小为3×3，卷积步长为1个像素；第三池化层中池化区域为2×2，池化步长为2个像素；第四卷积层中卷积滤波器的总数为256个、卷积滤波器的像素大小为3×3，卷积步长为1个像素；第四池化层中池化区域为2×2，池化步长为2个像素；第一全连接层节点总数为1024；dropout层的保留概率为0.5；第二全连接层的节点输出结果为是否需要进行行 驶路径调整，即第二全连接层的节点总数为2；
步骤五、卷积神经网络的训练与测试，得到行驶路径决策模型；
设置卷积神经网络的训练参数：初始化权重值和偏置值，将初始化的参数输入到步骤四 设计的卷积神经网络中；设置初始学习率为0.01，训练的迭代次数为10，单次训练所选取的 样本数(batchsize)为32，所述卷积神经网络的激活函数为Sigmoid非线性激活函数，通过 交叉熵损失函数计算损失；
将步骤三得到的训练集作为卷积神经网络的输入，将情绪结果作为卷积神经网络的输出， 对卷积神经网络进行训练，每种驾驶环境都会得到一个训练后的卷积神经网络；其中，卷积 神经网络的输出结果0表示消极情绪，需要调整行驶路径，1表示非消极情绪，不需要调整 行驶路径；卷积神经网络起到二分类的作用；
利用步骤三得到的测试集对训练后的卷积神经网络进行测试，使得卷积神经网络的准确 率达到90％以上，得到行驶路径决策模型；每种驾驶环境都得到一个行驶路径决策模型。
步骤六、将步骤五得到的各个行驶路径决策模型存储在处理终端中，实际使用时根据不 同的驾驶环境调用相应的行驶路径决策模型，将实时采集到的交通流状态图像输入到行驶路 径决策模型中，实现根据在途出行者情绪变化的行驶路径决策。
本实施例的行驶路径决策模型可用于无人驾驶汽车领域，为无人驾驶汽车的路径规划提 供依据，以有效避免交通拥堵，使得无人驾驶汽车行驶路径更加贴合出行者的情绪感知，考 虑了使用者的情绪因素，提高了使用舒适性。由于白天和夜晚采集到的交通流状态图像的明 暗程度不同，因此提高了无人驾驶汽车在夜晚的识别能力。
实施例2
本实施例与实施例1的不同之处在于，步骤一分别进行了高峰时间段和平峰时间段不同 驾驶环境下的交通流状态评价实验，不同驾驶环境包括高峰时间段的城市典型路段双向四车 道、高峰时间段的城市典型路段双向六车道、高峰时间段的城市典型路段双向八车道、平峰 时间段的城市典型路段双向四车道、平峰时间段的城市典型路段双向六车道以及平峰时间段 的城市典型路段双向八车道，其余步骤与实施例1相同。
本实施例构建的行驶路径决策模型可用于交通管理部门进行交通流量分配，有利于对拥 堵路段进行交通疏散；当行驶路径决策模型的输出结果表明需要调整行驶路径时，交通管理 部门可采取相关措施进行交通疏散，达到缓解交通拥堵的效果，使城市道路交通流状态更加 贴合出行者的情绪以及路网中的车辆能够高效畅通地运行。
仿真试验：仿真试验硬件平台为Intel酷睿i78700K@3.7GHzCPU、64GBRAM、NVIDIAGeforceGTX1080TiGPU，仿真试验软件平台为Python3.5和Tensorflow1.4；分别利用LeNet-5 卷积神经网络和本发明的卷积神经网络对本实施例得到的高峰时间段双向四车道的交通流状 态图像数据集进行路径决策，两种卷积神经网络的识别准确率如表2所示；
表2 识别准确率对比表
网络类别 传统LeNet-5卷积神经网络 本发明的卷积神经网络
识别准确率 88.12％ 92.63％
从表2可知，本发明的卷积神经网络相较于传统LeNet-5卷积神经网络的识别准确率提 高了4.51％，说明本发明构建的卷积神经网络能够根据出行者情绪准确进行路径决策，可靠 性高。
综上所述，本发明将出行者个人面向不同交通流状态的情绪感知作为行驶路径决策的依 据，通过设计在途出行者情绪变化的交通流状态评价实验,，获取了受试者在不同交通流状态 下的情绪感知情况，量化了不同出行者个体对于不同拥堵程度交通流状态的情绪变化情况， 通过数据处理将是否产生消极情绪对应的两类交通流状态图像数据集输入卷积神经网络，通 过卷积神经网络提取两类交通流状态图像数据集特征，完成卷积神经网络的训练，最后将实 际交通环境中采集到的交通流状态图像输入构建的行驶路径决策模型中，实现了行驶路径决 策的智能化。
本发明未述及之处适用于现有技术。

Claims (5)

1.一种基于在途出行者情绪变化的行驶路径决策方法，其特征在于，该方法包括以下内容：
步骤一、设计基于在途出行者情绪变化的交通流状态评价实验，即分别构建白天和晚上、高峰时间段和平峰时间段的城市典型路段的驾驶环境，每种驾驶环境包含20个驾驶场景，这20个驾驶场景的稳定交通流跟车状态的平均行驶速度逐渐减小，相邻驾驶场景处于稳定交通流跟车状态的平均行驶速度相差2.5km/h，交通流处于畅通状态对应的驾驶场景的稳定交通流跟车状态的平均行驶速度为47.5-50km/h；令受试者在每个驾驶场景中进行模拟驾驶，在模拟驾驶过程中采集受试者的生理数据和面部表情；当生理数据和面部表情均反映了受试者产生了消极情绪，则表明此种交通流状态会使受试者产生消极情绪；根据是否会使受试者产生消极情绪将交通流状态分为两类；
所述生理数据为心率；当稳定交通流跟车状态的平均行驶速度为47.5-50km/h时，受试者的心率变化平稳，测得每个受试者在此行驶速度下每分钟内的心率值，选取某一分钟内的最大心率值pi作为受试者i在平稳情绪下的心率阈值，每个受试者都有各自的心率阈值；当受试者i在模拟驾驶过程中某一分钟的心率值超过心率阈值pi，则从生理上反映了受试者i出现情绪波动，若受试者i在此时间段内的面部表情分析输出的情绪结果也为消极情绪，即生理数据与面部表情分析的输出结果一致，则认为受试者i在这一分钟内产生了消极情绪，视为有效数据；若生理数据与面部表情分析的输出结果不一致，则视为无效数据；当受试者i有超过一半驾驶时长均产生了消极情绪，则视为受试者i受到此种交通流状态的影响产生了消极情绪；当某个驾驶场景中有超过50％的受试者均产生了消极情绪，即消极情绪百分率≥50％则认为该驾驶场景对应的交通流状态会使受试者产生消极情绪；
步骤二、从每类交通流状态对应的每个驾驶场景中每间隔一段时间截取一张交通流状态图像，得到不同驾驶环境对应的两类交通流状态图像数据集；
步骤三、将交通流状态图像数据集进行归一化处理，将归一化后的交通流状态图像数据集进行增广处理，将增广处理后的交通流状态图像数据集划分为训练集和测试集；
步骤四、构建卷积神经网络，卷积神经网络的结构层次依次为第一卷积层、第二卷积层、第一池化层、第三卷积层、第二池化层、第四卷积层、第三池化层、第五卷积层、第四池化层、第一全连接层、dropout层和第二全连接层；
步骤五、将步骤三得到的训练集作为卷积神经网络的输入，将情绪结果作为卷积神经网络的输出对卷积神经网络进行训练，得到行驶路径决策模型，每种驾驶环境都得到一个行驶路径决策模型；
步骤六、将所有的行驶路径决策模型储存在处理终端中，根据不同的驾驶环境调用相应的行驶路径决策模型，将实时采集的交通流状态图像输入到相应的行驶路径决策模型中，完成基于在途出行者情绪变化的路径决策。
2.根据权利要求1所述的基于在途出行者情绪变化的行驶路径决策方法，其特征在于，利用动态心电测试仪采集受试者的心率，利用FaceReader软件对受试者的面部表情进行分析并输出情绪结果。
3.根据权利要求1所述的基于在途出行者情绪变化的行驶路径决策方法，其特征在于，当驾驶环境为白天双向四车道时，使受试者产生消极情绪的驾驶场景有9个，作为第一类交通流状态；不会使受试者产生消极情绪的驾驶场景有11个，作为第二类交通流状态。
4.根据权利要求1所述的基于在途出行者情绪变化的行驶路径决策方法，其特征在于，步骤三中的增广处理包括旋转、平移和翻转操作。
5.根据权利要求1所述的基于在途出行者情绪变化的行驶路径决策方法，其特征在于，卷积神经网络的第一卷积层中卷积滤波器的总数为32个、卷积滤波器的像素大小为3×3，步长为1个像素；第二卷积层中卷积滤波器的总数为64个、卷积滤波器的像素大小为3×3，步长为1个像素；第一池化层中池化区域为2×2，池化步长为2个像素；第三卷积层中卷积滤波器的总数为128个、卷积滤波器的像素大小为3×3，卷积步长为1个像素；第二池化层中池化区域为2×2，池化步长为2个像素；第四卷积层中卷积滤波器的总数为256个、卷积滤波器的像素大小为3×3，卷积步长为1个像素；第三池化层中池化区域为2×2，池化步长为2个像素；第四卷积层中卷积滤波器的总数为256个、卷积滤波器的像素大小为3×3，卷积步长为1个像素；第四池化层中池化区域为2×2，池化步长为2个像素；第一全连接层节点总数为1024；dropout层的保留概率为0.5；第二全连接层的节点总数为2。
CN202110498091.6A 2021-05-08 2021-05-08 一种基于在途出行者情绪变化的行驶路径决策方法 Active CN113191283B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110498091.6A CN113191283B (zh) 2021-05-08 2021-05-08 一种基于在途出行者情绪变化的行驶路径决策方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110498091.6A CN113191283B (zh) 2021-05-08 2021-05-08 一种基于在途出行者情绪变化的行驶路径决策方法

Publications (2)

Publication Number Publication Date
CN113191283A CN113191283A (zh) 2021-07-30
CN113191283B true CN113191283B (zh) 2022-09-23

Family

ID=76984210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110498091.6A Active CN113191283B (zh) 2021-05-08 2021-05-08 一种基于在途出行者情绪变化的行驶路径决策方法

Country Status (1)

Country Link
CN (1) CN113191283B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993093A (zh) * 2019-03-25 2019-07-09 山东大学 基于面部和呼吸特征的路怒监测方法、系统、设备及介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10192171B2 (en) * 2016-12-16 2019-01-29 Autonomous Fusion, Inc. Method and system using machine learning to determine an automotive driver's emotional state
CN107492251B (zh) * 2017-08-23 2020-02-14 武汉大学 一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法
CN108520238B (zh) * 2018-04-10 2021-08-31 东华大学 一种基于深度预测编码网络的夜视图像的场景预测方法
CN110517177A (zh) * 2018-05-21 2019-11-29 上海申通地铁集团有限公司 模型的生成方法、轨道交通车站的画像方法及系统
CN110472511A (zh) * 2019-07-19 2019-11-19 河海大学 一种基于计算机视觉的驾驶员状态监测装置
CN110516658A (zh) * 2019-09-06 2019-11-29 山东理工大学 一种基于面部图像和车辆运行信息的驾驶员情绪的识别算法设计
CN111797755A (zh) * 2020-06-30 2020-10-20 东风汽车有限公司 一种汽车乘员情绪识别方法及电子设备
CN112101117A (zh) * 2020-08-18 2020-12-18 长安大学 一种高速公路拥堵识别模型构建方法和装置及识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993093A (zh) * 2019-03-25 2019-07-09 山东大学 基于面部和呼吸特征的路怒监测方法、系统、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于驾驶行为多元时间序列特征的愤怒驾驶状态检测;万平等;《吉林大学学报(工学版)》;20170309(第05期);全文 *

Also Published As

Publication number Publication date
CN113191283A (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN107403154A (zh) 一种基于动态视觉传感器的步态识别方法
CN110464366A (zh) 一种情绪识别方法、系统及存储介质
CN106886792A (zh) 一种基于分层机制构建多分类器融合模型的脑电情感识别方法
D’Eusanio et al. A transformer-based network for dynamic hand gesture recognition
CN110532925B (zh) 基于时空图卷积网络的驾驶员疲劳检测方法
CN111860274A (zh) 基于头部朝向与上半身骨架特征的交警指挥手势识别方法
CN113743471B (zh) 一种驾驶评估方法及其系统
CN110363093A (zh) 一种司机动作识别方法及装置
CN110889450A (zh) 超参数调优、模型构建方法和装置
Li et al. Driver distraction detection using octave-like convolutional neural network
Ezzouhri et al. Robust deep learning-based driver distraction detection and classification
Hsu et al. End-to-end deep learning for autonomous longitudinal and lateral control based on vehicle dynamics
Wei et al. Driver's mental workload classification using physiological, traffic flow and environmental factors
CN115966010A (zh) 一种基于注意力和多尺度特征融合的表情识别方法
CN112862023B (zh) 对象密度确定方法、装置、计算机设备和存储介质
CN112529054B (zh) 一种多源异构数据的多维度卷积神经网络学习者建模方法
CN113191283B (zh) 一种基于在途出行者情绪变化的行驶路径决策方法
CN112052829B (zh) 一种基于深度学习的飞行员行为监控方法
Sun et al. Extraction of optimal measurements for drowsy driving detection considering driver fingerprinting differences
Hsu et al. Automatic extraction of face contours in images and videos
CN116824554A (zh) 基于主观评价的多源信息融合驾驶安全评估方法
CN116092034A (zh) 一种基于改进的DeeplabV3+模型的车道线检测方法
Colombo et al. Streetwise: Mapping Citizens' Perceived Spatial Qualities
Wang et al. Enhancing YOLOv7-Based Fatigue Driving Detection through the Integration of Coordinate Attention Mechanism
Ding et al. A learnable end-edge-cloud cooperative network for driving emotion sensing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhu Minqing

Inventor after: Ma Xinwei

Inventor after: Shi Peng

Inventor after: Cui Hongjun

Inventor after: Li Xinye

Inventor after: Peng Yarong

Inventor after: Zhou Wei

Inventor after: Min Xuefeng

Inventor after: Yang Yuze

Inventor after: Li Xia

Inventor before: Zhu Minqing

Inventor before: Ma Xinwei

Inventor before: Shi Peng

Inventor before: Cui Hongjun

Inventor before: Li Xiye

Inventor before: Peng Yarong

Inventor before: Zhou Wei

Inventor before: Min Xuefeng

Inventor before: Yang Yuze

Inventor before: Li Xia