CN113139469A - 基于微表情识别的驾驶员道路紧张情绪调节方法及系统 - Google Patents

Abstract

本发明公开了一种基于微表情识别的驾驶员道路紧张情绪调节方法及系统，首先使用网络公开人脸微表情数据集，对数据集进行预处理，构建基于微表情识别的驾驶员紧张情绪识别模型；然后驾驶员模拟驾驶，并实时采集驾驶员面部微表情信号，并对采集数据进行预处理，特征提取，得到驾驶员理想微表情数据；最后在驾驶员实际驾驶过程中，实时采集驾驶员面部微表情信号，将微表情信号输入构建的基于微表情识别的驾驶员紧张情绪识别模型中，识别出驾驶员情绪，并通过与驾驶员互动，进一步做出相应的情绪调节决策。本发明能有效降低交通危险，避免了驾驶员行车时因紧张情绪导致的交通事故，提高交通道路安全。

Description

基于微表情识别的驾驶员道路紧张情绪调节方法及系统

技术领域

本发明属于计算机软件与汽车技术领域，涉及一种驾驶员道路紧张情绪调节方法及系统，具体涉及一种以图像特征提取和分类为基础算法的高级驾驶辅助方法及系统。

背景技术

随着经济发展，行驶车辆的增多导致安全隐患也随之增加，对于驾驶车辆时间较短的人来说，面对不平坦以及较窄的道路，有较多车辆会车或者道路拥挤时，难免会产生紧张烦躁的情绪，这类消极情绪对交通安全存在着很大的隐患。

根据2000年Wiesenthal、Hennessy和Totten的研究表明，驾驶在道路拥堵或道路过窄时人们容易产生的紧张情绪。North和Hargreaves通过实验发现合适的音乐对舒缓心情是有益的，但是不同节奏的音乐对驾驶的影响是不同的，快节奏的音乐会抢占人的精神资源，慢节奏的音乐会缓解驾驶人员的消极情绪。因此可以通过个人的喜欢并且舒缓的音乐进行紧张情绪缓解。

目前高级驾驶辅助系统通过传感器预判可能发生的危险，以增加汽车驾驶的安全性。

发明内容

本发明的目的在于通过提供一种基于微表情识别的驾驶员道路紧张情绪调节方法及系统，解决目前由于道路紧张情绪产生的安全隐患。

本发明的方法所采用的技术方案是：一种基于微表情识别的驾驶员道路紧张情绪调节方法，包括以下步骤：

步骤1：使用网络公开人脸微表情数据集，先对数据集进行预处理，再构建基于人脸微表情识别的驾驶员紧张情绪识别网络；

所述驾驶员紧张情绪识别网络，使用加入注意力机制的图卷积神经网络和长短期记忆网络搭建，首先人脸特征点作为图卷积神经网络的点，光流作为点的特征，构成特征矩阵输入给图卷积神经网络，同时再根据时间流关系输入长短期记忆网络，最后进行全连接层分类；其中图卷积神经网络用在空间维度上建立人脸特征点之间的边关系，长短期记忆网络用在时间维度上建立人脸特征点变化的关系；根据特征点的关系权重得到表情的分类结果；

将采集的驾驶员面部表情信号，数据预处理后，送入构建的驾驶员紧张情绪识别模型中进行训练，获得训好的驾驶员紧张情绪识别网络；

步骤2：驾驶员模拟驾驶，并实时采集驾驶员面部微表情信号，并对采集数据进行预处理，特征提取，得到驾驶员理想微表情数据；

步骤3：在驾驶员实际驾驶过程中，实时采集驾驶员面部微表情信号，将微表情信号输入步骤1中构建的基于微表情识别的驾驶员紧张情绪识别模型中，识别出驾驶员情绪，并通过与驾驶员互动，进一步做出相应的情绪调节决策。

本发明的系统所采用的技术方案是：一种基于微表情识别的驾驶员道路紧张情绪调节系统，包括以下模块：

模块一，用于使用网络公开人脸微表情数据集，对数据集进行预处理，构建基于微表情识别的驾驶员紧张情绪识别模型；

所述驾驶员紧张情绪识别网络，使用加入注意力机制的图卷积神经网络和长短期记忆网络搭建，首先人脸特征点作为图卷积神经网络的点，光流作为点的特征，构成特征矩阵输入给图卷积神经网络，同时再根据时间流关系输入长短期记忆网络，最后进行全连接层分类；其中图卷积神经网络用在空间维度上建立人脸特征点之间的边关系，长短期记忆网络用在时间维度上建立人脸特征点变化的关系；根据特征点的关系权重得到表情的分类结果；

将采集的驾驶员面部表情信号，数据预处理后，送入构建的驾驶员紧张情绪识别模型中进行训练，获得训好的驾驶员紧张情绪识别网络；

模块二，用于驾驶员模拟驾驶时实时采集驾驶员面部微表情信号，并对采集数据进行预处理，特征提取，得到驾驶员理想微表情数据；

模块三，用于在驾驶员实际驾驶过程中，实时采集驾驶员面部微表情信号，将微表情信号输入步骤1中构建的基于微表情识别的驾驶员紧张情绪识别模型中，识别出驾驶员情绪，并通过与驾驶员互动，进一步做出相应的情绪调节决策。

本发明首先构建准确率较高的基于微表情识别的驾驶员紧张情绪识别模型；然后搭建虚拟驾驶台和不同路况的驾驶环境，采集驾驶员在不同路况下的面部微表情信号，并要求驾驶员实时反馈紧张心情；使用欧拉放大算法对原始面部微表情信号进行预处理，采用特征提取算法和分类模型对预处理后的微表情信号进行特征提取，最后分类出紧张表情；将视频处理，预处理算法，特征提取算法以及神经网络融合成人脸微表情识别的驾驶员紧张情绪识别模型；基于人脸微表情识别的驾驶员紧张情绪识别模型得到的紧张预警信号，触发车内语音助手进行询问，车内控制系统再根据驾驶员的回答做出最后决策，形成调节闭环系统。本发明利用各种路况下驾驶员在驾驶过程中的微表情信号，实现微表情信号的实时提取与分类并控制汽车做出反馈，降低交通危险，避免了驾驶员行车时因紧张情绪导致的交通事故，提高交通道路安全。

附图说明

图1为本发明实施例的方法流程图；

图2为本发明实施提供的基于表情识别的驾驶员紧张情绪识别模型构建原理框架图；

图3为本发明实施提供的系统工作原理图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种基于微表情识别的驾驶员道路紧张情绪调节方法，包括以下步骤：

步骤1：使用网络公开人脸微表情数据集，先对数据集进行预处理，再构建基于微表情识别的驾驶员紧张情绪识别模型；

请见图2，本实施例的驾驶员紧张情绪识别网络，使用加入注意力机制的图卷积神经网络和长短期记忆网络搭建，首先人脸特征点作为图卷积神经网络的点，光流作为点的特征，构成特征矩阵输入给图卷积神经网络，同时再根据时间流关系输入长短期记忆网络，最后进行全连接层分类；其中图卷积神经网络用在空间维度上建立人脸特征点之间的边关系，长短期记忆网络用在时间维度上建立人脸特征点变化的关系；根据特征点的关系权重得到表情的分类结果；

将采集的驾驶员面部表情信号，数据预处理后，送入构建的驾驶员紧张情绪识别模型中进行训练，获得训好的驾驶员紧张情绪识别网络；

本实施例中构建基于微表情识别的驾驶员紧张情绪识别模型，基于CNN网络提取出人脸特征点作为图卷积网络的节点，包括眉毛，眼睛，鼻子，脸颊和嘴巴；根据特征点的光流变化关系构建图卷积网络的边，再引入注意力机制进行空间维度训练，最后输入长短期记忆网络中进行时间维度训练。

本实施例使用中国科学院心理研究所的傅小兰团队提供的微表情数据库，数据库包括190段左右的微表情视频，其中包含“厌恶”，“紧张”，“惊讶”的短视频，对构建的基于微表情识别的驾驶员紧张情绪识别模型进行训练，获得训练好的基于微表情识别的驾驶员紧张情绪识别模型；

本实施例数据集预处理包括数据去噪和欧拉视频放大(EVM)。视频去噪基于图像金字塔原理即视频帧以金字塔形状的分辨率逐步降低，对视频的空间维度进行下采样滤波，再使用带通滤波器进行时域维度的滤波，可以有效地消除噪声。视频放大使用基于图像金字塔原理的欧拉放大算法，即使用泰勒级数将每一个像素点展开乘以放大因子，即完成信号放大。

本实施例的基于微表情识别的驾驶员紧张情绪识别模型，一般采用采用手工提取算子，SVM支持向量机,定向梯度直方图等，本文采用CNN网络进行特征点的提取。一般训练表情识别模型使用CNN+LSTM，其中CNN作为卷积核不变的神经网络，提取数据集空间域的特征信号，LSTM是循环神经网络的变形，其在循环模型上引入门信号，即门信号可以决定输入信号是否可以作为特征输出，LSTM可以学习长期依赖关系因此用于处理时间域的特征，目的是防止冗余的输入信号导致循环训练模型时无法利用过去有效的信息，基于所述的两类神经网络对面部表情进行分类，得到紧张表情。本文为得到人脸特征点光流变化关系，使用GCN图卷积网络训练微表情识别模型。

步骤2：搭建虚拟驾驶台架并连接摄像头，模拟不同路况的环境，如道路宽窄不同，车流量不同，路面平整度不同。在驾驶员模拟驾驶过程中，使用摄像头实时采集驾驶员面部微表情信号，并对采集数据进行预处理，特征提取，得到驾驶员理想微表情数据；

本实施例在搭建虚拟驾驶台中，采用国家公路标准，城市道路每车宽度为3.5米，交叉路口分流车道每车道2.3～2.5米，双向车道最低7.5米。根据以上标准使用unity 3D搭建模拟驾驶环境，设置场景为，平坦并且宽阔的道路，没有过往的车辆；平坦并且窄的道路，没有过往的车辆；凹凸不平并且窄的道路，没有过往的车辆；凹凸不平并且窄的道路，有较多过往的车辆并且道路较为堵塞拥挤。

实验人员选择有机动车驾驶证的20人进行模拟驾驶，驾驶台架采用罗技G29模拟。驾驶员模拟驾驶时采集面部表情信号，要求实验人员同步反馈紧张情绪。采集视频信号后输入人脸微表情系统进行预处理，特征提取和分类。

使用罗技G29搭建硬件驾驶台，unity 3D模拟虚拟驾驶环境，具体所搭建环境如下：

路况1：一段平坦并且宽阔的道路，没有过往的车辆；

路况2：一段平坦并且窄的道路，没有过往的车辆；

路况3：一段凹凸不平并且窄的道路，没有过往的车辆；

路况4：一段凹凸不平并且窄的道路，有较多过往的车辆并且道路较为堵塞拥挤；

在以上四种路况上，进行模拟驾驶以验证系统可实施性。将四种路况按照难度等级划分，路况1为简单，路况2为一般，路况3为较难，路况2为很难。5.根据权利要求1所述的基于微表情识别的驾驶员道路紧张情绪调节方法，其特征在于，所述步骤3中，被试者面对虚拟环境使用虚拟驾驶台驾驶在四种不同的路况中，实验过程中为了增加被试者紧张情绪的产生，根据路况的等级在模拟道路上会不定时的增加对流车辆。实验进行时使用驾驶台摄像系统记录被试者的面部表情，并实时将视频帧输入到微表情识别系统，具体流程如下：

视频帧以多个图像帧组成，首先提取视频帧中面部变化最大的一帧即峰值帧，并将峰值帧的前一帧以及峰值帧图像输入GCN卷积网络做特征提取，得到空间特征序列，视频输入LSTM网络中得到时间域的特征，最后经过特征融合再通过全连接层得到分类结果，将紧张表情标号为1，其他表情标号为0。根据分类结果判断是否启动应用于缓解紧张情绪的车载语音助手。

本实施例针对实时获取驾驶员表情信号，基于图像金字塔原理采用欧拉放大算法放大对微表情信号预处理得到理想数据，即包括对视频信号进行空间滤波，对空间信号的基带进行时间滤波，定位微表情变化的峰值帧和放大微表情信号；再用随机数将人脸特征点重新组合，得到优越的并且丰厚的数据集；预处理后的数据输入驾驶员紧张情绪识别网络中进行分类得出紧张情绪，并标号1和0作为输出，其中，紧张表情标号为1，其他表情标号为0。

步骤3：在驾驶员实际驾驶过程中，实时采集驾驶员面部微表情信号，将微表情信号输入步骤1中构建的基于微表情识别的驾驶员紧张情绪识别模型中，识别出驾驶员情绪，并通过与驾驶员互动，进一步做出相应的情绪调节决策。

请见图3，本实施例利用语音助手系统，询问驾驶员“是否需要播放您喜欢的音乐或开启辅助驾驶系统？”，并接收驾驶员语音信号并分析驾驶员意图。

本实施例将紧张情绪信号标记为1，触发语音助手系统对驾驶员做出询问。系统只能识别数字，因此将驾驶员语音信号为播放音乐标记为1，将驾驶员语音信号为开启辅助驾驶标记为2，根据驾驶员语音反馈信号控制汽车做出相应任务。

本实施例根据所接收的驾驶员语言信号，高级辅助系统做出相应的决策，如播放缓解紧张音乐，自动减速或驻车等。

本实施例缓解情绪的两种方式为：播放音乐即中低音播放驾驶员喜爱的音乐单；辅助驾驶即使用高级驾驶辅助系统中的自动减速或驻车。

本实施例通过CognitiveArbitrator充当语音控制端，给车内不同的语音助手发布命令，目前车内使用特定的语言比如“Hei，Siri！”来唤醒语音助手；在驾驶员消极情绪调节系统中，基于微表情识别的输出信号启动语音助手，即系统检测到驾驶员消极情绪时自动启动，并询问“是否要播放您喜爱的音乐或者开启辅助驾驶系统？”，根据驾驶员回答进行行为分析，得到控制信号。

本实施例中，当驾驶员回答“播放音乐时”车载娱乐系统通过初始设定的“喜爱的歌单”索引驾驶员喜爱音乐，并用中低音量播放；当驾驶员回答“开启辅助系统时”，系统根据以当前车速为基础进行减速并自动驾驶。最后将训练以及验证完成的基于微表情识别的驾驶员紧张情绪识别模型，反馈系统和语音识别系统集成在车内高级驾驶辅助系统中。

本发明实施例提供的基于微表情识别的驾驶员道路紧张情绪调节方法及系统至少包括如下技术效果：

(1)本发明将面部微表情信号作为汽车驾驶的触发信号，将语音信号作为汽车驾驶的控制信号，避免了驾驶员因道路紧张情绪造成的道路交通问题。

(2)本发明在模拟驾驶环境下，很好的验证了方案的可实施性。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (4)

1.一种基于微表情识别的驾驶员道路紧张情绪调节方法，其特征在于，包括以下步骤：

步骤1：使用网络公开人脸微表情数据集，先对数据集进行预处理，再构建基于人脸微表情识别的驾驶员紧张情绪识别网络；

所述驾驶员紧张情绪识别网络，使用加入注意力机制的图卷积神经网络和长短期记忆网络搭建，首先人脸特征点作为图卷积神经网络的点，光流作为点的特征，构成特征矩阵输入给图卷积神经网络，同时再根据时间流关系输入长短期记忆网络，最后进行全连接层分类；其中图卷积神经网络用在空间维度上建立人脸特征点之间的边关系，长短期记忆网络用在时间维度上建立人脸特征点变化的关系；根据特征点的关系权重得到表情的分类结果；

将采集的驾驶员面部表情信号，数据预处理后，送入构建的驾驶员紧张情绪识别模型中进行训练，获得训好的驾驶员紧张情绪识别网络；

步骤2：驾驶员模拟驾驶，并实时采集驾驶员面部微表情信号，并对采集数据进行预处理，特征提取，得到驾驶员理想微表情数据；

步骤3：在驾驶员实际驾驶过程中，实时采集驾驶员面部微表情信号，将微表情信号输入步骤1中构建的基于微表情识别的驾驶员紧张情绪识别模型中，识别出驾驶员情绪，并通过与驾驶员互动，进一步做出相应的情绪调节决策。

2.根据权利要求1所述的基于微表情识别的驾驶员道路紧张情绪调节方法，其特征在于：步骤2中，针对实时获取驾驶员表情信号，并将视频流转换成照片帧，针对每两帧之间的变化得到人脸特征点的光流变化，其中人脸特征采用CNN卷积网络。

3.根据权利要求1所述的基于微表情识别的驾驶员道路紧张情绪调节方法，其特征在于：步骤3中，针对数据预处理，所述的预处理方法先采用欧拉放大算法将表情动作变大，即包括对视频信号进行空间滤波，对空间信号的基带进行时间滤波，定位微表情变化的峰值帧和放大微表情信号；再用随机数将人脸特征点重新组合，得到优越的并且丰厚的数据集；预处理后的数据输入驾驶员紧张情绪识别网络中进行分类得出紧张情绪，并标号1和0作为输出，其中，紧张表情标号为1，其他表情标号为0。

4.一种基于微表情识别的驾驶员道路紧张情绪调节系统，其特征在于，包括以下模块：

模块一，用于使用网络公开人脸微表情数据集，对数据集进行预处理，构建基于微表情识别的驾驶员紧张情绪识别模型；

所述驾驶员紧张情绪识别网络，使用加入注意力机制的图卷积神经网络和长短期记忆网络搭建，首先人脸特征点作为图卷积神经网络的点，光流作为点的特征，构成特征矩阵输入给图卷积神经网络，同时再根据时间流关系输入长短期记忆网络，最后进行全连接层分类；其中图卷积神经网络用在空间维度上建立人脸特征点之间的边关系，长短期记忆网络用在时间维度上建立人脸特征点变化的关系；根据特征点的关系权重得到表情的分类结果；

将采集的驾驶员面部表情信号，数据预处理后，送入构建的驾驶员紧张情绪识别模型中进行训练，获得训好的驾驶员紧张情绪识别网络；

模块二，用于驾驶员模拟驾驶时实时采集驾驶员面部微表情信号，并对采集数据进行预处理，特征提取，得到驾驶员理想微表情数据；

模块三，用于在驾驶员实际驾驶过程中，实时采集驾驶员面部微表情信号，将微表情信号输入步骤1中构建的基于微表情识别的驾驶员紧张情绪识别模型中，识别出驾驶员情绪，并通过与驾驶员互动，进一步做出相应的情绪调节决策。

Images