CN115713754B - 基于驾驶员恐惧情绪识别的分阶段分级干预的方法及系统 - Google Patents

Abstract

本发明属于驾驶人情绪识别技术和道路车辆驾驶系统控制技术领域，尤其涉及一种基于驾驶员恐惧情绪识别的分阶段分级干预的方法及系统，包括数据采集模块、数据预处理模块、恐惧情绪特征提取模块、恐惧情绪识别模块、恐惧情绪分阶段分级干预模块；采集车辆启动点火行车前和行车过程中驾驶员的面部视频图像和生理信号进行预处理，提取恐惧情绪面部特征和生理特征，计算获得恐惧情绪评定指标，采用k‑均值聚类分析法进行恐惧情绪分类，训练并构建基于k‑均值—模糊神经网络的恐惧情绪识别模型，输入恐惧情绪评定指标识别恐惧情绪类别，输出相应情绪判定信息，据此在车辆启动点火行车前和行车过程中两阶段对驾驶车辆实施分级干预措施。

Description

基于驾驶员恐惧情绪识别的分阶段分级干预的方法及系统

技术领域

本发明属于驾驶人情绪识别技术和道路车辆驾驶系统控制技术领域，尤其涉及一种基于驾驶员恐惧情绪识别的分阶段分级干预的方法及系统。

背景技术

驾驶过程中发生的交通拥堵、交通冲突、交通事故等客观事件，会引起驾驶人员情绪的波动，诱发愤怒、恐惧等不良情绪，致使驾驶人员心率、脉搏、面部表情发生显著变化，驾驶员自制力会显著降低，容易失去理智并出现异常驾驶行为甚至引发交通事故。

已有研究表明，不良情绪中的愤怒、悲伤、恐惧情绪状态可以对驾驶员的驾驶行为产生影响。如仰恩大学心理健康咨询中心的王艳红在《探析驾驶员情绪因素对行车安全的影响》中指出，驾驶员在愤怒、悲哀、忧愁、恐惧时，感受性、理智性降低，拙于观察和思考，在这种情感支配下驾车很容易发生交通事故。

目前大部分驾驶员愤怒、悲伤不良情绪的监测和识别已有部分研究成果。例如，公告号为CN106114516A的中国发明专利，公开了“一种自适应驾驶人特性的愤怒驾驶行为监测及干预装置”，其通过对车辆鸣笛、方向盘操作等行为特征对驾驶人进行愤怒监测；公告号为CN111137295A的中国发明专利，公开了“一种考虑悲伤情绪的驾驶倾向性动态转移概率计算方法”，其通过获取驾驶行为数据与驾驶员生理数据，提取特征参数定量表示正常情绪与悲伤情绪。

综上所述，对驾驶员恐惧情绪的监测和识别研究少之又少。了解和划分恐惧情绪的等级，对驾驶员恐惧情绪状态检测识别并进行针对性的预警与干预，能够有效减少交通事故的发生，因此，本发明提出了基于驾驶员恐惧情绪识别的分阶段分级干预方法及系统，以拓宽对驾驶员的情绪研究层面，更好的提升驾驶员的驾驶安全性。

发明内容

为解决背景技术中存在的问题，本发明的第一个目的是提供一种基于驾驶员恐惧情绪识别的分阶段分级干预的方法，技术方案如下：

一种基于驾驶员恐惧情绪识别的分阶段分级干预的方法，包括以下步骤：

步骤S1：分别采集车辆启动点火行车前和行车过程中驾驶员的面部视频图像和生理信号；

步骤S2：对采集到的面部视频图像和生理信号分别进行预处理；

步骤S3：从预处理过的面部视频图像和生理信号中提取驾驶员恐惧情绪的面部特征和生理特征，计算获得的面部特征评定指标和生理特征评定指标作为恐惧情绪评定指标；

步骤S4：采用k-均值聚类分析法进行驾驶员的恐惧情绪分类，训练并构建基于k-均值—模糊神经网络的驾驶员的恐惧情绪识别模型，通过输入的驾驶员的恐惧情绪评定指标识别其恐惧情绪类别，并输出相应的情绪判定信息；

步骤S5：根据收到的判定信息，在车辆启动点火行车前和行车过程中两阶段，对驾驶车辆实施分级干预措施。

作为本发明的优选，步骤S1中，通过设置在汽车方向盘主体中心处的摄像头采集驾驶员的面部视频图像并记录驾驶员的出汗时间T _出汗；通过设置于汽车方向盘主体把手处的心率脉搏协同监测传感器采集驾驶员心率、脉搏的动态实时数据。

作为本发明的优选，步骤S2中，面部视频图像的预处理方法包括以下步骤：

步骤A1：对采集到的面部视频图像进行角度归一化处理；

通过瞳孔定位将人脸图像调至水平，假设定位的左右眼坐标分别为(x _a ,y _a )和(x _b , y _b )，则人脸图像调整角度α的计算公式如下：

α=arctan(y _{b -} y _a )/( x _{b -} x _a )·180/л

其中，α当值为正时，对人脸图像按照顺时针方向旋转相应角度；反之则按照逆时针方向旋转相应角度；

步骤A2：对角度归一化处理后的人脸图像进行尺度归一化处理；

以两瞳孔之间的距离为衡量标准进行人脸图像的剪切，假设两瞳孔之间的距离为d，剪切时，以两瞳孔的中间点为基准，在竖直方向，向上取0.6d，向下取1.6d；在水平方向，向左、向右各取d，将人脸图像大小最终尺度归一化为100×100；

步骤A3：选用加权平均法对尺度归一化处理后的人脸图像进行灰度化处理；

将一般的彩色RGB三通道图像转化为灰度图像，加权平均法计算公式如下：

Gray(x,y) =0.299R(x,y) +0.578G(x,y)+0.114B(x,y)

其中，R(x,y)，G(x,y)，B(x,y)为RGB图像的三个通道，Gray(x,y)为像素点的灰度值；

步骤A4：对灰度化处理后的人脸图像进行直方图均衡化处理；

转换函数如下：

其中，S_k为输出人脸图像的灰度级；N为总的像素个数；L为灰度级总数；n_j为对应灰度级的像素个数。

作为本发明的优选，步骤S2中，生理信号的预处理方法包括以下步骤：

步骤B1：采用零相移数字滤波去除采集到的心率和脉搏两种信号的基线漂移；

步骤B2：利用倒数切比雪夫滤波器对心率和脉搏两种信号滤除工频干扰；

转换函数如下：

其中，ω是频率，|H(w)|为滤波器在截止频率ω _o 的放大率，Ɛ为幅度振动的分贝数，λ为波长，T _n (ω/ω _o )是n阶切比雪夫多项式；

令ω/ω _o =Ω，n阶切比雪夫多项式可表示为：

T _n (Ω)=cos(n·arccosΩ)，0≤Ω≤1

T _n (Ω)=cosh(n·arccoshΩ)，Ω>1；

步骤B3：选用小波变换去噪法，去除心率和脉搏两种信号的伪迹与噪声，得到纯净的心率和脉搏两种信号；

转换函数如下：

其中，WT(a,b)为小波变换后的信号，为待处理信号，/>为小波函数，a为小波变换的尺度因子，控制小波函数的伸缩，对应于频率；b为小波变换的平移因子，控制小波函数的平移，对应于时间。

作为本发明的优选，步骤S3中，在预处理后的面部视频图像中，提取连续多帧人脸图像，利用积分投影法确定面部特征点的位置，计算获得的面部特征评定指标包括眼睛开合度β、嘴巴开合度η和眼动速率v；

积分投影法公式如下：

其中，(x,y)表示像素所在的位置，Gray(x,y)表示该像素点的灰度值，x ₁ 、x ₂ 、y ₁ 、y ₂ 分别表示人脸图像的左右上下像素边界，V(x)表示水平积分投影，H(y)表示垂直积分投影；

眼睛开合度用眼部高宽比表示，计算公式为：

β=h/w

其中，h和w分别表示眼睛的高度和宽度；

嘴巴开合度用嘴部高宽比表示，计算公式为：

η=m/n

其中，m和n分别表示嘴巴的高度和宽度；

眼动速率的计算公式为：

v=L/t

其中，L为瞳孔定位后计算的相邻两帧人脸图像的瞳孔与内眼角距离的差值，t为处理这两帧人脸图像所用的时间。

作为本发明的优选，步骤S3中，获得的生理特征评定指标包括单位时间平均心率、单位时间心率脉搏平均值和出汗时间；

当驾驶员为心率与脉搏相同的正常人时，取单位时间平均心率和出汗时间作为生理特征评定指标，当驾驶员为心率与脉搏不同的异常人时，取单位时间心率脉搏平均值和出汗时间作为生理特征评定指标；

单位时间平均心率的计算公式如下：

HR=N ₁/T

其中，N ₁表示采样周期内的心跳次数，T表示采样周期；

单位时间心率脉搏平均值的计算公式如下：

γ=(N ₁+N ₂)/2T

其中，N ₂表示采样周期内的脉动次数，T表示采样周期。

作为本发明的优选，步骤S4中，采用k-均值聚类分析法进行恐惧情绪分类的具体步骤如下：

步骤C1：采集驾驶员平静、一般惊吓、重度恐惧的情绪样本，并按比例分为情绪分类样本、模型训练与测试样本；

步骤C2：提取情绪分类样本中的恐惧情绪评定指标作为分类变量，统计并输入SPSS中，采用k-均值聚类分析法进行恐惧情绪分类，确定平静、一般惊吓与重度恐惧的情绪状态下各指标的分界阈值，定义平静、一般惊吓、重度恐惧的情绪状态与各评价指标区间的关联性：

平静与一般惊吓的情绪状态各指标分界阈值为：β _平静 、η _平静 、v _平静 、HR_平静 、γ_平静、T _平静；

一般惊吓与重度恐惧的情绪状态各指标分界阈值为：β ₁ 、η ₁ 、v ₁ 、HR₁ 、γ₁、T′；

一般惊吓的情绪状态下各指标区间为：β _平静<β<β ₁ 、η _平静 <η<η ₁、v _平静<v<v ₁、HR_平静<HR<HR₁、T _平静<T _出汗≤T′或者β _平静<β<β ₁ 、η _平静 <η<η ₁、v _平静<v<v ₁、γ_平静<γ<γ₁、T _平静<T _出汗≤T′；

重度恐惧的情绪状态下各指标区间为：β≥β ₁、η≥η ₁、v≥v ₁、HR≥HR₁、T _出汗 ≥T′或者β≥β ₁、η≥η ₁、v≥v ₁、γ≥γ₁、T _出汗 > T′。

作为本发明的优选，步骤S4中，情绪判定信息的获得方法如下：

步骤D1：提取并输入训练与测试样本中的恐惧情绪评定指标至恐惧情绪识别模型中进行训练和测试，促使其完成自学习并记忆；

步骤D2：输入层输入行车前和行车过程中提取驾驶员的恐惧情绪评定指标，包括眼睛开合度β、嘴巴开合度η、眼动速率v、单位时间平均心率HR、单位时间心率脉搏平均值γ、出汗时间T _出汗；

步骤D3：将驾驶员的恐惧情绪评定指标由输入层输入至模糊化层，对各类情绪评定指标进行模糊化处理：将眼睛开合度β模糊转换成β≤β _平静或β _平静<β<β ₁或β≥β ₁三种情况；将嘴巴开合度η模糊转换成η≤η _平静或η _平静 <η<η ₁或η≥η ₁三种情况；将眼动速率v模糊转换成v≤v _平静或v _平静<v<v ₁或v≥v ₁三种情况；将平均心率HR模糊转换成HR ≤HR_平静或HR_平静<HR<HR₁或HR≥HR₁三种情况；将心率脉搏平均值γ模糊转换成γ≤γ_平静或γ_平静<γ<γ₁或γ≥γ₁三种情况；将出汗时间T _出汗模糊转换成出汗是或否两种状态；

步骤D4：状态层根据模糊规则层的模糊规则将模糊化层转换后的信息分别与平静、一般惊吓、重度恐惧的情绪状态对应关联，并由输出层对应输出平静、一般惊吓、重度恐惧三种情绪判定信息；

步骤D41：模糊规则

平静：β≤β _平静，η≤η _平静，v≤v _平静，HR ≤HR_平静或γ≤γ_平静，出汗为否；

一般惊吓：β _平静<β<β ₁，η _平静 <η<η ₁，v _平静<v<v ₁，HR_平静<HR<HR₁或γ_平静<γ<γ₁，出汗为否；

重度恐惧：β≥β ₁，η≥η ₁，v≥v ₁，HR≥HR₁或γ≥γ₁，出汗为是。

作为本发明的优选，步骤S5中，实施的分级干预措施包括以下两个阶段：

第一阶段为车辆启动点火的行车前：驾驶员点火启动汽车后，如接收的驾驶员情绪判定信息为平静时，允许驾驶员正常驾驶；如接收的驾驶员情绪判定信息为一般惊吓或重度恐惧，则启动汽车点火阻断装置，并同时打开汽车音乐播放器，自动播放驾驶员提前设定的音乐，舒缓驾驶员情绪；直至接收的驾驶员情绪判定信息为平静后，关闭汽车点火阻断装置，允许驾驶员正常驾驶汽车；

第二阶段为行车过程中：如接收的驾驶员情绪判定信息为平静时，则继续正常行驶；如接收的驾驶员情绪判定信息为一般惊吓，则打开汽车音乐播放器，自动播放驾驶员提前设定的音乐，提醒驾驶员缓解情绪；如接收的驾驶员情绪判定信息为重度恐惧，则改变车辆油门踏板和制动踏板灵敏度，提升制动踏板的灵敏度为原来的1.2-1.5倍，降低油门踏板的灵敏度为原来的0.6-1倍。

本发明的另一个目的是提供一种基于驾驶员恐惧情绪识别的分阶段分级干预的系统，包括数据采集模块、数据预处理模块、恐惧情绪特征提取模块、恐惧情绪识别模块、恐惧情绪分阶段分级干预模块；

所述数据采集模块包括摄像头和心率脉搏协同监测传感器，用于采集车辆点火启动行车前和行车过程中驾驶员的面部视频图像和生理信号；

所述数据预处理模块用于对面部视频图像进行归一化、均衡化处理，对生理信号完成基线漂移、工频干扰、伪迹与噪声的去除处理；

所述恐惧情绪特征提取模块用于提取驾驶员恐惧情绪的面部特征和生理特征并计算获得面部特征评定指标和生理特征评定指标；

所述恐惧情绪识别模块，采用k-均值聚类分析法进行驾驶员的恐惧情绪分类，搭载基于k-均值—模糊神经网络的恐惧情绪识别模型，实现对驾驶员的恐惧情绪状态的有效识别，并输出驾驶员的情绪判定信息；

所述恐惧情绪分阶段分级干预模块与汽车行车电脑、音乐播放器、点火阻断装置、汽车制动踏板、汽车油门连接，根据车辆启动点火行车前和行车过程中两阶段恐惧情绪识别模块输出的驾驶员的情绪判定信息，对驾驶的车辆实施分阶段分级干预措施。

本发明的有益效果如下：

（1）本发明提出一种通过采集并处理驾驶员在车辆启动点火行车前、行车过程中的面部视频图像、生理信息，提取驾驶员恐惧情绪面部特征评定指标和生理特征评定指标，建立基于k-均值—模糊神经网络的驾驶员恐惧情绪识别模型，识别驾驶员平静状态和恐惧等级，据此施以分阶段分级干预措施，以提高驾驶车辆的安全性。

（2）本发明提供的基于驾驶员恐惧情绪识别的分阶段分级干预的方法及系统，考虑恐惧情绪对驾驶员操作行为和交通安全的影响，提出分驾驶员车辆启动点火行车前、行车过程中两阶段，进行驾驶员恐惧情绪的识别与干预，设计合理，全面覆盖了驾驶车辆的可能应用场景。

（3）本发明提供的基于驾驶员恐惧情绪识别的分阶段分级干预的方法及系统，综合利用驾驶员面部特征和生理特征，提出单位时间心率脉搏平均值和出汗时间两种新的生理特征评定指标，实现了基于多源信息特征的恐惧情绪精准识别。

（4）本发明提供的基于驾驶员恐惧情绪识别的分阶段分级干预的方法及系统，构建了基于k-均值—模糊神经网络的恐惧情绪识别模型，具体为采用k-均值聚类分析法将驾驶员恐惧情绪分为一般惊吓和重度恐惧两类，通过模糊神经网络输出平静、一般惊吓、重度恐惧情绪判定信息，并根据情绪判定信息对驾驶的车辆实施分级干预措施。

（5）本发明提供的基于驾驶员恐惧情绪识别的分阶段分级干预的方法及系统，采用心率脉搏协同监测传感器，同步采集心率和脉搏信号，便于提取患有心率脉搏不一的特殊驾驶人员的生理评定指标，实现驾驶员恐惧情绪精准识别。

附图说明

通过参考以下结合附图的说明，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：

图1为本发明的方法流程图；

图2为本发明中模糊神经网络的结构示意图；

图3为本发明中模糊神经网络中的模糊规则表格图；

图4为本发明的系统架构图。

图5为本发明中零相移数字滤波法的原理图。

具体实施方式

为使本领域技术人员能够更好的理解本发明的技术方案及其优点，下面结合附图对本申请进行详细描述，但并不用于限定本发明的保护范围。

实施例1

参阅图1所示，一种基于驾驶员恐惧情绪识别的分阶段分级干预的方法，包括以下步骤：

步骤S1：分别采集车辆启动点火行车前和行车过程中驾驶员的面部视频图像和生理信号；

步骤S2：对采集到的面部视频图像和生理信号分别进行预处理；

步骤S3：从预处理过的面部视频图像和生理信号中提取驾驶员恐惧情绪的面部特征和生理特征，计算获得的面部特征评定指标和生理特征评定指标作为恐惧情绪评定指标；

步骤S4：采用k-均值聚类分析法进行驾驶员的恐惧情绪分类，训练并构建基于k-均值—模糊神经网络的驾驶员的恐惧情绪识别模型，通过输入的驾驶员的恐惧情绪评定指标识别其恐惧情绪类别，并输出相应的情绪判定信息；

步骤S5：根据收到的判定信息，在车辆启动点火行车前和行车过程中两阶段，对驾驶车辆实施分级干预措施。

进一步地，步骤S1中，通过设置在汽车方向盘主体中心处的摄像头采集驾驶员的面部视频图像并记录驾驶员的出汗时间T _出汗；通过设置于汽车方向盘主体把手处的心率脉搏协同监测传感器采集驾驶员心率、脉搏的动态实时数据。

进一步地，步骤S2中，面部视频图像的预处理方法包括以下步骤：

步骤A1：对采集到的面部视频图像进行角度归一化处理；

通过瞳孔定位将人脸图像调至水平，假设定位的左右眼坐标分别为(x _a ,y _a )和(x _b , y _b )，则人脸图像调整角度α的计算公式如下：

α=arctan(y _{b -} y _a )/( x _{b -} x _a )·180/л

其中，α当值为正时，对人脸图像按照顺时针方向旋转相应角度；反之则按照逆时针方向旋转相应角度；

步骤A2：对角度归一化处理后的人脸图像进行尺度归一化处理；

以两瞳孔之间的距离为衡量标准进行人脸图像的剪切，假设两瞳孔之间的距离为d，剪切时，以两瞳孔的中间点为基准，在竖直方向，向上取0.6d，向下取1.6d；在水平方向，向左、向右各取d，将人脸图像大小最终尺度归一化为100×100；

步骤A3：选用加权平均法对尺度归一化处理后的人脸图像进行灰度化处理；

将一般的彩色RGB三通道图像转化为灰度图像，加权平均法计算公式如下：

Gray(x,y) =0.299R(x,y) +0.578G(x,y)+0.114B(x,y)

其中，R(x,y)，G(x,y)，B(x,y)为RGB图像的三个通道，Gray(x,y)为像素点的灰度值；

步骤A4：对灰度化处理后的人脸图像进行直方图均衡化处理，以降低人脸图像光照不均匀的负面影响，进一步增强人脸图像的对比度，得到灰度值近似为平均分布的图像；

转换函数如下：

其中，S_k为输出人脸图像的灰度级；N为总的像素个数；L为灰度级总数；n_j为对应灰度级的像素个数。

进一步地，步骤S2中，生理信号的预处理方法包括以下步骤：

步骤B1：采用零相移数字滤波去除采集到的心率和脉搏两种信号的基线漂移，原理见图5所示，其中X（z）是输入信号序列，H（z）是时域翻转函数，Y（z）是去除基线漂移的输出信号序列；

步骤B2：利用倒数切比雪夫滤波器对心率和脉搏两种信号滤除工频干扰；

转换函数如下：

其中，ω是频率，|H(w)|为滤波器在截止频率ω _o 的放大率，Ɛ为幅度振动的分贝数，λ为波长，T _n (ω/ω _o )是n阶切比雪夫多项式；

令ω/ω _o =Ω，n阶切比雪夫多项式可表示为：

T _n (Ω)=cos(n·arccosΩ)，0≤Ω≤1

T _n (Ω)=cosh(n·arccoshΩ)，Ω>1；

步骤B3：选用小波变换去噪法，去除心率和脉搏两种信号的伪迹与噪声，得到纯净的心率和脉搏两种信号；

转换函数如下：

其中，WT(a,b)为小波变换后的信号，为待处理信号，/>为小波函数，a为小波变换的尺度因子，控制小波函数的伸缩，对应于频率；b为小波变换的平移因子，控制小波函数的平移，对应于时间。

进一步地，步骤S3中，在预处理后的面部视频图像中，提取连续多帧进行归一化、均衡化处理，得到角度水平、尺度相同、灰度平均分布的人脸图像，利用积分投影法确定眉毛、眼角、瞳孔、嘴角等面部特征点的位置，驾驶员产生恐惧情绪时，伴有眼睛异常开合、嘴巴异常开合、眼球转动加快等表现，计算获得的面部特征评定指标包括眼睛开合度β、嘴巴开合度η和眼动速率v；

积分投影法公式如下：

其中，(x,y)表示像素所在的位置，Gray(x,y)表示该像素点的灰度值，x ₁ 、x ₂ 、y ₁ 、y ₂ 分别表示人脸图像的左右上下像素边界，V(x)表示水平积分投影，H(y)表示垂直积分投影；

眼睛开合度用眼部高宽比表示，计算公式为：

β=h/w

其中，h和w分别表示眼睛的高度和宽度；

嘴巴开合度用嘴部高宽比表示，计算公式为：

η=m/n

其中，m和n分别表示嘴巴的高度和宽度；

眼动速率的计算公式为：

v=L/t

其中，L为瞳孔定位后计算的相邻两帧人脸图像的瞳孔与内眼角距离的差值，t为处理这两帧人脸图像所用的时间。

进一步地，步骤S3中，获得的生理特征评定指标包括单位时间平均心率、单位时间心率脉搏平均值和出汗时间；

驾驶员产生恐惧情绪时，伴随有心跳加速、心率波动幅度大和脉搏节奏加快、出汗等表现，当驾驶员为心率与脉搏相同的正常人时，取单位时间平均心率和出汗时间作为生理特征评定指标，当驾驶员为心率与脉搏不同的异常人时（患有特殊疾病导致的特殊驾驶人员），取单位时间心率脉搏平均值和出汗时间作为生理特征评定指标；

单位时间平均心率的计算公式如下：

HR=N ₁/T

其中，N ₁表示采样周期内的心跳次数，T表示采样周期；

单位时间心率脉搏平均值的计算公式如下：

γ=(N ₁+N ₂)/2T

其中，N ₂表示采样周期内的脉动次数，T表示采样周期。

进一步地，步骤S4中，采用k-均值聚类分析法进行恐惧情绪分类的具体步骤如下：

步骤C1：采集驾驶员平静、一般惊吓、重度恐惧的情绪样本，并按比例分为情绪分类样本、模型训练与测试样本；

步骤C2：提取情绪分类样本中的恐惧情绪评定指标作为分类变量，统计并输入SPSS中，采用k-均值聚类分析法进行恐惧情绪分类，确定平静、一般惊吓与重度恐惧的情绪状态下各指标的分界阈值，定义平静、一般惊吓、重度恐惧的情绪状态与各评价指标区间的关联性：

平静与一般惊吓的情绪状态各指标分界阈值为：β _平静 、η _平静 、v _平静 、HR_平静 、γ_平静、T _平静；

一般惊吓与重度恐惧的情绪状态各指标分界阈值为：β ₁ 、η ₁ 、v ₁ 、HR₁ 、γ₁、T′；

一般惊吓的情绪状态下各指标区间为：β _平静<β<β ₁ 、η _平静 <η<η ₁、v _平静<v<v ₁、HR_平静<HR<HR₁、T _平静<T _出汗≤T′或者β _平静<β<β ₁ 、η _平静 <η<η ₁、v _平静<v<v ₁、γ_平静<γ<γ₁、T _平静<T _出汗≤T′；

重度恐惧的情绪状态下各指标区间为：β≥β ₁、η≥η ₁、v≥v ₁、HR≥HR₁、T _出汗 ≥T′或者β≥β ₁、η≥η ₁、v≥v ₁、γ≥γ₁、T _出汗 > T′。

进一步地，参阅图2，步骤S4中，情绪判定信息的获得方法如下：

步骤D1：提取并输入训练与测试样本中的恐惧情绪评定指标至恐惧情绪识别模型中进行训练和测试，促使其完成自学习并记忆；

步骤D2：输入层输入行车前和行车过程中提取驾驶员的恐惧情绪评定指标，包括眼睛开合度β、嘴巴开合度η、眼动速率v、单位时间平均心率HR、单位时间心率脉搏平均值γ、出汗时间T _出汗；

步骤D3：将驾驶员的恐惧情绪评定指标由输入层输入至模糊化层，对各类情绪评定指标进行模糊化处理：将眼睛开合度β模糊转换成β≤β _平静或β _平静<β<β ₁或β≥β ₁三种情况；将嘴巴开合度η模糊转换成η≤η _平静或η _平静 <η<η ₁或η≥η ₁三种情况；将眼动速率v模糊转换成v≤v _平静或v _平静<v<v ₁或v≥v ₁三种情况；将平均心率HR模糊转换成HR ≤HR_平静或HR_平静<HR<HR₁或HR≥HR₁三种情况；将心率脉搏平均值γ模糊转换成γ≤γ_平静或γ_平静<γ<γ₁或γ≥γ₁三种情况；将出汗时间T _出汗模糊转换成出汗是或否两种状态；

步骤D4：状态层根据模糊规则层的模糊规则将模糊化层转换后的信息分别与平静、一般惊吓、重度恐惧的情绪状态对应关联，并由输出层对应输出平静、一般惊吓、重度恐惧三种情绪判定信息；

步骤D41：模糊规则，参见图3所示：

平静：β≤β _平静，η≤η _平静，v≤v _平静，HR ≤HR_平静或γ≤γ_平静，出汗为否；

一般惊吓：β _平静<β<β ₁，η _平静 <η<η ₁，v _平静<v<v ₁，HR_平静<HR<HR₁或γ_平静<γ<γ₁，出汗为否；

重度恐惧：β≥β ₁，η≥η ₁，v≥v ₁，HR≥HR₁或γ≥γ₁，出汗为是。

进一步地，步骤S5中，实施的分级干预措施包括以下两个阶段：

第一阶段为车辆启动点火的行车前：驾驶员点火启动汽车后，如接收的驾驶员情绪判定信息为平静时，允许驾驶员正常驾驶；如接收的驾驶员情绪判定信息为一般惊吓或重度恐惧，则启动汽车点火阻断装置，并同时打开汽车音乐播放器，自动播放驾驶员提前设定的音乐，舒缓驾驶员情绪；直至接收的驾驶员情绪判定信息为平静后，关闭汽车点火阻断装置，允许驾驶员正常驾驶汽车；

第二阶段为行车过程中：如接收的驾驶员情绪判定信息为平静时，则继续正常行驶；如接收的驾驶员情绪判定信息为一般惊吓，则打开汽车音乐播放器，自动播放驾驶员提前设定的音乐，提醒驾驶员缓解情绪；如接收的驾驶员情绪判定信息为重度恐惧，则改变车辆油门踏板和制动踏板灵敏度，提升制动踏板的灵敏度为原来的1.2-1.5倍，降低油门踏板的灵敏度为原来的0.6-1倍。

实施例2

参阅图4所示：一种基于驾驶员恐惧情绪识别的分阶段分级干预的系统，包括数据采集模块、数据预处理模块、恐惧情绪特征提取模块、恐惧情绪识别模块、恐惧情绪分阶段分级干预模块；

所述数据采集模块包括摄像头和心率脉搏协同监测传感器，用于采集车辆点火启动行车前和行车过程中驾驶员的面部视频图像和生理信号；

所述数据预处理模块用于对面部视频图像进行归一化、均衡化处理，对生理信号完成基线漂移、工频干扰、伪迹与噪声的去除处理；

所述恐惧情绪特征提取模块用于提取驾驶员恐惧情绪的面部特征和生理特征并计算获得面部特征评定指标和生理特征评定指标；

所述恐惧情绪识别模块，采用k-均值聚类分析法进行驾驶员的恐惧情绪分类，搭载基于k-均值—模糊神经网络的恐惧情绪识别模型，实现对驾驶员的恐惧情绪状态的有效识别，并输出驾驶员的情绪判定信息；

所述恐惧情绪分阶段分级干预模块与汽车行车电脑、音乐播放器、点火阻断装置、汽车制动踏板、汽车油门连接，根据车辆启动点火行车前和行车过程中两阶段恐惧情绪识别模块输出的驾驶员的情绪判定信息，对驾驶的车辆实施分阶段分级干预措施。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.基于驾驶员恐惧情绪识别的分阶段分级干预的方法，其特征在于，包括以下步骤：

步骤S1：分别采集车辆启动点火行车前和行车过程中驾驶员的面部视频图像和生理信号；

步骤S2：对采集到的面部视频图像和生理信号分别进行预处理；

步骤S3：从预处理过的面部视频图像和生理信号中提取驾驶员恐惧情绪的面部特征和生理特征，计算获得的面部特征评定指标和生理特征评定指标作为恐惧情绪评定指标；

获得的生理特征评定指标包括单位时间平均心率、单位时间心率脉搏平均值和出汗时间；当驾驶员为心率与脉搏相同的正常人时，取单位时间平均心率和出汗时间作为生理特征评定指标，当驾驶员为心率与脉搏不同的异常人时，取单位时间心率脉搏平均值和出汗时间作为生理特征评定指标；

步骤S4：采用k-均值聚类分析法进行驾驶员的恐惧情绪分类，训练并构建基于k-均值—模糊神经网络的驾驶员的恐惧情绪识别模型，通过输入的驾驶员的恐惧情绪评定指标识别其恐惧情绪类别，并输出相应的情绪判定信息；

步骤S5：根据收到的判定信息，在车辆启动点火行车前和行车过程中两阶段，对驾驶车辆实施分级干预措施。

2.根据权利要求1所述的基于驾驶员恐惧情绪识别的分阶段分级干预的方法，其特征在于：步骤S1中，通过设置在汽车方向盘主体中心处的摄像头采集驾驶员的面部视频图像并记录驾驶员的出汗时间T_出汗；通过设置于汽车方向盘主体把手处的心率脉搏协同监测传感器采集驾驶员心率、脉搏的动态实时数据。

3.根据权利要求2所述的基于驾驶员恐惧情绪识别的分阶段分级干预的方法，其特征在于，步骤S2中，面部视频图像的预处理方法包括以下步骤：

步骤A1：对采集到的面部视频图像进行角度归一化处理；

通过瞳孔定位将人脸图像调至水平，假设定位的左右眼坐标分别为(xa,ya)和(xb,yb)，则人脸图像调整角度α的计算公式如下：

α＝arctan(yb-ya)/(xb-xa)·180/л

其中，α当值为正时，对人脸图像按照顺时针方向旋转相应角度；反之则按照逆时针方向旋转相应角度；

步骤A2：对角度归一化处理后的人脸图像进行尺度归一化处理；

以两瞳孔之间的距离为衡量标准进行人脸图像的剪切，假设两瞳孔之间的距离为d，剪切时，以两瞳孔的中间点为基准，在竖直方向，向上取0.6d，向下取1.6d；在水平方向，向左、向右各取d，将人脸图像大小最终尺度归一化为100×100；

步骤A3：选用加权平均法对尺度归一化处理后的人脸图像进行灰度化处理；

将一般的彩色RGB三通道图像转化为灰度图像，加权平均法计算公式如下：

Gray(x,y)＝0.299R(x,y)+0.578G(x,y)+0.114B(x,y)

其中，R(x,y)，G(x,y)，B(x,y)为RGB图像的三个通道，Gray(x,y)为像素点的灰度值；

步骤A4：对灰度化处理后的人脸图像进行直方图均衡化处理；

转换函数如下：

其中，S_k为输出人脸图像的灰度级；N为总的像素个数；L为灰度级总数；n_j为对应灰度级的像素个数。

4.根据权利要求3所述的基于驾驶员恐惧情绪识别的分阶段分级干预的方法，其特征在于，步骤S2中，生理信号的预处理方法包括以下步骤：

步骤B1：采用零相移数字滤波去除采集到的心率和脉搏两种信号的基线漂移；

步骤B2：利用倒数切比雪夫滤波器对心率和脉搏两种信号滤除工频干扰；

转换函数如下：

其中，ω是频率，|H(ω)|为滤波器在截止频率ω₀的放大率，ε为幅度振动的分贝数，λ为波长，T_n(ω/ω₀)是n阶切比雪夫多项式；

令ω/ω₀＝Ω，n阶切比雪夫多项式可表示为：

T_n(Ω)＝cos(n·arccosΩ)，0≤Ω≤1

T_n(Ω)＝cosh(n·arccoshΩ)，Ω>1

步骤B3：选用小波变换去噪法，去除心率和脉搏两种信号的伪迹与噪声，得到纯净的心率和脉搏两种信号；

转换函数如下：

其中，WT(a,b)为小波变换后的信号，f(t)为待处理信号，为小波函数，a为小波变换的尺度因子，控制小波函数的伸缩，对应于频率；b为小波变换的平移因子，控制小波函数的平移，对应于时间。

5.根据权利要求4所述的基于驾驶员恐惧情绪识别的分阶段分级干预的方法，其特征在于，步骤S3中，在预处理后的面部视频图像中，提取连续多帧人脸图像，利用积分投影法确定面部特征点的位置，计算获得的面部特征评定指标包括眼睛开合度β、嘴巴开合度η和眼动速率v；

积分投影法公式如下：

其中，(x,y)表示像素所在的位置，Gray(x,y)表示该像素点的灰度值，x₁、x₂、y₁、y₂分别表示人脸图像的左右上下像素边界，V(x)表示水平积分投影，H(y)表示垂直积分投影；

眼睛开合度用眼部高宽比表示，计算公式为：

β＝h/w

其中，h和w分别表示眼睛的高度和宽度；

嘴巴开合度用嘴部高宽比表示，计算公式为：

η＝m/n

其中，m和n分别表示嘴巴的高度和宽度；

眼动速率的计算公式为：

v＝L/t

其中，L为瞳孔定位后计算的相邻两帧人脸图像的瞳孔与内眼角距离的差值，t为处理这两帧人脸图像所用的时间。

6.根据权利要求5所述的基于驾驶员恐惧情绪识别的分阶段分级干预的方法，其特征在于，步骤S3中：

单位时间平均心率的计算公式如下：

HR＝N₁/C

其中，N₁表示采样周期内的心跳次数，C表示采样周期；

单位时间心率脉搏平均值的计算公式如下：

γ＝(N₁+N₂)/2C

其中，N₂表示采样周期内的脉动次数，C表示采样周期。

7.根据权利要求6所述的基于驾驶员恐惧情绪识别的分阶段分级干预的方法，其特征在于，步骤S4中，采用k-均值聚类分析法进行恐惧情绪分类的具体步骤如下：

步骤C1：采集驾驶员平静、一般惊吓、重度恐惧的情绪样本，并按比例分为情绪分类样本、模型训练与测试样本；

步骤C2：提取情绪分类样本中的恐惧情绪评定指标作为分类变量，统计并输入SPSS中，采用k-均值聚类分析法进行恐惧情绪分类，确定平静、一般惊吓与重度恐惧的情绪状态下各指标的分界阈值，定义平静、一般惊吓、重度恐惧的情绪状态与各评价指标区间的关联性：

平静与一般惊吓的情绪状态各指标分界阈值为：β_平静、η_平静、v_平静、HR_平静、γ_平静、T_平静；

一般惊吓与重度恐惧的情绪状态各指标分界阈值为：β₁、η₁、v₁、HR₁、γ₁、T′；

一般惊吓的情绪状态下各指标区间为：β_平静<β<β₁、η_平静<η<η₁、v_平静<v<v₁、HR_平静<HR<HR₁、T_平静<T_出汗≤T′或者β_平静<β<β₁、η_平静<η<η₁、v_平静<v<v₁、γ_平静<γ<γ₁、T_平静<T_出汗≤T′；

重度恐惧的情绪状态下各指标区间为：β≥β₁、η≥η₁、v≥v₁、HR≥HR₁、T_出汗≥T′或者β≥β₁、η≥η₁、v≥v₁、γ≥γ₁、T_出汗>T′。

8.根据权利要求7所述的基于驾驶员恐惧情绪识别的分阶段分级干预的方法，其特征在于，步骤S4中，情绪判定信息的获得方法如下：

步骤D1：提取并输入训练与测试样本中的恐惧情绪评定指标至恐惧情绪识别模型中进行训练和测试，促使其完成自学习并记忆；

步骤D2：输入层输入行车前和行车过程中提取驾驶员的恐惧情绪评定指标，包括眼睛开合度β、嘴巴开合度η、眼动速率v、单位时间平均心率HR、单位时间心率脉搏平均值γ、出汗时间T_出汗；

步骤D3：将驾驶员的恐惧情绪评定指标由输入层输入至模糊化层，对各类情绪评定指标进行模糊化处理：将眼睛开合度β模糊转换成β≤β_平静或β_平静<β<β₁或β≥β₁三种情况；将嘴巴开合度η模糊转换成η≤η_平静或η_平静<η<η₁或η≥η₁三种情况；将眼动速率v模糊转换成v≤v_平静或v_平静<v<v₁或v≥v₁三种情况；将平均心率HR模糊转换成HR≤HR_平静或HR_平静<HR<HR₁或HR≥HR₁三种情况；将心率脉搏平均值γ模糊转换成γ≤γ_平静或γ_平静<γ<γ₁或γ≥γ₁三种情况；将出汗时间T_出汗模糊转换成出汗是或否两种状态；

步骤D4：状态层根据模糊规则层的模糊规则将模糊化层转换后的信息分别与平静、一般惊吓、重度恐惧的情绪状态对应关联，并由输出层对应输出平静、一般惊吓、重度恐惧三种情绪判定信息；

步骤D41：模糊规则

平静：β≤β_平静，η≤η_平静，v≤v_平静，HR≤HR_平静或γ≤γ_平静，出汗为否；

一般惊吓：β_平静<β<β₁，η_平静<η<η₁，v_平静<v<v₁，HR_平静<HR<HR₁或γ_平静<γ<γ₁，出汗为否；

重度恐惧：β≥β₁，η≥η₁，v≥v₁，HR≥HR₁或γ≥γ₁，出汗为是。

9.根据权利要求8所述的基于驾驶员恐惧情绪识别的分阶段分级干预的方法，其特征在于，步骤S5中，实施的分级干预措施包括以下两个阶段：

第一阶段为车辆启动点火的行车前：驾驶员点火启动汽车后，如接收的驾驶员情绪判定信息为平静时，允许驾驶员正常驾驶；如接收的驾驶员情绪判定信息为一般惊吓或重度恐惧，则启动汽车点火阻断装置，并同时打开汽车音乐播放器，自动播放驾驶员提前设定的音乐，舒缓驾驶员情绪；直至接收的驾驶员情绪判定信息为平静后，关闭汽车点火阻断装置，允许驾驶员正常驾驶汽车；

第二阶段为行车过程中：如接收的驾驶员情绪判定信息为平静时，则继续正常行驶；如接收的驾驶员情绪判定信息为一般惊吓，则打开汽车音乐播放器，自动播放驾驶员提前设定的音乐，提醒驾驶员缓解情绪；如接收的驾驶员情绪判定信息为重度恐惧，则改变车辆油门踏板和制动踏板灵敏度，提升制动踏板的灵敏度为原来的1.2-1.5倍，降低油门踏板的灵敏度为原来的0.6-1倍。

10.基于驾驶员恐惧情绪识别的分阶段分级干预的系统，其特征在于：包括数据采集模块、数据预处理模块、恐惧情绪特征提取模块、恐惧情绪识别模块、恐惧情绪分阶段分级干预模块；

所述数据采集模块包括摄像头和心率脉搏协同监测传感器，用于采集车辆点火启动行车前和行车过程中驾驶员的面部视频图像和生理信号；

所述数据预处理模块用于对面部视频图像进行归一化、均衡化处理，对生理信号完成基线漂移、工频干扰、伪迹与噪声的去除处理；

所述恐惧情绪特征提取模块用于提取驾驶员恐惧情绪的面部特征和生理特征并计算获得面部特征评定指标和生理特征评定指标；获得的生理特征评定指标包括单位时间平均心率、单位时间心率脉搏平均值和出汗时间；当驾驶员为心率与脉搏相同的正常人时，取单位时间平均心率和出汗时间作为生理特征评定指标，当驾驶员为心率与脉搏不同的异常人时，取单位时间心率脉搏平均值和出汗时间作为生理特征评定指标；

所述恐惧情绪识别模块，采用k-均值聚类分析法进行驾驶员的恐惧情绪分类，搭载基于k-均值—模糊神经网络的恐惧情绪识别模型，实现对驾驶员的恐惧情绪状态的有效识别，并输出驾驶员的情绪判定信息；

所述恐惧情绪分阶段分级干预模块与汽车行车电脑、音乐播放器、点火阻断装置、汽车制动踏板、汽车油门连接，根据车辆启动点火行车前和行车过程中两阶段恐惧情绪识别模块输出的驾驶员的情绪判定信息，对驾驶的车辆实施分阶段分级干预措施。