CN117022294A - 一种危险驾驶行为识别及预警方法与系统 - Google Patents

Abstract

本发明公开了一种危险驾驶行为识别及预警方法与系统，方法包括：分别获取车辆运行信息、驾驶人图像信息以及驾驶人人因数据，并对驾驶人图像信息进行处理；构建危险驾驶行为识别模型，并将处理后的车辆运行信息、驾驶人图像信息以及驾驶人人因数据输入至所述危险驾驶行为识别模型中进行驾驶行为决策；根据决策结果判断是否执行预警干预行为。本发明能够在一定程度上减小甚至避免危险驾驶行为所带来的交通安全隐患，可以为个性化的汽车安全辅助驾驶系统的完善提供一定技术支持。

Description

一种危险驾驶行为识别及预警方法与系统

技术领域

本发明涉及智能交通技术领域，尤其涉及一种危险驾驶行为识别及预警方法与系统。

背景技术

危险驾驶行为是指驾驶人驾驶机动车期间，违反道路交通安全法规，造成或增加不应有的危险的行为。从广义角度上来说，危险驾驶行为是指驾驶人在驾驶机动车期间出现的一切不安全、违反交通法规的危险驾驶行为方式。其中包括“不谨慎驾驶”和“不安全驾驶”两种模式，“不谨慎驾驶”是指当驾驶人行驶车辆期间，驾驶人自身受到手机、外部环境等非交通信息的影响下导致其出现注意力不集中、或者情绪剧烈波动，使其不具备安全驾驶条件，进而驾驶期间遇到交通问题情况时，未能采取相应交通安全驾驶行为，致使交通事故发生，例如分心驾驶、愤怒驾驶等；不安全驾驶即指驾驶人的身体状态和行为极度不适宜驾驶车辆，这种情况极易引发交通事故、对驾驶人安全造成严重影响，例如醉酒驾驶、疲劳驾驶等。

驾驶人是道路交通安全事故发生的主导因素，驾驶人出现危险驾驶行为往往会受到交通环境和驾驶人个人自身状态等因素共同作用和互相影响。在高峰拥堵时段，部分驾驶人往往通过插队、强行换道等不良驾驶来满足自身驾驶需求，而这种现象往往会导致被插队的驾驶人表现出生气、愤怒和路怒症等愤怒情绪；驾驶人行驶车辆时使用智能设备和车载媒体会影响其对于机动车驾驶的专注程度，智能设备会在驾驶人在驾驶任务过程中不同程度地占用和竞争驾驶人的视觉、认知、动作等资源，进而对安全驾驶产生影响；驾驶人受到生活节奏和工作压力的影响和长时间驾驶或者堵车过程中，由于驾驶操作的机械性、所处环境的单调性和长时间负荷驾驶，往往会出现注意力不集中、对周围认知判断出现偏差等驾驶疲劳现象。根据道路交通事故的研究显示，在交通事故问题中，驾驶人与其相关联的事故次数占比高达90％左右。

因此，本发明提出一种危险驾驶行为识别及预警方法与系统。

发明内容

本发明将驾驶人图像信息、驾驶人生理信息与车辆运行信息相结合，建立了愤怒驾驶、分心驾驶、疲劳驾驶三种危险驾驶行为的识别模型，提出了一种危险驾驶行为识别及预警方法，可以实现对危险驾驶行为实时监测，以便于在驾驶人处于危险驾驶状态时进行预警和干预。

一方面，为实现上述目的本发明提供了一种危险驾驶行为识别及预警方法，包括：

分别获取车辆运行信息、驾驶人图像信息以及驾驶人人因数据，并对所述驾驶人图像信息进行处理；

构建危险驾驶行为识别模型，并将处理后的所述车辆运行信息、驾驶人图像信息以及驾驶人人因数据输入至所述危险驾驶行为识别模型中进行驾驶行为决策；

根据决策结果判断是否执行预警干预行为；

其中，所述预警干预行为包括预警行为和干预行为，所述预警行为包括一级预警、二级预警和三级预警，所述干预行为包括一级干预行为、二级干预行为和三级干预行为。

优选地，获取所述车辆运行信息包括：

通过CAN总线获取车辆实时运行信息，所述车辆实时运行系信息包括车辆的速度、加速度、方向盘转向幅度、油门踏板开度、油门使用频率、制动踏板开度以及制动使用频率数；其中，方向盘转向幅度、油门踏板开度和制动踏板开度的取值范围均为[0，1]，0表示驾驶人方向盘未进行偏移，或没有踩油门踏板，或没有踩刹车踏板。

优选地，对所述驾驶人图像信息进行处理包括：

将获取的所述驾驶人图像进行灰度处理，并采用对比度受限的自适应直方图均衡化的方法对所述驾驶人图像进行均衡化处理，其中，所述驾驶人图像包括驾驶人面部图像和驾驶人侧身图像。

优选地，获取所述驾驶人人因数据包括：

通过人因数据传感器，获取驾驶人的肌电标准差、肌电均值频率、心动频率、心动平均值标准差、皮电反应强度标准差数据；其中，所述人因数据传感器包括肌电传感器、皮电传感器和光电容积脉搏传感器。

优选地，所述危险驾驶行为识别模型包括：

卷积层，用于提取输入数据的不同特征；

激活函数层，用于将神经元的输入映射到输出端，以及将神经网络中输入信号的总和转换为输出信号；

池化层，用于通过降采样方法，对所述卷积层中提取的特征进行挑选；

Dropout层，用于在训练过程中随机删除神经元，以降低神经网络的复杂度和参数，避免过度拟合；

全连接层，用于将池化层的所有特征矩阵转化成一维的特征大向量，对输入数据进行分类；

其中，在每一个所述卷积层后添加BatchNorm2d函数进行数据归一化；使用ReLU函数作为所述激活函数层的激活函数，所述池化层的池化方式采用最大池化；所述全连接层设置为四个线性层，所述四个线性层分别对应三个不同的危险驾驶行为和一个正常驾驶行为，并在所述全连接层的每一个线性层前面加入所述Dropout层。

优选地，采用多分类交叉熵损失函数训练所述危险驾驶行为识别模型，并通过模型评价指标衡量模型的精准度，其中所述模型评价指标包括准确率、精确率、召回率、F1-Score以及Macro F1评价指标，若各项指标均达到预设阈值，则保存所述危险驾驶行为识别模型的参数。

优选地，所述决策结果包括：正常驾驶行为、愤怒驾驶行为、分心驾驶行为和疲劳驾驶行为；

其中，识别所述愤怒驾驶行为对应的数据权重顺序为：心率、面部表情、速度；

识别所述分心驾驶行为对应的数据权重顺序为：眼睛、表情、驾驶偏移量；

识别所述疲劳驾驶行为对应的数据权重顺序为：表情、时间序列、人因数据。

优选地，根据所述决策结果判断是否执行预警干预行为包括：

若识别为所述正常驾驶行为，则不执行预警干预行为，若识别为所述愤怒驾驶行为、所述分心驾驶行为或所述疲劳驾驶行为，则执行所述预警干预行为；

其中，是否执行所述预警干预行为的条件包括：

选择时间戳数据作为时间序列进行判断，并根据预设条件判断是否执行一级预警、二级预警或三级预警。

优选地，若执行所述一级预警则对应所述一级干预行为，所述一级干预行为包括对驾驶人进行警告，并对车辆执行紧急制动及靠边停车；

若执行所述二级预警则对应所述二级干预行为，所述二级干预行为包括对驾驶人进行预警，并对车辆进行限速及辅助制动；

若执行所述三级预警则对应所述三级干预行为，所述三级干预行为包括对驾驶人进行提示，并对车辆进行辅助制动。

另一方面，为了实现上述目的本发明还提供了一种危险驾驶行为识别及预警系统，包括：

数据采集模块：用于采集车辆运行数据、驾驶人图像数据和驾驶人人因数据，获得各项特征的时间序列数据，并输入到数据处理模块；

数据处理模块：用于剔除错误、冗余数据，补全缺失数据，并使用数据均值归一化的方法进行归一化处理；

识别决策模块：用于将处理完成的数据输入危险驾驶识别模型，对危险驾驶行为进行智能决策，判断是否执行预警干预行为。

与现有技术相比，本发明具有如下优点和技术效果：

本发明所建立的识别模型和设计的预警系统可对驾驶人愤怒、分心、疲劳三种危险驾驶行为进行识别和预警，能够在一定程度上减小甚至避免危险驾驶行为所带来的交通安全隐患，可以为个性化的汽车安全辅助驾驶系统的完善提供了一定技术支持。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例中一种危险驾驶行为识别及预警方法流程图；

图2为本发明实施例中驾驶人图像直方图；

图3为本发明实施例中直方限制图；

图4为本发明实施例中驾驶人图像均衡化直方图；

图5为本发明实施例中ReLU函数及其梯度曲线图；

图6为本发明实施例中带有Dropout的全连接层示意图；

图7为本发明实施例中危险驾驶识别模块工作流程图；

图8为本发明实施例中危险驾驶决策模块工作流程图；

图9为本发明实施例中危险驾驶预警模块工作流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明提出了提供一种危险驾驶行为识别及预警方法，如图1所示，包括以下步骤：

(1)车辆运行信息获取

通过汽车CAN总线获取车辆实时运行信息。选取车辆的速度、加速度、方向盘转向幅度、油门踏板开度、油门使用频率、制动踏板开度、制动使用频率数据，这些数据体现了驾驶人对于车辆的速度控制以及纵横向控制状态，如表1。

方向盘转向幅度、油门踏板开度和制动踏板开度的取值范围均为[0，1]。0表示驾驶人方向盘未进行偏移，或没有踩油门踏板，或没有踩刹车踏板；方向盘转向幅度值越接近1说明驾驶人朝某方向转动方向盘的转向幅度越大；油门踏板开度数值越趋近于1则表示驾驶人踩油门越深；制动踏板开度大小越趋近于1则表示驾驶人踩制动踏板越深；油门使用频率是指在某一时间段内，驾驶人在车辆行驶时的加速次数；制动使用频率是指在某一时间段内，驾驶人在车辆行驶时的制动次数。

表1

其中速度为模拟车辆在行驶到某个时间点的瞬时速度；加速度是采集的车辆的法向加速度与切向加速度的标准差α，具体公式如下公式：

式中，为法向加速度，是用来描述速度方向和大小变化的速度，单位m·s^-2；/>为切向加速度，指车辆在驾驶中由于地面存在坡角，导致部分方向未在道路上的速度，单位m·s^-2。

方向盘转向幅度、油门踏板开度和制动踏板开度的取值范围均为[0，1]。0表示驾驶人方向盘未进行偏移，或没有踩油门踏板，或没有踩刹车踏板；方向盘转向幅度值越接近1说明驾驶人朝某方向转动方向盘的转向幅度越大；油门踏板开度数值越趋近于1则表示驾驶人踩油门越深；制动踏板开度大小越趋近于1则表示驾驶人踩制动踏板越深；油门使用频率是指在某一时间段内，驾驶人在车辆行驶时的加速次数；制动使用频率是指在某一时间段内，驾驶人在车辆行驶时的制动次数。

(2)驾驶人图像信息获取

1)通过安装在驾驶人正前方挡风玻璃上的摄像头获取驾驶人面部图像，通过安装在驾驶室前排副驾驶侧方的摄像头获取驾驶人侧身图像。

2)图像数据的灰度处理

由于采集到的驾驶人图像是彩色图像。为了能够降低计算量，加快运算速度。本发明将对采获图像进行图像灰度化处理，其计算公式如下：

Gray＝0.299*R+0.587*G+0.114*B

式中，Gray为像素点的灰度值；R、G、B分别代表为红绿蓝光通道的像素值；R、G、B前面的常数分别为其对应光通道的权重。统计各个灰度级的像素数目n_i，其中i＝0,1,2,...,255；并根据处理结果绘制图像直方图，如图2所示。

由图2图像直方图可知，由于采光和环境因素影响，使得采集到的图像光照不均匀，导致灰度图片在150到255之间基本没有像素值分布，对比度较差。

为了解决此问题，本实施例采用对比度受限的自适应直方图均衡化(Contrast-Limited Adaptive Histogram Equalization，CLAHE)方法对图像进行处理。先对原图像每个灰度级出现的概率进行计算，然后将图像划分为多个小区域，计算其直方图后进行对比度限制，即将超过限制的部分均匀分布到其他地方，以保证面积不变。其计算公式如下：

式中，n为人脸图像像素总数，n_i为第i个灰度级像素个数，p(r_i)为第i个灰度级出现概率。

根据原图的p(r_i)来计算均衡化后的图像灰度级出现概率，其计算公式如下：

式中，S_i为图像均衡化后第i个灰度级出现的概率。

其直方图限制图如图3所示，自适应直方图均衡化后的直方图如图4所示。

(3)驾驶人人因数据获取

通过人因数据传感器，如肌电传感器、皮电传感器、光电容积脉搏传感器，获取肌电标准差、肌电均值频率、心动频率、心动平均值标准差、皮电反应强度标准差数据。如表2。

表2

(4)危险驾驶行为识别模型构建

采用卷积神经网络(Convolutional Neural Network，CNN)对构建危险驾驶行为识别模型。CNN的特点在于它不仅仅有线性连接，还增加了卷积和池化操作，并且能够实现多维向量的接收。本发明构建的卷积神经网络模型结构如表3。

表3

1)模型输入

将用CLAHE处理过后尺寸为256*256像素的灰度图像数据、车辆运行信息数据、驾驶人人因数据输入输入层，并选择使用GPU加速运算。

2)卷积层

本发明构建的卷积神经网络模型共设计了5个卷积层，均使用相同大小的卷积核尺寸，即3*3尺寸，卷积步长设置为1，设置零填充以保证输出维度与输入特征维度不变。在Conv2d_1中设置了32组卷积核；在Conv2d_2中同样设置了32组卷积核，对输入矩阵进行重复卷积；在Conv2d_3、Conv2d_4中则设置了64组卷积核；Conv2d_5设置64组卷积核。

3)批量归一化

在每一个卷积层后添加BatchNorm2d函数进行数据归一化，不但会加快运算速度，也会降低ReLU激活函数因数据过大而导致不稳定。函数解析式如下公式所示：

式中，x、y分别为处理前后的值；μ为同一通道的矩阵中所有值的均值；σ²为同一通道的矩阵中所有值的方差；γ为缩放变量；β为平移变量；ε为常数，默认为1×10^-5。

4)激活函数

批量归一化后加入激活函数层，可以让卷积神经网络更好地对数据进行拟合，常见的Sigmoid和tanh激活函数会在接近饱和时变换太慢，即该导数无限趋近于零，会导致后面信息消失。所以本实施例使用ReLU(Rectified Linear Unit)函数作为激活函数，相比于另外两种常见的激活函数，ReLU缓解了梯度消失和过拟合现象。ReLU函数见下式，ReLU函数及其梯度曲线如图5所示。

5)池化层

本发明的卷积神经网络模型共设计了3个池化层，池化方式均采用最大池化，核尺寸与步长均设置为2。

6)Dropout层

为了防止模型在训练过程中出现过拟合现象，本发明在全连接层的每一个线性层前面加入Dropout层。如图6所示，在训练过程中，每个神经元仅以概率p进行工作，以1-p的概率不进行计算，每次传递进行工作的神经元都会发生变化。在本实施例中概率设置为1/2。

7)全连接层

本实施例使用的全连接层设置为4个线性层，第一层将来自Max Pool2d_3的数据延展成一维向量，经过512个神经元线性计算后变为1*512，第二层将1*512的向量经64个神经元线性计算后变为1*64，第三层将1*64的向量经32个神经元线性计算后变为1*32，最后经第四层的4个神经元计算后变为1*4，即包含四个1维节点，分别对应三种不同的危险驾驶行为和一种正常驾驶行为，如下表4所示。

表4

8)训练与评价

网络训练采用多分类交叉熵损失函数(Cross Entropy Loss)，迭代次数设为100次，学习率设为0.05。

模型评价指标是准确衡量评价一个模型精准度的指标，本发明采用准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1-Score值和Macro F1值。

准确率是模型评价指标的一种。其用于衡量识别模型中对于数据集中样本预测正确的比例，即准确率等于所有预测正确的样本数目与所有参加预测的样本总数目的比。但是对不平衡数据集进行分类，由于某一项数据量过于庞大且较易识别时，准确率的判断往往会失去对模型识别率的准确判断，所以准确率只能反映模型预测对的比例；公式如下所示：

其中TP(True Positive)是指分类模型识别正确(True)，认为其是正确样本(Positive)，即真正例；TN(True Negative)指分类模型识别正确(True)，认为其是错误样本(Negative)，即真反例；FP(False Positive)指分类模型识别错误(False)，认为其是正确样本(Positive)，即假正例；FN(False Negative)指分类模型识别错误(False)，认为其是错误样本(Negative)，即假反例。

精确率是指所有预测为正确的样本(TP+FP)中真正例(TP)的比例，本发明代表被分为危险驾驶行为的样本中实际为危险驾驶的比例；召回率指的是所有正确的样本(TP+FN)中识别正确(TP)的比率，本发明代表实际为危险驾驶行为的样本中被划分为危险驾驶行为的比例。二者的公式如下：

式中：Precision为精确率；Recall为召回率。

通过对准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1-Score以及Macro F1等多种评价指标对模型进行评价，若各项指标均达到0.9以上，说明驾驶人危险驾驶识别模型的分类性能较强，能够较为精准地识别多种不同的危险驾驶行为，则保存模型参数。

本发明实施例还提供了一种危险驾驶行为识别及预警系统，主要是由数据采集模块、数据处理模块、识别决策模块和预警干预模块组成。

1)数据采集模块

数据采集模块所采用的设备主要是由汽车传感器、汽车内摄像头和人因数据传感器等数据采集设备对车辆运行数据、驾驶人图像数据和驾驶人人因数据进行采集，得到各项特征的时间序列数据{X₁,X₂,...,X_n}，输入到数据处理模块。

2)数据处理模块

剔除错误、冗余数据，补全缺失数据，并使用数据均值归一化的方法将数据进行归一化。

3)识别决策模块

将数据处理模块所处理完成的数据输入危险驾驶识别模型，如图7。经过识别决策模块对危险驾驶行为进行智能决策，判断是否执行干预以及执行几级干预。

决策模块判断标准是由愤怒、分心、疲劳出现和衰退情况来决定的。愤怒从出现到衰退时间约为30s左右，愤怒期间心率、驾驶速度和表情皆有所变化。具体如下表5所示。

表5

本发明以心率为第一指标，即参考心率的权重更大，来进行愤怒驾驶行为的决策；分心出现到衰退时间约为10s左右，分心期间眼睛观察方向，驾驶偏移量等数据会出现明显变化。故本发明选择面部眼睛数据为权重更大的指标进行决策；疲劳状态不会出现衰退状态，它与驾驶时间、驾驶人面部信息、心率、肌电信息等数据相关。故本发明选择若驾驶时间在4小时以内时，面部信息为权重更大，当驾驶时间超过4小时以后，驾驶时间与面部信息比重将基本持平。

当驾驶人出现愤怒驾驶识别模型所识别出的行为后，决策模块会根据识别模块所识别的表情数据、驾驶数据、人因数据的情况，根据表9进行权重进行排序。若持续时间为0至30秒左右，可判断其为标签3，即三级干预；若持续时间在30-60秒期间，可判断其为标签2，即二级干预；若持续时间大于60秒后，将判断其为标签1，即一级干预。

当驾驶人出现分心驾驶识别模型所识别出的行为后，决策模块会根据识别模块所识别的表情数据、驾驶数据、人因数据的情况，根据表9进行权重进行排序。若持续时间为0至10秒左右，可判断其为标签3，即三级干预；若持续时间在10-20秒期间，可判断其为标签2，即二级干预；若持续时间大于20秒后，将判断其为标签1，即一级干预。

当驾驶人出现疲劳驾驶识别模型所识别出的行为后，决策模块会根据识别模块所识别的表情数据、驾驶数据、人因数据的情况，根据表5进行权重进行排序。在驾驶车辆4小时之前，识别模式与分心驾驶模型一样，即持续时间为0至10秒左右，可判断其为标签3，即三级干预；若持续时间在10-20秒期间，可判断其为标签2，即二级干预；若持续时间大于20秒后，将判断其为标签1，即一级干预；若驾驶时间超过4小时时，可直接判断其为标签1，即一级干预。

当驾驶人不出现满足上述三种模型识别的情况时，则决策模块会判定为正常驾驶行为。具体步骤如图7所示。

本发明选择时间戳数据作为时间序列的识别与并加入危险驾驶行为风险判断。设定if判定结论“正确”为“T”，错误为“F”。当决策模块进行风险判断时，首先会判断所识别出的标签是否为“3”，若判If判断结论为“T”，则决策模块会对预警干预模块下达指令，使其执行三级预警；若If的判断结论为“F”，决策模块继续进行判断其是否为“2”，若Else if的判断结论为“T”，则会执行二级预警；若Else if判断结论为“F”，则决策模块继续判断标签是否为“1”，若Else if的判断结论为“T”，则执行一级预警，若判断结论为“F”，则进行下一轮判断。并对一级预警、二级预警、三级预警分别标记为Ⅰ、Ⅱ、Ⅲ。这种按照危险程度由低到高进行检测的方式，可有效检测驾驶期间的隐藏风险，保证驾驶人在驾驶途中的安全。驾驶人危险驾驶预警系统如图8所示。

4)预警干预模块

为了不引起驾驶人对预警方式的排斥反应，达到更加符合驾驶人驾驶需求的预警系统、更好地辅助驾驶人完成驾驶车辆的需求，本发明针对不同程度的危险驾驶行为设置了三种强度不同的干预方案。表6是根据不同的预警等级所设计的对应的预警干预方式，以共同保障驾驶人驾驶安全。

表6

由表6的干预分类等级的不同，分别对驾驶人和行驶车辆进行干预。当进入三级干预时，驾驶人处于刚刚进入危险驾驶状态，对驾驶人进行提示和对行驶车辆启动辅助制动系统，即可摆脱危险驾驶状态；若处于二级干预状态，即为短期处于危险驾驶状态，需对驾驶人进行预警并同时对行驶车辆进行限速和启动辅助制动系统，即可摆脱二级危险驾驶状态；若处于一级干预状态，说明驾驶人已经处于危害自身生命安全的状态中，故对驾驶人进行警告状态，并对行驶车辆进行智能驾驶，将行驶车辆处于智能紧急制动和智能靠边停车等辅助驾驶操作，以保证驾驶人行驶安全。

当决策模块识别出驾驶人处于危险驾驶行为后，会让预警干预模块进行对驾驶人、车辆进行预警干预。当决策模块判定为三级干预时，可对驾驶人进行提示和辅助车辆进行制动行为；当决策模块判定为二级干预时，可对驾驶人进行预警和对车辆进行智能限速；当决策模块判定为一级干预时，可对驾驶人进行警告并对车辆进行靠边停车或者强制制动等智能操作行为以保证驾驶人和车辆的安全。具体如图9所示。

本发明通过准确率、精确率、召回率、F1-Score值和Macro F1值5个指标对识别结果进行对比分析。本发明所建立的识别模型和设计的预警系统可对驾驶人愤怒、分心、疲劳三种危险驾驶行为进行识别和预警，能够在一定程度上减小甚至避免危险驾驶行为所带来的交通安全隐患，可以为个性化的汽车安全辅助驾驶系统的完善提供了一定技术支持。

以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种危险驾驶行为识别及预警方法，其特征在于，包括：

分别获取车辆运行信息、驾驶人图像信息以及驾驶人人因数据，并对所述驾驶人图像信息进行处理；

构建危险驾驶行为识别模型，并将处理后的所述车辆运行信息、驾驶人图像信息以及驾驶人人因数据输入至所述危险驾驶行为识别模型中进行驾驶行为决策；

根据决策结果判断是否执行预警干预行为；

其中，所述预警干预行为包括预警行为和干预行为，所述预警行为包括一级预警、二级预警和三级预警，所述干预行为包括一级干预行为、二级干预行为和三级干预行为。

2.根据权利要求1所述的危险驾驶行为识别及预警方法，其特征在于，获取所述车辆运行信息包括：

通过CAN总线获取车辆实时运行信息，所述车辆实时运行系信息包括车辆的速度、加速度、方向盘转向幅度、油门踏板开度、油门使用频率、制动踏板开度以及制动使用频率数；其中，方向盘转向幅度、油门踏板开度和制动踏板开度的取值范围均为[0，1]，0表示驾驶人方向盘未进行偏移，或没有踩油门踏板，或没有踩刹车踏板。

3.根据权利要求1所述的危险驾驶行为识别及预警方法，其特征在于，对所述驾驶人图像信息进行处理包括：

将获取的所述驾驶人图像进行灰度处理，并采用对比度受限的自适应直方图均衡化的方法对所述驾驶人图像进行均衡化处理，其中，所述驾驶人图像包括驾驶人面部图像和驾驶人侧身图像。

4.根据权利要求1所述的危险驾驶行为识别及预警方法，其特征在于，获取所述驾驶人人因数据包括：

通过人因数据传感器，获取驾驶人的肌电标准差、肌电均值频率、心动频率、心动平均值标准差、皮电反应强度标准差数据；其中，所述人因数据传感器包括肌电传感器、皮电传感器和光电容积脉搏传感器。

5.根据权利要求1所述的危险驾驶行为识别及预警方法，其特征在于，所述危险驾驶行为识别模型包括：

卷积层，用于提取输入数据的不同特征；

激活函数层，用于将神经元的输入映射到输出端，以及将神经网络中输入信号的总和转换为输出信号；

池化层，用于通过降采样方法，对所述卷积层中提取的特征进行挑选；

Dropout层，用于在训练过程中随机删除神经元，以降低神经网络的复杂度和参数，避免过度拟合；

全连接层，用于将池化层的所有特征矩阵转化成一维的特征大向量，对输入数据进行分类；

其中，在每一个所述卷积层后添加BatchNorm2d函数进行数据归一化；使用ReLU函数作为所述激活函数层的激活函数，所述池化层的池化方式采用最大池化；所述全连接层设置为四个线性层，所述四个线性层分别对应三个不同的危险驾驶行为和一个正常驾驶行为，并在所述全连接层的每一个线性层前面加入所述Dropout层。

6.根据权利要求5所述的危险驾驶行为识别及预警方法，其特征在于，采用多分类交叉熵损失函数训练所述危险驾驶行为识别模型，并通过模型评价指标衡量模型的精准度，其中所述模型评价指标包括准确率、精确率、召回率、F1-Score以及Macro F1评价指标，若各项指标均达到预设阈值，则保存所述危险驾驶行为识别模型的参数。

7.根据权利要求1所述的危险驾驶行为识别及预警方法，其特征在于，所述决策结果包括：正常驾驶行为、愤怒驾驶行为、分心驾驶行为和疲劳驾驶行为；

其中，识别所述愤怒驾驶行为对应的数据权重顺序为：心率、面部表情、速度；

识别所述分心驾驶行为对应的数据权重顺序为：眼睛、表情、驾驶偏移量；

识别所述疲劳驾驶行为对应的数据权重顺序为：表情、时间序列、人因数据。

8.根据权利要求7所述的危险驾驶行为识别及预警方法，其特征在于，根据所述决策结果判断是否执行预警干预行为包括：

若识别为所述正常驾驶行为，则不执行预警干预行为，若识别为所述愤怒驾驶行为、所述分心驾驶行为或所述疲劳驾驶行为，则执行所述预警干预行为；

其中，是否执行所述预警干预行为的条件包括：

选择时间戳数据作为时间序列进行判断，并根据预设条件判断是否执行一级预警、二级预警或三级预警。

9.根据权利要求8所述的危险驾驶行为识别及预警方法，其特征在于，若执行所述一级预警则对应所述一级干预行为，所述一级干预行为包括对驾驶人进行警告，并对车辆执行紧急制动及靠边停车；

若执行所述二级预警则对应所述二级干预行为，所述二级干预行为包括对驾驶人进行预警，并对车辆进行限速及辅助制动；

若执行所述三级预警则对应所述三级干预行为，所述三级干预行为包括对驾驶人进行提示，并对车辆进行辅助制动。

10.一种危险驾驶行为识别及预警系统，其特征在于，包括：

数据采集模块：用于采集车辆运行数据、驾驶人图像数据和驾驶人人因数据，获得各项特征的时间序列数据，并输入到数据处理模块；

数据处理模块：用于剔除错误、冗余数据，补全缺失数据，并使用数据均值归一化的方法进行归一化处理；

识别决策模块：用于将处理完成的数据输入危险驾驶识别模型，对危险驾驶行为进行智能决策，判断是否执行预警干预行为。