CN104637246A - 一种驾驶员多种行为预警系统及危险评估方法 - Google Patents

Abstract

本发明公开了一种驾驶员多种行为预警系统及其危险评估方法，其特征是包括：视频采集模块、关键部位定位模块、行为识别模块、视线分析模块、驾驶员状态预警模块和离线训练模块；离线训练模块用于获得混合定位模型和三种分类模型；视频采集模块用于采集驾驶员的视频图片集合；关键部位定位模块用于获得人脸部关键部位的位置信息和区域图片；行为识别模块用于获得三种行为识别结果；视线分析模块用于获得正脸和侧脸识别结果；驾驶员状态预警模块对三种行为识别结果以及正脸和侧脸识别结果分别进行预警和危险评估。本发明能对驾驶员的疲劳、打哈欠、抽烟、视线偏离等违规驾驶行为进行有效监控，并及时进行预警提示和危险评估。

Description

一种驾驶员多种行为预警系统及危险评估方法

技术领域

本发明涉及智能监控预警领域，具体地说涉及一种驾驶员行为预警系统及危险评估方法。

背景技术

随着我国经济、社会的不断发展，国民生活水平得到极大改善，物流运输业飞速发展，汽车城市化进程也越来越快，驾驶员队伍也不断壮大。与此同时，快速的生活节奏带给人们巨大的压力，由于疲劳驾驶等驾驶违规行为而导致交通事故的现象越来越严重，危及乘客生命和公共安全。

当前对驾驶员的疲劳状态进行检测，主要通过医疗仪器和设备，对驾驶员的人体生理信号进行实时监测，从而判断人体是否疲劳。但是此类检测设备需要采用比较复杂的接触式装备，费用较高。驾驶员疲劳分析的研究目前主要通过眼睑遮住瞳孔的面积是否超过测量参数来判断驾驶员眼睛是否闭合，该方法要求对疲劳判定的先提条件非常严格；并且当前所存在的系统都是单一的疲劳检测系统。因此，急需一种功能全面、安全高效的驾驶员驾驶行为分析预警的相关技术和方法。

发明内容

本发明为了克服现有技术存在的不足之处，提供一种驾驶员多种行为预警系统及其危险评估方法，以期对驾驶员的疲劳、打哈欠、抽烟、视线偏离等违规驾驶行为进行有效监控，并及时进行预警提示和危险评估。

本发明为解决技术问题采用如下技术方案：

本发明一种驾驶员多种行为预警系统的特点是包括：视频采集模块、关键部位定位模块、行为识别模块、视线分析模块、驾驶员状态预警模块和离线训练模块；

所述离线训练模块用于对驾驶员的人脸部关键部位正样本和人脸部非关键部位负样本进行离线训练，获得混合定位模型；所述人脸部关键部位正样本包括：人脸正样本、眼部正样本、嘴部正样本；所述离线训练模块还用于对驾驶员的三种行为样本进行离线训练，依次获得三种分类模型；所述三种行为样本包括：眼部闭眼正样本和眼部睁眼负样本、嘴部张嘴正样本和嘴部闭嘴负样本、以及抽烟正样本和没有抽烟负样本；所述三种分类模型包括眼睛疲劳分类模型、哈欠分类模型、以及抽烟分类模型；

所述视频采集模块用于采集驾驶员的视频图片集合；

所述关键部位定位模块提取所述视频图片集合的每帧视频图片的视觉特征参数，并通过所述混合定位模型得到所述每帧视频图片中驾驶员的人脸部关键部位的位置信息和区域图片；所述人脸部关键部位包括：人脸、眼部和嘴部；

所述行为识别模块根据所述嘴部区域图片进行平移获得抽烟区域图片；再提取所述眼部区域图片、嘴部区域图片和抽烟区域图片的视觉特征参数，并分别输入所述三种分类模型中，获得三种行为识别结果的返回值；所述三种行为识别结果的返回值包括：睁眼区域图片、闭嘴区域图片和没有抽烟区域图片的返回值为0；闭眼区域图片、张嘴区域图片和抽烟区域图片的返回值为1；

所述视线分析模块对所述驾驶员的人脸区域图片进行归一化处理后再对称分割获得左脸区域图片和右脸区域图片，提取所述左脸区域图片和右脸区域图片的视觉特征向量并进行脸部是否偏离正前方分析，获得正脸和侧脸识别结果的返回值；所述正脸和侧脸识别结果的返回值包括：正脸区域图片的返回值为0；侧脸区域图片的返回值为1；

所述驾驶员状态预警模块对所述三种行为识别结果以及所述正脸和侧脸识别结果分别进行预警，并对对所述三种行为识别结果以及所述正脸和侧脸识别结果进行决策融合，获得驾驶员的危险评估结果。

本发明一种驾驶员多种行为预警系统的危险评估方法的特点是如下步骤进行：

步骤1、离线训练获得混合定位模型和三种分类模型：

步骤1.1、对驾驶员的人脸部关键部位正样本和人脸部非关键部位负样本进行离线训练，获得混合定位模型；

步骤1.2、对驾驶员的眼部闭眼正样本和眼部睁眼负样本进行离线训练，获得眼睛疲劳分类模型；

步骤1.3、对驾驶员的嘴部张嘴正样本和嘴部闭嘴负样本进行离线训练，获得哈欠分类模型；

步骤1.4、对驾驶员的抽烟正样本和没有抽烟负样本进行离线训练，获得抽烟分类模型；

步骤2、获取驾驶员连续的视频图片集合，记为M＝{m₁,m₂,…,m_i,…,m_n}；m_i表示所述视频图片集合M中第i帧视频图片；1≤i≤m；

步骤3、提取所述第i帧视频图片m_i的视觉特征参数，并输入所述混合定位模型获得第i帧视频图片m_i的人脸部关键部位的位置信息P_i和区域图片Q_i；并有： 表示人脸位置信息；表示眼部位置信息；表示嘴部位置信息；表示人脸区域图片；表示眼部区域图片；表示嘴部区域图片；

步骤4、根据所述嘴部区域图片进行向左或向右的位置平移，获得抽烟区域图片

步骤5、提取所述眼部区域图片嘴部区域图片和抽烟区域图片的视觉特征参数并分别输入所述眼睛疲劳分类模型、哈欠分类模型和抽烟分类模型获得三种行为识别结果r_i；并有 表示所述眼睛疲劳分类模型的识别结果；并有：表示所述眼部区域图片为睁眼区域图片；表示所述眼部区域图片为闭眼区域图片；表示所述哈欠分类模型的识别结果；并有：表示所述嘴部区域图片为闭嘴区域图片；表示所述嘴部区域图片为张嘴区域图片；表示所述说抽烟分类模型的识别结果；并有：表示所述抽烟区域图片为没有抽烟区域图片；表示所述抽烟区域图片为抽烟区域图片；

步骤6、对所述人脸区域图片进行归一化处理后再对称分割获得左脸区域图片和右脸区域图片分别提取所述左脸区域图片和右脸区域图片的视觉特征，获得左脸视觉特征向量A⁽ⁱ⁾和右脸视觉特征向量B⁽ⁱ⁾；对所述左脸视觉特征向量A⁽ⁱ⁾和右脸视觉特征向量B⁽ⁱ⁾进行降维处理获得左脸特征向量a⁽ⁱ⁾和右脸特征向量b⁽ⁱ⁾；

步骤7、利用式(1)进行脸部是否偏离正前方分析，获得人脸偏转系数K_i：

$K_i=\underset{j=1}{\overset{l}{\mathrm{\Σ}}}\left(\right|a_j^{\left(i\right)}-b_j^{\left(i\right)}\left|\right)---\left(1\right)$

式(1)中，表示所述左脸特征向量a⁽ⁱ⁾中第j个元素；表示所述右脸特征向量b⁽ⁱ⁾中第j个元素；

步骤8、若所述人脸偏转系数K_i小于所设定的阈值时，则表示所述人脸区域图片的识别结果为正脸区域图片；记为否则表示所述人脸区域图片的识别结果为侧脸区域图片；记为从而获得第i帧视频图片m_i的识别结果

步骤9、重复步骤3-步骤8，从而获得n帧视频图片的识别结果R＝{r⁽¹⁾,r⁽²⁾,...,r⁽ⁱ⁾,...,r⁽ⁿ⁾}；

步骤10、利用式(2)获得识别结果频率F_σ：

$F_{\mathrm{\σ}}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{r_{\mathrm{\σ}}^{\left(i\right)}}{n}---\left(2\right)$

式(2)中，σ∈(e,m,c,f)；并有F_σ＝{F_e,F_m,F_c,F_f}；F_e表示眼部区域识别结果频率；F_m表示嘴部区域识别结果频率；F_c表示抽烟区域识别结果频率；F_f表示人脸区域识别结果频率；

步骤11、将眼部区域识别结果频率F_e与所设定的眼部阈值进行比较，若超出所述眼部阈值，则令F_e'＝1，表示眼部疲劳并进行预警；否则，令F_e'＝0，表示眼部正常；

将嘴部区域识别结果频率F_m与所设定的嘴部阈值进行比较，若超出所述嘴部阈值，则令F_m'＝1，表示嘴部张嘴为打哈欠并进行预警；否则，令F_m'＝0，表示嘴部闭合；

将抽烟区域识别结果频率F_c与所设定的抽烟阈值进行比较，若超出所述抽烟阈值，则令F_c'＝1，表示在抽烟并进行预警；否则，令F_c'＝0，表示未抽烟；

将人脸区域识别结果频率F_f与所设定的人脸阈值进行比较，若超出所述人脸阈值，则令F_f'＝1，表示侧脸并进行预警；否则，令F_f'＝0，表示正脸；从而获得预警结果列表F_σ'＝{F_e',F_m',F_c',F_f'}；

步骤12、利用式(3)对所述预警结果F_σ'进行决策融合，获得危险评估结果danger：

danger＝k_eF_e'+k_mF_m'+k_cF_c'+k_fF_f'   (3)

式(3)中，k_e、k_m、k_c、k_f分别表示所设定的危险系数；并有：k_e+k_m+k_c+k_f＝1。

与已有技术相比，本发明有益效果体现在：

1、本发明系统将驾驶员行为预警系统划分为多个模块主要包括关键部位定位模块、行为识别模块、视线分析模块和驾驶员状态预警模块用于对驾驶员的违规行为预警和危险评估，充分利用简单的监控视频，在非接触的情况下获得驾驶员实时驾驶状况，从而实现对驾驶员疲劳状态地有效检测。

2、本发明通过将定位得到的驾驶员人脸区域图片归一化后对称分割，提取特征并降维处理，再构造出人脸偏转系数，从而用来检测驾驶员的面部是否长时间偏离正前方，方法简单且可靠性高。

3、本发明通过定位人脸后，再在人脸区域图片中定位眼部区域图片、嘴部区域图片，提高了定位的准确性，保证了驾驶员行为识别结果的准确率。

4、本发明系统功能全面，提供了一种全面的驾驶员行为预警系统，包含多种违规危险行为分析方法，复杂背景环境仍能够有较好的表现，对于背景和光照的鲁棒性较强。

附图说明

图1为本发明系统结构示意图；

图2为本发明方法流程图。

具体实施方式

本实施例中，如图1所示，一种驾驶员多种行为预警系统组成包括：视频采集模块、关键部位定位模块、行为识别模块、视线分析模块、驾驶员状态预警模块和离线训练模块；

离线训练模块用于对驾驶员的人脸部关键部位正样本和人脸部非关键部位负样本进行离线训练，获得混合定位模型；人脸部关键部位正样本包括：人脸正样本、眼部正样本、嘴部正样本；离线训练模块还用于对驾驶员的三种行为样本进行离线训练，依次获得三种分类模型；三种行为样本包括：眼部闭眼正样本和眼部睁眼负样本、嘴部张嘴正样本和嘴部闭嘴负样本、以及抽烟正样本和没有抽烟负样本；三种分类模型包括眼睛疲劳分类模型、哈欠分类模型、以及抽烟分类模型；

视频采集模块用于采集驾驶员的视频图片集合；

关键部位定位模块提取视频图片集合的每帧视频图片的视觉特征参数，并通过混合定位模型得到每帧视频图片中驾驶员的人脸部关键部位的位置信息和区域图片；人脸部关键部位包括：人脸、眼部和嘴部；

行为识别模块根据嘴部区域图片进行平移获得抽烟区域图片；再提取眼部区域图片、嘴部区域图片和抽烟区域图片的视觉特征参数，并分别输入三种分类模型中，获得三种行为识别结果的返回值；三种行为识别结果的返回值包括：睁眼区域图片、闭嘴区域图片和没有抽烟区域图片的返回值为0；闭眼区域图片、张嘴区域图片和抽烟区域图片的返回值为1；

视线分析模块对驾驶员的人脸区域图片进行归一化处理后再对称分割获得左脸区域图片和右脸区域图片，提取左脸区域图片和右脸区域图片的视觉特征向量并进行脸部是否偏离正前方分析，获得正脸和侧脸识别结果的返回值；正脸和侧脸识别结果的返回值包括：正脸区域图片的返回值为0；侧脸区域图片的返回值为1；

驾驶员状态预警模块对三种行为识别结果以及正脸和侧脸识别结果分别进行预警，并对对三种行为识别结果以及正脸和侧脸识别结果进行决策融合，获得驾驶员的危险评估结果。

如图2所示，一种驾驶员多种行为预警系统的危险评估按如下步骤进行：

步骤1、离线训练获得混合定位模型和三种分类模型：

步骤1.1、对驾驶员的人脸部关键部位正样本和人脸部非关键部位负样本进行离线训练，获得混合定位模型；本实施例中，所用的混合定位模型可以通过提取haar特征训练adaboost级联分类器；

步骤1.2、对驾驶员的眼部闭眼正样本和眼部睁眼负样本进行离线训练，获得眼睛疲劳分类模型；

步骤1.3、对驾驶员的嘴部张嘴正样本和嘴部闭嘴负样本进行离线训练，获得哈欠分类模型；

步骤1.4、对驾驶员的抽烟正样本和没有抽烟负样本进行离线训练，获得抽烟分类模型；本实施例中，所用的分类模型都可以通过提取样本的hog特征训练svm分类模型；

步骤2、获取驾驶员连续的视频图片集合，记为M＝{m₁,m₂,…,m_i,…,m_n}；m_i表示视频图片集合M中第i帧视频图片；1≤i≤m；

步骤3、提取第i帧视频图片m_i的视觉特征参数，并输入混合定位模型获得第i帧视频图片m_i的人脸部关键部位的位置信息P_i和区域图片Q_i；并有： 表示人脸位置信息；表示眼部位置信息；表示嘴部位置信息；表示人脸区域图片；表示眼部区域图片；表示嘴部区域图片；

在实施例中，可以通过先定位驾驶员人脸位置信息并得到驾驶员人脸区域图片，再在所得的人脸区域图片中通过adaboost分类器定位眼部位置信息和嘴部位置信息，并获得眼部区域图片和嘴部区域图片；

步骤4、根据嘴部区域图片进行向左或向右的位置平移，获得抽烟区域图片

步骤5、提取眼部区域图片嘴部区域图片和抽烟区域图片的视觉特征参数并分别输入眼睛疲劳分类模型、哈欠分类模型和抽烟分类模型获得三种行为识别结果r_i；并有 表示眼睛疲劳分类模型的识别结果；并有：表示眼部区域图片为睁眼区域图片；表示眼部区域图片为闭眼区域图片；表示哈欠分类模型的识别结果；并有：表示嘴部区域图片为闭嘴区域图片；表示嘴部区域图片为张嘴区域图片；表示说抽烟分类模型的识别结果；并有：表示抽烟区域图片为没有抽烟区域图片；表示抽烟区域图片为抽烟区域图片；

步骤6、对人脸区域图片进行归一化处理后再对称分割获得左脸区域图片和右脸区域图片分别提取左脸区域图片和右脸区域图片的视觉特征，获得左脸视觉特征向量A⁽ⁱ⁾和右脸视觉特征向量B⁽ⁱ⁾；对左脸视觉特征向量A⁽ⁱ⁾和右脸视觉特征向量B⁽ⁱ⁾进行降维处理获得左脸特征向量a⁽ⁱ⁾和右脸特征向量b⁽ⁱ⁾；

本实施例中，对归一化的左右人脸提取LBP特征，分别降维成两个59维向量，然后计算对应的向量值相减的绝对值累加和；

步骤7、利用式(1)进行脸部是否偏离正前方分析，获得人脸偏转系数K_i：

$K_i=\underset{j=1}{\overset{l}{\mathrm{\Σ}}}\left(\right|a_j^{\left(i\right)}-b_j^{\left(i\right)}\left|\right)---\left(1\right)$

式(1)中，表示左脸特征向量a⁽ⁱ⁾中第j个元素；表示右脸特征向量b⁽ⁱ⁾中第j个元素；

步骤8、若人脸偏转系数K_i小于所设定的阈值时，则表示人脸区域图片的识别结果为正脸区域图片；记为否则表示人脸区域图片的识别结果为侧脸区域图片；记为从而获得第i帧视频图片m_i的识别结果

步骤9、重复步骤3-步骤8，从而获得n帧视频图片的识别结果R＝{r⁽¹⁾,r⁽²⁾,...,r⁽ⁱ⁾,...,r⁽ⁿ⁾}；

步骤10、利用式(2)获得识别结果频率F_σ：

$F_{\mathrm{\σ}}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{r_{\mathrm{\σ}}^{\left(i\right)}}{n}---\left(2\right)$

式(2)中，σ∈(e,m,c,f)；并有F_σ＝{F_e,F_m,F_c,F_f}；F_e表示眼部区域识别结果频率；F_m表示嘴部区域识别结果频率；F_c表示抽烟区域识别结果频率；F_f表示人脸区域识别结果频率；

具体实施中，将监控视频的每帧通过对应分类型模型后的返回值进行累加计数。第一次闭眼之后的连续50帧内检测到超过25帧处于闭眼状态大于阈值0.5，则判定为闭眼并报警。第一次张嘴之后的连续75帧内检测到超过50帧张嘴(大嘴)状态大于阈值0.67，则判定为打哈欠并报警；有抽烟行为之后的连续300帧内检测到超过150帧处于抽烟状态大于阈值0.5，则判定为抽烟并报警；第一次检测到正脸(或检测不到人脸)之后的连续60帧之内检测到超过35帧正脸(检测不到人脸)状态大于阈值0.58，则判定为驾驶员视线偏离并报警；

步骤11、将眼部区域识别结果频率F_e与所设定的眼部阈值进行比较，若超出眼部阈值，则令F_e'＝1，表示眼部疲劳并进行预警；否则，令F_e'＝0，表示眼部正常；

将嘴部区域识别结果频率F_m与所设定的嘴部阈值进行比较，若超出嘴部阈值，则令F_m'＝1，表示嘴部张嘴为打哈欠并进行预警；否则，令F_m'＝0，表示嘴部闭合；

将抽烟区域识别结果频率F_c与所设定的抽烟阈值进行比较，若超出抽烟阈值，则令F_c'＝1，表示在抽烟并进行预警；否则，令F_c'＝0，表示未抽烟；

将人脸区域识别结果频率F_f与所设定的人脸阈值进行比较，若超出人脸阈值，则令F_f'＝1，表示侧脸并进行预警；否则，令F_f'＝0，表示正脸；从而获得预警结果列表F_σ'＝{F_e',F_m',F_c',F_f'}；

步骤12、利用式(3)对预警结果F_σ'进行决策融合，获得危险评估结果danger：

danger＝k_eF_e'+k_mF_m'+k_cF_c'+k_fF_f'   (3)

式(3)中，k_e、k_m、k_c、k_f分别表示所设定的危险系数；并有：k_e+k_m+k_c+k_f＝1。在这里，根据行为的危险程度设定危险系数，危险程度越大的，所设危险系数越大。

Claims (2)

1.一种驾驶员多种行为预警系统，其特征是包括：视频采集模块、关键部位定位模块、行为识别模块、视线分析模块、驾驶员状态预警模块和离线训练模块；

所述离线训练模块用于对驾驶员的人脸部关键部位正样本和人脸部非关键部位负样本进行离线训练，获得混合定位模型；所述人脸部关键部位正样本包括：人脸正样本、眼部正样本、嘴部正样本；所述离线训练模块还用于对驾驶员的三种行为样本进行离线训练，依次获得三种分类模型；所述三种行为样本包括：眼部闭眼正样本和眼部睁眼负样本、嘴部张嘴正样本和嘴部闭嘴负样本、以及抽烟正样本和没有抽烟负样本；所述三种分类模型包括眼睛疲劳分类模型、哈欠分类模型、以及抽烟分类模型；

所述视频采集模块用于采集驾驶员的视频图片集合；

所述关键部位定位模块提取所述视频图片集合的每帧视频图片的视觉特征参数，并通过所述混合定位模型得到所述每帧视频图片中驾驶员的人脸部关键部位的位置信息和区域图片；所述人脸部关键部位包括：人脸、眼部和嘴部；

所述行为识别模块根据所述嘴部区域图片进行平移获得抽烟区域图片；再提取所述眼部区域图片、嘴部区域图片和抽烟区域图片的视觉特征参数，并分别输入所述三种分类模型中，获得三种行为识别结果的返回值；所述三种行为识别结果的返回值包括：睁眼区域图片、闭嘴区域图片和没有抽烟区域图片的返回值为0；闭眼区域图片、张嘴区域图片和抽烟区域图片的返回值为1；

所述视线分析模块对所述驾驶员的人脸区域图片进行归一化处理后再对称分割获得左脸区域图片和右脸区域图片，提取所述左脸区域图片和右脸区域图片的视觉特征向量并进行脸部是否偏离正前方分析，获得正脸和侧脸识别结果的返回值；所述正脸和侧脸识别结果的返回值包括：正脸区域图片的返回值为0；侧脸区域图片的返回值为1；

所述驾驶员状态预警模块对所述三种行为识别结果以及所述正脸和侧脸识别结果分别进行预警，并对对所述三种行为识别结果以及所述正脸和侧脸识别结果进行决策融合，获得驾驶员的危险评估结果。

2.一种利用权利要求1所述的驾驶员多种行为预警系统的危险评估方法，其特征是如下步骤进行：

步骤1、离线训练获得混合定位模型和三种分类模型：

步骤1.1、对驾驶员的人脸部关键部位正样本和人脸部非关键部位负样本进行离线训练，获得混合定位模型；

步骤1.2、对驾驶员的眼部闭眼正样本和眼部睁眼负样本进行离线训练，获得眼睛疲劳分类模型；

步骤1.3、对驾驶员的嘴部张嘴正样本和嘴部闭嘴负样本进行离线训练，获得哈欠分类模型；

步骤1.4、对驾驶员的抽烟正样本和没有抽烟负样本进行离线训练，获得抽烟分类模型；

步骤2、获取驾驶员连续的视频图片集合，记为M＝{m₁,m₂,…,m_i,…,m_n}；m_i表示所述视频图片集合M中第i帧视频图片；1≤i≤m；

步骤3、提取所述第i帧视频图片m_i的视觉特征参数，并输入所述混合定位模型获得第i帧视频图片m_i的人脸部关键部位的位置信息P_i和区域图片Q_i；并有： 表示人脸位置信息；表示眼部位置信息；表示嘴部位置信息；表示人脸区域图片；表示眼部区域图片；表示嘴部区域图片；

步骤4、根据所述嘴部区域图片进行向左或向右的位置平移，获得抽烟区域图片

步骤5、提取所述眼部区域图片嘴部区域图片和抽烟区域图片的视觉特征参数并分别输入所述眼睛疲劳分类模型、哈欠分类模型和抽烟分类模型获得三种行为识别结果r_i；并有 表示所述眼睛疲劳分类模型的识别结果；并有：表示所述眼部区域图片为睁眼区域图片；表示所述眼部区域图片为闭眼区域图片；表示所述哈欠分类模型的识别结果；并有：表示所述嘴部区域图片为闭嘴区域图片；表示所述嘴部区域图片为张嘴区域图片；表示所述说抽烟分类模型的识别结果；并有：表示所述抽烟区域图片为没有抽烟区域图片；表示所述抽烟区域图片为抽烟区域图片；

步骤6、对所述人脸区域图片进行归一化处理后再对称分割获得左脸区域图片和右脸区域图片分别提取所述左脸区域图片和右脸区域图片的视觉特征，获得左脸视觉特征向量A⁽ⁱ⁾和右脸视觉特征向量B⁽ⁱ⁾；对所述左脸视觉特征向量A⁽ⁱ⁾和右脸视觉特征向量B⁽ⁱ⁾进行降维处理获得左脸特征向量a⁽ⁱ⁾和右脸特征向量b⁽ⁱ⁾；

步骤7、利用式(1)进行脸部是否偏离正前方分析，获得人脸偏转系数K_i：

$K_i=\underset{j=1}{\overset{l}{\mathrm{\Σ}}}\left(\right|a_j^{\left(i\right)}-b_j^{\left(i\right)}\left|\right)---\left(1\right)$

式(1)中，表示所述左脸特征向量a⁽ⁱ⁾中第j个元素；表示所述右脸特征向量b⁽ⁱ⁾中第j个元素；

步骤8、若所述人脸偏转系数K_i小于所设定的阈值时，则表示所述人脸区域图片的识别结果为正脸区域图片；记为否则表示所述人脸区域图片的识别结果为侧脸区域图片；记为从而获得第i帧视频图片m_i的识别结果

步骤9、重复步骤3-步骤8，从而获得n帧视频图片的识别结果R＝{r⁽¹⁾,r⁽²⁾,...,r⁽ⁱ⁾,...,r⁽ⁿ⁾}；

步骤10、利用式(2)获得识别结果频率F_σ：

$F_{\mathrm{\σ}}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{r_{\mathrm{\σ}}^{\left(i\right)}}{n}---\left(2\right)$

式(2)中，σ∈(e,m,c,f)；并有F_σ＝{F_e,F_m,F_c,F_f}；F_e表示眼部区域识别结果频率；F_m表示嘴部区域识别结果频率；F_c表示抽烟区域识别结果频率；F_f表示人脸区域识别结果频率；

步骤11、将眼部区域识别结果频率F_e与所设定的眼部阈值进行比较，若超出所述眼部阈值，则令F_e'＝1，表示眼部疲劳并进行预警；否则，令F_e'＝0，表示眼部正常；

将嘴部区域识别结果频率F_m与所设定的嘴部阈值进行比较，若超出所述嘴部阈值，则令F_m'＝1，表示嘴部张嘴为打哈欠并进行预警；否则，令F_m'＝0，表示嘴部闭合；

将抽烟区域识别结果频率F_c与所设定的抽烟阈值进行比较，若超出所述抽烟阈值，则令F_c'＝1，表示在抽烟并进行预警；否则，令F_c'＝0，表示未抽烟；

将人脸区域识别结果频率F_f与所设定的人脸阈值进行比较，若超出所述人脸阈值，则令F_f'＝1，表示侧脸并进行预警；否则，令F_f'＝0，表示正脸；从而获得预警结果列表F_σ'＝{F_e',F_m',F_c',F_f'}；

步骤12、利用式(3)对所述预警结果F_σ'进行决策融合，获得危险评估结果danger：

danger＝k_eF_e'+k_mF_m'+k_cF_c'+k_fF_f'     (3)

式(3)中，k_e、k_m、k_c、k_f分别表示所设定的危险系数；并有：k_e+k_m+k_c+k_f＝1。