CN108372785A - 一种基于图像识别的汽车非安全驾驶检测装置及检测方法 - Google Patents

Abstract

本发明提供了一种基于图像识别的汽车非安全驾驶检测装置及检测方法，装置包括车辆状态检测系统、图像处理系统、第二判断系统以及控制系统，方法为：收集驾驶员处于疲劳状态以及醉酒状态下的面部图像形成表情库；对汽车状态进行检测，根据条件触发图像处理系统或控制系统；对驾驶员面部图像进行分析，根据驾驶员面部特征图像与表情库面部特征图像相似度选择触发控制系统或第二判断系统；第二判断系统采集驾驶室内物理信息，若判断驾驶员此时处于“非安全驾驶状态”则触发控制系统；控制系统启动根据“非安全驾驶状态”的不同对车辆进行相应的控制，报警器发出语音提示；本发明能对可能发生的交通事故预警，有效避免交通事故发生。

Description

一种基于图像识别的汽车非安全驾驶检测装置及检测方法

技术领域

本发明属于汽车安全设备领域，涉及一种基于图像识别的汽车非安全驾驶检测装置及检测方法。

背景技术

随着汽车工业的迅猛发展,汽车用户的保有量以较快的速度逐年增长。汽车安全问题是汽车最基本的也是最重要的性能。虽然随着汽车技术的不断成熟与发展，汽车的安全保护装置不断完备。

现阶段的汽车安全技术大多数采用汽车被动安全技术，通过乘员安全保护装置诸如车身结构、座椅安全带、安全气囊、吸能式转向柱等，在汽车碰撞事故发生时对乘员进行保护,使其避免或减轻碰撞伤害以提高乘员被动安全。汽车被动安全技术虽能有效减轻车辆乘员所受的伤害，但却只能在交通事故发生之时减轻伤害，不能从根源上降低交通事故以及人身伤害的产生。

交通事故产生的原因从根本上来说是驾驶员的安全意识不足，诸如疲劳驾驶、醉驾、酒驾等等，总而言之，提高驾驶员的安全意识、避免驾驶员的不安全驾驶行为，是从根本上提高驾驶安全性的途径。

现阶段有许多专利针对驾驶员状态进行检测，如专利号为201610633115.3 的专利中提供了一种非安全驾驶状态的提醒方法及系统,感测驾驶者作用于方向盘上的握力值；判断是否感测到的所述握力值小于预先确定的该驾驶者的握力阈值并且持续预设时长；若是,则确定所述驾驶者处于非安全驾驶状态并进行提醒。专利号为201410677202.X的专利中提供了一种汽车驾驶员防瞌睡方法及装置，该汽车驾驶员防瞌睡方法通过采集行驶速度、行驶角度和汽车驾驶员的运动频率,并分别与对应的预设值进行比较,如果小于预设值,则判断驾驶员在打瞌睡,则提醒驾驶员,去除其困意。

但是这些装置或方法都只针对一种“非安全驾驶状态”且判断方式不准确，存在不全面不完善等缺点。由此，本发明提出了一种基于图像识别的汽车非安全驾驶检测装置及方法，通过图像识别技术判断驾驶员所处驾驶状态，能有效避免驾驶员的一切“非安全驾驶”行为，避免交通事故的产生。

发明内容

本发明提供了一种基于图像识别的汽车非安全驾驶检测装置及检测方法，本发明的主要目的有如下几点：1.提高驾驶员的安全驾驶意识，从根源上减少交通事故的产生；2.判断驾驶员的驾驶状态，避免“非安全驾驶”状态的发生； 3.提供对可能发生的交通事故的事先的预警，引起驾驶员、乘员以及附近车辆行人的注意，有效避免交通事故的发生。

本发明是采用如下技术方案实现的：

本发明提供了一种基于图像识别的汽车非安全驾驶检测装置，其特征在于，包括车辆状态检测系统、图像处理系统、第二判断系统以及控制系统，上述各系统均与汽车ECU相连；

车辆状态检测系统包括车辆自身的速度传感器以及一个酒精探测仪，酒精探测仪设于驾驶室上方；

图像处理系统包括图像输入单元与图像处理单元，图像输入单元包括两个微型CCD摄像头，两个微型CCD摄像头分别设置于车内左侧A柱中部和车内右侧A柱中部，图像处理单元为一个图形处理器；

第二判断系统包括声级计、语音提示器以及按键；声级计带有频谱分析功能，声级计位于左侧A柱中部的微型CCD摄像头的下方；语音提示器位于仪表盘处；按键位于方向盘盘辐上；

控制系统包括方向盘控制器、速度控制器以及报警器，报警器分为车内报警器以及车外报警器，车内报警器设于驾驶室仪表盘处，车外报警器设于车身外部的车顶处。

本发明提供了一种基于图像识别的汽车非安全驾驶检测方法，其特征在于，具体步骤如下：

步骤(一)建立表情库：收集驾驶员处于疲劳状态以及醉酒状态下的面部图像，将面部图像分别汇总形成疲劳状态表情库以及醉酒状态表情库，将疲劳状态表情库以及醉酒状态表情库统称为表情库，并将表情库存入汽车ECU中，将表情库中的各面部图像称为预设驾驶员面部特征图像；此外，定义本方法中的“非安全驾驶状态”为疲劳驾驶和酒驾；

步骤(二)车辆状态检测系统对汽车状态进行检测，满足条件1时，触发图像处理系统，满足条件2时，直接触发控制系统；

步骤(三)图像处理系统对驾驶员过去时间段T内的面部图像进行采集、预处理以及相似度分析，当驾驶员面部特征图像与预设驾驶员面部特征图像相似度满足条件3时,触发控制系统，当驾驶员面部特征图像与预设驾驶员面部特征图像相似度满足条件4时,触发第二判断系统；

步骤(四)第二判断系统采集驾驶室内的相关物理信息，并将采集到的驾驶室内数据与预设值进行综合判断，进一步判断此时驾驶员所处驾驶状态，若判断驾驶员此时处于“非安全驾驶状态”则触发控制系统；

步骤(五)控制系统启动，控制系统根据“非安全驾驶状态”的不同对车辆进行相应的控制，同时，车内报警器发出语音提示，警示驾驶员安全驾驶，同时，车外报警器发出警报警示后方的车辆；

其中，

步骤(二)具体过程为：

速度传感器检测汽车行驶速度，当速度传感器检测到车辆处于起步状态或行驶状态时,酒精探测仪检测驾驶室内酒精含量，速度传感器检测此时的汽车行驶速度以及汽车行驶速度波动频率，当车辆行驶状态处于不正常范围内即满足条件1其中之一时，发送一电信号至图像处理系统，触发图像处理系统；

若汽车行驶车速波动过大，即满足条件2时，如急刹车、猛踩油门等，直接触发控制系统；

其中，条件1为：

v>v₁

(±20km/h)≤△v<(±30km/h)

c>0

条件2为：

△v≥35km/h

式中，v为汽车行驶速度；v₁为汽车行驶速度预设值；取最高限速的95％作为汽车行驶速度预设值，即v₁＝120×95％＝114km/h，△v为汽车在3s内的速度变化量；c为驾驶室内酒精浓度；

步骤(三)具体过程为：

a、图像获取

微型CCD摄像头采集驾驶员过去时间段T内的面部图像，称为驾驶员面部特征图像，T＝2s；

b、图像预处理

将驾驶员面部特征图像以及表情库中的预设驾驶员面部特征图像进行去噪处理、裁剪去除边框以及灰度化处理，并将驾驶员面部特征图像以及表情库中的预设驾驶员面部特征图像的大小和灰度进行归一化处理，将特征图像统一归一化为I×I像素，且满足I＝m×n，其中，2≤n≤6，m为合数，I的具体数值可根据微型CCD摄像头清晰度大小以及特征图像处理的精度要求决定；

c、图像特征提取

采用HOG特征提取方法提取驾驶员面部特征图像以及预设驾驶员面部特征图像的特征向量；

1)采用gamma校正法对驾驶员面部特征图像以及预设驾驶员面部特征图像进行颜色空间的标准化；

2)计算驾驶员面部特征图像以及预设驾驶员面部特征图像每个像素的梯度，包括大小和方向；

3)将驾驶员面部特征图像以及预设驾驶员面部特征图像划分成多个n×n单元格；

4)作出每个n×n单元格的梯度直方图，根据每个n×n单元格的梯度直方图，即可形成每个n×n单元格的特征向量；

5)采用先从左至右、再从上至下选取的原则，将每k个n×n单元格组成一个图像块，k为m的除一之外的最小约数，一个图像块内所有的n×n单元格特征串联起来便得到该图像块的HOG特征向量，设驾驶员面部特征图像上第i个图像块以及预设驾驶员面部特征图像上第j个图像块的HOG特征向量分别为

6)将所有图像块的特征向量串联起来，得到驾驶员面部特征图像和预设驾驶员面部特征图像的HOG特征向量，分别为

d、计算图像相似度

计算驾驶员面部特征图像和预设驾驶员面部特征图像之间的相似度：

计算驾驶员面部特征图像上第i个图像块以及预设驾驶员面部特征图像上第j个图像块间的相似度，计算公式如下：

其中，S₁为驾驶员面部特征图像和预设驾驶员面部特征图像的相似度，P为驾驶员面部特征图像上第i个图像块和预设驾驶员面部特征图像上第j个图像块间的相似度，余弦值越大，则表示图像块或图像越相似，若图像块或图像完全一致，则余弦值为1；

其次，构建相似矩阵S，令相似矩阵S中的第i行、第j列元素S_ij表示驾驶员面部特征图像上第i个图像块与预设驾驶员面部特征图像上第j个图像块之间的相似度，其中S_ij＝P；

基于相似矩阵自适应加权计算图像相似度：

其中，S₂为驾驶员面部特征图像和预设驾驶员面部特征图像间的图像相似度；w_i为驾驶员面部特征图像和预设驾驶员面部特征图像相同位置的图像块相似度的权重；

根据前两步计算出来的图像相似度，采用加权平均计算最终的图像相似度

取最高的相似度值作为最终相似度根据与驾驶员面部特征图像相似度最高的预设驾驶员面部特征图像所处的表情库判断驾驶员具体处于哪一种“非安全驾驶”状态；

当即满足条件3时认为特征基本匹配，驾驶员处于“非安全驾驶”状态，触发控制系统；

当即满足条件4时认为两图像相似，但需进行进一步的判断；

当认为两图像不匹配度，驾驶员处于安全驾驶状态。

步骤(四)具体过程为：

当满足条件4时，触发第二判断系统；

a、若初步判定驾驶员“非安全驾驶”状态为疲劳驾驶，语音提示：“请按规定按下按键M次”，M随机选取且满足M≤5；

若驾驶员在规定时间t内完成了相应的按键次数操作，则视为驾驶员没有处于疲劳驾驶状态；若驾驶员在规定时间内没有完成相应的按键次数操作，则视为驾驶员处于疲劳驾驶状态，触发控制系统；取t≤5s；

b、若初步判定驾驶员“非安全驾驶”状态为酒驾，采用声级计检测驾驶员的声音振幅频率，当满足条件5其中之一时，触发控制系统；

其中，条件5为：

T>T′

H>H′

式中，T为驾驶室内声音音调，T′为驾驶室内声音音调预设值，H为驾驶室内声音响度，H′为驾驶室内声音响度预设值；

其中，驾驶员提前测试自己正常说话时的音调、响度，分别测试五次并且取平均值，得到驾驶室内声音音调预设值T′以及驾驶室内声音响度预设值H′：

步骤(五)具体过程为：

a、若判断为疲劳驾驶，方向盘控制器控制方向盘振动，车内报警器语音警示驾驶员“请勿疲劳驾驶”；

继续采集驾驶员面部特征图像，并进行图像相似度计算，若驾驶员不再处于疲劳驾驶状态，解除方向盘振动、解除语音警示，若驾驶员仍处于疲劳驾驶状态，加大方向盘振动频率，加大语音警示音量，速度控制器对车辆进行限速；

重复图像采集、处理过程直到判定驾驶员不再处于疲劳驾驶状态；

b、若判断为酒驾，车内报警器语音警示驾驶员“请勿酒驾”，若驾驶员不进行停车动作，则速度控制器控制汽车车速为零，在汽车刚起步时逼停汽车。

与现有技术相比本发明的有益效果是：

1.本发明打破以往的被动车辆保护技术，针对驾驶员安全驾驶问题，从主动预防出发以达到安全保护的目的，相比较以往的被动保护技术更加的稳妥可靠，从根源上杜绝引发交通事故的因素；

2.本发明通过监测车辆的行驶速度、速度波动频率以及驾驶室内酒精含量初步判断驾驶员是否处于安全驾驶状态，初步判断不安全之后才触发图像处理系统，减小了图像处理系统的运行负担；

3.本发明通过监测车辆的行驶速度以及速度波动频率初步判断驾驶员是否处于安全驾驶状态，若汽车行驶车速波动过大，如急刹车、猛踩油门等，可直接触发预警系统，避免了进一步判断而产生的时间浪费；

4.本发明采用图像识别技术监测驾驶员的驾驶状态，能同时防止驾驶员疲劳驾驶和醉驾、酒驾以及其他兴奋驾驶状态，不仅做到了“一物多用”，同时也避免了繁琐的判断流程以及复杂的判断装置，简单可靠；

5.本发明将图像划分为多个小的单元格进行图像特征向量的提取，并采用图像块进行图像相似度计算，降低了相似度计算的误差，提高了计算的精度与准确度；

6.本发明在图像识别的基础上加入第二判断系统，当相似度不高时检测驾驶员的声音振幅和频率，对驾驶员的状态进行进一步的准确判断，避免由于图像识别误差导致的错误判断，提高了系统的准确度；

7.第二判断系统根据图像处理系统的初步判断，针对性的对疲劳驾驶和酒驾制定了不同的判断方案，提高了判断的准确性；

8.判定完毕后，本发明针对不同的“非安全驾驶状态”制定了不同的解决方案，对于疲劳驾驶：采取振动方向盘、语音警示以及限速措施，且随着时间的延长加大振动频率以及语音警示的音量，对于酒驾而言，能够做到在驾驶员起步之后马上判断出驾驶员是否酒驾，并且使汽车无法起步。

附图说明

下面结合附图对本发明作进一步的说明：

图1为本发明所述的一种基于图像识别的汽车非安全驾驶检测装置的结构示意图；

图2为本发明所述的一种基于图像识别的汽车非安全驾驶检测方法的流程示意图；

图3为本发明所述的一种基于图像识别的汽车非安全驾驶检测方法的图像处理流程示意图。

具体实施方式

下面结合附图对本发明作详细的描述：

本发明提供一种基于图像识别的汽车非安全驾驶检测装置及方法，采用图像识别技术，对车辆乘员进行酒驾等非安全驾驶状态检测，同时预判紧急情况并进行控制。

本发明提供一种基于图像识别的汽车非安全驾驶检测装置，包括车辆状态检测系统、图像处理系统、第二判断系统以及控制系统，且上述各系统均与汽车ECU相连。其中，所述车辆状态检测系统，用于检测车辆运动状态并初步判断驾驶员状态；所述图像处理系统，用于输入、处理驾驶员面部图像信息并进行图像相似度计算；所述第二判断系统，用于在图像处理系统的基础上对驾驶员状态进行进一步的判断；所述控制系统，用于针对不同的“非安全驾驶状态”进行相应的处理。

车辆状态检测系统包括车辆自身的速度传感器以及一个酒精探测仪，酒精探测仪设于驾驶室上方。

图像处理系统包括图像输入单元与图像处理单元，图像输入单元包括两微型CCD摄像头，两个微型CCD摄像头分别设置于车内左侧A柱中部和车内右侧A 柱中部，图像处理单元为一个图形处理器；微型CCD摄像头采集驾驶员面部信息图像并传送至图像处理单元，图形处理器中写有相应的处理算法对驾驶员面部图像进行图像处理。

第二判断系统包括声级计、语音提示器以及按键；声级计带有频谱分析功能，位于左侧A柱中部的微型CCD摄像头的下方；语音提示器位于仪表盘处；按键位于方向盘盘辐上；

控制系统包括方向盘控制器、速度控制器以及报警器，报警器分为车内报警器以及车外报警器，车内报警器设于驾驶室仪表盘处，车外报警器设于车身外部的车顶处。

装置具体结构如图1所示。

本发明还提供了一种基于图像识别的汽车非安全驾驶检测方法，具体步骤如下：

步骤(一)建立表情库：收集驾驶员处于疲劳状态以及醉酒状态下的面部图像，将面部图像分别汇总形成疲劳状态表情库以及醉酒状态表情库，将疲劳状态表情库以及醉酒状态表情库统称为表情库，并将表情库存入汽车ECU中，将表情库中的各面部图像称为预设驾驶员面部特征图像；此外，定义本方法中的“非安全驾驶状态”为疲劳驾驶和酒驾；

步骤(二)车辆状态检测系统对汽车状态进行检测，满足条件1时，触发图像处理系统，满足条件2时，直接触发控制系统；

步骤(三)图像处理系统对驾驶员过去时间段T内的面部图像进行采集、预处理以及相似度分析，当驾驶员面部特征图像与预设驾驶员面部特征图像相似度满足条件3时,触发控制系统，当驾驶员面部特征图像与预设驾驶员面部特征图像相似度满足条件4时,触发第二判断系统；

步骤(四)第二判断系统采集驾驶室内的相关物理信息，并将采集到的驾驶室内数据与预设值进行综合判断，进一步判断此时驾驶员所处驾驶状态，若判断驾驶员此时处于“非安全驾驶状态”则触发控制系统；

步骤(五)控制系统启动，控制系统根据“非安全驾驶状态”的不同对车辆进行相应的控制，同时，车内报警器发出语音提示，警示驾驶员安全驾驶，同时，车外报警器发出警报警示后方的车辆；

流程图如图2所示。

其中：

步骤(二)具体过程为：

速度传感器检测汽车行驶速度，当速度传感器检测到车辆处于起步状态或行驶状态时,酒精探测仪检测驾驶室内酒精含量，速度传感器检测此时的汽车行驶速度以及汽车行驶速度波动频率，当车辆行驶状态处于不正常范围内即满足条件1其中之一时，发送一电信号至图像处理系统，触发图像处理系统；

若汽车行驶车速波动过大，即满足条件2时，如急刹车、猛踩油门等，直接触发控制系统；

其中，条件1为：

v>v₁

(±20km/h)≤△v<(±30km/h)

c>0

条件2为：

△v≥35km/h

式中，v为汽车行驶速度；v₁为汽车行驶速度预设值；取最高限速的95％作为汽车行驶速度预设值，即v₁＝120×95％＝114km/h，△v为汽车在3s内的速度变化量；c为驾驶室内酒精浓度；

步骤(三)具体过程为：

a、图像获取

微型CCD摄像头采集驾驶员过去时间段T内的面部图像，称为驾驶员面部特征图像，T＝2s；

b、图像预处理

将驾驶员面部特征图像以及表情库中的预设驾驶员面部特征图像进行去噪处理、裁剪去除边框以及灰度化处理，并将驾驶员面部特征图像以及表情库中的预设驾驶员面部特征图像的大小和灰度进行归一化处理，将特征图像统一归一化为I×I像素，且满足I＝m×n，其中，2≤n≤6，m为合数，I的具体数值可根据微型CCD摄像头清晰度大小以及特征图像处理的精度要求决定。

图像预处理的目的是:改善图像质量，消除噪声，统一图像灰度值及尺寸，为后序特征提取和分类识别打好基础。

c、图像特征提取

采用HOG特征提取方法提取驾驶员面部特征图像以及预设驾驶员面部特征图像的特征向量。

1)采用gamma校正法对驾驶员面部特征图像以及预设驾驶员面部特征图像进行颜色空间的标准化。目的是调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪声的干扰。

2)计算驾驶员面部特征图像以及预设驾驶员面部特征图像每个像素的梯度，包括大小和方向；

3)将驾驶员面部特征图像以及预设驾驶员面部特征图像划分成多个n×n单元格；

4)作出每个n×n单元格的梯度直方图，根据每个n×n单元格的梯度直方图，即可形成每个n×n单元格的特征向量；

5)采用先从左至右、再从上至下选取的原则，将每k个n×n单元格组成一个图像块，k为m的除一之外的最小约数，一个图像块内所有的n×n单元格特征串联起来便得到该图像块的HOG特征向量，设驾驶员面部特征图像上第i个图像块以及预设驾驶员面部特征图像上第j个图像块的HOG特征向量分别为

6)将所有图像块的特征向量串联起来，得到驾驶员面部特征图像和预设驾驶员面部特征图像的HOG特征向量，分别为

d、计算图像相似度

计算驾驶员面部特征图像和预设驾驶员面部特征图像之间的相似度：

此外，驾驶员面部特征图像和预设驾驶员面部特征图像之间的相似度可以通过对应图像块的相似度来反映，而图像块之间的相似程度可以通过特征向量之间的夹角余弦表达。

计算驾驶员面部特征图像上第i个图像块以及预设驾驶员面部特征图像上第j个图像块间的相似度，计算公式如下：

其中，S₁为驾驶员面部特征图像和预设驾驶员面部特征图像的相似度，P为驾驶员面部特征图像上第i个图像块和预设驾驶员面部特征图像上第j个图像块间的相似度，余弦值越大，则表示图像块或图像越相似，若图像块或图像完全一致，则余弦值为1。

其次，构建相似矩阵S，令相似矩阵S中的第i行、第j列元素S_ij表示驾驶员面部特征图像上第i个图像块与预设驾驶员面部特征图像上第j个图像块之间的相似度，其中S_ij＝P。

相似矩阵是分析像对相似关系的媒介，通过分析相似矩阵中的数据分布，可定量计算像对的相似度数值，基于相似矩阵自适应加权计算图像相似度。

其中，S₂为驾驶员面部特征图像和预设驾驶员面部特征图像间的图像相似度；w_i为驾驶员面部特征图像和预设驾驶员面部特征图像相同位置的图像块相似度的权重。

根据前两步计算出来的图像相似度，采用加权平均计算最终的图像相似度

取最高的相似度值作为最终相似度根据与驾驶员面部特征图像相似度最高的预设驾驶员面部特征图像所处的表情库判断驾驶员具体处于哪一种“非安全驾驶”状态；

当即满足条件3时认为特征基本匹配，驾驶员处于“非安全驾驶”状态，触发控制系统；

当即满足条件4时认为两图像相似，但需进行进一步的判断；

当认为两图像不匹配度，驾驶员处于安全驾驶状态。

图像处理流程图如图3所示。

步骤(四)具体过程为：

由于图像相似度计算存在一定的误差，为了降低错误判断的概率，建立了第二判断系统，在图像处理系统的基础上进行进一步的准确判断，当满足条件4 时，触发第二判断系统；

b、若初步判定驾驶员“非安全驾驶”状态为疲劳驾驶，语音提示：“请按规定按下按键M次”，M随机选取且满足M≤5；

若驾驶员在规定时间t内完成了相应的按键次数操作，则视为驾驶员没有处于疲劳驾驶状态；若驾驶员在规定时间内没有完成相应的按键次数操作，则视为驾驶员处于疲劳驾驶状态，触发控制系统；取t≤5s；

b、若初步判定驾驶员“非安全驾驶”状态为酒驾，采用声级计检测驾驶员的声音振幅频率，当满足条件5其中之一时，触发控制系统；

其中，条件5为：

T>T′

H>H′

式中，T为驾驶室内声音音调，T′为驾驶室内声音音调预设值，H为驾驶室内声音响度，H′为驾驶室内声音响度预设值；

其中，驾驶员提前测试自己正常说话时的音调、响度，分别测试五次并且取平均值，得到驾驶室内声音音调预设值T′以及驾驶室内声音响度预设值H′：

步骤(五)具体过程为：

b、若判断为疲劳驾驶，方向盘控制器控制方向盘振动，车内报警器语音警示驾驶员“请勿疲劳驾驶”；

继续采集驾驶员面部特征图像，并进行图像相似度计算，若驾驶员不再处于疲劳驾驶状态，解除方向盘振动、解除语音警示，若驾驶员仍处于疲劳驾驶状态，加大方向盘振动频率，加大语音警示音量，速度控制器对车辆进行限速；

重复图像采集、处理过程直到判定驾驶员不再处于疲劳驾驶状态；

b、若判断为酒驾，车内报警器语音警示驾驶员“请勿酒驾”，若驾驶员不进行停车动作，则速度控制器控制汽车车速为零，在汽车刚起步时逼停汽车。

Claims (2)

1.一种基于图像识别的汽车非安全驾驶检测装置，其特征在于，包括车辆状态检测系统、图像处理系统、第二判断系统以及控制系统，上述各系统均与汽车ECU相连；

车辆状态检测系统包括车辆自身的速度传感器以及一个酒精探测仪，酒精探测仪设于驾驶室上方；

图像处理系统包括图像输入单元与图像处理单元，图像输入单元包括两个微型CCD摄像头，两个微型CCD摄像头分别设置于车内左侧A柱中部和车内右侧A柱中部，图像处理单元为一个图形处理器；

第二判断系统包括声级计、语音提示器以及按键；声级计带有频谱分析功能，声级计位于左侧A柱中部的微型CCD摄像头的下方；语音提示器位于仪表盘处；按键位于方向盘盘辐上；

控制系统包括方向盘控制器、速度控制器以及报警器，报警器分为车内报警器以及车外报警器，车内报警器设于驾驶室仪表盘处，车外报警器设于车身外部的车顶处。

2.一种基于图像识别的汽车非安全驾驶检测方法，其特征在于，具体步骤如下：

步骤(一)建立表情库：收集驾驶员处于疲劳状态以及醉酒状态下的面部图像，将面部图像分别汇总形成疲劳状态表情库以及醉酒状态表情库，将疲劳状态表情库以及醉酒状态表情库统称为表情库，并将表情库存入汽车ECU中，将表情库中的各面部图像称为预设驾驶员面部特征图像；此外，定义本方法中的“非安全驾驶状态”为疲劳驾驶和酒驾；

步骤(二)车辆状态检测系统对汽车状态进行检测，满足条件1时，触发图像处理系统，满足条件2时，直接触发控制系统；

步骤(三)图像处理系统对驾驶员过去时间段T内的面部图像进行采集、预处理以及相似度分析，当驾驶员面部特征图像与预设驾驶员面部特征图像相似度满足条件3时,触发控制系统，当驾驶员面部特征图像与预设驾驶员面部特征图像相似度满足条件4时,触发第二判断系统；

步骤(四)第二判断系统采集驾驶室内的相关物理信息，并将采集到的驾驶室内数据与预设值进行综合判断，进一步判断此时驾驶员所处驾驶状态，若判断驾驶员此时处于“非安全驾驶状态”则触发控制系统；

步骤(五)控制系统启动，控制系统根据“非安全驾驶状态”的不同对车辆进行相应的控制，同时，车内报警器发出语音提示，警示驾驶员安全驾驶，同时，车外报警器发出警报警示后方的车辆；

其中，

步骤(二)具体过程为：

速度传感器检测汽车行驶速度，当速度传感器检测到车辆处于起步状态或行驶状态时,酒精探测仪检测驾驶室内酒精含量，速度传感器检测此时的汽车行驶速度以及汽车行驶速度波动频率，当车辆行驶状态处于不正常范围内即满足条件1其中之一时，发送一电信号至图像处理系统，触发图像处理系统；

若汽车行驶车速波动过大，即满足条件2时，如急刹车、猛踩油门等，直接触发控制系统；

其中，条件1为：

v>v₁

(±20km/h)≤△v<(±30km/h)

c>0

条件2为：

△v≥35km/h

式中，v为汽车行驶速度；v₁为汽车行驶速度预设值；取最高限速的95％作为汽车行驶速度预设值，即v₁＝120×95％＝114km/h，△v为汽车在3s内的速度变化量；c为驾驶室内酒精浓度；

步骤(三)具体过程为：

a、图像获取

微型CCD摄像头采集驾驶员过去时间段T内的面部图像，称为驾驶员面部特征图像，T＝2s；

b、图像预处理

将驾驶员面部特征图像以及表情库中的预设驾驶员面部特征图像进行去噪处理、裁剪去除边框以及灰度化处理，并将驾驶员面部特征图像以及表情库中的预设驾驶员面部特征图像的大小和灰度进行归一化处理，将特征图像统一归一化为I×I像素，且满足I＝m×n，其中，2≤n≤6，m为合数，I的具体数值可根据微型CCD摄像头清晰度大小以及特征图像处理的精度要求决定；

c、图像特征提取

采用HOG特征提取方法提取驾驶员面部特征图像以及预设驾驶员面部特征图像的特征向量；

1)采用gamma校正法对驾驶员面部特征图像以及预设驾驶员面部特征图像进行颜色空间的标准化；

2)计算驾驶员面部特征图像以及预设驾驶员面部特征图像每个像素的梯度，包括大小和方向；

3)将驾驶员面部特征图像以及预设驾驶员面部特征图像划分成多个n×n单元格；

4)作出每个n×n单元格的梯度直方图，根据每个n×n单元格的梯度直方图，即可形成每个n×n单元格的特征向量；

5)采用先从左至右、再从上至下选取的原则，将每k个n×n单元格组成一个图像块，k为m的除一之外的最小约数，一个图像块内所有的n×n单元格特征串联起来便得到该图像块的HOG特征向量，设驾驶员面部特征图像上第i个图像块以及预设驾驶员面部特征图像上第j个图像块的HOG特征向量分别为

6)将所有图像块的特征向量串联起来，得到驾驶员面部特征图像和预设驾驶员面部特征图像的HOG特征向量，分别为

d、计算图像相似度

计算驾驶员面部特征图像和预设驾驶员面部特征图像之间的相似度：

计算驾驶员面部特征图像上第i个图像块以及预设驾驶员面部特征图像上第j个图像块间的相似度，计算公式如下：

其中，S₁为驾驶员面部特征图像和预设驾驶员面部特征图像的相似度，P为驾驶员面部特征图像上第i个图像块和预设驾驶员面部特征图像上第j个图像块间的相似度，余弦值越大，则表示图像块或图像越相似，若图像块或图像完全一致，则余弦值为1；

其次，构建相似矩阵S，令相似矩阵S中的第i行、第j列元素S_ij表示驾驶员面部特征图像上第i个图像块与预设驾驶员面部特征图像上第j个图像块之间的相似度，其中S_ij＝P；

基于相似矩阵自适应加权计算图像相似度：

其中，S₂为驾驶员面部特征图像和预设驾驶员面部特征图像间的图像相似度；w_i为驾驶员面部特征图像和预设驾驶员面部特征图像相同位置的图像块相似度的权重；

根据前两步计算出来的图像相似度，采用加权平均计算最终的图像相似度

取最高的相似度值作为最终相似度根据与驾驶员面部特征图像相似度最高的预设驾驶员面部特征图像所处的表情库判断驾驶员具体处于哪一种“非安全驾驶”状态；

当即满足条件3时认为特征基本匹配，驾驶员处于“非安全驾驶”状态，触发控制系统；

当即满足条件4时认为两图像相似，但需进行进一步的判断；

当认为两图像不匹配度，驾驶员处于安全驾驶状态；

步骤(四)具体过程为：

当满足条件4时，触发第二判断系统；

a、若初步判定驾驶员“非安全驾驶”状态为疲劳驾驶，语音提示：“请按规定按下按键M次”，M随机选取且满足M≤5；

若驾驶员在规定时间t内完成了相应的按键次数操作，则视为驾驶员没有处于疲劳驾驶状态；若驾驶员在规定时间内没有完成相应的按键次数操作，则视为驾驶员处于疲劳驾驶状态，触发控制系统；取t≤5s；

b、若初步判定驾驶员“非安全驾驶”状态为酒驾，采用声级计检测驾驶员的声音振幅频率，当满足条件5其中之一时，触发控制系统；

其中，条件5为：

T>T′

H>H′

式中，T为驾驶室内声音音调，T′为驾驶室内声音音调预设值，H为驾驶室内声音响度，H′为驾驶室内声音响度预设值；

其中，驾驶员提前测试自己正常说话时的音调、响度，分别测试五次并且取平均值，得到驾驶室内声音音调预设值T′以及驾驶室内声音响度预设值H′：

步骤(五)具体过程为：

a、若判断为疲劳驾驶，方向盘控制器控制方向盘振动，车内报警器语音警示驾驶员“请勿疲劳驾驶”；

继续采集驾驶员面部特征图像，并进行图像相似度计算，若驾驶员不再处于疲劳驾驶状态，解除方向盘振动、解除语音警示，若驾驶员仍处于疲劳驾驶状态，加大方向盘振动频率，加大语音警示音量，速度控制器对车辆进行限速；

重复图像采集、处理过程直到判定驾驶员不再处于疲劳驾驶状态；

b、若判断为酒驾，车内报警器语音警示驾驶员“请勿酒驾”，若驾驶员不进行停车动作，则速度控制器控制汽车车速为零，在汽车刚起步时逼停汽车。