CN108609018A - 用于分析危险驾驶行为的预警终端、预警系统及分析算法 - Google Patents

Abstract

本发明涉及一种用于分析危险驾驶行为的预警终端、预警系统及分析算法，该预警终端包括：红外摄像采集模块，用于获得眼睛的闭合状态、嘴部张合状态、耳部遮挡状态和方向盘区域手势状态的数据流；热感应数据采集模块，用于获得人脸的移动位置、嘴部是否存在烟头热量、耳部区域是否存在手臂热量和方向盘区域手臂数量的数据流；双目三维摄像采集模块，用于获得手势运动状态的数据流；集中控制模块，利用多维数据分析获得检测结果；预警系统包括所述用于分析危险驾驶行为的预警终端和后台多维度分析平台，所述后台多维度分析平台接收并存储所述驾驶行为预警终端抓拍的图片，采用深度学习神经网络模型进行驾驶行为分析。

Description

用于分析危险驾驶行为的预警终端、预警系统及分析算法

技术领域

本发明涉及一种考核评价系统，具体涉及一种用于分析危险驾驶行为的预警终端、预警系统及分析算法。

背景技术

驾驶员作为道路交通的决策和实施主体，其不良驾驶行为具有一定的顽固性和潜在性，往往是不良习惯逐步形成自然的违章；还具有一定的历史沿袭性和排它性，会出现盲目地仿效别人的行为。习惯性违章容易使驾驶员有法不依有章不循，对交通安全事故失去警惕性，最终必然导致事故发生，直接危害到生命安全，有损于国家和企业的利益。危险驾驶行为包括：疲劳、抽烟、打电话、打哈欠、单双手离开方向盘、闲谈、吃零食等。所有的有关分散司机注意力的行为都可以视为危险驾驶。这些不安全行为容易引发道路交通安全事故，其结果往往是车毁人亡，损失惨重。

分析驾驶员不安全行为产生的原因，一是驾驶员的安全意识问题和心理、生理因素，二是道路运输企业监督和管理不到位。运用技术手段加强驾驶员不安全行为的监管和增强驾驶员的安全意识，能有效减少和控制驾驶员不安全行为的发生，控制事故的发生，避免和减少人员伤亡和财产损失。驾驶行为分析系统的运用给驾驶员不安全行为的发生提供了有力的技术支持，从而在潜移默化中改变自己的不安全驾驶行为习惯，保障实际驾驶过程中的安全。

目前市场上也有许多驾驶行为分析的产品，但还存在如下问题：1）功能单一，市场上大部分此类产品都集中在危险驾驶行为的某个、或者几个点上，并不能覆盖大部分的危险驾驶行为预警；2）分析手段单一，大部分产品要么通过can数据，要么通过二维视频数据，来分析检测司机危险驾驶行为，但由于室外环境的复杂性，往往达不到很高的性能；3）危险行为定性单一，很多产品都是从单一的动作，比如通过闭眼来判断是否疲劳，但是这样的判断结论同时还囊括了眯眼、眼睛较小、光线强等特殊情况，与实际情况误差较大。

发明内容

本发明针对现有技术的不足，功能单一、分析手段单一的缺陷，从而提供一种用于分析危险驾驶行为的预警终端，以及基于该终端的预警系统，还提供了该预警系统的分析算法。为实现上述目的，本发明采用的技术方案是：

一种用于分析危险驾驶行为的预警终端，该预警终端包括：

红外摄像采集模块，采集眼睛、嘴部、耳部及方向盘区域的二维红外成像数据，并对采集的红外成像数据分析获得眼睛的闭合状态、嘴部张合状态、耳部遮挡状态和方向盘区域手势状态的数据流；

热感应数据采集模块，利用所述红外摄像采集模块传过来的目标坐标位置，根据目标的热量分布形成脸部、嘴部、耳部及方向盘区域的热量分布图，并分析热量分布图获得人脸的移动位置、嘴部是否存在烟头热量、耳部区域是否存在手臂热量和方向盘区域手臂数量的数据流；

双目三维摄像采集模块，在所述红外摄像模块采集的二维图像的基础上获得深度图像序列，基于跟踪和分割方法在获取的深度图像序列中执行手部定位，把分类出来的手部图像和运动轨迹分类，获得手势运动状态的数据流；

集中控制模块，分别接收所述红外摄像采集模块、所述热感应数据采集模块和所述双目三维摄像采集模块的数据流，利用多维数据分析获得检测结果。

基于上述，对采集的红外成像数据分析：当眼睛闭合时，导入到数据流；当嘴部张开时，导入数据流；当耳部存在遮挡时，导入数据流；当发现方向盘区域的手臂数量为0或者1时，导入数据流。

基于上述，所述红外摄像采集模块对二维红外成像数据的分析运用级联分类器的机器学习算法，该级联分类器由若干个AdaBoost分类器串接组成。

基于上述，所述级联分类器采用如下训练过程：

1）预先选定每一层的最大可接受误检率fpr和每一层最小可接受的检测率TPR，设定所述红外摄像采集模块的可接受误检率FPR _target ；

2）初始化FPR=1，TPR=1；

3）循环检测，如果当前FPR>FPR _target ，添加一层adaboost分类器，如果该分类器训在练过程中没有达到该层最大误检率就继续添加新特征，添加新特征时降低阈值，使分类器的检测率大于给定值，然后更新TPR=TPR _i ×TPR，FPR=FPR _i ×FPR；

4）每一级adaboost分类器使用的训练集是上一级分类器判定正确的样本，错分的当作负样本。

基于上述，所述热感应数据采集模块在依据热量分布图获取数据流的过程中，每种分布区域设定一个阈值T，该阈值T采用大津法OTSU求得。

一种驾驶行为预警分析系统，包括所述驾驶行为预警终端和后台多维度分析平台，所述后台多维度分析平台接收并存储所述驾驶行为预警终端抓拍的图片，采用深度学习神经网络模型进行驾驶行为分析。

一种所述驾驶行为预警分析系统的驾驶行为预警分析算法，该算法包括以下步骤：

步骤1、将接收到的图片依次通过五个卷积层，进行数据特征的提取；其中每个卷积层包含激励函数RELU、局部响应归一化处理LRN和降采样处理pool；

步骤2、将提取的数据特征顺次送入三层全连接层dense，对数据特征进行提纯；

步骤3、将提纯后的数据特征送入分类器进行特征分类输出。

基于上述，步骤1中的五个卷积层为conv1层、conv2层、conv3层、conv4层和conv5层，

所述conv1层的处理流程为：

（1）对输入的图像进行预处理；

（2）使用96个大小规格为11*11的过滤器filter进行特征提取，提取过程中使用RELU激励函数，使特征图的值范围在合理范围之内；

（3）对特征图进行降采样处理pool；

（4）对降采样的特征图数据进行局部响应归一化处理LRN得到96个27*27大小的特征图；

所述conv2层的处理流程为：

（1）使用256个5*5大小的过滤器filter对conv1层的特征图进行特征提取，提取过程中，过滤器对cov1层输出的特征图中的某几个特征图中相应的区域乘以相应的权重，加上偏置之后所得到区域进行卷积得到256个27*27大小的特征图；使用RELU激励函数，使特征图的值范围在合理范围之内；

（2）对特征图进行降采样处理pool；

（3）对降采样的特征图数据进行局部响应归一化处理LRN，得到256个13*13大小的特征图；

所述conv3层和所述conv4层采用同样的处理流程：

（1）使用384个5*5大小的过滤器filter进行特征提取得到384个13*13的特征图，提取过程中；使用RELU激励函数，使特征图的值范围在合理范围之内；

所述conv5层的处理流程为：

（1）使用256个5*5大小的过滤器filter进行特征提取，提取过程中使用RELU激励函数，使特征图的值范围在合理范围之内；

（2）对特征图进行降采样处理pool得到256个6*6大小的特征图。

基于上述，步骤1中的三层全连接层dense为R1链接层、R2链接层和R3链接层，

所述R1链接层和所述R2链接层采用同样的处理流程：使用4096个神经元，对256个大小为6*6特征图，进行一个全链接；

所述R3链接层采用的处理流程：使用1000个神经元，对R2链接层中的4096个神经元进行全链接，然后通过高斯过滤器，得到1000个float型的值。

本发明相对现有技术具有突出的实质性特点和显著进步，具体的，本发明提供了一种用于分析危险驾驶行为的预警终端、预警系统及分析算法，通过采用预警终端进行前端粗检测，然后采用预警系统进行后台细划分，“前端粗检测+后台细划分”模式，能够准确的判断驾驶员的不良驾驶行为。

附图说明

图1是本发明预警终端红外摄像采集模块的处理流程图。

图2是本发明预警终端热感应数据采集模块的处理流程图。

图3是本发明预警终端双目三维摄像采集模块的处理流程图。

图4是本发明预警终端集中控制模块的处理流程图。

图5是本发明预警分析算法的数据在深度学习网络中的流向图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面对本发明实施例中的技术方案进行清楚完整的描述：

一种用于分析危险驾驶行为的预警终端，该预警终端包括：

红外摄像采集模块

如图1所示，采集眼睛、嘴部、耳部及方向盘区域的二维红外成像数据，并对采集的红外成像数据分析获得眼睛的闭合状态、嘴部张合状态、耳部遮挡状态和方向盘区域手势状态的数据流；特别的，为了克服戴墨镜对眼睛的遮挡问题，该模块的红外摄像头采用特定波段的红外灯，可以穿透墨镜。

对采集的红外成像数据分析：当眼睛闭合时，导入到数据流；当嘴部张开时，导入数据流；当耳部存在遮挡时，导入数据流；当发现方向盘区域的手臂数量为0或者1时，导入数据流。

所述红外摄像采集模块对二维红外成像数据的分析运用级联分类器的机器学习算法，该级联分类器由若干个AdaBoost分类器串接组成。

所述级联分类器采用如下训练过程：

1）预先选定每一层的最大可接受误检率fpr和每一层最小可接受的检测率TPR，设定所述红外摄像采集模块的可接受误检率FPR _target ；

2）初始化FPR=1，TPR=1；

3）循环检测，如果当前FPR>FPR _target ，添加一层adaboost分类器，如果该分类器训在练过程中没有达到该层最大误检率就继续添加新特征，添加新特征时降低阈值，使分类器的检测率大于给定值，然后更新TPR=TPR _i ×TPR，FPR=FPR _i ×FPR；

4）每一级adaboost分类器使用的训练集是上一级分类器判定正确的样本，错分的当作负样本。

采用级联AdaBoost分类器，使能够使用较少的特征和较简单的分类器实现更快更好的分类。在检测的过程中，因为TPR较高，所以一旦检测到某区域不是目标就可以直接停止后续检测。由于在人脸检测应用中非人脸区域占大部分，这样大部分检测窗口都能够很快停止，从而使分类速度得到很大的提高。

热感应数据采集模块

如图2所示，热感应摄像头能探测目标的红外线能量、根据目标的温度分布来形成图象；

该模块利用所述红外摄像采集模块传过来的目标坐标位置，根据目标的热量分布形成脸部、嘴部、耳部及方向盘区域的热量分布图，并分析获得人脸的移动位置、嘴部是否存在烟头热量、耳部区域是否存在手臂热量和方向盘区域手臂数量的数据流；

通过脸部热量的分布区域的变化，可以判断人脸的移动位置，对频繁低头打瞌睡有很好的辅助判断；利用热成像可分析嘴部区域的热量分布，判断是否明显的温度差，如果存在，认为存在烟头热量；分析耳部区域的热量图，可以判断耳部区域是否存在手臂热量，进一步辅助打电话检测；分析方向盘区域的热量分布，可以判断该区域的手臂数量，辅助单双手离开方向盘的行为判断。

所述热感应数据采集模块在依据热量分布图获取数据流的过程中，每种分布区域设定一个阈值T，该阈值T采用大津法OTSU求得。具体的大津法OTSU：对于图像I(x，y)，前景(即目标)和背景的分割阈值记作T，属于前景的像素点数占整幅图像的比例记为ω0，其平均灰度μ0，背景像素点数占整幅图像的比例为ω1，其平均灰度为μ1，图像的总平均灰度记为μ，类间方差记为g。假设图像的背景较暗，并且图像的大小为M×N，图像中像素的灰度值小于阈值T的像素个数记作N0，像素灰度大于阈值T的像素个数记作N1，则有：

ω0=N0/ M×N (1)

ω1=N1/ M×N (2)

N0+N1=M×N (3)

ω0+ω1=1 (4)

μ=ω0*μ0+ω1*μ1 (5)

g=ω0(μ0-μ)^2+ω1(μ1-μ)^2 (6)

将式(5)代入式(6)，得到等价公式：

g=ω0ω1(μ0-μ1)^2 (7)

采用遍历的方法得到使类间方差最大的阈值T。

双目三维摄像采集模块

如图3所示，在所述红外摄像模块采集的二维图像的基础上获得深度图像序列，基于跟踪和分割方法在获取的深度图像序列中执行手部定位，把分类出来的手部图像和运动轨迹分类，获得手势运动状态的数据流；

该模块采用三维摄像头，除了利用红外摄像头的二维图像外，又增加了深度信息。拍摄的深度图像可以克服光照的影响和忽略场景中与肤色相近的物体，通过这些深度信息可以检测手势的位置及移动方向，对判断抽烟、打电话、单双手离开方向盘行为有很大作用。

集中控制模块

如图4所示，分别接收所述红外摄像采集模块、所述热感应数据采集模块和所述双目三维摄像采集模块的数据流，利用多维数据分析获得检测结果。

多维分析过程中，先通过红外摄像头数据流判断眼睛、嘴部、耳部及方向盘区域的状态，然后通过热成像数据流判断目标区域内的热量状态，最后综合三维摄像头数据，获得检测结果：

如果存在闭眼、低头且手臂长时间静止，则判定为疲劳；

如果存在嘴部遮挡、嘴部热量异常且手势处运动状态，则判定为抽烟；

如果耳部遮挡、耳部热量异常且手势处静止状态，则判定为打电话；

如果存在嘴型变化且嘴部热量异常，则判定为打哈欠；

如果方向盘区域同时存在手臂数为1、热量异常和手势运动状态，则判定为单手握方向盘；

如果方向盘区域同时存在手臂数为0、热量异常和无手势运动状态，则判定为双手离开方向盘；

如果同时存在嘴型变化、热量异常和左右摆头运动状态，则判定为闲谈；

如果同时存在嘴型变化和手势运动状态，则判定为吃零食。

如图5所示，因为所述用于分析危险驾驶行为的预警终端的算法的不完备性，本发明还提供了一种用于分析危险驾驶行为的预警系统，包括所述用于分析危险驾驶行为的预警终端和后台多维度分析平台，所述后台多维度分析平台接收并存储所述驾驶行为预警终端抓拍的图片，采用深度学习神经网络模型进行驾驶行为分析。也就是，通过深度网络识别，进一步识别抓拍的图片是否存在危险驾驶行为。

该用于分析危险驾驶行为的预警系统的分析算法包括以下步骤：

步骤1、将接收到的图片依次通过五个卷积层，进行数据特征的提取；其中每个卷积层包含激励函数RELU、局部响应归一化处理LRN和降采样处理pool；

步骤2、将提取的数据特征顺次送入三层全连接层dense，对数据特征进行提纯；

步骤3、将提纯后的数据特征送入分类器进行特征分类输出。

具体的，步骤1中的五个卷积层为conv1层、conv2层、conv3层、conv4层和conv5层，

所述conv1层的处理流程为：

（1）对输入的图像进行预处理；

（2）使用96个大小规格为11*11的过滤器filter进行特征提取，提取过程中使用RELU激励函数，使特征图的值范围在合理范围之内；

（3）对特征图进行降采样处理pool；

（4）对降采样的特征图数据进行局部响应归一化处理LRN得到96个27*27大小的特征图；

所述conv2层的处理流程为：

（1）使用256个5*5大小的过滤器filter对conv1层的特征图进行特征提取，提取过程中，过滤器对cov1层输出的特征图中的某几个特征图中相应的区域乘以相应的权重，加上偏置之后所得到区域进行卷积得到256个27*27大小的特征图；使用RELU激励函数，使特征图的值范围在合理范围之内；

（2）对特征图进行降采样处理pool；

（3）对降采样的特征图数据进行局部响应归一化处理LRN，得到256个13*13大小的特征图；

所述conv3层和所述conv4层采用同样的处理流程：

（1）使用384个3*3大小的过滤器filter进行特征提取得到384个13*13的特征图，提取过程中；使用RELU激励函数，使特征图的值范围在合理范围之内；

所述conv5层的处理流程为：

（1）使用256个3*3大小的过滤器filter进行特征提取，提取过程中使用RELU激励函数，使特征图的值范围在合理范围之内；

（2）对特征图进行降采样处理pool得到256个6*6大小的特征图。

步骤1中的三层全连接层dense为R1链接层、R2链接层和R3链接层，所述R1链接层和所述R2链接层采用同样的处理流程：使用4096个神经元，对256个大小为6*6特征图，进行一个全链接；所述R3链接层采用的处理流程：使用1000个神经元，对R2链接层中的4096个神经元进行全链接，然后通过高斯过滤器，得到1000个float型的值。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应该理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换;而这些修改或者替换，并不使技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种用于分析危险驾驶行为的预警终端，其特征在于，该预警终端包括：

红外摄像采集模块，采集眼睛、嘴部、耳部及方向盘区域的二维红外成像数据，并对采集的红外成像数据分析获得眼睛的闭合状态、嘴部张合状态、耳部遮挡状态和方向盘区域手势状态的数据流；

热感应数据采集模块，利用所述红外摄像采集模块传过来的目标坐标位置，根据目标的热量分布形成脸部、嘴部、耳部及方向盘区域的热量分布图，并分析热量分布图获得人脸的移动位置、嘴部是否存在烟头热量、耳部区域是否存在手臂热量和方向盘区域手臂数量的数据流；

双目三维摄像采集模块，在所述红外摄像模块采集的二维图像的基础上获得深度图像序列，基于跟踪和分割方法在获取的深度图像序列中执行手部定位，把分类出来的手部图像和运动轨迹分类，获得手势运动状态的数据流；

集中控制模块，分别接收所述红外摄像采集模块、所述热感应数据采集模块和所述双目三维摄像采集模块的数据流，利用多维数据分析获得检测结果。

2.根据权利要求1所述的用于分析危险驾驶行为的预警终端，其特征在于，对采集的红外成像数据分析：当眼睛闭合时，导入到数据流；当嘴部张开时，导入数据流；当耳部存在遮挡时，导入数据流；当发现方向盘区域的手臂数量为0或者1时，导入数据流。

3.根据权利要求2所述的用于分析危险驾驶行为的预警终端，其特征在于：所述红外摄像采集模块对二维红外成像数据的分析运用级联分类器的机器学习算法，该级联分类器由若干个AdaBoost分类器串接组成。

4.根据权利要求3所述的用于分析危险驾驶行为的预警终端，其特征在于：所述级联分类器采用如下训练过程：

1）预先选定每一层的最大可接受误检率fpr和每一层最小可接受的检测率TPR，设定所述红外摄像采集模块的可接受误检率FPR _target ；

2）初始化FPR=1，TPR=1；

3）循环检测，如果当前FPR>FPR _target ，添加一层adaboost分类器，如果该分类器训在练过程中没有达到该层最大误检率就继续添加新特征，添加新特征时降低阈值，使分类器的检测率大于给定值，然后更新TPR=TPR _i ×TPR，FPR=FPR _i ×FPR；

4）每一级adaboost分类器使用的训练集是上一级分类器判定正确的样本，错分的当作负样本。

5.根据权利要求1所述的用于分析危险驾驶行为的预警终端，其特征在于：所述热感应数据采集模块在依据热量分布图获取数据流的过程中，每种分布区域设定一个阈值T，该阈值T采用大津法OTSU求得。

6.一种用于分析危险驾驶行为的预警系统，其特征在于：包括权利要求1所述用于分析危险驾驶行为的预警终端和后台多维度分析平台，所述后台多维度分析平台接收并存储所述驾驶行为预警终端抓拍的图片，采用深度学习神经网络模型进行驾驶行为分析。

7.一种权利要求6所述用于分析危险驾驶行为的预警系统的分析算法，其特征在于，该算法包括以下步骤：

步骤1、将接收到的图片依次通过五个卷积层，进行数据特征的提取；其中每个卷积层包含激励函数RELU、局部响应归一化处理LRN和降采样处理pool；

步骤2、将提取的数据特征顺次送入三层全连接层dense，对数据特征进行提纯；

步骤3、将提纯后的数据特征送入分类器进行特征分类输出。

8.根据权利要求7所述的驾驶行为预警分析算法，其特征在于：步骤1中的五个卷积层为conv1层、conv2层、conv3层、conv4层和conv5层，

所述conv1层的处理流程为：

（1）对输入的图像进行预处理；

（2）使用96个大小规格为11*11的过滤器filter进行特征提取，提取过程中使用RELU激励函数，使特征图的值范围在合理范围之内；

（3）对特征图进行降采样处理pool；

（4）对降采样的特征图数据进行局部响应归一化处理LRN得到96个27*27大小的特征图；

所述conv2层的处理流程为：

（1）使用256个5*5大小的过滤器filter对conv1层的特征图进行特征提取，提取过程中，过滤器对cov1层输出的特征图中的某几个特征图中相应的区域乘以相应的权重，加上偏置之后所得到区域进行卷积得到256个27*27大小的特征图；使用RELU激励函数，使特征图的值范围在合理范围之内；

（2）对特征图进行降采样处理pool；

（3）对降采样的特征图数据进行局部响应归一化处理LRN，得到256个13*13大小的特征图；

所述conv3层和所述conv4层采用同样的处理流程：

（1）使用384个5*5大小的过滤器filter进行特征提取得到384个13*13的特征图，提取过程中；使用RELU激励函数，使特征图的值范围在合理范围之内；

所述conv5层的处理流程为：

（1）使用256个5*5大小的过滤器filter进行特征提取，提取过程中使用RELU激励函数，使特征图的值范围在合理范围之内；

（2）对特征图进行降采样处理pool得到256个6*6大小的特征图。

9.根据权利要求7所述的分析算法，其特征在于：步骤1中的三层全连接层dense为R1链接层、R2链接层和R3链接层，

所述R1链接层和所述R2链接层采用同样的处理流程：使用4096个神经元，对256个大小为6*6特征图，进行一个全链接；

所述R3链接层采用的处理流程：使用1000个神经元，对R2链接层中的4096个神经元进行全链接，然后通过高斯过滤器，得到1000个float型的值。