CN108382396B

CN108382396B - 驾驶员驾驶状态识别系统及其应用方法

Info

Publication number: CN108382396B
Application number: CN201810106263.9A
Authority: CN
Inventors: 李豪; 于添; 吕睿韬; 谷洁瑜
Original assignee: Shanghai Haoling Technology Co ltd
Current assignee: Shanghai Hao Ling Technology Co., Ltd.
Priority date: 2018-02-02
Filing date: 2018-02-02
Publication date: 2020-08-07
Anticipated expiration: 2038-02-02
Also published as: CN108382396A

Abstract

本发明公开了驾驶员驾驶状态识别系统及其应用方法，后台服务器建立图像识别模型，摄像模块、光照传感器分别采集驾驶员的图像信息、光照强度，处理器利用模型根据图像信息识别驾驶员在驾驶过程中的行为，后台服务器根据图像识别结果结合光照强度进行计算，获取驾驶员的驾驶状态，因此，本发明能够通过可安装移动设备获取图像信息和光照强度，通过处理器和后台服务器智能识别监测车辆驾驶人员的驾驶状态，降低了对于移动设备的性能要求，适用于所有类型的车辆，且识别准确度高。进一步的，本发明还可以对驾驶员和远程控制中心进行智慧化的提醒和预警。

Description

驾驶员驾驶状态识别系统及其应用方法

技术领域

本发明涉及通信技术领域，尤其涉及驾驶员驾驶状态识别系统及其应用方法。

背景技术

我国交通运输业发展迅速，随之而来的道路交通事故也呈上升趋势，根据交通部门的资料显示，由于疲劳驾驶导致的交通事故占事故总数的20％左右，占特大交通事故的40％以上。交通事故给国家造成了巨大的经济损失和人员伤亡，而疲劳驾驶作为交通事故的主要隐患之一，已经引起人们的强烈关注，针对疲劳驾驶的检测方法也日渐增多。

随着汽车技术和图像处理技术的发展，现在很多高端车上搭载了疲劳驾驶预警的设备。但该类设备只能通过对车辆行驶情况进行监测，比如行驶距离、连续驾驶时长、速率等进行监测，或对车辆的转速和方向角进行检测，如果发现驾驶员存在疲劳驾驶的情况，就对驾驶员发出预警，提醒驾驶员休息。而基于图像识别的驾驶预警系统由于对设备硬件以及计算能力要求较高，受限于硬件性能，难以在车辆中通过移动终端设备实现。

并且，驾驶员在实际驾驶车辆过程中，由于驾驶车辆类型不同，用途不同，对危险驾驶的定义准侧也不同，因此这也导致了传统的疲劳驾驶提醒不能精确针对所有车辆的驾驶状态进行高效的识别和提醒。

发明内容

为了克服现有技术的不足，本发明的目的在于提供驾驶员驾驶状态识别系统及其应用方法，旨在解决现有技术的疲劳驾驶预警设备受限于硬件性能无法通过移动终端设备实现基于图像识别的疲劳预警，以及不能针对所有车辆的驾驶员进行驾驶状态识别的问题。

本发明的目的采用以下技术方案实现：

一种驾驶员驾驶状态识别系统，包括后台服务器、可安装移动设备；其中，

可安装移动设备包括摄像模块、光照传感器、处理器、通信模块；

处理器分别与摄像模块、光照传感器、通信模块连接；通信模块还与后台服务器连接；

后台服务器建立图像识别模型，并通过通信模块将图像识别模型发送到处理器；

摄像模块采集驾驶员的图像信息并发送到处理器；

光照传感器采集光照强度并发送到处理器；

处理器利用图像识别模型，根据图像信息识别驾驶员在驾驶过程中的行为，并将图像识别结果和光照强度通过通信模块发送到通信模块；

后台服务器根据图像识别结果结合光照强度进行计算，获取驾驶员的驾驶状态。

在上述实施例的基础上，优选的，还包括与后台服务器连接的预警设备；

后台服务器根据驾驶员的驾驶状态向预警设备发送控制指令；

预警设备根据控制指令对驾驶员和远程控制中心进行预警。

在上述任意实施例的基础上，优选的，处理器包括CPU和TPU处理器；TPU处理器用以协助CPU处理图像识别的任务。

在上述任意实施例的基础上，优选的，后台服务器采用Single Shot MultiBoxDetector和MobileNets架构的人工智能图像识别建模框架来建立图像识别模型。

在上述任意实施例的基础上，优选的，后台服务器采用深度学习模型来建立图像识别模型，深度学习模型的参数设置为：步数step=30W、数据集>50W、学习率=0.0001、分类=classes6类、loss>0.02、批尺寸batch=100。

一种上述任一项实施例中的驾驶员驾驶状态识别系统的应用方法，包括：

模型建立步骤，后台服务器建立图像识别模型，并通过通信模块将图像识别模型发送到处理器；

图像采集步骤，摄像模块采集驾驶员的图像信息并发送到处理器；

光照采集步骤，光照传感器采集光照强度并发送到处理器；

处理步骤，处理器利用图像识别模型，根据图像信息识别驾驶员在驾驶过程中的行为，并将图像识别结果和光照强度通过通信模块发送到通信模块；

计算步骤，后台服务器根据图像识别结果结合光照强度进行计算，获取驾驶员的驾驶状态。

在上述实施例的基础上，优选的，还包括预警步骤：

预警设备根据控制指令对驾驶员和远程控制中心进行预警。

在上述任意实施例的基础上，优选的，所述处理步骤中，图像识别结果包括三分钟内闭眼频率、三分钟内打哈气频率、三分钟内面部朝下频率；

所述计算步骤中，后台服务器根据图像识别结果结合光照强度进行计算，得到驾驶员的疲劳识别结果：

疲劳识别结果=W1

三分钟内闭眼频率+W2

三分钟内打哈气频率+W3

三分钟内面部朝下频率+W4

(100-当前时间得分)+W5

(100-当前光照强度得分)；W1~W5均为0~1范围内的权值参数，且W1~W5的求和为1；当前时间得分由当前时间确定；当前光照强度得分由当前光照强度确定；

后台服务器根据疲劳识别结果获取驾驶员的驾驶状态。

在上述实施例的基础上，优选的，W1=0.4、W2=0.1、W3=0.1、W4=0.1、W5=0.3。

或者，优选的，当前时间得分的计算方法为：

如果当前时间在18点和24点之间，则当前时间得分=（24-小时数）/6

100；

如果当前时间在0点和18点之间，则当前时间得分=小时数/6

100。

相比现有技术，本发明的有益效果在于：

附图说明

下面结合附图和实施例对本发明进一步说明。

图1示出了本发明实施例提供的一种驾驶员驾驶状态识别系统的结构示意图；

图2示出了本发明实施例提供的一种驾驶员驾驶状态识别系统的应用方法的流程示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

具体实施例一

如图1所示，本发明实施例提供了一种驾驶员驾驶状态识别系统，包括后台服务器、可安装移动设备；其中，

摄像模块采集驾驶员的图像信息并发送到处理器；

光照传感器采集光照强度并发送到处理器；

本发明实施例中，后台服务器建立图像识别模型，摄像模块、光照传感器分别采集驾驶员的图像信息、光照强度，处理器利用模型根据图像信息识别驾驶员在驾驶过程中的行为，后台服务器根据图像识别结果结合光照强度进行计算，获取驾驶员的驾驶状态，因此，本发明实施例能够通过可安装移动设备获取图像信息和光照强度，通过处理器和后台服务器智能识别监测车辆驾驶人员的驾驶状态，降低了对于移动设备的性能要求，适用于所有类型的车辆，且识别准确度高。

优选的，本发明实施例还可以包括与后台服务器连接的预警设备；后台服务器根据驾驶员的驾驶状态向预警设备发送控制指令；预警设备根据控制指令对驾驶员和远程控制中心进行预警。这样做的好处是，可以对驾驶员和远程控制中心进行智慧化的提醒和预警。本发明实施例对预警设备不做限定，其可以为语音预警设备、闪光灯预警设备、座椅按摩设备、气味释放设备中的一种或多种。

优选的，处理器可以包括CPU和TPU处理器；TPU处理器用以协助CPU处理图像识别的任务。这样做的好处是，由于设定了TPU处理器，能够协助CPU处理图像识别，因此可在执行根据模型识别行为的任务时从1分钟获取识别一张图片增加到1秒钟获取并识别一张图片，以实现实时精准的移动侦测。

优选的，后台服务器可以采用Single Shot MultiBox Detector和MobileNets架构的人工智能图像识别建模框架来建立图像识别模型。

根据百万级数据研究，优选的，后台服务器可以采用深度学习模型来建立图像识别模型，深度学习模型的参数设置为：步数step=30W、数据集>50W、学习率=0.0001、分类=classes6类、loss>0.02、批尺寸batch=100。

在上述的具体实施例一中，提供了驾驶员驾驶状态识别系统，与之相对应的，本申请还提供驾驶员驾驶状态识别系统的应用方法。由于方法实施例基本相似于装置实施例，所以描述得比较简单，相关之处参见装置实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。

具体实施例二

如图2所示，本发明实施例提供了一种具体实施例一中的驾驶员驾驶状态识别系统的应用方法，包括：

模型建立步骤S101，后台服务器建立图像识别模型，并通过通信模块将图像识别模型发送到处理器；

图像采集步骤S102，摄像模块采集驾驶员的图像信息并发送到处理器；

光照采集步骤S103，光照传感器采集光照强度并发送到处理器；

处理步骤S104，处理器利用图像识别模型，根据图像信息识别驾驶员在驾驶过程中的行为，并将图像识别结果和光照强度通过通信模块发送到通信模块；

计算步骤S105，后台服务器根据图像识别结果结合光照强度进行计算，获取驾驶员的驾驶状态。

优选的，本发明实施例还可以包括预警步骤S106：后台服务器根据驾驶员的驾驶状态向预警设备发送控制指令；预警设备根据控制指令对驾驶员和远程控制中心进行预警。例如，可以在驾驶员的驾驶状态判定为疲劳驾驶时，通过声音、灯光闪烁、座椅按摩、气味喷洒等方式进行预警，帮助驾驶员提起精神。

本发明实施例可以运用混合人工智能技术，采用深度学习模型提高检测司机人脸疲劳准确性。即在模型建立步骤S101中，后台服务器可以采用Single Shot MultiBoxDetector和MobileNets架构的人工智能图像识别建模框架；根据百万级数据研究，后台服务器可以采用深度学习模型来建立图像识别模型，深度学习模型的参数可以设置为：步数step=30W、数据集>50W、学习率=0.0001、分类=classes6类、loss>0.02、批尺寸batch=100。

具体的，首先运用SSD+Moiblenets技术，通过采集十万级各种角度、各种表情的司机脸部图片样本，打框型标注，通过GPU集群训练50万步，训练出可以精准检测框出图片上人脸的模型；然后将框出的图片区域作为ROI区域，对该区域运用3D人脸关键点模型进行人脸关键点匹配，监测司机闭眼、打哈气、面部朝下情况从而判断司机疲劳程度，以及监测司机面部朝向判断司机是否注意力分散。

相应的，所述处理步骤S104中，图像识别结果可以包括三分钟内闭眼频率、三分钟内打哈气频率、三分钟内面部朝下频率；所述计算步骤S105中，后台服务器可以根据图像识别结果结合光照强度进行计算，得到驾驶员的疲劳识别结果：疲劳识别结果=W1

三分钟内闭眼频率+W2

三分钟内打哈气频率+W3

三分钟内面部朝下频率+W4

(100-当前时间得分)+ W5

(100-当前光照强度得分)；W1~W5均为0~1范围内的权值参数，且W1+W2+W3+W4+W5=1；当前时间得分由当前时间确定；当前光照强度得分由当前光照强度确定；后台服务器根据疲劳识别结果获取驾驶员的驾驶状态。这样做的好处是，给出疲劳识别结果的具体计算方法，便于精确地了解驾驶员的疲劳状态。

本发明实施例中，根据疲劳识别结果进行疲劳预警时，疲劳识别结果的上限阈值可以设置为80分。

优选的，W1~W5可以设置为：W1=0.4、W2=0.1、W3=0.1、W4=0.1、W5=0.3。目前通过实验计算当W1=0.4、W2=0.1、W3=0.1、W4=0.1、W5=0.3时，疲劳状态识别准确率可以达到99.9%。

优选的，当前时间得分的计算方法可以为：如果当前时间在18点和24点之间，则当前时间得分=（24-小时数）/6

100；如果当前时间在0点和18点之间，则当前时间得分=小时数/6

100。

上述方法中，Single Shot MultiBox Detector（SSD）是一种使用单个深层神经网络检测图像中对象的方法，将边界框的输出空间离散化为一组默认框，该默认框在每个特征图位置有不同的宽高比和尺寸。在预测期间，网络针对每个默认框中的每个存在对象类别生成分数，并且对框进行调整以更好地匹配对象形状。另外，网络组合来自具有不同分辨率的多个特征图的预测，以适应处理各种尺寸的对象。SSD模型相对于需要regionproposal的方法是简单的，因为它完全消除了proposal生成和后续的像素或特征重采样阶段，并将所有计算封装在单网络中。这使得SSD容易训练和直接集成到需要检测组件的系统。SSD与使用额外的region proposal的方法具有可比较的准确性，并且速度更快，同时为训练和推理提供统一的框架。与其他单级方法相比，SSD具有更好的精度，即使输入图像尺寸更小。SSD 是基于一个前向传播 CNN 网络，产生一系列固定大小（fixed-size）的bounding boxes，以及每一个 box 中包含物体实例的可能性，即score。之后，进行一个非极大值抑制（Non-maximum suppression）得到最终的predictions。SSD方法的核心就是predict object（物体），以及其归属类别的score（得分）；同时，在feature map上使用小的卷积核，去predict 一系列bounding boxes 的 box offsets。

而MobileNets是基于一个流线型的架构，它使用深度可分离的卷积来构建轻量级的深层神经网络。我们引入两个简单的全局超参数，在延迟度和准确度之间有效地进行平衡。这两个超参数允许模型构建者根据问题的约束条件，为其应用选择合适大小的模型。MobileNets模型基于深度可分解的卷积，它可以将标准卷积分解成一个深度卷积和一个点卷积（1×1卷积核）。深度卷积将每个卷积核应用到每一个通道，而1×1卷积用来组合通道卷积的输出，这种分解可以有效减少计算量，降低模型大小。直观上来看，这种分解在效果上确实是等价的。比如，输入图片维度是11×11×3，标准卷积为3×3×3×16（假设stride为2，padding为1），那么可以得到输出为6×6×16的输出结果。现在输入图片不变，先通过一个维度是3×3×1×3的深度卷积（输入是3通道，这里有3个卷积核，对应着进行计算，理解成for循环），得到6×6×3的中间输出，然后再通过一个维度是1×1×3×16的1×1卷积，同样得到输出为6×6×16。首先是标准卷积，假定输入F的维度是DF×DF×M，经过标准卷积核K得到输出G的维度DG×DG×N，卷积核参数量表示为DK×DK×M×N。如果计算代价也用数量表示，应该为DK×DK×M×N×DF×DF。现在将卷积核进行分解，那么按照上述计算公式，可得深度卷积的计算代价为DK×DK×M×DF×DF，点卷积的计算代价为M×N×DF×DF。MobileNets使用了大量的3×3的卷积核，极大地减少了计算量（1/8到1/9之间），同时准确率下降的很少，相比其他的方法确有优势。对比标准卷积和分解卷积的结构，二者都附带了BN和ReLU层，此时MobileNets总共28层（1+2×13+1=28）。

本发明从使用目的上，效能上，进步及新颖性等观点进行阐述，其具有的实用进步性，己符合专利法所强调的功能增进及使用要件，本发明以上的说明及附图，仅为本发明的较佳实施例而己，并非以此局限本发明，因此，凡一切与本发明构造，装置，待征等近似、雷同的，即凡依本发明专利申请范围所作的等同替换或修饰等，皆应属本发明的专利申请保护的范围之内。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。尽管本发明已进行了一定程度的描述，明显地，在不脱离本发明的精神和范围的条件下，可进行各个条件的适当变化。可以理解，本发明不限于所述实施方案，而归于权利要求的范围，其包括所述每个因素的等同替换。对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims

1.一种驾驶员驾驶状态识别系统，其特征在于，包括后台服务器、可安装移动设备；其中，

摄像模块采集驾驶员的图像信息并发送到处理器；

光照传感器采集光照强度并发送到处理器；

2.根据权利要求1所述的驾驶员驾驶状态识别系统，其特征在于，还包括与后台服务器连接的预警设备；

预警设备根据控制指令对驾驶员和远程控制中心进行预警。

3.根据权利要求1或2所述的驾驶员驾驶状态识别系统，其特征在于，处理器包括CPU和TPU处理器；TPU处理器用以协助CPU处理图像识别的任务。

4.根据权利要求1或2所述的驾驶员驾驶状态识别系统，其特征在于，后台服务器采用Single Shot MultiBox Detector和MobileNets架构的人工智能图像识别建模框架来建立图像识别模型。

5.根据权利要求1或2所述的驾驶员驾驶状态识别系统，其特征在于，后台服务器采用深度学习模型来建立图像识别模型，深度学习模型的参数设置为：步数step＝30W、数据集>50W、学习率＝0.0001、分类＝classes6类、loss>0.02、批尺寸batch＝100。

6.一种权利要求1-5任一项所述的驾驶员驾驶状态识别系统的应用方法，其特征在于，包括：

光照采集步骤，光照传感器采集光照强度并发送到处理器；

7.根据权利要求6所述的驾驶员驾驶状态识别系统的应用方法，其特征在于，还包括预警步骤：

预警设备根据控制指令对驾驶员和远程控制中心进行预警。

8.根据权利要求6或7所述的驾驶员驾驶状态识别系统的应用方法，其特征在于，所述处理步骤中，图像识别结果包括三分钟内闭眼频率、三分钟内打哈气频率、三分钟内面部朝下频率；

疲劳识别结果＝W1×三分钟内闭眼频率+W2×三分钟内打哈气频率+W3×三分钟内面部朝下频率+W4×(100-当前时间得分)+W5×(100-当前光照强度得分)；W1～W5均为0～1范围内的权值参数，且W1～W5的求和为1；当前时间得分由当前时间确定；当前光照强度得分由当前光照强度确定；

后台服务器根据疲劳识别结果获取驾驶员的驾驶状态。

9.根据权利要求8所述的驾驶员驾驶状态识别系统的应用方法，其特征在于，W1＝0.4、W2＝0.1、W3＝0.1、W4＝0.1、W5＝0.3。

10.根据权利要求8所述的驾驶员驾驶状态识别系统的应用方法，其特征在于，当前时间得分的计算方法为：

如果当前时间在18点和24点之间，则当前时间得分＝(24-小时数)/6×100；如果当前时间在0点和18点之间，则当前时间得分＝小时数/6×100。