CN113378653A - 一种驾驶员车内行为检测方法及装置 - Google Patents

Abstract

本申请公开了一种驾驶员车内行为检测方法及装置，通过由一个标准卷积层、十个bott l eneck层和两个逐点卷积层构成的训练网络对图像训练集进行训练获得训练模型，然后通过实时采集车内的驾驶图像数据，将驾驶图像数据输入到训练模型中识别，检测驾驶员是否存在玩手机行为。本申请的驾驶员车内行为检测方法有效的减少运算量，提高了模型的运行速度，能更快的实行检测和判断。

Description

一种驾驶员车内行为检测方法及装置

技术领域

本申请涉及驾驶员行为检测技术领域，尤其涉及一种驾驶员车内行为检测方法及装置。

背景技术

近年来，随着交通运输行业的蓬勃发展，机动车的保有量和机动车驾驶员人数迅速增加，交通事故也越来越多。其中交通事故中由于驾驶员本身注意力不集中导致的占大多数。随着信息技术的快速发展，手机的使用越来越普遍，人对于手机的依赖程度越来越严重在实际场景中，由于玩手机造成的事故屡见不鲜。据公安部交管局统计，全国因开车在道路上玩手机引发的道路交通事故数量呈逐年上升。根据道路交通安全法实施条例的相关规定，驾驶机动车不得有拨打接听手持电话、观看电视等妨碍安全驾驶的行为。

目前，市场上存在一些检测驾驶员玩手机的技术，如通过开发了一款手机应用，能够通过监测用户的开车速度来限制驾驶员开车玩手机的行为；或者在告诉卡点上设置监控装置，专门拍开车玩手机的违法违规行为，但是这些检测手段存在智能度低、响应速率慢、效率低的问题。

发明内容

本申请实施例提供一种驾驶员车内行为检测方法及装置，能更精准的做出推理与判断，更快速的获取检测结果。

有鉴于此，本申请提供了一种驾驶员车内行为检测方法，包括以下步骤：搭建训练网络，对训练网络进行初始化，获得预训练模型；采集不同场景下驾驶员玩手机的图像训练集，将图像训练集输入到所述预训练模型中训练，获得训练模型；实时捕捉驾驶图像数据，对所述驾驶图像数据进行图像预处理；将预处理后的驾驶图像数据加载到所述训练模型中进行识别，检测驾驶员是否存在玩手机行为；其中，所述训练网络包括一个标准卷积层、十个bottleneck层和两个逐点卷积层。

可选的，所述训练网络的搭建方式为：搭建ssdlite_mobilenet_v3_small网络，然后对ssdlite_mobilenet_v3_small网络中的bottleneck层中的第七层和第九层进行删减。

可选的，在采集图像训练集后，对图像训练集中的图片进行翻转、镜像、裁剪从而扩充图像训练集，再将图像训练集输入到所述预训练模型中训练。

可选的，所述图像预处理包括对图像进行尺寸变换、高斯模糊和边缘增强。

可选的，所述图像预处理还包括对图像进行零均值归一化，使得输入训练模型的数据按照原始图像的灰度信息分布于-1到1的区间之中。

可选的，当检测到驾驶员存在玩手机行为时，输出驾驶违规警报，并将驾驶图像数据上传至云服务器保存。

本申请提供了一种驾驶员车内行为检测装置包括：检测模块，用于搭建训练网络，对训练网络进行初始化，获得预训练模型；训练模块，用于获取不同场景下驾驶员玩手机的图像训练集，将图像训练集输入到所述预训练模型中训练，获得训练模型；图像获取模块，用于实时捕捉驾驶图像数据；预处理模块，接收所述图像获取模块捕捉的驾驶图像数据，并对所述驾驶图像数据进行图像预处理，然后将驾驶图像数据输入到所述检测模块的训练模型中检测。

可选的，本申请的一种驾驶员车内行为检测装置还包括报警模块，所述报警模块和所述检测模块连接，当检测到驾驶员存在玩手机行为时，所述检测模块发出报警指令至所述报警模块，所述报警模块接收报警指令后产生警报。

可选的，本申请的一种驾驶员车内行为检测装置还包括监控终端，所述监控终端和所述检测模块通过无线网络连接，当检测到驾驶员存在玩手机行为时，所述检测模块将驾驶图像数据、驾驶员信息和车辆信息发送至所述监控终端。

可选的，所述报警模块为语音报警模块。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请的一种驾驶员车内行为检测方法，包括以下步骤：搭建训练网络，对训练网络进行初始化，获得预训练模型；采集不同场景下驾驶员玩手机的图像训练集，将图像训练集输入到所述预训练模型中训练，获得训练模型；实时捕捉驾驶图像数据，对所述驾驶图像数据进行图像预处理；将预处理后的驾驶图像数据加载到所述训练模型中进行识别，检测驾驶员是否存在玩手机行为；其中，所述训练网络包括一个标准卷积层、十个bottleneck层和两个逐点卷积层。通过由一个标准卷积层、十个bottleneck层和两个逐点卷积层构成的训练网络对图像训练集进行训练获得训练模型，然后通过实时采集车内的驾驶图像数据，将驾驶图像数据输入到训练模型中识别，检测驾驶员是否存在玩手机行为。本申请的驾驶员车内行为检测方法有效的减少运算量，提高了模型的运行速度，能更快的实行检测和判断。

本申请的一种驾驶员车内行为检测装置具有和上述方法一样的效果，在此不做赘述。

附图说明

为了更清楚地表达说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中驾驶员车内行为检测方法的流程图；

图2为本申请实施例中训练网络的结构示意图；

图3为本申请实施例中检测运行时间对比的直方图；

图4为本申请实施例中检测准确率对比的直方图；

图5为本申请实施例中驾驶员车内行为检测装置的模块框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参照图1，一种驾驶员车内行为检测方法，包括以下步骤：搭建训练网络，对训练网络进行初始化，获得预训练模型；采集不同场景下驾驶员玩手机的图像训练集，将图像训练集输入到预训练模型中训练，获得训练模型,不同场景下驾驶员玩手机的图像训练集为在不同车型、不同车内饰情况下拍摄获取的图片集，能模拟多种类型的车内图像进行检测从而提高检测精度；实时捕捉驾驶图像数据，对驾驶图像数据进行图像预处理；将预处理后的驾驶图像数据加载到训练模型中进行识别，检测驾驶员是否存在玩手机行为；其中，训练网络包括一个标准卷积层、十个bottleneck层和两个逐点卷积层。

本申请实施例一树莓派硬件为基础，并使用paddle lite轻量化推理引擎部署在移动端进行训练网络搭建，参见图2，训练网络中，标准卷积层参数为：conv，out＝16，s＝2，HS,输入224*224*3，bottleneck层从前至后参数依次为：bottleneck，3*3，out＝16，s＝2，t＝1，HS，输入112*112*16，SE；bottleneck，3*3，out＝24，s＝2，t＝4，RE，输入56*56*16；bottleneck，3*3，out＝24，s＝1，t＝3，RE，输入28*28*24；bottleneck，5*5，out＝40，s＝2，t＝3，RE，输入28*28*24，SE；bottleneck，5*5，out＝40，s＝1，t＝3，HS，输入14*14*40，SE；bottleneck，5*5，out＝40，s＝1，t＝3，HS，输入14*14*40，SE；bottleneck，3*3，out＝48，s＝1，t＝2.5，HS，输入14*14*48，SE；bottleneck，3*3，out＝96，s＝1，t＝2.3，HS，输入7*7*96，SE；bottleneck，3*3，out＝96，s＝1，t＝6，HS，输入7*7*96，SE。相比直接应用mobilenet网络，如mobilenet_v1整个网络不算平均池化层与softmax层，共28层，第一层之后的26层都为深度可分离卷积的重复卷积操作，计算量大，运行时间长，本申请通过精简化特征图层，减少运算量，提高了模型的运行速度，能更快的实行检测和判断。

具体的，在一个具体实施例中，训练网络可由对ssdlite_mobilenet_v3_small网络进行变换得到。首先，搭建ssdlite_mobilenet_v3_small网络，然后对ssdlite_mobilenet_v3_small网络中的bottleneck层中的第七层和第九层进行删减。获得包括一个标准卷积层、十个bottleneck层和两个逐点卷积层的训练网络。ssdlite将ssd中的Conv用深度可分离卷积代替，并使用mobilenet_v3(small)作为基础网络，本实施例在此基础上进一步对mobilenet_v3(small)做出修剪，使其运行速度更快，更适用于车载环境下使用。参见图3和图4，本申请的检测算法对比mobilenet_v1，运行时间减少了72.9％，且准确率还提高了将近一个百分点，对比mobilenet_v3(small)，运行时间减少了20.7％，而准确率损失很小，在实际使用中不产生影响，因此，本实施例中删层后的训练网络能够有效提高了模型的运行速度，能更快地实行检测和判断，完成移动端设备的高速识别警示工作。

进一步，在本申请的一个实施例中，在采集图像训练集后，对图像训练集中的图片进行翻转、镜像、裁剪增加图像数量，得到扩展后的图像训练集，然后对图像训练集进行高斯模糊、边缘增强等处理，由于车辆在行驶过程中会有车身颠簸、光线不足等情况，我们的拍摄出来的图像也可能存在着抖动、模糊等问题，极易使图像模糊不清，缺少相应目标的特征，降低了图像数据的质量，因此我们在训练前对图像数据进行高斯模糊、边缘增强等处理，使其在训练过程中能够学习到更复杂场景下的手机的特征，再将图像训练集输入到预训练模型中训练。

进一步，在本申请的一个实施例中，对驾驶图像数据进行图像预处理包括对图像进行尺寸变换、高斯模糊和边缘增强。这些步骤的作用和上述对图像训练集进行的处理一样，是为了增强图片，避免图像模糊不清，缺少相应目标的特征。再进一步实施例中，图像预处理还包括对图像进行零均值归一化，使得输入训练模型的数据按照原始图像的灰度信息分布于-1到1的区间之中。对尺寸归一化后的图像进行零均值归一化，零均值归一化可以使得输入神经网络的数据按照原始图像的灰度信息分布于-1到1的区间之中，使得神经网络在训练时的收敛速度更快。具体的函数表达式如下：y＝(x-η)/δ，式中，y为零均值标准化后图像灰度值，x为原图像灰度值，η为图像R、G、B通道上分量的均值，δ为图像R、G、B通道上分量的标准差。图像的尺寸归一化中，利用双线性插值法对原始图像进行缩放，统一输入神经网络图像大小，双线性插值在两种正交的方向上各使用一次线性插值方法。通过对图像进行归一化后加快了算法识别的速度，并且提高识别精度。

进一步，在本申请的一个实施例中，当检测到驾驶员存在玩手机行为时，输出驾驶违规警报，并将驾驶图像数据上传至云服务器保存。具体的，根据图像信息以及驾驶员信息，车辆信息创建数据表并将数据表上传至服务器，执法人员通过终端设备从服务器获取违规数据，如违规图片、车主信息和车辆信息，以供交通部门进行取证处罚，解决执法人员的取证处罚困难的问题。

参见图5，本申请实施例还提供了一种驾驶员车内行为检测装置，包括：检测模块4，用于搭建训练网络，对训练网络进行初始化，获得预训练模型；训练模块3，用于获取不同场景下驾驶员玩手机的图像训练集，将图像训练集输入到预训练模型中训练，获得训练模型；图像获取模块1，用于实时捕捉驾驶图像数据；预处理模块2，接收图像获取模块捕捉的驾驶图像数据，并对驾驶图像数据进行图像预处理，然后将驾驶图像数据输入到检测模块4的训练模型中检测。本申请实施例的一种驾驶员车内行为检测装置采用“一机一车”的模式。首先搭建训练网络，然后根据不同场景下驾驶员玩手机的图像训练集训练获取训练模型，之后在车上开启检测，通过图像获取模块1拍摄驾驶员图像，对驾驶图像数据进行图像预处理，然后将驾驶图像数据输入到检测模块4的训练模型中检测，判断实时驾驶中是否存在玩手机的违规行为，本实施例的驾驶员车内行为检测装置能更快地实行检测和判断，完成移动端设备的高速识别警示工作。

进一步，在本申请的一个实施例中，驾驶员车内行为检测装置还包括报警模块5，报警模块5和检测模块4连接，当检测到驾驶员存在玩手机行为时，检测模块4发出报警指令至报警模块5，报警模块5接收报警指令后产生警报，提醒驾驶员不要玩手机，避免因为驾驶员玩手机分心导致交通事故产生。进一步，报警模块5为语音报警模块，通过语音提示驾驶员开车玩手机有危险，请尽快收好手机。

进一步，在本申请的一个实施例中，驾驶员车内行为检测装置还包括监控终端，监控终端和检测模块4通过无线网络连接，当检测到驾驶员存在玩手机行为时，检测模块4将驾驶图像数据、驾驶员信息和车辆信息发送至监控终端。以供交通部门进行取证处罚，解决执法人员的取证处罚困难的问题。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种驾驶员车内行为检测方法，其特征在于，包括以下步骤：

搭建训练网络，对训练网络进行初始化，获得预训练模型；

采集不同场景下驾驶员玩手机的图像训练集，将图像训练集输入到所述预训练模型中训练，获得训练模型；

实时捕捉驾驶图像数据，对所述驾驶图像数据进行图像预处理；

将预处理后的驾驶图像数据加载到所述训练模型中进行识别，检测驾驶员是否存在玩手机行为；

其中，所述训练网络包括一个标准卷积层、十个bottleneck层和两个逐点卷积层。

2.根据权利要求1所述的驾驶员车内行为检测方法，其特征在于，所述训练网络的搭建方式为：搭建ssdlite_mobilenet_v3_small网络，然后对ssdlite_mobilenet_v3_small网络中的bottleneck层中的第七层和第九层进行删减。

3.根据权利要求1所述的驾驶员车内行为检测方法，其特征在于，在采集图像训练集后，对图像训练集中的图片进行翻转、镜像、裁剪从而扩充图像训练集，再将图像训练集输入到所述预训练模型中训练。

4.根据权利要求1所述的驾驶员车内行为检测方法，其特征在于，所述图像预处理包括对图像进行尺寸变换、高斯模糊和边缘增强。

5.根据权利要求4所述的驾驶员车内行为检测方法，其特征在于，所述图像预处理还包括对图像进行零均值归一化，使得输入训练模型的数据按照原始图像的灰度信息分布于-1到1的区间之中。

6.根据权利要求1所述的驾驶员车内行为检测方法，其特征在于，当检测到驾驶员存在玩手机行为时，输出驾驶违规警报，并将驾驶图像数据上传至云服务器保存。

7.一种驾驶员车内行为检测装置，其特征在于，包括：

检测模块，用于搭建训练网络，对训练网络进行初始化，获得预训练模型；

训练模块，用于获取不同场景下驾驶员玩手机的图像训练集，将图像训练集输入到所述预训练模型中训练，获得训练模型；

图像获取模块，用于实时捕捉驾驶图像数据；

预处理模块，接收所述图像获取模块捕捉的驾驶图像数据，并对所述驾驶图像数据进行图像预处理，然后将驾驶图像数据输入到所述检测模块的训练模型中检测。

8.根据权利要求7所述的驾驶员车内行为检测装置，其特征在于，还包括报警模块，所述报警模块和所述检测模块连接，当检测到驾驶员存在玩手机行为时，所述检测模块发出报警指令至所述报警模块，所述报警模块接收报警指令后产生警报。

9.根据权利要求7所述的驾驶员车内行为检测装置，其特征在于，还包括监控终端，所述监控终端和所述检测模块通过无线网络连接，当检测到驾驶员存在玩手机行为时，所述检测模块将驾驶图像数据、驾驶员信息和车辆信息发送至所述监控终端。

10.根据权利要求8所述的驾驶员车内行为检测装置，其特征在于，所述报警模块为语音报警模块。

Images