CN113408466A - 车辆驾驶员不良驾驶行为检测方法及设备 - Google Patents
车辆驾驶员不良驾驶行为检测方法及设备 Download PDFInfo
- Publication number
- CN113408466A CN113408466A CN202110739740.7A CN202110739740A CN113408466A CN 113408466 A CN113408466 A CN 113408466A CN 202110739740 A CN202110739740 A CN 202110739740A CN 113408466 A CN113408466 A CN 113408466A
- Authority
- CN
- China
- Prior art keywords
- driver
- face
- driving behavior
- behavior
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 230000006399 behavior Effects 0.000 claims abstract description 138
- 241001282135 Poromitra oscitans Species 0.000 claims abstract description 39
- 206010048232 Yawning Diseases 0.000 claims abstract description 39
- 230000001815 facial effect Effects 0.000 claims abstract description 38
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 32
- 239000000779 smoke Substances 0.000 claims abstract description 22
- 230000000391 smoking effect Effects 0.000 claims description 19
- 238000007670 refining Methods 0.000 claims description 14
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 11
- 230000005764 inhibitory process Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 7
- 230000001629 suppression Effects 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 210000000056 organ Anatomy 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims description 2
- 206010039203 Road traffic accident Diseases 0.000 abstract description 6
- 210000003128 head Anatomy 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 235000019504 cigarettes Nutrition 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000002054 transplantation Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种车辆驾驶员不良驾驶行为检测方法及设备。所述方法包括：实时获取驾驶员单帧图像，采用多任务级联的卷积神经网络对所述驾驶员单帧图像进行面部五官定位，得到驾驶员的面部区域；获取面部区域的感兴趣区域，使用训练完成的第一分类器在感兴趣区域中检测手机和烟，对驾驶员面部姿态建模，获取驾驶员面部朝向的角度信息，获取驾驶员的眼睛和嘴部区域，使用训练完成的第二分类器判断是否存在闭眼行为，使用训练完成的第三分类器判断是否存在打哈欠行为，并在相应的报警队列中计数加1。本发明可以对多种不良驾驶行为进行检测，辅助驾驶员安全驾驶，减少交通事故的发生。
Description
技术领域
本发明实施例涉及驾驶辅助技术领域，尤其涉及一种车辆驾驶员不良驾驶行为检测方法及设备。
背景技术
随着科技的不断发展，汽车已经成为人们日常出行必不可少的交通工具，伴随着汽车驾驶给人带来方便的同时，也存在诸多不良驾驶行为，如抽烟驾驶车辆、打手机驾驶车辆或疲劳驾驶车辆等，这些不良驾驶行为易造成不必要的交通事故。目前，主要是采用法律和法规的手段对驾驶员的不良驾驶行为进行约束和处罚，缺乏有效的手段来实时约束法规之外的不良驾驶行为。因此，开发一种车辆驾驶员不良驾驶行为检测方法及设备，可以有效克服上述相关技术中的缺陷，就成为业界亟待解决的技术问题。
发明内容
针对现有技术存在的上述问题，本发明实施例提供了一种车辆驾驶员不良驾驶行为检测方法及设备。
第一方面，本发明的实施例提供了一种车辆驾驶员不良驾驶行为检测方法，包括：实时获取驾驶员单帧图像，采用多任务级联的卷积神经网络对所述驾驶员单帧图像进行面部五官定位，得到驾驶员的面部区域；获取面部区域的感兴趣区域，使用训练完成的第一分类器在感兴趣区域中检测手机和烟，若检测到手机和/或烟的可信度大于概率阈值，则在异常行为报警队列中计数加1；对驾驶员面部姿态建模，获取驾驶员面部朝向的角度信息，若第二角度大于第二角度阈值，则在左顾右盼报警队列中计数加1，若第三角度大于第三角度阈值，则在抬头低头报警队列中计数加1；获取驾驶员的眼睛和嘴部区域，使用训练完成的第二分类器判断是否存在闭眼行为，使用训练完成的第三分类器判断是否存在打哈欠行为，若存在闭眼行为，则在闭眼报警队列中计数加1，若存在打哈欠行为，则在打哈欠报警队列中计数加1。
在上述方法实施例内容的基础上，本发明实施例中提供的车辆驾驶员不良驾驶行为检测方法，所述采用多任务级联的卷积神经网络对所述驾驶员单帧图像进行面部五官定位，包括：将驾驶员单帧图像进行不同尺度的缩放，生成图像金字塔；采用浅层卷积神经网络作为提议网络输出若干候选人脸框，并且获取每一人脸框的边界回归向量，对候选人脸框进行校准，使用非极大值抑制方法合并重叠的人脸框，采用深层卷积神经网络作为精炼网络对提议网络输出的人脸框进行判别，删除非人脸框，并计算人脸框的边界框回归向量，使用非极大值抑制方法提炼人脸框；采用输出卷积神经网络对精炼网络输出的人脸框进行判别，并计算人脸框的边界回归向量，采用非极大值抑制方法删除重叠的人脸框，输出最终人脸的五官坐标。
在上述方法实施例内容的基础上，本发明实施例中提供的车辆驾驶员不良驾驶行为检测方法，所述获取面部区域的感兴趣区域，包括：将得到的面部区域同时向左和向右扩大半个人脸宽度，得到面部区域的感兴趣区域。
在上述方法实施例内容的基础上，本发明实施例中提供的车辆驾驶员不良驾驶行为检测方法，所述获取驾驶员面部朝向的角度信息，包括：定义一个驾驶员的左眼角、右眼角、鼻尖、左嘴角、右嘴角、下颌共六个面部特征点的3D脸部模型；获取所述面部区域的六个对应的面部特征点，计算3D模型到驾驶员脸部的仿射变换矩阵，得到旋转向量；将旋转向量转换为欧拉角，得到驾驶员的面部朝向的角度信息。
在上述方法实施例内容的基础上，本发明实施例中提供的车辆驾驶员不良驾驶行为检测方法，在所述则在打哈欠报警队列中计数加1之后，还包括：对抽烟驾驶行为、打手机驾驶行为、注意力分散驾驶行为、闭眼驾驶行为和打哈欠驾驶行为，分别设定不同的统计时长。
在上述方法实施例内容的基础上，本发明实施例中提供的车辆驾驶员不良驾驶行为检测方法，所述分别设定不同的统计时长，包括：抽烟驾驶行为的统计时长设定为1秒至3秒，打手机驾驶行为的统计时长设定为4秒至6秒，注意力分散驾驶行为的统计时长设定为4秒至6秒，闭眼驾驶行为的统计时长设定为1秒至3秒，打哈欠驾驶行为的统计时长设定为1.5秒至3.5秒。
在上述方法实施例内容的基础上，本发明实施例中提供的车辆驾驶员不良驾驶行为检测方法，所述，包括：根据报警队列中计数得到的统计时长，若所述统计时长大于时长阈值，则触发安全报警。
第二方面，本发明的实施例提供了一种车辆驾驶员不良驾驶行为检测装置，包括：第一主模块，用于实时获取驾驶员单帧图像，采用多任务级联的卷积神经网络对所述驾驶员单帧图像进行面部五官定位，得到驾驶员的面部区域；第二主模块，用于获取面部区域的感兴趣区域，使用训练完成的第一分类器在感兴趣区域中检测手机和烟，若检测到手机和/或烟的可信度大于概率阈值，则在异常行为报警队列中计数加1；第三主模块，用于对驾驶员面部姿态建模，获取驾驶员面部朝向的角度信息，若第二角度大于第二角度阈值，则在左顾右盼报警队列中计数加1，若第三角度大于第三角度阈值，则在抬头低头报警队列中计数加1；第四主模块，用于获取驾驶员的眼睛和嘴部区域，使用训练完成的第二分类器判断是否存在闭眼行为，使用训练完成的第三分类器判断是否存在打哈欠行为，若存在闭眼行为，则在闭眼报警队列中计数加1，若存在打哈欠行为，则在打哈欠报警队列中计数加1。
第三方面，本发明的实施例提供了一种电子设备，包括：
至少一个处理器；以及
与处理器通信连接的至少一个存储器，其中：
存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行第一方面的各种实现方式中任一种实现方式所提供的车辆驾驶员不良驾驶行为检测方法。
第四方面，本发明的实施例提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种实现方式中任一种实现方式所提供的车辆驾驶员不良驾驶行为检测方法。
本发明实施例提供的车辆驾驶员不良驾驶行为检测方法及设备，通过采用多任务级联的卷积神经网络对所述驾驶员单帧图像进行面部五官定位，得到驾驶员的面部区域；获取面部区域的感兴趣区域，使用训练完成的第一分类器在感兴趣区域中进行相应检测，并根据检测结果在报警队列中进行相应计数，可以对多种不良驾驶行为进行检测，具有客观全面、实时性好、鲁棒性强、准确度高、易移植的特点，辅助驾驶员安全驾驶，减少交通事故的发生。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的车辆驾驶员不良驾驶行为检测方法流程图；
图2为本发明实施例提供的车辆驾驶员不良驾驶行为检测装置结构示意图；
图3为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明实施例提供了一种车辆驾驶员不良驾驶行为检测方法，参见图1，该方法包括：实时获取驾驶员单帧图像，采用多任务级联的卷积神经网络对所述驾驶员单帧图像进行面部五官定位，得到驾驶员的面部区域；获取面部区域的感兴趣区域，使用训练完成的第一分类器在感兴趣区域中检测手机和烟，若检测到手机和/或烟的可信度大于概率阈值，则在异常行为报警队列中计数加1；对驾驶员面部姿态建模，获取驾驶员面部朝向的角度信息，若第二角度大于第二角度阈值，则在左顾右盼报警队列中计数加1，若第三角度大于第三角度阈值，则在抬头低头报警队列中计数加1；获取驾驶员的眼睛和嘴部区域，使用训练完成的第二分类器判断是否存在闭眼行为，使用训练完成的第三分类器判断是否存在打哈欠行为，若存在闭眼行为，则在闭眼报警队列中计数加1，若存在打哈欠行为，则在打哈欠报警队列中计数加1。其中，第一分类器是用于检测手机和烟的分类器；所述概率阈值为30％；第二角度为yaw，表示驾驶员头部左右运动的角度；第二角度阈值可以为50度；第三角度为pitch，表示驾驶员头部上下运动的角度；第三角度阈值可以为30度。
具体地，对驾驶员面部姿态建模，计算驾驶员的面部朝向的角度信息(pitch，yaw，roll)，其中，pitch为第三角度，表示驾驶员头部上下运动的角度；yaw为第二角度，表示驾驶员头部左右运动的角度；roll为第一角度，表示驾驶员头部在平面内旋转的角度，如果yaw大于第二角度阈值(即50度)，则在左顾右盼行为的报警队列中计数加1，如果pitch大于第三角度阈值(即30度)，则在抬头低头报警队列中计数加1，对下一帧图像进行判断。
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的车辆驾驶员不良驾驶行为检测方法，所述采用多任务级联的卷积神经网络对所述驾驶员单帧图像进行面部五官定位，包括：将驾驶员单帧图像进行不同尺度的缩放，生成图像金字塔；采用浅层卷积神经网络作为提议网络输出若干候选人脸框，并且获取每一人脸框的边界回归向量，对候选人脸框进行校准，使用非极大值抑制方法合并重叠的人脸框，采用深层卷积神经网络作为精炼网络对提议网络输出的人脸框进行判别，删除非人脸框，并计算人脸框的边界框回归向量，使用非极大值抑制方法提炼人脸框；采用输出卷积神经网络对精炼网络输出的人脸框进行判别，并计算人脸框的边界回归向量，采用非极大值抑制方法删除重叠的人脸框，输出最终人脸的五官坐标。
其中，提议网络为采用一个浅层的卷积神经网络快速输出大量候选人脸窗口，并且计算每个人脸框的边界回归向量，对候选人脸窗口进行校准，使用非极大值抑制方法合并高度重叠的人脸框。精炼网络为采用一个复杂的卷积神经网络对提议网络输出的人脸框进行判别，删除非人脸窗口，并计算人脸框的边界框回归向量，使用非极大值抑制方法提炼人脸框。输出卷积神经网络作为输出网络，采用一个更加强大的卷积神经网络，对精炼网络的输出人脸框进行判别，并计算人脸框的边界回归向量，使用非极大值抑制方法删除重叠的人脸框，输出最终人脸的五官坐标。
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的车辆驾驶员不良驾驶行为检测方法，所述获取面部区域的感兴趣区域，包括：将得到的面部区域同时向左和向右扩大半个人脸宽度，得到面部区域的感兴趣区域。
具体地，得到驾驶员的面部区域后，将面部区域同时向左和向右扩大半个人脸宽度，作为感兴趣区域。通过在训练样本中标注手机和烟，然后基于深度学习技术，使用卷积神经网络对手机和烟的特征进行建模，训练手机和烟的检测器。模型训练的损失函数包括手机和烟的类别可信度损失和手机和烟的位置定位损失。使用训练好的驾驶员抽烟打手机模型在定义的感兴趣区域中检测手机和烟。如果在图像中检测到手机和烟，并且烟和手机的可信度大于手工设定好的概率阈值，则在此驾驶员的抽烟或者打手机异常行为的报警队列中计数加1。如果同时检测到烟和手机，并且烟和手机的可信度大于手工设定好的概率阈值，则在此驾驶员的抽烟和打手机异常行为的报警队列中同时计数加1。如果检测到烟和手机，则不对司机的其他异常行为进行判别，直接对下一帧图像进行烟和手机的检测。
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的车辆驾驶员不良驾驶行为检测方法，所述获取驾驶员面部朝向的角度信息，包括：定义一个驾驶员的左眼角、右眼角、鼻尖、左嘴角、右嘴角、下颌共六个面部特征点的3D脸部模型；获取所述面部区域的六个对应的面部特征点，计算3D模型到驾驶员脸部的仿射变换矩阵，得到旋转向量；将旋转向量转换为欧拉角，得到驾驶员的面部朝向的角度信息。
具体地，为了确保侧脸影响打哈欠和闭眼行为的准确性，在驾驶员没有存在抽烟或者打手机行为的情况下，通过对驾驶员面部姿态建模，计算驾驶员的面部朝向的角度信息，本发明使用三个欧拉角(pitch，yaw，roll)来表示驾驶员的面部姿态信息。在另一实施例中，欧拉角的计算方法包括：首先定义一个驾驶员的左眼角、右眼角、鼻尖、左嘴角、右嘴角、下颌共六个面部特征点的3D脸部模型，然后采用检测出驾驶员图片中的六个对应的面部特征点，从而计算3D模型到驾驶员脸部的仿射变换矩阵，得到旋转向量，最后将旋转向量转换为欧拉角。通过设置上下方向的角度阈值和左右方向的角度阈值来判别驾驶员是否存在注意力分散行为。如果驾驶员的面部欧拉角yaw大于阈值，则驾驶员存在左顾右盼报警队列计数加1，如果驾驶员面部欧拉角pitch大于，则驾驶员抬头低头报警队列计数加1。如果检测到驾驶员存在左顾右盼或者抬头低头，则不对驾驶员的其他异常行为进行判别，直接对下一帧图像进行烟和手机的检测。
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的车辆驾驶员不良驾驶行为检测方法，在所述则在打哈欠报警队列中计数加1之后，还包括：对抽烟驾驶行为、打手机驾驶行为、注意力分散驾驶行为、闭眼驾驶行为和打哈欠驾驶行为，分别设定不同的统计时长。
具体地，通过对驾驶员的眼睛和嘴部区域分别进行提取。基于深度学习技术，使用卷积神经网络提取眼部和嘴部区域特征，分别训练驾驶员眼睛状态分类器和嘴部状态分类器。使用眼睛状态分类器来判别驾驶员是否存在闭眼行为，使用嘴部状态分类器来判别驾驶员是否存在打哈欠行为。如果驾驶员存在闭眼行为，则在驾驶员闭眼报警队列中计数加1，如果存在打哈欠行为，则驾驶员打哈欠报警队列计数加1。
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的车辆驾驶员不良驾驶行为检测方法，所述分别设定不同的统计时长，包括：抽烟驾驶行为的统计时长设定为1秒至3秒，打手机驾驶行为的统计时长设定为4秒至6秒，注意力分散驾驶行为的统计时长设定为4秒至6秒，闭眼驾驶行为的统计时长设定为1秒至3秒，打哈欠驾驶行为的统计时长设定为1.5秒至3.5秒。在另一实施例中，抽烟驾驶行为的统计时长设定为2秒，打手机驾驶行为的统计时长设定为5秒，注意力分散驾驶行为的统计时长设定为5秒，闭眼驾驶行为的统计时长设定为2秒，打哈欠驾驶行为的统计时长设定为2.5秒。
具体地，由于驾驶员抽烟和打手机行为最突出，所以首先对驾驶员抽烟和打手机的行为进行检测。考虑到摄像头位置的固定，驾驶员存在左顾右盼和抬头低头行为会在成像中丢失部分眼睛和嘴巴，从而会影响驾驶员眼睛和嘴巴位置的定位，所以当驾驶员没有存在抽烟和打手机时，对驾驶员是否存在左顾右盼和抬头低头行为进行判别。当驾驶员没有存在左顾右盼和抬头低头行为时，对驾驶员闭眼和打哈欠行为进行识别。分别对驾驶员抽烟行为设置时长阈值tsmoke为1.5秒，打手机行为设置时长阈值tcall为4秒，注意力分散行为设置时长阈值tdistraction为4秒，闭眼行为设置时长阈值tcloseeye为1.5秒，打哈欠行为设置时长阈值topenmouth为2秒。当驾驶员检测出存在抽烟、打手机、注意力分散、闭眼、打哈欠这五类异常行为，并且持续时长超过对应的时长阈值，则触发对应的报警，在终端进行语音提示，从而确保驾驶员安全驾驶，减少交通事故的发生。
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的车辆驾驶员不良驾驶行为检测方法，所述，包括：根据报警队列中计数得到的统计时长，若所述统计时长大于时长阈值，则触发安全报警。
本发明实施例提供的车辆驾驶员不良驾驶行为检测方法，通过采用多任务级联的卷积神经网络对所述驾驶员单帧图像进行面部五官定位，得到驾驶员的面部区域；获取面部区域的感兴趣区域，使用训练完成的第一分类器在感兴趣区域中进行相应检测，并根据检测结果在报警队列中进行相应计数，可以对多种不良驾驶行为进行检测，具有客观全面、实时性好、鲁棒性强、准确度高、易移植的特点，辅助驾驶员安全驾驶，减少交通事故的发生。
本发明各个实施例的实现基础是通过具有处理器功能的设备进行程序化的处理实现的。因此在工程实际中，可以将本发明各个实施例的技术方案及其功能封装成各种模块。基于这种现实情况，在上述各实施例的基础上，本发明的实施例提供了一种车辆驾驶员不良驾驶行为检测装置，该装置用于执行上述方法实施例中的车辆驾驶员不良驾驶行为检测方法。参见图2，该装置包括：第一主模块，用于实时获取驾驶员单帧图像，采用多任务级联的卷积神经网络对所述驾驶员单帧图像进行面部五官定位，得到驾驶员的面部区域；第二主模块，用于获取面部区域的感兴趣区域，使用训练完成的第一分类器在感兴趣区域中检测手机和烟，若检测到手机和/或烟的可信度大于概率阈值，则在异常行为报警队列中计数加1；第三主模块，用于对驾驶员面部姿态建模，获取驾驶员面部朝向的角度信息，若第二角度大于第二角度阈值，则在左顾右盼报警队列中计数加1，若第三角度大于第三角度阈值，则在抬头低头报警队列中计数加1；第四主模块，用于获取驾驶员的眼睛和嘴部区域，使用训练完成的第二分类器判断是否存在闭眼行为，使用训练完成的第三分类器判断是否存在打哈欠行为，若存在闭眼行为，则在闭眼报警队列中计数加1，若存在打哈欠行为，则在打哈欠报警队列中计数加1。
本发明实施例提供的车辆驾驶员不良驾驶行为检测装置，采用图2中的若干模块，通过采用多任务级联的卷积神经网络对所述驾驶员单帧图像进行面部五官定位，得到驾驶员的面部区域；获取面部区域的感兴趣区域，使用训练完成的第一分类器在感兴趣区域中进行相应检测，并根据检测结果在报警队列中进行相应计数，可以对多种不良驾驶行为进行检测，具有客观全面、实时性好、鲁棒性强、准确度高、易移植的特点，辅助驾驶员安全驾驶，减少交通事故的发生。
需要说明的是，本发明提供的装置实施例中的装置，除了可以用于实现上述方法实施例中的方法外，还可以用于实现本发明提供的其他方法实施例中的方法，区别仅仅在于设置相应的功能模块，其原理与本发明提供的上述装置实施例的原理基本相同，只要本领域技术人员在上述装置实施例的基础上，参考其他方法实施例中的具体技术方案，通过组合技术特征获得相应的技术手段，以及由这些技术手段构成的技术方案，在保证技术方案具备实用性的前提下，就可以对上述装置实施例中的装置进行改进，从而得到相应的装置类实施例，用于实现其他方法类实施例中的方法。例如：
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的车辆驾驶员不良驾驶行为检测装置，还包括：第一子模块，用于实现所述采用多任务级联的卷积神经网络对所述驾驶员单帧图像进行面部五官定位，包括：将驾驶员单帧图像进行不同尺度的缩放，生成图像金字塔；采用浅层卷积神经网络作为提议网络输出若干候选人脸框，并且获取每一人脸框的边界回归向量，对候选人脸框进行校准，使用非极大值抑制方法合并重叠的人脸框，采用深层卷积神经网络作为精炼网络对提议网络输出的人脸框进行判别，删除非人脸框，并计算人脸框的边界框回归向量，使用非极大值抑制方法提炼人脸框；采用输出卷积神经网络对精炼网络输出的人脸框进行判别，并计算人脸框的边界回归向量，采用非极大值抑制方法删除重叠的人脸框，输出最终人脸的五官坐标。
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的车辆驾驶员不良驾驶行为检测装置，还包括：第二子模块，用于实现所述获取面部区域的感兴趣区域，包括：将得到的面部区域同时向左和向右扩大半个人脸宽度，得到面部区域的感兴趣区域。
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的车辆驾驶员不良驾驶行为检测装置，还包括：第三子模块，用于实现所述获取驾驶员面部朝向的角度信息，包括：定义一个驾驶员的左眼角、右眼角、鼻尖、左嘴角、右嘴角、下颌共六个面部特征点的3D脸部模型；获取所述面部区域的六个对应的面部特征点，计算3D模型到驾驶员脸部的仿射变换矩阵，得到旋转向量；将旋转向量转换为欧拉角，得到驾驶员的面部朝向的角度信息。
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的车辆驾驶员不良驾驶行为检测装置，还包括：第四子模块，用于实现在所述则在打哈欠报警队列中计数加1之后，还包括：对抽烟驾驶行为、打手机驾驶行为、注意力分散驾驶行为、闭眼驾驶行为和打哈欠驾驶行为，分别设定不同的统计时长。
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的车辆驾驶员不良驾驶行为检测装置，还包括：第五子模块，用于实现所述分别设定不同的统计时长，包括：抽烟驾驶行为的统计时长设定为1秒至3秒，打手机驾驶行为的统计时长设定为4秒至6秒，注意力分散驾驶行为的统计时长设定为4秒至6秒，闭眼驾驶行为的统计时长设定为1秒至3秒，打哈欠驾驶行为的统计时长设定为1.5秒至3.5秒。
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的车辆驾驶员不良驾驶行为检测装置，还包括：第六子模块，用于实现所述，包括：根据报警队列中计数得到的统计时长，若所述统计时长大于时长阈值，则触发安全报警。
本发明实施例的方法是依托电子设备实现的，因此对相关的电子设备有必要做一下介绍。基于此目的，本发明的实施例提供了一种电子设备，如图3所示，该电子设备包括：至少一个处理器(processor)、通信接口(Communications Interface)、至少一个存储器(memory)和通信总线，其中，至少一个处理器，通信接口，至少一个存储器通过通信总线完成相互间的通信。至少一个处理器可以调用至少一个存储器中的逻辑指令，以执行前述各个方法实施例提供的方法的全部或部分步骤。
此外，上述的至少一个存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个方法实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。基于这种认识，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
在本专利中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种车辆驾驶员不良驾驶行为检测方法，其特征在于，包括：实时获取驾驶员单帧图像，采用多任务级联的卷积神经网络对所述驾驶员单帧图像进行面部五官定位，得到驾驶员的面部区域；获取面部区域的感兴趣区域，使用训练完成的第一分类器在感兴趣区域中检测手机和烟，若检测到手机和/或烟的可信度大于概率阈值，则在异常行为报警队列中计数加1；对驾驶员面部姿态建模，获取驾驶员面部朝向的角度信息，若第二角度大于第二角度阈值，则在左顾右盼报警队列中计数加1，若第三角度大于第三角度阈值，则在抬头低头报警队列中计数加1；获取驾驶员的眼睛和嘴部区域，使用训练完成的第二分类器判断是否存在闭眼行为，使用训练完成的第三分类器判断是否存在打哈欠行为，若存在闭眼行为，则在闭眼报警队列中计数加1，若存在打哈欠行为，则在打哈欠报警队列中计数加1。
2.根据权利要求1所述的车辆驾驶员不良驾驶行为检测方法，其特征在于，所述采用多任务级联的卷积神经网络对所述驾驶员单帧图像进行面部五官定位，包括：将驾驶员单帧图像进行不同尺度的缩放，生成图像金字塔；采用浅层卷积神经网络作为提议网络输出若干候选人脸框，并且获取每一人脸框的边界回归向量，对候选人脸框进行校准，使用非极大值抑制方法合并重叠的人脸框，采用深层卷积神经网络作为精炼网络对提议网络输出的人脸框进行判别，删除非人脸框，并计算人脸框的边界框回归向量，使用非极大值抑制方法提炼人脸框；采用输出卷积神经网络对精炼网络输出的人脸框进行判别，并计算人脸框的边界回归向量，采用非极大值抑制方法删除重叠的人脸框，输出最终人脸的五官坐标。
3.根据权利要求2所述的车辆驾驶员不良驾驶行为检测方法，其特征在于，所述获取面部区域的感兴趣区域，包括：将得到的面部区域同时向左和向右扩大半个人脸宽度，得到面部区域的感兴趣区域。
4.根据权利要求3所述的车辆驾驶员不良驾驶行为检测方法，其特征在于，所述获取驾驶员面部朝向的角度信息，包括：定义一个驾驶员的左眼角、右眼角、鼻尖、左嘴角、右嘴角、下颌共六个面部特征点的3D脸部模型；获取所述面部区域的六个对应的面部特征点，计算3D模型到驾驶员脸部的仿射变换矩阵，得到旋转向量；将旋转向量转换为欧拉角，得到驾驶员的面部朝向的角度信息。
5.根据权利要求4所述的车辆驾驶员不良驾驶行为检测方法，其特征在于，在所述则在打哈欠报警队列中计数加1之后，还包括：对抽烟驾驶行为、打手机驾驶行为、注意力分散驾驶行为、闭眼驾驶行为和打哈欠驾驶行为，分别设定不同的统计时长。
6.根据权利要求5所述的车辆驾驶员不良驾驶行为检测方法，其特征在于，所述分别设定不同的统计时长，包括：抽烟驾驶行为的统计时长设定为1秒至3秒，打手机驾驶行为的统计时长设定为4秒至6秒，注意力分散驾驶行为的统计时长设定为4秒至6秒，闭眼驾驶行为的统计时长设定为1秒至3秒，打哈欠驾驶行为的统计时长设定为1.5秒至3.5秒。
7.根据权利要求6所述的车辆驾驶员不良驾驶行为检测方法，其特征在于，所述，包括：根据报警队列中计数得到的统计时长，若所述统计时长大于时长阈值，则触发安全报警。
8.一种车辆驾驶员不良驾驶行为检测装置，其特征在于，包括：第一主模块，用于实时获取驾驶员单帧图像，采用多任务级联的卷积神经网络对所述驾驶员单帧图像进行面部五官定位，得到驾驶员的面部区域；第二主模块，用于获取面部区域的感兴趣区域，使用训练完成的第一分类器在感兴趣区域中检测手机和烟，若检测到手机和/或烟的可信度大于概率阈值，则在异常行为报警队列中计数加1；第三主模块，用于对驾驶员面部姿态建模，获取驾驶员面部朝向的角度信息，若第二角度大于第二角度阈值，则在左顾右盼报警队列中计数加1，若第三角度大于第三角度阈值，则在抬头低头报警队列中计数加1；第四主模块，用于获取驾驶员的眼睛和嘴部区域，使用训练完成的第二分类器判断是否存在闭眼行为，使用训练完成的第三分类器判断是否存在打哈欠行为，若存在闭眼行为，则在闭眼报警队列中计数加1，若存在打哈欠行为，则在打哈欠报警队列中计数加1。
9.一种电子设备，其特征在于，包括：
至少一个处理器、至少一个存储器和通信接口；其中，
所述处理器、存储器和通信接口相互间进行通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行权利要求1至7任一项权利要求所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1至7中任一项权利要求所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110739740.7A CN113408466A (zh) | 2021-06-30 | 2021-06-30 | 车辆驾驶员不良驾驶行为检测方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110739740.7A CN113408466A (zh) | 2021-06-30 | 2021-06-30 | 车辆驾驶员不良驾驶行为检测方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113408466A true CN113408466A (zh) | 2021-09-17 |
Family
ID=77680595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110739740.7A Pending CN113408466A (zh) | 2021-06-30 | 2021-06-30 | 车辆驾驶员不良驾驶行为检测方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113408466A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113822250A (zh) * | 2021-11-23 | 2021-12-21 | 中船（浙江）海洋科技有限公司 | 一种船舶驾驶异常行为检测方法 |
| CN113903074A (zh) * | 2021-12-07 | 2022-01-07 | 深圳佑驾创新科技有限公司 | 一种眼睛属性分类方法、装置及存储介质 |
| CN115035502A (zh) * | 2022-07-08 | 2022-09-09 | 北京百度网讯科技有限公司 | 驾驶员的行为监测方法、装置、电子设备及存储介质 |
| CN115546875A (zh) * | 2022-11-07 | 2022-12-30 | 科大讯飞股份有限公司 | 基于多任务的座舱内行为检测方法、装置以及设备 |
| CN116092280A (zh) * | 2023-02-07 | 2023-05-09 | 深圳市冠标科技发展有限公司 | 一种基于远程通信的监督方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110119676A (zh) * | 2019-03-28 | 2019-08-13 | 广东工业大学 | 一种基于神经网络的驾驶员疲劳检测方法 |
| CN110766912A (zh) * | 2018-07-27 | 2020-02-07 | 长沙智能驾驶研究院有限公司 | 驾驶预警方法、设备及计算机可读存储介质 |
| CN111179552A (zh) * | 2019-12-31 | 2020-05-19 | 苏州清研微视电子科技有限公司 | 基于多传感器融合的驾驶员状态监测方法和系统 |
| CN111259719A (zh) * | 2019-10-28 | 2020-06-09 | 浙江零跑科技有限公司 | 一种基于多目红外视觉系统的驾驶室场景分析方法 |
| WO2021016873A1 (zh) * | 2019-07-30 | 2021-02-04 | 珠海全志科技股份有限公司 | 基于级联神经网络的注意力检测方法、计算机装置及计算机可读存储介质 |
| CN112699807A (zh) * | 2020-12-31 | 2021-04-23 | 车主邦（北京）科技有限公司 | 一种驾驶员状态信息监控方法和装置 |
-
2021
- 2021-06-30 CN CN202110739740.7A patent/CN113408466A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110766912A (zh) * | 2018-07-27 | 2020-02-07 | 长沙智能驾驶研究院有限公司 | 驾驶预警方法、设备及计算机可读存储介质 |
| CN110119676A (zh) * | 2019-03-28 | 2019-08-13 | 广东工业大学 | 一种基于神经网络的驾驶员疲劳检测方法 |
| WO2021016873A1 (zh) * | 2019-07-30 | 2021-02-04 | 珠海全志科技股份有限公司 | 基于级联神经网络的注意力检测方法、计算机装置及计算机可读存储介质 |
| CN111259719A (zh) * | 2019-10-28 | 2020-06-09 | 浙江零跑科技有限公司 | 一种基于多目红外视觉系统的驾驶室场景分析方法 |
| CN111179552A (zh) * | 2019-12-31 | 2020-05-19 | 苏州清研微视电子科技有限公司 | 基于多传感器融合的驾驶员状态监测方法和系统 |
| CN112699807A (zh) * | 2020-12-31 | 2021-04-23 | 车主邦（北京）科技有限公司 | 一种驾驶员状态信息监控方法和装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113822250A (zh) * | 2021-11-23 | 2021-12-21 | 中船（浙江）海洋科技有限公司 | 一种船舶驾驶异常行为检测方法 |
| CN113903074A (zh) * | 2021-12-07 | 2022-01-07 | 深圳佑驾创新科技有限公司 | 一种眼睛属性分类方法、装置及存储介质 |
| CN115035502A (zh) * | 2022-07-08 | 2022-09-09 | 北京百度网讯科技有限公司 | 驾驶员的行为监测方法、装置、电子设备及存储介质 |
| CN115546875A (zh) * | 2022-11-07 | 2022-12-30 | 科大讯飞股份有限公司 | 基于多任务的座舱内行为检测方法、装置以及设备 |
| CN116092280A (zh) * | 2023-02-07 | 2023-05-09 | 深圳市冠标科技发展有限公司 | 一种基于远程通信的监督方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113408466A (zh) | 车辆驾驶员不良驾驶行为检测方法及设备 | |
| CN110826370B (zh) | 车内人员的身份识别方法、装置、车辆及存储介质 | |
| CN108351968A (zh) | 一种针对犯罪活动的告警方法、装置、存储介质及服务器 | |
| US20160144787A1 (en) | Damage recognition assist system | |
| CN111626272A (zh) | 一种基于深度学习的驾驶员疲劳监测系统 | |
| CN105956548A (zh) | 驾驶员疲劳状况检测方法和装置 | |
| CN109523652A (zh) | 基于驾驶行为的保险的处理方法、装置、设备及存储介质 | |
| CN106696824A (zh) | 车辆行驶辅助方法及装置、车辆 | |
| CN112489425A (zh) | 车辆防撞预警方法、装置、车载终端设备和存储介质 | |
| CN112754498B (zh) | 驾驶员的疲劳检测方法、装置、设备及存储介质 | |
| CN112299172A (zh) | 手势求救的识别方法、装置及存储介质 | |
| CN110557628A (zh) | 一种检测摄像头遮挡的方法、装置及电子设备 | |
| CN105976570A (zh) | 一种基于车载视频监控的驾驶员吸烟行为实时监测方法 | |
| CN105117096A (zh) | 一种基于图像识别的反跟踪方法及装置 | |
| CN112633387A (zh) | 一种安全提醒方法、装置、设备、系统及存储介质 | |
| CN115937830A (zh) | 一种面向特种车辆的驾驶员疲劳检测方法 | |
| CN114373189A (zh) | 一种行为检测方法、装置、终端设备及存储介质 | |
| CN112926364B (zh) | 头部姿态的识别方法及系统、行车记录仪和智能座舱 | |
| CN113299147B (zh) | 基于交通事故深度调查的训练系统及训练方法 | |
| CN110751810A (zh) | 一种疲劳驾驶检测方法和装置 | |
| CN113887302A (zh) | 疲劳驾驶检测方法、装置、存储介质及计算机程序产品 | |
| CN113239798A (zh) | 基于孪生神经网络的三维头部姿态估计方法、存储介质和终端 | |
| Ferdian et al. | Identification of Motorcycle Traffic Violations with Deep Learning Method | |
| CN111260692A (zh) | 人脸跟踪方法、装置、设备及存储介质 | |
| CN112883927A (zh) | 司乘状态检测方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210917 |