CN113762213A - 危险驾驶行为检测方法、电子设备以及系统 - Google Patents
危险驾驶行为检测方法、电子设备以及系统 Download PDFInfo
- Publication number
- CN113762213A CN113762213A CN202111144509.XA CN202111144509A CN113762213A CN 113762213 A CN113762213 A CN 113762213A CN 202111144509 A CN202111144509 A CN 202111144509A CN 113762213 A CN113762213 A CN 113762213A
- Authority
- CN
- China
- Prior art keywords
- driving behavior
- key points
- finger
- driving
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 90
- 230000006399 behavior Effects 0.000 claims abstract description 184
- 238000013145 classification model Methods 0.000 claims abstract description 73
- 238000012549 training Methods 0.000 claims abstract description 23
- 239000013598 vector Substances 0.000 claims description 59
- 238000000034 method Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 16
- 238000012706 support-vector machine Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 9
- 230000005484 gravity Effects 0.000 claims description 8
- 210000003811 finger Anatomy 0.000 description 124
- 210000003128 head Anatomy 0.000 description 110
- 210000004247 hand Anatomy 0.000 description 14
- 230000035622 drinking Effects 0.000 description 9
- 230000000391 smoking effect Effects 0.000 description 9
- 210000001503 joint Anatomy 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000005069 ears Anatomy 0.000 description 3
- 210000004932 little finger Anatomy 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种危险驾驶行为检测方法、电子设备以及系统，危险驾驶行为检测方法包括：获取被测对象的驾驶图片；根据关键点检测模型获取所述驾驶图片中的手指关键点和头部关键点；将所述手指关键点和所述头部关键点输入预设的驾驶行为分类模型，其中，所述驾驶行为分类模型是通过不同驾驶图片的所述手指关键点和所述头部关键点训练得到的；基于所述驾驶行为分类模型的分类结果判断驾驶行为。本发明旨在解决现有技术中的检测渣土车司机危险驾驶行为时检测准确性低和检测低效的问题，实现在检测渣土车司机危险驾驶行为时，提高检测的准确性和效率。
Description
技术领域
本发明涉及驾驶行为检测技术领域，尤其涉及一种危险驾驶行为检测方法、电子设备以及系统。
背景技术
近年来，渣土车存在的安全隐患已经造成了大量人员伤亡。由于盲区范围大、作业强度大等特点，渣土车存在的安全隐患远远比其它车辆更多更严重。规范司机驾驶行为是解决渣土车安全隐患的一个重要方面，也是实现智慧交通的必要环节。
现有技术中通过人工监控渣土车司机的方式对司机的驾驶行为进行检测，该方式存在检测准确性低和检测低效的问题。
发明内容
本发明提供一种危险驾驶行为检测方法、电子设备以及系统，用以解决现有技术中的检测渣土车司机危险驾驶行为时检测准确性低和检测低效的问题，实现在检测渣土车司机危险驾驶行为时，提高检测的准确性和效率。
本发明提供一种危险驾驶行为检测方法，包括：
获取被测对象的驾驶图片；
根据关键点检测模型获取所述驾驶图片中的手指关键点和头部关键点；
将所述手指关键点和所述头部关键点输入预设的驾驶行为分类模型，其中，所述驾驶行为分类模型是通过不同驾驶图片的所述手指关键点和所述头部关键点训练得到的；
基于所述驾驶行为分类模型的分类结果判断驾驶行为。
根据本发明提供的一种危险驾驶行为检测方法，所述将所述手指关键点和所述头部关键点输入预设的驾驶行为分类模型的步骤，包括：
计算所述头部关键点与所述手指关键点之间的特征向量；
将所述特征向量输入预设的驾驶行为分类模型。
根据本发明提供的一种危险驾驶行为检测方法，所述获取被测对象的驾驶图片的步骤之前，还包括：
获取被测对象的不同驾驶图片；
根据Openpose检测模型获取所述驾驶图片中的手指关键点和头部关键点，
计算所述头部关键点与所述手指关键点之间的特征向量；
根据支持向量机方法构建驾驶行为分类模型，通过所述特征向量对所述驾驶行为分类模型进行训练。
根据本发明提供的一种危险驾驶行为检测方法，所述手指关键点和所述头部关键点分别包括多个，所述特征向量包括每个所述头部关键点与每个所述手指关键点之间的欧氏距离。
根据本发明提供的一种危险驾驶行为检测方法，所述特征向量还包括多个所述头部关键点的重心与每个所述手指关键点之间的欧氏距离。
根据本发明提供的一种危险驾驶行为检测方法，所述支持向量机方法采用的核函数为高斯核函数；
所述高斯核函数通过以下公式表示：
本发明还提供一种危险驾驶行为检测装置，包括：
第一图片获取模块，用于获取被测对象的驾驶图片；
第一关键点获取模块，根据关键点检测模型获取所述驾驶图片中的手指关键点和头部关键点；
第一输入模块，用于将所述手指关键点和所述头部关键点输入预设的驾驶行为分类模型，其中，所述驾驶行为分类模型是通过不同驾驶图片的所述手指关键点和所述头部关键点训练得到的；
驾驶行为判断模块，用于基于所述驾驶行为分类模型的分类结果判断驾驶行为。
进一步地，危险驾驶行为检测装置还包括：
第一特征向量计算模块，计算所述头部关键点与所述手指关键点之间的特征向量；
第二输入模块，用于将所述特征向量输入预设的驾驶行为分类模型。
进一步地，危险驾驶行为检测装置还包括：
第二图片获取模块，用于获取被测对象的不同驾驶图片；
第二关键点获取模块，用于根据Openpose检测模型获取所述驾驶图片中的手指关键点和头部关键点，
第二特征向量计算模块，用于计算所述头部关键点与所述手指关键点之间的特征向量；
驾驶行为分类模型训练模块，用于根据支持向量机方法构建驾驶行为分类模型，通过所述特征向量对所述驾驶行为分类模型进行训练。
进一步地，所述手指关键点和所述头部关键点分别包括多个，所述特征向量包括每个所述头部关键点与每个所述手指关键点之间的欧氏距离。
进一步地，所述特征向量还包括多个所述头部关键点的重心与每个所述手指关键点之间的欧氏距离。
进一步地，所述支持向量机方法采用的核函数为高斯核函数；
所述高斯核函数通过以下公式表示：
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述危险驾驶行为检测方法的步骤。
本发明还提供一种危险驾驶行为检测系统，包括：
摄像头，用于拍摄被测对象的驾驶图片；
上述的电子设备，所述电子设备与所述摄像头通信连接；以及
云端服务器，与所述电子设备通信连接，用于获取所述电子设备输出的驾驶行为判断结果，并基于所述驾驶行为判断结果向所述被测对象发布警告。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述危险驾驶行为检测方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述危险驾驶行为检测方法的步骤。
鉴于危险驾驶行为通常是手部离开方向盘的行为，如打电话，抽烟，喝饮料等行为。并且在这些行为中手离开方向盘而靠近头部。本发明提供的危险驾驶行为检测方法、电子设备以及系统，通过根据关键点检测模型获取所述驾驶图片中的手指关键点和头部关键点，并将所述手指关键点和所述头部关键点输入预设的驾驶行为分类模型。其中，所述驾驶行为分类模型是通过不同驾驶图片的所述手指关键点和所述头部关键点训练得到的。从而本发明实施例的驾驶行为分类模型能够对涉及手部的危险驾驶行为(如打电话，抽烟，喝饮料等行为)和手位于方向盘的正常安全驾驶行为进行准确分类。从而对危险驾驶行为进行准确识别；另外，本实施例通过关键点检测模型获取所述驾驶图片中的手指关键点和头部关键点，又通过预设的驾驶行为分类模型对手指关键点和头部关键点进行危险驾驶判断，相比通过人工监控危险驾驶行为，本发明实施例通过运用关键点检测模型和驾驶行为分类模型的机器算法对驾驶图片进行危险驾驶行为判断，提高危险驾驶行为的识别效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的危险驾驶行为检测方法的流程示意图之一；
图2是本发明提供的危险驾驶行为检测方法的流程示意图之二；
图3是本发明提供的危险驾驶行为检测装置的结构示意图；
图4是本发明提供的电子设备的结构示意图；
图5是本发明提供的危险驾驶行为检测系统的结构示意图；
图6表示本发明提供的摄像头和电子设备在汽车中上的安装位置示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图2描述本发明的危险驾驶行为检测方法。
请参照图1，本发明提供一种危险驾驶行为检测方法，包括：
S100、获取被测对象的驾驶图片；
通过摄像头拍摄被测对象的驾驶图片，通过电子设备获取摄像头拍摄的被测对象的驾驶图片。其中，本实施例中的被测对象主要以渣土车司机为例，通过电子设备获取摄像头拍摄的渣土车司机的驾驶图片。
需要说明的是，本实施例的被测对象也可以是普通车辆的驾驶员。
S200、根据关键点检测模型获取所述驾驶图片中的手指关键点和头部关键点；
电子设备根据关键点检测模型获取所述驾驶图片中的手指关键点和头部关键点。通过获取驾驶图片中的手指关键点和头部关键点，为基于手指关键点和头部关键点进行驾驶行为分类打下基础。
具体的，关键点检测模型可采用多种关键点检测算法，例如CPM(ConvolutionalPose Machines)算法、OpenPose算法等。本实施例采用OpenPose关键点检测算法获取所述驾驶图片中的手指关键点和头部关键点的坐标。
需要说明的是，为了提高危险驾驶行为检测的准确性，本实施例中的手指关键点包括多根手指的关键点，并且每根手指包括上有多个姿态检测关键点。同样的，头部关键点也包括多个姿态检测关键点。
在一个可行的实施例中，手指关键点包括除去大拇指之外的食指、中指、无名指和小指的检测点。进一步地，每根手指上包括多个检测点。例如每根手指上包括第一指间关节和第二指间关节两个关键点。此时每根手指就包括2个手指关键点，食指、中指、无名指和小指4根手指一共包括8个手指关键点。可以理解的，在其他一些实施例中，手指关键点还可以指尖，或者大拇指上的手指关键点。
在一个可行的实施例中，头部关键点包括鼻子，双眼及双耳5个头部关键点。可以理解的，在其他一些实施例中，头部关键点还可以包括嘴，眉毛等。
S300、将所述手指关键点和所述头部关键点输入预设的驾驶行为分类模型，其中，所述驾驶行为分类模型是通过不同驾驶图片的所述手指关键点和所述头部关键点训练得到的；
通过电子设备将步骤S200中的各个手指关键点和头部关键点输入预设的驾驶行为分类模型。其中所述驾驶行为分类模型是通过不同驾驶图片的所述手指关键点和所述头部关键点训练得到的。通过将不同的驾驶图片，即正常规范驾驶的图片和危险驾驶(包括一边驾驶一边打电话，抽烟，喝饮料等危险驾驶行为)图片一同进行训练，驾驶行为分类模型能够对危险驾驶行为进行准确判断，从而根据渣土车司机的驾驶图片准确识别危险驾驶行为。
S400、基于所述驾驶行为分类模型的分类结果判断驾驶行为。
正常驾驶行为中渣土车司机的手位于方向盘上，此时渣土车司机的头部距离手较远。而在一些危险驾驶行为，如一边驾驶一边打电、抽烟、喝饮料等危险驾驶行为中，渣土车司机的手都距离头部很近。通过将手指关键点坐标和头部关键点坐标输入驾驶行为分类模型。驾驶行为分类模型根据手指关键点坐标与头部关键点坐标的欧式距离的不同，从而识别出安全驾驶和危险驾驶行为。
鉴于危险驾驶行为通常是手部离开方向盘的行为，如打电话，抽烟，喝饮料等行为。并且在这些行为中手离开方向盘而靠近头部。本发明提供的危险驾驶行为检测方法、电子设备以及系统，通过根据关键点检测模型获取所述驾驶图片中的手指关键点和头部关键点，并将所述手指关键点和所述头部关键点输入预设的驾驶行为分类模型。其中，所述驾驶行为分类模型是通过不同驾驶图片的所述手指关键点和所述头部关键点训练得到的。从而本发明实施例的驾驶行为分类模型能够对涉及手部的危险驾驶行为(如打电话，抽烟，喝饮料等行为)和手位于方向盘的正常安全驾驶行为进行准确分类。从而对危险驾驶行为进行准确识别；另外，本实施例通过关键点检测模型获取所述驾驶图片中的手指关键点和头部关键点，又通过预设的驾驶行为分类模型对手指关键点和头部关键点进行危险驾驶判断，相比通过人工监控危险驾驶行为，本发明实施例通过运用关键点检测模型和驾驶行为分类模型的机器算法对驾驶图片进行危险驾驶行为判断，提高危险驾驶行为的识别效率。
在上述各实施例的基础上，作为一种可选实施例，S300、将所述手指关键点和所述头部关键点输入预设的驾驶行为分类模型的步骤，包括：
S310、计算所述头部关键点与所述手指关键点之间的特征向量；
通过电子设备计算所述头部关键点与所述手指关键点之间的特征向量。由于所述手指关键点和所述头部关键点分别包括多个，所述特征向量包括每个所述头部关键点与每个所述手指关键点之间的欧氏距离。
在一个可行的实施例中，手指关键点包括食指、中指、无名指以及小指的第一指间关节和第二指间关节的8个手指关键点，头部关键点包括鼻子，双眼及双耳5个头部关键点。那么所述头部关键点与所述手指关键点之间的特征向量可通过如下公式表示:
V＝{v1，v2，v3，v4，v5，……，v40}；公式(1)
其中，V表示头部关键点与手指关键点之间的特征向量；vi表示头部关键点与手指关键点之间的欧氏距离；由于本实施例中有8个手指关键点和5个头部关键点，所以本实施例中特征向量一共有40个欧式距离，即v1，v2，v3，v4，v5……v40；pk表示五个头部关键点中任一关键点的坐标，pm表示8个手指关键点中任一关键点的坐标。
S320、将所述特征向量输入预设的驾驶行为分类模型。
通过将所述头部关键点与所述手指关键点之间的40个欧氏距离组成的特征向量，输入预设的驾驶行为分类模型。驾驶行为分类模型能够对渣土车司机手部的危险驾驶行为进行准确的检测识别，提高对渣土车司机危险驾驶行为的检测准确性和效率。
在上述各实施例的基础上，作为一种可选实施例，所述特征向量还包括多个所述头部关键点的重心与每个所述手指关键点之间的欧氏距离。
在上述头部关键点与手指关键点的40个欧式距离的基础上，还可在特征向量中添加多个所述头部关键点的重心与每个所述手指关键点之间的欧氏距离。本实施例中头部关键点与手指关键点之间的特征向量可通过如下公式表示:
V＝{v1，v2，v3，v4，v5，……，v48}；公式(3)
其中，V表示头部关键点与手指关键点之间的特征向量；vi表示头部关键点与手指关键点之间的欧氏距离；pk表示五个头部关键点中任一关键点的坐标，pm表示8个手指关键点中任一关键点的坐标，pt表示五个头部关键点的重心的坐标。由于上述40个欧氏距离的基础上，加上五个头部关键点的重心到8个手指关键点的8个欧式距离，所以本实施例中特征向量一共有48个欧式距离，即v1，v2，v3，v4，v5，……，v48。
通过将在上述头部关键点与手指关键点的40个欧式距离的基础上，在特征向量中添加多个所述头部关键点的重心与每个所述手指关键点之间的欧氏距离，并将上述48个欧式距离组成的头部关键点与手指关键点的特征向量输入驾驶行为分类模型，驾驶行为分类模型能够对渣土车司机手部动作的检测更加精细，进一步提高对渣土车司机手部的危险驾驶行为(如边驾驶边抽烟、喝饮料、打电话等)的识别准确性。
请参照图2，在上述各实施例的基础上，作为一种可选实施例，S100、所述获取被测对象的驾驶图片的步骤之前，还包括：
S010、获取被测对象的不同驾驶图片；
通过电子设备获取渣土车司机不同的驾驶图片，包括安全驾驶图片以及危险驾驶图片。
S020、根据Openpose检测模型获取所述驾驶图片中的手指关键点和头部关键点；
通过电子设备根据Openpose检测模型获取所述驾驶图片中的手指关键点和头部关键点；手指关键点包括食指、中指、无名指以及小指的第一指间关节和第二指间关节的8个手指关键点，头部关键点包括鼻子，双眼及双耳5个头部关键点。
S030、计算所述头部关键点与所述手指关键点之间的特征向量；
通过电子设备计算5个头部关键点与8个手指关键点的共计40个欧式距离，以及5个所述头部关键点的重心与每个所述手指关键点之间的欧氏距离。48个头部关键点与手指关键点之间的欧氏距离组成所述头部关键点与所述手指关键点之间的特征向量。
S040、根据支持向量机方法构建驾驶行为分类模型，通过所述特征向量对所述驾驶行为分类模型进行训练。
将S030中得到的特征向量输入支持向量机方法(即svm，英文全称为SupportVector Machine)构建的驾驶行为分类模型。通过S030中得到的特征向量对所述驾驶行为分类模型进行训练。
进一步地，所述支持向量机方法采用的核函数为高斯核函数(简称RBF)；
所述高斯核函数通过以下公式表示：
其中，λ为自由参数，
表示向量x与向量x’之间的欧氏距离。
通过在支持向量机方法使用高斯核函数，有利于更好的区分安全驾驶和危险驾驶行为，提高驾驶行为识别的准确性。
下面对本发明提供的危险驾驶行为检测装置进行描述，下文描述的危险驾驶行为检测装置与上文描述的危险驾驶行为检测方法可相互对应参照。
请参照图3，本发明还提供一种危险驾驶行为检测装置，包括：
第一图片获取模块201，用于获取被测对象的驾驶图片；
第一关键点获取模块202，根据关键点检测模型获取所述驾驶图片中的手指关键点和头部关键点；
第一输入模块203，用于将所述手指关键点和所述头部关键点输入预设的驾驶行为分类模型，其中，所述驾驶行为分类模型是通过不同驾驶图片的所述手指关键点和所述头部关键点训练得到的；
驾驶行为判断模块204，用于基于所述驾驶行为分类模型的分类结果判断驾驶行为。
鉴于危险驾驶行为通常是手部离开方向盘的行为，如打电话，抽烟，喝饮料等行为。并且在这些行为中手离开方向盘而靠近头部。本发明提供的危险驾驶行为检测方法、电子设备以及系统，通过根据关键点检测模型获取所述驾驶图片中的手指关键点和头部关键点，并将所述手指关键点和所述头部关键点输入预设的驾驶行为分类模型。其中，所述驾驶行为分类模型是通过不同驾驶图片的所述手指关键点和所述头部关键点训练得到的。从而本发明实施例的驾驶行为分类模型能够对涉及手部的危险驾驶行为(如打电话，抽烟，喝饮料等行为)和手位于方向盘的正常安全驾驶行为进行准确分类。从而对危险驾驶行为进行准确识别；另外，本实施例通过关键点检测模型获取所述驾驶图片中的手指关键点和头部关键点，又通过预设的驾驶行为分类模型对手指关键点和头部关键点进行危险驾驶判断，相比通过人工监控危险驾驶行为，本发明实施例通过运用关键点检测模型和驾驶行为分类模型的机器算法对驾驶图片进行危险驾驶行为判断，提高危险驾驶行为的识别效率。
在上述各实施例的基础上，作为一种可选实施例，危险驾驶行为检测装置还包括：
第一特征向量计算模块，计算所述头部关键点与所述手指关键点之间的特征向量；
第二输入模块，用于将所述特征向量输入预设的驾驶行为分类模型。
在上述各实施例的基础上，作为一种可选实施例，危险驾驶行为检测装置还包括：
第二图片获取模块，用于获取被测对象的不同驾驶图片；
第二关键点获取模块，用于根据Openpose检测模型获取所述驾驶图片中的手指关键点和头部关键点，
第二特征向量计算模块，用于计算所述头部关键点与所述手指关键点之间的特征向量；
驾驶行为分类模型训练模块，用于根据支持向量机方法构建驾驶行为分类模型，通过所述特征向量对所述驾驶行为分类模型进行训练。
在上述各实施例的基础上，作为一种可选实施例，所述手指关键点和所述头部关键点分别包括多个，所述特征向量包括每个所述头部关键点与每个所述手指关键点之间的欧氏距离。
在上述各实施例的基础上，作为一种可选实施例，所述特征向量还包括多个所述头部关键点的重心与每个所述手指关键点之间的欧氏距离。
在上述各实施例的基础上，作为一种可选实施例，所述支持向量机方法采用的核函数为高斯核函数；
所述高斯核函数通过以下公式表示：
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行危险驾驶行为检测方法，该方法包括：获取被测对象的驾驶图片；根据关键点检测模型获取所述驾驶图片中的手指关键点和头部关键点；将所述手指关键点和所述头部关键点输入预设的驾驶行为分类模型，其中，所述驾驶行为分类模型是通过不同驾驶图片的所述手指关键点和所述头部关键点训练得到的；基于所述驾驶行为分类模型的分类结果判断驾驶行为。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，请参照图5，本发明还提供一种危险驾驶行为检测系统100，包括：摄像头101、上述与所述摄像头101通信连接的电子设备102以及云端服务器103。
摄像头101用于拍摄被测对象的驾驶图片。需要说明的是，摄像头101可设置于电子设备102上或者独立于电子设备102设置。即摄像头101的设置位置不限。
请参照图6，图6表示本实施例的摄像头101和电子设备102在汽车中上的安装位置示意图。由于渣土车司机在驾驶过程中露出上半身，作出危险驾驶行为时，头部、手臂的姿态关键点特征以及手部动作会出现变化。因此，摄像头101可安装在驾驶位置前方，摄像头101高度与司机的胸口位置基本持平(也可根据实际情况调整到最佳状态)，保证摄像头能够捕获司机的头部和双臂动作。
另外，在一些实施例中，所述摄像头101可以选用红外摄像头，通过采集夜晚场景图像素材，做基于深度学习的驾驶行为分类模型的训练，从而提升夜晚检测渣土车司机的驾驶行为的效果。
在另外一些实施例中，摄像头101也可选用鱼眼相机拍摄驾驶员姿态，通过使用鱼眼相机拍摄驾驶员姿态，使得获得的驾驶图片的视角更加广阔，画质更加清晰。
云端服务器103，与所述电子设备通信连接，用于获取所述电子设备输出的驾驶行为判断结果，并基于所述驾驶行为判断结果向所述被测对象发布警告。
需要说明的是，所述电子设备102和所述的云端服务器103可以使用3G、4G或者5G网络、wi-fi、蓝牙等方式传输信息，从而保证传输的实时性。
本发明的危险驾驶行为检测系统通过摄像头用于拍摄被测对象的驾驶图片，通过电子设备对驾驶图片根据关键点检测模型获取所述驾驶图片中的手指关键点和头部关键点，并将所述手指关键点和所述头部关键点输入预设的驾驶行为分类模型。再将驾驶行为分类模型的判断结果上传云端服务器，云端服务器基于所述驾驶行为判断结果向所述被测对象发布警告。通知被测对象安全驾驶，避免危险驾驶行为，从而降低渣土车交通事故的发生。相比传统的人工监控司机的危险驾驶行为，本发明危险驾驶行为检测系统提高危险驾驶检测的准确性和效率。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的危险驾驶行为检测方法，该方法包括：获取被测对象的驾驶图片；根据关键点检测模型获取所述驾驶图片中的手指关键点和头部关键点；将所述手指关键点和所述头部关键点输入预设的驾驶行为分类模型，其中，所述驾驶行为分类模型是通过不同驾驶图片的所述手指关键点和所述头部关键点训练得到的；基于所述驾驶行为分类模型的分类结果判断驾驶行为。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的危险驾驶行为检测方法，该方法包括：获取被测对象的驾驶图片；根据关键点检测模型获取所述驾驶图片中的手指关键点和头部关键点；将所述手指关键点和所述头部关键点输入预设的驾驶行为分类模型，其中，所述驾驶行为分类模型是通过不同驾驶图片的所述手指关键点和所述头部关键点训练得到的；基于所述驾驶行为分类模型的分类结果判断驾驶行为。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种危险驾驶行为检测方法，其特征在于，包括：
获取被测对象的驾驶图片；
根据关键点检测模型获取所述驾驶图片中的手指关键点和头部关键点；
将所述手指关键点和所述头部关键点输入预设的驾驶行为分类模型，其中，所述驾驶行为分类模型是通过不同驾驶图片的所述手指关键点和所述头部关键点训练得到的；
基于所述驾驶行为分类模型的分类结果判断驾驶行为。
2.根据权利要求1所述的危险驾驶行为检测方法，其特征在于，所述将所述手指关键点和所述头部关键点输入预设的驾驶行为分类模型的步骤，包括：
计算所述头部关键点与所述手指关键点之间的特征向量；
将所述特征向量输入预设的驾驶行为分类模型。
3.根据权利要求1所述的危险驾驶行为检测方法，其特征在于，
所述获取被测对象的驾驶图片的步骤之前，还包括：
获取被测对象的不同驾驶图片；
根据Openpose检测模型获取所述驾驶图片中的手指关键点和头部关键点，
计算所述头部关键点与所述手指关键点之间的特征向量；
根据支持向量机方法构建驾驶行为分类模型，通过所述特征向量对所述驾驶行为分类模型进行训练。
4.根据权利要求2或3所述的危险驾驶行为检测方法，其特征在于，
所述手指关键点和所述头部关键点分别包括多个，所述特征向量包括每个所述头部关键点与每个所述手指关键点之间的欧氏距离。
5.根据权利要求4所述的危险驾驶行为检测方法，其特征在于，所述特征向量还包括多个所述头部关键点的重心与每个所述手指关键点之间的欧氏距离。
6.根据权利要求3所述的危险驾驶行为检测方法，其特征在于，
所述支持向量机方法采用的核函数为高斯核函数；
所述高斯核函数通过以下公式表示：
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述危险驾驶行为检测方法的步骤。
8.一种危险驾驶行为检测系统，其特征在于，包括：
摄像头，用于拍摄被测对象的驾驶图片；
权利要求7所述的电子设备，所述电子设备与所述摄像头通信连接；以及
云端服务器，与所述电子设备通信连接，用于获取所述电子设备输出的驾驶行为判断结果，并基于所述驾驶行为判断结果向所述被测对象发布警告。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述危险驾驶行为检测方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述危险驾驶行为检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111144509.XA CN113762213A (zh) | 2021-09-28 | 2021-09-28 | 危险驾驶行为检测方法、电子设备以及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111144509.XA CN113762213A (zh) | 2021-09-28 | 2021-09-28 | 危险驾驶行为检测方法、电子设备以及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113762213A true CN113762213A (zh) | 2021-12-07 |
Family
ID=78797934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111144509.XA Pending CN113762213A (zh) | 2021-09-28 | 2021-09-28 | 危险驾驶行为检测方法、电子设备以及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113762213A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107862296A (zh) * | 2017-11-20 | 2018-03-30 | 深圳市深视创新科技有限公司 | 驾驶员行为的监控方法及系统、计算机可读存储介质 |
| US10213645B1 (en) * | 2011-10-03 | 2019-02-26 | Swingbyte, Inc. | Motion attributes recognition system and methods |
| CN109614953A (zh) * | 2018-12-27 | 2019-04-12 | 华勤通讯技术有限公司 | 一种基于图像识别的控制方法、车载设备及存储介质 |
| CN109685083A (zh) * | 2019-01-09 | 2019-04-26 | 安徽睿极智能科技有限公司 | 驾驶员开车违规使用手机的多尺度检测方法 |
| CN111914892A (zh) * | 2020-06-23 | 2020-11-10 | 安徽师范大学 | 基于轮胎检测的车型及车标识别方法 |
| CN112016457A (zh) * | 2020-08-27 | 2020-12-01 | 青岛慕容信息科技有限公司 | 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质 |
| CN112149589A (zh) * | 2020-09-28 | 2020-12-29 | 南京领行科技股份有限公司 | 车内驾驶员行为识别方法及装置 |
| CN113033503A (zh) * | 2021-05-14 | 2021-06-25 | 哈尔滨理工大学 | 一种多特征融合的危险驾驶行为检测方法及系统 |
-
2021
- 2021-09-28 CN CN202111144509.XA patent/CN113762213A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10213645B1 (en) * | 2011-10-03 | 2019-02-26 | Swingbyte, Inc. | Motion attributes recognition system and methods |
| CN107862296A (zh) * | 2017-11-20 | 2018-03-30 | 深圳市深视创新科技有限公司 | 驾驶员行为的监控方法及系统、计算机可读存储介质 |
| CN109614953A (zh) * | 2018-12-27 | 2019-04-12 | 华勤通讯技术有限公司 | 一种基于图像识别的控制方法、车载设备及存储介质 |
| CN109685083A (zh) * | 2019-01-09 | 2019-04-26 | 安徽睿极智能科技有限公司 | 驾驶员开车违规使用手机的多尺度检测方法 |
| CN111914892A (zh) * | 2020-06-23 | 2020-11-10 | 安徽师范大学 | 基于轮胎检测的车型及车标识别方法 |
| CN112016457A (zh) * | 2020-08-27 | 2020-12-01 | 青岛慕容信息科技有限公司 | 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质 |
| CN112149589A (zh) * | 2020-09-28 | 2020-12-29 | 南京领行科技股份有限公司 | 车内驾驶员行为识别方法及装置 |
| CN113033503A (zh) * | 2021-05-14 | 2021-06-25 | 哈尔滨理工大学 | 一种多特征融合的危险驾驶行为检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210049387A1 (en) | Driving state monitoring methods and apparatuses, driver monitoring systems, and vehicles | |
| US20210004619A1 (en) | Driving state analysis method and apparatus, driver monitoring system and vehicle | |
| CN110858295B (zh) | 一种交警手势识别方法、装置、整车控制器及存储介质 | |
| JP7238217B2 (ja) | 定義されたオブジェクトを識別するためのシステム | |
| US10957069B2 (en) | Head pose estimation from local eye region | |
| JP5790762B2 (ja) | 瞼検出装置 | |
| CN104574817A (zh) | 一种适用于智能手机的基于机器视觉疲劳驾驶预警系统 | |
| CN110103816B (zh) | 一种驾驶状态检测方法 | |
| Ahmed et al. | Robust driver fatigue recognition using image processing | |
| CN111753589B (zh) | 手握方向盘状态的检测方法及装置 | |
| JP7154959B2 (ja) | 走行状況判断情報基盤の運転者状態認識装置及び方法 | |
| CN114764912A (zh) | 驾驶行为识别方法、设备和存储介质 | |
| CN116259002A (zh) | 一种基于视频的人体危险行为分析方法 | |
| CN115331205A (zh) | 一种云边协同的驾驶员疲劳检测系统 | |
| CN112277957A (zh) | 一种用于驾驶员分心纠正的预警方法及其系统、存储介质 | |
| CN113762213A (zh) | 危险驾驶行为检测方法、电子设备以及系统 | |
| CN112926364B (zh) | 头部姿态的识别方法及系统、行车记录仪和智能座舱 | |
| CN115661800A (zh) | 基于视线方向时间关系学习的危险驾驶行为检测方法 | |
| Yogesh et al. | Driver Drowsiness Detection and Alert System using YOLO | |
| CN114037979A (zh) | 一种轻量化的驾驶员疲劳状态检测方法 | |
| CN110096958B (zh) | 一种识别正脸图像的方法、装置及计算设备 | |
| CN113076799A (zh) | 溺水识别报警方法、装置、平台、系统及存储介质 | |
| CN117373001A (zh) | 人员疲劳状态的识别方法、电子设备及可读存储介质 | |
| Huu et al. | Detecting Drivers Falling Asleep Algorithm Based on Eye and Head States | |
| CN118097628A (zh) | 一种面向遮挡脸部的驾驶员疲劳检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |