CN112597965A - 一种驾驶行为识别方法、装置和计算机可读存储介质 - Google Patents
一种驾驶行为识别方法、装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN112597965A CN112597965A CN202110007808.2A CN202110007808A CN112597965A CN 112597965 A CN112597965 A CN 112597965A CN 202110007808 A CN202110007808 A CN 202110007808A CN 112597965 A CN112597965 A CN 112597965A
- Authority
- CN
- China
- Prior art keywords
- data
- driving behavior
- driver
- video data
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 122
- 238000012360 testing method Methods 0.000 claims abstract description 94
- 230000001360 synchronised effect Effects 0.000 claims abstract description 64
- 238000004458 analytical method Methods 0.000 claims abstract description 33
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 20
- 230000006399 behavior Effects 0.000 claims description 173
- 238000012549 training Methods 0.000 claims description 108
- 238000010586 diagram Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 12
- 230000003137 locomotive effect Effects 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
本发明实施例公开了一种驾驶行为识别方法、装置和介质，获取驾驶室内的同步视频数据；其中，同步视频数据包括前置摄像头采集的视频数据和后置摄像头采集的视频数据，降低了视频检测的盲点。利用训练好的基于回归的目标检测测试模型和基于深度卷积神经网络的人体姿态估计测试模型对同步视频数据进行识别，以得到司机驾驶行为的识别结果；依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对司机驾驶行为的识别结果进行违规分析，以识别同步视频数据中存在的违规操作结果。通过目标检测测试模型和人体姿态估计测试模型的配合，有效的提升了司机驾驶行为识别的精确度和实时性。
Description
技术领域
本发明涉及图像分析技术领域，特别是涉及一种驾驶行为识别方法、装置和计算机可读存储介质。
背景技术
伴随着铁路机车车辆、铁路通信信号、铁路线路等设备不断现代化的进行，行车安全监控检测设备发挥着越来越重要的作用。列车越来越高的运行速度和越来越复杂的行车环境给铁路系统的正常运营带来了很多的压力和挑战。列车司机规范的驾驶作业行为对保证列车的安全可靠运行起着重要的作用。
司机行为识别系统的传统做法是采用基于人工特征的目标检测算法，当面对复杂场景的驾驶室图像和多驾驶行为目标检测任务时，由于人工所提取的特征不具有普适性，很难寻找一个能够非常准确地描述目标特征的算子。并且传统的分类器比较容易受到图像的干扰，类别之间细微的差异会导致分类精度大幅度下降。另一方面，大量的驾驶室视频监测数据给传统目标检测算法带来了巨大的运算压力，模型的计算速度比较慢，导致司机驾驶行为不能实时地被识别。
可见，如何提升司机驾驶行为识别的精确度和实时性，是本领域技术人员需要解决的问题。
发明内容
本发明实施例的目的是提供一种驾驶行为识别方法、装置和计算机可读存储介质，可以提升司机驾驶行为识别的精确度和实时性。
为解决上述技术问题，本发明实施例提供一种驾驶行为识别方法，包括：
获取驾驶室内的同步视频数据；其中，所述同步视频数据包括前置摄像头采集的视频数据和后置摄像头采集的视频数据；
利用训练好的基于回归的目标检测测试模型和基于深度卷积神经网络的人体姿态估计测试模型对所述同步视频数据进行识别，以得到司机驾驶行为的识别结果；
依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对所述司机驾驶行为的识别结果进行违规分析，以识别所述同步视频数据中存在的违规操作结果。
可选地，所述目标检测测试模型的训练过程包括：
对采集的历史视频数据进行抽帧处理，以便于用户对各数据帧标注用于表征驾驶行为的框图位置信息以及行为类别；
依据各数据帧标注的行为类别，从所有所述数据帧中选取出符合第一类驾驶行为的数据帧作为第一数据训练集；
利用所述第一数据训练集对建立的基于回归的目标检测训练模型进行迭代训练，直至所述目标检测训练模型的检测精度和检测速度满足预设要求，则将训练好的目标检测训练模型作为目标检测测试模型。
可选地，所述人体姿态估计测试模型的训练过程包括：
对采集的历史视频数据进行抽帧处理，以便于用户对各数据帧标注用于表征驾驶行为的框图位置信息以及行为类别；
依据各数据帧标注的行为类别，从所有所述数据帧中选取出符合第二类驾驶行为的数据帧作为第二数据训练集；
利用所述第二数据训练集对建立的基于深度卷积神经网络的人体姿态估计训练模型进行迭代训练，直至所述人体姿态估计训练模型的检测精度和检测速度满足预设要求，则将训练好的人体姿态估计训练模型作为人体姿态估计检测模型。
可选地，在所述依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对所述司机驾驶行为的识别结果进行违规分析，以识别所述同步视频数据中存在的违规操作结果之后还包括：
将所述违规操作结果上传至机务段客户端。
可选地，在所述依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对所述司机驾驶行为的识别结果进行违规分析，以识别所述同步视频数据中存在的违规操作结果之后还包括：
将所述违规操作结果上传至司机手持终端。
可选地，在所述依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对所述司机驾驶行为的识别结果进行违规分析，以识别所述同步视频数据中存在的违规操作结果之后还包括：
接收所述机务段客户端反馈的校验结果；其中，所述校验结果中包含标注有框图位置信息以及行为类别的校准数据帧；
利用所述校准数据帧对所述目标检测测试模型以及所述人体姿态估计测试模型进行训练，以完成对所述目标检测测试模型以及所述人体姿态估计测试模型的校准。
可选地，在所述依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对所述司机驾驶行为的识别结果进行违规分析，以识别所述同步视频数据中存在的违规操作结果之后还包括：
当所述同步视频数据中存在违规操作结果时，进行报警提示。
本发明实施例还提供了一种驾驶行为识别装置，包括获取单元、识别单元和分析单元；
所述获取单元，用于获取驾驶室内的同步视频数据；其中，所述同步视频数据包括前置摄像头采集的视频数据和后置摄像头采集的视频数据；
所述识别单元，用于利用训练好的基于回归的目标检测测试模型和基于深度卷积神经网络的人体姿态估计测试模型对所述同步视频数据进行识别，以得到司机驾驶行为的识别结果；
所述分析单元，用于依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对所述司机驾驶行为的识别结果进行违规分析，以识别所述同步视频数据中存在的违规操作结果。
可选地，针对于所述目标检测测试模型的训练过程，所述装置包括采集单元、选取单元和训练单元；
所述采集单元，用于对采集的历史视频数据进行抽帧处理，以便于用户对各数据帧标注用于表征驾驶行为的框图位置信息以及行为类别；
所述选取单元，用于依据各数据帧标注的行为类别，从所有所述数据帧中选取出符合第一类驾驶行为的数据帧作为第一数据训练集；
所述训练单元，用于利用所述第一数据训练集对建立的基于回归的目标检测训练模型进行迭代训练，直至所述目标检测训练模型的检测精度和检测速度满足预设要求，则将训练好的目标检测训练模型作为目标检测测试模型。
可选地，针对于所述人体姿态估计测试模型的训练过程，所述装置包括采集单元、选取单元和训练单元
所述采集单元，用于对采集的历史视频数据进行抽帧处理，以便于用户对各数据帧标注用于表征驾驶行为的框图位置信息以及行为类别；
所述选取单元，用于依据各数据帧标注的行为类别，从所有所述数据帧中选取出符合第二类驾驶行为的数据帧作为第二数据训练集；
所述训练单元，用于利用所述第二数据训练集对建立的基于深度卷积神经网络的人体姿态估计训练模型进行迭代训练，直至所述人体姿态估计训练模型的检测精度和检测速度满足预设要求，则将训练好的人体姿态估计训练模型作为人体姿态估计检测模型。
可选地，还包括上传单元；
所述上传单元，用于在所述依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对所述司机驾驶行为的识别结果进行违规分析，以识别所述同步视频数据中存在的违规操作结果之后，将所述违规操作结果上传至机务段客户端。
可选地，还包括上传单元；
所述上传单元，用于在所述依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对所述司机驾驶行为的识别结果进行违规分析，以识别所述同步视频数据中存在的违规操作结果之后，将所述违规操作结果上传至司机手持终端。
可选地，还包括接收单元和校准单元；
所述接收单元，用于接收所述机务段客户端反馈的校验结果；其中，所述校验结果中包含标注有框图位置信息以及行为类别的校准数据帧；
所述校准单元，用于利用所述校准数据帧对所述目标检测测试模型以及所述人体姿态估计测试模型进行训练，以完成对所述目标检测测试模型以及所述人体姿态估计测试模型的校准。
可选地，还包括提示单元；
所述提示单元，用于当所述同步视频数据中存在违规操作结果时，进行报警提示。
本发明实施例还提供了一种驾驶行为识别装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如上述任意一项所述驾驶行为识别方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项所述驾驶行为识别方法的步骤。
由上述技术方案可以看出，获取驾驶室内的同步视频数据；其中，同步视频数据包括前置摄像头采集的视频数据和后置摄像头采集的视频数据；在设置后置摄像头的基础上，通过增加司机驾驶室的前置摄像头，可以采集司机的多视角图像，对司机的值乘状态进行前后视角的全覆盖检测，进一步降低了视频检测的盲点。利用训练好的基于回归的目标检测测试模型和基于深度卷积神经网络的人体姿态估计测试模型对同步视频数据进行识别，以得到司机驾驶行为的识别结果；依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对司机驾驶行为的识别结果进行违规分析，以识别同步视频数据中存在的违规操作结果。在该技术方案中，基于回归的目标检测测试模型将司机驾驶行为的检测问题作为回归问题来求解，实现真正意义上的端到端优化，从而高效而又智能化地检测司机驾驶行为。基于深度卷积神经网络的人体姿态估计测试模型具有强大的运算能力，可以大幅度提高司机姿态检测的速度。通过目标检测测试模型和人体姿态估计测试模型的配合，有效的提升了司机驾驶行为识别的精确度和实时性。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种驾驶行为识别方法的流程图；
图2为本发明实施例提供的一种摄像头安装位置示意图；
图3为本发明实施例提供的一种驾驶行为识别装置的结构示意图；
图4为本发明实施例提供的一种驾驶行为识别装置的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
接下来，详细介绍本发明实施例所提供的一种驾驶行为识别方法。图1为本发明实施例提供的一种驾驶行为识别方法的流程图，该方法包括：
S101：获取驾驶室内的同步视频数据。
其中，同步视频数据包括前置摄像头采集的视频数据和后置摄像头采集的视频数据。
传统方式中，在机车的驾驶室内安装有后置摄像头。其中，后置摄像头可以采用6A系统摄像头。
考虑到后置摄像头对司机不能做到全方位拍摄，存在检测范围的盲点。因此在本发明实施例中，在原有的后置摄像头的基础上添加了前置摄像头。前置摄像头和后置摄像头可以安装在机车两端的驾驶室中，每端驾驶室分别安装前置摄像头和后置摄像头，可以参见图2所示的摄像头安装位置示意图。
后置摄像头覆盖大范围的列车驾驶室，可以高效地检测司机的立岗、瞭望和平躺睡觉等行为。前置摄像头安装在列车驾驶室控制台上面，可以正对主司机的正面。前置摄像头对主司机拍摄的距离更近，拍摄角度更正，扫除了司机行为识别的检测盲点，实现了对司机的全方位拍摄。前置摄像头可以有效地提高主司机行为识别检测的精确度，例如打盹、偏头和手比等驾驶行为。前置摄像头和后置摄像头同时检测司机在驾驶室的行为，实现了全方位和多目标检测的任务。
前置和后置摄像头之间的协同工作是非常重要的。本发明的司机行为识别系统设计了一种视频同步技术，即首先对前置摄像头和后置摄像头进行标定，通过外部存储器进行数据的同步设计，最后设计一个协同控制模块，利用CPU对多摄像头进行系统控制和关联。前置摄像头和后置摄像头的可以将实时采集的视频数据传送给车载服务器。
S102：利用训练好的基于回归的目标检测测试模型和基于深度卷积神经网络的人体姿态估计测试模型对同步视频数据进行识别，以得到司机驾驶行为的识别结果。
司机驾驶行为主要包括立岗、手比、摇臂、打盹、偏头、瞭望、平躺睡觉、手握大闸、玩手机等9种行为类别，在本发明实施例中以上述9种行为类别为例进行说明，但是本发明实施例并不限于上述9种行为类别。
为了提升司机驾驶行为识别的速度和精确度，在本发明实施例中同时采用目标检测测试模型和人体姿态估计测试模型对同步视频数据进行识别。
目标检测测试模型基于回归的目标检测算法实现对司机驾驶行为的识别，可以将司机驾驶行为的检测问题作为回归问题来求解，实现真正意义上的端到端优化，从而高效而又智能化地检测司机驾驶行为。利用目标检测测试模型可以识别司机立岗、瞭望、手握大闸、玩手机、平躺睡觉、摇臂等驾驶行为。
在实际应用中，可以将获取的同步视频数据输入到目标检测测试模型的深度神经网络中提取特征，随后将获取的特征输入到全连接层，全连接层负责输出预测目标的位置信息和属于相应行为类别的概率P。其中，目标的位置信息包括边框的中心点坐标(x,y)以及边框的宽度w和高度h)。在实际应用中，可以通过边框的方式将每帧视频图像中可以反映司机驾驶行为的位置进行标注，目标的位置信息即为每帧视频图像中可以反映司机驾驶行为的位置信息。
基于深度卷积神经网络的人体姿态估计测试模型具有强大的运算能力，可以大幅度提高司机姿态检测的速度。利用人体姿态估计测试模型可以识别司机手比、偏头和打盹等驾驶行为。
在实际应用中，可以将获取的同步视频数据输入到人体姿态估计测试模型的深度卷积神经网络提取卷积特征，然后对提取得到的卷积特征进行回归处理，获取司机人体关键点的置信度和亲和度，随后将检测到的关键点进行聚类来得到关键骨架，最后结合列车司机驾驶作业规范对前面得到的关键骨架进行人体姿态估计。
S103：依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对司机驾驶行为的识别结果进行违规分析，以识别同步视频数据中存在的违规操作结果。
LKJ数据指的是列车运行监控记录装置的数据，记录列车运行状况、信号设备状况及乘务员操纵状况。
利用目标检测测试模型和人体姿态估计测试模型对同步视频数据进行识别，得到司机驾驶行为的识别结果之后，司机驾驶行为是否符合驾驶规范，还需要依赖于LKJ数据以及预先存储的司机驾驶作业操作规范信息进行进一步的分析。
以手比为例，司机驾驶作业操作规范信息中记载了只有车辆进站、出站、遇到指示灯的情况下司机才会出现手比的驾驶行为，因此结合LKJ数据可以识别司机出现手比时是否符合车辆进站、出站、遇到指示灯的情况，如果司机出现手比时符合车辆进站、出站或者遇到指示灯的情况，则说明司机驾驶行为规范；如果司机出现手比时不符合车辆进站、出站或者遇到指示灯的情况，则说明司机驾驶行为不规范，此时可以记录司机的违规操作结果。
在本发明实施例中，训练好的目标检测测试模型以及训练好的人体姿态估计测试模型是实现司机驾驶行为识别的关键，接下来将对模型的训练过程展开介绍。
以目标检测测试模型的训练过程为例，在具体实现中，可以对采集的历史视频数据进行抽帧处理，以便于用户对各数据帧标注用于表征驾驶行为的框图位置信息以及行为类别；依据各数据帧标注的行为类别，从所有数据帧中选取出符合第一类驾驶行为的数据帧作为第一数据训练集。
在本发明实施例中，目标检测测试模型可以用于识别司机立岗、瞭望、手握大闸、玩手机、平躺睡觉、摇臂等驾驶行为，因此，在模型训练时，可以将司机立岗、瞭望、手握大闸、玩手机、平躺睡觉、摇臂等驾驶行为划分为第一类驾驶行为。
在得到第一数据训练集之后，可以利用第一数据训练集对建立的基于回归的目标检测训练模型进行迭代训练，直至目标检测训练模型的检测精度和检测速度满足预设要求，则将训练好的目标检测训练模型作为目标检测测试模型。
以人体姿态估计测试模型的训练过程为例，在具体实现中，可以对采集的历史视频数据进行抽帧处理，以便于用户对各数据帧标注用于表征驾驶行为的框图位置信息以及行为类别；依据各数据帧标注的行为类别，从所有数据帧中选取出符合第二类驾驶行为的数据帧作为第二数据训练集。
在本发明实施例中，人体姿态估计测试模型可以用于识别司机手比、偏头和打盹等驾驶行为，因此，在模型训练时，可以将司机手比、偏头和打盹等驾驶行为划分为第二类驾驶行为。
在得到第二数据训练集之后，可以利用第二数据训练集对建立的基于深度卷积神经网络的人体姿态估计训练模型进行迭代训练，直至人体姿态估计训练模型的检测精度和检测速度满足预设要求，则将训练好的人体姿态估计训练模型作为人体姿态估计检测模型。
在模型训练过程中，可以使用精确率和召回率来评价目标检测训练模型的检测精度，使用帧率来评价目标检测训练模型的检测速度。
在本发明实施例中，当车载服务器检测到同步视频数据中存在违规操作结果时，可以进行报警提示，从而及时引起驾驶员的注意，使得驾驶员规范驾驶。
由上述技术方案可以看出，获取驾驶室内的同步视频数据；其中，同步视频数据包括前置摄像头采集的视频数据和后置摄像头采集的视频数据；在设置后置摄像头的基础上，通过增加司机驾驶室的前置摄像头，可以采集司机的多视角图像，对司机的值乘状态进行前后视角的全覆盖检测，进一步降低了视频检测的盲点。利用训练好的基于回归的目标检测测试模型和基于深度卷积神经网络的人体姿态估计测试模型对同步视频数据进行识别，以得到司机驾驶行为的识别结果；依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对司机驾驶行为的识别结果进行违规分析，以识别同步视频数据中存在的违规操作结果。在该技术方案中，基于回归的目标检测测试模型将司机驾驶行为的检测问题作为回归问题来求解，实现真正意义上的端到端优化，从而高效而又智能化地检测司机驾驶行为。基于深度卷积神经网络的人体姿态估计测试模型具有强大的运算能力，可以大幅度提高司机姿态检测的速度。通过目标检测测试模型和人体姿态估计测试模型的配合，有效的提升了司机驾驶行为识别的精确度和实时性。
在本发明实施例中，在依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对司机驾驶行为的识别结果进行违规分析，以识别同步视频数据中存在的违规操作结果之后，可以将违规操作结果上传至机务段客户端和司机手持终端。
在具体实现中，车载服务器可以通过无线网络将违规操作结果传输到机务段客户端即机务段视频安全分析室的电脑终端，供安全分析人员查询司机驾驶违章结果。
车载服务器也可以将违规操作结果传输到司机手持终端，当驾驶作业完成后列车司机可以通过手持终端及时查询整个值乘状态的总体评价和具体的违章结果。
车载服务器通过向机务段客户端传输违规操作结果，可以便于安全分析人员及时了解司机的驾驶情况，并且可以依赖于违规操作结果对司机驾驶行为进行评估。车载服务器通过向司机手持终端传输违规操作结果，可以便于司机及时了解自身在驾驶过程中存在的不规范行为，从而及时改正，保证驾驶的安全性。
在本发明实施例中，机务段客户端的安全分析人员可以查看违规操作结果所对应的视频数据，并结合LKJ数据确定出司机在驾驶过程中是否真实存在违规操作，并且违规操作结果中包含的违规行为类别是否正确。当安全分析人员通过人工标记的方式得出的违规操作结果与车载服务端传输的违规操作结果不匹配时，安全分析人员可以通过机务段客户端向车载服务端反馈包含标注有框图位置信息以及行为类别的校准数据帧。
相应的，车载服务端在接收到机务段客户端反馈的校验结果时，可以利用校准数据帧对目标检测测试模型以及人体姿态估计测试模型进行训练，以完成对目标检测测试模型以及人体姿态估计测试模型的校准。
通过对目标检测测试模型以及人体姿态估计测试模型的进行校准，可以进一步提升目标检测测试模型以及人体姿态估计测试模型检测的精确度。
图3为本发明实施例提供的一种驾驶行为识别装置的结构示意图，包括获取单元31、识别单元32和分析单元33；
获取单元31，用于获取驾驶室内的同步视频数据；其中，同步视频数据包括前置摄像头采集的视频数据和后置摄像头采集的视频数据；
识别单元32，用于利用训练好的基于回归的目标检测测试模型和基于深度卷积神经网络的人体姿态估计测试模型对同步视频数据进行识别，以得到司机驾驶行为的识别结果；
分析单元33，用于依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对司机驾驶行为的识别结果进行违规分析，以识别同步视频数据中存在的违规操作结果。
可选地，针对于目标检测测试模型的训练过程，装置包括采集单元、选取单元和训练单元；
采集单元，用于对采集的历史视频数据进行抽帧处理，以便于用户对各数据帧标注用于表征驾驶行为的框图位置信息以及行为类别；
选取单元，用于依据各数据帧标注的行为类别，从所有数据帧中选取出符合第一类驾驶行为的数据帧作为第一数据训练集；
训练单元，用于利用第一数据训练集对建立的基于回归的目标检测训练模型进行迭代训练，直至目标检测训练模型的检测精度和检测速度满足预设要求，则将训练好的目标检测训练模型作为目标检测测试模型。
可选地，针对于人体姿态估计测试模型的训练过程，装置包括采集单元、选取单元和训练单元
采集单元，用于对采集的历史视频数据进行抽帧处理，以便于用户对各数据帧标注用于表征驾驶行为的框图位置信息以及行为类别；
选取单元，用于依据各数据帧标注的行为类别，从所有数据帧中选取出符合第二类驾驶行为的数据帧作为第二数据训练集；
训练单元，用于利用第二数据训练集对建立的基于深度卷积神经网络的人体姿态估计训练模型进行迭代训练，直至人体姿态估计训练模型的检测精度和检测速度满足预设要求，则将训练好的人体姿态估计训练模型作为人体姿态估计检测模型。
可选地，还包括上传单元；
上传单元，用于在依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对司机驾驶行为的识别结果进行违规分析，以识别同步视频数据中存在的违规操作结果之后，将违规操作结果上传至机务段客户端。
可选地，还包括上传单元；
上传单元，用于在依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对司机驾驶行为的识别结果进行违规分析，以识别同步视频数据中存在的违规操作结果之后，将违规操作结果上传至司机手持终端。
可选地，还包括接收单元和校准单元；
接收单元，用于接收机务段客户端反馈的校验结果；其中，校验结果中包含标注有框图位置信息以及行为类别的校准数据帧；
校准单元，用于利用校准数据帧对目标检测测试模型以及人体姿态估计测试模型进行训练，以完成对目标检测测试模型以及人体姿态估计测试模型的校准。
可选地，还包括提示单元；
提示单元，用于当同步视频数据中存在违规操作结果时，进行报警提示。
图3所对应实施例中特征的说明可以参见图1所对应实施例的相关说明，这里不再一一赘述。
由上述技术方案可以看出，获取驾驶室内的同步视频数据；其中，同步视频数据包括前置摄像头采集的视频数据和后置摄像头采集的视频数据；在设置后置摄像头的基础上，通过增加司机驾驶室的前置摄像头，可以采集司机的多视角图像，对司机的值乘状态进行前后视角的全覆盖检测，进一步降低了视频检测的盲点。利用训练好的基于回归的目标检测测试模型和基于深度卷积神经网络的人体姿态估计测试模型对同步视频数据进行识别，以得到司机驾驶行为的识别结果；依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对司机驾驶行为的识别结果进行违规分析，以识别同步视频数据中存在的违规操作结果。在该技术方案中，基于回归的目标检测测试模型将司机驾驶行为的检测问题作为回归问题来求解，实现真正意义上的端到端优化，从而高效而又智能化地检测司机驾驶行为。基于深度卷积神经网络的人体姿态估计测试模型具有强大的运算能力，可以大幅度提高司机姿态检测的速度。通过目标检测测试模型和人体姿态估计测试模型的配合，有效的提升了司机驾驶行为识别的精确度和实时性。
图4为本发明实施例提供的一种驾驶行为识别装置40的硬件结构示意图，包括：
存储器41，用于存储计算机程序；
处理器42，用于执行计算机程序以实现如上述任意一项驾驶行为识别方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述任意一项驾驶行为识别方法的步骤。
以上对本发明实施例所提供的一种驾驶行为识别方法、装置和计算机可读存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
Claims (15)
1.一种驾驶行为识别方法，其特征在于，包括：
获取驾驶室内的同步视频数据；其中，所述同步视频数据包括前置摄像头采集的视频数据和后置摄像头采集的视频数据；
利用训练好的基于回归的目标检测测试模型和基于深度卷积神经网络的人体姿态估计测试模型对所述同步视频数据进行识别，以得到司机驾驶行为的识别结果；
依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对所述司机驾驶行为的识别结果进行违规分析，以识别所述同步视频数据中存在的违规操作结果。
2.根据权利要求1所述的驾驶行为识别方法，其特征在于，所述目标检测测试模型的训练过程包括：
对采集的历史视频数据进行抽帧处理，以便于用户对各数据帧标注用于表征驾驶行为的框图位置信息以及行为类别；
依据各数据帧标注的行为类别，从所有所述数据帧中选取出符合第一类驾驶行为的数据帧作为第一数据训练集；
利用所述第一数据训练集对建立的基于回归的目标检测训练模型进行迭代训练，直至所述目标检测训练模型的检测精度和检测速度满足预设要求，则将训练好的目标检测训练模型作为目标检测测试模型。
3.根据权利要求1所述的驾驶行为识别方法，其特征在于，所述人体姿态估计测试模型的训练过程包括：
对采集的历史视频数据进行抽帧处理，以便于用户对各数据帧标注用于表征驾驶行为的框图位置信息以及行为类别；
依据各数据帧标注的行为类别，从所有所述数据帧中选取出符合第二类驾驶行为的数据帧作为第二数据训练集；
利用所述第二数据训练集对建立的基于深度卷积神经网络的人体姿态估计训练模型进行迭代训练，直至所述人体姿态估计训练模型的检测精度和检测速度满足预设要求，则将训练好的人体姿态估计训练模型作为人体姿态估计检测模型。
4.根据权利要求1所述的驾驶行为识别方法，其特征在于，在所述依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对所述司机驾驶行为的识别结果进行违规分析，以识别所述同步视频数据中存在的违规操作结果之后还包括：
将所述违规操作结果上传至机务段客户端。
5.根据权利要求1所述的驾驶行为识别方法，其特征在于，在所述依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对所述司机驾驶行为的识别结果进行违规分析，以识别所述同步视频数据中存在的违规操作结果之后还包括：
将所述违规操作结果上传至司机手持终端。
6.根据权利要求4所述的驾驶行为识别方法，其特征在于，在所述依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对所述司机驾驶行为的识别结果进行违规分析，以识别所述同步视频数据中存在的违规操作结果之后还包括：
接收所述机务段客户端反馈的校验结果；其中，所述校验结果中包含标注有框图位置信息以及行为类别的校准数据帧；
利用所述校准数据帧对所述目标检测测试模型以及所述人体姿态估计测试模型进行训练，以完成对所述目标检测测试模型以及所述人体姿态估计测试模型的校准。
7.根据权利要求1-6任意一项所述的驾驶行为识别方法，其特征在于，在所述依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对所述司机驾驶行为的识别结果进行违规分析，以识别所述同步视频数据中存在的违规操作结果之后还包括：
当所述同步视频数据中存在违规操作结果时，进行报警提示。
8.一种驾驶行为识别装置，其特征在于，包括获取单元、识别单元和分析单元；
所述获取单元，用于获取驾驶室内的同步视频数据；其中，所述同步视频数据包括前置摄像头采集的视频数据和后置摄像头采集的视频数据；
所述识别单元，用于利用训练好的基于回归的目标检测测试模型和基于深度卷积神经网络的人体姿态估计测试模型对所述同步视频数据进行识别，以得到司机驾驶行为的识别结果；
所述分析单元，用于依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对所述司机驾驶行为的识别结果进行违规分析，以识别所述同步视频数据中存在的违规操作结果。
9.根据权利要求8所述的驾驶行为识别装置，其特征在于，针对于所述目标检测测试模型的训练过程，所述装置包括采集单元、选取单元和训练单元；
所述采集单元，用于对采集的历史视频数据进行抽帧处理，以便于用户对各数据帧标注用于表征驾驶行为的框图位置信息以及行为类别；
所述选取单元，用于依据各数据帧标注的行为类别，从所有所述数据帧中选取出符合第一类驾驶行为的数据帧作为第一数据训练集；
所述训练单元，用于利用所述第一数据训练集对建立的基于回归的目标检测训练模型进行迭代训练，直至所述目标检测训练模型的检测精度和检测速度满足预设要求，则将训练好的目标检测训练模型作为目标检测测试模型。
10.根据权利要求8所述的驾驶行为识别装置，其特征在于，针对于所述人体姿态估计测试模型的训练过程，所述装置包括采集单元、选取单元和训练单元
所述采集单元，用于对采集的历史视频数据进行抽帧处理，以便于用户对各数据帧标注用于表征驾驶行为的框图位置信息以及行为类别；
所述选取单元，用于依据各数据帧标注的行为类别，从所有所述数据帧中选取出符合第二类驾驶行为的数据帧作为第二数据训练集；
所述训练单元，用于利用所述第二数据训练集对建立的基于深度卷积神经网络的人体姿态估计训练模型进行迭代训练，直至所述人体姿态估计训练模型的检测精度和检测速度满足预设要求，则将训练好的人体姿态估计训练模型作为人体姿态估计检测模型。
11.根据权利要求8所述的驾驶行为识别装置，其特征在于，，还包括上传单元；
所述上传单元，用于在所述依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对所述司机驾驶行为的识别结果进行违规分析，以识别所述同步视频数据中存在的违规操作结果之后，将所述违规操作结果上传至机务段客户端。
12.根据权利要求8所述的驾驶行为识别装置，其特征在于，，还包括上传单元；
所述上传单元，用于在所述依据采集的LKJ数据以及预先存储的司机驾驶作业操作规范信息，对所述司机驾驶行为的识别结果进行违规分析，以识别所述同步视频数据中存在的违规操作结果之后，将所述违规操作结果上传至司机手持终端。
13.根据权利要求11所述的驾驶行为识别装置，其特征在于，，还包括接收单元和校准单元；
所述接收单元，用于接收所述机务段客户端反馈的校验结果；其中，所述校验结果中包含标注有框图位置信息以及行为类别的校准数据帧；
所述校准单元，用于利用所述校准数据帧对所述目标检测测试模型以及所述人体姿态估计测试模型进行训练，以完成对所述目标检测测试模型以及所述人体姿态估计测试模型的校准。
14.一种驾驶行为识别装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至7任意一项所述驾驶行为识别方法的步骤。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述驾驶行为识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110007808.2A CN112597965A (zh) | 2021-01-05 | 2021-01-05 | 一种驾驶行为识别方法、装置和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110007808.2A CN112597965A (zh) | 2021-01-05 | 2021-01-05 | 一种驾驶行为识别方法、装置和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112597965A true CN112597965A (zh) | 2021-04-02 |
Family
ID=75207343
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110007808.2A Pending CN112597965A (zh) | 2021-01-05 | 2021-01-05 | 一种驾驶行为识别方法、装置和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112597965A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113420961A (zh) * | 2021-05-31 | 2021-09-21 | 湖南森鹰智造科技有限公司 | 基于智能感知的铁路机车驾驶安全辅助系统 |
| CN113901895A (zh) * | 2021-09-18 | 2022-01-07 | 武汉未来幻影科技有限公司 | 一种车辆的开门动作识别方法、装置以及处理设备 |
| CN114051116A (zh) * | 2021-08-30 | 2022-02-15 | 武汉未来幻影科技有限公司 | 一种驾考车辆的视频监控方法、装置以及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787438A (zh) * | 2016-02-03 | 2016-07-20 | 郑州畅想高科股份有限公司 | 一种基于视频的机车司机值乘状态检测方法及系统 |
| CN110213548A (zh) * | 2019-07-01 | 2019-09-06 | 南京派光智慧感知信息技术有限公司 | 一种轨道列车驾驶员行为综合监测警示方法 |
| CN110544360A (zh) * | 2019-08-07 | 2019-12-06 | 北京全路通信信号研究设计院集团有限公司 | 一种列车安全驾驶监测系统及方法 |
| CN110618635A (zh) * | 2019-10-08 | 2019-12-27 | 中兴飞流信息科技有限公司 | 一种基于ai技术的列车驾驶室作业规范监测系统 |
| US20200160561A1 (en) * | 2018-08-24 | 2020-05-21 | Beijing Sensetime Technology Development Co., Ltd. | Vehicle-mounted camera pose estimation method, apparatus, and system, and electronic device |
| CN111353471A (zh) * | 2020-03-17 | 2020-06-30 | 北京百度网讯科技有限公司 | 安全驾驶监测方法、装置、设备和可读存储介质 |
| CN111462238A (zh) * | 2020-04-03 | 2020-07-28 | 清华大学 | 姿态估计优化方法、装置及存储介质 |
-
2021
- 2021-01-05 CN CN202110007808.2A patent/CN112597965A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787438A (zh) * | 2016-02-03 | 2016-07-20 | 郑州畅想高科股份有限公司 | 一种基于视频的机车司机值乘状态检测方法及系统 |
| US20200160561A1 (en) * | 2018-08-24 | 2020-05-21 | Beijing Sensetime Technology Development Co., Ltd. | Vehicle-mounted camera pose estimation method, apparatus, and system, and electronic device |
| CN110213548A (zh) * | 2019-07-01 | 2019-09-06 | 南京派光智慧感知信息技术有限公司 | 一种轨道列车驾驶员行为综合监测警示方法 |
| CN110544360A (zh) * | 2019-08-07 | 2019-12-06 | 北京全路通信信号研究设计院集团有限公司 | 一种列车安全驾驶监测系统及方法 |
| CN110618635A (zh) * | 2019-10-08 | 2019-12-27 | 中兴飞流信息科技有限公司 | 一种基于ai技术的列车驾驶室作业规范监测系统 |
| CN111353471A (zh) * | 2020-03-17 | 2020-06-30 | 北京百度网讯科技有限公司 | 安全驾驶监测方法、装置、设备和可读存储介质 |
| CN111462238A (zh) * | 2020-04-03 | 2020-07-28 | 清华大学 | 姿态估计优化方法、装置及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113420961A (zh) * | 2021-05-31 | 2021-09-21 | 湖南森鹰智造科技有限公司 | 基于智能感知的铁路机车驾驶安全辅助系统 |
| CN114051116A (zh) * | 2021-08-30 | 2022-02-15 | 武汉未来幻影科技有限公司 | 一种驾考车辆的视频监控方法、装置以及系统 |
| CN113901895A (zh) * | 2021-09-18 | 2022-01-07 | 武汉未来幻影科技有限公司 | 一种车辆的开门动作识别方法、装置以及处理设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112597965A (zh) | 一种驾驶行为识别方法、装置和计算机可读存储介质 | |
| CN111325872B (zh) | 基于计算机视觉的司机驾驶异常检测方法 | |
| US8339282B2 (en) | Security systems | |
| US8744642B2 (en) | Driver identification based on face data | |
| US9685098B1 (en) | Driver compliance risk adjustments | |
| CN112348992B (zh) | 基于车路协同系统的车载视频处理方法、装置及存储介质 | |
| US11361556B2 (en) | Deterioration diagnosis device, deterioration diagnosis system, deterioration diagnosis method, and storage medium for storing program | |
| CN112633057B (zh) | 一种公交车内异常行为智能监控方法 | |
| CN103824037B (zh) | 车用防跟踪报警装置 | |
| CN110516518A (zh) | 一种非机动车违法载人检测方法、装置及电子设备 | |
| CN103359020A (zh) | 一种机动车驾驶培训或考试监控方法和系统 | |
| CN112686090A (zh) | 一种公交车内异常行为智能监控系统 | |
| CN109447090B (zh) | 一种屏蔽门障碍物检测方法及检测系统 | |
| CN108583592A (zh) | 一种地铁乘务作业信息采集智能检测方法 | |
| CN111896685A (zh) | 一种汽车尾气远程监测系统 | |
| CN104751668A (zh) | 交通信息管理系统 | |
| CN108805184B (zh) | 一种固定空间、车辆上的图像识别方法及系统 | |
| CN110399766A (zh) | 基于深度学习的抽烟检测分析系统 | |
| CN112215093A (zh) | 一种车辆驾驶能力水平的评价方法及装置 | |
| CN114333120A (zh) | 一种公交客流检测方法及系统 | |
| CN113990101A (zh) | 一种禁停区域车辆检测方法及其系统和处理装置 | |
| CN111862621B (zh) | 多类型适配的黑烟车智能抓拍系统 | |
| CN108932503A (zh) | 恶劣天气下车前障碍的识别方法及装置、存储介质、终端 | |
| CN109508632B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| US11615141B1 (en) | Video analysis for efficient sorting of event data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |