CN110503831A - 一种识别驾驶员违法行为的方法及设备 - Google Patents
一种识别驾驶员违法行为的方法及设备 Download PDFInfo
- Publication number
- CN110503831A CN110503831A CN201910802772.XA CN201910802772A CN110503831A CN 110503831 A CN110503831 A CN 110503831A CN 201910802772 A CN201910802772 A CN 201910802772A CN 110503831 A CN110503831 A CN 110503831A
- Authority
- CN
- China
- Prior art keywords
- image
- driver
- target
- interactive voice
- target vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000694 effects Effects 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004458 analytical method Methods 0.000 claims abstract description 61
- 230000002452 interceptive effect Effects 0.000 claims abstract description 55
- 238000001514 detection method Methods 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 16
- 238000005096 rolling process Methods 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000006399 behavior Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0133—Traffic data processing for classifying traffic situation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Analytical Chemistry (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请的目的是提供一种用于识别驾驶员违法行为的方法及设备，本申请通过获取前端数据，其中，所述前端数据包括目标图像以及目标车辆车牌信息；检测所述目标图像，并根据检测到的结果以及所述目标车辆车牌信息定位目标车辆的图像；利用驾驶员检测器从所述目标车辆的图像中抠取驾驶员图像；对所述驾驶员图像进行分析处理，确定所述驾驶员的语音交互状态的分析结果以及安全带状态的分析结果；根据所述语音交互状态的分析结果及所述安全带状态的分析结果识别所述驾驶员的违法行为。从而高效、高精确度地识别驾驶员违法行为。
Description
技术领域
本申请涉及图像识别领域，尤其涉及一种用于识别驾驶员违法行为的方法及设备。
背景技术
驾驶员违法打电话、违法未系安全带等一系列违法交通安全行为，危及他人和自身的安全，如何智能分析驾驶员行为已成为一个重要课题。当前，驾驶车辆及驾驶室所处的复杂背景，包括环境变化、天气因素、光线亮暗等，还包括驾驶员的丰富的穿着、姿态等都给驾驶员行为分析带来困难。现有技术难以实现高效高准确率地识别驾驶员打电话和未系安全带等行为。
发明内容
本申请的一个目的是提供一种识别驾驶员违法行为的方法及设备，解决现有技术中识别驾驶员违法行为效率低、准确率低下的问题。
根据本申请的一个方面，提供了一种用于识别驾驶员的违法行为的方法，该方法包括：
获取前端数据，其中，所述前端数据包括目标图像以及目标车辆车牌信息；
检测所述目标图像，并根据检测到的结果以及所述目标车辆车牌信息定位目标车辆的图像；
利用驾驶员检测器从所述目标车辆的图像中抠取驾驶员图像；
对所述驾驶员图像进行分析处理，确定所述驾驶员的语音交互状态的分析结果以及安全带状态的分析结果；
根据所述语音交互状态的分析结果及所述安全带状态的分析结果识别所述驾驶员的违法行为。
进一步地，所述检测所述目标图像，并根据检测到的结果以及所述目标车辆车牌信息定位目标车辆的图像，包括：
利用车辆检测器检测所述目标图像，得到满足阈值的全部车辆，并确定每一车辆的类型标签及定位每一车辆的矩形框坐标；
根据每一车辆的矩形框坐标从所述全部车辆所在的目标图像中抠取出所有车辆的图像；
利用车牌检测器对所述所有车辆的图像进行检测得到车牌图像，结合所述目标车辆车牌信息对所述车牌图像进行识别处理，确定目标车牌号；
根据所述目标车牌号定位目标车辆的图像。
进一步地，所述利用车辆检测器检测所述目标图像，得到满足阈值的全部车辆，包括：
利用车辆检测器检测所述目标图像得到第一得分数值；
根据第一预设阈值对所述目标图像进行筛选，得到所述第一得分数值在所述第一预设阈值内的全部车辆。
进一步地，所述利用车牌检测器对所述所有车辆的图像进行检测得到车牌图像，包括：
截取所述所有车辆的图像的下半部图像，利用所述车牌检测器对所述下半部图像进行检测后得到第二得分数值；
确定所述第二得分数值在第二预设阈值内的最大置信度的车辆图像为车牌图像。
进一步地，所述结合所述目标车辆车牌信息对所述车牌图像进行识别处理，确定目标车牌号，包括：
使用光学字符识别逐一识别所述车牌图像内字符信息；
计算所述目标车辆车牌信息与所述车牌图像内字符信息的字符编辑距离，取最小编辑距离的车牌号确定为所述目标车牌号。
进一步地，所述使用光学字符识别逐一识别所述车牌图像内字符信息之前，包括：
计算所述车牌图像内字符信息的得分，判断所述字符信息的得分是否在第三预设阈值内，若是，则使用光学字符识别逐一识别所述车牌图像内字符信息；若否，则终止所述识别处理。
进一步地，所述对所述驾驶员图像进行分析处理，确定所述驾驶员的语音交互状态的分析结果以及安全带状态的分析结果，包括：
对所述驾驶员图像进行预处理后分析所述驾驶员的语音交互状态，得到所述语音交互状态的分析结果；
对所述驾驶员图像进行掩模预处理以及过滤处理，以得到关于所述驾驶员的安全带状态的分析结果。
进一步地，所述对所述驾驶员图像进行预处理后分析所述驾驶员的语音交互状态，得到所述语音交互状态的分析结果，包括：
对所述驾驶员图像中包含的语音交互状态进行二分类，得到第一类别语音交互状态和第二类别语音交互状态；
根据所述第一类别语音交互状态对应的第一置信度阈值判断所述第一类别语音交互状态是否为违法行为；
根据所述第二类别语音交互状态对应的第二置信度阈值确定所述第二类别语音交互状态是否为未违法行为。
进一步地，所述对所述驾驶员图像进行掩模预处理以及过滤处理，包括：
根据所述驾驶员图像的宽度信息和高度信息构建对应的图像掩模；
将所述图像掩模叠加于所述驾驶员图像，得到掩模后的驾驶员图像；
根据预设过滤方式对所述掩模后的驾驶员图像进行过滤处理，其中，所述预设过滤方式由清晰度评价函数、图像尺寸约束、图像边缘梯度方向直方图统计确定。
进一步地，所述得到关于所述驾驶员的安全带状态的分析结果，包括：
根据安全带分类模型对过滤处理后的驾驶员图像进行安全带状态分析，得到关于所述驾驶员的安全带状态的分析结果；
其中，所述安全带分类模型包括设置第一安全带类别的置信度阈值及第二安全带类别的置信度阈值。
根据本申请另一个方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现前述一种用于识别驾驶员的违法行为的方法。
根据本申请再一个方面，还提供了一种的设备，其中，所述设备包括：
一个或多个处理器；以及
存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行前述用于识别驾驶员的违法行为的方法的操作。
与现有技术相比，本申请通过获取前端数据，其中，所述前端数据包括目标图像以及目标车辆车牌信息；检测所述目标图像，并根据检测到的结果以及所述目标车辆车牌信息定位目标车辆的图像；利用驾驶员检测器从所述目标车辆的图像中抠取驾驶员图像；对所述驾驶员图像进行分析处理，确定所述驾驶员的语音交互状态的分析结果以及安全带状态的分析结果；根据所述语音交互状态的分析结果及所述安全带状态的分析结果识别所述驾驶员的违法行为。从而高效、高精确度地识别驾驶员违法行为。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请的一个方面提供的一种用于识别驾驶员的违法行为的方法流程示意图；
图2示出本申请一优选实施例中通话状态的示例图；
图3示出本申请一优选实施例中驾驶员图像上覆盖图像掩模的示例图；
图4示出本申请一优选实施例中驾驶员安全带状态的示例图；
图5示出本申请一优选实施例中一种用于识别驾驶员的违法行为的方法流程示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
图1示出根据本申请的一个方面提供的一种用于识别驾驶员的违法行为的方法流程示意图，该方法包括：步骤S11～S15，在步骤S11中，获取前端数据，其中，所述前端数据包括目标图像以及目标车辆车牌信息；在步骤S12中，检测所述目标图像，并根据检测到的结果以及所述目标车辆车牌信息定位目标车辆的图像；在步骤S13中，利用驾驶员检测器从所述目标车辆的图像中抠取驾驶员图像；在步骤S14中，对所述驾驶员图像进行分析处理，确定所述驾驶员的语音交互状态的分析结果以及安全带状态的分析结果；在步骤S15中，根据所述语音交互状态的分析结果及所述安全带状态的分析结果识别所述驾驶员的违法行为。从而高效、高精确度地识别驾驶员违法行为。
具体地，步骤S11，获取前端数据，其中，所述前端数据包括目标图像以及目标车辆车牌信息。在此，目标图像为待审核图像，通过前端获取待审核图像，例如通过摄像设备等抓拍图片，确定待审核图像，所述目标图像包含目标车辆图像，同时获取目标车辆车牌信息，以便于定位目标车辆。
步骤S12，检测所述目标图像，并根据检测到的结果以及所述目标车辆车牌信息定位目标车辆的图像。在此，可采用预设的车辆检测器检测所述目标图像，比如利用基于YOLOv3的车辆检测器检测所述目标图像，得到检测结果，如车牌图像以及车牌信息等；接着，根据检测到的结果以及所述目标车辆车牌信息定位到目标车辆，根据定位的目标车辆获取所述目标车辆图像。其中，根据检测到的车牌图像以及车牌信息与所述目标车辆车牌信息进行比较后通过计算可以更精确地定位所述目标车辆。需要说明的是，YOLOv3为深度神经网络架构。
步骤S13，利用驾驶员检测器从所述目标车辆的图像中抠取驾驶员图像。在此，可采用预设的驾驶员检测器从所述目标车辆的图像中抠取驾驶员图像，例如预设的基于SSD的驾驶员检测器检测所述目标车辆的图像中驾驶员的位置，继而根据检测结果从所述目标车辆的图像中抠取驾驶员的图像，以快速地、高精确度地获取所述驾驶员图像。在本申请一优选实施例中，应用训练好的基于SSD的驾驶员检测器检测所述目标车辆的图像，以确定驾驶员定位坐标以及检测得分，预设检测阈值H，当检测得分小于预设检测阈值H时，检测图像作废不输出，即该目标车辆的图像作废；选取检测得分高于预设检测阈值H的目标车辆的图像，更准确地抠取到驾驶员图像。
步骤S14，对所述驾驶员图像进行分析处理，确定所述驾驶员的语音交互状态的分析结果以及安全带状态的分析结果。在此，所述驾驶员的违法状态包括驾驶员是否驾车过程中进行语音交互或者未系安全带，其中，语音交互状态包括违法语音交互，如驾驶员在手持设备进行打电话状态中或手持设备进行视频、语音等行为的状态中都属于违法语音交互。通过对所述驾驶员图像进行图像分析处理以确定目标车辆中驾驶员的当前状态，包括确定驾驶员的语音交互状态以及安全带状态。其中，所述分析处理可包括抠取处理、掩模处理、过滤处理等，去除多余干扰信息以快速且准确地识别所述驾驶员的语音交互状态以及安全带状态。
步骤S15，根据所述语音交互状态的分析结果及所述安全带状态的分析结果识别所述驾驶员的违法行为。在此，根据所述语音交互状态的分析结果以及所述安全带状态的分析结果识别驾驶员是否存在违法行为，若存在违法行为，统计驾驶员违法行为对应的违法类型以及违法信息，比如违法时间、目标车辆车牌号等。优选地，识别所述驾驶员的违法行为后，得到驾驶员的违法类型和违法信息并进行反馈报警，例如驾驶员是驾车打电话且未系安全带，则对此进行报警警示并附加所述驾驶员的违法类型信息以及违法信息。
在本申请一实施例中，步骤S12中，利用车辆检测器检测所述目标图像，得到满足阈值的全部车辆，并确定每一车辆的类型标签及定位每一车辆的矩形框坐标；根据每一车辆的矩形框坐标从所述全部车辆所在的目标图像中抠取出所有车辆的图像；利用车牌检测器对所述所有车辆的图像进行检测得到车牌图像，结合所述目标车辆车牌信息对所述车牌图像进行识别处理，确定目标车牌号；根据所述目标车牌号定位目标车辆的图像。
在此，可以利用训练好的基于YOLO v3的车辆检测器，设定检测阈值，利用所述车辆检测器检测所述目标图像得到得分数值，筛选出得分数值满足所述检测阈值的全部车辆。接着，截取所述目标车辆图像的下半部分作为车牌检测对象，以减少检测搜索范围提升检测精度；选用基于SSD的车牌检测器对所述车牌检测对象进行逐一检测，根据车牌检测器的检测结果得到所述所有车辆图像对应的车牌图像。
随后，与所述目标车辆车牌信息进行对照比较后，确定目标车牌号，以定位所述目标车辆，并根据所述定位的目标车辆得到目标车辆图像，提高了对目标车辆定位的精确性。其中，利用车辆检测器检测所述目标图像可以确定车辆的类型标签，该类型标签包括但不限于大车和小车，可根据类型标签进行选择是否进行该目标车辆中驾驶员的安全带状态的判断，如有的场景下大车不做是否系安全带的判断。
在本申请一实施例中，步骤S12中，利用车辆检测器检测所述目标图像得到第一得分数值；根据第一预设阈值对所述目标图像进行筛选，得到所述第一得分数值在所述第一预设阈值内的全部车辆。在此，可利用训练好的基于YOLO v3的车辆检测器检测所述目标图像得到每一目标图像对应的每一第一得分数值，其中，第一得分数值为检测分数，第一预设阈值为设定的检测阈值将每一检测分数与检测阈值进行比较，筛选出检测分数满足检测阈值的全部车辆，通过打分机制以提高对目标图像筛选的精确性。
在本申请一实施例中，步骤S12中，截取所述所有车辆的图像的下半部图像，利用所述车牌检测器对所述下半部图像进行检测后得到第二得分数值；确定所述第二得分数值在第二预设阈值内的最大置信度的车辆图像为车牌图像。在此，车牌位于车辆图像的下半部分，因此截取所述所有车辆的图像的下半部图像以缩小检测搜索范围来提升检测精度。利用车辆下半部分图像训练基于SSD的车牌检测器，基于SSD的车牌检测器的检测结果确定第二得分数值，设定第二预设阈值，根据所述第二预设阈值筛选出所述第二得分数值在所述第二预设阈值内的车辆图像，其中，所述基于SSD的车牌检测器确定的结果包含物体类别、物体的置信度以及物体的位置信息，比如输出结果结构为[label_name,score,left,top,right,bottom]五维数组，label_name表示物体类别，score表示后四位的位置内包含的该类物体的置信度，第二得分数值为检测结果中的score，根据所述筛选后的车辆图像对应的置信度进行排列，取置信度最高的所述筛选后的车辆图像为车牌图像，以准确地确定车牌图像。
优选地，步骤S12中，使用光学字符识别逐一识别所述车牌图像内字符信息；计算所述目标车辆车牌信息与所述车牌图像内字符信息的字符编辑距离，取最小编辑距离的车牌号确定为所述目标车牌号。在此，根据前端获取到的已知的目标车辆车牌信息与所述车牌图像内字符信息相比较，计算每一块车牌号码与前端传入车牌的字符编辑距离，取最小编辑距离的车牌号码，由此定位出目标车辆。
具体地，为提高车牌识别可靠性，尽量避免车牌误识别造成的目标车辆定位错误，可通过以下方式：计算所述车牌图像内字符信息的得分，判断所述字符信息的得分是否在第三预设阈值内，若是，则使用光学字符识别逐一识别所述车牌图像内字符信息；若否，则终止所述识别处理。在本申请一优选实施例中，使用OCR字符识别(光学字符识别)逐一识别所述车牌图像内字符信息，车牌字符由中文字符、英文字符和数字构成，总计68种字符，对于n位字符的车牌，车牌的每个字符的得分可以通过下方公式确定：
其中，ui(i＝1,2,…,n)为车牌字符属于68个类别的得分，Pi(i＝1,2,…,n)为车牌字符最终归一化的预测得分，车牌总得分表示为车牌字符的联合概率score：
设定第三预设阈值T，当所述车牌得分score不在所述第三预设阈值T内时，终止所述识别处理。在此，通过对得分不在预设阈值内的车牌图像终止识别处理来提高了车牌识别的可靠性，避免了车牌误识别造成的目标车辆定位错误。
优选地，步骤S14中，对所述驾驶员图像进行预处理后分析所述驾驶员的语音交互状态，得到所述语音交互状态的分析结果；对所述驾驶员图像进行掩模预处理以及过滤处理，以得到关于所述驾驶员的安全带状态的分析结果。在此，对所述驾驶员图像进行预处理可包括提高对比度等处理，接着通过深度学习分类算法分析所述驾驶员的语音交互状态，例如使用深度神经网络对所述驾驶员的语音交互状态进行分析。针对所述驾驶员的安全带状态进行分析前，先对所述驾驶员图像进行掩模预处理以及过滤处理。所述掩模预处理为利用掩模覆盖所述驾驶员图像，以去除非安全带区域的干扰信息，提升算法识别准确率。所述过滤处理则是对掩模预处理后的驾驶员图像进行过滤以筛选出安全带状态清晰可辨的驾驶员图像。
优选地，步骤S14中，对所述驾驶员图像中包含的语音交互状态进行二分类，得到第一类别语音交互状态和第二类别语音交互状态；根据所述第一类别语音交互状态对应的第一置信度阈值判断所述第一类别语音交互状态是否为违法行为；根据所述第二类别语音交互状态对应的第二置信度阈值确定所述第二类别语音交互状态是否为未违法行为。在此，语音交互状态以打电话和未打电话这两种状态为例，使用基于深度学习的分类算法对驾驶员打电话和未打电话两个状态进行二分类。接着设置打电话类别状态对应的第一置信度阈值(T1)，设置未打电话类别状态对应的第二置信度阈值(T2)；可使用深度神经网络对所述驾驶员图像进行检测后确定所述第一类别语音交互状态对应的第一置信度和所述第二类别语音交互状态对应的第二置信度，如检测后的输出结果的格式为[]的数组，则该数组中元素分别表示单张图片属于打电话和未打电话的置信度；当打电话类别置信度高于T1时，确定所述第一类别语音交互状态为违法行为，当未打电话类别置信度高于T2时，确定所述第二类别语音交互状态为未违法行为；其他情况，判断结果为不确定，等待人工二次审核；如图2所示，C1行表示打电话类别，C2行表示未电话类别。
优选地，步骤S14中，根据所述驾驶员图像的宽度信息和高度信息构建对应的图像掩模；将所述图像掩模叠加于所述驾驶员图像，得到掩模后的驾驶员图像；根据预设过滤方式对所述掩模后的驾驶员图像进行过滤处理，其中，所述预设过滤方式由清晰度评价函数、图像尺寸约束、图像边缘梯度方向直方图统计确定。在本申请一优选实施例中，根据所述驾驶员图像的宽度信息和高度信息构建对应的图像掩模，假设驾驶员图像I宽为w，高为h，图像掩模标识为Mask，在此图像掩模Mask与图像I同宽高，则可以由如下公式得到所述图像掩模Mask：
图3示出本优选实施例中驾驶员图像上覆盖图像掩模的示例图，其中X1行为驾驶员图像I，X2行为计算后的图像掩模Mask，X3行为将所述图像掩模Mask覆盖于所述驾驶员图像I后确定得到的图像O，可以由如下公式得到所述图像O：
O＝I*Mask
当所述驾驶员图像经过掩模处理后，利用清晰度评价函数、图像尺寸约束、图像边缘梯度方向直方图统计构建一预设过滤方式，滤除人眼难以分辨安全带状态的驾驶员图像，例如图像模糊、安全带区域有遮挡、驾驶员衣物与安全带颜色相近难以区别等情况。通过过滤处理保证了所述掩模后的驾驶员图像为安全带状态清晰可辨的图像。
优选地，步骤S14中，根据安全带分类模型对过滤处理后的驾驶员图像进行安全带状态分析，得到关于所述驾驶员的安全带状态的分析结果；其中，所述安全带分类模型包括设置第一安全带类别的置信度阈值及第二安全带类别的置信度阈值。在此，预先利用人眼可辨安全带状态的驾驶员图像进行分类训练得到所述安全带分类模型，第一安全带类别为未系安全带状态，第二安全带类别为系安全带状态，如图4所示，M1行表示未系安全带类别，M2行表示系安全带类别，M3行表示未知状态类别。在安全带分类模型内预设置未系安全带状态的置信度阈值和系安全带状态的置信度阈值，使用安全带分类模型对过滤处理后的驾驶员图像进行安全带状态分析，得到未系安全带状态的置信度和系安全带状态的置信度，当未系安全状态的置信度高于第一安全带类别的置信度阈值时，确定为违法行为；当系安全带状态的置信度高于第二安全带类别置信度阈值时，确定为未违法行为。
在本申请一优选实施例中，针对人眼可辨安全带的驾驶员图像进行分类训练来构建安全带状态分类模型。设置未系安全带类别的置信度阈值T3，系安全带类别的置信度阈值T4。当未系安全带类别置信度高于未系安全带类别的置信度阈值T3时，输出存在违法行为；当系安全带类别置信度高于系安全带类别的置信度阈值T4时，输出未存在违法行为；其他情况，输出不确定是否违法，等待人工二次审核。优选地，过滤处理过程中被滤出的图像，输出未存在违法行为。
在本申请一优选实施例中，如图5所示，通过前端获取包括图像、目标车辆车牌信息等的数据，根据获取到的数据检测并定位目标车辆，从目标车辆所在的图像中检测目标车辆驾驶员图像，通过预处理后分析该驾驶员的打电话状态，能高准确率识别打电话与干扰动作等未打电话姿势的区别，且适应各种质量图像；另外，对检测到的目标车辆驾驶员图像进行掩模处理，以去除非安全带区域信息，对掩模处理后的图像进行滤除不可辨认图像后分析驾驶员的安全带状态，通过分析打电话状态的结果以及分析安全带状态的结果综合判断该驾驶员是否存在违法行为。本申请设计过滤算法滤除人眼不可辨安全带状态再针对可辨安全带状态类别和可辨未系安全带状态类别设计基于深度学习的二分类模型，避免了因人眼不可辨安全带状态被分类成未系安全带类别，提高了识别准确率；同时，为提升分类准确率，设计掩模滤除图像中非相关信息，得到更加鲁棒效果。
此外，本申请实施例还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现前述识别驾驶员违法行为的方法。
根据本申请再一个方面，还提供了一种识别驾驶员违法行为的设备，其中，所述设备包括：
一个或多个处理器；以及
存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行前述识别驾驶员违法行为的方法的操作。
例如，计算机可读指令在被执行时使所述一个或多个处理器：通过获取前端数据，其中，所述前端数据包括目标图像以及目标车辆车牌信息；检测所述目标图像，并根据检测到的结果以及所述目标车辆车牌信息定位目标车辆的图像；利用驾驶员检测器从所述目标车辆的图像中抠取驾驶员图像；对所述驾驶员图像进行分析处理，确定所述驾驶员的语音交互状态的分析结果以及安全带状态的分析结果；根据所述语音交互状态的分析结果及所述安全带状态的分析结果识别所述驾驶员的违法行为。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (12)
1.一种用于识别驾驶员的违法行为的方法，其中，所述方法包括：
获取前端数据，其中，所述前端数据包括目标图像以及目标车辆车牌信息；
检测所述目标图像，并根据检测到的结果以及所述目标车辆车牌信息定位目标车辆的图像；
利用驾驶员检测器从所述目标车辆的图像中抠取驾驶员图像；
对所述驾驶员图像进行分析处理，确定所述驾驶员的语音交互状态的分析结果以及安全带状态的分析结果；
根据所述语音交互状态的分析结果及所述安全带状态的分析结果识别所述驾驶员的违法行为。
2.根据权利要求1所述的方法，其中，所述检测所述目标图像，并根据检测到的结果以及所述目标车辆车牌信息定位目标车辆的图像，包括：
利用车辆检测器检测所述目标图像，得到满足阈值的全部车辆，并确定每一车辆的类型标签及定位每一车辆的矩形框坐标；
根据每一车辆的矩形框坐标从所述全部车辆所在的目标图像中抠取出所有车辆的图像；
利用车牌检测器对所述所有车辆的图像进行检测得到车牌图像，结合所述目标车辆车牌信息对所述车牌图像进行识别处理，确定目标车牌号；
根据所述目标车牌号定位目标车辆的图像。
3.根据权利要求2所述的方法，其中，所述利用车辆检测器检测所述目标图像，得到满足阈值的全部车辆，包括：
利用车辆检测器检测所述目标图像得到第一得分数值；
根据第一预设阈值对所述目标图像进行筛选，得到所述第一得分数值在所述第一预设阈值内的全部车辆。
4.根据权利要求2所述的方法，其中，所述利用车牌检测器对所述所有车辆的图像进行检测得到车牌图像，包括：
截取所述所有车辆的图像的下半部图像，利用所述车牌检测器对所述下半部图像进行检测后得到第二得分数值；
确定所述第二得分数值在第二预设阈值内的最大置信度的车辆图像为车牌图像。
5.根据权利要求2所述的方法，其中，所述结合所述目标车辆车牌信息对所述车牌图像进行识别处理，确定目标车牌号，包括：
使用光学字符识别逐一识别所述车牌图像内字符信息；
计算所述目标车辆车牌信息与所述车牌图像内字符信息的字符编辑距离，取最小编辑距离的车牌号确定为所述目标车牌号。
6.根据权利要求5所述的方法，其中，所述使用光学字符识别逐一识别所述车牌图像内字符信息之前，包括：
计算所述车牌图像内字符信息的得分，判断所述字符信息的得分是否在第三预设阈值内，若是，则使用光学字符识别逐一识别所述车牌图像内字符信息；若否，则终止所述识别处理。
7.根据权利要求1所述的方法，其中，所述对所述驾驶员图像进行分析处理，确定所述驾驶员的语音交互状态的分析结果以及安全带状态的分析结果，包括：
对所述驾驶员图像进行预处理后分析所述驾驶员的语音交互状态，得到所述语音交互状态的分析结果；
对所述驾驶员图像进行掩模预处理以及过滤处理，以得到关于所述驾驶员的安全带状态的分析结果。
8.根据权利要求7所述的方法，其中，所述对所述驾驶员图像进行预处理后分析所述驾驶员的语音交互状态，得到所述语音交互状态的分析结果，包括：
对所述驾驶员图像中包含的语音交互状态进行二分类，得到第一类别语音交互状态和第二类别语音交互状态；
根据所述第一类别语音交互状态对应的第一置信度阈值判断所述第一类别语音交互状态是否为违法行为；
根据所述第二类别语音交互状态对应的第二置信度阈值确定所述第二类别语音交互状态是否为未违法行为。
9.根据权利要求7所述的方法，其中，所述对所述驾驶员图像进行掩模预处理以及过滤处理，包括：
根据所述驾驶员图像的宽度信息和高度信息构建对应的图像掩模；
将所述图像掩模叠加于所述驾驶员图像，得到掩模后的驾驶员图像；
根据预设过滤方式对所述掩模后的驾驶员图像进行过滤处理，其中，所述预设过滤方式由清晰度评价函数、图像尺寸约束、图像边缘梯度方向直方图统计确定。
10.根据权利要求9所述的方法，其中，所述得到关于所述驾驶员的安全带状态的分析结果，包括：
根据安全带分类模型对过滤处理后的驾驶员图像进行安全带状态分析，得到关于所述驾驶员的安全带状态的分析结果；
其中，所述安全带分类模型包括设置第一安全带类别的置信度阈值及第二安全带类别的置信度阈值。
11.一种用于识别驾驶员的违法行为的设备，其中，所述设备包括：
一个或多个处理器；以及
存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如权利要求1至10中任一项所述方法的操作。
12.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1至10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910802772.XA CN110503831A (zh) | 2019-08-28 | 2019-08-28 | 一种识别驾驶员违法行为的方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910802772.XA CN110503831A (zh) | 2019-08-28 | 2019-08-28 | 一种识别驾驶员违法行为的方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110503831A true CN110503831A (zh) | 2019-11-26 |
Family
ID=68590146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910802772.XA Pending CN110503831A (zh) | 2019-08-28 | 2019-08-28 | 一种识别驾驶员违法行为的方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110503831A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111353471A (zh) * | 2020-03-17 | 2020-06-30 | 北京百度网讯科技有限公司 | 安全驾驶监测方法、装置、设备和可读存储介质 |
| CN111444916A (zh) * | 2020-03-26 | 2020-07-24 | 中科海微(北京)科技有限公司 | 面向无约束条件下的车牌定位及识别方法、系统 |
| CN111553285A (zh) * | 2020-04-29 | 2020-08-18 | 上海智勘科技有限公司 | 在车辆远程定损过程中保护用户隐私信息的方法及系统 |
| CN111681423A (zh) * | 2020-05-07 | 2020-09-18 | 北京明略软件系统有限公司 | 实现车牌信息处理的方法、装置、计算机存储介质及终端 |
| CN111723775A (zh) * | 2020-07-03 | 2020-09-29 | 上海眼控科技股份有限公司 | 图像处理方法、装置、计算机设备和计算机可读存储介质 |
| CN112668642A (zh) * | 2020-12-28 | 2021-04-16 | 高新兴智联科技有限公司 | 一种机动车电子标识与视频结合系统及方法 |
| CN113486835A (zh) * | 2021-07-19 | 2021-10-08 | 黑芝麻智能科技有限公司 | 安全带检测方法、装置、计算机设备和存储介质 |
| CN113727072A (zh) * | 2021-08-31 | 2021-11-30 | 浙江吉利控股集团有限公司 | 安全带的智能显示方法和系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103530730A (zh) * | 2013-10-15 | 2014-01-22 | 山东浪潮齐鲁软件产业股份有限公司 | 惩防体系监察对象构建与管理模型化方法 |
| WO2015017883A1 (en) * | 2013-08-06 | 2015-02-12 | David Fletcher | Driving infringement flagging system |
| CN105046677A (zh) * | 2015-08-27 | 2015-11-11 | 安徽超远信息技术有限公司 | 一种用于交通视频图像的增强处理方法和装置 |
| CN105976371A (zh) * | 2016-05-03 | 2016-09-28 | 成都索贝数码科技股份有限公司 | 基于轮廓的透明度渐变抠像方法 |
| CN106530730A (zh) * | 2016-11-02 | 2017-03-22 | 重庆中科云丛科技有限公司 | 交通违规检测方法及系统 |
| CN107545225A (zh) * | 2016-06-23 | 2018-01-05 | 杭州海康威视数字技术股份有限公司 | 一种检测车载驾驶员违规行为的方法、装置及电子设备 |
| CN108647630A (zh) * | 2018-05-08 | 2018-10-12 | 北京优创新港科技股份有限公司 | 一种基于视频识别的危险驾驶行为监督方法与装置 |
| CN109344846A (zh) * | 2018-09-26 | 2019-02-15 | 联想(北京)有限公司 | 图像特征提取方法和装置 |
| CN109389068A (zh) * | 2018-09-28 | 2019-02-26 | 百度在线网络技术（北京）有限公司 | 用于识别驾驶行为的方法和装置 |
| CN109726717A (zh) * | 2019-01-02 | 2019-05-07 | 西南石油大学 | 一种车辆综合信息检测系统 |
| CN110111581A (zh) * | 2019-05-21 | 2019-08-09 | 哈工大机器人（山东）智能装备研究院 | 目标识别方法、装置、计算机设备及存储介质 |
-
2019
- 2019-08-28 CN CN201910802772.XA patent/CN110503831A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015017883A1 (en) * | 2013-08-06 | 2015-02-12 | David Fletcher | Driving infringement flagging system |
| CN103530730A (zh) * | 2013-10-15 | 2014-01-22 | 山东浪潮齐鲁软件产业股份有限公司 | 惩防体系监察对象构建与管理模型化方法 |
| CN105046677A (zh) * | 2015-08-27 | 2015-11-11 | 安徽超远信息技术有限公司 | 一种用于交通视频图像的增强处理方法和装置 |
| CN105976371A (zh) * | 2016-05-03 | 2016-09-28 | 成都索贝数码科技股份有限公司 | 基于轮廓的透明度渐变抠像方法 |
| CN107545225A (zh) * | 2016-06-23 | 2018-01-05 | 杭州海康威视数字技术股份有限公司 | 一种检测车载驾驶员违规行为的方法、装置及电子设备 |
| CN106530730A (zh) * | 2016-11-02 | 2017-03-22 | 重庆中科云丛科技有限公司 | 交通违规检测方法及系统 |
| CN108647630A (zh) * | 2018-05-08 | 2018-10-12 | 北京优创新港科技股份有限公司 | 一种基于视频识别的危险驾驶行为监督方法与装置 |
| CN109344846A (zh) * | 2018-09-26 | 2019-02-15 | 联想(北京)有限公司 | 图像特征提取方法和装置 |
| CN109389068A (zh) * | 2018-09-28 | 2019-02-26 | 百度在线网络技术（北京）有限公司 | 用于识别驾驶行为的方法和装置 |
| CN109726717A (zh) * | 2019-01-02 | 2019-05-07 | 西南石油大学 | 一种车辆综合信息检测系统 |
| CN110111581A (zh) * | 2019-05-21 | 2019-08-09 | 哈工大机器人（山东）智能装备研究院 | 目标识别方法、装置、计算机设备及存储介质 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111353471A (zh) * | 2020-03-17 | 2020-06-30 | 北京百度网讯科技有限公司 | 安全驾驶监测方法、装置、设备和可读存储介质 |
| CN111444916A (zh) * | 2020-03-26 | 2020-07-24 | 中科海微(北京)科技有限公司 | 面向无约束条件下的车牌定位及识别方法、系统 |
| CN111553285A (zh) * | 2020-04-29 | 2020-08-18 | 上海智勘科技有限公司 | 在车辆远程定损过程中保护用户隐私信息的方法及系统 |
| CN111681423A (zh) * | 2020-05-07 | 2020-09-18 | 北京明略软件系统有限公司 | 实现车牌信息处理的方法、装置、计算机存储介质及终端 |
| CN111723775A (zh) * | 2020-07-03 | 2020-09-29 | 上海眼控科技股份有限公司 | 图像处理方法、装置、计算机设备和计算机可读存储介质 |
| CN112668642A (zh) * | 2020-12-28 | 2021-04-16 | 高新兴智联科技有限公司 | 一种机动车电子标识与视频结合系统及方法 |
| CN113486835A (zh) * | 2021-07-19 | 2021-10-08 | 黑芝麻智能科技有限公司 | 安全带检测方法、装置、计算机设备和存储介质 |
| CN113727072A (zh) * | 2021-08-31 | 2021-11-30 | 浙江吉利控股集团有限公司 | 安全带的智能显示方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110503831A (zh) | 一种识别驾驶员违法行为的方法及设备 | |
| CN107423690B (zh) | 一种人脸识别方法及装置 | |
| CN105488453B (zh) | 一种基于图像处理的驾驶员未系安全带检测识别方法 | |
| KR100668303B1 (ko) | 피부색 및 패턴 매칭을 이용한 얼굴 검출 방법 | |
| JP5127392B2 (ja) | 分類境界確定方法及び分類境界確定装置 | |
| CN100463000C (zh) | 基于级联分类和哈夫圆变换的人眼状态检测方法 | |
| CN108710865A (zh) | 一种基于神经网络的司机异常行为检测方法 | |
| CN107527009A (zh) | 一种基于yolo目标检测的遗留物检测方法 | |
| CN109948616A (zh) | 图像检测方法、装置、电子设备及计算机可读存储介质 | |
| CN103679168A (zh) | 文字区域检测方法及装置 | |
| CN105205486A (zh) | 一种车标识别方法及装置 | |
| CN108647708A (zh) | 驾驶员评估方法、装置、设备和存储介质 | |
| CN110991348A (zh) | 基于光流梯度幅值特征的人脸微表情检测方法 | |
| CN106503673A (zh) | 一种交通驾驶行为的识别方法、装置及一种视频采集装置 | |
| CN111881741A (zh) | 车牌识别方法、装置、计算机设备和计算机可读存储介质 | |
| CN112115803B (zh) | 口罩状态提醒方法、装置及移动终端 | |
| CN116258466B (zh) | 多模态电力场景作业规范检测方法、系统、设备及介质 | |
| CN111986226A (zh) | 一种目标轨迹异常检测方法 | |
| CN110929635A (zh) | 基于信任机制下面部交并比的假脸视频检测方法及系统 | |
| CN110009058A (zh) | 一种停车场车牌识别系统及方法 | |
| KR101545809B1 (ko) | 차량 번호판 이중 검출 방법 및 장치 | |
| CN111444843B (zh) | 一种多模态驾驶员及车辆违法行为监测方法及系统 | |
| Rebelo et al. | Staff line detection and removal in the grayscale domain | |
| Xu et al. | Car license plate extraction using color and edge information | |
| CN113610770B (zh) | 一种车牌识别方法和装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191126 |