CN114898297A - 基于目标检测和目标跟踪的非机动车违法行为判定的方法 - Google Patents

基于目标检测和目标跟踪的非机动车违法行为判定的方法 Download PDF

Info

Publication number
CN114898297A
CN114898297A CN202210600718.9A CN202210600718A CN114898297A CN 114898297 A CN114898297 A CN 114898297A CN 202210600718 A CN202210600718 A CN 202210600718A CN 114898297 A CN114898297 A CN 114898297A
Authority
CN
China
Prior art keywords
motor vehicle
target
illegal
helmet
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210600718.9A
Other languages
English (en)
Inventor
宋超伟
邬林峰
谢秋妹
吴马军
杨立功
朱赟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Jiaxing Digital City Laboratory Co ltd
Original Assignee
Zhejiang Jiaxing Digital City Laboratory Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Jiaxing Digital City Laboratory Co ltd filed Critical Zhejiang Jiaxing Digital City Laboratory Co ltd
Priority to CN202210600718.9A priority Critical patent/CN114898297A/zh
Publication of CN114898297A publication Critical patent/CN114898297A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种基于目标检测和目标跟踪的非机动车违法行为判定的方法，它解决了非机动车违法行为识别效果差等问题，其包括如下步骤：S1：对数据集进行构建；S2：对目标检测模型进行训练；S3：采集前端数据；S4：对非机动车违法驾驶行为进行识别；S5：对非机动车违法行为驾驶员身份识别。本发明具有违法行为识别精度高、交通管理效果好等优点。

Description

基于目标检测和目标跟踪的非机动车违法行为判定的方法
技术领域
本发明属于交通管理技术领域，具体涉及一种基于目标检测和目标跟踪的非机动车违法行为判定的方法。
背景技术
随着城市化工作的推进，城市人口越来越多，各地机动车保有量也越来越高，堵车已成为很多城市的一大难题。除了车流量、交通违法以及交通事故等机动车本身原因外，非机动车驾驶员交通法规意识淡泊也成为机动车拥堵的一个重要因素。近年来，非机动车占用机动车道、闯红灯、非机动车闯红灯、不戴头盔、载人等违法驾驶现象十分普遍，这些违法驾驶行为一方面不仅增加事故发生的概率，另一方面在事故发生时极大地增加了非机动车驾驶人受重伤的概率。如何科学化、常态化治理违规驾驶行为已经成为城市交通网络中亟需解决的难题。
智能交通领域的发展，比如交通信号灯自动判别、汽车车道线检测以及机动车车牌识别等技术的出现，直接降低相关部门的日常工作难度；比如车牌自动识别技术将识别后的车牌号公布在卡口电子显示屏上，用以威慑违法人等等。然而相较于机动车，非机动车的违法驾驶行为自动识别技术应用较少，其原因在于：非机动车密度大，容易互相遮挡，在监控视频中所占面积较小，而且车牌字符小、多且杂乱，再者在非机动车上的雨披遮挡、挡板干扰、车牌悬挂无固定位置等问题的干扰之下，使得非机动车的违法驾驶行为难度相较于机动车更大。
为了解决现有技术存在的不足，人们进行了长期的探索，提出了各式各样的解决方案。例如，中国专利文献公开了一种非机动车交通违法判定方法、系统、装置及存储介质[202011510604.2]，其包括从违章地的监控设备中获取非机动车的违章图片，并记录违章时间段；对所述违章图片进行图像识别，以确定所述违章图片中的行为人的初步身份信息；根据所述初步身份信息对所述违章地在所述违章时间段内的所有非机动车车主的人员信息表进行查询，以确定所述违章图片中的行为人的最终身份信息。
上述方案在一定程度上解决了非机动车违法行为采集的问题，但是该方案依然存在着诸多不足，例如对于非机动车违法行为识别效果差等问题。
发明内容
本发明的目的是针对上述问题，提供一种设计合理，对于非机动车识别效果好的基于目标检测和目标跟踪的非机动车违法行为判定的方法。
为达到上述目的，本发明采用了下列技术方案：本基于目标检测和目标跟踪的非机动车违法行为判定的方法，包括如下步骤：
S1：对数据集进行构建；
S2：对目标检测模型进行训练；
S3：采集前端数据；
S4：对非机动车违法驾驶行为进行识别；
S5：对非机动车违法行为驾驶员身份识别。通过建立数据集并对目标检测模型进行训练，提高非机动车识别准确度，方便对非机动车违法行为进行迅速识别，从而提高了非机动车的监管效果。
在上述的基于目标检测和目标跟踪的非机动车违法行为判定的方法中，步骤S1包括如下步骤：
S11：利用Python网络爬虫从网络获取图片；
S12：从道路监控缓存视频截取图片；
S13：对图片进行随机缩放、裁剪、翻转和旋转。
S14：将图片整合为原始数据集。对图片进行随机化处理，提高了模型的泛化性能，增加了原始数据集的多样性。
在上述的基于目标检测和目标跟踪的非机动车违法行为判定的方法中，步骤14包括如下步骤：
S15：将数据集划分为多个类别且包括红绿灯、道路停止线、人行道、机动车道、头盔目标、未戴头盔人脸目标、非机动车、机动车，其中头盔目标和未戴头盔人脸目标为两种对立的状态，非机动车包含骑行者；
S16：使用标注工具labelme将图片中出现的多类目标进行标注，并转换成YOLOv5s算法能够运行的数据类型文本，每个文本中一行为对应图片样本中的目标对象的相对位置；
S16：按照7:2:1的比例将数据类型文本划分为训练集、验证集和测试集，完成数据集的构建。数据集进行分类划分，方便对数据集快速调用。
在上述的基于目标检测和目标跟踪的非机动车违法行为判定的方法中，步骤S2包括如下步骤：
S21：修改YOLOv5s的yaml文件中的参数nc和names；
S22：改进YOLOv5s，在检测层中增加对小目标的识别，主干网络backbone上用GhostConv模块替换C3模型，损失函数改用VarifocalLoss与GIoULoss的加权组合；
S23：修改YOLOv5s项目的训练脚本train.py参数，包括并不限于weights、cfg、data和epochs；
S24：输入端input输入交通图片，经Mosaic数据增强后输入Backbone端，进入Backbone端的图片经卷积，BN归一化和Leaky_relu激活函数进行特征提取，经SPP模块处理处理后的图片送入Neck端进行特征进行融合并输入Predict端，用GIOU作为bbox的损失函数，进行目标检测模型训练；
S25：对目标检测模型进行评估，利用darknet自带的脚本对目标检测模型进行评估，得到召回率、检测精度以及平均精度三个指标，绘制PR曲线。对检测模型进行训练，不断修正提高其检测精度。
在上述的基于目标检测和目标跟踪的非机动车违法行为判定的方法中，步骤S3通过雷达触发和/或视频触发对机动车和非机动车进行捕获，通过高清抓拍相机进行抓拍并将抓拍及检测的数据自动上传至智能交通管理平台，供后续违法行为识别模块处理。
在上述的基于目标检测和目标跟踪的非机动车违法行为判定的方法中，违法行为识别模块包括基于YOLOv5s的物体目标检测和基于Deep sort的多目标跟踪。YOLOv5s适用于移动端，其模型较小，运算速度较快。
在上述的基于目标检测和目标跟踪的非机动车违法行为判定的方法中，物体目标检测的内容包括红绿灯、道路停止线、人行道、机动车道、头盔目标、未戴头盔人脸目标、非机动车、机动车。物体目标检测主要适用于单一目标的追踪检测。
在上述的基于目标检测和目标跟踪的非机动车违法行为判定的方法中，违法行为识别模块对非机动车占用机动车道、闯红灯、未佩戴头盔、载人、逆向行驶识别，其中闯红灯和逆向行驶结合多目标跟踪进行识别。多目标跟踪采用Deep sort有效提高目标跟踪表现。
在上述的基于目标检测和目标跟踪的非机动车违法行为判定的方法中，步骤S4包括如下步骤：
S41：使用训练生成的目标检测模型文件进行目标对象检测，将输入的监控视频拆分成帧，对每一帧进行目标检测，从而完成对监控视频的目标检测；
S42：完成非机动车驾驶轨迹追踪，将第一帧检测到的目标对象结果输入进deepsort算法，建初始的轨迹ID，并经过卡尔曼滤波处理后用马氏空间距离进行运动匹配，再把结果通过最小余弦距离对外观进行匹配，通过级联匹配与IOU回归计算代价矩阵，完成非机动车驾驶轨迹跟踪；
S43：进行非机动车占用机动车道行为检测，确定非机动车、机动车和机动车道在图像中的位置，判断机动车道位置矩形框内是否包含非机动车、机动车位置矩形框，如果是则继续判断人脸目标和车牌是否清晰，如果清晰则将非机动车占用机动车道发生时间和地点推送到违法驾驶人员手机上，否则查找后续30帧是否包含清晰的人脸目标和车牌；
S44:进行未佩戴头盔行为检测，确定非机动车和未戴头盔人脸目标在图像中的位置，判断非机动车位置矩形框内是否包含未戴头盔人脸目标位置矩形框，如果是则继续判断人脸目标和车牌是否清晰，如果清晰则将非机动车占用机动车道发生时间和地点推送到违法驾驶人员手机上，否则查找后续30帧是否包含清晰的人脸目标和车牌；
S45:进行非机动车载人行为判断，确定非机动车、未戴头盔人脸目标、戴头盔目标在图像中的位置，判断非机动车位置矩形框内包含的未戴头盔人脸目标和戴头盔目标总数是否大于1，如果是则继续判断人脸目标和车牌是否清晰，如果清晰则将非机动车占用机动车道发生时间和地点推送到违法驾驶人员手机上，否则查找后续30帧是否包含清晰的人脸目标和车牌；
S46：进行闯红灯行为检测，取当前帧和第3帧，确定非机动车和停止线或人行道在图片中的位置，计算这两帧中非机动车距离停止线或人行道的距离，如果距离大于阈值则判断为闯红灯行为，判断人脸目标和车牌是否清晰，如果清晰则将非机动车占用机动车道发生时间和地点推送到违法驾驶人员手机上，否则查找后续30帧是否包含清晰的人脸目标和车牌；
S47:进行逆向行驶行为检测，通过计算前后5帧非机动车质心位置下x和y坐标距离图片上边框的相对变化量，如果变化量有增大趋势，则判断为逆向行驶；
S48:重复上述步骤，直至整个输入视频处理结束。针对不同的非机动车的违法行为依次进行识别，通过逐帧分析实现违法行为判断。
在上述的基于目标检测和目标跟踪的非机动车违法行为判定的方法中，步骤S5包括如下步骤：
S51：根据多目标跟踪算法和人脸特征从大数据人脸库中查找相似人脸，给出相似度，根据预设相似度阀值过滤结果；
S52：根据车牌信息从相关的人口信息库、人口-车辆信息库中检索处对应的驾驶员信息；
S53：将违法信息推送到个人及相应的平台。通过检索人脸信息，实现违法行为反馈，提高了非机动车违法管理效果。
与现有的技术相比，本发明的优点在于：通过建立数据集并对目标检测模型进行训练，提高了非机动车的违法行为识别精度以及速率，从而提高了非机动车识别效果；利用YOLOv5s和Deep sort算法对目标进行跟踪检测，具有较好的多目标追踪效果；对违法人员人脸信息识别比对并上传至平台，提高交通系统管理质量。
附图说明
图1是本发明的方法原理图；
图2是本发明的目标检测模型训练流程图；
图3是本发明的非机动车违法驾驶行为识别流程图；
图4是本发明的非机动车占用机动车道识别流程图；
图5是本发明的未戴头盔识别流程图；
图6是本发明的非机动车载人识别流程图；
图7是本发明的闯红灯识别流程图；
图8是本发明的逆向行驶识别流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步详细的说明。
如图1-8所示，本基于目标检测和目标跟踪的非机动车违法行为判定的方法，包括如下步骤：
S1：对数据集进行构建；
S2：对目标检测模型进行训练；
S3：采集前端数据；
S4：对非机动车违法驾驶行为进行识别；
S5：对非机动车违法行为驾驶员身份识别。违法行为识别的硬件架构主要由前端非机动车违法行为抓拍单元、移动检测抓拍设备及后端非机动车违法行为管控分析平台组成，前端取证设备用于非机动车违法行为的抓拍捕获，后端平台用于对各类违法视频流数据进行目标检测、目标跟踪、违法行为判定、违法行为人员身份识别模块组成。而且，系统充分兼顾交通管理业务需求和技术发展，考虑与其他信息系统的连接，建设可扩展的开放平台，发挥智能交通系统在加强社会管理、提升警务效率、组织群防群治等方面的作用。支持实时视频监控检索、信息数据上传下调，并实现与六合一系统、接处警系统、区域联网报警系统、警用PGIS系统、信号控制系统集成联动，可为相关部门预留图像接口，实现资源共享。
具体地，步骤S1包括如下步骤：
S11：利用Python网络爬虫从网络获取图片；
S12：从道路监控缓存视频截取图片；
S13：对图片进行随机缩放、裁剪、翻转和旋转。
S14：将图片整合为原始数据集。由于所需的检测类别没有公开的数据集，所以自行制作了包含10000张图片的原始数据集，图片经过泛化处理增加其原始数据集的多样性。
深入地，步骤14包括如下步骤：
S15：将数据集划分为多个类别且包括红绿灯、道路停止线、人行道、机动车道、头盔目标、未戴头盔人脸目标、非机动车、机动车，其中头盔目标和未戴头盔人脸目标为两种对立的状态，非机动车包含骑行者；
S16：使用标注工具labelme将图片中出现的多类目标进行标注，并转换成YOLOv5s算法能够运行的数据类型文本，每个文本中一行为对应图片样本中的目标对象的相对位置；
S16：按照7:2:1的比例将数据类型文本划分为训练集、验证集和测试集，完成数据集的构建。经YOLOv5s实现红绿灯、道路停止线、人行道、机动车道、头盔目标、未戴头盔人脸目标、非机动车、机动车等目标的检测，并结合领域专家知识和目标跟踪算法Deep sort实现非机动车占用机动车道、闯红灯、未佩戴头盔、载人、逆向行驶等违法驾驶行为的识别，并且系统允许接入多家人脸比对，支持动态伸缩扩展。YOLOv5s+Deep Sort模型的引入，使得训练数据集的准确率和速度相比于前几代目标检测与跟踪有大幅度的提升，代码的轻量级使得该框架可以架构在更为便宜的设备上。
进一步地，步骤S2包括如下步骤：
S21：修改YOLOv5s的yaml文件中的参数nc和names；nc是标签名个数，names就是标签的名字，nc个数为8，names为红绿灯、道路停止线、人行道、机动车道、头盔目标、未戴头盔人脸目标、非机动车、机动车。
S22：改进YOLOv5s，在检测层中增加对小目标的识别，主干网络backbone上用GhostConv模块替换C3模型，损失函数改用VarifocalLoss与GIoULoss的加权组合；
S23：修改YOLOv5s项目的训练脚本train.py参数，包括并不限于weights、cfg、data和epochs；
S24：输入端input输入交通图片，经Mosaic数据增强后输入Backbone端，进入Backbone端的图片经卷积，BN归一化和Leaky_relu激活函数进行特征提取，经SPP模块处理处理后的图片送入Neck端进行特征进行融合并输入Predict端，用GIOU作为bbox的损失函数，进行目标检测模型训练；通常在windows环境，16G内存，4G显存，GTX1650显卡，深度学习PyTorch等实验平台对数据进行导入。
S25：对目标检测模型进行评估，利用darknet自带的脚本对目标检测模型进行评估，得到召回率、检测精度以及平均精度三个指标，绘制PR曲线。YOLOv5是在YOLOv3、YOLOv4模型基础上不断创新的模型，该模型的特点是适用于移动端、模型小、速度快。YOLOv5包括YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四个模型,YOLOv5s是其中网络深度最浅、特征图宽度最小的模型，体积只有14M，非常适合嵌入式设备的部署。为适应小目标和遮挡目标的检测任务，在目标检测算法中引入了小目标检测层，主干网络backbone上用GhostConv模块替换C3模型，损失函数改用VarifocalLoss与GIoULoss的加权组合。
除此之外，步骤S3通过雷达触发和/或视频触发对机动车和非机动车进行捕获，通过高清抓拍相机进行抓拍并将抓拍及检测的数据自动上传至智能交通管理平台，供后续违法行为识别模块处理。300万抓拍一体机可覆盖一条车道，900万抓拍一体机可覆盖四条车道，系统能够对所有经过车辆进行捕获。
更进一步地，违法行为识别模块包括基于YOLOv5s的物体目标检测和基于Deepsort的多目标跟踪。
同时，物体目标检测的内容包括红绿灯、道路停止线、人行道、机动车道、头盔目标、未戴头盔人脸目标、非机动车、机动车。
可见地，违法行为识别模块对非机动车占用机动车道、闯红灯、未佩戴头盔、载人、逆向行驶识别，其中闯红灯和逆向行驶结合多目标跟踪进行识别。
很明显，步骤S4包括如下步骤：
S41：使用训练生成的目标检测模型文件进行目标对象检测，将输入的监控视频拆分成帧，对每一帧进行目标检测，从而完成对监控视频的目标检测；
S42：完成非机动车驾驶轨迹追踪，将第一帧检测到的目标对象结果输入进deepsort算法，建初始的轨迹ID，并经过卡尔曼滤波处理后用马氏空间距离进行运动匹配，再把结果通过最小余弦距离对外观进行匹配，通过级联匹配与IOU回归计算代价矩阵，完成非机动车驾驶轨迹跟踪；
S43：进行非机动车占用机动车道行为检测，确定非机动车、机动车和机动车道在图像中的位置，判断机动车道位置矩形框内是否包含非机动车、机动车位置矩形框，如果是则继续判断人脸目标和车牌是否清晰，如果清晰则将非机动车占用机动车道发生时间和地点推送到违法驾驶人员手机上，否则查找后续30帧是否包含清晰的人脸目标和车牌；
S44:进行未佩戴头盔行为检测，确定非机动车和未戴头盔人脸目标在图像中的位置，判断非机动车位置矩形框内是否包含未戴头盔人脸目标位置矩形框，如果是则继续判断人脸目标和车牌是否清晰，如果清晰则将非机动车占用机动车道发生时间和地点推送到违法驾驶人员手机上，否则查找后续30帧是否包含清晰的人脸目标和车牌；
S45:进行非机动车载人行为判断，确定非机动车、未戴头盔人脸目标、戴头盔目标在图像中的位置，判断非机动车位置矩形框内包含的未戴头盔人脸目标和戴头盔目标总数是否大于1，如果是则继续判断人脸目标和车牌是否清晰，如果清晰则将非机动车占用机动车道发生时间和地点推送到违法驾驶人员手机上，否则查找后续30帧是否包含清晰的人脸目标和车牌；
S46：进行闯红灯行为检测，取当前帧和第3帧，确定非机动车和停止线或人行道在图片中的位置，计算这两帧中非机动车距离停止线或人行道的距离，如果距离大于阈值则判断为闯红灯行为，判断人脸目标和车牌是否清晰，如果清晰则将非机动车占用机动车道发生时间和地点推送到违法驾驶人员手机上，否则查找后续30帧是否包含清晰的人脸目标和车牌；
S47:进行逆向行驶行为检测，通过计算前后5帧非机动车质心位置下x,y坐标距离图片上边框的相对变化量，如果变化量有增大趋势，则判断为逆向行驶；
S48:重复上述步骤，直至整个输入视频处理结束。
优选地，步骤S5包括如下步骤：
S51：根据多目标跟踪算法和人脸特征从大数据人脸库中查找相似人脸，给出相似度，根据预设相似度阀值过滤结果；
S52：根据车牌信息从相关的人口信息库、人口-车辆信息库中检索处对应的驾驶员信息；
S53：将违法信息推送到个人及相应的平台。为提升人脸比对的准确度，系统允许接入多家人脸比对，并支持动态伸缩扩展，对结果进行综合比较后给出结果。
综上所述，本实施例的原理在于：预先构建基于YOLOv5s算法的数据集，针对非机动车违法行为进行检测模型训练，捕捉的非机动车违法驾驶图像导入目标检测模型文件进行目标对象检测，对交通违法行为进行逐个判断直到整个输入视频结束，最后进行非机动车违法行为及其驾驶员的识别。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
尽管本文较多地使用了数据集、违法行为识别模块等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims (10)

1.一种基于目标检测和目标跟踪的非机动车违法行为判定的方法，其特征在于，包括如下步骤：
S1：对数据集进行构建；
S2：对目标检测模型进行训练；
S3：采集前端数据；
S4：对非机动车违法驾驶行为进行识别；
S5：对非机动车违法行为驾驶员身份识别。
2.根据权利要求1所述的基于目标检测和目标跟踪的非机动车违法行为判定的方法，其特征在于，所述的步骤S1包括如下步骤：
S11：利用Python网络爬虫从网络获取图片；
S12：从道路监控缓存视频截取图片；
S13：对图片进行随机缩放、裁剪、翻转和旋转。
S14：将图片整合为原始数据集。
3.根据权利要求2所述的基于目标检测和目标跟踪的非机动车违法行为判定的方法，其特征在于，所述的步骤14包括如下步骤：
S15：将数据集划分为多个类别且包括红绿灯、道路停止线、人行道、机动车道、头盔目标、未戴头盔人脸目标、非机动车、机动车，其中头盔目标和未戴头盔人脸目标为两种对立的状态，非机动车包含骑行者；
S16：使用标注工具labelme将图片中出现的多类目标进行标注，并转换成YOLOv5s算法能够运行的数据类型文本，每个文本中一行为对应图片样本中的目标对象的相对位置；
S16：按照7:2:1的比例将数据类型文本划分为训练集、验证集和测试集，完成数据集的构建。
4.根据权利要求1所述的基于目标检测和目标跟踪的非机动车违法行为判定的方法，其特征在于，所述的步骤S2包括如下步骤：
S21：修改YOLOv5s的yaml文件中的参数nc和names；
S22：改进YOLOv5s，在检测层中增加对小目标的识别，主干网络backbone上用GhostConv模块替换C3模型，损失函数改用VarifocalLoss与GIoULoss的加权组合；
S23：修改YOLOv5s项目的训练脚本train.py参数，包括并不限于weights、cfg、data和epochs；
S24：输入端input输入交通图片，经Mosaic数据增强后输入Backbone端，进入Backbone端的图片经卷积，BN归一化和Leaky_relu激活函数进行特征提取，经SPP模块处理处理后的图片送入Neck端进行特征进行融合并输入Predict端，用GIOU作为bbox的损失函数，进行目标检测模型训练；
S25：对目标检测模型进行评估，利用darknet自带的脚本对目标检测模型进行评估，得到召回率、检测精度以及平均精度三个指标，绘制PR曲线。
5.根据权利要求1所述的基于目标检测和目标跟踪的非机动车违法行为判定的方法，其特征在于，所述的步骤S3通过雷达触发和/或视频触发对机动车和非机动车进行捕获，通过高清抓拍相机进行抓拍并将抓拍及检测的数据自动上传至智能交通管理平台，供后续违法行为识别模块处理。
6.根据权利要求5所述的基于目标检测和目标跟踪的非机动车违法行为判定的方法，其特征在于，所述的违法行为识别模块包括基于YOLOv5s的物体目标检测和基于Deep sort的多目标跟踪。
7.根据权利要求6所述的基于目标检测和目标跟踪的非机动车违法行为判定的方法，其特征在于，物体目标检测的内容包括红绿灯、道路停止线、人行道、机动车道、头盔目标、未戴头盔人脸目标、非机动车、机动车。
8.根据权利要求7所述的基于目标检测和目标跟踪的非机动车违法行为判定的方法，其特征在于，所述的违法行为识别模块对非机动车占用机动车道、闯红灯、未佩戴头盔、载人、逆向行驶识别，其中闯红灯和逆向行驶结合多目标跟踪进行识别。
9.根据权利要求1所述的基于目标检测和目标跟踪的非机动车违法行为判定的方法，其特征在于，所述的步骤S4包括如下步骤：
S41：使用训练生成的目标检测模型文件进行目标对象检测，将输入的监控视频拆分成帧，对每一帧进行目标检测，从而完成对监控视频的目标检测；
S42：完成非机动车驾驶轨迹追踪，将第一帧检测到的目标对象结果输入进deep sort算法，建初始的轨迹ID，并经过卡尔曼滤波处理后用马氏空间距离进行运动匹配，再把结果通过最小余弦距离对外观进行匹配，通过级联匹配与IOU回归计算代价矩阵，完成非机动车驾驶轨迹跟踪；
S43：进行非机动车占用机动车道行为检测，确定非机动车、机动车和机动车道在图像中的位置，判断机动车道位置矩形框内是否包含非机动车、机动车位置矩形框，如果是则继续判断人脸目标和车牌是否清晰，如果清晰则将非机动车占用机动车道发生时间和地点推送到违法驾驶人员手机上，否则查找后续30帧是否包含清晰的人脸目标和车牌；
S44:进行未佩戴头盔行为检测，确定非机动车和未戴头盔人脸目标在图像中的位置，判断非机动车位置矩形框内是否包含未戴头盔人脸目标位置矩形框，如果是则继续判断人脸目标和车牌是否清晰，如果清晰则将非机动车占用机动车道发生时间和地点推送到违法驾驶人员手机上，否则查找后续30帧是否包含清晰的人脸目标和车牌；
S45:进行非机动车载人行为判断，确定非机动车、未戴头盔人脸目标、戴头盔目标在图像中的位置，判断非机动车位置矩形框内包含的未戴头盔人脸目标和戴头盔目标总数是否大于1，如果是则继续判断人脸目标和车牌是否清晰，如果清晰则将非机动车占用机动车道发生时间和地点推送到违法驾驶人员手机上，否则查找后续30帧是否包含清晰的人脸目标和车牌；
S46：进行闯红灯行为检测，取当前帧和第3帧，确定非机动车和停止线或人行道在图片中的位置，计算这两帧中非机动车距离停止线或人行道的距离，如果距离大于阈值则判断为闯红灯行为，判断人脸目标和车牌是否清晰，如果清晰则将非机动车占用机动车道发生时间和地点推送到违法驾驶人员手机上，否则查找后续30帧是否包含清晰的人脸目标和车牌；
S47:进行逆向行驶行为检测，通过计算前后5帧非机动车质心位置下x,y坐标距离图片上边框的相对变化量，如果变化量有增大趋势，则判断为逆向行驶；
S48:重复上述步骤，直至整个输入视频处理结束。
10.根据权利要求1所述的基于目标检测和目标跟踪的非机动车违法行为判定的方法，其特征在于，所述的步骤S5包括如下步骤：
S51：根据多目标跟踪算法和人脸特征从大数据人脸库中查找相似人脸，给出相似度，根据预设相似度阀值过滤结果；
S52：根据车牌信息从相关的人口信息库、人口-车辆信息库中检索处对应的驾驶员信息；
S53：将违法信息推送到个人及相应的平台。
CN202210600718.9A 2022-05-30 2022-05-30 基于目标检测和目标跟踪的非机动车违法行为判定的方法 Pending CN114898297A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210600718.9A CN114898297A (zh) 2022-05-30 2022-05-30 基于目标检测和目标跟踪的非机动车违法行为判定的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210600718.9A CN114898297A (zh) 2022-05-30 2022-05-30 基于目标检测和目标跟踪的非机动车违法行为判定的方法

Publications (1)

Publication Number Publication Date
CN114898297A true CN114898297A (zh) 2022-08-12

Family

ID=82726187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210600718.9A Pending CN114898297A (zh) 2022-05-30 2022-05-30 基于目标检测和目标跟踪的非机动车违法行为判定的方法

Country Status (1)

Country Link
CN (1) CN114898297A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082903A (zh) * 2022-08-24 2022-09-20 深圳市万物云科技有限公司 非机动车违停识别方法、装置、计算机设备及存储介质
CN115240435A (zh) * 2022-09-21 2022-10-25 广州市德赛西威智慧交通技术有限公司 一种基于ai技术的车辆违章行驶检测方法、装置
CN115311626A (zh) * 2022-08-30 2022-11-08 金锋馥(滁州)科技股份有限公司 一种基于深度学习的快递包裹检测识别算法
CN115861907A (zh) * 2023-03-02 2023-03-28 山东华夏高科信息股份有限公司 一种头盔检测方法和系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082903A (zh) * 2022-08-24 2022-09-20 深圳市万物云科技有限公司 非机动车违停识别方法、装置、计算机设备及存储介质
CN115311626A (zh) * 2022-08-30 2022-11-08 金锋馥(滁州)科技股份有限公司 一种基于深度学习的快递包裹检测识别算法
CN115240435A (zh) * 2022-09-21 2022-10-25 广州市德赛西威智慧交通技术有限公司 一种基于ai技术的车辆违章行驶检测方法、装置
CN115861907A (zh) * 2023-03-02 2023-03-28 山东华夏高科信息股份有限公司 一种头盔检测方法和系统

Similar Documents

Publication Publication Date Title
CN114898297A (zh) 基于目标检测和目标跟踪的非机动车违法行为判定的方法
US6442474B1 (en) Vision-based method and apparatus for monitoring vehicular traffic events
CN109740420B (zh) 车辆违法识别方法及相关产品
CN110738857B (zh) 一种车辆违章取证方法、装置及设备
CN109377694B (zh) 社区车辆的监控方法及系统
CN110222596B (zh) 一种基于视觉的驾驶员行为分析防作弊方法
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
CN105046966A (zh) 即停即离区域的违章停车行为自动检测系统和方法
CN112509325B (zh) 一种基于视频深度学习的非现场违法自动甄别方法
CN112381014A (zh) 一种基于城市道路的违停车辆检测及管理方法及系统
CN108156406A (zh) 行车记录仪的信息处理方法和装置
CN112528759A (zh) 一种基于计算机视觉的交通违章行为检测方法
Ravish et al. Intelligent traffic violation detection
Kejriwal et al. Vehicle detection and counting using deep learning basedYOLO and deep SORT algorithm for urban traffic management system
CN113076852A (zh) 一种基于5g通信的占用公交车道车载抓拍处理系统
CN109325755A (zh) 基于汽车轮毂的电子计费系统
CN110909641A (zh) 一种检测摩托车超载的方法、装置及系统
CN106340187A (zh) 一种摄像机车牌识别系统及识别实施方法
CN116311166A (zh) 交通障碍物识别方法、装置及电子设备
CN115797842A (zh) 车辆占道经营检测方法、装置、电子设备及存储介质
CN115272924A (zh) 一种基于模块化视频智能分析引擎的治理系统
CN115512315A (zh) 一种非机动车儿童搭乘检测方法、电子设备及存储介质
CN114202919A (zh) 一种非机动车电子车牌遮挡的识别方法、装置及系统
CN113850112A (zh) 基于孪生神经网络的路况识别方法和系统
CN113177443A (zh) 一种基于图像视觉的智能识别道路交通违章的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination