CN111553199A - 一种基于计算机视觉的机动车交通违法行为自动检测技术 - Google Patents

一种基于计算机视觉的机动车交通违法行为自动检测技术 Download PDF

Info

Publication number
CN111553199A
CN111553199A CN202010264950.0A CN202010264950A CN111553199A CN 111553199 A CN111553199 A CN 111553199A CN 202010264950 A CN202010264950 A CN 202010264950A CN 111553199 A CN111553199 A CN 111553199A
Authority
CN
China
Prior art keywords
model
motor vehicle
target
loading
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010264950.0A
Other languages
English (en)
Inventor
陈龙彪
王程
魏文轩
蓝渊明
刘林津
王顺平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202010264950.0A priority Critical patent/CN111553199A/zh
Publication of CN111553199A publication Critical patent/CN111553199A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于计算机视觉的机动车交通违法行为自动检测技术，包括如下步骤：构造目标检测数据集；加载YOLOv3模型进行模型的参数初始化过程，构建模型，训练模型；利用完成训练的YOLOv3模型预测目标类别及位置坐标；根据目标类别及位置坐标推理交通违法行为。本发明基于计算机视觉，使用基于深度学习的目标检测算法和基于规则的推理方式进行交通违法行为的自动检测；为机动车的交通违法行为检测提供了一种新的思路，具有优异的提取效率和准确率。

Description

一种基于计算机视觉的机动车交通违法行为自动检测技术
技术领域
本发明涉及计算机视觉领域领域，特别是指一种基于计算机视觉的机动车交通违法行为自动检测技术。
背景技术
现有检测机动车交通违法行为的方法主要依赖于交警巡逻等人工方式来进行违法行为的检测，其缺陷在于消耗大量人力成本，同时时空覆盖率不高。另外，机动车的使用主要存在于中小型城市及农村，其存在范围广使得动员交警整治的人力开销巨大。
随着国家对互联网科技的重要，交通已进入智能时代。在日常交通出行中存在着大量的交通违法行为，这些违法行为使得人们日常交通出行存在极大隐患。同时，机动车普遍存在于大街小巷，其违法行为使驾驶员及行人都承担了安全风险。因此，针对机动车的交通违法行为自动检测显得至关重要。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于计算机视觉的机动车的交通违法行为自动检测技术。
本发明采用如下技术方案：
一种基于计算机视觉的机动车交通违法行为自动检测技术，包括如下步骤：
S1、构造目标检测数据集；
S2、加载YOLOv3模型进行模型的参数初始化过程，构建模型，训练模型；
S3、利用完成训练的YOLOv3模型预测目标类别及位置坐标；
S4、根据目标类别及位置坐标推理交通违法行为。
其中，步骤S1具体包括：
S11、针对机动车存在的违法行为确定数据集所需的类别，可自动检测的类别包括超载、未戴安全帽，目标检测算法检测出的类别即包括机动车、人、安全帽；
S12、从各大开源的数据集中收集所需类别数据，对于收集数量不足的类别进行针对性的数据标注，标注工具使用数据标注软件labelImg，标注信息保存在xml格式的文件中，即包括目标类别和位置坐标；
S13、将所有xml格式的文件里的标注信息合并成一个txt格式文件，文件内容包括图片路径、图片内包括的目标类别、目标对应的位置坐标；
S14、将数据集划分为训练集、验证集和测试集；
S15、在训练集被加载时随机地进行数据增强来增加数据集，即对图片进行平移、缩放、扭曲。
其中，步骤S2具体包括：
S21、利用聚类算法K-means对数据集的目标坐标框的尺寸大小进行聚类，将K-means算法的输出数值作为YOLOv3模型的候选框参数；
S22、加载数据集及验证集txt格式文件，加载类别txt格式文件，加载候选框的txt文件；
S23、加载预训练的YOLOv3模型，构建计算损失函数和准确率函数，YOLOv3输出结果为向量；
S24、以批为迭代单位训练YOLOv3模型，反向传播修改YOLOv3模型参数。
S25、每迭代一轮，即训练集中每张图片都参与一次训练，输入验证集图片计算验证集损失，当训练集损失和验证集损失都趋于稳定时，训练完毕保存模型。
其中，步骤S3具体包括：
S31、加载S2中训练好的模型，加载类别txt文件，加载候选框的txt文件；
S32、加载需要进行预测的图片，将图片输入到模型中；
S33、模型预测得到目标类别ID及其位置坐标，根据目标类别ID得到类别txt文件中对应的类别名；
S34、将所得到的所有目标类别及其位置坐标组成列表作为S4推理过程的输入。
其中，步骤S4具体包括：
S41、循环遍历输入的目标及其坐标，计算目标与目标间的交并比，即计算各个目标的面积的交集所占面积的比例，面积可由位置坐标得到，具体公式为：
Figure BDA0002440917100000031
S42、通过目标间的交并比推理目标间存在关系，即当IOU大于给定阈值时即认为目标存在关系，如人在摩托车上；
S43、通过目标间的关系推理是否存在违法行为，首先可以得到的目标关系有机动车上乘坐人员数量和车上人员是否佩戴安全帽，当车上乘坐人员数量超过交通法规规定数量时即可认为此车辆超载。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
现有的检测违法行为的方式或者依赖于各种硬件设施，如监控摄像头和地感线圈等；或者依赖于交警人工巡逻检测违法行为，这些方式检测区域具有时空限制、建设维护成本高。本发明基于计算机视觉，使用基于深度学习的目标检测算法和基于规则的推理方式进行交通违法行为的自动检测。
附图说明
图1为本发明所揭示的交通违法行为自动检测流程图；
图2为使用数据标注软件labelimg标注训练样本示意图；
图3为目标检测和自动推理流程示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详述。
本发明公开了一种基于计算机视觉的机动车交通违法行为自动检测技术，如图1，包括如下步骤：
S1、构造目标检测数据集；
S2、加载YOLOv3模型进行模型的参数初始化过程，构建模型，训练模型；
S3、利用完成训练的YOLOv3模型预测目标类别及位置坐标；
S4、根据目标类别及位置坐标推理交通违法行为。
其中，步骤S1具体包括：
S11、针对机动车存在的违法行为确定数据集所需的类别，可自动检测的类别包括超载、未戴安全帽，目标检测算法检测出的类别即包括机动车、人、安全帽；
S12、从各大开源的数据集中收集所需类别数据，对于收集数量不足的类别进行针对性的数据标注，标注工具使用数据标注软件labelImg，标注信息保存在xml格式的文件中，即包括目标类别和位置坐标，如图2为数据标注软件labelImg使用界面；其使用方法如下：首先添加所需标注的图片，再使用鼠标画出矩形框选中所标注目标的范围，最后输入所标注目标的类别。
S13、将所有xml格式的文件里的标注信息合并成一个txt格式文件，文件内容包括图片路径、图片内包括的目标类别、目标对应的位置坐标；
S14、将数据集划分为训练集、验证集和测试集；
S15、在训练集被加载时随机地进行数据增强来增加数据集，即对图片进行平移、缩放、扭曲。
其中，步骤S2具体包括：
S21、利用聚类算法K-means对数据集的目标坐标框的尺寸大小进行聚类，将K-means算法的输出数值作为YOLOv3模型的候选框参数；
S22、加载数据集及验证集txt格式文件，加载类别txt格式文件，加载候选框的txt文件；
S23、加载预训练的YOLOv3模型，构建计算损失函数和准确率函数，YOLOv3输出结果为向量；
S24、以批为迭代单位训练YOLOv3模型，反向传播修改YOLOv3模型参数。
S25、每迭代一轮，即训练集中每张图片都参与一次训练，输入验证集图片计算验证集损失，当训练集损失和验证集损失都趋于稳定时，训练完毕保存模型。
其中，步骤S3具体包括：
S31、加载S2中训练好的模型，加载类别txt文件，加载候选框的txt文件；
S32、加载需要进行预测的图片，将图片输入到模型中；
S33、模型预测得到目标类别ID及其位置坐标，根据目标类别ID得到类别txt文件中对应的类别名；
S34、将所得到的所有目标类别及其位置坐标组成列表作为S4推理过程的输入。
其中，步骤S4具体包括：
S41、循环遍历输入的目标及其坐标，计算目标与目标间的交并比，即计算各个目标的面积的交集所占面积的比例，面积可由位置坐标得到，具体公式为：
Figure BDA0002440917100000061
S42、通过目标间的交并比推理目标间存在关系，即当IOU大于给定阈值时即认为目标存在关系，如人在摩托车上；
S43、通过目标间的关系推理是否存在违法行为，首先可以得到的目标关系有机动车上乘坐人员数量和车上人员是否佩戴安全帽，当车上乘坐人员数量超过交通法规规定数量时即可认为此车辆超载，如图3为目标检测和自动推理流程示意图。在图3中，首先使用YOLOv3模型检测出目标检测框；再计算重合面积占比，根据违法行为规则输出结果；图3所示图片推理结果为：单人行车、已佩戴安全帽。
现有的检测违法行为的方式或者依赖于各种硬件设施，如监控摄像头和地感线圈等；或者依赖于交警人工巡逻检测违法行为，这些方式检测区域具有时空限制、建设维护成本高。本发明基于计算机视觉，使用基于深度学习的目标检测算法和基于规则的推理方式进行交通违法行为的自动检测。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (5)

1.一种基于计算机视觉的机动车交通违法行为自动检测技术，其特征在于，包括如下步骤：
S1、构造目标检测数据集；
S2、加载YOLOv3模型进行模型的参数初始化过程，构建模型，训练模型；
S3、利用完成训练的YOLOv3模型预测目标类别及位置坐标；
S4、根据目标类别及位置坐标推理交通违法行为。
2.根据权利要求1所述的一种基于计算机视觉的机动车交通违法行为自动检测技术，其特征在于，所述步骤S1具体包括：
S11、针对机动车存在的违法行为确定数据集所需的类别，可自动检测的类别包括超载、未戴安全帽，目标检测算法检测出的类别即包括机动车、人、安全帽；
S12、从各大开源的数据集中收集所需类别数据，对于收集数量不足的类别进行针对性的数据标注，标注工具使用数据标注软件labelImg，标注信息保存在xml格式的文件中，即包括目标类别和位置坐标；
S13、将所有xml格式的文件里的标注信息合并成一个txt格式文件，文件内容包括图片路径、图片内包括的目标类别、目标对应的位置坐标；
S14、将数据集划分为训练集、验证集和测试集；
S15、在训练集被加载时随机地进行数据增强来增加数据集，即对图片进行平移、缩放、扭曲。
3.根据权利要求1所述的一种基于计算机视觉的机动车交通违法行为自动检测技术，其特征在于，所述步骤S2具体包括：
S21、利用聚类算法K-means对数据集的目标坐标框的尺寸大小进行聚类，将K-means算法的输出数值作为YOLOv3模型的候选框参数；
S22、加载数据集及验证集txt格式文件，加载类别txt格式文件，加载候选框的txt文件；
S23、加载预训练的YOLOv3模型，构建计算损失函数和准确率函数，YOLOv3输出结果为向量；
S24、以批为迭代单位训练YOLOv3模型，反向传播修改YOLOv3模型参数。
S25、每迭代一轮，即训练集中每张图片都参与一次训练，输入验证集图片计算验证集损失，当训练集损失和验证集损失都趋于稳定时，训练完毕保存模型。
4.根据权利要求1所述的一种基于计算机视觉的机动车交通违法行为自动检测技术，其特征在于，所述步骤S3具体包括：
S31、加载S2中训练好的模型，加载类别txt文件，加载候选框的txt文件；
S32、加载需要进行预测的图片，将图片输入到模型中；
S33、模型预测得到目标类别ID及其位置坐标，根据目标类别ID得到类别txt文件中对应的类别名；
S34、将所得到的所有目标类别及其位置坐标组成列表作为S4推理过程的输入。
5.根据权利要求1所述的一种基于计算机视觉的机动车交通违法行为自动检测技术，其特征在于，所述步骤S4具体包括：
S41、循环遍历输入的目标及其坐标，计算目标与目标间的交并比，即计算各个目标的面积的交集所占面积的比例，面积可由位置坐标得到，具体公式为：
Figure FDA0002440917090000021
S42、通过目标间的交并比推理目标间存在关系，即当IOU大于给定阈值时即认为目标存在关系，如人在摩托车上；
S43、通过目标间的关系推理是否存在违法行为，首先可以得到的目标关系有机动车上乘坐人员数量和车上人员是否佩戴安全帽，当车上乘坐人员数量超过交通法规规定数量时即可认为此车辆超载。
CN202010264950.0A 2020-04-07 2020-04-07 一种基于计算机视觉的机动车交通违法行为自动检测技术 Pending CN111553199A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010264950.0A CN111553199A (zh) 2020-04-07 2020-04-07 一种基于计算机视觉的机动车交通违法行为自动检测技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010264950.0A CN111553199A (zh) 2020-04-07 2020-04-07 一种基于计算机视觉的机动车交通违法行为自动检测技术

Publications (1)

Publication Number Publication Date
CN111553199A true CN111553199A (zh) 2020-08-18

Family

ID=72005594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010264950.0A Pending CN111553199A (zh) 2020-04-07 2020-04-07 一种基于计算机视觉的机动车交通违法行为自动检测技术

Country Status (1)

Country Link
CN (1) CN111553199A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814762A (zh) * 2020-08-24 2020-10-23 深延科技(北京)有限公司 头盔佩戴检测方法和装置
CN114266953A (zh) * 2021-12-24 2022-04-01 福州大学 一种基于深度学习的目标检测流程自优化方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564010A (zh) * 2018-03-28 2018-09-21 浙江大华技术股份有限公司 一种安全帽佩戴的检测方法、装置、电子设备及存储介质
CN109086662A (zh) * 2018-06-19 2018-12-25 浙江大华技术股份有限公司 一种异常行为检测方法及装置
CN109166284A (zh) * 2018-09-11 2019-01-08 广东省电子技术研究所 一种违规行为报警系统及违规行为报警方法
CN109447034A (zh) * 2018-11-14 2019-03-08 北京信息科技大学 基于YOLOv3网络的自动驾驶中交通标识检测方法
CN110070074A (zh) * 2019-05-07 2019-07-30 安徽工业大学 一种构建行人检测模型的方法
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN108564010A (zh) * 2018-03-28 2018-09-21 浙江大华技术股份有限公司 一种安全帽佩戴的检测方法、装置、电子设备及存储介质
CN109086662A (zh) * 2018-06-19 2018-12-25 浙江大华技术股份有限公司 一种异常行为检测方法及装置
CN109166284A (zh) * 2018-09-11 2019-01-08 广东省电子技术研究所 一种违规行为报警系统及违规行为报警方法
CN109447034A (zh) * 2018-11-14 2019-03-08 北京信息科技大学 基于YOLOv3网络的自动驾驶中交通标识检测方法
CN110070074A (zh) * 2019-05-07 2019-07-30 安徽工业大学 一种构建行人检测模型的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814762A (zh) * 2020-08-24 2020-10-23 深延科技(北京)有限公司 头盔佩戴检测方法和装置
CN114266953A (zh) * 2021-12-24 2022-04-01 福州大学 一种基于深度学习的目标检测流程自优化方法
CN114266953B (zh) * 2021-12-24 2024-06-11 福州大学 一种基于深度学习的目标检测流程自优化方法

Similar Documents

Publication Publication Date Title
CN111311918B (zh) 一种基于视觉分析的交通管理方法及装置
CN107004353B (zh) 交通违章管理系统和交通违章管理方法
CN108898520B (zh) 基于轨迹数据的学生安全监控方法和系统
WO2021227586A1 (zh) 交通事故分析方法、装置及设备
CN110288823B (zh) 一种基于朴素贝叶斯网络的交通违章误判识别方法
CN111429268B (zh) 一种车辆信贷风险检测方法、终端设备和存储介质
US20070282519A1 (en) System and method for analyzing traffic disturbances reported by vehicles
CN114782897A (zh) 基于机器视觉及深度学习的危险行为检测方法及系统
CN112101670A (zh) 数据处理方法、装置、电子设备和可读存储介质
CN111553199A (zh) 一种基于计算机视觉的机动车交通违法行为自动检测技术
CN109767618B (zh) 一种公安交管业务异常数据综合研判方法及系统
CN111539864A (zh) 一种基于lbs大数据的踩踏事件的情报分析方法和装置
Xu et al. Traffic event detection using twitter data based on association rules
CN107004351B (zh) 交通违章管理系统和交通违章管理方法
CN113936465A (zh) 交通事件检测方法及装置
CN111404874A (zh) 出租车嫌疑车辆甄别分析体系架构
CN112580470A (zh) 城市视觉感知方法、装置、电子设备和存储介质
CN114926791A (zh) 一种路口车辆异常变道检测方法、装置、存储介质及电子设备
CN116911610A (zh) 运输车辆驾驶安全风险监控及评估预警的方法和系统
Zhai et al. A context-aware evaluation method of driving behavior
CN114550445A (zh) 一种城市区域交通安全状态评估方法和装置
CN116384844B (zh) 基于地理信息云平台的决策方法及装置
CN112633163B (zh) 一种基于机器学习算法实现非法运营车辆检测的检测方法
Yang et al. Rapid analysis and detection algorithm and prevention countermeasures of urban traffic accidents under artificial intelligence
CN115187886A (zh) 一种车辆违规行为检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200818