CN115019263A - 交通监管模型的建立方法、交通监管系统及方法 - Google Patents

交通监管模型的建立方法、交通监管系统及方法 Download PDF

Info

Publication number
CN115019263A
CN115019263A CN202210601190.7A CN202210601190A CN115019263A CN 115019263 A CN115019263 A CN 115019263A CN 202210601190 A CN202210601190 A CN 202210601190A CN 115019263 A CN115019263 A CN 115019263A
Authority
CN
China
Prior art keywords
traffic
target vehicle
data
data set
helmet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210601190.7A
Other languages
English (en)
Inventor
黄健翔
王明明
唐举城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Jicui Depth Perception Technology Research Institute Co ltd
Original Assignee
Jiangsu Jicui Depth Perception Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Jicui Depth Perception Technology Research Institute Co ltd filed Critical Jiangsu Jicui Depth Perception Technology Research Institute Co ltd
Priority to CN202210601190.7A priority Critical patent/CN115019263A/zh
Publication of CN115019263A publication Critical patent/CN115019263A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种交通监管模型的建立方法、交通监管系统及方法。其中，本发明利用YOLOv5网络结构和MOT算法训练成交通监管模型，以应用于交通监管系统及方法中。所述交通监管系统包括：数据采集单元、图像处理单元和信息输出单元；数据处理单元用于采集道路的交通影像数据；图像处理单元基于训练出的交通监管模型，从交通影像数据中识别出目标车辆、驾驶员是否佩戴头盔和目标车辆的运行轨迹，并基于识别数据实现对目标车辆逆行、闯红灯以及未佩戴头盔的违规判定。信息输出单元用于将违规判定结果输出至终端。因此，本发明实现了对电动自行车违规的自动化识别，无需耗费大量的人力成本，提高了监管效率。

Description

交通监管模型的建立方法、交通监管系统及方法
技术领域
本发明涉及智能交通技术领域，特别涉及一种交通监管模型的建立方法、交通监管系统及方法。
背景技术
电动自行车具有灵活性强和性价比高的特点，颇受大众青睐。基于此，电动自行车已成为大众短距离出行的首选方案。然而，随着电动自行车保有量的上升，电动自行车带来了诸多交通安全问题。例如，因超速、逆行以及闯红灯等问题造成的交通事故，使得驾驶员的人身安全和财产安全受到损害。尤其是因驾驶员的行车安全意识薄弱，不规范佩戴头盔，在发生严重交通事故时，甚至可能造成人员伤亡。对此，交通监管部门耗费大量的人力在各个交通路口进行人工监管，对于违反电动自行车安全驾驶规范的驾驶员进行警告或罚款。
然而，人工监管无法做到普遍性管控，且人力耗费巨大，效率低，成效不明显。因此，亟需一种电动自行车的交通监管系统，以实现自动化交通管控，降低人力成本，提高管控效率。
发明内容
本发明的目的在于提供一种交通监管模型的建立方法、交通监管系统及方法，以解决如何实现电动自行车的自动化交通监管，如何降低电动自行车的交通监管的人力成本以及提高监管效率中的至少一个问题。
为解决上述技术问题，本发明提供一种交通监管模型的建立方法，包括：
采集道路的交通影像数据；
对所述交通影像数据进行第一数据标注；
选取部分标注后的所述交通影像数据作为第一训练集，以及选取部分标注后的所述交通影像数据作为第一测试集；
将所述第一训练集输入YOLOv5网络结构，以训练并生成车辆识别模型；以及，采用所述第一测试集验证所述车辆识别模型；
采用所述车辆识别模型识别所述交通影像数据，以获得目标车辆数据集；
采用MOT算法对所述目标车辆数据集进行追踪处理，以获得目标车辆的运行轨迹；以及，根据所述目标车辆数据集至少训练生成头盔识别模型；
至少根据所述目标车辆的运行轨迹和所述头盔识别模型的识别结果，将所述目标车辆数据集按照设定规则，分为多个违规数据集。
可选的，在所述的交通监管模型的建立方法中，所述对所述交通影像数据进行第一数据标注的过程，包括：
至少识别所述交通影像数据中的行人图像、自行车图像和电动自行车图像；
对所有的所述行人图像、所述自行车图像和所述电动自行车图像分别进行序号标注。
可选的，在所述的交通监管模型的建立方法中，所述目标车辆数据集包括所有电动自行车图像。
可选的，在所述的交通监管模型的建立方法中，所述根据所述目标车辆数据集训练生成头盔识别模型的过程，包括：
对所述目标车辆数据集进行第二数据标注；
选取部分标注后的数据作为第二训练集，以及选取部分标注后的数据作为第二测试集；
将所述第二训练集输入所述YOLOv5网络结构，以训练并生成头盔识别模型，并采用所述第二测试集验证所述头盔识别模型。
可选的，在所述的交通监管模型的建立方法中，所述对所述目标车辆数据集进行第二数据标注的过程，包括：
识别所述目标车辆数据集中每个目标车辆上的驾驶员头部和头盔；
对所有所述驾驶员头部和所述头盔进行序号标注。
可选的，在所述的交通监管模型的建立方法中，在训练所述YOLOv5网络结构之前，采用K-Means聚类算法处理训练数据。
可选的，在所述的交通监管模型的建立方法中，采用VoTT软件或Image Labeling软件进行数据标注。
可选的，在所述的交通监管模型的建立方法中，多个所述违规数据集包括：逆行数据集、闯红灯数据集以及未佩戴头盔数据集。
基于同一发明构思，本发明还提供一种交通监管系统，包括：数据采集单元、图像处理单元和信息输出单元；
所述数据处理单元用于采集道路的交通影像数据；
所述图像处理单元包括车辆识别模块、头盔识别模块、轨迹追踪模块和违规分类模块；其中，所述车辆识别模块具有车辆识别模型，用于识别所述交通影像数据中的目标车辆，以生成目标车辆数据集；所述头盔识别模块具有头盔识别模型，用于识别所述目标车辆中驾驶员是否佩戴头盔；所述轨迹追踪模块用于获取所述目标车辆的运行轨迹；所述违规分类模块用于根据所述头盔识别模型的识别结果以及所述运行轨迹，将所述目标车辆数据集至少分为逆行数据集、闯红灯数据集以及未佩戴头盔数据集；
所述信息输出单元用于至少输出所述逆行数据集、所述闯红灯数据集以及所述未佩戴头盔数据集至终端。
基于同一发明构思，本发明还提供一种交通监管方法，使用所述的交通监管系统，包括：
数据采集单元采集道路的交通影像数据，并输送至车辆识别模块；
所述车辆识别模块标注并识别目标车辆，以生成目标车辆数据集；
头盔识别模块识别所述目标车辆数据集中每个驾驶员是否佩戴头盔；以及，轨迹追踪模块获取所述目标车辆的运行轨迹；
违规分类模块根据所述头盔识别模型的识别结果以及所述运行轨迹，将所述目标车辆数据集至少分为逆行数据集、闯红灯数据集以及未佩戴头盔数据集；
所述信息输出单元至少输出所述逆行数据集、所述闯红灯数据集以及所述未佩戴头盔数据集至终端。
综上所述，本发明提供一种交通监管模型的建立方法、交通监管系统及方法。其中，本发明利用YOLOv5网络结构和MOT算法训练成交通监管模型，以应用于交通监管系统及方法中。所述交通监管系统包括：数据采集单元、图像处理单元和信息输出单元；所述数据处理单元用于采集道路的交通影像数据；所述图像处理单元基于训练出的交通监管模型，从所述交通影像数据中识别出目标车辆、驾驶员是否佩戴头盔和目标车辆的运行轨迹，并基于识别数据实现对目标车辆逆行、闯红灯以及未佩戴头盔的违规判定。以及，通过所述信息输出单元将违规判定结果输出至终端。
因此，本发明提供的所述交通监管模型的建立方法、交通监管系统及方法，实现了对电动自行车违规的自动化识别，无需耗费大量的人力成本，提高了监管效率。
附图说明
图1是本发明实施例中的交通监管模型的建立方法的流程图。
图2是本发明实施例中的YOLOv5网络结构示意图。
图3是本发明实施例中的YOLOv5网络结构中输出端IOU交并比示意图。
图4是本发明实施例中的YOLOv5网络结构输出端CIOU_LOSS示意图。
图5是本发明实施例中的Sort追踪算法运行流程图。
图6是本发明实施例中的交通监管方法的流程图。
具体实施方式
为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。还应当理解的是，除非特别说明或者指出，否则说明书中的术语“第一”、“第二”、“第三”等描述仅仅用于区分说明书中的各个组件、元素、步骤等，而不是用于表示各个组件、元素、步骤之间的逻辑关系或者顺序关系等。
请参阅图1，本实施例提供一种交通监管模型的建立方法，包括：
步骤一S10：采集道路的交通影像数据；
步骤二S20：对所述交通影像数据进行第一数据标注；
步骤三S30：选取部分标注后的所述交通影像数据作为第一训练集，以及选取部分标注后的所述交通影像数据作为第一测试集；
步骤四S40：将所述第一训练集输入YOLOv5网络结构，以训练并生成车辆识别模型；以及，采用所述第一测试集验证所述车辆识别模型；
步骤五S50：采用所述车辆识别模型识别所述交通影像数据，以获得目标车辆数据集；
步骤六S60：采用MOT算法对所述目标车辆数据集进行追踪处理，以获得目标车辆的运行轨迹；以及，根据所述目标车辆数据集至少训练生成头盔识别模型；
步骤七S70：至少根据所述目标车辆的运行轨迹和所述头盔识别模型的识别结果，将所述目标车辆数据集按照设定规则，分为多个违规数据集。
显然，本实施例提供的所述交通监管模型的建立方法，基于YOLOv5网络结构和MOT算法训练成交通监管模型，以实现自动化识别电动自行车违规，无需耗费大量的人力成本，提高了监管效率。
以下结合附图1-5，具体说明本实施例提供的所述交通监管模型的建立方法。
步骤一S10：采集道路的交通影像数据。
可选的，通过在监管路口设置摄像头，以实现采集道路的交通影像数据。其中，所述交通影响数据为视频格式，由多帧图像组成。
步骤二S20：对所述交通影像数据进行第一数据标注。
其中，本实施例不限定所述第一数据标注所使用的标注软件，可选的为VoTT软件或Image Labeling软件。可以理解的是，采用标注软件以识别所述交通影像数据中的行人图像、自行车图像和电动自行车图像，并对所有的所述行人图像、所述自行车图像和所述电动自行车图像分别进行序号标注。例如，第一帧图像出现三个行人和两个电动自行车，即分别标注为行人1、行人2、行人3、电动自行车1和电动自行车2。当然，还可以识别并标注其他图像，例如平衡车图像。
步骤三S30：选取部分标注后的所述交通影像数据作为第一训练集，以及选取部分标注后的所述交通影像数据作为第一测试集。
进一步的，采用随机抽取的方式按设定的比例选取部分标注后的所述交通影像数据作为第一训练集，以及选取部分标注后的所述交通影像数据作为第一测试集。例如，随机抽取70％的标注后的所述交通影像数据作为第一训练集，剩余的30％标注后的所述交通影像数据作为第一测试集。
步骤四S40：将所述第一训练集输入YOLOv5网络结构，以训练并生成车辆识别模型；以及，采用所述第一测试集验证所述车辆识别模型。
进一步的，在将所述第一训练集输入YOLOv5网络结构训练之前，采用K-Means聚类算法获得第一训练集中的预选框的大小，继而将经K-Means聚类算法处理后的所述第一训练集输入至YOLOv5网络结构中训练，以训练成车辆识别模型，用于识别出图像中的电动自行车，作为目标车辆。其中，所述第一测试集用于验证生成的所述车辆识别模型的准确性。因此，当生成所述车辆识别模型之后，将所述第一测试集输入至所述车辆识别模型中，若所述车辆识别模型的置信率较低，则重新利用YOLOv5网络结构训练生成车辆识别模型，直至到达较优的置信率。
其中，YOLO(You Only Look Once)算法是一种基于深度神经网络的对象识别和定位算法，其最大的特点就是运行速度很快，实时效果甚佳。2020年6月份YOLOv5问世，相比YOLOv1和YOLOv2，其主要改进点有：调整了网络结构；利用多尺度特征进行对象预测；对象的分类用Logistic取代了softmax。相比之前的算法，YOLOv5精度有显著的提升，尤其是针对小目标。因此，本实施例利用YOLOv5网络结构训练出车辆识别模型，以保证较高的准确性。
请参阅图2，所述YOLOv5网络结构包括四大板块，分别为：输入端、Backbone部分、Neck部分和输出端。所述输入端负责数据的处理和输入，包括了一系列数据增强操作，如Mosaic数据增强，可有效防止过拟合。所述Backbone部分是YOLOv5的主干网络用来形成图像特征，其中包括了各种新的组合方式，如：CSPDarknet53，Mish激活函数，Dropblock等。所述Neck部分是目标检测网络在Backbone和所述输出端之间插入的一些层，例如是YOLOv5的SPP模块以及FPN+PAN结构。FPN结构流程自上向下，经过upsample和concat将上层特征图和底层特征图融合得到待预测的新特征图。所述输出端相比原本的算法，改进了训练时的损失函数CIOU_Loss，以及预测框筛选的nms变为DIOU_nms。
具体的，请参阅图3，例如A与B分别为两个互有重合的矩形框，M为A和B的交集，IOU即是交集与并集之比，IOU_LOSS即是N-M与N之比，二者定义如下式：
Figure BDA0003669308930000071
Figure BDA0003669308930000072
如图4所示，c代表包含A、B的最小矩形框的对角线长度(此处B包含A)，d表示矩形框A和矩形框B的两个中心点之间的距离，CIOU_LOSS可定义为：
Figure BDA0003669308930000073
Figure BDA0003669308930000074
Figure BDA0003669308930000075
Figure BDA0003669308930000076
其中，v是用来衡量宽高比的一致性，α是给定的正权衡参数；ωgt和hgt表示目标的真实宽和高；ω和h表示预测目标框的宽和高。
步骤五S50：采用所述车辆识别模型识别所述交通影像数据，以获得目标车辆数据集。
进一步的，经训练而成的所述车辆识别模型用于从每帧图像中识别出电动自行车图像并保存，以生成出所述目标车辆数据集。
步骤六S60：采用MOT算法对所述目标车辆数据集进行追踪处理，以获得目标车辆的运行轨迹；以及，根据所述目标车辆数据集至少训练生成头盔识别模型。
在获取由所述电动自行车图像构成的目标车辆数据集之后，需要将所述交通影像数据中的多帧图像进行轨迹追踪处理。换言之，经过所述车辆识别模型的识别，每一帧图像中所识别出的目标车辆都独立的，即使是相同的目标车辆各个图像标注也并不相关，则为获取目标车辆的运行轨迹，需要将多帧图像中的目标车辆关联起来，因此本实施例采用MOT算法对所述目标车辆数据集进行追踪处理，以获得目标车辆的运行轨迹。
请参阅图5，本实施例采用MOT算法中的sort算法对影像数据中检测出的目标车辆进行追踪并标号。假设当前检测第2帧图像，且检测结果包括该帧图像中的目标框的信息，即目标框的大小、位置。进一步的，将第1帧的检测结果作为图中的轨迹，该轨迹通过卡尔曼滤波中的预测阶段进行预测并获得伪第2帧的结果，同样该结果中包括了所述目标框的信息。然后，将第2帧的目标框和伪第2帧的目标框求IOU，得到两帧数据中各个目标框之间的IOU值，将各个目标框之间的IOU值作为匈牙利匹配的权重将轨迹和检测目标做匹配。对于匹配上的目标框，说明轨迹跟检测目标都没有问题，则进入卡尔曼滤波的更新步骤，因为预测轨迹跟实际轨迹有所差异，且检测到的目标框同样也存在噪声，所以需要用第2帧的检测结果来更新预测轨迹，以此来获得更为准确的目标框，之后将获取的更为准确的目标框作为第3帧的轨迹输入。对于未匹配上的轨迹，则表明在第2帧中该目标框消失了，没有与之相匹配的目标框，对此可以将已消失的目标框的轨迹删除。此外，若第2帧中检测到了目标框，但是并没有合适的轨迹预测框来和其做匹配，则说明出现了新的目标框。对此，仅需要将新目标框作为第3帧中的新轨迹。如此循环下去，则会将每一帧中的同一目标框绑定在一起，最后给同一目标框赋值，则实现多帧图像的关联。
以下对上述涉及的匈牙利匹配做进一步说明。假设当前帧的检测目标框集合为U，上一帧预测得来的伪当前帧的目标框集合为V。其中V1、V2、V3分别是V集合中的各个目标框。同理，U集合的目标框包括U1、U2、U3。两个集合的各个目标框之间的IOU值分别为表1的权重值：
表1各点之间权重
V1 V2 V3
U1 8 25 50
U2 50 35 75
U3 22 48 150
进一步的，对表1中的权重值进行初等行变换和初等列变换。初等行变换是指减去每行最小值和每列最小值，得到零值。即第一行减去8，第二行减去35，第三行减去22；对列进行同样的操作。然后，用尽量少的直线覆盖上一步骤获得的零值，并统计直线数量。如果直线数量等于传感器的数据数量(u和v的数据数量为3)，则得到对应最小权重；若直线数小于集合的元素数，则未被直线覆盖的数减去剩余数中最小数，得到新的零值。继而，重复上述过程，直到直线数等于集合元素数，最后利用最小权重得到最小损失，得到匹配目标框。
在完成各帧图像的匹配和关联之后，需要对所述目标车辆数据集中的驾驶员进行识别，以区别出驾驶员是否佩戴头盔。进一步的，还可以识别目标车辆是否有载人行为。其中，对于头盔的识别，本实施例还是利用上述的YOLOv5网络结构进行训练，以生成头盔识别模型。具体的，先对所述目标车辆数据集进行第二数据标注。即，采用VoTT软件或ImageLabeling软件识别所述目标车辆数据集中每个目标车辆上的驾驶员头部和头盔，并对所有所述驾驶员头部和所述头盔进行序号标注。然后，选取部分标注后的数据作为第二训练集，以及选取部分标注后的数据作为第二测试集。其中，在训练所述YOLOv5网络结构之前，采用K-Means聚类算法处理所述第一训练集。同样，采用随机抽取的方式按设定的比例选取部分标注后的所述目标车辆数据集作为第二训练集，以及选取部分标注后的所述目标车辆数据集作为第二测试集。最后，将所述第二训练集输入所述YOLOv5网络结构，以训练并生成头盔识别模型，并采用所述第二测试集验证所述头盔识别模型，以获取置信度较高的头盔识别模型。
步骤七S70：至少根据所述目标车辆的运行轨迹和所述头盔识别模型的识别结果，将所述目标车辆数据集按照设定规则，分为多个违规数据集。
可以理解的是，经过上述的YOLOv5网络结构的训练，生成的所述车辆识别模型和所述头盔识别模型，能够从视频图像中识别出电动自行车，并且判断出驾驶员是否佩戴头盔。进一步的，根据MOT算法的追踪处理，能够将所有帧图像的同一目标相关联，获取目标车辆的运行轨迹。继而，将所述运行轨迹与交通信号灯的指令相比对，以判断出所述目标车辆是否闯红灯。以及，根据所述运行轨迹判断所述目标车辆的位置，以与路口位置信息比对，从而判断出多数目标车辆是否逆行。此外，还可以通过图像识别来判断出所述目标车辆是否载人。基于此，可以筛查出所述目标车辆数据集中的违规情况，以将违规图像分类至对应的违规数据集。其中，所述违规数据集包括：逆行数据集、闯红灯数据集以及未佩戴头盔数据集。因此，生成了交通监管模型，用于实现对电动车违规行为的自动化监管。
基于同一发明构思，本实施例还提供一种交通监管系统。所述交通监管系统包含上述的交通监管模型，以实现对电动车违规行为的自动化监管。进一步的，所述交通监管系统包括：数据采集单元、图像处理单元和信息输出单元。所述数据处理单元用于采集道路的交通影像数据。可选的，所述数据处理单元包括多个摄像头，用于拍摄道路交通影像。所述图像处理单元包括车辆识别模块、头盔识别模块、轨迹追踪模块和违规分类模块。其中，所述车辆识别模块具有车辆识别模型，用于识别所述交通影像数据中的目标车辆，以生成目标车辆数据集。所述头盔识别模块具有头盔识别模型，用于识别所述目标车辆中驾驶员是否佩戴头盔。所述轨迹追踪模块用于获取所述目标车辆的运行轨迹。所述违规分类模块用于根据所述头盔识别模型的识别结果以及所述运行轨迹，将所述目标车辆数据集至少分为逆行数据集、闯红灯数据集以及未佩戴头盔数据集。所述信息输出单元用于至少输出所述逆行数据集、所述闯红灯数据集以及所述未佩戴头盔数据集至终端。
进一步的，所述终端至少包括监管人员的人机交互界面，以及道路上的电子警示牌和/或语音警示装置，以实现自动化警示违规驾驶员。例如，通过道路上的电子显示屏，展示所述逆行数据集、所述闯红灯数据集以及所述未佩戴头盔数据集的图像，以警示驾驶员。或者，通过路口的语音设置，通过语音播报的方式播报违规的电动自行车车牌。本实施例对此不做具体限定。
基于同一发明构思，请参阅图6，本实施例还提供一种交通监管方法，使用所述的交通监管系统，包括：
步骤一S100：数据采集单元采集道路的交通影像数据，并输送至车辆识别模块。其中，所述数据采集单元与所述图像处理单元之间为无线连接。
步骤二S200：所述车辆识别模块标注并识别目标车辆，以生成目标车辆数据集。即，将每帧图像中的电动自行车图像标注并保存。
步骤三S300：头盔识别模块识别所述目标车辆数据集中每个驾驶员是否佩戴头盔；以及，轨迹追踪模块获取所述目标车辆的运行轨迹。进一步的，所述轨迹追踪模块将各帧图像之间相同的目标车辆进行同一标注，从而识别出同一目标车辆的行驶轨迹。
步骤四S400：违规分类模块根据所述头盔识别模型的识别结果以及所述运行轨迹，将所述目标车辆数据集至少分为逆行数据集、闯红灯数据集以及未佩戴头盔数据集。换言之，通过识别和图像处理，可以确定出违规的目标车辆，并将违规的目标车辆按照违规种类分类归类至对应的逆行数据集、闯红灯数据集以及未佩戴头盔数据集中。
步骤五S500：所述信息输出单元至少输出所述逆行数据集、所述闯红灯数据集以及所述未佩戴头盔数据集至终端，以实现自动化监管电动自行车。
综上所述，本实施例提供一种交通监管模型的建立方法、交通监管系统及方法。其中，本实施例是利用YOLOv5网络结构和MOT算法训练成交通监管模型，以应用于交通监管系统及方法中。进一步的，所述交通监管系统包括：数据采集单元、图像处理单元和信息输出单元；所述数据处理单元用于采集道路的交通影像数据；所述图像处理单元基于训练出的交通监管模型，从所述交通影像数据中识别出目标车辆、驾驶员是否佩戴头盔和目标车辆的运行轨迹，并基于识别数据实现对目标车辆逆行、闯红灯以及未佩戴头盔的违规判定。以及，通过所述信息输出单元将违规判定结果输出至终端。因此，本实施例提供的所述交通监管模型的建立方法、交通监管系统及方法，实现了对电动自行车违规的自动化识别，无需耗费大量的人力成本，提高了监管效率。
此外还应该认识到，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围。

Claims (10)

1.一种交通监管模型的建立方法，其特征在于，包括：
采集道路的交通影像数据；
对所述交通影像数据进行第一数据标注；
选取部分标注后的所述交通影像数据作为第一训练集，以及选取部分标注后的所述交通影像数据作为第一测试集；
将所述第一训练集输入YOLOv5网络结构，以训练并生成车辆识别模型；以及，采用所述第一测试集验证所述车辆识别模型；
采用所述车辆识别模型识别所述交通影像数据，以获得目标车辆数据集；
采用MOT算法对所述目标车辆数据集进行追踪处理，以获得目标车辆的运行轨迹；以及，根据所述目标车辆数据集至少训练生成头盔识别模型；
至少根据所述目标车辆的运行轨迹和所述头盔识别模型的识别结果，将所述目标车辆数据集按照设定规则，分为多个违规数据集。
2.根据权利要求1所述的交通监管模型的建立方法，其特征在于，所述对所述交通影像数据进行第一数据标注的过程，包括：
至少识别所述交通影像数据中的行人图像、自行车图像和电动自行车图像；
对所有的所述行人图像、所述自行车图像和所述电动自行车图像分别进行序号标注。
3.根据权利要求2所述的交通监管模型的建立方法，其特征在于，所述目标车辆数据集包括所有电动自行车图像。
4.根据权利要求1所述的交通监管模型的建立方法，其特征在于，所述根据所述目标车辆数据集训练生成头盔识别模型的过程，包括：
对所述目标车辆数据集进行第二数据标注；
选取部分标注后的数据作为第二训练集，以及选取部分标注后的数据作为第二测试集；
将所述第二训练集输入所述YOLOv5网络结构，以训练并生成头盔识别模型，并采用所述第二测试集验证所述头盔识别模型。
5.根据权利要求4所述的交通监管模型的建立方法，其特征在于，所述对所述目标车辆数据集进行第二数据标注的过程，包括：
识别所述目标车辆数据集中每个目标车辆上的驾驶员头部和头盔；
对所有所述驾驶员头部和所述头盔进行序号标注。
6.根据权利要求1或4所述的交通监管模型的建立方法，其特征在于，在训练所述YOLOv5网络结构之前，采用K-Means聚类算法处理训练数据。
7.根据权利要求1或4所述的交通监管模型的建立方法，其特征在于，采用VoTT软件或Image Labeling软件进行数据标注。
8.根据权利要求1所述的交通监管模型的建立方法，其特征在于，多个所述违规数据集包括：逆行数据集、闯红灯数据集以及未佩戴头盔数据集。
9.一种交通监管系统，其特征在于，包括：数据采集单元、图像处理单元和信息输出单元；
所述数据处理单元用于采集道路的交通影像数据；
所述图像处理单元包括车辆识别模块、头盔识别模块、轨迹追踪模块和违规分类模块；其中，所述车辆识别模块具有车辆识别模型，用于识别所述交通影像数据中的目标车辆，以生成目标车辆数据集；所述头盔识别模块具有头盔识别模型，用于识别所述目标车辆中驾驶员是否佩戴头盔；所述轨迹追踪模块用于获取所述目标车辆的运行轨迹；所述违规分类模块用于根据所述头盔识别模型的识别结果以及所述运行轨迹，将所述目标车辆数据集至少分为逆行数据集、闯红灯数据集以及未佩戴头盔数据集；
所述信息输出单元用于至少输出所述逆行数据集、所述闯红灯数据集以及所述未佩戴头盔数据集至终端。
10.一种交通监管方法，其特征在于，使用如权利要求9所述的交通监管系统，包括：
数据采集单元采集道路的交通影像数据，并输送至车辆识别模块；
所述车辆识别模块标注并识别目标车辆，以生成目标车辆数据集；
头盔识别模块识别所述目标车辆数据集中每个驾驶员是否佩戴头盔；以及，轨迹追踪模块获取所述目标车辆的运行轨迹；
违规分类模块根据所述头盔识别模型的识别结果以及所述运行轨迹，将所述目标车辆数据集至少分为逆行数据集、闯红灯数据集以及未佩戴头盔数据集；
所述信息输出单元至少输出所述逆行数据集、所述闯红灯数据集以及所述未佩戴头盔数据集至终端。
CN202210601190.7A 2022-05-30 2022-05-30 交通监管模型的建立方法、交通监管系统及方法 Pending CN115019263A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210601190.7A CN115019263A (zh) 2022-05-30 2022-05-30 交通监管模型的建立方法、交通监管系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210601190.7A CN115019263A (zh) 2022-05-30 2022-05-30 交通监管模型的建立方法、交通监管系统及方法

Publications (1)

Publication Number Publication Date
CN115019263A true CN115019263A (zh) 2022-09-06

Family

ID=83071737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210601190.7A Pending CN115019263A (zh) 2022-05-30 2022-05-30 交通监管模型的建立方法、交通监管系统及方法

Country Status (1)

Country Link
CN (1) CN115019263A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117612254A (zh) * 2023-11-23 2024-02-27 广州大学 一种基于共享单车通勤行为识别方法、系统、设备和介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117612254A (zh) * 2023-11-23 2024-02-27 广州大学 一种基于共享单车通勤行为识别方法、系统、设备和介质

Similar Documents

Publication Publication Date Title
Tian et al. An automatic car accident detection method based on cooperative vehicle infrastructure systems
Jensen et al. Vision for looking at traffic lights: Issues, survey, and perspectives
CN109740420B (zh) 车辆违法识别方法及相关产品
Abdullah et al. YOLO-based three-stage network for Bangla license plate recognition in Dhaka metropolitan city
CN106991820B (zh) 违规车辆处理方法及装置
US20120128210A1 (en) Method for Traffic Sign Recognition
CN112712057B (zh) 交通信号识别方法、装置、电子设备及存储介质
CN110738842A (zh) 事故责任划分及行为分析方法、装置、设备及存储介质
CN110991221B (zh) 一种基于深度学习的动态交通闯红灯识别方法
CN104050447A (zh) 一种交通信号灯识别方法和装置
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
JP2010205160A (ja) 速度規制標識認識結果の通知方法
KR102089298B1 (ko) 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법
CN112509325B (zh) 一种基于视频深度学习的非现场违法自动甄别方法
Maldonado-Bascon et al. Traffic sign recognition system for inventory purposes
CN112785850A (zh) 车辆变道未打灯的识别方法及装置
CN114329074B (zh) 一种匝道路段通行能效检测方法和系统
CN115601717A (zh) 基于深度学习的交通违法行为分类检测方法及SoC芯片
CN115424217A (zh) 基于ai视觉的车辆智能识别方法、装置和电子设备
CN115019263A (zh) 交通监管模型的建立方法、交通监管系统及方法
Aldoski et al. Impact of traffic sign diversity on autonomous vehicles: a literature review
Bichkar et al. Traffic sign classification and detection of Indian traffic signs using deep learning
CN103679209A (zh) 基于稀疏理论的字符识别方法
CN113158954A (zh) 交通非现场的基于ai技术的斑马线区域自动检测方法
CN113076852A (zh) 一种基于5g通信的占用公交车道车载抓拍处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination