CN111626277B - 一种基于治超站交调指标分析的车辆跟踪方法及装置 - Google Patents

一种基于治超站交调指标分析的车辆跟踪方法及装置 Download PDF

Info

Publication number
CN111626277B
CN111626277B CN202010766509.2A CN202010766509A CN111626277B CN 111626277 B CN111626277 B CN 111626277B CN 202010766509 A CN202010766509 A CN 202010766509A CN 111626277 B CN111626277 B CN 111626277B
Authority
CN
China
Prior art keywords
vehicle
track
track information
target
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010766509.2A
Other languages
English (en)
Other versions
CN111626277A (zh
Inventor
李小村
陈振宇
夏莹杰
卢志珊
钱楠
潘鹏志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Zcits Technology Co ltd
Original Assignee
Hangzhou Zcits Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zcits Technology Co ltd filed Critical Hangzhou Zcits Technology Co ltd
Priority to CN202010766509.2A priority Critical patent/CN111626277B/zh
Publication of CN111626277A publication Critical patent/CN111626277A/zh
Application granted granted Critical
Publication of CN111626277B publication Critical patent/CN111626277B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本发明公开了一种基于治超站交调指标分析的车辆跟踪方法，包括通过摄像头获取目标路段的视频流；调用YOLO模型对视频流进行识别，生成对应视频流内各个车辆的定位框；对定位框进行预处理，根据符合预设条件的定位框生成轨迹信息；车辆图像包括目标车辆；识别目标车辆的轨迹信息，当目标车辆的轨迹在目标路段内中断时，对应同一目标车辆的轨迹信息。先基于视频流生成各个车辆的轨迹信息，然后基于在称台处抓拍的车辆图像检索各个轨迹信息，将对应同一车辆的轨迹信息合并补全，可以有效提高车辆跟踪数据的鲁棒性。本发明还提供了一种车辆跟踪装置、一种车辆跟踪设备以及一种计算机可读存储介质，同样具有上述有益效果。

Description

一种基于治超站交调指标分析的车辆跟踪方法及装置
技术领域
本发明涉及图像识别技术领域，特别是涉及一种基于治超站交调指标分析的车辆跟踪方法、一种基于治超站交调指标分析的车辆跟踪装置、一种基于治超站交调指标分析的车辆跟踪设备以及一种计算机可读存储介质。
背景技术
为方便交通主管部门及时、全面掌握道路交通运行情况，从而为路网管理与决策提供依据，需对各类道路的拥堵情况、运行质量等各项指标进行调查和评价。而交通主管部门做依据的数据即交调数据，交调数据通常包括：采集时间、道路信息、车速、车轴、轴重、车型等。
治超检测站是国家为治理车辆超限超载运输，对车辆实施称重检测、超限超载认定、纠正和查处违法行为的特定场所，是公路保护的执法设施。而在公路非现场治超工作的项目建设中，非现场治超点采集到的数据通常有检测时间、道路信息、车速、车轴、车货总重、图片和视频等。
可见交通主管部门所需的交调数据与非现场治超点采集到的数据有相当密切的关联。
在现有的非现场治超点的称重设备中，称台前后通常设置有线圈，线圈间的距离是固定的，车辆通过前后两个线圈的时间可以检测出来，从而换算成速度。但因线圈距离短，只能计算瞬时速度；同时，如果驾驶员为干扰称台的检测结果，故意在点位改变行驶速度，或采取其他躲避措施，则该瞬时速度不能作为车辆的平均时速使用。此时非现场治超点采集到的数据，尤其是速度数据无法应用在交调数据中。
在现有技术中，通常会通过拍摄目标路段的视频，通过神经网络对该视频流进行处理，跟踪并分析出各个车辆的速度作为车辆的平均时速。但是在现有技术中，通常不能良好的对视频流内车辆进行跟踪，进而无法有效的将治超点采集到的数据转换为交调数据。所以如何提高对视频流内车辆跟踪数据的鲁棒性是本领域技术人员急需解决的问题。
发明内容
本发明的目的是提供一种基于治超站交调指标分析的车辆跟踪方法，可以有效提高车辆跟踪数据的鲁棒性；本发明的另一目的在于提供一种基于治超站交调指标分析的车辆跟踪装置、一种基于治超站交调指标分析的车辆跟踪设备以及一种计算机可读存储介质，可以有效提高车辆跟踪数据的鲁棒性。
为解决上述技术问题，本发明提供一种基于治超站交调指标分析的车辆跟踪方法，包括：
通过摄像头获取目标路段的视频流；所述目标路段包括设置有称台的目标区域；
调用YOLO模型对所述视频流进行识别，生成对应所述视频流内各个车辆的定位框；
对所述定位框进行预处理，根据符合预设条件的定位框生成轨迹信息；
根据所述轨迹信息生成轨迹集队列；
获取经过所述称台的车辆图像；所述车辆图像包括目标车辆；
识别所述目标车辆在所述轨迹集队列的轨迹信息，当目标车辆的轨迹在所述目标路段内中断时，合并所述轨迹集队列对应同一所述目标车辆的轨迹信息。
可选的，所述对所述定位框进行预处理，以生成符合预设条件的目标定位框包括：
计算所述视频流相邻帧中所述定位框之间的交并比，以及相邻帧中所述定位框内图像之间的结构相似度；
根据所述交并比大于交并比阈值，且所述结构相似度大于结构相似度阈值的定位框生成轨迹信息。
可选的，所述轨迹信息包括所述车辆的标识信息、所述车辆的定位坐标信息及轨迹的起终点图像。
可选的，所述识别所述目标车辆在所述轨迹集队列的轨迹信息包括：
计算所述目标车辆的特征值；
根据所述特征值查询所述目标车辆对应的标识信息；
根据所述标识信息查询对应所述目标车辆的轨迹信息。
可选的，所述合并所述轨迹集队列对应同一所述目标车辆的轨迹信息包括：
提取所述轨迹的起终点图像的HOG特征和LBP特征，以及所述车辆图像的HOG特征和LBP特征；
根据所述HOG特征和所述LBP特征计算各个所述轨迹信息与所述目标车辆的余弦相似度；
当所述余弦相似度大于余弦相似度阈值时，合并对应同一所述目标车辆的轨迹信息。
可选的，所述调用YOLO模型对所述视频流进行识别，生成对应所述视频流内各个车辆的定位框包括：
调用YOLOv4模型对所述视频流进行识别，生成对应所述视频流内各个车辆的定位框。
本发明还提供了一种基于治超站交调指标分析的车辆跟踪装置，包括：
获取模块：用于通过摄像头获取目标路段的视频流；所述目标路段包括设置有称台的目标区域；
定位模块：用于调用YOLO模型对所述视频流进行识别，生成对应所述视频流内各个车辆的定位框；
预处理模块：用于对所述定位框进行预处理，根据符合预设条件的定位框生成轨迹信息；
轨迹集队列模块：用于根据所述轨迹信息生成轨迹集队列；
抓拍模块：用于获取经过所述称台的车辆图像；所述车辆图像包括目标车辆；
合并模块：用于识别所述目标车辆在所述轨迹集队列的轨迹信息，当目标车辆的轨迹在所述目标路段内中断时，合并所述轨迹集队列对应同一所述目标车辆的轨迹信息。
可选的，所述预处理模块包括：
计算单元：用于计算所述视频流相邻帧中所述定位框之间的交并比，以及相邻帧中所述定位框内图像之间的结构相似度；
筛选单元：用于根据所述交并比大于交并比阈值，且所述结构相似度大于结构相似度阈值的定位框生成轨迹信息。
本发明还提供了一种基于治超站交调指标分析的车辆跟踪设备，所述设备包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序时实现如上述任一项所述基于治超站交调指标分析的车辆跟踪方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述基于治超站交调指标分析的车辆跟踪方法的步骤。
本发明所提供的一种基于治超站交调指标分析的车辆跟踪方法，包括通过摄像头获取目标路段的视频流；目标路段包括设置有称台的目标区域；调用YOLO模型对视频流进行识别，生成对应视频流内各个车辆的定位框；对定位框进行预处理，根据符合预设条件的定位框生成轨迹信息；根据轨迹信息生成轨迹集队列；获取经过称台的车辆图像；车辆图像包括目标车辆；识别目标车辆在轨迹集队列的轨迹信息，当目标车辆的轨迹在目标路段内中断时，合并轨迹集队列对应同一目标车辆的轨迹信息。
先基于视频流生成各个车辆的轨迹信息，然后基于在称台处抓拍的车辆图像检索各个轨迹信息，将对应同一车辆的轨迹信息合并补全，可以最终生成完整的轨迹信息，从而有效提高车辆跟踪数据的鲁棒性。
本发明还提供了一种基于治超站交调指标分析的车辆跟踪装置、一种基于治超站交调指标分析的车辆跟踪设备以及一种计算机可读存储介质，同样具有上述有益效果，在此不再进行赘述。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种基于治超站交调指标分析的车辆跟踪方法的流程图；
图2为本发明实施例所提供的一种具体的基于治超站交调指标分析的车辆跟踪方法的流程图；
图3为本发明实施例所提供的一种基于治超站交调指标分析的车辆跟踪装置的结构框图；
图4为本发明实施例所提供的一种基于治超站交调指标分析的车辆跟踪设备的结构框图。
具体实施方式
本发明的核心是提供一种基于治超站交调指标分析的车辆跟踪方法。在现有技术中，通常会通过拍摄目标路段的视频，通过神经网络对该视频流进行处理，跟踪并分析出各个车辆的速度作为车辆的平均时速。但是现有的车辆跟踪程序往往通过前后帧间关联，不能有效地跟踪远距离车辆及视角被遮挡的车辆，车辆跟踪的范围和可追溯性较差，其原因是现有的车辆跟踪方法在车辆远离摄像机、图像分辨率低的情况下，距离远近的同一辆车难以辨别，同时因为近处车辆所占视频画面比例较大，出现前车遮挡后车的情况较多，一辆车从远处标定点至近处称台点的跟踪全过程难以保证得到完整记录，导致跟踪漏检率较高，跟踪得到的数据鲁棒性不足。
而本发明所提供的一种基于治超站交调指标分析的车辆跟踪方法，包括通过摄像头获取目标路段的视频流；目标路段包括设置有称台的目标区域；调用YOLO模型对视频流进行识别，生成对应视频流内各个车辆的定位框；对定位框进行预处理，根据符合预设条件的定位框生成轨迹信息；根据轨迹信息生成轨迹集队列；获取经过称台的车辆图像；车辆图像包括目标车辆；识别目标车辆在轨迹集队列的轨迹信息，当目标车辆的轨迹在目标路段内中断时，合并轨迹集队列对应同一目标车辆的轨迹信息。
先基于视频流生成各个车辆的轨迹信息，然后基于在称台处抓拍的车辆图像检索各个轨迹信息，将对应同一车辆的轨迹信息合并补全，可以最终生成完整的轨迹信息，从而有效提高车辆跟踪数据的鲁棒性。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明实施例所提供的一种基于治超站交调指标分析的车辆跟踪方法的流程图。
参见图1，在本发明实施例中，基于治超站交调指标分析的车辆跟踪方法包括：
S101：通过摄像头获取目标路段的视频流。
在本发明实施例中，所述目标路段包括设置有称台的目标区域。有关称台的结构可以参考现有技术，在此不再进行赘述。在本发明实施例中，使得视频流包括车辆经过称台所在目标区域的图像，可以便于后续步骤中依据在称台处抓拍的图像合并轨迹信息。通常情况下，上述目标路段的终点即称台所在目标区域，而目标路段的起点通常需要根据摄像头拍摄的范围在视频流中自行设定一标定点作为目标路段的起始点，以在后续步骤中从该标定点对视频流中车辆进行跟踪。
S102：调用YOLO模型对视频流进行识别，生成对应视频流内各个车辆的定位框。
YOLO模型即基于目标检测算法（YOLO算法）所建立的模型，在本步骤中，具体会通过YOLO模型对视频流进行识别，具体会识别出视频流中的各个车辆，并在视频流中通过定位框框住对应的车辆。有关YOLO模型的具体内容可以参考现有技术，在此不再进行赘述。在本步骤中，具体可以选用YOLOv4模型处理上述视频流，即本步骤可以具体为：调用YOLOv4模型对所述视频流进行识别，生成对应所述视频流内各个车辆的定位框。YOLOv4模型即基于YOLOv4算法所建立的模型，YOLOv4算法为第四代目标检测算法。有关YOLOv4模型的具体内容可以参考现有技术，在此不再进行赘述。
S103：对定位框进行预处理，根据符合预设条件的定位框生成轨迹信息。
有关预处理的具体内容将在下述发明实施例中做详细介绍，在此不再进行赘述。该轨迹信息可以表示车辆在视频流中移动的轨迹，不同轨迹信息通常具有不同的标记信息，即ID，该标记信息同样对应于轨迹信息对应的车辆。
S104：根据轨迹信息生成轨迹集队列。
在本步骤中，具体会将多个轨迹信息统一存储，以生成轨迹集队列，该轨迹集队列通常会包括多条轨迹信息。
S105：获取经过称台的车辆图像。
在本发明实施例中，所述车辆图像包括目标车辆。通常情况下，在本步骤中具体会抓拍经过称台的车辆的图像，即车辆图像，此时在车辆图像中会包括有目标车辆的影像。有关抓拍车辆图像的具体过程可以参考现有技术，在此不再进行赘述。需要说明的是，本步骤可以与上述步骤并行执行。
S106：识别目标车辆在轨迹集队列的轨迹信息，当目标车辆的轨迹在目标路段内中断时，合并轨迹集队列对应同一目标车辆的轨迹信息。
在本步骤中，具体会先识别抓拍的车辆图像中目标车辆在轨迹集队列内对应的轨迹信息。由于轨迹信息可以反映出车辆在目标路段的行驶轨迹，当根据查询出的轨迹信息发现目标车辆的轨迹在目标路段内中断时，意味着在上述S103中并没有将对应同一车辆的定位框整合在同一条轨迹信息中，而是分成了多段轨迹信息进行存储。此时在本步骤中，会将对应同一目标车辆的多条轨迹信息进行合并，合并成一条完整的轨迹信息，该轨迹信息所对应的起点为上述标定的标定点，而该轨迹信息对应的终点通常为设置称台的目标区域。
本发明实施例所提供的一种基于治超站交调指标分析的车辆跟踪方法，包括通过摄像头获取目标路段的视频流；目标路段包括设置有称台的目标区域；调用YOLO模型对视频流进行识别，生成对应视频流内各个车辆的定位框；对定位框进行预处理，根据符合预设条件的定位框生成轨迹信息；根据轨迹信息生成轨迹集队列；获取经过称台的车辆图像；车辆图像包括目标车辆；识别目标车辆在轨迹集队列的轨迹信息，当目标车辆的轨迹在目标路段内中断时，合并轨迹集队列对应同一目标车辆的轨迹信息。
先基于视频流生成各个车辆的轨迹信息，然后基于在称台处抓拍的车辆图像检索各个轨迹信息，将对应同一车辆的轨迹信息合并补全，可以最终生成完整的轨迹信息，从而有效提高车辆跟踪数据的鲁棒性。
有关本发明所提供的一种基于治超站交调指标分析的车辆跟踪方法的具体内容将在下述发明实施例中做详细介绍。
请参考图2，图2为本发明实施例所提供的一种具体的基于治超站交调指标分析的车辆跟踪方法的流程图。
参见图2，在本发明实施例中，基于治超站交调指标分析的车辆跟踪方法包括：
S201：通过摄像头获取目标路段的视频流。
S202：调用YOLO模型对视频流进行识别，生成对应视频流内各个车辆的定位框。
上述S201至S202与上述S101至S102基本一致，详细内容已在上述发明实施例中做详细介绍，在此不再进行赘述。
在本发明实施例中，YOLO模型输出的结果通常为：
Figure 132000DEST_PATH_IMAGE001
；
其中
Figure 314720DEST_PATH_IMAGE002
分别为目标定位框中心点的横坐标以及纵坐标，
Figure 173086DEST_PATH_IMAGE003
分别为目标定位框的宽和高。
S203：计算视频流相邻帧中定位框之间的交并比，以及相邻帧中定位框内图像之间的结构相似度。
交并比（Intersection-over-Union，IOU），目标检测中使用的一个概念，是产生的候选框（candidate bound）与原标记框（ground truth bound）的交叠率，即它们的交集与并集的比值。由于在视频流的相邻帧中，对应同一车辆的定位框通常具有较高的重叠，相应的在本步骤中，具体会计算视频流中相邻帧之间定位框的交并比，以通过交并比确定相邻帧对应同一车辆的定位框。
具体的，交并比IOU可按下述公式计算：
Figure 833874DEST_PATH_IMAGE004
其中，Area（a）以及Area（b）分别为视频流前后两帧中定位框的面积，通常计前一帧中定位框为a，后一帧定位框为b。
结构相似度（structural similarity index，SSIM）即结构相似性，是一种衡量两幅图像相似度的指标。在本步骤中，具体会计算视频流中相邻帧之间定位框内图像的结构相似度，以通过结构相似度确定相邻帧对应同一车辆的定位框。
具体的，结构相似度SSIM可以按下述公式计算：
Figure 117088DEST_PATH_IMAGE005
其中，
Figure 533026DEST_PATH_IMAGE006
为亮度相似度，
Figure 3321DEST_PATH_IMAGE007
为对比度相似度，
Figure 467801DEST_PATH_IMAGE008
为结构相似度。
若连续两帧的定位框中图像分别为X和Y，其亮度相似度为：
Figure 480887DEST_PATH_IMAGE009
Figure 677513DEST_PATH_IMAGE010
Figure 25318DEST_PATH_IMAGE011
其中，N 为图像中像素点个数，每个像素点的像素值为
Figure 27909DEST_PATH_IMAGE012
，μ为定位框内图像的平均亮度。为了防止C1计算时分母为0，K1通常为远小于1的常数，其通常取0.01；L为灰度的动态范围，该L值通常由图像的数据类型决定。
上述相邻帧的定位框内图像X，Y的对比度相似度为：
Figure 754557DEST_PATH_IMAGE013
Figure 449980DEST_PATH_IMAGE014
Figure 35813DEST_PATH_IMAGE015
其中，
Figure 514199DEST_PATH_IMAGE016
为对比度，表示图像的明暗变化剧烈程度，
Figure 423249DEST_PATH_IMAGE017
为常数，通常取0.03。
上述相邻帧的定位框内图像X，Y的结构相似度为：
Figure 86312DEST_PATH_IMAGE018
记协方差
Figure 80813DEST_PATH_IMAGE019
，此时结构相似度为：
Figure 362890DEST_PATH_IMAGE020
令
Figure 126446DEST_PATH_IMAGE021
，此时结构相似度为：
Figure 239371DEST_PATH_IMAGE022
根据上述公式即可计算出视频流中相邻帧之间定位框的交并比以及结构相似度。
S204：根据交并比大于交并比阈值，且结构相似度大于结构相似度阈值的定位框生成轨迹信息。
有关交并比阈值以及结构相似度阈值的具体内容可以根据实际情况自行设定，在此不做具体限定。当相邻帧中两个定位框之间具有足够的交并比以及结构相似度，可以初步判定该两个定位框对应同一车辆，此时会根据对应同一车辆的定位框生成轨迹信息。具体的，该轨迹信息通常会包括所述车辆的标识信息、所述车辆的定位坐标信息及轨迹的起终点图像。
所谓标识信息即ID，在本步骤中当判断出相邻帧中有两定位框的交并比以及结构相似度均大于阈值，则向该两个符合条件的定位框赋予同一标识信息；而向没有符合上述交并比以及结构相似度条件的定位框赋予新的标识信息。上述轨迹的起终点图像即同一标识信息所对应的起点图像，以及该标识信息所对应的终点图像。而车辆的定位坐标信息通常为同一标识信息所对应的各个定位框中同一位置的坐标信息。
S205：根据轨迹信息生成轨迹集队列。
在本发明实施例中，轨迹集队列结构如下：
Figure 393272DEST_PATH_IMAGE023
Figure 541357DEST_PATH_IMAGE024
Figure 221737DEST_PATH_IMAGE025
其中，
Figure 429864DEST_PATH_IMAGE026
为轨迹集队列，
Figure 336640DEST_PATH_IMAGE027
为第i个轨迹信息，
Figure 835886DEST_PATH_IMAGE028
为车辆跟踪编号，即标识信息；
Figure 574035DEST_PATH_IMAGE029
为车辆底部中心点坐标，其中m为同一跟踪编号所对应的定位框数量；
Figure 890746DEST_PATH_IMAGE030
，
Figure 81556DEST_PATH_IMAGE031
分为该车辆轨迹起终点图像，用以判断是否跟踪正确。
S206：获取经过称台的车辆图像。
本步骤与上述发明实施例中S105基本一致，详细内容请参考上述发明实施例。
S207：计算目标车辆的特征值。
在本步骤中，需要识别S206中抓拍图像中目标车辆的特征值，有关特征值具体的计算方法可以参考现有技术，在此不再进行赘述。
S208：根据特征值查询目标车辆对应的标识信息。
在本步骤中，会根据S207计算得到的特征值查询轨迹集队列对应车辆的标识信息，因为在本申请中，凡是在称台处抓拍到的车辆应该均在视频流中存在，因此在本步骤中，通常可以根据上述特征值查询到目标车辆在视频流中对应的标识信息。
S209：根据标识信息查询对应目标车辆的轨迹信息。
在本发明实施例中，具体可以根据上述轨迹信息内车辆的定位坐标信息判断出目标车辆的轨迹在目标路段内是否发生中断。有关具体的判断方法可以根据实际情况自行设定，在此不再进行赘述。
S210：当目标车辆的轨迹在目标路段内中断时，提取轨迹的起终点图像的HOG特征和LBP特征，以及车辆图像的HOG特征和LBP特征。
在本步骤中，通常会提取抓拍的车辆图像中目标车辆的HOG特征及其LBP特征，并遍历轨迹集队列内的全部起终点图像，提取终点图像，即起点图像以及终点图像的HOG特征及其LBP特征。
HOG特征基于图像的局部单元格进行计算和处理，具有较好的几何和光学转化不变性，可用于描述车辆的轮廓梯度信息，使之与背景区分开来。对样本灰度图像，即所需图像进行 HOG 特征提取，首先需要对图像作Gamma校正以降低光照强度、局部阴影及噪声干扰。具体的：
Figure 633760DEST_PATH_IMAGE032
其中，
Figure 164099DEST_PATH_IMAGE033
为Gamma处理后所得图像每各个像素点的灰度值，x，y分别为像素点的横纵坐标，f(x，y)为原图像中各个像素点灰度值，Gamma为校正参数，通常取0.5。
计HOG特征中像素点在水平方向的梯度值为
Figure 714029DEST_PATH_IMAGE034
，像素点在垂直方向的梯度值为
Figure 205184DEST_PATH_IMAGE035
，梯度方向为
Figure 498762DEST_PATH_IMAGE036
，则：
Figure 883607DEST_PATH_IMAGE037
Figure 338859DEST_PATH_IMAGE038
Figure 566578DEST_PATH_IMAGE039
LBP特征用于描述图像的纹理信息，具有灰度和尺度不变性，其具体为：
Figure 601531DEST_PATH_IMAGE040
其中，
Figure 168778DEST_PATH_IMAGE041
是中心像素，
Figure 607981DEST_PATH_IMAGE042
，
Figure 57417DEST_PATH_IMAGE043
为相邻像素灰度值，s为符号函数。
S211：根据HOG特征和LBP特征计算各个轨迹信息与目标车辆的余弦相似度。
余弦相似度similarity可以为：
Figure 692797DEST_PATH_IMAGE044
；
其中，A、B分别为两个特征向量，而上述HOG特征和LBP特征均可以展开成向量。具体的，在本步骤中，可以将车辆图像的HOG特征作为A，将起终点图像的HOG特征作为B，计算其余弦相似度；同时也可以将车辆图像的LBP特征作为A，将起终点图像的LBP特征作为B，计算其余弦相似度。在本步骤中，具体可以根据上述HOG特征和LBP特征，分两次计算余弦相似度。
S212：当余弦相似度大于余弦相似度阈值时，合并对应同一目标车辆的轨迹信息。
有关余弦相似度阈值的具体大小可以根据实际情况自行设定，在此不做具体限定。当目标车辆与轨迹集队列内某一轨迹信息经过上述HOG特征和LBP特征两次余弦相似度计算后，均大于对应的余弦相似度阈值时，可以表示该目标车辆与轨迹集队列内某一轨迹信息相对应。而由于此时目标车辆的轨迹在目标路段内中断，此时目标车辆会同时对应多个轨迹信息，而此多个轨迹信息均对应同一目标车辆，此时需要将该对应同一目标车辆的轨迹信息整合，通常是合并其车辆的定位坐标信息，以形成一完整的轨迹信息。
本发明实施例所提供的一种基于治超站交调指标分析的车辆跟踪方法，先基于视频流生成各个车辆的轨迹信息，然后基于在称台处抓拍的车辆图像检索各个轨迹信息，将对应同一车辆的轨迹信息合并补全，可以最终生成完整的轨迹信息，从而有效提高车辆跟踪数据的鲁棒性。
下面对本发明实施例所提供的一种基于治超站交调指标分析的车辆跟踪装置进行介绍，下文描述的车辆跟踪装置与上文描述的车辆跟踪方法可相互对应参照。
请参考图3，图3为本发明实施例所提供的一种基于治超站交调指标分析的车辆跟踪装置的结构框图。
参见图3，在本发明实施例中，基于治超站交调指标分析的车辆跟踪装置可以包括：
获取模块100：用于通过摄像头获取目标路段的视频流；所述目标路段包括设置有称台的目标区域。
定位模块200：用于调用YOLO模型对所述视频流进行识别，生成对应所述视频流内各个车辆的定位框。
预处理模块300：用于对所述定位框进行预处理，根据符合预设条件的定位框生成轨迹信息。
轨迹集队列模块400：用于根据所述轨迹信息生成轨迹集队列。
抓拍模块500：用于获取经过所述称台的车辆图像；所述车辆图像包括目标车辆。
合并模块600：用于识别所述目标车辆在所述轨迹集队列的轨迹信息，当目标车辆的轨迹在所述目标路段内中断时，合并所述轨迹集队列对应同一所述目标车辆的轨迹信息。
作为优选的，在本发明实施例中，所述预处理模块300包括：
计算单元：用于计算所述视频流相邻帧中所述定位框之间的交并比，以及相邻帧中所述定位框内图像之间的结构相似度；
筛选单元：用于根据所述交并比大于交并比阈值，且所述结构相似度大于结构相似度阈值的定位框生成轨迹信息。
作为优选的，在本发明实施例中，所述轨迹信息包括所述车辆的标识信息、所述车辆的定位坐标信息及轨迹的起终点图像。
作为优选的，在本发明实施例中，所述合并模块600包括：
特征值单元：用于计算所述目标车辆的特征值。
第一查询单元：根据所述特征值查询所述目标车辆对应的标识信息。
第二查询单元：根据所述标识信息查询对应所述目标车辆的轨迹信息。
作为优选的，在本发明实施例中，所述合并模块600包括：
特征提取单元：用于提取所述轨迹的起终点图像的HOG特征和LBP特征，以及所述车辆图像的HOG特征和LBP特征。
余弦相似度单元：用于根据所述HOG特征和所述LBP特征计算各个所述轨迹信息与所述目标车辆的余弦相似度。
合并单元：用于当所述余弦相似度大于余弦相似度阈值时，合并对应同一所述目标车辆的轨迹信息。
作为优选的，在本发明实施例中，所述定位模块200具体用于：
调用YOLOv4模型对所述视频流进行识别，生成对应所述视频流内各个车辆的定位框。
本实施例的基于治超站交调指标分析的车辆跟踪装置用于实现前述的基于治超站交调指标分析的车辆跟踪方法，因此基于治超站交调指标分析的车辆跟踪装置中的具体实施方式可见前文中基于治超站交调指标分析的车辆跟踪方法的实施例部分，例如，获取模块100，定位模块200，预处理模块300，轨迹集队列模块400，抓拍模块500，合并模块600分别用于实现上述基于治超站交调指标分析的车辆跟踪方法中步骤S101，S102，S103，S104，S105以及S106，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
下面对本发明实施例提供的一种基于治超站交调指标分析的车辆跟踪设备进行介绍，下文描述的基于治超站交调指标分析的车辆跟踪设备与上文描述的基于治超站交调指标分析的车辆跟踪方法以及基于治超站交调指标分析的车辆跟踪装置可相互对应参照。
请参考图4，图4为本发明实施例所提供的一种基于治超站交调指标分析的车辆跟踪设备的结构框图。
参照图4，该基于治超站交调指标分析的车辆跟踪设备可以包括处理器11和存储器12。
所述存储器12用于存储计算机程序；所述处理器11用于执行所述计算机程序时实现上述发明实施例中所述的基于治超站交调指标分析的车辆跟踪方法。
本实施例的基于治超站交调指标分析的车辆跟踪设备中处理器11用于安装上述发明实施例中所述的基于治超站交调指标分析的车辆跟踪装置，同时处理器11与存储器12相结合可以实现上述任一发明实施例中所述的基于治超站交调指标分析的车辆跟踪方法。因此基于治超站交调指标分析的车辆跟踪设备中的具体实施方式可见前文中的基于治超站交调指标分析的车辆跟踪方法的实施例部分，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一发明实施例中所介绍的一种基于治超站交调指标分析的车辆跟踪方法。其余内容可以参照现有技术，在此不再进行展开描述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种基于治超站交调指标分析的车辆跟踪方法、一种基于治超站交调指标分析的车辆跟踪装置、一种基于治超站交调指标分析的车辆跟踪设备以及一种计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (7)

1.一种基于治超站交调指标分析的车辆跟踪方法，其特征在于，包括：
通过摄像头获取目标路段的视频流；所述目标路段包括设置有称台的目标区域；
调用YOLO模型对所述视频流进行识别，生成对应所述视频流内各个车辆的定位框；
对所述定位框进行预处理，根据符合预设条件的定位框生成轨迹信息；
根据所述轨迹信息生成轨迹集队列；
获取经过所述称台的车辆图像；所述车辆图像包括目标车辆；
识别所述目标车辆在所述轨迹集队列的轨迹信息，当目标车辆的轨迹在所述目标路段内中断时，合并所述轨迹集队列对应同一所述目标车辆的轨迹信息；
所述轨迹信息包括所述车辆的标识信息、所述车辆的定位坐标信息及轨迹的起终点图像；
所述识别所述目标车辆在所述轨迹集队列的轨迹信息包括：
计算所述目标车辆的特征值；
根据所述特征值查询所述目标车辆对应的标识信息；
根据所述标识信息查询对应所述目标车辆的轨迹信息；
所述合并所述轨迹集队列对应同一所述目标车辆的轨迹信息包括：
提取所述轨迹的起终点图像的HOG特征和LBP特征，以及所述车辆图像的HOG特征和LBP特征；
根据所述HOG特征和所述LBP特征计算各个所述轨迹信息与所述目标车辆的余弦相似度；
当所述余弦相似度大于余弦相似度阈值时，合并对应同一所述目标车辆的轨迹信息；
所述车辆图像为在所述称台处抓拍的图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述定位框进行预处理，以生成符合预设条件的目标定位框包括：
计算所述视频流相邻帧中所述定位框之间的交并比，以及相邻帧中所述定位框内图像之间的结构相似度；
根据所述交并比大于交并比阈值，且所述结构相似度大于结构相似度阈值的定位框生成轨迹信息。
3.根据权利要求1所述的方法，其特征在于，所述调用YOLO模型对所述视频流进行识别，生成对应所述视频流内各个车辆的定位框包括：
调用YOLOv4模型对所述视频流进行识别，生成对应所述视频流内各个车辆的定位框。
4.一种基于治超站交调指标分析的车辆跟踪装置，其特征在于，包括：
获取模块：用于通过摄像头获取目标路段的视频流；所述目标路段包括设置有称台的目标区域；
定位模块：用于调用YOLO模型对所述视频流进行识别，生成对应所述视频流内各个车辆的定位框；
预处理模块：用于对所述定位框进行预处理，根据符合预设条件的定位框生成轨迹信息；
轨迹集队列模块：用于根据所述轨迹信息生成轨迹集队列；
抓拍模块：用于获取经过所述称台的车辆图像；所述车辆图像包括目标车辆；
合并模块：用于识别所述目标车辆在所述轨迹集队列的轨迹信息，当目标车辆的轨迹在所述目标路段内中断时，合并所述轨迹集队列对应同一所述目标车辆的轨迹信息；
所述轨迹信息包括所述车辆的标识信息、所述车辆的定位坐标信息及轨迹的起终点图像；
所述合并模块包括：
特征值单元：用于计算所述目标车辆的特征值；
第一查询单元：用于根据所述特征值查询所述目标车辆对应的标识信息；
第二查询单元：用于根据所述标识信息查询对应所述目标车辆的轨迹信息；
所述合并模块包括：
特征提取单元：用于提取所述轨迹的起终点图像的HOG特征和LBP特征，以及所述车辆图像的HOG特征和LBP特征；
余弦相似度单元：用于根据所述HOG特征和所述LBP特征计算各个所述轨迹信息与所述目标车辆的余弦相似度；
合并单元：用于当所述余弦相似度大于余弦相似度阈值时，合并对应同一所述目标车辆的轨迹信息；
所述车辆图像为在所述称台处抓拍的图像。
5.根据权利要求4所述的装置，其特征在于，所述预处理模块包括：
计算单元：用于计算所述视频流相邻帧中所述定位框之间的交并比，以及相邻帧中所述定位框内图像之间的结构相似度；
筛选单元：用于根据所述交并比大于交并比阈值，且所述结构相似度大于结构相似度阈值的定位框生成轨迹信息。
6.一种基于治超站交调指标分析的车辆跟踪设备，其特征在于，所述设备包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序时实现如权利要求1至3任一项所述基于治超站交调指标分析的车辆跟踪方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述基于治超站交调指标分析的车辆跟踪方法的步骤。
CN202010766509.2A 2020-08-03 2020-08-03 一种基于治超站交调指标分析的车辆跟踪方法及装置 Active CN111626277B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010766509.2A CN111626277B (zh) 2020-08-03 2020-08-03 一种基于治超站交调指标分析的车辆跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010766509.2A CN111626277B (zh) 2020-08-03 2020-08-03 一种基于治超站交调指标分析的车辆跟踪方法及装置

Publications (2)

Publication Number Publication Date
CN111626277A CN111626277A (zh) 2020-09-04
CN111626277B true CN111626277B (zh) 2021-02-26

Family

ID=72272207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010766509.2A Active CN111626277B (zh) 2020-08-03 2020-08-03 一种基于治超站交调指标分析的车辆跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN111626277B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101221B (zh) * 2020-09-15 2022-06-21 哈尔滨理工大学 一种用于交通信号灯实时检测与识别的方法
CN112364734B (zh) * 2020-10-30 2023-02-21 福州大学 基于yolov4和CenterNet的异常着装检测方法
CN112509315B (zh) * 2020-11-04 2022-02-15 杭州远眺科技有限公司 一种基于视频分析的交通事故检测方法
CN112883058A (zh) * 2021-03-23 2021-06-01 北京车和家信息技术有限公司 用于车辆定位的标定方法、装置、设备、车辆和介质
CN113139721B (zh) * 2021-04-16 2023-12-19 深圳市艾赛克科技有限公司 骨料堆场管理系统及方法
CN114049771A (zh) * 2022-01-12 2022-02-15 华砺智行(武汉)科技有限公司 基于双模态的交通异常检测方法、系统和存储介质
CN114838796B (zh) * 2022-04-29 2023-06-09 合肥市正茂科技有限公司 视觉辅助车辆动态称重方法与称重系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408938B (zh) * 2016-09-13 2019-09-06 天津工业大学 夜间城市交通监控中各类车辆轨迹的完整提取
CN109285180B (zh) * 2018-08-31 2021-09-24 电子科技大学 一种3d的道路车辆跟踪方法
CN109919072B (zh) * 2019-02-28 2021-03-19 桂林电子科技大学 基于深度学习和轨迹跟踪的精细车型识别与流量统计方法
CN110472496B (zh) * 2019-07-08 2022-10-11 长安大学 一种基于目标检测与跟踪的交通视频智能分析方法
CN110634306A (zh) * 2019-08-30 2019-12-31 上海能塔智能科技有限公司 车辆位置的确定方法及装置、存储介质、计算设备
CN111275737B (zh) * 2020-01-14 2023-09-12 北京市商汤科技开发有限公司 一种目标跟踪方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111626277A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN111626277B (zh) 一种基于治超站交调指标分析的车辆跟踪方法及装置
Soilán et al. Traffic sign detection in MLS acquired point clouds for geometric and image-based semantic inventory
CN111179152B (zh) 一种道路标识识别方法及装置、介质、终端
CN112102409B (zh) 目标检测方法、装置、设备及存储介质
CN106951898B (zh) 一种车辆候选区域推荐方法及系统、电子设备
CN105551264A (zh) 一种基于车牌特征匹配的车速检测方法
CN112329747B (zh) 基于视频识别和深度学习的车辆参数检测方法及相关装置
CN109635733B (zh) 基于视觉显著性和队列修正的停车场和车辆目标检测方法
CN112699267B (zh) 车辆车型的识别方法
Naufal et al. Preprocessed mask RCNN for parking space detection in smart parking systems
CN111964763B (zh) 一种动态平板秤称重区域汽车断续行驶行为检测方法
JP2018190082A (ja) 車種判別装置、車種判別方法、および車種判別システム
CN106845458A (zh) 一种基于核超限学习机的快速交通标识检测方法
JP2018055597A (ja) 車種判別装置および車種判別方法
CN115424217A (zh) 基于ai视觉的车辆智能识别方法、装置和电子设备
Yao et al. Automated detection of 3D individual trees along urban road corridors by mobile laser scanning systems
CN113505638B (zh) 车流量的监测方法、监测装置及计算机可读存储介质
Thomas et al. Smart car parking system using convolutional neural network
CN110969135B (zh) 自然场景中的车标识别方法
Sala et al. Measuring traffic lane‐changing by converting video into space–time still images
Lashkov et al. Edge-computing-facilitated nighttime vehicle detection investigations with CLAHE-enhanced images
CN110866435A (zh) 一种自相似性梯度朝向直方图的远红外行人训练方法
CN114972945A (zh) 多机位信息融合的车辆识别方法、系统、设备及存储介质
CN114565906A (zh) 障碍物检测方法、装置、电子设备及存储介质
CN113269768A (zh) 一种交通拥堵分析方法、装置及分析设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant