CN117541620A - 结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法 - Google Patents

结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法 Download PDF

Info

Publication number
CN117541620A
CN117541620A CN202311449368.1A CN202311449368A CN117541620A CN 117541620 A CN117541620 A CN 117541620A CN 202311449368 A CN202311449368 A CN 202311449368A CN 117541620 A CN117541620 A CN 117541620A
Authority
CN
China
Prior art keywords
vehicle
camera
tracking
track
cross
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311449368.1A
Other languages
English (en)
Inventor
产思贤
方睿迪
郭斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Pixel Technology Co ltd
Original Assignee
Hangzhou Pixel Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Pixel Technology Co ltd filed Critical Hangzhou Pixel Technology Co ltd
Priority to CN202311449368.1A priority Critical patent/CN117541620A/zh
Publication of CN117541620A publication Critical patent/CN117541620A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7625—Hierarchical techniques, i.e. dividing or merging patterns to obtain a tree-like representation; Dendograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法，该方案对跟踪视频的视频帧进行多尺度滑动自注意力窗口的车辆目标检测，对车辆检测框进行车辆外观特征的提取，并基于车辆检测框和2048维的车辆外观特征生成单摄像头多车辆跟踪轨迹，利用级联多级多目标多级跟踪策略提升跟踪的稳定性，对路段场景建模提纯单摄像头多车辆轨迹以及对摄像机对间重叠路段进行时空关联约束，形成最终的跨摄像头车辆跟踪轨迹，该结合道路拓扑结构重叠视场轨迹提纯的高速公路跨摄像头多车辆跟踪方法可在高速公路上实现准确地跨摄像头的车辆跟踪，减少路段静态标识等假阳性轨迹多车辆在跨摄像机间跟踪的ID身份的转变而引起的跟踪失败情况的出现。

Description

结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法
技术领域
本发明涉及跨摄像头多车辆跟踪领域，特别涉及一种使用YOLOV5融合滑动窗口自注意力机制、鲁棒性ReID特征、多级多目标轨迹关联、道路拓扑结构场景建模、重叠视场轨迹关联和重排序的高速公路跨摄像头多车辆跟踪方法及系统。
背景技术
跨摄像头多车辆跟踪一直是计算机视觉任务的重要研究方向，在现实生活中也广泛受到人们的关注研究，在包括城市交通流量统计，交通道路监控，无人驾驶等领域有着广泛的应用。现有的大多数跨摄像多车辆的跟踪技术主要应用于城市街道，城市规模十字路口进行多车辆目标的跨摄像头跟踪，对于高速公路的跨摄像多车辆跟踪的研究较少。
与传统的城市街区的跨摄像多车辆的跟踪相比，在高速公路实现跨摄像多车辆跟踪更加具有挑战性，存在的挑战主要有以下几点：
1)高速公路的车辆相较于城市街区的车辆速度更快，导致摄像机难以清晰地捕捉或者摄像机捕捉的车辆图片较为模糊，这给目标检测带来更多的困难；
2)高速公路的道路相较于城市街区的分布更长且摄像机距离地面的高度更高，导致部分相同品牌以及颜色的相似车辆更加难以区分，同时高速公路上的大型车辆相较于城市街区更多，容易出现小型车辆被遮挡的现象，导致车辆的漏检以及跟踪轨迹的缺失；
3)高速公路隧道两侧的帕灯光线照射，导致摄像机视场产生光斑，容易对车辆ReID特征表示造成干扰，对于正确有效提取有判别力的车辆特征产生影响；4)高速公路的跟踪摄像机与车辆目标的距离相对较远同时存在摄像机抖动的现象，容易出现部分车辆驶离摄像机的视域时无法准确跟踪车辆。
5)高速公路狭长的隧道内，摄像机视场内近大远小，车辆高速行驶，导致车辆在每个摄像机视场内近端瞬时移动，远端过渡时间较长，且远端视场分辨率较低，容易出现不利于有效对车辆目标检测跟踪，容易产生少许假阳性判断。
综上所述，目前用于城市街道的跨摄像多车辆跟踪技术难以直接应用于高速公路的跨摄像多车辆跟踪场景。
发明内容
本方案提供了一种结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法，该方法使用YOLOV5融合Swin-Transformer机制对车辆目标检测，使用多个不同骨干网络的ReID模型提取有判别力的车辆外观特征，利用级联多级多目标匹配策略跟踪得到每个摄像头下的多个车辆的单摄像头车辆跟踪轨迹，结合道路拓扑结构对单摄像头车辆跟踪轨迹进行过滤提纯后，基于重叠视场轨迹进行跨匹配、k互近邻重排序和聚类后得到多个摄像头下的跨摄像头车辆跟踪轨迹。
为实现以上发明目的，本方案提供了一种结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法，包括以下步骤：获取高速公路上多个摄像头的跟踪视频；将每一摄像头的跟踪视频的视频帧输入到预训练的车辆目标检测模型中得到车辆检测框；将车辆检测框对应的车辆检测框图像输入到预训练的ReID模型中输出车辆外观特征，其中所述ReID模型包括三个不同骨干的ReID网络，每一ReID网络提取车辆检测框图像得到车辆外观表示，融合不同ReID网络的车辆外观表示得到车辆外观特征；将同一摄像下的多个车辆检测框和对应的车辆外观特征输入到多目标跟踪模块跟踪得到每一摄像头的多个车辆的单摄像头车辆跟踪轨迹，其中多目标跟踪模块跟踪模块采用级联多级多目标匹配策略：基于车辆外观特征匹配高置信度的车辆检测框，若匹配的话同Age等于1的跟踪器匹配关联，其中Age＝1表示该跟踪器对应于当前车辆目标开启新的车辆轨迹，若不匹配则将未匹配的高置信度的车辆检测框同未匹配的车辆轨迹进行匹配并更新跟踪器，若不匹配将依旧未匹配的车辆检测框同Age大于1的跟踪器进行匹配并更新跟踪器，其中Age大于1表示该跟踪器对应于跟踪车辆目标已经存在车辆轨迹，若不匹配则将低置信度的车辆检测框以及未匹配的车辆检测框同未匹配的车辆轨迹通过IOU进行匹配；基于当前多个摄像头所处的道路的道路拓扑结构进行场景建模并定义车辆进出流区域，根据车辆进出流区域过滤单摄像头车辆跟踪轨迹得到跨摄像头候选匹配轨迹；基于摄像头的重叠视场区域实施时空约束，对约束后的多个摄像头的跨摄像头候选匹配轨迹进行跨匹配、k互近邻重排序得到更新的相似度距离矩阵，基于相似度距离矩阵聚类得到跨摄像头车辆跟踪轨迹。
第二方面，本方案提供了实施相同技术内容的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪系统。
第三方面，本方案提供了实施相同技术内容的电子装置。
第四方面，本方案提供了实施相同技术方案的可读存储介质。
相较于现有技术，本方案具有以下特点和有益效果：
1.本方案采用YOLOV5融合Swin-Transformer滑动窗口自注意力机制的车辆目标检测模型，且将不同窗口大小的多尺度特征进行自适应融合，使得车辆目标检测模型可更加关注于不同尺度特征之间的关系，并通过自适应融合的方式获取更加精细化的车辆检测结果，适用于在高速公路的低分辨率视频图像中准确检测潜在车辆目标；
2.本方案采用多个骨干的ReID模型分别提取各自分析处理的车辆外观特征，并融合各自提取的车辆外观特征形成一个综合鲁棒的车辆外观特征表示，ReID模型在训练过程中联合使用交叉熵损失和三元组损失函数，增大类间距离的同时减小类内距离，此外，为了弥补训练集和测试集场景之间的域偏差，采用无监督自适应训练方法；
3.本方案采用级联多级多目标关联策略，通过分组高低分的置信度检测框，充分利用高分值的置信度的检测框的外观特征充分挖掘潜在目标，且综合考虑车辆目标进出视场、漏检和运动模糊的特点，有效跟踪隧道内大型货车的轨迹，并针对未匹配的检测框与未匹配的轨迹采取三级关联，最后将未匹配的轨迹与低分值的置信度的检测框通过IoU匹配，提升跟踪的稳定性；
4.本方案采用场景建模，对每个摄像头视场下的路段预定义分区，根据车辆进出流区域对单摄像头下的多车辆原始轨迹利用路侧交通静态标识进行过滤提纯，以生成精炼的跨摄像头候选匹配轨迹，通过精炼的跨摄像头候选匹配轨迹来缓解特殊场景和检测器不完美带来的少许假阳性检测；
5.本方案采用遵循整体车辆进出流车辆先进先出的原则，针对摄像头间重叠视场路段进行时空约束以大幅度降低搜索空间并加速跨匹配，且采用k互近邻重排序更新相似距离矩阵和相机间子聚类的方式加速匹配以得到精确的跨摄像头车辆跟踪轨迹，通过k互近邻重排序的方式允许系统在跨匹配阶段重新排列可能的匹配结果，将最有可能匹配的目标排在前面，并帮助跟踪系统更好地维护目标的身份一致性，通过正确的匹配，可以降低跟踪中的目标ID混淆，从而提高多目标多摄像头跟踪系统的稳定性。
附图说明
图1是根据本方案的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法的基线流程示意图；
图2是根据本方案的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法的逻辑流程示意图；
图3是多目标多级关联的流程示意图；
图4是道路拓扑结构场景建模的示意图；
图5是基于高速进出流的跨摄像头候选轨迹过滤的示意图；
图6是跨摄像头候选匹配轨迹的关联示意图；
图7是结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法在真实高速公路上的跨摄像多车辆跟踪完整链路轨迹示意图。
图8是根据本方案的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪系统的示意图；
图9是本申请实施例的电子装置的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
本方案提出的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法，将高速公路的摄像头拍摄的视频帧输入融合Swin-Transformer机制的YOLOV5车辆目标检测模型中输出车辆检测框，其中YOLOV5车辆目标检测模型通过分析生成的多尺度特征图，并将多个多尺度特征图通过滑动窗口自注意力进行特征提取后自适应融合得到融合特征，有效提高车辆运动模糊和昏暗光线的隧道场景的车辆检测准确率；再将车辆检测框批量传入三个不同骨干的ReID模型提取分别对应的车辆外观特征以捕捉车辆的多视角外观表示，融合三个多视角外观表示形成一个综合的2048维ReID外观特征作为综合鲁棒的车辆外观特征表示；基于车辆检测模型得到的车辆检测框以及综合鲁棒车辆外观特征表示送入单摄像机多车辆跟踪模块生成单摄像头下的多车辆原始轨迹，采用级联多级多目标跟踪策略对置信度不同分值的车辆检测框通过不同匹配策略并采取多级关联，充分利用高分值的置信度的车辆检测框的优势并挖掘潜在目标信息优化单摄像头多车辆跟踪效果；对于高速隧道特殊场景的跨摄像头跟踪任务，可以利用场景建模道路拓扑结构并模拟车辆进出流来缓解检测器的不足和场景的劣势，对于路侧的帕灯和交通静态标识物产生的误检，对单摄像头多车辆原始轨迹进行过滤提纯，获得精炼的跨摄像头候选匹配轨迹，最后，采取相邻摄像头间的重叠视场下施加时空约束来显著降低搜索空间，并利用K互邻重排序更新优化相似度距离矩阵，将最有可能匹配的目标排在前面，从而提高匹配准确性，摄像头间子聚类加速匹配并挖掘相邻摄像头间的潜在匹配轨迹，最终获得准确的跨摄像机多车辆跟踪轨迹的结果。
实施例一结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法；
图1提供了本方案的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法的基线流程图，图2提供了本方案的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法的逻辑流程示意图，结合图1和图2可知，本方案提供的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法包括以下步骤：
获取高速公路上多个摄像头的跟踪视频；
将每一摄像头的跟踪视频的视频帧输入到预训练的车辆目标检测模型中得到车辆检测框；
将车辆检测框对应的车辆检测框图像输入到预训练的ReID模型中输出车辆外观特征，其中所述ReID模型包括三个不同骨干的ReID网络，每一ReID网络提取车辆检测框图像得到车辆外观表示，融合不同ReID网络的车辆外观表示得到车辆外观特征；
将同一摄像下的多个车辆检测框和对应的车辆外观特征输入到多目标跟踪模块跟踪得到每一摄像头的多个车辆的单摄像头车辆跟踪轨迹，其中多目标跟踪模块跟踪模块采用级联多级多目标匹配策略：基于车辆外观特征匹配高置信度的车辆检测框并初始化跟踪器，若成功匹配则卡尔曼滤波更新跟踪器，该级未匹配的车辆检测框和车辆轨迹根据车辆外观特征进入二级关联，成功匹配则更新跟踪器，该级未匹配的车辆检测框与Age大于1且Age小于设定阈值的跟踪器进入第三级匹配，若成功匹配则跟踪器更新，再对三级关联中未匹配的车辆轨迹将与低置信度的检测框根据IoU送入四级关联；
基于当前多个摄像头所处的道路的道路拓扑结构进行场景建模并定义车辆进出流区域(如图4)，根据车辆进出流区域过滤单摄像头车辆跟踪轨迹(图5中的红白区域中的交通静态标识物及误检情况)得到跨摄像头候选匹配轨迹；
基于摄像头的重叠视场区域对跨摄像头候选匹配轨迹实施时空约束并计算相似度距离矩阵，对约束后的多个摄像头的跨摄像头候选匹配轨迹进行跨匹配、k互近邻重排序并更新生成基于高速进出流时空掩码的相似度距离矩阵，根据基于高速进出流时空掩码的相似度距离矩阵对相邻摄像头的进出流区域内的跨摄像头候选匹配轨迹进行层次聚类，最后在连通区域局部聚类的基础上对摄像头组中的所有跨摄像头候选匹配轨迹进行聚类得到跨摄像头车辆跟踪轨迹。
关于车辆检测框的获取：
本方案选用的车辆目标检测模型为融合了Swin Transformer机制的YOLOV5模型，将每一个摄像头的跟踪视频的视频帧输入到YOLOV5模型中被分块以及特征提取后生成不同尺度和层次的多尺度特征图，多尺度特征图被送入Swin Transformer机制中经过自适应融合得到融合特征，融合特征输入到分类网络和边框预测网络中输出车辆检测框。
具体的，每一摄像头的跟踪视频的视频帧按照预定尺寸大小统一裁剪后输入到预训练的车辆目标检测模型中，其中所述车辆目标检测模型以标注有车辆检测框的视频帧图像进行训练得到。输入到车辆目标检测模型中的视频帧被分块处理生成多个图像分块，每个图像分块经过特征提取后得到不同尺度和层次的多尺度特征图，YOLOV5模型中的Swin-Transformer机制以其自注意力机制和多层次特征表示的能力捕捉不同尺度和层次的车辆特征，此时多尺度特征图在滑动窗口的自注意力机制中经过自适应融合得到融合特征，融合特征传入分类网络和边框预测网络中得到车辆检测框。
具体的，每一多尺度特征图通过W-MSA引入的窗口机制，将自注意力应用于特定的窗口区域，不同尺度的特征通过窗口自注意力机制进行提取后会被融合在一起得到融合特征。
需要说明的是：车辆目标检测模型输出的车辆检测框包括车辆类别(car,truck,bus)以及置信度，根据车辆检测框可拆解得到对应的车辆检测框图像。
关于车辆外观特征的获取：
本方案的ReID模型包括三个不同骨干的ReID网络，车辆检测框图像输入到不同骨干的ReID网络中经过特征提取得到各自的车辆外观表示，在本方案中的车辆外观表示为表示不同视角的2048维ReID外观特征向量，将不同车辆外观表示进行融合后得到最终鲁棒的车辆外观特征，在本方案中的车辆外观特征为2048维车辆外观特征。
考虑到高速公路上跨摄像头的数量较多容易导致视频帧的数量过大，本方案采用车辆检测框图像批量传入不同骨干的ReID网络中提取各自理解的车辆外观表示，在分别提取车辆外观表示的过程中允许不同的ReID网络分别理解车辆的外观特征以捕捉车辆的多视角外观表示，从而丰富了特征的多样性，随后本方案将三个车辆外观表示进行融合形成综合的2048维ReID外观特征向量的车辆外观特征，车辆外观特征具有更强的鲁棒性，能够更全面地描述车辆的外观特征并融合不同的关注点的ReID特征进行整体表示。
此外，为了更好地识别车辆外观特征和区分具有相似外表的相似车辆，缩小类内距离使得具有相似车辆外观特征的车辆在特征空间上保持在相近的距离，扩大类间距离使得明显不同外表的车辆保持在较远的距离，本方案的ReID模型在训练过程联合使用交叉熵损失和三元组损失函数：
Lreid＝Lcls+αLtrp
其中Lreid是联合损失函数，Lcls是交叉熵损失函数，Ltrp是三元组损失函数，α是平衡权重(在模型训练时进行学习更新)；
其中，N为每批训练样本数量，C为车辆身份数量，y是输入图像的标签，是预测概率，fa是锚点样本的特征表示，fp是正样本的特征表示，fn是负样本的特征表示。
且为了进一步地弥补训练集和测试集中针对场景之间的域偏差，ReID模型的训练过程采用无监督域自适应(UDA)方法：
其中，fI是车辆检测框图像I的单帧特征，gI是第C个摄像头中属于图像I的第T个车辆轨迹的全局特征，α是gI和之间的平衡权重，/>是第c位摄像头捕获的所有图像的平均特征；
其中，是车辆检测框图像I的最终特征，fI是车辆检测框图像I的单帧特征，tI是车辆检测框图像I的轨迹特征(提供了每幅图像的tracklet ID)，β是单帧特征fI和轨迹特征tI之间的平衡权重。
关于单摄像头车辆跟踪轨迹的获取：
基于前两个阶段获得的车辆检测框和车辆外观特征，本方案将车辆检测框和车辆2048维的车辆外观特征输入到多目标跟踪模块中得到单摄像头的多车辆的单摄像头车辆跟踪轨迹，在多目标跟踪模型中为了充分发挥高低置信度分值的车辆检测框的优势关联和充分挖掘潜在目标信息，本方案采取级联多级多目标匹配策略充分挖掘每个车辆目标框并给予关联匹配，最终生成单摄像头车辆跟踪轨迹。
具体的，根据检测阈值将车辆检测框区分为高置信度组和低置信度组，其中高置信度组中的车辆目标框的置信度高于高置信度阈值，低置信度组中的车辆目标框低于低置信度阈值，对高置信度组中的车辆采用车辆外观特征进行相似度匹配，对低置信度组中的车辆通过IOU进行匹配。
如图3所示，本方案的级联多级多目标匹配策略为四级匹配策略：
第一级匹配：基于车辆外观特征匹配高置信度的若干车辆检测框并初始化跟踪器，若车辆检测框之间彼此匹配的话则卡尔曼更新跟踪器；
第二级匹配：若车辆检测框未匹配，则将未匹配的高置信度的车辆检测框同未匹配的车辆轨迹根据车辆外观特征进行二次关联，若匹配的话则更新跟踪器；
第三级匹配：若依旧未匹配的话，此时未匹配的车辆检测框包括刚进入视场的车辆，则将未匹配的高置信度的车辆检测框同Age大于1且Age小于设定阈值的跟踪器进入第三级匹配，若匹配则更新跟踪器，其中Age大于1表示该跟踪器对应于跟踪车辆目标已经存在车辆轨迹，Age小于设定阈值(本方案中的设定阈值是一个较小值)是相较于跟踪中的长期遮挡现象，由于长期跟踪中的遮挡现场导致不确定性增大，当竞争检测框时将优先级给予Age较小的跟踪器；
第四级匹配：若依旧不匹配的话，则将低置信度的车辆检测框以及前序未匹配的车辆轨迹(例如：漏检、遮挡或离开视场)通过IOU进行匹配，以提高跟踪的稳定性。
本方案之所以多级地对车辆进行单摄像头车辆跟踪轨迹的生成，是为了缓解隧道内由于摄像头的视场近大远小导致的大目标跟踪车辆驶离路段造成的跟踪丢失和由遮挡造成部分车辆低分值的目标检测框而引起的单摄像头车辆跟踪轨迹的缺失。
在本方案的实施例中，设置检测高置信度阈值τhigh0.5，低置信度阈值τlow0.1，低置信度的车辆检测框与高置信度的车辆检测框关联的IoU置信度分别为0.5和0.85，判断相似的最大余弦距离0.5。
关于跨摄像头候选匹配轨迹的获取：
在得到了单摄像头车辆跟踪轨迹后，由于高速公路的路侧存在交通静态标识物和检测器不完美带来的少许假阳性检测存在，因此需要对单摄像头原始轨迹进行过滤提纯。本方案则是针对于各个摄像头所处的道路场景路段建模，根据车辆进出流情况对单摄像头原始轨迹进行过滤，将单摄像头原始轨迹根据进出流限制于路段特定区域，最后，得到真正用于后续跨摄像头匹配的跨摄像头候选匹配轨迹。
如图4所示，本方案根据多个摄像头所处的道路的道路拓扑结构进行场景建模得到道路模型，并根据道路路段预定义道路模型上驶入区域和驶出区域得到进出流区域。图4中预定义道路路段的进出流区域，设置驶入区域为蓝色(图4中表示为梯形的大面积区域)，车驶出区域为绿色(图4中表示为类长方形的小面积区域)，当前道路为单向行驶。
如图5所示，图5是基于高速进出流的跨摄像头候选轨迹过滤的示意图，在图5中过滤掉未位于进出流区域的单摄像头车辆跟踪轨迹，在得到预定义进出流区域的道路模型后，将道路模型同高速候选轨迹过滤器结合，将单摄像头下的单摄像头车辆跟踪轨迹限制于道路模型的进出流区域以得到跨摄像头候选匹配轨迹。之所以要过滤提纯跨摄像头候选匹配轨迹，是为了弥补车辆检测器带来的误检，例如：交通静态标识、帕灯。
关于跨摄像头车辆跟踪轨迹的获取：
将多个摄像头下精炼的跨摄像头候选匹配轨迹基于摄像头的重叠视场区域进行时空约束后计算相似度距离矩阵，对约束后的多摄像头的跨摄像头候选匹配轨迹进行跨匹配、进行k互近邻重排序细粒度更新生成基于高速进出流时空掩码的相似度距离矩阵后，根据基于高速进出流时空掩码的相似度距离矩阵对相邻摄像头的进出流区域内的跨摄像头候选匹配轨迹进行层次聚类，最后在连通区域局部聚类的基础上对摄像头组中的所有跨摄像头候选匹配轨迹进行聚类得到跨摄像头车辆跟踪轨迹。
具体的，本方案的聚类得到得到多个摄像头下的跨摄像头车辆跟踪轨迹指的是：利用层级聚类法对时空约束后的单摄像头下的跨摄像头车辆跟踪轨迹进行聚类，根据基于高速进出流时空掩码的相似度距离矩阵对多个摄像头之间的跨摄像头车辆跟踪轨迹进行聚类以得到跨摄像头车辆跟踪轨迹。如图1所示，本方案定义相机组轨迹层次聚类为利用层级聚类法对时空约束后的单摄像头下的跨摄像头车辆跟踪轨迹进行聚类，相邻相机间轨迹子聚类为根据相似度距离矩阵对多个摄像头之间的跨摄像头车辆跟踪轨迹进行聚类以得到跨摄像头车辆跟踪轨迹。
需要说明的是，相邻摄像头之间存在重叠视场区域，在该重叠视场区域内的跨摄像头候选匹配轨迹可同时被两个摄像头捕捉，故本方案在得到精炼的跨摄像头候选匹配轨迹后，基于相邻摄像头之间的重叠视场区域进行时空冲突约来约束匹配。
具体的，若是相邻摄像头的重叠视场区域的跨摄像头候选匹配轨迹对应的车辆满足：沿着单向行驶方向的后一摄像头中出现该车辆的时间晚于前一摄像头中出现的车辆的时间，则满足时空约束条件，时空约束后的跨摄像头候选匹配轨迹进行后续的跨匹配和k互近邻重排序。具体的，前一摄像头中的车辆出现在驶出区域的时间早于该车辆驶入下一摄像头的驶入区域的时间，使得车辆行驶时间满足处于合理区间。
在对跨摄像头候选匹配轨迹进行跨匹配的过程中，根据相邻摄像头之间的车辆进出流计算跨摄像头候选匹配轨迹的相似度距离矩阵，相似度距离矩阵公式如下：
其中I表示摄像头N中跨摄像头候选匹配轨迹的数量，J表示摄像机N+1中跨摄像头候选匹配轨迹的总数，N是摄像头的ID。
在利用k互近邻重排序来对相似度距离矩阵进行细粒度更新优化时，基于车辆外观特征计算同一摄像头下的不同跨摄像头候选匹配轨迹之间的相似度，将同目标车辆的相似度高的跨摄像头候选匹配轨迹重排序至靠前的位置，并根据不同跨摄像头候选匹配轨迹之间的相似度更新相邻摄像头之间的相似度距离矩阵。本方案根据相似度的大小对车辆匹配对pairs进行重排序，使与目标车辆相似度相近的车辆排在靠前的位置，使不同的车辆保持较远的距离且可以降低跟踪中的目标ID混淆，减少假阳性车辆噪声的介入。
随后利用层级聚类法根据基于高速进出流时空掩码的相似度距离矩阵对时空约束后的单摄像头下的跨摄像头车辆跟踪轨迹进行聚类，基于更新后的基于高速进出流时空掩码的相似度距离矩阵对不同摄像头间的跨摄像头候选匹配轨迹进行聚类得到多个摄像头下的跨摄像头车辆跟踪轨迹。具体的，本方案采取不同摄像头之间的聚类以及单摄像头下的层次聚类来匹配跨摄像头候选匹配轨迹，根据相邻摄像头间的车辆进出流区域加上满足一定时空约束的限制条件，大幅度降低ReID搜索空间并加速匹配过程，最后，根据相似度距离矩阵对不同摄像头间的跨摄像头候选匹配轨迹进行聚类，对单摄像头下的跨摄像头候选匹配轨迹进行层次聚类得到跨摄像头车辆跟踪轨迹。
图7是本方案的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法在真实高速公路上的跨摄像多车辆跟踪轨迹示意图，可以看到本方案在高速公路上可以准确地获取跨摄像头的多个车辆的跨摄像头车辆跟踪轨迹。
实施例二结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪系统，
如图8所示，本方案提供了一种结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪系统包括：
视频获取模块，用于获取高速公路上多个摄像头的跟踪视频；
车辆检测模块，用于将每一摄像头的跟踪视频的视频帧输入到预训练的车辆目标检测模型中得到车辆检测框；
车辆外观特征提取模块，用于将车辆检测框对应的车辆检测框图像输入到预训练的ReID模型中输出车辆外观特征，其中所述ReID模型包括三个不同骨干的ReID网络，每一ReID网络提取车辆检测框图像得到车辆外观表示，融合不同ReID网络的车辆外观表示得到车辆外观特征；
单摄像头车辆跟踪轨迹获取模块，用于将同一摄像下的多个车辆检测框和对应的车辆外观特征输入到多目标跟踪模块跟踪得到每一摄像头的多个车辆的单摄像头车辆跟踪轨迹，其中多目标跟踪模块跟踪模块采用级联多级多目标匹配策略：基于车辆外观特征匹配高置信度的车辆检测框并初始化跟踪器，若成功匹配则卡尔曼滤波更新跟踪器，该级未匹配的车辆检测框和车辆轨迹根据车辆外观特征进入二级关联，成功匹配则更新跟踪器，该级未匹配的车辆检测框与Age大于1且Age小于设定阈值的跟踪器进入第三级匹配，若成功匹配则跟踪器更新，再对三级关联中未匹配的车辆轨迹将与低置信度的检测框根据IoU送入四级关联；
跨摄像头候选匹配轨迹获取模块，用于基于当前多个摄像头所处的道路的道路拓扑结构进行场景建模并定义车辆进出流区域，根据车辆进出流区域过滤单摄像头车辆跟踪轨迹得到跨摄像头候选匹配轨迹；
跨摄像头车辆跟踪轨迹获取模块，用于基于摄像头的重叠视场区域对跨摄像头候选匹配轨迹实施时空约束并计算相似度距离矩阵，对约束后的多个摄像头的跨摄像头候选匹配轨迹进行跨匹配、k互近邻重排序并更新生成基于高速进出流时空掩码的相似度距离矩阵，根据基于高速进出流时空掩码的相似度距离矩阵对相邻摄像头的进出流区域内的跨摄像头候选匹配轨迹进行层次聚类，最后在连通区域局部聚类的基础上对摄像头组中的所有跨摄像头候选匹配轨迹进行聚类得到跨摄像头车辆跟踪轨迹。
关于实施例二中同于实施例一相同的技术内容在此不进行赘述。
实施例三
本实施例还提供了一种电子装置，参考图9，包括存储器304和处理器302，该存储器304中存储有计算机程序，该处理器302被设置为运行计算机程序以执行上述任一项结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法或系统的实施例中的步骤。
具体地，上述处理器302可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecificIntegratedCircuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器304可以包括用于数据或指令的大容量存储器304。举例来说而非限制，存储器304可包括硬盘驱动器(HardDiskDrive，简称为HDD)、软盘驱动器、固态驱动器(SolidStateDrive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。存储器304可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器302所执行的可能的计算机程序指令。
处理器302通过读取并执行存储器304中存储的计算机程序指令，以实现上述实施例中的任意一种结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法。
可选地，上述电子装置还可以包括传输设备306以及输入输出设备308，其中，该传输设备306和上述处理器302连接，该输入输出设备308和上述处理器302连接。
传输设备306可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备306可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
输入输出设备308用于输入或输出信息。在本实施例中，输入的信息可以是跟踪视频等，输出的信息可以是跨摄像头车辆跟踪轨迹等。
可选地，在本实施例中，上述处理器302可以被设置为通过计算机程序执行以下步骤：
获取高速公路上多个摄像头的跟踪视频；
将每一摄像头的跟踪视频的视频帧输入到预训练的车辆目标检测模型中得到车辆检测框；
将车辆检测框对应的车辆检测框图像输入到预训练的ReID模型中输出车辆外观特征，其中所述ReID模型包括三个不同骨干的ReID网络，每一ReID网络提取车辆检测框图像得到车辆外观表示，融合不同ReID网络的车辆外观表示得到车辆外观特征；
将同一摄像下的多个车辆检测框和对应的车辆外观特征输入到多目标跟踪模块跟踪得到每一摄像头的多个车辆的单摄像头车辆跟踪轨迹，其中多目标跟踪模块跟踪模块采用级联多级多目标匹配策略：基于车辆外观特征匹配高置信度的车辆检测框并初始化跟踪器，若成功匹配则卡尔曼滤波更新跟踪器，该级未匹配的车辆检测框和车辆轨迹根据车辆外观特征进入二级关联，成功匹配则更新跟踪器，该级未匹配的车辆检测框与Age大于1且Age小于设定阈值的跟踪器进入第三级匹配，若成功匹配则跟踪器更新，再对三级关联中未匹配的车辆轨迹将与低置信度的检测框根据IoU送入四级关联；
基于当前多个摄像头所处的道路的道路拓扑结构进行场景建模并定义车辆进出流区域，根据车辆进出流区域过滤单摄像头车辆跟踪轨迹得到跨摄像头候选匹配轨迹；
基于摄像头的重叠视场区域对跨摄像头候选匹配轨迹实施时空约束并计算相似度距离矩阵，对约束后的多个摄像头的跨摄像头候选匹配轨迹进行跨匹配、k互近邻重排序并更新生成基于高速进出流时空掩码的相似度距离矩阵，根据基于高速进出流时空掩码的相似度距离矩阵对相邻摄像头的进出流区域内的跨摄像头候选匹配轨迹进行层次聚类，最后在连通区域局部聚类的基础上对摄像头组中的所有跨摄像头候选匹配轨迹进行聚类得到跨摄像头车辆跟踪轨迹。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。物理介质是非瞬态介质。
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法，其特征在于，包括：
获取高速公路上多个摄像头的跟踪视频；
将每一摄像头的跟踪视频的视频帧输入到预训练的车辆目标检测模型中得到车辆检测框；
将车辆检测框对应的车辆检测框图像输入到预训练的ReID模型中输出车辆外观特征，其中所述ReID模型包括三个不同骨干的ReID网络，每一ReID网络提取车辆检测框图像得到车辆外观表示，融合不同ReID网络的车辆外观表示得到车辆外观特征；
将同一摄像下的多个车辆检测框和对应的车辆外观特征输入到多目标跟踪模块跟踪得到每一摄像头的多个车辆的单摄像头车辆跟踪轨迹，其中多目标跟踪模块跟踪模块采用级联多级多目标匹配策略：基于车辆外观特征匹配高置信度的车辆检测框并初始化跟踪器，若成功匹配则卡尔曼滤波更新跟踪器，该级未匹配的车辆检测框和车辆轨迹根据车辆外观特征进入二级关联，成功匹配则更新跟踪器，该级未匹配的车辆检测框与Age大于1且Age小于设定阈值的跟踪器进入第三级匹配，若成功匹配则跟踪器更新，再对三级关联中未匹配的车辆轨迹将与低置信度的检测框根据IoU送入四级关联；
基于当前多个摄像头所处的道路的道路拓扑结构进行场景建模并定义车辆进出流区域，根据车辆进出流区域过滤单摄像头车辆跟踪轨迹得到跨摄像头候选匹配轨迹；
基于摄像头的重叠视场区域对跨摄像头候选匹配轨迹实施时空约束并计算相似度距离矩阵，对约束后的多个摄像头的跨摄像头候选匹配轨迹进行跨匹配、k互近邻重排序并更新生成基于高速进出流时空掩码的相似度距离矩阵，根据基于高速进出流时空掩码的相似度距离矩阵对相邻摄像头的进出流区域内的跨摄像头候选匹配轨迹进行层次聚类，最后在连通区域局部聚类的基础上对摄像头组中的所有跨摄像头候选匹配轨迹进行聚类得到跨摄像头车辆跟踪轨迹。
2.根据权利要求1所述的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法，其特征在于，车辆目标检测模型为融合了Swin Transformer机制的YOLOV5模型，将每一个摄像头的跟踪视频的视频帧输入到YOLOV5模型中被分块以及特征提取后生成不同尺度和层次的多尺度特征图，多尺度特征图被送入Swin Transformer机制中经过自适应融合得到融合特征，融合特征输入到分类网络和边框预测网络中输出车辆检测框。
3.根据权利要求1所述的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法，其特征在于，ReID模型的训练过程采用无监督域自适应方法：
其中，fI是车辆检测框图像I的单帧特征，gI是第C个摄像头中属于图像I的第T个车辆轨迹的全局特征，α是gI和之间的平衡权重，/>是第c位摄像头捕获的所有图像的平均特征；
其中，是车辆检测框图像I的最终特征，fI是车辆检测框图像I的单帧特征，tI是车辆检测框图像I的轨迹特征，β是单帧特征fI和轨迹特征tI之间的平衡权重。
4.根据权利要求1所述的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法，其特征在于，根据多个摄像头所处的道路的道路拓扑结构进行场景建模得到道路模型，并根据道路路段预定义道路模型上驶入区域和驶出区域得到进出流区域，将单摄像头下的单摄像头车辆跟踪轨迹限制于道路模型的进出流区域以得到跨摄像头候选匹配轨迹。
5.根据权利要求1所述的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法，其特征在于，利用层级聚类法根据基于高速进出流时空掩码的相似度距离矩阵对时空约束后的单摄像头下的跨摄像头车辆跟踪轨迹进行聚类，基于更新后的基于高速进出流时空掩码的相似度距离矩阵对不同摄像头间的跨摄像头候选匹配轨迹进行聚类得到多个摄像头下的跨摄像头车辆跟踪轨迹。
6.根据权利要求1所述的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法，其特征在于，若是相邻摄像头的重叠视场区域的跨摄像头候选匹配轨迹对应的车辆满足：沿着单向行驶方向的后一摄像头中出现该车辆的时间晚于前一摄像头中出现的车辆的时间，则跨摄像头候选匹配轨迹进行后续的跨匹配和k互近邻重排序。
7.根据权利要求1所述的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法，其特征在于，根据检测阈值将车辆检测框区分为高置信度组和低置信度组，其中高置信度组中的车辆目标框的置信度高于高置信度阈值，低置信度组中的车辆目标框低于低置信度阈值。
8.一种结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪系统，其特征在于，包括：
视频获取模块，用于获取高速公路上多个摄像头的跟踪视频；
车辆检测模块，用于将每一摄像头的跟踪视频的视频帧输入到预训练的车辆目标检测模型中得到车辆检测框；
车辆外观特征提取模块，用于将车辆检测框对应的车辆检测框图像输入到预训练的ReID模型中输出车辆外观特征，其中所述ReID模型包括三个不同骨干的ReID网络，每一ReID网络提取车辆检测框图像得到车辆外观表示，融合不同ReID网络的车辆外观表示得到车辆外观特征；
单摄像头车辆跟踪轨迹获取模块，用于将同一摄像下的多个车辆检测框和对应的车辆外观特征输入到多目标跟踪模块跟踪得到每一摄像头的多个车辆的单摄像头车辆跟踪轨迹，其中多目标跟踪模块跟踪模块采用级联多级多目标匹配策略：基于车辆外观特征匹配高置信度的车辆检测框并初始化跟踪器，若成功匹配则卡尔曼滤波更新跟踪器，该级未匹配的车辆检测框和车辆轨迹根据车辆外观特征进入二级关联，成功匹配则更新跟踪器，该级未匹配的车辆检测框与Age大于1且Age小于设定阈值的跟踪器进入第三级匹配，若成功匹配则跟踪器更新，再对三级关联中未匹配的车辆轨迹将与低置信度的检测框根据IoU送入四级关联；
跨摄像头候选匹配轨迹获取模块，用于基于当前多个摄像头所处的道路的道路拓扑结构进行场景建模并定义车辆进出流区域，根据车辆进出流区域过滤单摄像头车辆跟踪轨迹得到跨摄像头候选匹配轨迹；
跨摄像头车辆跟踪轨迹获取模块，用于基于摄像头的重叠视场区域对跨摄像头候选匹配轨迹实施时空约束并计算相似度距离矩阵，对约束后的多个摄像头的跨摄像头候选匹配轨迹进行跨匹配、k互近邻重排序并更新生成基于高速进出流时空掩码的相似度距离矩阵，根据基于高速进出流时空掩码的相似度距离矩阵对相邻摄像头的进出流区域内的跨摄像头候选匹配轨迹进行层次聚类，最后在连通区域局部聚类的基础上对摄像头组中的所有跨摄像头候选匹配轨迹进行聚类得到跨摄像头车辆跟踪轨迹。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1到7任一所述的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1到7任一所述的结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法。
CN202311449368.1A 2023-11-02 2023-11-02 结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法 Pending CN117541620A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311449368.1A CN117541620A (zh) 2023-11-02 2023-11-02 结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311449368.1A CN117541620A (zh) 2023-11-02 2023-11-02 结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法

Publications (1)

Publication Number Publication Date
CN117541620A true CN117541620A (zh) 2024-02-09

Family

ID=89785226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311449368.1A Pending CN117541620A (zh) 2023-11-02 2023-11-02 结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法

Country Status (1)

Country Link
CN (1) CN117541620A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118570259A (zh) * 2024-07-31 2024-08-30 杭州像素元科技有限公司 结合弱线索和边界扩展聚类的跨摄像头多车辆跟踪方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641359A (zh) * 2022-10-17 2023-01-24 北京百度网讯科技有限公司 确定对象的运动轨迹的方法、装置、电子设备和介质
CN116246232A (zh) * 2023-03-16 2023-06-09 江苏华真信息技术有限公司 一种跨境头和局部特征策略优化的车辆多目标跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641359A (zh) * 2022-10-17 2023-01-24 北京百度网讯科技有限公司 确定对象的运动轨迹的方法、装置、电子设备和介质
CN116246232A (zh) * 2023-03-16 2023-06-09 江苏华真信息技术有限公司 一种跨境头和局部特征策略优化的车辆多目标跟踪方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHONG LIU ET AL.: "City-Scale Multi-Camera Vehicle Tracking Guided by Crossroad Zones", 《CVPR》, 1 September 2021 (2021-09-01), pages 1 - 9 *
GUILHERME DE SOUSA CARVALHO: "Kalman Filter-based Object Tracking Techniques for Indoor Robotic Applications", 《COIMBRA》, 25 November 2021 (2021-11-25), pages 12 - 20 *
HAO LUO ET AL.: "An Empirical Study of Vehicle Re-Identification on the AI City Challenge", 《CVPR》, 1 September 2021 (2021-09-01), pages 1 - 8 *
XIPENG YANG ET AL.: "Box-Grained Reranking Matching for Multi-Camera Multi-Target Tracking", 《CVPR》, 23 August 2022 (2022-08-23), pages 3096 - 3106 *
YINING CAO ET AL.: "MCS-YOLO: A Multiscale Object Detection Method for Autonomous Driving Road Environment Recognition", 《IEEE ACCESS》, 3 March 2023 (2023-03-03), pages 22342 - 22354 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118570259A (zh) * 2024-07-31 2024-08-30 杭州像素元科技有限公司 结合弱线索和边界扩展聚类的跨摄像头多车辆跟踪方法

Similar Documents

Publication Publication Date Title
CN112750150B (zh) 基于车辆检测和多目标跟踪的车流量统计方法
Cao et al. Vehicle detection and motion analysis in low-altitude airborne video under urban environment
CN111652912B (zh) 车辆计数方法和系统、数据处理设备及智能拍摄设备
CN111800507A (zh) 一种交通监控方法及交通监控系统
CN102509457B (zh) 一种车辆跟踪的方法及装置
CN103246896B (zh) 一种鲁棒性车辆实时检测与跟踪方法
CN102509098B (zh) 一种鱼眼图像车辆识别方法
CN110879950A (zh) 多级目标分类及交通标志检测方法和装置、设备、介质
CN101799968B (zh) 基于视频图像智能分析的油井入侵检测方法及装置
CN103824070A (zh) 一种基于计算机视觉的快速行人检测方法
CN105469425A (zh) 一种视频浓缩方法
CN103413324A (zh) 航拍视频自动目标跟踪方法
CN117541620A (zh) 结合道路拓扑结构和重叠视场的跨摄像头多车辆跟踪方法
Razalli et al. Emergency vehicle recognition and classification method using HSV color segmentation
CN104978567A (zh) 基于场景分类的车辆检测方法
CN113256690B (zh) 一种基于视频监控的行人多目标跟踪方法
CN113052159A (zh) 一种图像识别方法、装置、设备及计算机存储介质
CN103886609B (zh) 基于粒子滤波和lbp特征的车辆跟踪方法
CN105488484A (zh) 一种基于无人机航拍图像的车辆轨迹提取方法
CN116311166A (zh) 交通障碍物识别方法、装置及电子设备
Kumar et al. Improved YOLOv4 approach: a real time occluded vehicle detection
Coronado et al. Detection and classification of road signs for automatic inventory systems using computer vision
CN109816003A (zh) 一种基于改进hog-lbp特征的智能车辆前方多目标分类方法
CN104282157A (zh) 一种用于交通信号控制的干线视频流量检测方法
Alomari et al. Smart real-time vehicle detection and tracking system using road surveillance cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination