CN115565157A - 一种多摄像头多目标车辆跟踪方法及系统 - Google Patents

一种多摄像头多目标车辆跟踪方法及系统 Download PDF

Info

Publication number
CN115565157A
CN115565157A CN202211274846.5A CN202211274846A CN115565157A CN 115565157 A CN115565157 A CN 115565157A CN 202211274846 A CN202211274846 A CN 202211274846A CN 115565157 A CN115565157 A CN 115565157A
Authority
CN
China
Prior art keywords
vehicle
track
camera
meta
tracks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211274846.5A
Other languages
English (en)
Inventor
黎勇
吴金泽
刘美琦
吴建光
刘锐
陈笑天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Tianao Aerospace Information Technology Co ltd
Chongqing University
Original Assignee
Sichuan Tianao Aerospace Information Technology Co ltd
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Tianao Aerospace Information Technology Co ltd, Chongqing University filed Critical Sichuan Tianao Aerospace Information Technology Co ltd
Priority to CN202211274846.5A priority Critical patent/CN115565157A/zh
Publication of CN115565157A publication Critical patent/CN115565157A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于车辆跟踪技术领域，具体涉及一种多摄像头多目标车辆跟踪方法及系统，包获取单个摄像头视频内的车辆轨迹、各车辆轨迹的外观重识别外观特征集合以及各车辆轨迹的元信息特征，元信息特征包括车辆的类型特征和颜色特征；获取各摄像头拍摄范围内的交通感知区域，交通感知区域为车辆轨迹经常发生中断的区域；综合单个摄像头视频内各车辆轨迹的外观重识别特征间的差异以及车辆轨迹间的差异，在交通感知区域内融合得到单摄像头视频内完整的车辆轨迹；利用基于车辆轨迹的外观重识别特征集合和元信息特征的联合度量进行跨摄像头的车辆轨迹匹配，并合并出跨摄像头的完整车辆轨迹。实现了高精度、高鲁棒性的多摄像头多目标车辆跟踪。

Description

一种多摄像头多目标车辆跟踪方法及系统
技术领域
本发明属于车辆跟踪技术领域，具体涉及一种多摄像头多目标车辆跟踪方法及系统。
背景技术
在智能交通系统的研究中，使用多个摄像头捕获的数据进行视频分析对于许多应用具有重要意义，例如交通流参数估计、异常检测、多摄像头跟踪等。车辆跟踪作为智能交通的一部分，近年来引起了学术界和工业界的广泛关注，尤其是多摄像头的多目标追踪，有助于交通流的预测和分析。
多摄像头多目标的车辆跟踪旨在多摄像机系统中识别和定位目标，该技术能在重叠或非重叠视域的多个摄像机跟踪多个检测到的对象。一般来说，该技术分为3个子任务：(1)单摄像头内的多目标跟踪，通常采用基于检测的跟踪方式。(2)车辆重识别，在一个大型库集中检索同一个实例。(3)轨迹聚类，旨在将摄像机中的轨迹合并为跨摄像头的关联。尽管在目标检测、跟踪和重识别等任务中已经取得了很好的研究成果，但对于一个高性能的多摄像机多目标车辆跟踪框架仍然面临着许多挑战：(1)由于车辆检测不可靠以及车流量大而导致的遮挡严重，很难在单个摄像头内跟踪车辆的完整轨迹，会经常发生轨迹的中断，从而造成车辆身份的切换。(2)对于车辆重识别来说，同一辆车的不同拍摄角度、同一车型的不同车辆、拍摄分辨率的多样化以及实际场景中不同的光照情况都是实际场景中重识别任务精度不高的影响因素。单摄像头多目标跟踪和重识别的性能不佳可能会导致频繁的车辆身份关联错误。此外，由于重识别任务需要基于单摄像头车辆追踪结果，单摄像头视阈内引入的车辆身份关联错误，也将导致重识别任务中的候选轨迹关联错误。
为了得到更精准的多摄像机多目标车辆跟踪结果，就需要加强单摄像头目标跟踪的效果和车辆重识别的性能。首先对于单摄像头目标跟踪，需要一个轨迹融合的方法融合单摄像头内中断的轨迹，可以根据中断轨迹的特性找到轨迹融合的大致范围，再利用车辆行驶的特点进一步缩小轨迹融合的范围，并且轨迹的融合需要一个健壮的外观重识别特征用于中断轨迹之间的匹配。为了跨摄像头关联车辆轨迹，基于外观的车辆重识别也是最有效的方法之一。对于车辆重识别，一些工作侧重于通过深度卷积神经网络生成判别特征。然而，在大多数方法中，训练后的重识别模型被用来提取有效的嵌入特征，在测试阶段可以根据轨迹之间的欧氏距离来估计相似性，但另一方面，车辆元信息，例如车辆的类型和颜色等，以及信息空间和时间信息也是辅助多摄像头多目标跟踪的关键信息，而这些信息现有技术中并没有加以利用，有必要对现有技术中的多摄像头多目标车辆跟踪进行改进。
发明内容
本发明意在提出了一种基于轨迹融合和多元信息辅助的多摄像头多目标车辆跟踪方法及系统，提高在车辆遮挡严重下单摄像头内的车辆跟踪准确度，以及跨摄像头中不同拍摄角度、不同照明条件下车辆身份关联准确度。
本发明中的多摄像头多目标车辆跟踪方法，包括以下步骤：
步骤1：获取单个摄像头视频内的车辆轨迹、各车辆轨迹的外观重识别外观特征集合以及各车辆轨迹的元信息特征，所述元信息特征包括车辆的类型特征和颜色特征；
步骤2：获取各摄像头拍摄范围内的交通感知区域，所述交通感知区域为车辆轨迹经常发生中断的区域；
步骤3：综合单个摄像头视频内各车辆轨迹的外观重识别特征间的差异以及车辆轨迹间的平滑度差异、车辆速度差异和时间差异，在所述交通感知区域内融合中断的车辆轨迹，得到单摄像头视频内完整的车辆轨迹；
步骤4：利用基于车辆轨迹的外观重识别特征集合和元信息特征的联合度量进行跨摄像头的车辆轨迹匹配，并合并出跨摄像头的完整车辆轨迹。
进一步的，步骤4中，根据车辆行驶的交通规则和道路结构以及摄像头的关联模型，利用车辆行驶中时间和空间的约束限制车辆轨迹匹配的搜索空间，并且通过层级聚类的方法合并出跨摄像头的完整车辆轨迹。
进一步的：步骤1中通过一训练好的目标跟踪神经网络模型，获取单个摄像头视频内的车辆轨迹。
进一步的，步骤1中的目标跟踪神经网络模型为基于FairMOT框架，并通过使用标注有车辆身份和边界框位置信息的数据集进行训练得到的目标跟踪神经网络模型。
进一步的：通过所述目标跟踪神经网络模型获得车辆的边界框位置信息和车辆身份信息之后，再配合卡尔曼滤波和匈牙利算法进行匹配，得到最终的单摄像头视频中的车辆轨迹以及每个车辆轨迹的车辆身份信息。
进一步的，步骤1中，通过一训练好的基于视频的重识别神经网络模型获取各车辆轨迹的外观重识别特征集合。
进一步的，所述重识别神经网络模型以预训练的ResNet-50网络作为主干网络，并在主干网络与用于分类全连接层之间加入一个BNNeck(Batch Normalization Neck)层；
在获取车辆轨迹的外观重识别特征集合并进行分类的训练中，通过以分类结果的交叉熵损失作为分类的损失，以基于外观重识别特征集合间放松豪斯多夫距离的三元组策略组建的豪斯多夫距离损失作为度量损失，联合组建用于网络训练优化的损失函数。
进一步的，步骤1中，分别通过一训练好的元信息分类神经网络模型提取视频每一帧中的车辆类型元信息特征以及车辆颜色元信息特征；
将一车辆轨迹中各帧的元信息特征进行平均值计算得到该车辆轨迹总的元信息特征。
进一步的，所述元信息分类神经网络模型，采用Light CNN框架，并以最终分类前的网络输出作为车辆的元信息特征输出。
进一步的，步骤2中所述交通感知区域的获取方法包括：把单个摄像头视频内各个车辆轨迹的起点和终点作为MeanShift聚类算法的输入，聚类出多个区域；
计算各个区域内车辆轨迹的起点和终点的密度，找到起点和终点数量均衡的区域作为交通感知区域。
进一步的，通过计算交通感知区域密度Dta衡量区域内的起点和终点数量是否均衡，具体的公式定义为：
Figure BDA0003896577790000031
式中Ns,k，Ne,k分别表示区域内轨迹起始点和结束点的数量；
如果Dta大于阈值ρta，那么这个区域就被标定为交通感知区域。
进一步的，步骤3中，计算车辆轨迹间的平滑度差异dsm、速度差异dvc和时间差异dti，并联合车辆轨迹间的外观特征之间的欧氏距离dE得到用于在交通感知区域内中断轨迹融合的最终度量dT：
dT＝dE+λsmdsm+λvcdvc+λtidti，
其中，λsm、λvc、和λti分别是平滑度差异dsm、速度差异dvc和时间差异dti的权重。
进一步的，所述平滑度差异dsm的计算过程如下：
Figure BDA0003896577790000041
式中，pi,st(t)为交通感知区域内第i条起始轨迹前n帧中的第t帧的坐标，pj,nd(t)为交通感知区域内第j条终止轨迹后n帧中的第t帧的坐标，bi,w(t)和bi,h(t)分别表示第车辆边界框的宽度和长度，X1到Xm分别为曲线上均匀分布的m个点，
Figure BDA0003896577790000042
表示点到线段的距离。
进一步的，所述速度差异dvc的计算过程如下：
Figure BDA0003896577790000043
Figure BDA0003896577790000044
dvc＝max(0,|vst-vnd|-γ),
式中，γ为速度边界值。
进一步的，所述时间差异dti的计算过程如下：
Figure BDA0003896577790000045
其中，ti,st为交通感知区域内第i条起始轨迹的起始点的时间戳，tj,nd为交通感知区域内第j条终止轨迹的终止点的时间戳。
进一步的，步骤4中，以如下方式结合车辆轨迹间的外观重识别特征度量距离和元信息特征度量距离得到最终用于跨摄像头车辆轨迹融合的联合度量距离：
Figure BDA0003896577790000046
其中，Ti和Tj分别表示第i条轨迹和第j条轨迹,；
Mi和Mj表示两个车辆轨迹各自的车辆类型元信息特征；
Ni和Nj表示两个车辆轨迹各自的车辆颜色元信息特征；
dE()表示计算两个向量间的欧氏距离；
Figure BDA0003896577790000047
表示两个车辆轨迹各自的外观重识别特征集合Si和Sj间的放松的豪斯多夫距离；
λ1和λ2表示距离的权重。
进一步的，所述放松的豪斯多夫距离具体表示为：
Figure BDA0003896577790000051
Figure BDA0003896577790000052
Figure BDA0003896577790000053
其中，
Figure BDA0003896577790000054
表示选择集合
Figure BDA0003896577790000055
中第k个最大值。
进一步的，所述豪斯多夫距离损失函数具体表示为：
Figure BDA0003896577790000056
式中τ是距离边界值，P表示采样的车辆身份数量，K表示每个身份的序列数量，Sp表示正样本，Sn表示负样本。
本发明的另一目的地在于提供一种多摄像头多目标车辆跟踪系统，包括：
获取模块，用于获取单个摄像头视频内的车辆轨迹、各车辆轨迹的外观重识别外观特征集合以及各车辆轨迹的元信息特征，所述元信息特征包括车辆的类型特征和颜色特征；
单摄像头轨迹融合模块，其中耦合有交通感知区域获取模块，用于获取各摄像头拍摄范围内的交通感知区域；
以及，轨迹融合模块，用于计算单个摄像头视频内各车辆轨迹的外观重识别特征间的差异以及车辆轨迹间的平滑度差异、车辆速度差异和时间差异，并综合这些差异，在交通感知区域内融合中断的车辆轨迹，得到单摄像头视频内完整的车辆轨迹；
跨摄像头轨迹融合模块，用于利用基于车辆轨迹的外观重识别特征集合和元信息特征的联合度量进行跨摄像头的车辆轨迹匹配，并合并出跨摄像头的完整车辆轨迹。
本发明的有益效果在于：对于单摄像头，找到轨迹中断较为活跃的交通感知区域，为轨迹的融合缩小了范围。利用车辆轨迹的特性：轨迹平滑度、车速、时间间隔作为辅助约束条件融合中断的轨迹，解决了因检测效果差、车辆遮挡严重、车速过快造成车辆频繁发生ID切换，即轨迹中断的问题，得到更佳的单摄像头车辆跟踪效果，以便能更好地在跨摄像头中进行车辆跟踪。并且利用车辆类型、颜色等元信息来辅助车辆轨迹的跨摄像头匹配，进一步提高了轨迹匹配的准确率，实现了高精度、高鲁棒性的能够适用于拥堵、模糊、道路复杂等不同现实场景的多摄像头多目标车辆跟踪方法。
在一些实施例中，对于多摄像头，根据道路结构和摄像头关联模型创造车辆行驶的时空约束，缩小轨迹搜索的空间，提高了效率。
附图说明
图1是本发明实施例中的多摄像头多目标车辆跟踪方法的流程图。
图2是本发明实施例中的示例性的交通感知区域的示意图。
图3是本发明实施例中的相邻轨迹之间平滑度的示意图。
图4是本发明实施例中示例性的相邻摄像头之间的路线示意图。
图5是本发明实施例中的多摄像头多目标车辆跟踪系统的示意性逻辑框架。
具体实施方式
为了使该发明的实施步骤和优势更加清楚，下面我将结合图例对具体的实施方式进行描述。
如图1所示，本发明基于轨迹融合和多元信息辅助的多摄像头多目标车辆跟踪方法，包括以下步骤：
步骤1：获取单个摄像头视频内的车辆轨迹、各车辆轨迹的外观重识别外观特征集合以及各车辆轨迹的元信息特征，所述元信息特征包括车辆的类型特征和颜色特征。
该步骤中，通过一训练好的目标跟踪神经网络模型，获取单个摄像头视频内的车辆轨迹。本实施例中，该目标跟踪神经网络模型为基于FairMOT框架，并通过使用标注有车辆身份和边界框位置信息的数据集进行训练得到的目标跟踪神经网络模型。
FairMOT是联合检测和嵌入的目标跟踪框架，并且检测方法是基于CenterNet的无锚框检测，因此用于训练FairMOT框架的数据集既要包含目标中心的位置信息，也要包含目标的身份信息。
本实施例中，拍摄不同场景，不同角度，不同距离的车辆图片，并标注出每辆车的车辆ID，边界框左上角和右下角的坐标，并转换得到车辆边界框的中心坐标和长宽值，再标注出车辆的颜色和类型，将得到的带标注的车辆数据集用于训练本实施例中的目标跟踪神经网络模型。
将摄像头拍摄到的视频流输入到FairMOT编解码网络，从输出的特征图得到车辆的检测和重识别结果，本实施例中，在获得车辆的位置和重识别信息之后，配合卡尔曼滤波和匈牙利算法进行匹配，得到单摄像头中的目标车辆跟踪结果即车辆轨迹，以及每个车辆轨迹的局部ID。
本步骤中，通过一训练好的基于视频的重识别神经网络模型获取各车辆轨迹的外观重识别特征集合。
由于车辆外观重识别主要用于轨迹的关联，无论是单摄像头内中断轨迹的融合，还是跨摄像头车辆轨迹的匹配，都需要用车辆的外观特征进行关联。通常如果利用单帧的图片特征进行轨迹关联，很难达到一个好的效果，因为单帧的车辆图片有可能是一张遮挡严重或者背景噪音太多的图片，很难具有一条轨迹的代表性，因此可以利用一系列的图像而不是单一的图像，即基于视频的车辆重识别。
现有技术中，基于视频的车辆重识别使用时间注意力来对每帧的特征进行加权平均或者对每帧的特征直接进行平均，这些方法都是将一系列轨迹帧作为模型输入，但在视频帧序列比较长或整条轨迹多数都被严重遮挡的时候效果不是很好。
采用豪斯多夫距离(PhD)度量的方式来进行基于视频的车辆重识别模型的训练可以缓解以上问题。本实施例中，采用文献“Zhao,Jianan et al.“PhD Learning:Learningwith Pompeiu-hausdorff Distances for Video-based Vehicle Re-Identification.”2021IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR)(2021):2225-2235.”中给出的网络机构和相应算法，采用在ImageNet上进行预训练的ResNet-50网络作为基于视频的车辆外观重识别模型的主干网络，使用交叉熵损失LID作为分类的损失，豪斯多夫距离损失作为度量损失联合组建损失函数，并在主干网络与全连接层之间加入一个BNNeck层。本实施例中采用的豪斯多夫距离损失LPhD利用基于放松豪斯多夫距离的三元组策略组件，用于以集合对集合的方式评估基于视频的距离，公式如下：
Figure BDA0003896577790000071
Figure BDA0003896577790000072
Figure BDA0003896577790000073
Figure BDA0003896577790000074
式中S1，S2分别表示两个轨迹的特征集合，dE表示欧氏距离度量空间，
Figure BDA0003896577790000075
表示S1和S2间的放松的豪斯多夫距离，
Figure BDA0003896577790000076
表示选择集合
Figure BDA0003896577790000077
中第k个最大值，反之亦然。τ是距离边界值，P表示采样的车辆身份数量，K表示每个身份的序列数量，Sp表示正样本，Sn表示负样本。
本实施例中，此处示例性的采用带不限于如下总损失L：
L＝LID+LPhD，
其他利用交叉熵损失LID作为分类的损失，豪斯多夫距离损失作为度量损失联合组建损失函数的方式，如加权求和等，现有技术中多有记载，在此不做赘述。
本步骤中，利用基于Light CNN框架的神经网络模型来进行车辆类型、车辆颜色等车辆元信息分类，将车辆图片输入该网络，得到的输出作为车辆的元信息特征，将一个车辆轨迹的元信息特征进行平均得到该车辆轨迹最终的元信息特征，公式如下：
Figure BDA0003896577790000081
ξi,ηi分别表示车辆j号轨迹第i帧的车辆类型和颜色元信息特征。同理，对于车辆轨迹的外观重识别特征，也可以按此处理，将一个车辆轨迹的外观重识别特征进行平均得到该车辆轨迹最终的外观重识别特征；
步骤2：获取各摄像头拍摄范围内的交通感知区域，所述交通感知区域为车辆轨迹经常发生中断的区域；
生成交通感知区域的生成如图2所示，首先把各个轨迹的起点和终点作为MeanShift聚类的输入，聚类出多个起点或终点聚集的区域。通过计算各个区域起点和终点的密度，找到起点和终点数量均衡的交通感知区域，本实施例中，需要计算交通感知区域密度Dta，公式如下：
Figure BDA0003896577790000082
式中Ns,k，Ne,k分别表示区域内轨迹起始点和结束点的数量，如果Dta大于阈值ρta，那么这个区域就被标定为交通感知区域。
步骤3：综合单个摄像头视频内各车辆轨迹的外观重识别特征间的差异以及车辆轨迹间的平滑度差异、车辆速度差异和时间差异，在所述交通感知区域内融合中断的车辆轨迹，得到单摄像头视频内完整的车辆轨迹；
交通感知区域是经常发生轨迹中断的区域，所以在交通感知区域内进行轨迹的融合可以提高轨迹融合的效率和精度。本实施例中，使用车辆外观重识别模型得到两个相邻轨迹的外观重识别特征，作为轨迹融合的一个度量基准，另外本实施例中将轨迹平滑度、车辆速度和轨迹之间的时间间隔作为辅助约束条件来细化轨迹的融合。
如图3所示，计算轨迹平滑度，通过高斯回归将两条相邻轨迹的各个点回归得到一条曲线，然后再计算两条轨迹的各个点到曲线的距离，取平均值，得到两条轨迹的平滑度差异dsm，公式如下：
Figure BDA0003896577790000091
式中，pi,st(t)为第i条起始轨迹前n帧中的第t帧的坐标，pj,nd(t)为第j条终止轨迹后n帧中的第t帧的坐标，也就是分别为两条相邻轨迹相邻的n帧的坐标，bi,w(t)和bi,h(t)分别表示第车辆边界框的宽度和长度，X1到Xm分别为曲线上均匀分布的m个点，则
Figure BDA0003896577790000092
就是点到线段的距离公式。
这里使用车辆位置在像素坐标上的距离来粗略计算车辆的速度，然后计算两条相邻轨迹车辆速度的变化来测量相邻两条轨迹之间的速度差异dvc，公式如下：
Figure BDA0003896577790000093
Figure BDA0003896577790000094
dvc＝max(0,|vst-vnd|-γ),
式中，γ为速度边界值。
本实施例中，获取起始轨迹第一帧的时间戳ti,st以及终止轨迹最后一帧的时间戳tj,nd，计算ti,st与tj,nd之间的间隔来得到轨迹的时间差异dti，如果两条轨迹之间有时间重叠，也就是ti,st＜tj,nd，那么它们一定不是同一条轨迹，此时dti记为无穷大，公式如下：
Figure BDA0003896577790000095
最后基于车辆轨迹的外观重识别特征之间的欧氏距离dE，再加上轨迹平滑度差异、车辆速度差异和轨迹的时间差异这些辅助约束条件，得到在交通感知区域内中断轨迹融合的最终度量dT：
dT＝dE+λsmdsm+λvcdvc+λtidti，
其中，λsm、λvc、和λti分别是平滑度差异dsm、速度差异dvc和时间差异dti的权重。
以此度量来进行车辆轨迹的匹配，精细化了轨迹融合的效果。
步骤4：利用基于车辆的外观重识别特征集合和元信息特征的联合度量进行跨摄像头的车辆轨迹匹配，并合并出跨摄像头的完整车辆轨迹。
在跨摄像头的车辆身份关联中，需要结合车辆轨迹的外观特征度量和元信息特征度量得到最终的车辆身份联合度量距离：
Figure BDA0003896577790000101
其中，Ti和Tj分别表示第i条轨迹和第j条轨迹,λ1和λ2表示距离的权重。
为了进行跨摄像头的车辆轨迹匹配，本实施例中，首先构建基于视频的车辆外观特征和元信息特征的联合度量计算相邻摄像头轨迹之间的距离矩阵D如下：。
Figure BDA0003896577790000102
Figure BDA0003896577790000103
TS,i,i∈(1,2…n)表示源摄像头内的n条轨迹中的一条，TT,j,j∈(1,2…m)表示目的摄像头内的m条轨迹中的一条轨迹。本实施例中，使用k互惠重排序，以细化更新后的距离矩阵，从而生成更强的距离矩阵D。
由于道路结构和交通规则，车辆的运动遵循特定的驾驶模式。这里将每条可行的道路用一条路线代替，一个摄像机视图中可能有多条路线，但通往相邻摄像机视图的只有特定的几条路线。如图4所示，只有从1号摄像头的1-3号路线进入主干道驶出，才能从2号摄像头主干道的4-6号路线驶入，然后计算车辆轨迹到路线的距离将车辆划分给指定的路线。这样在计算摄像头1和摄像头2轨迹之间的距离矩阵时，只需要考虑属于1-3号路线的车辆与属于4-6号路线的车辆的匹配情况，缩小轨迹匹配的搜索空间。这样可以得到车辆从1号摄像头驶向到2号摄像头的一个空间约束。
摄像机关联模型是利用摄像机拓扑结构来产生时间约束，在获得标定的车辆轨迹和相机链路后，可以自动估计车辆在摄像机链路中的过渡时间，不需要人工去标注。过渡时间定义为：
Δt＝td-ts,
ts和td分别表示车辆离开源摄像机区域的时间和到达目的摄像机区域的时间，然后可以为每个相机链路得到一个过渡的时间窗口(Δtmin-ε,Δtmax+ε)，ε为时间边界值。只有过渡时间在时间窗内的车辆对才被视为有效。因此，轨迹匹配的搜索空间可以通过适当的时间窗口进一步缩小。这样可以得到车辆从1号摄像头驶向到2号摄像头的一个时间约束。
综合车辆的时空约束，我们可以得到两个相邻摄像头之间车辆的匹配性，如下所示：
Figure BDA0003896577790000111
于是我们可以获得相邻摄像头之间的掩码矩阵M，如下：
Figure BDA0003896577790000112
最后，我们将距离矩阵与掩码矩阵结合，以获得时空约束后的距离矩阵
Figure BDA0003896577790000113
Figure BDA0003896577790000114
⊙表示矩阵的点乘，然后再将
Figure BDA0003896577790000115
中的0值替换为无穷大，由此得到最终的时空约束距离矩阵，用于后续的轨迹聚类。然后通过层级聚类的方法匹配每对相邻摄像头中的车辆轨迹，最终得到车辆轨迹的全局ID。
本实施例还公开了一种多摄像头多目标车辆跟踪系统，基本如5所示，包括：
获取模块，用于获取单个摄像头视频内的车辆轨迹、各车辆轨迹的外观重识别外观特征集合以及各车辆轨迹的元信息特征，所述元信息特征包括车辆的类型特征和颜色特征；
如图中所示，该模块包括一车辆轨迹获取模块，该模块内设置有一但不限于如前文中所述的训练好的目标跟踪神经网络模型，用于获取单个摄像头视频内的车辆轨迹；
可选的，该模块中，通过该目标跟踪神经网络模型获得车辆的边界框位置信息和车辆身份信息之后，再配合卡尔曼滤波和匈牙利算法进行匹配，得到最终的单摄像头视频中的车辆轨迹以及每个车辆轨迹的车辆身份信息。
获取模块中还包括一外观重识别特征获取模块，该模块中设有一但不限于如前文中所述的训练好的基于视频的重识别神经网络模型，用于获取各车辆轨迹的外观重识别特征集合，该重识别神经网络模型的训练方法亦如前文中所述，并不不限于此。
获取模块中还包括两个但不限于如前文中所述的训练好的元信息分类神经网络模型，分别用于提取视频每一帧中的车辆类型元信息特征以及车辆颜色元信息特征。
系统中还包括单摄像头轨迹融合模块，其中耦合有交通感知区域获取模块，用于获取各摄像头拍摄范围内的交通感知区域，该模块可以但不限于通过如前文中所述的方法步骤获取交通感知区域；
以及，轨迹融合模块，用于计算单个摄像头视频内各车辆轨迹的外观重识别特征间的差异以及车辆轨迹间的平滑度差异、车辆速度差异和时间差异，并综合这些差异，在交通感知区域内融合中断的车辆轨迹，得到单摄像头视频内完整的车辆轨迹；模块可以但不限于通过如前文中所述的方法步骤，计算车辆轨迹的外观重识别特征间的差异以及车辆轨迹间的平滑度差异、车辆速度差异和时间差异，并实现车辆轨迹的融合。
系统中还包括跨摄像头轨迹融合模块，用于利用基于车辆轨迹的外观重识别特征集合和元信息特征的联合度量进行跨摄像头的车辆轨迹匹配，并合并出跨摄像头的完整车辆轨迹。
该模块可以但不限于通过如前文中所述的方法步骤计算联合度量。
该模块可以但不限于如前文中所述的方法步骤中那样，根据车辆行驶的交通规则和道路结构以及摄像头的关联模型，并利用车辆行驶中时间和空间的约束限制车辆轨迹匹配的搜索空间，并且通过层级聚类的方法合并出跨摄像头的完整车辆轨迹。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种多摄像头多目标车辆跟踪方法，其特征在于，包括以下步骤：
步骤1：获取单个摄像头视频内的车辆轨迹、各车辆轨迹的外观重识别外观特征集合以及各车辆轨迹的元信息特征，所述元信息特征包括车辆的类型特征和颜色特征；
步骤2：获取各摄像头拍摄范围内的交通感知区域，所述交通感知区域为车辆轨迹经常发生中断的区域；
步骤3：综合单个摄像头视频内各车辆轨迹的外观重识别特征间的差异以及车辆轨迹间的平滑度差异、车辆速度差异和时间差异，在所述交通感知区域内融合中断的车辆轨迹，得到单摄像头视频内完整的车辆轨迹；
步骤4：利用基于车辆轨迹的外观重识别特征集合和元信息特征的联合度量进行跨摄像头的车辆轨迹匹配，并合并出跨摄像头的完整车辆轨迹。
2.根据权利要求1所述的方法，其特征在于，步骤4中，根据车辆行驶的交通规则和道路结构以及摄像头的关联模型，利用车辆行驶中时间和空间的约束限制车辆轨迹匹配的搜索空间，并且通过层级聚类的方法合并出跨摄像头的完整车辆轨迹。
3.根据权利要求1所述的方法，其特征在于，步骤1中通过一训练好的目标跟踪神经网络模型，获取单个摄像头视频内的车辆轨迹。
4.根据权利要求1所述的方法，其特征在于，步骤1中，通过一训练好的基于视频的重识别神经网络模型获取各车辆轨迹的外观重识别特征集合。
5.根据权利要求1所述的方法，其特征在于，步骤1中，分别通过一训练好的元信息分类神经网络模型提取视频每一帧中的车辆类型元信息特征以及车辆颜色元信息特征；
将一车辆轨迹中各帧的元信息特征进行平均值计算得到该车辆轨迹总的元信息特征。
6.根据权利要求1所述的方法，其特征在于，步骤2中所述的交通感知区域的获取方法包括：把单个摄像头视频内各个车辆轨迹的起点和终点作为MeanShift聚类算法的输入，聚类出多个区域；
计算各个区域内车辆轨迹的起点和终点的密度，找到起点和终点数量均衡的区域作为交通感知区域。
7.根据权利要求6所述的方法，其特征在于，通过计算交通感知区域密度Dta衡量区域内的起点和终点数量是否均衡，具体的公式定义为：
Figure FDA0003896577780000011
式中Ns,k，Ne,k分别表示区域内轨迹起始点和结束点的数量；
如果Dta大于阈值ρta，那么这个区域就被标定为交通感知区域。
8.根据权利要求1所述的方法，其特征在于，步骤3中，计算车辆轨迹间的平滑度差异dsm、速度差异dvc和时间差异dti，并联合车辆轨迹间的外观特征之间的欧氏距离dE得到用于在交通感知区域内中断轨迹融合的最终度量dT：
dT＝dE+λsmdsm+λvcdvc+λtidti，
其中，λsm、λvc、和λti分别是平滑度差异dsm、速度差异dvc和时间差异dti的权重。
9.根据权利要求1所述的方法，其特征在于，步骤4中，以如下方式结合车辆轨迹间的外观重识别特征度量距离和元信息特征度量距离得到最终用于跨摄像头车辆轨迹融合的联合度量距离：
Figure FDA0003896577780000021
其中，Ti和Tj分别表示第i条轨迹和第j条轨迹,；
Mi和Mj表示两个车辆轨迹各自的车辆类型元信息特征；
Ni和Nj表示两个车辆轨迹各自的车辆颜色元信息特征；
dE()表示计算两个向量间的欧氏距离；
Figure FDA0003896577780000022
表示两个车辆轨迹各自的外观重识别特征集合Si和Sj间的放松的豪斯多夫距离；
λ1和λ2表示距离的权重。
10.一种多摄像头多目标车辆跟踪系统，其特征在于，包括：
获取模块，用于获取单个摄像头视频内的车辆轨迹、各车辆轨迹的外观重识别外观特征集合以及各车辆轨迹的元信息特征，所述元信息特征包括车辆的类型特征和颜色特征；
单摄像头轨迹融合模块，其中耦合有交通感知区域获取模块，用于获取各摄像头拍摄范围内的交通感知区域；
以及，轨迹融合模块，用于计算单个摄像头视频内各车辆轨迹的外观重识别特征间的差异以及车辆轨迹间的平滑度差异、车辆速度差异和时间差异，并综合这些差异，在交通感知区域内融合中断的车辆轨迹，得到单摄像头视频内完整的车辆轨迹；
跨摄像头轨迹融合模块，用于利用基于车辆轨迹的外观重识别特征集合和元信息特征的联合度量进行跨摄像头的车辆轨迹匹配，并合并出跨摄像头的完整车辆轨迹。
CN202211274846.5A 2022-10-18 2022-10-18 一种多摄像头多目标车辆跟踪方法及系统 Pending CN115565157A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211274846.5A CN115565157A (zh) 2022-10-18 2022-10-18 一种多摄像头多目标车辆跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211274846.5A CN115565157A (zh) 2022-10-18 2022-10-18 一种多摄像头多目标车辆跟踪方法及系统

Publications (1)

Publication Number Publication Date
CN115565157A true CN115565157A (zh) 2023-01-03

Family

ID=84747223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211274846.5A Pending CN115565157A (zh) 2022-10-18 2022-10-18 一种多摄像头多目标车辆跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN115565157A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880661A (zh) * 2023-02-01 2023-03-31 天翼云科技有限公司 一种车辆匹配的方法及装置、电子设备、存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880661A (zh) * 2023-02-01 2023-03-31 天翼云科技有限公司 一种车辆匹配的方法及装置、电子设备、存储介质

Similar Documents

Publication Publication Date Title
Tabelini et al. Polylanenet: Lane estimation via deep polynomial regression
Laddha et al. Map-supervised road detection
CN111429484B (zh) 一种基于交通监控视频的多目标车辆轨迹实时构建方法
Breitenstein et al. Online multiperson tracking-by-detection from a single, uncalibrated camera
CN111753797B (zh) 一种基于视频分析的车辆测速方法
WO2021170030A1 (zh) 一种用于目标追踪的方法、设备及系统
CN113139620A (zh) 基于目标关联学习的端到端多目标检测与跟踪联合方法
Li et al. Multiple object tracking with motion and appearance cues
CN110781785A (zh) 基于Faster RCNN算法改进的交通场景下行人检测方法
CN114170580A (zh) 一种面向高速公路的异常事件检测方法
CN116153086B (zh) 基于深度学习的多路段交通事故及拥堵检测方法及系统
Xu et al. STN-Track: Multiobject tracking of unmanned aerial vehicles by swin transformer neck and new data association method
CN115565157A (zh) 一种多摄像头多目标车辆跟踪方法及系统
Guan et al. Multi-person tracking-by-detection with local particle filtering and global occlusion handling
Saif et al. Crowd density estimation from autonomous drones using deep learning: challenges and applications
CN113724293A (zh) 一种基于视觉的智能网联公交场景下目标跟踪方法及系统
Fu et al. A real-time multi-vehicle tracking framework in intelligent vehicular networks
CN115100565B (zh) 一种基于空间相关性与光流配准的多目标跟踪方法
Dixon et al. An efficient system for vehicle tracking in multi-camera networks
CN113887449A (zh) 多目标跟踪方法及计算机可读存储介质
Tian et al. Pedestrian multi-target tracking based on YOLOv3
Xue et al. ST-tracking: spatial-temporal graph convolution neural network for multi-object tracking
Peng et al. Continuous vehicle detection and tracking for non-overlapping multi-camera surveillance system
Kandalkar et al. Review on Image Processing Based Vehicle Detection & Tracking System
CN117173794B (zh) 一种适合边缘设备部署的行人重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination