CN113674328B - 一种多目标车辆跟踪方法 - Google Patents

一种多目标车辆跟踪方法 Download PDF

Info

Publication number
CN113674328B
CN113674328B CN202110795714.6A CN202110795714A CN113674328B CN 113674328 B CN113674328 B CN 113674328B CN 202110795714 A CN202110795714 A CN 202110795714A CN 113674328 B CN113674328 B CN 113674328B
Authority
CN
China
Prior art keywords
frame
track
detection
target
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110795714.6A
Other languages
English (en)
Other versions
CN113674328A (zh
Inventor
周昕
陈志�
李玲娟
岳文静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202110795714.6A priority Critical patent/CN113674328B/zh
Publication of CN113674328A publication Critical patent/CN113674328A/zh
Application granted granted Critical
Publication of CN113674328B publication Critical patent/CN113674328B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种多目标车辆跟踪方法，首先输入实际拍摄的车辆视频，检测模块使用RFB‑Net网络，使用VOC2007数据集中的车辆数据训练，将检测器输出作为跟踪模型输入；然后获取目标检测框，进行表观特征或运动特征的提取；接着进行相似度计算，根据前后两帧目标之间的匹配程度进行数据关联，为每个对象分配目标的ID；本发明可以较好地解决车辆移动速度快、目标相似度高以及目标相互遮挡导致跟踪失败的问题。

Description

一种多目标车辆跟踪方法
技术领域
本发明涉及车辆追踪定位技术领域，主要涉及一种多目标车辆跟踪方法。
背景技术
近年来，针对不同场景研究具有针对性的跟踪算法成为最近几年研究的主要内容。视觉多目标跟踪是目前智能交通中的关键技术，可对车辆周边目标进行稳定的跟踪，解决因目标检测不连续造成的震荡问题，并为车辆轨迹预测提供数据支持。
基于深度学习的方法在目标检测领域表现出优势。卷积神经网络作为一种深度网络模型，在图像处理领域取得了空前的成就。目标检测网络主要分为两类:以R-CNN系列为代表的两阶段检测模型和以YOLO、SSD为代表的单阶段模型。两阶段模型是先基于图片提出若干可能包含物体的区域，再判断这个区域中的是什么类别。由此将目标检测问题转化成目标分类问题。而单阶段模型则是把目标检测问题看成一个回归问题，单阶段模型没有中间的区域检出过程，直接从图片获得预测结果。
目前，多车辆跟踪方法主要分别四大类：基于模型的目标跟踪算法；通过训练对车辆进行建模，通过计算机视觉等技术来确定车辆的参数，通过对相关帧内的各个车辆各个参数进行匹配，来计算识别结果的相关度；基于区域的目标跟踪算法；将车辆的所在区域的特征提取出来，根据某种匹配规则在后续帧中进行匹配，匹配成功则跟踪成功；基于特征的目标跟踪算法；通过车辆的特征(某一轮廓等)提取进行匹配，以车辆特征为目标来进行跟踪，而不是车辆区域；基于概率的目标跟踪算法；有Mean-Shift、卡尔曼滤波、粒子滤波等算法。
发明内容
发明目的：基于背景技术中的研究成果，本发明提出一种基于检测模型的车辆多目标跟踪方法，结合深度学习算法，研究视频中多车辆的跟踪方法，旨在解决车辆移动速度快、目标相似度高以及目标相互遮挡导致跟踪失败的难题。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种多目标车辆跟踪方法，包括以下步骤：
步骤S1、获取公路上的实拍车辆视频，对视频图像进行预处理，包括图像逐帧灰化和大小归一处理；
步骤S2、通过RFB-Net检测器对输入视频帧进行目标车辆检测，获取当前帧目标的检测框位置以及各个检测框图像块的深度特征；过滤置信度小于预设阈值的目标检测框；
步骤S3、依据前一帧的目标检测框，使用卡尔曼滤波预测出当前帧的目标位置得到预测跟踪框，每一帧的预测跟踪框组在一起构成了一组轨迹，保存在轨迹列表中，轨迹列表中的轨迹分为不确定态和确定态，轨迹初始化时都标记为不确定态，其中当前帧为第一帧时，预测跟踪框为空；
步骤S4、将当前帧的检测框与轨迹列表中的轨迹进行匹配，确定态轨迹与当前帧的检测框进行级联匹配，不确定态轨迹与尚未匹配的目标检测框进行IOU匹配；
步骤S5、当轨迹匹配成功的次数大于n_init时，轨迹更新为确定态，并用对应的检测框对轨迹列表中的预测跟踪框进行更新；当轨迹匹配成功的次数不大于n_init时，轨迹更新为删除态，并将其从轨迹列表中删除；当检测框未匹配成功时，初始化为新的轨迹；
步骤S6、重复步骤S2-S5，对后续帧进行处理。
进一步地，所述步骤S2中通过RFB-Net检测器对输入视频帧进行目标车辆检测具体步骤如下：
步骤S2.1、将帧图像输入到RFB-Net网络中进行特征提取，通过卷积和池化生成6个特征图，对于不同尺度的特征图均使用n×n卷积进行框回归和分类，采用框回归对包含前景的框位置进行修正；采用softmax函数进行分类，依据VOC2007数据集设置分类类别，通过softmax函数给出每个类别对应的概率；
步骤S2.2、采用聚类算法选择合适比例的先验框如下：
d(box,centroid)＝1-IoU(box,centroid)
IoU＝box∩centroid/box∩centroid
其中centroid表示簇标注框的中心点，box表示聚类框的中心点；
步骤S2.3、计算框回归损失值如下：
其中b和bgt分别表示预测框与真实框的中心点，ρ表示欧式距离，c表示预测框真实框的最小外接矩形的对角线距离。
进一步地，所述步骤S2.1中卷积规格取3*3。
进一步地，所述步骤S3中通过卡尔曼滤波预测出当前帧的目标位置得到预测跟踪框保存在轨迹列表的具体步骤如下：
步骤S3.1、预测车辆目标的位置信息及所述位置信息的不确定度；t-1时刻，车辆目标框的中心坐标(cx,cy)，长宽比r，高h，速度变化值依次为t时刻的均值向量如下：
步骤S3.2、利用t-1时刻的检测框来预测当前t时刻的跟踪框如下式所示：
x′＝Fx
其中状态转移矩阵F如下所示，dt是当前帧和前一帧之间的差：
步骤S3.3、设定t-1时刻的帧协方差为P，卡尔曼滤波器的噪声矩阵为Q，则t时刻的协方差矩阵如下：
P′＝FPFT+Q。
进一步地，所述步骤S4中将当前帧的检测框与轨迹列表中的轨迹进行匹配的具体步骤包括：
步骤S4.1、针对确认态轨迹，将它们与当前的检测框进行级联匹配，并且使用匈牙利算法进行匹配指派在级联匹配中，分别需要进行运动相似度匹配和表观相似度匹配；
步骤S4.2、采用马氏距离表示检测框与确定态轨迹的运动匹配程度，具体如下：
其中，dj表示第j个检测框的位置，yi表示第i个跟踪器对目标的预测位置，Si表示检测位置与平均跟踪位置之间的标准差；
定义一个门限函数判断检测框与确定态轨迹否匹配成功，如下所示：
当马氏距离小于指定阈值t(1)时，表示匹配成功；
步骤S4.3、采用另一种关联方法，对每一个检测块di求一个特征向量rj，其中rj是通过CNN网络计算对应的128维特征向量，且||rj||＝1；对每一个跟踪目标构建一个gallary，存储每一个跟踪目标成功关联的最近100帧的特征向量，即计算第i个跟踪器的最近100个成功关联的特征集与当前帧第j个检测结果的特征向量间的最小余弦距离，表示检测框与确定态轨迹的表观匹配程度，具体如下：
定义一个门限函数判断检测框与确定态轨迹是否匹配成功，如下所示：
当计算出的最小余弦距离小于设定的阈值t(2)时，表示匹配成功；
步骤S4.4、将步骤S4.2-S4.3所述两种关联方式的线性加权作为最终度量如下：
Ci，j＝λd(1)(i,j)+(1-λ)d(2)(i,j)
其中λ为加权参数；仅当两个指标都满足各自的阈值条件时，检测框与确定态轨迹匹配成功。
步骤S4.5、针对不确定态轨迹，与尚未匹配成功的检测框进行IOU匹配，再次使用匈牙利算法进行匹配指派。
进一步地，所述步骤S4.2中指定阈值t(1)在四维测量空间中取值为9.4877，所述步骤S4.3中指定阈值t(2)在四维测量空间中取值为0.6。
进一步地，所述步骤S5具体步骤包括：
步骤S5.1、基于t时刻检测到的车辆检测框，校正关联的轨迹的状态；设定z为检测框的均值向量，不包含速度变化值，即z＝[cx,cy,r,h]，H为测量矩阵，将轨迹的均值向量x'映射到检测空间，检测框和预测轨迹的均值误差如下式所示：
y＝z-Hx′
步骤S5.2、设定R为RFB-Net检测器的噪声矩阵，为4*4的对角矩阵，对角线上的值依次为中心点的坐标以及宽和高的噪声；任意值初始化，宽高的噪声要大于中心点的噪声，将t时刻的协方差P’映射到检测空间，加上噪声矩阵R得到卡尔曼滤波预处理的数据S，如下所示：
S＝HP′HT+i
步骤S5.3、计算卡尔曼增益K，估计误差的重要程度如下：
K＝P′HTS-1
根据得到的K来更新轨迹的均值向量x和协方差矩阵P如下：
x＝x′+Ky
P＝(I-KH)P′。
进一步地，所述步骤S5中n_init取4。
有益效果：
本发明提出基于检测模型的多目标车辆跟踪方法，采用基于SSD改进的RFB-Net模型来应对复杂的道路场景，对车辆进行定位检测后，结合深度数据关联度量Deep-Sort方法实现实时在线目标追踪。具体来说，
(1)本发明提出一种轻量化的车辆检测网络，和普通卷积神经网络相比，该模型能增强目标检测的稳定性和可靠性，从而增强跟踪过程中数据关联的可靠性；
(2)本发明提出一种结合深度表观模型和运动模型的多车辆跟踪方法，通过计算表观相似度和运动相似度来衡量检测框和预测跟踪框的目标是否是同一个，可以增加目标在遮挡情况下的跟踪效果，同时减少目标ID识别跳变的问题；
本发明针对评测和回归损失函数中评价指标不等价问题，基于交并比和中心点距离对回归损失函数进行改进。与原算法相比，本文算法能在保证实时性检测的基础上，显著降低小尺度车辆检测漏检率，并对遮挡、密集、模糊等场景具有更好的鲁棒性。
附图说明
图1是本发明提供的多目标车辆跟踪方法流程图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明。
如图1所示的一种基于检测模型的多目标车辆跟踪方法，包括以下步骤：
步骤S1、获取公路上的实拍车辆视频，对视频图像进行预处理，包括图像逐帧灰化和大小归一处理。
步骤S2、通过RFB-Net检测器对输入视频帧进行目标车辆检测，获取当前帧目标的检测框位置以及各个检测框图像块的深度特征；过滤置信度小于预设阈值的目标检测框。具体地，
步骤S2.1、将帧图像输入到RFB-Net网络中进行特征提取，通过卷积和池化生成6个特征图，对于不同尺度的特征图均使用n×n卷积进行框回归和分类，采用框回归对包含前景的框位置进行修正；采用softmax函数进行分类，依据VOC2007数据集设置分类类别，通过softmax函数给出每个类别对应的概率；在本发明实施例中，卷积规格选择3*3。
步骤S2.2、采用聚类算法选择合适比例的先验框如下：
d(box,centroid)＝1-IoU(box,centroid)
IoU＝box∩centroid/box∩centroid
其中centroid表示簇标注框的中心点，box表示聚类框的中心点；
步骤S2.3、计算框回归损失值如下：
其中b和bgt分别表示预测框与真实框的中心点，ρ表示欧式距离，c表示预测框真实框的最小外接矩形的对角线距离。
步骤S3、依据前一帧的目标检测框，使用卡尔曼滤波预测出当前帧的目标位置得到预测跟踪框，每一帧的预测跟踪框组在一起构成了一组轨迹，保存在轨迹列表中，轨迹列表中的轨迹分为不确定态和确定态，轨迹初始化时都标记为不确定态，其中当前帧为第一帧时，预测跟踪框为空。具体地，
步骤S3.1、预测车辆目标的位置信息及所述位置信息的不确定度；t-1时刻，车辆目标框的中心坐标(cx,cy)，长宽比r，高h，速度变化值依次为t时刻的均值向量如下：
步骤S3.2、利用t-1时刻的检测框来预测当前t时刻的跟踪框如下式所示：
x′＝Fx
其中状态转移矩阵F如下所示，dt是当前帧和前一帧之间的差：
步骤S3.3、设定t-1时刻的帧协方差为P，卡尔曼滤波器的噪声矩阵为Q，则t时刻的协方差矩阵如下：
P′＝FPFT+Q。
步骤S4、将当前帧的检测框与轨迹列表中的轨迹进行匹配，确定态轨迹与当前帧的检测框进行级联匹配，不确定态轨迹与尚未匹配的目标检测框进行IOU匹配。具体匹配方法如下：
步骤S4.1、针对确认态轨迹，将它们与当前的检测框进行级联匹配，并且使用匈牙利算法进行匹配指派在级联匹配中，分别需要进行运动相似度匹配和表观相似度匹配；
步骤S4.2、采用马氏距离表示检测框与确定态轨迹的运动匹配程度，具体如下：
其中，dj表示第j个检测框的位置，yi表示第i个跟踪器对目标的预测位置，Si表示检测位置与平均跟踪位置之间的标准差；
定义一个门限函数判断检测框与确定态轨迹否匹配成功，如下所示：
当马氏距离小于指定阈值t(1)时，表示匹配成功。本发明中，针对四维测量空间，相应的马氏距离阈值t(1)＝9.4877。
步骤S4.3、采用另一种关联方法，对每一个检测块di求一个特征向量rj，其中rj是通过CNN网络计算对应的128维特征向量，且||rj||＝1；对每一个跟踪目标构建一个gallary，存储每一个跟踪目标成功关联的最近100帧的特征向量，即计算第i个跟踪器的最近100个成功关联的特征集与当前帧第j个检测结果的特征向量间的最小余弦距离，表示检测框与确定态轨迹的表观匹配程度，具体如下：
定义一个门限函数判断检测框与确定态轨迹是否匹配成功，如下所示：
当计算出的最小余弦距离小于设定的阈值t(2)时，表示匹配成功。本发明中，针对四维测量空间，相应的最小余弦距离阈值t(2)＝0.6。
步骤S4.4、将步骤S4.2-S4.3所述两种关联方式的线性加权作为最终度量如下：
Ci，j＝λd(1)(i,j)+(1-λ)d(2)(i,j)
其中λ为加权参数；仅当两个指标都满足各自的阈值条件时，检测框与确定态轨迹匹配成功。
步骤S4.5、针对不确定态轨迹，与尚未匹配成功的检测框进行IOU匹配，再次使用匈牙利算法进行匹配指派。
步骤S5、当轨迹匹配成功的次数大于n_init时，轨迹更新为确定态，并用对应的检测框对轨迹列表中的预测跟踪框进行更新；当轨迹匹配成功的次数不大于n_init时，轨迹更新为删除态，并将其从轨迹列表中删除；当检测框未匹配成功时，初始化为新的轨迹。其中具体更新步骤如下：
步骤S5.1、基于t时刻检测到的车辆检测框，校正关联的轨迹的状态；设定z为检测框的均值向量，不包含速度变化值，即z＝[cx,cy,r,h]，H为测量矩阵，将轨迹的均值向量x'映射到检测空间，检测框和预测轨迹的均值误差如下式所示：
y＝z-Hx′
步骤S5.2、设定R为RFB-Net检测器的噪声矩阵，为4*4的对角矩阵，对角线上的值依次为中心点的坐标以及宽和高的噪声；任意值初始化，宽高的噪声要大于中心点的噪声，将t时刻的协方差P’映射到检测空间，加上噪声矩阵R得到卡尔曼滤波预处理的数据S，如下所示：
S＝HP′HT+i
步骤S5.3、计算卡尔曼增益K，估计误差的重要程度如下：
K＝P′HTS-1
根据得到的K来更新轨迹的均值向量x和协方差矩阵P如下：
x＝x′+Ky
P＝(I-KH)P′。
本实施例中匹配成功次数阈值n_init选择为4
步骤S6、重复步骤S2-S5，对后续帧进行处理。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种多目标车辆跟踪方法，其特征在于，包括以下步骤：
步骤S1、获取公路上的实拍车辆视频，对视频图像进行预处理，包括图像逐帧灰化和大小归一处理；
步骤S2、通过RFB-Net检测器对输入视频帧进行目标车辆检测，获取当前帧目标的检测框位置以及各个检测框图像块的深度特征；过滤置信度小于预设阈值的目标检测框；
步骤S3、依据前一帧的目标检测框，使用卡尔曼滤波预测出当前帧的目标位置，得到预测跟踪框，每一帧的预测跟踪框组在一起构成了一组轨迹，保存在轨迹列表中；所述轨迹列表中的轨迹分为不确定态和确定态，轨迹初始化时都标记为不确定态，其中当前帧为第一帧时，预测跟踪框为空；
步骤S4、将当前帧的检测框与轨迹列表中的轨迹进行匹配，确定态轨迹与当前帧的检测框进行级联匹配，不确定态轨迹与尚未匹配的目标检测框进行IOU匹配；
步骤S5、当轨迹匹配成功的次数大于n_init时，轨迹更新为确定态，并用对应的检测框对轨迹列表中的预测跟踪框进行更新；当轨迹匹配成功的次数不大于n_init时，轨迹更新为删除态，并将其从轨迹列表中删除；当检测框未匹配成功时，初始化为新的轨迹；
步骤S6、重复步骤S2-S5，对后续帧进行处理；
其中，
所述步骤S2中通过RFB-Net检测器对输入视频帧进行目标车辆检测具体步骤如下：
步骤S2.1、将帧图像输入到RFB-Net网络中进行特征提取，通过卷积和池化生成6个特征图，对于不同尺度的特征图均使用n×n卷积进行框回归和分类，采用框回归对包含前景的框位置进行修正；采用softmax函数进行分类，依据VOC2007数据集设置分类类别，通过softmax函数给出每个类别对应的概率；
步骤S2.2、采用聚类算法选择合适比例的先验框如下：
d(box，centroid)＝1-IoU(box，centroid)
IoU＝box∩centroid/box∩centroid
其中centroid表示簇标注框的中心点，box表示聚类框的中心点；
步骤S2.3、计算框回归损失值如下：
其中b和bgt分别表示预测框与真实框的中心点，ρ表示欧式距离，c表示预测框真实框的最小外接矩形的对角线距离；
所述步骤S3中通过卡尔曼滤波预测出当前帧的目标位置得到预测跟踪框保存在轨迹列表的具体步骤如下：
步骤S3.1、预测车辆目标的位置信息及所述位置信息的不确定度；t-1时刻，车辆目标框的中心坐标(cx,cy)，长宽比r，高h，速度变化值依次为t时刻的均值向量如下：
步骤S3.2、利用t-1时刻的检测框来预测当前t时刻的跟踪框如下式所示：
x′＝Fx
其中状态转移矩阵F如下所示，其中dt是当前帧和前一帧之间的差：
步骤S3.3、设定t-1时刻的帧协方差为P，卡尔曼滤波器的噪声矩阵为Q，则t时刻的协方差矩阵如下：
P′＝FPFT+Q；
所述步骤S4中将当前帧的检测框与轨迹列表中的轨迹进行匹配的具体步骤包括：
步骤S4.1、针对确认态轨迹，将它们与当前的检测框进行级联匹配，并且使用匈牙利算法进行匹配指派在级联匹配中，分别进行运动相似度匹配和表观相似度匹配；
步骤S4.2、采用马氏距离表示检测框与确定态轨迹的运动匹配程度，具体如下：
其中，dj表示第j个检测框的位置，yi表示第i个跟踪器对目标的预测位置，Si表示检测位置与平均跟踪位置之间的标准差；
定义门限函数判断检测框与确定态轨迹否匹配成功，如下所示：
当马氏距离小于指定阈值t(1)时，表示匹配成功；
步骤S4.3、采用另一种关联方法，对每一个检测块di求一个特征向量rj，其中rj是通过CNN网络计算对应的128维特征向量，且‖rj‖＝1；对每一个跟踪目标构建一个gallary，存储每一个跟踪目标成功关联的最近100帧的特征向量，即计算第i个跟踪器的最近100个成功关联的特征集与当前帧第j个检测结果的特征向量间的最小余弦距离，表示检测框与确定态轨迹的表观匹配程度，具体如下：
定义一个门限函数判断检测框与确定态轨迹是否匹配成功，如下所示：
当计算出的最小余弦距离小于设定的阈值t(2)时，表示匹配成功；
步骤S4.4、将步骤S4.1-S4.2所述两种关联方式的线性加权作为最终度量如下：
Ci，j＝λd(1)(i，j)+(1-λ)d(2)(i，j)
其中λ为加权参数；当两个指标都满足各自的阈值条件时，检测框与确定态轨迹匹配成功；
步骤S4.5、针对不确定态轨迹，与尚未匹配成功的检测框进行IOU匹配，再次使用匈牙利算法进行匹配指派。
2.根据权利要求1所述的一种多目标车辆跟踪方法，其特征在于，所述步骤S2.1中卷积规格取3*3。
3.根据权利要求1所述的一种多目标车辆跟踪方法，其特征在于，所述步骤S4.2中指定阈值t(1)在四维测量空间中取值为9.4877，所述步骤S4.3中指定阈值t(2)在四维测量空间中取值为0.6。
4.根据权利要求1所述的一种多目标车辆跟踪方法，其特征在于，所述步骤S5将检测框对轨迹列表中的预测跟踪框进行更新的具体步骤包括：
步骤S5.1、基于t时刻检测到的车辆检测框，校正关联的轨迹的状态；设定z为检测框的均值向量，不包含速度变化值，即z＝[cx，cy，r，h]，H为测量矩阵，将轨迹的均值向量x'映射到检测空间，检测框和预测轨迹的均值误差如下式所示：
y＝z-Hx′
步骤S5.2、设定R为RFB-Net检测器的噪声矩阵，为4*4的对角矩阵，对角线上的值依次为中心点的坐标以及宽和高的噪声；任意值初始化，宽高的噪声要大于中心点的噪声，将t时刻的协方差P’映射到检测空间，加上噪声矩阵R得到卡尔曼滤波预处理的数据S，如下所示：
S＝HP′HT+R
步骤S5.3、计算卡尔曼增益K，估计误差的重要程度如下：
K＝P′HTS-1
根据得到的K来更新轨迹的均值向量x和协方差矩阵P如下：
x＝x′+Ky
P＝(I-KH)P′。
5.根据权利要求1所述的一种多目标车辆跟踪方法，其特征在于，所述步骤S5中n_init取4。
CN202110795714.6A 2021-07-14 2021-07-14 一种多目标车辆跟踪方法 Active CN113674328B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110795714.6A CN113674328B (zh) 2021-07-14 2021-07-14 一种多目标车辆跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110795714.6A CN113674328B (zh) 2021-07-14 2021-07-14 一种多目标车辆跟踪方法

Publications (2)

Publication Number Publication Date
CN113674328A CN113674328A (zh) 2021-11-19
CN113674328B true CN113674328B (zh) 2023-08-25

Family

ID=78539113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110795714.6A Active CN113674328B (zh) 2021-07-14 2021-07-14 一种多目标车辆跟踪方法

Country Status (1)

Country Link
CN (1) CN113674328B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972418B (zh) * 2022-03-30 2023-11-21 北京航空航天大学 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法
CN114882068B (zh) * 2022-04-24 2023-09-01 电子科技大学 多目标跟踪方法、装置、计算机设备和存储介质
CN115063452B (zh) * 2022-06-13 2024-03-26 中国船舶重工集团公司第七0七研究所九江分部 一种针对海上目标的云台摄像头跟踪方法
CN115131760B (zh) * 2022-07-17 2024-04-19 西北工业大学 一种基于改进特征匹配策略的轻量级车辆追踪方法
CN115661720A (zh) * 2022-11-10 2023-01-31 南京智蓝芯联信息科技有限公司 一种被遮挡车辆的目标跟踪识别方法及系统
CN115601402B (zh) * 2022-12-12 2023-03-28 知行汽车科技(苏州)股份有限公司 针对柱面图检测框的目标后处理方法、装置、设备和存储介质
CN115830075A (zh) * 2023-02-20 2023-03-21 武汉广银飞科技发展有限公司 一种面向行人多目标跟踪的分级关联匹配方法
CN115840221B (zh) * 2023-02-20 2023-04-25 上海几何伙伴智能驾驶有限公司 基于4d毫米波雷达实现目标特征提取与多目标跟踪的方法
CN116128932B (zh) * 2023-04-18 2023-07-25 无锡学院 一种多目标跟踪方法
CN116363494B (zh) * 2023-05-31 2023-08-04 睿克环境科技(中国)有限公司 一种鱼类数量监测、洄游跟踪的方法和系统
CN116453103B (zh) * 2023-06-15 2023-08-18 松立控股集团股份有限公司 一种车辆跨镜跟踪车牌识别方法、系统及电子设备
CN116977367A (zh) * 2023-07-14 2023-10-31 陕西师范大学 基于Transformer与卡尔曼滤波的校园多目标跟踪方法
CN116824549B (zh) * 2023-08-29 2023-12-08 所托(山东)大数据服务有限责任公司 基于多检测网络融合的目标检测方法、装置及车辆
CN117689907B (zh) * 2024-02-04 2024-04-30 福瑞泰克智能系统有限公司 车辆跟踪方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741318A (zh) * 2018-12-30 2019-05-10 北京工业大学 基于有效感受野的单阶段多尺度特定目标的实时检测方法
CN111476826A (zh) * 2020-04-10 2020-07-31 电子科技大学 一种基于ssd目标检测的多目标车辆跟踪方法
CN112101430A (zh) * 2020-08-28 2020-12-18 电子科技大学 用于图像目标检测处理的锚框生成方法及轻量级目标检测方法
CN112750150A (zh) * 2021-01-18 2021-05-04 西安电子科技大学 基于车辆检测和多目标跟踪的车流量统计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11094070B2 (en) * 2019-04-23 2021-08-17 Jiangnan University Visual multi-object tracking based on multi-Bernoulli filter with YOLOv3 detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741318A (zh) * 2018-12-30 2019-05-10 北京工业大学 基于有效感受野的单阶段多尺度特定目标的实时检测方法
CN111476826A (zh) * 2020-04-10 2020-07-31 电子科技大学 一种基于ssd目标检测的多目标车辆跟踪方法
CN112101430A (zh) * 2020-08-28 2020-12-18 电子科技大学 用于图像目标检测处理的锚框生成方法及轻量级目标检测方法
CN112750150A (zh) * 2021-01-18 2021-05-04 西安电子科技大学 基于车辆检测和多目标跟踪的车流量统计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多特征融合的高速路车辆多目标跟踪算法研究;胡随芯;常艳昌;杨俊;章振原;;汽车技术(第09期);全文 *

Also Published As

Publication number Publication date
CN113674328A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN113674328B (zh) 一种多目标车辆跟踪方法
CN109360226B (zh) 一种基于时间序列多特征融合的多目标跟踪方法
US11393103B2 (en) Target tracking method, device, system and non-transitory computer readable medium
Deori et al. A survey on moving object tracking in video
Portmann et al. People detection and tracking from aerial thermal views
Tan et al. Multi-camera vehicle tracking and re-identification based on visual and spatial-temporal features.
CN106934817B (zh) 基于多属性的多目标跟踪方法及装置
Li et al. Robust object tracking based on adaptive templates matching via the fusion of multiple features
Noh et al. Adaptive sliding-window strategy for vehicle detection in highway environments
Khan et al. Multi-person tracking based on faster R-CNN and deep appearance features
CN115240130A (zh) 一种行人多目标跟踪方法、装置和计算机可读存储介质
Iraei et al. Object tracking with occlusion handling using mean shift, Kalman filter and edge histogram
Hao et al. Multiple person tracking based on slow feature analysis
Spinello et al. Multimodal People Detection and Tracking in Crowded Scenes.
Ray et al. An efficient approach for object detection and tracking of objects in a video with variable background
CN111862147B (zh) 视频中多车辆和多行人目标的跟踪方法
Xie et al. A multi-object tracking system for surveillance video analysis
Shrestha et al. Vehicle tracking using video surveillance
Wachs et al. Recognizing Human Postures and Poses in Monocular Still Images.
CN114387571A (zh) 基于层次匹配的无监督车辆重识别方法及装置
CN114627339A (zh) 茂密丛林区域对越境人员的智能识别跟踪方法及存储介质
CN108346158B (zh) 基于主块数据关联的多目标跟踪方法及系统
Dhassi et al. Visual tracking based on adaptive mean shift multiple appearance models
Maia et al. Visual object tracking by an evolutionary self-organizing neural network
Wang MRCNNAM: Mask Region Convolutional Neural Network Model Based On Attention Mechanism And Gabor Feature For Pedestrian Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant