CN111242974A - 一种基于孪生网络和反向传播的车辆实时跟踪方法 - Google Patents

一种基于孪生网络和反向传播的车辆实时跟踪方法 Download PDF

Info

Publication number
CN111242974A
CN111242974A CN202010013947.1A CN202010013947A CN111242974A CN 111242974 A CN111242974 A CN 111242974A CN 202010013947 A CN202010013947 A CN 202010013947A CN 111242974 A CN111242974 A CN 111242974A
Authority
CN
China
Prior art keywords
prediction
target
frame
result
forward position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010013947.1A
Other languages
English (en)
Other versions
CN111242974B (zh
Inventor
李骜
罗雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010013947.1A priority Critical patent/CN111242974B/zh
Publication of CN111242974A publication Critical patent/CN111242974A/zh
Application granted granted Critical
Publication of CN111242974B publication Critical patent/CN111242974B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于孪生网络和反向传播的车辆实时跟踪方法，属于智能交通管理技术领域，本发明首先设计了基于孪生网络的前向位置预测，以减少错误检测的干扰，同时进行了反向预测进行验证，以减少前向位置预测方法产生的误匹配，最后基于检测器置信度和前向位置预测置信度得分，通过加权融合的方法得到最终轨迹。本发明具有速度快，跟踪准确率高等优点，适于推广应用。

Description

一种基于孪生网络和反向传播的车辆实时跟踪方法
技术领域
本发明属于智能交通管理技术领域，涉及一种基于孪生网络和反向传播的车辆实时跟踪方法。
背景技术
车辆跟踪是智能交通系统(ITS)的关键技术。它为交通流预测、车辆监控、道路状况分析等应用提供了基础信息。与一般的多目标跟踪(MOT)相比，车辆的运动通常比人的更为规律，这似乎有利于跟踪任务。然而，由于至少两个原因，车辆跟踪面临着更多的挑战。首先，由于车型数量有限，车辆之间的外观相似度普遍高于人。其次，特别是在城市道路上，拥挤的交通常常造成极为严重的车辆间遮挡。现今大多数跟踪器遵循基于检测的跟踪策略，该策略通过相邻帧间的检测器检测结果来进行目标关联。不难理解得是，这种策略的可靠性在很大程度上取决于检测器的精度。然而，由于环境复杂，检测输出往往是存在噪声的。为了解决这一问题，结合多种特征如外观特征和语义特征等的方法被相继提出。
随着深度学习的发展，许多基于深度神经网络的跟踪器被提出用于单目标跟踪(SOT)。其中，一种叫做孪生神经网络的网络结构引起了人们的广泛关注。孪生网络由两个分支组成，一个是以历史帧中的跟踪目标作为输入的模板分支，另一个把当前帧的图像作为输入的检测分支。将这两个分支结合起来，通过提取跟踪对象的深层特征，然后进行卷积运算得到最终得分。得分最高的位置则被认定为目标的跟踪结果。
直观地说，车辆跟踪可以通过直接叠加多个SOT跟踪器来完成。然而，SOT跟踪器在跟踪过程中容易因车辆外观相似性高、遮挡严重而产生混淆，容易导致目标漂移甚至出现虚假目标。一种可行的方法是将SOT跟踪器集成到上述基于检测的跟踪策略中，以减少检测中产生的噪声的干扰，从而增强跟踪的鲁棒性。于是本发明提出通过基于SOT的前向位置预测来校正关联阶段的检测结果。但是，在严重遮挡的情况下，检测器还是会混淆正向预测结果，导致误检率增加。
发明内容
有鉴于此，本发明的目的在于提供一种实时，跟踪准确度高的基于孪生网络和反向预测的车辆跟踪方法，通过孪生神经网络框架进行车辆目标前向位置预测，以及利用反向预测验证的方法和加权融合方法来提升在车辆被严重导致检测器产生的错误检测或漏检情况下的性能。
为达到上述目的，本发明提供如下技术方案：
一种基于孪生网络和反向传播的车辆实时跟踪方法，包括以下步骤：
步骤1：根据输入视频的第一帧图像，初始化激活轨迹集合，保留轨迹集合和结束轨迹集合；
步骤2：把第一帧由检测器得到的检测结果作为激活轨迹里各目标的初始位置；
步骤3：针对下一帧图像，利用激活轨迹里的目标图像和当前帧的图像作为单目标跟踪器SOT的输入，得到预测的目标位置；
步骤4：求取预测目标包围框与检测结果里的候选框之间的重叠面积IOU；
步骤5：选取具有最大IOU的检测结果，如果其与预测结果的IOU大于阈值，则把检测结果当作前向位置预测输出，否则把由SOT预测得到的结果当作前向位置预测的输出；
步骤6：如果前向位置预测结果与前一帧的IOU小于阈值，则将该目标轨迹放入保留轨迹集合，然后开始新一轮的目标跟踪；
步骤7：对于满足条件的前向位置预测结果，将其预测目标图像和前一帧图像当作SOT输入，反向预测在目标前一帧中的位置；
步骤8：如果反向预测验证结果与前一帧中该目标位置满足阈值条件，则认为由前向位置预测得到的结果是准确的，否则把由SOT前向预测的结果当作经过后向预测验证的结果；
步骤9：如果后向预测验证结果与前一帧该目标的IOU满足阈值，通过前向预测的置信度和检测结果的置信度，对得到的结果进行加权融合，将融合后的轨迹加入到激活轨迹集合中；
步骤10：如果后向预测验证结果与前一帧该目标的IOU不满足阈值，加入保留的轨迹集合中；
步骤11：针对保留轨迹集中的轨迹，如果超过一定帧数都还没有匹配的目标，则认为跟踪结束，即将其轨迹加入结束轨迹集合；
步骤12：对于保留轨迹集合中剩下的轨迹，重复前面步骤中的前向位置预测，后向预测验证和加权融合；满足条件则加入激活轨迹集合中，不满足则加入保留轨迹集合中；
步骤13：若还有下一帧，则返回步骤3，反之跟踪结束。
进一步，步骤3所述前向位置预测方法，包括以下内容：
先检测后跟踪的跟踪策略一个主要问题是在检测过程中存在的噪声干扰。因此，本发明提出基于SOT的前向位置预测方法，将所要跟踪的车辆目标和当前帧的图像当作输入，经过孪生神经网络提取各自特征，然后再经过卷积融合，响应最大值点即为预测的车辆目标下一帧的位置，经过线性回归方法得到车辆目标的候选包围框，然后将预测结果与检测器检测结果结合，以提高跟踪性能。
进一步，在步骤7中包括以下内容：
在一定程度上，前向位置预测可以减少因检测器检测不准确或漏检造成跟踪性能下降的影响。然而，在交通拥堵或车辆遮挡严重的情况下，由于车辆之间的外观极其相似，所以需要一种比前向位置预测更加复杂的策略来处理检测产生的噪声，经过实验观察，准确的检测结果需要保证其反向预测结果尽可能与前一帧的相应目标轨迹重叠，因此，为了增强跟踪的鲁棒性，本发明提出了反向预测验证的方法，通过把前向预测得到的下一帧预测位置和前一帧图像作为输入，利用SOT预测目标在前一帧的位置，如果彼此包围框间的重合度高于阈值，则认为是同一目标，反之则不是。
进一步，在步骤9中，经过前向位置预测和后向预测验证，得到了一系列候选包围框，将这些候选框与检测器检测结果融合，得到目标在下一帧的最终位置；融合过程基于预测置信度和检测置信度得分，采用加权平均的方法融合。
进一步，对于在第n帧的第i个轨迹
Figure BDA0002358157620000031
利用SOT进行前向位置预测，得到在下一帧的预测位置
Figure BDA0002358157620000032
即前向位置预测将在第n+1帧中生成新的候选包围框：
Figure BDA0002358157620000033
其中，Fn+1表示第n+1帧图像，然后在第n+1帧中的目标i的候选轨迹
Figure BDA0002358157620000034
表示为：
Figure BDA0002358157620000035
其中
Figure BDA0002358157620000036
是用于前向位置预测的二值权重函数，表示为：
Figure BDA0002358157620000037
其中τf是检测器检测结果的可靠性度量，较小的τf意味着检测器检测结果更可靠，反之亦然；
对于第n+1帧中的每个前向位置预测输出
Figure BDA0002358157620000038
其在前一帧中的反向预测
Figure BDA0002358157620000039
为：
Figure BDA00023581576200000310
然后，经过反向预测验证的修正结果
Figure BDA00023581576200000311
表示为：
Figure BDA0002358157620000041
其中
Figure BDA0002358157620000042
与式(3)中的
Figure BDA0002358157620000043
相似，表示为：
Figure BDA0002358157620000044
其中τb是表示前向位置预测可靠性的参数；
步骤3：对于第n+1帧中的每个目标i，其最终轨迹
Figure BDA0002358157620000045
计算如下：
Figure BDA0002358157620000046
其中，γ是基于前向位置预测置信度
Figure BDA0002358157620000047
和检测置信度
Figure BDA0002358157620000048
的加权合并系数：
Figure BDA0002358157620000049
需要注意的是，在车辆目标被遮挡情况下，轨迹在一定的时间段内(长度为τk帧)被保留，通过插值来补全缺失的轨迹片段。
本发明的有益效果在于：
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明所述基于孪生网络和反向传播的车辆实时跟踪方法的模型示意图；
图2为经过前向位置预测后的结果对比；
图3为经过反向位置预测后的结果对比；
图4为本发明所述加权融合的示意图；
图5为本发明所述基于孪生网络和反向传播的车辆实时跟踪方法流程示意图；
图6为本发明中利用的SOT网络结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
如图1所示，是本发明所述基于孪生网络和反向传播的车辆实时跟踪方法的模型示意图，如图5所示，是本发明所述基于孪生网络和反向传播的车辆实时跟踪方法流程示意图，如图6所示为本发明中利用的SOT网络结构示意图。
下面结合实例来详细阐述本发明的基于孪生网络和反向预测的实时车辆跟踪方法具体实施方式，这里在UA-DETRAC数据集上进行了本发明的性能测试。
UA-DETRAC数据集包含超过10小时的人工标记车辆序列，这些序列在单独的监控摄像机下记录，例如十字路口和城市公路等。它包含了多车辆目标跟踪任务中会遇到的许多复杂情况，包括车辆目标尺度变化、遮挡、运动模糊、夜晚场景、恶劣天气等。
该数据集使用的评估指标与CLEAR MOT评价指标略有不同，后者使用PR曲线计算，并以前缀“PR”表示。为了计算PR-MOTA(总体跟踪精度)，通过逐步改变检测器的阈值来计算2D-PR曲线。然后估计MOTA值，得到2D-PR曲线上每个点的3D曲线。最后的PR-MOTA计算为三维曲线的积分。
其他指标的计算方法类似，如PR-MOTP(跟踪预测包围框与手工标记的包围框重叠百分比)、PR-MT(算法跟踪轨迹与真实轨迹重叠程度超过80％的轨迹数量)、PR-IDs(目标身份切换次数)、PR-FP(误报数量)和PR-FN(丢失目标数量)。
在视频开始的第一帧进行初始化，分别设置三个候选集，分别为Ta，Tk和Tf，分别表示激活的轨迹集，保留的轨迹集和跟踪结束的轨迹集。
对于Ta中的轨迹，依此进行前向位置预测，对于在第n帧的第i个轨迹
Figure BDA0002358157620000061
利用SOT进行前向位置预测，得到在下一帧的预测位置
Figure BDA0002358157620000062
将预测结果与检测器检测结果进行IOU运算，取与前向位置预测结果具有最大IOU的检测结果，如果该结果大于阈值τf，则把检测结果作为当前步骤的最后结果，否则把SOT的预测结果当作当前步骤的最后结果。
如图2所示，在检测器的检测结果中，因为存在噪声的缘故，造成检测器在第30帧丢失了#2目标，而通过利用前向位置预测的方法，将检测器漏掉的结果补全了出来，从而很好的修正了目标丢失的情况。
对由前向位置预测得到的结果
Figure BDA0002358157620000063
再次利用SOT进行反向预测验证，来进一步确定由上一步得到的结果是否正确。
因为当车辆间存在严重遮挡的时候，检测器的检测结果中可能会漏掉被遮挡车辆的结果，当利用前向位置预测去寻找最优结果时，与预测结果
Figure BDA0002358157620000064
具有最大IOU的且满足阈值条件的结果可能来自于被遮挡的车辆。所以仅仅利用前向位置预测不足以应对这样的复杂情况。
如图3所示，在检测器检测结果中漏掉了前车导致前向位置预测的跟踪结果错误，当进行反向预测验证时，会得到不一样的结果，因此可以判断前向位置预测是否正确，从而纠正跟踪结果，得到反向预测验证的结果
Figure BDA0002358157620000065
通过加权融合的方式，把由前向位置预测得到的结果和检测器得到的检测结果依赖各自的置信度得分，通过加权平均的方式进行融合得到最后结果
Figure BDA0002358157620000066
如图4所示，加权融合方法能够缓解检测器可能产生的检测结果漂移，从而有效提升跟踪准确率。
将
Figure BDA0002358157620000067
加入Ta中，如果在当前的Ta没有匹配的轨迹，则将轨迹
Figure BDA0002358157620000068
放入Tk。
针对Tk中的轨迹，如果在τk中都没有出现，则认定跟踪结束，将其归入Tf。
对Tk中剩下的轨迹重复上述的前向位置预测，反向预测验证以及加权融合的步骤，当存在匹配的轨迹，则把该轨迹重新加入Ta,否则加入Tk。
至此完成一次跟踪，重复上述步骤直至跟踪结束。
本发明在UA-DETRAC上的性能表现如下表所示：
表1 UA-DETRAC数据集测试结果
Figure BDA0002358157620000071
本发明和UA-DETRAC数据集上的其他方法对比可以看出，本发明在三个指标优于其他主流方法，即PR-MT，PR-IDs和PR-MOTA。跟踪性能的提高证明了本发明的有效性。
从表1的最后一列可以看出本发明的运行速度达到20.1fps，可用于实时应用。
同时，即使使用性能较低的GPU，该发明的运行速度也比次优方法(DAN，DAN是在NVIDIA GTX Titan GPU上运行)快三倍，证明了本发明的有效性。
除此之外，通过对比实验的方式证明本发明各部分的有效性如表2所述，其中主要包括前向位置预测(FPP)、后向预测验证(BPV)和加权合并(WM)。
表2对比实验
Figure BDA0002358157620000072
方案#4是最终提出的方案，其中包含轨迹缺失片段的插值，而方案#3没有插值。
与IOU跟踪方法相比，本发明提出的三种优化方案在此基础上逐渐提高了跟踪性能，这意味着三种优化方案对整体性能都有各自的贡献。
首先，从表2中可以看出，前向位置预测显著减少了身份切换数量，增加了PR-MT。
同时，后向预测验证可以减轻FPP引起的误报，对比试验#2证实了这一点。
加权合并进一步降低了PR-FP，验证了基于置信度的加权合并方法的有效性。
此外，轨迹缺失片段的插值进一步将PR-IDS降低到非常低的水平，并略微提高了PR-MOTA(约0.4％)。
需要注意的是，在该发明中只有插值操作是离线的，而其他三个部分(前向位置预测、后向预测验证和加权合并)是在线操作。
从表2可以看出，跟踪性能的提高主要是在于三个在线操作，这表明了该发明在在线跟踪场景中运行的有效性。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于孪生网络和反向传播的车辆实时跟踪方法，其特征在于：包括以下步骤：
步骤1：根据输入视频的第一帧图像，初始化激活轨迹集合，保留轨迹集合和结束轨迹集合；
步骤2：把第一帧由检测器得到的检测结果作为激活轨迹里各目标的初始位置；
步骤3：针对下一帧图像，利用激活轨迹里的目标图像和当前帧的图像作为单目标跟踪器SOT的输入，得到预测的目标位置；
步骤4：求取预测目标包围框与检测结果里的候选框之间的重叠面积IOU；
步骤5：选取具有最大IOU的检测结果，如果其与预测结果的IOU大于阈值，则把检测结果当作前向位置预测输出，否则把由SOT预测得到的结果当作前向位置预测的输出；
步骤6：如果前向位置预测结果与前一帧的IOU小于阈值，则将该目标轨迹放入保留轨迹集合，然后开始新一轮的目标跟踪；
步骤7：对于满足条件的前向位置预测结果，将其预测目标图像和前一帧图像当作SOT输入，反向预测在目标前一帧中的位置；
步骤8：如果反向预测验证结果与前一帧中该目标位置满足阈值条件，则认为由前向位置预测得到的结果是准确的，否则把由SOT前向预测的结果当作经过后向预测验证的结果；
步骤9：如果后向预测验证结果与前一帧该目标的IOU满足阈值，通过前向预测的置信度和检测结果的置信度，对得到的结果进行加权融合，将融合后的轨迹加入到激活轨迹集合中；
步骤10：如果后向预测验证结果与前一帧该目标的IOU不满足阈值，加入保留的轨迹集合中；
步骤11：针对保留轨迹集中的轨迹，如果超过一定帧数都还没有匹配的目标，则认为跟踪结束，即将其轨迹加入结束轨迹集合；
步骤12：对于保留轨迹集合中剩下的轨迹，重复前面步骤中的前向位置预测，后向预测验证和加权融合；满足条件则加入激活轨迹集合中，不满足则加入保留轨迹集合中；
步骤13：若还有下一帧，则返回步骤3，反之跟踪结束。
2.根据权利要求1所述的基于孪生网络和反向传播的车辆实时跟踪方法，其特征在于：步骤3所述前向位置预测方法，包括以下内容：
将所要跟踪的车辆目标和当前帧的图像当作输入，经过孪生神经网络提取各自特征，然后再经过卷积融合，响应最大值点即为预测的车辆目标下一帧的位置，经过线性回归方法得到车辆目标的候选包围框，然后将预测结果与检测器检测结果结合。
3.根据权利要求1所述的基于孪生网络和反向传播的车辆实时跟踪方法，其特征在于：在步骤7中包括以下内容：
通过把前向预测得到的下一帧预测位置和前一帧图像作为输入，利用SOT预测目标在前一帧的位置，如果彼此包围框间的重合度高于阈值，则认为是同一目标，反之则不是。
4.根据权利要求1所述的基于孪生网络和反向传播的车辆实时跟踪方法，其特征在于：在步骤9中，经过前向位置预测和后向预测验证，得到了一系列候选包围框，将这些候选框与检测器检测结果融合，得到目标在下一帧的最终位置；融合过程基于预测置信度和检测置信度得分，采用加权平均的方法融合。
5.根据权利要求1所述的基于孪生网络和反向传播的车辆实时跟踪方法，其特征在于：对于在第n帧的第i个轨迹
Figure FDA0002358157610000021
利用SOT进行前向位置预测，得到在下一帧的预测位置
Figure FDA0002358157610000022
即前向位置预测将在第n+1帧中生成新的候选包围框：
Figure FDA0002358157610000023
其中，Fn+1表示第n+1帧图像，然后在第n+1帧中的目标i的候选轨迹
Figure FDA0002358157610000024
表示为：
Figure FDA0002358157610000025
其中
Figure FDA0002358157610000026
是用于前向位置预测的二值权重函数，表示为：
Figure FDA0002358157610000027
其中τf是检测器检测结果的可靠性度量，较小的τf意味着检测器检测结果更可靠，反之亦然；
对于第n+1帧中的每个前向位置预测输出
Figure FDA0002358157610000028
其在前一帧中的反向预测
Figure FDA0002358157610000029
为：
Figure FDA00023581576100000210
然后，经过反向预测验证的修正结果
Figure FDA00023581576100000211
表示为：
Figure FDA00023581576100000212
其中
Figure FDA00023581576100000213
与式(3)中的
Figure FDA00023581576100000214
相似，表示为：
Figure FDA00023581576100000215
其中τb是表示前向位置预测可靠性的参数；
步骤3：对于第n+1帧中的每个目标i，其最终轨迹
Figure FDA0002358157610000031
计算如下：
Figure FDA0002358157610000032
其中，γ是基于前向位置预测置信度
Figure FDA0002358157610000033
和检测置信度
Figure FDA0002358157610000034
的加权合并系数：
Figure FDA0002358157610000035
在车辆目标被遮挡情况下，轨迹在长度为τk帧的时间段内被保留，通过插值来补全缺失的轨迹片段。
CN202010013947.1A 2020-01-07 2020-01-07 一种基于孪生网络和反向传播的车辆实时跟踪方法 Active CN111242974B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010013947.1A CN111242974B (zh) 2020-01-07 2020-01-07 一种基于孪生网络和反向传播的车辆实时跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010013947.1A CN111242974B (zh) 2020-01-07 2020-01-07 一种基于孪生网络和反向传播的车辆实时跟踪方法

Publications (2)

Publication Number Publication Date
CN111242974A true CN111242974A (zh) 2020-06-05
CN111242974B CN111242974B (zh) 2023-04-11

Family

ID=70877678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010013947.1A Active CN111242974B (zh) 2020-01-07 2020-01-07 一种基于孪生网络和反向传播的车辆实时跟踪方法

Country Status (1)

Country Link
CN (1) CN111242974B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931685A (zh) * 2020-08-26 2020-11-13 北京建筑大学 一种基于双向跟踪策略的视频卫星移动目标检测方法
CN112633078A (zh) * 2020-12-02 2021-04-09 西安电子科技大学 目标跟踪自校正方法、系统、介质、设备、终端及应用
CN112859789A (zh) * 2021-01-29 2021-05-28 重庆邮电大学 一种基于cfd构建数据中心数字孪生体的方法及系统
CN113033353A (zh) * 2021-03-11 2021-06-25 北京文安智能技术股份有限公司 基于俯视图像的行人轨迹生成方法、存储介质和电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003020483A1 (en) * 2001-08-29 2003-03-13 General Electric Company Method for removing water and other volatile components from polymer powders
US20030222981A1 (en) * 2002-06-04 2003-12-04 Kisak Jeffrey James Locomotive wireless video recorder and recording system
WO2007023254A2 (en) * 2005-08-26 2007-03-01 Electrosonic Limited Image data processing
CN102592290A (zh) * 2012-02-16 2012-07-18 浙江大学 一种针对水下显微视频的运动目标区域检测方法
CN104008371A (zh) * 2014-05-22 2014-08-27 南京邮电大学 一种基于多摄像机的区域可疑目标跟踪与识别方法
US20160132728A1 (en) * 2014-11-12 2016-05-12 Nec Laboratories America, Inc. Near Online Multi-Target Tracking with Aggregated Local Flow Descriptor (ALFD)
CN107862705A (zh) * 2017-11-21 2018-03-30 重庆邮电大学 一种基于运动特征和深度学习特征的无人机小目标检测方法
US20190147610A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. End-to-End Tracking of Objects
WO2019136479A1 (en) * 2018-01-08 2019-07-11 The Regents On The University Of California Surround vehicle tracking and motion prediction
CN110135314A (zh) * 2019-05-07 2019-08-16 电子科技大学 一种基于深度轨迹预测的多目标跟踪方法
CN110210551A (zh) * 2019-05-28 2019-09-06 北京工业大学 一种基于自适应主体敏感的视觉目标跟踪方法
CN110223324A (zh) * 2019-06-05 2019-09-10 东华大学 一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003020483A1 (en) * 2001-08-29 2003-03-13 General Electric Company Method for removing water and other volatile components from polymer powders
US20030222981A1 (en) * 2002-06-04 2003-12-04 Kisak Jeffrey James Locomotive wireless video recorder and recording system
WO2007023254A2 (en) * 2005-08-26 2007-03-01 Electrosonic Limited Image data processing
CN102592290A (zh) * 2012-02-16 2012-07-18 浙江大学 一种针对水下显微视频的运动目标区域检测方法
CN104008371A (zh) * 2014-05-22 2014-08-27 南京邮电大学 一种基于多摄像机的区域可疑目标跟踪与识别方法
US20160132728A1 (en) * 2014-11-12 2016-05-12 Nec Laboratories America, Inc. Near Online Multi-Target Tracking with Aggregated Local Flow Descriptor (ALFD)
US20190147610A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. End-to-End Tracking of Objects
CN107862705A (zh) * 2017-11-21 2018-03-30 重庆邮电大学 一种基于运动特征和深度学习特征的无人机小目标检测方法
WO2019136479A1 (en) * 2018-01-08 2019-07-11 The Regents On The University Of California Surround vehicle tracking and motion prediction
CN110135314A (zh) * 2019-05-07 2019-08-16 电子科技大学 一种基于深度轨迹预测的多目标跟踪方法
CN110210551A (zh) * 2019-05-28 2019-09-06 北京工业大学 一种基于自适应主体敏感的视觉目标跟踪方法
CN110223324A (zh) * 2019-06-05 2019-09-10 东华大学 一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘慧;张礼帅;沈跃;张健;吴边;: "基于改进SSD的果园行人实时检测方法" *
李玺;查宇飞;张天柱;崔振;左旺孟;侯志强;卢湖川;王菡子;: "深度学习的目标跟踪算法综述" *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931685A (zh) * 2020-08-26 2020-11-13 北京建筑大学 一种基于双向跟踪策略的视频卫星移动目标检测方法
CN111931685B (zh) * 2020-08-26 2021-08-24 北京建筑大学 一种基于双向跟踪策略的视频卫星移动目标检测方法
CN112633078A (zh) * 2020-12-02 2021-04-09 西安电子科技大学 目标跟踪自校正方法、系统、介质、设备、终端及应用
CN112633078B (zh) * 2020-12-02 2024-02-02 西安电子科技大学 目标跟踪自校正方法、系统、介质、设备、终端及应用
CN112859789A (zh) * 2021-01-29 2021-05-28 重庆邮电大学 一种基于cfd构建数据中心数字孪生体的方法及系统
CN112859789B (zh) * 2021-01-29 2024-02-06 重庆邮电大学 一种基于cfd构建数据中心数字孪生体的方法及系统
CN113033353A (zh) * 2021-03-11 2021-06-25 北京文安智能技术股份有限公司 基于俯视图像的行人轨迹生成方法、存储介质和电子设备

Also Published As

Publication number Publication date
CN111242974B (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
CN111242974B (zh) 一种基于孪生网络和反向传播的车辆实时跟踪方法
Liang et al. Pnpnet: End-to-end perception and prediction with tracking in the loop
CN109636829B (zh) 一种基于语义信息和场景信息的多目标跟踪方法
JP6944598B2 (ja) 目標追跡方法及び装置、記憶媒体
Huang et al. Robust object tracking by hierarchical association of detection responses
CN113506317B (zh) 一种基于Mask R-CNN和表观特征融合的多目标跟踪方法
CN105930833B (zh) 一种基于视频监控的车辆跟踪与分割方法
CN102567380A (zh) 在视频图像中检索车辆信息的方法
Zhao et al. Unsupervised Traffic Anomaly Detection Using Trajectories.
Fang et al. Camera and LiDAR fusion for on-road vehicle tracking with reinforcement learning
Nabati et al. Cftrack: Center-based radar and camera fusion for 3d multi-object tracking
Zou et al. Joint headlight pairing and vehicle tracking by weighted set packing in nighttime traffic videos
Wan et al. Multiple object tracking by trajectory map regression with temporal priors embedding
Paravarzar et al. Motion prediction on self-driving cars: A review
CN105809718A (zh) 一种轨迹熵最小化的对象跟踪方法
Prokaj et al. Using 3d scene structure to improve tracking
Gad et al. Real-time lane instance segmentation using segnet and image processing
Lim et al. Event-driven track management method for robust multi-vehicle tracking
CN109344712B (zh) 一种道路车辆跟踪方法
Li et al. Real-time tracking of vehicles with siamese network and backward prediction
Qiao et al. A lane recognition based on line-CNN network
Gao et al. Beyond group: Multiple person tracking via minimal topology-energy-variation
Fu et al. A real-time multi-vehicle tracking framework in intelligent vehicular networks
CN110428447B (zh) 一种基于策略梯度的目标跟踪方法与系统
CN115100565B (zh) 一种基于空间相关性与光流配准的多目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant