CN108447080A - 基于分层数据关联和卷积神经网络的目标跟踪方法、系统和存储介质 - Google Patents

基于分层数据关联和卷积神经网络的目标跟踪方法、系统和存储介质 Download PDF

Info

Publication number
CN108447080A
CN108447080A CN201810175534.6A CN201810175534A CN108447080A CN 108447080 A CN108447080 A CN 108447080A CN 201810175534 A CN201810175534 A CN 201810175534A CN 108447080 A CN108447080 A CN 108447080A
Authority
CN
China
Prior art keywords
tracking
segment
target
similarity
confidence level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810175534.6A
Other languages
English (en)
Other versions
CN108447080B (zh
Inventor
王轩
孟东伟
漆舒汉
蒋琳
廖清
姚霖
李晔
关键
刘泽超
吴宇琳
李化乐
贾丰玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN201810175534.6A priority Critical patent/CN108447080B/zh
Publication of CN108447080A publication Critical patent/CN108447080A/zh
Application granted granted Critical
Publication of CN108447080B publication Critical patent/CN108447080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于分层数据关联和卷积神经网络的目标跟踪方法、系统和存储介质，其方法包括：获取跟踪目标的当前视频帧的检测响应以及当前视频帧之前的所有视频帧的跟踪片段；为每一条跟踪片段计算其置信度，其中，跟踪片段置信度是指当前已经完成部分连接的跟踪片段的可信赖程度；根据置信度的大小，将所有的跟踪片段分为高可靠度跟踪片段和低可靠度跟踪片段两部分，并以当前视频帧的检测响应为关联对象，为高可靠度跟踪片段进行局部数据关联处理，为低可靠度跟踪片段进行全局数据关联处理。本发明可以有效降低关联算法的时间复杂度，能够有效缓解在跟踪的过程中出现的局部遮挡问题，同时可以实现算法的鲁棒性和实时性的均衡。

Description

基于分层数据关联和卷积神经网络的目标跟踪方法、系统和 存储介质
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于分层数据关联和卷 积神经网络的目标跟踪方法、系统和存储介质。
背景技术
目前，随着社会的发展，人们对于人工智能应用的需求越来越大，几乎 涵盖了社会生活中的各个方面，人们也希望能够在视频相关领域实现智能化。 尤其是近几年来计算机视觉相关技术以及硬件平台的快速发展，使得人工智 能在视频领域的应用成为了可能。目前，世界上各个国家越来越多的人开始 投入到计算机视觉领域的分析与研究当中，并取得了巨大的成就。然而由于 拍摄场景、拍摄角度复杂多样，不同的光照强度、场景的复杂程度都会对拍 摄的视频质量产生重要的影响。因此，许多计算机视觉技术在实际视频应用中还存在许多难点问题需要去解决，多目标跟踪技术便是其中之一。在多目 标跟踪领域，目标所处的背景复杂，有的含有很多噪音，而且多个不同的目 标之间存在表观相似及相互遮挡等问题，使得在视频中实现鲁棒性和实时性 的多目标跟踪充满了挑战性。
在整个视频序列中，多目标跟踪要始终维持所有目标的身份标记，以及 所有目标的尺寸、位置等信息，防止跟丢、跟错等情况的发生。多目标跟踪 的主要过程如下：首先，利用摄像机进行场景拍摄，拍摄的视频就是多目标 跟踪需要处理的对象；然后利用目标检测算法对每一帧中的检测响应进行提 取，包括目标的位置及尺寸信息，获得每一帧中的所有的目标的位置、尺寸 信息之后，需要进行一个数据关联的过程，即对每一帧中出现的所有目标进 行标号，要求同一个目标在整个视频序列中的标号唯一，且不能出现漏标的 情况，最后将每一帧中拥有相同标号的目标连接起来，获取它们的位置、尺 寸、速度等信息，进行一个平滑处理，就可以获得所求的目标轨迹，上述类 型的算法被称为基于数据关联的多目标跟踪算法。
多目标跟踪在现实生活中具有广泛的应用场景。越来越多的机构及科研 人员投入到了多目标跟踪问题的研究当中，并取得了巨大的进步，但取得的 效果并不理想，其原因如下：
(1)遮挡问题：遮挡问题是多目标跟踪里面十分严重的问题，也是许多 目标跟踪算法企图避免或解决的问题。多目标跟踪中的遮挡问题主要可以分 为以下三种情况：要跟踪的目标被视频序列中的其他物体遮挡，从目标进入 遮挡区域到目标离开遮挡区域的时间段内，无法获取该目标的表观信息及运 动信息，当目标再次出现时，无法将该目标与前面的跟踪轨迹连接，导致跟 踪片段断裂；跟踪的目标之间相互遮挡，当两个目标在运动的过程中出现了 交叉，发生了位置交换或者是两个目标的位置距离较近，若是两个目标的表观信息相近，则当两个目标再次分开时，可能出现身份交换的问题；目标自 身的遮挡，目标在运动的过程中，出现了剧烈的形变，自身的某些部位遮挡 住了其他部分，导致无法很好的提取其表观信息。目前许多算法都提出了处 理遮挡问题的一些方案，但出现严重遮挡或长期遮挡时，这些算法的效果并 不理想，这些算法也无法在目标丢失的情况下如何重新获取这些目标。
(2)目标之间的相似性：当跟踪的场景属于密集场景时，即在每一幅画 面中，都存在大量的需要进行跟踪的目标，此时想要获取这些目标全部的表 观信息较为困难，只能获得局部的表观信息，例如在密集场景下对行人进行 跟踪，只能看到行人上半身的状态甚至是只能看到头部，此时提取的表观特 征极为相似，而且他们之间的位置也会十分接近，如何准确的将各个目标区 分开成为一个难点问题。
(3)鲁棒性和实时性的均衡：在多目标跟踪时，首先要进行目标检测的 过程，然后计算检测响应之间的相似度，再根据该相似度进行关联优化，关 联完成后还要处理身份交换、遮挡等问题，这几个过程中都需要大量的计算， 但在现实应用的场景中，不仅要关注算法的鲁棒性，还要求算法能够实时的 分析问题、处理问题。
发明内容
本发明提供一种基于分层数据关联和卷积神经网络的目标跟踪方法、系 统和存储介质，可以有效降低关联算法的时间复杂度，有效缓解在跟踪的过 程中出现的局部遮挡问题，实现算法的鲁棒性和实时性的均衡。
为实现上述目的，本发明提供一种基于分层数据关联和卷积神经网络的 目标跟踪方法，包括以下步骤：
获取跟踪目标的当前视频帧的检测响应以及当前视频帧之前的所有视频 帧的跟踪片段；
为每一条跟踪片段计算其置信度，其中，跟踪片段置信度是指当前已经 完成部分连接的跟踪片段的可信赖程度；
根据置信度的大小，将所有的跟踪片段分为高可靠度跟踪片段和低可靠 度跟踪片段两部分，并以当前视频帧的检测响应为关联对象，为高可靠度跟 踪片段进行局部数据关联处理，为低可靠度跟踪片段进行全局数据关联处理， 其中，全局数据关联处理结合卷积神经网络实现。
其中，所述方法还包括：
在完成数据关联处理之后，更新跟踪目标的跟踪状态；
更新每一个跟踪片段的置信度，进入下一帧的处理，一直到视频结束。
其中，所述获取跟踪目标的当前视频帧的检测响应以及当前视频帧之前 的所有视频帧的跟踪片段的步骤之前，所述方法还包括：
定义跟踪片段置信度的计算方式，所述跟踪片段置信度是指当前已经完 成部分连接的跟踪片段的可信赖程度，其中，跟踪片置信度的大小考虑因素 包括：可观测度、遮挡程度、段内相似度。
其中，所述以当前视频帧的检测响应为关联对象，为高可靠度跟踪片段 进行局部数据关联处理的步骤包括：
将高可靠度跟踪片段同当前视频帧的检测响应相连接，在连接过程中， 计算当前所有的跟踪片段和该帧内所有的检测响应之间的相似度，所述跟踪 片段和该帧内所有的检测响应之间的相似度，以跟踪片段和检测响应之间的 亲和度通过矩阵方式表征，连接亲和度大于预设阈值的跟踪片段和检测响应 对。
其中，所述以当前视频帧的检测响应为关联对象，为低可靠度跟踪片段 进行全局数据关联处理的步骤中包括：
对低可靠度跟踪片段进行遮挡漂移处理；其中：
对低可靠度跟踪片段进行遮挡处理包括：
将被遮挡的目标的背景框分成多个小块，每个小块赋予不同的权重，在 计算表观相似度时，除了计算整体的表观相似度以外，同时计算对应小块的 相似度，然后综合判定两个目标整体的相似度；
对低可靠度跟踪片段进行漂移处理包括：
将跟踪片段和相对较远距离的目标检测响应进行连接。
其中，所述方法还包括：
在目标跟踪过程中，计算两个目标相似度时，从两个目标的表观相似度、 运动相似度以及尺寸相似度三个方面考虑，将相似度度量模型定义为这三个 方面乘积的形式；其中，基于多通道卷积神经网络实现表观相似度模型，基 于卡尔曼滤波实现运动相似度模型。
其中，所述方法还包括：
在数据关联处理过程中，对跟踪片段进行管理。
其中，所述方法还包括：
对跟踪算法进行有效性检测。
此外，本发明还提出一种基于分层数据关联和卷积神经网络的目标跟踪 系统，包括存储器、处理器以及存储在所述存储器上的计算机程序，所述计 算机程序被所述处理器运行时实现如上所述的方法的步骤。
此外，本发明还提出一种计算机可读存储介质，所述计算机可读存储介 质上存储有计算机程序，所述计算机程序被处理器运行时实现如上所述的方 法的步骤。
本发明的有益效果是：
本发明提出的基于分层数据关联和卷积神经网络的目标跟踪方法、系统 和存储介质，采用了一种新的数据关联方式和表观相似度计算方式，在数据 关联方面，为每一条跟踪片段计算其置信度，根据置信度的大小，将所有的 跟踪片段分为高可靠度跟踪片段和低可靠度跟踪片段两部分，并为高可靠度 跟踪片段进行局部数据关联处理，为低可靠度跟踪片段进行全局数据关联处 理，可以有效降低关联算法的时间复杂度。在全局数据关联过程中可能出现 遮挡情况时，将跟踪目标分成若干个小块，利用两个目标之间对应小块的相似度来计算两个目标整体的相似度，能够有效缓解在跟踪的过程中出现的局 部遮挡问题。同时可以实现算法的鲁棒性和实时性的均衡。
附图说明
图1是本发明实施例提出的基于分层数据关联和卷积神经网络的目标跟 踪方法的流程示意图；
图2-1是本发明算法框架示意图；
图2-2是本发明算法中数据关联示意图；
图2-3是本发明算法中置信度变化与遮挡关系图；
图2-4是本发明算法中全局数据关联示意图；
图2-5是本发明算法中目标轨迹遮挡示意图；
图2-6是本发明算法中目标分块示意图；
图3-1是本发明算法中基于双通道神经网络的相似度计算模型；
图3-2是本发明算法中基于卷积神经网络的相似度计算模型；
图3-3是本发明算法中CUHK数据集与实际跟踪数据集对比图；
图3-4是本发明算法中遮挡情况示意图；
图4-1是本发明算法中2D MOT 2016数据集示意图；
图4-2是本发明算法中身份交换及断链问题示意图；
图4-3是本发明算法中相似度算法计算结果示例图；
图4-4是本发明算法中ETH-Bahnhof视频序列上跟踪结果示意图；
图4-5是本发明算法中PETS09-S2L1视频序列上跟踪结果示意图；
图4-6是本发明算法中跟踪结果示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步 说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限 定本发明。
具体地，请参照图1，图1是本发明实施例提出的一种基于分层数据关联 和卷积神经网络的目标跟踪方法的流程示意图。
如图1所示，本发明实施例提出的一种基于分层数据关联和卷积神经网 络的目标跟踪方法，包括以下步骤：
步骤S1，获取跟踪目标的当前视频帧的检测响应以及当前视频帧之前的 所有视频帧的跟踪片段；
步骤S2，为每一条跟踪片段计算其置信度，其中，跟踪片段置信度是指 当前已经完成部分连接的跟踪片段的可信赖程度；
其中，跟踪片置信度的大小考虑因素包括：可观测度、遮挡程度、段内 相似度。
步骤S3，根据置信度的大小，将所有的跟踪片段分为高可靠度跟踪片段 和低可靠度跟踪片段两部分，并以当前视频帧的检测响应为关联对象，为高 可靠度跟踪片段进行局部数据关联处理，为低可靠度跟踪片段进行全局数据 关联处理，其中，全局数据关联处理结合卷积神经网络实现。
其中，在完成数据关联处理之后，更新跟踪目标的跟踪状态；
更新每一个跟踪片段的置信度，进入下一帧的处理，一直到视频结束。
本实施例中，以当前视频帧的检测响应为关联对象，为高可靠度跟踪片 段进行局部数据关联处理的步骤包括：
将高可靠度跟踪片段同当前视频帧的检测响应相连接，在连接过程中， 计算当前所有的跟踪片段和该帧内所有的检测响应之间的相似度，所述跟踪 片段和该帧内所有的检测响应之间的相似度，以跟踪片段和检测响应之间的 亲和度通过矩阵方式表征，连接亲和度大于预设阈值的跟踪片段和检测响应 对。
本实施例中，以当前视频帧的检测响应为关联对象，为低可靠度跟踪片 段进行全局数据关联处理的步骤中包括：
对低可靠度跟踪片段进行遮挡漂移处理；其中：
对低可靠度跟踪片段进行遮挡处理包括：
将被遮挡的目标的背景框分成多个小块，每个小块赋予不同的权重，在 计算表观相似度时，除了计算整体的表观相似度以外，同时计算对应小块的 相似度，然后综合判定两个目标整体的相似度；
对低可靠度跟踪片段进行漂移处理包括：
将跟踪片段和相对较远距离的目标检测响应进行连接。
其中，在目标跟踪过程中，计算两个目标相似度时，从两个目标的表观 相似度、运动相似度以及尺寸相似度三个方面考虑，将相似度度量模型定义 为这三个方面乘积的形式；其中，基于多通道卷积神经网络实现表观相似度 模型，基于卡尔曼滤波实现运动相似度模型。
在数据关联处理过程中，还包括对跟踪片段进行管理。
相比现有技术，本发明采用了一种新的数据关联方式和表观相似度计算 方式，在数据关联方面，为每一条跟踪片段计算其置信度，根据置信度的大 小，将所有的跟踪片段分为高可靠度跟踪片段和低可靠度跟踪片段两部分， 并为高可靠度跟踪片段进行局部数据关联处理，为低可靠度跟踪片段进行全 局数据关联处理，可以有效降低关联算法的时间复杂度。在全局数据关联过 程中可能出现遮挡情况时，将跟踪目标分成若干个小块，利用两个目标之间 对应小块的相似度来计算两个目标整体的相似度，能够有效缓解在跟踪的过 程中出现的局部遮挡问题。同时可以实现算法的鲁棒性和实时性的均衡。
以下对本发明实施例方案进行详细阐述：
本发明是一种视频多目标跟踪算法。本发明采用了一种新的数据关联方 式和表观相似度计算方式。在数据关联方面，为每一条跟踪片段计算其置信 度，根据置信度的大小，将所有的跟踪片段分为高可靠度跟踪片段和低可靠 度跟踪片段两部分，并为高可靠度跟踪片段进行局部数据关联处理，为低可 靠度跟踪片段进行全局数据关联处理，可以有效降低关联算法的时间复杂度。 在全局数据关联过程中可能出现遮挡情况时，将跟踪目标分成若干个小块， 利用两个目标之间对应小块的相似度来计算两个目标整体的相似度，能够有 效缓解在跟踪的过程中出现的局部遮挡问题。
在相似度计算方面，本发明将基于卷积神经网络的表观模型与基于卡尔 曼滤波的运动模型相结合来计算两个目标的相似度分数。首先在辅助训练集 上训练一个卷积神经网络，将需要比较的两个目标图片进行尺度变换，得到 多张图片，将多张图片合并为一张多通道的图片送入卷积神经网络后得到两 个目标的表观相似度分数，然后利用卡尔曼滤波算法预测目标在当前帧的运 动状态，计算其与当前帧检测响应的运动状态的相似度。
如图2所示，图2是本发明算法框架示意图。
在数据关联的过程中，当前帧的检测响应可能与现有的多个跟踪片段具 有较高的相似度，确定该类检测响应与哪一个跟踪片段相关联是数据关联中 的一个难点问题。本发明通过实验发现，在前t-1帧中，关联正确度越高的 片段，在当前帧关联成功的概率就越高，本发明在关联的过程中优先考虑这 部分跟踪片段的连接，在一定程度上可以提高关联的准确度与时间效率。本 发明首先重新定义了跟踪片段置信度的计算方式，跟踪片段置信度是指当前 已经完成部分连接的跟踪片段的可信赖程度。在第t帧时，通过置信度的计算，可以将前t-1帧中所有的跟踪片段分为两类，置信度超过某一阈值的称 为高可靠度跟踪片段，低于该阈值的称为低可靠度跟踪片段。在求得所有跟 踪片段的置信度之后，首先将高可靠度的跟踪片段同当前帧的检测响应相连 接，因为通过实验发现，高可靠度跟踪片段数据关联成功的概率远大于低可 靠度跟踪片段关联成功的概率，先对高可靠度的跟踪片段进行数据关联，既 可以保证高可靠度跟踪片段关联成功率，又可以减少低可靠跟踪片段候选集 合的大小，进而提高整体的关联成功率。低可靠度跟踪片段关联成功的概率 低于高可靠度的跟踪片段一般是因为该关联片段出现了遮挡或漂移等问题， 因此在低可靠度跟踪片段关联过程中，还要针对漂移、遮挡等情况进行处理。 当完成数据关联之后，还要判断是否有新的跟踪目标出现或者是否有目标可 以结束跟踪。完成上述过程之后，需要更新每一个跟踪片段的置信度，进入 下一帧的处理，一直到视频结束。本发明设计的整体跟踪框架图2-1所示:
以下对本发明算法框架中的置信度计算方式、高可靠度跟踪片段关联过 程、低可靠度跟踪片段关联过程以及跟踪片段管理的过程进行详细介绍。
2.2.1.2置信度设计
如图2-2所示，图2-2是本发明算法中数据关联示意图。
在第t帧时，前t-1帧的检测响应已经连接成跟踪片段，图中t1、t2和t3 就代表已经连接好的跟踪片段，图中的d1、d2、d3和d4代表第t帧的检测响 应，数据关联的过程就是要将前t-1帧的三个跟踪片段与第t帧的四个检测响 应连接在一起。通过距离、表观相似度等约束，t1可能与d1、d2相连，t2可 能与d2、d3相连，其中，d2既是t1的候选集合，又是t2的候选集合，所有 的类似d2这样的元素组成了冲突集合。跟踪片段和检测响应的关联方式主要 分为两种，第一种首先选择与t1相似度最高的检测响应与t1进行关联，然后 再在剩余的检测响应里面选择与t2相似度最高的进行关联，以此类推。第二 种则是在所有可能的组合中选择相似度总和最高的方案进行关联。第一种方 法时间复杂度低，但准确度低于第二种，第二种方式可能面临组合爆炸的问 题。本发明通过利用跟踪片段的置信度，将跟踪片段分成高可靠度和低可靠 度两种，再依次采用第二种关联方式，这样可以结合两种关联方式的优势。
跟踪片段置信度反应了跟踪片段的可靠程度，可以直观的理解为多目标 跟踪框架所构造的目标轨迹和真实的目标轨迹的匹配程度，匹配度越高，已 完成关联的跟踪片段的可信赖程度越高，则置信度越高。跟踪片段置信度的 大小主要从如下几个方面考虑：
(1)可观测度若一个跟踪片段对应的跟踪目标在大部分帧内都能被很 好的检测到，则认为该跟踪片段是可靠的，反之，若该片段对应的跟踪目标 在多帧内都无法检测到，则认为该片段具有较低的置信度，因此，跟踪片段 置信度的高低和该片段对应的跟踪目标的可检测程度成正比关系；
(2)遮挡程度若一个跟踪片段对应的跟踪目标在大部分帧内都没有被 遮挡，则可以很好的提取该目标的表观特征，后续计算得到的相似度可靠性 就会很高，关联正确的可能性就会很高，因此，此类跟踪片段的置信度应该 较高。另外，当跟踪片段被遮挡时，则它的置信度应该降低，遮挡过后，置 信度应该回升，其变化情况如图2-3所示，通过置信度的变化，可以对是否出 现了遮挡进行一个简单的判断；
(3)段内相似度若一个跟踪片段对应的跟踪目标发生了较大的变化， 比如表观变化、尺寸变化或者运动状态变化等，则该片段可能出现了身份交 换问题或跟踪漂移的问题，则该跟踪片段的置信度应该较低。
综上，跟踪片段r在第t帧时的置信度的定义如公式(3-1)所示。
式中Φ(X,Y)——X，Y的相似度，X，Y既可以是跟踪片段，也可以是检测响 应；
L——跟踪片段r的长度；
rs——跟踪片段r在视频序列中第一次出现的帧的索引；
re——跟踪片段r在视频序列中最后出现的帧的索引；
vr(k)——跟踪片段r对应的目标能否在第t帧检测到的标志位。
因此，L的计算方式如公式(3-2)所示。
L＝re-rs+1 (0-2)
2.2.1.3局部数据关联
通过公式(3-1)，在t帧时，可以得到前t-1帧连接完成的所有跟踪片段的 置信度的值，根据跟踪片段置信度的大小，可以将跟踪片段分为高可靠度跟 踪片段和低可靠度跟踪片段，首先对高可靠度跟踪片段进行数据关联，在关 联时，只考虑前t-1帧的高可靠度跟踪片段与第t帧的检测响应之间的连接， 因此高可靠度跟踪片段的数据关联又称为局部数据关联。在线多目标跟踪的 框架中，数据关联问题可以看成是跟踪片段和当前帧的检测响应的匹配问题， 满足一对一的约束条件，匹配对象的选择则根据跟踪片段和检测响应相似度 的大小进行。
令R＝{r1,r2,...,rm}表示截止到当前帧为止，已经存在的所有的跟踪片段的集合，令D＝{d1,d2,...,dn}表示当前帧中所有的检测响应的集合，局部数据关联就 是R与D之间进行二分图匹配，匹配度为ri和dj的相似程度，其影响因素有多 个，包括它们的运动状态、尺寸、位置以及表观模型等，在本发明中仅考虑 位置、尺寸以及表观模型三个因素。在每一帧中，需要计算当前所有的跟踪 片段和该帧内所有的检测响应之间的相似度，并用矩阵F来表示，F的定义 如公式(3-3)所示。
F＝[f(ri,dj)]m×n (0-3)
式中f(ri,dj)——跟踪片段i和检测响应j之间的亲和度。
在高可靠性跟踪的过程中，只连接亲和度大于某一阈值的跟踪片段和检 测响应对，在求得矩阵F后，采用贪婪算法进行数据关联。f(ri,dj)的计算方 法如公式(3-4)所示。
运动、尺寸、表观的亲和度的取值范围为0～1，f(ri,dj)的值越大，表示 跟踪片段i和检测响应j之间的匹配度越高，即它们属于同一目标的可能性越 大。当利用贪婪算法进行数据关联时，每次选取的跟踪片段和目标检测响应 对的亲和度都是矩阵中的最大值，且为正数。因此，通过设定某个阈值，可 以减少一些错误的连接，尤其是在当前跟踪目标和某一较远距离的检测响应 具有相似的尺寸和表观的情形下，由于连续的两帧或若干帧之间的时间间隔 较短，目标不可能运动到较远的距离，因此通过该阈值的设定，可以避免该 情形下跟踪片段和检测响应之间的连接，此外，由于f(ri,dj)是乘积的形式， 当位置亲和度为0时，f(ri,dj)的值的大小必然为0，此时不必计算尺寸以及 表观的相似度，在一定程度上，可以降低时间复杂度。
2.1.2.3全局数据关联
在处理完成高可靠度跟踪片段的关联之后，还需要对低可靠度跟踪片段 进行关联，与高可靠度跟踪片段的关联过程相比，低可靠度跟踪片段数据的 关联对象不再仅仅是第t帧的检测响应，还包括其他的跟踪片段。因为在前面 的视频序列的关联过程中，有的目标可能由于遮挡或者是漏检的情况，导致 没有被关联上，实际的目标轨迹中间被断开，或者是原本属于一个目标的一 条运动轨迹变成了两条，如图2-4所示。
图2-4中颜色相同的跟踪片段代表属于同一跟踪目标，但中间可能由于遮 挡、漏检等情况导致一条完整的跟踪片段被分成了两部分。因此，在低可靠 度跟踪片段数据关联阶段，不再只是关联第t帧的检测响应，还有前面的断开 的跟踪片段，低可靠度跟踪片段数据关联因此被称为全局数据关联。除了进 行上述关联过程之外，在全局数据关联阶段，还要对可能存在的遮挡、漏检、 漂移等情况进行处理，防止跟踪片段断链的情况。
全局数据关联处理
在第t帧时，通过计算置信度，将第t帧中所有的跟踪片段分为两部分， 假设共存在h条高可靠度跟踪片段和l条低可靠度跟踪片段，所有的高可靠度 跟踪片段集合用表示，所有的具有低可靠度的跟 踪片段的集合可以用表示。同时假设在局部数据关 联之后，第t帧剩余n个检测响应没有被任何一个高可靠度跟踪片段关联上， n个检测响应的集合用表示，低可靠度的跟踪片段的关联情况则可以 分为以下三种：
情况1：低可靠度的跟踪片段同高可靠度的跟踪片段连接在一起；
情况2：低可靠度的跟踪片段终止；
情况3：低可靠度的跟踪片段同当前帧的检测响应连接在一起。
同局部数据关联过程类似，本发明将局部数据关联阶段的代价矩阵定义 为公式(3-5)的形式。
其中，A＝[aij]表示情况1，B＝diag[b1,...,bl]表示情况2，代表在第t帧终止跟踪片段r需要付出的代价，C＝[cij]表示 情况3，同局部数据关联相同，需要设置一个阈值θ，以此 来排除一些不可能的连接情况。
当完成局部连接之后，需要对每一条跟踪片段重新计算置信度，并更新 当前每一条跟踪片段的状态，每一条跟踪片段的状态包括了其所对应的跟踪 目标在视频帧中的位置、尺寸以及速度信息。同时对没有关联成功的跟踪片 段判断是否出现了遮挡情况，并进行进一步的处理。
遮挡处理
遮挡问题是多目标跟踪研究中最困难的问题之一，由于遮挡问题的存在， 导致一些目标会出现漏检或者是无法提取到有效表观特征的情况，将会对数 据关联过程产生重要的影响，一般会出现身份交换或分段数远大于真实基准 数据中的轨迹数量。当出现遮挡问题时，主要有两个难点问题需要解决，第 一是如何在目标受到遮挡的情况下有效的提取特征进行相似度计算，第二， 在复杂的场景下，目标被其他目标或背景中的障碍物遮挡，且目标的运动方 向发生了变化。
如图2-5所示，当目标再次出现时，无法根据原有的运动模型预测出目标 出现的位置，同时，目标出现的实际位置超出了在关联过程中设定的距离约 束，即超出了原有的搜索范围。
针对上述第二个问题，本发明中的关联过程中的位置距离约束不再是一 个常量，而是改为一个变量，用来表示，其定义如公式(3-6)所示。
相对于局部数据关联过程，在处理遮挡时允许有效数据关联的范围相对 较大，的大小取决于跟踪目标的宽度和跟踪片段置信度的大小，一般 情况下，置信度越低，的值越大，即跟踪片段可以和相对较远距离的目标 检测响应进行连接。因为置信度越低说明跟踪发生了漂移，运动轨迹变化较 大，因此应扩大数据关联的范围。
为了解决全局关联中第一个问题，本发明将被遮挡的目标的背景框分成 多个小块，每个小块赋予不同的权重，在计算表观相似度时，除了计算整体 的表观相似度以外，同时计算对应小块的相似度，然后综合判定两个目标是 否为同一个目标。如图2-6所示，当出现遮挡时，本发明将目标的背景框分为 了六块，第一块及背景框本身，后面的五块每一块都只包含了整个目标背景 框的一部分，分别是背景框的中间上下左右五部分，当一个目标被遮挡时， 很多情况下目标只是被遮挡住了一部分，虽然全局的特征提取效果不好，但 是某一个部分有很大概率是没有被遮挡的，基于此，当目标局部被遮挡时， 希望能够通过没有被遮挡的部分来判定两个目标的相似度。
为了提高计算效率，在分块计算两个目标的相似度的时候，本发明采用 一种相对简单的方式。假设需要计算两个目标A和B的相似度，则用A和B 的加权环形颜色直方图的欧式距离来度量，这里并没有考虑两个目标的运动 状态相似度，加权环形颜色直方图与传统的颜色直方图相比，对图片中的每 一个像素都加了一个权值，像素离中心点的距离越远，则权值越小。则A和 B的相似度定义如公式(3-7)所示。
式中Ak——目标A的第k个小块；
Bk——目标B的第k个小块；
d(Ak,Bk)——两个小块的加权环形颜色直方图的欧式距离；
wk——每个小块的权值。
wk具体定义如公式(3-8)所示。
式中σ(d(Ak,Bk),k＝1,..,N)——目标框中所有小块的相应的欧氏距离的方差。
由上面的公式可以看出，某个位置对应的小块的距离度量值的大小和该 块的权重大小成正比关系。
在跟踪的过程中，随时可能有新的目标加入到视频序列中，也随时可能有 目标离开视频监控范围，因此需要实时判断每一帧中是否有新的目标出现或 消失。在本发明中，设定了两个阈值，一个是目标检测响应分数的值，一个 是帧数的阈值，本发明中设置为4帧，在跟踪的过程中，如果连续5帧内， 在某一个范围内都检测到了有新的目标存在，则判定新出现了一个目标。判 定一个目标消失的过程同上述过程类似，即当一个目标连续8帧内没有出现， 则认为该目标消失。但不同的是，当一个目标消失后，有可能会再次出现， 且当这个目标重新出现时，需要与前面的跟踪片段重新进行连接，且属于该 目标的身份编号保持不变。
2.2.2目标相似度度量模型设计
2.2.2.1相似度度量模型设计
在计算两个目标相似度时，本发明从两个目标的表观相似度、运动相似 度以及尺寸相似度从三个方面考虑，将相似度度量模型定义为这三个方面乘 积的形式，如公式(4-1)所示。
Φ(X,Y)＝Φa(X,Y)×Φm(X,Y)×Φs(X,Y) (4-1)
式中X，Y——目标检测响应或者是跟踪片段；
Φa(X,Y)——X与Y的表观相似度；
Φm(X,Y)——X与Y的运动相似度；
Φs(X,Y)——X与Y的尺寸相似度。
其中，尺寸相似度为X和Y所对应的检测响应的背景框大小的相似度， 定义为公式(4-2)的形式。
式中hX——与X对应的检测响应的背景框的高度；
wX——与X对应的检测响应的背景框的宽度。
表观相似度和运动相似度的计算相对复杂，下面的小节中将会详细介绍 本发明中所设计的表观相似度计算算法及运动相似度计算算法。
2.2.2.2基于多通道卷积神经网络的表观相似度模型
传统的表观相似度计算方式多种多样，包括计算两个目标的颜色直方图 分布的匹配程度、计算两个目标相同特征点的个数等，然而这些特征都过于 简单，在计算相似度时无法取得预期的结果。
多通道卷积神经网络结构设计
本发明设计的神经网络结构采用一个分支对输入的图片进行处理。在本 发明收集的训练集中，所有的图片均为RGB三通道彩色图片，在设计网络结 构时，本发明将输入的两张图片合并为一张六通道的图片，然后利用双倍通 道的网络结构，不再进行各个分支显式提取特征然后进行特征对比的过程， 而是直接将该六通道图片送入卷积神经网络，利用该网络直接学习相似度评 价函数Φa(X,Y)，其网络结构示意图如图3-1所示。
在图3-2所示的网络结构中，最后一层为全连接层，输出的值即为输入两 张图片的相似度。与原有的孪生卷积神经网络相比，直接利用双倍通道的图 片通过单支卷积神经网络进行训练的速度会比较快，计算更为方便。更为重 要的是，在输入时直接将两张图片合并为了一张，只是将图片的通道数变为 了原来的两倍，在经过第一层卷积时，两张图片的像素就进行了相应的加权 组合操作，在第一层进行完卷积操作后，输入的两张图片就已经彼此关联， 无法区分，在后面的几层中，使用的是两张图片的联合信息，可以认为，两 张图片相似度的计算过程从第一层就已经开始，而原有的孪生卷积神经网络 在最后的全连接层才开始，因此取得的效果较原来的孪生卷积网络结构更好。 这是本发明采用的双倍通道卷积神经网络结构同原有的孪生卷积神经网络结 构最大的区别。
通过上述构建的神经网络结构，只需将两张三通道的RGB彩色图片合并 为一张六通道的图片输入到网络结构就可以得到两张图片的相似度，但在跟 踪的过程中，无法预测检测响应背景框的大小，背景框的大小对最后相似度 的计算有一定影响，为了缓解上述问题，本发明又对上述的网络结构的输入 进行了进一步处理，主要是对输入的两张图片做一个多尺度变换得到多张图 片，再缩放至原来的大小。
假设一张输入图片的尺寸大小为m×n，以该图片的中心点为中心，截取 一张大小为的图片，截取的图片与原图片的中心点重合，同时将原有的 图片进行下采样，垂直和水平方向的步长为2，同样得到一张大小为的 图片，经过上述两步处理后，一张大小为m×n的图片就变为了两张大小 的图片，因此，输入网络结构的一组图片就变为了四张大小为原来四分之一 的图片，因此本发明设计的卷积神经网络结构也要做出相应的修改，最终的 网络结构如图2-2所示。
多通道卷积神经网络结构实现
神经网络结构的损失函数定义如公式(4-3)所示。
式中w——神经网路结构中的参数；
——第i对训练样本在神经网络结构中的输出。
当输入的一对图片属于同一目标时，yi取值为1，否则为-1。上述损失函 数可以分为两部分，第一部分是正则化项，也称为结构化损失，用来防止过 拟合，第二部分则为训练过程中损失，成为经验损失，用来降低训练过程中 的误差。训练时参数更新的方法采用随机梯度下降(Stochastic Gradient Descent，SGD)，学习率初始化为1.0，权重衰减大小为0.0005，训练时min-batch 的大小为100，其他的参数采用随机初始化的值。
本发明设计的网络结构模型需要预先在辅助数据集上训练，辅助数据集 可以采用任意行人识别数据集，例如采用由香港中文大学研究团队提出的 CUHK数据集。当神经网络结构完成训练时，就可以将该网络结构模型应用 到多目标跟踪的过程中用来计算两个目标的表观相似度，然而如图2-3所示， 辅助数据集和实际跟踪的数据集中的目标不同、尺寸不同、角度不同以及遮 挡状态等都不同，数据的统计信息也不会相同，为了使得在辅助数据集上训 练得到的模型能够在实际测试的数据集上依然取得较好的效果，需要进行一个在线迁移的过程。
采用在线迁移的过程，预训练时得到的神经网络模型的卷积层1和卷积 层2学到的是中等层次的特征，在迁移时，保持这两层的结构和参数不变。 本发明中的多目标跟踪框架街考虑迁移考虑了在线学习的过程。一般来讲， 重新训练一个网络结构比重新训练一个网络结构的参数需要更多的数据，因 此在本发明中，保持预训练得到的网络结构不变，只是重新训练该网络结构 的参数，而且，并非所有的参数都需要重新训练。
在本发明提出的多目标跟踪框架中，当跟踪片段和检测响应之间的平均 相似度分数低于0.5时，自动执行在线迁移学习过程，该分数是表观相似度矩 阵中所有元素的平均值。在线迁移学习过程中一个核心的过程就是在线训练 样例的收集，在每一帧里面会根据前面提到的置信度计算公式计算每一条跟 踪片段的置信度，在收集训练样例时，只收集来自高可靠度跟踪片段的检测 响应对应的图片块，包括目标的位置、尺寸信息。因为低可靠度的跟踪片段 受到遮挡或存在错误的概率相对较大，在低可靠度跟踪片段里面采集的训练 样例错误的可能性也就越大，将会影响到训练模型的效果。假设在高可靠度 跟踪片段里面收集了N个图片样例，则正样例的个数与负样例的个数合计 N(N-1)/2个。
在线迁移学习的好处是能够使得训练的神经网络模型更加适应指定的跟 踪序列，进而提高多目标跟踪的效果，同时只重新训练后面的卷积层和全连 接层，保持其它层参数不变又可以有效的避免过拟合。
2.2.2.3运动模型
利用卷积神经网络计算两个目标的相似度比传统的提取特征计算相似度 具有更好的效果，然而，在多目标跟踪视频序列里面，有很多目标被遮挡的 情况，此时，即使用卷积神经网络来计算两个目标的表观相似度也无法取得 理想的效果，在3.4.2小节介绍了在全局数据关联阶段对于遮挡情况的处理， 但该处理方法也只能缓解目标被局部遮挡的情况，对于目标被全部遮挡的情 况就失去了效果。另外，目标检测算法在提取每一帧目标的过程中可能出现 漏检的情况，此时无法利用表观模型计算该检测响应同其他目标或跟踪片段 的相似度。
如图3-4所示，红色虚线框代表的黑色目标在前几帧并无遮挡，可以准确 的跟踪到，而中间两帧却被另外一个目标完全遮挡住，此时，目标检测算法 无法检测到该目标的存在，导致在数据关联的过程中有可能判定该目标的跟 踪过程结束，而后面的帧中该目标又从新出现在了画面中，此时需要重新对 该目标进行跟踪，不仅要与前面的跟踪片段关联在一起，同时还要对中间没 有检测到的两帧进行修复，此时无法依靠表观模型来解决。
为了缓解上述问题，在计算两个目标相似度的时候，本发明同时引入了 物体的运动模型，与表观模型相结合共同计算两个目标的相似度。尤其当图 3-4中的情况发生时，跟踪的目标被完全遮挡住，但目标的运动状态却未发生 变化，此时利用该目标在前几帧中的位置和速度就可以准确预测出该目标在 被遮挡住的两帧中的位置。
本发明中的运动模型利用卡尔曼滤波算法进行建模，假设目标X在t时刻 的运动状态信息为X(t)＝[x(t),vx(t),y(t),vy(t)]T，其中，x，y分别表示目标在水平 和垂直两个方向的位置，vx和vy分别表示目标在这两个方向的速度。其状态 方程如公式(4-4)所示。
X(t)＝AX(t-1)+W(t) (1-3)
式中W(t)——过程噪声，假设为高斯白噪声，其协方差矩阵为Q；A——系 统参数，为矩阵形式。
A，Q在本发明中的具体形式如公式(4-5)所示。
式中Ts——帧速率的倒数。
运动模型的观测方程如(4-6)所示。
Z(t)＝HX(t)+V(t) (1-5)
式中V(t)——测量噪声，假设为高斯白噪声，其协方差矩阵为R；H——系 统参数，为矩阵形式。
H，R在本发明中的具体形式如公式(4-7)所示。
卡尔曼滤波需要经过状态预测和状态更新两个步骤，在状态预测阶段， 需要根据t-1时刻的状态来预测t时刻的状态，预测状态X(t|t-1)的定义如公 式(4-8)所示。
X(t|t-1)＝AX(t-1|t-1) (1-7)
式中X(t|t-1)——上一时刻最优的预测状态。
当前时刻的状态更新完毕后，还需要更新预测误差协方差矩阵P(t|t-1)， 更新过程如公式(4-9)所示。
P(t|t-1)＝AP(t-1|t-1)AT+Q (1-8)
式中P(t|t-1)——X(t|t-1)对应的协方差；
Q——系统过程的协方差。
通过公式(4-8)，(4-9)可以获得t时刻的预测结果，将该结果与测量值相结 合，可以获得该时刻的最优状态估计值X(t|t)，求取过程如公式(4-10)所示。
X(t|t)＝X(t|t-1)+K(t)[Z(t)-HX(t|t-1)] (1-9)
式中K(t)——卡尔曼增益，其计算方式如公式(4-11)所示。
此外，还需要更新与X(t|t)状态对应的误差协方差矩阵P(t|t)，更新过程 如公式(4-12)所示。
P(t|t)＝P(t|t-1)-K(t)HP(t|t-1) (1-11)
卡尔曼滤波模拟的是带有高斯噪声的线性运动，假设目标在第t时刻没有 被遮挡，此时的状态信息为X(t)，从t+1帧开始，目标消失了N-1帧，则在第 t+N帧目标的状态可以根据公式(4-8)～(4-12)迭代求出，最终其形式如公式 (4-13)所示。
X(t+N)＝[x(t+N),vx(t+N),y(t+N),vy(t+N)] (1-12)
从中可以得到目标在该帧的初始预测位置，表示为公式(4-14)的形式。
loc(t+N)＝[x(t+N),y(t+N)] (1-13)
由上可知，通过公式(4-8)～(4-12)，可以根据目标X在t-1帧的信息求得目标 在第t帧时的运动信息，包括其位置与速度信息。此时便可以通过公式(4-15)计 算目标X与第t帧的检测响应或其他跟踪片段Y的相似度。
式中——X和Y的速度方向相似度；
——X和Y的速度大小相似度。
和可以分别通过公式、求得。
当出现遮挡情况时，同一跟踪片段内的表观相似度及运动相似度都会明 显下降，可以以此作为判断出现遮挡的依据。若几帧后有新的目标出现，此 时应考虑两种情况，一是出现的目标从未出现过，应给该目标分配一个编号， 并维持跟踪，二是出现的目标为前几帧被遮挡住的目标，即新出现的目标能 够通过全局数据关联同前面的跟踪片段进行连接，假设该目标在[t-γ,t]帧内被 遮挡住，则应该对该区间内目标的运动状态信息进行恢复，恢复过程按公式 (4-18)，(4-19)进行。
式中——跟踪片段r在第t帧时的位置；
——跟踪片段r在第t帧时的速度。
3.1实验设置
3.1.1实验设计
本发明设计的实验在MOT Challenge[44]提供的2D MOT 2015和2D MOT 2016两个公开数据集上进行。其中，2D MOT 2015数据集共包含了22条视 频序列，训练集与测试集各占一半，训练集在每一帧中还包含了真实目标的 相关信息，包括目标的身份编号，位置等。训练集的详细信息如表5-1所示， 其中包含了每段视频的分辨率、视频长度、目标个数、背景框个数、每帧中 目标的密度、拍摄的场景以及拍摄角度等信息。
表5-1 2D MOT 2015训练集序列
2D MOT 2015数据集中的主要挑战是行人交叉运动、障碍物遮挡等问题 比较严重，尤其是在复杂情况下，行人目标被遮挡时会发生运动状态改变的 情况。如图4-1所示，2D MOT 2016数据集与2D MOT 2015数据集相比，视 频序列更长，包含的目标数目和背景框的数目更多，尤其是每帧中的目标密 度要远远高于2D MOT 2015数据集，使得遮挡情况更加严重，而且拍摄场景 更加多样化，因此更具有挑战性。
图4-1中，第一行为训练序列，第二行为测试序列，训练序列的详细信息 如表5-2所示。
表5-2MOT 2016训练集序列
3.1.2多目标跟踪评价指标
本发明采用Stiefelhagen等提出的CLEAR度量标准以及一些多目标跟踪 性能评价指标来对本发明设计算法的性能进行评估。在多目标跟踪里面有两 个常见的先决条件来量化跟踪器的性能，一个是判断每一个假设的输出是一 个真正的正样例(TruePositive,TP)还是一个假的正样例(False Positive，FP)， TP是指一个假设的输出就是一个实际的需要跟踪的目标，FP是指假设的输出 并非实际需要跟踪的目标，TP与FP的判定通常通过设定的相似度阈值进行 判断。与TP和FP对应的还有假的负样例(False Negative，FN，FN是指一 个实际需要跟踪的目标没有被任何一个假设的输出覆盖。在多目标跟踪中，FP和FN出现的越少越好。显然，有时同一个实际需要跟踪的目标可能被多 个假设输出覆盖，因此另一个先决条件就是一个实际的跟踪目标只能被一个 假设输出覆盖，同时，一个假设输出也只能覆盖一个目标。另外两个常见的 指标是身份交换(Identity Switch，IDSW)的次数和断链(Fragment，Frag) 的次数，IDSW是指由于遮挡或其他因素，目标在跟踪的过程中突然被分配了 一个新的身份编号，断链是指在跟踪的过程中，属于同一个目标的一条完整 的运动轨迹被分割成了两部分，认为这两部分分别属于两个目标。如图4-2 所示，虚线部分为一个目标真实的运动轨迹，在图4-2a)中，第三帧时，可 能由于遮挡等因素，发生了跟踪错误，下一帧跟踪结束，第五帧时目标重新 被跟踪到，但被分配了一个新的标号，此时，在第三帧便发生了断链，第五 帧发生了身份交换的问题。在图4-2b)中，虽然没有发生断链的情况，但在 第三帧时，由于相邻目标表观相近等因素，导致两个目标的编号发生了交换， 该情况也属于身份交换的问题。
除了上述评价指标外，还有两个重要的评价指标，分别为多目标跟踪准 确度(Multiple Object Tracking Accuracy，MOTA)和多目标跟踪精度(Multiple ObjectTracking Precision，MOTP)，MOTA综合了上述的多个评价指标，其计 算方式如公式(5-1)所示，是多目标跟踪里面使用最为广泛的评价指标。
式中GTt——真实目标轨迹的数目.
当跟踪算法输出错误目标的数目超过真实目标的数目时，MOTA的数值 可以为负。MOTP是指多目标跟踪算法预测的目标的位置与目标真实位置的 相似程度，利用它们的背景框的重合率来计算，计算方法如公式(5-2)所示。
式中ct——预测的目标轨迹与真实目标轨迹匹配成功的数目；
dt,i——预测的目标i的背景框和真实背景框在第t帧的重叠率.
MOTP主要衡量的是多目标跟踪算法预测的目标位置及尺寸的精度。所 有的真实的目标轨迹可以分为三类，分别为大部分被跟踪到的轨迹(Mostly Tracked，MT)、部分被跟踪到的轨迹(Partially Tracked，PT)和大部分未被 跟踪到的轨迹(Mostly Lost，ML)，分类的标准为一个目标在它的生命周期内 被成功跟踪到的帧数占他生命周期的比率，如果大于80％则为MT，小于20％ 为ML，否则为PT，在多目标跟踪的过程中，MT越高越好，ML越低越好。
综上，多目标跟踪中常见的评价指标如表5-3所示。其中，红色的指标代 表越低越好，其他则是越高越好。
表5-3多目标跟踪评价指标
3.3实验及结果分析
3.3.1基于卷积网络的表观模型有效性验证
为了验证本发明提出的表观模型相似度计算方法的性能，本发明利用 CUHK01和CUHK02数据集进行实验，在两个数据集中提取了5000组正样 本，5000组负样本，每一个样本包含两个目标，若两个目标为相同目标，则 为正样本，否则为负样本，将其中80％的样本作为训练集，20％的图片作为 测试集。如图4-3所示，测试时输入一组图片，网络模型将会给出该组样例的 类别及相似度分数，图4-3的第一行为正样例测试结果，第二行为负样例测试 结果。
在上述实验中，本发明提出的卷积神经网络模型能够准确的判断出两个 输入目标是否属于同一目标，准确率高达96.71％，同时，该网络模型能够给 出两个目标的相似度分数，越相似越接近于1，反之，接近于0。但上述实验 只测试了本发明提出的相似度算法在辅助训练集上的效果，为了进一步验证 其在多目标跟踪过程中的有效性，本发明又设计了如下对比试验，在实验中， 跟踪算法的整体框架采用本发明第三章设计的框架为基础，表观相似度计算 部分分别采用如下方法：
(1)计算颜色直方图特征(HOG)的巴氏系数；
(2)计算ALFD特征；
(3)利用孪生卷积神经网络计算相似度；
(4)利用本发明的网络结构计算相似度。
对比结果如表5-5所示，测试视频序列为2D MOT 2015数据集中的 ETH-Bahnhof序列。
表5-5表观相似度算法对比实验结果
在算法(1)中，利用两个模板颜色直方图的巴氏系数来计算两个模板的 相似度，其将每个模板分成了512个分箱来计算两个模板的像素点颜色分布 的相似程度，该算法只使用了表观特征中的颜色特征，使用的特征过于简单， 且对于遮挡和光照情况非常敏感，因此取得的效果明显低于另外三种算法。 在算法(2)中采用ALFD特征来计算两个目标的相似度，每个目标当中的特 征点利用Kanade-Lucas-Tomasi Tracking算法和光流法相结合来确定，将像素 差的阈值设置为30，每个目标划分为6个小区域，ALFD特征不仅考虑了目标的颜色信息，还隐含了特征点的运动信息，且对光照的敏感程度低于颜色 直方图特征，取得的效果相对较好。算法(3)与算法(4)都利用卷积神经 网络结构对目标提取特征并计算两个目标的相似度分数，与传统的方法相比， 提取的特征更加丰富且更具有针对性，因此在复杂场景下的判别性更好，能 够有效区分两个表观相似的目标，如表5-5所示，算法(3)与算法(4)出现 身份交换和断链的次数要少于前两种算法。算法(3)的网络结构和参数设置 与[33]中的网络结构相同，本发明算法为算法(4)，与算法(3)相比，本发 明算法在第一个卷积层就将需要比较的两个图片的信息通过卷积操作结合在 了一起，后面的网络层使用的均为两个目标的联合信息，因此取得的效果更 好一些，且计算效率要高于算法(3)。
本发明提出的表观相似度算法虽然在准确率等部分指标上效果有所提 升，时间复杂度却相对于传统的相似度计算方法有所提高，算法(1)和算法 (2)的处理速度分别为5.7fps与4.6fps，而本发明算法只有3.3fps，但与利 用孪生卷积神经网络计算表观相似度的方法相比，本发明算法的计算效率和 准确度都有所提升，算法(3)的处理速度仅为1.1fps。
3.3.2遮挡处理的有效性验证
为了处理遮挡问题，本发明提出了多个处理技巧，首先，将目标的关联 范围阈值设置为和置信度值相关的一个变量，而不再是常量，应用该技巧， 可以在跟踪轨迹出现断链的时候提高两个跟踪片段关联成功的概率。
如图4-4所示，图中展示了本发明算法在ETH-Bahnhof视频序列上第16 至25帧的跟踪结果，在第18帧时，跟踪目标1号开始被3号遮挡住，直到 第24帧才重新出现，如果关联范围阈值是一个常量，则会认为1号目标是一 个新出现的目标，应分配一个新的编号，但在本发明的实验结果中可以看到， 当1号重新出现时，编号依然为1，因此，当在跟踪的过程中出现断链情况时， 本发明提出的算法能够在一定程度上进行恢复。
其次，本发明还采取了一些其他处理遮挡的方法，如在出现局部遮挡时， 将目标分成多个小块进行比较等，为了验证这些遮挡方案的有效性，本发明 利用数据集PETS09-S2L1进行实验验证，在该数据集序列中，视频画面的中 心有一个广告牌存在，视频中的多个人在一个小区域内往返走动，并频繁的 受到其他目标或者广告牌遮挡，而且当行人在受到遮挡时运动状态经常发生 改变，因此该数据集经常被用来验证多目标跟踪算法在面临遮挡问题时的鲁 棒性。表5-5为其他算法同本发明算法的实验结果对比，其中，Our1与Our2为本发明算法，our1并未使用本发明提出的遮挡处理方案。
表5-6PETS09-S2L1数据集实验结果
其中，CDA_DDALpb算法与本发明算法均采用了基于分层关联的多目 标跟踪框架，但前者并没有对遮挡情况进行显示处理，MDP算法将多目标跟 踪问题转化为马尔科夫决策问题，将目标被遮挡时看做目标生存周期中的一 个状态，其对遮挡处理的方式相对简单。通过实验对比可以发现，含有遮挡 处理方案的Our2算法和MDP算法比没有遮挡处理方案的CDA_DDALpb算 法和Our1算法的准确度有明显提升，身份交换次数和断链的次数都有所降低。 本发明算法和MDP算法相比，跟踪结果的准确度提升了1.7％，同时，身份 交换的次数和发生断链的次数明显减少，通过该实验可以说明，本发明提出 的遮挡处理方案可以有效提高多目标跟踪结果的准确度和鲁棒性，而且相对 于其他算法的遮挡处理方案相比，本发明提出的遮挡处理方案更加有效。
图4-5为CDA_DDALpb算法、MDP算法以及本发明Our2算法在 PETS09-S2L1数据集上的跟踪结果，图中只取了第22、27、36、41及46帧 的结果。在该数据集中，画面的中间有一个广告牌存在，1号、2号和3号三 个目标在这段时间内一直在这个区域内运动，且运动方式并无规律，更非线 性运动。从第27帧开始，1号、2号及3号目标在广告牌附近均出现了遮挡 情况，且2号3号目标的位置相近，1号目标的运动状态发生了突变。在第 46帧时，2号与3号目标分开，1号目标离开了遮挡区域，此时，CDA_DDALpb 算法和MDP算法均出现了错误。如图4-5a)所示，从27帧到第36帧这段 时间内，由于2号和3号目标在受到遮挡时出现了交叉运动的情况，当二者 分开时，CDA_DDALpb算法对这两个目标的编号出现了错误，他们的身份发生了交换；如图4-5b)所示，由于1号目标在遮挡时运动状态发生了突变， MDP算法中的1号目标的编号变为了4号，出现了断链的情况，而本发明的 算法却没有出现上述问题。
3.3.3跟踪算法有效性验证
为了验证算法整体的性能，本发明利用MOT Challenge平台提供的2D MOT 2015和MOT 2016两个数据集中的测试集进行验证，并与近两年一些优 秀的算法进行对比，对比结果分别如表5-7、5-8所示。
表5-7 2D MOT 2015数据集实验结果
表5-8MOT 2016数据集实验结果
根据表5-7、5-8的实验对比结果可以发现，本发明提出的算法在公开数 据集上取得了良好的跟踪效果，尤其是在IDSW和Frag两项指标上取得的效 果明显优于其他算法，因此可以说明本发明提出的算法拥有更好的鲁棒性。 在表5-7中，CNNTCM算法与SiameseCNN算法均为线下的多目标跟踪算法， 二者均采用卷积神经网络结构来计算两个跟踪目标的表观相似度，而且在其 跟踪的过程中，可以使用视频序列中未来帧的信息，但本发明的算法在 MOTA、IDSW以及Frag等指标中依然取得了比这两种算法更好的效果。MDP 算法与oICF算法均为近两年提出的在线多目标跟踪算法，MDP算法为2016 年提出的传统的多目标跟踪算法，并未使用卷积神经网络结构，本发明的算 法与其相比，跟踪的准确度略低于该算法，但身份交换的次数和断链的次数 明显较少，显然具有更好的鲁棒性。oICF算法也是基于卷积神经网络的多目 标跟踪算法，其利用卷积神经网络不同的卷积层提取的特征进行组合计算两 个目标之间的相似度，但与本发明提出的算法相比，几乎所有的指标都要低 于本发明提出的算法。在表5-8中，使用的数据集为MOT2016数据集，相对 于表5-7中使用的数据集，其视频场景更加复杂，每帧中目标的密度更大，遮 挡情况更加严重，虽然本发明提出的算法在该数据集上获得的跟踪结果的准 确度与另外两种算法取得的准确度相近，但本发明算法的跟踪结果中，发生 身份交换和断链的次数却明显低于另外两种算法，由此可以证明，本发明提 出的算法在复杂场景下具有更好的鲁棒性。
虽然本发明算法在公开数据集上取得了较好的效果，但时间复杂度却略 高于其他算法。在2D MOT 2015数据集中，每帧中目标的密度相对较小，本 发明算法的处理速度约为2.7帧每秒，而在MOT 2016数据集上，每帧中目标 的密度相对较大，本发明算法的处理速度只有1.5帧每秒。通过实验分析发现， 虽然总体的时间复杂度有所提高，但本发明提出的数据关联算法的时间复杂 度却有所降低，在本发明算法当中，大约30％的时间用来处理遮挡和计算两 个目标的表观相似度。因此，本发明算法在提高跟踪准确度和鲁棒性的同时，也在一定程度上造成了时间复杂度的提升。
图4-6为本发明算法在ETH_Bahnhof、PETS09-S2.L1以及ADL-Rundle-8 视频序列上的部分跟踪结果。ETH_Bahnhof与ADL-Rundle-8视频序列中人员 相对密集，频繁遮挡情况较为严重，虽然PETS09-S2.L1视频序列中目标的密 度较小，但其中多个目标一直受到长时间遮挡，且在遮挡的过程中，运动状 态发生了变化，但如图4-6所示，本发明提出的算法依然能够在这三个视频序 列上取得较好的结果。
此外，本发明还提出一种基于分层数据关联和卷积神经网络的目标跟踪 系统，其特征在于，包括存储器、处理器以及存储在所述存储器上的计算机 程序，所述计算机程序被所述处理器运行时实现如上所述的方法的步骤，其 原理请参照上述方法实施例，在此不再赘述。
此外，本发明还提出一种计算机可读存储介质，所述计算机可读存储介 质上存储有计算机程序，所述计算机程序被处理器运行时实现如上所述的方 法的步骤，其原理请参照上述方法实施例，在此不再赘述。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围， 凡是利用本发明说明书及附图内容所作的等效结构或流程变换，或直接或间 接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于分层数据关联和卷积神经网络的目标跟踪方法，其特征在于，包括以下步骤：
获取跟踪目标的当前视频帧的检测响应以及当前视频帧之前的所有视频帧的跟踪片段；
为每一条跟踪片段计算其置信度，其中，跟踪片段置信度是指当前已经完成部分连接的跟踪片段的可信赖程度；
根据置信度的大小，将所有的跟踪片段分为高可靠度跟踪片段和低可靠度跟踪片段两部分，并以当前视频帧的检测响应为关联对象，为高可靠度跟踪片段进行局部数据关联处理，为低可靠度跟踪片段进行全局数据关联处理，其中，全局数据关联处理结合卷积神经网络实现。
2.根据权利要求1所述的基于分层数据关联和卷积神经网络的目标跟踪方法，其特征在于，所述方法还包括：
在完成数据关联处理之后，更新跟踪目标的跟踪状态；
更新每一个跟踪片段的置信度，进入下一帧的处理，一直到视频结束。
3.根据权利要求1所述的基于分层数据关联和卷积神经网络的目标跟踪方法，其特征在于，所述获取跟踪目标的当前视频帧的检测响应以及当前视频帧之前的所有视频帧的跟踪片段的步骤之前，所述方法还包括：
定义跟踪片段置信度的计算方式，所述跟踪片段置信度是指当前已经完成部分连接的跟踪片段的可信赖程度，其中，跟踪片置信度的大小考虑因素包括：可观测度、遮挡程度、段内相似度。
4.根据权利要求1所述的基于分层数据关联和卷积神经网络的目标跟踪方法，其特征在于，所述以当前视频帧的检测响应为关联对象，为高可靠度跟踪片段进行局部数据关联处理的步骤包括：
将高可靠度跟踪片段同当前视频帧的检测响应相连接，在连接过程中，计算当前所有的跟踪片段和该帧内所有的检测响应之间的相似度，所述跟踪片段和该帧内所有的检测响应之间的相似度，以跟踪片段和检测响应之间的亲和度通过矩阵方式表征，连接亲和度大于预设阈值的跟踪片段和检测响应对。
5.根据权利要求1所述的基于分层数据关联和卷积神经网络的目标跟踪方法，其特征在于，所述以当前视频帧的检测响应为关联对象，为低可靠度跟踪片段进行全局数据关联处理的步骤中包括：
对低可靠度跟踪片段进行遮挡漂移处理；其中：
对低可靠度跟踪片段进行遮挡处理包括：
将被遮挡的目标的背景框分成多个小块，每个小块赋予不同的权重，在计算表观相似度时，除了计算整体的表观相似度以外，同时计算对应小块的相似度，然后综合判定两个目标整体的相似度；
对低可靠度跟踪片段进行漂移处理包括：
将跟踪片段和相对较远距离的目标检测响应进行连接。
6.根据权利要求5所述的基于分层数据关联和卷积神经网络的目标跟踪方法，其特征在于，所述方法还包括：
在目标跟踪过程中，计算两个目标相似度时，从两个目标的表观相似度、运动相似度以及尺寸相似度三个方面考虑，将相似度度量模型定义为这三个方面乘积的形式；其中，基于多通道卷积神经网络实现表观相似度模型，基于卡尔曼滤波实现运动相似度模型。
7.根据权利要求1所述的基于分层数据关联和卷积神经网络的目标跟踪方法，其特征在于，所述方法还包括：
在数据关联处理过程中，对跟踪片段进行管理。
8.根据权利要求1所述的基于分层数据关联和卷积神经网络的目标跟踪方法，其特征在于，所述方法还包括：
对跟踪算法进行有效性检测。
9.一种基于分层数据关联和卷积神经网络的目标跟踪系统，其特征在于，包括存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时实现如权利要求1-8任一项所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现如权利要求1-8中任一项所述的方法的步骤。
CN201810175534.6A 2018-03-02 2018-03-02 基于分层数据关联和卷积神经网络的目标跟踪方法、系统和存储介质 Active CN108447080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810175534.6A CN108447080B (zh) 2018-03-02 2018-03-02 基于分层数据关联和卷积神经网络的目标跟踪方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810175534.6A CN108447080B (zh) 2018-03-02 2018-03-02 基于分层数据关联和卷积神经网络的目标跟踪方法、系统和存储介质

Publications (2)

Publication Number Publication Date
CN108447080A true CN108447080A (zh) 2018-08-24
CN108447080B CN108447080B (zh) 2023-05-23

Family

ID=63192998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810175534.6A Active CN108447080B (zh) 2018-03-02 2018-03-02 基于分层数据关联和卷积神经网络的目标跟踪方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN108447080B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886356A (zh) * 2019-03-08 2019-06-14 哈尔滨工程大学 一种基于三分支神经网络的目标追踪方法
CN110110670A (zh) * 2019-05-09 2019-08-09 杭州电子科技大学 基于Wasserstein度量的行人跟踪中的数据关联方法
CN110598019A (zh) * 2019-09-11 2019-12-20 腾讯科技（深圳）有限公司 重复图像识别方法及装置
CN111222774A (zh) * 2019-12-30 2020-06-02 广州博士信息技术研究院有限公司 企业数据分析方法、装置及服务器
CN111275737A (zh) * 2020-01-14 2020-06-12 北京市商汤科技开发有限公司 一种目标跟踪方法、装置、设备及存储介质
CN111385512A (zh) * 2018-12-29 2020-07-07 杭州海康威视数字技术股份有限公司 视频数据处理方法和装置
CN111427037A (zh) * 2020-03-18 2020-07-17 北京百度网讯科技有限公司 障碍物的检测方法和装置、电子设备和车端设备
CN111476306A (zh) * 2020-04-10 2020-07-31 腾讯科技（深圳）有限公司 基于人工智能的物体检测方法、装置、设备及存储介质
CN111597676A (zh) * 2019-02-21 2020-08-28 西门子股份公司 用于检查信息物理系统的系统要求的系统和方法
CN111739053A (zh) * 2019-03-21 2020-10-02 四川大学 一种复杂场景下的在线多行人检测跟踪方法
CN111862156A (zh) * 2020-07-17 2020-10-30 中南民族大学 一种基于图匹配的多目标跟踪方法和系统
CN111862147A (zh) * 2020-06-03 2020-10-30 江西江铃集团新能源汽车有限公司 视频中多车辆和多行人目标的跟踪方法
CN112116634A (zh) * 2020-07-30 2020-12-22 西安交通大学 一种半在线机置的多目标跟踪方法
CN112905750A (zh) * 2021-03-16 2021-06-04 云知声智能科技股份有限公司 一种优化模型的生成方法和设备
CN114526748A (zh) * 2021-12-24 2022-05-24 重庆长安汽车股份有限公司 基于二分图的驾驶目标关联方法、系统、车辆及存储介质
CN115222771A (zh) * 2022-07-05 2022-10-21 北京建筑大学 一种目标跟踪方法及装置

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080123900A1 (en) * 2006-06-14 2008-05-29 Honeywell International Inc. Seamless tracking framework using hierarchical tracklet association
CN101968886A (zh) * 2010-09-09 2011-02-09 西安电子科技大学 基于质心跟踪框架的粒子滤波与均值漂移的细胞跟踪方法
US20110085702A1 (en) * 2009-10-08 2011-04-14 University Of Southern California Object tracking by hierarchical association of detection responses
US8085982B1 (en) * 2008-06-20 2011-12-27 Google Inc. Object tracking in video with visual constraints
CN102930539A (zh) * 2012-10-25 2013-02-13 江苏物联网研究发展中心 基于动态图匹配的目标跟踪方法
CN103020919A (zh) * 2013-01-09 2013-04-03 西安电子科技大学 基于非局部Lee的极化SAR相干斑噪声抑制方法
CN103281477A (zh) * 2013-05-17 2013-09-04 天津大学 基于多级别特征数据关联的多目标视觉跟踪方法
CN103903280A (zh) * 2014-03-28 2014-07-02 哈尔滨工程大学 一种改进水平集目标提取的子块权重Mean-Shift跟踪方法
US20140205141A1 (en) * 2013-01-22 2014-07-24 Qualcomm Incorporated Systems and methods for tracking and detecting a target object
CN104240265A (zh) * 2014-09-01 2014-12-24 深圳市华尊科技有限公司 一种基于全局约束的多目标跟踪方法和系统
CN104820996A (zh) * 2015-05-11 2015-08-05 河海大学常州校区 一种基于视频的自适应分块的目标跟踪方法
CN105550687A (zh) * 2015-12-02 2016-05-04 西安电子科技大学 一种基于isa模型的rgb-d图像的多通道融合特征提取方法
CN105608673A (zh) * 2015-12-16 2016-05-25 清华大学 图像颜色量化与抖动方法和系统
CN105894008A (zh) * 2015-01-16 2016-08-24 广西卡斯特动漫有限公司 结合特征点匹配及深度神经网络检测的目标运动跟踪方法
CN105976400A (zh) * 2016-05-10 2016-09-28 北京旷视科技有限公司 基于神经网络模型的目标跟踪方法及装置
CN106127807A (zh) * 2016-06-21 2016-11-16 中国石油大学(华东) 一种实时的视频多类多目标跟踪方法
CN106373145A (zh) * 2016-08-30 2017-02-01 上海交通大学 基于跟踪片段置信度和区分性外观学习的多目标跟踪方法
CN106682573A (zh) * 2016-11-15 2017-05-17 中山大学 一种单摄像头的行人跟踪方法
CN107145862A (zh) * 2017-05-05 2017-09-08 山东大学 一种基于霍夫森林的多特征匹配多目标跟踪方法
US20170286774A1 (en) * 2016-04-04 2017-10-05 Xerox Corporation Deep data association for online multi-class multi-object tracking
CN107424171A (zh) * 2017-07-21 2017-12-01 华中科技大学 一种基于分块的抗遮挡目标跟踪方法
CN107545582A (zh) * 2017-07-04 2018-01-05 深圳大学 基于模糊逻辑的视频多目标跟踪方法及装置
CN107563313A (zh) * 2017-08-18 2018-01-09 北京航空航天大学 基于深度学习的多目标行人检测与跟踪方法
CN107657257A (zh) * 2017-08-14 2018-02-02 中国矿业大学 一种基于多通道卷积神经网络的语义图像分割方法

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080123900A1 (en) * 2006-06-14 2008-05-29 Honeywell International Inc. Seamless tracking framework using hierarchical tracklet association
US8085982B1 (en) * 2008-06-20 2011-12-27 Google Inc. Object tracking in video with visual constraints
US20110085702A1 (en) * 2009-10-08 2011-04-14 University Of Southern California Object tracking by hierarchical association of detection responses
CN101968886A (zh) * 2010-09-09 2011-02-09 西安电子科技大学 基于质心跟踪框架的粒子滤波与均值漂移的细胞跟踪方法
CN102930539A (zh) * 2012-10-25 2013-02-13 江苏物联网研究发展中心 基于动态图匹配的目标跟踪方法
CN103020919A (zh) * 2013-01-09 2013-04-03 西安电子科技大学 基于非局部Lee的极化SAR相干斑噪声抑制方法
US20140205141A1 (en) * 2013-01-22 2014-07-24 Qualcomm Incorporated Systems and methods for tracking and detecting a target object
CN103281477A (zh) * 2013-05-17 2013-09-04 天津大学 基于多级别特征数据关联的多目标视觉跟踪方法
CN103903280A (zh) * 2014-03-28 2014-07-02 哈尔滨工程大学 一种改进水平集目标提取的子块权重Mean-Shift跟踪方法
CN104240265A (zh) * 2014-09-01 2014-12-24 深圳市华尊科技有限公司 一种基于全局约束的多目标跟踪方法和系统
CN105894008A (zh) * 2015-01-16 2016-08-24 广西卡斯特动漫有限公司 结合特征点匹配及深度神经网络检测的目标运动跟踪方法
CN104820996A (zh) * 2015-05-11 2015-08-05 河海大学常州校区 一种基于视频的自适应分块的目标跟踪方法
CN105550687A (zh) * 2015-12-02 2016-05-04 西安电子科技大学 一种基于isa模型的rgb-d图像的多通道融合特征提取方法
CN105608673A (zh) * 2015-12-16 2016-05-25 清华大学 图像颜色量化与抖动方法和系统
US20170286774A1 (en) * 2016-04-04 2017-10-05 Xerox Corporation Deep data association for online multi-class multi-object tracking
CN105976400A (zh) * 2016-05-10 2016-09-28 北京旷视科技有限公司 基于神经网络模型的目标跟踪方法及装置
CN106127807A (zh) * 2016-06-21 2016-11-16 中国石油大学(华东) 一种实时的视频多类多目标跟踪方法
CN106373145A (zh) * 2016-08-30 2017-02-01 上海交通大学 基于跟踪片段置信度和区分性外观学习的多目标跟踪方法
CN106682573A (zh) * 2016-11-15 2017-05-17 中山大学 一种单摄像头的行人跟踪方法
CN107145862A (zh) * 2017-05-05 2017-09-08 山东大学 一种基于霍夫森林的多特征匹配多目标跟踪方法
CN107545582A (zh) * 2017-07-04 2018-01-05 深圳大学 基于模糊逻辑的视频多目标跟踪方法及装置
CN107424171A (zh) * 2017-07-21 2017-12-01 华中科技大学 一种基于分块的抗遮挡目标跟踪方法
CN107657257A (zh) * 2017-08-14 2018-02-02 中国矿业大学 一种基于多通道卷积神经网络的语义图像分割方法
CN107563313A (zh) * 2017-08-18 2018-01-09 北京航空航天大学 基于深度学习的多目标行人检测与跟踪方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
LAURA LEAL-TAIX´E等: "Learning by tracking: Siamese CNN for robust target association", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 *
NGUYEN THI LAN ANH等: "Multi-Object tracking using Multi-Channel Part Appearance Representation", 《2017 14TH IEEE INTERNATIONAL CONFERENCE ON ADVANCED VIDEO AND SIGNAL BASED SURVEILLANCE（AVSS）》 *
SEUNG-HWAN BAE等: "Confidence-Based Data Association and Discriminative Deep Appearance Learning for Robust Online Multi-Object Tracking", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
张晶: "基于分层关联的多目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张朝: "交通场景中的车辆跟踪算法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
张焕龙等: "基于外观模型学习的视频目标跟踪方法综述", 《计算机研究与发展》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111385512A (zh) * 2018-12-29 2020-07-07 杭州海康威视数字技术股份有限公司 视频数据处理方法和装置
CN111385512B (zh) * 2018-12-29 2022-11-01 杭州海康威视数字技术股份有限公司 视频数据处理方法和装置
CN111597676B (zh) * 2019-02-21 2023-05-23 西门子股份公司 用于检查信息物理系统的系统要求的系统和方法
CN111597676A (zh) * 2019-02-21 2020-08-28 西门子股份公司 用于检查信息物理系统的系统要求的系统和方法
CN109886356A (zh) * 2019-03-08 2019-06-14 哈尔滨工程大学 一种基于三分支神经网络的目标追踪方法
CN111739053A (zh) * 2019-03-21 2020-10-02 四川大学 一种复杂场景下的在线多行人检测跟踪方法
CN111739053B (zh) * 2019-03-21 2022-10-21 四川大学 一种复杂场景下的在线多行人检测跟踪方法
CN110110670A (zh) * 2019-05-09 2019-08-09 杭州电子科技大学 基于Wasserstein度量的行人跟踪中的数据关联方法
CN110598019B (zh) * 2019-09-11 2022-05-06 腾讯科技（深圳）有限公司 重复图像识别方法及装置
CN110598019A (zh) * 2019-09-11 2019-12-20 腾讯科技（深圳）有限公司 重复图像识别方法及装置
CN111222774A (zh) * 2019-12-30 2020-06-02 广州博士信息技术研究院有限公司 企业数据分析方法、装置及服务器
CN111275737A (zh) * 2020-01-14 2020-06-12 北京市商汤科技开发有限公司 一种目标跟踪方法、装置、设备及存储介质
CN111275737B (zh) * 2020-01-14 2023-09-12 北京市商汤科技开发有限公司 一种目标跟踪方法、装置、设备及存储介质
CN111427037A (zh) * 2020-03-18 2020-07-17 北京百度网讯科技有限公司 障碍物的检测方法和装置、电子设备和车端设备
CN111476306B (zh) * 2020-04-10 2023-07-28 腾讯科技（深圳）有限公司 基于人工智能的物体检测方法、装置、设备及存储介质
CN111476306A (zh) * 2020-04-10 2020-07-31 腾讯科技（深圳）有限公司 基于人工智能的物体检测方法、装置、设备及存储介质
CN111862147A (zh) * 2020-06-03 2020-10-30 江西江铃集团新能源汽车有限公司 视频中多车辆和多行人目标的跟踪方法
CN111862147B (zh) * 2020-06-03 2024-01-23 江西江铃集团新能源汽车有限公司 视频中多车辆和多行人目标的跟踪方法
CN111862156A (zh) * 2020-07-17 2020-10-30 中南民族大学 一种基于图匹配的多目标跟踪方法和系统
CN112116634A (zh) * 2020-07-30 2020-12-22 西安交通大学 一种半在线机置的多目标跟踪方法
CN112116634B (zh) * 2020-07-30 2024-05-07 西安交通大学 一种半在线机置的多目标跟踪方法
CN112905750A (zh) * 2021-03-16 2021-06-04 云知声智能科技股份有限公司 一种优化模型的生成方法和设备
CN114526748A (zh) * 2021-12-24 2022-05-24 重庆长安汽车股份有限公司 基于二分图的驾驶目标关联方法、系统、车辆及存储介质
CN115222771A (zh) * 2022-07-05 2022-10-21 北京建筑大学 一种目标跟踪方法及装置
CN115222771B (zh) * 2022-07-05 2023-07-21 北京建筑大学 一种目标跟踪方法及装置

Also Published As

Publication number Publication date
CN108447080B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN108447080A (zh) 基于分层数据关联和卷积神经网络的目标跟踪方法、系统和存储介质
JP6830707B1 (ja) ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法
CN110135314A (zh) 一种基于深度轨迹预测的多目标跟踪方法
CN105512640B (zh) 一种基于视频序列的人流量统计方法
CN110263697A (zh) 基于无监督学习的行人重识别方法、装置及介质
CN105512680B (zh) 一种基于深度神经网络的多视sar图像目标识别方法
CN109948425A (zh) 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置
CN104063719B (zh) 基于深度卷积网络的行人检测方法及装置
CN109241913A (zh) 结合显著性检测和深度学习的船只检测方法及系统
CN106529499A (zh) 基于傅里叶描述子和步态能量图融合特征的步态识别方法
CN109800629A (zh) 一种基于卷积神经网络的遥感图像目标检测方法
CN109740413A (zh) 行人重识别方法、装置、计算机设备及计算机存储介质
CN109816689A (zh) 一种多层卷积特征自适应融合的运动目标跟踪方法
CN109919981A (zh) 一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法
CN107818302A (zh) 基于卷积神经网络的非刚性多尺度物体检测方法
CN111507217A (zh) 一种基于局部分辨特征融合的行人重识别方法
CN108509976A (zh) 动物的识别装置和方法
CN108921879A (zh) 基于区域选择的CNN和Kalman滤波的运动目标跟踪方法及系统
CN110163077A (zh) 一种基于全卷积神经网络的车道识别方法
CN109671102A (zh) 一种基于深度特征融合卷积神经网络的综合式目标跟踪方法
CN106570490B (zh) 一种基于快速聚类的行人实时跟踪方法
CN109977971A (zh) 基于均值偏移与核相关滤波的尺度自适应目标跟踪系统
CN108460790A (zh) 一种基于一致性预测器模型的视觉跟踪方法
CN105095870A (zh) 基于迁移学习的行人重识别方法
CN109886356A (zh) 一种基于三分支神经网络的目标追踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant