CN106934332A - 一种多目标跟踪的方法 - Google Patents

一种多目标跟踪的方法 Download PDF

Info

Publication number
CN106934332A
CN106934332A CN201511031023.XA CN201511031023A CN106934332A CN 106934332 A CN106934332 A CN 106934332A CN 201511031023 A CN201511031023 A CN 201511031023A CN 106934332 A CN106934332 A CN 106934332A
Authority
CN
China
Prior art keywords
tracking
frame video
target
image block
grader
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201511031023.XA
Other languages
English (en)
Inventor
贾斌
冯良炳
李娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201511031023.XA priority Critical patent/CN106934332A/zh
Publication of CN106934332A publication Critical patent/CN106934332A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多目标跟踪的方法，所述方法包括：在第一帧视频中检测一个或多个跟踪目标，从第一帧视频提取特征，训练分类器，使用训练的分类器从第二帧视频检测一个或多个跟踪目标，从第二帧视频提取特征，确定从第一帧视频提取的特征与从第二帧视频提取的特征之间的第一匹配度，基于所述分类器检测的所述一个或多个跟踪目标的结果和所述第一匹配度，确定所述一个或多个跟踪目标在第二帧视频中的位置。本发明能够对多个目标进行跟踪，并且能够改善多目标跟踪中“跟丢”和/或“跟错”的问题，提高多目标跟踪的准确性。

Description

一种多目标跟踪的方法
技术领域
本发明涉及信息技术领域，具体涉及一种多目标跟踪的方法。
背景技术
视频中多目标(人)的追踪效果由于受到多种因素的影响，如：复杂背景，光照，形变，运动方向，遮挡，合并，分离等，致使实现高效可靠的多目标(人)跟踪成为一个较为困难的问题。目前实现多目标跟踪方法之一是：利用稳定的特征空间，如目标的颜色，对比度，方向梯度直方图等特征，建立跟踪队列，以窗口滑动的方式进行跟踪。但由于存在上述的诸多影响因素，目标稳定的特征较难提取。
另一方面，一些基于“检测的跟踪”方法应用在单目标跟踪中，其本质是一个在线的二元判别分类器，通过跟踪目标的当前位置，在目标的一定邻域内给出正负样本，训练分类器，预测下一帧目标可能出现的位置并用分类器进行判断，在最大可能性出现的位置上如果判断为正，则视为跟踪到目标，如此递进地对目标实现跟踪。然而，样本的选取并非总是非常精准，有时(甚至经常)会产生一定的偏差，于是，由此偏差样本训练出的分类器在预测目标的下一位置时亦会产生一定的偏差，如果对此偏差不能很好地进行控制或修正，分类器的判别能力就会退化，经过一段时间的累积，则会产生目标“漂移”的后果。所谓漂移，是指错误地成为物体模型一部分的像素将模型拉离正确的位置致使跟踪目标失真的现象。
鉴于目标“漂移”这一现象，Boris Babenko等人提出了利用“在线的多事例学习”(Online Multiple Instance Learning)方法来加强目标跟踪的稳定性。在多事例学习方法中，“事例”是指学习或训练的样本。一般算法中，样本是以一个个的单体形式出现，而在多事例学习算法中，学习或训练时样本是以集合(即“包”)的形式出现，一个标记对应一个包而非一个样本，若包中含有至少一个正样本，则此包标记为“正包”，否则为“负包”。此算法的目标是通过训练，学习得到正包中哪个目标是“最正确”。而包中的多个样本也使得学习与训练有更大的选择性，训练出的分类器具有更准确的判别性以解决目标“漂移”问题。
现有的跟踪算法在多目标跟踪方面的应用主要存在以下两方面的问题：一是，存在多目标时，特别在目标模型密集场景下，目标之间的遮挡成为非常严重的一个问题，从而会导致“跟丢”；二是，如果目标具有相似性，在跟踪中会出现将目标A跟踪为B，将目标B跟踪为C，即“跟错”现象。而现有的多事例跟踪算法是用贪婪算法对目标可能出现的下一帧位置进行预测，然后用事先训练好的分类器对预测的位置进行判断，但只应用于对单目标的跟踪。
发明内容
为克服现有技术的不足，本发明提供了一种多目标跟踪的方法，采用分类器和匹配度相结合的方法，可对多个目标进行跟踪，并可实时在线地更新分类器，能够改善多目标跟踪中“跟丢”和/或“跟错”的问题，提高多目标跟踪的准确性。
根据本发明的一个方面，一种多目标跟踪的方法包括下述步骤：利用预定目标检测技术在第一帧视频中检测一个或多个跟踪目标；从第一帧视频提取特征；提取用于训练分类器的样本，并对分类器进行训练；使用训练的分类器从第一帧视频之后的第二帧视频检测所述一个或多个跟踪目标；从第二帧视频提取特征；确定从第一帧视频提取的特征与从第二帧视频提取的特征之间的第一匹配度；基于所述分类器检测的所述一个或多个跟踪目标的结果和所述第一匹配度，确定所述一个或多个跟踪目标在第二帧视频中的位置。
可选择地，分别从第一帧视频中的多个第一图像块提取特征；利用所述分类器判断第二帧视频中的与所述多个第一图像块对应的多个第二图像块中存在每个跟踪目标的概率；分别从第二帧视频中的与所述多个第一图像块对应的多个第二图像块提取特征；其中，对应的第一图像块和第二图像块的大小和位置相同；计算对应的第一图像块和第二图像块的特征之间的相似度作为第一匹配度；针对任意一个跟踪目标，计算每个第二图像块存在所述任意一个跟踪目标的概率与对应的第一匹配度的和，并确定所述和最大的第二图像块的位置作为所述任意一个跟踪目标在第二帧视频中的位置。
可选择地，提取用于训练分类器的样本的步骤包括：分别以检测的一个或多个跟踪目标在第一帧视频中的位置为中心，在小于第一半径的范围内提取正样本，在大于第一半径和小于第二半径的范围内提取负样本。
可选择地，所述多个第一图像块位于第一帧视频中分别以检测的各个跟踪目标在第一帧视频中的位置为中心，小于第三半径的范围内。
可选择地，若第二帧视频之后还有第三帧视频输入，则多目标跟踪的方法的步骤还包括：更新用于训练所述分类器的样本，并对所述分类器重新进行训练；利用重新训练的所述分类器从第二帧视频之后的第三帧视频中检测所述一个或多个跟踪目标；从第三帧视频提取特征；确定从第三帧视频提取的特征与从第二帧视频提取的特征之间的第二匹配度；基于重新训练的所述分类器检测的所述一个或多个跟踪目标的结果和所述第二匹配度，确定所述一个或多个跟踪目标在第三帧视频中的位置。
可选择地，利用重新训练的所述分类器判断第三帧视频中与所述多个第二图像块对应的多个第三图像块中存在每个跟踪目标的概率；分别从第三帧视频中的与所述多个第二图像块对应的多个图像块提取特征；其中，对应的第三图像块和第二图像块的大小和位置相同；计算对应的第三图像块和第二图像块的特征之间的相似度作为第二匹配度；针对任意一个跟踪目标，计算每个第三图像块存在所述任意一个跟踪目标的概率与对应的第二匹配度的和，并确定每个第三图像块存在所述任意一个跟踪目标的概率与对应的第二匹配度的和最大的第三图像块的位置作为所述任意一个跟踪目标在第三帧视频中的位置。
可选择地，更新用于训练所述分类器的样本的步骤包括：分别以检测的各个跟踪目标在第二帧视频中的位置为中心，在小于第一半径范围内提取正样本；在大于第一半径和小于第二半径的范围内提取负样本。
可选择地，第一半径<第二半径<第三半径。
可选择地，采用在线多事例学习的方法训练所述分类器。
本发明将上一帧确定的跟踪目标的位置作为的当前帧对跟踪目标进行检测跟踪的起点，且需要基于跟踪目标的当前位置选取正样本和负样本，更新用于下一帧的跟踪目标检测时训练分类器的样本，可有效改善目标(尤其是多目标)跟踪中出现的“跟丢”的问题；并且时采用分类器与特征向量匹配概率相结合的方法确定每一帧中跟踪目标的位置，可有效改善目标(尤其是多目标)跟踪中出现的“跟错”的问题。
附图说明
从下面结合附图进行的描述，本发明的特定实施例的以上和其他方面、特征和优点将更加清楚，其中：
图1A是根据本发明实施例的多目标跟踪方法的流程图；
图1B是示出根据本发明的另一个实施例的在第三帧视频中检测一个或多个跟踪目标的方法的流程图；
图2是根据本发明实施例的基于“在线多事例学习”训练分类器的方法流程图；
图3是根据本发明实施例的对N个目标位置进行检测的方法的流程图。
具体实施方式
提供参照附图的以下描述以帮助全面理解由权利要求及其等同物限定的本发明的各种实施例。以下描述包括用于帮助理解的各种具体细节，但是这些细节应被仅视为示例性的。相应地，本领域的普通技术人员将认识到，在不脱离本发明的范围和精神的情况下，可对这里描述的各种实施例进行各种改变和修改。
以下，参照附图来详细说明本发明的实施例。
图1A是根据本发明的一个实施例的多目标跟踪方法的流程图。
在步骤S101，利用预定目标检测技术在第一帧视频中检测跟踪目标。
在第一帧视频中，检测出N个待跟踪的目标并标记N个目标的初始位置，其中，N表示目标的个数，N≥1。
预定目标检测技术可以采用多种方法，例如：帧差法、背景减除法、光流法、方向梯度特征等，也可以通过手动方式标注待跟踪的目标的初始位置。
虽然上文列举了几种可用于预定目标检测的技术，但可采用的技术并不受限于此，可以采用任何其他合适的可用于预定目标检测的技术。
在步骤S102，从第一帧视频提取特征。
具体地说，从在第一帧视频划分的多个第一图像块提取特征。,
在一个优选实施例中，仅从第一帧视频的特定位置的第一图像块提取特征。具体地说，设置半径s，在第一帧的视频中，以检测的每个跟踪目标在第一帧视频中的位置为中心，在小于半径s的范围内提取多个第一图像块，并从所述多个第一图像块提取特征。
在此情况下，对任意一个跟踪目标，提取的多个第一图像块可表示为：其中，x1表示多个第一图像块，l(x1)表示在第一帧视频中多个第一图像块x1的位置，表示检测的跟踪目标在第一帧视频中的位置；然后分别从多个第一图像块提取特征，用v1表示。
在步骤S103，提取用于训练分类器的样本，并对分类器进行训练。
可利用检测的一个或多个跟踪目标在第一帧视频中的位置提取训练分类器的正样本和负样本。例如，在所述位置处提取正样本，在其他位置处提取负样本。
在一个优选的实施例中，可分别以检测的一个或多个跟踪目标在第一帧视频中的位置为中心，在小于第一半径的范围内提取正样本，在大于第一半径和小于第二半径的范围内提取负样本。
具体地说，预先设置满足γ<β<s的半径γ和β，以检测的每个跟踪目标在第一帧视频中的位置为中心，在小于半径γ的范围内提取正样本；在大于半径γ和小于半径β的范围内提取负样本。
然后，使用正样本和负样本分别对一个或者多个跟踪目标的分类器进行训练，并且可采用多种方法训练分类器。在一个优选的实施例中，可采用基于“在线多事例学习”的方法来训练分类器。
图2是基于“在线多事例学习”训练分类器的方法流程图。
参照图2，根据本发明的实施例的训练分类器的基本思路为：通过对特征池中的M个弱分类器训练得到K个强分类器，然后利用K个强分类器确定分类器。
具体来说，针对N个跟踪目标中的每一个均进行如下操作：
在步骤S201，输入用于训练任意一个跟踪目标的分类器的样本。
具体地说，用于训练任意一个跟踪目标的分类器的正样本和负样本可表示为数据集其中，1≤c≤C，C为数据集包含的样本包的个数，Xc表示数据集中的第c个样本包，yc表示样本包Xc的标签，yc＝1表示Xc为正包，yc＝0表示Xc为负包；每个样本包内包含足够多的示例以实现对弱分类器的有效训练，例如，第c个样本包可表示为Xc＝{xc1,xc2,…,xcd,…}，xcd表示第c个样本包中的第d个示例。
在步骤S202，利用数据集更新特征池中的M个弱分类器。
在步骤S203，首先，设置hm为第m个弱分类器，1≤m≤M；hk为第k个强分类器，1≤k≤Κ；H为最终所需要的分类器；然后，初始化分类器H＝0，并令k＝1。
在步骤S204使m＝1。
在步骤S205，首先，针对第m个弱分类器，利用所述的数据集训练第m个弱分类器，得到每一个示例是正样本的概率，进而得到第c个样本包Xc是正包的概率。例如，第c个样本包中第d个示例是正样本的概率为：则计算第c个样本包Xc是正包的概率为：
在步骤S206，利用公式(1)计算Xc是正包的log相似度。
在步骤S207，判断m是否等于M；若m不等于M，则令m+1，并重复步骤S205～S206继续训练弱分类器；若m＝M，则进行步骤S208；
在步骤S208，将得到的正包的log相似度最大的弱分类器作为第k个强分类器，即：由m*＝argmaxmLm得到正包相似度最大的弱分类器的序号，进而得到针对某一个特征的最合适的弱分类器然后，将赋给hk，即第k个强分类器
在步骤S209，利用H＝H+hk更新分类器。
在步骤S210，判断k是否等于K，若k<K，则令k+1,然后按照S204～S209继续训练分类器；若k＝K，则停止训练分类器，并输出训练的分类器H。
返回图1A，在步骤S104，使用训练的分类器从第一帧视频之后的第二帧视频检测所述一个或多个跟踪目标。这里，输入第一帧视频之后的第二帧视频，第一帧视频和第二帧视频可以是相邻的两帧视频，或者是存在一定时间间隔的两帧视频。
具体地说，利用所述分类器判断第二帧视频中的与所述多个第一图像块对应的多个第二图像块中存在每个跟踪目标的概率。
在此情况下，可按照与提取多个第一图像块的方法相类似的方法，在第二帧视频中提取与多个第一图像块对应的多个第二图像块；且对应的第一图像块和第二图像块在形状和位置上相同。
具体地说，对任意一个跟踪目标，提取的多个第二图像块可表示为：此处，x2表示多个第二图像块，l2(x2)表示在第二帧视频中多个第二图像块x2的位置，表示第一帧的图像中各个跟踪目标的位置。
虽然上文描述了提取多个第二图像块的方法，但是本发明不局限于此，并且可以多种方法提取所述多个第二图像块。
然后，利用所述分类器判断与多个第一图像块对应的多个第二图像块中存在所述跟踪目标的概率，此概率可具体地表示为：p1＝p(y＝1|x2)。
在步骤S105，从第二帧视频提取特征。
具体地说，分别从第二帧视频中的与所述多个第一图像块对应的多个第二图像块提取特征，用v2表示。
在步骤S106，确定从第一帧视频提取的特征与从第二帧视频提取的特征之间的第一匹配度。
具体地说，计算对应的第一图像块和第二图像块的特征之间的相似度作为第一匹配度。根据本发明的一个优选的实施例，对应的第一图像块和第二图像块的特征之间的相似度可表示为：对应的第一图像块和第二图像块的特征之间的特征匹配概率p2＝p(v2|v1)。
在步骤S107，基于所述分类器检测的所述一个或多个跟踪目标的结果和所述第一匹配度，确定所述一个或多个跟踪目标在第二帧视频中的位置。
具体地说，针对任意一个跟踪目标，计算每个第二图像块存在所述任意一个跟踪目标的概率与对应的第一匹配度的和，并确定所述和最大的第二图像块的位置作为所述任意一个跟踪目标在第二帧视频中的位置。
例如，可利用下面的公式(2)确定任意一个跟踪目标在第二帧视频中的位置
图1B是示出根据本发明的另一个实施例的在第三帧视频中检测一个或多个跟踪目标的方法的流程图，若第二帧视频之后还有第三帧视频输入，则按照下面的步骤继续对一个或者多个跟踪目标进行检测跟踪。
在步骤S108，更新用于训练所述分类器的样本，并对所述分类器重新进行训练。
具体地说，可利用检测的一个或多个跟踪目标在第二帧视频中的位置提取训练分类器的样本。在一个优选的实施例中，分别以检测的各个跟踪目标在第二帧视频中的位置为中心，在小于第一半径范围内提取正样本；在大于第一半径和小于第二半径的范围内提取负样本。
然后，利用更新的用于训练所述分类器的样本分别对一个或者多个跟踪目标的分类器进行训练，并且可采用多种方法重新训练分类器。在一个优选的实施例中，可采用与图2示出的步骤S201～S210相同的方法重新训练所述分类器。
在步骤S109，利用重新训练的所述分类器从第二帧视频之后的第三帧视频中检测所述一个或多个跟踪目标。
具体地说，利用重新训练的所述分类器判断第三帧视频中与所述多个第二图像块对应的多个第三图像块中存在每个跟踪目标的概率。
这里，所述多个第三图像块分别与所述多个第二图像块相对应，且对应的第三图像块和第二图像块在形状和位置上相同。
根据与从第一帧视频的特定位置的第一图像块提取特征的一个优选实施例的相类似的方法，在第三帧视频中，可分别以检测的各个跟踪目标在第二帧视频中的位置为中心，在小于第三半径的范围内提取多个第三图像块。
在步骤S110，从第三帧视频提取特征。
具体地说，从在在第三帧视频划分的多个第三图像块提取特征。
在步骤S111，确定从第三帧视频提取的特征与从第二帧视频提取的特征之间的第二匹配度。具体地说，计算对应的第三图像块和第二图像块的特征之间的相似度作为第二匹配度。根据本发明的一个优选的实施例，对应的第三图像块和第二图像块的特征之间的相似度可用提取的特征之间的特征匹配概率来表示。
在步骤S112，基于重新训练的所述分类器检测的所述一个或多个跟踪目标的结果和所述第二匹配度，确定所述一个或多个跟踪目标在第三帧视频中的位置。
具体地说，针对任意一个跟踪目标，计算每个第三图像块存在所述任意一个跟踪目标的概率与对应的第二匹配度的和，并确定每个第三图像块存在所述任意一个跟踪目标的概率与对应的第二匹配度的和最大的第三图像块的位置作为所述任意一个跟踪目标在第三帧视频中的位置。
根据本发明的另一个示例性实施例，若第三帧视频之后，还需要在第四帧视频中对跟踪目标进行检测，则按照与步骤(S108)～步骤(S112)相类似的方法进行检测，并输出各帧的视频中一个或多个跟踪目标的跟踪结果(例如，每帧中的一个或多个跟踪目标的位置轨迹图)，直至没有下一帧视频帧输入。
图3是根据本发明的一个实施例的对N个目标位置进行检测的方法的流程图。
这里的图3示出的流程图描述的是总结上述的对多个目标进行检测跟踪的方法，从整体上阐述对任意帧视频(用第t帧视频表示任意帧视频，且t>1)中的一个或多个跟踪目标进行检测的步骤，下面参照图3对此进行地详细具体描述。
在步骤S301，设在第t帧的视频中检测的目标为第i个目标，并且使i＝1。
在步骤S302，以第t-1帧的视频中第i个目标的位置为中心，s为半径，在第t帧的视频中提取图像块集合其中，x表示图像块，l(x)表示图像块x的位置，表示第t-1帧的图像中第i个目标的位置。
然后，计算第i个目标在各个图像块中的特征向量这里，表示第i个目标在第j个图像块中的特征向量
在步骤S303，使用分类器估计x∈Xs的各个图像块中目标存在的概率p1＝p(y＝1|x)。这里，使用的分类器是经过样本训练的分类器，并且训练分类器所采用的方法与上文描述的相同，即可采用基于在线多事例学习或其他适合的方法进行分类器的训练。
在步骤S304，计算第t帧的视频中第i个目标在第j个图像块中的特征向量与第t-1的视频中第i个目标在第j个图像块中的特征向量之间的特征向量匹配概率
由于同一目标的特征向量即使在不同帧中也会有高度的相似性，因此，可基于特征向量计算当前帧检测到的目标与上一帧检测到的目标是同一目标的概率，即特征向量匹配概率并以此作为目标位置预测的依据，可而改善多目标跟踪中易出现“跟错”的问题，从而提高多目标跟踪的准确率；
在步骤S305，将Xs中p1＝p(y＝1|x)和之和最大值处的图像块的位置标记为第t帧的视频中第i个目标的位置即：
在步骤S306，提取的γ邻域内的一组图像块为正样本包，的(γ,β)环域内的一组图像块为负样本包，且γ<β<s。
用提取的正样本包和负样本包更新在下一帧视频中训练分类器的样本，由此，本发明可有效改善多目标跟踪中出现的“跟丢”的问题。
在步骤S307，判断i是否等于N；若i不等于N，则令i+1，并按照步骤S302～S306的对第i+1个目标的位置进行检测；若i等于N，则输出在第t帧的视频中N个目标的检测结果(例如，可输出各个跟踪目标的位置标记图)。
在此情况下，多任务和并行处理是有用的。也就是说，本发明在对N个目标的位置进行预测跟踪时，还可以同时开辟多个队列，并行地对N个目标的进行检测，提高整个跟踪算法的效率。
虽然上文中的各个步骤是以特定的顺序被示出，但所述各个步骤不应被解释为受限于特定的顺序或者一系列连续的顺序或者所有的步骤不应被理解为以获取期望结果而被执行。
综上所述，本发明将上一帧确定的跟踪目标的位置作为的当前帧对跟踪目标进行检测跟踪的起点，且需要基于跟踪目标的当前位置选取正样本和负样本，更新用于下一帧的跟踪目标检测时训练分类器的样本，可有效改善目标(尤其是多目标)跟踪中出现的“跟丢”的问题；并且时采用分类器与特征向量匹配概率相结合的方法确定每一帧中跟踪目标的位置，可有效改善目标(尤其是多目标)跟踪中出现的“跟错”的问题。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种多目标跟踪的方法，其特征在于，所述方法包括：
(A)利用预定目标检测技术在第一帧视频中检测一个或多个跟踪目标；
(B)从第一帧视频提取特征；
(C)提取用于训练分类器的样本，并对分类器进行训练；
(D)使用训练的分类器从第一帧视频之后的第二帧视频检测所述一个或多个跟踪目标；
(E)从第二帧视频提取特征；
(F)确定从第一帧视频提取的特征与从第二帧视频提取的特征之间的第一匹配度；
(G)基于所述分类器检测的所述一个或多个跟踪目标的结果和所述第一匹配度，确定所述一个或多个跟踪目标在第二帧视频中的位置。
2.如权利要求1所述的一种多目标跟踪的方法，其特征在于，
步骤(B)包括：分别从第一帧视频中的多个第一图像块提取特征；
步骤(D)包括：利用所述分类器判断第二帧视频中的与所述多个第一图像块对应的多个第二图像块中存在每个跟踪目标的概率；
步骤(E)包括：分别从第二帧视频中的与所述多个第一图像块对应的多个第二图像块提取特征；
其中，对应的第一图像块和第二图像块的大小和位置相同；
步骤(F)包括：计算对应的第一图像块和第二图像块的特征之间的相似度作为第一匹配度；
步骤(G)包括：针对任意一个跟踪目标，计算每个第二图像块存在所述任意一个跟踪目标的概率与对应的第一匹配度的和，并确定所述和最大的第二图像块的位置作为所述任意一个跟踪目标在第二帧视频中的位置。
3.如权利要求2所述的一种多目标跟踪的方法，其特征在于，步骤(C)的提取用于训练分类器的样本的步骤包括：分别以检测的一个或多个跟踪目标在第一帧视频中的位置为中心，在小于第一半径的范围内提取正样本，在大于第一半径和小于第二半径的范围内提取负样本。
4.如权利要求3所述的一种多目标跟踪的方法，其特征在于，
步骤(B)包括：所述多个第一图像块位于第一帧视频中分别以检测的各个跟踪目标在第一帧视频中的位置为中心，小于第三半径的范围内。
5.如权利要求1或4所述的一种多目标跟踪的方法，其特征在于，还包括：
(H)更新用于训练所述分类器的样本，并对所述分类器重新进行训练；
(I)利用重新训练的所述分类器从第二帧视频之后的第三帧视频中检测所述一个或多个跟踪目标；
(J)从第三帧视频提取特征；
(K)确定从第三帧视频提取的特征与从第二帧视频提取的特征之间的第二匹配度；
(L)基于重新训练的所述分类器检测的所述一个或多个跟踪目标的结果和所述第二匹配度，确定所述一个或多个跟踪目标在第三帧视频中的位置。
6.如权利要求5所述的一种多目标跟踪的方法，其特征在于，
步骤(I)包括：利用重新训练的所述分类器判断第三帧视频中与所述多个第二图像块对应的多个第三图像块中存在每个跟踪目标的概率；
步骤(J)包括：分别从第三帧视频中的与所述多个第二图像块对应的多个图像块提取特征；
其中，对应的第三图像块和第二图像块的大小和位置相同；
步骤(K)包括：计算对应的第三图像块和第二图像块的特征之间的相似度作为第二匹配度；
步骤(L)包括：针对任意一个跟踪目标，计算每个第三图像块存在所述任意一个跟踪目标的概率与对应的第二匹配度的和，并确定每个第三图像块存在所述任意一个跟踪目标的概率与对应的第二匹配度的和最大的第三图像块的位置作为所述任意一个跟踪目标在第三帧视频中的位置。
7.如权利要求6所述的一种多目标跟踪的方法，其特征在于，步骤(H)的更新用于训练所述分类器的样本的步骤包括：分别以检测的各个跟踪目标在第二帧视频中的位置为中心，在小于第一半径范围内提取正样本；在大于第一半径和小于第二半径的范围内提取负样本。
8.如权利要求7所述的一种多目标跟踪的方法，其特征在于，所述第一半径<第二半径<第三半径。
9.如权利要求8所述的一种多目标跟踪的方法，其特征在于，采用在线多事例学习的方法训练所述分类器。
CN201511031023.XA 2015-12-31 2015-12-31 一种多目标跟踪的方法 Pending CN106934332A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511031023.XA CN106934332A (zh) 2015-12-31 2015-12-31 一种多目标跟踪的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511031023.XA CN106934332A (zh) 2015-12-31 2015-12-31 一种多目标跟踪的方法

Publications (1)

Publication Number Publication Date
CN106934332A true CN106934332A (zh) 2017-07-07

Family

ID=59444088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511031023.XA Pending CN106934332A (zh) 2015-12-31 2015-12-31 一种多目标跟踪的方法

Country Status (1)

Country Link
CN (1) CN106934332A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730538A (zh) * 2017-10-11 2018-02-23 恩泊泰（天津）科技有限公司 一种基于图像的多目标跟踪的方法及装置
CN108520218A (zh) * 2018-03-29 2018-09-11 深圳市芯汉感知技术有限公司 一种基于目标跟踪算法的舰船样本收集方法
CN108537826A (zh) * 2018-05-28 2018-09-14 深圳市芯汉感知技术有限公司 一种基于人工干预的舰船目标跟踪方法
CN108961312A (zh) * 2018-04-03 2018-12-07 奥瞳系统科技有限公司 用于嵌入式视觉系统的高性能视觉对象跟踪方法及系统
CN110688873A (zh) * 2018-07-04 2020-01-14 上海智臻智能网络科技股份有限公司 多目标追踪方法及人脸识别方法
CN112991394A (zh) * 2021-04-16 2021-06-18 北京京航计算通讯研究所 基于三次样条插值和马尔科夫链的kcf目标跟踪方法
CN113158813A (zh) * 2021-03-26 2021-07-23 精英数智科技股份有限公司 流动目标实时统计方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593856A (zh) * 2013-11-20 2014-02-19 中国科学院深圳先进技术研究院 单目标跟踪方法及系统
CN103699908A (zh) * 2014-01-14 2014-04-02 上海交通大学 基于联合推理的视频多目标跟踪方法
CN103793926A (zh) * 2014-02-27 2014-05-14 西安电子科技大学 基于样本重选择的目标跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593856A (zh) * 2013-11-20 2014-02-19 中国科学院深圳先进技术研究院 单目标跟踪方法及系统
CN103699908A (zh) * 2014-01-14 2014-04-02 上海交通大学 基于联合推理的视频多目标跟踪方法
CN103793926A (zh) * 2014-02-27 2014-05-14 西安电子科技大学 基于样本重选择的目标跟踪方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730538A (zh) * 2017-10-11 2018-02-23 恩泊泰（天津）科技有限公司 一种基于图像的多目标跟踪的方法及装置
CN108520218A (zh) * 2018-03-29 2018-09-11 深圳市芯汉感知技术有限公司 一种基于目标跟踪算法的舰船样本收集方法
CN108961312A (zh) * 2018-04-03 2018-12-07 奥瞳系统科技有限公司 用于嵌入式视觉系统的高性能视觉对象跟踪方法及系统
CN108961312B (zh) * 2018-04-03 2022-02-25 奥瞳系统科技有限公司 用于嵌入式视觉系统的高性能视觉对象跟踪方法及系统
CN108537826A (zh) * 2018-05-28 2018-09-14 深圳市芯汉感知技术有限公司 一种基于人工干预的舰船目标跟踪方法
CN110688873A (zh) * 2018-07-04 2020-01-14 上海智臻智能网络科技股份有限公司 多目标追踪方法及人脸识别方法
CN113158813A (zh) * 2021-03-26 2021-07-23 精英数智科技股份有限公司 流动目标实时统计方法及装置
CN112991394A (zh) * 2021-04-16 2021-06-18 北京京航计算通讯研究所 基于三次样条插值和马尔科夫链的kcf目标跟踪方法
CN112991394B (zh) * 2021-04-16 2024-01-19 北京京航计算通讯研究所 基于三次样条插值和马尔科夫链的kcf目标跟踪方法

Similar Documents

Publication Publication Date Title
CN106934332A (zh) 一种多目标跟踪的方法
Xiong et al. Spatiotemporal modeling for crowd counting in videos
Xiao et al. End-to-end deep learning for person search
Braham et al. Deep background subtraction with scene-specific convolutional neural networks
Ma et al. Crossing the line: Crowd counting by integer programming with local features
Zhang et al. Video object segmentation through spatially accurate and temporally dense extraction of primary object regions
CN103971386B (zh) 一种动态背景场景下的前景检测方法
Zhang et al. Online multi-person tracking by tracker hierarchy
CN106778712B (zh) 一种多目标检测与跟踪方法
CN103942751B (zh) 一种视频关键帧提取方法
CN106529419B (zh) 视频显著性堆栈式聚合的对象自动检测方法
CN104598883B (zh) 一种多摄像机监控网络中目标再识别的方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN108960047B (zh) 基于深度二次树的视频监控中人脸去重方法
CN105701460A (zh) 一种基于视频的篮球进球检测方法和装置
CN104134078B (zh) 一种人流量统计系统中分类器的自动选择方法
CN103778436B (zh) 一种基于图像处理的行人姿态检测方法
CN109800624A (zh) 一种基于行人重识别的多目标跟踪方法
CN103824070A (zh) 一种基于计算机视觉的快速行人检测方法
CN110298297A (zh) 火焰识别方法和装置
CN110728216A (zh) 一种基于行人属性自适应学习的无监督行人再识别方法
CN110956158A (zh) 一种基于教师学生学习框架的遮挡行人再标识方法
JP2014059655A (ja) 道路状況監視装置、及び道路状況監視方法
KR20170097265A (ko) 다중 이동 객체 추적 시스템 및 이를 이용한 다중 이동 객체 추적 방법
CN105938551A (zh) 一种基于视频数据的人脸特定区域提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170707

RJ01 Rejection of invention patent application after publication