CN111192294A - 一种基于目标检测的目标跟踪方法及系统 - Google Patents

一种基于目标检测的目标跟踪方法及系统 Download PDF

Info

Publication number
CN111192294A
CN111192294A CN201911393936.4A CN201911393936A CN111192294A CN 111192294 A CN111192294 A CN 111192294A CN 201911393936 A CN201911393936 A CN 201911393936A CN 111192294 A CN111192294 A CN 111192294A
Authority
CN
China
Prior art keywords
target
tracking
network
score
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911393936.4A
Other languages
English (en)
Other versions
CN111192294B (zh
Inventor
秦淮
高常鑫
桑农
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201911393936.4A priority Critical patent/CN111192294B/zh
Publication of CN111192294A publication Critical patent/CN111192294A/zh
Application granted granted Critical
Publication of CN111192294B publication Critical patent/CN111192294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于目标检测的目标跟踪方法及系统，模式识别技术领域，包括：为待跟踪目标建立包括主干网络和推理网络的目标跟踪模型，主干网络为目标检测模型中已训练好的特征提取网络；在目标视频中的第一帧F1上创建多个正样本，通过模型训练初始化推理网络；依次获取目标视频中的帧作为当前帧，利用目标跟踪模型获得当前帧中的多个候选区域及其检测得分和目标位置坐标；根据空间约束对检测得分进行修正，得到跟踪得分；若跟踪得分最高的目标区域的跟踪得分Score>ThS，则跟踪成功，并创建正、负样本，加入到样本库中；若ThF≤Score≤ThS，则判定跟踪成功；若Score<ThF，则判定踪失败，并利用样本库中推理网络进行在线更新。本发明能够实现对目标的持续、准确的跟踪。

Description

一种基于目标检测的目标跟踪方法及系统
技术领域
本发明属于模式识别技术领域，更具体地，涉及一种基于目标检测的目标跟踪方法及系统。
背景技术
目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力；目标跟踪，即在给定某视频序列初始帧的目标大小与位置的情况下，预测后续帧中该目标的大小与位置。由于基于深度学习的目标检测算法具有强大的判别能力和回归能力，目标检测算法中的一些技术在基于深度学习的跟踪算法中得到了越来越多的关注和应用。
然而，直接将基于深度学习的目标检测算法应用于跟踪任务是不可行的。这是因为单目标跟踪任务，有两个不同于目标检测任务的难点。一是训练样本有限。单目标跟踪是一个无类别先验的任务，即在进行在线跟踪之前不知道目标的具体类别和形态，这使得在离线训练过程中难以找到有效的训练样本。二是单目标跟踪任务具有复杂的运动属性。不同于只需要处理静态图片的目标检测任务，单目标跟踪任务的对象是视频序列中运动的物体，物体会产生各种复杂的形态变化。
总的来说，由于目标跟踪任务与目标检测任务存在上述不同，现有的应用了目标检测技术的目标跟踪方法，并不能很好地利用目标检测算法的判别能力和回归能力，跟踪效果较差，很有可能在目标跟踪过程中丢失目标。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种基于目标检测的目标跟踪方法，其目的在于，在执行目标跟踪任务时，充分利用目标检测算法的判别能力和回归能力，实现对目标的持续、准确的跟踪。
为实现上述目的，按照本发明的第一方面，提供了一种基于目标检测的目标跟踪方法，包括：
为待跟踪目标建立目标跟踪模型，目标跟踪模型包括主干网络和推理网络；主干网络，用于提取深度特征，并在所得到的特征图上以不同尺度的候选框提取候选区域的区域特征；推理网络，用于根据区域特征为每一个候选区域打分，以得到各候选区域的检测得分，并对各候选区域进行回归，以获得更为精确的目标位置坐标；主干网络为目标检测模型中用于提取特征的网络，且已训练好；
获取待处理的目标视频中的第一帧F1，在其上通过数据增强的方式创建多个正样本，并利用所得到的正样本训练目标跟踪模型，以初始化推理网络；
在推理网络初始化之后，依次获取目标视频中的帧作为当前帧，并按照如下步骤对各帧进行目标跟踪：
(S1)利用目标跟踪模型获得待跟踪目标在当前帧中的多个候选区域，以及各候选区域的检测得分和目标位置坐标；
(S2)根据空间约束对检测得分进行修正，以得到各候选区域的跟踪得分，并将跟踪得分最高的候选区域确定为目标区域；
(S3)若目标区域的跟踪得分Score>ThS，则判定当前帧跟踪成功，并根据当前帧创建正、负样本，加入到样本库中；若ThF≤Score≤ThS，则判定当前帧跟踪成功；若Score<ThF，则判定当前帧跟踪失败，并利用样本库中的样本对目标跟踪模型进行重新训练，以对推理网络进行在线更新；
其中，ThS为预设的成功阈值，ThF为预设的失败阈值；样本库用于在目标跟踪过程中存储正、负样本，初始时刻，其中样本数量为0；空间约束与待跟踪目标在当前帧及前一帧中的空间位置和尺度的变化相关。
在目标跟踪任务中，目标具有复杂的运动属性，并且可能产生各种复杂的形态变化。上下文信息是目标跟踪任务的特殊属性，目标的空间位置和大小尺寸在连续两帧之间变化不大。本发明根据上下文信息提出了短时的空间约束，在利用目标检测模型中的特征提取网络(即主干网络)得到候选区域的检测得分后，基于根据空间约束对检测得分进行修正，再根据修正得到的跟踪得分完成对目标的跟踪，能够实现对目标的准确跟踪。在某一帧中，目标跟踪失败，说明目标相对于初始状态已经发生了较大的变化，当前的目标跟踪模型已经不再适用。本发明引入了长时的在线更新策略，在跟踪过程中，会将置信度较高的样本实时存储到样本库中，并且在跟踪失败时，利用样本库中的样本对目标跟踪模型进行在线跟踪，从而目标跟踪模型能够适应目标的状态变化，继续实现对目标的准确跟踪。
总的来说，本发明根据目标的运动属性，引入短时的空间约束，能够有效防止跟踪漂移；引入长时的在线更新策略，能够适应目标的变化。因此，本发明能充分利用目标检测算法的判别能力和回归能力，实现对目标的持续、准确的跟踪。
进一步地，主干网络的训练方法包括：
建立多分支目标检测模型，其中包括特征提取网络以及离线训练网络；
特征提取网络，用于提取深度特征，并在所得到的特征图上以不同尺度的候选框提取候选区域的区域特征；
离线训练网络包括多个分支网络，每个分支网络与一个跟踪目标相对应；分支网络，用于根据区域特征为每一个候选区域进行打分，并对各候选区域进行回归，以获得更为精确的目标位置坐标；
利用标准数据集对离线训练网络进行训练，在训练结束后，将特征提取网络作为主干网络；
其中，标准数据集中，各目标实际所在的区域得分及坐标位置已知。
本发明所建立的多分支目标检测模型，包含多个目标一一对应的多个分支网络，由特征提取网络提取目标的通用特征，由各分支网络提取目标的个体特征，从而在主干网络(即多分支目标检测模型中的特征提取网络)的训练过程中，不局限于特定的目标，而是可以利用不同目标的训练样本，因此，本发明能够突破训练样本不足的限制，训练得到性能优良的主干网络，从而在执行目标跟踪任务时，能够准确提取到目标的通用特征。
进一步地，步骤(S2)中，根据空间约束对检测得分进行修正，其修正表达式为：p＝p0*p1*p2；
其中，p和p0分别表示检测得分和跟踪得分；p1表示空间约束中的距离约束，目标在当前帧及前一帧中的距离越大，距离约束p1越小；p2表示空间约束中的尺度约束，目标在当前帧及前一帧中的尺度变化越大，尺度约束p2越小。
目标跟踪任务中，目标在的空间位置和尺度在连续两帧之间的变化不大，本发明根据距离约束p1和尺度约束p2对候选区域的检测得分进行修正，使得目标在当前帧及前一帧之间的距离越大、尺度变化越大，相应的候选区域的跟踪得分越小，从而该候选区域是目标区域的概率越小，与目标的运动属性相符，保证了目标跟踪的准确性。
进一步地，
Figure BDA0002345766090000041
其中，Ct和Ct-1分别表示待跟踪目标在当前帧和前一帧的中心点坐标，d＝||Ct-Ct-1||表示两个中间点之间的欧式距离，R表示预设的中心点距离的变化范围，k1＞0表示控制距离约束衰减速度的控制因子。
进一步地，
Figure BDA0002345766090000042
其中，γt和γt-1分别表示待跟踪目标在当前帧和前一帧的宽高比，st和st-1分别表示待跟踪目标在当前帧和前一帧的面积，k2＞0表示控制尺度约束衰减速度的控制因子。
本发明在计算尺度约束p2时，同时考虑目标的面积和宽高比在当前帧及前一帧中的变化程度，能够全面、准确地捕捉到目标的尺度变化。
进一步地，在任意一帧中，待跟踪目标的面积计算公式为：
Figure BDA0002345766090000051
其中，s表示待跟踪目标的面积，ω和h分别表示待跟踪目标的宽和高。
本发明根据上述公式计算目标的面积，能够减少所计算的面积在高h远大于宽ω或者宽ω远大于高h的极端情况下所受到的影响。
进一步地，主干网络为特征金字塔主干网络(FPN)，且主干网络提取深度特征后，所得到的特征图为第二层到第六层的输出特征图。
在常规的卷积深度网络的基础上，特征金字塔主干网络引入了自上而下的上采样操作和与同层特征的横向连接，本发明使用特征金字塔主干网络作为主干网络，可以从不同的网络层提取不同分辨率的特征。在目标跟踪任务中，目标尺寸往往较小，与传统的利用特征金字塔主干网络提取深度特征时，以第三层到第七层的输出特征图为最终的特征图相比，本发明以第二层到第六层的输出特征图为最终的特征图，在提取特征时，所使用的候选框尺寸较小，与跟踪任务中的目标尺寸相匹配，能够更为准确地提取目标的深度特征。
进一步地，步骤(S3)中，在目标区域的跟踪得分Score>ThS时，根据当前帧创建正、负样本，其方法包括：
从当前帧的所有候选区域中，筛选出跟踪得分高于成功阈值ThS的候选区域，将筛选出的每一个候选区域连同其跟踪得分和目标位置坐标作为一个正样本；
从当前帧的所有候选区域中，筛选出跟踪得分低于失败阈值ThF的候选区域，将筛选出的每一个候选区域连同其跟踪得分和目标位置坐标作为一个负样本。
本发明在目标区域的跟踪得分较高(即置信度较高)时，利用相应帧中的高于成功阈值ThS的候选区域构建正样本，并存储至样本库中，从而后续能够获取到高置信度的正样本，完成对推理网络的在线更新，保证了在线更新之后，目标跟踪模型能够继续准确地跟踪目标。
进一步地，推理网络包括：分类子网络和回归子网络；
分类子网络用于根据区域特征为每一个候选区域打分，以得到各候选区域的检测得分；
归回子网络用于对各候选区域进行回归，以获得更为精确的目标位置坐标。
按照本发明的第二方面，提供了一种系统，包括：计算机可读存储介质和处理器，计算机可读存储介质用于存储可执行程序；
处理器用于读取计算机可读存储介质中存储的可执行程序，执行本发明第一方面提供的基于目标检测的目标跟踪方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明根据目标的运动属性，引入短时的空间约束，能够有效防止跟踪漂移；引入长时的在线更新策略，能够适应目标的变化。因此，本发明能充分利用目标检测算法的判别能力和回归能力，实现对目标的持续、准确的跟踪。
(2)本发明所建立的多分支目标检测模型，包含多个目标一一对应的多个分支网络，由特征提取网络提取目标的通用特征，由各分支网络提取目标的个体特征，从而在主干网络(即多分支目标检测模型中的特征提取网络)的训练过程中，不局限于特定的目标，因此，本发明能够突破训练样本不足的限制，训练得到性能优良的主干网络，从而在执行目标跟踪任务时，能够准确提取到目标的通用特征。
(3)本发明根据距离约束p1和尺度约束p2对候选区域的检测得分进行修正，使得目标在当前帧及前一帧之间的距离越大、尺度变化越大，相应的候选区域的跟踪得分越小，从而该候选区域是目标区域的概率越小，与目标的运动属性相符，保证了目标跟踪的准确性。
(4)本发明具有良好的泛化能力，根据本发明所提供的基于目标检测的目标跟踪方法，任意一种深度学习的目标检测算法(包括一阶段检测算法和二阶段检测算法)均可迁移到单目标跟踪任务上。
附图说明
图1为本发明实施例提供的基于目标检测的目标跟踪方法示意图；
图2为本发明实施例提供的跟踪结果示意图；其中，(a)和(b)为对同一视频中不同目标的跟踪示意图；(c)和(d)为同一目标在第1帧到第45帧的跟踪示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
在详细解释本发明的技术方案之前，先对相关的技术术语进行简要解释和说明：
特征金字塔主干网络：FPNBackboneNetwork(FPN)，是深度学习中常见的一种提取深度特征的网络结构；
候选区域：Proposals，是在特征图上用不同尺度的候选框提取的特征区域；
离线训练网络：Off-lineTrainingSubnetwork，用于训练主干网络的多分支网络结构；
推理网络：InferenceSubnetwork，用于进行在线跟踪的网络结构；
分类子网络：ClassificationSubnetwork，用于对不同的候选区域进行打分，分数越高，该候选区域为目标区域的概率越大；
回归子网络：RegressionSubnetwork，用于对候选区域进行回归，以获得更为精确的目标位置坐标；
ReLU激活函数：线性整流函数，又称修正线性单元，是一种人工神经网络中常用的激活函数，通常指代以斜坡函数及其变种为代表的非线性函数。
为了在执行目标跟踪任务时，充分利用目标检测算法的判别能力和回归能力，实现对目标的持续、准确的跟踪，本发明提供了一种基于目标检测的目标跟踪方法，包括：
为待跟踪目标建立目标跟踪模型，目标跟踪模型包括主干网络和推理网络；主干网络，用于提取深度特征，并在所得到的特征图上以不同尺度的候选框提取候选区域的区域特征；推理网络，用于根据区域特征为每一个候选区域打分，以得到各候选区域的检测得分，并对各候选区域进行回归，以获得更为精确的目标位置坐标；主干网络为目标检测模型中用于提取特征的网络，且已训练好；
获取待处理的目标视频中的第一帧F1，在其上通过数据增强的方式创建多个正样本，并利用所得到的正样本训练目标跟踪模型，以初始化推理网络；在初始化推理网络的过程中，主干网络不作更新；用于初始化推理网络的正样本数量可根据实际的跟踪需求确定，例如，在本实施例中，具体创建了5000个正样本，用于初始化推理网络；
在推理网络初始化之后，依次获取目标视频中的帧作为当前帧，并按照如下步骤对各帧进行目标跟踪：
(S1)利用目标跟踪模型获得待跟踪目标在当前帧中的多个候选区域，以及各候选区域的检测得分和目标位置坐标；
(S2)根据空间约束对检测得分进行修正，以得到各候选区域的跟踪得分，并将跟踪得分最高的候选区域确定为目标区域；
(S3)若目标区域的跟踪得分Score>ThS，则判定当前帧跟踪成功，并根据当前帧创建正、负样本，加入到样本库中；若ThF≤Score≤ThS，则判定当前帧跟踪成功；若Score<ThF，则判定当前帧跟踪失败，并利用样本库中的样本对目标跟踪模型进行重新训练，以对推理网络进行在线更新；
其中，ThS为预设的成功阈值，ThF为预设的失败阈值，成功阈值ThS和失败阈值ThF可根据推理网络的在线更新频率以及更新样本的置信度设定，具体来说，要求样本库样本置信度越高，成功阈值ThS越大，要求更新频率越高，失败阈值ThF越大，在本实施例中，根据经验，设定成功阈值ThS＝0.8，失败阈值ThF＝0.2；样本库用于在目标跟踪过程中存储正、负样本，初始时刻，其中样本数量为0；空间约束与待跟踪目标在当前帧及前一帧中的空间位置和尺度的变化相关。
上述基于目标检测的目标跟踪方法，根据目标的运动属性，引入短时的空间约束，能够有效防止跟踪漂移；引入长时的在线更新策略，能够适应目标的变化；因此，上述基于目标检测的目标跟踪方法，能充分利用目标检测算法的判别能力和回归能力，实现对目标的持续、准确的跟踪。
任意一种目标检测模型中用于提取特征的网络在训练完成之后，均可作为本发明中的主干网络；作为一种优选的实施方式，在本实施例中，如图1所示，主干网络为特征金字塔主干网络，即图1中(a)部分所示的FPNBackboneNetwork，且主干网络提取深度特征后，所得到的特征图为第二层到第六层的输出特征图；
在常规的卷积深度网络的基础上，特征金字塔主干网络引入了自上而下的上采样操作和与同层特征的横向连接，本实施例使用特征金字塔主干网络作为主干网络，可以从不同的网络层提取不同分辨率的特征；本发明具体以第二层到第六层的输出特征图为最终的特征图，在提取特征时，所使用的候选框尺寸较小，与跟踪任务中的目标尺寸相匹配，能够更为准确地提取目标的深度特征；
在使用特征金字塔主干网络的情况下，本实施例中的目标检测模型具体由图1中(a)部分所示的FPNBackboneNetwork和(c)部分所示的InferenceSubnetwork组成；
应当说明的是，此处描述仅为本发明的一种优选的实施方式，不应理解为对本发明的唯一限定。
针对训练样本不足的限制，在一个可选的实施方式中，主干网络的训练方法包括：
建立多分支目标检测模型，其中包括特征提取网络以及离线训练网络；
特征提取网络，用于提取深度特征，并在所得到的特征图上以不同尺度的候选框提取候选区域的区域特征；
离线训练网络包括多个分支网络，每个分支网络与一个跟踪目标相对应；分支网络，用于根据区域特征为每一个候选区域进行打分，并对各候选区域进行回归，以获得更为精确的目标位置坐标；
利用标准数据集对离线训练网络进行训练，在训练结束后，将特征提取网络作为主干网络；
其中，标准数据集中，各目标实际所在的区域得分及坐标位置已知；在以特征金字塔主干网络为主干网络的情况下，本实施例所建立的多分支目标检测模型由图1中(a)部分所示的FPNBackboneNetwork和(b)部分所示的Off-lineTrainingSubnetwork组成。
本实施例所建立的多分支目标检测模型，包含多个目标一一对应的多个分支网络，由特征提取网络提取目标的通用特征，由各分支网络提取目标的个体特征，从而在主干网络(即多分支目标检测模型中的特征提取网络)的训练过程中，不局限于特定的目标，而是可以利用不同目标的训练样本，因此，能够突破训练样本不足的限制，训练得到性能优良的主干网络，从而在执行目标跟踪任务时，能够准确提取到目标的通用特征。
在本实施例中，步骤(S2)中，根据空间约束对检测得分进行修正，其修正表达式为：p＝p0*p1*p2；
其中，p和p0分别表示检测得分和跟踪得分；p1表示空间约束中的距离约束，目标在当前帧及前一帧中的距离越大，距离约束p1越小；p2表示空间约束中的尺度约束，目标在当前帧及前一帧中的尺度变化越大，尺度约束p2越小；
可选地，根据
Figure BDA0002345766090000111
计算距离约束p1；
根据
Figure BDA0002345766090000112
计算尺度约束p2；
其中，Ct(xt，yt)和Ct-1(xt-1，yt-1)分别表示待跟踪目标在当前帧和前一帧的中心点坐标，d＝||Ct-Ct-1||表示两个中间点之间的欧式距离，R表示预设的中心点距离的变化范围，k1＞0表示控制距离约束衰减速度的控制因子，γt和γt-1分别表示待跟踪目标在当前帧和前一帧的宽高比，st和st-1分别表示待跟踪目标在当前帧和前一帧的面积，k2＞0表示控制尺度约束衰减速度的控制因子，exp{}表示以自然常数e为底数的指数运算，max()表示取最大值；中心点距离的变化范围可根据目标自身的运动范围确定，以确保在中心点距离发生较大变化时，能够及时判断处该目标已经丢失，并相应地将距离约束设为0；控制因子k1和k2同样需根据目标的运动属性确定，可根据经验设定k1＝0.02、k2＝0.1；
为了减少所计算的面积在高h远大于宽ω或者宽ω远大于高h的极端情况下所受到的影响，本实施例中，具体根据
Figure BDA0002345766090000121
计算目标的面积；其中，s表示待跟踪目标的面积，ω和h分别表示待跟踪目标的宽和高；
目标跟踪任务中，目标在的空间位置和尺度在连续两帧之间的变化不大，本发明根据距离约束p1和尺度约束p2对候选区域的检测得分进行修正，使得目标在当前帧及前一帧之间的距离越大、尺度变化越大，相应的候选区域的跟踪得分越小，从而该候选区域是目标区域的概率越小，与目标的运动属性相符，保证了目标跟踪的准确性。
作为一种可选的实施方式，步骤(S3)中，在目标区域的跟踪得分Score>ThS时，根据当前帧创建正、负样本，其方法包括：
从当前帧的所有候选区域中，筛选出跟踪得分高于成功阈值ThS的候选区域，将筛选出的每一个候选区域连同其跟踪得分和目标位置坐标作为一个正样本；
从当前帧的所有候选区域中，筛选出跟踪得分低于失败阈值ThF的候选区域，将筛选出的每一个候选区域连同其跟踪得分和目标位置坐标作为一个负样本；
在目标区域的跟踪得分较高(即置信度较高)时，利用相应帧中的高于成功阈值ThS的候选区域构建正样本，并存储至样本库中，从而后续能够获取到高置信度的正样本，完成对推理网络的在线更新，保证了在线更新之后，目标跟踪模型能够继续准确地跟踪目标。
如图1所示，在本实施例中，离线训练网络中的每一个分支网络包括：分类子网络(ClassificationSubnetwork)和回归子网络(RegressionSubnetwork)；
分类子网络用于根据区域特征为每一个候选区域打分；分类子网络具体包括两个3×3的卷积层，并且每个卷积层后面都有ReLU激活函数，这两个卷积层不会更改特征图的尺寸；
归回子网络用于对各候选区域进行回归，以获得更为精确的目标位置坐标；与分类子网络类似，回归子网络同样包括两个3×3的卷积层，并且每个卷积层后面都有ReLU激活函数，在最后一个卷积层之后还包括一个4×15的滤波器，用于预测每个候选区域的回归坐标；
在本实施例中，推理网络同样包括分类子网络和回归子网络；分类子网络用于根据区域特征为每一个候选区域打分，以得到各候选区域的检测得分；归回子网络用于对各候选区域进行回归，以获得更为精确的目标位置坐标；推理网络中的分类子网络和回归子网络分别与分支网络中的分类子网络和回归子网络结构相同；
应当说明的是，此处仅为对本发明中分支网络及推理网络结构的一种示例性描述，不应理解为对本发明的唯一限定；在实际使用中，推理网络和分支网络可以使用不同的结构，并且分类子网络中卷积层的数量、卷积核的大小、激活函数，以及回归子网络中卷积层的数量、卷积核的大小、激活函数以及滤波器的大小均可根据实际需要采用其他设置。
本发明还提供了一种系统，包括：计算机可读存储介质和处理器，计算机可读存储介质用于存储可执行程序；
处理器用于读取计算机可读存储介质中存储的可执行程序，执行上述基于目标检测的目标跟踪方法。
利用上述基于目标检测的目标跟踪方法进行目标跟踪，相关的跟踪结果如图2所示。根据图2中的(a)和(b)可以看出，对于来自同一视频的不同的跟踪目标，本发明能够在不同的初始目标状态下成功地跟踪目标；根据图2中的(c)和(d)可以看出，目标在1帧到第45帧的各种过程中发生了非常显著的外形变化，但是本发明仍然能够成功在第45帧中准确跟踪到目标。
本发明可广泛应用于与视频相关的任务中，例如，在监控危险行为预警的应用中，本发明可用于对监控视频中的可疑目标进行跟踪监控，一旦目标发生危险行为(如攻击路人、持械抢劫等)，及时进行报警。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于目标检测的目标跟踪方法，其特征在于，包括：
为待跟踪目标建立目标跟踪模型，所述目标跟踪模型包括主干网络和推理网络；所述主干网络，用于提取深度特征，并在所得到的特征图上以不同尺度的候选框提取候选区域的区域特征；所述推理网络，用于根据区域特征为每一个候选区域打分，以得到各候选区域的检测得分，并对各候选区域进行回归，以获得更为精确的目标位置坐标；所述主干网络为目标检测模型中用于提取特征的网络，且已训练好；
获取待处理的目标视频中的第一帧F1，在其上通过数据增强的方式创建多个正样本，并利用所得到的正样本训练所述目标跟踪模型，以初始化所述推理网络；
在所述推理网络初始化之后，依次获取所述目标视频中的帧作为当前帧，并按照如下步骤对各帧进行目标跟踪：
(S1)利用所述目标跟踪模型获得所述待跟踪目标在当前帧中的多个候选区域，以及各候选区域的检测得分和目标位置坐标；
(S2)根据空间约束对检测得分进行修正，以得到各候选区域的跟踪得分，并将跟踪得分最高的候选区域确定为目标区域；
(S3)若目标区域的跟踪得分Score>ThS，则判定当前帧跟踪成功，并根据当前帧创建正、负样本，加入到样本库中；若ThF≤Score≤ThS，则判定当前帧跟踪成功；若Score<ThF，则判定当前帧跟踪失败，并利用所述样本库中的样本对所述目标跟踪模型进行重新训练，以对所述推理网络进行在线更新；
其中，ThS为预设的成功阈值，ThF为预设的失败阈值；所述样本库用于在目标跟踪过程中存储正、负样本，初始时刻，其中样本数量为0；所述空间约束与待跟踪目标在当前帧及前一帧中的空间位置和尺度的变化相关。
2.如权利要求1所述的基于目标检测的目标跟踪方法，其特征在于，所述主干网络的训练方法包括：
建立多分支目标检测模型，其中包括特征提取网络以及离线训练网络；
所述特征提取网络，用于提取深度特征，并在所得到的特征图上以不同尺度的候选框提取候选区域的区域特征；
所述离线训练网络包括多个分支网络，每个分支网络与一个跟踪目标相对应；所述分支网络，用于根据区域特征为每一个候选区域进行打分，并对各候选区域进行回归，以获得更为精确的目标位置坐标；
利用标准数据集对所述离线训练网络进行训练，在训练结束后，将所述特征提取网络作为所述主干网络；
其中，所述标准数据集中，各目标实际所在的区域得分及坐标位置已知。
3.如权利要求1或2所述的基于目标检测的目标跟踪方法，其特征在于，所述步骤(S2)中，根据空间约束对检测得分进行修正，其修正表达式为：p＝p0*p1*p2；
其中，p和p0分别表示检测得分和跟踪得分；p1表示空间约束中的距离约束，目标在当前帧及前一帧中的距离越大，距离约束p1越小；p2表示空间约束中的尺度约束，目标在当前帧及前一帧中的尺度变化越大，尺度约束p2越小。
4.如权利要求3所述的基于目标检测的目标跟踪方法，其特征在于，
Figure FDA0002345766080000021
其中，Ct和Ct-1分别表示待跟踪目标在当前帧和前一帧的中心点坐标，d＝‖Ct-Ct-1‖表示两个中间点之间的欧式距离，R表示预设的中心点距离的变化范围，k1＞0表示控制距离约束衰减速度的控制因子。
5.如权利要求3所述的基于目标检测的目标跟踪方法，其特征在于，
Figure FDA0002345766080000031
其中，γt和γt-1分别表示待跟踪目标在当前帧和前一帧的宽高比，st和st-1分别表示待跟踪目标在当前帧和前一帧的面积，k2＞0表示控制尺度约束衰减速度的控制因子。
6.如权利要求5所述的基于目标检测的目标跟踪方法，其特征在于，在任意一帧中，待跟踪目标的面积计算公式为：
Figure FDA0002345766080000032
其中，s表示待跟踪目标的面积，ω和h分别表示待跟踪目标的宽和高。
7.如权利要求1或2所述的基于目标检测的目标跟踪方法，其特征在于，所述主干网络为特征金字塔主干网络，且所述主干网络提取深度特征后，所得到的特征图为第二层到第六层的输出特征图。
8.如权利要求1或2所述的基于目标检测的目标跟踪方法，其特征在于，所述步骤(S3)中，在目标区域的跟踪得分Score>ThS时，根据当前帧创建正、负样本，其方法包括：
从当前帧的所有候选区域中，筛选出跟踪得分高于成功阈值ThS的候选区域，将筛选出的每一个候选区域连同其跟踪得分和目标位置坐标作为一个正样本；
从当前帧的所有候选区域中，筛选出跟踪得分低于失败阈值ThF的候选区域，将筛选出的每一个候选区域连同其跟踪得分和目标位置坐标作为一个负样本。
9.如权利要求1或2所述的基于目标检测的目标跟踪方法，其特征在于，所述推理网络包括：分类子网络和回归子网络；
所述分类子网络用于根据区域特征为每一个候选区域打分，以得到各候选区域的检测得分；
所述归回子网络用于对各候选区域进行回归，以获得更为精确的目标位置坐标。
10.一种系统，包括：计算机可读存储介质和处理器，其特征在于，
所述计算机可读存储介质用于存储可执行程序；
所述处理器用于读取所述计算机可读存储介质中存储的可执行程序，执行权利要求1-9任一项所述的基于目标检测的目标跟踪方法。
CN201911393936.4A 2019-12-30 2019-12-30 一种基于目标检测的目标跟踪方法及系统 Active CN111192294B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911393936.4A CN111192294B (zh) 2019-12-30 2019-12-30 一种基于目标检测的目标跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911393936.4A CN111192294B (zh) 2019-12-30 2019-12-30 一种基于目标检测的目标跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN111192294A true CN111192294A (zh) 2020-05-22
CN111192294B CN111192294B (zh) 2022-04-22

Family

ID=70711098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911393936.4A Active CN111192294B (zh) 2019-12-30 2019-12-30 一种基于目标检测的目标跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN111192294B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112525A (zh) * 2021-04-27 2021-07-13 北京百度网讯科技有限公司 目标跟踪方法、网络模型及其训练方法、设备和介质
US20220247626A1 (en) * 2021-09-16 2022-08-04 Beijing Baidu Netcom Science Technology Co., Ltd. Method For Generating Backbone Network, Apparatus For Generating Backbone Network, Device, And Storage Medium
CN116596958A (zh) * 2023-07-18 2023-08-15 四川迪晟新达类脑智能技术有限公司 一种基于在线样本增广的目标跟踪方法及装置
CN116665133A (zh) * 2023-07-24 2023-08-29 山东科技大学 基于三元组网络的安全帽检测跟踪方法、设备及存储介质
CN116977902A (zh) * 2023-08-14 2023-10-31 长春工业大学 一种边海防车载光电稳定平台目标跟踪方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709936A (zh) * 2016-12-14 2017-05-24 北京工业大学 一种基于卷积神经网络的单目标跟踪方法
CN106920248A (zh) * 2017-01-19 2017-07-04 博康智能信息技术有限公司上海分公司 一种目标跟踪方法及装置
US20180211396A1 (en) * 2015-11-26 2018-07-26 Sportlogiq Inc. Systems and Methods for Object Tracking and Localization in Videos with Adaptive Image Representation
US20190188555A1 (en) * 2019-02-25 2019-06-20 Intel Corporation Partial inference path technology in general object detection networks for efficient video processing
CN109949336A (zh) * 2019-02-26 2019-06-28 中科创达软件股份有限公司 一种连续视频帧中目标快速跟踪方法及装置
CN110175649A (zh) * 2019-05-28 2019-08-27 南京信息工程大学 一种关于重新检测的快速多尺度估计目标跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180211396A1 (en) * 2015-11-26 2018-07-26 Sportlogiq Inc. Systems and Methods for Object Tracking and Localization in Videos with Adaptive Image Representation
CN106709936A (zh) * 2016-12-14 2017-05-24 北京工业大学 一种基于卷积神经网络的单目标跟踪方法
CN106920248A (zh) * 2017-01-19 2017-07-04 博康智能信息技术有限公司上海分公司 一种目标跟踪方法及装置
US20190188555A1 (en) * 2019-02-25 2019-06-20 Intel Corporation Partial inference path technology in general object detection networks for efficient video processing
CN109949336A (zh) * 2019-02-26 2019-06-28 中科创达软件股份有限公司 一种连续视频帧中目标快速跟踪方法及装置
CN110175649A (zh) * 2019-05-28 2019-08-27 南京信息工程大学 一种关于重新检测的快速多尺度估计目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAOFEN XING 等: ""Blurred target tracking based on sparse representation of online updated templates"", 《2016 10TH INTERNATIONAL SYMPOSIUM ON COMMUNICATION SYSTEMS, NETWORKS AND DIGITAL SIGNAL PROCESSING (CSNDSP)》 *
王欢: ""复杂场景下的运动目标检测与跟踪研究"", 《中国优秀博硕士学位论文全文数据库(博士)-信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112525A (zh) * 2021-04-27 2021-07-13 北京百度网讯科技有限公司 目标跟踪方法、网络模型及其训练方法、设备和介质
CN113112525B (zh) * 2021-04-27 2023-09-01 北京百度网讯科技有限公司 目标跟踪方法、网络模型及其训练方法、设备和介质
US20220247626A1 (en) * 2021-09-16 2022-08-04 Beijing Baidu Netcom Science Technology Co., Ltd. Method For Generating Backbone Network, Apparatus For Generating Backbone Network, Device, And Storage Medium
US11929871B2 (en) * 2021-09-16 2024-03-12 Beijing Baidu Netcom Science Technology Co., Ltd. Method for generating backbone network, apparatus for generating backbone network, device, and storage medium
CN116596958A (zh) * 2023-07-18 2023-08-15 四川迪晟新达类脑智能技术有限公司 一种基于在线样本增广的目标跟踪方法及装置
CN116596958B (zh) * 2023-07-18 2023-10-10 四川迪晟新达类脑智能技术有限公司 一种基于在线样本增广的目标跟踪方法及装置
CN116665133A (zh) * 2023-07-24 2023-08-29 山东科技大学 基于三元组网络的安全帽检测跟踪方法、设备及存储介质
CN116665133B (zh) * 2023-07-24 2023-10-13 山东科技大学 基于三元组网络的安全帽检测跟踪方法、设备及存储介质
CN116977902A (zh) * 2023-08-14 2023-10-31 长春工业大学 一种边海防车载光电稳定平台目标跟踪方法及系统
CN116977902B (zh) * 2023-08-14 2024-01-23 长春工业大学 一种边海防车载光电稳定平台目标跟踪方法及系统

Also Published As

Publication number Publication date
CN111192294B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
CN111192294B (zh) 一种基于目标检测的目标跟踪方法及系统
CN108053419B (zh) 基于背景抑制和前景抗干扰的多尺度目标跟踪方法
CN112734775B (zh) 图像标注、图像语义分割、模型训练方法及装置
CN111914727B (zh) 基于平衡采样与非线性特征融合的小目标人体检测方法
CN112926410B (zh) 目标跟踪方法、装置、存储介质及智能视频系统
CN109598684B (zh) 结合孪生网络的相关滤波跟踪方法
CN108198207A (zh) 基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法
CN106204646A (zh) 基于bp神经网络的多运动目标跟踪方法
JP7263216B2 (ja) ワッサースタイン距離を使用する物体形状回帰
JP5919665B2 (ja) 情報処理装置、物体追跡方法および情報処理プログラム
CN110009060B (zh) 一种基于相关滤波与目标检测的鲁棒性长期跟踪方法
CN106778712A (zh) 一种多目标检测与跟踪方法
CN111783997B (zh) 一种数据处理方法、装置及设备
CN111931654A (zh) 一种人员跟踪智能监测方法、系统和装置
CN105374049B (zh) 一种基于稀疏光流法的多角点跟踪方法及装置
CN106204586A (zh) 一种基于跟踪的复杂场景下的运动目标检测方法
CN113608663B (zh) 一种基于深度学习和k-曲率法的指尖跟踪方法
CN105809718A (zh) 一种轨迹熵最小化的对象跟踪方法
CN111310609A (zh) 基于时序信息和局部特征相似性的视频目标检测方法
CN110751671B (zh) 一种基于核相关滤波与运动估计的目标跟踪方法
CN115909110A (zh) 一种基于Siamese网络的轻量级红外无人机目标跟踪方法
CN111539985A (zh) 一种融合多特征的自适应运动目标跟踪方法
CN113379787B (zh) 基于3d卷积孪生神经网络和模板更新的目标跟踪方法
CN114359653A (zh) 基于强化型通用补丁的对抗攻击方法、防御方法及装置
CN115100565A (zh) 一种基于空间相关性与光流配准的多目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant