CN111274966A - 一种基于结构化模型的长期视觉追踪方法及装置 - Google Patents

一种基于结构化模型的长期视觉追踪方法及装置 Download PDF

Info

Publication number
CN111274966A
CN111274966A CN202010067497.4A CN202010067497A CN111274966A CN 111274966 A CN111274966 A CN 111274966A CN 202010067497 A CN202010067497 A CN 202010067497A CN 111274966 A CN111274966 A CN 111274966A
Authority
CN
China
Prior art keywords
target
appearance model
target appearance
model
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010067497.4A
Other languages
English (en)
Other versions
CN111274966B (zh
Inventor
傅德谦
胡顺波
张林涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Linyi University
Original Assignee
Linyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Linyi University filed Critical Linyi University
Priority to CN202010067497.4A priority Critical patent/CN111274966B/zh
Publication of CN111274966A publication Critical patent/CN111274966A/zh
Application granted granted Critical
Publication of CN111274966B publication Critical patent/CN111274966B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于结构化模型的长期视觉追踪方法及装置，用以解决视觉追踪的单一模型的表达能力有限，多模型会出现特征表达混乱，从而导致模型表达能力退化、追踪目标丢失的问题。该方法根据目标对象的不同特征，构建若干有代表性的目标表观模型；采用所述目标表观模型，分别对当前帧的若干候选目标图片进行相似性对比识别，从若干候选目标图片中确定出追踪结果以及与所述追踪结果相匹配的目标表观模型；根据对比识别结果以及预设规则，对匹配的目标表观模型进行更新，或者新建目标表观模型；采用稀疏子空间聚类算法，对目标表观模型的模板进行聚类，保证类内模板在同一特征子空间，以建立视觉追踪的结构化的多代表性目标表观模型。

Description

一种基于结构化模型的长期视觉追踪方法及装置
技术领域
本申请涉及视觉追踪技术领域，尤其涉及一种基于结构化模型的长期视觉追踪方法及装置。
背景技术
视觉追踪是利用计算机视觉技术，对视频信号进行处理、分析和理解，实现对目标对象的持续跟踪的技术。视觉追踪器中的目标表观模型，用于表达目标对象的特征，从而根据目标对象的特征，实现对目标对象的追踪。
目前，在对目标对象进行追踪时，通常采用2D模型表达目标对象的特征，包括单一模型与多模型。
目标对象在视频中往往是动态变化的，但是，单一模型的表达能力是有限的。因此，采用单一模型进行视觉追踪时，对单一模型的表达能力的挑战性较高，由于远远超出了单一模型的表达能力，很可能会导致模型混乱，出现模型快速退化的问题，从而影响视觉追踪的准确性。
而在采用多模型进行视觉追踪时，各个模型之间的无序性可能会导致学习困难，而产生特征表达混乱的问题，这样大大降低了多模型应有的表达能力，使得多模型的性能表现甚至比单一模型更差。
发明内容
本申请实施例提供一种基于结构化模型的长期视觉追踪方法及装置，用以解决视觉追踪的单一模型的表达能力有限，多模型会出现特征表达混乱，从而导致模型表达能力退化、追踪目标丢失的问题。
本申请实施例提供的一种基于结构化模型的长期视觉追踪方法，包括：
根据目标对象的不同特征，构建若干代表性目标表观模型；
采用所述目标表观模型，分别对当前帧的若干候选目标图片进行相似性对比识别，从若干候选目标图片中确定出追踪结果以及与所述追踪结果相匹配的目标表观模型；
根据对比识别结果以及预设规则，对所述匹配的目标表观模型进行更新，或者新建目标表观模型；
采用稀疏子空间聚类算法，对目标表观模型的模板进行聚类，根据特征相似性确定具有同一目标表观特征的模板组，以建立视觉追踪的结构化的多代表性目标表观模型。
在一个示例中，根据目标对象的不同特征，构建若干代表性目标表观模型，包括：将预设的目标对象及其副本作为初始目标表观模型的模板组；根据所述初始目标表观模型的模板组，采用稀疏主要成分分析PCA算法，确定所述初始目标表观模型对应的PCA基及表示系数，以构建所述初始目标表观模型。
在一个示例中，采用所述目标表观模型，分别对当前帧的若干候选目标图片进行相似性对比识别，包括：针对若干候选目标图片，采用所述目标表观模型对应的PCA基，对该候选目标图片进行稀疏原型表示，确定该候选目标图片的表示系数；根据该候选目标图片的表示系数，确定该候选目标图片与目标表观模型的相似性。
在一个示例中，采用所述目标表观模型对应的PCA基，对该候选目标图片进行稀疏原型表示，确定该候选目标图片的表示系数，包括：根据
Figure BDA0002376403910000021
确定侯选目标图片的表示系数及误差系数；其中，z表示侯选目标图片，Tp表示目标表观模型对应的PCA基，c表示表示系数，e表示误差系数，λ表示预设系数。
在一个示例中，从若干候选目标图片中确定出追踪结果以及与所述追踪结果相匹配的目标表观模型，包括：根据相似性对比识别，确定所述候选目标图片中相似度最高的，作为追踪结果；将所述追踪结果的表示系数与各目标表观模型对应的表示系数进行向量相似性对比，确定相似度；从若干目标表观模型中，确定相似度最高的目标表观模型，作为匹配的目标表观模型。
在一个示例中，根据对比识别结果以及预设规则，对所述匹配的目标表观模型进行更新，或者新建目标表观模型，包括：确定所述追踪结果的误差系数；根据
Figure BDA0002376403910000031
确定所述追踪结果的置信度值，其中，Conf表示置信度值，e表示所述追踪结果的误差系数，m表示e的维数；根据所述置信度值以及预设规则，对所述匹配的目标表观模型进行更新，或者新建目标表观模型。
在一个示例中，根据所述置信度值以及预设规则，对所述匹配的目标表观模型进行更新，或者新建目标表观模型，包括：若所述置信度值大于第一预设值，则采用所述追踪结果，对所述匹配的目标表观模型中的模板进行替换，并更新所述匹配的目标表观模型的基；若所述置信度值不小于第二预设值，且不大于第一预设值，且已构建的目标表观模型的总数小于预设模型数量，则根据所述追踪结果中目标对象的特征，新建目标表观模型。
在一个示例中，所述方法还包括：若所述匹配的目标表观模型为初始目标表观模型，则在所述置信度值大于第二预设值时，通过所述追踪结果，对所述初始目标表观模型中的模板进行替换，并更新所述初始目标表观模型的基。
在一个示例中，根据对比识别结果以及预设规则，对所述匹配的目标表观模型进行更新之前，所述方法还包括：
确定所述匹配的目标表观模型中的模板数量达到预设模板数量。
本申请实施例提供的一种基于结构化模型的长期视觉追踪装置，包括：
构建模块，根据目标对象的不同特征，构建若干代表性目标表观模型；
匹配模块，采用所述目标表观模型，分别对当前帧的若干候选目标图片进行相似性对比识别，从若干候选目标图片中确定出追踪结果以及与所述追踪结果相匹配的目标表观模型；
更新模块，根据对比识别结果以及预设规则，对所述匹配的目标表观模型进行更新，或者新建目标表观模型；
聚类模块，采用稀疏子空间聚类算法，对目标表观模型的模板进行聚类，根据特征相似性确定具有同一目标表观特征的模板组，以建立视觉追踪的结构化的多代表性目标表观模型。
本申请实施例提供的一种基于结构化模型的长期视觉追踪方法及装置，能够带来以下有益效果：
通过根据追踪结果，对匹配的目标表观模型中的模板进行替换，可实现在目标追踪过程中的在线学习，实现对目标表观模型的及时更新，使目标表观模型能不断学习目标对象的特征变化，并根据目标对象的特征变化对目标表观模型表达的特征进行调整，以避免模型退化，维持模型的学习能力与表达特征的准确性。
并且，根据目标对象的不同特征，构建不同的目标表观模型，可使各个目标表观模型的表达任务分别被限定在一个范围内，各模型共同承担表达目标对象特征的任务。
这样的学习方法，减轻了单个模型的学习任务，有利于单个模型的学习过程，可以有针对性地实现模型学习，能够加强单个模型的特征表达能力，不会使特征表达混乱，还能够使多个目标表观模型结合起来，共同实现对目标对象的追踪，实现多模型共同表达能力的最大化，抑制模型退化。
通过聚类，可按照各个模板表达的特征，对各模板进行分组，确定每个目标表观模型内的模板能够表达相似的特征，划清各个目标表观模型之间的界限，使各模型具有代表性，实现模型的结构化。
这样能够加强各模型的特征表达能力，提高模型的保真度，使模型更稳定，防止因为模型内一个模板的特征表达的偏差，而影响整个模型的特征表达，从而导致模型退化等问题，影响模型的特征表达的准确性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的基于结构化模型的长期视觉追踪方法流程图；
图2为本申请实施例提供的目标表观模型的构建原理图；
图3为本申请实施例提供的目标表观模型对应的基的示意图；
图4(a)～图4(b)为本申请实施例提供的采用目标表观模型的基表示目标对象的原理示意图；
图5为本申请实施例提供的聚类原理示意图；
图6为本申请实施例提供的基于结构化模型的长期视觉追踪装置结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的基于结构化模型的长期视觉追踪方法流程图，具体包括以下步骤：
S101：根据目标对象的不同特征，构建若干代表性目标表观模型。
在本申请实施例中，服务器可根据目标对象的不同特征，构建若干代表性目标表观模型。其中，目标对象表示被追踪的对象，每个目标表观模型可分别表达目标对象在动态变化的过程中在某一方面的特征。
如图2所示，以人物作为目标对象为例。为实现对图中人物的追踪，通过增量子空间学习，在跟踪过程中可分别从人物头部的8个不同的角度，构建8个目标表观模型，其中每个目标表观模型可表达该人物在一定角度的特征。
构建目标表观模型的步骤包括：
第一步，服务器可将预设的(即给定的)目标对象作为初始目标表观模型的一个模板，以便后续根据初始目标表观模型的模板构建初始目标表观模型。
在一个实施例中，初始目标表观模型中可包括预设模板数量的模板组。若目标对象的数量小于初始目标表观模型的预设模板数量，则服务器可将目标对象的原件以及副本，共同作为初始目标表观模型的模板组，以满足初始目标表观模型的预设模板数量的要求。
第二步，服务器可采用稀疏主成分分析(Sparse PrincipalComponentsAnalysis，稀疏PCA)算法，对初始目标表观模型的模板组分别进行表示，以确定初始目标表观模型对应的稀疏PCA基(下称PCA基)以及表示系数。其中，初始目标表观模型的PCA基用于表示目标对象的最基本特征，表示系数是表示目标对象的PCA基的线性组合系数。
如图3所示，图3中上半部分的图片表示目标表观模型的模板组，图3中下半部分的图片表示根据相应的模板确定出的目标表观模型的PCA基。由图3可知，目标表观模型的PCA基可表示从目标对象中提取出的基本特征。
第三步，根据通过模板确定出的PCA基以及表示系数，构建初始目标表观模型。
于是，一个目标表观模型中可包括若干模板。以图2所示的人物为例，该人物的1号目标表观模型用于表达人物的头部正面特征，则该1号目标表观模型中可包括人物正面的若干模板，各模板均可表达人物头部正面的特征，并且，各模板之间可能存在细小角度的差异。
S102：采用目标表观模型，分别对当前帧的若干候选目标图片进行相似性对比识别，从若干候选目标图片中确定出追踪结果以及与追踪结果相匹配的目标表观模型。
在本申请实施例中，服务器在对视频中的目标对象进行视觉追踪时，针对视频中的每一帧画面，服务器可利用运动模型(如粒子滤波、滑动窗口等)与仿射变换相结合，确定出预设数目的侯选目标图片。其中，候选目标图片表示一帧画面中可能存在目标对象的图像区块，一帧中确定出的候选目标图片的数量可根据需要预设，本申请对此不做限定，运动模型用于确定目标对象的中心点，仿射变换用于确定目标对象的形变。
服务器可采用若干目标表观模型，分别对当前帧中的若干候选目标图片进行相似性对比识别，以从若干候选目标图片中确定追踪结果，以及与追踪结果相匹配的目标表观模型。其中，追踪结果表示从当前帧确定出的目标对象，追踪结果与目标表观模型相匹配，表示追踪结果中目标对象的特征是由相应的目标表观模型进行表达的。
其中，针对各目标表观模型，对候选目标图片进行相似性对比识别的过程的具体步骤包括：
第一步，服务器可确定目标表观模型对应的一组PCA基和表示系数。
第二步，服务器可采用稀疏PCA算法，根据目标表观模型对应的一组PCA基，对候选目标图片进行表示，以确定候选目标图片对应的表示系数及误差系数。其中，候选目标图片的表示系数可作为确定候选目标图片与目标表观模型表达的特征的相似性的依据。
具体的，服务器可根据公式
Figure BDA0002376403910000071
确定候选目标图片的表示系数及误差系数。其中，该公式表示在z＝Tpc+e的约束条件下，对c、e的最优解的求解，z表示候选目标图片，Tp表示目标表观模型对应的一组PCA基，Tpc表示目标对象对应的近似拟合，I表示单位矩阵(Trivial Templates)，c表示候选目标图片的表示系数，e表示候选目标图片的误差系数，即目标对象中存在的，与目标对象的基本特征无关的噪音。
如图4(a)所示，图中左侧的候选目标图片，可表示为PCA基、单位矩阵与表示系数、误差系数。进一步地，图4(a)可简化为图4(b)，则如图4(b)所示，图中左侧的候选目标图片，可直接表示为PCA基与表示系数。
第三步，将候选目标图片的表示系数与目标表观模型的表示系数进行向量相似性对比，确定相似度。其中，相似度表示候选目标图片与目标表观模型所表达的特征的相似程度。
于是，通过采用每个目标表观模型对所有候选目标图片进行相似性对比识别，可从所有候选目标图片中，确定出相似度最高的候选目标图片。服务器可认为该候选目标图片中存在目标对象，并将该候选目标图片作为视觉追踪的追踪结果。
并且，服务器可从所有目标表观模型中，确定与追踪结果之间的相似度最高的目标表观模型。该目标表观模型表达的特征与追踪结果的特征最相似，则可将该目标表观模型作为与追踪结果匹配的目标表观模型。
S103：根据对比识别结果以及预设规则，对匹配的目标表观模型进行更新，或者新建目标表观模型。
在本申请实施例中，服务器可根据追踪结果的误差系数，确定追踪结果的置信度值。之后，服务器可根据追踪结果的置信度值，对匹配的目标表观模型进行更新，或者新建目标表观模型。其中，置信度值表示追踪结果表示目标对象的可信程度。
具体的，服务器可根据
Figure BDA0002376403910000081
确定追踪结果的置信度值。其中，Conf表示置信度值，e表示追踪结果的误差系数，m表示e的维数。
之后，服务器可根据预设规则，确定对匹配的目标表观模型进行更新，或者新建目标表观模型。
预设规则具体可包括：
若置信度值大于第一预设值，表示追踪结果表示目标对象的可信程度较高，则服务器可采用追踪结果中的目标对象作为新的模板，对匹配的目标表观模型中的模板进行替换，并根据替换后的模板，对目标表观模型的PCA基进行更新。
若置信度值不小于第二预设值，且不大于第一预设值，表示追踪结果表示目标对象的可信程度较低，也就是说，采用该目标表观模型无法准确表达追踪结果的特征。但是该目标表观模型已经是已构建的所有模型中，与追踪结果的特征表达最为相似的目标表观模型。这表示，采用已构建的目标表观模型，已无法准确表达追踪结果的特征。
于是，服务器可确定已构建的所有目标表观模型的总数，若总数小于预设模型数量，则服务器可根据追踪结果中目标对象的特征，根据S101中构建初始目标表观模型的相同步骤，新建一个目标表观模型。其中，预设模型数量可根据需要设置，本申请对此不做限定。
例如，在图2中对人物进行跟踪时，预设模型数量可设置为8。
通过根据追踪结果，对匹配的目标表观模型中的模板进行替换，可实现在目标追踪过程中的在线学习，实现对目标表观模型的及时更新，使目标表观模型能不断学习目标对象的特征变化，并根据目标对象的特征变化对目标表观模型表达的特征进行调整，以避免模型退化，维持模型的学习能力与表达特征的准确性。
并且，根据目标对象的不同特征，构建不同的目标表观模型，可使各个目标表观模型能够分别表达目标对象在某个方面的特征，共同承担表达目标对象特征的任务。
这样的学习方法，减轻了单个模型的学习任务，有利于单个模型的学习过程，能够加强单个模型的特征表达能力，不会使特征表达混乱，还能够使多个目标表观模型结合起来，共同实现对目标对象的追踪，有利于防止模型退化。
需要说明的是，在本申请实施例中，目标表观模型的构建过程与学习过程是同步进行的。目标表观模型在追踪目标对象的过程中，根据目标对象动态变化的追踪结果，不断新建目标表观模型，同时更新已构建的目标表观模型。
在构建模型过程的初始阶段，只存在初始目标表观模型，初始目标表观模型用于表达目标对象的最重要的基本特征，如人物的正面特征等。
在一个实施例中，若匹配的目标表观模型为初始目标表观模型，则预设规则可包括：若置信度值大于第二预设值时，采用追踪结果中的目标对象，作为新的模板，对初始目标表观模型中的模板进行替换，并根据替换后的模板，更新初始目标表观模型的PCA基，在该模型中增加目标对象的新特征。
并且，每个目标表观模型中包括若干模板，若某目标表观模型的模板数量未达到预设模板数量时，服务器可先将相匹配的追踪结果中的目标对象作为新的模板，而不对已有的模板进行替换。
也就是说，服务器只在匹配的目标表观模型中的模板数量达到预设模板数量时，才根据追踪结果中的目标对象，对匹配的目标表观模型中的模板进行替换。其中，预设模板数量可根据需要设置，本申请对此不做限定。
在一个实施例中，服务器在对初始目标表观模型中的模板进行更新时，可确定初始目标表观模型中的第一个模板，即给定目标对象的原件，不能被替换与更新。
S104：采用稀疏子空间聚类算法，对目标表观模型的模板进行聚类，根据特征相似性确定具有同一目标表观特征的模板组，以建立视觉追踪的结构化的多代表性目标表观模型。
在本申请实施例中，服务器可采用稀疏子空间聚类算法，对构建的各目标表观模型的模板进行聚类，使得多模型能表达目标对象多方面的代表性特征。
具体的，服务器可对各目标表观模型包括的模板进行聚类，以对所有模板进行分类，使表达相似特征的模板聚在一起。通过聚类后，可根据聚类结果，确定属于同一簇内的所有模板表达的特征是相似的，并将表达特征有偏差的模板剔除出去。
如图5所示，图中具有不同颜色的圆点分别表示各个模板，聚集在一起的具有相同颜色的圆点表示聚类后得到的一个簇，该簇内的模板表达的特征为相似的，可作为一个目标表观模型。
通过聚类，可划清各个目标表观模型之间的界限，确定每个目标表观模型内的模板能够表达相似的特征，防止因为模型内一个模板的特征表达的偏差，而影响整个模型的特征表达，从而导致模型退化等问题，影响模型的特征表达的准确性。
以上为本申请实施例提供的基于结构化模型的视觉追踪方法，基于同样的发明思路，本申请实施例还提供了相应的基于结构化模型的视觉追踪装置，如图6所示。
图6为本申请实施例提供的基于结构化模型的长期视觉追踪装置结构示意图，具体包括：
构建模块601，根据目标对象的不同特征，构建若干代表性目标表观模型；
匹配模块602，采用所述目标表观模型，分别对当前帧的若干候选目标图片进行相似性对比识别，从若干候选目标图片中确定出追踪结果以及与所述追踪结果相匹配的目标表观模型；
更新模块603，根据对比识别结果以及预设规则，对所述匹配的目标表观模型进行更新，或者新建目标表观模型；
聚类模块604，采用稀疏子空间聚类算法，对目标表观模型的模板进行聚类，根据特征相似性确定具有同一目标表观特征的模板组，以建立视觉追踪的结构化的多代表性目标表观模型。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于结构化模型的长期视觉追踪方法，其特征在于，包括：
根据目标对象的不同特征，构建若干代表性目标表观模型；
采用所述目标表观模型，分别对当前帧的若干候选目标图片进行相似性对比识别，从若干候选目标图片中确定出追踪结果以及与所述追踪结果相匹配的目标表观模型；
根据对比识别结果以及预设规则，对所述匹配的目标表观模型进行更新，或者新建目标表观模型；
采用稀疏子空间聚类算法，对目标表观模型的模板进行聚类，根据特征相似性确定具有同一目标表观特征的模板组，以建立视觉追踪的结构化的多代表性目标表观模型。
2.根据权利要求1所述的方法，其特征在于，根据目标对象的不同特征，构建若干代表性目标表观模型，包括：
将预设的目标对象及其副本作为初始目标表观模型的模板组；
根据所述初始目标表观模型的模板组，采用稀疏主要成分分析PCA算法，确定所述初始目标表观模型对应的PCA基及表示系数，以构建所述初始目标表观模型。
3.根据权利要2所述的方法，其特征在于，采用所述目标表观模型，分别对当前帧的若干候选目标图片进行相似性对比识别，包括：
针对若干候选目标图片，采用所述目标表观模型对应的PCA基，对该候选目标图片进行稀疏原型表示，确定该候选目标图片的表示系数；
根据该候选目标图片的表示系数，确定该候选目标图片与目标表观模型的相似性。
4.根据权利要3所述的方法，其特征在于，采用所述目标表观模型对应的PCA基，对该候选目标图片进行稀疏原型表示，确定该候选目标图片的表示系数，包括：
根据
Figure FDA0002376403900000021
确定侯选目标图片的表示系数及误差系数；其中，z表示侯选目标图片，Tp表示目标表观模型对应的PCA基，c表示表示系数，e表示误差系数，λ表示预设系数。
5.根据权利要求3所述的方法，其特征在于，从若干候选目标图片中确定出追踪结果以及与所述追踪结果相匹配的目标表观模型，包括：
根据相似性对比识别，确定所述候选目标图片中相似度最高的，作为追踪结果；
将所述追踪结果的表示系数与各目标表观模型对应的表示系数进行向量相似性对比，确定相似度；
从若干目标表观模型中，确定相似度最高的目标表观模型，作为匹配的目标表观模型。
6.根据权利要求5所述的方法，其特征在于，根据对比识别结果以及预设规则，对所述匹配的目标表观模型进行更新，或者新建目标表观模型，包括：
确定所述追踪结果的误差系数；
根据
Figure FDA0002376403900000022
确定所述追踪结果的置信度值，其中，Conf表示置信度值，e表示所述追踪结果的误差系数，m表示e的维数；
根据所述置信度值以及预设规则，对所述匹配的目标表观模型进行更新，或者新建目标表观模型。
7.根据权利要求6所述的方法，其特征在于，根据所述置信度值以及预设规则，对所述匹配的目标表观模型进行更新，或者新建目标表观模型，包括：
若所述置信度值大于第一预设值，则采用所述追踪结果，对所述匹配的目标表观模型中的模板进行替换，并更新所述匹配的目标表观模型的基；
若所述置信度值不小于第二预设值，且不大于第一预设值，且已构建的目标表观模型的总数小于预设模型数量，则根据所述追踪结果中目标对象的特征，新建目标表观模型。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
若所述匹配的目标表观模型为初始目标表观模型，则在所述置信度值大于第二预设值时，通过所述追踪结果，对所述初始目标表观模型中的模板进行替换，并更新所述初始目标表观模型的基。
9.根据权利要求1所述的方法，其特征在于，根据对比识别结果以及预设规则，对所述匹配的目标表观模型进行更新之前，所述方法还包括：
确定所述匹配的目标表观模型中的模板数量达到预设模板数量。
10.一种基于结构化模型的长期视觉追踪装置，其特征在于，包括：
构建模块，根据目标对象的不同特征，构建若干代表性目标表观模型；
匹配模块，采用所述目标表观模型，分别对当前帧的若干候选目标图片进行相似性对比识别，从若干候选目标图片中确定出追踪结果以及与所述追踪结果相匹配的目标表观模型；
更新模块，根据对比识别结果以及预设规则，对所述匹配的目标表观模型进行更新，或者新建目标表观模型；
聚类模块，采用稀疏子空间聚类算法，对目标表观模型的模板进行聚类，根据特征相似性确定具有同一目标表观特征的模板组，以建立视觉追踪的结构化的多代表性目标表观模型。
CN202010067497.4A 2020-01-20 2020-01-20 一种基于结构化模型的长期视觉追踪方法及装置 Active CN111274966B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010067497.4A CN111274966B (zh) 2020-01-20 2020-01-20 一种基于结构化模型的长期视觉追踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010067497.4A CN111274966B (zh) 2020-01-20 2020-01-20 一种基于结构化模型的长期视觉追踪方法及装置

Publications (2)

Publication Number Publication Date
CN111274966A true CN111274966A (zh) 2020-06-12
CN111274966B CN111274966B (zh) 2022-06-03

Family

ID=71001910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010067497.4A Active CN111274966B (zh) 2020-01-20 2020-01-20 一种基于结构化模型的长期视觉追踪方法及装置

Country Status (1)

Country Link
CN (1) CN111274966B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530894A (zh) * 2013-10-25 2014-01-22 合肥工业大学 一种基于多尺度块稀疏表示的视频目标追踪方法及其系统
CN103544483A (zh) * 2013-10-25 2014-01-29 合肥工业大学 一种基于局部稀疏表示的联合目标追踪方法及其系统
US20140307917A1 (en) * 2013-04-12 2014-10-16 Toyota Motor Engineering & Manufacturing North America, Inc. Robust feature fusion for multi-view object tracking
CN104766343A (zh) * 2015-03-27 2015-07-08 电子科技大学 一种基于稀疏表示的视觉目标跟踪方法
CN107392938A (zh) * 2017-07-20 2017-11-24 华北电力大学（保定） 一种基于重要性加权的结构稀疏跟踪方法
US20180114056A1 (en) * 2016-10-25 2018-04-26 Vmaxx, Inc. Vision Based Target Tracking that Distinguishes Facial Feature Targets
CN109949375A (zh) * 2019-02-02 2019-06-28 浙江工业大学 一种基于深度图感兴趣区域的移动机器人目标跟踪方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140307917A1 (en) * 2013-04-12 2014-10-16 Toyota Motor Engineering & Manufacturing North America, Inc. Robust feature fusion for multi-view object tracking
CN103530894A (zh) * 2013-10-25 2014-01-22 合肥工业大学 一种基于多尺度块稀疏表示的视频目标追踪方法及其系统
CN103544483A (zh) * 2013-10-25 2014-01-29 合肥工业大学 一种基于局部稀疏表示的联合目标追踪方法及其系统
CN104766343A (zh) * 2015-03-27 2015-07-08 电子科技大学 一种基于稀疏表示的视觉目标跟踪方法
US20180114056A1 (en) * 2016-10-25 2018-04-26 Vmaxx, Inc. Vision Based Target Tracking that Distinguishes Facial Feature Targets
CN107392938A (zh) * 2017-07-20 2017-11-24 华北电力大学（保定） 一种基于重要性加权的结构稀疏跟踪方法
CN109949375A (zh) * 2019-02-02 2019-06-28 浙江工业大学 一种基于深度图感兴趣区域的移动机器人目标跟踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KE NAI等: "Robust Object Tracking via Local Sparse Appearance Model", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
XINMING等: "Real-time object tracking via self-adaptive appearance modeling", 《NEUROCOMPUTING》 *
丁建伟等: "目标跟踪中表观建模研究进展", 《中国人民公安大学学报(自然科学版)》 *
黄丹丹: "基于稀疏表示的视觉目标跟踪方法研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 *

Also Published As

Publication number Publication date
CN111274966B (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
Li et al. Improved techniques for training adaptive deep networks
Ostrovski et al. Autoregressive quantile networks for generative modeling
WO2022156640A1 (zh) 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN107408211B (zh) 用于物体的再识别的方法
CN108764195B (zh) 手写模型训练方法、手写字识别方法、装置、设备及介质
Ban et al. Face detection based on skin color likelihood
US8270723B2 (en) Recognition device, recognition method, and program
Palmer et al. Super-Gaussian mixture source model for ICA
CN109086653B (zh) 手写模型训练方法、手写字识别方法、装置、设备及介质
CN111191583A (zh) 基于卷积神经网络的空间目标识别系统及方法
CN109033978B (zh) 一种基于纠错策略的cnn-svm混合模型手势识别方法
CN106530341B (zh) 一种保持局部拓扑不变性的点配准算法
CN111652798B (zh) 人脸姿态迁移方法和计算机存储介质
CN113705290A (zh) 图像处理方法、装置、计算机设备和存储介质
López-Rubio Probabilistic self-organizing maps for continuous data
WO2019232861A1 (zh) 手写模型训练方法、文本识别方法、装置、设备及介质
US11868523B2 (en) Eye gaze classification
Taghanaki et al. Robust representation learning via perceptual similarity metrics
Aldroubi et al. Similarity matrix framework for data from union of subspaces
Sheng et al. Adaptive semantic-spatio-temporal graph convolutional network for lip reading
CN107798329A (zh) 基于cnn的自适应粒子滤波目标跟踪方法
CN108985151B (zh) 手写模型训练方法、手写字识别方法、装置、设备及介质
Li et al. A head pose tracking system using RGB-D camera
CN111274966B (zh) 一种基于结构化模型的长期视觉追踪方法及装置
CN112258557B (zh) 一种基于空间注意力特征聚合的视觉跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant