CN108596949B - 视频目标跟踪状态分析方法、装置和实现装置 - Google Patents

视频目标跟踪状态分析方法、装置和实现装置 Download PDF

Info

Publication number
CN108596949B
CN108596949B CN201810249821.7A CN201810249821A CN108596949B CN 108596949 B CN108596949 B CN 108596949B CN 201810249821 A CN201810249821 A CN 201810249821A CN 108596949 B CN108596949 B CN 108596949B
Authority
CN
China
Prior art keywords
target
tracking
feature
point set
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810249821.7A
Other languages
English (en)
Other versions
CN108596949A (zh
Inventor
周浩
高赟
张晋
袁国武
普园媛
杜欣悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University YNU
Original Assignee
Yunnan University YNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University YNU filed Critical Yunnan University YNU
Priority to CN201810249821.7A priority Critical patent/CN108596949B/zh
Publication of CN108596949A publication Critical patent/CN108596949A/zh
Application granted granted Critical
Publication of CN108596949B publication Critical patent/CN108596949B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种视频目标跟踪状态分析方法、装置和实现装置；其中，该方法包括：获取当前视频帧中，目标的初始特征点集；初始特征点集包括多个特征点；根据特征点与目标的中心位置的距离，检测被错误分类的特征点，剔除被错误分类的特征点，生成第一特征点集；根据第一特征点集，确定目标的位置和范围，在位置和范围内，提取目标的表观特征；根据表观特征，分析当前视频帧中目标是否发生跟踪漂移。本发明可以较为全面准确的分析视频目标跟踪过程中跟踪状态的变化，无需具备目标运动轨迹的先验知识，具有较好的适应性，从而提高了目标跟踪的稳健性和鲁棒性。

Description

视频目标跟踪状态分析方法、装置和实现装置
技术领域
本发明涉及视频目标跟踪技术领域，尤其是涉及一种视频目标跟踪状态分析方法、装置和实现装置。
背景技术
视频目标跟踪的目的是在每一帧视频中准确地定位目标的位置和范围，然而，受噪声、杂乱背景、遮挡等因素的影响，跟踪过程中难免发生漂移、目标被遮挡、乃至跟踪丢失的情况。要实现稳健、鲁棒的跟踪有必要准确地了解当前帧的跟踪是否准确，是否发生了跟踪漂移、遮挡乃至跟踪丢失，并根据对当前跟踪结果的分析相应调整跟踪策略，以达到稳健跟踪的目的。现有的目标跟踪状态分析方法通常是基于轨迹分析或者特征向量分析的，基于轨迹的跟踪状态分析方法能够较准确地评估跟踪的状态，但需要对目标的运动约束具备先验知识，限制了其应用的范围，基于特征向量的分析方法不需要对目标的运动具备约束条件，但难以准确区分跟踪漂移，乃至跟踪丢失，总体而言，现有对目标跟踪状态进行分析的方法容易受到相关参数设置、阈值选取、噪声以及杂波的影响，分析的结果往往并不可靠。
发明内容
有鉴于此，本发明的目的在于提供一种视频目标跟踪状态分析方法、装置和实现装置，以较为全面准确的分析视频目标跟踪过程中，跟踪状态的变化，从而提高了目标跟踪的稳健性和鲁棒性。
第一方面，本发明实施例提供了一种视频目标跟踪状态分析方法，包括：获取当前视频帧中，目标的初始特征点集；初始特征点集包括多个特征点；根据特征点与目标的中心位置的距离，检测被错误分类的特征点，剔除被错误分类的特征点，生成第一特征点集；根据第一特征点集，确定目标的位置和范围，在位置和范围内，提取目标的表观特征；根据表观特征，分析当前视频帧中目标是否发生跟踪漂移。
第二方面，本发明实施例提供了一种视频目标跟踪状态分析装置，包括：获取模块，用于获取当前视频帧中，目标的初始特征点集；初始特征点集包括多个特征点；检测模块，用于根据特征点与目标的中心位置的距离，检测被错误分类的特征点，剔除被错误分类的特征点，生成第一特征点集；特征提取模块，用于根据第一特征点集，确定目标的位置和范围，在位置和范围内，提取目标的表观特征；分析模块，用于根据表观特征，分析当前视频帧中目标是否发生跟踪漂移。
第三方面，本发明实施例提供了一种视频目标跟踪状态分析实现装置，包括处理器和机器可读存储介质，机器可读存储介质存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述视频目标跟踪状态分析方法。
本发明实施例带来了以下有益效果：
本发明实施例提供的一种视频目标跟踪状态分析方法、装置和实现装置，获取到当前视频帧中目标的初始特征点集后，根据特征点与目标的中心位置的距离，检测并剔除所述被错误分类的特征点，生成第一特征点集，从而消除因归类错误产生的跟踪漂移；再根据该第一特征点集，确定目标的位置和范围，在位置和范围内，提取目标的表观特征；进而根据表观特征，分析当前视频帧中目标是否发生跟踪漂移。该方式可以较为全面准确的分析视频目标跟踪过程中，跟踪状态的变化，无需具备目标运动轨迹的先验知识，具有较好的适应性，从而提高了目标跟踪的稳健性和鲁棒性。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的视频目标跟踪方法的流程图；
图2为本发明实施例提供的基于SURF的视频目标跟踪方法的流程图；
图3为本发明实施例提供的跟踪状态转移有向图；
图4为本发明实施例提供的跟踪结果转移有向图；
图5为本发明实施例提供的一种视频目标跟踪状态分析方法的流程图；
图6为本发明实施例提供的目标特征向量压缩测量示意图；
图7为本发明实施例提供的另一种视频目标跟踪状态分析方法的流程图；
图8为本发明实施例提供的一种视频目标跟踪状态分析装置的结构示意图；
图9为本发明实施例提供的一种视频目标跟踪状态分析实现装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
视频目标跟踪是指在连续的图像序列中对感兴趣的目标进行检测，以获得目标的位置、速度、加速度等运动参数以及运动轨迹，从而在连续的视频序列中建立起目标的对应关系，其结果直接影响到对视频图像的分析和理解，以及推理决策等更高层次的处理。
参见图1所示的视频目标跟踪方法的流程图；在目标初始化之后，获得目标初始状态X0，并初始化目标表观模型A0，进入跟踪阶段。在视频帧It到来后，依据之前的目标状态及目标模型，在当前帧中对目标进行定位，获得目标在当前帧中的状态Xt，根据当前帧中目标的表观特征对表观模型At进行更新，并对当前的跟踪状态进行分析。一般而言，仅仅利用单个特征建立的目标模型在复杂场景中难以对目标进行持续稳定的跟踪。通常利用多种特征相融合建立特征模型，对复杂场景下的目标跟踪更具鲁棒性。因此多特征融合问题常常也是鲁棒跟踪算法需要考虑的问题。鲁棒的跟踪算法应当对目标完全遮挡以及部分遮挡具有鲁棒性，能够对目标在图像中准确定位，同时对目标的旋转、缩放以及视角变化也具有一定鲁棒性。
局部特征作为图像特征的一种，能够对目标的部分遮挡具有较好的鲁棒性，稳定的局部特征可以作为对目标进行稳健跟踪的依据。SURF (Speeded-Up Robust Features，加速鲁棒特征)特征点从对SIFT (Scale-invariant feature transform，尺度不变特征变换)特征点快速计算的改进而来，通过对SIFT特征检测中的高斯微分计算进行近似优化而极大提高了计算速度，同时保留了SIFT特征定位准确，对光照变化不敏感，具有旋转不变性的优点，通过SURF特征提取可以获得图像中稳定的局部特征点，通过这些特征点可以对目标进行比较准确的定位，使得在实时性要求高的跟踪过程中利用SURF特征点成为可能。
参见图2所示的基于SURF的视频目标跟踪方法的流程图；在基于 SURF特征点帧间匹配的跟踪框架下，对当前的跟踪状态进行分析。在目标初始化阶段，当锁定目标后，用矩形框来表示目标的大小及范围，提取目标及其邻域背景的SURF特征点，在检测到的SURF特征点附近提取其它图像特征，进行多特征融合建立目标及邻域背景的表观模型，获得第0帧时的初始特征点集Pg0，认为目标的帧间运动可用平移、围绕目标几何中心的旋转以及缩放来描述：
Figure BDA0001606670430000051
这里ut＝(uxt,uyt)为平移参数，ρt为缩放参数，而θt为旋转参数。在设前一帧中，目标矩形框的中心为xct-1＝(center_xt-1,center_yt-1)。初始化目标及其邻域背景的帧间运动参数为没有平移，没有旋转，没有缩放(即平移参数(uxt,uyt)＝(0,0)，旋转参数θt＝0，缩放参数ρt＝1)。
目标在帧间的运动由目标本身的运动与探测器的运动两个方面的因素决定，而其邻域背景区域的帧间运动仅仅取决于探测器的运动，显然在一般情况下，视频中目标与背景是按照不同的运动方程发生帧间的位移的。此外目标与其邻域背景在灰度值、形状、等表观信息方面有明显的区别，因此目标及背景上特征点的特征向量也应有显著不同。故将上一帧特征点集Pgt-1分为两类：位于目标区域的特征点集
Figure BDA0001606670430000061
位于背景区域的特征点集
Figure BDA0001606670430000062
建立描述目标的特征点模型和描述邻域背景的特征点模型。当新的一帧图像到来时，根据以往的目标运动参数预测当前帧中的目标位置，并在此位置附近检测图像的SURF特征点集Pgt，通过帧间特征点匹配算法找到当前特征点集Pgt中和目标特征点集
Figure BDA0001606670430000063
以及背景特征点集
Figure BDA0001606670430000064
相匹配的特征点集合candidate_matchpair1，并根据匹配的特征点集合candidate_matchpair1，用最小二乘法估算出目标及背景区域的帧间运动参数Part＝(ut,ρt,θt)，并根据估算出的帧间运动参数计算出在当前帧中目标的位置及范围，以此对当前帧中目标进行跟踪定位。依据配对特征点的空间几何关系以及特征向量间的相关计算，对当前帧中目标的跟踪状态进行分析，最后依据跟踪状态对表观模型进行更新。
针对跟踪过程中发生的遮挡、目标跟踪漂移等状况，再结合图1，依据当前的目标跟踪结果Xt以及跟踪过程中的到的特征点集
Figure BDA0001606670430000065
研究对当前跟踪状态的在线评估及分析方法。通过求解出描述跟踪状态不确定性的系数Ct，在此基础上确定合理的跟踪反馈机制，是研究自适应鲁棒跟踪算法的关键环节。跟踪状态不确定性的分析也是目标表观模型自适应更新的关键。
参见图3所示的跟踪状态转移有向图和图4所示的跟踪结果转移有向图；为描述当前的跟踪器的状态，将跟踪状态分为三种：跟踪准确；跟踪漂移；跟踪丢失。三种状态之间随时间变化可相互转换，转换关系可用有向图G＝<s,ε>描述，其中s为代表状态的节点集，ε为从一个状态到另一个状态的转移，如图3所示。在此基础上，再将跟踪器的跟踪结果分为两类：跟踪成功，跟踪器锁定在目标上；跟踪失败，跟踪器锁定在背景上。同样，跟踪结果在时空之间的变化也可以用有向图来描述，如图4所示。
初始时刻，目标被锁定，因此跟踪状态是准确的，跟踪结果为成功。定义有向图4中的状态转移H1为跟踪状态转换为跟踪丢失，或在跟踪丢失状态保持不变，状态转移H2为跟踪状态由跟踪漂移转换到跟踪准确。则在跟踪结果有向图中，若上一时刻跟踪结果是成功的，H1满足时，当前跟踪结果由成功转换为失败，而H1不满足时，继续保持跟踪成功结果不变；若上一时刻跟踪结果是失败的，H2满足时，当前跟踪结果由失败转换为成功，而H2不满足时，跟踪器继续处于跟踪失败。
视频目标跟踪的目的是在每一帧视频中准确地定位目标的位置和范围，然而，受噪声、杂乱背景、遮挡等因素的影响，跟踪过程中难免发生漂移、目标被遮挡、乃至跟踪丢失的情况。要实现稳健、鲁棒的跟踪有必要准确地了解当前帧的跟踪是否准确，是否发生了跟踪漂移、遮挡乃至跟踪丢失，并根据对当前跟踪结果的分析相应调整跟踪策略，以达到稳健跟踪的目的。然而，要分析当前的跟踪是否准确，就应知道当前帧中目标的准确位置，而这也正是进行目标跟踪的目的。
现有的目标跟踪状态分析方法通常是基于轨迹分析或者特征向量分析的，对目标的跟踪状态的分析容易受到相关参数设置、阈值选取以及噪声杂波的影响，分析的结果往往并不可靠，其具体缺点如下：
(1)适应性有待提高，状态分析依赖于一定的先验知识或参数的设置。
基于轨迹的跟踪状态分析方法往往通过对建立目标运动轨迹的约束条件来进行跟踪状态分析，因此这类方法使用的前提通常是要求对运动轨迹具有一定的先验知识，或对目标的运动加于某种限制，这类方法在目标发生运动突变的情况下，常常难于准确估计当前的跟踪状态。
基于特征向量的跟踪状态分析方法分析目标特征向量的变化来评估跟踪状态，然而如何设置合适的参数评估特征向量的变化程度，是决定评估结果准确性的关键，设置固定的阈值显然难于适应跟踪场景的复杂变化。
(2)评估算法计算复杂度和跟踪实时性要求的矛盾
跟踪算法通常对实时性具有较高的要求。通常跟踪器通过分析目标的某种特征向量来对目标进行跟踪，为避免自我评估的悖论，基于特征向量的跟踪状态分析方法应当另外选择目标的不同特征向量，分析该特征向量的变化或稳定性来评估当前帧的跟踪状态。如何能够准确评估跟踪状态，同时又把跟踪状态分析算法的计算复杂度控制在一定程度，是当前评估算法所面临的重要问题。
(3)跟踪状态分析的准确性有待提高
基于轨迹的跟踪状态分析方法能够较准确地评估跟踪的状态，但需要对目标的运动约束具备先验知识，限制了其应用的范围，基于特征向量的分析方法不需要对目标的运动具备约束条件，但难以准确区分跟踪漂移，乃至跟踪丢失。
考虑到现有的视频目标跟踪状态分析方式的分析效果可靠性较低的问题，本发明实施例提供了一种视频目标跟踪状态分析方法、装置和实现装置；该技术可以应用于视频目标跟踪过程中；该技术可以采用相关的软件或硬件实现，下面通过实施例进行描述。
参见图5所示的一种视频目标跟踪状态分析方法的流程图；该方法包括如下步骤：
步骤S502，获取当前视频帧中，目标的初始特征点集；该初始特征点集包括多个特征点；
步骤S504，根据特征点与目标的中心位置的距离，检测被错误分类的特征点，剔除被错误分类的特征点，生成第一特征点集；
其中，被错误分类的特征点通常为原属于背景区域的特征点被分类为目标特征点，或者原属于目标区域的特征点被分类为背景特征点的特征点；通过剔除这些被错误分类的特征点，可以消除因归类错误产生的跟踪漂移。
该步骤S504中，根据特征点与目标的中心位置的距离，检测被错误分类的特征点的步骤，具体可以通过下述方式实现：
(1)根据目标的运动参数，通过下式估计当前视频帧对应的t时刻时，目标的中心位置(xct,yct)，
Figure BDA0001606670430000091
(2)计算特征点i与中心位置的距离
Figure BDA0001606670430000092
Figure BDA0001606670430000093
(3)判断
Figure BDA0001606670430000094
是否满足
Figure BDA0001606670430000095
或者
Figure BDA0001606670430000096
是否满足
Figure BDA0001606670430000097
如果是，确定特征点i被错误分类；
其中，(uxt,uyt)表示帧间的位移参数；(xct-1,yct-1)为当前视频帧的前一帧对应的t-1时刻时，目标的中心位置；
Figure BDA0001606670430000098
为特征点i的坐标；(ht-1,wt-1) 为t-1时刻时，目标的高度和宽度；
Figure BDA0001606670430000099
为当前视频帧的前一帧对应的t-1时刻时，特征点i与中心位置的距离； (xoffsetσ,yoffsetσ)为预设的偏差阈值。
具体地，在图2所提出的基于SURF特征点帧间匹配的目标跟踪算法框架下，特征点的准确匹配是进行鲁棒跟踪的关键，将在t-1时刻检测到的特征点集Pgt-1分为位于目标上的特征点集
Figure BDA00016066704300000910
以及位于背景上的特征点集
Figure BDA00016066704300000911
当目标相对背景是运动的情况下，目标和背景是按不同规律运动的，目标在图像帧中的位移是由于探测器的运动叠加上目标本身的运动造成的，而背景在图像帧中的运动仅仅取决于探测器的运动，在图像中目标及背景两种不同运动的帧间运动参数是通过匹配的特征点分别计算出来的。因此准确地将检测到的特征点Pgt-1进行分类将直接影响到帧间运动参数的计算。然而准确地对特征点集Pgt-1进行分类并不容易，在目标四周以及相邻的背景区域出现的特征点容易被错误归类，从而造成在后续帧跟踪时容易发生跟踪漂移。
如果有背景特征点被错误归类到目标特征点集
Figure BDA0001606670430000101
中，或者目标特征点被错误归类到背景特征点集
Figure BDA0001606670430000102
中，而这些被错误归属的特征点，如果在帧间特征点匹配过程中发生了匹配，将参与到运动模型参数的计算中。如果被跟踪目标在背景中是静止的，则目标与背景在视频中将按相同的规律进行运动，具有相同的帧间运动参数，在此情况下，被错误分类的特征点并不会造成对在帧间运动参数的错误估计；但如果被跟踪目标在背景中是运动的，那么背景和目标将服从不同的运动规律，从而有不同的帧间平移、旋转等运动参数，此时，被错误分类的特征点实际服从与其它正确分类的特征点不同的运动规律，被错误分类的特征点将会影响到对在帧间运动参数估计，造成计算所得到的帧间运动参数不准确，进而造成跟踪漂移。然而要在每一帧中准确无误地分类检测到的特征点并不容易，特别是对于临近目标周围检测到的背景特征点容易被错误分类为目标特征点，如果这些被错误分类的特征点比较鲁棒，能够连续在帧间被匹配成功，将会对目标的运动参数的计算产生持续的影响，容易造成跟踪漂移，最终导致跟踪的失败。
在实际应用中，一方面，大部分的被跟踪目标是刚体，另一方面，即使被跟踪目标不是刚体，目标的形状在帧间也不会发生突变。因此，背景特征点在背景中的相对位置在帧间不会发生突变，目标特征点在目标上的相对位置也不会发生突变，特别是对刚体目标而言，目标特征点在目标上的相对位置变化就更小。
在被跟踪目标是在背景中运动的情况下，如果某个背景特征点被错误分类为目标特征点，由于该特征点实际上是服从由探测器运动产生的背景运动规律，在之后若该背景特征点也被匹配，相较于其它目标特征点，该背景特征点与目标之间的相对位置就会发生较大变化。因此对匹配的特征点进行分析，将这些匹配的特征点在当前帧中的相对位置与其以往的相对位置进行比较，如果发现某个特征点的相对位置发生了较大的变化，则意味着该特征点很有可能是被错误分类的特征点，有必要在估计运动参数时，剔除相对位置变化较大的配对特征点。
然而要在当前帧中计算出匹配特征点相对目标的位置，就必须知道当前帧中目标的准确位置，这恰恰是进行目标跟踪的目的，也是尽力消除跟踪过程中可能产生的误差以及漂移的目的。这样就产生了一个悖论，要消除特征点被错误分类而产生的跟踪漂移，必须知道当前帧目标的准确位置，然而，要计算出当前目标在图像中的准确位置，在基于特征点匹配的算法框架下，又必须剔除被错误分类的特征点。
通过配对特征点，采用最小二乘法对当前的运动参数进行估计，可以得到目标及背景帧间运动的参数估计，Part＝(uxt,uyt,ρt,θt)，其中(uxt,uyt)表示帧间的位移参数，ρt和θt分别为缩放和旋转参数。由于目标的缩放和旋转均是对目标中心而言的，因此在t时刻目标的中心(xct,yct)按下式估计而得：
Figure BDA0001606670430000111
将估计得到的目标中心(xct,yct)作为计算各个匹配特征点相对位置的依据，设t时刻存在匹配特征点i，其在当前图像帧中的坐标为
Figure BDA0001606670430000112
则其相对位置
Figure BDA0001606670430000113
为：
Figure BDA0001606670430000114
公式中，(ht-1,wt-1)为t-1时刻目标的高和宽。如果特征点i的x或y方向的相对位置在帧间变化大于事先规定的阈值，即如公式(3)或公式(4) 所示，则认为特征点i为被错误分类的特征点，将特征点i从当前帧匹配特征点集合candidate_matchpair1中剔除，将其标志位未匹配特征点，得到新的匹配特征点集合candidate_matchpair2，并依配对特征点集合 candidate_matchpair2重新估计目标及背景的帧间运动参数
Figure RE-GDA0001725047810000121
Figure BDA0001606670430000122
Figure BDA0001606670430000123
步骤S506，根据第一特征点集，确定目标的位置和范围，在该位置和范围内，提取目标的表观特征(appearance feature)；
在上述步骤S506，在该位置和范围内，提取目标的表观特征的步骤，具体可以通过下述方式实现：
(1)对该位置和范围内的视频帧信号x提取高维Haar-like特征向量，得到压缩测量向量
Figure BDA0001606670430000124
其中，
Figure BDA0001606670430000125
为高斯随机测量矩阵的元素；s为关系稀疏度的参数。；p为概率值。当s确定后，Φ(i,j)以概率1/2s取值为
Figure BDA0001606670430000126
以概率1/2s取值为
Figure BDA0001606670430000127
以概率
Figure BDA0001606670430000128
取值为0。
具体地，基于特征点相对位置不变性的检查可以排除由于目标周围邻域中属于背景的特征点被错误分类为目标特征点而对跟踪产生的干扰。但如果目标上存在空间位置不同，但表观特性信息相似的特征点，则仍然可能存在匹配错误，从而导致跟踪漂移。
在光照条件不会突变的情况下，目标的表观信息是不会发生突变的。在跟踪准确的情况下，检测到的目标范围内，基本都是属于目标的，如果此时根据跟踪结果提取到的目标表观特征，并与之前得到的目标表观特征的先验知识进行比较，其变化必定保持相对的连续性。而在发生跟踪漂移时候，错误检测到的目标范围中有部分是属于目标，另有较大的部分是属于背景，在此范围内提取到的表观特征与目标表观特征的先验知识相比较，必定与跟踪准确的情况下提取到的表观特征的情况具有较大的差别。
因此，根据基于SURF特征点匹配的跟踪结果，提取目标的表观特征，假设目标表观特征随时间的变化服从单高斯分布，建立目标的表观的先验知识。在根据SURF特征点匹配估计出当前帧目标的位置和范围后，在此位置和范围内提取目标表观特征，将此表观特征与目标表观的先验知识进行比较，对当前帧的目标跟踪状态进行分析，将评估当前帧的跟踪是否发生了漂移转化为求似然概率的问题。
然而对跟踪算法而言，计算复杂度是一项重要的性能指标。一方面要提高算法的鲁棒性，另一方面需要保证算法的计算效率。
压缩感知理论认为可以将信号投影到某个合适的变换域得到稀疏的变换系数，然后通过设计一个高效的观测矩阵获得隐藏在稀疏信号中的有用观测值，通过少量有用的观测值就可以与信号相关联，最后通过设计有效的重构算法，根据观测值求解信号的最优逼近。
在视频跟踪过程中，压缩感知理论提供了对目标进行表述的一种方法，跟踪算法关心的是表征目标的特征向量对目标跟踪判别的有效性，而并不关心这些特征向量是否为稀疏向量。而要获得描述目标的稀疏向量，还需要进行复杂的稀疏分解，通过观测矩阵将目标特征变换为有效的观测值，即压缩向量，直接利用降维后的压缩向量对目标进行描述，获取目标的表观特征，而压缩感知理论本身已经保证了可以通过少量的压缩向量几乎无损地保存了原始信号的信息，避免了复杂的稀疏分解，可大大减少算法的计算复杂度。因此可以将高维目标特征信息变换到压缩感知域，设计合适的观测矩阵，获取目标的压缩测量向量，并以此对目标跟踪状态进行分析。
压缩感知最初的目的是节省硬件采集设备的成本，初始化结束后，压缩测量矩阵Φ固化在硬件设备中，在应用过程中一般不会发生变化。根据压缩感知理论可知，观测方法(即压缩测量矩阵)的设计必须满足压缩感知理论中的约束等距性(RIP)，约束等距性保证了M维的观测向量可以精确或近似地重构出K稀疏的信号。
在稀疏变换基为正交基时，随机高斯矩阵是满足约束等距性的普适的测量矩阵，并进一步论证了随机高斯矩阵可高概率地满足约束等距性。而满足Johnson-Lindenstrauss(JL)引理的伯努利分布或高斯分布的随机测量矩阵也满足约束等距性质(RIP)。
然而大部分的视频或图像信号在时间域内并非稀疏的，根据稀疏理论，可以将视频信号
Figure BDA0001606670430000141
投影到某个合适的变换域Ψ＝[ψ1,ψ2,…,ψN]，从而得到的稀疏变换系数U，通过设计随机测量矩阵Φ获得对稀疏变换系数U的压缩测量Y，这里Θ＝ΦΨ满足约束等距性(RIP)。
Y＝ΦX＝ΦΨU＝ΘU (6)
满足约束等距性的随机测量矩阵Φ在正交变换下具有旋转不变性，满足约束等距性的随机矩阵与正交基Ψ的乘积仍然满足约束等距性，当视频信号X在正交基下是可稀疏的，满足约束等距性的随机测量矩阵Φ仍然可作为普适的测量矩阵，在实际中，可省去对视频信号X的稀疏分解过程，直接采用Y＝ΦX对信号X进行压缩测量。
参见图6所示的目标特征向量压缩测量示意图；对候选目标区域提取高维Haar-like特征向量
Figure BDA0001606670430000142
这样信号x为在正交变换下可得到K稀疏变换系数的向量，可直接采用满足约束等距性的高斯随机测量矩阵
Figure BDA0001606670430000151
对其压缩测量，得到压缩测量向量
Figure BDA0001606670430000152
y＝Φx (7)
高斯随机测量矩阵的元素为公式所示，
Figure BDA0001606670430000153
在关系稀疏度的参数
Figure BDA0001606670430000154
或s＝n/log n的条件下，高斯随机矩阵仍能够满足约束等距性(RIP)。这里n为高维特征向量的维数，即Haar-like特征的个数，而参数s决定了高斯随机矩阵的稀疏度。选取参数s＝n/(alogn)≈n/4～n/2.4，其中n＝106～1010，a＝0.4，我们这里选取 s＝n/4，这意味着测量矩阵Φ中每行向量至多有4个非零元素。而根据压缩感知理论，对n维特征向量进行压缩测量，至少需要的压缩测量值为：
m≥cK log(n/K) (9)
m为压缩测量的次数，由上式可知，其依赖于稀疏度K，信号维度n以及常数c，在实验中，令n＝106，K＝10，c＝1，则压缩测量向量维数m＝50。由此可知压缩测量向量y中第i个元素是测量矩阵的第i行向量与Haar-like 特征向量的内积，即：
Figure BDA0001606670430000155
步骤S508，根据表观特征，分析当前视频帧中目标是否发生跟踪漂移。
在上述步骤S508，根据表观特征，分析当前视频帧中目标是否发生跟踪漂移的步骤，具体可以通过下述方式实现：
(1)计算目标的位置location(T)的评分值HT(y)：
Figure BDA0001606670430000161
其中，p(yi|v＝1)符合高斯分布
Figure BDA0001606670430000162
p(yi|v＝0)符合高斯分布
Figure BDA0001606670430000163
Figure BDA0001606670430000164
为目标的样本的均值与标准差；
Figure BDA0001606670430000165
为候选背景样本的均值与标准差；m为候选区域的个数；
(2)根据评分值HT(y)确定目标的跟踪状态Drift：
Figure BDA0001606670430000166
其中，Drift∈(0,1)，Drift＝1表示跟踪漂移，Drift＝0表示跟踪正常；thredσT为预先定义的阈值常数；HT(y)足高斯分布
Figure BDA0001606670430000167
Figure BDA0001606670430000168
分别表示评分值HT(y)的均值和方差。
具体地，上述方式采用了朴素贝叶斯分类器来对候选目标进行评分，在假设所有的特征是相互独立的条件下，选择具有最高评分值的候选目标作为当前帧的跟踪结果。可以把候选区域是否为目标的问题，看做一个二分类的问题，其结果v∈{0,1}，p(v＝1)以及p(v＝0)分别表示候选区域为目标和非目标的概率，且其概率都为0.5。其评分值的计算为：
Figure BDA0001606670430000169
通常情况下可以认为条件分布p(yi|v＝1)，p(yi|v＝0)大多情况下符合高斯分布：
Figure BDA00016066704300001610
Figure BDA00016066704300001611
其中：μ1,σ1和μ0,σ0分别为真实目标和候选背景样本的均值与标准差。
根据之前所述的SURF特征点匹配算法确定当前帧目标的位置及范围 location(T)后，用公式(14)，(15)选取正负样本：
Dα＝{z||location(z)-location(T)|<α} (14)
Dξ,β＝{z|ξ<|location(z)-location(T)|<β} (15)
式中：Dα为正样本，Dξ,β为负样本。location(z)，location(T)分别为样本位置和目标区域位置，正负样本采样公式说明，我们将当前帧中通过SURF 特征点匹配确定的目标位置，在此位置附近半径小于α的邻域内采样得到正样本，在当前帧目标位置半径小于β大于ξ的邻域范围内采样而得到负样本，这里ξ<β。
由于目标表观特征在不会发生帧间的突变，相应的评分值也不会发生帧间突变，因此认为评分值的变化也同样满足高斯分布：
Figure BDA0001606670430000171
这里
Figure BDA0001606670430000172
分别表示目标评分的均值和方差。将当前依据SURF特征点匹配的跟踪结果location(T)作为待评判样本，根据location(T)的评分值HT(y)对目标跟踪状态进行评判：
Figure BDA0001606670430000173
Drift∈(0,1)，这里1和0分别表示是否存在跟踪漂移，thredσT为预先定义的阈值常数。上式说明，若当前待检测样本评分值HT(y)与目标评分的均值的相差太大，则判定发生了跟踪漂移，否则认为跟踪正常。若跟踪漂移，保持评分值模型不变，若判定跟踪正常，则按照公式(18)和(19)更新评分值模型：
Figure BDA0001606670430000174
Figure BDA0001606670430000175
其中：λT>0，λT为更新速率，λT越小则评分模型更新的速度就越快。设正样本的特征向量为yT，同样，在判定跟踪正常的情况下，正负样本的分类器也需要更新，正样本模型更新公式为：
Figure BDA0001606670430000181
Figure BDA0001606670430000182
而负样本模型更新的公式为：
Figure BDA0001606670430000183
Figure BDA0001606670430000184
Figure BDA0001606670430000185
Figure BDA0001606670430000186
其中：q为负样本个数，λ>0，λ为更新速率。
参见图7所示的另一种视频目标跟踪状态分析方法的流程图；该方法在上述图5所示方法基础上实现，该方法包括上述跟踪漂移分析，还包括基于匹配特征点进行跟踪分析的过程，具体包括下述步骤：
(1)获取当前视频帧的前一帧对应的t-1时刻时的特征点集合Pgt-1；特征点集合Pgt-1包括目标的特征点集
Figure BDA0001606670430000187
以及位于目标邻域背景上的特征点集
Figure BDA0001606670430000188
(2)将特征点集合Pgt-1与当前视频帧对应的t时刻的特征点进行匹配，得到匹配成功的目标的特征点集
Figure BDA0001606670430000189
以及位于目标邻域背景上的特征点集
Figure BDA00016066704300001810
如果
Figure BDA00016066704300001811
和
Figure BDA00016066704300001812
均不为空，且所述
Figure BDA00016066704300001813
中没有特征点位于当前帧中的目标区域，确定所述目标跟踪正常；
如果
Figure BDA00016066704300001814
和
Figure BDA00016066704300001815
均不为空，且
Figure BDA00016066704300001816
存在特征点位于当前帧目标区域中，确定所述目标被部分遮挡；
如果
Figure BDA0001606670430000191
不为空，且
Figure BDA0001606670430000192
为空，确定目标跟踪正常；
如果
Figure BDA0001606670430000193
为空，且
Figure BDA0001606670430000194
不为空，确定目标被完全遮挡；
如果
Figure BDA0001606670430000195
和
Figure BDA0001606670430000196
均为空，确定目标跟踪丢失。
具体地，在根据配对特征点得到t时刻的最优变换参数 Part＝(ut,ρt,θt)后，根据前一时刻目标的状态向量
Figure BDA0001606670430000197
代入公式(1)，容易得到当前时刻目标的状态向量
Figure BDA0001606670430000198
Figure BDA0001606670430000199
Figure BDA00016066704300001910
因此容易计算出当前帧中表示目标区域的矩形框的位置及范围。
设在当前帧到来前，已知的特征点集合为Pgt-1，其中包括了位于目标上的特征点集
Figure BDA00016066704300001911
以及位于目标邻域背景上的特征点集
Figure BDA00016066704300001912
将特征点集合Pgt-1与当前帧中检测到的特征点进行匹配，由于目标和背景所满足的运动方程并不相同，这两类特征点集分别进行匹配。通常而言，都会有部分特征点能够匹配上，也存在部分不能够匹配上的特征点，记为
Figure BDA00016066704300001913
和
Figure BDA00016066704300001914
Figure BDA00016066704300001915
通过分析匹配特征点集
Figure BDA00016066704300001916
和
Figure BDA00016066704300001917
的空间分布情况，将特征点匹配分为以下几种情况，并对当前目标跟踪的情况进行初步分析：
(1)在新一帧中，特征点集
Figure BDA0001606670430000201
与
Figure BDA0001606670430000202
均不为空，说明上一帧的位于目标及背景区域的特征点在当前帧中均有匹配；
这时目标状态根据匹配的背景特征点位置可分为两种情况：(a) 匹配的背景特征点集
Figure BDA0001606670430000203
中没有特征点位于当前帧中目标区域，这时我们可以认为跟踪正常；(b)匹配的背景特征点集
Figure BDA0001606670430000204
中存在特征点位于当前帧中目标区域，这时我们分析目标存在被部分遮挡的可能。
(2)在新一帧中，特征点集
Figure BDA0001606670430000205
不为空，但特征点集
Figure BDA0001606670430000206
为空，即上一帧中位于目标区域内的特征点在当前帧中有匹配，但没有位于背景特征点被匹配；
由于仅仅提取目标周围邻域的背景特征点进行匹配，这种情况可能对应于能够对目标正常跟踪，目标运动速度相对快，其周围邻域变化较大，因而背景特征点没有能够匹配上。
(3)在新一帧中，特征点集
Figure BDA0001606670430000207
为空，但特征点集
Figure BDA0001606670430000208
不为空，即上一帧中位于目标区域内的特征点在当前帧中没有被匹配，而有位于背景区域内的特征点被匹配；
这种情况常常对应于跟踪丢失，造成跟踪丢失的原因很多，有可能是噪声或杂波太大，影响了对目标的匹配，也有可能是目标运动发生突变，在当前帧的检测区域内没有检测到能够匹配的目标特征点。根据以往目标运动的先验知识，对目标在当前帧中可能出现的区域进行预测，如果在此区域内存在被匹配的背景特征点，则常常意味着目标被完全遮挡。
(4)在新一帧中，特征点集
Figure BDA0001606670430000211
与
Figure BDA0001606670430000212
均为空，即上一帧中位于目标区域内的特征点和位于有背景区域内的特征点在当前帧中均没有被匹配；
这种情况对应于跟踪丢失，由于没有特征点被匹配上，在当前帧的检测区域内没有检测到能够与上一帧匹配的特征点，而造成跟踪丢失的原因很可能是检测区域不准确，和上一帧的检测区域没有关联造成的。
本发明实施例提供的一种视频目标跟踪状态分析方法，获取到当前视频帧中目标的初始特征点集后，根据特征点与目标的中心位置的距离，检测并剔除所述被错误分类的特征点，生成第一特征点集，从而消除因归类错误产生的跟踪漂移；再根据该第一特征点集，确定目标的位置和范围，在位置和范围内，提取目标的表观特征；进而根据表观特征，分析当前视频帧中目标是否发生跟踪漂移。该方式可以较为全面准确的分析视频目标跟踪过程中，跟踪状态的变化，无需具备目标运动轨迹的先验知识，具有较好的适应性，从而提高了目标跟踪的稳健性和鲁棒性。
对应于上述方法实施例，参见图8所示的一种视频目标跟踪状态分析装置的结构示意图；该装置包括：
获取模块80，用于获取当前视频帧中，目标的初始特征点集；初始特征点集包括多个特征点；
检测模块81，用于根据特征点与目标的中心位置的距离，检测被错误分类的特征点，剔除该被错误分类的特征点，生成第一特征点集；
特征提取模块82，用于根据第一特征点集，确定目标的位置和范围，在位置和范围内，提取目标的表观特征；
分析模块83，用于根据表观特征，分析当前视频帧中目标是否发生跟踪漂移。
上述检测模块，还用于：根据目标的运动参数，通过下式估计当前视频帧对应的t时刻时，目标的中心位置(xct,yct)，
Figure BDA0001606670430000221
计算特征点i与中心位置的距离
Figure BDA0001606670430000222
Figure BDA0001606670430000223
判断
Figure BDA0001606670430000224
是否满足
Figure BDA0001606670430000225
或者
Figure BDA0001606670430000226
是否满足
Figure BDA0001606670430000227
如果是，确定特征点i被错误分类；
其中，(uxt,uyt)表示帧间的位移参数；(xct-1,yct-1)为当前视频帧的前一帧对应的t-1时刻时，目标的中心位置；
Figure BDA0001606670430000228
为特征点i的坐标；(ht-1,wt-1) 为t-1时刻时，目标的高度和宽度；
Figure BDA0001606670430000229
为当前视频帧的前一帧对应的t-1时刻时，特征点i与中心位置的距离； (xoffsetσ,yoffsetσ)为预设的偏差阈值。
上述特征提取模块，还用于：对位置和范围内的视频帧信号x提取高维Haar-like特征向量，得到压缩测量向量
Figure BDA00016066704300002210
其中，
Figure BDA00016066704300002211
为高斯随机测量矩阵的元素；s为关系稀疏度的参数；p为概率值。
上述分析模块，还用于：计算目标的位置location(T)的评分值HT(y)：
Figure BDA00016066704300002212
其中，p(yi|v＝1)符合高斯分布
Figure BDA0001606670430000231
p(yi|v＝0)符合高斯分布
Figure BDA0001606670430000232
Figure BDA0001606670430000233
为目标的样本的均值与标准差；
Figure BDA0001606670430000234
为候选背景样本的均值与标准差；
根据评分值HT(y)确定目标的跟踪状态Drift：
Figure BDA0001606670430000235
其中，Drift∈(0,1)，Drift＝1表示跟踪漂移，Drift＝0表示跟踪正常；thredσT为预先定义的阈值常数；HT(y)足高斯分布
Figure BDA0001606670430000236
Figure BDA0001606670430000237
分别表示评分值HT(y)的均值和方差。
本发明实施例提供的视频目标跟踪状态分析装置，与上述实施例提供的视频目标跟踪状态分析方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
参见图9所示的一种视频目标跟踪状态分析实现装置的结构示意图；该实现装置包括存储器100和处理器101；其中，存储器100用于存储一条或多条计算机指令，一条或多条计算机指令被处理器执行，以实现上述视频目标跟踪状态分析方法，该方法可以包括以上方法中的一种或多种。
进一步，图9所示的实现装置还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。
其中，存储器100可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称 ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施方式中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施方式所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施方式的方法的步骤。
进一步，本发明实施方式还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述视频目标跟踪状态分析方法，该方法可以包括以上方法中的一种或多种。
本发明公开了一种视频目标跟踪状态分析方法、装置和实现装置，通过对当前目标跟踪的状态进行分析，可以确定当前的跟踪结果是否发生目标被遮挡、跟踪漂移、以及跟踪丢失，从而为下一帧的跟踪策略调整提供依据。在跟踪过程中，难免会发生目标被遮挡或光照条件发生变化的情况，也会发生目标跟踪漂移乃至跟踪丢失的情况，根据视频目标跟踪的情况可将跟踪状况分为跟踪正常、目标被遮挡(部分遮挡或完全遮挡)、目标跟踪漂移或跟踪丢失。显然在不同的跟踪状态下，跟踪策略应有所不同，以保证稳健、连续的跟踪。因此准确判断是否出现跟踪漂移、丢失等情况，对提高跟踪算法的鲁棒性有着重要的意义。然而在实际应用中，被跟踪目标在当前帧中的位置及范围等的状态信息是通过跟踪算法估计出来的，要判断当前跟踪结果是否准确，应事先预知目标的准确位置，而这也正是进行目标跟踪的目的，这样就产生了悖论，因此要准确地评估当前的跟踪结果是提高跟踪器性能的难点和关键环节。
本发明实施例针对在基于帧间特征点匹配的目标跟踪框架下分析当前帧的跟踪状态，基于特征点匹配的目标跟踪算法将图像帧中检测到的特征点分为两类：位于目标上的特征点和位于背景区域的特征点，通过特征点匹配对目标进行跟踪，本发明分析了特征点匹配的相关情况，通过准确分类当前帧的特征点类型，排除了因特征点错误分类而可能造成的跟踪漂移，本发明还对目标特征在帧间发生变化的情况对跟踪丢失、漂移等跟踪状态进行了分析，与传统方法相比该方法具有以下优势：(1)较全面地分析了跟踪过程中，跟踪状态发生变化以及相互转化的情况，在此基础上对当前跟踪状态进行分析；(2)通过分析特征点帧间匹配情况以及目标特性信息帧间变化的情况，能够对跟踪丢失、遮挡、漂移进行判别，提高了跟踪的鲁棒性；(3)对跟踪状态的分析无需具备目标运动轨迹的相关先验知识，具有较好的适应性。
本发明实施例公开的一种视频目标跟踪状态分析方法、装置和实现装置，包含两个个核心技术，即多基于特征点相对位置不变的跟踪漂移检测技术、和基于压缩向量特征不变性的跟踪漂移分析，与其对应的现有视频目标跟踪技术相比，具体优势描述如下：
(1)对跟踪漂移的有效检测增强了跟踪器性能的稳健性和鲁棒性；
本发明在合理假设特征点相对位置不变的情况下，通过分析特征点相对位置的帧间变化，剔除被错误匹配的特征点，有效克服了因特征点分类错误而造成的跟踪漂移。对于无法通过特征点相对位置分析检测出的跟踪漂移，本发明提出了通过分析目标的压缩特征向量变化的方法能够有效判断是否发生跟踪漂移，而跟踪漂移是常常是跟踪丢失的前奏，因此本发明提出的跟踪漂移检测方法能够有效地提高视频目标跟踪器的鲁棒性和稳健性。
(2)跟踪状态分析算法的有效性和高效性的统一。
计算复杂度是评价跟踪器优劣的关键性能，为降低算法的计算复杂度，本发明采用了压缩特征描述目标，建立目标压缩特征模型，通过比较在当前帧跟踪结果区域提取到的压缩特征与目标压缩特征模型，并将比较结果作为判断是否发生跟踪漂移的依据。以较小的计算复杂度代价进行跟踪漂移的分析，是现有基于特征向量的跟踪漂移算法所不具备的。
本发明实施例所提供的视频目标跟踪状态分析方法、装置和实现装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种视频目标跟踪状态分析方法，其特征在于，包括：
获取当前视频帧中，目标的初始特征点集；所述初始特征点集包括多个特征点；
根据所述特征点与所述目标的中心位置的距离，检测被错误分类的特征点，剔除所述被错误分类的特征点，生成第一特征点集；
根据所述第一特征点集，确定所述目标的位置和范围，在所述位置和所述范围内，提取所述目标的表观特征；
根据所述表观特征，分析当前视频帧中所述目标是否发生跟踪漂移；
所述根据所述特征点与所述目标的中心位置的距离，检测被错误分类的特征点的步骤，包括：
根据所述目标的运动参数，通过下式估计所述当前视频帧对应的t时刻时，所述目标的中心位置(xct,yct)，
Figure FDA0002449658080000011
计算特征点i与所述中心位置的距离
Figure FDA0002449658080000018
Figure FDA0002449658080000012
判断所述
Figure FDA0002449658080000013
是否满足
Figure FDA0002449658080000014
或者所述
Figure FDA0002449658080000015
是否满足
Figure FDA0002449658080000016
如果是，确定所述特征点i被错误分类；
其中，(uxt,uyt)表示帧间的位移参数；(xct-1,yct-1)为所述当前视频帧的前一帧对应的t-1时刻时，所述目标的中心位置；
Figure FDA0002449658080000017
为特征点i的坐标；(ht-1,wt-1)为t-1时刻时，所述目标的高度和宽度；
Figure FDA0002449658080000021
为所述当前视频帧的前一帧对应的t-1时刻时，特征点i与所述中心位置的距离；xoffsetσ、yoffsetσ为预设的偏差阈值。
2.根据权利要求1所述的方法，其特征在于，所述在所述位置和所述范围内，提取所述目标的表观特征的步骤，包括：
对所述位置和所述范围内的视频帧信号x提取高维Haar-like特征向量，得到压缩测量向量
Figure FDA0002449658080000022
其中，
Figure FDA0002449658080000023
为高斯随机测量矩阵的元素；s为关系稀疏度的参数；p为概率值；yi为压缩测量向量y中的第i个元素，n为所述高维Haar-like特征向量的维数，xj为所述高维Haar-like特征向量的第j维的值。
3.根据权利要求2所述的方法，其特征在于，所述根据所述表观特征，分析当前视频帧中所述目标是否发生跟踪漂移的步骤，包括：
计算所述目标的位置location(T)的评分值HT(y)：
Figure FDA0002449658080000024
其中，p(yi|v＝1)符合高斯分布
Figure FDA0002449658080000025
p(yi|v＝0)符合高斯分布
Figure FDA0002449658080000026
Figure FDA0002449658080000027
为所述目标的样本的均值与标准差；
Figure FDA0002449658080000028
为候选背景样本的均值与标准差；
根据所述评分值HT(y)确定所述目标的跟踪状态Drift：
Figure FDA0002449658080000029
其中，Drift∈(0,1)，Drift＝1表示跟踪漂移，Drift＝0表示跟踪正常；thredσT为预先定义的阈值常数；HT(y)满足高斯分布
Figure FDA0002449658080000031
Figure FDA0002449658080000032
分别表示所述评分值HT(y)的均值和方差。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取当前视频帧的前一帧对应的t-1时刻时的特征点集合Pgt-1；所述特征点集合Pgt-1包括所述目标的特征点集
Figure FDA0002449658080000033
以及位于目标邻域背景上的特征点集
Figure FDA0002449658080000034
将所述特征点集合Pgt-1与当前视频帧对应的t时刻的特征点进行匹配，得到匹配成功的所述目标的特征点集
Figure FDA0002449658080000035
以及位于目标邻域背景上的特征点集
Figure FDA0002449658080000036
如果所述
Figure FDA0002449658080000037
和所述
Figure FDA0002449658080000038
均不为空，且所述
Figure FDA0002449658080000039
中没有特征点位于当前帧中的目标区域，确定所述目标跟踪正常；
如果所述
Figure FDA00024496580800000310
和所述
Figure FDA00024496580800000311
均不为空，且
Figure FDA00024496580800000312
存在特征点位于当前帧目标区域中，确定所述目标被部分遮挡；
如果所述
Figure FDA00024496580800000313
不为空，且
Figure FDA00024496580800000314
为空，确定所述目标跟踪正常；
如果所述
Figure FDA00024496580800000315
为空，且
Figure FDA00024496580800000316
不为空，确定所述目标被完全遮挡；
如果所述
Figure FDA00024496580800000317
和
Figure FDA00024496580800000318
均为空，确定所述目标跟踪丢失。
5.一种视频目标跟踪状态分析装置，其特征在于，包括：
获取模块，用于获取当前视频帧中，目标的初始特征点集；所述初始特征点集包括多个特征点；
检测模块，用于根据所述特征点与所述目标的中心位置的距离，检测被错误分类的特征点，剔除所述被错误分类的特征点，生成第一特征点集；
特征提取模块，用于根据所述第一特征点集，确定所述目标的位置和范围，在所述位置和所述范围内，提取所述目标的表观特征；
分析模块，用于根据所述表观特征，分析当前视频帧中所述目标是否发生跟踪漂移；
所述检测模块，还用于：
根据所述目标的运动参数，通过下式估计所述当前视频帧对应的t时刻时，所述目标的中心位置(xct,yct)，
Figure FDA0002449658080000041
计算特征点i与所述中心位置的距离
Figure FDA0002449658080000043
判断所述
Figure FDA0002449658080000044
是否满足
Figure FDA0002449658080000045
或者所述
Figure FDA0002449658080000046
是否满足
Figure FDA0002449658080000047
如果是，确定所述特征点i被错误分类；
其中，(uxt,uyt)表示帧间的位移参数；(xct-1,yct-1)为所述当前视频帧的前一帧对应的t-1时刻时，所述目标的中心位置；
Figure FDA0002449658080000048
为特征点i的坐标；(ht-1,wt-1)为t-1时刻时，所述目标的高度和宽度；
Figure FDA0002449658080000049
为所述当前视频帧的前一帧对应的t-1时刻时，特征点i与所述中心位置的距离；xoffsetσ、yoffsetσ为预设的偏差阈值。
6.根据权利要求5所述的装置，其特征在于，所述特征提取模块，还用于：
对所述位置和所述范围内的视频帧信号x提取高维Haar-like特征向量，得到压缩测量向量
Figure FDA0002449658080000051
其中，
Figure FDA0002449658080000052
为高斯随机测量矩阵的元素；s为关系稀疏度的参数；p为概率值；yi为压缩测量向量y中的第i个元素，n为所述高维Haar-like特征向量的维数，xj为所述高维Haar-like特征向量的第j维的值。
7.根据权利要求6所述的装置，其特征在于，所述分析模块，还用于：
计算所述目标的位置location(T)的评分值HT(y)：
Figure FDA0002449658080000053
其中，p(yi|v＝1)符合高斯分布
Figure FDA0002449658080000054
p(yi|v＝0)符合高斯分布
Figure FDA0002449658080000055
Figure FDA0002449658080000056
为所述目标的样本的均值与标准差；
Figure FDA0002449658080000057
为候选背景样本的均值与标准差；
根据所述评分值HT(y)确定所述目标的跟踪状态Drift：
Figure FDA0002449658080000058
其中，Drift∈(0,1)，Drift＝1表示跟踪漂移，Drift＝0表示跟踪正常；thredσT为预先定义的阈值常数；HT(y)满足高斯分布
Figure FDA0002449658080000059
Figure FDA00024496580800000510
分别表示所述评分值HT(y)的均值和方差。
8.一种视频目标跟踪状态分析实现装置，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至4任一项所述的方法。
CN201810249821.7A 2018-03-23 2018-03-23 视频目标跟踪状态分析方法、装置和实现装置 Expired - Fee Related CN108596949B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810249821.7A CN108596949B (zh) 2018-03-23 2018-03-23 视频目标跟踪状态分析方法、装置和实现装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810249821.7A CN108596949B (zh) 2018-03-23 2018-03-23 视频目标跟踪状态分析方法、装置和实现装置

Publications (2)

Publication Number Publication Date
CN108596949A CN108596949A (zh) 2018-09-28
CN108596949B true CN108596949B (zh) 2020-06-12

Family

ID=63623577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810249821.7A Expired - Fee Related CN108596949B (zh) 2018-03-23 2018-03-23 视频目标跟踪状态分析方法、装置和实现装置

Country Status (1)

Country Link
CN (1) CN108596949B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310303B (zh) * 2019-05-06 2021-07-23 南昌嘉研科技有限公司 图像分析多目标跟踪方法
CN111046727B (zh) * 2019-10-31 2023-10-20 咪咕文化科技有限公司 视频特征提取方法及装置、电子设备及存储介质
CN111601013B (zh) * 2020-05-29 2023-03-31 阿波罗智联(北京)科技有限公司 用于处理视频帧的方法和装置
CN111814859B (zh) * 2020-06-30 2021-09-14 南京航空航天大学 一种用于xct切片分类的三维空间类别纠正方法
CN112950687B (zh) * 2021-05-17 2021-08-10 创新奇智(成都)科技有限公司 一种确定跟踪状态的方法、装置、存储介质和电子设备
CN113990101B (zh) * 2021-11-19 2023-04-07 深圳市捷顺科技实业股份有限公司 一种禁停区域车辆检测方法及其系统和处理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200495A (zh) * 2014-09-25 2014-12-10 重庆信科设计有限公司 一种视频监控中的多目标跟踪方法
CN104299247A (zh) * 2014-10-15 2015-01-21 云南大学 一种基于自适应测量矩阵的视频目标跟踪方法
CN104318590A (zh) * 2014-11-10 2015-01-28 成都信升斯科技有限公司 视频中的目标跟踪方法
CN105844667A (zh) * 2016-03-25 2016-08-10 中国矿业大学 一种紧凑颜色编码的结构化目标跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9437009B2 (en) * 2011-06-20 2016-09-06 University Of Southern California Visual tracking in video images in unconstrained environments by exploiting on-the-fly context using supporters and distracters

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200495A (zh) * 2014-09-25 2014-12-10 重庆信科设计有限公司 一种视频监控中的多目标跟踪方法
CN104299247A (zh) * 2014-10-15 2015-01-21 云南大学 一种基于自适应测量矩阵的视频目标跟踪方法
CN104318590A (zh) * 2014-11-10 2015-01-28 成都信升斯科技有限公司 视频中的目标跟踪方法
CN105844667A (zh) * 2016-03-25 2016-08-10 中国矿业大学 一种紧凑颜色编码的结构化目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
复杂动态场景下在线视觉目标跟踪算法研究;齐苑辰;《中国博士学位论文全文数据库》;20170315;第7、63-85页 *
粒子群优化的压缩跟踪算法;李杰 等;《中国图像图形学报》;20160831;第21卷(第8期);第1068-1077页 *

Also Published As

Publication number Publication date
CN108596949A (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
CN108596949B (zh) 视频目标跟踪状态分析方法、装置和实现装置
CN108470354B (zh) 视频目标跟踪方法、装置和实现装置
CN106778712B (zh) 一种多目标检测与跟踪方法
CN108399627B (zh) 视频帧间目标运动估计方法、装置和实现装置
CN104200495A (zh) 一种视频监控中的多目标跟踪方法
Soleimanitaleb et al. Single object tracking: A survey of methods, datasets, and evaluation metrics
CN114972735A (zh) 基于roi预测和多模块学习的抗遮挡移动目标跟踪装置及方法
Rapuru et al. Correlation-based tracker-level fusion for robust visual tracking
Ghaleb et al. Vision-based hand gesture spotting and recognition using CRF and SVM
Zhang et al. Transfer learning‐based online multiperson tracking with Gaussian process regression
KR101789979B1 (ko) 그래디언트 방향 정보에 기반한 하우스도르프 거리 계산 방법
Sun et al. Efficient compressive sensing tracking via mixed classifier decision
Kulkarni et al. Kalman filter based multiple object tracking system
Wang Moving Vehicle Detection and Tracking Based on Video Sequences.
Salvi et al. A graph-based algorithm for multi-target tracking with occlusion
Zhou et al. Target tracking based on foreground probability
Lahraichi et al. Automatic foreground detection based on KDE and binary classification
Maciejewski et al. Out-of-distribution detection in high-dimensional data using mahalanobis distance-critical analysis
Tadiparthi et al. A comprehensive review of moving object identification using background subtraction in dynamic scenes
Desai et al. Using affine features for an efficient binary feature descriptor
Lad et al. Estimating label quality and errors in semantic segmentation data via any model
Bhatt et al. Probabilistic object detection: Strengths, weaknesses, opportunities
Asadzadehkaljahi et al. Spatio-Temporal FFT Based Approach for Arbitrarily Moving Object Classification in Videos of Protected and Sensitive Scenes
CN113364884B (zh) 基于局部敏感布隆过滤器的工业物联网隐性异常检测方法
Chakravorty et al. Tracking using numerous anchor points

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200612

Termination date: 20210323