CN109886994A - 视频跟踪中自适应遮挡检测系统及方法 - Google Patents

Abstract

本发明提供了一种视频跟踪中自适应遮挡检测系统及方法，包括：背景跟踪器：根据目标跟踪器对目标的跟踪结果，跟踪遮挡目标的背景小块和目标周边的背景小块；遮挡检测器：根据目标跟踪器和背景跟踪器的跟踪结果，判断目标与背景小块之间的位置关系，输出遮挡目标的背景小块的位置；模板更新器：计算目标被遮挡的程度，当遮挡程度小于一阈值时，对目标模板进行更新，当遮挡程度大于等于阈值时，停止对目标模板的更新；搜索范围预测器：根据目标被遮挡的程度改变目标跟踪器对目标的跟踪范围。本发明引入背景跟踪器对背景小块进行跟踪，并利用先前帧的遮挡信息设定自适应阈值，从而能够更好的对背景与目标的关系进行判定，更加精准的检测出遮挡。

Description

视频跟踪中自适应遮挡检测系统及方法

技术领域

本发明涉及计算机视觉技术领域，具体地，涉及视频跟踪中自适应遮挡检测系统及方法。

背景技术

视频跟踪是计算机视觉领域最重要的研究课题之一，在场景监控、人机交互、医学图像等方面有着重要的应用。视频跟踪即给出目标在视频序列第一帧中的初始位置，系统预测出目标在后续帧中的位置。视频跟踪系统一般由五个部分组成：运动模型(motionmodel)、特征提取器(feature extractor)、观测模型(observation model)、模型更新器(model updater)、整合后处理器(ensemble post-processor)。其中，运动模型基于对先前帧的估计，产生可能包含目标的候选区域；特征提取器对每个候选区域进行特征提取；观测模型根据特征提取的结果判断候选区域是否为目标；模型更新器控制观测模型的判别策略和更新频率；整合后处理器整合多个系统的输出，产生最终的结果。

目标表示法是视频跟踪算法重要的组成部分之一。早期的算法有Lucas andKanade算法，但这一算法没有考虑目标外观的变化。为了解决这一问题，基于子空间的算法相继被提出，包括Hager和Belhumeur提出的低维子空间表示法。近些年来，新的算法层出不穷：基于稀疏表示的算法，如mean shift算法、soft-threshold squares算法；基于彩色柱状图的算法，如histograms of oriented gradients、local binary patterns；含有判别模型的算法，如support vector machine,multiple instance learning.

为了更好的评价算法的性能，需要将其在合适的数据集上进行测试。目前主流的数据集有“目标跟踪基准”(Object Tracking Benchmark)数据集、“视频目标跟踪”(VisualTracking Benchmark)[数据集。在“目标跟踪基准”数据集中，目标具有以下不同的属性：光照变化(Illumination variation)，尺度变化(Scale variation)，遮挡(Occlusion)，变形(Deformation)，运动模糊(Motion Blur)，快速运动(Fast motion)，平面内旋转(In-planerotation)，平面外旋转(Out-of-plane rotation)，离开视野(Out of view)，背景杂乱(Background clutter)，低分辨率(Low resolution)；在“视频目标跟踪”数据集中，对目标属性的标记具体到了每一帧。得到跟踪系统每一帧的输出结果后，将其与目标位置的真实值(ground truth)进行比较。常用指标有两种：重合率(Overlap Ratio)和中心位置误差(Center Location Error).重合率的计算公式为：

其中B_t为目标跟踪器输出的边界框，B_g为目标真实位置对应的边框。该指标反应的是系统的输出与目标真实位置重合的面积与二者所占面积的比值。比值越大表明跟踪结果越好。

中心位置误差的计算公式为：

其中(x,y)为系统输出的边框的中心坐标，(x₀,y₀)为目标真实位置对应的边框的中心坐标。该指标反应的是系统的输出与目标真实位置的距离，距离越小表明跟踪结果越好。

设定阈值(取值范围为0到1)，认为重合率大于阈值为跟踪成功，反之则为失败。计算跟踪成功的帧数占总帧数的百分比，可得到成功率与阈值的关系图，即成功率曲线(Success Plot).类似的，设定阈值(取值范围为0到50)，统计中心位置误差小于阈值的帧数占总帧数的百分比，可得准确率与阈值的关系图，即准确率曲线(Precision Plot).通过比较曲线下面积(Area Under Curve)即可评价算法的性能。

通常情况下，视频跟踪算法会对目标模板进行在线学习，利用跟踪结果更新模板从而应对外观变化。当目标被遮挡时，上述模板更新策略会误将遮挡物当作目标进行模板更新，这会导致在后续帧中系统跟踪遮挡物而不是目标。因而基于跟踪置信度的模板更新策略被提出，这种目标更新策略具体为：设定评价指标计算每一帧跟踪结果的置信度，只有置信度大于阈值的那些跟踪结果才会被当作目标进行更新。然而，目标发生外观变化以及被遮挡都会导致跟踪置信度的降低，上述模板更新策略为将这两种情况加以区分，显然这两种情况对模板更新的要求是截然相反的：前者要求模板学习模板的外观变化而后者则要求模板停止更新。

基于上下文信息的视频遮挡检测方法引入遮挡检测模块，利用对目标和背景的跟踪结果得到二者之间的位置关系，进而对目标是否目标被遮挡进行判定。由于利用到了背景信息，该方法理论上可以将遮挡与外观变化进行区分。然而，该遮挡检测方法中包括过多预先定义的参数，对于不同序列、不同目标不具有自适应性。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种视频跟踪中自适应遮挡检测系统及方法。

根据本发明提供的一种视频跟踪中自适应遮挡检测系统，包括：

背景跟踪器：根据目标跟踪器对目标的跟踪结果，跟踪遮挡目标的背景小块和目标周边的背景小块；

遮挡检测器：根据目标跟踪器和所述背景跟踪器的跟踪结果，判断目标与所述背景小块之间的位置关系，输出遮挡目标的背景小块的位置；

模板更新器：计算目标被遮挡的程度，当遮挡程度小于一阈值时，对目标模板进行更新，当遮挡程度大于等于所述阈值时，停止对目标模板的更新；

搜索范围预测器：根据目标被遮挡的程度改变目标跟踪器对目标的跟踪范围。

较佳的，所述背景小块的尺度大小固定，数量自适应于目标边界框的边长。

较佳的，遮挡目标的背景小块和目标周边的背景小块包括：上一帧中遮挡目标的背景小块和上一帧中目标周边的背景小块。

较佳的，所述模板更新器在目标被遮挡的程度大于等于所述阈值时扩大目标跟踪器对目标的跟踪范围。

较佳的，所述遮挡检测器根据目标跟踪器和所述背景跟踪器在上一帧的跟踪结果，判断当前帧目标与所述背景小块之间的位置关系，输出遮挡目标的背景小块的位置；

所述阈值的取值包括根据前多帧的目标被遮挡的程度的加权平均值。

根据本发明提供的一种视频跟踪中自适应遮挡检测方法，包括：

背景跟踪步骤：根据目标跟踪步骤对目标的跟踪结果，跟踪遮挡目标的背景小块和目标周边的背景小块；

遮挡检测步骤：根据目标跟踪步骤和所述背景跟踪步骤的跟踪结果，判断目标与所述背景小块之间的位置关系，输出遮挡目标的背景小块的位置；

模板更新步骤：计算目标被遮挡的程度，当遮挡程度小于一阈值时，对目标模板进行更新，当遮挡程度大于等于所述阈值时，停止对目标模板的更新；

搜索范围预测步骤：根据目标被遮挡的程度改变目标跟踪步骤对目标的跟踪范围。

较佳的，所述背景小块的尺度大小固定，数量自适应于目标边界框的边长。

较佳的，遮挡目标的背景小块和目标周边的背景小块包括：上一帧中遮挡目标的背景小块和上一帧中目标周边的背景小块。

较佳的，所述模板更新步骤在目标被遮挡的程度大于等于所述阈值时扩大目标跟踪步骤对目标的跟踪范围。

较佳的，所述遮挡检测步骤根据目标跟踪步骤和所述背景跟踪步骤在上一帧的跟踪结果，判断当前帧目标与所述背景小块之间的位置关系，输出遮挡目标的背景小块的位置；

所述阈值的取值包括根据前多帧的目标被遮挡的程度的加权平均值。

与现有技术相比，本发明具有如下的有益效果：

在目标跟踪器之外引入背景跟踪器对背景小块进行跟踪，并利用先前帧的遮挡检测信息设定自适应阈值，从而能够更好的对背景与目标的关系进行判定，更加精准的检测出遮挡；在此基础上，采用合适的模板更新策略以及搜索范围，使得跟踪系统在后续帧中对目标准确跟踪。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的原理图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

如图1所示，本发明提供的一种视频跟踪中自适应遮挡检测系统，包括：

背景跟踪器：根据目标跟踪器对目标的跟踪结果，跟踪遮挡目标的背景小块和目标周边的背景小块；

遮挡检测器：根据目标跟踪器和背景跟踪器的跟踪结果，判断目标与背景小块之间的位置关系，输出遮挡目标的背景小块的位置；

模板更新器：计算目标被遮挡的程度，当遮挡程度小于一阈值时，对目标模板进行更新，当遮挡程度大于等于阈值时，停止对目标模板的更新；

搜索范围预测器：根据目标被遮挡的程度改变目标跟踪器对目标的跟踪范围。

具体的，对目标周边背景的分块是基于目标尺度的，背景小块的尺度大小固定，数量自适应于目标边界框的边长，保证对背景信息完全进行采集。遮挡目标的背景小块和目标周边的背景小块包括：上一帧中遮挡目标的背景小块和上一帧中目标周边的背景小块。

模板更新器在目标被遮挡的程度大于等于阈值时扩大目标跟踪器对目标的跟踪范围，以便在目标重新出现时能继续对其进行跟踪。

遮挡检测器根据目标跟踪器和背景跟踪器在上一帧的跟踪结果，判断当前帧目标与背景小块之间的位置关系，输出遮挡目标的背景小块的位置；阈值的取值包括根据前多帧的目标被遮挡的程度的加权平均值。

实施例一：

一种视频跟踪中自适应遮挡检测系统，包括：

背景跟踪器，背景跟踪器采用核化相关滤波器(Kernelized CorrelationFilter)跟踪目标跟踪器对目标的跟踪结果中的“遮挡候选集”(OPC)中的小块，滤波器的权重可以通过下式获得：

w＝argmin(∑(f(w，x_i)-y_i)²+λ||w||²) (3)

其中x_i为训练样本，y_i为回归目标，λ为正则系数。通过非线性映射将训练样本与回归目标之间的非线性关系转换为线性，则α可以通过下式获得：

α＝(K+λI)^-1Y (4)

其中K为核矩阵，选择合适的核函数k(x_i，x_j)能使得核矩阵K被离散傅里叶变换对角化，则相关滤波器的解为：

其中∧表示离散傅里叶变换，k^xx表示核矩阵的第一行。

“遮挡候选集”(OPC)既包括上一帧遮挡目标的背景小块，也包括当前帧中目标周边的背景小块；背景小块的尺度一定，数量自适应于目标的尺度，计算公式为：

其中，[x]表示对x向上取整，a表示小块的边长，w，h分别表示目标的宽和高，N_h，N_v分别表示目标每条水平边和竖直边上小块的数量。

遮挡检测器，遮挡检测器利用目标跟踪器和背景跟踪器的输出结果判定目标是否被OPC中的小块遮挡。得到目标和小块在当前帧的位置后，即可计算二者的重合率，若重合率大于0，则存在目标被遮挡的可能。进而利用跟踪置信度指标：“峰旁瓣比“(PSR)判断目标与小块之间的遮挡关系，其计算公式为：

其中R为KCF输出的响应矩阵，max(R)表示R中的最大值，avg(R)表示R的平均值，σ(R)表示R的标准差。若PSR高于阈值，则认为该小块遮挡目标。与传统方法预先设定好参数不同的是，该阈值取决于前若干帧中小块的PSR：

其中表示第t+k帧中第i个小块的PSR阈值，表示第t+j帧中第i个小块对应的响应矩阵，w_j表示第j帧的PSR的权重，可由下式计算：

其中e表示自然常数。实际上，第t+k帧中各个小块的PSR阈值是前k帧中各个小块的PSR的加权平均值。

模板更新器，构造遮挡掩膜(occlusion mask)来反映目标各个位置的被遮挡情况；

将目标对应位置设置为1，被遮挡的位置设置为0，据此计算目标未被遮挡部分占总体的百分比，该百分比可以表示目标被遮挡的程度，当遮挡程度小于某一阈值时，模板更新器对当前目标模板进行更新，通过对目标模板和当前帧的跟踪结果进行线性插值运算，得到更新后的模板；当遮挡程度大于某一阈值时，目标模板停止更新，避免对背景信息的学习。

目标模板的更新策略为，当目标被遮挡时，目标停止更新，反之则继续更新。具体地做法为：首先在第一帧创建尺度与当前帧相同的掩膜M，将目标所在区域对应的元素设置为“1”，其余元素设置为“0”；目标的面积可通过计算M中“1”的个数得到。在对OPC中的小块跟踪后，实时更新M中元素的值，若小块遮挡目标，则将遮挡部分对应的元素设置为“0”，更新后的掩膜中数值为“1”的区域对应目标未被遮挡的部分，目标未被遮挡部分的占比可由下式计算：

其中Sum(M)表示M中“1”的数量，Area(M)表示M中元素的数量。将目标的被遮挡程度分为三种情况：未被遮挡、部分遮挡、严重遮挡。在第t帧中，目标模板根据下式进行更新：

其中x_t-1表示第t-1帧中目标的模板，x_c表示当前帧跟踪结果中的图像，δ(·)表示单位阶跃函数，α表示学习率，表示未被遮挡与部分遮挡的临界值。若则x_t＝x_t-1，模板停止更新；若则x_t＝x_t-1*(1-α)+x_c*α，模板进行更新。

搜索范围预测器，搜索范围预测器根据目标的被遮挡程度适时的改变搜索范围的尺度。在第一帧，训练n个尺度不同的KCF跟踪器，相应的尺度如下所示：

S＝a_i*S₀ a_i∈{a₁，a₂，...，a_n} (13)

其中，a₁为尺度系数，S₀为基尺度。在目标处于严重遮挡状态下，搜索范围预测器逐步扩大搜索范围的尺度；反之则缩小。用η_t表示目标的遮挡状态累积到第t帧的值：

其中，表示目标未被遮挡部分的占比，表示严重遮挡与部分遮挡的临界值。利用sigmoid型函数刻画S与η_t之间的非线性关系，S的索引值可由下式计算：

其中，[x]表示对x四舍五入，n为不同尺度搜索范围的数量，e为自然常数，b为偏置项。下一帧中搜索范围的尺度为：a_i*S₀。

在上述一种视频跟踪中自适应遮挡检测系统的基础上，本发明还提供一种视频跟踪中自适应遮挡检测方法，包括：

背景跟踪步骤：根据目标跟踪步骤对目标的跟踪结果，跟踪遮挡目标的背景小块和目标周边的背景小块；

遮挡检测步骤：根据目标跟踪步骤和所述背景跟踪步骤的跟踪结果，判断目标与所述背景小块之间的位置关系，输出遮挡目标的背景小块的位置；

模板更新步骤：计算目标被遮挡的程度，当遮挡程度小于一阈值时，对目标模板进行更新，当遮挡程度大于等于所述阈值时，停止对目标模板的更新；

搜索范围预测步骤：根据目标被遮挡的程度改变目标跟踪步骤对目标的跟踪范围。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种视频跟踪中自适应遮挡检测系统，其特征在于，包括：

背景跟踪器：根据目标跟踪器对目标的跟踪结果，跟踪遮挡目标的背景小块和目标周边的背景小块；

遮挡检测器：根据目标跟踪器和所述背景跟踪器的跟踪结果，判断目标与所述背景小块之间的位置关系，输出遮挡目标的背景小块的位置；

模板更新器：计算目标被遮挡的程度，当遮挡程度小于一阈值时，对目标模板进行更新，当遮挡程度大于等于所述阈值时，停止对目标模板的更新；

搜索范围预测器：根据目标被遮挡的程度改变目标跟踪器对目标的跟踪范围。

2.根据权利要求1所述的视频跟踪中自适应遮挡检测系统，其特征在于，所述背景小块的尺度大小固定，数量自适应于目标边界框的边长。

3.根据权利要求1所述的视频跟踪中自适应遮挡检测系统，其特征在于，遮挡目标的背景小块和目标周边的背景小块包括：上一帧中遮挡目标的背景小块和上一帧中目标周边的背景小块。

4.根据权利要求1所述的视频跟踪中自适应遮挡检测系统，其特征在于，所述模板更新器在目标被遮挡的程度大于等于所述阈值时扩大目标跟踪器对目标的跟踪范围。

5.根据权利要求1所述的视频跟踪中自适应遮挡检测系统，其特征在于，所述遮挡检测器根据目标跟踪器和所述背景跟踪器在上一帧的跟踪结果，判断当前帧目标与所述背景小块之间的位置关系，输出遮挡目标的背景小块的位置；

所述阈值的取值包括根据前多帧的目标被遮挡的程度的加权平均值。

6.一种视频跟踪中自适应遮挡检测方法，其特征在于，包括：

背景跟踪步骤：根据目标跟踪步骤对目标的跟踪结果，跟踪遮挡目标的背景小块和目标周边的背景小块；

遮挡检测步骤：根据目标跟踪步骤和所述背景跟踪步骤的跟踪结果，判断目标与所述背景小块之间的位置关系，输出遮挡目标的背景小块的位置；

模板更新步骤：计算目标被遮挡的程度，当遮挡程度小于一阈值时，对目标模板进行更新，当遮挡程度大于等于所述阈值时，停止对目标模板的更新；

搜索范围预测步骤：根据目标被遮挡的程度改变目标跟踪步骤对目标的跟踪范围。

7.根据权利要求6所述的视频跟踪中自适应遮挡检测方法，其特征在于，所述背景小块的尺度大小固定，数量自适应于目标边界框的边长。

8.根据权利要求6所述的视频跟踪中自适应遮挡检测方法，其特征在于，遮挡目标的背景小块和目标周边的背景小块包括：上一帧中遮挡目标的背景小块和上一帧中目标周边的背景小块。

9.根据权利要求6所述的视频跟踪中自适应遮挡检测方法，其特征在于，所述模板更新步骤在目标被遮挡的程度大于等于所述阈值时扩大目标跟踪步骤对目标的跟踪范围。

10.根据权利要求6所述的视频跟踪中自适应遮挡检测方法，其特征在于，所述遮挡检测步骤根据目标跟踪步骤和所述背景跟踪步骤在上一帧的跟踪结果，判断当前帧目标与所述背景小块之间的位置关系，输出遮挡目标的背景小块的位置；

所述阈值的取值包括根据前多帧的目标被遮挡的程度的加权平均值。