CN109389624A - 基于相似度度量的模型漂移抑制方法及其装置 - Google Patents

Abstract

本申请公开了一种基于相似度度量的模型漂移抑制方法及其装置，该方法包括以下步骤：步骤S100：根据初始化帧得到相关滤波跟踪算法中参数；步骤S200：对初始化帧中的目标位置和目标尺度进行采样，提取初始目标特征，提取跟踪t时间后，第i帧图像中框选目标的特征，计算框选目标与初始目标的相似度，进行相似度判断；步骤S300：如果更新目标集，则根据更新阈值β对训练模型进行更新。该方法设定固定数量的目标集，将跟踪过程中跟踪算法获得的目标块，经相似度度量判断后，确定是否更新目标集和模型，从而避免由于模板更新导致的模型漂移现象的发生。本发明的又一方面还提供了一种基于相似度度量的模型漂移抑制的装置。

Description

基于相似度度量的模型漂移抑制方法及其装置

技术领域

本申请涉及一种基于相似度度量的模型漂移抑制方法及其装置，属于计算机视觉领域。

背景技术

目标跟踪是计算机视觉问题中的研究热点之一，在视频监控、无人机等领域有着非常广泛的应用。一般目标跟踪是仅在其初始状态下，估计视频中目标的轨迹的问题。最近，相关滤波理论由于其高效性和鲁棒性，被用于目标跟踪领域中，极大地推动了目标跟踪的发展。在目标跟踪过程中，可视化跟踪基准(Visual Tracker Benchmark)序列集中包含了11种属性，表示视觉跟踪中的可视化目标的轨迹。

模板漂移现象是指：在目标跟踪过程中，由于不断进行模板更新，目标会逐渐移出模板，而背景物体则逐渐占据整个模板的现象。

目标物体被遮挡、目标物体不在视野中等属性是导致模型漂移的重要因素。虽然研究人员已就相关滤波跟踪算法进行了较多改进，但对于模型漂移问题，仍然主要通过特征表征等手段进行校正，所用特征如方向梯度直方图(HOG)、颜色属性(CN)和深度特征。

现有的相关滤波跟踪算法，对于模型漂移现象均无法较好的避免。

发明内容

根据本申请的一个方面，提供了一种基于相似度度量的模型漂移抑制方法，该方法设定固定数量的目标集，将跟踪过程中跟踪算法获得的目标块，经相似度度量判断后，确定是否更新目标集和模型，从而避免由于模板更新导致的模型漂移现象的发生。

所述基于相似度度量的模型漂移抑制方法，其特征在于，包括以下步骤：

步骤S100：设定目标集中所含目标数量，并将初始化帧中目标放入目标集中并填满所述目标集；

步骤S200：提取跟踪t时间后第i帧图像中框选目标的特征，计算框选目标与目标集中目标块的相似度，根据所述相似度判断第i帧图像中框选目标样本是否放入目标集中，如果放入则输出更新阈值进行目标集更新；

步骤S300：如果更新目标集，则根据更新阈值对训练模型进行更新，否则不更新所述训练模型。

可选地，所述相关滤波跟踪算法中包括尺度估计步骤时，所述步骤S200中还包括将第i帧图像中框选目标缩放到初始化目标尺度后，对第i帧图像中框选目标进行特征提取步骤。

可选地，所述目标集更新策略为先进先出更新策略。

可选地，所述步骤S300中按

对训练模型参数进行更新，

其中，为初始化帧滤波器模型参数，为跟踪t-1时刻下滤波器模型参数，为跟踪t时刻下滤波器模型参数。为跟踪t-1时刻下目标外观模型参数，为初始化帧目标外观模型参数，为跟踪t时刻下目标外观模型参数，β为更新阈值，μ为训练模型学习率。

可选地，所述步骤S200包括以下步骤：

步骤S210：判断第i帧跟踪图像框选目标样本和与目标集中各目标块的相似度是否大于等于0.9，如果大于等于0.9则不更新目标集中，并设置更新阈值β＝1；

步骤S220：如果小于0.9，则判断第i帧跟踪图像框选目标样本与与目标集中各目标块的相似度大于等于0.7的数量是否占目标集总数的一半，如果是，则用第i帧跟踪图像框选目标样本更新所述目标集，并设置更新阈值β＝0.5；

步骤S230：如果不是判断第i帧跟踪图像框选目标样本与目标集中各目标块的相似度大于0.5的数量是否占目标集数的一半，如果是，则设置更新阈值β＝0。

可选地，所述步骤S100中包括：根据初始化帧中目标位置和尺度提取目标块，并提取初始化帧HOG特征并向量化，存入目标集。

本发明的又一方面提供了一种基于相似度度量的模型漂移抑制装置，包括：

初始帧提取模块，用于设定目标集中所含目标数量，并将初始化帧中目标放入目标集中并填满所述目标集；

相似性模块，用于提取跟踪t时间后第i帧图像中框选目标的特征，计算框选目标与目标集中目标块的相似度，根据所述相似度判断第i帧图像中框选目标样本是否放入目标集中，如果放入则输出更新阈值进行目标集更新；

更新模块，用于如果更新目标集，则根据更新阈值对训练模型进行更新，否则不更新所述训练模型。

可选地，所述更新模块中按

对训练模型参数进行更新，

其中，为初始化帧滤波器模型参数，为跟踪t-1时刻下滤波器模型参数，为跟踪t时刻下滤波器模型参数。为跟踪t-1时刻下目标外观模型参数，为初始化帧目标外观模型参数，为跟踪t时刻下目标外观模型参数，β为更新阈值，μ为训练模型学习率。

可选地，所述相似性模块中包括：

第一判断模块，用于判断第i帧跟踪图像框选目标样本和与目标集中各目标块的相似度是否大于等于0.9，如果大于等于0.9则不更新目标集中，并设置更新阈值β＝1；

第二判断模块，用于如果小于0.9，则判断第i帧跟踪图像框选目标样本与与目标集中各目标块的相似度大于等于0.7的数量是否占目标集总数的一半，如果是，则用第i帧跟踪图像框选目标样本更新所述目标集，并设置更新阈值β＝0.5；

第三判断模块，用于如果不是判断第i帧跟踪图像框选目标样本与目标集中各目标块的相似度大于0.5的数量是否占目标集数的一半，如果是，则设置更新阈值β＝0。

可选地，所述目标集更新策略为先进先出更新策略。

本申请中，目标集中所含目标数量简写为nums。

本申请能产生的有益效果包括：

1)本申请所提供的基于相似度度量的模型漂移抑制方法及其装置，解决了相关滤波跟踪算法的模型漂移问题。该方法应用成本低、运作过程能耗低、鲁棒性强，可以应用在任何相关滤波跟踪算法中，以解决目标跟踪过程中的模型漂移问题。

2)本申请所提供的基于相似度度量的模型漂移抑制方法及其装置，设定固定数量的目标集，通过相似度方法来更新目标集。避免同步更新目标集和模型，采用不同的判定条件判断目标集和模型是否需要进行更新，从而有效避免学习跟踪背景导致的跟踪失败问题。

3)现有算法主要是依靠强大的特征提取，如CNN，比如ECO算法对模型均采用每隔5帧进行更新，依靠强大的特征提取，缓慢的更新模型虽然部分解决了模型漂移问题，但现有算法的学习率是固定，无法适应目标物体快速变换的情况。本申请仅仅依靠HOG特征就能防止遮挡后模型污染等情况。根据跟踪过程中的目标变化情况来进行学习率调整，使得模型免受污染，在目标重现后，能够准确检测并实现继续跟踪。

附图说明

图1为本申请一种实施方式中基于相似度度量的模型漂移抑制方法流程示意图；

图2为本申请一种实施方式中基于相似度度量的模型漂移抑制装置结构示意图；

图3为分别采用本申请优选实施例方法和对比例方法对盒子图像跟踪结果示意图，其中a)为初始帧；b)为视频第472帧，被追踪对象无遮挡时，框选正确；c)为视频第1161帧，被追踪对象无遮挡时，框选正确，其中能框住待追踪目标的选框为采用本申请提供方法所得结果，无法框选待追踪目标的选框为对比例所得结果；

图4为分别采用本申请优选实施例和对比例方法对玩偶追踪结果示意图，其中a)为初始帧；b)为视频第472帧，被追踪对象无遮挡时，框选正确；c)为视频第1161帧，被追踪对象无遮挡时，框选正确，其中能框住待追踪目标的选框为采用本申请提供方法所得结果，无法框选待追踪目标的选框为对比例所得结果。

具体实施方式

下面结合实施例详述本申请，但本申请并不局限于这些实施例。

参见图1，本申请提供的基于相似度度量的模型漂移抑制方法，包括以下步骤：

步骤S100：设定目标集中所含目标数量，并将初始化帧中目标放入目标集中并填满所述目标集；

步骤S200：提取跟踪t时间后第i帧图像中框选目标的特征，计算框选目标与目标集中目标块的相似度，根据所述相似度判断第i帧图像中框选目标样本是否放入目标集中，如果放入则输出更新阈值进行目标集更新；

步骤S300：如果更新目标集，则根据更新阈值对训练模型进行更新，否则不更新所述训练模型。

本申请提供方法能用于各类相关滤波跟踪算法中，以解决模型漂移问题。步骤S100中填满所述目标集可以采用步骤S200中方法，也可以采用现有方法。

本申请提供的方法通过设置固定数目的目标集，可以避免目标集被无关跟踪结果污染，仅将相似度为0.7以上跟踪结果放入目标集。设置判定跟踪到的样本设置相似度，并对学习率进行调节，对于遮挡或不在视线内等其他因素引起的突然变化，均能够检测。避免对此类跟踪结果的学习，导致污染模型参数。

保存目标出现或恢复到初始化状态后能够快速检测到目标，并进行框选，继续学习和跟踪。特征的提取可根据目标集中目标数量进行选择。

现有各类相似度计算方法均可用于本申请中，例如：如欧式距离或余弦距离等。所述特征还包括如hog，sift等对形变，光线变化等不变的特征。当跟踪时间为t+1，并获得第i+1帧图像时，上述方法返回步骤S200～S300重复判断每个所得跟踪图像。

优选地，所述相关滤波跟踪算法中包括尺度估计步骤时，所述步骤S200中还包括将第i帧图像中框选目标缩放到初始化目标尺度后，对第i帧图像中框选目标进行特征提取步骤。

优选地，所述目标集更新策略为先进先出更新策略。

优选地，所述步骤S300中按：

对训练模型参数进行更新，

其中，为初始化(当前帧不是初始化，当前帧单独训练得到的滤波参数通过插值方式和前t-1帧合成t帧滤波器参数)帧滤波器模型参数，为跟踪t-1时刻下滤波器模型参数，为跟踪t时刻下滤波器模型参数。为跟踪t-1时刻下目标外观模型参数，为初始化帧目标外观模型参数，为跟踪t时刻下目标外观模型参数，β为更新阈值，μ为训练模型学习率。

和均为训练模型参数。和学习率可以根据所采用的相关滤波跟踪算法得到。

将该方法用于现有目标跟踪算法中，能根据和输出响应图最大值出的位置，从而准确获取目标位置。

为了保证目标集的时效性，且防止目标集中样本过于类似，优选地，所述步骤S200包括以下步骤：

步骤S210：判断第i帧跟踪图像框选目标样本和与目标集中各目标块的相似度是否大于等于0.9，如果大于等于0.9则不更新目标集中，并设置更新阈值β＝1；

步骤S220：如果小于0.9，则判断第i帧跟踪图像框选目标样本与与目标集中各目标块的相似度大于等于0.7的数量是否占目标集总数的一半，如果是，则用第i帧跟踪图像框选目标样本更新所述目标集，并设置更新阈值β＝0.5；

步骤S230：如果不是判断第i帧跟踪图像框选目标样本与目标集中各目标块的相似度大于0.5的数量是否占目标集数的一半，如果是，则设置更新阈值β＝0。

优选地，步骤S100中填满所述目标集采用上述步骤S210～S230进行。

优选地，所述更新阈值β为0～1。

优选地，步骤S100中包括：根据初始化帧中目标位置和尺度提取目标块，并提取初始化帧HOG特征并向量化，存入目标集。

参见图2，本申请的又一方面还提供了一种基于相似度度量的模型漂移抑制装置，包括：

初始帧提取模块100，用于设定目标集中所含目标数量，并将初始化帧中目标放入目标集中并填满所述目标集；

相似性模块200，用于提取跟踪t时间后第i帧图像中框选目标的特征，计算框选目标与目标集中目标块的相似度，根据所述相似度判断第i帧图像中框选目标样本是否放入目标集中，如果放入则输出更新阈值进行目标集更新；更新模块300，用于如果更新目标集，则根据更新阈值对训练模型进行更新，否则不更新所述训练模型。优选地，所述更新模块300中按

对训练模型参数进行更新，

其中，为初始化帧滤波器模型参数，为跟踪t-1时刻下滤波器模型参数，为跟踪t时刻下滤波器模型参数。为跟踪t-1时刻下目标外观模型参数，为初始化帧目标外观模型参数，为跟踪t时刻下目标外观模型参数，β为更新阈值，μ为训练模型学习率。

为了保证目标集的时效性，且防止目标集中样本过于类似，优选地，所述相似性模块200中包括：

第一判断模块，用于判断第i帧跟踪图像框选目标样本和与目标集中各目标块的相似度是否大于等于0.9，如果大于等于0.9则不更新目标集中，并设置更新阈值β＝1；

第二判断模块，用于如果小于0.9，则判断第i帧跟踪图像框选目标样本与与目标集中各目标块的相似度大于等于0.7的数量是否占目标集总数的一半，如果是，则用第i帧跟踪图像框选目标样本更新所述目标集，并设置更新阈值β＝0.5；

第三判断模块，用于如果不是判断第i帧跟踪图像框选目标样本与目标集中各目标块的相似度大于0.5的数量是否占目标集数的一半，如果是，则设置更新阈值β＝0。

优选地，所述目标集更新策略为先进先出更新策略。

以下结合具体实例对本申请提供的方法进行详细说明。

本实施例中，将本发明提供方法与KFC算法结合使用。对比例中仅使用KFC算法。基于核相关滤波跟踪算法(KCF)跟踪目标相关参数和步骤参考KCF算法，学习率设定为μ＝0.02。相似度采用余弦距离提取的特征：相似度、hog，sift等对形变、光线变化。设定目标数量nums＝10。其他参数实施例和对比例均相同，且按现有KFC算法设置。实施例和对比例中所处理视频素材相同。

输入

●图像I_t，位置P_t-1和尺度S_t-1，模型大小sz，设置目标集nums大小为10

●模型参数

输出

●位置P_t和尺度S_t，模型参数和

位置评估：

1:根据P_t-1和S_t-1从I_t中提取填充样本z(大小和模型大小一样用于训练滤波器)。并提取目标样本放入目标集(第一帧直接放入，后续根据相似度判断原则，满足相似度要求后放入，直至填满)

2:根据z，求得响应图response，

3:输出P_t为response最大值的位置。

模型更新：

根据更新阈值β情况，根据下式更新此处更新步骤为按所用KCF跟踪方法中求目标下一帧位置的步骤进行。

本实例中所用KCF包括分类器训练、快速检测与模型更新三部分，本发明提供方法用于模型更新部分，主要是进行模型更新之前计算出更新阈值β，以此来调整模型更新速率。

本实例中采用本发明提供方法对KCF跟踪方法计算得到的每一帧进行相似性判断，之后计算出更新阈值β。

具体包括以下步骤：

更新 其中，为初始化帧滤波器模型参数，为跟踪t-1时刻下滤波器模型参数，为跟踪t时刻下滤波器模型参数。为跟踪t-1时刻下目标外观模型参数，为初始化帧目标外观模型参数，为跟踪t时刻下目标外观模型参数，β为更新阈值，μ为训练模型学习率。

样本集的填充和更新均按以下步骤进行：

步骤S210：判断第i帧跟踪图像框选目标样本和与目标集中各目标块的相似度是否大于等于0.9，如果大于等于0.9则不更新目标集中，并设置更新阈值β＝1；

步骤S220：如果小于0.9，则判断第i帧跟踪图像框选目标样本与与目标集中各目标块的相似度大于等于0.7的数量是否占目标集总数的一半，如果是，则用第i帧跟踪图像框选目标样本更新所述目标集，并设置更新阈值β＝0.5；

步骤S230：如果不是判断第i帧跟踪图像框选目标样本与目标集中各目标块的相似度大于0.5的数量是否占目标集数的一半，如果是，则设置更新阈值β＝0。

所得结果如图3～4所示。图3a)为初始帧，图3b)为处理视频的第472帧图像，其中目标存在部分遮挡，现有KFC算法无法识别部分遮挡目标，仍然停留在初始帧的位置上。图3c)为处理视频的第1161帧图像，其中待追踪目标盒子存在严重遮挡，此时按本发明提供方法实施的实施例，框选结果能准备识别被遮挡盒子位置，而现有KFC算法的跟踪结果仍然停留在初始帧中目标所处位置，无法准确跟踪被遮挡的目标。同时在图3c)中虽然跟踪物体经过对比例选框，但由于对比例中所用模型已被污染，依然无法跟踪目标。

图4a)为初始帧，图4b)为处理视频的第472帧图像，其中目标存在部分遮挡，现有KFC算法无法识别部分遮挡目标，仍然停留在初始帧的位置上。图4c)为处理视频的第1161帧图像，其中待追踪目标玩偶存在严重遮挡，此时按本发明提供方法实施的实施例，框选结果能准备识别被遮挡玩偶位置，而现有KFC算法的跟踪结果仍然停留在初始帧中目标所处位置，无法准确跟踪被遮挡的目标。同时在图4c)中虽然跟踪物体经过对比例选框，但由于对比例中所用模型已被污染，依然无法跟踪目标。

以上所述，仅是本申请的几个实施例，并非对本申请做任何形式的限制，虽然本申请以较佳实施例揭示如上，然而并非用以限制本申请，任何熟悉本专业的技术人员，在不脱离本申请技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。

Claims (10)

1.一种基于相似度度量的模型漂移抑制方法，其特征在于，包括以下步骤：

步骤S100：设定目标集中所含目标数量，并将初始化帧中目标放入目标集中并填满所述目标集；

步骤S200：提取跟踪t时间后第i帧图像中框选目标的特征，计算框选目标与目标集中目标块的相似度，根据所述相似度判断第i帧图像中框选目标样本是否放入目标集中，如果放入则输出更新阈值进行目标集更新；

步骤S300：如果更新目标集，则根据更新阈值对训练模型进行更新，否则不更新所述训练模型。

2.根据权利要求1所述的基于相似度度量的模型漂移抑制方法，其特征在于，所述相关滤波跟踪算法中包括尺度估计步骤时，所述步骤S200中还包括将第i帧图像中框选目标缩放到初始化目标尺度后，对第i帧图像中框选目标进行特征提取步骤。

3.根据权利要求1所述的基于相似度度量的模型漂移抑制方法，其特征在于，所述目标集更新策略为先进先出更新策略。

4.根据权利要求1所述的基于相似度度量的模型漂移抑制方法，其特征在于，所述步骤S300中按对训练模型参数进行更新，

其中，为初始化帧滤波器模型参数，为跟踪t-1时刻下滤波器模型参数，为跟踪t时刻下滤波器模型参数，为跟踪t-1时刻下目标外观模型参数，为初始化帧目标外观模型参数，为跟踪t时刻下目标外观模型参数，β为更新阈值，μ为训练模型学习率。

5.根据权利要求1所述的基于相似度度量的模型漂移抑制方法，其特征在于，所述步骤S200包括以下步骤：

步骤S210：判断第i帧跟踪图像框选目标样本和与目标集中各目标块的相似度是否大于等于0.9，如果大于等于0.9则不更新目标集中，并设置更新阈值β＝1；

步骤S220：如果小于0.9，则判断第i帧跟踪图像框选目标样本与与目标集中各目标块的相似度大于等于0.7的数量是否占目标集总数的一半，如果是，则用第i帧跟踪图像框选目标样本更新所述目标集，并设置更新阈值β＝0.5；

步骤S230：如果不是判断第i帧跟踪图像框选目标样本与目标集中各目标块的相似度大于0.5的数量是否占目标集数的一半，如果是，则设置更新阈值β＝0。

6.根据权利要求1所述的基于相似度度量的模型漂移抑制方法，其特征在于，所述步骤S100中包括：根据初始化帧中目标位置和尺度提取目标块，并提取初始化帧HOG特征并向量化，存入目标集。

7.一种基于相似度度量的模型漂移抑制装置，其特征在于，包括：

初始帧提取模块，用于设定目标集中所含目标数量，并将初始化帧中目标放入目标集中并填满所述目标集；

相似性模块，用于提取跟踪t时间后第i帧图像中框选目标的特征，计算框选目标与目标集中目标块的相似度，根据所述相似度判断第i帧图像中框选目标样本是否放入目标集中，如果放入则输出更新阈值进行目标集更新；

更新模块，用于如果更新目标集，则根据更新阈值对训练模型进行更新，否则不更新所述训练模型。

8.根据权利要求7所述的基于相似度度量的模型漂移抑制装置，其特征在于，所述更新模块中按对训练模型参数进行更新，

其中，为初始化帧滤波器模型参数，为跟踪t-1时刻下滤波器模型参数，为跟踪t时刻下滤波器模型参数，为跟踪t-1时刻下目标外观模型参数，为初始化帧目标外观模型参数，为跟踪t时刻下目标外观模型参数，β为更新阈值，μ为训练模型学习率。

9.根据权利要求7所述的基于相似度度量的模型漂移抑制装置，其特征在于，所述相似性模块中包括：

第一判断模块，用于判断第i帧跟踪图像框选目标样本和与目标集中各目标块的相似度是否大于等于0.9，如果大于等于0.9则不更新目标集中，并设置更新阈值β＝1；

第二判断模块，用于如果小于0.9，则判断第i帧跟踪图像框选目标样本与与目标集中各目标块的相似度大于等于0.7的数量是否占目标集总数的一半，如果是，则用第i帧跟踪图像框选目标样本更新所述目标集，并设置更新阈值β＝0.5；

第三判断模块，用于如果不是判断第i帧跟踪图像框选目标样本与目标集中各目标块的相似度大于0.5的数量是否占目标集数的一半，如果是，则设置更新阈值β＝0。

10.根据权利要求7所述的基于相似度度量的模型漂移抑制装置，其特征在于，所述目标集更新策略为先进先出更新策略。