CN110189358A - 一种基于协同特征学习的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于协同特征学习的目标跟踪方法，改进了经典的粒子滤波框架，克服粒子退化和贫乏问题；通过不同的学习模式确定相应的特征学习方法，并将相应的特征进行协同学习，克服目标在时间和空间上极度相关的问题，得到具有强鉴别力的特征，用以表现目标模型；并在不同的学习模式中选择不同的模型更新策略自适应更新目标模型，从而提高目标跟踪的精度和鲁棒性。

Description

一种基于协同特征学习的目标跟踪方法

技术领域

本发明属于计算机视觉技术领域，涉及一种目标跟踪方法，具体涉及一种基于协同特征学习的具备鲁棒性的目标跟踪方法。

背景技术

目标跟踪算法是计算机视觉中重要的问题之一。该问题主要是在图像序列的每一帧中估计目标的位置。目标跟踪算法一般分为鉴别式算法和生成式算法。鉴别式算法通常将跟踪问题视为一个分类问题，对背景样本和目标样本进行分类。而生成式算法将跟踪问题视为一个区域最佳匹配问题，在每一帧中找到与当前目标模型最为相似的区域作为目标的位置。由于环境的复杂性和目标运动的多样性，精确的目标模型成为生成式跟踪算法中的决定性因素。

协同学习指的是多个资源或个体以协同的方式实现一个特定目标的过程或能力。而协同特征学习则是从不同对象，阶段，任务中等学习协同特征，使其具有更强的鉴别力和表现力，从而更有利于实现最终的目标。

粒子滤波通过近似概率分布的随机搜索实现了目标的动态模型。其核心思想是基于蒙特卡洛方法，通过从后验概率中抽取的随机状态粒子集来表达其分布，即寻找一组在状态空间传播的随机样本对概率密度函数进行近似，从而获得状态最小方差分布。尽管算法中的概率分布只是真实分布的一种近似，但当粒子数量 N→∞时，可以逼近任何形式的概率密度分布，并且该算法其对变量参数的非线性特性有更强的建模能力。但是粒子滤波算法仍然会存在问题，重采样阶段会造成样本有效性和多样性的损失，导致样本贫乏现象，因此如何保持粒子的有效性和多样性，克服样本贫乏，也是一个研究重点。

发明内容

本发明的目的是提高目标跟踪的精确度，采用协同特征学习，学习目标外观模型，并自适应更新目标模型，实现鲁棒性的目标跟踪。

本发明所采用的技术方案是：一种基于协同特征学习的目标跟踪方法，其特征在于，包括以下步骤：

步骤1：初始化目标的位置、粒子滤波模型参数，构建并初始化特征模板库；

步骤1的具体实现过程为：

从第一帧k＝0开始，从ground truth中得到目标的初始位置，用矩形框表示目标，即根据s＝{x，y，v_x，v_y，h_x，w_y}计算目标的初始状态，式中x，y分别表示目标中心点在垂直方向和水平方向的坐标，v_x，v_y，分别表示目标在垂直方向和水平方向的速度，h_x，w_y表示为目标的高和宽；

粒子滤波参数包括粒子数N、初始概率分布p(x₀)、状态转移矩阵A和扰动参数Turb；

使用颜色直方图作为目标的显著特征，从目标区域中得到的特征作为模板特征；

假设颜色分布直方图由m个离散的直方图条bin组成，根据以下公式，在初始位置处计算目标的颜色直方图特征，作为初始目标模板

式中，m表示该颜色直方图由m个bin组成，p_y表示目标在y处的颜色直方图特征；k(r)为Epanechnikov核函数，r为其函数变量，x_c为目标中心位置， x_i为目标矩形框中像素点位置，h_x，w_y分别表示该目标矩形的高和宽，f表示归一化因子，h(x_i)计算在x_i的像素的所属的bin，n表示在目标矩形中的所有的像素总数，函数δ[h(x_i)-u]用来确定在x_i的像素是否属于u bin，即第u个bin，如果是则为1，否则，则为0；

特征模板库是对目标模板的一个有效存储，将其简称为模板库，模板库中的目标模板称之为库模板；

模板库定义为：

式中代表了k时刻模板库中具有显著特征的第r个模板；表示了对应模板的匹配度，意味着在模板库中成功匹配的次数；表示了相应模板的时间属性，代表了该模板最近作为目标模板的时间；N_k表示在k时刻模板库中模板总数；

而根据进行模板库的初始化；

步骤2：从粒子滤波的初始化分布p(x₀)中，按高斯分布采样N个粒子 表示在初始时刻第i个粒子的状态，表示对应粒子的权重，初始化权重，i＝1，...，N；

步骤3：k＝k+1；

步骤4：由状态转移方程对各个粒子进行预测，计算每个粒子的颜色特征和相似度，然后计算每个粒子的权重；

步骤5：由最小均方差得出目标的估计状态，即基于得到目标的估计状态，作为候选模板；

步骤6：根据公式计算当前目标模板与候选模板的更新代价Stemp，式中表示了k时刻的目标特征模板；表示了在k时刻的候选特征模板；代价越小表示了候选特征模板与目标特征模板越相似；

步骤7：执行协同特征学习过程，更新目标模板和目标模板库，确定最终目标位置；

步骤8：按式在下一帧或当前帧，对粒子进行重采样，式中表示k时刻的第i个粒子，表示k时刻第 i个粒子的对应权重；

所述重采样，是选择具有较大权重的粒子，将较小权重的粒子进行剔除；然后，在剩余的粒子中，基于高斯分布，根据权重，产生对应比例的粒子；

步骤9：判断当前帧是否为最后一帧；

若否，返回到步骤3

若是，则结束流程。

本发明提出的协同特征学习，克服了在目标跟踪过程中目标在时间和空间上极度相关的问题，得到了强辨别力的特征；并且在不同特征学习模式中采用恰当的模型更新策略得到目标的精确模型。相比于之前的模型更新策略，该方法具有更好的灵活性和适用性，能提高目标跟踪的精度。

附图说明

图1为本发明实施例的流程图；

图2为本发明实施例中Crows的部分跟踪结果；

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及具体实施示例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图2，本发明提供的一种基于协同特征学习的目标跟踪方法，以对图像序列Crows跟踪的参数选择进行说明，包括以下步骤：

步骤1：初始化目标的位置、粒子滤波模型参数，构建并初始化特征模板库；具体可描述如下：

步骤1的具体实现过程为：

从第一帧k＝0开始，从ground truth中得到目标的初始位置，用矩形框表示目标，即根据s＝{x，y，v_x，v_y，h_x，w_y}计算目标的初始状态，式中x，y分别表示目标中心点在垂直方向和水平方向的坐标，v_x，v_y，分别表示目标在垂直方向和水平方向的速度，h_x，w_y表示为目标的高和宽；

粒子滤波参数包括粒子数N，初始概率分布p(x₀)，状态转移矩阵A，扰动参数Turb，在本实施例中N＝50，初始概率分布p(x₀)取高斯分布，状态转移矩阵 A＝eye(6)，A(1，3)＝1，A(2，4)＝1，Turb表示每个组成成分的变化幅度，取值为： Turb＝ones(1，6)*0.1。

使用颜色直方图作为目标的显著特征，从目标区域中得到的特征作为模板特征。

假设颜色分布直方图由m个离散的直方图条bin组成，根据以下公式，在初始位置处计算目标的颜色直方图特征，作为初始目标模板

式中，m表示该颜色直方图由m个bin组成，p_y表示目标在y处的颜色直方图特征；k(r)为Epanechnikov核函数，r为其函数变量，x_c为目标中心位置， x_i为目标矩形框中像素点位置，h_x，w_y分别表示该目标矩形的高和宽，f表示归一化因子，h(x_i)计算在x_i的像素的所属的bin，n表示在目标矩形中的所有的像素总数，函数δ[h(x_i)-u]用来确定在x_i的像素是否属于u bin，即第u个bin，如果是则为1，否则，则为0；在该实施例中

特征模板库可以看作是对目标模板的一个有效存储，将其简称为模板库，模板库中的目标模板可称之为库模板

模板库可定义为式中代表了k时刻模板库中具有显著特征的第r个模板；表示了对应模板的匹配度，意味着在模板库中成功匹配的次数；表示了相应模板的时间属性，代表了该模板最近作为目标模板的时间；N_k表示在k时刻模板库中模板总数；

而根据进行模板库的初始化；

步骤2：从粒子滤波的初始化分布p(x₀)中，按高斯分布采样N个粒子 表示在初始时刻第i个粒子的状态，表示对应粒子的权重，初始化权重，i＝1，...，N；在该实例中N＝50；

步骤3：k＝k+1；

步骤4：由状态转移方程对各个粒子进行预测，计算每个粒子的颜色特征和相似度，然后计算每个粒子的权重；

步骤4的具体实现包括以下子步骤：

步骤4.1：利用状态方程s_t+1＝A*s_t+w_t*Turb对各个粒子进行预测；式中A为状态转移矩阵，w_t为高斯白噪声，为randn产生随机噪声；Turb为每个组成部分的扰动，已初始化；

步骤4.2：根据步骤1中的公式，计算每一个粒子的颜色直方图Bhattacharyya系数用来作为颜色直方图特征之间的相似度，对于离散变量表示为式中p，q分别表示一个颜色直方图，p(u)，q(u)分别表示对应的直方图bin，，因此计算Bhattacharyya系数衡量目标模板与每个粒子之间的相似性，为k时刻第i个粒子的特征，表示k时刻目标模板；

然后计算每个粒子的观测概率p(z_k|s_k)，式中z_k表示k时刻粒子的估计状态，s_k表示k时刻粒子的观测状态，p(z_k|s_k)表示在k时刻粒子在观测状态下估计状态的概率，再根据公式 其中为Bhattacharyya距离，计算每个粒子的权重并对权值做归一化处理

步骤5：由最小均方差得出目标的估计状态，作为候选模板；

本实施例中，根据最小均方误差计算目标的估计状态，式中表示k时刻第i个粒子的转态，为对应粒子的权重；

步骤6：计算当前目标模板与候选模板的更新代价Stemp；

本实施例中，公式计算当前目标模板与候选模板的更新代价Stemp，式中表示了k时刻的目标特征模板；表示了在k时刻的候选特征模板；代价越小表示了候选特征模板与目标特征模板越相似。

步骤7：执行协同特征学习过程，更新目标模板和目标模板库，确定最终目标位置；

阈值定义为候选特征模板和目标特征模板之间的代价，根据代价之间的差异，设定三个主要阈值，也即校正阈值Th1，更新阈值Th2，匹配阈值Th3.通过这三个阈值的区分，构建的四个模式分别为：校正模式，更新模式，匹配模式，回退模式，阈值Th1，Th2，Th3的取值从小到大。

本实施例中，Th1＝0.05，Th2＝0.07，Th3＝0.12，th0＝0.05，th4＝0.10，th5＝0.15

当时，为校正模式；计算候选模板与模板库中的库模板的更新代价，即由式计算得

根据下式进行目标模板的更新：

式中，表示学习率，表示k+1时刻的目标模板特征，表示k时刻的目标特征模板，表示k时刻的候选模板特征，N_k表示该时刻对应的模板库中的库模板数量，n_s＜th0表示代价较小的库模板的数量，n_s＞th4为代价较大的库模板的数量；

根据下式进行相应匹配度的更新：

式中，表示为k+1时刻第r个库模板的匹配度，表示为候选模板与库模板之间代价较小的数量，表示为对应的库模板的匹配度，表示为候选模板与库模板之间相似度较大的数量，表示对应的库模板匹配度，N_k表示该时刻对应的模板库中的库模板数量；

当时，为更新模式；根据下式更新目标模板和模板库：

式中，表示k+1时刻的目标模板，表示k时刻的候选模板，表示k+1时刻的候选模板对应的匹配度，T{H^(k+1)}表示k+1时刻的模板库；

当时，为匹配模式；计算候选模板与模板库中的模板的更新代价函数，即再根据下式进行模板和模板库的更新：

式中，表示k+1时刻的目标模板，表示k时刻的候选模板，n_sn＜th5表示为候选模板与库模板代价较小的库模板数量，为对应库模板的匹配度， n_sf＜th5表示候选模板与库模板代价较大的库模板数量，表示对应的库模板匹配度，Nk表示该时刻对应的模板库中的库模板数量

当时，选择回退模式，更新模板如下：

式中，表示k+1时刻的目标模板，表示k时刻模板库中的第r个库模板，表示k时刻模板库中第r个库模板的时间属性，示k时刻模板库中第r个库模板的匹配度属性，N_k表示该时刻模板库中库模板的数量

以上公式表示以当前目标模板进行匹配失败后从目标模板库中重新选择目标模板的过程；

由多次实验可知，当失败后最多进行三次重新传播粒子进行跟踪就可以跟踪到结果，因此在实验中设置跟踪失败后的循环跟踪的次数为三次；以当前目标模板进行匹配失败后从目标模板库中重新选择模板的过程，具体过程如下：

第一次：从模板库选择时间大于当前目标模板中的最小的模板作为目标模板，即式中表示k+1时刻的目标模板，表示k时刻模板库中的第r个库模板，为其对应时间属性；

第二次：选择匹配度最大的模板作为当前目标模板，即式中表示k+1时刻的目标模板，表示k时刻模板库中的第r个库模板，为其对应时间属性，为其对应匹配度；

第三次：选择匹配度次大的模板作为当前目标模板，即 式中表示k+1时刻的目标模板，表示k 时刻模板库中的第r个库模板，为其对应时间属性，为其对应的匹配度；

在执行协同特征学习前，需更新模板库中每个模板的时间属性，即式中表示k+1时刻模板库中第r个库模板的时间属性；

当模板库中的模板数量N_t＞N_max时，根据匹配度将模板从模板库中移除，删除匹配度较低的目标模板，以保证模板库中目标模板的可靠度，其中N_max＝20 为模板库中最大模板的个数。

步骤8：按式在下一帧或当前帧，对粒子进行重采样，式中表示k时刻的第i个粒子，表示k时刻第 i个粒子的对应权重，

所述重采样，即选择具有较大权重的粒子，将较小权重的粒子进行剔除；然后，在剩余的粒子中，基于高斯分布，根据权重，产生对应比例的粒子；

步骤9：判断当前帧是否为最后一帧；

若否，则回转执行步骤3；

若是，则结束流程。

本发明改进粒子滤波框架，克服粒子退化和贫乏问题；通过不同的学习模式确定相应的特征学习方法，并将相应的特征进行协同学习，克服目标在时间和空间上极度相关的问题，得到具有强鉴别力的特征，用以表现目标模型；并在不同的学习模式中选择不同的模型更新策略自适应更新目标模型，从而提高目标跟踪的精度和鲁棒性。

应当理解的是，本说明书未详细阐述的部分均属于现有技术，详细阐述的部分为本专利独创的技术方案。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (3)

1.一种基于协同特征学习的目标跟踪方法，其特征在于，包括以下步骤：

步骤1：初始化目标的位置、粒子滤波模型参数，构建并初始化特征模板库；

步骤1的具体实现过程为：

从第一帧k＝0开始，从ground truth中得到目标的初始位置，用矩形框表示目标，即根据s＝{x,y,v_x,v_y,h_x,w_y}计算目标的初始状态，式中x,y分别表示目标中心点在垂直方向和水平方向的坐标，v_x,v_y,分别表示目标在垂直方向和水平方向的速度，h_x,w_y表示为目标的高和宽；

粒子滤波参数包括粒子数N、初始概率分布p(x₀)、状态转移矩阵A和扰动参数Turb；

使用颜色直方图作为目标的显著特征，从目标区域中得到的特征作为模板特征；

假设颜色分布直方图由m个离散的直方图条bin组成，根据以下公式，在初始位置处计算目标的颜色直方图特征，作为初始目标模板

式中，m表示该颜色直方图由m个bin组成；p_y表示目标在y处的颜色直方图特征；k(r)为Epanechnikov核函数，r为函数变量；x_c为目标中心位置，x_i为目标矩形框中像素点位置，h_x,w_y分别表示该目标矩形的高和宽；f表示归一化因子；h(x_i)计算在x_i的像素所属的bin，n表示在目标矩形中的所有的像素总数；函数δ[h(x_i)-u]用来确定在x_i的像素是否属于u bin，即第u个bin，如果是则为1，否则，则为0；

特征模板库是对目标模板的一个有效存储，将其简称为模板库，模板库中的目标模板称之为库模板；

模板库定义为：

式中代表了k时刻模板库中具有显著特征的第r个模板；表示了相应模板的匹配度，意味着在模板库中成功匹配的次数；表示了相应模板的时间属性，代表了该模板最近作为目标模板的时间；N_k表示在k时刻模板库中模板总数；

而根据进行模板库的初始化；

步骤2：从粒子滤波的初始化分布p(x₀)中，按高斯分布采样N个粒子 表示在初始时刻第i个粒子的状态，表示对应粒子的权重，初始化权重

步骤3：k＝k+1；

步骤4：由状态转移方程对各个粒子进行预测，计算每个粒子的颜色特征和相似度，然后计算每个粒子的权重；

步骤5：由最小均方差得出目标的估计状态，即基于得到目标的估计状态，作为候选模板；

步骤6：根据公式计算当前目标模板与候选模板的更新代价Stemp，式中表示了k时刻的目标特征模板；表示了在k时刻的候选特征模板；代价越小表示了候选特征模板与目标特征模板越相似；

步骤7：执行协同特征学习过程，更新目标模板和目标模板库，确定最终目标位置；

步骤8：按式在下一帧或当前帧，对粒子进行重采样，式中表示k时刻的第i个粒子，表示k时刻第i个粒子的对应权重；

所述重采样，是选择具有较大权重的粒子，将较小权重的粒子进行剔除；然后，在剩余的粒子中，基于高斯分布，根据权重，产生对应比例的粒子；

步骤9：判断当前帧是否为最后一帧；

若否，返回到步骤3

若是，结束流程。

2.根据权利要求1所述的基于协同特征学习的目标跟踪方法，其特征在于，步骤4的具体实现包括以下子步骤：

步骤4.1：利用状态方程s_t+1＝A*s_t+w_t*Turb对各个粒子进行预测；式中A为状态转移矩阵，w_t为高斯白噪声，Turb为每个组成部分的扰动；

步骤4.2：根据步骤1中的公式，计算每一个粒子的颜色直方图Bhattacharyya系数用来作为颜色直方图特征之间的相似度，对于离散变量表示为式中p,q分别表示一个颜色直方图，p(u)，q(u)分别表示对应的直方图bin，因此计算Bhattacharyya系数衡量目标模板与每个粒子之间的相似性，为k时刻第i个粒子的特征，表示k时刻目标模板；

然后计算每个粒子的观测概率p(z_k|s_k)，式中z_k表示k时目标的估计状态，s_k表示k时刻目标的观测状态，p(z_k|s_k)表示在k时刻目标在观测状态下估计状态的概率，再根据公式其中为Bhattacharyya距离，计算每个粒子的权重并对权值做归一化处理

3.根据权利要求1所述的基于协同特征学习的目标跟踪方法，其特征在于：步骤7的具体实现包含以下子步骤：

阈值定义为候选特征模板和目标特征模板之间的代价，根据代价之间的差异，设定三个阈值：校正阈值Th1，更新阈值Th2，匹配阈值Th3；通过这三个阈值的区分，构建的四个模式：校正模式，更新模式，匹配模式，回退模式，阈值Th1，Th2，Th3的取值从小到大；

当时，为校正模式；计算候选模板与模板库中的库模板的更新代价，即由式计算得

根据下式进行目标模板的更新：

式中，表示学习率，表示k+1时刻的目标模板特征，表示k时刻的目标特征模板，表示k时刻的候选模板特征，N_k表示该时刻对应的模板库中的库模板数量,n_s＜th0表示代价较小的库模板的数量，n_s＞th4为代价较大的库模板的数量；

根据下式进行相应匹配度的更新：

式中，表示为k+1时刻第r个库模板的匹配度，n_sn＜th0表示为候选模板与库模板之间代价较小的数量，表示为对应的库模板的匹配度，n_nf＞th4表示为候选模板与库模板之间相似度较大的数量，表示对应的库模板匹配度,N_k表示该时刻对应的模板库中的库模板数量；

当时，为更新模式：根据下式更新目标模板和模板库：

式中，表示k+1时刻的目标模板，表示k时刻的候选模板，表示k+1时刻的候选模板对应的匹配度，T{H^(k+1)}表示k+1时刻的模板库；

当时，为匹配模式：计算候选模板与模板库中的模板的更新代价函数，即再根据下式进行模板和模板库的更新：

式中，表示k+1时刻的目标模板，表示k时刻的候选模板，n_sn＜th5表示为候选模板与库模板代价较小的库模板数量，为对应库模板的匹配度，n_sf＞th5表示候选模板与库模板代价较大的库模板数量，表示对应的库模板匹配度,N_k表示该时刻对应的模板库中的库模板数量；

当时，选择回退模式，更新模板如下：

式中，表示k+1时刻的目标模板，表示k时刻模板库中的第r个库模板，表示k时刻模板库中第r个库模板的时间属性，示k时刻模板库中第r个库模板的匹配度属性，N_k表示该时刻模板库中库模板的数量；

以上公式表示以当前目标模板进行匹配失败后从目标模板库中重新选择目标模板的过程；

在执行协同特征学习前，需更新模板库中每个模板的时间属性，即式中表示k时刻模板库中第r个库模板的时间属性；

当模板库中的模板数量N_t>N_max时，根据匹配度将模板从模板库中移除，删除匹配度较低的目标模板，以保证模板库中目标模板的可靠度，其中N_max为模板库中最大模板的个数。