CN109146912B - 一种基于目标性分析的视觉目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于目标性分析的视觉目标跟踪方法，通过在线学习前景与背景区域的颜色直方图模型，计算当前帧图像的区域目标性图，从中定位多个跟踪锚点的位置，并根据目标本身的大小确定多个搜索区域，利用相关滤波跟踪算法得到每个搜索区域的响应图，根据熵正则化损失函数和多个搜索区域的跟踪响应图选择最佳搜索区域，最终确定目标所在位置。本发明不带有特定目标类型信息，不限制目标的表现模型和运动模型，因此普适性较好，相较于现有的其他目标跟踪算法，无论是在解决动目标动平台问题还是背景遮挡问题等方面都有很好的效果，对视觉目标跟踪的算法研究和实践具有重要的指导意义。

Description

一种基于目标性分析的视觉目标跟踪方法

技术领域

本发明涉及数字图像处理和机器学习交叉技术领域，具体涉及一种基于目标性分析的视觉目标跟踪方法。

背景技术

视觉目标跟踪在目前的人机交互、机器人系统、航空航天以及城市视频监控中都有非常重要的应用。目前常用的目标跟踪方法如下：

(1)基于图像全局检测的目标跟踪方法

基于图像全局检测的目标跟踪方法主要分为两种，即基于关键点匹配的目标跟踪方法和基于目标性的跟踪算法。基于关键点匹配的目标跟踪方法通常在目标位置提取具有不变性特征的关键点，将目标模版表示为一些关键点的集合，在当前帧全图中提取关键点，并与目标模板的关键点进行关键点匹配，所求目标为当前帧目标位置相对于初始模板位置的几何变换关系。基于目标性的跟踪算法通常计算多个目标潜在区域，并逐一对这些目标潜在区域进行二分类，最终预测的目标位置是这些目标潜在区域中的一个。

(2)基于图像局部检测的目标跟踪方法

基于图像局部检测的目标跟踪方法通常利用一个在线学习更新的分类器将目标从其周围背景中区分出来。在预测当前帧目标所在位置时，跟踪器的搜索范围是一个较小的图像局部区域，该区域以上一帧预测的目标所在位置为中心，面积略微大于目标本身的面积。通过在搜索区域内以滑动窗口的形式获取待测试样本，用训练好的分类器计算其是真正目标的得分值，取得分值最大的一个测试样本作为新的目标所在位置的预测结果。

基于图像全局检测的目标跟踪方法，由于搜索区域过大，计算复杂度过高，很难实时。此外全局图像中的背景物体也可能对跟踪器产生干扰，容易导致跟踪失败。基于图像局部检测的目标跟踪方法，虽然能够很好的解决背景干扰、计算复杂度高等问题，但是算法的跟踪结果严重受到上一帧目标预测位置的影响，如果上一帧的目标位置预测结果出现偏差，就极有可能导致后续所有帧的跟踪结果全部失败，限制此类方法的实际应用范围。

综上所述，尽管目前已经存在非常多的视觉目标跟踪的相关方法，但由于算法的准确性、鲁棒性以及实时性等原因，很难将其应用到真实复杂的自然场景中。

发明内容

本发明的目的在于克服现有技术中存在的缺陷，提供一种基于目标性分析的视觉目标跟踪方法，以实现精确且实时的视觉目标跟踪。

本发明采用以下技术方案：

一种基于目标性分析的视觉目标跟踪方法，所述方法包括：

S1、根据上一帧的目标预测位置、跟踪目标及其周围背景的颜色直方图，计算当前帧的像素级目标性图；

S2、在所述步骤S1得到的像素级目标性图上以滑动窗口的形式计算区域目标性图，使用非极大值抑制选择所述区域目标性图中响应值最高的N个位置，作为跟踪锚点；

S3、在以所述步骤S2得到的N个跟踪锚点以及所述上一帧中的目标位置为中心，面积为目标大小ρ倍的N+1个搜索区域内，利用同一个相关滤波器分别得到每个搜索区域的跟踪结果响应图，分别找到所述每个响应图中的最大响应位置作为跟踪目标在当前帧的候选位置；

S4、通过非极大值抑制，在所述步骤S3得到的N+1个响应图中分别选出S个测试样本，通过最小化熵正则化损失函数，选择最优跟踪锚点，根据其对应响应图的最大值的位置预测当前帧目标所在位置；

S5、更新颜色直方图模型参数；

S6、更新相关滤波器模型参数；

S7、重复步骤S1至S6，直到图像序列最后一帧。

进一步，所述步骤S1包括：

S11、计算图像中每一个像素点的RGB颜色直方图得分，得到RGB颜色直方图得分图；

S12、计算目标性掩模，与所述步骤S11得到的所述颜色直方图得分图做点乘，得到初始目标性图；

S13、利用高斯函数滤除所述步骤S12得到的所述初始目标性图中的噪声，得到最终的像素级目标性图。

进一步，所述滑动窗口大小为上一帧预测得到的目标大小。

进一步，所述跟踪锚点为跟踪搜索区域的中心点。

进一步，所述相关滤波器为函数f(z)＝W^TZ，Z为样本的特征向量，W为f的参数。

进一步，所述步骤S5包括：

S51、在以目标预测位置为中心，大小为目标本身的前景区域F内的每个像素，为其分配样本标签1，在以目标预测位置为中心，大小为目标ρ倍的除去F的背景区域B内的每个像素，为其分配样本标签0；

S52、分别以时间间隔Δt_F和Δt_B更新所述前景区域F的颜色直方图模型和所述背景区域B的颜色直方图模型；

S53、模型训练。

进一步，所述模型训练过程为求解线性回归问题的过程，具体包括：

目标函数为：

其中，|F|为所述前景区域内像素数量，|B|为所述背景区域内像素数量，ψ(u)为像素u的RGB颜色分布直方图；

找到一个ω最小化训练样本u的预测值与其样本标签真实值之间的误差平方和。

进一步，所述步骤S6包括：

S61、以目标预测位置为中心，大小为目标ρ倍的区域内，构造循环偏移矩阵作为更新参数所需的训练样本，对新构造的样本分配高斯分布的标签，目标在中心时，标签为1，目标偏离中心越远，标签越小，最小为0；

S62、样本训练。

进一步，所述样本训练过程为求解岭回归问题过程，训练的目标函数为：

找到一个函数f(z)＝W^TZ，最小化训练样本x_i的响应与真值y_i之间的误差平方和，同时加入正则化参数λ防止模型出现过拟合。

本发明的优点和有益效果在于：

本发明提供一种基于目标性分析的视觉目标跟踪方法，相比于目前已存在的跟踪算法，本发明能够不受上一帧跟踪结果的影响，能够长时间稳定实时跟踪感兴趣的目标。通过在线学习前景与背景的颜色直方图模型，计算目标可能出现的区域目标性图，根据该目标性图确定当前帧的多个跟踪锚点位置，进而确定多个目标搜索范围。最后通过最小化每个搜索区域响应图的熵正则化损失函数，确定最终的跟踪锚点，进而确定最终的目标位置。在保证实时性的前提下，本发明相比于现有的其他跟踪方法，无论是对于目标的快速运动、摄像平台的快速运动问题，还是跟踪过程中出现的遮挡、背景干扰等问题，都能较好地解决。

附图说明

图1为是本发明实施例提供的基于目标性分析的视觉跟踪方法的流程示意图；

图2为本发明实施例提供的获取像素级目标性图的流程示意图；

图3为本发明实施例提供的获取区域目标性图的流程示意图；

图4为本发明实施例提供的相关滤波器模型更新的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供了一种基于目标性分析的视觉跟踪方法，分为两个部分：首先，利用目标前景区域与背景区域的颜色直方图模型，利用二维高斯函数去噪后，构建像素级目标性图，然后通过滑动窗口的形式构建区域目标性图，通过非极大值抑制选择N个跟踪锚点，此部分的目的是计算跟踪器在当前帧的搜索区域；然后，以N个跟踪锚点和上一帧目标所在位置为中心的N+1个搜索区域内，利用相关滤波器得到每个搜索区域的响应图，计算每个响应图的熵损失函数，熵损失函数最小的响应图的响应峰值作为预测的目标所在位置。

图1所示为本发明基于目标性分析的视觉跟踪方法的流程示意图，具体包括以下步骤：

S1、根据上一帧的目标预测位置和跟踪目标及其周围背景的颜色直方图，计算当前帧的像素级目标性图。其中，所述像素级目标性图即原始图像中每一个像素点属于目标的概率图。

图2为本发明实施例中获取像素级目标性图的流程示意图，包括以下子步骤：

S11、计算图像中每一个像素点u的RGB颜色直方图特征ψ(u)，RGB通道的取值范围为0～255，将0～255线性映射到0～31，则颜色直方图特征维数K为32×32×32＝32768，根据上一帧预测结果学习得到的目标性模型ω计算每一个像素点u属于目标的概率

i是向量的维度指示，对于每一个像素，用b(u)代表像素点u在K维颜色直方图中所属的那一个维度指示，则像素点u的RGB颜色直方图特征ψ(u)是一个稀疏向量，只在i＝b(u)时，ψ(u)ⁱ＝1，否则，ψ(u)ⁱ＝0。因此O(u)＝ω^b(u)。

S12、计算目标性掩模M。计算图像上每一个像素点u的RGB颜色直方图ψ(u)与目标颜色直方图模型H(F)的距离

以及像素点u的RGB颜色直方图ψ(u)与背景颜色直方图模型H(B)的距离

图像上每一个像素点u所对应的目标性掩模M(u)＝Π(D(ψ(u)，H(B))＞D(ψ(u)，H(F)))，其中Π(*)是一个指示函数，即：当D(ψ(u)，H(B))＞D(ψ(u)，H(F))时M(u)＝1，否则，M(u)＝0。将M与步骤S11中得到的颜色直方图得分图O做点乘，得到初始目标性图O^M，其中每一个像素点u对应的目标性得分为O^M(u)＝M(u)×O(u)。

S13、利用高斯函数滤除步骤S12得到的初始目标性图O^M中的噪声，得到最终的像素级目标性图O^G，其中每一个像素点u对应的像素级目标性得分为O^G(u)＝O^M(u)×g(u)。高斯函数g(u)以上一帧目标所在位置为中心，标准差为目标在图像序列第一帧的长与宽的最大值。

S2、在步骤S1得到的像素级目标性图O^G上，以滑动窗口的形式计算区域目标性图R^O，滑动窗口大小为上一帧预测得到的目标大小。每一个滑动窗口所对应的区域

的目标性得分

为该区域内所有像素的像素级目标性得分的累计求和，即

其中|*|表示区域*内像素数量。最终得到的区域目标性图R^O上的每一个像素u的像素值为以该像素作为中心位置区域的区域目标性得分。图3为本发明实施例中获取区域目标性图的流程示意图。然后使用非极大值抑制选择R^O中响应值最高的N个位置，作为跟踪锚点。其中，所述跟踪锚点即跟踪搜索区域的中心点。在本实施例中，N＝3。

S3、在以步骤S2得到的N个跟踪锚点以及上一帧中的目标位置为中心，面积为目标大小ρ倍的N+1个搜索区域内，利用同一个相关滤波器分别得到每个搜索区域的跟踪结果响应图，分别找到每个响应图中的最大响应位置作为跟踪目标在当前帧的候选位置。其中，所述相关滤波器即函数f(z)＝W^TZ，Z为样本的特征向量。在本实施例中，ρ＝2.5。

S4、通过非极大值抑制，在步骤S3得到的N+1个响应图中分别选出S个测试样本，S个测试样本构成测试样本集X＝{x^m，m∈(1，2，...S)}，其中测试样本x^m的标签为φ^m＝(y^m，l^m)，y^m∈(0，1)代表该样本为目标(1)或者背景(0)，l^m∈Z²代表该样本在图像中的位置坐标。X是一个超样本集，其标签为Φ＝{φ^m，m∈(1，2，...S)}，我们构建一个样本标签的集合Γ＝{Φ^m，m∈(1，2，...S)}，对于其中的每一个

当

否则，

则X的标签Φ必然存在于样本标签的集合Γ中。对于跟踪锚点a，定义熵正则化损失函数为E(X，Γ)＝-L(a；X.Γ)+γH(Φ|X，Γ；a)，其中γ是权重系数，

熵

每个样本x^m的标签φ^m＝(y^m，l^m)取决于目标表征模型P(y^m|x^m；a)和目标运动模型P(l^m|y^m)，因此P(Φ|X；a)可以被分解为：

其中P(y^m|x^m；a)是跟踪锚点a所对应的搜索区域内的一个测试样本x^m，其标签为y^m的概率，P(l^m|y^m)是样本标签为y^m，坐标位置在l^m的概率，通过上面的推导，

对每一个跟踪锚点计算其熵正则化损失函数，取其中熵正则化损失函数值最小的一个跟踪锚点，则最终预测得到目标位置为该跟踪锚点所对应的响应图上的峰值位置。在本实施例中，S＝10，γ＝45。

S5、更新颜色直方图模型参数。包括以下子步骤：

S51、在以目标预测位置为中心，大小为目标本身的前景区域F内的每个像素，为其分配样本标签1，在以目标预测位置为中心，大小为目标ρ倍的除去F的背景区域B内的每个像素，为其分配样本标签0。

S52、定义目标颜色直方图模型H(F)和背景颜色直方图模型H(B)，则

分别表示在序列第t帧时第i维度的目标直方图模型取值和背景直方图取值，|F|与|B|分别表示目标区域的像素点数量与背景区域的像素点数量，Cⁱ(F)表示目标区域内的颜色特征直方图的第i维度为1的像素点的数量，Cⁱ(B)表示背景区域内的颜色特征直方图的第i维度为1的像素点的数量。在本实施例中，颜色直方图特征维数K为32×32×32＝32768。目标区域颜色直方图模型与背景区域的颜色直方图模型的更行公式如下：

其中，β是模型的学习率，

和

是第t-1帧的目标与背景区域的颜色直方图，Δt_F代表目标颜色直方图模型每隔Δt_F帧更新一次，Δt_B代表背景颜色直方图模型每隔Δt_B帧更新一次。在本实施例中，β＝0.04，Δt_F＝3，Δt_B＝1。

S53、模型训练过程为求解线性回归问题的过程。损失函数为

即找到一个函数

可以最小化训练样本u的预测值与其样本标签真实值之间的误差平方和。其中F为前景区域，B为背景区域，|F|为前景区域内像素数量，|B|为背景区域内像素数量，ψ(u)为像素u的RGB颜色分布直方图。用b(u)代表像素点u在K维颜色直方图中所属的那一个维度指示，则像素点u的RGB颜色直方图特征ψ(u)是一个稀疏向量，只在i＝b(u)时，ψ(u)ⁱ＝1，否则，ψ(u)ⁱ＝0。因此损失函数可以表示为：

|F|与|B|分别表示目标区域的像素点数量与背景区域的像素点数量，Cⁱ(F)表示目标区域内的颜色特征直方图的第i维度为1的像素点的数量，Cⁱ(B)表示背景区域内的颜色特征直方图的第i维度为1的像素点的数量。可以计算得到最小化该损失函数的闭式解为：

S6、更新相关滤波器模型参数。图4为本发明实施例中相关滤波器模型更新的流程示意图。包括以下子步骤：

S61、在以预测得到的目标位置为中心，大小为目标本身大小ρ倍的区域内，以目标预测位置为中心，大小为目标ρ倍的区域内，构造循环偏移样本矩阵构成训练样本，对新构造的样本分配高斯分布的标签，对于新构造的样本，根据其中目标中心与基本样本目标中心的距离，分配一个总体呈高斯分布的连续回归值，方差为0.4，基本样本回归值为1，在基本样本的基础上循环偏移的越多，其样本回归值越接近0。

S62、更新相关滤波器的参数。假设目前已有一些训练样本及其回归值{(x₁，y₁)，(x₂，y₂)，...，(x_i，y_i)，...}，模型训练更新参数的目的在于找到一个函数f(z)＝W^TZ，能够最小化样本x_i的响应与真实回归值y_i之间的误差平方和，加入正则化参数λ，可以防止模型出现过拟合，样本训练过程实际上是求解一个岭回归问题，存在闭式解。目标函数为：

利用线性最小二乘法求解可以计算得到这个问题的闭式解：W＝(X^TX+λI)^-1X^Ty这里X是一个由样本的特征向量组成的样本矩阵。y是由每个样本的回归值y_i组成的列向量。I是单位矩阵。在复数情况下的求解结果W*＝(X^HX+λI)^-1X^Hy，其中X^H是X的共轭转置，W*是W的共轭。由于样本数量较多，在这个闭式解中出现的求逆运算(X^HX+λI)^-1，直接求解会比较耗时，为了避免出现这种情况，将原始闭式解进行离散傅立叶变换，可以避免矩阵求逆运算，缩减算法执行时间，大幅度提高跟踪算法的实时性。最终得到结果

⊙代表向量对应元素相乘，

经过反向傅里叶变换即可得到W。

S7、重复步骤S1到步骤S6，直到图像序列最后一帧。

本发明不带有特定目标类型信息，不限制目标的表现模型和运动模型，因此普适性较好，相较于现有的其他目标跟踪算法，无论是在解决动目标动平台问题还是背景遮挡问题等方面都有很好的效果，对视觉目标跟踪的算法研究和实践具有重要的指导意义。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于目标性分析的视觉目标跟踪方法，其特征在于，所述方法包括：

S1、根据上一帧的目标预测位置、跟踪目标及其周围背景的颜色直方图，计算当前帧的像素级目标性图；

S2、在所述步骤S1得到的像素级目标性图上以滑动窗口的形式计算区域目标性图，使用非极大值抑制选择所述区域目标性图中响应值最高的N个位置，作为跟踪锚点；

S3、在以所述步骤S2得到的N个跟踪锚点以及所述上一帧中的目标位置为中心，面积为目标大小ρ倍的N+1个搜索区域内，利用同一个相关滤波器分别得到每个搜索区域的跟踪结果响应图，分别找到所述每个响应图中的最大响应位置作为跟踪目标在当前帧的候选位置；

S4、通过非极大值抑制，在所述步骤S3得到的N+1个响应图中分别选出S个测试样本，通过最小化熵正则化损失函数，选择最优跟踪锚点，根据其对应响应图的最大值的位置预测当前帧目标所在位置；

S5、更新颜色直方图模型参数；

S6、更新相关滤波器模型参数；

S7、重复步骤S1至S6，直到图像序列最后一帧；

所述步骤S1包括：

S11、计算图像中每一个像素点的RGB颜色直方图得分，得到RGB颜色直方图得分图；

S12、计算目标性掩模，与所述步骤S11得到的所述颜色直方图得分图做点乘，得到初始目标性图；

S13、利用高斯函数滤除所述步骤S12得到的所述初始目标性图中的噪声，得到最终的像素级目标性图。

2.如权利要求1所述的方法，其特征在于，所述滑动窗口大小为上一帧预测得到的目标大小。

3.如权利要求1所述的方法，其特征在于，所述跟踪锚点为跟踪搜索区域的中心点。

4.如权利要求1所述的方法，其特征在于，所述相关滤波器为函数f(z)＝W^TZ，Z为样本的特征向量，W为f的参数。

5.如权利要求1所述的方法，其特征在于，所述步骤S5包括：

S51、在以目标预测位置为中心，大小为目标本身的前景区域F内的每个像素，为其分配样本标签1，在以目标预测位置为中心，大小为目标ρ倍的除去F的背景区域B内的每个像素，为其分配样本标签0；

S52、分别以时间间隔Δt_F和Δt_B更新所述前景区域F的颜色直方图模型和所述背景区域B的颜色直方图模型；

S53、模型训练。

6.如权利要求5所述的方法，其特征在于，所述模型训练过程为求解线性回归问题的过程，具体包括：

目标函数为：

其中，|F|为所述前景区域内像素数量，|B|为所述背景区域内像素数量，ψ(u)为像素u的RGB颜色分布直方图；

找到一个ω最小化训练样本u的预测值与其样本标签真实值之间的误差平方和。

7.如权利要求1所述的方法，其特征在于，所述步骤S6包括：

S61、以目标预测位置为中心，大小为目标ρ倍的区域内，构造循环偏移矩阵作为更新参数所需的训练样本，对新构造的样本分配高斯分布的标签，目标在中心时，标签为1，目标偏离中心越远，标签越小，最小为0；

S62、样本训练。

8.如权利要求7所述的方法，其特征在于，所述样本训练过程为求解岭回归问题过程，训练的目标函数为：

找到一个函数f(z)＝W^TZ，最小化训练样本x_i的响应与真值y_i之间的误差平方和，同时加入正则化参数λ防止模型出现过拟合。

Images