CN110503665A - 一种改进Camshift的目标跟踪算法 - Google Patents

Abstract

本发明公开了一种改进Camshift的目标跟踪算法。本发明在目标遮挡时，切换成粒子滤波算法跟踪目标，有效解决目标遮挡问题，在目标未被遮挡时，切换到Camshift算法跟踪目标，本发明将Camshift算法和粒子滤波算法结合，保障了目标跟踪算法的实时性，同时，提升了目标跟踪算法的鲁棒性。

Description

一种改进Camshift的目标跟踪算法

技术领域

本发明涉及目标跟踪技术领域，具体涉及一种改进Camshift的目标跟踪算法。

背景技术

目标跟踪是计算机视觉领域的一个重要组成部分，其在视觉导航、视频监控、智能交通以及抗灾搜救中都有着广泛的应用。

Meanshift算法是一种基于核的跟踪方法，它使用基于密度的外观模型来表示目标，广泛用于跟踪目标，但Meanshift无法实时更新目标模型，当目标尺寸大小发生严重改变时，将会丢失目标.为了解决Meanshift算法存在的问题，C.Q等提出能够自适应目标变化的Camshift算法，然而传统Camshift算法对于目标颜色与背景颜色相似、光照强度变化以及目标被遮挡的情况，其跟踪效果不太理想.Yin J等提出了改进的Camshift算法，其使用加权方案生成目标的颜色直方图，距离目标中心越近权值越大，在一定程度上克服了目标颜色与背景颜色相似的问题，但对于目标遮挡的情况鲁棒性较低.Ubeda-Medina L等提出粒子滤波(Partice Filter，PF)算法，是通过一组随机样本对概率密度函数进行近似，当粒子数目足够大时，可以逼近任意函数的概率密度分布，因此能够解决目标遮挡的跟踪问题，但是长时间使用粒子滤波算法，其所需要的计算量大，耗时长，无法达到实时跟踪目标的要求.Deguchi K等利用Menshift算法和PF算法进行跟踪，当目标发生遮挡后，使用PF算法进行跟踪，但遮挡结束后，无法切换回Meanshift算法，实时性无法得到保证.Xiu C等提出结合卡尔曼滤波的Camshift算法来解决遮挡问题，由于卡尔曼滤波算法利用泰勒展开式来将非线性问题化简为线性问题，对于比较复杂的场景，其无法达到准确跟踪目标.Kalal Z等提出TLD跟踪算法，是近年来很富代表性的长时间跟踪算法，将目标检测、目标跟踪及在线学习机制结合，能实时更新目标模型，并能跟踪重回视野范围的目标以及对遮挡问题有较强鲁棒性，但是耗时较多，实时性就不理想。

发明内容

针对现有技术中的上述不足，本发明提供的一种改进Camshift的目标跟踪算法解决了目标被遮挡时的目标跟踪效果不好、实时性不高的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种改进Camshift的目标跟踪算法，包括以下步骤：

S1、利用图像中目标与候选目标的相似度判断目标是否被遮挡，若是则进入步骤S2，否则进入步骤S4；

S2、将目标划分为5个区域，分别提取每个区域的颜色特征和边缘特征，将颜色特征和边缘特征进行融合，建立第一行人目标模型；

S3、通过粒子滤波算法对第一行人目标模型进行目标跟踪，返回步骤S1；

S4、融合目标的颜色特征和边缘特征建立第二行人目标模型，并通过Camshift算法对第二行人目标模型进行目标跟踪，返回步骤S1。

进一步地：所述步骤S1中判断目标是否被遮挡的具体方法为：计算目标与候选目标的相似度得分，当相似度得分score等于0时，表示目标被遮挡，当相似度得分score等于1时，表示目标未被遮挡；

相似度得分score的计算公式为：

上式中，ρ为模型相似度，T为阈值；

模型相似度ρ的计算公式为：

上式中，u＝1,2,3……m，m为行人目标区域像素的个数，p^i-1 _target和pⁱ _target分别为前一帧与当前帧的目标特征模型。

进一步地：所述步骤S2中第一行人目标模型具体为：

p_target＝O₁*p_target1+O₂*p_target2+O₃*p_target3+O₄*p_target4+O₅*p_target5

上式中，p_target为第一目标模型，p_target1、p_target2、p_target3、p_target4和p_target5分别为5个区域的特征模型，O₁、O₂、O₃、O₄和O₅分别为5个区域与未遮挡的目标对应区域归一化后的相似度。

进一步地：所述步骤S4中第二行人目标模型具体为：

p'_target＝ωq_μ(I₀)+(1-ω)q_g

上式中，p'_target为第二目标模型，q_μ(I₀)为目标的HSV颜色特征模型，q_g为目标的边缘特征模型，ω为权值系数。

进一步地：所述目标的HSV颜色特征模型q_μ(I₀)的计算公式为：

上式中，C为归一化系数，k＝1,2,3……K，K为行人目标区域像素的个数，I₀为目标矩形框中心坐标的像素值，I_i为目标矩形框内的像素值，a为常数，取值为255，μ为图像像素的灰度级，δ(b(x_i,y_i)-μ)为像素(x_i,y_i)的颜色属性。

进一步地：所述目标的边缘特征模型q_g的计算公式为：

上式中，M(x,y)为梯度幅值，λ(x,y)为每个区间像素点的个数，每个区间的长度为π/9，u_g为像素值的等级，x和y为像素的横坐标和纵坐标；

梯度幅值M(x,y)的计算公式为：

上式中，P(x,y)为水平方向梯度值，Q(x,y)为垂直方向梯度值；

水平方向梯度值P(x,y)的计算公式为：

P(x,y)＝(f(x,y+1)-f(x,y)+f(x+1,y+1)-f(x+1,y))/2

上式中，f(x,y+1)为(x,y+1)坐标下的像素值，f(x,y)为(x,y)坐标下的像素值，f(x+1,y+1)为(x+1,y+1)坐标下的像素值，f(x+1,y)为(x+1,y)坐标下的像素值；

垂直方向梯度值Q(x,y)的计算公式为：

Q(x,y)＝(f(x,y)-f(x+1,y)+f(x,y+1)-f(x+1,y))/2

每个区间像素点的个数λ(x,y)的计算公式为：

λ(x,y)＝n if

上式中，为(x,y)坐标下此像素的角度，n为直方图区间个数；

的计算公式为：

上式中，θ(x,y)为梯度方向，其计算公式为：

θ(x,y)＝arctan(Q(x,y)/P(x,y))。

进一步地：所述步骤S3中的粒子滤波算法具体为：取权值最大处的粒子中心作为跟踪目标中心，得出此时目标的二维坐标，并根据粒子结构尺寸得到目标搜索窗的位置和尺寸，根据目标的二维坐标、搜索窗的位置和尺寸对第一目标模型进行目标跟踪；

所述粒子的权值计算公式为：

上式中，为粒子的权值，为前一帧的权重，为x_k条件下z_k发生的概率，为x_k-1条件下x_k发生的概率，为z_k条件下x_k发生的概率。

进一步地：所述步骤S4中的Camshift算法具体为：

设置搜索窗质心的位置为：

上式中，(x_c,y_c)为搜索窗质心的位置坐标，M₀₀为零阶矩阵，M₀₁为X方向的一阶矩阵，M₁₀为Y方向一阶矩阵，其计算公式为：

上式中，I(x,y)为矩阵坐标；

设置搜索窗的长度和宽度分别为：

上式中，L为搜索窗的长度，W为搜索窗的宽度，a、b、c均为中间参数，其计算公式为：

上式中，M₂₀为X方向二阶矩阵，M₁₁为一阶矩阵，M₀₂为Y方向二阶矩阵，其计算公式为：

根据搜索窗质心的位置、搜索窗的长度和宽度对第二目标模型进行目标跟踪。

本发明的有益效果为：本发明在目标遮挡时，切换成粒子滤波算法跟踪目标，有效解决目标遮挡问题，在目标未被遮挡时，切换到Camshift算法跟踪目标，本发明将Camshift算法和粒子滤波算法结合，保障了目标跟踪算法的实时性，同时，提升了目标跟踪算法的鲁棒性。

附图说明

图1为本发明流程图；

图2为目标模型的可视化结果图；

图3为传统Camshift算法的目标跟踪结果；

图4为改进Camshift算法的目标跟踪结果；

图5为目标遮挡跟踪实验结果图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，一种改进Camshift的目标跟踪算法，包括以下步骤：

S1、利用图像中目标与候选目标的相似度判断目标是否被遮挡，若是则进入步骤S2，否则进入步骤S4；

判断目标是否被遮挡的具体方法为：计算目标与候选目标的相似度得分，当相似度得分score等于0时，表示目标被遮挡，当相似度得分score等于1时，表示目标未被遮挡；

相似度得分score的计算公式为：

上式中，ρ为模型相似度，T为阈值；

模型相似度ρ的计算公式为：

上式中，u＝1,2,3……m，m为行人目标区域像素的个数，p^i-1 _target和pⁱ _target分别为前一帧与当前帧的目标特征模型。

S2、将目标划分为5个区域，分别提取每个区域的颜色特征和边缘特征，将颜色特征和边缘特征进行融合，建立第一行人目标模型；

当目标发生遮挡时，将目标区域划分为5个部分，分别提取各部分的颜色特征与边缘特征，并将两特征进行融合，再与未遮挡前的目标模型对应部分进行相似度比较得到可视化分数预测，将分数归一化作为特征的加权融合系数，建立目标模型，可视化结果如图2所示。

第一行人目标模型具体为：

p_target＝O₁*p_target1+O₂*p_target2+O₃*p_target3+O₄*p_target4+O₅*p_target5

上式中，p_target为第一目标模型，p_target1、p_target2、p_target3、p_target4和p_target5分别为5个区域的特征模型，O₁、O₂、O₃、O₄和O₅分别为5个区域与未遮挡的目标对应区域归一化后的相似度。

S3、通过粒子滤波算法对第一行人目标模型进行目标跟踪，返回步骤S1；

粒子滤波算法具体为：取权值最大处的粒子中心作为跟踪目标中心，得出此时目标的二维坐标，并根据粒子结构尺寸得到目标搜索窗的位置和尺寸，根据目标的二维坐标、搜索窗的位置和尺寸对第一目标模型进行目标跟踪；

所述粒子的权值计算公式为：

上式中，为粒子的权值，为前一帧的权重，为x_k条件下z_k发生的概率，为x_k-1条件下x_k发生的概率，为z_k条件下x_k发生的概率。

S4、融合目标的颜色特征和边缘特征建立第二行人目标模型，并通过Camshift算法对第二行人目标模型进行目标跟踪，结束跟踪流程返回步骤S1。

第二目标模型具体为：

p'_target＝ωq_μ(I₀)+(1-ω)q_g

上式中，p'_target为第二目标模型，q_μ(I₀)为目标的HSV颜色特征模型，q_g为目标的边缘特征模型，ω为权值系数。

目标的HSV颜色特征模型q_μ(I₀)的计算公式为：

上式中，C为归一化系数，k＝1,2,3……K，K为行人目标区域像素的个数，I₀为目标矩形框中心坐标的像素值，I_i为目标矩形框内的像素值，a为常数，取值为255，μ为图像像素的灰度级，δ(b(x_i,y_i)-μ)为像素(x_i,y_i)的颜色属性。

目标的边缘特征模型q_g的计算公式为：

上式中，M(x,y)为梯度幅值，λ(x,y)为每个区间像素点的像素值，每个区间的长度为π/9，u_g为像素值的等级，x和y为像素的横坐标和纵坐标；

梯度幅值M(x,y)的计算公式为：

上式中，P(x,y)为水平方向梯度值，Q(x,y)为垂直方向梯度值；

水平方向梯度值P(x,y)的计算公式为：

P(x,y)＝(f(x,y+1)-f(x,y)+f(x+1,y+1)-f(x+1,y))/2

上式中，f(x,y+1)为(x,y+1)坐标下的像素值，f(x,y)为(x,y)坐标下的像素值，f(x+1,y+1)为(x+1,y+1)坐标下的像素值，f(x+1,y)为(x+1,y)坐标下的像素值；

垂直方向梯度值Q(x,y)的计算公式为：

Q(x,y)＝(f(x,y)-f(x+1,y)+f(x,y+1)-f(x+1,y))/2

每个区间像素点的个数λ(x,y)的计算公式为：

λ(x,y)＝n if

上式中，为(x,y)坐标下此像素的角度，n为直方图区间个数；

的计算公式为：

上式中，θ(x,y)为梯度方向，其计算公式为：

θ(x,y)＝arctan(Q(x,y)/P(x,y))。

Camshift算法具体为：

设置搜索窗质心的位置为：

上式中，(x_c,y_c)为搜索窗质心的位置坐标，M₀₀为零阶矩阵，M₀₁为X方向的一阶矩阵，M₁₀为Y方向一阶矩阵，其计算公式为：

上式中，I(x,y)为矩阵坐标；

设置搜索窗的长度和宽度分别为：

上式中，L为搜索窗的长度，W为搜索窗的宽度，a、b、c均为中间参数，其计算公式为：

上式中，M₂₀为X方向二阶矩阵，M₁₁为一阶矩阵，M₀₂为Y方向二阶矩阵，其计算公式为：

根据搜索窗质心的位置、搜索窗的长度和宽度对第二目标模型进行目标跟踪。

本发明是通过融合多特征来建立目标模型，并且将非感兴趣区域的像素值设为0，降低背景对目标的影响。首先，将图像从RGB颜色空间转化到HSV空间，获取H-S二维直方图，并转换为反向投影，建立目标的颜色模型；其次，图像中目标的边缘特征，计算其直方图分布，转换为反向投影，建立目标的边缘模型；最后，按ω为0.886融合颜色模型与边缘模型建立目标模型，对目标进行跟踪.实验对比结果如图3、图4所示。

由图3可以看出，实验是在背景中包含小车、与小车颜色相似的树木、草地以及房屋等复杂场景下进行的，从第96帧图像以及第149帧图像可以看到，当目标所处视野比较开阔，传统的Camshift算法能够准确跟踪目标；从第161帧可以看到，当目标小车由于树木以及草地的影响，Camshift算法会将搜索窗内的背景也当做特征建立目标模型，从而使算法无法准确跟踪目标，最终导致目标丢失的问题。

由图4可以看出，第96帧图像以及第149帧图像，当目标所处视野比较开阔，与传统的Camshift算法一样能够准确跟踪目标；但是在第161帧可以看到，改进的Camshift算法只提取目标区域内的特征，而将非感兴趣区域的背景变为黑色，降低了背景对目标的影响，从而能够准确跟踪目标，提升了算法的鲁棒性能。

为了验证本文方法对于遮挡目标的跟踪的鲁棒性能，进行遮挡跟踪实验，实验结果如图5所示.

从图5可以看出，该场景复杂，包括车辆多、行人多以及背景颜色与行人衣服颜色相近，在第41到88帧时，目标未被遮挡，使用Camshift算法进行跟踪，当行人目标被对向而来的行人遮挡时，切换成粒子滤波算法进行跟踪(第101帧)，图中蓝色圈圈是粒子，以权值最大粒子为目标搜索窗中心，当遮挡结束，切换回Camshift算法进行跟踪，保障算法实时性同时，提高了算法的鲁棒性。

Claims (8)

1.一种改进Camshift的目标跟踪算法，其特征在于，包括以下步骤：

S1、利用图像中目标与候选目标的相似度判断目标是否被遮挡，若是则进入步骤S2，否则进入步骤S4；

S2、将目标划分为5个区域，分别提取每个区域的颜色特征和边缘特征，将颜色特征和边缘特征进行融合，建立第一行人目标模型；

S3、通过粒子滤波算法对第一行人目标模型进行目标跟踪，返回步骤S1；

S4、融合目标的颜色特征和边缘特征建立第二行人目标模型，并通过Camshift算法对第二行人目标模型进行目标跟踪，返回步骤S1。

2.根据权利要求1所述的改进Camshift的目标跟踪算法，其特征在于，所述步骤S1中判断目标是否被遮挡的具体方法为：计算目标与候选目标的相似度得分，当相似度得分score等于0时，表示目标被遮挡，当相似度得分score等于1时，表示目标未被遮挡；

相似度得分score的计算公式为：

上式中，ρ为模型相似度，T为阈值；

模型相似度ρ的计算公式为：

上式中，u＝1,2,3……m，m为行人目标区域像素的个数，p^i-1 _target和pⁱ _target分别为前一帧与当前帧的目标特征模型。

3.根据权利要求1所述的改进Camshift的目标跟踪算法，其特征在于，所述步骤S2中第一行人目标模型具体为：

p_target＝O₁*p_target1+O₂*p_target2+O₃*p_target3+O₄*p_target4+O₅*p_target5

上式中，p_target为第一目标模型，p_target1、p_target2、p_target3、p_target4和p_target5分别为5个区域的特征模型，O₁、O₂、O₃、O₄和O₅分别为5个区域与未遮挡的目标对应区域归一化后的相似度。

4.根据权利要求1所述的改进Camshift的目标跟踪算法，其特征在于，所述步骤S3中的粒子滤波算法具体为：取权值最大处的粒子中心作为跟踪目标中心，得出此时目标的二维坐标，并根据粒子结构尺寸得到目标搜索窗的位置和尺寸，根据目标的二维坐标、搜索窗的位置和尺寸对第一目标模型进行目标跟踪；

所述粒子的权值计算公式为：

上式中，为粒子的权值，为前一帧的权重，为x_k条件下z_k发生的概率，为x_k-1条件下x_k发生的概率，为z_k条件下x_k发生的概率。

5.根据权利要求1所述的改进Camshift的目标跟踪算法，其特征在于，所述步骤S4中第二行人目标模型具体为：

p'_target＝ωq_μ(I₀)+(1-ω)q_g

上式中，p'_target为第二目标模型，q_μ(I₀)为目标的HSV颜色特征模型，q_g为目标的边缘特征模型，ω为权值系数。

6.根据权利要求5所述的改进Camshift的目标跟踪算法，其特征在于，所述目标的HSV颜色特征模型q_μ(I₀)的计算公式为：

上式中，C为归一化系数，k＝1,2,3……K，K为行人目标区域像素的个数，I₀为目标矩形框中心坐标的像素值，I_i为目标矩形框内的像素值，a为常数，取值为255，μ为图像像素的灰度级，δ(b(x_i,y_i)-μ)为像素(x_i,y_i)的颜色属性。

7.根据权利要求5所述的改进Camshift的目标跟踪算法，其特征在于，所述目标的边缘特征模型q_g的计算公式为：

上式中，M(x,y)为梯度幅值，λ(x,y)为每个区间像素点的像素值，每个区间的长度为π/9，u_g为像素值的等级，x和y为像素的横坐标和纵坐标；

梯度幅值M(x,y)的计算公式为：

上式中，P(x,y)为水平方向梯度值，Q(x,y)为垂直方向梯度值；

水平方向梯度值P(x,y)的计算公式为：

P(x,y)＝(f(x,y+1)-f(x,y)+f(x+1,y+1)-f(x+1,y))/2

上式中，f(x,y+1)为(x,y+1)坐标下的像素值，f(x,y)为(x,y)坐标下的像素值，f(x+1,y+1)为(x+1,y+1)坐标下的像素值，f(x+1,y)为(x+1,y)坐标下的像素值；

垂直方向梯度值Q(x,y)的计算公式为：

Q(x,y)＝(f(x,y)-f(x+1,y)+f(x,y+1)-f(x+1,y))/2

每个区间像素点的个数λ(x,y)的计算公式为：

上式中，为(x,y)坐标下此像素的角度，n为直方图区间个数；

的计算公式为：

上式中，θ(x,y)为梯度方向，其计算公式为：

θ(x,y)＝arctan(Q(x,y)/P(x,y))。

8.根据权利要求1所述的改进Camshift的目标跟踪算法，其特征在于，所述步骤S4中的Camshift算法具体为：

设置搜索窗质心的位置为：

上式中，(x_c,y_c)为搜索窗质心的位置坐标，M₀₀为零阶矩阵，M₀₁为X方向的一阶矩阵，M₁₀为Y方向一阶矩阵，其计算公式为：

上式中，I(x,y)为矩阵坐标；

设置搜索窗的长度和宽度分别为：

上式中，L为搜索窗的长度，W为搜索窗的宽度，a、b、c均为中间参数，其计算公式为：

上式中，M₂₀为X方向二阶矩阵，M₁₁为一阶矩阵，M₀₂为Y方向二阶矩阵，其计算公式为：

根据搜索窗质心的位置、搜索窗的长度和宽度对第二目标模型进行目标跟踪。