CN106023243A - 一种尺度自适应的运动目标跟踪方法 - Google Patents

Abstract

本发明涉及一种尺度自适应的运动目标跟踪方法，操作步骤如下：1）读入第一帧，初始化目标窗口并建立目标模型；2）读入下一帧；3）设定候选目标区域，建立候选目标模型；4）计算相似性函数、加权系数、加权系数和；5）寻找下一个候选目标区域位置并估算目标大小；6）判断收敛性，若收敛，进入步骤2），若不收敛进入步骤3）。本发明在Mean shift运动目标跟踪算法的基础上，使用加权系数和以及相似性函数估计目标大小，实现了算法对目标大小的自适应性，增加了候选目标模型的可靠性，提高了算法的精确性。

Description

一种尺度自适应的运动目标跟踪方法

技术领域

本发明涉及一种尺度自适应的运动目标跟踪方法，应用于智能视频处理领域中的运动目标跟踪，适用于运动目标尺度不断变化时的跟踪。

背景技术

运动目标跟踪在智能视频处理领域是一项基础性技术，针对该技术有多种不同的算法被提出，其中应用较为广泛的是Comaniciu等在文献[1]中所提出的Mean shift运动目标跟踪算法，该算法是对其在文献[2]中所提出的一种寻找模式的方法的具体应用。

文献[2]中介绍了一种根据有限样本点寻找一个未知分布的模式点的方法：首先使用Epanechnikov核函数进行核密度估计。若样本点为{x_i}_{i＝1,2,...,n}，得到该分布的估计为：

$\hat{f}\left(x\right)=C_k\underset{i=1}{\overset{n}{\Σ}}k\left({||\frac{x-x_i}{h}||}^2\right)$

其中C_k为常量，k为Epanechnikov核函数的轮廓函数，x为核中心点，x_i为样本点，h为带宽参数。为寻找该分布的模式点，根据模式点梯度为0的特点，使用基于梯度的模式寻找(Gradient-based mode seeking)方法，求分布估计的梯度，通过推导发现梯度向量与向量m成正比，向量m即Mean shift向量：

$m\left(x\right)=\frac{\underset{i=1}{\overset{n}{\Σ}}{x}_{i}g\left({||\frac{x-x_i}{h}||}^2\right)}{\underset{i=1}{\overset{n}{\Σ}}g\left({||\frac{x-x_i}{h}||}^2\right)}-x$

上式中，g(x)＝-k′(x)。文献[2]中证明了Mean shift向量具有收敛性。由于梯度向量正比于Mean shift向量，故Mean shift向量收敛的位置即为梯度向量收敛的位置，所以文献[2]中通过迭代Mean shift向量至收敛来间接寻找模式点，迭代方法为：使用前一个中心位置x_prev计算Mean Value x_new，并把x_new作为新的中心位置。然后判断是否收敛以决定是否继续迭代，判断收敛的标准为||x_new-x_prev||≤ε，ε为预先设定的任意小值。由Meanshift向量的公式可以知道Mean Value的计算公式为：

文献[1]在将文献[2]中所提出的寻找模式的方法应用在运动目标跟踪技术中时，首先在视频图像的第一帧中确定目标的大小和位置(这里假定目标中心位置为0)，并对目标像素点在色调(Hue)征空间内建立目标模型其中u为色调参量，并有：

${\hat{q}}_u=C\underset{i=1}{\overset{n}{\Σ}}k\left({||x_i||}^2\right)\mathrm{\δ}\[b\left(x_i\right)-u\]$

其中C为归一化参数，b(x_i)表示x_i点的色调值，δ为狄拉克函数。k为Epanechnikov核函数的轮廓函数，因为目标的外围区域比中心区域更容易被遮挡，所以使用Epanechnikov核函数对目标的像素点进行加权，使目标的中心区域对模型的贡献大于外围区域，从而增加模型的鲁棒性。

在其他帧中，以y点为中心选定一个比目标稍大的区域作为候选目标区域，并建立候选目标模型其中：

${\hat{p}}_u\left(y\right)=C_h\underset{i=1}{\overset{n}{\Σ}}k\left({||\frac{y-x_i}{h}||}^2\right)\mathrm{\δ}\[b\left(x_i\right)-u\]$

上式中C_h为归一化常数，h为带宽参数。

为比较目标模型和候选目标模型的相似性，产生一个相似性函数：

$\widehat{\mathrm{\ρ}}\left(y\right)=\underset{u=1}{\overset{m}{\Σ}}\sqrt{{\hat{p}}_u\left(y\right){\hat{q}}_u}$

的值越大，表明两个模型的相似性越高。的模式点是当前帧中最有可能的目标中心位置。假设目标在前一帧的中心位置为y₀，由于目标在相邻帧间的变化是连续的，所以在当前帧中，可以对在y₀点进行二项泰勒展开，得到：

$\widehat{\mathrm{\ρ}}\left(y\right)\≈\frac{1}{2}\underset{u=1}{\overset{m}{\Σ}}\sqrt{{\hat{p}}_u\left(y_0\right){\hat{q}}_u}+\frac{C_h}{2}\underset{i=1}{\overset{n}{\Σ}}{w}_{i}k\left({||\frac{y-x_i}{h}||}^2\right)$

其中：

$w_i=\underset{u=1}{\overset{m}{\Σ}}\sqrt{\frac{{\hat{q}}_u}{{\hat{p}}_u\left(y_0\right)}}\mathrm{\δ}\[b\left(x_i\right)-u\]$

展开式的第一项独立于y，而第二项是以y为参量，因此寻找的模式点就变为寻找展开式第二项的模式点。该项与文献[2]中的核密度估计具有相似的形式，所以使用文献[2]中介绍的Mean shift方法寻找的模式点，对应的Mean Value的迭代公式为：

$y_j=\frac{\underset{i=1}{\overset{n}{\Σ}}{x}_i{w}_{i}g\left({||\frac{y_{j-1}-x_i}{h}||}^2\right)}{\underset{i=1}{\overset{n}{\Σ}}{w}_{i}g\left({||\frac{y_{j-1}-x_i}{h}||}^2\right)},j=1,2,\mathrm{...}$

其中，y₀为前一帧中目标的中心位置，也是当前帧中迭代的起点。当满足||y_j-y_j-1||＜ε时停止迭代，并认为y_j是当前帧中目标的中心位置。将y_j值赋给y₀并读入下一帧继续迭代，如此反复，在每一帧中找到目标的中心位置，从而实现了对运动目标的跟踪。

Mean shift运动目标跟踪算法是一种计算复杂度较小、性能较高的算法，但是算法的性能和运动目标的大小变化密切相关，目标的大小变化幅度越小，算法性能越高。在实际情况中，目标大小变化幅度可能会较大，此时算法的性能将会大大降低。

在文献[1]中，Mean shift运动目标跟踪算法会选择一个比目标稍大的、固定大小的区域作为候选目标区域，其认为无论目标在该帧中变大还是变小，都可以确保目标被候选目标区域所包围。显然，这种选择候选目标区域的方式是不合理的：其一，如果目标变大并且大于候选目标区域的大小，则在建立候选目标模型时，目标的一部分颜色信息就会丢失，模型的可靠性就会降低；其二，如果目标变小或者不变，则候选目标区域的大小就会大于目标大小，建立候选目标模型时会引入较多背景颜色成分，也会降低模型的可靠性。候选目标模型的可靠性降低会直接导致算法性能的降低。如果能合理地选择候选目标区域的大小，使之与目标大小的吻合性更好，则候选目标模型的可靠性将会提高，Mean shift算法的性能将会随之提高。由于运动目标的大小变化在相邻帧间是连续的，可以考虑分析目标的大小变化趋势，实时调整候选目标区域的大小，即实现该算法对目标尺度变化的自适应能力。

在文献[1]中，计算Mean Value的公式为：

$y_j=\frac{\underset{i=1}{\overset{n}{\Σ}}{w}_i{x}_{i}g\left({||\frac{y_{j-1}-x_i}{h}||}^2\right)}{\underset{i=1}{\overset{n}{\Σ}}{w}_{i}g\left({||\frac{y_{j-1}-x_i}{h}||}^2\right)},j=1,2,\mathrm{...}$

其中g(x)＝-k′(x)，而k(x)为Epanechnikov核函数的轮廓函数，其表达式为：

$k\left(x\right)=\left\{\begin{array}{cc}1-x& 0\≤x\≤1\\ 0& others\end{array}\right.$

所以Mean Value的计算公式可以简化为：

$y_j=\frac{\underset{i=1}{\overset{n}{\Σ}}{w}_i{x}_i}{\underset{i=1}{\overset{n}{\Σ}}{w}_i},j=0,1,\mathrm{...}$

上式的意义为：使用加权因子w_i对候选目标区域内的每个像素点加权，然后求和再求平均值即得到新的候选目标区域中心位置。由上式可以看出，若某个点的加权系数较大，则新的候选目标区域中心位置越可能移向该点，而候选目标区域就是假想的目标，所以w_i可以理解为x_i点属于目标的可能性，那么，所有像素点的加权系数之和(即零阶矩)就可以理解为候选目标区域中目标的大小。如图1所示，其中a表示目标，包含三种颜色成分，b、c、d、e表示选定的候选目标区域大小相同，目标依次从小变大。根据a建立目标模型(这里为了计算简便，建立模型时未使用核函数，但这并不影响定性分析)。图2中列出了M₀₀的值和目标实际大小的变化情况。由图2可以看出，当目标单调变大时M₀₀也单调变大，所以可以考虑使用M₀₀估算目标大小。另一方面，由图2可以看出，M₀₀和目标的实际大小有误差，并且候选目标区域中背景的成分越多则误差越大，所以直接使用M₀₀估计目标大小并不合理，必须知道将M₀₀当做目标大小的误差，并进行补偿才能正确估计目标大小。注意到文献[1]中的相似性函数ρ，当候选目标区域中目标的成分越多时，目标模型和候选目标模型越相似，ρ的值越大，而此时将M₀₀当做目标大小的误差就越小，所以可以定义一个以ρ为参数且单调递减的补偿函数c(ρ)对M₀₀进行补偿。本发明中使用的补偿函数为所以估计得到的目标大小为其中α为实验性参数，可以设定为区间(1,2)内的某个值。在得到估计的目标大小后，我们就可以根据该估计值来调整候选目标区域的大小，以实现算法的尺度自适应性。

文献[1]:Comaniciu,D.,Ramesh,V.,Meer,P.:“Kernel-based objecttracking”,IEEE Trans.Pattern Anal.Mach.Intell.,2003,25,(2),pp.564-577。

文献[2]:Comaniciu,D.,Meer,P.:“Mean shift:a robust approach towardfeature space analysis”,IEEE Trans.Pattern Anal.Mach.Intell.,2002,24,(5),pp.603-619。

发明内容

本发明的目的是针对Mean shift运动目标跟踪算法不能适应目标大小变化的问题对该算法进行改进，提供一种尺度自适应的运动目标跟踪方法，该方法在建立候选目标模型时，使用加权系数和以及相似性函数来估计目标的大小，并使用该估计值实时调整候选目标区域的大小，从而实现算法对运动目标尺度变化的自适应能力，提高算法的精确性。

为达到上述目的，本发明采用如下的技术方案：

一种尺度自适应的运动目标跟踪方法，具体步骤如下：

1)读入第一帧，初始化目标窗口并建立目标模型；

2)读入下一帧；

3)设定候选目标区域，建立候选目标模型；

4)计算相似性函数、加权系数、加权系数和；

5)寻找下一个候选目标区域位置并估算目标大小；

6)判断收敛性，若收敛，进入步骤2)，若不收敛进入步骤3)。

所述步骤1)中，读入视频图像的第一帧，并手动选定一个圆形窗口，使之恰好包含整个目标。定义窗口的中心为原点，将窗口中心位置保存至变量y_p，窗口半径保存至变量R_p。对目标窗口内的每个像素点进行RGB转HSV变换，并使用H值建立目标模型q＝{q_u}_u＝1,2,...m，其中u表示色调，色调的变化区间为(1,m)，q_u为色调u对应的值，其计算方法如下：

$q_u=C\underset{i=1}{\overset{n}{\Σ}}k\left({||x_i||}^2\right)\mathrm{\δ}\[b\left(x_i\right)-u\]$

上式中C为归一化常量，n为像素点的个数，k为Epanechnikov核函数的轮廓函数，δ为狄拉克函数，x_i为单个像素点，b表示单个像素点的H值。

所述步骤3)中，以y_p为中心、R_p为半径设定一个候选目标窗口，建立候选目标模型p(y_p)＝{p_u(y_p)}_{u＝1,2,...,m}，p_u(y_p)为色调u对应的值，其计算方法如下：

$p_u\left(y_p\right)=C\underset{i=1}{\overset{n}{\Σ}}k\left({||\frac{x_i-y_p}{h}||}^2\right)\mathrm{\δ}\[b\left(x_i\right)-u\]$

上式中h为Epanechnikov函数的带宽参数，由所选定的窗口半径大小决定：

$h=\frac{1}{R_p}$

所述步骤4)中，使用目标模型和候选目标模型计算相似性函数值，其公式如下：

$\mathrm{\ρ}\left(y_p\right)=\underset{u=1}{\overset{m}{\Σ}}\sqrt{p_u\left(y_p\right)q_u}$

并计算每个像素点的加权系数：

$w_i=\underset{u=1}{\overset{n}{\Σ}}\sqrt{\frac{q_u}{p_u\left(y_p\right)}}\mathrm{\δ}\[b\left(x_i\right)-u\],i=1,2,...,n$

然后求加权系数求和：

$M_{00}=\underset{u=1}{\overset{m}{\Σ}}{w}_i$

所述步骤5)中，在以y_p为中心的候选目标区域计算Mean Value y_p+1：

$y_{p+1}=\frac{\underset{i=1}{\overset{m}{\Σ}}{w}_i{x}_i}{M_{00}}$

并将y_p+1的值保存至变量y_p。估计目标的大小，目标大小的估计值为：

$S=M_{00}{e}^{\[\frac{\mathrm{\ρ}\left(y_p\right)-1}{\mathrm{\α}}\]}$

上式中α设置为区间(1,2)内的某个值，由于将目标视为圆形，则目标半径估计值为：

$R_p=\frac{\sqrt{s}}{\mathrm{\π}}$

保存R_p值。

所述步骤6)中，判断Mean shift向量是否收敛。判断收敛的标准为|y_p-y_p+1|＜ε，ε的值设置为目标初始大小的1/100。如果收敛，进入步骤2)，否则进入步骤3)。

本发明与已有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步：

本发明对Mean shift运动目标跟踪算法进行改进，使用参数实时估计目标的大小变化，并根据估计的目标大小变化调整候选目标区域大小，使得候选目标区域和目标更吻合，避免了引入过多背景颜色成分和丢失过多目标颜色成分，从而建立了更可靠的候选目标模型，提高了算法的准确性。

附图说明

图1是候选目标区域不变但目标尺度变大的示意图。

图2是图1中目标实际大小的变化情况与加权系数和的变化情况的对比。

图3是本发明尺度自适应的运动目标跟踪方法的流程框图。

具体实施方式

以下结合附图对本发明的优选实施例作进一步的详细说明：

本实施例一种尺度自适应的运动目标跟踪方法，参见图3，包括以下步骤：

1)读入第一帧，初始化目标窗口并建立目标模型；

2)读入下一帧；

3)设定候选目标区域，建立候选目标模型；

4)计算相似性函数、加权系数、加权系数和；

5)寻找下一个候选目标区域位置并估算目标大小；

6)判断收敛性，若收敛，进入步骤2)，若不收敛进入步骤3)。

所述步骤1)中，读入视频图像的第一帧，并手动选定一个圆形窗口，使之恰好包含整个目标。定义窗口的中心为原点，将窗口中心位置保存至变量y_p，窗口半径保存至变量R_p。对目标窗口内的每个像素点进行RGB转HSV变换，并使用H值建立目标模型q＝{q_u}_u＝1,2,...m，其中u表示色调，色调的变化区间为(1,m)，q_u为色调u对应的值，其计算方法如下：

$q_u=C\underset{i=1}{\overset{n}{\Σ}}k\left({||x_i||}^2\right)\mathrm{\δ}\[b\left(x_i\right)-u\]$

上式中C为归一化常量，n为像素点的个数，k为Epanechnikov核函数的轮廓函数，δ为狄拉克函数，x_i为单个像素点，b表示单个像素点的H值。

所述步骤3)中，以y_p为中心、R_p为半径设定一个候选目标窗口，建立候选目标模型p(y_p)＝{p_u(y_p)}_{u＝1,2,...,m}，p_u(y_p)为色调u对应的值，其计算方法如下：

$p_u\left(y_p\right)=C\underset{i=1}{\overset{n}{\Σ}}k\left({||\frac{x_i-y_p}{h}||}^2\right)\mathrm{\δ}\[b\left(x_i\right)-u\]$

上式中h为Epanechnikov函数的带宽参数，由所选定的窗口半径大小决定：

$h=\frac{1}{R_p}$

所述步骤4)中，使用目标模型和候选目标模型计算相似性函数值，其公式如下：

$\mathrm{\ρ}\left(y_p\right)=\underset{u=1}{\overset{m}{\Σ}}\sqrt{p_u\left(y_p\right)q_u}$

并计算每个像素点的加权系数：

$w_i=\underset{u=1}{\overset{n}{\Σ}}\sqrt{\frac{q_u}{p_u\left(y_p\right)}}\mathrm{\δ}\[b\left(x_i\right)-u\],i=1,2,...,n$

然后求加权系数求和：

$M_{00}=\underset{u=1}{\overset{m}{\Σ}}{w}_i$

所述步骤5)中，在以y_p为中心的候选目标区域计算Mean Value y_p+1：

$y_{p+1}=\frac{\underset{i=1}{\overset{m}{\Σ}}{w}_i{x}_i}{M_{00}}$

并将y_p+1的值保存至变量y_p。估计目标的大小，目标大小的估计值为：

$S=M_{00}{e}^{\[\frac{\mathrm{\ρ}\left(y_p\right)-1}{\mathrm{\α}}\]}$

上式中α设置为区间(1,2)内的某个值，由于将目标视为圆形，则目标半径估计值为：

$R_p=\frac{\sqrt{s}}{\mathrm{\π}}$

保存R_p值。

所述步骤6)中，判断Mean shift向量是否收敛。判断收敛的标准为|y_p-y_p+1|＜ε，ε的值设置为目标初始大小的1/100。如果收敛，进入步骤2)，否则进入步骤3)。

Claims (6)

1.一种尺度自适应的运动目标跟踪方法，其特征在于，具体步骤如下：

1)读入第一帧，初始化目标窗口并建立目标模型；

2)读入下一帧；

3)设定候选目标区域，建立候选目标模型；

4)计算相似性函数、加权系数、加权系数和；

5)寻找下一个候选目标区域位置并估算目标大小；

6)判断收敛性，若收敛，进入步骤2)，若不收敛进入步骤3)。

2.根据权利要求1所述的尺度自适应的运动目标跟踪方法，其特征在于，所述步骤1)中，读入视频图像的第一帧，并手动选定一个圆形窗口，使之恰好包含整个目标；定义窗口的中心为原点，将窗口中心位置保存至变量y_p，窗口半径保存至变量R_p；对目标窗口内的每个像素点进行RGB转HSV变换，并使用H值建立目标模型q＝{q_u}_u＝1,2,...m，其中u表示色调，色调的变化区间为(1,m)，q_u为色调u对应的值，其计算方法如下：

$q_u=C\underset{i=1}{\overset{n}{\mathrm{\Σ}}}k\left(\right|\left|x_i\right|{|}^2)\mathrm{\δ}\[b\left(x_i\right)-u\]$

上式中C为归一化常量，n为像素点的个数，k为Epanechnikov核函数的轮廓函数，δ为狄拉克函数，x_i为单个像素点，b表示单个像素点的H值。

3.根据权利要求1所述的尺度自适应的运动目标跟踪方法，其特征在于，所述步骤3)中，以y_p为中心、R_p为半径设定一个候选目标窗口，建立候选目标模型p(y_p)＝{p_u(y_p)}_{u＝1,2,...,m}，p_u(y_p)为色调u对应的值，其计算方法如下：

$p_u\left(y_p\right)=C\underset{i=1}{\overset{n}{\mathrm{\Σ}}}k\left(\right|\left|\frac{x_i-y_p}{h}\right|{|}^2)\mathrm{\δ}\[b\left(x_i\right)-u\]$

上式中h为Epanechnikov函数的带宽参数，由所选定的窗口半径大小决定：

$h=\frac{1}{R_p}.$

4.根据权利要求1所述的尺度自适应的运动目标跟踪方法，其特征在于，所述步骤4)中，使用目标模型和候选目标模型计算相似性函数值，其公式如下：

$\mathrm{\ρ}\left(y_p\right)=\underset{u=1}{\overset{m}{\Σ}}\sqrt{p_u\left(y_p\right)q_u}$

并计算每个像素点的加权系数：

$w_i=\underset{u=1}{\overset{n}{\Σ}}\sqrt{\frac{q_u}{p_u\left(y_p\right)}}\mathrm{\δ}\[b\left(x_i\right)-u\],i=1,2,...,n$

然后求加权系数求和：

$M_{00}=\underset{u=1}{\overset{m}{\Σ}}{w}_i.$

5.根据权利要求1所述的尺度自适应的运动目标跟踪方法，其特征在于，所述步骤5)中，在以y_p为中心的候选目标区域计算Mean Value y_p+1：

$y_{p+1}=\frac{\underset{i=1}{\overset{m}{\Σ}}{w}_i{x}_i}{M_{00}}$

并将y_p+1的值保存至变量y_p；估计目标的大小，目标大小的估计值为：

$S=M_{00}{e}^{\[\frac{\mathrm{\ρ}\left(y_p\right)-1}{\mathrm{\α}}\]}$

上式中α设置为区间(1,2)内的某个值，由于将目标视为圆形，则目标半径估计值为：

$R_p=\frac{\sqrt{s}}{\mathrm{\π}}$

保存R_p值。

6.根据权利要求1所述的尺度自适应的运动目标跟踪方法，其特征在于，所述步骤6)中，判断Mean shift向量是否收敛，判断收敛的标准为|y_p-y_p+1|＜ε，ε的值设置为目标初始大小的1/100，如果收敛，进入步骤2)，否则进入步骤3)。