CN106951841A - 一种基于颜色和距离聚类的多目标跟踪方法 - Google Patents

Abstract

本发明提供一种基于颜色和距离聚类的多目标跟踪方法，该方法减少了跟踪目标形变带来的影响，增加目标之间的区分度，并降低了对检测器的依赖程度；该方法结合前后帧的位置信息和目标的直方图信息通过对前景点进行聚类，并计算前景点得分，最后定位目标位置，并不断更新目标的直方图特征和位置信息。

Description

一种基于颜色和距离聚类的多目标跟踪方法

技术领域

本发明涉及数字图像处理领域，更具体地，涉及一种基于颜色和距离聚类的多目标跟踪方法。

背景技术

视频多目标跟踪技术，即对一个视频序列中给定的多个运动目标，在每一帧中分别找出其对应的位置和运动轨迹，持续到视频结束或者目标离开视野范围。多目标跟踪在人工智能领域有着重要价值，如在公共场合视频监控中检测多个目标的动态，在军事领域，用于导弹防御，海洋监视、战场监视。在商业上，则用于客流量统计。然而，由于多目标间的关联性，背景的复杂性，使得多目标跟踪实现相当复杂。目前多目标跟踪算法大体分为两种：

1)基于检测和匹配的方法。这种方法的大致流程为，预先训练一个或多个检测器，如基于Haar特征的Adaboost人头分类器[1]，然后在每一帧中滑动检测每一个区域的响应，得到可能为目标的矩形框，然后对检测到的矩形框提取某种特征，比如直方图特征，再和前一帧的目标进行匹配，从而确定目标。

2)基于模板响应的在线学习方法。这种方法的流程是，对每个目标学习一种特征作为模板，在下一帧的目标邻域中，计算对该模板的响应，从而确定出目标的位置，同时更新模板。如KCF(Kernelized Correlation Filters)[2]等，通过卷积滤波器来实现的跟踪。

然而，已有的多目标跟踪技术尚存在很多不足。基于检测和匹配的方法最大的局限在于跟踪器的好坏很大程度上受检测器的质量的影响，如果检测器检测的效果不好，则直接导致跟踪效果变差，而且很多检测器的效率较低，无法满足实时需求。况且，基于检测的跟踪一般只能检测到某一类物体，所以跟踪器也只能跟踪某一类物体。而基于模板响应的在线学习方法，虽然速度上可以达到很快，但是单一的模板无法满足摄像头下目标的运动变化，诸如人在摄像头下的形变等，把预测的目标位置作为新的训练集去更新模板，容易积累误差，造成模板的漂移。

发明内容

本发明提供一种有效的抑制目标形变带来的影响和降低对检测器的依赖程度的基于颜色和距离聚类的多目标跟踪方法。

为了达到上述技术效果，本发明的技术方案如下：

一种基于颜色和距离聚类的多目标跟踪方法，包括以下步骤：

S1：计算距离得分；

S2：计算颜色得分；

S3：加权得分；

S4：聚类；

S5：目标回归；

S6：更新距离和直方图模型。

进一步地，所述步骤S1的具体过程如下：

对当前帧前景中每一个像素点，根据其和前一帧各个目标的距离，计算其属于前一帧中各个目标的可能性作为该点的属于各个目标类别的得分，得分为一个向量，向量的维数表示可能的目标数：

d(p)＝||p-cⁿ||²······(3)

对于一帧图像x_t，应用高斯混合背景建模得到运动区域的前景掩模m_t，m_t是一张二值图像，像素值为1代表的是运动区域，0代表的是背景区域，将把m_t里面为1的像素点所对应x_t的像素点统称为前景点，用集合S_t表示；

t为某一时刻,我们现有的信息是前一时刻t-1时，目标的个数N，其中cⁿ代表的是第n个目标的中心，每一个目标称为每一个类别，对于前景里某一点p，则d(p)表示的是p和类别中心cⁿ的欧氏距离，函数g(d)计算的是p属于每一个类别的距离得分，其中g函数中3σ等于该视角下目标在画面里面的宽度，对于某一类别n,如果点p距离类别中心大于3σ，该点属于该类别的可能性为0，所以距离得分也为0，如果距离小于3σ，则按照高斯函数计算其距离得分，f_dist(p)表示前景点分别属于各个类别的距离得分，用N维列向量表示:

进一步地，所述步骤S2的具体过程如下：

对当前帧前景的每一个像素点，根据前一帧各个目标的颜色直方图，计算该像素点属于每一个目标的概率，作为此像素点的得分，得分为一个向量，向量的维数表示可能的目标数:

d(p)＝||p-cⁿ||²······(6)

其中，j表示的是x_t的M个通道中的第j个通道，H^j(Oⁿ)表示的j通道上第n个类别的颜色直方图，而b^j(Oⁿ)表示的是j通道上点p落在第n个类别的颜色直方图对应的那个bin，所以ρ^j(Oⁿ)表示的是，在通道j上点p属于类别n的概率，然后对ρ^j(Oⁿ)进行归一化，那么fⁿ _hist(p)代表各个通道上的概率和，作为该点属于第个n类别的概率，d(p)＜3σ的意义和距离得分的一致，用f_hist(p)表示点p数各个类别的得分，其中是一个N维向量。

进一步地，所述步骤S3的具体过程如下：

对于每一个像素点，我们将其距离得分和直方图得分进行加权求和，得到最后的得分向量，向量的每个元素代表着该像素属于对应目标类别的得分度量：

Score(p)＝(1-α)·f_hist(p)+α·f_hist(p)···(7)

由此得到每一个点属于各类的得分，其中Score(p)是N维的向量，其中α取是权重因子，α优选0.7。

进一步地，所述步骤S4的具体过程如下：

对于每个像素点，取其的得分向量中的最大值作为像素点的最后得分，取其的得分向量中的最大值对应的类别作为该像素点的类别，由此得到两张关于像素点的图，一张是得分图，一张是类别图，类别图和得分图对应点分别指示该点属于哪个类别及其对应的得分：

[s_p,n]＝max_n∈[1,N](Score(p))···(8)

s_t(p)＝s_p···(9)

s_c(p)＝s_p···(10)

Score(p)中得分最大值所属的类别作为点p的类别，对应的得分为s_p，并构建得分图s_t，其每个点p的像素值s_t(p)正是最大得分，同时得到对应的类别图s_c，类别图上每个点指示该点所属的类别，对于得分最大值为0的点，判定其不属于任何一个类别，直接踢除此类点。

进一步地，所述步骤S5的具体过程如下：

根据步骤S4所得的类别图和得分图，对于当前某一点，计算属于以当前点为人体中心的人的模板内，并且与当前点属于同一类别的点的得分和，作为该点属于人体中心的得分，由此构建人体中心得分图，并取属于同一类的像素点中人体中心得分最大的像素点作为人体中心，也就是该类对应目标的新位置：

对得分图s_t中属于同一类别的点，进行目标回归，令目标大小用矩形模板R表示，则对于点p，把矩形框R移动到以点p为中心的位置，假设p的类别为C_p＝n,计算矩形框R内属于n类的像素点值之和记为P(p)，表示的点p属于目标中心的概率，C_p表示点p的类别：

最后对于每一类点，寻找P(p)最大的点作为目标中心，因此在求解公式(11)时，使用了非极大值抑制的方法求得极大值，再在极大值中取最大值作为最后的目标中心：

式子(12)表示的是以p为中心，对模板R内的与p属于同一类的像素点积分求和。

进一步地，所述步骤S6的具体过程如下：

在新位置根据人体模板按一定的权重更新该目标的位置信息和颜色直方图信息：

H_t(Oⁿ)＝β·H_t-1(Oⁿ)+(1-β)·H_t'(Oⁿ)···(14)

其中H_t'(Oⁿ)表示的是第t帧定位目标后目标n的直方图，β是权重因子，(1-β)则指示学习率，β越小，则新的直方图权重越大，更新越快，β取值为0.04最佳。

与现有技术相比，本发明技术方案的有益效果是：

本发明结合了前后帧的信息，并减少了模板形变带来的影响；结合距离得分和直方图得分进行像素点聚类，并积分定位目标位置；不需要每帧在全局区域检测新目标，只需要在未定义类标的区域检测，减少了对检测器的依赖；同时结合前后帧的位置信息和目标的直方图信息通过对前景点进行聚类，并计算前景点得分，最后定位目标位置。从而有效的抑制目标的偏移，同时不断更新的直方图特征和位置信息。

附图说明

图1为本发明方法流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，一种基于颜色和距离聚类的多目标跟踪方法，包括以下步骤：

S1：计算距离得分；

S2：计算颜色得分；

S3：加权得分；

S4：聚类；

S5：目标回归；

S6：更新距离和直方图模型。

进一步地，所述步骤S1的具体过程如下：

对当前帧前景中每一个像素点，根据其和前一帧各个目标的距离，计算其属于前一帧中各个目标的可能性作为该点的属于各个目标类别的得分，得分为一个向量，向量的维数表示可能的目标数：

d(p)＝||p-cⁿ||²······(3)

对于一帧图像x_t，应用高斯混合背景建模得到运动区域的前景掩模m_t，m_t是一张二值图像，像素值为1代表的是运动区域，0代表的是背景区域，将把m_t里面为1的像素点所对应x_t的像素点统称为前景点，用集合S_t表示；

t为某一时刻,我们现有的信息是前一时刻t-1时，目标的个数N，其中cⁿ代表的是第n个目标的中心，每一个目标称为每一个类别，对于前景里某一点p，则d(p)表示的是p和类别中心cⁿ的欧氏距离，函数g(d)计算的是p属于每一个类别的距离得分，其中g函数中3σ等于该视角下目标在画面里面的宽度，对于某一类别n,如果点p距离类别中心大于3σ，该点属于该类别的可能性为0，所以距离得分也为0，如果距离小于3σ，则按照高斯函数计算其距离得分，f_dist(p)表示前景点分别属于各个类别的距离得分，用N维列向量表示:

进一步地，所述步骤S2的具体过程如下：

对当前帧前景的每一个像素点，根据前一帧各个目标的颜色直方图，计算该像素点属于每一个目标的概率，作为此像素点的得分，得分为一个向量，向量的维数表示可能的目标数:

d(p)＝||p-cⁿ||²······(6)

其中，j表示的是x_t的M个通道中的第j个通道，H^j(Oⁿ)表示的j通道上第n个类别的颜色直方图，而b^j(Oⁿ)表示的是j通道上点p落在第n个类别的颜色直方图对应的那个bin，所以ρ^j(Oⁿ)表示的是，在通道j上点p属于类别n的概率，然后对ρ^j(Oⁿ)进行归一化，那么fⁿ _hist(p)代表各个通道上的概率和，作为该点属于第个n类别的概率，d(p)＜3σ的意义和距离得分的一致，用f_hist(p)表示点p数各个类别的得分，其中是一个N维向量。

进一步地，所述步骤S3的具体过程如下：

对于每一个像素点，我们将其距离得分和直方图得分进行加权求和，得到最后的得分向量，向量的每个元素代表着该像素属于对应目标类别的得分度量：

Score(p)＝(1-α)·f_hist(p)+α·f_hist(p)···(7)

由此得到每一个点属于各类的得分，其中Score(p)是N维的向量，其中α取是权重因子，α优选0.7。

进一步地，所述步骤S4的具体过程如下：

对于每个像素点，取其的得分向量中的最大值作为像素点的最后得分，取其的得分向量中的最大值对应的类别作为该像素点的类别，由此得到两张关于像素点的图，一张是得分图，一张是类别图，类别图和得分图对应点分别指示该点属于哪个类别及其对应的得分：

[s_p,n]＝max_n∈[1,N](Score(p))···(8)

s_t(p)＝s_p···(9)

s_c(p)＝s_p···(10)

Score(p)中得分最大值所属的类别作为点p的类别，对应的得分为s_p，并构建得分图s_t，其每个点p的像素值s_t(p)正是最大得分，同时得到对应的类别图s_c，类别图上每个点指示该点所属的类别，对于得分最大值为0的点，判定其不属于任何一个类别，直接踢除此类点。

进一步地，所述步骤S5的具体过程如下：

根据步骤S4所得的类别图和得分图，对于当前某一点，计算属于以当前点为人体中心的人的模板内，并且与当前点属于同一类别的点的得分和，作为该点属于人体中心的得分，由此构建人体中心得分图，并取属于同一类的像素点中人体中心得分最大的像素点作为人体中心，也就是该类对应目标的新位置：

对得分图s_t中属于同一类别的点，进行目标回归，令目标大小用矩形模板R表示，则对于点p，把矩形框R移动到以点p为中心的位置，假设p的类别为C_p＝n,计算矩形框R内属于n类的像素点值之和记为P(p)，表示的点p属于目标中心的概率，C_p表示点p的类别：

最后对于每一类点，寻找P(p)最大的点作为目标中心，因此在求解公式(11)时，使用了非极大值抑制的方法求得极大值，再在极大值中取最大值作为最后的目标中心：

式子(12)表示的是以p为中心，对模板R内的与p属于同一类的像素点积分求和。

进一步地，所述步骤S6的具体过程如下：

在新位置根据人体模板按一定的权重更新该目标的位置信息和颜色直方图信息：

H_t(Oⁿ)＝β·H_t-1(Oⁿ)+(1-β)·H_t'(Oⁿ)···(14)

其中H_t'(Oⁿ)表示的是第t帧定位目标后目标n的直方图，β是权重因子，(1-β)则指示学习率，β越小，则新的直方图权重越大，更新越快，β取值为0.04最佳。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种基于颜色和距离聚类的多目标跟踪方法，其特征在于，包括以下步骤：

S1：计算距离得分；

S2：计算颜色得分；

S3：加权得分；

S4：聚类；

S5：目标回归；

S6：更新距离和直方图模型。

2.根据权利要求1所述的基于颜色和距离聚类的多目标跟踪方法，其特征在于，所述步骤S1的具体过程如下：

对当前帧前景中每一个像素点，根据其和前一帧各个目标的距离，计算其属于前一帧中各个目标的可能性作为该点的属于各个目标类别的得分，得分为一个向量，向量的维数表示可能的目标数：

$f_{dist}^n\left(p\right)=g_{p\∈S_t}\left(d\right(p\left)\right)......\left(1\right)$

$g\left(d\right)=\left\{\begin{array}{c}\frac{1}{\mathrm{\&sigma;}\sqrt{2\mathrm{\&pi;}}}{e}^{-\frac{d^2}{2{\mathrm{\&sigma;}}^2}},\left|d\right|<3\mathrm{\&sigma;}\\ 0,\left|d\right|>3\mathrm{\&sigma;}\end{array}\right....\left(2\right)$

d(p)＝||p-cⁿ||²……(3)

对于一帧图像x_t，应用高斯混合背景建模得到运动区域的前景掩模m_t，m_t是一张二值图像，像素值为1代表的是运动区域，0代表的是背景区域，将把m_t里面为1的像素点所对应x_t的像素点统称为前景点，用集合S_t表示；

t为某一时刻,我们现有的信息是前一时刻t-1时，目标的个数N，其中cⁿ代表的是第n个目标的中心，每一个目标称为每一个类别，对于前景里某一点p，则d(p)表示的是p和类别中心cⁿ的欧氏距离，函数g(d)计算的是p属于每一个类别的距离得分，其中g函数中3σ等于该视角下目标在画面里面的宽度，对于某一类别n,如果点p距离类别中心大于3σ，该点属于该类别的可能性为0，所以距离得分也为0，如果距离小于3σ，则按照高斯函数计算其距离得分，f_dist(p)表示前景点分别属于各个类别的距离得分，用N维列向量表示:

3.根据权利要求2所述的基于颜色和距离聚类的多目标跟踪方法，其特征在于，所述步骤S2的具体过程如下：

对当前帧前景的每一个像素点，根据前一帧各个目标的颜色直方图，计算该像素点属于每一个目标的概率，作为此像素点的得分，得分为一个向量，向量的维数表示可能的目标数:

${f^n}_{hist}\left(p\right)=\left\{\begin{array}{c}\underset{j}{\overset{M}{\&Sigma;}}\frac{{\mathrm{\&rho;}}^j\left(O^n\right)}{{\mathrm{\&rho;}}^j\left(O^1\right)+...+{\mathrm{\&rho;}}^j\left(O^n\right)+\mathrm{\&lambda;}},1\&le;n\&le;N,d\left(p\right)<3\mathrm{\&sigma;}\\ 0,d\left(p\right)>3\mathrm{\&sigma;}\end{array}\right....\left(4\right)$

${\mathrm{\&rho;}}^j\left(O^n\right)=\frac{b^j\left(O^n\right)}{H^j\left(O^n\right)}......\left(5\right)$

d(p)＝||p-cⁿ||²……(6)

其中，j表示的是x_t的M个通道中的第j个通道，H^j(Oⁿ)表示的j通道上第n个类别的颜色直方图，而b^j(Oⁿ)表示的是j通道上点p落在第n个类别的颜色直方图对应的那个bin，所以ρ^j(Oⁿ)表示的是，在通道j上点p属于类别n的概率，然后对ρ^j(Oⁿ)进行归一化，那么fⁿ _hist(p)代表各个通道上的概率和，作为该点属于第个n类别的概率，d(p)＜3σ的意义和距离得分的一致，用f_hist(p)表示点p数各个类别的得分，其中是一个N维向量。

4.根据权利要求3所述的基于颜色和距离聚类的多目标跟踪方法，其特征在于，所述步骤S3的具体过程如下：

对于每一个像素点，我们将其距离得分和直方图得分进行加权求和，得到最后的得分向量，向量的每个元素代表着该像素属于对应目标类别的得分度量：

Score(p)＝(1-α)·f_hist(p)+α·f_hist(p)…(7)

由此得到每一个点属于各类的得分，其中Score(p)是N维的向量，其中α取是权重因子，α优选0.7。

5.根据权利要求4所述的基于颜色和距离聚类的多目标跟踪方法，其特征在于，所述步骤S4的具体过程如下：

对于每个像素点，取其的得分向量中的最大值作为像素点的最后得分，取其的得分向量中的最大值对应的类别作为该像素点的类别，由此得到两张关于像素点的图，一张是得分图，一张是类别图，类别图和得分图对应点分别指示该点属于哪个类别及其对应的得分：

[s_p,n]＝max_n∈[1,N](Score(p))…(8)

s_t(p)＝s_p…(9)

s_c(p)＝s_p…(10)

Score(p)中得分最大值所属的类别作为点p的类别，对应的得分为s_p，并构建得分图s_t，其每个点p的像素值s_t(p)正是最大得分，同时得到对应的类别图s_c，类别图上每个点指示该点所属的类别，对于得分最大值为0的点，判定其不属于任何一个类别，直接踢除此类点。

6.根据权利要求5所述的基于颜色和距离聚类的多目标跟踪方法，其特征在于，所述步骤S5的具体过程如下：

根据步骤S4所得的类别图和得分图，对于当前某一点，计算属于以当前点为人体中心的人的模板内，并且与当前点属于同一类别的点的得分和，作为该点属于人体中心的得分，由此构建人体中心得分图，并取属于同一类的像素点中人体中心得分最大的像素点作为人体中心，也就是该类对应目标的新位置：

对得分图s_t中属于同一类别的点，进行目标回归，令目标大小用矩形模板R表示，则对于点p，把矩形框R移动到以点p为中心的位置，假设p的类别为C_p＝n,计算矩形框R内属于n类的像素点值之和记为P(p)，表示的点p属于目标中心的概率，C_p表示点p的类别：

$p_c={\max }_{C_{pi}=n}\left(P\right(p_i\left)\right)...\left(11\right)$

最后对于每一类点，寻找P(p)最大的点作为目标中心，因此在求解公式(11)时，使用了非极大值抑制的方法求得极大值，再在极大值中取最大值作为最后的目标中心：

式子(12)表示的是以p为中心，对模板R内的与p属于同一类的像素点积分求和。

7.根据权利要求6所述的基于颜色和距离聚类的多目标跟踪方法，其特征在于，所述步骤S6的具体过程如下：

在新位置根据人体模板按一定的权重更新该目标的位置信息和颜色直方图信息：

$c^n=p_c^n...\left(13\right)$

H_t(Oⁿ)＝β·H_t-1(Oⁿ)+(1-β)·H′_t(Oⁿ)…(14)

其中H′_t(Oⁿ)表示的是第t帧定位目标后目标n的直方图，β是权重因子，(1-β)则指示学习率，β越小，则新的直方图权重越大，更新越快，β取值为0.04最佳。