CN103996207A - 一种物体跟踪方法 - Google Patents

Abstract

一种物体跟踪方法，包括：背景建模步骤：根据背景图像建立所述背景图像的GMM模型；前景建模步骤：根据多个角度及距离下拍摄的被跟踪物体图像，提取被跟踪物体图像中的特征点，并计算这些特征点的描述算子，以所述特征点的描述算子作为描述前景物体的初始特征，建立前景目标物体特征向量集；跟踪步骤：对初步确定的目标物体区域进行特征点检测，并计算特征点描述算子，对计算所得的特征点描述算子与前景目标物体特征向量集中的特征点描述算子进行匹配，根据匹配成功的特征点确定被跟踪物体所在的前景区域。本物体跟踪方法的跟踪性能好，实时性、鲁棒性强。

Description

一种物体跟踪方法

技术领域

本发明涉及图像处理技术领域，特别是一种物体跟踪方法。

背景技术

物体追踪是计算机视觉研究的重要方向之一，在生物医学、虚拟现实、机器人、安全监控、等领域有着广泛的应用。目前国内外学者在物体跟踪方面已经取得了很多的研究成功。应用比较多的跟踪方法有：帧差法、背景差分法、光流法、参数建模等方法。但是在实际应用当中，由于检测环境的复杂性，现有的跟踪算法还是有一定的局限性。其中使用高斯混合模型(GMM)背景建模的运动检测方法作为经典的跟踪方法，在背景较为固定的场合应用最多。但是，由于GMM跟踪方法仅对背景进行建模，没有提取任何与前景有关的信息，当相邻帧之间出现较大的背景差异或者光照条件显著改变时，基于GMM的跟踪方法会出现较大误差。

发明内容

本发明的主要目的在于克服现有技术的不足，提供一种跟踪性能好，实时性、鲁棒性强的物体跟踪方法。

为实现上述目的，本发明采用以下技术方案：

一种物体跟踪方法，包括以下步骤：

a.背景建模步骤：根据背景图像建立所述背景图像的GMM模型；

b.前景建模步骤：根据多个角度及距离下拍摄的被跟踪物体图像，提取被跟踪物体图像中的特征点，并计算这些特征点的描述算子，以所述特征点的描述算子作为描述前景物体的初始特征，建立前景目标物体特征向量集；

c.跟踪步骤：

对于当前图像帧，将图像中的每个像素与已建立的GMM模型进行匹配，初步确定目标物体区域，对初步确定的目标物体区域进行特征点检测，并计算特征点描述算子，对计算所得的特征点描述算子与前景目标物体特征向量集中的特征点描述算子进行匹配；

如果成功匹配的特征点个数不多于预定个数，整幅图像判断为背景；

如果匹配成功的特征点个数超过预定个数，则根据匹配成功的特征点确定被跟踪物体所在的前景区域，其他区域为背景区域。

在进一步的技术方案中，

所述前景建模步骤中，使用SURF算法提取被跟踪物体图像中的特征点并计算特征点的SURF描述算子；所述跟踪步骤中，使用SURF算法对初步确定的目标物体区域进行特征点检测并计算SURF描述算子。

还包括以下步骤：

d.背景模型更新步骤：使用所述跟踪步骤确定的背景区域，对所述背景图像的GMM模型进行更新，用于针对后续图像帧的所述跟踪步骤。

还包括以下步骤：

e.前景模型更新步骤：将所述跟踪步骤确定的前景区域内未匹配成功的特征点加入所述前景目标物体特征向量集，用于针对后续图像帧的所述跟踪步骤。

所述背景建模步骤包括：

a1.使用k-means算法对图像像素在RGB空间进行聚类；

a2.使用k-means聚类结果初始化EM算法，通过EM算法的多次迭代获得背景图像的GMM模型。

步骤a1中，像素聚类的数目为3～5，

k-means算法使用误差平方和准则函数作为聚类准则函数：

$J=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{p\∈X_i}{\mathrm{\Σ}}{\left|\right|p-m_i\left|\right|}^2$

其中，p表示所有像素的RGB灰度值，k表示k-means算法最终的聚类结果数，k取值为3，X_i表示第i个聚类子集，i为聚类子集索引，取值为1、2、3，m_i表示第i个聚类子集的聚类中心；

步骤a2中，根据k-means聚类结果计算每个聚类的均值、方差和各个聚类占总样本数的比例，初始化EM算法，通过EM算法的多次迭代，直至3个高斯模型的参数不再显著变化，此时迭代获得的参数即背景图像的初始高斯混合模型参数。

所述跟踪步骤中，如果匹配成功的特征点个数超过预定个数，则计算匹配成功的像素点所形成的凸包，并计算出凸包的最小外接矩形，将所述最小外接矩形内的图像区域确定为被跟踪物体所在的前景区域，而所述最小外接矩形之外的区域为背景区域。

所述跟踪步骤包括：

c1.图像的每个像素与已建立的GMM模型进行匹配，如果像素能够匹配成功，则认为该像素属于背景图像，如果不成功判断该像素属于前景图像，

匹配过程中，为若某时刻像素值x满足|x-u_k|＜D*σ，则认为x与第k个高斯模型匹配，u_k表示该高斯模型的均值。优选地，置信参数D取值为1.5；

c2.在判断为前景图像的区域进行SURF特征点检测，并计算特征点的描述算子；

c3.对计算所得的描述算子与所述前景目标物体特征向量集的特征点描述算子进行匹配，

所述特征点匹配过程中，使用基于欧式距离的最近邻搜索算法对前景目标物体特征向量集的特征点进行匹配，欧几里得距离公式为：

$D(M,N)=\sqrt{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{(m_i-n_i)}^2}$

其中M表示前景目标物体特征向量集的特征向量，N为在前景区域检测到的特征向量，k表示特征向量维数，m_i表示目标物体特征向量M的第i维的取值,n_i表示前景检测区域特征向量N第i维的取值，选取使距离函数D最小的特征点作为匹配结果；

c4.如果匹配成功的特征点个数不多于预定个数，则认为被跟踪物体未出现在场景中，整幅图像判断为背景；如果特征点匹配成功的个数多于预定个数，转入下一步；

c5.由匹配成功像素点形成凸包，并确定所述凸包的最小外接矩形，确定所述最小外接矩形内的图像区域标为被跟踪物体所在的前景区域，所述最小外接矩形之外的区域为背景区域。

所述凸包采用卷包裹法，从一个在所述凸包上的点开始向着一个方向依次选择最外侧的点当回到最初的点，所选出的点集即所要求的凸包。

所述背景模型更新步骤包括：

用跟踪步骤确定的背景区域，使用下列公式对所述背景图像的GMM模型进行更新：

w_ti＝(1-α)w_(t-1)i+α

u_ti＝(1-α)μ_(t-1)i+αI(t)

Σ_ti＝(1-α)Σ_(t-1)i+α(I(t)-u_(t-1)i)^T(I(t)-u_(t-1)i)

其中w_ti表示第t时刻的第i个高斯模型在混合模型中的权重，α表示学习率，Σ_ti表示第t时刻第i个高斯模型的的协方差，u_ti表示第t时刻第i个高斯模型的均值，I(t)表示图像中的某个与第i个模型匹配的像素。

本发明的有益效果：

本发明在GMM模型对背景图像进行建模的同时，使用基于不变特征点的检测方式描述前景特征，对前景图像进行建模，既使用了GMM颜色模型的全局信息，又对前景的局部特征进行描述，弥补了传统跟踪方法中前景图像特征信息的缺失，因此本发明相比传统算法具有较好的鲁棒性和较快的运行速度，能大为改善物体跟踪性能。尤其是，本发明在实际测试中发现在嵌入式应用场合仍有很好的实时性，因此该方法特别适用于人机交互，机器人，生物医学等对实时性要求较高的场合。

附图说明

图1为本发明物体跟踪方法的基本处理流程；

图2为实施例中待跟踪物体示例；

图3为实施例中待跟踪场景中的某一帧图像示例；

图4为实施例中高斯混合模型识别前景和背景后的图像示例，针对图3使用高斯混合模型初步标记的物体区域(其中白色区域为高斯混合模型初步确定的物体可能出现的区域)；

图5为实施例中在缩小区域之后的SURF特征点匹配结果示例；

图6为实施例的最终的跟踪结果示例。

具体实施方式

以下结合附图对本发明的实施例作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

在本发明中，物体跟踪方法先使用场景的高斯混合模型初步确定目标物体出现的区域，由于基于色彩特征的高斯混合模型所确定的区域并不准确，本发明以不变性特征点的检测方式，在高斯混合模型所标示出可能出现物体的图像区域进行特征点检测，并与目标物体特征点集合进行匹配，从而确定物体的精确区域。

参阅图1，物体跟踪方法包括几个步骤：背景建模步骤、前景建模步骤、跟踪步骤、背景模型更新步骤、前景模型更新步骤。下面详细介绍各步骤的具体处理方法。

一、背景建模步骤

本步骤输入背景图像，输出GMM模型参数。

所述背景建模步骤具体包括：

1.首先使用k-means算法对图像像素在RGB空间进行聚类；

2.使用k-means聚类结果初始化EM算法，通过EM算法的多次迭代获得背景图像的GMM模型。

二、前景建模步骤

本步骤利用多个角度及距离下拍摄被跟踪物体，输出被跟踪物体的样本库。

所述前景建模步骤具体包括：

1.提前对被跟踪物体进行多角度及距离拍摄，为了消除背景对物体特征的影响，拍摄背景选择与被跟踪物体具有较大差别的纯色；

2.使用SURF算法提取被跟踪物体图像中的特征点，并计算这些特征点的描述算子；

3.这些图像的特征点描述算子作为作为描述前景物体的初始特征，建立前景目标物体特征向量集。

应理解，步骤一和步骤二的执行顺序并不限制，例如，如图1所示，背景建模也可以在对视频进行跟踪时基于首帧图像分析建模，前景建模步骤可以在背景建模步骤之前处理。

三、跟踪步骤

本步骤针对开始跟踪后的视频中的每一帧图像进行分析，输出物体跟踪结果。

所述跟踪步骤具体包括：

1.初步确定目标物体区域，由于高斯混合模型使用全局特征搜索物体，所以初步搜索中，图像的每个像素与已建立的高斯混合模型进行匹配，如果该像素能够匹配成功，则认为该像素属于背景区域，如果不成功则标记该像素属于目标物体区域，最终标记的目标物体区域记作R；

2.对第1步中确定的图像区域R进行SURF特征点检测，并计算描述算子；

3.对计算所得的描述算子与前景目标物体特征向量集中的特征点描述算子进行匹配；

4.统计匹配成功的特征点个数，如果没有特征点匹配成功，或者成功匹配的特征点个数不多于6个则认为被跟踪物体未出现在场景中，此时整幅图像标记为背景；如果特征点匹配成功的个数不少于7个，转入下一步；

5.根据计算几何，计算匹配成功像素点所形成的凸包，并计算出凸包的最小外接矩形；该最小外接矩形内的图像区域标记为被跟踪物体所在的前景区域，其即为跟踪结果，而最小外接矩形之外的区域标记为背景区域。

四、背景模型更新步骤

根据GMM跟踪方法，使用跟踪步骤对当前帧的判决结果，用所确定的背景区域对GMM背景模型进行更新。

五、前景模型更新步骤

使用跟踪步骤对当前帧的标记结果，统计前景区域内未匹配成功的特征点，将这些特征点加入前景目标物体特征向量集，用于后续帧的匹配。

以下对更优选的实施例作进一步具体描述。

所述背景建模步骤可以包括：

1.首先使用k-means算法对图像像素在RGB空间进行聚类。优选的像素聚类的数目为3～5。

k-means算法可以使用误差平方和准则函数作为聚类准则函数，其定义为：

$J=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{p\∈X_i}{\mathrm{\Σ}}{\left|\right|p-m_i\left|\right|}^2$

在本例中p表示所有像素的RGB灰度值，k表示k-means算法最终的聚类结果数，例如，k取值为3，X_i表示第i个聚类子集，i为聚类子集索引，取值可为1、2、3，m_i表示第i个聚类子集的聚类中心。

2.根据k-means聚类结果计算每个聚类的均值，方差和各个聚类占总样本数的比例，初始化EM算法，通过EM算法的多次迭代，直至3个高斯模型的参数不再显著变化。此时迭代获得的参数即背景初始的高斯混合模型参数。

前景建模步骤可以包括：

1.提前对被跟踪物体进行多角度及距离拍摄，为了消除背景对物体特征的影响，拍摄背景选择与被跟踪物体具有较大差别的纯色。

2.使用SURF算法提取被跟踪物体图像中的特征点，并计算这些特征点的SURF描述算子。例如，SURF算法选用参数为4个尺度(octives)，每个尺度使用4层图像。

3.这些图像的特征点描述算子作为描述前景物体的初始特征，建立前景目标物体特征向量集。

跟踪模块，本模块输入为开始跟踪后的视频中的每一帧图像，输出为物体跟踪结果。

跟踪步骤可以包括：

1.图像的每个像素与已建立的高斯混合模型进行匹配，如果该像素能够匹配成功，则认为该像素属于背景图像，如果不成功判断该像素属于前景图像。

所述匹配过程为若某时刻像素值x满足，|x-u_k|＜D*σ则认为x与第k个高斯模型匹配，其中u_k为第k个高斯模型的均值。取较小的置信参数D，可减少目标物体区域被判为背景的错误，尽可能地减少前景像素被判决为背景像素。一个实施例中置信参数D优选取值为1.5。

2.在决策为前景的图像区域处进行SURF特征点检测，并计算特征点的描述算子。

3.对计算所得的描述算子与前景目标物体特征向量集的特征点描述算子进行匹配。

所述特征点匹配过程为使用基于欧式距离的最近邻搜索算法对前景目标物体特征向量集的特征点进行匹配。欧几里得距离公式定义为：

$D(M,N)=\sqrt{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{(m_i-n_i)}^2}$

其中M表示前景目标物体特征向量集的特征向量，N为在前景区域检测到的特征向量，k表示特征向量维数。m_i表示目标物体特征向量M的第i维的取值,n_i表示前景检测区域特征向量N第i维的取值。选取使距离函数D最小的特征点作为匹配结果。

4.统计匹配成功的特征点个数，如果没有特征点匹配成功，或者成功匹配的特征点个数不多于6个则认为被跟踪物体未出现在场景中，此时整幅图像标记为背景。如果特征点匹配成功的个数不少于7个，转入下一步骤。

5.根据计算几何的知识，计算匹配成功像素点所形成的凸包。并计算出凸包的最小外接矩形(SMBR)。

所述凸包的计算可采用卷包裹法(Gift Wrapping)，即从一个必然在凸包上的点开始向着一个方向依次选择最外侧的点当回到最初的点时，所选出的点集就是所要求的凸包。

计算出的凸包最小外接矩形内的图像区域标记为被跟踪物体所在的前景区域即为跟踪结果。最小外接矩形之外的区域标记为背景区域。

背景模型更新步骤可以包括：

根据GMM跟踪方法，使用跟踪步骤对当前帧的判决结果，用所确定的背景区域对GMM背景模型进行更新。可使用下列公式对背景的GMM模型进行更新：

w_ti＝(1-α)w_(t-1)i+α

u_ti＝(1-α)μ_(t-1)i+αI(t)

Σ_ti＝(1-α)Σ_(t-1)i+α(I(t)-u_(t-1)i)^T(I(t)-u_(t-1)i)

其中w_ti表示第t时刻的第i个高斯模型在混合模型中的权重，Σ_ti表示第t时刻第i个高斯模型的的协方差，u_ti表示第t时刻第i个高斯模型的均值，α表示学习率，I(t)表示图像中的某个与第i个模型匹配的像素。

前景更新可以包括：

使用跟踪步骤对当前帧的判决结果，统计最小外接矩形之内的未匹配成功的SURF特征点，将这些特征点的描述算子加入前景目标物体特征向量集，用于后续帧的匹配。

图2-图6展示了使用本发明实施例进行物体跟踪的一个具体示例。

相对于传统的跟踪方法，本发明的方法能够有更好识别跟踪效果。尤其是本发明的方法结合了全局的色彩特征和图像局部不变特征，使得在遮挡严重的复杂场景等场合都有较好的跟踪效果。同时，相比传统的物体识别方法，本发明的方法跟踪速度更快，并且具有一定的通用性，适用于车辆，行人等普通物体跟踪场合。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种物体跟踪方法，其特征在于，包括以下步骤：

a.背景建模步骤：根据背景图像建立所述背景图像的GMM模型；

b.前景建模步骤：根据多个角度及距离下拍摄的被跟踪物体图像，提取被跟踪物体图像中的特征点，并计算这些特征点的描述算子，以所述特征点的描述算子作为描述前景物体的初始特征，建立前景目标物体特征向量集；

c.跟踪步骤：

对于当前图像帧，将图像中的每个像素与已建立的GMM模型进行匹配，初步确定目标物体区域，对初步确定的目标物体区域进行特征点检测，并计算特征点描述算子，对计算所得的特征点描述算子与前景目标物体特征向量集中的特征点描述算子进行匹配；

如果成功匹配的特征点个数不多于预定个数，整幅图像判断为背景；

如果匹配成功的特征点个数超过预定个数，则根据匹配成功的特征点确定被跟踪物体所在的前景区域，其他区域为背景区域。

2.如权利要求1所述的物体跟踪方法，其特征在于，所述前景建模步骤中，使用SURF算法提取被跟踪物体图像中的特征点并计算特征点的SURF描述算子；所述跟踪步骤中，使用SURF算法对初步确定的目标物体区域进行特征点检测并计算SURF描述算子。

3.如权利要求1所述的物体跟踪方法，其特征在于，还包括以下步骤：

d.背景模型更新步骤：使用所述跟踪步骤确定的背景区域，对所述背景图像的GMM模型进行更新，用于针对后续图像帧的所述跟踪步骤。

4.如权利要求1所述的物体跟踪方法，其特征在于，还包括以下步骤：

e.前景模型更新步骤：将所述跟踪步骤确定的前景区域内未匹配成功的特征点加入所述前景目标物体特征向量集，用于针对后续图像帧的所述跟踪步骤。

5.如权利要求1至4任一项所述的物体跟踪方法，其特征在于，所述背景建模步骤包括：

a1.使用k-means算法对图像像素在RGB空间进行聚类；

a2.使用k-means聚类结果初始化EM算法，通过EM算法的多次迭代获得背景图像的GMM模型。

6.如权利要求5所述的物体跟踪方法，其特征在于，

步骤a1中，像素聚类的数目为3～5，

k-means算法使用误差平方和准则函数作为聚类准则函数：

$J=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{p\∈X_i}{\mathrm{\Σ}}{\left|\right|p-m_i\left|\right|}^2$

其中，p表示所有像素的RGB灰度值，k表示k-means算法最终的聚类结果数，k取值为3，X_i表示第i个聚类子集，i为聚类子集索引，取值为1、2、3，m_i表示第i个聚类子集的聚类中心；

步骤a2中，根据k-means聚类结果计算每个聚类的均值、方差和各个聚类占总样本数的比例，初始化EM算法，通过EM算法的多次迭代，直至3个高斯模型的参数不再显著变化，此时迭代获得的参数即背景图像的初始高斯混合模型参数。

7.如权利要求1至4任一项所述的物体跟踪方法，其特征在于，所述跟踪步骤中，如果匹配成功的特征点个数超过预定个数，则计算匹配成功的像素点所形成的凸包，并计算出凸包的最小外接矩形，将所述最小外接矩形内的图像区域确定为被跟踪物体所在的前景区域，而所述最小外接矩形之外的区域为背景区域。

8.如权利要求1至4任一项所述的物体跟踪方法，其特征在于，所述跟踪步骤包括：

c1.图像的每个像素与已建立的GMM模型进行匹配，如果像素能够匹配成功，则认为该像素属于背景图像，如果不成功判断该像素属于前景图像，

匹配过程中，为若某时刻像素值x满足|x-u_k|＜D*σ，则认为x与第k个高斯模型匹配，其中μ_k为GMM模型中第k个模型的均值，优选地，置信参数D取值为1.5；

c2.在判断为前景图像的区域进行SURF特征点检测，并计算特征点的描述算子；

c3.对计算所得的描述算子与所述前景目标物体特征向量集的特征点描述算子进行匹配，

所述特征点匹配过程中，使用基于欧式距离的最近邻搜索算法对前景目标物体特征向量集的特征点进行匹配，欧几里得距离公式为：

$D(M,N)=\sqrt{\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{(m_i-n_i)}^2}$

其中M表示前景目标物体特征向量集的特征向量，N为在前景区域检测到的特征向量，k表示特征向量维数，m_i表示目标物体特征向量M的第i维的取值,n_i表示前景检测区域特征向量N第i维的取值，选取使距离函数D最小的特征点作为匹配结果；

c4.如果匹配成功的特征点个数不多于预定个数，则认为被跟踪物体未出现在场景中，整幅图像判断为背景；如果特征点匹配成功的个数多于预定个数，转入下一步；

c5.由匹配成功像素点形成凸包，并确定所述凸包的最小外接矩形，确定所述最小外接矩形内的图像区域标为被跟踪物体所在的前景区域，所述最小外接矩形之外的区域为背景区域。

9.如权利要求8所述的物体跟踪方法，其特征在于，所述凸包采用卷包裹法，从一个在所述凸包上的点开始向着一个方向依次选择最外侧的点当回到最初的点，所选出的点集即所要求的凸包。

10.如权利要求1至4任一项所述的物体跟踪方法，其特征在于，所述背景模型更新步骤包括：

用跟踪步骤确定的背景区域，使用下列公式对所述背景图像的GMM模型进行更新：

w_ti＝(1-α)w_(t-1)i+α

u_ti＝(1-α)μ_(t-1)i+αI(t)

Σ_ti＝(1-α)Σ_(t-1)i+α(I(t)-u_(t-1)i)^T(I(t)-u_(t-1)i)

其中w_ti表示第t时刻的第i个高斯模型在混合模型中的权重，α表示学习率，Σ_ti表示第t时刻第i个高斯模型的的协方差，u_ti表示第t时刻第i个高斯模型均值，I(t)表示图像中的某个与第i个模型匹配的像素。