CN102005052A - 基于核密度估计的遮挡人体跟踪方法 - Google Patents

Abstract

本发明充分利用空间信息、颜色信息、运动信息对视频图像进行块建模、颜色建模和运动建模，通过混合高斯建模法，将运动人体的前景信息提取出来；根据人体衣服的颜色信息，利用Epanechnikov核密度梯度估计算法，对存储模型中的人体进行聚类，实现块建模；采用非参数的核密度估计算法和基于高斯分布的运动建模，分别获取颜色密度函数和运动密度函数，并利用颜色密度函数和运动密度函数对当前帧的前景区域进行后验概率估计，以获取后验概率图像，根据对该图像中遮挡人体进行分割以实现人体目标的跟踪。实验结果表明，本发明提出的算法有效地解决了遮挡人体目标跟踪问题。

Description

基于核密度估计的遮挡人体跟踪方法

技术领域

本发明涉及一种基于核密度估计的遮挡人体跟踪方法，具体地说，涉及一种对运动人体的前景检测结果进行遮挡人体跟踪的方法。

背景技术

目标跟踪是图像处理、模式识别、计算机视觉等领域的研究热点，在视频监控、智能交通和军事等方面有广泛应用。视频监控最终目的是要用计算机视觉的方法，对被监控场景中的变化通过摄像机拍摄的图像序列自动分析来进行定位识别和跟踪，并在此基础上分析和判断目标的行为，做到既能完成日常管理又能在异常情况下及时做出相应反应。一个实用的跟踪系统不但要求能够实时适应目标各种运动导致的外观变化，而且要求对场景中存在的诸如遮挡、光照变化等因素的影响不敏感。

纵观国内外对视频监控技术的研究，当前主要集中在多摄像机融合、摄像机标定、目标检测跟踪、目标行为识别与描述等技术方面。其中运动目标跟踪已成为模式识别、计算机视觉、图像处理、武器制导等领域重要研究课题，它将图像处理、信息科学、自动控制等有机结合起来，形成了一种能从图像信号中自动识别目标、提取和预测目标位置信息、自动跟踪运动目标的技术。

所谓的目标跟踪就是通过分析图像传感器拍摄到的视频序列，得到运动目标的运动参数比如位置、加速度、速度、运动轨迹等等，以及运动目标的其他特征信息，从而进一步处理与分析，实现对运动目标行为的理解，以完成更高一级的任务。

一般视频监控系统分为目标检测和人体跟踪两部分，几乎每一个视频监控系统都是从目标检测这一步开始，所谓目标检测，就是把目标物体对应的区域从视频序列的图像中分离出来。目标检测的方法主要分为三种：光流法、帧差法、减背景法。

在解决人体遮挡问题的目标跟踪中，主要采用单摄像机和多摄像机两种方法，多摄像机的方法是指多个摄像机在不同的角度对同一个视野进行拍摄，该方法弥补了一些三维信息的丢失，但是弥补的信息仍然是有限的，而且对计算摄像机间的位置配置的精确度要求非常高，同时场景变化后对原来的算法影响较大，单摄像机的方法主要是通过单个摄像机来实现人体的跟踪，该方法能够很容易对位置进行配置，有很好的实用价值，解决遮挡问题时还可采用基于颜色的单摄像机的方法和基于模块的单摄像机方法。

发明内容

本发明的目的是提供一种有效的基于核密度估计的遮挡人体跟踪方法。

为实现上述目的，本发明所采取的技术方案是：

(1)根据人体衣服的颜色信息，通过均值漂移的聚类算法对检测结果中的人体进行聚类，形成相应的颜色相近的第一模块区域；根据当前帧的前景区域中的像素的位置获取第二模块区域，该第二模块区域满足以下关系式(1)：

$M^{\&prime;\&prime;}=\left\{(x,y)\right|0<x<w_{t-1},h_{t-1}(\frac{y_t}{h_t}-\mathrm{\&alpha;})<y<h_{t-1}(\frac{y_t}{h_t}+\mathrm{\&alpha;})---\left(1\right)$

式(1)中，M″表示第二模块区域，w_t-1、h_t-1分别表示已存储模型中人体的宽度和高度信息，c_t，x，y表示当前帧的前景区域中的像素，h_t表示当前像素c_t，x，y所在的人体的高度信息，y_t表示当前像素c_t，x，y的纵坐标y_t，α是个小数；(x，y)表示根据当前帧的前景区域中的像素x_t，x，y位置获取第二模块区域的坐标。

然后取第一模块区域和第二模块区域的交集得到第三模块区域；

(2)使用核密度估计的方法来估计第三模块区域的颜色密度分布情况；并根据公式(2)获得运动人体的前景的运动密度函数，

$P_{\mathrm{Mt}-1}\left(v_t\right)=g_{{\mathrm{\&sigma;}}_1}(x_{t,1}-x_{t-\mathrm{1,1}},y_{t,1}-y_{t-\mathrm{1,1}})g_{{\mathrm{\&sigma;}}_2}(x_{t,2}-x_{t-\mathrm{1,2}},y_{t,2}-y_{t-\mathrm{1,2}})g_{{\mathrm{\&sigma;}}_3}(x_{t,3}-x_{t-\mathrm{1,3}},y_{t,3}-t_{t-\mathrm{1,3}})---\left(2\right)$

式(2)中，P_Mt-1(v_t)表示运动密度函数，v_t表示运动向量，(x_t，1，y_t，1)，(x_t，2，y_t，2)，(x_t，3，y_t，3)表示当前帧中人体的运动特征点，(x_t-1，1，y_t-1，1)，(x_t-1，2，y_t-1，2)，(x_t-1，3，y_t-1，3)表示前一帧中人体的运动特征点，其中g_σ(x，y)为二维高斯函数。

(3)利用公式(3)得到当前帧中每个像素对于第三模块区域的概率密度，

P(c_t，x ,y|M_t-1，k)＝max{P(c_t，x ，y|B₁)，P(c_t，x，y|B₂)，P(c_t，x ，y|B₃)…}      (3)

式(3)中，M_t-1，k＝{B₁，B₂，B₃，B₄，…}，B₁，B₂，B₃......表示第三模块区域中的小区域，

为颜色密度函数。

(4)根据所述运动密度函数和第三模块区域的颜色概率密度，利用公式(4)得到当前帧的每个像素属于所述检测结果中的人体的后验概率密度，

P(c_t，x，y，v_t |M_t-1，k)＝P(c_t，x，y |M_t-1，k)P(v_t|M_t-1，k)   (4)

(5)根据当前帧的每个像素属于所述检测结果中的各人体的后验概率密度，利用公式(5)得到各人体的所有像素属于已检测出的人体模型的概率最大值所对应的人体，

c_t，x，y ∈S s.t.k＝arg_k maxP(c_t，x ，y，v_t|M_t-1，k)；k＝1，…，n    (5)

式(5)中，n代表已检测出的模型的个数，S代表各人体所有像素的集合，k代表概率最大值所对应的人体标号，一个人体中的所有像素对应不同的k值，其中k值相同且像素数目最多的区域所对应的人体标号为被跟踪人体的标号。

与现有技术相比，本发明的有益效果是：

(1)本发明采用基于均值漂移算法进行聚类，所以即便人们穿块状混合颜色的衣服，也可以实现准确的跟踪。

(2)本发明采用的是基于模块与颜色相结合的单摄像机的方法，通过基于Epanechnikov核密度梯度估计进行聚类，然后将聚类后的模块通过基于高斯核密度估计获取颜色密度函数，同时通过人体的位置坐标获得运动密度函数，因此本发明充分利用运动信息和人体的空间信息，克服了在光照变化情况下人体跟踪的不稳定性。

(3)本发明提出的基于核密度估计的算法在人体发生遮挡时，运动密度函数相近，颜色建模起主要作用，因此有效地解决了遮挡人体跟踪问题。

附图说明

图1为本发明方法的总体流程图。

图2为颜色块建模的示意图。

图3为运动建模向量的示意图。

图4为本发明实施例中的原始图像示意图，其中(a)为第127帧的原始图像，(b)为第146帧的原始图像。

图5为针对图4的跟踪结果图，其中，(a)为第127帧图像的跟踪结果图，(b)为第146帧图像的跟踪结果图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细描述。

参照图1，本发明基于核密度估计的遮挡人体跟踪方法，包括如下步骤：

步骤1.利用高斯混合模型进行背景建模，然后利用减背景方法检测出前景运动目标并去除阴影，完成对视频图像中人体模型的建立。

其中，利用高斯混合模型进行背景建模和利用减背景方法检测出前景运动目标的方法可参见Stauffer C.Grimson W E L Adaptive Background Mixture Modelfor Real-Time Tracking[C].//Proceeings of IEEE Conference on Computer Vision andPattern Recognition.Ft.Collins，1999：246-252。

对减背景方法提取出的前景进行阴影剔除的方法则可参见Prati A，Mikic I，Trivedi M M，Cucchiara R.Detecting moving shadows：formulation，algorithms andevaluation.IEEE Trans.Pattern Anal.Mach.Intell..2003，25(7)：918-924，从而得到所需的运动人体前景目标。

步骤2.根据人体衣服的颜色信息和空间信息进行块建模。根据人体衣服的颜色信息及空间信息，通过均值漂移的聚类算法对检测结果中的人体进行聚类，形成相应的颜色相近的第一模块区域M′＝{A_i}i＝1…n，A_i表示第一模块区域中的小区域，n表示区域的个数，如图2(a)所示，其中A₁、A₂、A₃、A₄、A₅、A₆表示第一模块区域M′中的小区域。像素的位置信息被考虑成定义域，而像素的颜色像素值被考虑成值域，这样，空间向量和颜色向量被连接成一个联合向量x＝(x^s，x^r)，其中x^s和x^r分别表示空间和颜色特征向量，它们的核带宽参数为h_s和h_r，多向量的核函数被定义成空间向量核函数和颜色向量核函数乘积的形式，

其中k(x)是服从Epanechnikov函数，C为常数，

$k\left(x\right)=\left\{\begin{array}{cc}1-x& x\&le;1\\ 0& \mathrm{otherwise}\end{array}\right.$

该核函数的导数为：

$g\left(x\right)=-k^{\&prime;}\left(x\right)\left\{\begin{array}{cc}1& x\&le;1\\ 0& \mathrm{otherwise}\end{array}\right.$

联合向量核函数的均值漂移递推公式为：

$y_{j+1}=\frac{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{x}_{i}g\left({\left|\right|\frac{y_j^s-x_i^s}{h_s}\left|\right|}^2\right)g\left({\left|\right|\frac{y_j^r-x_i^r}{h_r}\left|\right|}^2\right)}{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}g\left({\left|\right|\frac{y_j^s-x_i^s}{h_s}\left|\right|}^2\right)g\left({\left|\right|\frac{y_j^r-x_i^r}{h_r}\left|\right|}^2\right)}$

上式中

i＝1，…n，为输入存储的人体模型的联合作用域向量，y_j，j＝1...n为联合向量递推的中间结果，y₁＝x₁，本发明采用的核带宽参数为(h_s，h_r)＝(7，11)。

根据当前帧的前景区域中的像素的位置获取第二模块区域M″，如图2(b)所示，该第二模块区域满足以下关系式(1)：

$M^{\&prime;\&prime;}=\left\{(x,y)\right|0<x<w_{t-1},h_{t-1}(\frac{y_t}{h_t}-\mathrm{\&alpha;})<y<h_{t-1}(\frac{y_t}{h_t}+\mathrm{\&alpha;})---\left(1\right)$

式(1)中，M″表示第二模块区域，w_t-1、h_i-1分别表示已存储模型中人体的宽度和高度信息，c_t，x，y表示当前帧的前景区域中的像素，h_t表示当前像素c_t，x，y所在的人体的高度信息，y_t表示当前像素c_t，x，y的纵坐标y_t；α是个小数，它决定了当前像素所在的第二模块区域的范围，本发明取经验值α＝0.2；(x，y)表示根据当前帧的前景区域中的像素c_t，x，y位置得到的第二模块区域的坐标。

然后取第一模块区域M′＝{A_i}i＝1…n和第二模块区域M″的交集得到第三模块区域M＝{B₁，B₂，B₃，B₄，…}，如图2(b)所示，其中斜线部分表示第一模块区域M′={A₁，A₂，A₃，A₄，A₅，A₆}与第二模块区域M″的交集得到的第三模块区域{B₁，B₂，B₃，B₄}。

步骤3.使用核密度估计的方法来估计第三模块区域中的小区域的颜色密度分布情况；对每个像素的色度进行规范化处理，表示成一个向量x＝(r，g，s)，其中

R、G、B、为红、绿、蓝三个颜色分量，本发明的颜色建模是通过多元核乘积估计进行建模的，给定样本空间S={x_i＝(r_i，g_i，s_i)}i＝1，2，…N，N为样本个数，d＝3，σ_r，σ_g，σ_s分别表示r，g，s的带宽，则颜色建模的颜色密度函数既可表示为：

$P_S(r,g,s)=\frac{1}{N{\mathrm{\&sigma;}}_r{\mathrm{\&sigma;}}_g{\mathrm{\&sigma;}}_s}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}K\left(\frac{r-r_i}{{\mathrm{\&sigma;}}_r}\right)K\left(\frac{g-g_i}{{\mathrm{\&sigma;}}_g}\right)K\left(\frac{s-s_i}{{\mathrm{\&sigma;}}_s}\right)$ (r_i，g_i，s_i)∈S

其中，核函数服从高斯分布：

$K\left(t\right)=\frac{1}{\sqrt{2\mathrm{\&pi;}}\mathrm{\&sigma;}}{e}^{-\frac{1}{2}{\left(\frac{t}{\mathrm{\&sigma;}}\right)}^2}$

并根据公式(2)获得运动人体的前景的运动密度函数，运动密度函数可表示成P_Mt-1(v_t)，一般来说，同一个人体在t-1时刻和t时刻两帧之间不会移动很大的距离，因此选择每个前景人体区域的外接矩形的中点坐标作为人体的运动特征点，v_t为运动向量，v_t＝(x_t，1，y_t，1，x_t，2，y_t，2，x_t，3，y_t，3)，运动密度函数P_Mt-1(v_t)可以表示成：

$P_{\mathrm{Mt}-1}\left(v_t\right)=g_{{\mathrm{\&sigma;}}_1}(x_{t,1}-x_{t-\mathrm{1,1}},y_{t,1}-y_{t-\mathrm{1,1}})g_{{\mathrm{\&sigma;}}_2}(x_{t,2}-x_{t-\mathrm{1,2}},y_{t,2}-y_{t-\mathrm{1,2}})g_{{\mathrm{\&sigma;}}_3}(x_{t,3}-x_{t-\mathrm{1,3}},y_{t,3}-t_{t-\mathrm{1,3}})---\left(2\right)$

式(2)中，P_Mt-1(v_t)表示运动密度函数，v_t表示运动向量，(x_t，1，y_t，1)，(x_t，2，y_t，2)，(x_t，3 ，y_t，3)表示当前帧中人体的运动特征点，(x_t-1，1，y_t-1，1)，(x_i-1，2，y_t-1 ，2)，(x_t-1 ，3，y_t-1，3)表示前一帧中人体的运动特征点(如图3所示)。

其中g_σ(x，y)为二维高斯函数， $g_{\mathrm{\&sigma;}}(x,y)=\frac{1}{\sqrt{2\mathrm{\&pi;}}\mathrm{\&sigma;}}{e}^{-1/2\left(\frac{x^2+y^2}{{\mathrm{\&sigma;}}^2}\right)}.$

(3)利用公式(3)得到当前帧中每个像素对于第三模块区域的概率密度，

$P\left(c_{t,x,y}\right|M_{t-1,k})=\max \{P\left(c_{t,x,y}\right|B_1),P\left(c_{t,x,y}\right|B_2),P\left(c_{t,x,y}\right|B_3)\&CenterDot;\&CenterDot;\&CenterDot;\}$ (3)

$=\max \{P_{B_1}\left(c_{t,x,y}\right),P_{B_2}\left(c_{t,x,y}\right),P_{B_3}\left(c_{t,x,y}\right)\&CenterDot;\&CenterDot;\&CenterDot;\}$

式(3)中，M_t-1，k＝{B₁，B₂，B₃，B₄，…}，块建模得到的人体模型区域，B₁，B₂，B₃……表示第三模块区域中的小区域。

为颜色密度函数。

步骤4.根据所述运动密度函数和第三模块区域的颜色概率密度，利用公式(4)得到当前帧的每个像素属于所述检测结果中的人体的后验概率密度。

$P(c_{t,x,y},v_t|M_{t-1,k})=P\left(c_{t,x,y}\right|M_{t-1,k})P\left(v_t\right|M_{t-1,k})$

$=\max \{P\left(c_{t,x,y}\right|B_1),P\left(c_{t,x,y}\right|B_2),P\left(c_{t,x,y}\right|B_3)\&CenterDot;\&CenterDot;\&CenterDot;\}P\left(v_t\right|M_{t-1,k})---\left(4\right)$

$=\max \{P_{B_1}\left(c_{t,x,y}\right),P_{B_2}\left(c_{t,x,y}\right),P_{B_3}\left(c_{t,x,y}\right)\&CenterDot;\&CenterDot;\&CenterDot;\}{P}_{M_{t-1,k}}\left(v_t\right)$

步骤5.根据当前帧的每个像素属于所述检测结果中的各人体的后验概率密度，可以得到一个人体的所有像素属于视频图像中每个人体的概率，给定当前帧的一个人体的样本集合S＝{c_t，x，y}和前景区域的运动建模向量v_t＝(x_t，1，y_t，1，x_t，2，y_t，2，x_t，3，y_t，3)，利用公式(5)得到各人体的所有像素属于已检测出的人体模型的概率最大值所对应的人体，

c_t，x，y ∈S  s.t.k＝arg_k maxP(c_t，x，y，v_t|M_t-1，k)；k＝1，…，n    (5)

式(5)中，n代表已检测出的模型的个数，S代表各人体所有像素的集合，k代表概率最大值所对应的人体，利用概率最大值可以将一个像素c_t ，x，y对应一个人体模型，那么像素集S＝{c_t，x，y}中每个像素都将对应一个人体模型，因此集合S可以分成许多的小块，其中最大的块将决定像素集的属性，一个人体中的所有像素对应不同的k值，其中k值相同且像素数目最多的区域所对应的人体标号为被跟踪人体的标号。

以上即完成对相邻两帧图像之间人体的跟踪，若要进行视频中连续图像的跟踪，则可重复步骤1-5。

本发明对一组视频序列进行了测试，实验的视频是在室外场景的环境下拍摄的，摄像机是固定的，该摄像机置于4m左右的高度，视频序列的分辨率为640×480像素，视频中四个人从左向右行走，三个人从右向左行走，使其发生充分遮挡。算法是通过C++来实现的，本发明给出了视频图像第127帧和第146帧原始图像和跟踪结果，如图4、图5所示，其中图4(a)、图4(b)为第127帧和第146帧的原始图像，图5(a)、图5(b)为第127帧和第146帧相对应的跟踪结果图，被跟踪的人是通过不同数字标号的外接矩形框标识的，其中将从左向右行走的人体按从右向左的顺序标号为1、2、3、4，将从右向左行走的人体按从左到右的顺便进行标号为5、6、7，跟踪结果表明：本发明提出的方法能够在人体遮挡情况下实现多运动目标的有效跟踪而且具有较高的准确率。

Claims (1)

1.一种基于核密度估计的遮挡人体跟踪方法，在对运动人体的前景检测后，对检测结果进行跟踪，其特征是，所述跟踪的步骤如下：

(1)根据人体衣服的颜色信息，通过均值漂移的聚类算法对所述检测结果中的人体进行聚类，形成相应的颜色相近的第一模块区域；根据当前帧的前景区域中的像素的位置获取第二模块区域，该第二模块区域满足以下关系式(1)：

$M^{\&prime;\&prime;}=\left\{(x,y)\right|0<x<w_{t-1},h_{t-1}(\frac{y_t}{h_t}-\mathrm{\&alpha;})<y<h_{t-1}(\frac{y_t}{h_t}+\mathrm{\&alpha;})---\left(1\right)$

式(1)中，M″表示第二模块区域，w_t-1、h_t-1分别表示已存储模型中人体的宽度和高度信息，c_t，x，y表示当前帧的前景区域中的像素，h_t表示当前像素x_t，x，y所在的人体的高度信息，y_t表示当前像素c_t，x，y的纵坐标y_t，α是个小数；(x，y)表示根据当前帧的前景区域中的像素c_t，x，y位置获取第二模块区域的坐标；

然后取第一模块区域和第二模块区域的交集得到第三模块区域；

(2)使用核密度估计的方法来估计第三模块区域的颜色密度分布情况；并根据公式(2)获得运动人体的前景的运动密度函数：

$P_{\mathrm{Mt}-1}\left(v_t\right)=g_{{\mathrm{\&sigma;}}_1}(x_{t,1}-x_{t-\mathrm{1,1}},y_{t,1}-y_{t-\mathrm{1,1}})g_{{\mathrm{\&sigma;}}_2}(x_{t,2}-x_{t-\mathrm{1,2}},y_{t,2}-y_{t-\mathrm{1,2}})g_{{\mathrm{\&sigma;}}_3}(x_{t,3}-x_{t-\mathrm{1,3}},y_{t,3}-t_{t-\mathrm{1,3}})---\left(2\right)$

式(2)中，PM_t-1(v_t)表示运动密度函数，v_t表示运动向量；(x_t，1,y_t，1)，(x_t，2，y_r，2)，(x_t，3，y_t，3)表示当前帧中人体的运动特征点；(x_t-1，1，y_t-1，1)，(x_t-1，2，y_t-1，2)，(x_t-1，3，y_t-1，3)表示前一帧中人体的运动特征点；g_σ(x，y)为二维高斯函数；

(3)利用公式(3)得到当前帧中每个像素对于第三模块区域的概率密度函数：

P(c_t，x，y|M_t-1，k)＝max{P(c_t，x，y|B₁)，P(c_t，x，y|B₂)，P(c_t，x，y|B₃)…}   (3)

式(3)中，P(c_t，x，y|M_i-1，k)为概率密度函数；B₁，B₂，B₃……表示第三模块区域中的小区域，M_t-1，k＝{B₁，B₂，B₃，B₄，…}为第三模块区域中的小区域的集合；P(c_t，x，y|B₁)、P(c_t，x，y|B₂)、P(c_t，x，y|B₃)为颜色密度函数；

(4)根据所述运动密度函数和第三模块区域的颜色概率密度函数，利用公式(4)得到当前帧的每个像素属于所述检测结果中的人体的后验概率密度：

P(c_t，x，y，v_t|M_t-1，k)＝P(c_t，x，y|M_t-1，k)P(v_t|M_t-1，k)    (4)；

(5)根据当前帧的每个像素属于所述检测结果中的各人体的后验概率密度，利用公式(5)得到各人体的所有像素属于已检测出的人体模型的概率最大值所对应的人体，

c_t，x，y∈S  s.t.k＝arg_k maxP(c_t，x，y，v_t|M_t-1，k)；k＝1，…，n    (5)

式(5)中，n代表已检测出的模型的个数，S代表各人体所有像素的集合，k代表概率最大值所对应的人体标号，一个人体中的所有像素对应不同的k值，其中k值相同且像素数目最多的区域所对应的人体标号为被跟踪人体的标号。

Images