CN103559723B - 一种基于自适应核函数和均值移位的人体跟踪方法 - Google Patents

Abstract

本发明涉及一种基于自适应核函数和均值移位的人体跟踪方法，包括两个阶段：第一为学习阶段，先读入一组人体行走的训练样本，通过降维算法将人体前景形状映射为低维空间中的坐标，得到低维人体形状空间，再通过插值重建算法还原人体前景形状，得到可实现低维映射到高维的插值重建算法的参数；第二为跟踪阶段，在低维人体形状空间里寻找到视频帧中的人体最佳核形状，再利用均值移位算法对视频帧中的人体进行跟踪。与现有技术相比，本发明方法改善了传统均值移位算法中核函数形状，使得核函数形状不是固定的，而是根据跟踪目标人体形状变化而自适应变化，再在高维空间进行核函数直方图建模和匹配，从而提高人体跟踪技术的性能。

Description

一种基于自适应核函数和均值移位的人体跟踪方法

技术领域

本发明涉及一种图像处理与计算机视觉技术领域，尤其是涉及一种基于自适应核函数和均值移位的人体跟踪方法。

背景技术

目标跟踪是视频监督中的一个重要分支，近年来取得了很大的进展。目前在目标跟踪走向实用化的过程中，却遇到了很多问题，如物体遮挡、背景低对比度、复杂物体运动等等，其中最主要的问题就是人体跟踪问题，这是因为人体属于非刚性物体结构，即是有形变的物体，尤其是在人体运动时，人体形状是变化的，这就大大增加了目标跟踪的难度，这既是制约目标跟踪实际应用的瓶颈，又是目标跟踪研究中的热点和难点。

近几十年国内外许多研究者开始对目标跟踪进行研究，这些方法可分为三类：第一类是基于点的目标跟踪法，即通过检测和匹配每帧中目标特征点来跟踪目标，其中单点目标跟踪方法适合于跟踪小目标物体，对于比较大的跟踪目标，可采用多点目标跟踪方法，即通过检测和匹配每帧中目标的多个特征点实现对目标进行跟踪，这种方法不适合于特征点误检测和目标被遮挡的情况，对这类情况该方法常常表现得无能为力；第二类是基于轮廓的目标跟踪法，通过描述目标轮廓实现对目标的跟踪，这种方法比较灵活，并且可以处理各种各样轮廓的目标；第三种是基于核的目标跟踪法，通过模型区域来描述目标，预测出物体的运动，实现目标的跟踪。

在基于核的目标跟踪法中，均值移位算法是一种有效的非参数方法，它是根据核密度估计样本分布从而寻找最近的点模式，它具有低计算量、容易实现、实时响应以及良好的跟踪鲁棒性等优点，因此目前非常流行并广泛应用在目标跟踪。但是经典的均值移位算法还存着许多不足，其中最主要的问题之一就是目标的形体变化问题。视频中目标形体变化一般可分为有两类，一类是全局变化，另一类是目标自形变。

全局变化包括目标尺寸和目标旋变化，目标尺寸变化是由于透视效果造成的尺寸上的变化，在对物体进行跟踪时，这就要求跟踪框可以随着目标尺寸的变化而变化；当目标发生旋转时，也需要跟踪框跟随目标进行旋转。解决的办法就是尝试不同的核带宽和不同的核角度来选择合适的核带宽和核角度，从而使得跟踪框可以跟随目标的变化而变化。

目标自形变指当目标是非刚性物体并且运动时通常会有自身的形变，如人体行走，这时传统均值移位算法中的对称规则核，如矩形核、椭圆核等，已不能准确地描述物体的形状，在跟踪人体目标时传统均值移位算法的椭圆形或矩形核函数包含有背景区域的点，这些点就会作为人体前景点在跟踪过程中起作用，这就会导致跟踪定位不准确，出现误跟踪、丢失跟踪目标等问题。此外，传统的均值移位算法只能对人体目标跟踪定位，而无法准确地描绘出人体形状。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于自适应核函数和均值移位的人体跟踪方法。

本发明的目的可以通过以下技术方案来实现：一种基于自适应核函数和均值移位的人体跟踪方法，其特征在于，包括两个阶段：第一为学习阶段，先读入一组人体行走的训练样本，通过降维算法将人体前景形状映射为低维空间中的坐标，得到低维人体形状空间，再通过插值重建算法还原人体前景形状，得到可实现低维映射到高维的插值重建算法的参数；第二为跟踪阶段，具体跟踪方法按以下步骤处理：

步骤1.读入与训练样本同样拍摄角度的包含被跟踪人体的视频，先把视频分解成l+1帧图像F_k，k=0，1，…，l，定义初始帧时k=0，再在初始帧中进行参数初始化：(11)确定被跟踪人体在初始帧中的边缘形状和位置y_k，并以此边缘形状作为核形状shape_k，定义j为人体跟踪次数变量，t为人体跟踪次数上限；(12)建立帧F_k中被跟踪人体的核形状shape_k在位置y_k的模型，并将初始帧中被跟踪人体的模型作为标准目标模型；

步骤2.判断当前帧F_k是否为视频帧序列的最后一帧F_l，若是则视频跟踪结束，跳出循环，否则更新k=k+1，j=1，读取下一帧F_k，令帧F_k中的核形状shape_k＝shape_k-1，位置y_k=y_k-1，继续人体跟踪；

步骤3.以当前帧F_k中被跟踪人体的位置y_k为起始搜索位置，用均值移位跟踪算法在起始搜索位置附近搜索得到当前帧中被跟踪人体的最佳位置；

步骤4.以当前帧F_k中被跟踪人体的核形状shape_k为起始搜索核形状，在学习阶段得到的低维人体形状空间中，寻找被跟踪人体核形状对应的理想坐标，利用插值重建算法重建对应的高维特征，并利用高维特征重建最佳核形状；

步骤5.判断是否满足j>t，是则返回步骤2，否则更新j=j+1，返回步骤3。

步骤(12)所述的建立帧F_k中被跟踪人体的核形状shape_k在位置y_k的模型的具体过程为，

121)先计算核函数K_k(x_i)，核函数的计算公式为，

$K_k\left(x_i^k\right)=\frac{d\left(x_i^k\right)}{d_{\max }},i=1,\·\·\·,n_k,$

式中，是帧F_k中以位置y_k为中心的被跟踪人体的核形状shspe_k区域内的像素点，n_k是核内像素点的个数，是象素点到被跟踪人体的核形状shape_k区域边缘的最近距离，d_max是象素点到被跟踪人体的核形状shape_k区域边缘的最近距离中的最大距离，即 $d_{\max }=\max \left\{d\left(x_i^k\right)\right\};$

122)将人体的颜色空间量化为s等级，计算模型的颜色特征直方图的概率密度q_k，

$q_k=C\underset{i=1}{\overset{n_x}{\mathrm{\Σ}}}{K}_k\left({\left|\right|x_i^{*}\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i^{*}\right)-\mathrm{\μ}],$

式中，C是归一化系数，是像素点相对核形状中心像素点的位置，δ(□)是脉冲函数，是像素点位置在s个级别颜色直方图中的索引值，μ是颜色空间量化的等级，它取值范围是[1，s]。

实施步骤3跟踪最佳位置的具体过程为：

(31)初始化：定义位置变量i_p为位置跟踪次数变量，n_p为位置跟踪次数上限，并预设i_p=1；

(32)建立帧F_k中被跟踪人体的核形状shape_k在位置的模型，记为第一候选模型，计算第一候选模型与标准目标模型的相似度，记作

(33)更新帧F_k中被跟踪人体的位置得到新位置

${\hat{y}}_2=\frac{{\mathrm{\Σ}}_{i=1}^{n_k}\left[x_i^k{w}_{i}g\left({\left|\right|\frac{{\hat{y}}_1-x_i^k}{h}\left|\right|}^2\right)\right]}{{\mathrm{\Σ}}_{i=1}^{n_k}\left[w_{i}g\left({\left|\right|\frac{{\hat{y}}_1-x_i^k}{h}\left|\right|}^2\right)\right]},$

式中，g(□)是核函数K(□)的微分函数，h是第一候选模型的核函数窗口的大小，是以位置为中心的核形状shape_k区域内的象素点，n_k是核内像素点的个数，w_i是相应于每个象素点的权重系数，即其中为第一候选模型的颜色特征直方图的概率密度；

(34)建立帧F_k中被跟踪人体的核形状shape_k在新位置的模型，记为第二候选模型，计算第二候选模型与标准目标模型的相似度，记作

(35)判断是否满足循环条件：满足则更新i_p=i_p+1，并返回步骤(32)，其中y_t是判断是否更新的阈值；不满足则更新帧F_k中被跟踪人体的位置跳出循环，最佳位置跟踪结束。

实施步骤4跟踪最佳核形状的具体过程为：

(41)初始化：

411)计算训练样本的身高和腹部宽度的比例r^f，并利用该比例归一化调整核形状shape_k，在低维人体形状空间中找到帧F_k中被跟踪人体的当前核形状shape_k对应的坐标shapex_k0，并定义坐标变量shapex_kis，预设其初始值为shapex_k0；

412)建立帧F_k中被跟踪人体的核形状shape_k在位置y_k的模型，并计算该模型与标准目标模型之间的相似度定义shapex_max和分别为迭代过程中搜索到的最佳核形状对应的坐标和相似度，预设shapex_max-shapex_k0，

413)定义i_s为核形状跟踪次数变量，n_s为核形状跟踪次数上限，预设i_s=1，

414)计算在低维人体形状空间中搜索的搜索步长stepx_k，

${\mathrm{stepx}}_k=\frac{{\mathrm{trainx}-\mathrm{shapex}}_{k0}}{n_s},$

式中，trainx是低维人体形状空间中距离坐标shapex_k0最近的低维坐标点；

(42)在低维人体形状空间上移动坐标点shapex_kis得到新的坐标点，shapex_kis＝shapex_k0+i_sstepx_k，再利用插值重建算法重建新坐标点shapex_kis对应的高维特征shapeFea_kis；

(43)将高维特征shapeFea_kis重建为核形状shape_kis，计算帧F_k中被跟踪人体的身高和腹部宽度的比例并利用该比例归一化调整核形状shape_kis；

(44)计算帧F_k中被跟踪人体的核形状shape_kis在位置y_k的模型，并计算该模型与标准目标模型之间的相似度判断是否是则更新shapex_max=shapex_kis；

(45)判断是否满足循环条件i_s>n_s，不满足则更新i_s=i_s+1，返回步骤(42)，满足则执行步骤(46)；

(46)利用插值重建算法重建坐标点shapex_max对应的高维特征点shapeFea_max，利用高维特征点重建核形状shape_max，利用被跟踪人体的身高和腹部宽度的比例归一化调整核形状shape_max，并令帧F_k中被跟踪人体的核形状shape_k为调整后的shape_max，最佳核形状跟踪结束。

所述的计算候选模型与标准目标模型之间的相似度的方法具体是，选取Bhattacharyya系数作为相似性函数计算两者之间的相似度，Bhattacharyya系数的计算方法为，

$\widehat{\mathrm{\ρ}}=\mathrm{\ρ}(\hat{q},q_0)=\underset{\mathrm{\μ}=1}{\overset{s}{\mathrm{\Σ}}}\sqrt{\hat{q}*q_0},$

式中，表示候选模型的颜色特征直方图的概率密度，q₀表示标准目标模型的颜色特征直方图的概率密度，Bhattacharyya系数值取值范围为[0，1]，Bhattacharyya系数值越大，表明两个模型越相似。

所述的插值重建算法为径向基核函数算法。

与现有技术相比，本发明针对摄像头固定情况下视频中人体的跟踪问题，提出了基于自适应核函数和均值移位算法的人体跟踪方法，由于摄像头是固定的，视频的角度则也是固定不变的，因此可以从相同视角下的、相同的人体动作中学习到这个动作的低维人体形状空间，在这个动作的低维人体形状空间里寻找到视频帧中的人体形状，把它作为特征核形状，再利用均值移位算法对视频帧中的人体进行跟踪。本发明方法改善了传统均值移位算法中核函数形状，使得核函数形状不是固定的，而是根据跟踪目标人体形状变化而自适应变化，视频中每帧中所用到的核函数形状均是在学习得到的低维人体形状空间中搜索得到，再在高维空间进行核函数直方图建模和匹配，从而提高人体跟踪技术的性能。

附图说明

图1为本发明跟踪阶段的流程图；

图2为本发明实施例中核形状在高维空间和低维空间的映射关系示意图；

图中，(a)核形状在高维空间中，(b)核形状在低维空间中：

图3为本发明实施例核形状示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。以下介绍的实施例为本发明的优选实施例，仅仅是对本发明的举例说明，而非对本发明及其应用或用途的限制。根据本发明得出的其它实施方式，也同样属于本发明的技术创新范围。方案中有关参数的设定也并不表明只有举例值可以使用。

实施例：

视频环境为室内，视频内容为一个人行走的过程，摄像头视角固定，正对人体左侧面，人从图像右侧走进，走向图像左侧。均值移位算法所用的颜色特征空间为RGB，量化范围为m=8×8×8=512个等级。

一种基于自适应核函数和均值移位的人体跟踪方法，其特征在于，包括两个阶段：第一为学习阶段，第二为跟踪阶段。具体的执行步骤如下：

P.1学习阶段：

如图2所示，学习的目的主要有两个，一是对训练样本进行训练学习，通过降维算法得到这些样本在低维空间中的坐标，另一个是通过插值重建算法得到从低维到高维映射的参数。具体的训练过程包括四个步骤：

P.1-1初始化：选用与待跟踪视频相同拍摄角度下行走的人体前景序列，共有N_F=56幅图像，如图2(a)所示。对每幅图像中的人体前景取边缘，为更好地描述人体前景的形状，把人体形状边缘分成三段，即左半段L1、右半段R1、下半段D1，如图3(a)所示，每段均匀地截取n₃=20个点，这样可以得到pointn=3×n₃=60个点。

P.1-2特征提取：对步骤P.1-1得到的pointn个点，每个点在形状中的位置特征Fea用此点与中心的距离dis和角度ang来描述，pointn个点就会得到D=120个特征，如图3(b)所示。这样每幅图像就可以用D个特征进行描述，共N_F幅图像，就可以得到一个N_F×D=56×120矩阵的学习训练样本数据。

P.1-3高维特征降维：采用降维算法对得到对N_F组D维的学习训练样本进行数据降维。本实例中选取低维维数d=1，降维算法采用ISOMAP算法。降维后得到与学习样本相对应的N_F组d维数据f_x，如图2(b)所示，从图中可发现人体行走是一个循环动作，反映在相应低维数据空间中的数据点也是一个循环排列，因此只取其中有代表性的一个循环排列来表示整个动作形状序列，即n_d=24组数据。

P.1-4数据高维重建：每组训练样本包括D维特征Fea和相应的d维特征f_x，共n_d=24组。把训练样本的特征作为插值重建算法参数学习的输入向量，这样就完成了从低维到高维数据重建算法的参数学习过程，这里插值重建算法采用径向基核函数算法。

P.2跟踪阶段：

读入与训练样本同样拍摄角度的包含被跟踪人体的视频，将视频处理成k=36帧图像，输入为图像序列F_k，k=0，1，…，35，如图1所示，具体跟踪步骤如下：

P.2-1初始化过程：定义初始帧时k=0，再在初始帧中进行参数初始化：(11)确定被跟踪人体在初始帧中的边缘形状和位置y_k，并以此边缘形状作为核形状shape_k，定义j为人体跟踪次数变量，t为人体跟踪次数上限；(12)建立帧F_k中被跟踪人体的核形状shape_k在位置y_k的模型，并将初始帧中被跟踪人体的模型作为标准目标模型；

P.2-2帧循环过程：判断当前帧F_k是否为帧序列的最后一帧F_l，若是则视频跟踪结束，跳出循环，否则更新k=k+1，j=1，读取下一帧F_k，并令帧F_k中的核形状shape_k=shape_k-1，位置y_k=y_k-1，继续人体跟踪；

P.2-3最佳位置定位跟踪：以当前帧F_k中被跟踪人体的位置y_k为起始搜索位置，用均值移位跟踪算法在起始搜索位置附近搜索得到当前帧中被跟踪人体的最佳位置；

P.2-4最佳核形状定位过程：以当前帧F_k中被跟踪人体的核形状shape_k为起始搜索核形状，利用径向基核函数算法学习到人体形状的D维高维特征与d维低维之间的映射关系，在学习得到的低维人体形状空间中寻找相应的理想坐标点，并投影到高维特征空间中，重建对应的人体最佳核形状；

P.2-5判断是否满足j>t，是则返回步骤P.2-2，否则更新j=j+1，返回步骤P.2-3。

Claims (6)

1.一种基于自适应核函数和均值移位的人体跟踪方法，其特征在于，包括两个阶段：第一为学习阶段，先读入一组人体行走的训练样本，通过降维算法将人体前景形状映射为低维空间中的坐标，得到低维人体形状空间，再通过插值重建算法还原人体前景形状，得到可实现低维映射到高维的插值重建算法的参数；第二为跟踪阶段，具体跟踪方法按以下步骤处理：

步骤1.读入与训练样本同样拍摄角度的包含被跟踪人体的视频，先把视频分解成l+1帧图像F_k,k＝0,1,…,l，定义初始帧时k＝0，再在初始帧中进行参数初始化：(11)确定被跟踪人体在初始帧中的边缘形状和位置y_k，并以此边缘形状作为核形状shape_k，定义j为人体跟踪次数变量，t为人体跟踪次数上限；(12)建立帧F_k中被跟踪人体的核形状shape_k在位置y_k的模型，并将初始帧中被跟踪人体的模型作为标准目标模型；

步骤2.判断当前帧F_k是否为视频帧序列的最后一帧F_l，若是则视频跟踪结束，跳出循环，否则更新k＝k+1，j＝1，读取下一帧F_k，令帧F_k中的核形状shape_k＝shape_k-1，位置y_k＝y_k-1，继续人体跟踪；

步骤3.以当前帧F_k中被跟踪人体的位置y_k为起始搜索位置，用均值移位跟踪算法在起始搜索位置附近搜索得到当前帧中被跟踪人体的最佳位置；

步骤4.以当前帧F_k中被跟踪人体的核形状shape_k为起始搜索核形状，在学习阶段得到的低维人体形状空间中，寻找被跟踪人体核形状对应的理想坐标，利用插值重建算法重建对应的高维特征，并利用高维特征重建最佳核形状；

步骤5.判断是否满足j＞t，是则返回步骤2，否则更新j＝j+1，返回步骤3。

2.根据权利要求1所述的一种基于自适应核函数和均值移位的人体跟踪方法，其特征在于，步骤(12)所述的建立帧F_k中被跟踪人体的核形状shape_k在位置y_k的模型的具体过程为，

121)先计算核函数核函数的计算公式为，

$K_k\left(x_i^k\right)=\frac{d\left(x_i^k\right)}{d_{\max }},i=1,...,n_k,$

式中，是帧F_k中以位置y_k为中心的被跟踪人体的核形状shape_k区域内的像素点，n_k是核内像素点的个数，是像素点到被跟踪人体的核形状shape_k区域边缘的最近距离，d_max是像素点到被跟踪人体的核形状shape_k区域边缘的最近距离中的最大距离，即 $d_{max}=max\left\{d\left(x_i^k\right)\right\};$

122)将人体的颜色空间量化为s等级，计算模型的颜色特征直方图的概率密度q_k，

$q_k=C\underset{i=1}{\overset{n_x}{\Σ}}{K}_k\left(\right|\left|x_i^{*}\right|{|}^2)\mathrm{\δ}\[b\left(x_i^{*}\right)-\mathrm{\μ}\],$

式中，C是归一化系数，是像素点相对核形状中心像素点的位置，δ(·)是脉冲函数，是像素点位置在s个级别颜色直方图中的索引值，μ是颜色空间量化的等级，它取值范围是[1,s]。

3.根据权利要求2所述的一种基于自适应核函数和均值移位的人体跟踪方法，其特征在于，实施步骤3跟踪最佳位置的具体过程为：

(31)初始化：定义位置变量i_p为位置跟踪次数变量，n_p为位置跟踪次数上限，并预设i_p＝1；

(32)建立帧F_k中被跟踪人体的核形状shape_k在位置的模型，记为第一候选模型，计算第一候选模型与标准目标模型的相似度，记作

(33)更新帧F_k中被跟踪人体的位置得到新位置

${\hat{y}}_2=\frac{{\mathrm{\Σ}}_{i=1}^{n_k}\[x_i^k{w}_{i}g\left(\right|\left|\frac{{\hat{y}}_1-x_i^k}{h}\right|{|}^2)\]}{{\mathrm{\Σ}}_{i=1}^{n_k}\[w_{i}g\left(\right|\left|\frac{{\hat{y}}_1-x_i^k}{h}\right|{|}^2)\]},$

式中，δ(·)是核函数K(·)的微分函数，h是第一候选模型的核函数窗口的大小，是以位置为中心的核形状shape_k区域内的像素点，n_k是核内像素点的个数，w_i是相应于每个像素点的权重系数，即其中为第一候选模型的颜色特征直方图的概率密度；

(34)建立帧F_k中被跟踪人体的核形状shape_k在新位置的模型，记为第二候选模型，计算第二候选模型与标准目标模型的相似度，记作

(35)判断是否满足循环条件：满足则更新i_p＝i_p+1，并返回步骤(32)，其中y_t是判断是否更新的阈值；不满足则更新帧F_k中被跟踪人体的位置跳出循环，最佳位置跟踪结束。

4.根据权利要求3所述的一种基于自适应核函数和均值移位的人体跟踪方法，其特征在于，实施步骤4跟踪最佳核形状的具体过程为：

(41)初始化：

411)计算训练样本的身高和腹部宽度的比例r^f，并利用该比例归一化调整核形状shape_k，在低维人体形状空间中找到帧F_k中被跟踪人体的当前核形状shape_k对应的坐标shapex_k0，并定义坐标变量shapex_kis，预设其初始值为shapex_k0；

412)建立帧F_k中被跟踪人体的核形状shape_k在位置y_k的模型，并计算该模型与标准目标模型之间的相似度定义shapex_max和分别为迭代过程中搜索到的最佳核形状对应的坐标和相似度，预设shapex_max＝shapex_k0，

413)定义i_s为核形状跟踪次数变量，n_s为核形状跟踪次数上限，预设i_s＝1，

414)计算在低维人体形状空间中搜索的搜索步长stepx_k，

${\mathrm{stepx}}_k=\frac{trainx-{\mathrm{shapex}}_{k0}}{n_s},$

式中，trainx是低维人体形状空间中距离坐标shapex_k0最近的低维坐标点；

(42)在低维人体形状空间上移动坐标点shapex_kis得到新的坐标点，shapex_kis＝shapex_k0+i_sstepx_k，再利用插值重建算法重建新坐标点shapex_kis对应的高维特征shapeFea_kis；

(43)将高维特征shapeFea_kis重建为核形状shape_kis，计算帧F_k中被跟踪人体的身高和腹部宽度的比例并利用该比例归一化调整核形状shape_kis；

(44)计算帧F_k中被跟踪人体的核形状shape_kis在位置y_k的模型，并计算该模型与标准目标模型之间的相似度判断是否是则更新shapex_max＝shapex_kis；

(45)判断是否满足循环条件i_s＞n_s，不满足则更新i_s＝i_s+1，返回步骤(42)，满足则执行步骤(46)；

(46)利用插值重建算法重建坐标点shapex_max对应的高维特征点shapeFea_max，利用高维特征点重建核形状shape_max，利用被跟踪人体的身高和腹部宽度的比例归一化调整核形状shape_max，并令帧F_k中被跟踪人体的核形状shape_k为调整后的shape_max，最佳核形状跟踪结束。

5.根据权利要求4所述的一种基于自适应核函数和均值移位的人体跟踪方法，其特征在于，所述的计算候选模型与标准目标模型之间的相似度的方法具体是，选取Bhattacharyya系数作为相似性函数计算两者之间的相似度，Bhattacharyya系数的计算方法为，

$\widehat{\mathrm{\ρ}}=\mathrm{\ρ}(\hat{q},q_0)=\underset{\mathrm{\μ}=1}{\overset{s}{\Σ}}\sqrt{\hat{q}*q_0},$

式中，表示候选模型的颜色特征直方图的概率密度，q₀表示标准目标模型的颜色特征直方图的概率密度，Bhattacharyya系数值取值范围为[0,1]，Bhattacharyya系数值越大，表明两个模型越相似。

6.根据权利要求4所述的一种基于自适应核函数和均值移位的人体跟踪方法，其特征在于，所述的插值重建算法为径向基核函数算法。