CN1741069A - 基于自适应表面模型的概率视频跟踪方法 - Google Patents

Abstract

一种基于自适应表面模型的概率视频跟踪方法，用于计算机视觉、图像处理与模式识别领域。本发明首先用三个混合高斯分量来描述目标表面的像素变化过程，然后利用在线的EM算法来自适应更新混合高斯模型参数，最后将自适应表面模型结合到粒子滤波算法中。本发明通过自适应更新表面模型使得跟踪的鲁棒性大大提高，可广泛应用于基于视觉的控制、视频监控系统、视频会议系统、机器人视觉导航系统、工业产品监控系统、军事目标跟踪系统等各类民用及军用系统中，具有广阔的市场前景和应用价值。

Description

基于自适应表面模型的概率视频跟踪方法

技术领域

本发明涉及的是一种用于视频处理技术领域的方法，具体地说，是一种基于自适应表面模型的概率视频跟踪方法。

背景技术

视频跟踪在许多场合下都具有非常重要的应用，如基于视觉的控制、智能机器人、智能监视系统以及基于视频的目标识别。视频跟踪一直存在一较难处理的问题，即：如何处理跟踪期间目标表面的变化；目标表面的变化可能由于目标姿态变化、目标形变、光照变化以及遮挡而引起的。因此对于一个视频跟踪器来说，一个很重要的议题就是设计一个鲁棒的表面模型，这个模型能适应目标表面在跟踪期间所发生的变化。目前多数跟踪算法中，所采用的表面模型在跟踪期间或固定不变或被快速更新。在第一种情况下，表面模型从第一帧图像中提取出，然后在后续的序列帧中找出与该表面模型信息最相似的目标区域，认为该区域即为要跟踪的目标，这种表面模型在跟踪期间保持不变；在第二种情况下，表面模型每帧或每隔几帧利用前一帧的跟踪结果来更新。这两种方法在很多场合下均不适用。如果表面模型固定不变，则跟踪器在目标出现光照变化、姿态变化或发生遮挡时容易出现跟踪失败；但如果表面模型更新太快，则跟踪器会由于遮挡或前些帧的跟踪累积误差而利用错误的表面信息来跟踪目标。因此对于一个鲁棒的跟踪器而言，一个合适的更新策略就显得非常重要，该更新策略即要能适应目标表面的缓慢变化，也要能适应目标表面的快速变化。

经对现有技术文献的检索发现，A.D.Jepson等在《IEEE Transactions onPattern Analysis and Machine Intelligence》(pp.1296-1311，2003)上发表“Robust online appearance models for visual tracking”(视频跟踪中的鲁棒在线表面模型，模式分析与机器智能IEEE杂志)。该文提出了一种自适应WSL表面模型，他们用三个混合分量(W，S和L分量)来描述目标表面的变化。W分量描述相邻两帧之间目标表面的变化，S分量描述目标表面的缓慢变化量，L分量描述目标表面的异常变化量。他们的算法在处理光照变化、目标姿态变化以及面部表情变化等具有较强的鲁棒性。但是他们的表面模型是基于“相位”信息的，即利用小波对目标表面的灰度信息进行处理，这种处理方法一般运算量较大；另一方面，作者在文章中指出他们的算法在目标发生完全遮挡时，总是出现跟踪失败，其中的原因是：当目标发生完全遮挡时，表面模型中的S分量变得不可靠，而W分量的权重会快速增大，其影响力远远超过其他两个分量，因此当目标被完全遮挡时，他们的跟踪器类似于基于两帧差的跟踪，所以他们的算法容易跟踪遮挡部分。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于自适应表面模型的概率视频跟踪方法，使其提高对复杂环境下运动目标的跟踪能力。

本发明是通过以下技术方案实现的，本发明首先将表面模型中像素值的变化过程用三个混合高斯分量描述，然后利用在线的EM算法自适应更新这些高斯参数，保证混合高斯模型能反映出目标表面的变化，最后将该表面模型结合到粒子滤波算法中，实现自适应观测模型的设计，提高视频跟踪的鲁棒性。

本发明包括以下步骤：

(1)建立混合表面模型

假设第i个像素的历史观测值Z_1:t(i)＝{Z₁(i)，K，Z_t(i)}彼此之间是一个独立过程，那么目标表面中第i个像素的当前观测值Z_t(i)的概率可由下面的混合高斯分量描述：

$p\left(Z_t\left(i\right)\right|{\mathrm{\Θ}}_t\left(i\right))=\underset{m=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\π}}_{m,t}\left(i\right)p\left(Z_t\left(i\right)\right|{\mathrm{\Θ}}_{m,t}\left(i\right)),\underset{m=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\π}}_{m,t}\left(i\right)=1---\left(1\right)$

式中：θ_m，t(i)＝(μ_m，t(i)，σ_m，t(i))； ${\mathrm{\Θ}}_t\left(i\right)={({\mathrm{\π}}_{m,t}\left(i\right),{\mathrm{\θ}}_{m,t}\left(i\right))}_{m=1}^3;$ π_m，t(i)；是第m个高斯分量的权重；p(Z_t(i)|θ_m，t(i))是正态密度函数：

$p\left(Z_t\left(i\right)\right|{\mathrm{\θ}}_{m,t}\left(i\right))=N(Z_t\left(i\right);{\mathrm{\μ}}_{m,t}\left(i\right),{\mathrm{\σ}}_{m,t}^2\left(i\right))=\frac{1}{\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_{m,t}\left(i\right)}\exp (-\frac{{(Z_t\left(i\right)-{\mathrm{\μ}}_{m,t}\left(i\right))}^2}{2{\mathrm{\σ}}_{m,t}^2\left(i\right)})---\left(2\right)$

式中：μ_m，t(i)和σ_m，t(i)分别为第m个高斯分量的均值和方差。

在跟踪期间，目标表面会由于姿态变化、光照影响，以及遮挡或其中任意几种情况的综合而发生较明显的变化，使得利用单个高斯分量很难描述目标表面像素值的变化过程。如果目标表面仅由某一种因素而导致变化，则利用单个高斯分量能达到较好的描述效果；然而实际中，目标的表面会由于多种因素综合在一起而发生变化。本发明采用了三个混合高斯分量来描述目标表面每个像素值的变化过程。每个高斯分量都可以近似描述由某一种因素所导致目标表面的变化过程，因此利用混合高斯模型能更准确地描述目标表面像素值的变化过程。

(2)模型参数更新

为了反映出目标表面的变化，混合表面模型中的高斯参数在跟踪期间应被自适应更新。当获得目标当前时刻的观测值Z_t时，则前一时刻表面模型中的高斯参数，即(π_m，t-1(i)，μ_m，t-1(i)，σ_m，t-1(i))_m＝1 ³，将按照下面的式子被在线更新：

$o_{m,t}\left(i\right)=\frac{{\mathrm{\π}}_{m,t-1}\left(i\right)p\left(Z_t\left(i\right)\right|{\mathrm{\θ}}_{m,t-1}\left(i\right))}{p\left(Z_t\left(i\right)\right|{\mathrm{\Θ}}_{t-1}\left(i\right))}---\left(3\right)$

π_m，t(i)＝απ_m，t-1(i)+(1-α)o_m，t(i)                        (4)

μ_m，t(i)＝[1-β_m，t(i)]μ_m，t-1(i)+β_m，t(i)Z_t(i)             (5)

${\mathrm{\σ}}_{m,t}^2\left(i\right)[1-{\mathrm{\β}}_{m,t}\left(i\right)]{\mathrm{\σ}}_{m,t-1}^2\left(i\right)+{\mathrm{\β}}_{m,t}\left(i\right){[Z_t\left(i\right)-{\mathrm{\μ}}_{m,t}\left(i\right)]}^2---\left(6\right)$

式中： ${\mathrm{\β}}_{m,t}\left(i\right)=(1-\mathrm{\α})\frac{o_{m,t}\left(i\right)}{{\mathrm{\π}}_{m,t}\left(i\right)},$ i＝1，…，d，d为表面模型中总的像素个数。

本发明依据传统EM算法的思想，在一些近似假设条件下，推导出在线计算公式(3)、(4)、(5)和(6)，通过这组公式实现混合表面模型中高斯参数的在线更新。

(3)基于自适应表面模型的概率跟踪

在进行目标状态估计时，本发明采用了粒子滤波算法。粒子滤波算法是一种基于蒙特卡罗方法的新滤波算法。该滤波算法通过一组带权重的粒子来描述目标状态的后验分布，这种描述对目标的运动(观测)模型以及过程(观测)噪声的分布没有特别要求，因此对非线性-非高斯估计问题表现出较强的鲁棒性。粒子滤波算法的实现步骤如下：

步骤1：重要性采样

在重要性采样步，首先t-1时刻的粒子{X_t-1 ^(j)}_j＝1 ^N通过运动模型p(X_t ^(j)|X_t-1 ^(j)传递到下一时刻；然后在给定的观测值Y_t，每个被传递的粒子

被赋予权值 $w_t^{\left(j\right)}\∝p\left(Y_t\right|{\tilde{X}}_t^{\left(j\right)}),$ 最后归一化这些权值 $w_t^{\left(j\right)}=w_t^{\left(j\right)}/\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{w}_t^{\left(j\right)}.$

步骤2：重采样

在重采样步，粒子 ${\{{\tilde{X}}_t^{\left(j\right)},w_t^{\left(j\right)}\}}_{j=1}^N$ 将被重新采样，每个粒子被选择的次数与它的权值大小成正比，权值越大的粒子被选择的可能性越大。

步骤3：状态估计

在估计出目标的后验分布后，目标的状态可由两种方式得到，第一种为最小均方根误差估计方法：

${\hat{X}}_t=E\left[X_t\right|Y_{1:t}]\≈\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{X}_t^{\left(j\right)}---\left(7\right)$

另一种方法为最大后验估计：

${\hat{X}}_t\underset{X_t}{=\arg \max p}\left(X_t\right|Y_{1:t})\≈\underset{X_t}{\arg \max }{w}_t^{\left(j\right)}---\left(8\right)$

在设计粒子滤波算法时，观测模型的设计非常重要，本发明将粒子滤波算法中的观测模型设计成基于自适应表面模型，即将观测模型中的似然函数用混合高斯分量来描述，这些混合高斯参数通过在线的更新公式(3)、(4)、(5)和(6)根据过去时刻的观测值来在线调节，实现了自适应观测模型的设计。

(4)遮挡处理

在视频跟踪中，经常出现目标遮挡情况。本发明在处理遮挡时，采用了鲁棒的统计技术。发明中选取了鲁棒的Huber误差函数ρ，通过该误差函数来降低遮挡部分的像素对目标状态估计的影响，它具有如下形式：

$\mathrm{\ρ}\left(\mathrm{\ϵ}\right)=\left\{\begin{array}{cc}c\left(\right|\mathrm{\ϵ}|+\frac{c}{2})& \mathrm{if}\left|\mathrm{\ϵ}\right|>c\\ \frac{1}{2}{\mathrm{\ϵ}}^2& \mathrm{otherwise}\end{array}\right.---\left(9\right)$

式中：C为一尺度参数，ε为误差量。

一般情况下，目标在发生遮挡区域内的像素表现出较大的图像误差。当某像素的图像误差越大，则误差函数会赋以该像素的估计权重越小，从而达到降低其对目标状态估计的影响。通过采用鲁棒统计技术，使得发明中所提的方法在目标发生遮挡时，也能表现出较好的跟踪效果。

本发明提出了一种自适应表面模型，该模型能适应跟踪期间目标表面的变化。由于目标表面在跟踪期间可能由于多种因素的综合而发生明显变化，因此，本发明采用了三个混合高斯分量来描述目标表面像素值的变化过程，这种描述能更准确反映出像素值的变化过程。为了反映出目标表面的变化，开发了一在线的EM估计算法，通过这个在线算法实现表面模型中混合高斯参数的自适应更新；在估计目标状态时，采用了粒子滤波算法，该滤波算法对解决视频跟踪中的非线性-非高斯估计问题表现出较强的鲁棒性，在设计粒子滤波时，设计了基于自适应表面模型的观测模型，将观测模型中的似然函数用混合高斯分量来描述，这些混合高斯参数根据过去时刻的观测值通过在线的计算公式被在线调节，实现了自适应观测模型的设计，提高了观测模型的鲁棒性；在处理遮挡时，采用了鲁棒的统计技术来降低遮挡部分像素对目标状态估计的影响。

本发明通过将自适应表面模型结合到粒子滤波算法中，大大提高了视频跟踪的鲁棒性，可以广泛应用于基于视觉的控制、视频监控系统、视频会议系统、机器人视觉导航系统、工业产品监控系统、军事目标跟踪系统等各类民用及军用系统中，具有广阔的市场前景和应用价值。

附图说明

图1为一女子头部的跟踪效果图。

其中：图1(a)为固定表面模型时的跟踪效果图；图1(b)为本发明的跟踪效果图。

图2为不同光照下的人脸跟踪效果图。

其中：图2(a)为固定表面模型时的跟踪效果图；图2(b)为本发明的跟踪效果图。

图3为不同姿态下的人脸跟踪效果图。

其中：图3(a)为固定表面模型时的跟踪效果图；图3(b)为本发明的跟踪效果图。

图4为本发明中的方法在部分遮挡及表情变化情况下的人脸跟踪效果图。

其中：图4(a)为部分遮挡情况下的跟踪效果图；图4(b)为表情变化下的跟踪效果图。

图5为本发明中的方法在完全遮挡下的人头跟踪效果图。

具体实施方式

1.跟踪初始化

在视频目标跟踪中，一般目标的初始位置由一些检测算法或手工初始化得到；在本发明中，目标在第一帧图像中的位置采用了手工初始化，即通过手工标定目标在第一帧图像中的位置。

2.混合表面模型

本发明采用了三个混合高斯分量来描述目标表面每个像素值的变化过程。假设第i个像素的历史值Z_1:t(i)＝{Z₁(i)，K，Z_t(i)}彼此之间是一个独立过程，那么第i个像素的当前观测值Z_t(i)的概率可以由下式估计出：

$p\left(Z_t\left(i\right)\right|{\mathrm{\Θ}}_t\left(i\right))=\underset{m=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\π}}_{m,t}\left(i\right)p\left(Z_t\left(i\right)\right|{\mathrm{\θ}}_{m,t}\left(i\right)),\underset{m=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\π}}_{m,t}\left(i\right)=1---\left(10\right)$

式中：θ_m，t(i)＝(μ_m，t(i)，σ_m，t(i))； ${\mathrm{\Θ}}_t\left(i\right)={({\mathrm{\π}}_{m,t}\left(i\right),{\mathrm{\θ}}_{m,t}\left(i\right))}_{m=1}^3;$ π_m，t(i)是第m个高斯分量的权重；

p(Z_t(i)|θ_m，t(i))是正态密度函数：

$p\left(Z_t\left(i\right)\right|{\mathrm{\θ}}_{m,t}\left(i\right))=N({Z_t\left(i\right);\mathrm{\μ}}_{m,t}\left(i\right),{\mathrm{\σ}}_{m,t}^2\left(i\right))=\frac{1}{\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_{m,t}\left(i\right)}\exp (-\frac{{(Z_t\left(i\right)-{\mathrm{\μ}}_{m,t}\left(i\right))}^2}{2{\mathrm{\σ}}_{m,t}^2\left(i\right)})---\left(11\right)$

式中：μ_m，t(i)和σ_m，t(i)分别为第m个高斯分量的均值和方差。

3.模型参数更新

为适应目标表面的变化，(10)式中的高斯参数，即Θ_t(i)，应被在线估计出。本发明开发了一种在线EM算法来估计这些高斯参数。为了使得参数的估计更多依赖于最近时刻的观测值，定义了一衰减因子α，则第i个像素历史观测值的对数似然函数可以表示如下：

$L\left({\mathrm{\Θ}}_t\left(i\right)\right|Z_{1:t}\left(i\right))=\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}\log \left[\underset{m=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\π}}_{m,t}\left(i\right)p\left(Z_t\left(i\right)\right|{\mathrm{\θ}}_{m,t}\left(i\right))\right]---\left(12\right)$

式中：α∈(0，1]表示过去的观测值对当前参数估计的贡献程度。

与传统的EM算法思想相似，如果给定Θ_t(i)一个初始的猜测值，那么Θ_t(i)可以通过迭代下面的两个步骤求出：

步骤1.E-step

$o_{m,k}\left(i\right)=p\left(m\right|Z_k\left(i\right),{\mathrm{\Θ}}_{t-1}\left(i\right))=\frac{{\mathrm{\π}}_{m,t-1}\left(i\right)p\left(Z_k\left(i\right)\right|{\mathrm{\θ}}_{m,t-1}\left(i\right))}{\underset{m=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\π}}_{m,t-1}\left(i\right)p\left(Z_k\left(i\right)\right|{\mathrm{\θ}}_{m,t-1}\left(i\right))}---\left(13\right)$

步骤2.M-step

${\mathrm{\π}}_{m,t}\left(i\right)=\frac{\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}{o}_{m,k}\left(i\right)}{\underset{m=1}{\overset{3}{\mathrm{\Σ}}}\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}{o}_{m,k}\left(i\right)}---\left(14\right)$

${\mathrm{\μ}}_{m,t}\left(i\right)=\frac{\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}{o}_{m,k}\left(i\right)Z_k\left(i\right)}{\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}{o}_{m,k}\left(i\right)}---\left(15\right)$

${\mathrm{\σ}}_{m,t}^2\left(i\right)=\frac{\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}{o}_{m,k}\left(i\right){[Z_k\left(i\right)-{\mathrm{\μ}}_{m,t}\left(i\right)]}^2}{\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}{o}_{m,k}\left(i\right)}---\left(16\right)$

在这儿，前一时刻的参数Θ_t-1(i)被作为最初的猜测参数。但如果按照上面的两个步骤来计算Θ_t(i)，那么在计算o_m，k(i)时，需要将以前时刻的所有观测都要储存下来，这对于基于图像的目标跟踪来说在实际应用中是不可能做到的，因此需通过一些假设来推导出一组近似公式来代替(13)式、(14)式、(15)式、和(16)式。

考虑到在实际中，这些高斯参数随着时间的变化较缓慢，因此可以假设o_m，t(i)≈o_m，t-1(i)，在这种假设条件下，可以得到如下的一组递推公式：

对于π_m，t(i)，可以得到：

${\mathrm{\π}}_{m,t}\left(i\right)=\frac{\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}{o}_{m,k}\left(i\right)}{\underset{m=1}{\overset{3}{\mathrm{\Σ}}}\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}{o}_{m,k}\left(i\right)}$

$=\frac{\mathrm{\α}\underset{k=1}{\overset{t-1}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-1-k}\frac{\underset{k=1}{\overset{t-1}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-1-k}{o}_{m,k}\left(i\right)}{\underset{k=1}{\overset{t-1}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-1-k}}+o_{m,t}\left(i\right)}{\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}}---\left(17\right)$

$\≈\frac{\mathrm{\α}\underset{k=1}{\overset{t-1}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-1-k}{\mathrm{\π}}_{m,t-1}\left(i\right)+o_{m,t}\left(i\right)}{\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}}=\mathrm{\α}\frac{\underset{k=1}{\overset{t-1}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-1-k}}{\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}}{\mathrm{\π}}_{m,t-1}\left(i\right)+\frac{1}{\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}}{o}_{m,t}\left(i\right)$

如果时间t较大的话，有： $\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}\≈\frac{1}{1-\mathrm{\α}},$ 则(8)式可以简化为：

π_m，t(i)＝απ_m，t-1(i)+(1-α)o_m，t(i)          (18)

对于μ_m，t(i)，可以得到：

${\mathrm{\μ}}_{m,t}\left(i\right)=\frac{\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}{o}_{m,k}\left(i\right)Z_k\left(i\right)}{\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}{o}_{m,k}\left(i\right)}$

$=\frac{\mathrm{\α}\underset{k=1}{\overset{t-1}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-1-k}{o}_{m,k}\left(i\right)\frac{\underset{k=1}{\overset{t-1}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-1-k}{o}_{m,k}\left(i\right)Z_k\left(i\right)}{\underset{k=1}{\overset{t-1}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-1-k}{o}_{m,k}\left(i\right)}+o_{m,t}\left(i\right)Z_t\left(i\right)}{\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}{o}_{m,k}\left(i\right)}$

$\≈\mathrm{\α}\frac{\underset{k=1}{\overset{t-1}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-1-k}{o}_{m,k}\left(i\right)}{\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}{o}_{m,k}\left(i\right)}{\mathrm{\μ}}_{m,t-1}\left(i\right)+\frac{o_{m,t}\left(i\right)}{\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}{o}_{m,k}\left(i\right)}{Z}_t\left(i\right)---\left(19\right)$

＝[1-β_m,t(i)]μ_m，t-1(i)+β_m，t(i)Z_t(i)

其中：

${\mathrm{\β}}_{m,t}\left(i\right)=\frac{o_{m,t}\left(i\right)}{\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}{o}_{m,k}\left(i\right)}=\frac{o_{m,t}\left(i\right)}{{\mathrm{\π}}_{m,t}\left(i\right)\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}}\≈(1-\mathrm{\α})\frac{o_{m,t}\left(i\right)}{{\mathrm{\π}}_{m,t}\left(i\right)}---\left(20\right)$

对于σ_j，t ²(i)，可以得到：

${\mathrm{\σ}}_{m,t}^2\left(i\right)=\frac{\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}{o}_{m,k}\left(i\right){[Z_k\left(i\right)-{\mathrm{\μ}}_{m,t}\left(i\right)]}^2}{\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}{o}_{m,k}\left(i\right)}$

$\≈\frac{\mathrm{\α}\underset{k=1}{\overset{t-1}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-1-k}{o}_{m,k}\left(i\right)\frac{\underset{k=1}{\overset{t-1}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-1-k}{o}_{m,k}\left(i\right){[Z_k\left(i\right)-{\mathrm{\μ}}_{m,t-1}\left(i\right)]}^2}{\underset{k=1}{\overset{t-1}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-1-k}{o}_{m,k}\left(i\right)}+o_{m,t}\left(i\right){[Z_t\left(i\right)-{\mathrm{\μ}}_{m,t}\left(i\right)]}^2}{\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}{o}_{m,k}\left(i\right)}$

$\≈\mathrm{\α}\frac{\underset{k=1}{\overset{t-1}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-1-k}{o}_{m,k}\left(i\right)}{\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}{o}_{m,k}\left(i\right)}{\mathrm{\σ}}_{m,t-1}^2\left(i\right)+\frac{o_{m,t}\left(i\right)}{\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}^{t-k}{o}_{m,k}\left(i\right)}{[Z_t\left(i\right)-{\mathrm{\μ}}_{m,t}\left(i\right)]}^2---\left(21\right)$

$=[1-{\mathrm{\β}}_{m,t}\left(i\right)]{\mathrm{\σ}}_{m,t-1}^2\left(i\right)+{\mathrm{\β}}_{m,t}\left(i\right){[Z_t\left(i\right)-{\mathrm{\μ}}_{m,t}\left(i\right)]}^2$

对以上推导进行总结，得到以下一组递推公式：

$o_{m,t}\left(i\right)=\frac{{\mathrm{\π}}_{m,t-1}\left(i\right)p\left(Z_t\left(i\right)\right|{\mathrm{\θ}}_{m,t-1}\left(i\right))}{p\left(Z_t\left(i\right)\right|{\mathrm{\Θ}}_{t-1}\left(i\right))}---\left(22\right)$

π_m，t(i)＝απ_m，t-1(i)+(1-α)o_m，t(i)                           (23)

${\mathrm{\β}}_{m,t}\left(i\right)=(1-\mathrm{\α})\frac{o_{m,t}\left(i\right)}{{\mathrm{\π}}_{m,t}\left(i\right)}---\left(24\right)$

μ_m，t(i)＝[1-β_m，t(i)]μ_m，t-1(i)+β_m，t(i)Z_t(i)               (25)

${\mathrm{\σ}}_{m,t}^2\left(i\right)=[1-{\mathrm{\β}}_{m,t}\left(i\right)]{\mathrm{\σ}}_{m,t-1}^2\left(i\right)+{\mathrm{\β}}_{m,t}\left(i\right){[Z_t\left(i\right)-{\mathrm{\μ}}_{m,t}\left(i\right)]}^2---\left(26\right)$

(22)-(26)式表明了在计算Θ_t(i)时，不需存储所有的观测值，而只需存储前一时刻的参数值Θ_t-1(i)，这就大大降低了计算机的存储容量。

在试验中，一旦获得当前时刻的观测值，则根据(22)-(26)式来更新前一时刻的模型(混合高斯模型)参数，这种更新使得混合模型能反映出目标表面的变化过程。该更新过程需要一个初始化步骤，偶尔需要一个复位步骤，这是由于更新过程变得不可靠或目标表面发生突然变化所致。具体的更新步骤包括：初始化步骤、更新步骤和复位步骤。在初始化步骤，表面模型中每个像素的分布先由第一个高斯分量来描述，其余的高斯分量在后续的更新过程中逐渐被初始化。在更新步骤，当前像素的观测值首先与现存的三个高斯分量进行比较，如果发现至少有一个分量与当前的像素值匹配，那么就按照(22)-(26)式来更新高斯参数，匹配的定义是：像素值在某一分布的T_σ(试验中T_σ＝3)个方差以内。如果没有一个高斯分量与当前像素匹配，则进行复位操作。复位的产生主要有两个原因；第一个是：对于当前像素来说，更新过程变得不可靠；第二个是：当前像素相对于前些时刻的值变化迅速。在第一种情况下，权重最小的高斯分量将被选择出来，其均值复位到最初模板的像素值，方差复位到最初的方差，权重复位为较小值；在第二种情况下，与第一种情况不同的是直接将均值复位到当前观测的像素值，以使混合模型中包含目标表面的快速变化量。本发明设计了一个计算器来计算每个分量的连续复位次数；如果当计算器的值超过了某一设定值(试验中为5)，那么就认为当前像素发生了迅速变化。在复位后，权重被归一化处理。在发明中，当判断到目标发生遮挡时，则整个更新过程将不被执行，即表面模型保持不变。

4.粒子滤波算法

在贝叶斯滤波框架下，跟踪问题可认为是后验概率密度的一个传递过程。有关目标状态的所有信息均可以从后验密度分布p(X_t|Y_1:t)中推导出。贝叶斯滤波主要由两步组成：预测和更新。

步骤1：预测

在预测步，第t时刻的先验分布p(X_t|Y_1:t-1)可以从t-1时刻的后验分布p(X_t-1|Y_1:t-1)根据下式推导出：

$p\left(X_t\right|Y_{1:t-1})=\∫p\left(X_t\right|X_{t-1})p\left(X_{t-1}\right|Y_{1:t-1})d_{X_{t-1}}---\left(27\right)$

式中：p(X_t|X_t-1)描述了目标状态变化过程，它一般由目标的运动模型决定：

X_t＝F_t(X_t-1，U_t)                      (28)

式中：F_t(·,·)描述目标的运动方式；U_t为系统噪声。

步骤2：更新

在更新步，t时刻的观测值Y_t按照贝叶斯规则对先验分布p(X_t|Y_1:t-1)进行更新：

$p\left(X_t\right|Y_{1:t})=\frac{p\left(Y_t\right|X_t)p\left(X_t\right|Y_{1:t-1})}{\∫p\left(Y_t\right|X_t)p\left(X_t\right|Y_{1:t-1})d_{X_t}}---\left(29\right)$

式中：p(Y_t|X_t)为目标的观测似然，它一般由目标的观测模型决定：

Y_t＝H_t(X_t，V_t)                                         (30)

式中：H_t(·,·)描述目标的观测模型；V_t为观测噪声。

(27)式和(29)式之间的递推关系为跟踪问题提供了一组最优的解。当函数F_t(·,·)和H_t(·,·)为非线性，以及U_t和V_t为高斯噪声时，这组解具有解析的形式；然而在多数情况下，这种条件不能满足，因此解析形式的解很难得到，需采用蒙特卡罗方法来近似求解。

粒子滤波是一种基于蒙特卡罗方法的新滤波算法，它能有效解决非线性、非高斯情况下的状态估计问题。粒子滤波算法通过一组带权重的粒子来逼近目标状态的后验分布，当粒子的数目趋于无穷大时，则这些粒子在理论上可以逼近状态的真实后验分布。粒子滤波算法一般包括重要性采样、重采样以及状态估计三个步骤。在重要性采样步，首先，t-1时刻的粒子{X_t-1 ^(j)}_j＝1 ^N通过运动模型p(X_t ^(j)|X_t-1 ^(j))传递到下一时刻；然后，在给定的观测值Y_t，每个被传递的粒子

被赋予权值 $w_t^{\left(j\right)}\∝p\left(Y_t\right|{\tilde{X}}_t^{\left(j\right)}),$ 最后，归一化这些权值 $w_t^{\left(j\right)}=w_t^{\left(j\right)}/\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{w}_t^{\left(j\right)}.$ 在重采样步，粒子 ${\{{\tilde{X}}_t^{\left(j\right)},w_t^{\left(j\right)}\}}_{j=1}^N$ 将被重新采样，每个粒子被选择的次数与它的权值大小成正比，权值越大的粒子被选择的可能性越大。在估计出目标的后验分布后，目标的状态可以由两种方式得到，第一种为最小均方根误差估计方法(MMSE)；另一种方法为最大后验估计(MAP)。发明中采用了第一种状态估计方法。

4.1  粒子滤波中运动模型的设计

目标在图像中的运动可以看成是对目标区域的一组参数映射变化过程，映射参数定义为W_t＝(u_t，v_t，s_t，r_t)，其中u_t，v_t，s_t，r_t分别对应目标区域的平移(x和y方向上)、比例和旋转。每个映射参数由下面的运动模型描述：

式中：X_t＝(u_t，w_t，v_t，w_t，s_t，r_t)^T；U_t为零均值的高斯噪声，其协方差为∑；∑为一对角矩阵，对角线上的元素分别对应W_t中四个参数的方差，即：σ_u ²，σ_r ²，σ_s ²，σ_r ²。

4.2  粒子滤波中观测模型的设计

在粒子滤波中，目标观测模型是基于自适应表面模型设计的。给定一个粒子状态X_t ^(j)，则目标的候选区域可以由下面的映射变化得到：

$\left(\begin{array}{c}{x}_t\\ y_t\end{array}\right)=s_t^{\left(j\right)}\left(\begin{array}{cc}\cos \left(r_t^{\left(j\right)}\right)& -\sin \left(r_t^{\left(j\right)}\right)\\ \sin \left(r_t^{\left(j\right)}\right)& \cos \left(r_t^{\left(j\right)}\right)\end{array}\right)\left(\begin{array}{c}{x}_{t-1}\\ y_{t-1}\end{array}\right)+\left(\begin{array}{c}{u}_t^{\left(j\right)}\\ v_t^{\left(j\right)}\end{array}\right)---\left(32\right)$

式中：x_t＝(x_t，y_t)^T为目标候选区域内的像素点位置；x_t-1＝(x_t-1，y_t-1)^T为t-1时刻目标真实区域内的像素点位置。如果用函数ψ(·,·)表示(32)式中的映射关系，则(32)式可以写成：

$x_t=\mathrm{\ψ}(x_{t-1},X_t^{\left(j\right)})---\left(33\right)$

在得到目标候选区域后，则该区域的观测可以描述如下：

${\hat{Z}}_t^{\left(j\right)}=I_t\left(\mathrm{\ψ}(x_{t-1},X_t^{\left(j\right)})\right)---\left(34\right)$

式中：I_t(ψ(x_t-1，X_t ^(j)))为像素点ψ(x_t-1，X_t ^(j))在当前图像I_t中的灰度值。得到对应于状态X_t ^(j)下的观测值

后，观测似然p(Y_t|X_t ^(j))设计如下：

$p\left(Y_t\right|X_t^{\left(j\right)})=p\left({\hat{Z}}_t^{\left(j\right)}\right|X_t^{\left(j\right)})=\underset{i=1}{\overset{d}{\mathrm{\Π}}}\left\{\underset{m=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\π}}_{m,t-1}\left(i\right)N({\hat{Z}}_t^{\left(j\right)}\left(i\right);{\mathrm{\μ}}_{m,t-1}\left(i\right),{\mathrm{\σ}}_{m,t-1}^2\left(i\right))\right\}---\left(35\right)$

式中： $N({\hat{Z}}_t^{\left(j\right)}\left(i\right);{\mathrm{\μ}}_{m-1,t}\left(i\right),{\mathrm{\σ}}_{m,t-1}^2\left(i\right))$ 为正态密度函数；{π_m，t-1(i)，μ_m，t-1(i)，σ_m，t-1(i)}_m＝1 ³为第i个像素在t-1时刻的表面模型A_t-1中的混合高斯参数；d为表面模型中像素的个数。当获得当前时刻的观测值Z_t时，则参数{π_m，t-1(i)，μ_m，t-1(i)，σ_m，t-1(i)}_m＝1 ³将按照模型参数更新的步骤被更新，保证混合高斯模型能反映出目标表面的变化。

5.遮挡处理

一般情况下，位于遮挡区域内的像素会产生较大的图像误差，称这些像素为“异常像素”(outlier pixels)。“异常像素”对状态估计的影响应该减小。鲁棒的统计技术提供了这种功能。

发明中采用了鲁棒的Huber误差函数ρ。针对发明中的问题，函数ρ具有如下的形式：

$\mathrm{\ρ}\left(\frac{Z_t\left(i\right)-{\mathrm{\μ}}_{m,t-1}\left(i\right)}{{\mathrm{\σ}}_{m,t-1}\left(i\right)}\right)=\left\{\begin{array}{cc}{T}_{\mathrm{\σ}}\left(\right|\frac{Z_t\left(i\right)-{\mathrm{\μ}}_{m,t-1}\left(i\right)}{{\mathrm{\σ}}_{m,t-1}\left(i\right)}|-\frac{T_{\mathrm{\σ}}}{2})& \mathrm{if}\∀m=\mathrm{1,2},3,\left|\frac{Z_t\left(i\right)-{\mathrm{\μ}}_{m,t-1}\left(i\right)}{{\mathrm{\σ}}_{m,t-1}\left(i\right)}\right|{>T}_{\mathrm{\σ}}\\ \frac{1}{2}{\left(\frac{Z_t\left(i\right)-{\mathrm{\μ}}_{m,t-1}\left(i\right)}{{\mathrm{\σ}}_{m,t-1}\left(i\right)}\right)}^2& \mathrm{otherwise}\end{array}\right.---\left(36\right)$

式中：Z_t(i)为第i个像素的当前观测值；(μ_m，t-1(i)，σ_m，t-1(i))为第i个像素在t-1时刻表面模型A_t-1中第m个高斯分量的参数；在试验中，如果没有任何一个高斯分量匹配Z_t(i)的话，即： $\∀m=\mathrm{1,2,3},\left|\frac{Z_t\left(i\right)-{\mathrm{\μ}}_{m,t-1}\left(i\right)}{{\mathrm{\σ}}_{m,t-1}\left(i\right)}\right|>T_{\mathrm{\σ}},$ 则认为第i个像素为“异常像素”；当第i个像素为“异常像素”时，则(35)式中的正态密度函数用下式替代：

$N({\hat{Z}}_t^{\left(j\right)}\left(i\right);{\mathrm{\μ}}_{m,t-1}\left(i\right),{\mathrm{\σ}}_{m,t-1}^2\left(i\right))=\frac{1}{\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_{m,t-1}\left(i\right)}\exp (-\mathrm{\ρ}\left(\frac{{\hat{Z}}_t^{\left(j\right)}\left(i\right)-{\mathrm{\μ}}_{m,t-1}\left(i\right)}{{\mathrm{\σ}}_{m,t-1}\left(i\right)}\right))$

$=\frac{1}{\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_{m,t-1}\left(i\right)}\exp (-T_{\mathrm{\σ}}\left(\right|\frac{{\hat{Z}}_t^{\left(j\right)}\left(i\right)-{\mathrm{\μ}}_{m,t-1}\left(i\right)}{{\mathrm{\σ}}_{m,t-1}\left(i\right)}|-\frac{T_{\mathrm{\σ}}}{2}))---\left(37\right)$

这个替代使得“异常像素”对似然函数的计算影响变小，从而对状态估计的影响也变小。

如果在当前观测值Z_t中，“异常像素”的个数d_out超过某一比例γ的话，即：d_out/d＞γ，则认为目标发生了遮挡，在试验中，选取γ＝0.2。一旦发生遮挡，则当前的更新过程停止，即：A_t＝A_t-1。

如图1所示，试验结果表明：本发明中的方法在头部发生旋转时，具有较好的跟踪效果。

如图2所示，试验结果表明：本发明中的方法在处理不同光照下的跟踪具有较强的鲁棒性。

如图3所示，试验结果表明：本发明中的方法在处理不同姿态下的目标跟踪，也表现出很好的跟踪效果。

如图4所示，试验结果表明：本发明中的方法在目标发生部分遮挡以及表情发生变化情况下，表现出较强的鲁棒性。

如图5所示，试验结果表明：本发明中的方法能有效地处理完全遮挡情况下的跟踪，表现出较好的跟踪效果。

Claims (4)

1.一种基于自适应表面模型的概率视频跟踪方法，其特征在于，首先将表面模型中像素值的变化过程用三个混合高斯分量描述，然后利用在线的EM算法自适应更新这些高斯参数，保证混合高斯模型能反映出目标表面的变化，最后将该表面模型结合到粒子滤波算法中，实现自适应观测模型的设计，提高视频跟踪的鲁棒性。

2.根据权利要求1所述的基于自适应表面模型的概率视频跟踪方法，其特征是，包括以下步骤：

(1)建立混合表面模型

假设第i个像素的历史观测值Z_1:t(i)＝{Z₁(i)，K，Z_t(i)}彼此之间是—个独立过程，那么目标表面中第i个像素的当前观测值Z_t(i)的概率可由下面的混合高斯分量描述：

$p\left(Z_t\left(i\right)\right|{\mathrm{\Θ}}_t\left(i\right))=\underset{m=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\π}}_{m,t}\left(i\right)p\left(Z_t\left(i\right)\right|{\mathrm{\θ}}_{m,t}\left(i\right)),\underset{m=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\π}}_{m,t}\left(i\right)=1----\left(1\right)$

式中：θ_m，t(i)＝(μ_m，t(i)，σ_m，t(i))； ${\mathrm{\Θ}}_t\left(i\right)={({\mathrm{\π}}_{m,t}\left(i\right),{\mathrm{\θ}}_{m,t}\left(i\right))}_{m=1}^3;$ π_m，t(i)是第m个高斯分量的权重；p(Z_t(i)|θ_m，t(i))是正态密度函数：

$p\left(Z_t\left(i\right)\right|{\mathrm{\θ}}_{m,t}\left(i\right))=N(Z_t\left(i\right);{\mathrm{\μ}}_{m,t}\left(i\right),{\mathrm{\σ}}_{m,t}^2\left(i\right))=\frac{1}{\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_{m,t}\left(i\right)}\exp \left(\frac{{(Z_t\left(i\right)-{\mathrm{\μ}}_{m,t}\left(i\right))}^2}{{2\mathrm{\σ}}_{m,t}^2\left(i\right)}\right)---\left(2\right)$

式中：μ_m，t(i)和σ_m，t(i)分别为第m个高斯分量的均值和方差；

(2)模型参数更新

为了反映出目标表面的变化，混合表面模型中的高斯参数在跟踪期间应被自适应更新，当获得目标当前时刻的观测值Z_t时，则前一时刻表面模型中的高斯参数，即(π_m，t-1(i)，μ_m，t-1(i)，σ_m，t-1(i))_m＝1 ³，将按照下面的式子被在线更新：

$o_{m,t}\left(i\right)=\frac{{\mathrm{\π}}_{m,t-1}\left(i\right)p\left(Z_t\left(i\right)\right|{\mathrm{\θ}}_{m,t-1}\left(i\right))}{p\left(Z_t\left(i\right)\right|{\mathrm{\Θ}}_{t-1}\left(i\right))}---\left(3\right)$

π_m，t(i)＝απ_m，t-1(i)+(1-α)o_m，t(i)                   (4)

μ_m，t(i)＝[1-β_m，t(i)]μ_m，t-1(i)+β_m，t(i)Z_t(i)        (5)

${\mathrm{\σ}}_{m,t}^2\left(i\right)=[1-{\mathrm{\β}}_{m,t}\left(i\right)]{\mathrm{\σ}}_{m,t-1}^2\left(i\right)+{\mathrm{\β}}_{m,t}\left(i\right){[Z_t\left(i\right)-{\mathrm{\μ}}_{m,t}\left(i\right)]}^2----\left(6\right)$

式中： ${\mathrm{\β}}_{m,t}\left(i\right)=(1-\mathrm{\α})\frac{o_{m,t}\left(i\right)}{{\mathrm{\π}}_{m,t}\left(i\right)},$ i＝1，…，d，d为表面模型中总的像素个数；

(3)基于自适应表面模型的概率跟踪

在进行目标状态估计时，采用粒子滤波算法，该算法通过一组带权重的粒子来描述目标状态的后验分布，将观测模型中的似然函数用混合高斯分量来描述，这些混合高斯参数通过在线的更新公式(3)、(4)、(5)和(6)，根据过去时刻的观测值来在线调节，实现自适应观测模型的设计；

(4)遮挡处理

在视频跟踪中，经常出现目标遮挡情况，在处理遮挡时，采用鲁棒的统计技术。

3.根据权利要求1或2所述的基于自适应表面模型的概率视频跟踪方法，其特征是，所述的粒子滤波算法，包括以下步骤：

步骤1：重要性采样

在重要性采样步，首先t-1时刻的粒子{X_t-1 ^(j)}_j＝1 ^N通过运动模型p(X_t ^(j)|X_t-1 ^(j))传递到下一时刻；然后在给定的观测值Y_t，每个被传递的粒子 被赋予权值 $w_t^{\left(j\right)}\∝p\left(Y_t\right|{\tilde{X}}_t^{\left(j\right)}),$ 最后归一化这些权值 $w_t^{\left(j\right)}=w_t^{\left(j\right)}/\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{w}_t^{\left(j\right)};$

步骤2：重采样

在重采样步，粒子

将被重新采样，每个粒子被选择的次数与它的权值大小成正比，权值越大的粒子被选择的可能性越大；

步骤3：状态估计

在估计出目标的后验分布后，目标的状态可由两种方式得到，第一种为最小均方根误差估计方法：

${\hat{X}}_t=E\left[X_t\right|Y_{1:t}]\≈\frac{1}{N}\underset{j=t}{\overset{N}{\mathrm{\Σ}}}{X}_t^{\left(j\right)}----\left(7\right)$

另一种方法为最大后验估计：

${\hat{X}}_t=\arg \underset{X_t}{\max }p\left(X_t\right|Y_{1:t})\≈\arg \underset{X_t}{\max }{w}_t^{\left(j\right)}----\left(8\right).$

4.根据权利要求2所述的基于自适应表面模型的概率视频跟踪方法，其特征是，所述的鲁棒的统计技术，其方法是：选取鲁棒的Huber误差函数ρ，通过该误差函数来降低遮挡部分的像素对目标状态估计的影响，它具有如下形式：

$\mathrm{\ρ}\left(\mathrm{\ϵ}\right)=\left\{\begin{array}{cc}c\left(\right|\mathrm{\ϵ}|+\frac{c}{2})& \mathrm{if}\left|\mathrm{\ϵ}\right|>c\\ \frac{1}{2}{\mathrm{\ϵ}}^2& \mathrm{otherwise}\end{array}\right.----\left(9\right)$

式中：C为一尺度参数，ε为误差量，当某像素的图像误差越大，则误差函数会赋以该像素的估计权重越小，从而达到降低其对目标状态估计的影响。

Images