CN101464950A - 基于在线学习和贝叶斯推理的视频人脸识别与检索方法 - Google Patents

Abstract

本发明公开了一种基于在线学习和贝叶斯推理的视频人脸识别与检索方法，包括以下步骤：步骤一：建立人脸识别模型的初始化模型。人脸识别初始模型采用GMM人脸识别模型。步骤二：建立人脸类别模型。使用增量学习的方式对初始化的人脸模型进行模型更新。步骤三：进行视频人脸的识别与检索。给定测试序列和类别模型，利用贝叶斯推理过程累积视频中的序列识别信息，按照时间轴信息传播身份概率密度函数，并基于MAP规则得到识别分数，并给用户提供视频人脸识别结果。本发明建立了一个完全基于非监督学习的模型训练框架，根据训练序列的空间分布，初始模型进化为形式不同的类别模型，通过调节人脸类别模型的高斯混和数以更好地拟合空间数据的分布。

Description

基于在线学习和贝叶斯推理的视频人脸识别与检索方法

技术领域

本发明涉及一种基于在线学习和贝叶斯推理的视频人脸识别与检索方法，属于计算机视觉中的智能监控技术，特别是人脸识别技术。

背景技术

随着监控视频技术的广泛应用，越来越需要监控视频系统具有视频人脸识别功能以便能够在线实时的进行视频人脸检索。其具体表现为：对监控视频能够实现逐帧地进行目标人员识别，并将识别结果和对应的图像以索引的形式加以保存。当用户需要了解特定目标的活动轨迹时，将所有相关图像调出给用户查看，以人工参与的方式理解目标行为。

但是由于在监控视频中，存在着一些人员可能仅在小段时间内出现，与视频的海量数据相比，其中包含这些人员的有关图像数量可能较少。因此如果在大量的视频样本中要把少量的目标人员样本使用聚类算法来进行视频的可靠标记的视频标记算法提出了挑战，并且目前的视频人脸标记算法的确很难满足对于有些人员在小段时间内出现并对其进行精确标记的精度要求。此外监控视频系统应当具有在线和离线辨认目标人脸的功能，而基于视频的人脸识别算法正好能满足这个要求。因此，监控视频中的人脸检索可采用视频中的人脸识别方法去解决。

为了提高监控视频人脸检索的性能，需要对视频进行训练得到目标人脸的表示模型。因为视频中包含了丰富的人脸模式信息，因此基于视频建模可以提高人脸表示模型的准确性。现有的对训练视频进行人脸建模有在线学习方式和离线学习方式，在线学习的过程如下所示：迅速检测训练视频中的每一帧图像中出现的人脸模式并对之学习。学习完毕之后丢弃当前帧，然后对下一帧图像进行处理。在线学习方式相比于离线学习方式不仅能以模型更新的方式保证模型的正确性，还能节约大量的存储空间。因此得到了较好的应用，现有的基于在线学习方法得到训练视频模型的应用主要有K.C.Lee和X.Liu。下面分别对于K.C.Lee和X.Liu的思想进行介绍。

K.C.Lee等人使用单初始模型检测人脸，并学习检测到的样本，使初始模型最终进化为人脸类别模型。初始模型通过监督学习的方式获得，由固定数目的姿态子流形所组成，每个子流形采用PCA子空间建模。在样本的学习过程中，首先利用初始模型检测人脸，并判断样本的姿态，然后通过局部线性映射合成其他姿态下的虚拟样本，通过对这些样本的学习来调整初始模型参数，最终得到与初始模型形式完全相同的人脸类别模型。

X.Liu等人他们采用HMM(Hidden Markov Model，隐马尔可夫模型)模型为视频序列建模。在训练阶段，通过监督学习的方法得到各训练序列的HMM模型。在识别阶段，根据测试序列相对Gallery库中各HMM模型的置信度，使用整个测试序列更新目标HMM模型。

在使用有监督的在线学习方式得到训练视频模型的思想的基础上，K.C.Lee和X.Liu等的方法所建立的训练模型有较好的人脸识别和检索的效果。但是他们的模型还是有值得改进的地方：(1)他们的模型是一个基于有监督学习的模型训练框架，需要用户参与，而建立一个完全基于非监督学习的模型训练框架，可以进行自主学习，并且初始模型可以根据训练序列的空间分布进化为形式不同的类别模型，更能符合监控视频中人脸识别与检索的要求。(2)K.C.Lee的方法采用固定数目的子空间表示视频人脸流形，这个并不能很好的拟合空间数据的分布情况。因此使用GMM人脸识别模型来创建人脸识别的初始模型，相对于以上K.C.Lee等人使用单初始模型检测人脸和X.Liu等人他们采用HMM模型为视频序列建模。初始的人脸识别模型(GMM)利用了多个单高斯分布的线性组合来描述观测数据在特征空间中的分布。

GMM是一种基于多变量的参数化混合模型。它利用了多个单高斯分布的线性组合来描述观测数据在特征空间中的分布。给定观测数据x和模型λ_l，观测数据属于模型的概率为：

$G\left(\stackrel{\→}{x}\right)=p\left(\stackrel{\→}{x}{|\mathrm{\λ}}_1\right)=\underset{m=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_{m}N(\stackrel{\→}{x},{\mathrm{\μ}}_m,{\mathrm{\θ}}_m)---\left(1\right)$

式1中表示均值为μ_m，方差为θ_m的多维正态分布，

为观测数据，l为高斯混合模型的个数，其表示该高斯混合模型

由l个不同的单个高斯模型所组成，α_m为观测数据

属于第m个高斯成分的权重，并且满足α_m≥0，m＝1，…，l和 $\underset{m=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_m=1$ 的条件。通常采用EM算法确定GMM人脸识别模型的参数，

初始样本假设 $G_R\left(\stackrel{\→}{x}\right)=p\left(\stackrel{\→}{x}\right|{\mathrm{\λ}}_l)$ 表示高斯成分为l的人脸识别初始模型，并假定存在对于人脸识别的初始模型GMM初始模型建立的流程如图1所示，首先对于样本数为p(p>5000)的训练样本进行PCA降维处理，d为对于样本经过PCA降维后的样本维数，随后从p个样本数据中随机选取l个样本作为l个高斯成分的初始化高斯均值μ_(m，0)，并初始化人脸识别的初始模型

中每个高斯成分的初始化高斯权重为α_(m，0)＝1/l。为减小训练数据对类别模型的影响，仅从p样本集中挑选q(q<<p)个随机样本数据计算高斯成分的初始协方差矩阵θ_(m，0)，其计算方法如公式(2)所示：

${\mathrm{\&theta;}}_{(m,0)}=\frac{1}{10d}\mathrm{trace}\left(\frac{1}{q}\underset{i=1}{\overset{q}{\mathrm{\&Sigma;}}}({\stackrel{\&RightArrow;}{x}}_i-m){({\stackrel{\&RightArrow;}{x}}_i-m)}^T\right)I---\left(2\right)$

公式(2)中 $m=\frac{1}{q}\underset{i=1}{\overset{q}{\mathrm{\&Sigma;}}}{\stackrel{\&RightArrow;}{x}}_i$ 为所有q个随机样本的均值，d为对于样本经过PCA降维后的样本维数，I为d维的单位矩阵。

发明内容

本发明的目的是为了解决基于动态人脸识别的监控视频系统所面临的人脸类别模式训练和动态人脸识别方面存在的问题，提出了一种基于在线学习和贝叶斯推理的视频人脸识别与检索方法。在训练时，以非监督方式在线增量学习GMM模型，获得各人脸类别表示模型。针对每个用户，本发明建立并实现了人脸识别初始模型，并以增量学习的方式对人脸识别初始模型进行更新，最终得到个人特征数据空间分布的人脸类别模型。在识别时，本发明则采用贝叶斯推理累积视频中的序列识别信息，并基于MAP规则得到人脸图像的识别结果。

本发明的一种基于在线学习和贝叶斯推理的视频人脸识别与检索方法，具体步骤如下：

步骤一：建立人脸识别模型的初始化模型。

本发明的人脸识别初始模型采用GMM人脸识别模型。

步骤二：建立人脸类别模型。

当新的训练序列到来时，对每帧图像进行人脸检测，并学习检测到的人脸更新识别模型。在完成对当前序列的处理后，由于学习了更多的人脸样本，人脸识别模型逐步进化为反映类别信息的人脸类别模型。

在获得初始化人脸模型

后，利用现有的人脸检测算法检测训练视频每帧人脸图像，并利用检测得到的训练视频序列，以增量学习的方式更新模型，得到人脸类别模型。

步骤三：进行视频人脸的识别与检索。

给定测试序列和类别模型，利用贝叶斯推理过程累积视频中的序列识别信息，按照时间轴信息传播身份概率密度函数，并基于MAP(Maximum A Posterior，最大后验概率)规则得到识别分数和视频人脸识别结果。

本发明的优点在于：

(1)本发明首先建立了一个完全基于非监督方式在线增量学习GMM模型获得人脸类别模型而不需要通过用户参与的监督学习训练人脸类别模型从而提高了系统的自动化程度；

(2)本发明的方法根据训练序列的空间分布，初始模型可以进化为形式不同的类别模型，即可以调节人脸类别模型的高斯混和数以更好地拟合空间数据的分布；

(3)积累了视频序列的识别信息，使得人脸识别的准确性得到很大的提高；

(4)提供了一种更灵活、更准确的在线训练与识别机制。

附图说明

图1为GMM建立模型的流程图；

图2为本发明的基于在线学习和贝叶斯推理的视频人脸识别与检索方法的流程图；

图3为发明的建立人脸类别模型的流程图；

图4为发明的增量学习的流程图；

图5为本发明的进行视频人脸的识别与检索的流程图。

图6为实施例中测试数据库的部分样本；

图7为实施例中训练数据库的部分样本；

图8为实施例中识别率λ_R与模型更新速度的关系曲线图；

图9为实施例中BGMM、GMM、PCA和NN四种方法的识别率比较图。

具体实施方式

下面将结合附图和实施方式对本发明作进一步的详细说明。

本发明的一种基于在线学习和贝叶斯推理的视频人脸识别与检索方法，流程如图2所示，首先建立人脸识别模型的初始化模型，随后利用新的训练序列和人脸识别初始模型建立人脸类别模型，最后利用贝叶斯推理过程累积视频中的序列识别信息实现对视频人脸的识别与检索。具体步骤如下：

步骤一：建立人脸识别模型的初始化模型。

本发明的人脸识别初始化模型采用GMM人脸识别模型，人脸识别初始化模型在数量较少的人脸样本集上学习获得，并且选择数目足够多的高斯成分和随机初始化均值向量，使得人脸识别初始化模型覆盖整个人脸空间。本发明所述的用于训练的人脸样本均经过PCA降维处理。

初始的人脸识别模型(GMM)利用了多个单高斯分布的线性组合来描述观测数据在特征空间中的分布。其是一个完全基于非监督学习的模型训练框架，并且根据训练序列的空间分布，初始模型可以进化为形式不同的类别模型，从而可以更好的拟合空间数据的分布。

广泛的初始空间分布和少量的人脸样本集保证了人脸识别模型在学习过程中收敛的正确性和能在学习有限长度的序列后迅速进化为人脸类别模型。

步骤二：建立人脸类别模型。

当新的训练序列到来时，对每帧图像进行人脸检测，并学习检测到的人脸来更新识别模型。在完成对当前序列的处理后，由于学习了更多的人脸样本，人脸识别模型逐步进化为反映类别信息的人脸类别模型，如图3所示，使用不同的训练视频序列对初始化人脸模型进行增量学习，最后得到当前训练视频序列所对应的人脸类别模型，具体步骤如下：

在获得初始化人脸模型

后，训练视频序列使用增量学习的方式对初始化的人脸模型

进行模型更新，从而得到人脸类别模型。假设第i个训练视频序列用{I₀，…，I_t，…I_N}_i表示。其中{I₀，…，I_t，…I_N}_i表示现有的人脸检测算法检测训练视频每帧人脸图像，模型的更新过程可以表示为：

$G_R\left(\stackrel{\&RightArrow;}{x}\right)\&CirclePlus;{\{I_0,\&CenterDot;\&CenterDot;\&CenterDot;I_t,\&CenterDot;\&CenterDot;\&CenterDot;,I_N\}}_i->G_i\left(\stackrel{\&RightArrow;}{x}\right)---\left(3\right)$

公式(3)中

表示增量学习，

为通过学习得到的第i个视频序列的类别模型。本发明以增量学习的方式对GMM模型进行更新。

所述的增量学习的学习过程如图4所示，其步骤如下：

假定在当前视频序列{I₀，…，I_t，…I_N}_i的当前帧It中，

为从当前帧I_t中检测到的人脸模式，利用

对初始化模型

进行更新。

1、采用当前训练视频序列训练当前人脸模型。假定t-1时刻的高斯混合模型为

其对应的参数为{l，α_(m，t-1)，μ_(m，t-1)，θ_(m，t-1)}。其中：l表示该高斯混合模型由l个高斯成分组成，μ_(m，t-1)表示t-1时刻第m个高斯成分的均值，θ_(m，t-1)表示t-1时刻第m个高斯成分的方差，α_(m，t-1)表示t-1时刻第m个高斯成分的权重。

当学习到新的检测到的人脸模式

时，

表示的是第i个视频序列{I₀，…，I_t，…I_N}_i中I_j帧中的人脸模式，可以理解为高斯混合模型

中的

2、计算

在各高斯成分中的隶属度

$o_{(m,t)}\left(F_t^{*}\right)={\mathrm{\&alpha;}}_{(m,t-1)}N(F_t^{*},{\mathrm{\&mu;}}_{(m,t-1)},{\mathrm{\&theta;}}_{(m,t-1)})/G\left(\stackrel{\&RightArrow;}{x}\right)---\left(4\right)$

式中：表示均值为μ_(m，t-1)，方差为θ_(m，t-1)的多维正态分布。

3、求新样本

当前的高斯混合模型

中不同的高斯成分的权重并确定λ_R。

利用

更新学习到了新的样本

之后，新样本

当前的高斯混合模型

中不同的高斯成分的权重为：

${\mathrm{\&alpha;}}_{(m,t)}={\mathrm{\&alpha;}}_{(m,t-1)}+{\mathrm{\&lambda;}}_R(\frac{o_{(m,t)}\left(F_t^{*}\right)}{1-\mathrm{lC}}-{\mathrm{\&alpha;}}_{(m,t-1)}-{\mathrm{\&lambda;}}_R\frac{C}{1-\mathrm{lC}}---\left(5\right)$

公式(5)中λ_R为当前高斯混合模型

更新速率，其决定了模型进化为人脸类别模型的更新的速率，如果λ_R设置过小，样本的学习对模型参数的调整几乎不产生任何影响，将不能得到正确的人脸类别模型；如果λ_R设置过大，样本的学习将造成GMM模型参数的奇异性，同样无法得到人脸类别模型。C＝λN/2为一常数，其中λ的值为0.5，N的取值通过公式N＝d+d(d+1)/2确定，d表示经过PCA降维之后的样本的维数，N表示每个高斯函数需要确定的参数数量；同时也表示为有效估计高斯函数参数，至少应该具有的训练样本数。

4、判断高斯成分的权重α_(m，t)是否小于零。

比较当前高斯混合模型中所有的高斯成分的权重α_(m，t)的值。如果α_(m，t)<0，则表示属于第m个高斯成分的数据太少，不足以维持第m个高斯成分，故删除此高斯成分，如果α_(m，t)≥0，继续判断当前帧是否为最后一帧，若是则结束，不是则返回到步骤1继续进行人脸模型的训练。

5、更新模型各成分的高斯权重、均值、方差。

因为α_(m，t)<0删除此时的高斯成分，高斯成分的总数减少一个，即l＝l-1，随后重新归一化不同高斯成分在新的混合模型中的权重α_(m，t)。所述的权重α_(m，t)的计算使用EM算法。

相对应的更新后的第m个高斯成分的均值μ_(m，t)和方差θ_(m，t)的更新形式为：

然后使用{l，α_(m，t)，μ_(m，t)，θ_(m，t)}代替{l，α_(m，t-1)，μ_(m，t-1)，θ_(m，t-1)}，并进行后续样本的学习。其中表示的是当前训练人脸样本

与高斯混合模型中对应的t-1时刻的第m个高斯成分的均值μ_(m，t-1)之间的差值。

得到更新后的高斯模型后，接着从视频中检测人脸再进行人脸模型的更新学习，直到将当前视频中的所有帧都检测完毕，便得到了人脸识别的最终的高斯混合模型

对于人脸识别的高斯混合模型

为了扩大人脸样本集，学习更多的类内差异和容忍人脸识别时的定位误差，围绕当前帧的人脸位置，生成存在定位误差的人脸图像，并通过镜像操作生成相应的镜像图像，从而在任意时刻能学习更多的人脸样本，保证

正确收敛到人脸类别模型。由于公式(4)～(8)形式比较简单，

模型的更新过程能实时进行。另外，为了保证初始人脸识别模型能快速进化为人脸类别模型，

的模型更新速度λ_R必须大于特定阈值。

基于以上的在线增量学习机制，人脸识别模型逐步更新。当完成对当前序列的处理后，

将进化为人脸类别模型。即使

模型与人脸类别模型差别较大，由于使用了增加学习样本的机制，并在学习过程中，通过消除权值较小的高斯成分，使得

能收敛到正确的人脸类别模型。对应不同的训练序列，最终学习得到的人脸类别模型包含的高斯成分数目并不一致。

步骤三：进行视频人脸的识别与检索。

给定测试序列和类别模型，利用贝叶斯推理过程累积视频中的序列识别信息，按照时间轴信息传播身份概率密度函数，并基于MAP(Maximum A Posterior，最大后验概率)规则得到识别分数，并给用户提供视频人脸识别结果。

根据步骤一、步骤二，分别学习J个训练视频，可以得到对应的人脸类别模型如图5所示，进行视频人脸的识别与检索具体步骤为：

给定待检索的视频，利用人脸检测的方法检测人脸图像

结合步骤二所得到的人脸类别模型，利用贝叶斯推理求取关于身份变量的后验概率，并采用MAP规则获得当前人脸的身份信息：

$i^{*}=\underset{i}{\arg \max }p\left(i\right|F_t^{*})=\mathrm{\&eta;}\underset{i}{\arg \max }{G}_i\left(F_t^{*}\right)---\left(9\right)$

式中η为归一化的常数。为了检索特定目标，对视频每帧图像所包含的人脸进行识别。由于希望能利用视频的历史识别信息来提高当前帧人脸识别的正确性。监控视频中，本发明假定在时空具有连续性的人脸样本集合其身份变量保持不变，基于贝叶斯推理过程，可以得到身份变量的后验概率形式：

$i^{*}=\underset{i}{\arg \max }p\left(i\right|F_t^{*},F_{0:t-1}^{*})$

$=\mathrm{\&eta;}\underset{i}{\arg \max }p\left(F_t^{*}\right|i,F_{0:t-1}^{*})\&CenterDot;p\left(i\right|F_{0:t-1}^{*})$ (10)

    $=\mathrm{\&eta;}\underset{i}{\arg \max }p\left(F_t^{*}\right|i)\&CenterDot;p\left(i\right|F_{t-1}^{*},F_{0:t-2}^{*})$

    $=\mathrm{\&eta;}\underset{i}{\arg \max }{G}_i\left(F_t^{*}\right)\&CenterDot;p\left(i\right|F_{t-1}^{*},F_{0:t-2}^{*})$

获得当前人脸的身份信息i^*，给用户提供视频人脸识别结果。

实施例：

实施例的训练数据库由28个人的视频组成，每个序列包括100～510帧图像。在这些视频中，人脸包括了各种表情和姿态的变化，姿态的变化主要体现为人脸的二维平面内旋转和三维立体旋转。测试数据库由一个长约4分钟，约2013帧图像的监控视频组成，共包含3个目标人员。通过人脸检测算法检测到2305张人脸图像，所有样本归一化为60×60象素的图像。图6和图7分别显示了测试数据库和训练数据库的部分样本的示例样本。

实施例中给定监控视频和所有目标的模型，通过计算当前视频人脸样本属于目标模型的概率，基于贝叶斯推理累积历史识别信息给出识别结果。在28个视频中，通过随机挑选的6个序列训练人脸样本及其镜像用于识别模型的初始化。虽然测试数据库只包含3个目标人员，但总共有2305张待识别人脸图像，且需要和28个训练模型作比较；监控视频中的人脸图像仅经过人脸检测初始定位，未做进一步归一化，人脸的姿态和表情变化剧烈。

λ_R是本发明中算法的重要参数，它决定了人脸识别模型的进化速度。如果λ_R设置过小，样本的学习对模型参数的调整几乎不产生任何影响，将不能得到正确的人脸类别模型；如果λ_R设置过大，样本的学习将造成GMM模型参数的奇异性，同样无法得到人脸类别模型。在实施例中，其它参数设置为：初始人脸识别模型的高斯成分数l＝20，人脸特征维数为d＝18。

λ_R取值结果如图8所示。在图8中，横坐标表示模型更新速度系数λ_R的取值变化，纵坐标表示人脸识别率。从图中可以看出，在λ_R>1/500时，人脸识别模型进化速度过快，导致参数模型的协方差矩阵奇异，因此对应的人脸识别率为零。λ_R在1/500～10^-4范围内，人脸识别率保持相对稳定。甚至λ_R取更小的值，识别率也下降幅度不大。

比较四种逐帧识别的人脸识别算法，即本发明所述的基于人脸类别模型和贝叶斯推理的算法(BGMM)、GMM、PCA和最近邻算法(NN)。BGMM的参数设置为：初始人脸识别模型的高斯成分数l＝20，PCA特征维数d＝18，模型更新速度λ_R＝0.0005。GMM算法采用离线训练的方式，在给定训练数据的情况下，利用EM算法得到人脸类别模型。PCA算法对应的特征维数为50。结果如图9所示，图9用柱状图表示各种方法正确识别的帧数与待识别帧数的比率，GMM，BGMM，NN和PCA的识别率分别为85.49％，93.96％，90.88％，68.33％，即本发明的基于人脸类别模型和贝叶斯推理的算法远远好于其它三种算法。

Claims (2)

1、一种基于在线学习和贝叶斯推理的视频人脸识别与检索方法，包括

步骤一：建立人脸识别模型的初始化模型；

所述的人脸识别初始模型采用GMM人脸识别模型；

其特征在于，还包括如下步骤，

步骤二：建立人脸类别模型；

当新的训练序列到来时，对每帧图像进行人脸检测，并学习检测到的人脸来更新识别模型；在完成对当前序列的处理后，由于学习了更多的人脸样本，人脸识别模型逐步进化为反映类别信息的人脸类别模型，使用不同的训练视频序列对人脸初始模型

进行增量学习，最后通过增量学习的方式得到当前训练视频序列所对应的人脸类别模型；

步骤三：进行视频人脸的识别与检索；

给定测试视频序列和人脸类别模型，利用贝叶斯推理过程累积视频中的序列识别信息，按照时间轴信息传播身份概率密度函数，并基于MAP规则得到识别分数，并给用户提供视频人脸识别结果；

根据步骤一、步骤二，分别学习J个训练视频，得到对应的人脸类别模型 $\{G_1\left(\stackrel{\&RightArrow;}{x}\right),\&CenterDot;\&CenterDot;\&CenterDot;,G_i\left(\stackrel{\&RightArrow;}{x}\right),\&CenterDot;\&CenterDot;\&CenterDot;,G_J\left(\stackrel{\&RightArrow;}{x}\right)\};$ 进行视频人脸的识别与检索具体步骤为：

给定待检索的视频，利用人脸检测的方法检测人脸图像结合步骤二所得到的人脸类别模型，利用贝叶斯推理求取关于身份变量的后验概率，并采用MAP规则获得当前人脸的身份信息：

$i^{*}=\underset{i}{\arg \max }p\left(i\right|F_t^{*})=\mathrm{\&eta;}\underset{i}{\arg \max }{G}_i\left(F_t^{*}\right)---\left(1\right)$

式中η为归一化的常数；监控视频中，假定在时空具有连续性的人脸样本集合中其身份变量保持不变，基于贝叶斯推理过程，得到身份变量的后验概率形式：

$i^{*}=\underset{i}{\arg \max }p\left(i\right|F_t^{*},F_{0:t-1}^{*})$

$=\mathrm{\&eta;}\underset{i}{\arg \max }p\left(F_t^{*}\right|i,F_{0:t-1}^{*})\&CenterDot;p\left(i\right|F_{0:t-1}^{*})$

$=\mathrm{\&eta;}\underset{i}{\arg \max }p\left(F_t^{*}\right|i,)\&CenterDot;p\left(i\right|F_{t-1}^{*},F_{0:t-2}^{*})$

$=\mathrm{\&eta;}\underset{i}{\arg \max }{G}_i\left(F_t^{*}\right)\&CenterDot;p\left(i\right|F_{t-1}^{*},F_{0:t-2}^{*})$

获得当前人脸的身份信息i^*，给用户提供视频人脸识别结果。

2、根据权利要求1所述的基于在线学习和贝叶斯推理的视频人脸识别与检索方法，其特征在于：步骤二所述的增量学习，其步骤如下：

假定在当前视频序列{I₀，…，I_t，…I_N}_i的当前帧I_t中，为从当前帧I_t中检测到的人脸模式，利用

对初始化模型进行更新；

(1)采用当前训练视频序列训练当前人脸模型；假定t-1时刻的高斯混合模型为其对应的参数为{l，α_(m，t-1)，μ_(m，t-1)，θ_(m，t-1)}；其中：l表示该高斯混合模型由l个高斯成分组成，μ_(m，t-1)表示t-1时刻第m个高斯成分的均值，θ_(m，t-1)表示t-1时刻第m个高斯成分的方差，α_(m，t-1)表示t-1时刻第m个高斯成分的权重；

当学习到新的检测到的人脸模式

时，

表示的是第i个视频序列{I₀，…，I_t，…I_N}_i中I_j帧中的人脸模式，理解为高斯混合模型

中的

(2)计算

在各高斯成分中的隶属度

$o_{(m,t)}\left(F_t^{*}\right)={\mathrm{\&alpha;}}_{(m,t-1)}N(F_t^{*},{\mathrm{\&mu;}}_{(m,t-1)},{\mathrm{\&theta;}}_{(m,t-1)})/G\left(\stackrel{\&RightArrow;}{x}\right)---\left(3\right)$

式中：

表示均值为μ_(m，t-1)，方差为θ_(m，t-1)的多维正态分布；

(3)求新样本

当前的高斯混合模型

中不同的高斯成分的权重并确定λ_R；

利用

更新学习到了新的样本

之后，新样本

当前的高斯混合模型

中不同的高斯成分的权重为：

${\mathrm{\&alpha;}}_{(m,t)}={\mathrm{\&alpha;}}_{(m,t-1)}+{\mathrm{\&lambda;}}_R(\frac{o_{(m,t)}\left(F_t^{*}\right)}{1-\mathrm{lC}}-{\mathrm{\&alpha;}}_{(m,t-1)})-{\mathrm{\&lambda;}}_R\frac{C}{1-\mathrm{lC}}---\left(4\right)$

公式(5)中λ_R为当前高斯混合模型

更新速率，其决定了模型进化为人脸类别模型的更新的速率；C＝λN/2为一常数，其中λ的值为0.5，N的取值通过公式N＝d+d(d+1)/2确定，d表示经过PCA降维之后的样本的维数，N表示每个高斯函数需要确定的参数数量；同时也表示为有效估计高斯函数参数，至少应该具有的训练样本数；

(4)判断高斯成分的权重α_(m，t)是否小于零；

比较当前高斯混合模型中所有的高斯成分的权重α_(m，t)的值，如果α_(m，t)<0，则表示属于第m个高斯成分的数据太少，不足以维持第m个高斯成分，故删除此高斯成分，如果α_(m，t)≥0，继续判断当前帧是否为最后一帧，若是则结束，不是则返回到步骤(1)继续进行人脸模型的训练；

(5)更新模型各成分的高斯权重、均值、方差；

因为α_(m，t)<0删除此时的高斯成分，高斯成分的总数减少一个，即l＝l-1，随后重新归一化不同高斯成分在新的混合模型中的权重α_(m，t)；所述的α_(m，t)的计算使用EM算法来进行计算；相对应的更新后的第m个高斯成分的均值和方差μ_(m，t)和θ_(m，t)的更新形式为：

然后使用{l，α_(m，t)，μ_(m，t)，θ_(m，t)}代替{l，α_(m，t-1)，μ_(m，t-1)，θ_(m，t-1)}，并进行后续样本的学习；其中

表示的是当前训练人脸样本

与高斯混合模型中对应的t-1时刻的第m个高斯成分的均值μ_(m，t-1)之间的差值；

得到更新后的高斯模型，随后接着从视频中检测人脸再进行人脸模型的更新学习，直到将当前视频中的所有帧都检测完毕，随后便得到了人脸识别的最终的高斯混合模型

Images