CN106682582A - 一种基于压缩感知外观模型的人脸跟踪方法及系统 - Google Patents

Abstract

本发明公开了一种基于压缩感知外观模型的人脸跟踪方法，具有以下有益效果：1)通过AMM检测弥补了(稀疏)粒子滤波跟踪的缺陷，使跟踪的效率得到提高，降低了丧失重要信息的几率；2)通过对AMM的预测结果和跟踪后的拟合结果的分析，实时更新外观模型的外观参数并通过新得到类haar特征训练分类器，使跟踪效率得到显著提高并且降低了算法的复杂程度；3)通过稀疏表达解决了在人脸跟踪时出现的人脸闭合情以及光照变化情况，从而通过AMM进行检测时能够较好的表现纹理特征，充分利用了人脸信息，并且通过降维处理降低了算法的复杂程度。本发明提供的基于压缩感知外观模型的人脸跟踪系统，具有上述人脸跟踪方法相同的有益效果。

Description

一种基于压缩感知外观模型的人脸跟踪方法及系统

技术领域

本发明涉及人脸识别和跟踪领域，具体涉及一种基于压缩感知外观模型的人脸跟踪方法。

背景技术

随着科学技术的发展，人脸识别技术以及跟踪技术日益成熟，通过一给定的人脸图像，在一段包含该人脸的视频中可以对其进行跟踪并定位，从而达到智能计算机进行人脸识别及追踪的目的。

在当今社会中，人脸追踪技术运用于各个领域，实现了事件追溯的智能化。诸如：对监视视频进行筛选，实现犯罪嫌疑人追踪及证据搜集；摄像时用矩形框对人脸进行定位，提高拍摄的清晰度；通过追踪人脸实现狙击的定位等。

现有技术中，提供了多种人脸追踪的技术，具体如下：

1)基于AMM的人脸检测技术，通过外观模型模拟出需要跟踪的人脸，并与视频图像中的人脸进行全方位的比对，找出该视频中配对的人脸；

2)稀疏粒子滤波跟踪框架技术，对需要跟踪的人脸以及视频图像中的人脸进行降维处理，并且通过相同人脸的多方位矩形框进行人脸跟踪；

3)粒子滤波跟踪框架技术，直接通过矩形框相同人脸的多方位矩形框进行人脸跟踪。

现有技术的不足之处在于，1)AMM没有充分利用人脸的信息：仅能表现人脸的外型特征，无法很好的表现人脸的纹理特征，在出现光线变化的情况时无法很好的对人脸进行跟踪，并且算法较为复杂；2)(稀疏)粒子滤波跟踪的效率不高，容易出现人脸漏跟踪的情况，有可能导致重要信息的丧失；3)无法实时更新外观模型的外观参数，然后根据新的haar特征训练分类器，导致过多的重复运算以及对跟踪效率造成一定影响。

发明内容

本发明的目的是提供一种基于压缩感知外观模型的人脸跟踪方法及系统，以解决AMM无法很好表现纹理特征、(稀疏)粒子滤波跟踪的精度不高以及无法实时更新外观模型的外观参数的问题。

为了实现上述目的，本发明提供如下技术方案：

一种基于压缩感知外观模型的人脸跟踪方法，包括以下步骤：

在AMM中通过目标对象确定一人脸模型，根据所述人脸模型在输入的前一帧视频图像中检测获得人脸位置；

根据所述人脸模型在所述人脸位置上提取特征点，并通过例子滤波计算所述特征点附近的一个单位矩形框内的类haar特征，据其进行分类器的训练；

通过训练后的分类器预测后一帧视频图像中的人脸位置，并通过AMM中的外观模型对其进行人脸拟合；

对预测结果和拟合结果进行相似度分析，并根据分析结果对所述人脸模型的外观参数进行更新。

上述人脸跟踪方法，所述分类器为朴素贝叶斯分类器。

上述人脸跟踪方法，计算得到类haar特征还包括以下步骤：

根据所述人脸模型在所述人脸位置上提取特征点，并通过例子滤波计算所述特征点附近的一个单位矩形框内的类haar特征；

对类haar特征进行稀疏表达，完成降维处理，稀疏矩阵为，

其中N表示人脸特征点模型的特征点的个数。

上述人脸跟踪方法，在AMM中通过目标对象确定一人脸模型包括以下步骤：

选定一人脸作为被检测/跟踪的目标对象；

通过AMM中的外观模型对所述目标对象进行拟合，获得人脸模型。

上述人脸跟踪方法，检测获得人脸位置包括以下步骤：

获取所述人脸模型的矩形框，并以帧为单位在前一帧视频图像中搜索到相应的人脸矩形框；

根据所述相应的人脸矩形框得到前一帧视频图像中人脸的外观参数。

上述人脸跟踪方法，进行分类器的训练包括以下步骤：

获取样本图片，将所述样本图片归一化为尺寸相同；

通过所述类haar特征对所述样本图片进行分类，获得具有所述类haar特征的人脸图片。

上述人脸跟踪方法，对预测结果和拟合结果进行相似度分析包括以下步骤：

求解所述预测结果和所述拟合结果的相似度：其中sim(x,y)是关于x、y的相似度，x_i,y_i表示直方图，N代表在颜色空间的采样数目；

根据相似度计算权重：

上述人脸跟踪方法，根据分析结果对所述人脸模型的外观参数进行更新包括以下步骤：

判断所述相似度和所述权重是否符合设定条件，若是则不更新外观参数；

否则在预测结果与拟合结果间定义一个仿射变换，根据仿射变换进行计算，根据计算结果更新所述外观参数。

一种基于压缩感知外观模型的人脸跟踪系统，包括：

检测模块，用以确定一人脸模型，根据所述人脸模型在输入的第m帧视频图像中检测获得人脸位置；

训练模块，用以根据所述人脸模型在所述人脸位置上提取特征点，并通过例子滤波计算所述特征点附近的一个单位矩形框内的类haar特征，据其进行分类器的训练；

预测拟合模块，用以通过训练后的分类器预测第m+1帧视频图像中的人脸位置，并通过AMM中的外观模型对其进行人脸拟合；

分析模块，用以对预测结果和拟合结果进行相似度分析，并根据分析结果对所述人脸模型的外观参数进行更新。

本发明提供的基于压缩感知外观模型的人脸跟踪方法，具有以下有益效果：

1)通过AMM检测弥补了(稀疏)粒子滤波跟踪的缺陷，使跟踪的效率得到提高，降低了丧失重要信息的几率；

2)通过对AMM的预测结果和跟踪后的拟合结果的分析，实时更新外观模型的外观参数并通过新得到类haar特征训练分类器，使跟踪效率得到显著提高并且降低了算法的复杂程度；

3)通过稀疏表达解决了在人脸跟踪时出现的人脸闭合情以及光照变化情况，从而通过AMM进行检测时能够较好的表现纹理特征，充分利用了人脸信息，并且通过降维处理降低了算法的复杂程度。

本发明提供的基于压缩感知外观模型的人脸跟踪系统，具有以下有益效果：

1)通过检测模块实现了跟踪效率的提高，降低了丧失重要信息的几率；

2)通过本系统实现了实时更新外观模型的外观参数并通过新得到类haar特征训练分类器，使跟踪效率得到显著提高并且降低了算法的复杂程度；

3)通过训练模块解决了在人脸跟踪时出现的人脸闭合情以及光照变化情况，从而使检测模块检测时能够较好的表现纹理特征，充分利用了人脸信息。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于压缩感知外观模型的人脸跟踪方法的结构示意图；

图2为本发明一优选实施例提供的基于压缩感知外观模型的人脸跟踪方法的结构示意图；

图3为本发明一优选实施例提供的基于压缩感知外观模型的人脸跟踪方法的结构示意图；

图4为本发明一优选实施例提供的基于压缩感知外观模型的人脸跟踪方法的结构示意图；

图5为本发明一优选实施例提供的基于压缩感知外观模型的人脸跟踪方法的结构示意图；

图6为本发明一优选实施例提供的基于压缩感知外观模型的人脸跟踪方法的结构示意图；

图7为本发明一优选实施例提供的基于压缩感知外观模型的人脸跟踪方法的结构示意图；

图8为本发明实施例提供的基于压缩感知外观模型的人脸跟踪系统的结构示意图；

图9为本发明实施例提供的AMM对人脸进行拟合的示意图；

图10(a)-图10(c)为本发明实施例提供的真实场景的图片和数据库图片矩形框的示意图；

图11为本发明实施例提供的分析相似度的直方示意图。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面将结合附图对本发明作进一步的详细介绍。

如图1所示，本发明实施例提供的基于压缩感知外观模型的人脸跟踪方法，包括以下步骤：

S101、在AMM中通过目标对象确定一人脸模型，根据所述人脸模型在输入的前一帧视频图像中检测获得人脸位置；

如图3所示，进一步的，本步骤中在AMM中通过目标对象确定一人脸模型包括以下步骤：

S301、选定一人脸作为被检测/跟踪的目标对象；

S302、通过AMM中的外观模型对所述目标对象进行拟合，获得人脸模型。

具体的，目标对象是指预先选定的需要进行人脸检测/跟踪的，并且能够充分表现人脸特征的人脸图像，选定可以为人为输入图像进行选定，也可以为通过算法按序自动选定视频图像中的某一帧的人脸图像；外观模型是指AMM中具有人脸形变以及纹理变化功能的外观模型以及形变、变化的公式，公式中包含形变系数和纹理系数，通过改变这两个系数可以改变人脸的形状和纹理；拟合是指对外观模型通过选定的目标对象进行形状和纹理的变换，得到一个与目标对象完全一致(目标对象体现出来的人脸位置也一致)的三维人脸模型，通过改变三维人脸模型的位置，捕捉人脸的矩形框也随之变化。

如图4所示，进一步的，本步骤中检测获得人脸位置包括以下步骤：

S401、获取所述人脸模型的矩形框，并以帧为单位在前一帧视频图像中搜索到相应的人脸矩形框；

S402、根据所述相应的人脸矩形框得到前一帧视频图像中人脸的外观参数。

根据步骤S301、S302可以知道相同的人脸，人脸的位置信息不同，捕捉该人脸位置的矩形框也不相同，即一个形状系数和纹理系数对应一个捕捉人脸的矩形框，反之亦成立。人脸位置是指相同的人脸其具有抬头、低头、歪头、侧脸、脸部表情等不同的位置信息，由上可知位置信息不同导致外观参数(形变、纹理参数)也不同；根据人脸模型可以定义出与之相对应的矩形框以及特征点信息，再根据矩形框从视频图像中搜索出相同的矩形框，该矩形框对应了一组形状系数值和纹理系数值(前一帧视频图像的参数)，即初始的外观参数。

S102、根据所述人脸模型在所述人脸位置上提取特征点，并通过例子滤波计算所述特征点附近的一个单位矩形框内的类haar特征，据其进行分类器的训练；

如图2所示，进一步的，本步骤中计算得到类haar特征还包括以下步骤：

S201、根据所述人脸模型在所述人脸位置上提取特征点，并通过例子滤波计算所述特征点附近的一个单位矩形框内的类haar特征；

人脸模型上具有特征点，根据其上的特征点提取出人脸位置上相应的特征点，再在特征点周围划定单位矩形框，一个特征点对应一个矩形框，分别计算矩形框内的类haar特征。根据特征点来计算类haar特征可以不仅保留住人脸的形状信息还可以保留人脸的纹理信息。

S202、对类haar特征进行稀疏表达，完成降维处理；

稀疏矩阵为：其中N表示人脸特征点模型的特征点的个数。通过稀疏表达的算法可以有效地解决人脸闭合的情况，同时人脸检测可以有效地处理光照变化的情况。

在一些实施例中，所述分类器为朴素贝叶斯分类器。

如图5所示，进一步的，本步骤中进行分类器的训练包括以下步骤：

S501、获取样本图片，将所述样本图片归一化为尺寸相同；

S502、通过所述类haar特征对所述样本图片进行分类，获得具有所述类haar特征的人脸图片。

从数据库中调取人脸图片，以及调取现实场景中的人脸图片作为样本图片，并且将其归一化为尺寸相同的图片，然后通过类haar特征对图片进行分类，使分类器能够检测相同人脸的不同人脸位置。

S103、通过训练后的分类器预测后一帧视频图像中的人脸位置，并通过AMM中的外观模型对其进行人脸拟合；

经过训练的分类器可进行后一帧视频图像的预测，得到一预测结果；同时通过AMM对后一帧视频图像进行人脸拟合，获得后一帧视频图像的形变参数值和纹理参数值，得到一拟合结果(两者统称为外观参数)。

S104、对预测结果和拟合结果进行相似度分析，并根据分析结果对所述人脸模型的外观参数进行更新。

如图6所示，本步骤中对预测结果和拟合结果进行相似度分析包括以下步骤：

S601、求解预测结果和拟合结果的相似度：

其中sim(x,y)是关于x、y的相似度，x_i,y_i表示直方图，N代表在颜色空间的采样数目；

S602、根据相似度计算权重：

通过相似度的公式计算分类器的预测结果和AMM的拟合结果的相似度以及权重并进行相应的分析，得到一个分析结果。

如图7所示，本步骤中根据分析结果对所述人脸模型的外观参数进行更新包括以下步骤：

S701、判断所述相似度和所述权重是否符合设定条件，若是则不更新外观参数；

S702、否则在检测结果与拟合结果间定义一个仿射变换，根据仿射变换进行计算，根据计算结果更新所述外观参数。

具体的，设定条件是指相似度和权重的设定值，大于等于该值判定为符合，小于该值判定为不符合；符合时，不对初始的外观参数进行更新，通过其继续跟踪下一帧视频图像中的相应人脸，重复以上步骤；当不符合时，分别设置它们为A和B，同时，前一帧图像的最后的人脸跟踪结果的矩形框设置为C。因为形变参数和纹理参数能够决定单独的一个矩形框，相反也是一样。所以，可以在两个矩形框之间定义一个仿射变换，并且提取出人脸特征点的位置。当获得了最后的人脸的矩形框，可以在AMM中根据仿射变换更新外观参数。

本发明提供的基于压缩感知外观模型的人脸跟踪方法，具有以下有益效果：

1)通过AMM检测弥补了(稀疏)粒子滤波跟踪的缺陷，使跟踪的效率得到提高，降低了丧失重要信息的几率；

2)通过对AMM的预测结果和跟踪后的拟合结果的分析，实时更新外观模型的外观参数并通过新得到类haar特征训练分类器，使跟踪效率得到显著提高并且降低了算法的复杂程度；

3)通过稀疏表达解决了在人脸跟踪时出现的人脸闭合情以及光照变化情况，从而通过AMM进行检测时能够较好的表现纹理特征，充分利用了人脸信息，并且通过降维处理降低了算法的复杂程度。

本发明还提供一种基于压缩感知外观模型的人脸跟踪系统，包括：

检测模块，用以确定一人脸模型，根据所述人脸模型在输入的第m帧视频图像中检测获得人脸位置；

训练模块，用以根据所述人脸模型在所述人脸位置上提取特征点，并通过例子滤波计算所述特征点附近的一个单位矩形框内的类haar特征，据其进行分类器的训练；

预测拟合模块，用以通过训练后的分类器预测第m+1帧视频图像中的人脸位置，并通过AMM中的外观模型对其进行人脸拟合；

分析模块，用以对预测结果和拟合结果进行相似度分析，并根据分析结果对所述人脸模型的外观参数进行更新。

具体的，如图9、图10(a)-图10(c)以及图11所示，本发明实施例提供的人脸跟踪系统，通过人脸跟踪的实验及实验结果进行相应的分析。

所训练的图片包括真实场景的图片还有波士顿大学计算机学院实验室提供的数据库。并且测试不同的复杂情况的视频，其中包括人脸的旋转变换，尺度变换，光照变换等等。以及将本跟踪系统在不同的视频当中进行了结果的比较。

在不同视频及不同方法下的实验结果如下表所示：

V1,V2和V3是三个不同的视频，分别包括了人脸各种变化。表格中的数据展示了被跟踪对人脸和整个视频帧数的比率。

实验结果分析：从实验结果当中可以看出，本人脸跟踪系统是非常的鲁棒和准确的。在复杂的真实生活的环境中，仍然有很多的工作要做。其中一个方向是发展一种统一的方法或系统，该方法或系统可以吸收多种视觉跟踪算法或系统的优点及特征，例如人脸的颜色，haar特征等。增加特征可以更加清晰地表达出人脸的信息。并且组合特征可以应对各种复杂的环境的变化。另一个方向为提高表达人脸的准确率。在当下的一些研究中，人脸的尺度估计通常会达到一定错误率，由于环境当中噪声的干扰。最重要的工作就是将该模型应用到人脸当中。我们现在的人脸模型仍然受限制与理想的概率分布模型。但现实生活当中的噪声干扰是无法被准确估计的，并且不一定呈现出我们所估计的概率分布。

本发明提供的基于压缩感知外观模型的人脸跟踪系统，具有以下有益效果：

1)通过检测模块实现了跟踪效率的提高，降低了丧失重要信息的几率；

2)通过本系统实现了实时更新外观模型的外观参数并通过新得到类haar特征训练分类器，使跟踪效率得到显著提高并且降低了算法的复杂程度；

3)通过训练模块解决了在人脸跟踪时出现的人脸闭合情以及光照变化情况，从而使检测模块检测时能够较好的表现纹理特征，充分利用了人脸信息。

以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。

Claims (9)

1.一种基于压缩感知外观模型的人脸跟踪方法，其特征在于，包括以下步骤：

在AMM中通过目标对象确定一人脸模型，根据所述人脸模型在输入的前一帧视频图像中检测获得人脸位置；

根据所述人脸模型在所述人脸位置上提取特征点，并通过例子滤波计算所述特征点附近的一个单位矩形框内的类haar特征，据其进行分类器的训练；

通过训练后的分类器预测后一帧视频图像中的人脸位置，并通过AMM中的外观模型对其进行人脸拟合；

对预测结果和拟合结果进行相似度分析，并根据分析结果对所述人脸模型的外观参数进行更新。

2.根据权利要求1所述的人脸跟踪方法，其特征在于，所述分类器为朴素贝叶斯分类器。

3.根据权利要求1所述的人脸跟踪方法，其特征在于，计算得到类haar特征还包括以下步骤：

根据所述人脸模型在所述人脸位置上提取特征点，并通过例子滤波计算所述特征点附近的一个单位矩形框内的类haar特征；

对类haar特征进行稀疏表达，完成降维处理，稀疏矩阵为，

其中N表示人脸特征点模型的特征点的个数。

4.根据权利要求1所述的人脸跟踪方法，其特征在于，在AMM中通过目标对象确定一人脸模型包括以下步骤：

选定一人脸作为被检测/跟踪的目标对象；

通过AMM中的外观模型对所述目标对象进行拟合，获得人脸模型。

5.根据权利要求1所述的人脸跟踪方法，其特征在于，检测获得人脸位置包括以下步骤：

获取所述人脸模型的矩形框，并以帧为单位在前一帧视频图像中搜索到相应的人脸矩形框；

根据所述相应的人脸矩形框得到前一帧视频图像中人脸的外观参数。

6.根据权利要求1所述的人脸跟踪方法，其特征在于，进行分类器的训练包括以下步骤：

获取样本图片，将所述样本图片归一化为尺寸相同；

通过所述类haar特征对所述样本图片进行分类，获得具有所述类haar特征的人脸图片。

7.根据权利要求1所述的人脸跟踪方法，其特征在于，对预测结果和拟合结果进行相似度分析包括以下步骤：

求解所述预测结果和所述拟合结果的相似度：其中sim(x,y)是关于x、y的相似度，x_i,y_i表示直方图，N代表在颜色空间的采样数目；

根据相似度计算权重：

8.根据权利要求1所述的人脸跟踪方法，其特征在于，根据分析结果对所述人脸模型的外观参数进行更新包括以下步骤：

判断所述相似度和所述权重是否符合设定条件，若是则不更新外观参数；

否则在预测结果与拟合结果间定义一个仿射变换，根据仿射变换进行计算，根据计算结果更新所述外观参数。

9.一种基于压缩感知外观模型的人脸跟踪系统，其特征在于，包括：

检测模块，用以确定一人脸模型，根据所述人脸模型在输入的第m帧视频图像中检测获得人脸位置；

训练模块，用以根据所述人脸模型在所述人脸位置上提取特征点，并通过例子滤波计算所述特征点附近的一个单位矩形框内的类haar特征，据其进行分类器的训练；

预测拟合模块，用以通过训练后的分类器预测第m+1帧视频图像中的人脸位置，并通过AMM中的外观模型对其进行人脸拟合；

分析模块，用以对预测结果和拟合结果进行相似度分析，并根据分析结果对所述人脸模型的外观参数进行更新。