CN105608710B - 一种非刚性人脸检测和追踪定位方法 - Google Patents

Abstract

本发明公开了一种非刚性人脸检测和追踪定位方法，首先摄像头拍摄出拍摄画面或视频画面，然后进行人脸检测与追踪。本发明使用类似AAM创建一种对象的形状信息机制，asm采用参数化的采样形状来构成对象形状模型，并利用pca方法建立描述形状的控制点的运动模型，最后利用一组参数组来控制形状控制点的位置变化从而逼近当前对象的形状，该方法只单纯利用对象的形状和基于形状的训练模型，实现起来更加容易。

Description

一种非刚性人脸检测和追踪定位方法

技术领域

本发明涉及脸追踪和人脸检测领域，尤其涉及一种非刚性人脸检测和追踪定位方法，具体涉及人脸检测和追踪在即时环境下的实现，在人脸追踪和人脸检测的领域中提出了更新的方法，并在准确度和训练的时间等领域有更多的优势，并在计算机视觉与人机交互中优化对人脸检测和追踪的应用。

背景技术

Active shape models(ASM：主动形状模型)及active appearance models (AAM：主动外观模型)是两种使用最为广泛的局部特征描述模型，在当前的计算机视觉应用中，人脸追踪部分的算法非常复杂，检测耗时且精确度低等问题。而且在家电系统等嵌入式平台受存储空间资源限制，以及不可能使用类似PC机等CPU资源。所以有必要研究处理数据快速的算法，增加程序的适应性，进而对应用程序可靠性提出了更高的要求。

对于人脸此类非刚性的图像表征做运动识别，需要涉及很多技术领域：诸如计算机视觉，计算集合，机器学习等，由人脸形变等内容延伸到表情识别，眼睛定位及眼球控制追踪等领域。

发明内容

针对现有技术存在的不足之处，本发明的目的在于提供一种非刚性人脸检测和追踪定位方法，使用类似AAM创建一种对象的形状信息机制，asm采用参数化的采样形状来构成对象形状模型，并利用pca方法建立描述形状的控制点的运动模型，最后利用一组参数组来控制形状控制点的位置变化从而逼近当前对象的形状，该方法只单纯利用对象的形状和基于形状的训练模型，实现起来更加容易。

本发明的目的通过下述技术方案实现：

本发明建立了一个简单的人脸跟踪系统及追踪定位方法，可以设置使用只有适度的数学工具，基本的图像处理和线性代数运算的主要功能，和利用良好的几何特征对人脸做特征描述。在人脸跟踪中使用到跟踪器，追踪器由三部分组成，采用更先进的技术实现：形状模型，特征检测器，和拟合算法。针对于人脸检测和追踪，可以得到有针对性(部分特征，特征范围设定，个人面部特征)的较高的检测速率，拥有很高的分类性能，而且描述的跟踪器的模块化设计应允许这三个组成部分是可以独立的运行得到良好的效果。

一种非刚性人脸检测和追踪定位方法，方法步骤如下；

A、摄像头拍摄画面或视频画面，通过摄像头对人脸进行拍摄并得到拍摄画面或者视频画面；

B、人脸检测与追踪，通过细节改善模块对人脸在拍摄时进行检测和追踪；

B1、几何约束，针对拍摄画面或视频画面样本分解刚体和非刚体：针对拍摄画面或视频画面样本进行脸部区域的区域性选择；然后通过shape_model程序记录脸部领域的刚体rigid变化和区域性的非刚体non-rigid变化， shape_model程序的记录过程如下：

b1通过表示脸形状的子空间矩阵V和方差向量e，参数向量存储相对于模型的形状；

b2、b1中具有的参数向量三个主要的部分：计算人脸形状特征点的投影，根据人脸形状的参数向量计算人脸模型，和通过人脸形状做训练；

b3、对人脸特征的计算，并提出人脸点集的局部线性模型的计算；

C、几何计算，计算人脸形状的变形模型：首先设计一个去除整体刚性形状的模型，然后基于2D模型制定一个以上完整的功能集，并依次配置所有可能的组合，其组合中包括如下三种变形模式：平移，翻转，缩放；

D、线性形状模型：对人脸面部形变建模，利用面部几何线性来表示人脸面部，将其人脸模型固定在某个区间以至于非人脸模型进入判断的区间，并用一连串紧凑的参数来表示具体的人脸；依次通过Opencv函数库、PCA函数的降低低维子空间、奇异值分解的方法步骤处理协方差矩阵的形状数据；

E、结合本地全局表示：在图像帧的形状是由局部变形产生的组合物，局部变形的图像也存在全局变换，并在全局变换中添加线性子空间；连接线性子空间、刚体变换子空间两个子空间的结果并结合本地全局线性正交方式表示的面部形状，结果模型的正交性计算，根据以下公式：

p＝V.t()*s；其中s是脸形状向量，p存储对应的脸子空间的描述；

F、使用训练和可视化的功能模块：训练现有的分类器，每个分类器至少包含一个非线形的分离边界，实际的分类效果用以指明在交叉验证过程中的分类性能，使用具有可视化的分类器的效果，可以产生更好的分类精度在一个较小规模，得到较好的分类效果；

H、使用基于补丁模型的相关性内容、几何相关性，进行脸部检测与初始化和追踪；

针对几何相关性：补丁模型对规模较小的扰动和旋转，从视频序列中连续帧之间的运动是相对小的，可以充分利用全局估计变换的人脸图像前一帧中的规范当前图像的尺度和旋转，使用程序来选择一个参考帧中的相关补丁模型学习；

训练与可视化：根据面部特征的数量大小的补丁，并在优化算法的随机样本数，可以独立进行训练所有其他人，在不同程度上可以优化训练，只训练其中需要做训练的人脸部分内容，而且可以有选择性的分析对活性局部块(该活性局部块表示人脸中特征较为密集的人眼、嘴唇、眼角等面部特征富集的区域) 大小做出判断，修改的补丁模型空间相对应补丁模型的结构则会出现大幅变化，以至于设定出合适的参数；

脸部检测与初始化和追踪：使用opencv的人脸检测模型追踪的人脸模型，通过对人脸面部器官的几何约束并利用这种面部器官的相互约束做彼此之间的位置确定。

本发明较现有技术相比，具有以下优点及有益效果：

本发明使用类似AAM创建一种对象的形状信息机制，asm采用参数化的采样形状来构成对象形状模型，并利用pca方法建立描述形状的控制点的运动模型，最后利用一组参数组来控制形状控制点的位置变化从而逼近当前对象的形状，该方法只单纯利用对象的形状和基于形状的训练模型，实现起来更加容易。

附图说明

图1为本发明的原理结构框图。

具体实施方式

下面结合实施例对本发明作进一步地详细说明：

实施例

如图1所示，一种非刚性人脸检测和追踪定位方法，方法步骤如下；

A、摄像头拍摄画面或视频画面，通过摄像头对人脸进行拍摄并得到拍摄画面或者视频画面；

B、人脸检测与追踪，通过细节改善模块对人脸在拍摄时进行检测和追踪；

B1、几何约束，针对拍摄画面或视频画面样本分解刚体和非刚体：针对拍摄画面或视频画面样本进行脸部区域的区域性选择；然后通过shape_model程序记录脸部领域的刚体rigid变化和区域性的非刚体non-rigid变化， shape_model程序的记录过程如下：

b1通过表示脸形状的子空间矩阵V和方差向量e，参数向量存储相对于模型的形状；

b2、b1中具有的参数向量三个主要的部分：计算人脸形状特征点的投影，根据人脸形状的参数向量计算人脸模型，和通过人脸形状做训练；

b3、对人脸特征的计算，并提出人脸点集的局部线性模型的计算；

对人脸图像的识别和追踪第一个步骤是选取有效图像样本，这是一个简单的过程，选取一般分为动画和使用图像数据库，这部分的内容是对图像做训练的前期过程。主要使用的方法是几何约束等算法，在应用的过程中产生的局部特征点如果较多则效果优于较少的特征点效果。

在几何约束中主要针对的内容也包括对脸部领域的区域性选择，这里提到两个基本的概念，一个是刚体rigid变化和区域性的非刚体non-rigid变化。在这些的变化过程中，有一种有效的记录方式变化记录，具体的保存形式通过 shape_model程序，这个程序通过表示脸形状的子空间矩阵V和方差向量e，参数向量存储相对于模型的形状。由此计算的过程中有三个主要的部分：计算人脸形状特征点的投影，根据人脸形状的参数向量计算人脸模型，和通过人脸形状做训练。当使用对人脸特征的计算过程中，对此提出人脸点集的局部线性模型的计算。并且通过可视化的计算方式得到总体性能的提升。

C、几何计算，计算人脸形状的变形模型：首先设计一个去除整体刚性形状的模型，然后基于2D模型制定一个以上完整的功能集，并依次配置所有可能的组合，其组合中包括如下三种变形模式：平移，翻转，缩放；

如果要计算一个人脸形状的变形模型，就必须先设计一个去除整体刚性形状的模型，基于2D模型制定这样一个以上完整的功能集是功能块的当前功能，依次配置所有可能的组合。主要面临以下三种主要的变形：平移，翻转，缩放。

在数学上通常找到一个典型的相似和相似变换，把每个人脸数据实例化在每个典型的形状对齐中，在这里与对准测量的形状与每个变换形状之间的最小二乘距离。算法是具有这种特征的形状模型减去每个形状质量的的中心位置并做迭代计算，并得到所有形状的平均值，这其中也通过旋转平移等过程寻找最优的匹配位置。通过这种规则化步骤，有效的解决了图像过度萎缩和形状为零的情况的出现。这里牵涉到另一个概念，就是关于锚值anchor scale的确定。通过Opencv的normalize函数，或计算平面内的翻转和平移缩放的计算来确定这个值，在这个标准形状(canonical shape)的计算过程中，定义并计算这样的数学函数最小化之间的旋转最小二乘差结果。如果需要计算到非线性2D旋转矩阵，那么变量相关的尺度和旋转矩阵以此计算得到。

再者，如果考虑到光照的情况，在人脸特征的集群围绕其平均位置，然后迭代归一化计算缩放和旋转的过程。特征聚类成为更紧凑，他们的分布变得更具代表性，这样更有利于局部变形模型的特征学习。

D、线性形状模型：对人脸面部形变建模，利用面部几何线性来表示人脸面部，将其人脸模型固定在某个区间以至于非人脸模型进入判断的区间，并用一连串紧凑的参数来表示具体的人脸；依次通过Opencv函数库、PCA函数的降低低维子空间、奇异值分解的方法步骤处理形状数据的 协方差矩阵；

人脸面部形变建模的目的是用一连串紧凑的参数来表示具体的人脸，如何面对不同的形状来表达人脸和身份。这有不同程度的复杂性，有一些方法实现这一目标。其中最简单的是利用面部几何线性表示，推断其原因是将其人脸模型固定在某个区间，以至于非人脸模型进入判断的区间。这里Opencv函数库又为此提供了便利的条件，PCA函数的使用有效的降低低维子空间，在计算过程中，由此尝试加入奇异值分解(singular valuedecomposition)的方法处理形状数据的 协方差矩阵。

据以上内容，完成几何计算的过程。

在实际和后续的处理过程中，几何计算的过程是人脸模型的基础，而且也为后续的算法提供支持。

E、结合本地全局表示：在图像帧的形状是由局部变形产生的组合物，局部变形的图像也存在全局变换，并在全局变换中添加线性子空间；连接线性子空间、刚体变换子空间两个子空间的结果并结合本地全局线性正交方式表示的面部形状，结果模型的正交性计算，根据以下公式：

p＝V.t()*s；其中s是脸形状向量，p存储对应的脸子空间的描述。

在实际的物体或者人脸追踪过程中，在图像帧的形状是由局部变形产生的组合物，局部变形的图像也存在全局变换，在具体的计算过程中，参数化的设计存在很多问题，一个通用的方法就是在全局变换中添加线性子空间的优化计算。选择合适的形状，相似性变换后在具体的实验中，形状模型类中，计算子空间的生成，使用优化的算法更快的计算和简化的处理起到了作用，优化的刚体计算模型更有利于处理刚体的移动和优化训练的过程。在训练和追踪的过程中，一些阻塞刚体形变在先前的训练中应该主动的消除，这样在刚体变换子空间存在正交计算，因此连接两个子空间的结果结合本地全局线性表示的面部形状也是正交。结果模型的正交性是指描述一个形状参数可以很容易的计算，根据以下公式：

p＝V.t()*s；其中s是向量脸形状，p存储对应的脸子空间的描述，V.t() 为人脸形状的变形模型计算函数式，V.t()表示人脸形状的变形模型的计算， V.t()是transform()等函数等参数化描述，一般的形状变形部分即用于对于平移、缩放、旋转等处理刚性形状的模型，或者基于2D模型而形成的一个以上完整的功能集，综合配置所有可能的组合并形成一组形变系数的表示。

F、使用训练和可视化的功能模块：训练现有的分类器，每个分类器至少包含一个非线形的分离边界，实际的分类效果用以指明在交叉验证过程中的分类性能，使用具有可视化的分类器的效果，可以产生更好的分类精度在一个较小规模，得到较好的分类效果；

为了加快突出实验的整体效果，使用训练可视化的功能模块。也可以训练现有的分类器，每个分类器至少包含一个非线形的分离边界，实际的分类效果用以指明在交叉验证过程中的分类性能，使用具有可视化的分类器的效果，可以产生更好的分类精度在一个较小规模，得到较好的分类效果。

H、使用基于补丁模型的相关性内容、几何相关性，进行脸部检测与初始化和追踪；

针对几何相关性：补丁模型对规模较小的扰动和旋转，从视频序列中连续帧之间的运动是相对小的，可以充分利用全局估计变换的人脸图像前一帧中的规范当前图像的尺度和旋转，使用程序来选择一个参考帧中的相关补丁模型学习；

训练与可视化：根据面部特征的数量大小的补丁，并在优化算法的随机样本数，可以独立进行训练所有其他人，在不同程度上可以优化训练，只训练其中需要做训练的人脸部分内容，而且可以有选择性的分析对活性局部块(该活性局部块表示人脸中特征较为密集的人眼、嘴唇、眼角等面部特征富集的区域) 大小做出判断，修改的补丁模型空间相对应补丁模型的结构则会出现大幅变化，以至于设定出合适的参数；

脸部检测与初始化和追踪：使用opencv的人脸检测模型追踪的人脸模型，通过对人脸面部器官的几何约束并利用这种面部器官的相互约束做彼此之间的位置确定。

对H中进行详细说明：

使用训练的功能模块，在学习探测器，有两个主要的竞争模式：生成和鉴别。生成是指训练与可视化的产生过程，鉴别是指面部器官的相互约束做彼此之间的位置确定和多级拟合判断；针对于几何相关性：在实践中人脸图像上可以出现在任何尺度和旋转的图像在跟踪过程中。因此，一个算法必须制定训练和测试条件之间的差异。相关补丁模型也表现出一定程度的鲁棒性对规模较小的扰动和旋转。从视频序列中连续帧之间的运动是相对小的，可以充分利用全局估计变换的人脸图像前一帧中的规范当前图像的尺度和旋转，这里就所有这一切都需要使这个程序是选择一个参考帧中的相关补丁模型学习。

训练与可视化：根据面部特征的数量大小的补丁，并在优化算法的随机样本数，训练过程耗时，但是由于各块的训练可以独立进行训练所有其他人，在不同程度上可以优化训练，只训练其中需要做训练的人脸部分内容，而且可以有选择性的分析对活性局部块大小做出判断，针对于不同模型如下图所示：尽管使用相同的训练数据，修改的补丁模型空间相对应补丁模型的结构则会出现大幅变化，以至于设定合适的参数。

脸部检测与初始化和追踪：这里使用合理的范围内目标估计判断人脸检测，如何在序列的第一帧初始化模型。这里主要还是使用opencv的人脸检测模型。追踪的人脸模型最为关键的因素在于对人脸面部器官的几何约束，利用这种面部器官的相互约束做彼此之间的位置确定。在本专利中介绍的方法将人脸几何跟踪的特征检测的输出投影到线性形状模型的子空间，这相当于原来的点和其最接近的可能的形状，取决于子空间之间的距离最小化。跟踪算法的核心是多级拟合程序，在前一阶段的输出被用作输入到下一个阶段。

I、通用和特定人模型的功能模块

为了突出实验的整体效果，和使用训练专门为一个单一的个人特定的模型。通常情况下特定的人脸跟踪往往是更准确比通用部分的幅度更大。本发明中最后使用了一种非常好的限制阈值的方法来解决这样的困难。使有针对性的对某个人(样本)做很好的脸部追踪。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种非刚性人脸检测和追踪定位方法，其特征在于：方法步骤如下；

A、摄像头拍摄画面或视频画面，通过摄像头对人脸进行拍摄并得到拍摄画面或者视频画面；

B、人脸检测与追踪，通过细节改善模块对人脸在拍摄时进行检测和追踪；

B1、几何约束，针对拍摄画面或视频画面样本分解刚体和非刚体：针对拍摄画面或视频画面样本进行脸部区域的区域性选择；然后通过shape_model程序记录脸部区域的刚体rigid变化和区域性的非刚体non-rigid变化，shape_model程序的记录过程如下：

b1、通过表示脸形状的子空间矩阵V和方差向量e，由子空间矩阵v和方差向量e构成共同构成模型的形状；参数向量包含子空间矩阵v和方差向量e，参数向量存储模型的形状；

b2、b1中具有的参数向量包含如下三个参数：人脸形状特征点的投影，根据人脸形状的参数向量计算的人脸模型，和通过人脸模型做人脸形状的训练参数；

b3、对人脸特征的计算，并提出人脸点集的局部线性模型的计算；

C、几何计算，计算人脸形状的变形模型：首先设计一个去除整体刚性形状的模型，然后基于2D模型制定一个以上完整的功能集，并依次配置所有可能的组合，其组合中包括如下三种变形模式：平移，翻转，缩放；

D、线性形状模型：对人脸面部形变建模，利用面部几何线性来表示人脸面部，将其人脸模型固定在某个区间并让非人脸模型进入判断的区间，并用一连串紧凑的参数来表示具体的人脸；并依次通过PCA方法得到低维子空间特征值、奇异值分解的方法处理形状数据的协方差矩阵；

E、结合本地全局表示：在图像帧的形状是由局部变形产生的组合物，局部变形的图像存在着全局变换，并在全局变换中添加线性子空间；连接线性子空间、刚体变换子空间两个子空间的结果并结合本地全局线性正交方式表示的面部形状，结果模型的正交性计算，根据以下公式：

p＝V.t()*s；其中s是脸形状向量，p存储对应的脸子空间的描述；

F、使用训练和可视化的功能模块：训练现有的分类器，每个分类器至少包含一个非线性的分离边界，实际的分类效果用以指明在交叉验证过程中的分类性能，使用具有可视化的分类器以产生更好的分类精度并在一个较小规模的数据范围内，得到较好的分类效果；

H、使用基于补丁模型的相关性内容、几何相关性，进行脸部检测与初始化和追踪；

针对几何相关性：人脸面部图像的补丁模型对于规模较小的扰动和旋转的追踪处理过程中，人脸持续在视频序列中连续帧之间的运动是相对小的，可以利用全局估计变换这一方法针对性的在人脸图像前一帧的时间序列过程中规范当前图像的尺度和旋转，使用程序选择一个参考帧进行补丁模型的学习；

训练与可视化：根据面部特征的数量大小的补丁，并在优化算法的随机样本数，可以独立进行训练所有其他人，在不同程度上可以优化训练，只训练其中需要做训练的人脸部分内容，而且可以有选择性的分析对活性局部块大小做出判断，该活性局部块表示人脸中特征较为密集的人眼、嘴唇、眼角的面部特征富集的区域，修改的补丁模型空间相对应补丁模型的结构则会出现大幅变化，以至于设定出合适的参数；

脸部检测与初始化和追踪：使用opencv的人脸检测模型追踪的人脸模型，通过对人脸面部器官的几何约束并利用这种面部器官的相互约束做彼此之间的位置确定。