CN103577815B - 一种人脸对齐方法和系统 - Google Patents

Abstract

本发明提供一种人脸对齐方法和系统，所述方法包括：在参考集中找到与输入人脸图像在图像特征上最相似的K个近邻人脸图像样本，其中所述参考集包括已标定面部特征点的多个人脸图像样本；从K个近邻人脸图像样本的面部特征点中得到所述输入人脸图像的面部特征点。所述方法还包括：对所述输入人脸图像的面部特征点和所述输入人脸图像的边界点做分块三角剖分，每块单独计算仿射变换，对齐到指定的脸。采用本发明可以较准确地获得多个面部特征点的位置，能够在保持身份信息的同时尽量去除姿态、表情的不一致对人脸识别的影响，提升人脸识别性能。

Description

一种人脸对齐方法和系统

技术领域

本发明涉及计算机图像处理技术领域，具体涉及一种人脸对齐方法和系统。

背景技术

随着人类视觉技术的发展和计算机科学的进步，用计算机处理图像认知已成为可能。作为计算视觉领域的一个研究热点，人脸识别已经在生活娱乐、信息安全、视频监控等诸多方面得到了广泛应用。人脸识别的步骤一般分为人脸检测、人脸对齐和人脸比对，其中人脸对齐是人脸识别不可或缺的一个关键步骤。

尽管AdaBoost技术的提出很好地解决了人脸检测问题，但人脸对齐的问题却没有得到很好的解决。很多研究人员致力于研究人脸面部特征点定位，根据面部特征点定位的结果来完成人脸对齐的任务，使得人脸对齐后可以在相同的配置条件下完成人脸比对，即完成人脸识别。目前，人脸对齐的方法主要分为两大类：基于全局仿射变换的人脸对齐方法和基于局部仿射变换的人脸对齐方法。前者通过使用若干面部特征点计算全局仿射变换参数来对齐人脸；后者基于多个面部特征点做三角剖分，通过计算分块仿射变换来对齐人脸。图1示出了使用两眼位置来对齐人脸的结果，而图2示出了基于68个面部特征点来对齐不同人脸的结果。

然而，从图1可见，尽管基于全局仿射变换的人脸对齐方法可以保持大量的身份信息（例如，眼睛大小、鼻子大小等），但是没能去除姿态、表情等影响，不利于进行人脸识别。从图2可见，基于局部仿射变换的人脸对齐方法不能很好地保持身份信息。此外，基于局部仿射变换的人脸对齐方法通常需要得到多个面部特征点位置，然而使用目前常用的ASM、AAM等方法很难得到准确的面部特征点位置（尤其是在姿态变化比较大的情况下），且对于outlier的特征点（即异常特征点，指定位结果出错的特征点）敏感，这可能会导致人脸识别性能的严重下降。

综上所述，基于全局仿射变换的人脸对齐方法由于没有去除姿态等影响，可能导致同一个人在不同的姿态和表情下被识别成不同的人。而基于局部仿射变换的人脸对齐方法在采用错误的特征点位置对齐后人脸会出现严重的变形，且无法大量保持身份信息，从而导致人脸识别性能的严重下降。为解决上述问题，当前需要一种人脸对齐方法能够在保持身份信息的同时尽量去除姿态、表情的不一致给人脸识别带来的影响，从而提升人脸识别的性能。

发明内容

根据本发明的一个实施例，提供一种人脸对齐方法，包括：

步骤1）、在参考集中找到与输入人脸图像在图像特征上最相似的K个近邻人脸图像样本，其中所述参考集包括已标定面部特征点的多个人脸图像样本；

步骤2）、从所述K个近邻人脸图像样本的面部特征点中得到所述输入人脸图像的面部特征点；

步骤3）、对所述输入人脸图像的面部特征点和所述输入人脸图像的边界点做分块三角剖分，每块单独计算仿射变换，对齐到指定的脸。

在一个实施例中，步骤1）之前还包括：

使用全局仿射变换对齐所述参考集中的人脸图像样本和所述输入人脸图像。

在一个实施例中，步骤1）包括：

步骤111）、提取所述输入人脸图像的图像特征和所述参考集中每个人脸图像样本的图像特征；

步骤112）、基于所述图像特征计算所述输入人脸图像与所述参考集中每个人脸图像样本的距离；

步骤113）、根据距离对所述参考集中的人脸图像样本进行排序，选择距离最小的K个近邻人脸图像样本。

在一个实施例中，所述图形特征包括全局纹理特征。

在另一个实施例中，所述图像特征包括局部纹理特征。

在另一个实施例中，步骤1）包括：

步骤121）、提取所述输入人脸图像的图像特征和所述参考集中每个人脸图像样本的图像特征；

步骤122）、对所述图像特征进行降维得到衍生特征，在低维空间中求取所述输入图像的衍生特征的L个近邻，得到所述参考集中相应的L个人脸图像样本；

步骤123）、基于所述图像特征计算所述输入人脸图像与所述L个人脸图像样本中每个人脸图像样本的距离；

步骤124）、根据距离对所述参考集中的人脸图像样本进行排序，选择距离最小的K个近邻人脸图像样本，其中K是小于等于L的正整数。

在一个实施例中，步骤2）包括：

将所述K个近邻人脸图像样本的全部面部特征点作为所述输入人脸图像的面部特征点。

在另一个实施例中，步骤2）包括：

步骤21）、对K个近邻人脸图像样本中的面部特征点设置权重；

步骤22）、选择权重高于预定阈值的面部特征点作为输入人脸图像的面部特征点。

在一个实施例中，步骤3）之前还包括：

根据所述输入人脸图像的面部特征点估计所述输入人脸图像的边界。

在进一步的实施例中，所述输入人脸图像的面部特征点包括左右眼和左右嘴角。

在一个实施例中，指定的脸包括平均脸。

根据本发明的一个实施例，还提供一种人脸对齐系统，包括：

匹配模块，用于在参考集中找到与输入人脸图像在图像特征上最相似的K个近邻人脸图像样本，其中所述参考集包括已标定面部特征点的多个人脸图像样本；

融合模块，用于从所述K个近邻人脸图像样本的面部特征点中得到所述输入人脸图像的面部特征点；以及

对齐模块，用于对所述输入人脸图像的面部特征点和所述输入人脸图像的边界点做分块三角剖分，每块单独计算仿射变换，对齐到指定的脸。

采用本发明可以达到如下有益效果：

通过近邻搜索的方法可以较准确地获得多个面部特征点的位置，进而根据多个面部特征点的位置对齐人脸，可以在保持身份信息的同时尽量去除姿态、表情的不一致对人脸识别的影响，达到提升人脸识别性能的效果。

附图说明

图1是采用全局仿射变换使用两眼位置对齐后的人脸示意图；

图2是采用局部仿射变换基于68个面部特征点对齐后的人脸示意图；

图3是根据本发明一个实施例的人脸对齐方法的流程图；

图4是基于全局纹理特征的KNN面部特征点定位方法的流程图；

图5是基于局部纹理特征的KNN面部特征点定位方法的流程图；

图6是基于全局HoG特征和Hashing索引技术的面部特征点定位方法的流程图；

图7是定义人脸边界的示意图；

图8是基于人脸边界的点和面部特征点做三角剖分后的平均脸模型示意图；

图9是将输入人脸图像对齐到平均脸的流程图；

图10是采用本发明提供的人脸对齐方法与现有方法进行人脸确认实验的结果；以及

图11是采用本发明提供的人脸对齐方法与现有方法进行另一个人脸确认实验的结果。

具体实施方式

下面结合附图及实施例对本发明进行详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

根据本发明的一个实施例，提供一种人脸对齐方法。图3示出了该人脸对齐方法的步骤，概括说来包括:步骤1、建立参考集；步骤2、对人脸图像X进行初步对齐，得到图像X’；步骤3、在参考集中寻找图像X’的近邻图像，从近邻图像的面部特征点的位置得到人脸图像X的面部特征点定位结果；步骤4、根据上一步得到的人脸图像X的面部特征点位置来估计人脸边界；步骤5、根据面部特征点和人脸边界点做分块三角剖分，将人脸图像X对齐到指定的脸（该指定的脸可包括任何人脸或者平均脸，即人脸形状的平均值），得到人脸对齐结果。

现结合实施例，继续参考图3对每个步骤进行详细描述。

步骤1、建立参考集，该参考集包括已标定面部特征点的多个人脸图像

在一个实施例中，要建立任意大小的包含各种姿态或表情变化的人脸图像的参考集，可以根据具体的应用背景从现有的公开人脸数据库中选取具有相关姿态、表情的人脸图片来构建。例如，如果某个应用是准正面条件下的人脸识别，那么只需要从现有的人脸数据库中选取一些准正面姿态的人脸图片建立参考集，而不需要引入更多姿态的数据。其中，可以根据具体应用来动态调整参考集的大小。

在另一个实施例中，可以根据某个人脸训练集自动地选取它的若干近邻样本来建立参考集。例如，可以从待识别的人脸图像中随机选择一部分图像集S，在人脸数据库中选择图像集S的K近邻样本来建立参考集。除此之外，还可以根据经验来手工地建立参考集。

为定位待识别图像（或称待对齐图像、输入人脸图像）的面部特征点（将在步骤3进行详细描述），首先要对齐参考集中的人脸图像。在一个实施例中，在建立参考集之后，还可以包括以下步骤：

ⅰ）、基于全局仿射变换对齐参考集中的人脸图像。例如，根据若干面部特征点的位置来对齐参考集中的人脸图像，以去除平面内旋转和尺度变化的影响；

ⅱ）、对参考集中的每个人脸图像提取图像特征。例如，可提取全局的HoG、SIFT等纹理特征；在已标定的面部特征点周围提取局部的HoG、SIFT等纹理特征；以及对HoG、SIFT等纹理特征降维后的衍生特征。

步骤2、对待识别的人脸图像进行初步对齐

在一个实施例中，可基于全局仿射变换来初步对齐待识别的人脸图像，使初步对齐后的人脸图像X’可与参考集中的人脸图像进行匹配（参见步骤3）。例如，可使用Adaboost人脸检测算法检测人脸，根据检测到的人脸区域初步对齐人脸得到X’，诸如通过简单的旋转、平移和缩放操作。或者，可首先使用Adaboost等面部特征点定位算法来确定两眼位置，接着根据两眼位置来初步对齐人脸图像得到X’。

步骤3、面部特征点定位

在一个实施例中，面部特征点定位可包括以下过程：

首先，提取待识别人脸图像中的图像特征（如HoG、SIFT纹理特征等）。接着，基于该图像特征采用近邻搜索方法寻找参考集中的K近邻样本，该近邻样本与待识别人脸图像在姿态、表情上接近且脸型、五官等身份信息相似。最后，从这K个近邻样本的已标定面部特征点中获得待识别人脸图像X的特征点定位结果。其中，从近邻样本的已标定面部特征点中获得待识别人脸图像的特征点定位结果也称作融合过程。

在一个实施例中，可提取待识别人脸图像的全局的HoG、SIFT等纹理特征，基于该全局特征将待识别的人脸图像与参考集中的样本图像计算Euclidean距离或者Cosine距离，根据计算的距离对参考集中的样本进行排序。选取参考集中前K个近邻样本（即K个最相似样本），将这些近邻样本的面部特征点位置的均值作为图像X的特征点定位的结果。或者，在进一步的实施例中，可根据待识别人脸图像与近邻样本的距离大小设定每个近邻样本的面部特征点的权重，选择权重高于预定阈值的面部特征点作为图像X的面部特征点。或者，也可以人为设定面部特征点的权重。图4示出了基于全局纹理特征的KNN面部特征点定位方法的流程图。

在另一个实施例中，步骤3还可以根据参考集中每个样本图像的面部特征点位置，在输入图像X的相应位置提取局部HoG、SIFT纹理特征，基于该局部HoG、SIFT纹理特征与参考集中的样本图像计算Euclidean距离或者Cosine距离，选择前K个近邻样本。从参考集中该前K个近邻样本图像的特征点位置得到图像X的特征点定位的结果。如上文所述，可以对每个特征点进行加权来选择其中权重较高的部分特征点。图5示出了基于局部纹理特征的KNN面部特征点定位方法的流程图。

在又一个实施例中，步骤3中还可以基于由主成分分析（PCA）对HoG、SIFT纹理特征降维后的衍生特征来计算K近邻，以达到提速和降低空间存储的目的。

例如，可以采用各类索引技术（如Hashing）进行加速。图6描述了基于全局HoG特征和Hashing索引技术的面部特征点定位方法，其中Coarse-to-Fine的搜索过程包含两个子步骤：

ⅰ）、使用ITQ技术将HoG特征Hashing到低维空间，在低维空间中求取L个（例如L取1000）近邻；

ⅱ）、使用HoG特征，从参考集中的对应的L个近邻样本图像中选取K个近邻（如50个），融合这50个近邻样本图像的面部特征点位置作为待识别图像的面部特征点定位结果。

步骤4、估计人脸边界

在一个实施例中，可以根据面部特征点位置（例如，根据左右眼和左右嘴角的位置）估计出人脸的边界（或称外边界），如图7所示。其中，d为两眼间距，A、B、C、D分别为人脸区域的左右边界和上下边界。可以通过统计大量的人脸样本，来得到图7中xd,yd,zd,ld的值，从而获取人脸的边界。除了左右眼和左右嘴角，在其他实施例中，还可以根据更多的特征点位置来估计人脸的边界。

步骤5、将人脸图像对齐到指定的脸

在指定的脸为平均脸的实施例中，可采用以下方法来得到平均脸：

首先从人脸数据库中挑选若干准正面的人脸样本；接着使用动态形状模型（ASM）训练得到平均脸S。

将待识别的人脸图像对齐到平均脸包括：根据步骤3中得到的面部特征点和步骤4中估计的人脸边界点做分块三角剖分，每块单独计算仿射变换，对齐到平均脸S。对齐后的人脸图像可以做后续的人脸识别。

应理解，除了将输入人脸图像与平均脸S对齐，在其他实施例中，还可以采用本发明提供的方法将输入人脸图像与另外一幅或多幅人脸对齐。

以下给出一个示例，用以描述如何实现本发明提供的人脸对齐方法。

发明人根据从CAS_PEAL、FERET、HOAP和MultiPIE数据库建立的参考集进行人脸对齐。该人脸对齐过程包括以下步骤：

步骤1、建立参考集：

发明人从CAS_PEAL、FERET、HOAP和MultiPIE四个数据库分别选取若干样本建立参考集Ref1。如表1所示，参考集Ref1的水平平面外旋转（Yaw）变化为-40°～40°，垂直俯仰（Tilt）变化为0°～22.5°，其中包含光照和表情变化。建立参考集后，在每个样本图像中根据两眼位置截取64x80的人脸区域，左右眼位置为（17，31）和（46，31）。针对64x80的人脸区域提取全局的HoG特征。

表1

	Ref1
		CAS_PEAL	Yaw（-30°～30°），Tilt（0°）
FERET	Yaw（-40°～40°），Tilt（0°）

HOAP	Yaw（-22.5°～22.5°），Tilt（0°～22.5°），光照、表情变化
		MultiPIE	Yaw（-30°～30°），Tilt（0°），光照、表情变化

步骤2、输入一张人脸图像（即待识别/待对齐的人脸图像），使用Adaboost人脸检测算法检测人脸，使用Adaboost面部特征点定位算法确定两眼位置，根据两眼位置截取64x80的人脸区域，左右眼位置为（17，31）和（46，31），并且在该人脸区域提取全局的HoG特征。

步骤3、计算输入人脸图像的HoG特征与参考集Ref1中所有样本的HoG特征的Cosine距离，使用快速排序算法对距离排序，取Ref1中前20个样本的特征点位置作为输入图像的特征点定位结果。

步骤4、根据左右眼和左右嘴角的位置估计出人脸的边界。在此之前，通过统计大量的人脸样本，确定了xd,yd,zd,ld的值：xd=yd=0.5572，ld=1.07，zd=0.7。将输入的人脸图像根据两眼位置去除平面内旋转，根据xd,yd,zd,ld的值估计人脸边界点A、B、C、D（如图7所示的A、B、C、D）的坐标。

步骤5、从CAS_PEAL和FERET人脸数据库中挑选准正面的人脸样本，训练得到平均脸，如图8所示。将输入的人脸图像对齐到该平均脸，图9示出了对齐输入人脸的最终结果。

根据本发明的一个实施例，还提供一种人脸对齐系统，包括匹配模块、融合模块和对齐模块。

其中，匹配模块可用于在参考集中找到与输入人脸图像在图像特征上最相似的K个近邻人脸图像样本，其中所述参考集包括已标定面部特征点的多个人脸图像样本。融合模块可从K个近邻人脸图像样本的面部特征点中获得所述输入人脸图像的面部特征点。对齐模块可用于对所述输入人脸图像的面部特征点和所述输入人脸图像的边界点做分块三角剖分，每块单独计算仿射变换，对齐到指定的脸。

为验证本发明提供的人脸对齐方法和系统的有效性，发明人针对不同的需求背景，建立了两个参考集，分别记为Ref1和Ref2。其中，Ref2比Ref1具有更大的姿态变化，适用于姿态变化较大的人脸识别应用。以下所有实验均采用苏煜、山世光等人提出的基于分块线性判别分析的人脸识别方法。

发明人分别在SinaFace和NotedFace两个人脸数据库上进行人脸识别实验，识别结果如表2所示。表2中，2-LMs表示基于两眼对齐，5-LMs表示基于5点对齐，GT（GroundTruth）表示真实值。从表2中可以看出，在SinaFace和NotedFace数据库上，基于参考集Ref1和Ref2估计5点做人脸对齐（即本发明提供的方法）的识别率比基于两眼对齐（基于全局仿射变换的方法）的识别率均高出3%-5%。

表2

此外，发明人分别在LFW和FRVT-2012两个人脸数据库上进行了人脸确认实验，实验结果分别在图10和图11中示出。图10为LFW人脸数据库确认实验的结果，其中线a为基于两眼对齐后的识别结果，b为基于5点GroundTruth做人脸对齐后的识别结果，c为基于Ref1估计5点做人脸对齐后的识别结果。从图10可见，基于Ref1估计5点做人脸对齐的识别性能最好。在错误接收率FAR=0.1时，基于Ref1估计5点，再根据5点做人脸对齐方法的正确接收率TAR为81.47%，比基于两眼的人脸对齐方法高4%，因而，本文提供的人脸对齐方法要明显优于基于两点的对齐方法，也优于基于5点GroundTruth做人脸对齐的方法。

图11为FRVT-2012竞赛的人脸确认实验的结果，其中线a为基于两眼对齐后的识别结果，b为训练集使用5点GroundTruth、测试集使用Adaboost算法得到5点做人脸对齐后的识别结果，c为训练集和测试集都使用Adaboost算法得到5点做人脸对齐后的识别结果，d为训练集和测试集都使用参考集估计5点做人脸对齐后的识别结果。从图11可见，基于参考集估计5点做人脸对齐的识别性能最好。在错误接收率FAR=0.1时，本发明提供的对齐方法的正确接收率TAR为81.25%，比基于两眼对齐的方法和基于Adaboost算法得到5点做人脸对齐的方法均高出3.6%。

应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。

Claims (12)

1.一种人脸对齐方法，包括：

步骤1)、在参考集中找到与输入人脸图像在图像特征上最相似的K个近邻人脸图像样本，其中所述参考集包括已标定面部特征点的多个人脸图像样本；

步骤2)、从所述K个近邻人脸图像样本的面部特征点中得到所述输入人脸图像的面部特征点；

步骤3)、对所述输入人脸图像的面部特征点和所述输入人脸图像的边界点做分块三角剖分，每块单独计算仿射变换，对齐到指定的脸。

2.根据权利要求1所述的方法，其中，步骤1)之前还包括：

使用全局仿射变换对齐所述参考集中的人脸图像样本和所述输入人脸图像。

3.根据权利要求1所述的方法，其中，步骤1)包括：

步骤111)、提取所述输入人脸图像的图像特征和所述参考集中每个人脸图像样本的图像特征；

步骤112)、基于所述图像特征计算所述输入人脸图像与所述参考集中每个人脸图像样本的距离；

步骤113)、根据距离对所述参考集中的人脸图像样本进行排序，选择距离最小的K个近邻人脸图像样本。

4.根据权利要求3所述的方法，其中，所述图像特征包括全局纹理特征。

5.根据权利要求3所述的方法，其中，所述图像特征包括局部纹理特征。

6.根据权利要求1所述的方法，其中，步骤1)包括：

步骤121)、提取所述输入人脸图像的图像特征和所述参考集中每个人脸图像样本的图像特征；

步骤122)、对所述图像特征进行降维得到衍生特征，在低维空间中求取所述输入图像的衍生特征的L个近邻，得到所述参考集中相应的L个人脸图像样本；

步骤123)、基于所述图像特征计算所述输入人脸图像与所述L个人脸图像样本中每个人脸图像样本的距离；

步骤124)、根据距离对所述参考集中的人脸图像样本进行排序，选择距离最小的K个近邻人脸图像样本，其中K是小于等于L的正整数。

7.根据权利要求1-6中任何一个所述的方法，其中，步骤2)包括：

将所述K个近邻人脸图像样本的全部面部特征点作为所述输入人脸图像的面部特征点。

8.根据权利要求1-6中任何一个所述的方法，其中，步骤2)包括：

步骤21)、对K个近邻人脸图像样本中的面部特征点设置权重；

步骤22)、选择权重高于预定阈值的面部特征点作为输入人脸图像的面部特征点。

9.根据权利要求1-6中任何一个所述的方法，其中，步骤3)之前还包括：

根据所述输入人脸图像的面部特征点估计所述输入人脸图像的边界。

10.根据权利要求9所述的方法，其中，所述输入人脸图像的面部特征点包括左右眼和左右嘴角。

11.根据权利要求1-6中任何一个所述的方法，其中，指定的脸包括平均脸。

12.一种人脸对齐系统，包括：

匹配模块，用于在参考集中找到与输入人脸图像在图像特征上最相似的K个近邻人脸图像样本，其中所述参考集包括已标定面部特征点的多个人脸图像样本；

融合模块，用于从所述K个近邻人脸图像样本的面部特征点中得到所述输入人脸图像的面部特征点；以及

对齐模块，用于对所述输入人脸图像的面部特征点和所述输入人脸图像的边界点做分块三角剖分，每块单独计算仿射变换，对齐到指定的脸。