CN102906787A - 脸部分析技术 - Google Patents

Abstract

本文描述了用于获取紧凑脸部描述符并使用姿势专用比较来处理不同的姿势组合以便进行图像比较。

Description

脸部分析技术

背景

最近，由于对诸如桌面或因特网上的脸部标记等真实世界应用的不断增加的需求，脸部识别吸引了许多研究工作。

存在主要两种脸部识别任务：脸部标识（给定图库脸部集合，谁是探测脸部集合中的谁）和脸部验证（给定两个脸部，相同或不同）。脸部识别的一个挑战是找出对于照明、姿势、脸部表情、衰老、脸部未对准和其他因素有很大变化的情况有抵抗力的高效且有区别的脸部外观描述符。

当前基于描述符的方法使用手工编码方法来对每一个像素及其相邻像素之间的相对强度幅度进行编码以标识脸部。用户期望改进这一手工编码方法以获取有效且紧凑的脸部描述符，以便跨不同的数据集进行脸部识别。

概述

提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。该概述不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。例如，术语“技术”可以指上述上下文和通篇文档所准许的设备、系统、方法、和/或计算机可读指令。

详细描述描述了一种用于对脸部的微特征进行编码的基于学习的编码方法。该详细描述还描述了一种用于应用诸如主分量分析（PCA）等维数缩减技术来获得紧凑脸部描述符，之后获得简单规范化机制的方法。为处理真实生活场景中的较大姿势变化，该详细描述还描述了一种用于使用姿势专用分类器来处理匹配脸部对的不同姿势组合（例如，正面与正面、正面与左面）的姿势自适应匹配方法。

附图简述

参考附图来描述详细描述。在附图中，参考标号中最左边的数字标识该参考标号首次出现的附图。在各附图中，使用相同的标号来指示相同的特征和组件。

图1示出了基于描述符的脸部图像分析的示例性方法。

图2示出了四种采样模式。

图3示出了创建在基于描述符的脸部识别中使用的编码器的示例性方法。

图4示出了对姿势变化自适应的基于描述符的脸部分析的示例性方法。

图5示出了使用以上参考图4描述的技术的结果对两个图像的比较，以便确定相似度。

图6示出了示例性计算系统。

详细描述

基于描述符的脸部分析和表示

图1示出了使用局部二元图（LBP）来描述脸部的微结构的基于描述符的脸部图像分析的示例性方法100。LBP对每一像素及其相邻像素之间的相对强度幅度进行编码。其对于单调测光改变是不变的，并且可被高效地提取和/或比较。

在图1的方法中，动作102包括获得脸部图像。该脸部图像的来源不受限制。它可由本地照相机捕捉，或从远程在线数据库下载。在图1的示例中，该脸部图像是整个脸的图像。动作104包括预处理该脸部图像以减少或移除低频和高频光照变化。在示例性实施例中，这可使用高斯差分（DoG）技术，使用б₁=2.0和б₂=4.0来实现。也可使用其他预处理技术。

动作106包括获得分别对应于该脸部图像的各像素的特征向量或描述符。在所描述的实施例中，对每一像素以及其相邻像素的图案进行采样以形成对应于该图像的每一像素的低级特征向量。每一低级特征向量然后被规范化成单位长度。该规范化与先前提到的DoG预处理相组合，使得特征向量对于局部测光仿射改变变化较少。以下将参考图2描述如何执行该采样的具体示例。

动作106包括将规范化的特征向量编码或量化成离散码以形成特征描述符。该编码可使用预定义编码方法、方案或映射来完成。在某些情况下，该编码方法可由设计者手动创建或定制来尝试满足特殊目的。在其他情况下，如将在下文中更详细描述的，该编码方法可通过程序来创建。在以下描述的示例中，该编码方法是从多个训练或样本图像中学习的，并且响应于对这些训练图像的分析而在统计上进行优化。

以上描述的动作的结果是已编码特征描述符的2D矩阵。每一特征描述符是多位或多数字向量。在该2D矩阵内，特征描述符具有由编码方法的量化或码数来确定的范围。在所描述的实施例中，特征描述符被编码成256个不同的离散码。

动作108包括计算特征描述符的直方图。每一直方图指示了该脸部图像的对应的片内的每一特征描述符的出现次数。片是通过根据诸如在Ahonen等人的Face Recognition with Local Binary Patterns(LBP),Lecture Notes in ComputerScience（使用局部二元图（LBP）的脸部识别，计算机科学讲稿）第469-481页，2004年中描述的技术等技术对整个图像进行划分来获得。作为一个示例，相对于具有84x96的像素维度的整个脸部图像，该图像可被划分成具有5x7的像素维度的片。为每一片计算直方图，并在后续动作中进一步处理所得的所计算的特征描述符的直方图110。

动作112包括将各片的直方图110串接，得到对应于该脸部图像的单个脸部描述符114。该脸部描述符可以与类似地计算的不同图像的脸部描述符进行比较，以评估图像之间的相似度并确定两个不同图像是否是同一个人的。

在某些实施例中，可在将脸部描述符用于比较中之前执行其他动作来增强脸部描述符。可执行动作116，其包括使用一个或多个统计向量量化技术来缩减脸部描述符114的维数。这是有帮助的，因为如果所串接的直方图直接用作脸部描述符，则它可能太大（例如，256个码×35个片=8,960个维度）。大或重大的特征描述符不仅限制了可被加载到存储器中的脸部的数量，而且还减慢了识别速度。为减小特征描述符的大小，可使用一个或多个统计向量量化技术。例如，可使用主分量分析（PCA）来压缩串接的直方图。该一个或多个统计向量量化技术还可包括线性PCA或特征提取。在一个示例中，统计维数缩减技术被配置成将脸部描述符114的维数缩减到400维。

还可执行动作118，其包括规范化经维数缩减的脸部描述符以获得压缩且规范化的脸部描述符120。在该实施例中，规范化包括PCA中的L₁规范化和L₂规范化，其中L1表示市块度量（city-block metrics）而L₂表示欧几里得距离。令人惊奇的是，PCA压缩和规范化的组合改进了识别和标识系统的性能，这表明特征之间的角度差对于压缩空间中的识别是重要的。

特征采样

以上动作106包括通过对相邻像素采样来获得分别对应于脸部图像的各像素的特征向量或描述符。这可如图2所示来完成，其中以均匀的间隔在围绕中心像素203的半径r的一个或多个环上对r*8个像素进行采样。图2示出了四种采样模式。参数（例如，环数、环半径、每一环的采样数）对每一模式变化。在模式202中，使用单个半径为1的环，称为R₁。该模式包括围绕在中心像素203周围的8个像素，并且还包括中心像素（像素在图2中被表示为实点）。在不同的模式204中，对具有半径1和2的两个环进行采样。环R₁包括所有8个环绕的像素。R₂包括16个环绕的像素。模式204还包括中心像素205。在另一模式206中，使用半径为3的单个环R₁，而没有中心像素，并且对在离中心像素为3像素距离处的所有24个像素进行采样。另一采样模式208包括两个像素环：半径为4的R₁和半径为7的R₂。在环R₁处对32个像素进行采样，并且在环R₂处对56个像素进行采样（出于图示的目的，某些像素组被表示为X）。以上环处的像素数仅是示例。在每一个环上可以有更多或更少像素，并且可以设计各种不同的模式。

模式204可被用作默认采样方法。在某些实施例中，模式202、204、206、208或不同采样模式中的部分或全部可被组合以达到比使用任何单个采样模式更好的性能。在某些情况下组合它们将充分利用互补信息。在一个实施例中，使用不同模式来获得不同脸部相似度得分，并且然后通过训练线性支持向量机（SVM）来组合这些得分。

根据样本图像的机器学习编码

图3示出了创建在基于描述符的脸部识别中使用的编码器的示例性方法300。如上所述，获得脸部描述符的动作106在许多情况下涉及使用某种编码方法来量化特征描述符。可使用各种不同类型的编码方法来优化辨别力和稳健性。一般而言，这些编码方法是基于设计者的直观或直接观察来创建的。这可能是一个困难的过程。通常，此类手动设计的编码方法是不平衡的，这意味着所得的码直方图将具有较少信息且较不紧凑，从而降低了特征和脸部描述符的辨别能力。

然而，此处描述的某些实施例可使用由机器基于对一组训练脸部图像的自动化分析来学习的编码方法。具体而言，某些实施例可使用以无人监管的方式从一组训练脸部图像中对该脸部特殊训练的编码器。所得的量化码更均匀地分布，并且所得的直方图可达到辨别能力和稳健性之间的更好平衡。

在示例性方法300中，动作302包括获得多个训练或样本脸部图像。脸部图像训练集可从不同来源获得。在此处所描述的实施例中，方法300基于一组被称为未训练标记脸部（LFW）基准的样本图像。基于原始捕捉的图像或从不同来源复制的图像，也可编译和/或创建其他训练集。

动作304包括对多个样本脸部图像的每一个获得对应于该脸部图像的各像素的特征向量。特征向量可以按照以上参考图1的动作104的方式来计算，如通过对每一图像像素的相邻像素进行采样来创建LBP。

动作306包括创建特征向量到有限数量的量化码的映射。在所描述的实施例中，该映射是基于统计向量量化，如K均值聚类、线性PCA树或随机投影树来创建或获得的。

随机投影树和PCA树基于统一准则来递归地拆分数据，这意味着树中的每一叶被相同数量的向量命中。换言之，在所得的描述符空间中，所有量化码具有相似的出现频率。

在测试中，从公共域LFW训练集中选择1,000个图像来学习优化编码方法或映射。评估K均值聚类、线性PCA树、随机投影树。在对测试图像使用所得编码的后续识别测试中，发现随机投影树比其他两种量化方法略胜一筹。性能随着所允许的量化码的数量增加而提高。所描述的学习方法随着码数增加到32或更多而开始胜过其他现有方法。在所描述的实施例中，执行量化以得到256的码数：所得特征向量具有256的范围或维度。

分量描述符

在以上示例中，使用2D整体对齐和匹配来进行比较。换言之，图像被划分成片而不管图像中的脸部特征的位置，也不管可能在不同图像中出现的不同姿势。然而，将在下文描述的某些技术可用于处理姿势变化并进一步提升识别准确度。与2D整体对齐相比，该分量级对齐在某些大姿势变化情况下可呈现出优点。该分量级方法可以更准确地对齐每一分量，而无需在整个脸部上平衡，并且也减少了界标误差的负面影响。

图4示出了对姿势变化自适应的基于描述符的脸部分析的示例性方法400。代替如上参考动作106所述的出于创建特征描述符108的目的而将脸部图像划分成任意的片，在脸部图像内标识分量图像，并且从分量图像的特征描述符形成分量描述符。

在该方法400中，动作402包括获得脸部图像。动作404包括从脸部图像提取分量图像。每一分量图像对应于一脸部分量，如鼻子、嘴、眼睛等等。在所描述的实施例中，动作404通过标识脸部界标并基于界标来导出分量图像来执行。在该示例中，使用标准基准点检测器来提取脸部界标，其包括左眼和右眼、鼻尖、鼻基以及两个嘴角。从这些界标中，导出以下分量图像：前额、左眉毛、右眉毛、左眼、右眼、鼻子、左脸颊、右脸颊以及嘴。具体地，为导出特定分量图像的位置，从五个检测的界标中选择两个界标，如下：

表1用于分量对齐的界标选择

基于所选界标，使用分量和界标之间的预定义维度关系来计算分量坐标。例如，可假定左脸颊位于离鼻尖的左边特定距离且在左眼下方特定距离处。

为结合LFW测试图像使用，可用以下像素大小来提取分量图像，并且分量图像可被进一步划分成所指示数量的片。

表2分量图像大小和片选择

分量	图像大小	片
			前额	76x24	7x2
左眉毛	46x34	4x3
			右眉毛	46x34	4x3
左眼	36x24	3x2
			右眼	36x24	3x2
鼻子	24x76	2x7
			左脸颊	34x46	3x4
右脸颊	34x46	3x4
			嘴	76x24	7x2

动作406包括获得分别对应于该分量图像的各像素的特征描述符。特征描述符可使用以上参考图1的动作108所描述的采样技术，并使用以上参考图2所描述的技术，如通过使用不同模式对相邻像素采样来计算。

动作408包括计算分别对应于各分量图像的分量描述符。这包括首先为每一分量图像的每一片创建一直方图，然后在每一分量图像内串接各直方图。这得到对应于每一分量图像的分量描述符410。每一分量描述符410是每一分量图像内的片的特征描述符的直方图的串接。

方法400还可包括使用统计向量量化技术来缩减分量描述符的维数，并规范化经维数缩减的分量描述符，如已经参考图1的动作116和118所描述的。这得到分别对应于脸部图像的不同分量图像的压缩且规范化的分量描述符414。

由此，该方法可以与以上参考图1所描述的非常相似，除了基于所标识的脸部分量的特征描述符来形成直方图，而非形成任意定义的片的直方图并串接它们来形成单个脸部描述符之外。代替单个脸部描述符，图4的过程得到对应于单个脸部图像的多个分量描述符414。

姿势自适应脸部比较

图5示出了使用以上参考图4描述的技术的结果对两个图像的比较，以便确定相似度。脸部标识和识别很大程度上是将目标图像与一系列归档图像进行比较的过程。图5的示例示出了目标图像502和对其比较目标图像的单个归档图像504。

图5假定已经执行了以上参考图4描述的过程来为每一图像产生分量描述符。对应于归档图像的分量描述符可以事先创建，并且随该图像一起或代替该图像来归档。

动作506包括确定两个图像的姿势。出于该分析的目的，认为脸部图像具有以下三种姿势之一：前(F)、左(L)或右(R)。为处理这一姿势类别，从图像训练集中选择三个图像，对每一姿势有一个图像，并且这三个图像中的其他因素，如个人身份、光照、表情，保持相同。在测量了这三个图库图像和探测脸部之间的相似度之后，将最相像的图库图像的姿势标签分配给探测脸部。

动作508包括出于分量描述符比较的目的确定分量权重。存在可在一对图像中涉及的多种姿势组合：FF、LL、RR、LR(RL)、LF(FL)和RF(FR)。取决于姿势组合，可期望脸部图像的不同分量在彼此比较时产生更有效的结果。因此，为每一姿势组合制定权重或加权因素，并在评估图像之间的相似度时使用。更具体而言，对于每一姿势组合，为每一脸部分量制定加权因素，指示该分量的用于比较目的的相对重要性。用于不同姿势的适当的加权因素可通过使用SVM分类器分析其姿势已知的一组训练图像来确定。

动作510包括将两个图像的加权分量描述符进行比较并基于该比较来计算相似度得分。

示例性计算机环境

图6示出了示例性计算系统602，它可用于实现此处所述的技术，且整体或部分地表示此处所述的元素。计算系统602可以，但不必，用于实现此处所描述的技术。计算系统602仅是一个示例，而非旨在对计算机和网络体系结构的使用范围或功能提出任何限制。

计算系统602的组件包括一个或多个处理器604和存储器606。

一般而言，存储器606包含可由处理器604访问且执行的计算机可读指令。计算机606可以包括各种计算机可读存储介质。此类介质可以是任何可用介质，包括易失性和非易失性存储介质、可移动和不可移动介质、本地介质、远程介质、光学存储器、磁存储器、电子存储器等等。

任何数量的程序模块或应用程序可存储在存储器中，包括，作为示例，操作系统、一个或多个应用程序、其他程序模块以及程序数据，如预处理脸部图像模块608、特征描述符模块610、计算直方图模块612、串接直方图模块614、缩减和规范化模块616、姿势确定模块618、姿势分量加权模块620、以及图像比较模块622。

例如，预处理脸部图像模块608被配置成预处理脸部图像以减少或移除低频和高频光照变化。特征描述符模块610被配置成获得分别对应于该脸部图像的各像素的特征向量或描述符。计算直方图模块612被配置成计算特征描述符的直方图。串接直方图模块614被配置成串接各片的直方图，得到对应于脸部图像的单个脸部描述符。缩减和规范化模块616被配置成使用一个或多个统计向量量化技术来缩减脸部描述符的维数，并规范化经维数缩减的脸部描述符来获得压缩且规范化的脸部描述符，以获得压缩且规范化的脸部描述符。姿势确定模块618被配置成确定图像的姿势。姿势分量加权模块620被配置成确定用于分量描述符比较目的的分量加权。图像比较模块622被配置成将两个图像的加权分量描述符进行比较并基于该比较来计算相似度得分。

结论

尽管已经以专用于结构特征和/或方法动作的语言描述了本主题，但要理解，所附权利要求书中定义的主题不必受限于所述的这些具体特征或动作。相反地，这些具体特征和动作是作为实现该权利要求的示例性形式而公开的。

Claims (10)

1.一种基于描述符的脸部识别方法，包括：

获取分别对应于脸部图像的各像素的特征描述符；

计算所述特征描述符的直方图，每一个直方图都指示每一个特征描述符在所述脸部图像的对应片内的出现次数；

串接所述直方图以形成脸部描述符；

使用一种或多种统计向量量化技术来缩减所述脸部描述符的维数；以及

规范化经维数缩减的脸部描述符。

2.如权利要求1所述的方法，其特征在于，获取对应于特定像素的特定特征描述符包括：

使用相邻像素的不同的采样模式来获取多个特征向量；以及

组合所述多个特征向量以创建所述特定特征描述符。

3.如权利要求1所述的方法，其特征在于，还包括在计算所述直方图之前使用机器学习编码来量化所述特征描述符。

4.如权利要求1所述的方法，其特征在于，所述一种或多种统计向量量化技术包括主分量分析。

5.一种创建编码器的方法，所述编码器用于基于描述符的脸部识别，所述方法包括：

对于多个样本脸部图像，获取分别对应于所述脸部图像的各像素的特征描述符；以及

基于统计维数缩减来创建所述特征描述符到量化码的映射。

6.如权利要求5所述的方法，其特征在于，获取对应于特定像素的特定特征描述符包括：

使用相邻像素的不同的采样模式来获取多个特征向量；以及

组合所述多个特征向量以创建所述特定特征描述符。

7.一种基于描述符的脸部识别方法，包括：

从脸部图像中提取分量图像，每一个分量图像都对应于一脸部分量；

获取分别对应于所述分量图像的各像素的特征描述符；以及

对于每一个分量图像，计算所述分量图像内的特征描述符的一个或多个直方图，以形成对应于所述分量图像中的每一个的分量描述符。

8.如权利要求7所述的方法，其特征在于，还包括：

使用主分量分析来缩减所述分量描述符的维数；以及

规范化经维数缩减的分量描述符。

9.如权利要求7所述的方法，其特征在于，还包括：

比较不同脸部图像的对应分量描述符以确定所述不同脸部图像之间的相似度；以及

在所述比较期间，取决于由所述不同脸部图像表示的脸部姿势来将不同的权重分配给不同的分量描述符。

10.如权利要求7所述的方法，其特征在于，还包括：

在计算所述分量描述符之前使用机器学习编码来量化所述特征描述符；

使用主分量分析来缩减所述分量描述符的维数；以及

规范化经维数缩减的分量描述符；

确定不同脸部图像的脸部姿势；

比较所述不同脸部图像的对应分量描述符以确定所述不同脸部图像之间的相似度；以及

在所述比较期间，取决于由所述不同脸部图像表示的脸部姿势来将不同的权重分配给不同的分量描述符。

Images