CN105989331A - 脸部特征提取装置、脸部特征提取方法、图像处理设备和图像处理方法 - Google Patents

Abstract

本公开涉及脸部特征提取装置、脸部特征提取方法、图像处理设备和图像处理方法。一种脸部特征提取装置，用于从脸部图像中提取特征，所述脸部特征提取装置包括：检测单元，检测脸部图像中的多个特征点；归一化单元，基于检测单元检测的所述多个特征点，对所述脸部图像中的脸部归一化，由此得到归一化脸部和所述归一化脸部上的与所述脸部图像中的多个特征点对应的多个归一化特征点；估计单元，估计所述脸部图像中的脸部姿态；定位单元，基于归一化脸部上的归一化特征点和估计单元所估计的所述脸部图像中的脸部姿态，定位所述归一化脸部中的特征区域；以及提取单元，从所述归一化脸部中的特征区域来提取特征。

Description

脸部特征提取装置、脸部特征提取方法、 图像处理设备和图像处理方法

技术领域

本发明一般地涉及图像处理、计算机视觉和模式识别，更具体地，涉及脸部特征提取装置和脸部特征提取方法以及图像处理设备和图像处理方法。

背景技术

一般地，使用脸部特征来帮助识别脸部属性，诸如脸部表情、人员身份(要用于身份识别)、年龄、种族、性别、是否戴眼镜、是否有胡子等。因此，脸部特征的提取在图像处理、计算机视觉和模式识别领域中，尤其在脸部属性识别领域中是重要的。

现在，将以脸部表情识别作为脸部属性识别的例子。

在脸部表情识别的常用方法(将称为方法1)中，脸部区域(粗略脸部区域中的脸部图像)被输入到特征点检测模块。然后，根据由特征点检测模块检测的脸部特征点(例如，脸部关键位置上的点)来归一化脸部。显著区域(例如，器官区域：眼睛、鼻子和嘴等本文中也被称为特征区域)定位于归一化脸部上，并且在显著区域内的子区域(在模板中是预定的)上提取脸部特征。将脸部特征输入到预先训练的表情分类模型，来预测表情类别。该方法的工作流程如图1所示。

在该方法中，显著区域的尺寸是固定的，并且根据特征点的位置来对其进行定位。以左眼区域为例，该区域的宽度是M个像素(固定值)，高度是N个像素(固定值)。区域中心与左眼中心相同。

但是，在该方法中，当脸部姿态(其也可以表示为例如偏转角α和俯仰角β)改变时，所定位的显著区域将不合适。如图2所示，在图2所示的图像1中，有非常小的偏转角(α)和俯仰角(β)，因此，由浅色矩形表示的显著区域定位良好。对于图2中所示的图像2，所定位的显著区域包括一些无效区域(包含脸部区域之外的纹理的区域)，因为脸部的偏转角变大了。在图2所示的图像3中，偏转角更大了，因此显著区域中包括的无效区域更大。在图2所示的图像4和5中，除了更大的偏转角之外，脸部还有更大的俯仰角，因此显著区域不恰当。

然后，在方法1中，根据预先定义的模板选择显著区域中的由深色矩形表示的一些子区域。先定位子区域的位置，在图2中用虚线矩形示出。当脸部姿态改变时，子区域的位置在不同视角的脸部之间失配。例如，在图2所示的图像1和2中，图像1中的子区域包含表情的纹理信息，而图像2中的子区域是无效的。

总之，在该常用方法1中有如下两个问题。

1.在一些显著区域中有无效区域，例如其不包含脸部的纹理信息，或者该区域没有良好定位。

2.所选子区域的位置在不同视角的脸部(例如偏转角不同)之间失配。

这两个问题将影响从显著区域或子区域提取的特征。当所述特征不是有效的时，表情识别的性能将劣化。

另外，多视角识别模型也用于提高对于不同姿态脸部的表情识别准确度，例如，在Multi-View Facial ExpressionRecognition(Yuxiao Hu,Zhihong Zeng,Xi Zhou,Thomas S.Huang,Automatic Face&Gesture Recognition,2008.FG'08.8th IEEE International Conference,17-19Sept.2008,Pages 1-6)中提出的方法(将称为方法2)。

在上述方法2的表情识别处理中，如图3所示，首先，检测脸部特征点并且脸部被归一化。根据检测的特征点，在归一化的脸部上定位显著区域。从显著区域提取脸部特征以用于脸部视角分类和表情识别。然后，输入脸部的视角(例如，0度，30度，45度，60度，或90度)被分类。指定视角的识别模型(例如，30度)将被用于识别表情类别，其中指定视角的每个识别模型(例如，30度)用其姿态接近该视角角度(例如，在[20度，40度]的范围中)的脸部图像训练，这样，用于特征提取的显著区域更准确。

然而，多视角表情识别模型(例如上述的方法2)的最大问题是较大的模型尺寸。考虑2维(例如，偏转角和俯仰角)的脸部姿态的变型：如果有M个俯仰角类别(例如，M为3)和N个偏转角类别(例如，N为5)，则模型尺寸为单视角表情识别模型的M×N倍。

此外，在专利申请文献US 2012/0169895A1中提出了基于半监督学习的多视角脸部表情识别方法(将被称为方法3)，其包括：收集n个不同的人的n个正脸脸部表情和n个侧脸脸部表情以构造训练集X和测试集S，分割将正脸和侧脸图像上的脸部区域分区，使用直方图均衡化来减小照明影响，然后使用线性判别方法来提取特征以识别测试集的表情。并且，该方法利用基于欧氏距离的最近邻居来根据已标记的样本标记未标记样本，从而训练表情分类模型，这是一个半监督学习过程。

发明内容

上述方法1从具有固定尺寸的显著区域中提取特征，当脸部姿态改变时，表情识别的性能可能劣化。

上述方法2具有模型尺寸较大的严重问题，较大的模型尺寸需要更多的处理和存储资源，并且这些资源在例如智能系统和/或嵌入式系统中是稀缺的和有限的。

上述方法3在姿态不同的脸部上在具有固定位置和尺寸的区域中提取特征，而没有考虑脸部姿态，该方法在脸部有大的偏转角或俯仰角时无法良好地定位显著区域。

因此，上述方法1和3均没有认识到脸部姿态对于定位显著区域乃至识别准确度的影响，因此均没有考虑它。上述方法3基于半监督学习，它需要更大的模型尺寸，因此，它不适合资源有限的系统。

本发明旨在解决上述的问题。本发明的一个目的是提供一种用于提取脸部特征的设备和方法以及用于处理图像的设备和方法，以解决上述问题之一。

本公开利用脸部姿态和特征点信息来得到显著区域/子区域的恰当的位置和尺寸，然后提取显著区域/子区域的特征。

具体地，对于具有粗略脸部区域的输入脸部图像，检测特征点，并且将脸部归一化，然后估计脸部姿态(偏转角和俯仰角)，接着，可以根据检测的特征点和估计的脸部姿态来定位显著区域。然后，可以从显著区域提取脸部特征。

通过在提取脸部特征之前考虑脸部姿态并且还利用脸部姿态信息来定位显著区域以便于从显著区域提取脸部特征，可提高提取的特征的准确度。

作为替代方案，脸部上每个显著区域中的子区域可以基于在定位显著区域时生成的变换矩阵来定位。然后，可以从子区域提取脸部特征。这样，即便是以不同的脸部姿态，定位的显著区域和子区域也可以基本上在人脸的相同位置，也就是说，所获得的显著区域和子区域更接近脸部上的那些真实的显著区域和子区域。

通过先定位显著区域(较大的区域)并且然后定位每个显著区域中的子区域(较小的区域)，可以提高计算效率(显著区域较大并且需要更多的计算量)，并且还可以进一步提高提取的特征的准确度，因为在不同姿态的人脸之中，从显著区域和子区域提取的特征是可以匹配的。

还作为替代方案，可以不用先定位显著区域而直接定位子区域(较小的区域)，然后从定位的子区域提取特征。

这样，与仅定位显著区域相比，也可以提高计算效率并且还可以进一步提高提取的特征的准确度。

此外，提取的特征可以输入到预先训练的模型(例如，表情分类模型，ID识别模型，年龄识别模型，等等)，从而可以确定脸部特征。

这里，在本公开中使用术语“脸部特征”和“脸部属性”。具体地，脸部属性至少包括表情、身份、年龄、种族、性别、有无眼镜、有无胡须等等。另外，术语“脸部特征”可以指用于表示脸部属性的特征，例如，表情类别，并且其还可以指用于表示其他事物的特征，尽管在本说明书中，其仅在脸部属性的背景中使用。也就是说，应当注意，这里的术语“脸部特征”不限于指用于表示脸部属性的特征。

根据本公开的第一方面，提供一种脸部特征提取装置，用于从脸部图像中提取特征，所述脸部特征提取装置包括：检测单元，检测脸部图像中的多个特征点；归一化单元，基于检测单元检测的所述多个特征点，对所述脸部图像中的脸部归一化，由此得到归一化脸部和所述归一化脸部上的与所述脸部图像中的多个特征点对应的多个归一化特征点；估计单元，估计所述脸部图像中的脸部姿态；定位单元，基于归一化脸部上的归一化特征点和估计单元所估计的所述脸部图像中的脸部姿态，定位所述归一化脸部中的特征区域；以及提取单元，从所述归一化脸部中的特征区域来提取特征。

根据本公开的第二方面，提供一种图像处理设备，包括：脸部图像供给装置，提供要被处理的脸部图像；如上所述的脸部特征提取装置，所述脸部特征提取装置从所述脸部图像供给装置提供的脸部图像中提取特征；以及脸部属性识别装置，基于脸部特征提取装置所提取的特征，识别所述脸部图像中的脸部的属性。

根据本公开的第三方面，提供一种脸部特征提取方法，用于从脸部图像中提取特征，所述脸部特征提取方法包括：检测步骤，检测脸部图像中的多个特征点；归一化步骤，基于在检测步骤检测的所述多个特征点，对所述脸部图像中的脸部归一化，由此得到归一化脸部和所述归一化脸部上的与所述脸部图像中的多个特征点对应的多个归一化特征点；估计步骤，估计所述脸部图像中的脸部姿态；定位步骤，基于归一化脸部上的归一化特征点和在估计步骤所估计的所述脸部图像中的脸部姿态，定位所述归一化脸部中的特征区域；以及提取步骤，从所述归一化脸部中的特征区域来提取特征。

根据本公开的第四方面，提供一种图像处理方法，包括：脸部图像供给步骤，提供要被处理的脸部图像；特征提取步骤，通过使用如上所述的脸部特征提取方法，从所提供的脸部图像中提取特征；以及脸部属性识别步骤，基于通过所述脸部特征提取方法所提取的特征，识别所述脸部图像中的脸部的属性。

根据本公开的第五方面，提供一种表情识别方法，包括：脸部图像供给步骤，提供要被处理的脸部图像；特征提取步骤，通过使用如上所述的脸部特征提取方法，从所提供的脸部图像中提取特征；以及表情确定步骤，基于通过所述脸部特征提取方法所提取的特征，确定所述脸部图像中的脸部的表情。

根据本公开的第六方面，提供一种表情识别装置，包括：脸部图像供给单元，提供要被处理的脸部图像；特征提取单元，通过使用如上所述的脸部特征提取装置，从所提供的脸部图像中提取特征；以及表情确定单元，基于通过所述脸部特征提取装置所提取的特征，确定所述脸部图像中的脸部的表情。

此外，在检测特征点之前，可以从脸部图像中获取粗略脸部区域，在这种情况下，从所获得的粗略脸部区域来检测所述特征点。

其中，上述特征包括脸部部位的位置有关的信息、脸部上的纹理有关的信息、脸部上的像素灰度值、脸部上的肌肉有关的信息、以及它们的任意组合。

另外，上述用于反映脸部姿态的参数包括：在所述归一化脸部上，脸部部位有关的度量信息以及在所述脸部部位上的作为参考点的特征点的位置有关信息。更具体地，上述用于反映脸部姿态的参数包括所述归一化脸部上鼻尖与鼻基点之间的距离和鼻尖的位置。

参照附图阅读示例性实施例的以下描述，本发明的其他特性特征和优点将变得清晰。

附图说明

并入到说明书中并且构成说明书一部分的附图示出了本发明的实施例，并且与描述一起用于解释本发明的原理。在这些附图中，类似的附图标记用于表示类似的项。

图1是常用表情识别方法的流程图。

图2示例性地示出通过使用上述常用表情识别方法在脸部定位的显著区域的几个例子。

图3示例性地示出现有技术中的多视角表情识别方法的流程图。

图4是示出可以实现本公开的实施例的计算机系统1000的示例性硬件配置的框图。

图5示例性地示出根据本公开的实施例的脸部特征提取方法的流程图。

图6示例性地示出根据本公开的实施例的脸部特征提取装置的框图。

图7是特征点的示意图。

图8示例性地示出根据本公开的实施例的用于估计脸部姿态的方法的流程图。

图9示例性地示出得到用于反映脸部姿态的参数的具体例子。

图10示例性地示出在估计脸部姿态期间采用的变换处理中使用的两个坐标系的具体例子。

图11示例性地示出定位特征点的处理的流程图。

图12是平均归一化正脸上的特征区域的例子。

图13示例性地示出归一化脸部的点和真实正脸的点之间的变换的例子。

图14示例性地示出根据本公开的定位处理和后续的处理的例子。

图15示例性地示出根据本公开的用于获得脸部特征子区域的变换的一种变换。

图16示例性地示出根据本公开的图像处理方法的例子。

图17示例性地示出根据本公开的另一实施例的脸部特征提取装置的框图。

图18示例性地示出根据本公开的实施例的定位单元的框图。

图19示例性地示出根据本公开的另一实施例的定位单元的框图。

图20示例性地示出根据本公开的另一实施例的区域定位处理和子区域定位处理的流程图。

图21示例性地示出根据本公开的实施例的图像处理设备的框图。

具体实施方式

应当注意，以下的实施例并不意欲限制所附权利要求的范围，并且在实施例中描述的特征的所有组合对于解决本发明的技术问题并不一定是必需的。以下描述的本发明的实施例中的每一个都可单独地实施，或者在必要的情况下或在单个实施例中组合来自各个实施例的要素或特征是有益的情况下作为多个实施例或者它们的特征的组合来实施。

由于图中类似的附图标记用于表示类似的元件，因此，将不在说明书中重复描述这些类似的元件，并且，本领域普通技术人员将理解这些类似的元件表示类似的含义。

在本公开中，可以通过软件、硬件、固件或者其任意组合来实施本公开的每个单元、部件和/或组件，并且，如果要由这些单元、部件和/或组件执行的操作与要由根据本公开的方法执行的步骤类似，则为了简洁起见，可能仅详细描述相应的步骤而省略对操作的详细描述。但是，本领域普通技术人员将明白由这些单元、部件和/或组件执行的操作的具体内容。也就是说，尽管可能以装置为背景来描述一些方面，但是显然，这些方面也代表对应方法的描述，其中块或单元对应于方法步骤或方法步骤的特征。类似地，在方法步骤的背景中描述的方面也代表对应装置的对应块或项或特征。另外，可以通过软件、硬件、固件或者其任意组合来实施根据本公开的方法。也就是说，本公开的方法和系统不限于其实现方式，并且，本发明的保护范围仅由所附的权利要求限定。

而且，在本公开中，步骤的执行顺序不是必须要按照流程图所示出和实施例中所提到的那样，而是可以根据实际情况来灵活变通的，即，本发明不应该受到流程图所示出的步骤的执行顺序的限制。

在本公开中，提出了新颖的脸部特征提取方法和装置，其中，提取脸部特征点(脸部上显眼的点或者脸部的关键位置上的点)并且将脸部归一化；根据归一化脸部上的特征点来估计脸部姿态(偏转角和俯仰角)；建立用于关于所获得的偏转角和俯仰角将正脸(真实正脸)上的区域映射到非正脸(归一化脸部)的变换矩阵；定位正脸中的显著区域，然后根据变换矩阵将其映射到非正脸；提取非正脸中的区域的特征。

此外，提取的特征可以用于确定脸部属性。例如，预先训练的表情分类模型可以用于确定表情类别。

另外，还可以定位显著区域中的子区域并且然后可以提取子区域中的特征以确定脸部属性。

下面，将参照附图来详细描述本公开的示例性实施例。

图4是示出可以实现本公开的实施例的计算机系统1000的示例性硬件配置的框图。

如图4中所示，计算机系统1000包括计算机1110。计算机1110包括经由系统总线1121连接的处理单元1120、系统存储器1130、固定非易失性存储器接口1140、可移动非易失性存储器接口1150、用户输入接口1160、网络接口1170、视频接口1190和输出外围接口1195。

系统存储器1130包括ROM(只读存储器)1131和RAM(随机存取存储器)1132。BIOS(基本输入输出系统)1133驻留在ROM 1131中。操作系统1134、应用程序1135、其他程序模块1136和某些程序数据1137驻留在RAM 1132中。

诸如硬盘之类的固定非易失性存储器1141连接到固定非易失性存储器接口1140。固定非易失性存储器1141例如可以存储操作系统1144、应用程序1145、其他程序模块1146和某些程序数据1147。

诸如软盘驱动器1151和CD-ROM驱动器1155之类的可移动非易失性存储器连接到可移动非易失性存储器接口1150。例如，软盘1152可以被插入到软盘驱动器1151中，以及CD(光盘)1156可以被插入到CD-ROM驱动器1155中。

诸如麦克风1161和键盘1162之类的输入设备被连接到用户输入接口1160。

计算机1110可以通过网络接口1170连接到远程计算机1180。例如，网络接口1170可以经由局域网1171连接到远程计算机1180。或者，网络接口1170可以连接到调制解调器(调制器－解调器)1172，以及调制解调器1172经由广域网1173连接到远程计算机1180。

远程计算机1180可以包括诸如硬盘之类的存储器1181，其存储远程应用程序1185。

视频接口1190连接到监视器1191。

输出外围接口1195连接到打印机1196和扬声器1197。

图4所示的计算机系统1000只是示例性的，并且决不意图限制本发明、本发明的应用或用途。

图4所示的计算机系统可以被实施于任何实施例，可作为独立计算机，或者也可作为设备中的处理系统，可以移除一个或更多个不必要的部件，也可以向其添加一个或更多个附加的部件。

图4所示的计算机系统可以以任何方式被用户使用，本公开对于用户使用计算机系统的方式不作任何限制。

显然地，图4所示的计算机系统仅是示例性的，其绝不会限制本公开、本公开的应用或者用途。

接着，将在下面描述本公开的实施例。

[根据本公开的实施例的方法]

首先，将参照图5来描述本公开的一个方法实施例。

图5示例性地示出根据本公开的实施例的脸部特征提取方法的流程图。

如图5所示，在检测步骤S101，检测脸部图像中的多个特征点。

然后，在归一化步骤S102，基于在检测步骤S101检测的所述多个特征点，对所述脸部图像中的脸部归一化，由此得到归一化脸部和所述归一化脸部上的与所述脸部图像中的多个特征点对应的多个归一化特征点。

接着，在估计步骤S103，估计所述脸部图像中的脸部姿态。

优选地，从归一化脸部上的所述归一化特征点得到用于反映脸部姿态的参数，并且基于所述用于反映脸部姿态的参数和所述归一化特征点来估计所述脸部图像中的脸部姿态。其中，所述用于反映脸部姿态的参数的数值能够随脸部姿态的不同而变化。

然后，在定位步骤S104，基于归一化脸部上的归一化特征点和在估计步骤所估计的所述脸部图像中的脸部姿态，定位所述归一化脸部中的特征区域。

然后，在提取步骤S105，从所述归一化脸部中的特征区域来提取特征。

此外，根据本公开的另一实施例，所述脸部特征提取方法可以进一步包括粗略区域获取步骤S111，从脸部图像中获取粗略脸部区域，如图5所示(用虚线包围的框)。这里，上述粗略脸部区域可以通过使用现有技术中任何已知的或现有的脸部检测方法或装置来获得。

在该情况下，在所述检测步骤S101，可以从所述粗略脸部区域检测所述特征点。

下面将具体地描述关于每个步骤的详细过程以便容易被本领域普通技术人员理解，但是，应当注意，不是要描述的每一个元件都是对于解决本发明的技术问题一定必须的，也就是说，不是所有这些特征都是解决本发明的技术问题的必要技术特征。

具体地，在检测步骤S101，检测脸部特征点。

作为例子，可以例如基于预先确定的模板，从脸部图像检测到7个特征点。这7个特征点可以是两个眼睛中的每个眼睛的两个眼角、鼻尖和两个嘴角，如图7所示。应当注意的是，这7个特征点只是例示，可以在本公开的各种实施例中检测更多或更少的特征点。

而且，这里，例如可以利用主动形状模型(ASM)(COMPUTER VISION AND IMAGE UNDERSTANDING,Vol.61,No.1,January,pp.38-59,1995)来检测特征点。当然，本领域普通技术人员已知的或者以后将要开发的其他模型或方法也可以用来检测特征点，本公开对于检测特征点的方式不作任何限制。

然后，在归一化步骤S102，根据通过检测步骤S101检测的特征点，将所述脸部图像中的脸部归一化到平均正脸。

接着，为了易于理解，下面将描述根据特征点将所述脸部图像中的脸部归一化到平均正脸的例子。但是，本领域普通技术人员将明白，本发明不限于这样的例子。

首先，以这7个点作为特征点的例子，可以从被人工地标定的样本(将被称为人工标定的样本)计算这7个点的平均位置。假定有n个标定的样本，这7个点的平均位置P_i(x_i,y_i)(i＝1～7)被计算为

$x_i=\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{x}_{\mathrm{ij}},y_i=\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{y}_{\mathrm{ij}},$

其中，x_ij和y_ij分别是第j(j＝1～n)个标定的样本沿x轴和y轴的坐标值。

然后，将平均化后的7个点P_i(x_i,y_i)(i＝1～7)定义为目标脸部的特征点，并且可以利用仿射映射(也称为仿射变换)处理来对齐(归一化)输入脸部和目标脸部。这样，根据在步骤S101检测的7个特征点，将脸部图像仿射到归一化脸部上。这里，对齐的(归一化的)脸部的尺寸可以是例如200×200像素。

这里，下面将给出一个例子来描述仿射映射。也就是说，利用仿射映射处理来通过利用检测的输入脸部的特征点与人工标定的样本的平均特征点之间的仿射变换(如下式所示)对齐(归一化)输入脸部到目标脸部。

[检测的特征点的矩阵][仿射变换矩阵]＝[平均化后的7个点的矩阵]

由此，可以基于检测的多个特征点获得归一化的脸部。此外，可以例如通过使用ASM来直接获得归一化脸部中的特征点(为了易于区分，它们将被称为归一化特征点)。

此外，应当注意，对于人工标定的样本的特征点的平均化操作仅是示例性的，本发明不仅限于以上一种方式，例如，可以执行对于人工标定的样本的特征点的加权操作或者平均加权操作等来获得如上所述的目标脸部。

这里，应当注意，本文中的归一化用于将任何角度的输入脸部图像的特征点归一化到归一化脸部中的相同位置。

然后，在步骤S103，根据归一化的特征点来估计归一化脸部中的脸部姿态(也是脸部图像中的脸部姿态，因为上述归一化操作仅消除旋转的影响，而不改变其偏转角和俯仰角)。

具体地，从归一化脸部上的所述归一化特征点得到用于反映脸部姿态的参数，并且基于所述用于反映脸部姿态的参数和所述归一化特征点来估计所述脸部图像中的脸部姿态。

其中，所述用于反映脸部姿态的参数的数值能够随脸部姿态的不同而变化。另外，例如，所述用于反映脸部姿态的参数可以包括：在所述归一化脸部上，脸部部位有关的度量信息以及在所述脸部部位上的作为参考点的特征点的位置有关信息。

具体地，与脸部部位有关的度量信息可以包括例如与脸部部位有关的距离、长度、高度、或宽度等，例如脸部图像上脸部的最大宽度、脸部图像上脸部的最小宽度、脸部图像上的眼睛宽度、脸部图像上的眼睛宽度、脸部图像上的鼻子宽度、脸部图像上眼睛的高度、下巴底部到额头顶部之间的高度等等。但是，应当注意，本发明不限于这些举出的例子。

此外，脸部部位中的某个特征点(其将被用作参考点)可以是脸部图像中的脸部的边缘点，例如，眼角、嘴角、脸部图像中的鼻子底部的边缘点、脸部图像中的眼睛底部的边缘点、下巴底部、前额顶部、鼻尖等等。但是，应当注意，本发明不限于这些举出的例子。

接着，为了易于理解，下面将给出一个非常详细的例子，参考图8和9描述姿态估计方法。在图8中示出了示例性的姿态估计方法的详细流程图。图9示出了用于根据归一化脸部中的归一化特征点确定用于反映脸部姿态的参数的具体例子。

首先，在步骤S1031，可以得到虚拟鼻基点。如图9的(a)中所示，归一化脸部中的特征点A,B,C和D(也称为归一化特征点)几乎在同一个平面中，点M和N分别是AB和CD的中点。点Q是鼻尖(归一化脸部中的7个特征点之一)。从Q向线MN画一条垂线，然后交点是P。所获得的点P将被称为虚拟鼻基。

然后，可以在步骤S1031得到鼻子高度。例如，图9的(b)(其中，一个不同的人的全侧脸，即，一个全侧脸的样本被示出)示出了一个估计鼻子高度d的处理的例子，其中，E’是直接连接两个内眼角的线的中点，F’是两个嘴角的中点，P’是鼻基，Q’是鼻尖，Q’P’垂直于E’F’。

这里，如果P’Q’/E’F’的值等于γ，则可确定γ＝P’Q’/E’F’＝d/E’F’。由此，例如可以基于γ的值和E’F’的长度得到目标距离d(归一化脸部的鼻子高度，等于P’Q’的长度)，如下所示。

d＝P’Q’＝E’F’×γ

其中，d是鼻子高度(从鼻尖到虚拟鼻基点的距离)，图9的(b)中的E’F’可以对应于图9的(a)中的MN(即，E’和F’可以分别对应于M和N)，并且γ是P’Q’/E’F’的值。这里，E’F’和γ的值可以例如从全侧脸的样本确定。

具体地，关于从全侧脸的样本得到P’Q’/E’F’的值的方式，可以通过将多个全侧脸的样本平均而得到P’Q’/E’F’＝0.340，并且可以类似地得到E’F’的值。另外，应当注意，可以以其他方式得到γ(P’Q’/E’F’)的值，例如，可以通过经验或者试验或者本领域普通技术人员能够想到的任何其他方式得到，本发明对此不作任何限制。再例如，也可以从同一个人的全侧脸的样本得到γ的值，这样，所获得的d值将更准确。

接着，在步骤S1032，将使用一个三维模型来估计脸部姿态(偏转角和俯仰角)。在图10中示出了示例性的和详细的处理。

为了解释估计处理，在图10的(a)中，示例性地示出正脸的三维坐标，其原点可以位于鼻基点。对于图10的(b)中的归一化脸部(也称为非正脸)，在三维坐标X’Y’Z’中，其原点也可以位于鼻基点，并且鼻尖Q可以表示为B(0,0,d)^T。在坐标XYZ中，特征点Q(即，归一化脸部中的归一化特征点)的坐标可以表示为A(x₀,y₀,z)^T，其中，x₀、y₀可以通过在二维坐标系中将Q的坐标和P的坐标相减而计算得到。可以通过两个三维坐标的变换而将B变换到A。假设偏转角是α，俯仰角是β，旋转角是θ。根据计算图形学，在三维空间中，从X’Y’Z’到XYZ的变换可以表示如下：

T＝R_z(θ)R_y(α)R_x(β),

$R_z\left(\mathrm{\θ}\right)=\left(\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right),R_y\left(\mathrm{\α}\right)=\left(\begin{array}{ccc}\cos \mathrm{\α}& 0& \sin \mathrm{\α}\\ 0& 1& 0\\ -\sin \mathrm{\α}& 0& \cos \mathrm{\α}\end{array}\right),R_x\left(\mathrm{\β}\right)=\left(\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\β}& -\sin \mathrm{\β}\\ 0& \sin \mathrm{\β}& \cos \mathrm{\β}\end{array}\right)$

其中，R_z(θ)是围绕Z轴的旋转矩阵，R_y(α)是围绕Y轴的旋转矩阵,R_x(β)是围绕X轴的旋转矩阵。

在脸部归一化步骤中，旋转角θ已减至0，R_z(θ)变为单位矩阵,因此，变换矩阵T可以表示如下。

$T=R_y\left(\mathrm{\α}\right)R_x\left(\mathrm{\β}\right)=\left(\begin{array}{ccc}\cos \mathrm{\α}& 0& \sin \mathrm{\α}\\ 0& 1& 0\\ -\sin \mathrm{\α}& 0& \cos \mathrm{\α}\end{array}\right)\left(\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\β}& -\sin \mathrm{\β}\\ 0& \sin \mathrm{\β}& \cos \mathrm{\β}\end{array}\right)=\left(\begin{array}{ccc}\cos \mathrm{\α}& \sin \mathrm{\α}\sin \mathrm{\β}& \sin \mathrm{\α}\cos \mathrm{\β}\\ 0& \cos \mathrm{\β}& -\sin \mathrm{\β}\\ -\sin \mathrm{\α}& \cos \mathrm{\α}\sin \mathrm{\β}& \cos \mathrm{\α}\cos \mathrm{\β}\end{array}\right)$

由于A＝TB,因此，可以得到

$\left(\begin{array}{c}{x}_0\\ y_0\\ z\end{array}\right)=\left(\begin{array}{ccc}\cos \mathrm{\α}& \sin \mathrm{\α}\sin \mathrm{\β}& \sin \mathrm{\α}\cos \mathrm{\β}\\ 0& \cos \mathrm{\β}& -\sin \mathrm{\β}\\ -\sin \mathrm{\α}& \cos \mathrm{\α}\sin \mathrm{\β}& \cos \mathrm{\α}\cos \mathrm{\β}\end{array}\right)\left(\begin{array}{c}0\\ 0\\ d\end{array}\right).$

所以，

$\sin \mathrm{\α}=\frac{x_0}{\sqrt{d^2-y_0^2}},\sin \mathrm{\β}=-\frac{y_0}{d}$

现在，可以基于用于反映脸部姿态的参数(例如d)和归一化特征点(例如归一化特征点Q的坐标，即x₀,y₀)而得到脸部图像(也称为非正脸)中的脸部的偏转角和俯仰角。

总之，在上述例子中，用于反映脸部姿态的参数可以是鼻子高度(d)和虚拟鼻基点的位置(P)，并且鼻尖的位置(Q)属于归一化特征点之一。

这里，应当注意，尽管上述例子使用了鼻子高度(d)和虚拟鼻基点的位置(P)作为用于反映脸部姿态的参数，并且还使用全侧脸的样本来得到用于反映脸部姿态的参数，本发明却不限于上述例子，也就是说，可以使用其他的用于反映脸部姿态的参数，诸如上面提到的那些和其他能够想到的参数，并且还可以使用其他的方式来得到这样的参数。

另外，在本公开中，估计脸部姿态的参数的方式不是仅限于上面的例子中示出的(比如几何变换矩阵)，而是任何能够想到的估计脸部姿态的方式都可以包含在本公开的保护范围内。

然后，在图5所示的步骤S104，根据归一化脸部上的归一化特征点和所述脸部图像中的估计的脸部姿态，定位所述归一化脸部中的显著区域。

由于已经获得了可以由例如偏转角α和俯仰角β表示的脸部姿态，现在可以定位归一化脸部的特征区域。图11示例性地示出了用于定位特征点的处理的流程图。

首先，在归一化特征区域获得步骤S1041，从归一化正脸样本获得平均归一化正脸和平均归一化正脸中的特征区域，并且基于归一化脸部中的归一化特征点和平均归一化正脸中的特征区域，获得正脸的特征区域。

具体地，作为一个详细的例子，可以通过以下步骤获得正脸上的显著区域。

1)通过将每个像素的灰度值平均化，得到多个归一化正脸样本的平均归一化正脸。

这里，还可以通过将所有归一化正脸样本的对应脸部特征点平均化，得到平均归一化正脸的脸部特征点，与上面所述的从正脸样本得到归一化脸部的方式类似。

应当注意，上述平均归一化正脸不是上面提到的归一化脸部(平均正脸)，它是从多个归一化正脸样本获得的。

2)分别在平均归一化正脸上定位两只眼睛、鼻子和嘴的显著区域(也称为特征区域)。

例如，对于左眼区域，覆盖左眼和其眉毛，并且区域中心是左眼的两个特征点(左眼角点)的中点。

对于右眼区域，覆盖右眼和其眉毛，并且区域中心是右眼的两个特征点(右眼角点)的中点。

对于鼻子区域，覆盖鼻子和两颊，并且区域中心是鼻基点。

对于嘴部区域，覆盖嘴和嘴角，并且区域中心是嘴的两个特征点的中点(嘴角点)。

接着，在定位显著区域时，可以遵循一个规则：显著区域应当覆盖不同表情时脸部的变化。

为了易于理解，在图12中示出了一个在平均归一化正脸上的特征区域的例子。

3)基于归一化脸部上的归一化特征点和平均归一化正脸上的特征区域，定位正脸上的显著区域。

接着，将在下面描述一个详细的例子。这里，可以假设归一化脸部的尺寸是200×200像素。

对于左眼区域，两个左眼角的中点被设为区域中心，区域的尺寸与平均归一化正脸上的左眼区域相同(例如，80×60像素)。

对于右眼区域，两个右眼角的中点被设为区域中心，区域的尺寸与平均归一化正脸上的右眼区域相同(例如，80×60像素)。

对于鼻子区域，鼻基点被设为区域中心，区域的尺寸与平均归一化正脸上的鼻子区域相同(例如，120×40像素)。

对于嘴部区域，两个嘴角的中点被设为区域中心，区域的尺寸与平均归一化正脸上的嘴部区域相同(例如，130×80像素)。

然后，在脸部特征区域获得步骤S1042，基于估计的脸部姿态，将正脸的特征区域映射到归一化脸部的特征区域。

在图13中，使用左眼区域作为例子。对于图13的(a)中的正脸，坐标原点位于两个眼角的中间。对于图13的(b)中的归一化脸部，针对两个眼角(7个检测的特征点中的2个)的信息，将坐标原点设在眼角的中间。右眼区域和嘴部区域是类似的，而鼻子区域是特殊情况。鼻子区域中的坐标原点直接位于虚拟鼻基点。

上面的映射处理(即，变换)可以分解成如图13的(a)和(b)所示的两步。首先，正脸以角度α(偏转角)围绕Y轴旋转，然后以角度β(俯仰角)围绕X轴旋转。对于左眼区域中的任何点L，变换后的点是归一化脸部中的L’。假设L和L’的三维坐标分别是(x,y,z)^T和(x’,y’,z’)^T，则上述的变换可以表示如下：

$T\left(\begin{array}{c}x\\ y\\ z\end{array}\right)=\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\end{array}\right),T=R_y\left(\mathrm{\α}\right)R_x\left(\mathrm{\β}\right)=\left(\begin{array}{ccc}\cos \mathrm{\α}& \sin \mathrm{\α}\sin \mathrm{\β}& \sin \mathrm{\α}\cos \mathrm{\β}\\ 0& \cos \mathrm{\β}& -\sin \mathrm{\β}\\ -\sin \mathrm{\α}& \cos \mathrm{\α}\sin \mathrm{\β}& \cos \mathrm{\α}\cos \mathrm{\β}\end{array}\right)$

通过上面的变换矩阵T，图13的(a)中的左眼区域中的每个点(正脸中的任意点)可以变换到图13的(b)中的对应点(归一化脸部中的对应点)。使用变换矩阵来映射正脸的左眼区域的四个顶点以得到归一化脸部上的四个顶点。连接获得的这四个顶点，在归一化脸部上得到左眼区域。对于其他显著区域，映射处理与上面所述的类似。

应当注意，尽管图中所示的特征区域较大，例如，嘴部区域覆盖整个嘴甚至还有其周围，但是，根据本公开的特征区域可以较小，例如，嘴附近的特征区域可以仅覆盖嘴角和/或其周围。因此，根据本公开，特征区域可以大，并且它们也可以小。当特征区域大时，计算过程可能花费较长的时间，相反，当特征区域小时，计算过程可能花费较短的时间。采用大的特征区域还是小的特征区域取决于实际情况，比如可用的处理资源和/或任务需要等。

然后，在如图5所示的提取步骤S105，从所述归一化脸部中的特征区域来提取特征。

这里，上述特征可以包括脸部部位的位置有关的信息、脸部上的纹理有关的信息、脸部上的像素灰度值、脸部上的肌肉有关的信息、以及它们的任意组合。无论如何，本公开不对于要提取和处理的特征的形式进行任何限制。

作为一个例子，特征提取方法可以采用局部二值模式(LBP)(“Multiresolution Gray Scale and Rotation InvariantTexture Classification with Local Binary Patterns”,TimoOjala等,IEEE Transactions on Pattern Analysis andMachine Intelligence,Vol.24,No.7,July 2002)或局部相位量化(LPQ)(“Blur Insensitive Texture Classification UsingLocal Phase Quantization”,Ville Ojansivu等,ICISP 2008,LNCS 5099,pp.236–243,2008)。

例如，在LBP特征的情况下，块尺寸与区分块的尺寸相同，并且二值(bin)的总数是59个。由此，每个块-LBP特征(block-LBP feature)的大小(dimension)为59。特征计算处理如下所示。

1)为归一化脸部的特征区域(或子区域)中的每个像素计算LBP_8,1

a)得到作为当前像素的中心像素的值。

b)提取8个相邻区域中的像素值。

c)通过双线性内插法计算g_P,(P＝0,1,...,7)。

d)通过 ${\mathrm{LBP}}_{\mathrm{8,1}}=\underset{p=0}{\overset{7}{\mathrm{\Σ}}}s(g_p-g_c)*2^p$ 计算LBP值。

这里，g_p是邻接像素的灰度值，g_c是中心像素的灰度值，并且

$s(g_p-g_c)=\left\{\begin{array}{cc}1,& g_p-g_c\&GreaterEqual;\mathrm{TH}\\ 0,& g_p-g_c<\mathrm{TH}\end{array}\right.$

其中，TH是阈值。

2)通过将块中的每个像素的所述LBP相加来建立59个(59-dimension)的LBP柱状图。

此外，根据本公开的另一实施例，可以定位特征区域(较大区域)中的子区域(较小区域)，然后可以提取特征。图14示例性地示出了具体的处理。

作为替代方案，根据本公开的另一实施例，在区域定位步骤S1041’中定位特征区域之后，可以进一步在子区域定位步骤S1042’中定位归一化脸部的每个特征区域的特征子区域，如图14所示。

其中，在区域定位步骤S1041’，可以基于归一化脸部中的归一化特征点和脸部图像中的估计的脸部姿态来定位归一化脸部中的特征区域，并且在子区域定位步骤S1042’，可以定位归一化脸部的每个特征区域中的特征子区域，并且在提取步骤S105，可以从归一化脸部中的特征子区域中提取特征，如图14所示。

具体地，区域定位步骤S1041’可以包括：归一化特征区域获得步骤S10411’，从归一化正脸样本得到平均归一化正脸和平均归一化正脸上的特征区域，并且基于归一化脸部上的归一化特征点和平均归一化正脸上的特征区域，得到正脸的特征区域；以及脸部特征区域获得步骤S10412’，基于估计的脸部姿态，将所述正脸的特征区域映射为所述归一化脸部的特征区域，如图20所示。

这里，如图20所示的上述步骤S10411’和S10412’与图11所示的上述步骤S1041和S1042类似，因此为了简洁起见，将省略这些细节。

此外，子区域定位步骤S1042’可以包括脸部特征子区域获得步骤S10421’(如图20所示)，所述脸部特征子区域获得步骤S10421’基于针对所述平均归一化正脸的每个特征区域的特征子区域模板，将正脸的特征子区域映射为所述归一化脸部的特征子区域。

此外，根据本公开的另一实施例的脸部特征提取方法可以进一步包括组合步骤S1055(如图14所示)，所述组合步骤S1055将在提取步骤提取的所述特征子区域中的特征进行组合，使得组合后的特征能够用于确定脸部的属性。

作为替代方案，上述组合步骤可以包含在提取步骤S105中，而不是作为在提取步骤之后的单独的步骤。为了简洁起见，这里省略详细的描述和相关的图，但是本领域普通技术人员能够从上面描述的内容明白这些。

接着，将在下面参照图15来描述脸部特征子区域获得步骤S10421’的具体例子。

在平均归一化正脸中，有对于每个显著区域的子区域的模板(由于关于子区域的模板的知识对于本领域普通技术人员是已知的，因此为了简洁起见本文将省略细节)，其包含更多的区分特征。对于左眼区域的子区域的模板(较小的矩形)在图15的(a)和(b)中示出。对于其他显著区域，子区域的模板类似。

图15的(a)中的正脸上的一个子区域R变换成图15的(b)中所示的归一化脸部上的子区域R’。因为如上面所述已在定位步骤S104(如图5所示)获得变换矩阵T，所以通过变换矩阵T将R的每个顶点映射到对应的顶点。连接所获得的四个顶点，得到对应的子区域R’。所有其他特征子区域类似地如上述那样被处理，由此获得归一化脸部的所有特征子区域。

然后，在提取步骤S105提取归一化脸部上的特征子区域中的特征，这在前面已经被描述，因此将在此被省略。

此外，如上所述，归一化脸部中的特征子区域的所有特征可以在步骤S1055被连结(组合)，由此获得用于表情识别的最终特征。

这里，应当注意，尽管在上面的描述中，在估计步骤S103、区域定位步骤S104、子区域定位步骤S1042’执行了同样的变换处理，但是，也可以在这些步骤执行不同的变换处理，甚至可以在这些步骤中的每一步骤处执行的是不同的变换处理。也就是说，上述变换处理仅是一个例子，本发明不限于该例子，而是任何种类的变换都可以用于本公开的实施例中，只要它们能够实现对应的功能(比如定位或归一化等)即可。

此外，根据本公开的另一实施例，可以将所获得的特征例如输入到分类器以便确定脸部图像中的脸部属性，以便预测表情的类别。

具体地，如图16所示，根据本公开的实施例的图像处理方法可以包括以下步骤：脸部图像供给步骤S100，用于提供要被处理的脸部图像；特征提取步骤S200，用于通过使用上面描述的脸部特征提取方法，从所提供的脸部图像中提取特征；以及脸部属性识别步骤S300，用于基于通过上面描述的脸部特征提取方法所提取的特征，识别所述脸部图像中的脸部的属性。

这里，可以利用线性SVM作为分类器。将获得的特征输入到分类器，其预测最终的脸部属性，例如，表情类别。

其中，在表情确定的情况下，如果学习的模型是在一个对所有的模式(one-against-all mode)下训练的，则分类器直接预测表情类别，而如果学习的模型是在一对一的模式(one-against-one mode)下训练的，则分类器在任何两个表情之间预测类别，工作C_n ²轮，其中，n是总的表情类别。然后，C_n ²个结果的投票确定最终表情类别。

另外，在脸部图像供给步骤S100，可以通过使用至少以下方式之一来提供脸部图像：

1)从外部获取所述脸部图像；

2)从其中存储有脸部图像的存储器获取所述脸部图像；以及

3)从拍摄装置实时获取所述脸部图像。

如上所述，本公开的实施例提供了用于提取脸部特征的方法和用于处理图像的方法。通过在提取脸部特征之前考虑脸部姿态并且还利用脸部姿态信息来定位显著区域以便于从显著区域提取脸部特征，能够提高所提取特征的准确度。

此外，与仅定位显著区域的方式相比，通过在定位特征区域(显著区域)之后定位特征子区域，可以大大地提高计算效率并且还可以进一步提高提取特征的准确度。

另外，应当注意，由于如上所述，归一化脸部中的特征被提取并且然后被提供给分类器以确定脸部属性，可以通过使用归一化样本来训练分类器，以使得归一化脸部中的特征和分类器中的特征匹配良好。但是，其他的处理方式也可以适用于本发明。

[根据本公开的实施例的装置和设备]

接着，将在下面参照图6和17描述根据本公开的实施例的脸部特征提取装置和图像处理设备。

图6示例性地示出了根据本公开的实施例的脸部特征提取装置的框图。

如图6所示，根据本公开的实施例的脸部特征提取装置200(其从脸部图像提取特征)可以包括：检测单元101，检测脸部图像中的多个特征点；归一化单元102，基于检测单元101检测的所述多个特征点，对所述脸部图像中的脸部归一化，由此得到归一化脸部和所述归一化脸部上的与所述脸部图像中的多个特征点对应的多个归一化特征点；估计单元103，估计所述脸部图像中的脸部姿态；定位单元104，基于归一化脸部上的归一化特征点和估计单元所估计的所述脸部图像中的脸部姿态，定位所述归一化脸部中的特征区域；以及提取单元105，从所述归一化脸部中的特征区域来提取特征。

优选地，所述估计单元103从归一化脸部上的所述归一化特征点得到用于反映脸部姿态的参数，并且基于所述用于反映脸部姿态的参数和所述归一化特征点来估计所述脸部图像中的脸部姿态。

其中，所述用于反映脸部姿态的参数的数值能够随脸部姿态的不同而变化。

此外，根据本公开的另一实施例的脸部特征提取装置可以进一步包括从脸部图像中获取粗略脸部区域的粗略区域获取单元111，如图17所示。这里，可以通过利用现有技术中任何已知或现有的脸部检测方法或装置来获得上述粗略脸部区域。举例来说，所述粗略脸部区域可以指初步得到的近似的(不那么准确的)脸部轮廓围起的区域。

其中，所述检测单元可以从所述粗略区域获取单元111获取的粗略脸部区域来检测所述特征点。

另外，根据本公开的另一实施例，如图18所示，所述定位单元104可以包括：归一化特征区域获得部件1041，从归一化正脸样本得到平均归一化正脸和平均归一化正脸上的特征区域，基于归一化脸部上的归一化特征点和平均归一化正脸上的特征区域，得到正脸的特征区域；和脸部特征区域获得部件1042，基于估计单元103所估计的脸部姿态，将所述正脸的特征区域映射为所述归一化脸部的特征区域。

作为替代方案，根据本公开的另一实施例，由于在特征区域中，可以包含特征子区域，因此所述定位单元104可以包括针对特征区域的区域定位单元1041’和/或针对特征子区域的子区域定位单元1042’，如图19所示。

由此，基于归一化脸部上的归一化特征点和估计单元所估计的所述脸部图像中的脸部姿态，所述区域定位单元1041’定位所述归一化脸部中的特征区域，并且所述子区域定位单元1042’定位所述归一化脸部中的每个特征区域中的特征子区域。由此，所述提取单元105可以从所述归一化脸部中的所述特征子区域中提取特征。

此外，如图19所示，所述区域定位单元1041’可以包括：归一化特征区域获得部件10411’，从归一化正脸样本得到平均归一化正脸和平均归一化正脸上的特征区域，基于归一化脸部上的归一化特征点和平均归一化正脸上的特征区域，得到正脸的特征区域；和脸部特征区域获得部件10412’，基于估计单元103所估计的脸部姿态，将所述正脸的特征区域映射为所述归一化脸部的特征区域。

此外，如图19所示，所述子区域定位单元1042’可以包括：脸部特征子区域获得部件10421’，基于针对所述平均归一化正脸的每个特征区域的特征子区域模板，将正脸的特征子区域映射为所述归一化脸部的特征子区域。

此外，如图17所示，根据本公开的另一实施例的脸部特征提取装置可以进一步包括组合单元1055，将所述提取单元105提取的所述特征子区域中的特征进行组合，使得组合后的特征能够用于确定脸部的属性。

作为替代方案，上述组合单元可以包含在提取单元105中，而不是作为一个单独的单元。为了简洁起见，这里省略详细的描述和相关的图，但是本领域普通技术人员能够从上面描述的内容明白这些。

此外，根据本公开的另一实施例的脸部特征提取装置可以进一步包括用于进行几何变换的变换部件106，如图17所示。由此，估计单元103通过利用由变换部件106执行的几何变换来估计脸部姿态，并且所述脸部特征区域获得部件10412’通过利用由变换部件106执行的几何变换来得到所述归一化脸部的特征区域，并且，所述脸部特征子区域获得部件10421’也通过利用由变换部件106执行的几何变换来得到所述归一化脸部的特征子区域。

这里，上述的相应单元执行与如上所述的对应方法的相应步骤相似的操作。因此，为了简洁起见，在此将省略这些单元的详细操作的描述，本领域普通技术人员会从对应步骤的操作容易知道这些。

另外，图21示例性地示出了根据本公开的实施例的图像处理设备，其可以包括：提供要被处理的脸部图像的脸部图像供给装置100；如上所述的脸部特征提取装置200，从所述脸部图像供给装置100提供的脸部图像中提取特征；以及脸部属性识别装置300，基于脸部特征提取装置200所提取的特征，识别所述脸部图像中的脸部的属性。

此外，所述脸部图像供给装置100可以通过以下方式中的至少一种提供所述脸部图像给所述脸部特征提取装置200：

1)从外部获取所述脸部图像；

2)从所述图像处理设备中包含的、其中存储有脸部图像的存储器获取所述脸部图像；以及

3)从拍摄装置实时获取所述脸部图像。

此外，脸部属性可以至少包括：表情、身份、年龄、种族、性别、有无眼镜、以及有无胡须。

通过根据本公开的各种实施例的脸部特征提取装置或图像处理设备，可以获得与如上所述的方法类似的效果。

[应用例子]

本公开的实施例可以用在很多应用中，例如，用于识别脸部的属性。例子之一是脸部表情分析，将简单地对其进行描述以容易理解本文所提出的创新的技术方案。

在该示例性的脸部表情系统中，监视照相机观察观众在整个电影放映期间的表情和动作。实时多视角脸部检测技术检测和跟踪每个观众的脸部。根据本公开的实施例的多视角面部表情识别技术识别每个观众在每个时刻的表情。然后，总结观众组在该时刻的情绪。然后，观众在电影放映期间的情绪变化可以被得到。

该示例性的脸部表情系统可以用于分析观众对于整个电影的感受和反应，以及其在特定时刻的情绪。此外，可以在巅峰表情或特定情绪时刻保存快照。

[试验结果]

为了对比效果，针对侧脸数据集评估了本发明。侧脸数据是从网站收集的：40％的侧脸数据有较大的偏转角(30～60度)，在这40％的侧脸数据中，有80％左右的脸部有明显的俯仰角。

下表1描述了侧脸数据的评估集的分布，下表2关于web数据集示出了本发明相对于常用方法的性能。试验是针对真实的脸部特征点进行的。

表1侧脸数据集的评估集的分布

	生气	害怕	高兴	无表情	难过	总计
							Web样本	135	183	283	302	494	1,397

根据表2，本发明可以更好地处理具有不同的偏转角或俯仰角的脸部图像，由此可以提高训练的表情分类模型的性能。

在web数据中，40％的脸部有较大的偏转角(>30度)，80％左右的脸部图像有较大的俯仰角。识别率在整个数据集上增加了3.3％。因此，可以推断，本发明对于处理具有较大偏转角的脸部图像或者具有较大俯仰角的脸部图像是有效的。

表2针对web样本的本发明方法和常用方法的性能比较

尽管已经参照附图描述了本公开，但是实施例不限于上面描述的那些。本领域普通技术人员将明白，其他实施例也可以适用于本公开。另外，实施例中所示的组件仅是例子，它们并不限于这样的形式，而是可以是单个的组件或者可以彼此组合。

另外，请注意，可以用许多方式实施本公开的方法和设备。例如，可以通过软件、硬件、固件、或其任何组合来实施本公开的方法和设备。上述的方法步骤的次序仅是示例性的，本公开的方法步骤不限于以上具体描述的次序，除非以其他方式明确说明。此外，在一些实施例中，本公开还可以被实施为记录在记录介质中的程序，其包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于实现根据本公开的方法的程序的记录介质。

在上面的描述中，虽然已通过示例详细展示了本公开的一些具体实施例，但是本领域普通技术人员应当理解，上述例子仅意图是示例性的而非限制本公开的范围。本领域普通技术人员应当理解，上述实施例可以被修改而不脱离本公开的范围和实质。本公开的范围是通过所附的权利要求来限定的。

Claims (19)

1.一种脸部特征提取装置，用于从脸部图像中提取特征，所述脸部特征提取装置包括：

检测单元，检测脸部图像中的多个特征点；

归一化单元，基于检测单元检测的所述多个特征点，对所述脸部图像中的脸部归一化，由此得到归一化脸部和所述归一化脸部上的与所述脸部图像中的多个特征点对应的多个归一化特征点；

估计单元，估计所述脸部图像中的脸部姿态；

定位单元，基于归一化脸部上的归一化特征点和估计单元所估计的所述脸部图像中的脸部姿态，定位所述归一化脸部中的特征区域；以及

提取单元，从所述归一化脸部中的特征区域来提取特征。

2.根据权利要求1所述的脸部特征提取装置，其中，所述估计单元从归一化脸部上的所述归一化特征点得到用于反映脸部姿态的参数，并且基于所述用于反映脸部姿态的参数和所述归一化特征点来估计所述脸部图像中的脸部姿态。

3.根据权利要求2所述的脸部特征提取装置，其中，所述用于反映脸部姿态的参数的数值能够随脸部姿态的不同而变化。

4.根据权利要求1所述的脸部特征提取装置，其中，所述归一化单元的归一化操作在不改变脸部的偏转角和俯仰角的情况下归一化脸部的大小。

5.根据权利要求1所述的脸部特征提取装置，还包括：

粗略区域获取单元，从脸部图像中获取粗略脸部区域，

其中，所述检测单元从所述粗略区域获取单元获取的粗略脸部区域来检测所述特征点。

6.根据权利要求1所述的脸部特征提取装置，其中，所述归一化单元通过利用由检测单元检测的特征点的位置与人工标定的样本中所述特征点的位置之间的仿射变换来对所述脸部图像进行归一化。

7.根据权利要求1所述的脸部特征提取装置，其中，所述特征包括脸部部位的位置有关的信息、脸部上的纹理有关的信息、脸部上的像素灰度值、脸部上的肌肉有关的信息、以及它们的任意组合。

8.根据权利要求2所述的脸部特征提取装置，其中，用于反映脸部姿态的参数包括：在所述归一化脸部上，脸部部位有关的度量信息以及在所述脸部部位上的作为参考点的特征点的位置有关信息。

9.根据权利要求1所述的脸部特征提取装置，其中，所述定位单元包括：

归一化特征区域获得部件，从归一化正脸样本得到平均归一化正脸和平均归一化正脸上的特征区域，基于归一化脸部上的归一化特征点和平均归一化正脸上的特征区域，得到正脸的特征区域；和

脸部特征区域获得部件，基于估计单元所估计的脸部姿态，将所述正脸的特征区域映射为所述归一化脸部的特征区域。

10.根据权利要求1所述的脸部特征提取装置，其中，所述特征区域中包括特征子区域，所述定位单元包括针对特征区域的区域定位单元和/或针对特征子区域的子区域定位单元。

11.根据权利要求10所述的脸部特征提取装置，其中，基于归一化脸部上的归一化特征点和估计单元所估计的所述脸部图像中的脸部姿态，所述区域定位单元定位所述归一化脸部中的特征区域；并且

所述子区域定位单元定位所述归一化脸部中的每个特征区域中的特征子区域，其中，所述提取单元从所述归一化脸部中的所述特征子区域中提取特征。

12.根据权利要求10所述的脸部特征提取装置，其中，

所述区域定位单元包括：

归一化特征区域获得部件，从归一化正脸样本得到平均归一化正脸和平均归一化正脸上的特征区域，基于归一化脸部上的归一化特征点和平均归一化正脸上的特征区域，得到正脸的特征区域；和

脸部特征区域获得部件，基于估计单元所估计的脸部姿态，将所述正脸的特征区域映射为所述归一化脸部的特征区域，以及其中，

所述子区域定位单元包括：

脸部特征子区域获得部件，基于针对所述平均归一化正脸的每个特征区域的特征子区域模板，将正脸的特征子区域映射为所述归一化脸部的特征子区域。

13.根据权利要求11所述的脸部特征提取装置，还包括：

组合单元，将所述提取单元提取的所述特征子区域中的特征进行组合，使得组合后的特征能够用于确定脸部的属性。

14.根据权利要求8所述的脸部特征提取装置，其中，用于反映脸部姿态的参数包括所述归一化脸部上鼻尖与鼻基点之间的距离和鼻尖的位置。

15.根据权利要求1、9、12中的任意一项的脸部特征提取装置，还包括：

变换部件，用于进行几何变换，其中，

估计单元通过利用由变换部件执行的几何变换来估计脸部姿态，

所述脸部特征区域获得部件通过利用由变换部件执行的几何变换来得到所述归一化脸部的特征区域，以及

所述脸部特征子区域获得部件通过利用由变换部件执行的几何变换来得到所述归一化脸部的特征子区域。

16.一种图像处理设备，包括：

脸部图像供给装置，提供要被处理的脸部图像；

权利要求1-15中的任意一项所述的脸部特征提取装置，所述脸部特征提取装置从所述脸部图像供给装置提供的脸部图像中提取特征；以及

脸部属性识别装置，基于脸部特征提取装置所提取的特征，识别所述脸部图像中的脸部的属性。

17.根据权利要求16的图像处理设备，其中，所述脸部图像供给装置通过利用以下方式中的至少一种来提供所述脸部图像给所述脸部特征提取装置：

1)从外部获取所述脸部图像；

2)从所述图像处理设备中包含的、其中存储有脸部图像的存储器获取所述脸部图像；以及

3)从拍摄装置实时获取所述脸部图像。

18.根据权利要求16的图像处理设备，其中，脸部的属性至少包括：表情、身份、年龄、种族、性别、有无眼镜、有无胡须。

19.一种脸部特征提取方法，用于从脸部图像中提取特征，所述脸部特征提取方法包括：

检测步骤，检测脸部图像中的多个特征点；

归一化步骤，基于在检测步骤检测的所述多个特征点，对所述脸部图像中的脸部归一化，由此得到归一化脸部和所述归一化脸部上的与所述脸部图像中的多个特征点对应的多个归一化特征点；

估计步骤，估计所述脸部图像中的脸部姿态；

定位步骤，基于归一化脸部上的归一化特征点和在估计步骤所估计的所述脸部图像中的脸部姿态，定位所述归一化脸部中的特征区域；以及

提取步骤，从所述归一化脸部中的特征区域来提取特征。