CN103198292A - 人脸特征向量构建 - Google Patents

Abstract

本申请公开人脸特征向量构建。描述了用于确定和应用人脸识别参数集的系统、方法和计算机可读介质。一般而言，公开了用于识别人脸识别鉴别器的特有组合并将其构建到“人脸特征向量”中的技术，已经发现所述“人脸特征向量”比现有技术的识别方法更为鲁棒（例如，对于图像噪声、人的姿势和场景照明而言是稳定的）和准确（例如，提供高识别率）。更具体而言，可以通过组合形状描述符（由二维和三维形状模型生成）和纹理描述符（由全局和局部纹理模型生成）来生成人脸特征向量。

Description

人脸特征向量构建

技术领域

本公开一般涉及人脸识别领域。更具体而言，本公开描述了数种用于将多种类型的人脸识别描述符组合到单个实体——人脸特征向量中的技术。

背景技术

在人脸识别应用中可以使用人脸特征向量。这样的应用的示例包括但不限于在

和（IPHOTO和APERTURE是苹果公司的注册商标）中管理、存储和注释图像（静止图像和视频图像）。

总的来说，人脸识别操作扫描人的人脸，从其提取或检测指定集合的参数，并将那些参数对照已知人脸数据库进行匹配，这些已知人脸数据是先前已被安排识别了的或者是以其他方式已知的。新图像的参数去进行比较的数据集常常用模型表征或多次描述。实际上，这些模型限定参数集的组，其中落在给定组内的所有图像被分类为属于同一人。

为了变得鲁棒（例如，对于图像噪声、人的姿势和场景照明而言是稳定的）和准确（例如，提供高识别率），指定的参数集需要对如下信息进行编码，所述信息以对于典型的人物内部可变性而言可重复且不变同时能够将一个人物与另一人物区分开的方式来描述人脸。该需要是所有人脸识别系统所面临的中心问题。因此，识别定义提供鲁棒和准确的人脸识别的参数集的机制（方法，装置和系统）是有益的。

发明内容

在各个实施例中，本发明提供一种用于生成可以用来识别数字图像中所检测到的人脸的新颖人脸特征向量的设备（例如，个人计算机）、方法和计算机程序代码。该方法包括执行（或运行）计算机程序代码来（例如经由人脸检测技术）获取第一图像中的第一人脸的界标（landmark）检测信息。所述界标检测信息可以应用于第一和第二形状模型来生成第一和第二形状特征向量，并且可以应用于第一和第二纹理模型来生成第一和第二纹理特征向量。这全部四个特征向量可以被组合来提供和形成所述人脸特征向量。

在一个实施例中，第一形状模型是检测到的人脸的二维形状模型而第二形状模型是检测到的人脸的三维形状模型。第一和第二形状模型可以是相互独立地线性或非线性的。

在另一实施例中，所述界标检测信息可以在被用来生成第一和第二纹理特征向量之前被归一化。在一些实施例中，第一纹理特征向量可以基于所述归一化界标检测信息内的所标识的区域（所述区域包括少于全部的所述归一化界标检测信息）。

在又一实施例中，在使用所述归一化界标检测信息来生成第二纹理特征向量之前，变形操作可以应用于所述归一化界标检测信息。

在又一实施例中，通过比较两个这样的人脸特征向，可以确定相似度测量值。该相似度测量可以被用来确定这两个人脸特征向量是否有可能表示同一人脸。在该实施例和类似的实施例中，相似度测量值可以基于Mahalanobis距离测量。

附图说明

图1以框图形式示出根据一个实施例的人脸特征向量生成和运行时人脸识别操作。

图2以框图形式示出根据一个实施例的形状和纹理模型的构成。

图3以框图形式示出根据另一实施例的人脸特征向量生成操作。

图4a和4b图示出根据一个实施例的局部图像和密集图像描述符操作。

图5图示出根据一个实施例的翘曲图像和密集检测器区域。

图6图示出根据一个实施例的人脸特征向量的结构。

图7以流程图的形式示出根据一个实施例的人脸识别操作。

图8示出根据一个实施例的图示出所公开的人脸特征向量的识别性能的接收机操作特征（ROC）曲线图。

图9以框图形式示出可以用来实施根据本公开的一个或多个操作的示例电子设备。

图10以框图形式示出可以用来实施根据本公开的一个或多个操作的示例电子设备。

图11以框图形式示出可以用来实施根据本公开的一个或多个操作的示例电子设备。

具体实施方式

本公开涉及用于确定和应用人脸识别参数集的系统、方法和计算机可读介质。一般而言，公开了用于识别人脸识别鉴别器的特有组合并将其构建到“人脸特征向量”中的技术，已经发现所述“人脸特征向量”比现有技术的识别方法更为鲁棒（例如，对于图像噪声、人的姿势和场景照明而言是稳定的）和准确（例如，提供高识别率）。更具体而言，可以通过组合形状描述符和纹理描述符来生成人脸特征向量。在一种实施方式中，人脸特征向量包括描述人脸的二维（2D）形状、其三维（3D）形状、其总体或全局纹理以及细节或局部纹理信息（例如皮肤颜色）的信息。

在以下描述中，为了说明的目的，阐述了大量特定细节以便提供对创新构思的透彻理解。作为该描述的一部分，本公开的附图中的一些以框图形式表示结构和设备以避免本领域普通技术人员公知的细节模糊本发明。并且，本公开中使用的语言主要为了可读性和指示性目的而选择，并且并不是被选择以用于描绘或限制创新主题的，确定所述创新主题必需诉诸于权利要求书。本公开中对“一个实施例”或“实施例”的提及意味着，结合该实施例描述的具体特征、结构或特点包括在本发明的至少一个实施例中，并且对“一个实施例”或“实施例”的多次提及不应被理解为都一定指同一实施例。

应当明白，在任何实际实施方式的开发中（与在任何开发项目中一样），需要做大量决策来实现开发者的具体目的（例如，与系统相关和商业相关的约束的兼容性）并且这些目的会根据实施方式不同而不同。应当明白，这样的开发努力可能是复杂的和费时的，但是也是从本公开受益的人脸识别领域的普通技术人员的例行任务。

参考图1，以框图形式示出根据一个实施例的人脸特征向量生成和运行时人脸识别操作100。一开始，根据人脸检测器110处理输入图像105来生成界标图像115。这里使用的短语“界标图像”是指其中界标点已经被检测的人脸的图像。界标特征可以包括诸如眼睛、眉毛、鼻子、嘴巴和脸颊之类的一个或多个人脸特征的位置。输入图像105可以例如是从数字照相机或视频相机获取的图像。人脸检测器110可以使用适合于设计者的目标/约束的任何方法。例示的人脸检测技术包括但不限于基于知识的、特征不变的、模板匹配的和基于外观的方法。由于检测人脸的精确方法对于以下论述不是关键的，因此，本文将不对该操作做更多描述。尽管不受此限制，但是，在一个实施例中，界标图像115可以是灰度图像（grayscale image），在该图像内，所检测的特征是突出的。为了介绍简单，以下将假定输入图像（例如图像105）仅包括单个人脸。然而，应当理解，在本公开的技术内，这样的限制不是固有的。

界标图像115可以被应用到一个或多个形状模型120和一个或多个纹理模型125。如图所示，形状模型120生成形状描述符130并且纹理模型125生成纹理描述符135。应当认识到，形状模型120和纹理模型125通常是利用已知图像库离线生成的，并且可以是相互独立地线性或非线性的。这些模型也可以包括所谓的“基于几何约束部分的模型”，其中，界标点具有它们自己的外观模型。描述符130和135可以以满足开发者的目标和/或约束的任何方式根据模块140被组合。通过示例方式，操作140可以级联（concatenate）所供应的形状和纹理描述符中的每一个。在另一实施例中，操作140可以生成描述符元素的线性组合的集。在又一实施例中，形状描述符130可以以一种方式被组合并且纹理描述符135可以以不同的方式被组合，其中每个的组合被级联。在又一实施例中，一个或多个描述符可以在由它们各自的模型生成时被组合，而其他描述符可以在被组合之前经历另外的处理（例如，维数降低、平滑等）。不管怎样被组合，操作140的结果都是人脸特征向量145。人脸特征向量145可以被保持在存储装置150（例如非暂时性磁的或固态的盘单元）中。作为一种实践，人脸特征向量145可以被合并到输入图像105内（例如其元数据中）和/或保持在参考图像105的分离的数据储存库中。

一旦被生成，人脸特征向量145就可以被应用155用来（例如在图像105内）识别对应图像的人脸。例如，应用155可以检索图像160，检索图像160的相关联的人脸特征向量<f>与人脸‘F’相关联并且利用它来标识。一旦被检索到，人脸特征向量145可以被与人脸特征向量<f>比较165，并且如果两者足够类似（通过一些便利的测量），则可以说图像105包括人脸‘F’。在一个实施例中，应用155可以是用户级的图形应用（例如iPhoto或Aperture）。在另一实施例中，应用155可以被合并到人脸识别框架内，该人脸识别框架可以被用户级应用使用。在又一实施例中，应用155中的一些或全部可以合并到专用图像处理硬件内。

参考图2，可以看到形状模型120包括二维（2D）模型200和三维（3D）模型205（分别生成2D形状描述符210和3D形状描述符215），而纹理模型125包括全局纹理模型220和局部纹理模型225（分别生成全局纹理描述符230和局部纹理描述符235）。

在一个实施例中，2D、3D和全局纹理模型200、205和220可以是如下形式的线性模型：

$\stackrel{\&RightArrow;}{i}=B\stackrel{\&RightArrow;}{c}+\stackrel{\&RightArrow;}{m},$ 等式1

其中

表示图像或图像点（依赖于模型是形状模型还是纹理模型），B表示基向量集（一般是正交的），

表示模型系数集，并且

表示平均形状或纹理向量（依赖于模型是形状模型还是纹理模型）。给定（训练）图像集，可以使用任何数目的技术来确定基向量B和平均形状/纹理向量

所述技术诸如是例如主分量分析（PCA）、独立分量分析（ICA）、线性判别分析（LDA）、弹性束图匹配（EBGM）、Trace变换、主动外观模型（2M）、贝叶斯框架、支持向量机（SVM）、隐马尔科夫模型（H8）和Eigenfaces。包括B的基向量的数量在一定程度上决定了模型的准确度。因此，B的大小可以由设计者选择来实现期望的准确度。在一种实施方式中，10个基向量可以是足够的，而在另一种实施方式中，可以需要20、50或75个基向量。

参考图3，示出人脸特征向量构建操作300的一个实施例的框图。如以上参考图1和图2所示，输入图像105被提供给人脸检测器110，人脸检测器110生成界标图像115。在所例示的实施例中，界标图像115可以被直接供应给2D形状模型200和3D形状模型205。假定这些模型可以用等式1表征，则对于2D形状模型200，表示界标图像115，B表示2D模型基向量集，

表示2D模型系数（即2D描述符210）集，并且

表示平均2D形状向量。类似地，对于3D形状模型205，

也表示界标图像115,B表示3D模型基向量集，

表示3D模型系数（即3D描述符215）集，并且

表示平均3D形状向量。

界标图像115接着可以经历归一化操作305来生成归一化图像310。本领域技术人员将理解，归一化操作300是指如下过程，在该过程中，可以调节图像的界标特征（例如，眉毛、眼睛、鼻子、嘴巴和下巴）以在给定尺寸的框架内的指定位置中出现。

一旦被归一化，图像310可以被供应给全局纹理模型220来生成全局纹理描述符230。如果等式1表征全局纹理模型220，则

表示归一化图像310,B表示纹理模型基向量集，

表示纹理模型系数（即，全局纹理描述符240）集，并且表示平均纹理向量。

已经离线确定了2D模型200、3D模型205和全局纹理模型220的基向量（B）和平均向量

并且将它们存储供运行时使用，可以通过针对等式1中的

进行求解来确定模型系数（表示2D描述符210、3D描述符215和全局纹理描述符230）。可能无法对等式1求直接的代数解来确定

因为B不一定是方矩阵。因此，可以根据若干优化程序中的任何一个来在运行时确定一个这样的程序是评估以下关系：

$\min \left|\right|\stackrel{\&RightArrow;}{i}-(B\stackrel{\&RightArrow;}{c}+\stackrel{\&RightArrow;}{m})\left|\right|\&CenterDot;$ 等式2

通过示例方式，从等式1可以看出，如果界标图像115和归一化图像305均由（128×128）元素阵列表示，则

是（16,384×1）向量。此外，如果‘n1’表示B中基向量的数目，则B是（16,384×n1）矩阵并且

是（16,384×1）向量。在该示例中，2D描述符210、3D描述符215和全局纹理描述符230是（n1×1）向量。在一个实施例中，可以使用名称为“3D Object Recognition”的未决美国专利申请NO.13/299,211中记载的技术来获取3D模型系数。

再次参考图3，归一化图像310也可以被提供给局部纹理模型225。如图所示，局部纹理模型225本身可以包括局部图像描述符315、密集图像描述符320和翘曲密集图像描述符325。

参考图4a，在一个实施例中，局部图像描述符315基于围绕界标特征中的一个或多个的小区域或拼贴块（tile）400的纹理（在图4a中枚举了例示区域中的仅一个）。尽管拼贴块的精确数目依赖于图像分辨率和设计者的目标/约束，但是已经发现对于（128×128）归一化图像，10到20个拼贴块是足够的。每个拼贴块的尺寸可以基于训练数据来确定并且可以在固定数目的尺度上变化，其中每个点也可以具有不同尺寸的多个拼贴块。应当理解，所使用的实际设置可以基于什么给出了最佳识别性能（在所确立的设计约束内）。通过示例方式，可以根据向量梯度操作器来生成局部图像描述符，诸如是直方图（HoG）、快速鲁棒特征（SURF）、尺度不变特征变换（SIFT）、二进制鲁棒独立基本特征（BRIEF）和导向的BRIEF（Oriented BRIEF，ORB）或类似类型的描述符。参考图4b，在一个实施例中，密集图像检测器320基于整个图像来确定图像描述符。例如，所选择的检测器操作（例如HoG或SIFT）可以被应用于覆盖图像305的多个区域中的每个区域（例如，诸如5×4网格中的20个区域405）。局部图像检测器315的结果是j元素描述符。密集图像检测器的结果是k元素描述符。

尽管已将局部图像描述符315和密集图像描述符320二者都描述为使用梯度向量描述符，但这不是必要的。也可以使用其它描述符，例如，基于强度的描述符和图像纹理基础。另外，局部图像检测器315可以使用一种方式（例如强度）并且密集图像检测器320可以使用另一种方式（例如梯度向量）。

除了直接使用归一化图像310以外，局部纹理模型225也可以使用图像310的翘曲版本。再次参考图3，归一化图像310可以应用于翘曲或变形（morph）操作器330来生成翘曲的或变形的图像335。在一个实施例中，翘曲操作器330针对平面外旋转来调节人脸以使得翘曲图像335逼近对象的人脸的全正面图。参考图5，与针对生成密集图像描述符320描述的操作类似，可以如以上针对密集纹理描述符320所描述那样在区域（例如500）中评估翘曲图像335的全部。在一个实施例中，翘曲密集图像描述符是l元素描述符。尽管运算可以是类似的，但是翘曲密集图像描述符325不是必须使用与生成密集图像描述符320所使用的相同的技术或相同数目的区域/拼贴块。

再次回到图3，组合操作340可以组合所生成的局部图像描述符、密集图像描述符和翘曲密集图像描述符中的任何两者、三者或任何组合来生成中间局部纹理描述符345。组合操作340可以整体采用每个描述符或仅采用每个描述符的一部分，或者整体采用一个描述符并仅采用另一描述符的一部分。继续以上开始的数字示例（参见第7页倒数第2段），组合操作340可以是局部图像描述符（j元素）、密集图像描述符（k元素）和翘曲密集图像描述符（l元素）的每一个的级联。在诸如此类的实施例中，中间局部纹理描述符345的尺寸是（j+k+l）。在一种实施方式中，（j+k+l）≈3,000。

为了将该描述符的尺寸缩小为更容易实时操纵的值，可以执行维数降低操作350来生成局部纹理描述符235。可替换地，可以在340的组合之前对各个分量（315,320,325）执行维数降低。维数降低可以被视为一种变换，该变换可以表示如下：

$\stackrel{\&RightArrow;}{y}=M\stackrel{\&RightArrow;}{x},$ 等式3

其中

表示局部纹理描述符235，M表示执行期望变换的基向量集（一般是正交的），并且表示中间局部纹理描述符345。知道了一个大人脸集的

的分布，就可以识别和保持较少数目的元素（维）来实质上表示相同的信息。可以使用若干已知的优化技术（例如度量学习、特征选择或主分量分析）中的任何一种来离线确定变换矩阵M。一旦被确定，M可被存储以供运行时使用。继续以上开始的数字示例，如果中间局部纹理向量345

具有3000个元素并且M将此维数降低至n2维：

是（n2×1）向量，M是（n2×3,000）矩阵，并且和

是（3,000×1）向量。

再次返回到图3，在描述符210、215、230和235中的每一个已被确定之后，它们可以根据操作器140被组合来产生人脸特征向量145。如图6中所示，人脸特征向量可以包括用于2D形状描述符210（600）、3D形状描述符215（605）、全局纹理描述符230（610）和局部纹理描述符235（615）的字段。

再次参考以上开始的数字示例，如果2D模型200、3D模型205和全局纹理模型220是由等式1给出的形式的线性模型，并且模型输入图像由（128×128）个元素组成，并且在2D、3D和全局纹理模型中的每一个中存在n1个基向量，则所例示的模型参数如表1所示。

表1例示模型参数大小

此外，如果局部图像检测器315、密集图像检测器320和翘曲密集图像检测器320的组合生成具有3000个元素的中间局部纹理描述符345，维数降低操作350用等式3表征，并且将维数降低为n2维，则用于维数降低操作350的例示模型参数如表2所示。

表2.例示维数降低参数大小

最终，如果组合操作器140级联2D描述符210、3D描述符215、全局纹理描述符230和局部纹理描述符235中每一个，则人脸特征向量145是（（3n1+n2）×1）向量。

参考图7，示出根据一个实施例的使用人脸特征向量的人脸识别操作700。开始，获取未知的和已知的人脸/身份的人脸特征向量（框705和710）。然后对这些向量应用相似度度量（框715）并进行检查来确定该度量是否指示匹配（框720）.如果两个人脸特征向量足够相似（框720的“是”分支），则可以确定未知人脸特征向量表示与已知人脸特征向量相关联的同一身份（框725）。如果两个人脸特征向量不够类似来指示匹配（框720的“否”分支），可以进行进一步的检查来确定另一已知人脸特征向量是否可用（框730）。如果不存在与已知身份相关联的更多人脸特征向量（框730的“否”分支），可以作出未知人脸特征向量（即，在根据框705的动作期间获得的人脸特征向量）对应于未知人脸的确定（框735）。如果存在与已知身份相关联的更多人脸特征向量（框730的“是”分支），则可以从例如存储装置150获取“下一”已知人脸特征向量（框740），之后操作700在框715继续。

在一个实施例中，相似度度量（参见框715）可以是沿汉明（Hamming）距离的线的距离度量。对于大维数向量，诸如这里所描述的人脸特征向量，已经找到如等式4中所描述的Mahalanobis距离测量来提供有效相似度测量。

$S(\stackrel{\&RightArrow;}{x},\stackrel{\&RightArrow;}{y})={\left(\stackrel{\&RightArrow;}{x}-\stackrel{\&RightArrow;}{y}\right)}^{T}W(\stackrel{\&RightArrow;}{x}-\stackrel{\&RightArrow;}{y}),$ 等式4

其中

表示第一人脸特征向量（例如与未知人脸相关联的一个人脸特征向量），

表示第二人脸特征向量（例如与已知人脸相关联的一个人脸特征向量），S（）表示相似度或比较运算，并且W表示加权矩阵。本质上，加权矩阵W标识人脸特征向量中的每个元素在比较运算期间有多重要或显著。使用大量与已知身份相关联的人脸特征向量，可以应用度量学习技术来离线确定W。一旦获知，W可以被存储以用于根据图7的运行时使用。通过示例方式，如果人脸特征向量具有500个元素，即，用（500×1）向量表示，则W将是（500×500）元素加权矩阵。

参考图8，接收机操作特征（ROC）曲线800对照单独使用构成这里所公开的人脸特征向量（805）的如下各个分量示出人脸特征向量的性能：（1）标准2M描述符（810）；密集梯度描述符（815）；局部梯度描述符（820）；和单独翘曲密集梯度描述符（825）。可以看到，使用根据本公开的人脸特征向量比使用这些其他描述符产生更高的性能。

现在参考图9，示出根据一个实施例的例示电子设备900的简化功能框图。电子设备900可以包括处理器905、显示器910、用户界面915、图形硬件920、设备传感器925（例如接近传感器/环境光传感器、加速器和/或陀螺仪）、麦克风930、（一个或多个）音频编解码器935、（一个或多个）扬声器940、通信电路系统945、数字图像捕获单元950、（一个或多个）视频编解码器955、存储器960、存储装置965和通信总线970。电子设备900可以例如是个人数字助理（PDA）、p个人音乐播放器、移动电话、笔记本计算机、膝上型或平板计算机。

处理器905可以运行对于执行或控制由设备900执行的许多功能的操作（诸如人脸特征向量构建和运行时人脸识别操作100或人脸识别操作700）所必需的指令。处理器905可以例如驱动显示器910并从用户界面915接收用户输入。用户界面915可以运行用户与设备900交互。例如，用户界面915可以采取各种形式，诸如按钮、小键盘、拨盘、点击轮、键盘、显示器屏幕和/或触摸屏。处理器905也可以例如是片上系统（诸如在移动设备中找到的那些）并且包括专用图形处理单元（GPU）。处理器905可以基于精简指令集计算机（RISC）或复杂指令集计算机（CISC）体系架构或任何其它合适的体系架构，并且可以包括一个或多个处理核心。图形硬件920可以是用于处理图形和/或辅助处理器905来处理图形信息的的专用计算硬件。在一个实施例中，图形硬件920可以包括可编程图形处理单元（GPU）。

传感器和相机电路系统950可以捕获静止图像和视频图像，所述图像可以至少部分地由（一个或多个）视频编解码器955和/或处理器905和/或图形硬件920和/或结合在电路系统950内的专用图像处理单元处理。这样捕获的图像可以存储在存储器960和/或存储装置965中。存储器960可以包括由处理器905和图形硬件920用来执行设备功能的一种或多种不同类型的介质。例如，存储器960可以包括存储器缓存、只读存储器（ROM）和/或随机存取存储器（RAM）。存储装置965包括用于保持音频、图像和视频文件、计算机程序指令或软件、参考信息、设备配置文件信息和任何其他合适数据的介质。存储装置965可以包括一个或多个非暂时存储装置介质，其例如包括磁盘（固定的，柔性的和可移除的）和磁带，诸如CD-ROM和数字视频盘（DVD）之类的光学介质，以及诸如电可编程只读存储器（EPROM）和电可擦除可编程只读存储器（EEPROM）之类的半导体存储器设备。存储器960和存储装置965可以用来保持被组织成一个或多个模块并且以任何期望的计算机编程语言撰写的计算机程序指令。当例如被处理器905运行时，这样的计算机程序代码可以实施本文描述的方法中的一个或多个。

图10以框图形式示出可以用来实施根据本公开的一个或多个操作的例示电子设备。如图10中所示，电子设备100包括用于生成人脸特征向量的装置1000。该用于生成人脸特征向量的装置1000包括：界标检测信息获取单元1001，用于获取第一图像中的第一人脸的界标检测信息；第一形状模型特征向量生成单元1002，用于至少部分基于所述界标检测信息来生成第一形状模型特征向量；第二形状模型特征向量生成单元1003，用于至少部分基于所述界标检测信息来生成第二形状模型特征向量；第一纹理模型特征向量生成单元1004，用于至少部分基于所述界标检测信息来生成第一纹理模型特征向量；第二纹理模型特征向量生成单元1005，用于至少部分基于所述界标检测信息来生成第二纹理模型特征向量；组合单元1006，用于组合第一形状模型特征向量、第二形状模型特征向量、第一纹理模型特征向量和第二纹理模型特征向量来形成第一人脸特征向量；以及存储单元1007，用于将第一人脸特征向量存储在存储设备中。在一个实施例中，第一形状模型特征向量生成单元1002包括用于将所述界标检测信息应用于第一人脸的二维模型的第一应用部件1008。在一个实施例中，第二形状模型特征向量生成单元1003包括用于将所述界标检测信息应用于第一人脸的三维模型的第二应用部件1009。在一个实施例中，该装置还包括用于至少部分基于所述界标检测信息来生成归一化界标检测信息的归一化界标检测信息生成单元1010。在一个实施例中，第一纹理模型特征向量生成单元1004至少部分基于所述归一化界标检测信息来生成第一纹理模型特征向量。在一个实施例中，第一纹理模型特征向量生成单元1004包括：用于识别所述归一化界标检测信息中的多个区域的识别部件1011，其中，所述多个区域包括少于全部的所述归一化界标检测信息；以及用于基于所述多个区域来生成第一纹理模型特征向量的第一纹理模型特征向量生成部件1012。在一个实施例中，第二纹理模型特征向量生成单元1005包括：用于至少部分基于所述归一化界标检测信息和指定变形操作来生成翘曲界标检测信息的翘曲界标检测信息生成部件1013；以及用于至少部分基于所述翘曲界标检测信息来生成第二纹理模型特征向量的第二纹理模型特征向量生成部件1014。在一个实施例中，第二纹理模型特征向量生成单元1004还包括降低部件1015，所述降低部件1015用于在将第一纹理模型特征向量和第二纹理模型特征向量相组合来形成第一人脸特征向量之前，降低第二纹理模型特征向量的维数。在一个实施例中，所述界标检测信息获取单元1001包括用于从人脸检测操作获取第一图像中的第一人脸的界标检测信息的获取部件1016。在一个实施例中，所述组合单元1006包括用于级联第一形状模型特征向量、第二形状模型特征向量、第一纹理模型特征向量和第二纹理模型特征向量的级联部件1017。在一个实施例中，所述存储单元1007包括：用于将第一人脸特征向量合并到第一图像的元数据中的合并部件1018；以及用于将第一图像与第一人脸特征向量一起存储到所述存储设备中的存储部件1019。在一个实施例中，该装置1000还包括：用于从所述存储设备检索第一人脸特征向量的第一人脸特征向量检索单元1020；用于从所述存储设备检索第二人脸特征向量的第二人脸特征向量检索单元1021，其中，第二人脸特征向量还对应于已知人物；用于将第一人脸特征向量和第二人脸特征向量相比较来生成相似度值的比较单元1022；以及用于如果所述相似度值小于指定数量则确定第一人脸对应于该已知人物的确定单元1023。如本领域技术人员所示，以上所有单元都可以用软件或硬件或其组合实现。

图11以框图形式示出可以用来实施根据本公开的一个或多个操作的例示电子设备。如图11中所示，电子设备100包括用于生成人脸特征向量的装置1100。该用于生成人脸特征向量的装置1100包括：界标图像单元1101，用于获取第一图像中的第一人脸的界标图像，所述界标图像标识第一人脸的多个方面；归一化界标图像生成单元1102，用于至少部分基于所述界标图像来生成归一化界标图像；翘曲界标图像生成单元1103，用于至少部分基于所述归一化界标图像来生成翘曲界标图像；第一形状模型特征向量生成单元1104，用于至少部分基于所述界标图像来生成第一形状模型特征向量；第二形状模型特征向量单元1105，用于至少部分基于所述界标图像来生成第二形状模型特征向量；第一纹理模型特征向量生成单元1106，用于至少部分基于所述归一化界标图像来生成第一纹理模型特征向量；第二纹理模型特征向量生成单元1107，用于至少部分基于所述翘曲界标图像来生成第二纹理模型特征向量；组合单元1108，用于将第一形状模型特征向量、第二形状模型特征向量、第一纹理模型特征向量和第二纹理模型特征向量相组合来形成第一人脸特征向量；以及存储单元1109，用于将第一人脸特征向量存储在存储设备中。在一个实施例中，第一形状模型特征向量生成单元1104包括用于将所述界标检测信息应用于第一人脸的二维模型的第一应用部件1110。在一个实施例中，第二形状模型特征向量生成单元1105包括用于将所述界标检测信息应用于第一人脸的三维模型的第二应用部件1111。在一个实施例中，第一纹理模型特征向量生成单元1106包括用于对所述归一化界标图像中的多个区域使用梯度向量操作的使用部件1112，其中，所述多个区域包括比全部少的所述归一化界标图像。在一个实施例中，第二纹理模型特征向量生成单元1107还包括：第一和第二描述符生成部件1113，用于至少部分基于所述归一化界标图像来生成第一描述符和第二描述符；第三描述符生成部件1114，用于至少部分基于所述翘曲界标图像来生成第三描述符；以及描述符组合部件1115，用于将第一描述符、第二描述符和第三描述符相组合来形成第二纹理模型特征向量。在一个实施例中，所述描述符组合部件1115还包括用于降低组合的第一描述符、第二描述符和第三描述符的维数的降低部件1116。如本领域技术人员所示，以上所有单元都可以用软件或硬件或其组合实现。

在不偏离权利要求书的范围的情况下，在材料、组件、电路元件以及所图示的操作方法的细节方面的各种改变是可能的。例如，尽管本文描述的模型是线性形式的，但是在所公开的技术中，这样的限制不是固有的。此外，各种模型可以是不同的——一些模型可以是线性的而其他模型可以是非线性的。另外，组合操作（例如140和340）不限于级联操作，它们也不需要相同。适合于设计者的目标的任何组合都可以使用。例如，线性组合、描述符值的子集的选择以及相同内容的加权组合都是可行的。并且，如果模型描述符的维不需要维数降低（例如操作315、320和325），则不需要执行该操作。

最后，应当理解，以上描述旨在是示例性的和非限制性的。例如，上述实施例可以相互结合使用。许多其他实施例对于阅读了以上描述的本领域技术人员而言将是显而易见的。因此，本发明的范围应当参考权利要求书以及这样的权利要求书有资格涵盖的等同物的全部范围来确定。在权利要求书中，术语“包括（including）”和“其中（inwhich）”用作“包含（comprising）”和“其中（wherein）”的通俗英语等同表述。

Claims (20)

1.一种用于生成人脸特征向量的方法，包括：

获取第一图像中的第一人脸的界标检测信息；

至少部分基于所述界标检测信息来生成第一形状模型特征向量；

至少部分基于所述界标检测信息来生成第二形状模型特征向量；

至少部分基于所述界标检测信息来生成第一纹理模型特征向量；

至少部分基于所述界标检测信息来生成第二纹理模型特征向量；

组合第一形状模型特征向量、第二形状模型特征向量、第一纹理模型特征向量和第二纹理模型特征向量来形成第一人脸特征向量；以及

将第一人脸特征向量存储在存储设备中。

2.如权利要求1所述的方法，其中，生成第一形状模型特征向量的步骤包括将所述界标检测信息应用于第一人脸的二维模型。

3.如权利要求2所述的方法，其中，生成第二形状模型特征向量的步骤包括将所述界标检测信息应用于第一人脸的三维模型。

4.如权利要求1所述的方法，还包括至少部分基于所述界标检测信息来生成归一化界标检测信息。

5.如权利要求4所述的方法，其中，生成第一纹理模型特征向量的步骤包括至少部分基于所述归一化界标检测信息来生成第一纹理模型特征向量。

6.如权利要求5所述的方法，其中，生成第一纹理模型特征向量的特征的步骤包括：

识别所述归一化界标检测信息中的多个区域，其中，所述多个区域包括少于全部的所述归一化界标检测信息；以及

基于所述多个区域来生成第一纹理模型特征向量。

7.如权利要求5所述的方法，其中，生成第二纹理模型特征向量的步骤包括：

至少部分基于所述归一化界标检测信息和指定变形操作来生成翘曲界标检测信息；以及

至少部分基于所述翘曲界标检测信息来生成第二纹理模型特征向量。

8.如权利要求5所述的方法，其中，生成第二纹理模型特征向量的步骤还包括在将第一纹理模型特征向量和第二纹理模型特征向量相组合来形成第一人脸特征向量之前，缩小第二纹理模型特征向量的维数。

9.如权利要求1所述的方法，其中，获取界标检测信息的步骤包括从人脸检测操作获取第一图像中的第一人脸的界标检测信息。

10.如权利要求1所述的方法，其中，获取第一形状模型特征向量、第二形状模型特征向量、第一纹理模型特征向量和第二纹理模型特征向量的步骤包括级联第一形状模型特征向量、第二形状模型特征向量、第一纹理模型特征向量和第二纹理模型特征向量.

11.如权利要求1所述的方法，其中，将第一人脸特征向量存储到存储设备中的步骤包括：

将第一人脸特征向量合并到第一图像的元数据中；以及

将第一图像与第一人脸特征向量一起存储到所述存储设备中。

12.如权利要求1所述的方法，还包括:

从所述存储设备检索第一人脸特征向量；

从所述存储设备检索第二人脸特征向量，其中，第二人脸特征向量还对应于已知人物；

将第一人脸特征向量和第二人脸特征向量相比较来生成相似度值；以及

如果所述相似度值小于指定量，则确定第一人脸对应于该已知人物。

13.一种用于生成人脸特征向量的装置（1000），包括：

界标检测信息获取单元（1001），用于获取第一图像中的第一人脸的界标检测信息；

第一形状模型特征向量生成单元（1002），用于至少部分基于所述界标检测信息来生成第一形状模型特征向量；

第二形状模型特征向量生成单元（1003），用于至少部分基于所述界标检测信息来生成第二形状模型特征向量；

第一纹理模型特征向量生成单元（1004），用于至少部分基于所述界标检测信息来生成第一纹理模型特征向量；

第二纹理模型特征向量生成单元（1005），用于至少部分基于所述界标检测信息来生成第二纹理模型特征向量；

组合单元（1006），用于组合第一形状模型特征向量、第二形状模型特征向量、第一纹理模型特征向量和第二纹理模型特征向量来形成第一人脸特征向量；以及

存储单元（1007），用于将第一人脸特征向量存储在存储设备中。

14.如权利要求13所述的装置，还包括用于至少部分基于所述界标检测信息来生成归一化界标检测信息的归一化界标检测信息生成单元（1010）。

15.如权利要求14所述的装置，其中，第一纹理模型特征向量生成单元（1004）至少部分基于所述归一化界标检测信息来生成第一纹理模型特征向量。

16.如权利要求15所述的装置，其中，第一纹理模型特征向量生成单元（1004）包括：

用于识别所述归一化界标检测信息中的多个区域的识别部件（1011），其中，所述多个区域包括少于全部的所述归一化界标检测信息；以及

用于基于所述多个区域来生成第一纹理模型特征向量的第一纹理模型特征向量生成部件（1012）。

17.如权利要求13所述的装置，其中，所述存储单元（1007）包括：

用于将第一人脸特征向量合并到第一图像的元数据中的合并部件（1018）；以及

用于将第一图像与第一人脸特征向量一起存储到所述存储设备中的存储部件（1019）。

18.如权利要求13所述的装置，还包括:

用于从所述存储设备检索第一人脸特征向量的第一人脸特征向量检索单元（1020）；

用于从所述存储设备检索第二人脸特征向量的第二人脸特征向量检索单元（1021），其中，第二人脸特征向量还对应于已知人物；

用于将第一人脸特征向量和第二人脸特征向量相比较来生成相似度值的比较单元（1022）；以及

用于如果所述相似度值小于指定量则确定第一人脸对应于该已知人物的确定单元（1023）。

19.一种用于生成人脸特征向量的装置（1100），包括：

界标图像单元（1101），用于获取第一图像中的第一人脸的界标图像，所述界标图像标识第一人脸的多个方面；

归一化界标图像生成单元（1102），用于至少部分基于所述界标图像来生成归一化界标图像；

翘曲界标图像生成单元（1103），用于至少部分基于所述归一化界标图像来生成翘曲界标图像；

第一形状模型特征向量生成单元（1104），用于至少部分基于所述界标图像来生成第一形状模型特征向量；

第二形状模型特征向量单元（1105），用于至少部分基于所述界标图像来生成第二形状模型特征向量；

第一纹理模型特征向量生成单元（1106），用于至少部分基于所述归一化界标图像来生成第一纹理模型特征向量；

第二纹理模型特征向量生成单元（1107），用于至少部分基于所述翘曲界标图像来生成第二纹理模型特征向量；

组合单元（1108），用于将第一形状模型特征向量、第二形状模型特征向量、第一纹理模型特征向量和第二纹理模型特征向量相组合来形成第一人脸特征向量；以及

存储单元（1109），用于将第一人脸特征向量存储在存储设备中。

20.一种电子设备，包括如权利要求13－19中任一项所述的装置。

Images