CN103514432B - 人脸特征提取方法、设备和计算机程序产品 - Google Patents

人脸特征提取方法、设备和计算机程序产品 Download PDF

Info

Publication number
CN103514432B
CN103514432B CN201210223706.5A CN201210223706A CN103514432B CN 103514432 B CN103514432 B CN 103514432B CN 201210223706 A CN201210223706 A CN 201210223706A CN 103514432 B CN103514432 B CN 103514432B
Authority
CN
China
Prior art keywords
face
small pieces
local
feature vectors
local feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210223706.5A
Other languages
English (en)
Other versions
CN103514432A (zh
Inventor
马勇
邹燕明
汪孔桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Priority to CN201210223706.5A priority Critical patent/CN103514432B/zh
Priority to EP13808762.2A priority patent/EP2864933B1/en
Priority to PCT/FI2013/050459 priority patent/WO2014001610A1/en
Priority to US14/408,729 priority patent/US9710698B2/en
Publication of CN103514432A publication Critical patent/CN103514432A/zh
Application granted granted Critical
Publication of CN103514432B publication Critical patent/CN103514432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明提供了一种用于从视频图像序列获得人脸特征向量的方法，包括：检测所述视频序列的多个图像帧中的同一人脸图像；将所检测的人脸图像分成具有预定尺寸的多个局部小片，其中每个局部小片都围绕一个人脸特征点或者接近一个人脸特征点；确定所述视频序列的多个图像帧中的同一人脸图像的各个局部小片之间的对应关系；以及使用从具有相互对应关系的各个局部小片提取的人脸局部特征向量分量形成表示该局部小片所对应的脸部点的人脸局部特征向量。此外，本发明还提供了一种用于从视频图像序列获得人脸特征向量的设备和相应的计算机程序产品。

Description

人脸特征提取方法、设备和计算机程序产品
技术领域
本发明总体上人脸识别，更具体地涉及基于视频序列的人脸识别。
背景技术
随着具有拍照和视频摄制功能的智能电话和电子设备的广泛应用，越来越多的照相机应用程序和基于云计算的服务需要基于从照相机上的视频片断或在线实时获取现场视频的人脸识别进行的面部元数据提取。例如，以便将人脸识别用于对电子设备的访问操作的安全性操作。
但是，直接从视频中进行人脸识别相对于基于静止图像的人脸识别也存在的挑战，这是因为在视频中经常会出现帧模糊和低分辨率的情况，在这种情况下，不可避免地造成出现大的识别误差的情况。
就目前为止，基于视频序列的人脸识别主要有以下三种方式。
1.图像层融合(fusion)
图像层融合是直接在采集到的原始图像上进行的融合。图像层融合一般采用集中式融合体系进行融合处理过程。这是低层次的融合，如通过对包含若干像素的模糊图像进行图像处理来确认目标属性的过程就属于图像层融合。
对于人脸识别来说，具体可以采用图像超分辨率(superresolution)算法来实现对人脸图像的重建，超分辨率算法是增强图像或视频分辨率的技术，它的目的是要使得输出的图像或视频的分辨率比任意一幅输入的图像或输入视频的任意一帧的分辨率都要高。这里的“提高分辨率”意味着已有内容更加清晰或者用户能看到原来没有的细节。在获取高质量的图像或视频比较困难或者代价比较昂贵的时候，使用超分辨率算法是很有必要的。图像超分辨率重建的过程可一般可分为三个步骤进行：
(1)预处理，如去噪，剪切；
(2)配准，估计低分辨率序列之间的运动矢量，和
(3)重建，融合多帧低分辨率图像的信息。
对于图像的超分辨率重建过程通常需要进行三维建模，从而造成繁重的计算工作量。
此外，还存在专门针对模糊的原因对图像进行去模糊(de-blur)进而恢复图像的方法，诸如运动模糊的恢复和散焦的恢复等。其主要目的就是生成一幅清晰的图片以便进行识别和判断等工作。
但就目前来说，人脸识别的图像层融合主要用于外观检查，并且不是十分灵活，对环境(例如噪声)和失准等非常敏感。
2.特征层融合
特征层融合主要是从视频图像的每帧中进行人脸局部特征提取，由于同一类样本在空间中有一定的分布，因此可以采用图像组子空间(共有子空间)和流形学习进行对所述样本的特征空间进行降维，然后将降维的样本特征空间与登录的样本特征空间进行匹配，以进行人脸的识别。
此类方法中，人脸的一个特征向量中的局部特征都是来自于同一个帧，其没有打破帧的约束。
3.分类器层融合
所述分类器层融合主要根据对象的尺度变化，姿态变化以及图像特征信息，分别构建多尺度目标分类器、姿态判别器，并估计目标识别结果可信度、相邻帧姿态变化的权重以及目标尺度权重；将每一帧的识别结果与数据库中的图像样本进行比较来为每个帧打分。然后根据每个帧的分数进行目标图像的融合。但是，分类器层识别主要依赖于基于单个帧的分类器并且基于每个帧的分数进行判决，因此仍然存在由于特征提取不全面导致的分类不准确的缺点，而且在复杂的动态环境中，还很少有适合的分类器算法实现动态目标的识别。
因此，存在从视频序列快速、准确以及稳健地识别人脸图像的需求。
发明内容
本发明通过提供一种新颖的人脸局部特征提取方法来解决上述问题和其它问题。根据本发明，在视频序列的人脸跟踪过程中，获得属于同一人的一组脸部图像，并且使用脸部点追踪技术获得脸部图像的各个脸部点之间的对应关系。从脸部图像的各个脸部点提取人脸局部脸特征向量分量并且基于对人脸图像的分析将所提取的人脸局部特征向量分量进行融合以得到人脸局部特征向量。接着将所得到的人脸局部特征向量组合成描述整个人脸的人脸全局特征向量以进行人脸的识别。
根据本发明的一个方面，提供一种方法，包括：
检测所述视频序列的多个图像帧中的同一人脸图像；
将所检测的人脸图像分成具有预定尺寸的多个局部小片，其中每个局部小片都围绕一个人脸特征点或者接近一个人脸特征点；
确定所述视频序列的多个图像帧中的同一人脸图像的各个局部小片之间的对应关系；以及
使用从具有相互对应关系的各个局部小片提取的人脸局部特征向量分量形成表示该局部小片所对应的脸部点的人脸局部特征向量。
根据本发明的另一方面，提供一种用于从视频图像序列获得人脸特征向量的设备，包括：
人脸检测器，配置用于检测所述视频序列的多个图像帧中的同一人脸图像；
脸部点定位器，配置用于将所检测的人脸图像分成具有预定尺寸的多个局部小片，其中每个局部小片都围绕一个人脸特征点或者接近一个人脸特征点；
人脸跟踪器，配置用于确定所述视频序列的多个图像帧中的同一人脸图像的各个局部小片之间的对应关系；以及
人脸局部特征向量生成器，配置用于使用从具有相互对应关系的各个局部小片提取的人脸局部特征向量分量形成表示该局部小片所对应的脸部点的人脸局部特征向量。
根据本发明的另一方面，提供一种计算机程序产品，包括具有存储在其中的可执行计算机可读程序代码指令的至少一个计算机可读存储介质，所述计算机可读程序代码指令包括：
配置用于检测所述视频序列的多个图像帧中的同一人脸图像的第一程序代码指令；
配置用于将所检测的人脸图像分成具有预定尺寸的多个局部小片的第二程序代码指令，其中每个局部小片都围绕一个人脸特征点或者接近一个人脸特征点；
配置用于确定所述视频序列的多个图像帧中的同一人脸图像的各个局部小片之间的对应关系的第三程序代码指令；以及
配置用于使用从具有相互对应关系的各个局部小片提取的人脸局部特征向量分量形成表示该局部小片所对应的脸部点的人脸局部特征向量的第四程序代码指令。
根据本发明的另一方面，提供一种设备，包括：
用于检测所述视频序列的多个图像帧中的同一人脸图像的装置；
用于将所检测的人脸图像分成具有预定尺寸的多个局部小片的装置，其中每个局部小片都围绕一个人脸特征点或者接近一个人脸特征点；
用于确定所述视频序列的多个图像帧中的同一人脸图像的各个局部小片之间的对应关系的装置；以及
用于使用从具有相互对应关系的各个局部小片提取的人脸局部特征向量分量形成表示该局部小片所对应的脸部点的人脸局部特征向量的装置。
根据本发明，融合的一个或多个人脸局部特征向量分量可以来自于不同帧的人脸局部特征向量分量。而在前述的特征层融合方法中，一个人脸局部特征向量中的人脸局部特征向量分量都是来自于同一帧的，其没有打破帧的约束。
此外，根据本发明，以不同的尺度将所检测到的人脸区域依次划分成具有预定尺寸的多个局部小片，分别从具有相互对应关系的这些局部小片提取人脸局部特征向量分量并且将其组合在一起形成表示各个局部小片所对应的脸部点的人脸局部特征向量，随后将在每个局部小片尺寸下得到的表示各个局部小片所对应的脸部点的人脸局部特征向量进行组合在以形成描述整个人脸的人脸全局特征向量以用来进行人脸的识别。此外，根据本发明，还可以将在不同尺度下所得到的所有人脸全局特征向量进行组合以形成人脸全局特征向量组以便进行人脸识别。通过将在不同尺度下所得到的所有人脸全局特征向量进行组合以形成人脸全局特征向量组，其最终获得的多个人脸全局特征向量对于人脸的姿态偏移和环境的影响更为鲁棒。
附图说明
因此已经对本发明进行了一般性的描述，现在将对附图进行参考，该附图未必按比例绘制，并且在附图中：
图1是示出本发明的基本原理的示意图；
图2是示出了根据本发明示例性实施例的用于生成人脸局部特征向量的方法的流程图；
图3是示出了根据本发明的示例性实施例的视频序列的相邻帧的人脸区域的各个小片之间的对应关系的示意图；
图4是示出了根据本发明的示例性实施例的将人脸区域分成具有不同尺寸的局部小片的示意图；
图5是示出了根据本发明示例性实施例的配置用于生成人脸局部特征向量的设备的框图；以及
图6是示出了根据本发明示例性实施例的用于生成人脸局部特征向量的设备的示意图。
在附图中，相同或对应的标号表示相同或对应的部分。并且，附图中示出的组件、部件、元件的数量仅用于举例说明，而非限制。
具体实施方式
参照图1，其概括性地示出了本发明的基本原理。从左至右的四幅图表示一个视频序列中的四帧(第i帧到第i+3帧)图像，从其可以看出同一个人相对于摄像机镜头从远到近的变化。根据本发明，首先，针对每一帧图像进行人脸区域的检测。随后，将所检测的人脸区域分成具有预定尺寸的多个局部小片，如图1中的每幅人脸区域上的栅格所示。接着，使用光流法确定多个人脸区域的各个小片之间的对应关系，具体地，这可以通过使用KLT来实现并且本领域的技术人员可以例如从Jianbo Shi and Carlo Tomasi的“Good features totrack",Proc.IEEE Comput.Soc.Conf.Comput.Vision and Pattern Recogn.,pages 593-600,1994获知使用KLT来获得视频序列的前后帧之间的同一脸部点之间对应关系的方法。参照图1，从第i帧图像的人脸区域的每个小片提取人脸局部特征向量分量构成表示该局部小片所对应的脸部点的人脸局部特征向量。随后，依次从后续的图像帧中与第i帧图像的该局部小片具有对应的关系的局部小片提取人脸局部特征向量分量并且对其进行评价(评价其被遮挡程度等)，以便使用从后续的图像帧中与第i帧图像的该局部小片具有对应的关系的局部小片提取的人脸局部特征向量分量来更新表示此局部小片所对应的脸部点的人脸局部特征向量。最后，将得到的人脸局部特征向量组合成描述整个人脸的人脸全局特征向量，基于模板的脸部识别方法诸如主元分析(PCA)+线性鉴别分析(LDA)来与人脸库中的人脸特征向量进行比较以进行人脸的识别。本领域的技术人员例如可可以从W.Zhao,R.Chellappa,A.Krishnaswamy,Discriminant Analysis of Principal Components forFace Recognition,Proc.of the 3rd IEEE International Conference on Face andGesture Recognition,FG'98,14-16April 1998,Nara,Japan,pp.336-341和A.M.Martinez,A.C.Kak,PCA versus LDA,IEEE Trans.on Pattern Analysis andMachine Intelligence,Vol.23,No.2,2001,pp.228-233中获知上述用于实现人脸识别的方法。
图2示出了根据本发明的示例性实施例的方法的流程图。应该理解，流程图的每个块、步骤或操作，和/或流程图中的块、步骤或操作的组合可以由各种装置实现。用于实现流程图的块、步骤或操作，和/或流程图中的块、步骤或操作的组合的装置可以包括硬件、固件和/或软件，该软件包括一个或多个计算机程序代码指令、程序指令、或可执行计算机可读程序代码指令。在一个示例性实施例中，一个或多个这里所描述的过程可以由程序代码指令实现。在这点上，实现这里描述的过程的程序代码指令可以由设备的存储器设备存储或在其上存储，并且由处理器执行。应该理解，任何这样的程序代码指令可以被加载到计算机或其他可编程设备上以生产机器，以便在计算机上或其他可编程设备上执行的指令创建用于实现在流程图的块、步骤或操作中指定的功能的装置。这些程序代码指令也可以存储在计算机可读存储介质中，其可以引导计算机、处理器或其他可编程设备以特定方式工作，以便存储在计算机可读存储介质中的指令生产制品，该指令包括实现在流程图的块、步骤或操作中指定的功能的指令装置。程序代码指令也可以加载到计算机、处理器或其他可编程设备上以使得一系列操作步骤得以在计算机、处理器或其他可编程设备上执行或由其执行，从而生产计算机实现的过程，以便在计算机、处理器或其他可编程设备上执行的指令提供用于实现在流程图的块、步骤或操作中指定的功能的步骤。
因而，流程图的块、步骤或操作支持用于执行指定功能的装置的组合、用于执行指定功能的步骤的组合以及用于执行指定功能的程序代码指令装置。还将会理解，流程图的一个或多个块、步骤或操作，和流程图中块、步骤或操作的组合可以由专用的基于硬件的计算机系统或专用硬件和程序代码指令实现，其中该计算机系统执行指定功能或步骤。
参照图2，在步骤S210处，检测所述视频序列的多个图像帧中的同一人脸图像。所述视频序列中可能存在多帧具有同一人脸的图像，当然在每帧图像中还会具有除人脸之外的其他图像。为了实现本发明的方法，首先需要检测该多帧图像中的同一人脸图像，这可以利用人检测器来完成。作为一个示例，可以通过如下操作来获得人脸检测器，在离线训练阶段，收集上百万个乃至更多的标准化(例如20×20像素)的人脸图像数据和非人脸图像数据。基于这些被标准化的训练数据，从每个像素周围提取一个或多个LBP特征，随后从所有像素提取的这些特征可以被用来构建一个LBP特征池。基于每个LBP特征，使用判决树构建一个弱的分类器。通过使用自适应提升(AdaBoosting)学习策略，在每一次迭代中选择最佳的弱分类器。最后就基于许多弱分类器的加权组合构建具有高人脸检测率和低错误警报率的强分类器。此最终获得的强的分类器可以被用作本发明的人脸检测器。所述人脸检测器可以检测人脸的大致位置(rough position)、尺度(scale)以及倾斜角(roll angle)和俯仰角(pitch angle)。
在步骤S220处，将所检测的人脸图像分成具有预定尺寸的多个局部小片，其中每个局部小片都围绕一个人脸特征点或者接近一个人脸特征点。
人脸特征点(诸如眼睛中心、眼角和嘴角等等)的位置可以使用脸部点(facialpoint)定位器来在所检测的脸部图像上精确地定位。根据本发明的一个实施例，采用局部二值模式(LBP)特征+自适应提升(AdaBoosting)分类器来实现人脸图像检测和脸部点定位。本领域的技术人员可以例如从Ojala&Maenpaa(2002)Multiresolution gray-scaleand rotation invariant texture classification with Local binary Patterns,IEEEPAMI 24(7):971-987中得到人脸检测和脸部点定位的方法。脸部点定位器可以通过使用对应的训练样本以与人脸检测器相似的方式构建。具体地，在每次对人脸区域进行缩放时，通过训练的分类器评估具有相同分辨率的训练数据的所有子窗口，根据子窗口的位置和置信度等将所有积极响应融合到一起以输出最终的人脸检测结果，由此实现对脸部点的定位过程。
具体地，S220可以通过以下步骤来实现：在检测所述视频序列的多个图像帧中的同一人脸图像并且完成主要脸部点的定位后，脸部区域被剪切并且被标准化缩放到预定的分辨率，并且此时可以如图1和图4所示的将栅格(在图1中显示为5×5栅格，在图4中显示为6×6栅格、8×8栅格和16×16栅格)放置在人脸区域上，其中每个栅格区域(其被称为一个局部小片(patch))都围绕一个脸部点或者接近一个脸部点。
接着，在步骤S230，确定所述视频序列的多个图像帧中的同一人脸图像的各个局部小片之间的对应关系。
参照图3，其示出了视频序列的相邻帧的人脸区域的各个局部小片之间的对应关系。图3示出了视频序列的第i帧图像和其后的第i+1帧图像，虽然在图3中只是示出相邻两帧图像，但是本发明的方法不限于仅两帧图像而是可以被应用到连续的多帧图像上。
根据本发明的实施例，如上参照图1所描述的那样，可以使用诸如光流场的方法获得前后帧之间的同一脸部点(即，每个小片)之间对应关系。
在完成步骤S230的操作后，所述操作进入到步骤S240，在此处，使用从具有相互对应关系的各个局部小片提取的人脸局部特征向量分量形成表示该局部小片所对应的脸部点的人脸局部特征向量。具体地，这可以通过以下步骤来实现：首先，从不同图像帧中的具有相互对应关系的各个小片提取人脸局部特征向量分量。然后，判断不同图像帧中的各个人脸的姿态，这可以通过提取LBP特征并使用典型相关分析(Canonical CorrelationAnalysis)回归来根据LBP预测姿态角来实现。在判断了各个图像帧中的每个人脸的姿态后，使用从各个小片提取的人脸局部特征向量分量来形成表示该局部小片所对应的脸部点的人脸局部特征向量，这可以通过下式来表示：
VP＝{vi,P，vi+1,P，…，vi+n,P}，
其中VP为表示各个小片P所对应的脸部点的人脸局部特征向量，vi,P表示从第i帧的小片P提取的人脸局部特征向量分量。
根据本发明的一个实施例，步骤S240可以具体包括以下步骤：识别所述视频序列的多个图像帧中的同一人脸的不同姿态；根据所识别的多个图像帧中的同一人脸的不同姿态，仅从未被遮挡的具有相互对应关系的各个局部小片提取人脸局部特征向量分量；以及将所述从未被遮挡的具有相互对应关系的各个局部小片提取的人脸局部特征向量分量组合以形成表示该局部小片所对应的脸部点的人脸局部特征向量。
具体地参照图3，通过对人脸姿态的判断，可以确定第i帧图像中的人脸偏向右侧而第i+1帧图像中的人脸为基本上正向。此时，可以确定在第i帧图像中，人脸右侧区域被遮挡。据此可以考虑使用从第i+1帧图像的右侧区域中的相应小片提取人脸局部特征向量分量作为表示该小片所对应的脸部点的人脸局部特征向量的一部分而不从第i帧图像的右侧区域中的相应小片提取人脸局部特征向量分量，这是因为此时第i帧图像中人脸右侧区域被遮挡了。具体地，在此处用Pj,k表示第i帧图像中的人脸区域被分成的各个小片，其中j表示小片所处的行数(由上至下)，而k表示小片所处的列数(由左至右)。相应地，用P’j,k表示第i+帧中的与每个Pj,k具有对应关系的各个小片。例如，对于第i帧图像中的小片P1,1，由于通过对人脸姿态的判断可以确定该小片所对应的人脸区域可能被遮挡，因此此时就从第i+1帧图像的与之有对应关系的小片P’1,1提取人脸局部特征向量分量作为表示此小片所对应的脸部点的人脸局部特征向量的一部分。类似地，这也适用于那些同样被遮挡小片P2,1，P3,1，P1,2，P2,2等。虽然在图3中只是示出了接连的两帧图像，但是显然对于后续的第i+2、i+3…图像，如果与P1,1具有对应关系的小片P”1,1,P”’1,1…中的任何一个被判断为被遮挡，则不从该小片提取人脸局部特征向量分量。相反，如果判断出这些小片P”1,1,P”’1,1…中的任何一个没有被遮挡，则可以从该小片提取人脸局部特征向量分量作为对应于该脸部点的特征向量组的一部分。
根据本发明的此实施例的优点在于由于舍弃了从被遮挡的局部小片提取人脸局部特征向量分量的步骤，因此避免了从该被遮挡的局部小片提取的人脸局部特征向量分量对最终形成的人脸局部特征向量带来过大的背景噪声而影响人脸识别的准确性的问题。此外，由于没有从被遮挡的局部小片提取的人脸局部特征向量分量，因此减小了提取人脸特征局部向量分量的工作量，缩短了人脸局部特征向量提取的时间。
根据本发明的另一实施例，步骤S240可以具体包括以下步骤：识别所述视频序列的多个图像帧中的同一人脸的不同姿态；以及根据所识别的不同图像帧中的同一人脸的不同姿态，将从具有相互对应关系的每一个局部小片提取的人脸局部特征向量分量加权组合以形成表示该局部小片所对应的脸部点的人脸局部特征向量。
具体地还参照图3，此时，尽管已经判断出第i帧图像中的小片P1,1所对应的人脸区域被遮挡，但是仍然从该小片提取人脸局部特征向量分量。同样地，还从第i+1帧图像的与P1,1具有对应关系的小片P’1,1提取人脸局部特征向量分量。由于此时已经判断出第i帧图像的小片P1,1被遮挡，因此在形成表示该小片所对应的脸部点的人脸局部特征向量时考虑为其分配一个较小的权重以便其不会给最后形成的人脸局部特征向量带来过大的背景噪声分量，而对于从第i+1帧中的小片P’1,1，由于已经判断出第i+1帧图像是基本上正向的，因此可以为其分配一个相对较大的权重，因为其不会给所形成的局部特征向量带来很大的背景噪声分量。同样地，虽然在图3中只是示出了接连的两帧图像，但是显然对于后续的第i+2、i+3…图像，也适用同
样的方法。此时，可以将得到的人脸局部特征向量表示为
VP＝{a1vi,P，a2vi+1,P，…，anvi+n,P}，
其中a1，a2，…，an表示分别给从每一帧的具有对应关系的小片提取的人脸局部特征向量分量的权重。
根据本发明的该另一实施例的优点在于通过从具有相互对应关系的每个局部小片提取人脸局部特征向量分量并且将其加权组合以形成人脸局部特征向量，所获得的人脸局部特征向量相对于仅从未被遮挡的局部小片提取人脸局部特征向量分量而构成的人脸局部特征向量包括了更多的人脸局部特征向量分量，这就必然提供了后续进行的人脸识别的准确性。同时，通过基于人脸的姿态为从具有相关对应关系的各个局部小片提取的人脸局部特征向量分量分配不同的权重，使得从每个局部小片所提取的人脸局部特征向量分量在随后的人脸识别过程中发挥不同的作用，这在一方面限制从被遮挡的局部小片提取的人脸局部特征向量分量为形成的人脸局部特征向量带来过大的背景噪声的同时，还在另一方面进一步提高了人脸识别的准确性。
根据本发明的实施例，还包括改变所述多个局部小片的尺寸的步骤。具体地，这可以通过改变人脸区域上的栅格的尺寸来实现，如图4所示。
图4是示出了根据本发明的实施例的将人脸区域分成具有不同尺寸的局部小片的示意图。图4中示出了同一帧图像，其中。第一幅图像(从左至右)示出标准的64×64像素大小的人脸图像，其是如前所述的通过对图像中的人脸区域进行检测和定位后获得的。第二幅图显示将第一副图的人脸图像其分成6×6栅格片，第三幅图显示将第一副图的人脸图像其分成8×8栅格片，并且最后一幅图显示将第一副图的人脸图像其分成16×16栅格片。其中栅格片中的每一片都围绕一个脸部点或者接近一个脸部点。
在修改了所述多个局部小片的尺寸后，重复执行步骤S230-S240以从具有相互对应关系的各个改变尺寸的局部小片提取人脸局部特征局部向量分量形成表示该改变尺寸的局部小片所对应的脸部点的人脸局部特征向量。
具体地，参照图4，基于如第二幅图像至第四幅图像所示的对于人脸区域的不同尺度的划分，都执行参照步骤S230-S240描述的人脸局部特征向量形成过程。随后将所得到的所有人脸局部特征都组合在一起以形成描述整个人脸的人脸全局特征向量。然后使用得到的人脸全局特征向量进行人脸的识别。
此实施例的优点在于在具体操作中，例如可以首先将所定位的人脸区域分成6×6栅格，此时使用参照步骤S230-S240描述的方法进行人脸局部特征向量分量的提取而得到人脸局部特征向量，然后将所得到的人脸局部特征向量组合成人脸全局特征向量并且将该人脸全局特征向量与人脸库中的人脸特征向量进行比较以进行人脸识别。如果此时可以识别出人脸，就可以不必进行后续的继续划分人脸区域的步骤。这样就可以节省计算资源从而提高识别速度，这是因为将人脸区域分成6×6栅格与将人脸区域分成8×8栅格相比，显然可以减小提取小片所对应的人脸局部特征向量分量的工作量。
虽然将人脸区域分成较少的栅格片进行人脸局部特征向量分量的提取可以提高人脸局部特征向量分量提取的速度，但是这也同样带来识别不准确的问题。这是因为较大的栅格可能对于脸部点的变化是非常敏感的。因此，根据本发明，在将人脸区域分成6×6栅格片以进行人脸局部特征向量分量的提取后，进一步将人脸区域分成8×8栅格片(第二幅图像)，成16×16栅格片(第三幅图像)…以继续进行人脸局部特征向量分量的提取而得到相应的人脸局部特征向量，然后将针对不同划分下所分别获得的人脸局部特征向量组合成描述整个人脸的人脸全局特征向量。最后，将针对不同划分所得到的所有人脸全局特征向量组合在一起以形成人脸全局特征向量组以便用于随后的人脸识别操作。
实践证明，从对人脸区域的这种不同尺度划分的小片提取的人脸局部特征向量分量已经被证明是对于人脸姿势和表情变化是鲁棒的(对此的可参见BMVC 2009的“SIFTfeature matching for face recognition”)。
根据本发明的一个实施例，在步骤S240后，还可以包括将所得到的表示每个局部小片所对应的脸部点的人脸局部特征向量进行组合以形成人脸全局特征向量的步骤。所得到的人脸全局特征向量由此包括表示所有局部小片所对应的所有脸部点的人脸局部特征向量，并且随后可以使用所得到的该人脸全局特征向量与人脸库中的人脸特征向量进行比较以进行人脸的识别。类似地，在改变了每个局部小片的尺寸之后，还可以将所得到的表示每个改变尺寸的局部小片所对应的脸部点的人脸局部特征向量进行组合以形成人脸全局特征向量，由此该所得到的人脸全局特征向量包括表示所有改变尺寸的局部小片所对应的所有脸部点的人脸局部特征向量，并且随后可以使用所得到的该人脸全局特征向量与人脸库中的人脸特征向量进行比较以进行人脸的识别。
根据本发明的另一实施例，还包括将在不同局部小片尺寸下所获得的人脸全局特征向量进行组合以形成人脸全局特征向量组的步骤。通过此步骤所得到的人脸全局特征向量组包括多个人脸全局特征向量，其中每个人脸全局特征向量包括表示所有具有一定尺寸的局部小片所对应的所有脸部点的人脸局部特征向量。通过此操作得到的人脸全局特征向量组由于包括从具有相互对应关系的不同尺寸的局部小片提取的人脸局部特征向量组合而成的多个人脸全局特征向量，因此其对于人脸姿势和表情变化是鲁棒的，由此可以在与人脸库中的人脸特征向量进行比较以进行人脸的识别的过程中发挥更好的效果。
图5示出了可以提供相关性指示的示例性设备500。根据本发明各种示例性实施例，设备500可以实现为任何类型的有线或无线通信设备，或作为这些设备的组件而被包括，该有线或无线通信设备诸如移动终端、诸如基站的接入点或上述项的任何组合，其中移动终端诸如移动电话、便携式数码助理(PDA)、寻呼机、移动电视、游戏设备、移动计算机、膝上型计算机、照相机、录像机、音频/视频播放器、收音机和/或全球定位系统(GPS)设备、诸如基站之类的接入点、或者前述设备的任意组合等等。此外，设备500可以配置用于如这里所描述的那样实现本发明的各种方面：例如包括本发明的各种示例性方法，其中这些方法可以借助于硬件或软件配置的处理器、计算机可读介质等来实现。
设备500可以包括处理器505、存储器设备和通信接口520或与这些组件通信。在一些实施例中，设备500也可以包括用户接口515。处理器505可以实现为各种装置，这些装置例如包括微处理器、协处理器、控制器、或各种其他处理设备，包括集成电路，例如，ASIC(专用集成电路)、FPGA(现场可编程门阵列)或硬件加速器。在示例性实施例中，处理器505可以配置用于执行存储在存储器设备中的指令或处理器505可访问的指令。处理器505还可以配置用于例如通过控制包括在通信接口520中的硬件和/或软件来促进经由通信接口520的通信。
存储器设备可以是计算机可读存储介质，该存储介质可以包括易失性和/或非易失性存储器。例如，存储器设备可以包括随机访问存储器(RAM)，其包括动态和/或静态RAM、片上或片外高速缓存存储器等。此外，存储器设备可以包括非易失性存储器，其可以是嵌入的和/或可移动的，并且例如可以包括只读存储器、闪存、磁存储设备(例如，硬盘、软盘驱动器、磁带等)、光盘驱动器和/或介质、非易失性随机访问存储器(NVRAM)等。存储器设备可以包括为临时存储数据的高速缓存区域。在这点上，一些或所有的存储器设备可以包括在处理器505内。
此外，存储器设备可以配置用于存储信息、数据、应用、计算机可读程序代码指令等，以便使得处理器505和设备500能够执行根据本发明示例性实施例的各种功能。例如，存储器设备可以配置用于缓冲用于由处理器505处理的输入数据。另外或作为备选，存储器设备可以配置用于存储用于由处理器505执行的指令。
通信接口520可以是任何以硬件、软件、或硬件和软件的组合实现的任何设备或装置，这些设备或装置配置用于接收和/或发送数据来自/去往网络和/或与设备500通信的任何其他设备或模块。在这点上，通信接口520例如可以包括天线、发射器、接收器、收发器和/或支持硬件，包括用于支持与网络525的通信的处理器或软件，网络525可以是任何类型的有线或无线网络。经由通信接口520和网络525，设备500可以与各种其他网络实体通信。在这点上，网络525可以包括接入点。
通信接口520可以配置用于提供根据任何有线或无线通信标准的通信。例如，通信接口520可以配置用于根据以下内容的通信：第二代(2G)无线通信协议IS-136(时分多址(TDMA))、GSM(全球移动通信系统)、IS-95(码分多址(CDMA))、第三代(3G)无线通信协议、诸如通用移动通信系统(UMTS)、CDMA2000、宽带CDMA(WCDMA)和时分同步CDMA(TD-SCDMA)、3.9代(3.9G)无线通信协议，诸如演进的通用陆地无线接入网(E-UTRAN)，以及第四代(4G)无线通信协议、高级国际移动通信(IMT-Advanced)协议、包括LTE-advanced的长期演进(LTE)协议等。此外，通信接口520可以配置用于提供根据以下技术的通信，这些技术诸如射频(RF)、红外(IrDA)或多个不同无线联网络技术中的任意一个，包括WLAN技术，诸如IEEE 802.11(例如，802.11a、802.11b、802.11g、802.11n等)、无线局域网(WLAN)协议、诸如IEEE 802.16的全球微波互联接入(WiMAX)技术和/或诸如IEEE 802.15、蓝牙(BT)、超宽带(UWB)的无线个域网(WPAN)技术等。
用户接口515可以与处理器505通信以接收用户接口515处的用户输入和/或向用户提供输出，例如，可听的、可视的、机械的或其他输出指示。用户接口515例如可以包括键盘、鼠标、游戏杆、显示器(例如，触摸屏显示器)、麦克风、扬声器、或其他输入/输出机制。在一些示例性实施例中，诸如当设备500实现为服务器时，用户接口515可能有限，或甚至被消除。
设备500的人脸检测器530，脸部点定位器532，人脸跟踪器534和人脸局部特征向量生成器536可以是以硬件、软件或硬件和软件的组合实现的任何装置或设备，诸如实现软件指令的处理器505或硬件配置的处理器505，其配置用于执行如在此所述的人脸检测器530，脸部点定位器532，人脸跟踪器534和人脸局部特征向量生成器536的功能。在示例性实施例中，处理器505可以包括或控制人脸检测器530，脸部点定位器532，人脸跟踪器534和人脸局部特征向量生成器536。在各种示例性实施例中，人脸检测器530，脸部点定位器532，人脸跟踪器534和人脸局部特征向量生成器536可以驻留在不同的设备上，以便人脸检测器530，脸部点定位器532，人脸跟踪器534和人脸局部特征向量生成器536的一些或全部功能可以由第一设备执行，并且人脸检测器530，脸部点定位器532，人脸跟踪器534和人脸局部特征向量生成器536的其余功能可以由一个或多个其他设备执行。
设备500的人脸检测器530用于检测视频序列的多个图像帧中的同一人脸图像。所述视频序列可以是存储在存储器设备中的视频序列，也可以是经由用户接口515从外部输入设备或外部存储器接收的视频序列。人脸检测器530通过参照图2的步骤S210所述的方式检测视频序列的多个图像帧中的人脸图像。
设备500的脸部点定位器532用于按照图2的步骤S220所述的方式将所检测的人脸图像分成具有预定尺寸的多个局部小片，其中每个局部小片都围绕一个人脸特征点或者接近一个人脸特征点。具体地，这可以在所检测的人脸图像上加栅格来实现。
设备500的人脸跟踪器534用于确定所述视频序列的多个图像帧中的同一人脸图像的各个局部小片之间的对应关系并且所述设备500的人脸局部特征向量生成器536用于使用从具有相互对应关系的各个局部小片提取的人脸局部特征局部向量分量形成表示该局部小片所对应的脸部点的人脸局部特征向量，如参照图2的步骤S230所描述的。
根据本发明的一个实施例，所述人脸局部特征向量生成器536还配置用于：识别所述视频序列的多个图像帧中的同一人脸的不同姿态；根据所识别的多个图像帧中的同一人脸的不同姿态，仅从未被遮挡的具有相互对应关系的各个局部小片提取人脸局部特征向量分量；以及将所述从未被遮挡的具有相互对应关系的各个局部小片提取的人脸局部特征向量分量组合以形成表示该局部小片所对应的脸部点的人脸局部特征向量。
根据本发明的另一实施例，所述人脸局部特征向量生成器536还配置用于：识别所述视频序列的多个图像帧中的同一人脸的不同姿态；以及根据所识别的不同图像帧中的同一人脸的不同姿态，将从具有相互对应关系的每一个局部小片提取的人脸局部特征向量分量加权组合以形成表示该局部小片所对应的脸部点的人脸局部特征向量。
根据本发明的实施例，其中所述脸部点定位器534还配置用于包括改变所述多个局部小片的尺寸以获得表示每个改变尺寸的局部小片所对应的脸部点的人脸局部特征向量。
根据本发明的实施例，其中所述人脸局部特征向量生成器536还配置用于将所得到的表示每个局部小片所对应的脸部点的人脸局部特征向量进行组合以形成人脸全局特征向量。
根据本发明的实施例，其中所述人脸局部特征向量生成器536还配置用于将所得到的表示每个改变尺寸的局部小片所对应的脸部点的人脸局部特征向量进行组合以形成人脸全局特征向量。
根据本发明的实施例，其中所述人脸局部特征向量生成器536还配置用于将在不同局部小片尺寸下所获得的人脸全局特征向量进行组合以形成人脸全局特征向量组。
根据本发明的实施例，其中所述人脸局部特征向量生成器536还配置用于使用得到的人脸全局特征向量进行人脸的识别。
根据本发明的实施例，其中所述人脸局部特征向量生成器536还配置用于使用得到的人脸全局特征向量组进行人脸的识别。
图6示出了根据本发明示例性实施例的用于生成人脸局部特征向量的设备600的示意图。
具体地，根据本发明的用于生成人脸局部特征向量的设备包括：用于检测所述视频序列的多个图像帧中的同一人脸图像的装置610；用于将所检测的人脸图像分成具有预定尺寸的多个局部小片的装置620，其中每个局部小片都围绕一个人脸特征点或者接近一个人脸特征点；用于确定所述视频序列的多个图像帧中的同一人脸图像的各个局部小片之间的对应关系的装置630；以及用于使用从具有相互对应关系的各个局部小片提取的人脸局部特征局部向量分量形成表示该局部小片所对应的脸部点的人脸局部特征向量的装置640。
根据本发明的一个实施例，其中所述用于使用从具有相互对应关系的各个局部小片提取的人脸局部特征向量分量形成表示该局部小片所对应的脸部点的人脸局部特征向量的装置640还包括：用于识别所述视频序列的多个图像帧中的同一人脸的不同姿态的装置；用于根据所识别的多个图像帧中的同一人脸的不同姿态，仅从未被遮挡的具有相互对应关系的各个局部小片提取人脸局部特征向量分量的装置；以及用于将所述从未被遮挡的具有相互对应关系的各个局部小片提取的人脸局部特征向量分量组合以形成表示该局部小片所对应的脸部点的人脸局部特征向量的装置。
根据本发明的另一实施例，其中所述用于使用从具有相互对应关系的各个局部小片提取的人脸局部特征向量分量形成表示该局部小片所对应的脸部点的人脸局部特征向量的装置640还包括：用于识别所述视频序列的多个图像帧中的同一人脸的不同姿态的装置；以及用于根据所识别的不同图像帧中的同一人脸的不同姿态，将从具有相互对应关系的每一个局部小片提取的人脸局部特征向量分量加权组合以形成表示该局部小片所对应的脸部点的人脸局部特征向量的装置。
根据本发明的实施例，其中将所检测的人脸图像分成具有预定尺寸的多个局部小片是通过在所检测的人脸图像上加栅格来实现的。
根据本发明的实施例，所述设备进一步包括用于改变所述多个局部小片的尺寸以获得表示每个改变尺寸的局部小片所对应的脸部点的人脸局部特征向量的装置。
根据本发明的实施例，所述设备进一步包括用于将所得到的表示每个局部小片所对应的脸部点的人脸局部特征向量进行组合以形成人脸全局特征向量的装置。
根据本发明的实施例，所述设备进一步包括用于将所得到的表示每个改变尺寸的局部小片所对应的脸部点的人脸局部特征向量进行组合以形成人脸全局特征向量的装置。
根据本发明的实施例，所述设备进一步包括用于将在不同局部小片尺寸下所获得的人脸全局特征向量进行组合以形成人脸全局特征向量组的装置。
根据本发明的实施例，所述设备进一步包括用于使用所得到的人脸全局特征向量进行人脸的识别的装置。
根据本发明的实施例，所述设备进一步包括用于使用所得到的人脸全局特征向量组进行人脸的识别的装置。
从上述描述和相关联的附图中呈现的教导中获益的本发明相关领域的技术人员将想到记载于此的本发明的很多修改和其他实施例。因此，可以理解，本发明不限于公开的特定实施例，并且旨在将修改和其他实施例包括在所附权利要求书的范围内。此外，虽然上述描述和相关联的附图在元素和/或功能的某些示例性组合环境中描述了示例性实施例，但是应该理解，元素和/或功能的不同组合可以由备选实施例提供而不脱离所附权利要求书的范围。在这点上，例如，除了上文明确描述的那些之外，元素和/或功能的不同组合也被加以考虑并且可以记载在所附的一些权利要求中。虽然在此使用了特定的术语，但是仅在一般和描述性意义上使用它们并且不为限制的目的使用它们。

Claims (30)

1.一种用于人脸识别的方法，包括：
检测视频序列的多个图像帧中的同一人脸图像；
将所检测的人脸图像分成具有预定尺寸的多个局部小片，其中每个局部小片都围绕一个人脸特征点或者接近一个人脸特征点；
确定所述视频序列的多个图像帧中的同一人脸图像的各个局部小片之间的对应关系；以及
使用从具有相互对应关系的各个局部小片提取的人脸局部特征向量分量形成表示该局部小片所对应的脸部点的人脸局部特征向量。
2.如权利要求1所述的方法，其中使用从具有相互对应关系的各个局部小片提取的人脸局部特征向量分量形成表示该局部小片所对应的脸部点的人脸局部特征向量包括：
识别所述视频序列的多个图像帧中的同一人脸的不同姿态；
根据所识别的多个图像帧中的同一人脸的不同姿态，仅从未被遮挡的具有相互对应关系的各个局部小片提取人脸局部特征向量分量；以及
将所述从未被遮挡的具有相互对应关系的各个局部小片提取的人脸局部特征向量分量组合以形成表示该局部小片所对应的脸部点的人脸局部特征向量。
3.如权利要求1所述的方法，其中使用从具有相互对应关系的各个局部小片提取的人脸局部特征向量分量形成表示该局部小片所对应的脸部点的人脸局部特征向量包括：
识别所述视频序列的多个图像帧中的同一人脸的不同姿态；以及
根据所识别的不同图像帧中的同一人脸的不同姿态，将从具有相互对应关系的每一个局部小片提取的人脸局部特征向量分量加权组合以形成表示该局部小片所对应的脸部点的人脸局部特征向量。
4.如权利要求1-3中的任何一个所述的方法，其中将所检测的人脸图像分成具有预定尺寸的多个局部小片是通过在所检测的人脸图像上加栅格来实现的。
5.如权利要求1-3中的任何一个所述的方法，进一步包括改变所述多个局部小片的尺寸以获得表示每个改变尺寸的局部小片所对应的脸部点的人脸局部特征向量。
6.如权利要求5所述的方法，进一步包括将所得到的表示每个局部小片所对应的脸部点的人脸局部特征向量进行组合以形成人脸全局特征向量。
7.如权利要求6所述的方法，进一步包括将所得到的表示每个改变尺寸的局部小片所对应的脸部点的人脸局部特征向量进行组合以形成人脸全局特征向量。
8.如权利要求7所述的方法，进一步包括将在不同局部小片尺寸下所获得的人脸全局特征向量进行组合以形成人脸全局特征向量组。
9.如权利要求6或7所述的方法，进一步包括使用所得到的人脸全局特征向量进行人脸的识别。
10.如权利要求8所述的方法，进一步包括使用所得到的人脸全局特征向量组进行人脸的识别。
11.一种用于人脸识别的设备，包括：
人脸检测器，配置用于检测视频序列的多个图像帧中的同一人脸图像；
脸部点定位器，配置用于将所检测的人脸图像分成具有预定尺寸的多个局部小片，其中每个局部小片都围绕一个人脸特征点或者接近一个人脸特征点；
人脸跟踪器，配置用于确定所述视频序列的多个图像帧中的同一人脸图像的各个局部小片之间的对应关系；以及
人脸局部特征向量生成器，配置用于使用从具有相互对应关系的各个局部小片提取的人脸局部特征向量分量形成表示该局部小片所对应的脸部点的人脸局部特征向量。
12.如权利要求11所述的设备，其中所述人脸局部特征向量生成器还配置用于：
识别所述视频序列的多个图像帧中的同一人脸的不同姿态；
根据所识别的多个图像帧中的同一人脸的不同姿态，仅从未被遮挡的具有相互对应关系的各个局部小片提取人脸局部特征向量分量；以及
将所述从未被遮挡的具有相互对应关系的各个局部小片提取的人脸局部特征向量分量组合以形成表示该局部小片所对应的脸部点的人脸局部特征向量。
13.如权利要求11所述的设备，其中所述人脸局部特征向量生成器还配置用于：
识别所述视频序列的多个图像帧中的同一人脸的不同姿态；以及
根据所识别的不同图像帧中的同一人脸的不同姿态，将从具有相互对应关系的每一个局部小片提取的人脸局部特征向量分量加权组合以形成表示该局部小片所对应的脸部点的人脸局部特征向量。
14.如权利要求11-13中的任何一个所述的设备，其中将所检测的人脸图像分成具有预定尺寸的多个局部小片是通过在所检测的人脸图像上加栅格来实现的。
15.如权利要求11-13中的任何一个所述的设备，其中所述脸部点定位器还配置用于包括改变所述多个局部小片的尺寸以获得表示每个改变尺寸的局部小片所对应的脸部点的人脸局部特征向量。
16.如权利要求15所述的设备，其中所述人脸局部特征向量生成器还配置用于将所得到的表示每个局部小片所对应的脸部点的人脸局部特征向量进行组合以形成人脸全局特征向量。
17.如权利要求16所述的设备，其中所述人脸局部特征向量生成器还配置用于将所得到的表示每个改变尺寸的局部小片所对应的脸部点的人脸局部特征向量进行组合以形成人脸全局特征向量。
18.如权利要求17所述的设备，其中所述人脸局部特征向量生成器还配置用于将在不同局部小片尺寸下所获得的人脸全局特征向量进行组合以形成人脸全局特征向量组。
19.如权利要求16或17所述的设备，其中所述人脸局部特征向量生成器还配置用于使用所得到的人脸全局特征向量进行人脸的识别。
20.如权利要求18所述的设备，其中所述人脸局部特征向量生成器还配置用于使用所得到的人脸全局特征向量组进行人脸的识别。
21.一种用于人脸识别的设备，包括：
用于检测视频序列的多个图像帧中的同一人脸图像的装置；
用于将所检测的人脸图像分成具有预定尺寸的多个局部小片的装置，其中每个局部小片都围绕一个人脸特征点或者接近一个人脸特征点；
用于确定所述视频序列的多个图像帧中的同一人脸图像的各个局部小片之间的对应关系的装置；以及
用于使用从具有相互对应关系的各个局部小片提取的人脸局部特征向量分量形成表示该局部小片所对应的脸部点的人脸局部特征向量的装置。
22.如权利要求21所述的设备，其中用于使用从具有相互对应关系的各个局部小片提取的人脸局部特征向量分量形成表示该局部小片所对应的脸部点的人脸局部特征向量的装置还包括：
用于识别所述视频序列的多个图像帧中的同一人脸的不同姿态的装置；
用于根据所识别的多个图像帧中的同一人脸的不同姿态，仅从未被遮挡的具有相互对应关系的各个局部小片提取人脸局部特征向量分量的装置；以及
用于将所述从未被遮挡的具有相互对应关系的各个局部小片提取的人脸局部特征向量分量组合以形成表示该局部小片所对应的脸部点的人脸局部特征向量的装置。
23.如权利要求21所述的设备，其中用于使用从具有相互对应关系的各个局部小片提取的人脸局部特征向量分量形成表示该局部小片所对应的脸部点的人脸局部特征向量的装置还包括：
用于识别所述视频序列的多个图像帧中的同一人脸的不同姿态的装置；以及
用于根据所识别的不同图像帧中的同一人脸的不同姿态，将从具有相互对应关系的每一个局部小片提取的人脸局部特征向量分量加权组合以形成表示该局部小片所对应的脸部点的人脸局部特征向量的装置。
24.如权利要求21-23中的任何一个所述的设备，其中将所检测的人脸图像分成具有预定尺寸的多个局部小片是通过在所检测的人脸图像上加栅格来实现的。
25.如权利要求21-23中的任何一个所述的设备，进一步包括用于改变所述多个局部小片的尺寸以获得表示每个改变尺寸的局部小片所对应的脸部点的人脸局部特征向量的装置。
26.如权利要求25所述的设备，进一步包括用于将所得到的表示每个局部小片所对应的脸部点的人脸局部特征向量进行组合以形成人脸全局特征向量的装置。
27.如权利要求26所述的设备，进一步包括用于将所得到的表示每个改变尺寸的局部小片所对应的脸部点的人脸局部特征向量进行组合以形成人脸全局特征向量的装置。
28.如权利要求27所述的设备，进一步包括用于将在不同局部小片尺寸下所获得的人脸全局特征向量进行组合以形成人脸全局特征向量组的装置。
29.如权利要求26或27所述的设备，进一步包括用于使用所得到的人脸全部特征向量进行人脸的识别的装置。
30.如权利要求28所述的设备，进一步包括用于使用所得到的人脸全局特征向量组进行人脸的识别的装置。
CN201210223706.5A 2012-06-25 2012-06-25 人脸特征提取方法、设备和计算机程序产品 Active CN103514432B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201210223706.5A CN103514432B (zh) 2012-06-25 2012-06-25 人脸特征提取方法、设备和计算机程序产品
EP13808762.2A EP2864933B1 (en) 2012-06-25 2013-04-24 Method, apparatus and computer program product for human-face features extraction
PCT/FI2013/050459 WO2014001610A1 (en) 2012-06-25 2013-04-24 Method, apparatus and computer program product for human-face features extraction
US14/408,729 US9710698B2 (en) 2012-06-25 2013-04-24 Method, apparatus and computer program product for human-face features extraction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210223706.5A CN103514432B (zh) 2012-06-25 2012-06-25 人脸特征提取方法、设备和计算机程序产品

Publications (2)

Publication Number Publication Date
CN103514432A CN103514432A (zh) 2014-01-15
CN103514432B true CN103514432B (zh) 2017-09-01

Family

ID=49782323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210223706.5A Active CN103514432B (zh) 2012-06-25 2012-06-25 人脸特征提取方法、设备和计算机程序产品

Country Status (4)

Country Link
US (1) US9710698B2 (zh)
EP (1) EP2864933B1 (zh)
CN (1) CN103514432B (zh)
WO (1) WO2014001610A1 (zh)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824051B (zh) * 2014-02-17 2017-05-03 北京旷视科技有限公司 一种基于局部区域匹配的人脸搜索方法
CN103824052B (zh) * 2014-02-17 2017-05-03 北京旷视科技有限公司 一种基于多层次语义特征的人脸特征提取方法及识别方法
WO2015180100A1 (en) * 2014-05-29 2015-12-03 Beijing Kuangshi Technology Co., Ltd. Facial landmark localization using coarse-to-fine cascaded neural networks
CN104318236B (zh) * 2014-10-28 2017-11-14 苏州科达科技股份有限公司 一种获取图像局部特征的方法及系统
CN105989352B (zh) 2015-03-06 2019-08-20 华为技术有限公司 图像识别加速器、终端设备及图像识别方法
CN104809432A (zh) * 2015-04-17 2015-07-29 同济大学 基于图像异构计算的人脸动作实时捕捉方法
CN104794468A (zh) * 2015-05-20 2015-07-22 成都通甲优博科技有限责任公司 一种基于无人机动平台的人脸检测与跟踪方法
TW201719572A (zh) * 2015-11-19 2017-06-01 國立交通大學 三維模型分析及搜尋方法
CN105678250B (zh) * 2015-12-31 2019-10-11 北京迈格威科技有限公司 视频中的人脸识别方法和装置
CN107045618B (zh) * 2016-02-05 2020-07-03 北京陌上花科技有限公司 一种人脸表情识别方法及装置
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
US10062216B2 (en) * 2016-09-13 2018-08-28 Aleksey Konoplev Applying facial masks to faces in live video
US10297059B2 (en) 2016-12-21 2019-05-21 Motorola Solutions, Inc. Method and image processor for sending a combined image to human versus machine consumers
CN108305312B (zh) * 2017-01-23 2021-08-17 腾讯科技（深圳）有限公司 3d虚拟形象的生成方法和装置
CN107292287B (zh) * 2017-07-14 2018-09-21 深圳云天励飞技术有限公司 人脸识别方法、装置、电子设备及存储介质
CN108228872A (zh) * 2017-07-21 2018-06-29 北京市商汤科技开发有限公司 人脸图像去重方法和装置、电子设备、存储介质、程序
CN107622240B (zh) * 2017-09-21 2023-10-13 百度在线网络技术（北京）有限公司 人脸检测方法和装置
CN107609535A (zh) * 2017-09-28 2018-01-19 天津大学 基于共享池混合树模型的人脸检测、姿态估计和定位方法
CN109952594B (zh) * 2017-10-18 2022-01-07 腾讯科技（深圳）有限公司 图像处理方法、装置、终端及存储介质
CN110110189A (zh) * 2018-02-01 2019-08-09 北京京东尚科信息技术有限公司 用于生成信息的方法和装置
CN108520215B (zh) * 2018-03-28 2022-10-11 电子科技大学 基于多尺度联合特征编码器的单样本人脸识别方法
CN110443232B (zh) * 2018-04-12 2022-03-25 腾讯科技（深圳）有限公司 视频处理方法及相关装置，图像处理方法及相关装置
CN109117736B (zh) * 2018-07-19 2020-11-06 厦门美图之家科技有限公司 一种判定人脸点可见性的方法及计算设备
CN109190520A (zh) * 2018-08-16 2019-01-11 广州视源电子科技股份有限公司 一种超分辨率重建人脸图像方法及装置
CN109147017A (zh) * 2018-08-28 2019-01-04 百度在线网络技术（北京）有限公司 动态图像生成方法、装置、设备及存储介质
CN109034130A (zh) * 2018-08-31 2018-12-18 深圳市研本品牌设计有限公司 一种用于新闻追踪的无人机及存储介质
CN108921145A (zh) * 2018-08-31 2018-11-30 深圳市研本品牌设计有限公司 基于热点人物新闻追踪方法及系统
CN111259194B (zh) * 2018-11-30 2023-06-23 百度在线网络技术（北京）有限公司 用于确定重复视频的方法和装置
CN111259689B (zh) * 2018-11-30 2023-04-25 百度在线网络技术（北京）有限公司 用于发送信息的方法和装置
CN111353943B (zh) * 2018-12-20 2023-12-26 杭州海康威视数字技术股份有限公司 一种人脸图像恢复方法、装置及可读存储介质
US10769784B2 (en) * 2018-12-21 2020-09-08 Metal Industries Research & Development Centre Image analyzing method and electrical device
CN110148085B (zh) * 2019-04-22 2023-06-23 智慧眼科技股份有限公司 人脸图像超分辨率重建方法及计算机可读取的存储介质
CN110298244A (zh) * 2019-05-22 2019-10-01 平安科技（深圳）有限公司 基于人脸识别的提醒方法、装置、计算机设备及存储介质
CN110210425B (zh) * 2019-06-05 2023-06-30 平安科技（深圳）有限公司 人脸识别方法、装置、电子设备及存储介质
CN110321872B (zh) * 2019-07-11 2021-03-16 京东方科技集团股份有限公司 人脸表情识别方法及装置、计算机设备、可读存储介质
CN112446247B (zh) * 2019-08-30 2022-11-15 北京大学 一种基于多特征融合的低光照人脸检测方法及低光照人脸检测网络
CN110738102B (zh) * 2019-09-04 2023-05-12 暗物智能科技(广州)有限公司 一种人脸表情识别方法及系统
CN110580680B (zh) * 2019-09-09 2022-07-05 武汉工程大学 基于组合学习的人脸超分辨率方法及装置
CN110674746B (zh) * 2019-09-24 2022-05-31 视云融聚（广州）科技有限公司 一种应用视频空间关系辅助实现高精度跨镜追踪的方法、装置、计算机设备以及存储介质
CN110929622B (zh) * 2019-11-15 2024-01-05 腾讯科技（深圳）有限公司 视频分类方法、模型训练方法、装置、设备及存储介质
CN111191533B (zh) * 2019-12-18 2024-03-19 北京迈格威科技有限公司 行人重识别的处理方法、装置、计算机设备和存储介质
CN111125437B (zh) * 2019-12-24 2023-06-09 四川新网银行股份有限公司 对视频中唇语图片识别的方法
CN111242020A (zh) * 2020-01-10 2020-06-05 广州康行信息技术有限公司 一种人脸识别方法及装置
CN111274947B (zh) * 2020-01-19 2023-03-10 广州广电卓识智能科技有限公司 一种多任务多线索人脸识别方法、系统及存储介质
CN111400047A (zh) * 2020-03-18 2020-07-10 青岛牛利智能科技有限公司 通过云边协同从监控视频流中进行人脸检测和识别的方法
CN111488811B (zh) * 2020-03-31 2023-08-22 长沙千视通智能科技有限公司 人脸识别方法、装置、终端设备及计算机可读介质
CN111598047B (zh) * 2020-05-28 2023-06-27 重庆康普达科技有限公司 一种人脸识别方法
CN111652148A (zh) * 2020-06-04 2020-09-11 航天科工智慧产业发展有限公司 人脸识别方法、装置与电子设备
CN111860165B (zh) * 2020-06-18 2023-11-03 盛视科技股份有限公司 一种基于视频流的动态人脸识别方法和装置
CN112001219B (zh) * 2020-06-19 2024-02-09 国家电网有限公司技术学院分公司 一种多角度多人脸识别考勤方法及系统
CN113836980A (zh) * 2020-06-24 2021-12-24 中兴通讯股份有限公司 人脸识别方法、电子设备以及存储介质
CN113761997B (zh) * 2020-08-27 2024-04-09 北京沃东天骏信息技术有限公司 生成半遮挡人脸识别器的方法和装置
CN112150508B (zh) * 2020-09-29 2023-03-03 济南博观智能科技有限公司 一种目标追踪方法、装置及相关设备
WO2022086541A1 (en) * 2020-10-22 2022-04-28 Hewlett-Packard Development Company, L.P. Removal of moving objects in video calls
CN112257728B (zh) * 2020-11-12 2021-08-17 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备以及存储介质
CN112733601B (zh) * 2020-12-07 2021-10-12 常州爱索电子有限公司 基于ai三目成像技术的人脸识别方法及装置
CN113158883A (zh) * 2021-04-19 2021-07-23 汇纳科技股份有限公司 基于区域注意力的人脸识别方法、系统、介质及终端
CN112990140B (zh) * 2021-04-29 2021-08-10 南昌虚拟现实研究院股份有限公司 手势轮廓提取方法、装置、可读存储介质及电子设备
CN113239888A (zh) * 2021-06-07 2021-08-10 中国联合网络通信集团有限公司 人脸表情的识别方法、装置、设备和存储介质
CN113627254B (zh) * 2021-07-07 2023-10-27 武汉大学 一种基于特征迁移与特征融合的俯角人脸识别方法及系统
CN113361506B (zh) * 2021-08-11 2022-04-29 中科南京智能技术研究院 一种面向移动端的人脸识别方法与系统
CN113762118B (zh) * 2021-08-27 2022-08-26 合肥的卢深视科技有限公司 人脸识别的方法、电子设备及存储介质
CN113902774B (zh) * 2021-10-08 2024-04-02 无锡锡商银行股份有限公司 一种稠密度光流特征在视频中的面部表情检测方法
CN114103873B (zh) * 2021-11-18 2023-03-28 华人运通(江苏)技术有限公司 一种车辆中控台的控制方法、装置及车辆
CN113936343A (zh) * 2021-12-20 2022-01-14 南京星耀智能科技有限公司 一种基于多局部特征投票的人脸图像辩伪方法
CN114443893A (zh) * 2021-12-31 2022-05-06 深圳云天励飞技术股份有限公司 人脸数据的归档方法及相关设备
CN114882553A (zh) * 2022-04-21 2022-08-09 厦门大学 一种基于深度学习的微表情识别方法及系统
CN115147911A (zh) * 2022-08-22 2022-10-04 山东海博科技信息系统股份有限公司 一种智慧城市档案信息整合方法、系统及终端
CN115953823B (zh) * 2023-03-13 2023-05-16 成都运荔枝科技有限公司 一种基于大数据的人脸识别方法
CN115996303B (zh) * 2023-03-23 2023-07-25 科大讯飞股份有限公司 视频生成方法、装置、电子设备和存储介质
CN116311479B (zh) * 2023-05-16 2023-07-21 四川轻化工大学 一种用于汽车解锁的人脸识别方法、系统和存储介质
CN116630147B (zh) * 2023-07-24 2024-02-06 北京隐算科技有限公司 一种基于强化学习的人脸图像编辑方法
CN117218224A (zh) * 2023-08-21 2023-12-12 华院计算技术(上海)股份有限公司 人脸情绪图像生成方法及装置、可读存储介质、终端
CN116844217B (zh) * 2023-08-30 2023-11-14 成都睿瞳科技有限责任公司 用于生成人脸数据的图像处理系统及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
JP4292837B2 (ja) * 2002-07-16 2009-07-08 日本電気株式会社 パターン特徴抽出方法及びその装置
US20060244757A1 (en) * 2004-07-26 2006-11-02 The Board Of Trustees Of The University Of Illinois Methods and systems for image modification
US20060120571A1 (en) * 2004-12-03 2006-06-08 Tu Peter H System and method for passive face recognition
JP4626376B2 (ja) 2005-04-25 2011-02-09 ソニー株式会社 音楽コンテンツの再生装置および音楽コンテンツ再生方法
US8375302B2 (en) 2006-11-17 2013-02-12 Microsoft Corporation Example based video editing
CN101216889A (zh) * 2008-01-14 2008-07-09 浙江大学 一种融合全局特征与局部细节信息的人脸图像超分辨率方法
US20090232365A1 (en) * 2008-03-11 2009-09-17 Cognimatics Ab Method and device for face recognition
FI20095415A0 (fi) 2009-04-16 2009-04-16 Valtion Teknillinen Videoeditointijärjestelmä
US8194938B2 (en) * 2009-06-02 2012-06-05 George Mason Intellectual Properties, Inc. Face authentication using recognition-by-parts, boosting, and transduction
US8824749B2 (en) * 2011-04-05 2014-09-02 Microsoft Corporation Biometric recognition

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Active Appearance Models;T.F.Cootes等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20010601;全文 *
Video-base face model fitting using Adaptive Active Appearance Model;Xiaoming Liu;《Image and Vision Computing》;20100701;第1162-1172页 *

Also Published As

Publication number Publication date
CN103514432A (zh) 2014-01-15
EP2864933A1 (en) 2015-04-29
WO2014001610A1 (en) 2014-01-03
US9710698B2 (en) 2017-07-18
EP2864933A4 (en) 2016-04-13
US20150205997A1 (en) 2015-07-23
EP2864933B1 (en) 2019-09-25

Similar Documents

Publication Publication Date Title
CN103514432B (zh) 人脸特征提取方法、设备和计算机程序产品
JP7236545B2 (ja) ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム
US9098740B2 (en) Apparatus, method, and medium detecting object pose
CN107358149B (zh) 一种人体姿态检测方法和装置
US20180210556A1 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
US8345984B2 (en) 3D convolutional neural networks for automatic human action recognition
US11037325B2 (en) Information processing apparatus and method of controlling the same
CN108229324B (zh) 手势追踪方法和装置、电子设备、计算机存储介质
CN109684925B (zh) 一种基于深度图像的人脸活体检测方法及设备
JP5715833B2 (ja) 姿勢状態推定装置および姿勢状態推定方法
CN110738101A (zh) 行为识别方法、装置及计算机可读存储介质
CN111476306A (zh) 基于人工智能的物体检测方法、装置、设备及存储介质
CN104487915A (zh) 维持扩增的连续性
JP2016099941A (ja) オブジェクト位置推定システム、及びそのプログラム
CN108027884A (zh) 优化对象检测
US20190066311A1 (en) Object tracking
CN106407978B (zh) 一种结合似物度的无约束视频中显著物体检测方法
CN110858277A (zh) 一种获得姿态分类模型的方法以及装置
CN107609571A (zh) 一种基于lark特征的自适应目标跟踪方法
CN111275734B (zh) 物体辨识与追踪系统及其方法
CN115482523A (zh) 轻量级多尺度注意力机制的小物体目标检测方法及系统
Sokolova et al. Human identification by gait from event-based camera
CN112825116B (zh) 监控视频图像人脸检测和追踪方法、装置、介质及设备
Guan et al. A video-based fall detection network by spatio-temporal joint-point model on edge devices
CN116980744B (zh) 基于特征的摄像头追踪方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160112

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

GR01 Patent grant
GR01 Patent grant