CN108022260B - 一种人脸对齐方法、装置及电子设备 - Google Patents

一种人脸对齐方法、装置及电子设备 Download PDF

Info

Publication number
CN108022260B
CN108022260B CN201610963243.4A CN201610963243A CN108022260B CN 108022260 B CN108022260 B CN 108022260B CN 201610963243 A CN201610963243 A CN 201610963243A CN 108022260 B CN108022260 B CN 108022260B
Authority
CN
China
Prior art keywords
component
posture
face
new
model tree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610963243.4A
Other languages
English (en)
Other versions
CN108022260A (zh
Inventor
熊怀欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201610963243.4A priority Critical patent/CN108022260B/zh
Publication of CN108022260A publication Critical patent/CN108022260A/zh
Application granted granted Critical
Publication of CN108022260B publication Critical patent/CN108022260B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种人脸对齐方法、装置及电子设备，涉及图像处理技术领域，用以降低ASM方法在高维参数空间里进行形状拟合时的最优搜索的难度。本发明包括：S1、对人脸进行检测，获得待处理人脸图像；S2、利用待处理人脸图像，初始化训练好的层级化组件模型树中每个组件的形状实例和姿态，获得初始形状实例和初始姿态；S3、沿训练好的层级化组件模型树，在待处理人脸图像中自上而下的搜索每个组件对应的特征点新位置，完成每个组件对应的形状实例和姿态的更新；S4、当满足迭代终止条件时，将每个组件在迭代终止时所对应的姿态特征点集在所述层级化组件模型树中的位置逐级进行复合作为人脸对齐结果；否则执行步骤S3。本发明主要用于人脸对齐技术中。

Description

一种人脸对齐方法、装置及电子设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种人脸对齐方法、装置及电子设备。
背景技术
在机器视觉领域里，将一形状或模板对齐到给定图像中对象上去的研究进行了多年。人脸对齐的目标就是将人脸二维形状或外观对应到人脸图像上去。有关人脸对齐的应用包括人脸识别，人脸跟踪，表情分析，三维人脸建模以及人脸卡通动画等。
ASM(Active Shape Model，主动形状模型)/AAM(Active Appearance Model，主动外观模型)是最具有代表性的基于模型的人脸对齐方法。通常基于模型的人脸对齐方法，都是通过预先对物体形状训练后来获得一个图像上预期摸样的先验模型。在ASM/AAM中，每个人脸形状是通过模型形状参数给出的，它采用一个迭代的过程，通过对每个特征点附近进行局部搜索最佳匹配点，进而来变形模型的实例，以找寻图像上对象的最佳姿态匹配。
虽然ASM提供了一个运用从训练样本里获取的先验知识来辅助人脸对齐的方法，但采用ASM进行人脸对其的效果好坏，则依赖于图像对象特征紧致性如何以及训练的模型对图像对象描述能力如何。传统的ASM将所有的人脸特征点当作一个整体形状看待，它强调的整体形状约束，因此，在进行人脸对齐时不得不用多个参数来描述形状的变化，这导致在高维参数空间里进行形状匹配时的最优搜索较为困难。此外传统的ASM方法只能对模型按训练集中出现过的形状样本进行变形操作，一旦在待检测图像里的对象出现了训练样本集中没出现过的变形类型，那么模型对齐将会失败。
发明内容
有鉴于此，本发明提供一种人脸对齐方法、装置及电子设备，以降低ASM 方法在高维参数空间里进行形状拟合时的最优搜索的难度。
为解决上述技术问题，本发明提供一种人脸对齐方法，包括：
S1、对人脸进行检测，获得待处理人脸图像；
S2、利用所述待处理人脸图像，初始化训练好的层级化组件模型树中每个组件的形状实例和姿态，获得初始形状实例和初始姿态；
S3、沿所述训练好的层级化组件模型树，在所述待处理人脸图像中自上而下的搜索所述每个组件对应的特征点新位置，并完成每个组件对应的形状实例和姿态的更新；
S4、当满足迭代终止条件时，将每个组件在迭代终止时所对应的姿态特征点集在所述层级化组件模型树中的位置逐级进行复合，作为人脸对齐结果；否则执行步骤S3；
其中，所述层级化组件模型树中包括至少两个组件，所述组件至少包括三个以上的不共线的人脸特征点，所述三个以上的人脸特征点用来描述人脸中一部分器官或者一个器官的轮廓；
所述迭代终止条件包括：
迭代次数达到预定值；或者
所有组件在相邻两次迭代过程中获得的形状参数之间的差异小于预设值。
其中，在所述沿所述训练好的层级化组件模型树，自上而下的搜索所述每个组件特征点新位置，并完成每个组件对应的形状实例和姿态的更新的步骤后，所述方法还包括：
S5、沿所述训练好的层级化组件模型树，自下而上的更新每个组件对应的姿态和形状实例；
所述当满足迭代终止条件时，将每个组件在迭代终止时所对应的姿态特征点集在所述层级化组件模型树中的位置逐级进行复合，作为人脸对齐结果，具体为：
将每个组件在迭代终止时所对应的自下而上更新后的姿态在所述层级化组件模型树中的位置逐级进行复合，作为人脸对齐结果；
否则执行步骤S3、S5、S4。
其中，所述沿所述训练好的层级化组件模型树，在所述待处理人脸图像中自上而下的搜索所述每个组件对应的特征点新位置，并完成每个组件对应的形状实例和姿态的更新的步骤包括：
在所述待处理人脸图像中，从所述训练好的层级化组件模型树的最上层组件开始：
对于每个上层组件，在所述上层组件附近搜索所述上层组件的姿态的各个特征点的最佳匹配点；更新所述上层组件的形状参数和姿态参数以拟合于搜索到的姿态特征点匹配点集，获得所述上层组件的新的形状实例和新的姿态；
对于每个子组件，缩放和平移所述每个子组件的当前姿态，以适应于所述每个子组件在对应的上层组件中的新的姿态中该组件的位置和大小；
在所述每个子组件的当前姿态的各个特征点附近搜索最佳匹配点，获得每个子组件新的姿态特征点匹配点集；
更新所述每个子组件的形状参数和姿态参数以拟合于所述每个组件搜索到的新的姿态特征点匹配点集，获得所述每个子组件的新的形状实例和新的姿态。
其中，所述沿所述训练好的层级化组件模型树，自下而上的更新每个组件对应的姿态和形状实例的步骤，包括：
从所述训练好的层级化组件模型树的最底层开始：
对于每个底层组件，计算每个底层组件的外接矩形框；
利用所述每个底层组件的外接矩形框，更新所述每个底层组件对应的上层组件中所有子组件的外接矩形框特征量，获得所述上层组件的姿态的新的特征点集；
更新所述上层组件以匹配于获得的所述上层组件的姿态的新的特征点集，得到所述上层组件的新的形状实例和新的姿态。
其中，在所述对人脸进行检测，获得待处理人脸图像的步骤前，所述方法还包括：
S7、将人脸特征点集合分解构建为层级化组件模型树；
S8、利用主动形状模型ASM训练方法，利用训练样本人脸图像中的所有人脸特征点，对所述层级化组件模型树中各个组件进行训练，获得训练好的层级化组件模型树；
其中，所述训练好的层级化组件模型树的除最底层组件之外的组件中还包括一个以上的子组件。
其中，所述将人脸特征点集合分解构建为层级化组件模型树步骤，包括：
将所述人脸特征点划分到不同层次的组件模型中，形成所述层级化组件模型树，并满足如下条件：
每个特征点只能从属于一个组件；
除最上层组件外，每个子组件只能从属于一个上层组件；
每个子组件在直属的上层组件里蜕化为能标征每个子组件的位置和大小的特征量。
第二方面，本发明提供一种人脸对齐装置，包括：
人脸检测模块，被配置为对人脸进行检测，获得待处理人脸图像；
初始化模块，被配置为利用所述待处理人脸图像，初始化训练好的层级化组件模型树中每个组件的形状实例和姿态，获得初始形状实例和初始姿态；
搜索模块，被配置为沿所述训练好的层级化组件模型树，在所述待处理人脸图像中自上而下的搜索所述每个组件对应的特征点新位置，并完成每个组件对应的形状实例和姿态的更新；
处理模块，被配置为当满足迭代终止条件时，将每个组件在迭代终止时所对应的姿态特征点集在所述层级化组件模型树中的位置逐级进行复合，作为人脸对齐结果；否则重复触发搜索模块进行搜索；
其中，所述层级化组件模型树中包括至少两个组件，所述组件至少包括三个以上的不共线的人脸特征点，所述三个以上的人脸特征点用来描述人脸中一部分器官或者一个器官的轮廓；
所述迭代终止条件包括：
迭代次数达到预定值；或者
所有组件在相邻两次迭代过程中获得的形状参数之间的差异小于预设值。
其中，所述人脸对齐装置还包括：
更新模块，被配置为沿所述训练好的层级化组件模型树，自下而上的更新每个组件对应的姿态和形状实例；
所述处理模块被配置为将每个组件在迭代终止时所对应的自下而上更新后的姿态在所述层级化组件模型树中的位置逐级进行复合，作为人脸对齐结果；否则重复触发搜索模块、更新模块、处理模块工作。
其中，所述搜索模块被配置为：
在所述待处理人脸图像中，从所述训练好的层级化组件模型树的最上层组件开始：
对于每个上层组件，在所述上层组件附近搜索所述上层组件的姿态的各个特征点的最佳匹配点；更新所述上层组件的形状参数和姿态参数以拟合于搜索到的姿态特征点匹配点集，获得所述上层组件的新的形状实例和新的姿态；
对于每个子组件，缩放和平移所述每个子组件的当前姿态，以适应于所述每个子组件对应的上层组件中的新的姿态中该组件的位置和大小；
在所述每个子组件的当前姿态的各个特征点附近搜索最佳匹配点，获得每个子组件新的姿态特征点匹配点集；
更新所述每个子组件的形状参数和姿态参数以拟合于所述每个组件搜索到的新的姿态特征点匹配点集，获得所述每个子组件的新的形状实例和新的姿态。
其中，所述更新模块被配置为：
从所述训练好的层级化组件模型树的最底层开始：
对于每个底层组件，计算每个底层组件的外接矩形框；
利用所述每个底层组件的外接矩形框，更新所述每个底层组件对应的上层组件中所有子组件的外接矩形框特征量，获得所述上层组件的姿态的新的特征点集；
更新所述上层组件以匹配于获得的所述上层组件的姿态的新的特征点集，得到所述上层组件的新的形状实例和新的姿态。
其中，所述人脸对齐装置还包括：
生成模块，被配置为将人脸特征点集合分解构建为层级化组件模型树；
训练模块，被配置为利用主动形状模型ASM训练方法，利用训练样本人脸图像中的所有人脸特征点，对所述层级化组件模型树中各个组件进行训练，获得训练好的层级化组件模型树；
其中，所述训练好的层级化组件模型树的除最底层组件之外的组件中还包括一个以上的子组件。
其中，所述生成模块被配置为：将所述人脸特征点划分到不同层次的组件模型中，形成所述层级化组件模型树，并满足如下条件：
每个特征点只能从属于一个组件；
除最上层组件外，每个子组件只能从属于一个上层组件；
每个子组件在直属的上层组件里蜕化为能标征每个子组件的位置和大小的特征量。
第三方面，本发明提供一种电子设备，包括：
在所述存储器中存储有计算机程序指令,且当所述计算机程序指令被所述处理器执行时进行如下步骤：
S1、对人脸进行检测，获得待处理人脸图像；
S2、利用所述待处理人脸图像，初始化训练好的层级化组件模型树中每个组件的形状实例和姿态，获得初始形状实例和初始姿态；
S3、沿所述训练好的层级化组件模型树，在所述待处理人脸图像中自上而下的搜索所述每个组件对应的特征点新位置，并完成每个组件对应的形状实例和姿态的更新；
S4、当满足迭代终止条件时，将每个组件在迭代终止时所对应的姿态特征点集在所述层级化组件模型树中的位置逐级进行复合，作为人脸对齐结果；否则执行步骤S3；
其中，所述层级化组件模型树中包括至少两个组件，所述组件至少包括三个以上的不共线的人脸特征点，所述三个以上的人脸特征点用来描述人脸中一部分器官或者一个器官的轮廓；
所述迭代终止条件包括：
迭代次数达到预定值；或者
所有组件在相邻两次迭代过程中获得的形状参数之间的差异小于预设值。
本发明的上述技术方案的有益效果如下：
在本发明实施例中，由于采用了层级化组件模型树的形式，将人脸特征点划分到不同的组件中，单个组件其特征点数目减少，其对应的形状模型参数也就减少，因而在形状实例拟合更新或姿态拟合更新时大大降低了原来高维参数空间里参数寻优搜索的难度。
附图说明
图1为本发明实施例一的人脸对齐方法的流程图；
图2(a)为76个特征点的人脸模型；图2(b)为68个点ASM方法人脸对齐结果示意图；
图3为本发明实施例二的人脸对齐方法的流程图；
图4(a)-(c)为组件的示意图；
图5(a)-(c)为层级化组件模型树的示意图；
图6为初始化以及沿着层级化组件模型树自上向下进行姿态更新搜索的流程图；
图7为沿着层级化组件模型树自下而上进行更新的流程图；
图8为本发明实施例三的一种人脸对齐装置的示意图之一；
图9为本发明实施例三的一种人脸对齐装置的示意图之二；
图10为本发明实施例三的一种人脸对齐装置的示意图之三；
图11为本发明实施例四的电子设备的示意图。
具体实施方式
下面将结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
经实践证明，不同姿态下的人脸包含有一些相对稳定的结构的，在此将其称之为组件，比如鼻子或嘴。2个或3个组件在一定约束下可复合或组合形成以一个更大的相对稳定的结构。
基于上面的思想，我们把人脸特征点集合分解重新组织后形成一棵层级组件树，称为层级化组件模型树。树中的每个组件即每个节点，都对应于不同细节程度级上一个相对稳定的人脸结构。每个组件的尺寸和位置允许有一定的变形，并且每个组件内部的人脸特征点也允许有一定的姿态变形。每个组件又可以包括子组件，此时组件可以称为子组件的父组件或者上层组件或者复合组件。
在不减少这些组件可能相互组合所形成姿态的数量下，利用本发明实施例的方案却能极大地减少单个人脸样本实例的数量。同时层级化结构的组件树看起来也具有了从粗到精的进化过程，这为接下来的形状搜索提供了一个合理的模型基础。以下，结合各实施例详细描述一下本发明的人脸对齐方法的实现过程。
实施例一
如图1所示，本发明实施例一的人脸对齐方法，包括：
步骤101、对人脸进行检测，获得待处理人脸图像。
其中，人脸检测可通过人脸级联分类器结合HAAR(哈尔)特征或HOG (Histogramof Oriented Gradient，方向梯度直方图)特征或HOG-LBP(Local Binary Pattern，局部二值模式)特征来完成。通过人脸检测可返回一个矩形框，以表明每个被检查到的人脸位置和大小，这将作为层级化组件模型树中最上层形状组件的初始位置。
步骤102、利用所述待处理人脸图像，初始化训练好的层级化组件模型树中每个组件的形状实例和姿态，获得初始形状实例和初始姿态。
其中，所述层级化组件模型树中包括至少两个组件，所述组件至少包括三个以上的不共线的人脸特征点，所述三个以上的人脸特征点用来描述人脸中一部分器官或者一个器官的轮廓。
本发明实施例中，组件是最小的语义形状单位。每个组件至少都包含一组人脸特征点，以代表人脸的一部分器官或一个器官的轮廓。不同组件代表不同的细节程度。所有的人脸特征点都将分配到不同的组件里去。每个组件则可以通过联合或复合其它组件(子组件)来组合形成上层组件(上层组件也称为复合组件或父组件)，上层组件又可以和其它组件组合成为更上层的组件。
因此，每个组件可表示为PC(x1，x2，…xk，yk，C1，C2，..Cm)，k>＝3， m>＝0，意思为这个组件包含“k”个特征点(xi,yi)，“m”个子组件Ci。注意的是在一个组件内的所有特征点不能在一条直线上。
同时，若一个子组件归属于2个或2个以上的父组件，将会破坏层级化单向特征，给人脸对齐过程带去形状更新的困惑。因此，在本发明实施例中，所有的组件都将属于而且只能属于单一的父组件(最上层的组件除外)。也即，最上层的组件没有任何父组件。
由此所有的组件将通过组合和复合形成一个层级化状的树形结构，故我们完成了传统ASM无语义并且单一的点模型的转换，形成了层级化组件模型树。层级化组件模型树中的组件利用ASM模型训练方法进行训练，获得训练好的层级化组件模型树。
通过训练可以得到每个组件模型的平均形状
Figure BDA0001144387740000091
以及特征向量构成的特征矩阵Pi，由此可通过控制每个组件的形状参数bi来获得不同的人脸组件的形状实例：
Figure BDA0001144387740000092
在进行初始化层级化组件模型树时，沿着组件模型树自上而下逐层进行。
将每个组件对应的形状参数bi设置为0，获得每个组件对应的初始形状实例
Figure BDA0001144387740000093
然后，再对初始形状实例进行平移和旋转缩放操作以对准该组件的外接矩形框，获得初始姿态。即对每个初始形状实例按照P＝T(Si)操作，此处T(·)代表平移和旋转缩放变换。不同的组件对象，每次姿态更新里都对应不同的平移和旋转缩放变换T(·)。
顶层组件的外接矩形框为人脸检测中所返回的矩形位置，而所有子组件的外接矩形框则从它父组件的姿态里找寻出对应的外接矩形位置和大小。
步骤103、沿所述训练好的层级化组件模型树，在所述待处理人脸图像中自上而下的搜索所述每个组件对应的特征点新位置，并完成每个组件对应的形状实例和姿态的更新。
在此步骤中，在所述待处理人脸图像中，从所述训练好的层级化组件模型树的最上层组件开始：
对于每个上层组件，在所述上层组件附近搜索所述上层组件的姿态的各个特征点的最佳匹配点；更新所述上层组件的形状参数和姿态参数以拟合于搜索到的姿态特征点匹配点集，获得所述上层组件的新的形状实例和新的姿态；
对于每个子组件，缩放和平移所述每个子组件的当前姿态，以适应于所述每个子组件在对应的上层组件中的新的姿态中该组件的位置和大小；
在所述每个子组件的当前姿态的各个特征点附近搜索最佳匹配点，获得每个子组件新的姿态特征点匹配点集；
更新所述每个子组件的形状参数和姿态参数以拟合于所述每个组件搜索到的新的姿态特征点匹配点集，获得所述每个子组件的新的形状实例和新的姿态。
在执行完步骤103后进行迭代判断，确定迭代是否终止。其中，迭代终止的条件可以为如下一个但并不局限于：迭代次数达到预定值；在相邻两次的迭代里是否获得了几乎相似的形状参数(对所有的组件形状)。也即如果迭代次数达到了预定值，或者所有组件在相邻两次迭代过程中获得的形状参数之间的差异小于预设值，可终止迭代；否则继续步骤103的迭代过程。其中，该预定值或者预设值可按精度要求任意设置。
步骤104、当满足迭代终止条件时，将每个组件在迭代终止时所对应的姿态特征点集在所述层级化组件模型树中的位置逐级进行复合，作为人脸对齐结果；否则执行步骤103。
通过以上描述可以看出，在本发明实施例中，由于采用了层级化组件模型树的形式，将人脸特征点划分到不同的组件中，单个组件其特征点数目减少，其对应的形状模型参数也就减少，因而在形状实例拟合更新或姿态拟合更新时大大降低了原来高维参数空间里参数寻优搜索的难度。此外得益于组件的组合特性，在确保样本覆盖性的同时，也大大减少了训练样本的数量。
在此，首先对传统的ASM人脸对齐算法做一简单介绍。
ASM是最具有代表性的基于模型的人脸对齐方法。它是通过预先对物体形状训练后来获得一个图像上预期摸样的先验模型，并尝试在一新的图像上找到和这个模型最佳的匹配。
在ASM算法里，形状是包含n个点(xi，yi)的“2n”维向量X＝{x1，y1， x2，y2，…xn，yn}。这些点并不具有任何语义的概念，甚至其前后顺序都不重要，它们是作为一个整体来获得其平均形状
Figure BDA0001144387740000101
和维系整体形状的合理变化的形状约束，这就是ASM的形状点分布模型。
这个模型的训练包含2个步骤，一是将所有的训练形状都对齐到指定样本，另一步骤则是采用PCA(Principal Component Analysis，主成分分析)降维算子将数据的维数从2n减少到t。最终，任何一个形状都可表达为：
Figure BDA0001144387740000102
此处，
Figure BDA0001144387740000103
是平均形状，P＝(p1|p2|...|pt)是包含协方差矩阵的“t”个特征向量，“b”则是控制形状模型变化的t维形状参数。此处X也被通常称为一个形状模型的形状实例。形状实例X通过平移和旋转缩放操作，可得到该形状的一个姿态P＝T(X)，此处T(·)代表平移和旋转缩放变换，包含4参数,旋转角﹑缩放尺度﹑x和y方向平移量。
人脸对齐，就是移动每个人脸特征点到输入的人脸图像的对应地方上的过程。通常人脸特征点主要包括人脸的脸庞，眉毛眼睛鼻子和嘴的轮廓离散点。图2(a)是76个特征点的人脸模型。图2(b)是68个点ASM方法人脸对齐结果。
ASM模型中的形状点是无语义的。一个ASM模型的好坏则取决于图像中对象特征的紧致性如何以及训练的模型对图像对象描述能力如何。事实上一张人脸形状如图2(a)所示是高度语义化的柔性结构，因此如何利用这些语义的特征的优势以及ASM模型的优势来提升人脸对齐效果是非常有意义的事情。
在前述的层级化组件模型树的思想的基础上，还考虑到在实际应用中，人们对一张特定的人脸清晰地的认知并不只是对局部细节的观察，同时也伴随着对人脸在整体与局部间的来回的观察。因此，在层级化组件模型树的指导下，本发明实施例沿着层级化组件模型树从上到下的在图像里进行姿态搜寻，并当所有的组件姿态搜寻结束后，又沿着层级化组件模型树从下到上的对每个组件的形状与姿态进行更新，由此达到整体指导局部，局部影响整体的效果。在从上到下以及从下到上的过程中，所有组件的形状和它对应的姿态都将在训练好的层级化组件模型树的约束下被更新2次。同传统的ASM单一的点模型比，利用本发明实施例的方案让局部和整体有了更多的机会获得更好的匹配。
实施例二
如图3所示，本发明实施例二的人脸对齐方法，包括：
步骤301、将人脸特征点集合分解构建为层级化组件模型树。
将所述人脸特征点划分到不同层次的组件模型中，形成所述层级化组件模型树。
如前所述，本发明实施例中，组件是最小的语义形状单位。每个组件至少都包含一组人脸特征点，以代表人脸的一部分器官或一个器官的轮廓。不同组件代表不同的细节程度。所有的人脸特征点都将分配到不同的组件里去。每个组件则可以通过联合或复合其它组件(子组件)来组合形成上层组件(上层组件也称为复合组件或父组件)，上层组件又可以和其它组件组合成为更上层的组件。
因此，每个组件可表示为PC(x1，x2，…xk，yk，C1，C2，..Cm)，k>＝3， m>＝0，意思为这个组件包含“k”个特征点(xi,yi)，“m”个子组件Ci。注意的是在一个组件内的所有特征点不能在一条直线上。
同时，若一个子组件归属于2个或2个以上的父组件，将会破坏层级化单向特征，给人脸对齐过程带去形状更新的困惑。因此，在本发明实施例中，所有的组件都将属于而且只能属于单一的父组件(最上层的组件除外)。也即，最上层的组件没有任何父组件。每个子组件在直属的上层组件里蜕化为能标征每个子组件的位置和大小的特征量。
由此所有的组件将通过组合和复合形成一个层级化状的树形结构，故我们完成了传统ASM无语义并且单一的点模型的转换，形成了层级化组件模型树。
图4(a)示出了一个有效组件示例。在该组件中包含15个人脸脸庞的特征点、1个由眉毛眼睛鼻子和嘴共同复合而成的组件。此图中子组件用一个带有位置和大小的黑色矩形框表达。显然地，图4(a)图所示的组件是个上层的人脸复合组件。图4(b)是一个无效的组件示例，因为它只包括子组件而不包括任何人脸特征点。图4(c)也是一个无效的组件示例，因为子组件(嘴) 不恰当地被指派给了2个父组件(用椭圆表示)。
人脸组件的划分主要基于2个方面效果来进行的，即每个组件内部形状特征点的聚集的紧致性如何，也就是稳定性，还有这个组件模型在空间上与其它组件关系的可塑性。图5(a)是一个具体化的人脸组件划分示意图。一张人脸(所有的特征点)可通过3个组件模型S1，S11和S111的组合来表示。组件S1不单描述了人脸脸庞的轮廓点，同时也记录了子组件S11的尺寸大小和位置信息。组件S11也记录了子组件S111(鼻子)的大小和位置信息，以及除鼻子之外的其它人脸特征点。组件S111则只包含了鼻子的特征点信息。这三个组件构成了一棵层级化的树形结构，可表示为图5(b)三层树模型。在图5(b)中p1p2，p3代表三个特征点集，c1c2则是子组件。图5(c)是另一种人脸层级化组件模型树的划分样例，形成了另一棵层级化组件模型树。
步骤302、对所述层级化组件模型树进行训练，获得训练好的层级化组件模型树。
在进行训练时，对单个组件模型的训练采用ASM模型训练方法，即先进行数据对齐操作，然后再采用PCA进行降维处理。
为完成每个复合组件形状的模型训练，在一个复合组件内所有的子组件都将各自提取出一个特征向量来代表每个子组件的位置和尺寸，比如用子组件的外接矩形框的4个角点作为属性向量。这些子组件的特征向量和这个复合组件内的形状特征点将形成一个新的形状向量X＝{x1，y1，x2，y2，…xk，yk，C11，...， C18，，...}。此处C1i，i∈(1，8)是每个子组件外接矩形框顶点的横纵坐标。这样所有的组件都可以形式地按照普通ASM形状模型一样的进行训练。此处子组件的特征向量也可采用其外接矩形框左上角角点和矩形框宽和高共4维特征向量表示。由于子组件的特征量并不代表一个真实的坐标点(可以是宽和高)，因此在采用ASM模型训练时它们并不象其它人脸特点一样构建局部纹理并进行特征训练。
通过训练可以得到每个组件模型的平均形状
Figure BDA0001144387740000131
以及特征向量构成的特征矩阵Pi，由此可通过控制每个组件的形状参数bi来获得不同的人脸组件的形状实例：
Figure BDA0001144387740000132
步骤303、对人脸进行检测，获得待处理人脸图像。
其中，人脸检测可通过人脸级联分类器结合HAAR特征或HOG特征或 HOG-LBP特征来完成。通过人脸检测可返回一个矩形框，以表明每个被检查到的人脸位置和大小，这将作为最上层形状组件的初始位置。
步骤304、利用所述待处理人脸图像，初始化训练好的层级化组件模型树中每个组件的形状实例和姿态，获得初始形状实例和初始姿态。
步骤305、沿所述训练好的层级化组件模型树，在所述待处理人脸图像中自上而下的搜索所述每个组件对应的特征点新位置，并完成每个组件对应的形状实例和姿态的更新。
在此步骤中，在所述待处理人脸图像中，从所述训练好的层级化组件模型树的最上层组件开始：
对于每个上层组件，在所述上层组件附近搜索所述上层组件的姿态的各个特征点的最佳匹配点；更新所述上层组件的形状参数和姿态参数以拟合于搜索到的姿态特征点匹配点集，获得所述上层组件的新的形状实例和新的姿态；
对于每个子组件，缩放和平移所述每个子组件的当前姿态，以适应于所述每个子组件对应的上层组件中的新的姿态中该组件的位置和大小；
在所述每个子组件的当前姿态的各个特征点附近搜索最佳匹配点，获得每个子组件新的姿态特征点匹配点集；
更新所述每个子组件的形状参数和姿态参数以拟合于所述每个组件搜索到的新的姿态特征点匹配点集，获得所述每个子组件的新的形状实例和新的姿态。
步骤306、沿所述训练好的层级化组件模型树，自下而上的更新每个组件对应的姿态和形状实例。
在此步骤中，从所述训练好的层级化组件模型树的最底层开始：
对于每个底层组件，计算每个底层组件的外接矩形框。利用所述每个底层组件的外接矩形框，更新所述每个底层组件对应的上层组件中所有子组件的外接矩形框特征量，获得所述上层组件的姿态的新的点集(仅所有子组件特征向量分量发生改变)。更新所述上层组件以匹配于获得的所述上层组件新的姿态的新的特征点集，得到所述上层组件的新的形状实例和新的姿态。
步骤307、当满足迭代终止条件时，将每个组件在迭代终止时所对应的姿态特征点集在所述层级化组件模型树中的位置逐级进行复合，作为人脸对齐结果；否则返回到步骤305，继续进行迭代。
所有组件里的特征点聚集在一起构成了当前人脸的一个姿态表达。在继续下一迭代前，进行收敛性的判断。迭代终止的条件可以为如下一个但并不局限于：迭代次数达到预定值；在相邻两次的迭代里是否获得了几乎相似的形状参数(对所有的组件形状)。也即如果迭代次数达到了预定值，或者所有组件在相邻两次迭代过程中获得的形状参数之间的差异小于预设值，可终止迭代；否则继续步骤305-307的迭代过程。其中，该预定值或者预设值可按精度要求任意设置。
以下，以图5(b)所示人脸组件模型作为样例来说明如何通过层级化组件模型树来实现人脸对齐的，也即步骤304-306的详细过程。
如图6所示，给出了对应于图5(b)中模型来实现所有组件形状的初始化以及对应姿态从上而下的搜索的过程。具体包括：
S11、初始化模型形状实例S1和对应姿态P1:
初始化组件“S1”的形状参数“b1”为0，可得到组件“S1”形状实例
Figure BDA0001144387740000151
Figure BDA0001144387740000152
我们平移和缩放形状实例S1，以对齐人脸检测模块返回的人脸矩形框，就可以得到形状实例S1对应的初始化姿态P1。
S12、初始化模型形状实例S11和对应姿态P11:
令组件“S11”的形状参数“b11”为0，得到子组件“S11”形状实例
Figure BDA0001144387740000153
Figure BDA0001144387740000154
然后从组件“S1”的初始化姿态P1里取出子组件“C1”的外接矩形框坐标，让形状实例S11通过缩放和平移的方式对齐到“C1”的外接矩形框里去，由此得到组件“S11”的初始化姿态P11。
S13、初始化模型形状实例S111和姿态P111:
令组件“S11”的形状参数“b111”为0，得到子组件“S111”形状实例
Figure BDA0001144387740000155
然后从组件“S11”的初始化姿态P11里取出子组件“C2”的外接矩形框坐标，让形状实例S111通过缩放和平移的方式对齐到“C2”的外接矩形框里去，由此得到组件“S111”的初始化姿态P111。
至此，沿着层级化组件树模型自上而下的完成了所有组件的初始化形状实例和对应的姿态的过程。
以下，S21到S29实现了姿态和形状沿着层级化组件树模型自上而下在图像里的搜索更新过程。具体如下：
S21、在图像中搜索姿态P1里各个特征点的新位置，得到姿态P1s。
S22、基于移动量P1s-P1来更新形状实例S1和姿态P1。
其中，步骤S21和步骤S22的过程与ASM算法中的过程相同。唯一的区别点在于，在本发明实施例中只对组件“S1”中的人脸轮廓上的每个特征点搜索更好的位置点，并基于前后姿态的特征点位置位移变化P1s-P1(子组件C1 的特征向量此刻保持与姿态P1中的一致，因此对姿态P1的移动只集中在每个特征点位置的变动上)来更新此时的形状S1和姿态P1。
经过S22后得到了更新后的姿态P1。接着开始第2层组件模型形状的搜索。
S23、从姿态P1中取出子组件C1的外接矩形框(此刻已经更新)，并令姿态P11经过缩放平移对齐到该矩形框。
S24、在图像中搜索姿态P11中特征点的新位置，得到P11s。
S25、基于移动量P11s-P11来更新形状实例S11和姿态P11。
S26、从姿态P11中取出子组件C2的外接矩形框，并令姿态P111经过缩放平移对齐到该矩形框。
S27、在图像中搜索姿态P111中特征点的新位置，得到P111s。
S28、基于移动量P111s-P111来更新形状实例S111和姿态P111。
S21-S29采用类似的处理操作来实现组件形状和姿态的搜索。搜索方向是沿着层级化组件树模型至上到下进行的。当完成当前层所有组件形状的搜索后，接着开始下一层每个组件形状和姿态的搜索直到最后一层所有组件形状搜索结束(在本例里，最后一层的最后一个组件是“S111”)。
图7给出了对应于图5(b)中模型来实现所有的组件沿着层级化组件模型树自下而上完成形状实例Si和姿态Pi更新的过程。具体如下：
S31、计算姿态P111外接矩形框并更新父模型P11里对应特征数据得到 P11c：
位于层级化组件模型树的最底层的一个组件是“S111”。当完成姿态P111 自上而下的搜索后，可计算出其作为组件的外接矩形框，然后更新它在父组件的姿态P11里对应的特征向量，从而得到新的姿态P11c(P11c里的特征点数据保持和原先P11里的一致，只有子组件C1的特征向量和原来的不同)。
S32、基于P11c-P11更新形状实例S11和姿态P11：
在完成父组件P11所有子组件的特征向量更新完毕后，基于移动量P11c- P11来更新形状实例S11和对应的姿态P11。
S33、计算姿态P11外接矩形框，更新父模型姿态P1得到P1c：
计算姿态P11的外接矩形框，并更新它在父组件姿态P1里对应的特征向量，得到新的姿态P1c。
S34、基于P1c-P1更新形状实例S1和姿态P1：
基于移动量P1c-P1来更新形状实例S1和对应的姿态P1。
至此，完了成上层组件形状实例和对应姿态的更新。更新方向是沿着层级化组件树模型自下而上逐层进行的。在完成当前层所有组件形成的更新后，才开始上一层组件形状和姿态的更新直到最上层组件形状和姿态更新完毕。
在层级化组件模型自上而下的搜索更新里，对所有组件进行操作的方式可采用“深度优先”或“宽度优先”技术，在本发明实施例中对此并不进行限定。
本发明实施例的方法可用于多种应用系统，比如人脸卡通动画，人脸表情识别，人脸属性分析等。
综上可以看出，本发明实施例与现有ASM算法最重要的区别就是：对人脸结构进行的层级化的带有语义的组件树模型的建立，进而描述了局部与整体的关系，转换了点到点的强约束为组件与组件间的约束，因此极大的减少了训练中人脸形状样本的数量。在没有增加训练样本容量的前提下，利用本发明实施例的方案通过组件的组合可获得更多的可能的姿态组合。
例如，如果有2个组件A和B来构成一张人脸模型，A是B的父组件。如果A中的特征点集有10个形状变化，而B组件的尺寸和位置有20个变化，并且B内部有1000个不同的姿态形状，那么将会有10*20*1000＝200000组合的可能。为了覆盖住这些组合的形状，对于传统的ASM模型来说至少需要 200000个对应的不同训练样本,因为每个样本只能代表一个组合，但在本发明里我们只需要10*20+1000＝1200训练样本即可。
本发明实施例中自上而下的操作，主要是在图像里实现每个组件里的每个特征点搜寻到更好的匹配位置并更好完成形状实例和姿态的更新，自下而上则是将低层组件的位置特征的变化传递到上层组件里去。无论是自上而下的姿态搜索还是自下而上的形状更新，一旦一个组件的姿态向量发生变化，无论是特征点位置在图像上的移动引起的，还是因为每个子组件外接矩形框发生的变化，都将采用训练得到的全局的形状约束，来变形它的形状和更新它对应得姿态，以确保新的形状实例和原始的训练样本保持一定的形似性。在一个组件形变之后的新的姿态，也将把它的改变顺势传递到层级化树结构里所有与它直接关联的子组件或者父组件上去。因此在从上到下以及从下到上的过程中，所有组件的形状和它对应得姿态都将在训练模型的约束下被更新2次。
因此，同传统的ASM单一的点模型比，本发明实施例的方案让局部和整体有了更多的机会获得更好的匹配。本质上地，ASM形状拟合是在高维参数空间里去找寻合适的参数来变化形状实例以找寻到图像里的最佳匹配，这种从上到下以及从下到上则是在高维参数空间里寻优的一种改进。它采用了类似动态规划的思想来将全局优化分解成为不同细节级上的局部优化，从而在不失有效性同时大大分解了高维参数空间里形状优化的难度。
在本发明实施例中，沿着层级化组件树模型至上而下的搜寻和自下而上的更新机制，减小了在高维参数空间里优化的难度，同时，这种搜索和更新的处理充分的运用了训练模型中的约束知识，达到了整体指导局部，局部影响整体的效果，不仅加速了收敛的进度，同时也提高了形状拟合的精度。
实施例三
如图8所示，本发明实施例三的一种人脸对齐装置，包括：
人脸检测模块801，被配置为对人脸进行检测，获得待处理人脸图像；初始化模块802，被配置为利用所述待处理人脸图像，初始化训练好的层级化组件模型树中每个组件的形状实例和姿态，获得初始形状实例和初始姿态；搜索模块803，被配置为沿所述训练好的层级化组件模型树，在所述待处理人脸图像中自上而下的搜索所述每个组件对应的特征点新位置，并完成每个组件对应的形状实例和姿态的更新；处理模块804，被配置为当满足迭代终止条件时，将每个组件在迭代终止时所对应的姿态特征点集在所述层级化组件模型树中的位置逐级进行复合，作为人脸对齐结果；否则重复触发搜索模块进行搜索。
其中，所述层级化组件模型树中包括至少两个组件，所述组件至少包括三个以上的不共线的人脸特征点，所述三个以上的人脸特征点用来描述人脸中一部分器官或者一个器官的轮廓；
所述迭代终止条件包括：
迭代次数达到预定值；或者
所有组件在相邻两次迭代过程中获得的形状参数之间的差异小于预设值。
如图9所示，所述装置还可包括：更新模块805，被配置为沿所述训练好的层级化组件模型树，自下而上的更新每个组件对应的姿态和形状实例。具体的，所述处理模块804具体被配置为所述处理模块被配置为将每个组件在迭代终止时所对应的自下而上更新后的姿态在所述层级化组件模型树中的位置逐级进行复合，作为人脸对齐结果；否则重复触发搜索模块、更新模块、处理模块工作。
其中，所述搜索模块803具体用于：
在所述待处理人脸图像中，从所述训练好的层级化组件模型树的最上层组件开始：
对于每个上层组件，在所述上层组件附近搜索所述上层组件的姿态的各个特征点的最佳匹配点；更新所述上层组件的形状参数和姿态参数以拟合于搜索到的姿态特征点匹配点集，获得所述上层组件的新的形状实例和新的姿态；
对于每个子组件，缩放和平移所述每个子组件的当前姿态，以适应于所述每个子组件对应的上层组件中的新的姿态中该组件的位置和大小；
在所述每个子组件的当前姿态的各个特征点附近搜索最佳匹配点，获得每个子组件新的姿态特征点匹配点集；
更新所述每个子组件的形状参数和姿态参数以拟合于所述每个组件搜索到的新的姿态特征点匹配点集，获得所述每个子组件的新的形状实例和新的姿态。
其中，所述更新模块805具体用于：
从所述训练好的层级化组件模型树的最底层开始：
对于每个底层组件，计算每个底层组件的外接矩形框；
利用所述每个底层组件的外接矩形框，更新所述每个底层组件对应的上层组件中所有子组件的外接矩形框特征量，获得所述上层组件的姿态的新的特征点集；
更新所述上层组件以匹配于获得的所述上层组件的姿态的新的特征点集，得到所述上层组件的新的形状实例和新的姿态。
如图10所示，所述装置还包括：
生成模块806，被配置为将人脸特征点集合分解构建为层级化组件模型树；训练模块807，被配置为利用主动形状模型ASM训练方法，利用训练样本人脸图像中的所有人脸特征点，对所述层级化组件模型树中各个组件进行训练，获得训练好的层级化组件模型树。其中，所述训练好的层级化组件模型树的除最底层组件之外的组件中还包括一个以上的子组件。
其中，所述生成模块806被配置为：将所述人脸特征点划分到不同层次的组件模型中，形成所述层级化组件模型树，并满足如下条件：
每个特征点只能从属于一个组件；
除最上层组件外，每个子组件只能从属于一个上层组件；
每个子组件在直属的上层组件里蜕化为能标征每个子组件的位置和大小的特征量。
如前所述，所述迭代终止条件包括：迭代次数达到预定值；或者所有组件在相邻两次迭代过程中获得的形状参数之间的差异小于预设值。
本发明所述装置的工作原理可参照前述方法实施例的描述。
通过以上描述可以看出，在本发明实施例中，由于采用了层级化组件模型树的形式，将人脸特征点划分到不同的组件中，单个组件其特征点数目减少，其对应的形状模型参数也就减少，因而在形状实例拟合更新或姿态拟合更新时大大降低了原来高维参数空间里参数寻优搜索的难度。而且，通过自下而上的更新过程，还可提高人脸对齐的精度。
实施例四
如图11所示，本发明实施例四还提供了一种电子设备，可以实现本发明图1所示实施例的流程。所述电子设备可以是个人电脑(PC)，平板电脑以及各种智能设备(包括智能手机)等。如图11所示，上述电子设备可以包括：壳体1101、处理器1102、存储器1103、电路板1104和电源电路1107，其中，电路板1104安置在壳体1101围成的空间内部，处理器1102和存储器1103设置在电路板1104上；电源电路1105，用于为上述电子设备的各个电路或器件供电；存储器1103用于存储有计算机程序指令；存储器1103，耦合于所述处理器1102；其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器1102用于执行以下步骤：
S1、对人脸进行检测，获得待处理人脸图像；
S2、利用所述待处理人脸图像，初始化训练好的层级化组件模型树中每个组件的形状实例和姿态，获得初始形状实例和初始姿态；
S3、沿所述训练好的层级化组件模型树，在所述待处理人脸图像中自上而下的搜索所述每个组件对应的特征点新位置，并完成每个组件对应的形状实例和姿态的更新；
S4、当满足迭代终止条件时，将每个组件在迭代终止时所对应的姿态特征点集在所述层级化组件模型树中的位置逐级进行复合，作为人脸对齐结果；否则执行步骤S3；
其中，所述层级化组件模型树中包括至少两个组件，所述组件至少包括三个以上的不共线的人脸特征点，所述三个以上的人脸特征点用来描述人脸中一部分器官或者一个器官的轮廓；
所述迭代终止条件包括：
迭代次数达到预定值；或者
所有组件在相邻两次迭代过程中获得的形状参数之间的差异小于预设值。
需要注意的是，本发明实施例的方案只是以人脸对齐为典型应用，但是在具体应用中并不局限于人脸对齐，其它但凡涉及到ASM形状对齐的场景均可运用。
在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器 (Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种人脸对齐方法，其特征在于，包括：
S1、对人脸进行检测，获得待处理人脸图像；
S2、利用所述待处理人脸图像，初始化训练好的层级化组件模型树中每个组件的形状实例和姿态，获得初始形状实例和初始姿态；
S3、沿所述训练好的层级化组件模型树，在所述待处理人脸图像中自上而下的搜索所述每个组件对应的特征点新位置，并完成每个组件对应的形状实例和姿态的更新，该步骤S3包括：
在所述待处理人脸图像中，从所述训练好的层级化组件模型树的最上层组件开始：
对于每个上层组件，在所述上层组件附近搜索所述上层组件的姿态的各个特征点的最佳匹配点；更新所述上层组件的形状参数和姿态参数以拟合于搜索到的姿态特征点匹配点集，获得所述上层组件的新的形状实例和新的姿态；
对于每个子组件，缩放和平移所述每个子组件的当前姿态，以适应于所述每个子组件在对应的上层组件中的新的姿态中该组件的位置和大小；
在所述每个子组件的当前姿态的各个特征点附近搜索最佳匹配点，获得每个子组件新的姿态特征点匹配点集；
更新所述每个子组件的形状参数和姿态参数以拟合于所述每个组件搜索到的新的姿态特征点匹配点集，获得所述每个子组件的新的形状实例和新的姿态；
S5、沿所述训练好的层级化组件模型树，自下而上的更新每个组件对应的姿态和形状实例；
S4、当满足迭代终止条件时，将每个组件在迭代终止时所对应的自下而上更新后的姿态在所述层级化组件模型树中的位置逐级进行复合，作为人脸对齐结果；
否则执行步骤S3、S5、S4；
其中，所述层级化组件模型树中包括至少两个组件，所述组件至少包括三个以上的不共线的人脸特征点，所述三个以上的人脸特征点用来描述人脸中一部分器官或者一个器官的轮廓；
所述迭代终止条件包括：
迭代次数达到预定值；或者
所有组件在相邻两次迭代过程中获得的形状参数之间的差异小于预设值。
2.根据权利要求1所述的人脸对齐方法，其特征在于，所述沿所述训练好的层级化组件模型树，自下而上的更新每个组件对应的姿态和形状实例的步骤，包括：
从所述训练好的层级化组件模型树的最底层开始：
对于每个底层组件，计算每个底层组件的外接矩形框；
利用所述每个底层组件的外接矩形框，更新所述每个底层组件对应的上层组件中所有子组件的外接矩形框特征量，获得所述上层组件的姿态的新的特征点集；
更新所述上层组件以匹配于获得的所述上层组件的姿态的新的特征点集，得到所述上层组件的新的形状实例和新的姿态。
3.根据权利要求1或2所述的人脸对齐方法，其特征在于，在所述对人脸进行检测，获得待处理人脸图像的步骤前，所述方法还包括：
S7、将人脸特征点集合分解构建为层级化组件模型树；
S8、利用主动形状模型ASM训练人脸对齐方法，利用训练样本人脸图像中的所有人脸特征点，对所述层级化组件模型树中各个组件进行训练，获得训练好的层级化组件模型树；
其中，所述训练好的层级化组件模型树的除最底层组件之外的组件中还包括一个以上的子组件。
4.根据权利要求3所述的人脸对齐方法，其特征在于，所述将人脸特征点集合分解构建为层级化组件模型树步骤，包括：
将所述人脸特征点划分到不同层次的组件模型中，形成所述层级化组件模型树，并满足如下条件：
每个特征点只能从属于一个组件；
除最上层组件外，每个子组件只能从属于一个上层组件；
每个子组件在直属的上层组件里蜕化为能标征每个子组件的位置和大小的特征量。
5.一种人脸对齐装置，其特征在于，包括：
人脸检测模块，被配置为对人脸进行检测，获得待处理人脸图像；
初始化模块，被配置为利用所述待处理人脸图像，初始化训练好的层级化组件模型树中每个组件的形状实例和姿态，获得初始形状实例和初始姿态；
搜索模块，被配置为沿所述训练好的层级化组件模型树，在所述待处理人脸图像中自上而下的搜索所述每个组件对应的特征点新位置，并完成每个组件对应的形状实例和姿态的更新，所述搜索模块被配置为：
在所述待处理人脸图像中，从所述训练好的层级化组件模型树的最上层组件开始：
对于每个上层组件，在所述上层组件附近搜索所述上层组件的姿态的各个特征点的最佳匹配点；更新所述上层组件的形状参数和姿态参数以拟合于搜索到的姿态特征点匹配点集，获得所述上层组件的新的形状实例和新的姿态；
对于每个子组件，缩放和平移所述每个子组件的当前姿态，以适应于所述每个子组件对应的上层组件中的新的姿态中该组件的位置和大小；
在所述每个子组件的当前姿态的各个特征点附近搜索最佳匹配点，获得每个子组件新的姿态特征点匹配点集；
更新所述每个子组件的形状参数和姿态参数以拟合于所述每个组件搜索到的新的姿态特征点匹配点集，获得所述每个子组件的新的形状实例和新的姿态；
更新模块，被配置为沿所述训练好的层级化组件模型树，自下而上的更新每个组件对应的姿态和形状实例；
处理模块，被配置为当满足迭代终止条件时，将每个组件在迭代终止时所对应的自下而上更新后的姿态在所述层级化组件模型树中的位置逐级进行复合，作为人脸对齐结果；否则重复触发搜索模块、更新模块、处理模块工作；其中，所述层级化组件模型树中包括至少两个组件，所述组件至少包括三个以上的不共线的人脸特征点，所述三个以上的人脸特征点用来描述人脸中一部分器官或者一个器官的轮廓；
所述迭代终止条件包括：
迭代次数达到预定值；或者
所有组件在相邻两次迭代过程中获得的形状参数之间的差异小于预设值。
6.根据权利要求5所述的人脸对齐装置，其特征在于，所述更新模块被配置为：
从所述训练好的层级化组件模型树的最底层开始：
对于每个底层组件，计算每个底层组件的外接矩形框；
利用所述每个底层组件的外接矩形框，更新所述每个底层组件对应的上层组件中所有子组件的外接矩形框特征量，获得所述上层组件的姿态的新的特征点集；
更新所述上层组件以匹配于获得的所述上层组件的姿态的新的特征点集，得到所述上层组件的新的形状实例和新的姿态。
7.根据权利要求5或6所述的人脸对齐装置，其特征在于，所述人脸对齐装置还包括：
生成模块，被配置为将人脸特征点集合分解构建为层级化组件模型树；
训练模块，被配置为利用主动形状模型ASM训练方法，利用训练样本人脸图像中的所有人脸特征点，对所述层级化组件模型树中各个组件进行训练，获得训练好的层级化组件模型树；
其中，所述训练好的层级化组件模型树的除最底层组件之外的组件中还包括一个以上的子组件。
8.根据权利要求7所述的人脸对齐装置，其特征在于，所述生成模块被配置为：将所述人脸特征点划分到不同层次的组件模型中，形成所述层级化组件模型树，并满足如下条件：
每个特征点只能从属于一个组件；
除最上层组件外，每个子组件只能从属于一个上层组件；
每个子组件在直属的上层组件里蜕化为能标征每个子组件的位置和大小的特征量。
9.一种人脸对齐电子设备，其特征在于，包括：
处理器；以及
存储器，耦合于所述处理器，在所述存储器中存储有计算机程序指令,且当所述计算机程序指令被所述处理器执行时进行如下步骤：
S1、对人脸进行检测，获得待处理人脸图像；
S2、利用所述待处理人脸图像，初始化训练好的层级化组件模型树中每个组件的形状实例和姿态，获得初始形状实例和初始姿态；
S3、沿所述训练好的层级化组件模型树，在所述待处理人脸图像中自上而下的搜索所述每个组件对应的特征点新位置，并完成每个组件对应的形状实例和姿态的更新，该步骤S3包括：
在所述待处理人脸图像中，从所述训练好的层级化组件模型树的最上层组件开始：
对于每个上层组件，在所述上层组件附近搜索所述上层组件的姿态的各个特征点的最佳匹配点；更新所述上层组件的形状参数和姿态参数以拟合于搜索到的姿态特征点匹配点集，获得所述上层组件的新的形状实例和新的姿态；
对于每个子组件，缩放和平移所述每个子组件的当前姿态，以适应于所述每个子组件在对应的上层组件中的新的姿态中该组件的位置和大小；
在所述每个子组件的当前姿态的各个特征点附近搜索最佳匹配点，获得每个子组件新的姿态特征点匹配点集；
更新所述每个子组件的形状参数和姿态参数以拟合于所述每个组件搜索到的新的姿态特征点匹配点集，获得所述每个子组件的新的形状实例和新的姿态；
S5、沿所述训练好的层级化组件模型树，自下而上的更新每个组件对应的姿态和形状实例；
S4、当满足迭代终止条件时，将每个组件在迭代终止时所对应的自下而上更新后的姿态在所述层级化组件模型树中的位置逐级进行复合，作为人脸对齐结果；
否则执行步骤S3、S5、S4；
其中，所述层级化组件模型树中包括至少两个组件，所述组件至少包括三个以上的不共线的人脸特征点，所述三个以上的人脸特征点用来描述人脸中一部分器官或者一个器官的轮廓；
所述迭代终止条件包括：
迭代次数达到预定值；或者
所有组件在相邻两次迭代过程中获得的形状参数之间的差异小于预设值。
CN201610963243.4A 2016-11-04 2016-11-04 一种人脸对齐方法、装置及电子设备 Expired - Fee Related CN108022260B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610963243.4A CN108022260B (zh) 2016-11-04 2016-11-04 一种人脸对齐方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610963243.4A CN108022260B (zh) 2016-11-04 2016-11-04 一种人脸对齐方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN108022260A CN108022260A (zh) 2018-05-11
CN108022260B true CN108022260B (zh) 2021-10-12

Family

ID=62084315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610963243.4A Expired - Fee Related CN108022260B (zh) 2016-11-04 2016-11-04 一种人脸对齐方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN108022260B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102270308A (zh) * 2011-07-21 2011-12-07 武汉大学 一种基于五官相关aam模型的面部特征定位方法
CN105469076A (zh) * 2015-12-29 2016-04-06 东莞市微模式软件有限公司 基于多示例学习的人脸比对验证方法
CN105575008A (zh) * 2015-12-15 2016-05-11 宁波保众应急科技有限公司 一种智能寄存柜

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8478077B2 (en) * 2011-03-20 2013-07-02 General Electric Company Optimal gradient pursuit for image alignment
US9205204B2 (en) * 2012-08-06 2015-12-08 Elwha Llc Devices and methods for wearable injection guides

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102270308A (zh) * 2011-07-21 2011-12-07 武汉大学 一种基于五官相关aam模型的面部特征定位方法
CN105575008A (zh) * 2015-12-15 2016-05-11 宁波保众应急科技有限公司 一种智能寄存柜
CN105469076A (zh) * 2015-12-29 2016-04-06 东莞市微模式软件有限公司 基于多示例学习的人脸比对验证方法

Also Published As

Publication number Publication date
CN108022260A (zh) 2018-05-11

Similar Documents

Publication Publication Date Title
Xu et al. Data-driven shape analysis and processing
Gao et al. A review of active appearance models
Eisenberger et al. Smooth shells: Multi-scale shape registration with functional maps
Jeni et al. Dense 3D face alignment from 2D videos in real-time
Zhou et al. Sparse representation for 3D shape estimation: A convex relaxation approach
Mitra et al. Structure-aware shape processing
Vetter et al. A bootstrapping algorithm for learning linear models of object classes
US6400828B2 (en) Canonical correlation analysis of image/control-point location coupling for the automatic location of control points
Berretti et al. Representation, analysis, and recognition of 3D humans: A survey
Huang et al. Shape registration in implicit spaces using information theory and free form deformations
US7657084B2 (en) Apparatus and method for generating a three-dimensional representation from a two-dimensional image
CN110866864A (zh) 人脸姿态估计/三维人脸重构方法、装置及电子设备
Wang et al. 3D human motion editing and synthesis: A survey
Mademlis et al. Combining topological and geometrical features for global and partial 3-D shape retrieval
CN111127668B (zh) 一种角色模型生成方法、装置、电子设备和存储介质
Digne et al. Sparse geometric representation through local shape probing
Liu et al. Humangaussian: Text-driven 3d human generation with gaussian splatting
Christoudias et al. On modelling nonlinear shape-and-texture appearance manifolds
Sclaroff Modal matching: a method for describing, comparing, and manipulating digital signals
Huang et al. Tracking-by-detection of 3d human shapes: from surfaces to volumes
Kang et al. Image-based modeling of plants and trees
Sundararaman et al. Reduced representation of deformation fields for effective non-rigid shape matching
RU2755396C1 (ru) Нейросетевой перенос выражения лица и позы головы с использованием скрытых дескрипторов позы
CN108022260B (zh) 一种人脸对齐方法、装置及电子设备
Maheshwari et al. Transfer4D: A framework for frugal motion capture and deformation transfer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211012

CF01 Termination of patent right due to non-payment of annual fee