CN108121950A - 一种基于3d模型的大姿态人脸对齐方法和系统 - Google Patents
一种基于3d模型的大姿态人脸对齐方法和系统 Download PDFInfo
- Publication number
- CN108121950A CN108121950A CN201711264003.6A CN201711264003A CN108121950A CN 108121950 A CN108121950 A CN 108121950A CN 201711264003 A CN201711264003 A CN 201711264003A CN 108121950 A CN108121950 A CN 108121950A
- Authority
- CN
- China
- Prior art keywords
- mtd
- msub
- mrow
- mtr
- msubsup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于3D模型的大姿态人脸对齐方法，包括：建立基于PCA的3DMM模型，构建由3D面部扫描仪采集的N个二维面部特征点所组成的向量集合U，构建得到的3DMM模型与构建的向量集合U之间的关系式，构建改进CNN网络模型，其是在现有CNN网络模型中每一个可视化块中增加一个可视化层实现，用于将其所在可视化块的特征提取出来，并将其传递给下一个可视化块，基于现有的公开人脸数据集获取训练样本，使用该训练样本训练构建的改进CNN网络模型，以获得对应的参数，获取二维人脸图片，并将该二维人脸图片输入训练的改进CNN网络模型中。本发明能够解决现有大姿态人脸对齐方法所存在的不能同时兼顾特征点的密集程度和训练阶段收敛速度的技术问题。
Description
技术领域
本发明属于模式识别技术领域，更具体地，涉及一种基于3D模型的大姿态人脸对齐方法和系统。
背景技术
目前，人脸对齐技术已经成为计算机视觉领域中一个新的研究热点，它是对面部元素(如眼睛、鼻子、嘴巴、轮廓)进行对齐的过程。准确的人脸对齐是实现许多人脸相关任务(包括人脸识别、3D人脸重建、人脸动画等)的重要前提。
在人脸对齐技术的研究中，大姿态(即±90°的人脸角度)人脸对齐(Large poseface alignment，简称LPFA)是一个研究难点。目前通常采用稀疏的特征点估计方式，但这会大大降低人脸对齐的效果(例如在侧脸的情况下会导致人脸对齐效果较差)。为了解决此问题，一些算法通过使用密集的特征点估计实现大姿态人脸对齐，但由于其缺乏端到端的训练，并多采用手工特征提取方式，因此导致训练阶段收敛速度慢。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于3D模型的大姿态人脸对齐方法和系统，其目的在于，在通过使用密集的特征点估计实现大姿态人脸对齐的同时，保证高的训练和收敛速度，从而解决现有大姿态人脸对齐方法所存在的不能同时兼顾特征点的密集程度和训练阶段收敛速度的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于3D模型的大姿态人脸对齐方法，包括以下步骤：
(1)建立基于PCA的3DMM模型，其通过以下等式(1)表示：
Sid表示基于3D面部扫描仪采集的三维面部的形状分量，pid表示形状参数，Sexp表示基于3D面部扫描仪采集的三维面部的表情分量，pexp表示表情参数，N表示3D面部扫描仪采集的三维面部特征点的数量；
(2)构建由3D面部扫描仪采集的N个二维面部特征点所组成的向量集合U：
其中u和v分别代表不同二维面部特征点的横坐标和纵坐标；
(3)构建步骤(1)得到的3DMM模型与步骤(2)构建的向量集合U之间的关系式：
其中Pr为矩阵，且有[m1，m2，…，m8]为相机投影矩阵，m9、m10、m11为根据m1，m2，…，m8求得的数，且[m9，m10，m11]＝[m1，m2，m3]×[m4，m5，m6]，m12等于0。
(4)构建改进CNN网络模型，其是在现有CNN网络模型中每一个可视化块中增加一个可视化层实现，用于将其所在可视化块的特征提取出来，并将其传递给下一个可视化块；
(5)基于现有的公开人脸数据集(诸如300W、AFW等)获取训练样本，使用该训练样本训练步骤(4)中构建的改进CNN网络模型，以获得对应的m1，m2，…，m8、pid、pexp；
(6)获取二维人脸图片，并将该二维人脸图片输入步骤(5)中训练的改进CNN网络模型中，以得到对应的人脸对齐结果。
优选地，步骤(1)中使用199个形状分量i＝{1，2，…，199}来表示身份特征，使用29个表情分量j＝{1，2，…，29}来表示表情特征，平均形状和身份分量Sid是由BFM模型得到，表情分量Sexp是由三维人脸表情数据库得到。
优选地，可视化层用于对任意角度的人脸图像进行可视化，具体需要对人脸图像每个三维顶点的可见性进行估计，即，首先剔除与相机垂直的一些顶点，如果多个顶点的像素相同，则只保留最小深度值的点。
优选地，CNN网络模型中包括6个可视化块。
优选地，公开人脸数据集包括300W、AFW、以及AFLW数据集。
优选地，步骤(6)具体是利用步骤(2)和步骤(3)中所反映的二维面部特征点与三维面部特征点之间的关系式，获取最终的人脸对齐结果。
按照本发明的另一方面，提供了一种基于3D模型的大姿态人脸对齐系统，包括：
第一模块，用于建立基于PCA的3DMM模型，其通过以下等式(1)表示：
Sid表示基于3D面部扫描仪采集的三维面部的形状分量，pid表示形状参数，Sexp表示基于3D面部扫描仪采集的三维面部的表情分量，pexp表示表情参数，N表示3D面部扫描仪采集的三维面部特征点的数量；
第二模块，用于构建由3D面部扫描仪采集的N个二维面部特征点所组成的向量集合U：
其中u和v分别代表不同二维面部特征点的横坐标和纵坐标；
第三模块，用于构建第一模块得到的3DMM模型与第二模块构建的向量集合U之间的关系式：
其中Pr为矩阵，且有[m1，m2，…，m8]为相机投影矩阵，m9、m10、m11为根据m1，m2，…，m8求得的数，且[m9，m10，m11]＝[m1，m2，m3]×[m4，m5，m6]，m12等于0。
第四模块，用于构建改进CNN网络模型，其是在现有CNN网络模型中每一个可视化块中增加一个可视化层实现，用于将其所在可视化块的特征提取出来，并将其传递给下一个可视化块；
第五模块，用于基于现有的公开人脸数据集(诸如300W、AFW等)获取训练样本，使用该训练样本训练第五模块构建的改进CNN网络模型，以获得对应的m1，m2，…，m8、pid、pexp；
第六模块，用于获取二维人脸图片，并将该二维人脸图片输入第五模块训练的改进CNN网络模型中，以得到对应的人脸对齐结果。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
1、本发明使用密集的3DMM重建三维形状人脸，并用投影矩阵表示二维脸型，实现了密集的特征点估计，并进而保证了良好的人脸对齐效果。
2、本发明基于深度学习网络的特性，通过使用CNN训练一个模型，避免了手动特征提取。
3、本发明通过在CNN网络模型中引入一个新层，即由几个可视化块组成的CNN架构(这种架构可被看作是浅CNNs级联)，新层可视化了前面一个可视化块的对齐结果，并将其应用于后面的可视化块中，因此，其允许端到端训练，并进而在训练阶段，与传统的CNNs级联相比，能够实现更快地收敛。
附图说明
图1是本发明构建的改进CNN网络模型的架构图。
图2是本发明构建的可视化层用于对任意角度的人脸图像进行可视化时，对人脸图像每个三维顶点进行可见性估计的示意图。
图3是本发明基于3D模型的大姿态人脸对齐方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图3所示，本发明基于3D模型的大姿态人脸对齐方法包括以下步骤：
(1)建立基于主成分分析(Primary component analysis，简称PCA)的3D形变(3DMorphable Model，简称3DMM)模型，其通过以下等式(1)表示：
Sid表示基于3D面部扫描仪采集的三维面部的形状分量，pid表示形状参数，Sexp表示基于3D面部扫描仪采集的三维面部的表情分量，pexp表示表情参数，N表示3D面部扫描仪采集的三维面部特征点的数量。
在本发明中，使用199个形状分量i＝{1，2，…，199}来表示身份特征，如高/矮、轻/重、男/女等；使用29个表情分量j＝{1，2，…，29}来表示表情特征，如张口、微笑、亲吻等，平均形状和身份分量Sid是由Basel面部模型(Basel face model，简称BFM)得到，表情分量Sexp是由三维人脸表情数据库(FaceWarehouse)得到。
(2)构建由3D面部扫描仪采集的N个二维面部特征点所组成的向量集合U：
其中u和v分别代表二维面部特征点的横坐标和纵坐标；
(3)构建步骤(1)得到的3DMM模型与步骤(2)构建的向量集合U之间的关系式：
其中Pr为矩阵，且有[m1，m2，…，m8]为相机投影矩阵(Cameraprojection matrix)，m9、m10、m11为根据m1，m2，…，m8求得的数，且[m9，m10，m11]＝[m1，m2，m3]×[m4，m5，m6]，m12等于0。
(4)构建改进CNN网络模型，其是在现有CNN网络模型中每一个可视化块(Visualization block)中增加一个可视化层(Visualization layer)实现(如图1所示)，用于将其所在可视化块的特征提取出来，并将其传递给下一个可视化块；
可视化层用于对任意角度的人脸图像进行可视化，具体需要对人脸图像每个三维顶点的可见性进行估计。为了避免通过代价昂贵的可见性测试，这里采用了两种近似方法：首先，剔除了与相机垂直的一些顶点，其次，如果多个顶点的像素相同，我们只保留最小深度值的点。如图2所示，有四个顶点投影到一个相同的像素，其中两个在它们的法线(箭头)的z分量中有负值，在另外两个值为正值的情况下，选择更小的深度(更接近于图像平面)。
在本发明中，CNN网络模型中包括有6个可视化块。
(5)基于现有的公开人脸数据集(诸如300W、AFW等)获取训练样本，使用该训练样本训练步骤(4)中构建的改进CNN网络模型，以获得对应的m1，m2，…，m8、pid、pexp；
(6)获取二维人脸图片，并将该二维人脸图片输入步骤(5)中训练的改进CNN网络模型中，以得到对应的人脸对齐结果。
具体而言，由于步骤(5)中已经得到了m1，m2，…，m8、pid、pexp，本步骤就是利用步骤(2)和步骤(3)中所反映的二维面部特征点与三维面部特征点之间的关系式，获取最终的人脸对齐结果。
实验结果
以下将对两个具有挑战性的LPFA数据集，即AFLW和AFW进行定性和定量的评估，同时对正面人脸数据集300W进行测试。
1)实验准备
300W:300W将多个数据库(包括AFW、LFPW、HELEN、IBUG)与标准的68个特征点标签进行组合。300W是最常用的用于评价近-前方脸部对齐(Near-frontal face alignmen)的数据库，其包含3417张训练图像和689张测试图像，它们被分别分成普通数据集(554张图像)和挑战数据集(135张图像)。
AFW:AFW数据集包含468个人脸的205张图像，使用最多6个具有可视标签的特征点和边界框来标注每张图像。
AFLW:AFLW数据库是具有25K个大姿态人脸图像的数据集，其包括21080个大姿态变化的野外人脸(倾斜角-90°到90°)。AFLW数据集特别适用于评价大姿态的人脸对齐性能。本发明中使用的是包括3901张训练图像和1299张测试图像构成的子集。使用34个特征点和边界框来标注该子集中的所有人脸图像。
实现细节：实现是建立在Caffe框架上的。在所有的实验中，我们使用6个可视化块(Nv)与两个卷积层(Nc)和完全连接层(图1中仅仅出于示意的目的示出了两个可视化块)。在训练阶段，将权重衰减设置为0.005，动量因子设置为0.97，初始学习速率设置为1e-6。总的来说，所有实验的训练阶段持续33个周期。
评价策略：对于定量评价，我们使用两个传统指标。第一个是平均像素误差(Meanaverage pixel error，简称MAPE)，这是特征点的像素误差的平均值，另一个是标准化平均误差(Normalized mean error，简称NME)，即特征点的标准化估计误差的平均值。
2)数据集评估
对AFLW数据集的评估:将本发明与几种最先进的大姿态人脸对齐方法进行了比较。在AFLW上，我们将本发明和LPFA、姿态不变变人脸对齐(Pose invariant facealignment，简称PIFA)以及鲁棒性级联姿态回归(Robust cascaded pose regression，简称RCPR)的NME指标进行比较。下表1表明，本发明提出的方法比其他方法达到更高的精度。
表1
| 本发明 | LPFA | PIFA | RCPR |
| 4.67 | 4.72 | 8.04 | 6.26 |
对AFW数据集的评价:在AFW数据集上，将LPFA、PIFA、级联可变形模型(Cascadeddeformable shape model，简称CDM)、以及树形结构部分模型(Tree structured partmodel total suspended particulate matter，简称TSPM)在MAPE度量方面进行比较。下表2的结果再次显示了本发明方法的优越性。
表2
| 本发明方法 | LPFA | PIFA | CDM | TSPM |
| 6.77 | 7.43 | 8.61 | 9.13 | 11.09 |
对300W数据集的评价:虽然本发明的主要目标是LPFA，但也评估了最广泛使用的300W数据集。在300W数据集上不同方法得到的NWE如下表3所示，可看出与本发明最相近的方法是3D密集人脸对齐(3D Dense Face Alignment，简称3DDFA)，它也估计m和p，本发明的方法在一般的和具有挑战性的数据集上效果都优于它。
表3
| 方法 | 普通数据集 | 挑战数据集 | 整个数据集 |
| RCPR | 6.18 | 17.26 | 8.35 |
| SDM | 5.57 | 15.4 | 7.50 |
| LBF | 4.95 | 11.98 | 6.32 |
| CFSS | 4.73 | 9.98 | 5.76 |
| RCFA[36] | 4.03 | 9.85 | 5.32 |
| RAR[37] | 4.12 | 8.35 | 4.94 |
| 3DDFA[8] | 6.15 | 10.59 | 7.01 |
| 3DDFA+SDM | 5.53 | 9.56 | 6.31 |
| 本发明方法 | 5.44 | 9.47 | 6.30 |
3)网络结构的优点
时间复杂度：与CNNs的级联相比，本发明提出的端到端训练的主要优势之一是缩短训练时间。该方法需要33个周期，大约需要2.5天。同样的训练和测试数据集，[9]需要每个CNN的70个时代。总共6个CNNs，需要7天左右。同样，[8]的方法需要12天左右的时间来训练3个CNNs，每一个都有20个epochs，尽管使用了不同的训练数据。与[9]相比，本发明方法减少了一半以上的训练时间。
可视化层的影响：为了分析可视化层的影响，我们给每一个可视化块的全连接层参数中添加5％噪声，并计算AFLW数据集上的误差。NMEs为(4.46，4.53，4.60，4.46，4.53，5.16)，这一分析表明，可视化图像对后块的影响较大，因为早期块的不精确参数可以在以后的块中得到补偿。在另一个实验中，我们在没有可视化层的情况下训练网络。AFLW的最后一个NME为7.18％，显示了可视化层在训练神经网络方面的重要性。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于3D模型的大姿态人脸对齐方法，其特征在于，包括以下步骤：
(1)建立基于PCA的3DMM模型，其通过以下等式(1)表示：
<mrow>
<mi>S</mi>
<mo>=</mo>
<mover>
<mi>S</mi>
<mo>&OverBar;</mo>
</mover>
<mo>+</mo>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</msubsup>
<msubsup>
<mi>p</mi>
<mrow>
<mi>i</mi>
<mi>d</mi>
</mrow>
<mi>i</mi>
</msubsup>
<msubsup>
<mi>S</mi>
<mrow>
<mi>i</mi>
<mi>d</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>+</mo>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</msubsup>
<msubsup>
<mi>p</mi>
<mi>exp</mi>
<mi>j</mi>
</msubsup>
<msubsup>
<mi>S</mi>
<mi>exp</mi>
<mi>j</mi>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
Sid表示基于3D面部扫描仪采集的三维面部的形状分量，pid表示形状参数，Sexp表示基于3D面部扫描仪采集的三维面部的表情分量，pexp表示表情参数，N表示3D面部扫描仪采集的三维面部特征点的数量；
(2)构建由3D面部扫描仪采集的N个二维面部特征点所组成的向量集合U：
<mrow>
<mi>U</mi>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>u</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>u</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<mn>...</mn>
</mtd>
<mtd>
<msub>
<mi>u</mi>
<mi>N</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>v</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>v</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<mn>...</mn>
</mtd>
<mtd>
<msub>
<mi>v</mi>
<mi>N</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中u和v分别代表不同二维面部特征点的横坐标和纵坐标；
(3)构建步骤(1)得到的3DMM模型与步骤(2)构建的向量集合U之间的关系式：
<mrow>
<mi>U</mi>
<mo>=</mo>
<msub>
<mi>P</mi>
<mi>r</mi>
</msub>
<mo>.</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>m</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>3</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>4</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>m</mi>
<mn>5</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>6</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>7</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>8</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>m</mi>
<mn>9</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>10</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>11</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>12</mn>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>S</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<mn>1</mn>
<mi>T</mi>
</msup>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中Pr为矩阵，且有[m1，m2，…，m8]为相机投影矩阵，m9、m10、m11为根据m1，m2，…，m8求得的数，且[m9，m10，m11]＝[m1，m2，m3]×[m4，m5，m6]，m12等于0。
(4)构建改进CNN网络模型，其是在现有CNN网络模型中每一个可视化块中增加一个可视化层实现，用于将其所在可视化块的特征提取出来，并将其传递给下一个可视化块；
(5)基于现有的公开人脸数据集(诸如300W、AFW等)获取训练样本，使用该训练样本训练步骤(4)中构建的改进CNN网络模型，以获得对应的m1，m2，…，m8、pid、pexp；
(6)获取二维人脸图片，并将该二维人脸图片输入步骤(5)中训练的改进CNN网络模型中，以得到对应的人脸对齐结果。
2.根据权利要求1所述的大姿态人脸对齐方法，其特征在于，步骤(1)中使用199个形状分量i＝{1，2，…，199}来表示身份特征，使用29个表情分量j＝{1，2，…，29}来表示表情特征，平均形状和身份分量Sid是由BFM模型得到，表情分量Sexp是由三维人脸表情数据库得到。
3.根据权利要求1所述的大姿态人脸对齐方法，其特征在于，可视化层用于对任意角度的人脸图像进行可视化，具体需要对人脸图像每个三维顶点的可见性进行估计，即，首先剔除与相机垂直的一些顶点，如果多个顶点的像素相同，则只保留最小深度值的点。
4.根据权利要求1所述的大姿态人脸对齐方法，其特征在于，CNN网络模型中包括6个可视化块。
5.根据权利要求1所述的大姿态人脸对齐方法，其特征在于，公开人脸数据集包括300W、AFW、以及AFLW数据集。
6.根据权利要求1所述的大姿态人脸对齐方法，其特征在于，步骤(6)具体是利用步骤(2)和步骤(3)中所反映的二维面部特征点与三维面部特征点之间的关系式，获取最终的人脸对齐结果。
7.一种基于3D模型的大姿态人脸对齐系统，其特征在于，包括：
第一模块，用于建立基于PCA的3DMM模型，其通过以下等式(1)表示：
<mrow>
<mi>S</mi>
<mo>=</mo>
<mover>
<mi>S</mi>
<mo>&OverBar;</mo>
</mover>
<mo>+</mo>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</msubsup>
<msubsup>
<mi>p</mi>
<mrow>
<mi>i</mi>
<mi>d</mi>
</mrow>
<mi>i</mi>
</msubsup>
<msubsup>
<mi>S</mi>
<mrow>
<mi>i</mi>
<mi>d</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>+</mo>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</msubsup>
<msubsup>
<mi>p</mi>
<mi>exp</mi>
<mi>j</mi>
</msubsup>
<msubsup>
<mi>S</mi>
<mi>exp</mi>
<mi>j</mi>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
Sid表示基于3D面部扫描仪采集的三维面部的形状分量，pid表示形状参数，Sexp表示基于3D面部扫描仪采集的三维面部的表情分量，pexp表示表情参数，N表示3D面部扫描仪采集的三维面部特征点的数量；
第二模块，用于构建由3D面部扫描仪采集的N个二维面部特征点所组成的向量集合U：
<mrow>
<mi>U</mi>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>u</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>u</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<mn>...</mn>
</mtd>
<mtd>
<msub>
<mi>u</mi>
<mi>N</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>v</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>v</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<mn>...</mn>
</mtd>
<mtd>
<msub>
<mi>v</mi>
<mi>N</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中u和v分别代表不同二维面部特征点的横坐标和纵坐标；
第三模块，用于构建第一模块得到的3DMM模型与第二模块构建的向量集合U之间的关系式：
<mrow>
<mi>U</mi>
<mo>=</mo>
<msub>
<mi>P</mi>
<mi>r</mi>
</msub>
<mo>.</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>m</mi>
<mn>1</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>2</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>3</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>4</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>m</mi>
<mn>5</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>6</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>7</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>8</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>m</mi>
<mn>9</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>10</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>11</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>m</mi>
<mn>12</mn>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>S</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<mn>1</mn>
<mi>T</mi>
</msup>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中Pr为矩阵，且有[m1，m2，…，m8]为相机投影矩阵，m9、m10、m11为根据m1，m2，…，m8求得的数，且[m9，m10，m11]＝[m1，m2，m3]×[m4，m5，m6]，m12等于0。
第四模块，用于构建改进CNN网络模型，其是在现有CNN网络模型中每一个可视化块中增加一个可视化层实现，用于将其所在可视化块的特征提取出来，并将其传递给下一个可视化块；
第五模块，用于基于现有的公开人脸数据集(诸如300W、AFW等)获取训练样本，使用该训练样本训练第五模块构建的改进CNN网络模型，以获得对应的m1，m2，…，m8、pid、pexp；
第六模块，用于获取二维人脸图片，并将该二维人脸图片输入第五模块训练的改进CNN网络模型中，以得到对应的人脸对齐结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711264003.6A CN108121950B (zh) | 2017-12-05 | 2017-12-05 | 一种基于3d模型的大姿态人脸对齐方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711264003.6A CN108121950B (zh) | 2017-12-05 | 2017-12-05 | 一种基于3d模型的大姿态人脸对齐方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108121950A true CN108121950A (zh) | 2018-06-05 |
| CN108121950B CN108121950B (zh) | 2020-04-24 |
Family
ID=62228745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711264003.6A Active CN108121950B (zh) | 2017-12-05 | 2017-12-05 | 一种基于3d模型的大姿态人脸对齐方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108121950B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109360270A (zh) * | 2018-11-13 | 2019-02-19 | 盎锐（上海）信息科技有限公司 | 基于人工智能的3d人脸姿态对齐算法及装置 |
| CN110276274A (zh) * | 2019-05-31 | 2019-09-24 | 东南大学 | 一种多任务的深度特征空间姿态人脸识别方法 |
| CN110276289A (zh) * | 2019-06-17 | 2019-09-24 | 厦门美图之家科技有限公司 | 生成匹配模型的方法和人脸特征点追踪方法 |
| CN110660076A (zh) * | 2019-09-26 | 2020-01-07 | 北京紫睛科技有限公司 | 一种人脸交换方法 |
| WO2020082626A1 (zh) * | 2018-10-23 | 2020-04-30 | 杭州趣维科技有限公司 | 一种移动设备上的实时人脸三维重建系统及方法 |
| US10755477B2 (en) | 2018-10-23 | 2020-08-25 | Hangzhou Qu Wei Technology Co., Ltd. | Real-time face 3D reconstruction system and method on mobile device |
| CN112002014A (zh) * | 2020-08-31 | 2020-11-27 | 中国科学院自动化研究所 | 面向精细结构的三维人脸重建方法、系统、装置 |
| CN113129425A (zh) * | 2019-12-31 | 2021-07-16 | Tcl集团股份有限公司 | 一种人脸图像三维重建方法、存储介质及终端设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140043329A1 (en) * | 2011-03-21 | 2014-02-13 | Peng Wang | Method of augmented makeover with 3d face modeling and landmark alignment |
| CN105512638A (zh) * | 2015-12-24 | 2016-04-20 | 黄江 | 一种基于融合特征的人脸检测与对齐方法 |
| CN106548521A (zh) * | 2016-11-24 | 2017-03-29 | 北京三体高创科技有限公司 | 一种联合2d+3d主动外观模型的人脸对齐方法及系统 |
| CN106845327A (zh) * | 2015-12-07 | 2017-06-13 | 展讯通信(天津)有限公司 | 人脸对齐模型的训练方法、人脸对齐方法和装置 |
-
2017
- 2017-12-05 CN CN201711264003.6A patent/CN108121950B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140043329A1 (en) * | 2011-03-21 | 2014-02-13 | Peng Wang | Method of augmented makeover with 3d face modeling and landmark alignment |
| CN106845327A (zh) * | 2015-12-07 | 2017-06-13 | 展讯通信(天津)有限公司 | 人脸对齐模型的训练方法、人脸对齐方法和装置 |
| CN105512638A (zh) * | 2015-12-24 | 2016-04-20 | 黄江 | 一种基于融合特征的人脸检测与对齐方法 |
| CN106548521A (zh) * | 2016-11-24 | 2017-03-29 | 北京三体高创科技有限公司 | 一种联合2d+3d主动外观模型的人脸对齐方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| XIANGYU ZHU ET AL: "Face Alignment Across Large Poses: A 3D Solution", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| XIANGYU ZHU ET AL: "Face Alignment in Full Pose Range: A 3D Total Solution", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| 袁立欣: "基于三维形变模型与PCA的人脸识别研究", 《万方学位论文库》 * |
| 许文祥: "基于形变模型的三维人脸重建研究", 《万方学位论文库》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020082626A1 (zh) * | 2018-10-23 | 2020-04-30 | 杭州趣维科技有限公司 | 一种移动设备上的实时人脸三维重建系统及方法 |
| US10755477B2 (en) | 2018-10-23 | 2020-08-25 | Hangzhou Qu Wei Technology Co., Ltd. | Real-time face 3D reconstruction system and method on mobile device |
| CN109360270A (zh) * | 2018-11-13 | 2019-02-19 | 盎锐（上海）信息科技有限公司 | 基于人工智能的3d人脸姿态对齐算法及装置 |
| CN109360270B (zh) * | 2018-11-13 | 2023-02-10 | 盎维云(深圳)计算有限公司 | 基于人工智能的3d人脸姿态对齐方法及装置 |
| CN110276274A (zh) * | 2019-05-31 | 2019-09-24 | 东南大学 | 一种多任务的深度特征空间姿态人脸识别方法 |
| CN110276274B (zh) * | 2019-05-31 | 2023-08-04 | 东南大学 | 一种多任务的深度特征空间姿态人脸识别方法 |
| CN110276289A (zh) * | 2019-06-17 | 2019-09-24 | 厦门美图之家科技有限公司 | 生成匹配模型的方法和人脸特征点追踪方法 |
| CN110276289B (zh) * | 2019-06-17 | 2021-09-07 | 厦门美图之家科技有限公司 | 生成匹配模型的方法和人脸特征点追踪方法 |
| CN110660076A (zh) * | 2019-09-26 | 2020-01-07 | 北京紫睛科技有限公司 | 一种人脸交换方法 |
| CN113129425A (zh) * | 2019-12-31 | 2021-07-16 | Tcl集团股份有限公司 | 一种人脸图像三维重建方法、存储介质及终端设备 |
| CN112002014A (zh) * | 2020-08-31 | 2020-11-27 | 中国科学院自动化研究所 | 面向精细结构的三维人脸重建方法、系统、装置 |
| CN112002014B (zh) * | 2020-08-31 | 2023-12-15 | 中国科学院自动化研究所 | 面向精细结构的三维人脸重建方法、系统、装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108121950B (zh) | 2020-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108121950A (zh) | 一种基于3d模型的大姿态人脸对齐方法和系统 | |
| CN106778604B (zh) | 基于匹配卷积神经网络的行人再识别方法 | |
| CN101404091B (zh) | 基于两步形状建模的三维人脸重建方法和系统 | |
| CN100468465C (zh) | 基于虚拟图像对应的立体视觉三维人脸建模方法 | |
| CN104036544B (zh) | 一种基于机载LiDAR数据的建筑物屋顶重建方法 | |
| CN104954780B (zh) | 一种适用于高清2d/3d转换的dibr虚拟图像修复方法 | |
| CN108305289B (zh) | 基于最小二乘法的三维模型对称性特征检测方法及系统 | |
| CN109299643A (zh) | 一种基于大姿态对准的人脸识别方法及系统 | |
| CN109214298B (zh) | 一种基于深度卷积网络的亚洲女性颜值评分模型方法 | |
| CN106951840A (zh) | 一种人脸特征点检测方法 | |
| CN106157372A (zh) | 一种基于视频图像的3d人脸网格重构方法 | |
| CN104899563A (zh) | 一种二维人脸关键特征点定位方法及系统 | |
| CN110728707A (zh) | 基于非对称深度卷积神经网络的多视角深度预测方法 | |
| CN105809107A (zh) | 基于面部特征点的单样本人脸识别方法及系统 | |
| CN101441717A (zh) | 一种色情视频检测方法及检测系统 | |
| CN107170042A (zh) | 一种无序图像的多视立体匹配的三维重建方法 | |
| CN108764250A (zh) | 一种运用卷积神经网络提取本质图像的方法 | |
| CN106980812A (zh) | 基于级联卷积神经网络的三维人脸特征点定位方法 | |
| CN109002837A (zh) | 一种图像语义分类方法、介质、装置和计算设备 | |
| CN107358645A (zh) | 产品三维模型重建方法及其系统 | |
| CN103093470A (zh) | 一种具有尺度无关特性的快速多模态图像协同分割方法 | |
| US10832095B2 (en) | Classification of 2D images according to types of 3D arrangement | |
| CN110598052A (zh) | 一种交通期望线的边绑定以及评价方法 | |
| CN116385660A (zh) | 室内单视图场景语义重建方法及系统 | |
| CN108876908A (zh) | 一种基于重建模型完整度的空间目标三维重建评估方法及应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211216 Address after: 410026 517, building B2, Lugu science and technology innovation and entrepreneurship Park, No. 1698, Yuelu West Avenue, Changsha high tech Zone, Changsha City, Hunan Province Patentee after: Hunan Maiyi Information Technology Co.,Ltd. Address before: 410003 science and Technology Office of Changsha University, 98 Hongshan Road, Kaifu District, Changsha City, Hunan Province Patentee before: CHANGSHA University |
|
| TR01 | Transfer of patent right |