CN105844276A - 人脸姿态校正方法和装置 - Google Patents

人脸姿态校正方法和装置 Download PDF

Info

Publication number
CN105844276A
CN105844276A CN201510021503.1A CN201510021503A CN105844276A CN 105844276 A CN105844276 A CN 105844276A CN 201510021503 A CN201510021503 A CN 201510021503A CN 105844276 A CN105844276 A CN 105844276A
Authority
CN
China
Prior art keywords
key point
dimensional
geometric parameter
dimension
human face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510021503.1A
Other languages
English (en)
Inventor
汪彪
冯雪涛
宫鲁津
张红卫
冯昊
黃元俊
徐成住
韓在濬
崔昌圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecom R&D Center
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201510021503.1A priority Critical patent/CN105844276A/zh
Priority to KR1020150171235A priority patent/KR102093216B1/ko
Priority to US14/996,709 priority patent/US10134177B2/en
Publication of CN105844276A publication Critical patent/CN105844276A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸姿态校正方法和装置，所述方法包括：获取待校正的二维人脸图像；检测所述待校正的二维人脸图像的二维关键点，并确定三维人脸模型上与所述检测的二维关键点对应的三维关键点；根据所述确定的三维关键点，使用迭代计算的方式更新三维关键点；根据所述更新的三维关键点，确定姿态矫正后的二维人脸图像。本发明的技术方案中，在人脸姿态调整过程中，逐步调整三维人脸模型上的三维关键点，并更新三维人脸模型的几何参数，进而根据最终更新得到的三维人脸模型的几何参数进行人脸姿态校正，从而缩小校正后的二维人脸图像与实际人脸正面图像的差距，有利于提升人脸认证/识别性能。

Description

人脸姿态校正方法和装置
技术领域
本发明涉及智能设备技术领域，具体而言，本发明涉及一种人脸姿态校正方法和装置。
背景技术
随着计算机视觉的不断发展，人脸识别作为一种重要的身份鉴别技术，广泛应用于安全、人机交互、金融等诸多领域。通过对采集的人脸图像与图像库中的正面人脸图像进行匹配，从而达到人脸识别的目的。然而，在非受控条件下，所采集的人脸的姿态变化是无法避免的。例如采集的人脸图像不是正面的，而是呈一定角度的，则很难使用人脸识别技术对人脸图像进行识别。
为了解决人脸姿态变化这一问题，需要对采集的人脸图像进行姿态校正，针对特定个体的二维人脸图像，在保持身份信息的前提下，生成对应的正面人脸图像，从而能够与图像库中的正面人脸图像进行匹配，改善人脸识别结果。
现有的人脸姿态校正方法通常是，利用预先定义的人脸上一系列有明确定义的关键点，训练二维人脸图像上的自动关键点检测器；在利用摄像设备采集到二维人脸图像，将采集到的二维人脸图像作为待校正的二维人脸图像后，可以利用预先训练出来的自动关键点检测器检测待校正的二维人脸图像的二维关键点，并在三维人脸模型上找到对应的关键点；为便于描述，本文中将从二维人脸图像上检测的关键点称为二维关键点，将三维人脸模型上的关键点称为三维关键点。通过最小化二维关键点与三维关键点的二维投影之间的均方误差，计算出三维人脸模型的几何参数；根据计算的几何参数对三维人脸模型进行调整；对调整后的三维人脸模型进行二维投影，得到对应的正面人脸图像。
然而，本发明的发明人发现，通过现有的人脸姿态校正方法所得到的正面人脸图像，与实际的正面人脸图像具有较大偏差；尤其是在采集的人脸图像旋转角度较大，或者俯仰角度较大的情况下，通过现有方法得到的校正的正面人脸图像偏差很大，准确度不高，从而导致人脸认证/识别性能低。
因此，有必要提供一种人脸姿态校正方法，可以缩小校正后的二维人脸图像与实际人脸正面图像的差距，进而提升人脸认证/识别性能。
发明内容
针对现有技术方案的缺点，本发明提出一种人脸姿态校正方法和装置，用以缩小校正后的二维人脸图像与实际人脸正面图像的差距，进而提升人脸认证/识别性能。
本发明提供了一种人脸姿态校正方法，包括：
获取待校正的二维人脸图像；
检测所述待校正的二维人脸图像的二维关键点，并确定三维人脸模型上与所述检测的二维关键点对应的三维关键点；
根据所述确定的三维关键点，使用迭代计算的方式更新三维关键点；
根据所述更新的三维关键点，确定姿态校正后的二维人脸图像。
本发明还提供了一种人脸姿态校正装置，包括：
二维图像获取单元，用于获取待校正的二维人脸图像；
关键点确定单元，用于检测待校正的二维人脸图像的二维关键点，并确定三维人脸模型上与所述检测的二维关键点对应的三维关键点；
迭代计算单元，用于根据所述确定的三维关键点，使用迭代计算的方式更新三维关键点；
二维人脸图像校正单元，用于根据所述更新的三维关键点，确定姿态矫正后的二维人脸图像。
本发明的技术方案中，根据待校正的二维人脸图像的二维关键点确定三维人脸模型上对应的三维关键点，并在迭代过程中，应用上次迭代的三维人脸模型的几何参数更新三维关键点，根据更新的三维关键点求取本次迭代的几何参数，根据迭代终止条件得到最终的三维人脸模型的几何参数，根据该几何参数确定的三维模型映射得到校正姿态后的二维人脸图像。在逐步调整三维人脸模型的人脸姿态过程中，根据当前的人脸姿态重新确定出合适的三维关键点，使得当前人脸姿态下确定的三维关键点可以与二维关键点仍然保持对应关系，避免因人脸姿态的变化而出现二维关键点与三维关键点不再保持对应关系的现象，也就避免了采用没有对应关系的二维关键点与三维关键点进行计算，得到与实际人脸正面图像误差较大的校正图像的问题；也就是说，采用本发明的技术方案能够避免关键点二义性问题，缩小校正后的二维人脸图像与实际人脸正面图像的差距，从而有利于提升人脸认证/识别性能。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1a、图1b为二维人脸图像和三维模型上对应的关键点对比示意图；
图1c为人脸图像库中的二维人脸样本图像的标注示意图；
图2为本发明实施例的人脸姿态校正方法的流程示意图；
图3a为本发明实施例的计算初始的三维人脸模型的几何参数的方法的流程示意图；
图3b为本发明实施例的在一次迭代过程中，计算本次迭代的三维人脸模型的几何参数和形状参数的方法的流程示意图；
图3c为本发明实施例的确定姿态校正后的二维人脸图像的方法的流程示意图；
图4a至图4i为本发明实施例的人脸姿态校正方法过程结果示意图；
图5为本发明的人脸姿态校正方法与五点仿射变换方法的识别性能对比示意图；
图6a、图6b为本发明的人脸姿态校正方法与五点仿射变换方法的视觉效果对比示意图；
图7为本发明实施例的人脸姿态校正装置的内部结构示意图；
图8a、图8b为本发明实施例的迭代计算单元的内部结构示意图；
图9为本发明实施例的二维人脸图像校正单元的内部结构示意图；
图10为本发明实施例的二维人脸图像校正子单元的内部结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本发明的发明人发现，对人脸而言，由于三维形状的自遮挡性，关键点检测器在二维人脸图像上实际能检测到的关键点与三维关键点之间，随着人脸姿态的变化，其对应关系可能不再成立。例如，如图1a所示，在正面姿态下，二维关键点与三维关键点相对应，然而如图1b所示，在人脸姿态变化后，即非正面姿态下，二维关键点与三维关键有可能不再保持对应关系，例如图1b中矩形框所标示的部分，二维关键点与三维关键点不再一一对应。因此，现有技术方案中，在非正面姿态下，二维关键点与三维关键点不再保持对应关系时，通过最小化二维关键点与三维关键点的二维投影之间的均方误差，估计人脸的形状及姿态也就不准确了，进而依据估计的人脸的形状及姿态进行校正的二维人脸图像与实际的正面人脸图像偏差较大，造成关键点二义性问题。
由此，本发明的发明人考虑到，在本发明技术方案中，采用迭代方式逐步调整三维人脸模型的人脸姿态，而不是利用二维关键点与三维关键点一次性计算出三维人脸模型的人脸姿态；在逐步调整三维人脸模型的人脸姿态过程中，根据当前的人脸姿态重新确定出合适的三维关键点，使得当前人脸姿态下确定的三维关键点可以与二维关键点仍然保持对应关系，避免因人脸姿态的变化而出现二维关键点与三维关键点不再保持对应关系的现象，也就避免了采用没有对应关系的二维关键点与三维关键点进行计算，得到与实际人脸正面图像误差较大的校正图像的问题；也就是说，采用本发明的技术方案能够避免关键点二义性问题，缩小校正后的二维人脸图像与实际人脸正面图像的差距，从而有利于提升人脸认证/识别性能。
进一步，本发明的发明人还发现，现有的人脸姿态校正方法对所有二维关键点一视同仁，事实上，二维人脸图像的二维关键点的检测值与真实值之间必然会存在一定偏差，并且，该偏差不仅与二维关键点在人脸中所处的位置相关，也与具体选用的关键点检测器和输入的二维人脸图像中的人脸姿态相关。通常而言，在正面姿态情况下，二维关键点的检测值与真实值之间偏差最小。因此，在非正面姿态下，关键点检测器检测的二维关键点的检测值与真实值之间存在偏差，并且不同关键点的偏差各异。但是，现有的人脸姿态校正方法中，偏差各异的二维关键点在人脸姿态校正过程中所起到的影响作用相同；也就是说，偏差很大的二维关键点所起到的作用，与偏差很小的二维关键点所起到的作用是一样的；导致最终校正得到的正面人脸图像由于受到偏差很大的二维关键点的检测值的不利影响，而与实际的人脸正面图像存在偏差，造成不完美关键点检测器的问题。
由此，本发明的发明人考虑到，若根据待校正的二维人脸图像的人脸姿态信息，以及关键点检测器检测的各个关键点定位的偏差大小，对检测出的不同二维关键点设置不同的权重，可以使二维关键点的偏差越大，其权重越小；相应地，二维关键点的偏差越小，其权重越大，因而能够加强关键点检测器检测到的偏差较小的关键点在人脸姿态校正过程中的作用，减少关键点检测器检测到的偏差较大的关键点在人脸姿态校正过程中的影响，从而提高由这些二维关键点确定的三维关键点的准确度，进而提高由二维关键点和三维关键点确定的三维人脸模型的姿态信息的准确度，因此降低了不完美关键点检测器对人脸姿态校正的影响，从而有利于提升人脸认证/识别性能。
下面结合附图详细说明本发明的技术方案。
本发明实施例的技术方案中，预先收集了大量的人脸图像，比如收集1500张人脸样本图像，作为人脸图像库，并对人脸图像库中所有的二维人脸样本图像人工标定脸部姿态信息及设定个数的脸部关键点，并将这些关键点作为二维人脸样本图像中的真实关键点，以用于后续人脸姿态校正过程中计算关键点的平均偏差和关键点加权矩阵。
例如，在人脸图像库中对每幅二维人脸样本图像人工标定脸部姿态信息及68个脸部关键点。姿态信息具体可以包括：roll(旋转)、pitch(尺度)和yaw(平移)信息；二维人脸样本图像的姿态信息可以用姿态信息向量(roll，pitch，yaw)进行表征。例如，如图1c所示，从左至右，各二维人脸图像的姿态信息向量分别为(6.2，0.2，18.2)、(-1.6，5.6，34.7)、(-4.6，9.6，-29.5)、(-9.3，7.4，13.9)和(5.4，11.3，6.9)。
本发明实施例提供的人脸姿态校正方法的具体流程，如图2所示，包括以下步骤S200至步骤S204：
步骤S200：获取待校正的二维人脸图像。
具体地，图像采集设备(比如摄像头)采集到人脸图像后，将采集到的人脸图像作为待校正的二维人脸图像。
步骤S201：检测待校正的二维人脸图像的二维关键点。
本步骤中，对于待校正的二维人脸图像，首先可以采用现有技术的方法定位二维人脸图像中的人脸区域。例如，采用基于MB-LBP(MultiscaleBlock Local Binary Pattern，多尺度块局部二值模式)和adaboost(AdaptiveBoosting，自适应增强)迭代算法结合的人脸检测器进行人脸检测，定位待校正的二维人脸图像中的人脸区域。
之后，可以使用现有技术，例如，ASM(Active Shape Model，主动形状模型)、AAM(Active Appearance Model，主动外观模型)和SDM(Supervised Descent Method，监督下降法)方法，检测二维人脸图像的人脸区域中的二维关键点；优选地，可以使用SDM方法，从二维人脸图像的人脸区域中自动检测出与人工标定的关键点个数相同的若干个脸部特征点，作为待校正的二维人脸图像的二维关键点。
例如，对于待校正的二维人脸图像，可使用SDM方法自动检测出68个二维关键点作为待校正的二维人脸图像的二维关键点，即得到待校正的二维人脸图像的二维关键点的检测值。
步骤S202：确定三维人脸模型上对应的三维关键点。
本步骤中，根据待校正的二维人脸图像的二维关键点的检测值，确定三维人脸模型上与检测的二维关键点对应的三维关键点的方法为本领域技术人员所熟知，此处不再赘述。
步骤S203：迭代计算更新三维关键点。
具体地，根据确定的三维关键点确定用于迭代计算的三维人脸模型的初始的几何参数；根据迭代计算的三维人脸模型的初始的几何参数，使用迭代计算的方式更新三维关键点。在迭代计算过程中，应用上次迭代的三维人脸模型的几何参数更新三维关键点，根据更新的三维关键点求取本次迭代的三维人脸模型的几何参数。
本步骤中，经过对三维人脸模型的几何参数的多次迭代计算，对三维人脸模型的人脸姿态进行调整。事实上，三维人脸模型的几何参数通常包括：旋转、平移和尺度参数；三维人脸模型的几何参数包含了人脸姿态信息；换言之，根据三维人脸模型的几何参数可以确定三维人脸模型的人脸姿态信息。
在进行三维人脸模型的几何参数的迭代计算前，首先确定用于迭代计算的三维人脸模型的初始的几何参数。事实上，迭代计算过程中所使用的三维人脸模型的初始的几何参数可以采用多种方法确定。例如，技术人员可以根据经验设定初始的几何参数，或者采用其它方法计算得到三维人脸模型的初始的几何参数。本文将在后续介绍几种计算三维人脸模型的初始的几何参数的方法。
得到三维关键点及三维人脸模型的初始的几何参数之后，在一次迭代过程中，应用上次迭代的三维人脸模型的几何参数更新三维关键点，根据更新的三维关键点计算本次迭代的几何参数。
例如，在首次迭代过程中，应用三维人脸模型的初始的几何参数更新三维关键点，根据更新的三维关键点计算首次迭代的三维人脸模型的几何参数；也就是说，将三维人脸模型的初始的几何参数作为上次迭代的三维人脸模型的几何参数，更新三维关键点，并根据更新的三维关键点计算本次迭代的三维人脸模型的几何参数。
在第i次迭代过程中，应用第i-1次迭代的三维人脸模型的几何参数更新三维关键点，根据更新的三维关键点计算第i次迭代的三维人脸模型的的几何参数。其中，i为大于1小于等于n的自然数，n为迭代计算过程中总的迭代次数。
在每次迭代过程结束后，可以判断迭代计算是否满足终止条件；若满足，则迭代终止，将最后一次迭代过程得到的三维人脸模型的几何参数作为迭代计算得到的最终迭代的三维人脸模型的几何参数；否则，继续进行下一次迭代过程。
其中，迭代计算的终止条件可以是相邻两次迭代过程得到的几何参数之间的欧式距离小于阈值；或者迭代次数达到设定值。其中，上述阈值和设定值具体可由本领域技术人员根据经验进行设定。
实际应用中，在一次迭代过程中，应用上次迭代的三维人脸模型的几何参数更新三维关键点，根据更新的三维关键点计算本次迭代的几何参数时，还可以计算三维人脸模型的形状参数，将计算的三维人脸模型的形状参数作为本次迭代的三维人脸模型的形状参数。本发明实施例将在后续对求取本次迭代的三维人脸模型的几何参数和形状参数的方法进行详细介绍。
在迭代计算三维人脸模型的几何参数的过程中，根据当前的三维人脸模型的几何参数更新三维关键点，使得当前的三维人脸模型的几何参数下确定的三维关键点可以与二维关键点仍然保持对应关系，从而由三维关键点最终确定的三维人脸模型的几何参数具有更高的准确度，在后续步骤中利用准确度高的三维人脸模型的几何参数确定姿态校正后的二维人脸图像，可以缩小校正后的二维人脸图像与实际人脸正面图像的差距，避免关键点二义性问题，从而有利于提升人脸认证/识别性能。
步骤S204：根据更新的三维关键点，确定姿态校正后的二维人脸图像。
本步骤中，根据步骤S203更新后的三维关键点确定最终迭代的三维人脸模型的几何参数，根据最终迭代的三维人脸模型的几何参数，确定姿态校正后的二维人脸图像。
具体地，根据S203最终迭代得到的三维人脸模型的几何参数对三维人脸模型进行变换，对变换后的三维人脸模型进行二维投影，得到姿态校正后的二维人脸图像。
更优地，还可以根据最终迭代得到的三维人脸模型的几何参数，以及三维人脸模型的形状参数，对三维人脸模型进行变换，并对变换后的三维人脸模型进行二维投影，得到姿态校正后的二维人脸图像。具体如何确定姿态校正后的二维人脸图像，将在后续详细介绍。
下面详细介绍上述步骤S203中，计算三维人脸模型的初始的几何参数的方法。
计算三维人脸模型的初始的几何参数的方法有多种，其中一种方法可以是：基于步骤S201检测出的二维关键点的检测值，以及步骤S202确定出的三维关键点，计算能量函数极小化条件下的三维人脸模型的几何参数，将计算的几何参数，作为三维人脸模型的初始的几何参数，用于在首次迭代过程中更新三维关键点。
此外，另一种更优的确定三维人脸模型的初始的几何参数的方法，其流程示意图具体如图3a所示，包括以下步骤S301至步骤S302：
步骤S301：计算初始的关键点加权矩阵。
本步骤中，基于步骤S201检测出的二维关键点的检测值，确定初始的关键点加权矩阵。
具体地，针对步骤S201中检测出的每个二维关键点，计算该二维关键点的检测值与查找出的二维人脸样本图像中对应的关键点的真实值之间的欧式距离，根据计算出的欧式距离确定该二维关键点的权重值；其中，二维关键点的真实值为正面姿态下的二维人脸样本图像中预先人工标定的。具体地，在人脸图像库中，根据预先人工标定的脸部姿态信息，查找到正面姿态下的二维人脸样本图像，将查找到的二维人脸样本图像中预先人工标定的关键点的坐标值，作为二维关键点的真实值。
将确定出的各二维关键点的权重值组成初始的关键点加权矩阵。
事实上，二维关键点的检测值与真实值之间的欧式距离的偏差越大，则该二维关键点可靠性越低；反之，则该二维关键点可靠性越高。因此，可以预先使用现有技术离线地检测人脸图像库中的所有图像的二维关键点，并且人脸图像库中每幅图像离线检测的二维关键点个数与人工标定的二维关键点个数相同。对于每个二维关键点，在人脸图像库中的所有正面姿态下的人脸样本图像上统计离线检测的二维关键点的检测值与真实值之间的平均偏差，并选取平均偏差最小的前设定个数的二维关键点，对选取的二维关键点，按照平均偏差反比例赋予不同的权重。例如，在68个脸部关键点中选取平均偏差最小的前25个关键点，按照平均偏差反比例赋予不同的权重。
步骤S302：确定初始的三维人脸模型的几何参数。
本步骤中，基于步骤S201中检测出的二维关键点、步骤S202中确定出的三维关键点，以及计算的初始的关键点加权矩阵，计算能量函数极小化条件下的三维人脸模型的几何参数，将计算的几何参数作为三维人脸模型的初始的几何参数。
较佳地，计算三维人脸模型的初始的几何参数时所使用的能量函数可以如公式1所示，即通过最小化公式1所示的能量函数E1，可求取三维人脸模型的初始的几何参数：
E1＝W1·||u1(g)-y1||2 (公式1)
公式1中，W1为步骤S301计算的初始的关键点加权矩阵，u1(g)为几何参数g下由步骤S202确定的三维关键点的二维投影得到的二维关键点的投影坐标值组成的矩阵，y1为步骤S201检测出的二维关键点的检测值组成的矩阵。
其中，最小化能量函数可以使用梯度下降法，该方法为本领域技术人员所熟知，此处不再赘述。
这样，二维关键点的检测值越接近真实值，二维关键点在初始的关键点加权矩阵中的数值越大；二维关键点的检测值越远离真实值，二维关键点在初始的关键点加权矩阵中的数值越小。因此，最小化能量函数E1，能够加强关键点检测器检测到的偏差较小的关键点在人脸姿态校正过程中的作用，减少关键点检测器检测到的偏差较大的关键点在人脸姿态校正过程中的影响，进而能够更进一步提高确定的三维人脸模型的初始的几何参数的准确性。
下面详细介绍上述步骤S203中，在一次迭代过程中，根据上次更新的三维关键点计算本次迭代的三维人脸模型的几何参数和形状参数的几种方法。
在一次迭代过程中，根据更新的三维关键点计算本次迭代的三维人脸模型的几何参数和形状参数的方法有多种，其中一种可以是：基于本次迭代的二维关键点和三维关键点，计算能量函数极小化条件下的三维人脸模型的几何参数和形状参数，将计算的几何参数和形状参数作为本次迭代的三维人脸模型的几何参数和形状参数。
此外，另一种更优的，在一次迭代过程中，计算三维人脸模型的几何参数和形状参数的方法，其流程示意图具体如图3b所示，包括以下步骤S311至S314：
步骤S311：在一次迭代过程中，确定本次迭代的二维关键点。
本步骤中，根据上次迭代的三维人脸模型的几何参数对三维人脸模型进行变换，将变换后的三维人脸模型进行二维纹理投影，得到二维纹理图像，检测该二维纹理图像的关键点，得到本次迭代的二维关键点。
步骤S312：确定本次迭代更新的三维关键点。
本步骤中，根据本次迭代的二维关键点，在三维人脸模型上找到对应的关键点，作为本次迭代更新的三维关键点。
步骤S313：确定本次迭代的关键点加权矩阵。
具体地，从上次迭代的三维人脸模型的几何参数中获取三维人脸模型的当前姿态信息，在预先收集的人脸图像库中，查找与当前姿态信息相同或相邻姿态信息下的二维人脸样本图像，针对本次迭代的每个二维关键点，计算该二维关键点的检测值与查找出的二维人脸样本图像中对应的关键点的真实值之间的欧式距离，根据计算出的欧式距离确定该二维关键点的权重值。其中，二维人脸样本图像中的关键点的真实值是预先人工标定的。具体地，在人脸图像库中，根据预先人工标定的脸部姿态信息，查找到与当前姿态信息相同或相邻姿态信息下的二维人脸样本图像，将查找出的二维人脸样本图像中预先人工标定的关键点的坐标值，作为本步骤中所使用的关键点的真实值。
其中，相邻姿态信息指的是与当前姿态信息欧式距离在一预定阈值范围内的姿态信息。
本次迭代的关键点加权矩阵是由本次迭代的每个二维关键点的权重值组成。
步骤S314：计算本次迭代的三维人脸模型的几何参数和形状参数。
本步骤中，基于步骤S311确定出的本次迭代的二维关键点、步骤S312确定的本次迭代更新的三维关键点、以及步骤S313确定的本次迭代的关键点加权矩阵，计算能量函数极小化条件下的三维人脸模型的几何参数和形状参数，将计算的几何参数和形状参数作为本次迭代的三维人脸模型的几何参数和形状参数。
具体地，计算本次迭代的三维人脸模型的几何参数和形状参数时所使用的能量函数可以如公式2所示，即通过最小化公式2所示的能量函数E2，可以求取本次迭代的几何参数：
E2＝W2·||u2(c,g)-y2||2+η·||c||2 (公式2)
公式2中，W2为步骤S313确定的本次迭代的关键点加权矩阵，u2(c,g)为几何参数g、形状参数c下步骤S312确定的本次迭代更新的三维关键点的二维投影得到的二维关键点投影坐标值组成的矩阵。y2为步骤S311确定的本次迭代的二维关键点的检测值组成的矩阵。η·||c||2为正则项，以保证重建后三维形状落在人脸空间内。
这样，本次迭代的二维关键点的检测值越接近真实值，该二维关键点在本次迭代的加权矩阵中的数值越大，本次迭代的二维关键点的检测值越远离真实值，该二维关键点在本次迭代的关键点加权矩阵中的数值越小。因此通过最小化能量函数E2能够加强本次迭代的偏差较小的二维关键点人脸姿态校正过程中的作用，减少本次迭代的偏差较大的关键点在人脸姿态校正过程中的影响，因此，根据偏差更小的二维关键点确定本次迭代的三维人脸模型的几何参数，能够进一步提高确定出的本次迭代的三维人脸模型的几何参数的准确性，进而提高由最终迭代的三维人脸模型的几何参数确定的三维人脸模型的姿态信息的准确性，从而提高由三维人脸模型投影的二维人脸图像的正确率，提升人脸识别性能。
下面详细介绍上述步骤S204中确定姿态校正后的二维人脸图像的方法。具体流程如图3c所示，包括如下步骤S321至步骤S323：
步骤S321：确定三维纹理模型。
具体地，根据待校正的二维人脸图像中的像素颜色，对变换后的三维人脸模型进行颜色赋予，得到三维纹理模型。
优选地，确定三维纹理模型的方法可以如下：根据最终迭代得到的三维人脸模型的几何参数以及形状参数，判断三维人脸模型的顶点是否被遮挡；若是，如果该顶点的对称点没有被遮挡，则将对称点的颜色值赋予该被遮挡的顶点；若该顶点的对称点被遮挡，则将三维纹理模型对应的顶点颜色值赋予该被遮挡的顶点。
步骤S322：确定姿态校正后的二维人脸图像。
本步骤中，将三维纹理模型进行二维投影，得到姿态校正后的二维人脸图像。更优地，可以使用双线性插值方法对三维人脸图像对应的二维人脸图像中未赋值的点进行赋值。
步骤S323：确定人脸区域之外的像素颜色。
具体地，根据待校正的二维人脸图像的人脸区域之外的像素点，对姿态校正后的二维人脸图像的人脸区域之外对应的像素点进行颜色赋予。
例如，在待校正的二维人脸图像的人脸矩形区域外增加额外的像素点，在姿态校正后的二维人脸图像的人脸区域之外增加对应的像素点，利用三角剖分进行对应的三角形间的仿射变换，得到对应像素的颜色值。这样能够避免不精确的关键点定位带来的人脸区域丢失问题，提高了人脸图像的正确率。
下面通过对比本发明的人脸姿态校正方法与经典的五点仿射变换方法，来说明本发明的人脸姿态校正方法的技术效果。
本发明实施例的人脸姿态校正方法的过程结果可通过图4a至4i来进行形象说明。其中，图4a为输入的二维人脸图像，该图像为非正面姿态下的人脸图像；首先如图4b所示，自动检测该二维人脸图像上的二维关键点；如图4c所示，自动检测初始三维人脸模型的关键点并确定关键点权重；如图4d所示，对三维人脸模型进行姿态调整并自动检测关键点以及确定关键点权重；如图4e所示，匹配二维关键点和三维人脸模型上的三维关键点；如图4f所示，根据关键点匹配结果重建三维人脸模型；如图4g所示，对三维人脸模型顶点进行颜色赋予；之后，如图4h所示，对三维人脸模型进行二维投影，得到姿态校正后的二维人脸图像，并对人脸区域外的像素点进行颜色赋予。图4i示出了实际的正面人脸图像，对比图4h和图4i可以看出，根据本发明的人脸姿态校正方法进行人脸姿态校正得到的二维人脸图像与实际的正面人脸图像较接近。
下面通过对比本发明的人脸姿态校正方法与经典的五点仿射变换方法，来说明本发明的人脸姿态校正方法的技术效果。
本发明在公开的LFW(Labeled Faces in the Wild，户外带标签人脸库)人脸图像库上，与经典的五点仿射变换方法进行了比较。LFW人脸图像库是当前国际上用于评估非受限环境下人脸识别技术最权威的数据库，该人脸图像库包含从互联网上下载的13233幅人脸图像。五点仿射变换方法与本发明的人脸姿态校正方法的准确率测试结果如表1所示，由表1可以看出，本发明的人脸姿态校正方法具有明显的优势，能够显著的提升非受限条件下的人脸识别的准确率。此外，两种人脸姿态校正方法的识别性能对比如图5所示，由图5可以看出，本发明的人脸姿态校正方法的性能明显优于五点仿射变换方法的性能。
表1
算法名称 准确率
五点仿射变换方法 0.8298±0.0030
本发明的方法 0.8593±0.0039
此外，图6a和图6b展示了本发明的人脸姿态校正方法与经典五点仿射变换方法视觉效果比较，其中，图6a和图6b中的第一行图像为输入的二维人脸图像，即待校正的二维人脸图像，包含多种非正面姿态下的二维人脸图像，第二行图像为五点仿射变换方法校正后的人脸图像，第三行图像为本发明的人脸姿态校正方法校正后的人脸图像，可以看出，本发明的方法校正后的人脸图像，与实际的人脸正面图像较接近，视觉效果明显优于经典五点仿射变换方法。
基于上述的人脸姿态校正方法，本发明实施例提供的一种人脸姿态校正装置，内部结构示意图如图7所示，包括：二维图像获取单元700、关键点确定单元701、迭代计算单元702和二维人脸图像校正单元703。
其中，二维图像获取单元700用于获取待校正的二维人脸图像。
关键点确定单元701用于检测待校正的二维人脸图像的二维关键点，并确定三维人脸模型上与检测的二维关键点对应的三维关键点。
迭代计算单元702用于根据关键点确定单元确定701确定的三维关键点，使用迭代计算的方式更新三维关键点。
在实际应用中，迭代计算单元702在迭代计算过程中，应用上次迭代的三维人脸模型的几何参数更新三维关键点，根据更新的三维关键点计算本次迭代的几何参数。迭代计算单元702进行迭代计算时的迭代终止条件具体可以为：相邻两次迭代过程得到的三维人脸模型的几何参数之间的欧式距离小于阈值，或迭代次数达到设定值。当不满足迭代终止条件时，迭代计算单元702应用上次迭代的三维人脸模型的几何参数更新三维关键点，根据更新的三维关键点计算本次迭代的几何参数；否则，迭代计算单元702返回最终迭代的三维人脸模型的几何参数。
二维人脸图像校正单元703用于根据迭代计算单元702更新的三维关键点，确定姿态矫正后的二维人脸图像。
二维人脸图像校正单元703具体用于根据迭代计算单元702更新后的三维关键点，确定最终迭代的几何参数，根据最终迭代得到的几何参数，确定姿态校正后的二维人脸图像。
如图8a所示，迭代计算单元702具体可包括：初始化子单元800、三维关键点更新子单元801和几何参数更新子单元802。
其中，初始化子单元800具体用于基于关键点确定单元701检测出的二维关键点、确定出的三维关键点，以及关键点加权矩阵，计算能量函数极小化条件下的三维人脸模型的几何参数；将计算的几何参数，作为三维人脸模型的初始的几何参数，发送给迭代计算单元702；其中，关键点加权矩阵是由关键点确定单元701检测的各二维关键点的权重值组成。
三维关键点更新子单元801用于在一次迭代计算过程中，应用上次迭代的三维人脸模型的几何参数更新关键点确定单元701确定的三维关键点，得到本次迭代的三维关键点。具体地，三维关键点更新子单元801根据上次迭代的几何参数对三维人脸模型进行变换；将变换后的三维人脸模型进行二维纹理投影，得到二维纹理图像；检测二维纹理图像的关键点，得到本次迭代的二维关键点；根据本次迭代的二维关键点，在三维人脸模型上找到对应的关键点，作为本次迭代更新的三维关键点。
几何参数更新子单元802用于根据三维关键点更新子单元801更新的三维关键点计算本次迭代的三维人脸模型的几何参数。具体地，几何参数更新子单元802用于基于三维关键点更新子单元801得到的本次迭代的二维、三维关键点，计算能量函数极小化条件下的三维人脸模型的几何参数；将计算的几何参数，作为本次迭代的三维人脸模型的几何参数。几何参数更新子单元802还判断迭代终止条件是否满足；迭代终止条件具体可以为：相邻两次迭代过程得到的三维人脸模型的几何参数之间的欧式距离小于阈值，或迭代次数达到设定值。当不满足迭代终止条件时，几何参数更新子单元802向三维关键点更新子单元801发送继续迭代通知；否则，返回最终迭代的三维人脸模型的几何参数。
相应地，三维关键点更新子单元801具体在接收到继续迭代通知后，进行下一次迭代计算，更新三维关键点。
较佳地，如图8b所示，迭代计算单元702还可包括：第一关键点权重确定子单元803。
第一关键点权重确定单元803用于针对关键点确定单元701检测出的每个二维关键点，计算该二维关键点的检测值与真实值之间的欧式距离，根据计算出的欧式距离确定该二维关键点的权重值；其中，二维关键点的真实值为正面姿态下的二维人脸样本图像中预先人工标定。
较佳地，如图8b所示，迭代计算单元702还可包括：关键点加权矩阵计算单元804。
关键点加权矩阵计算单元804用于计算三维关键点更新单元801得到的本次迭代的二维关键点的关键点加权矩阵；其中，关键点加权矩阵是由三维关键点更新单元801得到的本次迭代的各二维关键点的权重值组成。
相应地，几何参数更新子单元802具体用于基于三维关键点更新子单元801得到的本次迭代的二维、三维关键点，以及关键点加权矩阵计算单元804计算的本次迭代的二维关键点的关键点加权矩阵，计算能量函数极小化条件下的三维人脸模型的几何参数；将求取的几何参数，作为本次迭代的三维人脸模型的几何参数。
较佳地，如图8b所示，迭代计算单元702还可包括：第二关键点权重确定子单元805。
第二关键点权重确定单元805用于在一次迭代过程中，从上次迭代的三维人脸模型的几何参数中获取三维人脸模型的当前姿态信息；查找与当前姿态信息相同或相邻姿态信息下的二维人脸样本图像；针对三维关键点更新子单元801得到的本次迭代的每个二维关键点，计算该二维关键点的检测值与查找出的二维人脸样本图像中对应的关键点的真实值之间的欧式距离，根据计算出的欧式距离确定该二维关键点的权重值；其中，二维人脸样本图像中的关键点的真实值为预先人工标定的。
如图9所示，二维人脸图像校正单元703具体包括：三维人脸模型变换子单元901和二维人脸图像校正子单元902。
其中，三维人脸模型变换子单元901用于根据几何参数更新子单元802最终迭代得到的三维人脸模型的几何参数对三维人脸模型进行变换。
二维人脸图像校正子单元902用于对三维人脸模型变换单元901变换后的三维人脸模型进行二维投影，得到姿态校正后的二维人脸图像。
较佳地，几何参数更新子单元802还用于基于三维关键点更新子单元701得到的本次迭代的二维、三维关键点，计算能量函数极小化条件下的三维人脸模型的几何参数时，计算能量函数极小化条件下的三维人脸模型的形状参数。
相应地，三维人脸模型变换子单元901用于根据几何参数更新子单元802最终迭代得到的三维人脸模型的几何参数，以及形状参数，对三维人脸模型进行变换。
如图10所示，二维人脸图像校正子单元902具体可包括：三维纹理模型确定模块1001和二维人脸图像校正模块1002。
三维纹理模型确定模块1001用于根据待校正的二维人脸图像中的像素颜色，对三维人脸模型变换子单元901变换后的三维人脸模型进行颜色赋予，得到三维纹理模型。
二维人脸图像校正模块1002用于将三维纹理模型变换子单元901得到的三维纹理模型进行二维投影，得到姿态校正后的二维人脸图像。
较佳地，如图10所示，二维人脸图像校正子单元902还可包括：背景保持模块1003。
背景保持模块1003用于根据待校正的二维人脸图像的人脸区域之外的像素点，对二维人脸图像校正模块1002得到的姿态校正后的二维人脸图像的人脸区域之外对应的像素点进行颜色赋予。
上述人脸姿态校正装置中的各单元、子单元和模块的功能的具体实现方法，可以参照上述图2和图3所示的方法流程示意图，此处不再赘述。
本发明的技术方案中，根据待校正的二维人脸图像的二维关键点确定三维人脸模型对应的三维关键点，在迭代过程中，应用上次迭代的三维人脸模型的几何参数更新三维关键点，根据更新的三维关键点计算本次迭代三维人脸模型的几何参数，根据迭代终止条件得到最终的三维人脸模型的几何参数，根据该几何参数确定的三维模型映射得到校正姿态后的二维人脸图像。通过在人脸姿态校正过程中逐步更新三维人脸模型上的三维关键点，使得当前人脸姿态下确定的三维关键点可以与二维关键点仍然保持对应关系，避免因人脸姿态的变化而出现二维关键点与三维关键点不再保持对应关系的现象，也就避免了采用没有对应关系的二维关键点与三维关键点进行计算，得到与实际人脸正面图像误差较大的校正图像的问题；也就是说，能够避免关键点二义性问题，进而可以提高由保持对应关系的二维关键点和三维关键点确定的三维人脸模型的几何参数的正确性，可以缩小由三维人脸模型投影得到的校正后的二维人脸图像与实际人脸正面图像的差距，从而有利于提升人脸认证/识别性能。
进一步，本发明的技术方案中，根据二维人脸图像的姿态信息以及二维关键点定位的偏差大小，对不同的二维关键点设置不同的权重值，可以使二维关键点的偏差越大，其权重越小；相应地，二维关键点的偏差越小，其权重越大，因而加强了关键点检测器检测的偏差较小的关键点在人脸姿态校正过程中的作用，减少了关键点检测器检测的偏差较大的关键点在人脸姿态校正过程中的影响，从而提高由这些二维关键点确定的三维关键点的准确度，进而提高由二维关键点和三维关键点确定的三维人脸模型的姿态信息准确度，可以缩小由三维人脸模型投影得到的校正后的二维人脸图像与实际人脸正面图像的差距，能够降低不完美关键点检测器对人脸姿态校正的影响，从而有利于提升人脸认证/识别性能。
更进一步，本发明的技术方案中，根据待校正的二维人脸图像的人脸区域之外的像素点，对姿态校正后的二维人脸图像的人脸区域之外对应的像素点进行颜色赋予，解决了不精确关键点定位带来的人脸区域丢失问题，同样有助于提升人脸认证/识别性能。
本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable ProgrammableRead-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (31)

1.一种人脸姿态校正方法，其特征在于，包括：
获取待校正的二维人脸图像；
检测所述待校正的二维人脸图像的二维关键点，并确定三维人脸模型上与所述检测的二维关键点对应的三维关键点；
根据所述确定的三维关键点，使用迭代计算的方式更新三维关键点；
根据所述更新的三维关键点，确定姿态矫正后的二维人脸图像。
2.如权利要求1所述的方法，其特征在于，
根据所述确定的三维关键点，使用迭代计算的方式更新三维关键点，包括：根据所述确定的三维关键点确定用于迭代计算的初始几何参数；根据所述迭代计算的初始的几何参数，使用迭代计算的方式更新三维关键点，其中，迭代计算过程中，应用上次迭代的三维人脸模型的几何参数更新三维关键点，根据更新的三维关键点求取本次迭代的几何参数；
根据所述更新的三维关键点，确定姿态矫正后的二维人脸图像，包括：根据更新后的三维关键点确定最终迭代得到的几何参数；根据最终迭代得到的几何参数，确定姿态校正后的二维人脸图像。
3.如权利要求2所述的方法，其特征在于，根据所述确定的三维关键点确定用于迭代计算的初始的几何参数，包括：
基于检测出的二维关键点，以及确定出的三维关键点，求取能量函数极小化条件下的三维人脸模型的几何参数；
将求取的几何参数，作为初始的几何参数，用于在首次迭代过程中更新三维关键点。
4.如权利要求3所述的方法，其特征在于，所述基于检测出的二维关键点，以及确定出的三维关键点，求取能量函数极小化条件下的三维人脸模型的几何参数，包括：
基于检测出的二维关键点、确定出的三维关键点、以及关键点加权矩阵，求取能量函数极小化条件下的三维人脸模型的几何参数；
其中，所述关键点加权矩阵是由各二维关键点的权重值组成。
5.如权利要求4所述的方法，其特征在于，所述二维关键点的权重值根据如下方法得到：
针对每个检测出的二维关键点，计算该二维关键点的检测值与真实值之间的欧式距离，根据计算出的欧式距离确定该二维关键点的权重值；
其中，所述二维关键点的真实值为正面姿态下的二维人脸样本图像中预先人工标定的。
6.如权利要求2所述的方法，其特征在于，所述应用上次迭代的三维人脸模型的几何参数更新三维关键点，包括：
根据上次迭代的几何参数对所述三维人脸模型进行变换；
将变换后的三维人脸模型进行二维纹理投影，得到二维纹理图像；
检测所述二维纹理图像的关键点，得到本次迭代的二维关键点；
根据本次迭代的二维关键点，在所述三维人脸模型上找到对应的关键点，作为本次迭代更新的三维关键点。
7.如权利要求6所述的方法，其特征在于，所述根据更新的三维关键点求取本次迭代的几何参数，包括：
基于本次迭代的二维关键点和三维关键点，求取能量函数极小化条件下的三维人脸模型的几何参数；
将求取的几何参数，作为本次迭代的几何参数。
8.如权利要求7所述的方法，其特征在于，在所述根据更新的三维关键点求取本次迭代的几何参数前，还包括：
求取本次迭代的二维关键点的关键点加权矩阵；
其中，所述关键点加权矩阵是由本次迭代的各二维关键点的权重值组 成。
9.如权利要求8所述的方法，其特征在于，所述基于本次迭代的二维、三维关键点，求取能量函数极小化条件下的三维人脸模型的几何参数，包括：
基于本次迭代的二维、三维关键点，以及本次迭代的二维关键点的关键点加权矩阵，求取能量函数极小化条件下的三维人脸模型的几何参数。
10.如权利要求9所述的方法，其特征在于，所述本次迭代的二维关键点的权重值根据如下方法得到：
从上次迭代的几何参数中获取所述三维人脸模型的当前姿态信息；
查找与所述当前姿态信息相同或相邻姿态信息下的二维人脸样本图像；
针对本次迭代的每个二维关键点，计算该二维关键点的检测值与查找出的二维人脸样本图像中对应的关键点的真实值之间的欧式距离，根据计算出的欧式距离确定该二维关键点的权重值；
其中，所述二维人脸样本图像中的关键点的真实值为预先人工标定的。
11.如权利要求7所述的方法，其特征在于，在所述基于本次迭代的二维、三维关键点，求取能量函数极小化条件下的三维人脸模型的几何参数时，还包括：
求取能量函数极小化条件下的三维人脸模型的形状参数。
12.如权利要求11所述的方法，其特征在于，所述根据最终迭代得到的几何参数，确定姿态校正后的二维人脸图像，包括：
根据最终迭代得到的几何参数对所述三维人脸模型进行变换；
对变换后的三维人脸模型进行二维投影，得到姿态校正后的二维人脸图像。
13.如权利要求12所述的方法，其特征在于，所述根据最终迭代得到的几何参数对所述三维人脸模型进行变换，包括：
根据最终迭代得到的几何参数，以及形状参数，对所述三维人脸模型进行变换。
14.如权利要求12所述的方法，其特征在于，所述对变换后的三维人脸模型进行二维投影，得到姿态校正后的二维人脸图像，包括：
根据所述待校正的二维人脸图像中的像素颜色，对所述变换后的三维人脸模型进行颜色赋予，得到三维纹理模型；
将所述三维纹理模型进行二维投影，得到姿态校正后的二维人脸图像。
15.如权利要求14所述的方法，其特征在于，在所述得到姿态校正后的二维人脸图像后，还包括：
根据所述待校正的二维人脸图像的人脸区域之外的像素点，对所述姿态校正后的二维人脸图像的人脸区域之外对应的像素点进行颜色赋予。
16.如权利要求1-15任一所述的方法，其特征在于，所述迭代计算的终止条件，包括：
相邻两次迭代过程得到的几何参数之间的欧式距离小于阈值；或者
迭代次数达到设定值。
17.一种人脸姿态校正装置，其特征在于，包括：
二维图像获取单元，用于获取待校正的二维人脸图像；
关键点确定单元，用于检测待校正的二维人脸图像的二维关键点，并确定三维人脸模型上与所述检测的二维关键点对应的三维关键点；
迭代计算单元，用于根据所述确定的三维关键点，使用迭代计算的方式更新三维关键点；
二维人脸图像校正单元，用于根据所述更新的三维关键点，确定姿态矫正后的二维人脸图像。
18.如权利要求17所述的装置，其特征在于，
所述迭代计算单元具体用于根据所述确定的三维关键点确定用于迭代计算的初始几何参数；根据所述迭代计算的初始的几何参数，使用迭代计算的方式更新三维关键点，其中，迭代计算过程中，应用上次迭代的三维人脸模型的几何参数更新三维关键点，根据更新的三维关键点求取本次迭代的几何参数。
19.如权利要求17或18所述的装置，其特征在于，
二维人脸图像校正单元具体用于根据最终迭代得到的几何参数，确定姿态校正后的二维人脸图像。
20.如权利要求18所述的装置，其特征在于，所述迭代计算单元包括：
初始化子单元，用于根据所述确定的三维关键点确定用于迭代计算的初始几何参数；
三维关键点更新子单元，用于应用上次迭代的三维人脸模型的几何参数更新三维关键点；
几何参数更新子单元，用于根据所述三维关键点更新子单元更新的三维关键点，求取本次迭代的几何参数。
21.如权利要求20所述的装置，其特征在于，
所述初始化子单元具体用于基于检测出的二维关键点、确定出的三维关键点，以及关键点加权矩阵，求取能量函数极小化条件下的三维人脸模型的几何参数；将求取的几何参数，作为所述初始的几何参数，发送给所述迭代计算单元；其中，所述关键点加权矩阵是由所述关键点确定单元检测的各二维关键点的权重值组成。
22.如权利要求21所述的装置，其特征在于，所述迭代计算单元还包括：
第一关键点权重确定子单元，用于针对所述关键点确定单元检测出的每个二维关键点，计算该二维关键点的检测值与真实值之间的欧式距离，根据计算出的欧式距离确定该二维关键点的权重值；其中，所述二维关键点的真实值为正面姿态下的二维人脸样本图像中预先人工标定的关键点的坐标值。
23.如权利要求20所述的装置，其特征在于，
所述三维关键点更新子单元具体用于根据上次迭代的几何参数对所述三维人脸模型进行变换；将变换后的三维人脸模型进行二维纹理投影，得到二维纹理图像；检测所述二维纹理图像的关键点，得到本次迭代的二维关键点；根据本次迭代的二维关键点，在所述三维人脸模型上找到对应的关键点，作为本次迭代更新的三维关键点。
24.如权利要求20所述的装置，其特征在于，
所述几何参数更新子单元具体用于基于所述三维关键点更新子单元得到的本次迭代的二维、三维关键点，求取能量函数极小化条件下的三维人脸模型的几何参数；将求取的几何参数，作为本次迭代的几何参数。
25.如权利要求24所述的装置，其特征在于，所述迭代计算单元还包括：
关键点加权矩阵计算子单元，用于求取所述三维关键点更新子单元得到的本次迭代的二维关键点的关键点加权矩阵；其中，所述关键点加权矩阵是由所述三维关键点更新子单元得到的本次迭代的各二维关键点的权重值组成；以及
所述几何参数更新子单元具体用于基于所述三维关键点更新子单元得到的本次迭代的二维、三维关键点，以及本次迭代的二维关键点的关键 点加权矩阵，求取能量函数极小化条件下的三维人脸模型的几何参数；将求取的几何参数，作为本次迭代的几何参数。
26.如权利要求25所述的装置，其特征在于，所述迭代计算单元还包括：
第二关键点权重确定子单元，用于从上次迭代的几何参数中获取所述三维人脸模型的当前姿态信息；查找与所述当前姿态信息相同或相邻姿态信息下的二维人脸样本图像；针对所述三维关键点更新子单元得到的本次迭代的每个二维关键点，计算该二维关键点的检测值与查找出的二维人脸样本图像中对应的关键点的真实值之间的欧式距离，根据计算出的欧式距离确定该二维关键点的权重值；其中，所述二维人脸样本图像中关键点的真实值为预先人工标定的。
27.如权利要求24所述的装置，其特征在于，
所述几何参数更新子单元还用于基于所述三维关键点更新子单元得到的本次迭代的二维、三维关键点，求取能量函数极小化条件下的三维人脸模型的几何参数时，求取能量函数极小化条件下的三维人脸模型的形状参数。
28.如权利要求27所述的装置，其特征在于，所述二维人脸图像校正单元包括：
三维人脸模型变换子单元，用于根据所述几何参数更新子单元最终迭代得到的几何参数对所述三维人脸模型进行变换；
二维人脸图像校正子单元，对所述三维人脸模型变换子单元变换后的三维人脸模型进行二维投影，得到姿态校正后的二维人脸图像。
29.如权利要求28所述的装置，其特征在于，
所述三维人脸模型变换子单元具体用于根据所述几何参数更新子单元最终迭代得到的几何参数，以及形状参数，对所述三维人脸模型进行变 换。
30.如权利要求28所述的装置，其特征在于，所述二维人脸图像校正子单元包括：
三维纹理模型确定模块，用于根据所述待校正的二维人脸图像中的像素颜色，对所述三维人脸模型变换子单元变换后的三维人脸模型进行颜色赋予，得到三维纹理模型；
二维人脸图像校正模块，用于将所述三维纹理模型进行二维投影，得到姿态校正后的二维人脸图像。
31.如权利要求30所述的装置，其特征在于，所述二维人脸图像校正子单元还包括：
背景保持模块，用于根据所述待校正的二维人脸图像的人脸区域之外的像素点，对所述二维人脸图像校正模块得到的姿态校正后的二维人脸图像的人脸区域之外对应的像素点进行颜色赋予。
CN201510021503.1A 2015-01-15 2015-01-15 人脸姿态校正方法和装置 Pending CN105844276A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510021503.1A CN105844276A (zh) 2015-01-15 2015-01-15 人脸姿态校正方法和装置
KR1020150171235A KR102093216B1 (ko) 2015-01-15 2015-12-03 얼굴 영상의 자세를 보정하는 방법 및 장치
US14/996,709 US10134177B2 (en) 2015-01-15 2016-01-15 Method and apparatus for adjusting face pose

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510021503.1A CN105844276A (zh) 2015-01-15 2015-01-15 人脸姿态校正方法和装置

Publications (1)

Publication Number Publication Date
CN105844276A true CN105844276A (zh) 2016-08-10

Family

ID=56580748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510021503.1A Pending CN105844276A (zh) 2015-01-15 2015-01-15 人脸姿态校正方法和装置

Country Status (2)

Country Link
KR (1) KR102093216B1 (zh)
CN (1) CN105844276A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778660A (zh) * 2016-12-28 2017-05-31 浙江大华技术股份有限公司 一种人脸姿态校正方法及装置
CN107317953A (zh) * 2017-06-30 2017-11-03 上海兆芯集成电路有限公司 摄像头校正方法以及使用该方法的装置
CN107333028A (zh) * 2017-06-30 2017-11-07 上海兆芯集成电路有限公司 摄像头校正方法以及使用该方法的装置
CN107564097A (zh) * 2017-09-05 2018-01-09 民政部零研究所 一种基于正面图像的遗容三维重建方法
CN108416291A (zh) * 2018-03-06 2018-08-17 广州逗号智能零售有限公司 人脸检测识别方法、装置和系统
CN108470328A (zh) * 2018-03-28 2018-08-31 百度在线网络技术（北京）有限公司 用于处理图像的方法和装置
CN108629333A (zh) * 2018-05-25 2018-10-09 厦门市美亚柏科信息股份有限公司 一种低照度的人脸图像处理方法、装置、设备及可读介质
CN108764033A (zh) * 2018-04-18 2018-11-06 深圳市商汤科技有限公司 身份验证方法和装置、电子设备、计算机程序和存储介质
CN109063678A (zh) * 2018-08-24 2018-12-21 北京字节跳动网络技术有限公司 脸部图像识别的方法、装置及存储介质
CN109087261A (zh) * 2018-08-03 2018-12-25 上海依图网络科技有限公司 基于非受限采集场景的人脸矫正方法
CN110245612A (zh) * 2019-06-14 2019-09-17 百度在线网络技术（北京）有限公司 人脸图像的检测方法和装置
CN110738601A (zh) * 2019-10-23 2020-01-31 智慧视通(杭州)科技发展有限公司 一种基于三维人脸模型低分辨率人脸图像超分辨率重建方法
WO2020034786A1 (zh) * 2018-08-16 2020-02-20 Oppo广东移动通信有限公司 三维模型处理方法、装置、电子设备和存储介质
CN110956691A (zh) * 2019-11-21 2020-04-03 Oppo广东移动通信有限公司 一种三维人脸重建方法、装置、设备及存储介质
CN111127547A (zh) * 2019-12-17 2020-05-08 北京迈格威科技有限公司 定位方法、装置、机器人及存储介质
CN111489435A (zh) * 2020-03-31 2020-08-04 天津大学 基于单图像的自适应三维人脸重建方法
CN112001859A (zh) * 2020-08-10 2020-11-27 深思考人工智能科技(上海)有限公司 一种人脸图像的修复方法及系统
CN112785683A (zh) * 2020-05-07 2021-05-11 武汉金山办公软件有限公司 一种人脸图像调整方法及装置
US11120252B2 (en) 2016-12-28 2021-09-14 Zhejiang Dahua Technology Co., Ltd. Methods, systems, and media for evaluating images
CN114529640A (zh) * 2022-02-17 2022-05-24 北京字跳网络技术有限公司 一种运动画面生成方法、装置、计算机设备和存储介质
CN114549501A (zh) * 2022-02-28 2022-05-27 佛山虎牙虎信科技有限公司 人脸遮挡的识别、三维人脸处理方法、装置、设备及介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019204464A1 (en) 2018-04-18 2019-10-24 Snap Inc. Augmented expression system
KR102476758B1 (ko) 2018-05-09 2022-12-09 삼성전자주식회사 영상 정규화 장치 및 방법
KR102604424B1 (ko) * 2018-12-06 2023-11-22 주식회사 딥픽셀 표준 얼굴 모델 기반 얼굴 특징점 추정 영상 처리장치 및 표준 얼굴 모델 기반 얼굴 특징점 추정 영상 처리를 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 물리적 기록매체
KR102288001B1 (ko) * 2020-02-13 2021-08-11 한국과학기술연구원 나이 변환된 얼굴을 갖는 직업영상 생성 장치 및 이를 포함한 포토 부스
KR102422822B1 (ko) * 2020-05-29 2022-07-18 연세대학교 산학협력단 경쟁적 학습을 이용한 3차원 얼굴 이미지 합성 장치 및 방법
CN112562048A (zh) * 2020-12-16 2021-03-26 北京百度网讯科技有限公司 三维模型的控制方法、装置、设备以及存储介质
CN113158908A (zh) * 2021-04-25 2021-07-23 北京华捷艾米科技有限公司 人脸识别方法、装置、存储介质及电子设备
CN116704622B (zh) * 2023-06-09 2024-02-02 国网黑龙江省电力有限公司佳木斯供电公司 一种基于重建3d模型的智能机柜人脸识别方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5602891A (en) * 1995-11-13 1997-02-11 Beth Israel Imaging apparatus and method with compensation for object motion
US20020041285A1 (en) * 2000-06-22 2002-04-11 Hunter Peter J. Non-linear morphing of faces and their dynamics
US20070269086A1 (en) * 2006-03-22 2007-11-22 Kerwin William S Conditional shape model for image processing
CN101159015A (zh) * 2007-11-08 2008-04-09 清华大学 一种二维人脸图像的识别方法
US20090010500A1 (en) * 2007-06-05 2009-01-08 Umasankar Kandaswamy Face Recognition Methods and Systems
US20090164405A1 (en) * 2007-12-21 2009-06-25 Honda Motor Co., Ltd. Online Sparse Matrix Gaussian Process Regression And Visual Applications
US20090309878A1 (en) * 2008-06-11 2009-12-17 Sony Corporation Image processing apparatus and image processing method
US20100079450A1 (en) * 2008-01-09 2010-04-01 Zygmunt Pizlo Reconstruction of shapes of near symmetric and asymmetric objects
US20110254841A1 (en) * 2010-04-20 2011-10-20 Samsung Electronics Co., Ltd. Mesh generating apparatus, method and computer-readable medium, and image processing apparatus, method and computer-readable medium
US20120289825A1 (en) * 2011-05-11 2012-11-15 Broncus, Technologies, Inc. Fluoroscopy-based surgical device tracking method and system
US20130129159A1 (en) * 2011-11-22 2013-05-23 Ronald Huijgens Face recognition method and apparatus
CN103430218A (zh) * 2011-03-21 2013-12-04 英特尔公司 用3d脸部建模和地标对齐扩增造型的方法
US8666119B1 (en) * 2011-11-29 2014-03-04 Lucasfilm Entertainment Company Ltd. Geometry tracking
US20140226000A1 (en) * 2005-03-01 2014-08-14 EyesMatch Ltd. User interface and authentication for a virtual mirror

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5602891A (en) * 1995-11-13 1997-02-11 Beth Israel Imaging apparatus and method with compensation for object motion
US20020041285A1 (en) * 2000-06-22 2002-04-11 Hunter Peter J. Non-linear morphing of faces and their dynamics
US20140226000A1 (en) * 2005-03-01 2014-08-14 EyesMatch Ltd. User interface and authentication for a virtual mirror
US20070269086A1 (en) * 2006-03-22 2007-11-22 Kerwin William S Conditional shape model for image processing
US20090010500A1 (en) * 2007-06-05 2009-01-08 Umasankar Kandaswamy Face Recognition Methods and Systems
CN101159015A (zh) * 2007-11-08 2008-04-09 清华大学 一种二维人脸图像的识别方法
US20090164405A1 (en) * 2007-12-21 2009-06-25 Honda Motor Co., Ltd. Online Sparse Matrix Gaussian Process Regression And Visual Applications
US20100079450A1 (en) * 2008-01-09 2010-04-01 Zygmunt Pizlo Reconstruction of shapes of near symmetric and asymmetric objects
US20090309878A1 (en) * 2008-06-11 2009-12-17 Sony Corporation Image processing apparatus and image processing method
US20110254841A1 (en) * 2010-04-20 2011-10-20 Samsung Electronics Co., Ltd. Mesh generating apparatus, method and computer-readable medium, and image processing apparatus, method and computer-readable medium
CN103430218A (zh) * 2011-03-21 2013-12-04 英特尔公司 用3d脸部建模和地标对齐扩增造型的方法
US20120289825A1 (en) * 2011-05-11 2012-11-15 Broncus, Technologies, Inc. Fluoroscopy-based surgical device tracking method and system
US20130129159A1 (en) * 2011-11-22 2013-05-23 Ronald Huijgens Face recognition method and apparatus
US8666119B1 (en) * 2011-11-29 2014-03-04 Lucasfilm Entertainment Company Ltd. Geometry tracking

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
姚健: "个性化人脸自动建模与动画技术研究", 《中国科学院研究生院博士学位论文》 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11615643B2 (en) 2016-12-28 2023-03-28 Zhejiang Dahua Technology Co., Ltd. Methods, systems, and media for evaluating images
CN106778660A (zh) * 2016-12-28 2017-05-31 浙江大华技术股份有限公司 一种人脸姿态校正方法及装置
US11120252B2 (en) 2016-12-28 2021-09-14 Zhejiang Dahua Technology Co., Ltd. Methods, systems, and media for evaluating images
US10621752B2 (en) 2017-06-30 2020-04-14 Shanghai Zhaoxin Semiconductor Co., Ltd. Methods and systems for camera calibration
CN107317953A (zh) * 2017-06-30 2017-11-03 上海兆芯集成电路有限公司 摄像头校正方法以及使用该方法的装置
CN107333028A (zh) * 2017-06-30 2017-11-07 上海兆芯集成电路有限公司 摄像头校正方法以及使用该方法的装置
CN107564097A (zh) * 2017-09-05 2018-01-09 民政部零研究所 一种基于正面图像的遗容三维重建方法
CN107564097B (zh) * 2017-09-05 2021-02-05 民政部一零一研究所 一种基于正面图像的遗容三维重建方法
CN108416291A (zh) * 2018-03-06 2018-08-17 广州逗号智能零售有限公司 人脸检测识别方法、装置和系统
CN108470328A (zh) * 2018-03-28 2018-08-31 百度在线网络技术（北京）有限公司 用于处理图像的方法和装置
CN108764033A (zh) * 2018-04-18 2018-11-06 深圳市商汤科技有限公司 身份验证方法和装置、电子设备、计算机程序和存储介质
CN108629333A (zh) * 2018-05-25 2018-10-09 厦门市美亚柏科信息股份有限公司 一种低照度的人脸图像处理方法、装置、设备及可读介质
CN109087261B (zh) * 2018-08-03 2020-08-18 上海依图网络科技有限公司 基于非受限采集场景的人脸矫正方法
CN109087261A (zh) * 2018-08-03 2018-12-25 上海依图网络科技有限公司 基于非受限采集场景的人脸矫正方法
WO2020034786A1 (zh) * 2018-08-16 2020-02-20 Oppo广东移动通信有限公司 三维模型处理方法、装置、电子设备和存储介质
CN109063678A (zh) * 2018-08-24 2018-12-21 北京字节跳动网络技术有限公司 脸部图像识别的方法、装置及存储介质
CN109063678B (zh) * 2018-08-24 2020-09-29 北京字节跳动网络技术有限公司 脸部图像识别的方法、装置及存储介质
CN110245612A (zh) * 2019-06-14 2019-09-17 百度在线网络技术（北京）有限公司 人脸图像的检测方法和装置
US11238272B2 (en) 2019-06-14 2022-02-01 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for detecting face image
CN110738601A (zh) * 2019-10-23 2020-01-31 智慧视通(杭州)科技发展有限公司 一种基于三维人脸模型低分辨率人脸图像超分辨率重建方法
CN110956691A (zh) * 2019-11-21 2020-04-03 Oppo广东移动通信有限公司 一种三维人脸重建方法、装置、设备及存储介质
CN111127547A (zh) * 2019-12-17 2020-05-08 北京迈格威科技有限公司 定位方法、装置、机器人及存储介质
CN111489435B (zh) * 2020-03-31 2022-12-27 天津大学 基于单图像的自适应三维人脸重建方法
CN111489435A (zh) * 2020-03-31 2020-08-04 天津大学 基于单图像的自适应三维人脸重建方法
CN112785683A (zh) * 2020-05-07 2021-05-11 武汉金山办公软件有限公司 一种人脸图像调整方法及装置
CN112785683B (zh) * 2020-05-07 2024-03-19 武汉金山办公软件有限公司 一种人脸图像调整方法及装置
CN112001859A (zh) * 2020-08-10 2020-11-27 深思考人工智能科技(上海)有限公司 一种人脸图像的修复方法及系统
CN112001859B (zh) * 2020-08-10 2024-04-16 深思考人工智能科技(上海)有限公司 一种人脸图像的修复方法及系统
CN114529640A (zh) * 2022-02-17 2022-05-24 北京字跳网络技术有限公司 一种运动画面生成方法、装置、计算机设备和存储介质
CN114529640B (zh) * 2022-02-17 2024-01-26 北京字跳网络技术有限公司 一种运动画面生成方法、装置、计算机设备和存储介质
CN114549501A (zh) * 2022-02-28 2022-05-27 佛山虎牙虎信科技有限公司 人脸遮挡的识别、三维人脸处理方法、装置、设备及介质

Also Published As

Publication number Publication date
KR102093216B1 (ko) 2020-04-16
KR20160088223A (ko) 2016-07-25

Similar Documents

Publication Publication Date Title
CN105844276A (zh) 人脸姿态校正方法和装置
CN107122705B (zh) 基于三维人脸模型的人脸关键点检测方法
CN111795704B (zh) 一种视觉点云地图的构建方法、装置
CN108304820B (zh) 一种人脸检测方法、装置及终端设备
CN102682302B (zh) 一种基于关键帧的多特征融合的人体姿态识别方法
CN105631436B (zh) 基于随机森林的级联位置回归用于人脸对齐的方法
CN105740780B (zh) 人脸活体检测的方法和装置
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
Cheng et al. Robust affine invariant feature extraction for image matching
CN111415379B (zh) 一种基于布谷鸟优化的三维点云数据配准方法
CN106595702B (zh) 一种基于天文标定的多传感器空间配准方法
JP2004516533A (ja) 合成開口レーダーおよび前向き赤外線イメージ重ね合わせ方法
CN111862299A (zh) 人体三维模型构建方法、装置、机器人和存储介质
CN105139007B (zh) 人脸特征点定位方法和装置
CN104021392B (zh) 一种基于向量度量的冲突证据融合方法
CN112651490B (zh) 人脸关键点检测模型的训练方法及设备、可读存储介质
EP1966760A2 (en) Automatic 3-d object detection
CN107016319A (zh) 一种关键点定位方法和装置
CN104050628A (zh) 图像处理方法和图像处理装置
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN108320310B (zh) 基于图像序列的空间目标三维姿态估计方法
CN109360144A (zh) 一种基于手机平台的图像实时校正改进方法
CN110007764B (zh) 一种手势骨架识别方法、装置、系统及存储介质
CN109785372A (zh) 基于软决策优化的基础矩阵鲁棒估计方法
JP4690190B2 (ja) 画像処理方法および装置並びにプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20200922