CN105474263A

CN105474263A - 用于产生三维人脸模型的系统和方法

Info

Publication number: CN105474263A
Application number: CN201480038696.5A
Authority: CN
Inventors: 郭烽; 毕宁; 齐颖勇
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2013-07-08
Filing date: 2014-06-12
Publication date: 2016-04-06
Anticipated expiration: 2034-06-12
Also published as: US20150009207A1; EP3020023A1; EP3020023B1; WO2015006014A1; CN105474263B; KR20160030203A; US9842423B2; JP2016526742A

Abstract

本发明描述一种用于三维人脸生成的方法。基于深度图和反向第一矩阵而计算反向深度图。由其中像素垂直对准并且水平不同的两个图像生成所述反向第一矩阵。所述反向深度图经正规化以纠正由图像校正引起的所述深度图中的失真。基于所述反向深度图和所述两个图像中的一者而生成三维人脸模型。

Description

用于产生三维人脸模型的系统和方法

技术领域

本发明大体上涉及电子装置。更具体来说，本发明涉及用于产生三维(3D)人脸模型的系统和方法。

背景技术

在最近几十年中，电子装置的使用已变得普遍。具体来说，电子技术的进步已降低了越来越复杂且有用的电子装置的成本。成本降低和消费者需求已使电子装置的使用剧增，使得其在现代社会中几乎随处可见。由于电子装置的使用已推广开来，因此需要电子装置的新的且改进的特征。更具体来说，人们常常寻求执行新功能和/或更快、更有效或以更高质量执行功能的电子装置。

一些电子装置(例如，相机、视频摄像机、数码相机、蜂窝式电话、智能电话、计算机、电视机等)捕获或利用图像。举例来说，数码相机可以捕获数字图像。

人们常常寻求电子装置的新的和/或改进的特征。如可从此论述观察到，添加电子装置的新的和/或改进的特征的系统和方法可以是有益的。

发明内容

描述用于三维人脸生成的方法。基于深度图和反向第一矩阵而计算反向深度图。由其中像素垂直对准并且水平不同的两个图像生成反向第一矩阵。反向深度图经正规化以纠正由图像校正引起的深度图中的失真。基于反向深度图和两个图像中的一者而生成三维人脸模型。

可以获得对应于两个图像的第一图像的第一矩阵。可以获得对应于两个图像的第二图像的第二矩阵。第一矩阵可以施加到第一图像以获得第一校正图像。第二矩阵可以施加到第二图像以获得第二校正图像。第一矩阵可以是对应于第一图像的单应矩阵，并且第二矩阵可以是对应于第二图像的单应矩阵。

计算反向深度图可以包含反向第一矩阵以获得反向第一矩阵以及将所述反向第一矩阵施加到深度图。可以从第一校正图像和第二校正图像确定深度图。可以从两个图像确定基本矩阵。获得第一矩阵和第二矩阵可以包含分解基本矩阵。

两个图像可以是相对于人脸的不同角度。将反向深度图正规化可以包含将反向深度图中的像素的子集正规化。将反向深度图正规化可以包含使反向深度图旋转、倾斜和缩放中的一者。

使反向深度图倾斜可以包含确定反向深度图的子集选择中的每一列像素的深度导数，确定子集选择的所有深度导数的平均值，将所述平均值与阈值相比较以及基于所述比较而使反向深度图倾斜。子集选择可以包含矩形区域。子集选择可以包含第一区域和第二区域。将平均值与阈值相比较还可以包含将第一区域的平均值与第二区域的平均值之间的差与阈值相比较。

使反向深度图旋转可以包含检测反向深度图中的对称特征，所述对称特征具有左特征和右特征,以及按比例调整反向深度图以使左特征和右特征水平齐平。

使反向深度图缩放可以包含检测反向深度图中的对称特征，所述对称特征具有左特征和右特征，以及调整反向深度图以使左特征和右特征按比例均等并且处于同一深度水平。

还描述用于三维人脸生成的设备。所述设备包含处理器和存储在与所述处理器进行电子通信的存储器中的可执行指令。所述设备基于深度图和反向第一矩阵而计算反向深度图。由其中像素垂直对准并且水平不同的两个图像生成反向第一矩阵。所述设备还将反向深度图正规化以纠正由图像校正引起的深度图中的失真。所述设备基于反向深度图和两个图像中的一者而进一步生成三维人脸模型。

描述用于三维人脸生成的另一设备。所述设备包含用于基于深度图和反向第一矩阵而计算反向深度图的装置。由其中像素垂直对准并且水平不同的两个图像生成反向第一矩阵。所述设备还包含用于将反向深度图正规化以纠正由图像校正引起的深度图中的失真的装置。所述设备进一步包含用于基于反向深度图和两个图像中的一者而生成三维人脸模型的装置。

描述用于三维人脸生成的计算机程序产品。所述计算机程序产品包含具有在其上的指令的非暂时性计算机可读媒体。所述指令包含用于使电子装置基于深度图和反向第一矩阵而计算反向深度图的代码。由其中像素垂直对准并且水平不同的两个图像生成反向第一矩阵。所述指令还包含用于使电子装置将反向深度图正规化以纠正由图像校正引起的深度图中的失真。所述指令进一步包含用于使电子装置基于反向深度图和两个图像中的一者而生成三维人脸模型的代码。

附图说明

图1是说明用于产生三维(3D)人脸模型的组件的框图；

图2说明用于产生反向(inverse)深度图的过程；

图3是说明用于产生3D人脸模型的方法的流程图；

图4说明两个倾斜图像；

图5是说明用于产生3D人脸模型的另一方法的流程图；

图6是说明用于使反向深度图倾斜的方法的流程图；

图7说明用于将反向深度图正规化的过程；

图8是说明用于产生3D人脸模型的另一方法的流程图；

图9是说明用于将反向深度图正规化的方法的流程图；并且

图10说明可以包含于电子装置内的某些组件。

具体实施方式

三维(3D)人脸模型可以用于不同的应用，例如虚拟现实和人脸识别。3D模型可以由一组二维(2D)图像生成。举例来说，显示人脸图像的一组2D图片可以用于创建人脸的3D渲染。举例来说，使用由电话捕获的两个图像的3D人脸模型重构可以提供与播音室环境相比成本较低的方案。

在一个已知方法中，由两个立体图像建构3D人脸模型。在这种方法中，相机校准不是必需的。但是这种方法使用对极几何来直接估计深度。为寻找两个图像之间的对应极线，需要在白板前面拍摄人脸图像。在白板上，必须包含并且放置黑色矩形，以使得目标人脸的高度拟合于所述黑色矩形内。在这种方法中，必须手动地手编图像以用于矩形的四个拐角上的任何极端色彩。因此，这种方法的应用有限并且需要大量的用户交互。

在其它已知的基于立体相机的3D人脸重构方法中，立体相机硬件和相机需要校准。相机校准可能复杂、昂贵并且费时，并且可能需要大量的用户交互。

在另一已知方法中，通用人脸模型和数个2D人脸图像用于建构3D人脸。脸部特征是匹配的，并且所述通用人脸模型拟合于这些特征点。随后运算人脸深度的结构。但是这种方法取决于通用人脸模型、脸部特征检测等的架构。这种方法可以不捕获个体的自然人脸。换句话说，这种方法可以在将个体的人脸施加到一般人脸模型时使其失真。

类似地，在涉及通过单目相机进行3D人脸重构的另一已知方法中，使用单2D图像将人脸重构成3D结构。这种方法采用含有实例补丁的对象(例如，人脸模型)的资料库。在这种方法中，实践中使用数据组并不保证对象的存在足够类似于对准确重建的查询。

然而，许多现用的3D图像生成方法使用的图像校正流程在个体的人脸渲染为3D人脸模型时使其失真。图像校正大体上包含检测和匹配一对2D图像之间的一组对应点。通过这种方法，校正图像向左偏斜并且失真。在其它方法中，需要手动修改和纠正以消除由图像校正引起的失真。

因此，本发明的系统和方法可以提供用于由两个2D图像(例如，由单一相机拍摄)自动产生3D人脸模型改进的方法和配置。在一些配置中，反向矩阵可以用于通过极少的用户交互自动纠正图像失真。在一些配置中，旋转、倾斜和缩放可以纠正图像失真。下文更详细地解释用于3D人脸生成和产生3D人脸模型的系统和方法。

图1是说明用于产生3D人脸模型的组件的方法100的框图。可以在硬件或软件中实施每一组件。举例来说，图1可以实施于电子装置(未图示)上。电子装置的实例包含膝上型或桌上型计算机、蜂窝式电话、智能电话、无线装置、电子书阅读器、平板装置、游戏系统等。这些装置中的一些可以根据一或多个行业标准操作。

图1中的组件包含图像接收器102、特征检测器/匹配器104、基本矩阵估计器106、单应矩阵分解器108、图像校正器(rectifier)110/深度估计器112和3D人脸建模器114。图1还说明单应矩阵换向器116、反向深度图计算器118、反向深度图正规化器120和对称特征检测器122。所述组件可以在单一装置上实施或可以在多个装置上实施。下文将更详细地论述这些组件中的每一者。

图像接收器102可以接收个体人脸的一组两个图像(例如，原始数据)。两个图像可以是相对于人脸的不同角度。换句话说，图像可以是这样：两个图像中的像素垂直上和水平不同。在一个配置中，图像接收器102可以是拍摄两个图片的单一相机。第一图片和第二图片可以在同一水平位置处拍摄，但是相机可以向左或右稍微移动或沿水平轴旋转，从而产生稍微不同的图像。

在另一配置中，图像接收器102可以是从外部装置接收图像输入的模块。举例来说，图像接收器102可以在电子装置上实施并且接收由相机电话或平板装置拍摄的图像。在一些配置中，图像接收器102可以定位在捕获图像组的同一电子装置上。

特征检测器/匹配器104可以使第一图像的像素与第二图像的对应像素相关。举例来说，特征检测器/匹配器104可以检测两个图像中的每一者中的脸部特征(例如，眼睛、鼻子、嘴巴等)并且将来自第一图像中的一个特征的像素与第二图像中的同一特征的对应像素匹配。

基本矩阵估计器106可以生成基本矩阵(H)。基本矩阵可以是涉及立体图像(例如，两个图像组)中的对应点的3×3矩阵。可以基于两个图像之间的多个匹配特征、点或像素而估计基本矩阵。大体而言，可以基于至少七个对应点而估计基本矩阵，然而，可以在估计基本矩阵时采用更多或更少的对应点。

在一些配置中，矩阵估计器可以由其中像素垂直对准并且水平不同的两个图像生成另一类型的矩阵。换句话说，可以使用除基本矩阵以外的由两个立体图像生成的另一类型的矩阵。

单应矩阵分解器108可以从基本矩阵分解一或多个单应(即，投影变换)矩阵，例如3x3单应矩阵。单应矩阵可以提供两个图像之间的相机的旋转和平移信息。可以从基本矩阵分解一对单应矩阵，例如第一单应矩阵(P_L)和第二单应矩阵(P_R)。第一单应矩阵可以对应于第一图像，并且第二单应矩阵可以对应于第二图像。

图像校正器110可以通过将两个图像投影到共同图像平面上而校正所述两个图像。举例来说，图像校正器110可以将第一单应矩阵施加到第一图像并且将第二单应矩阵施加到第二图像。图像校正器110可以产生校正图像(例如，第一校正图像和第二校正图像)。在一些配置中，图像校正器110以使得对应点具有相同行座标的方式将立体图像投影到平行于光学中心之间的线的共同图像平面上。以这种方式，与2D立体对应性相关联的问题减少成一维(1D)问题。

深度估计器112可以确定深度图。深度图可以是图像或图像通道，其包含关于场景对象的表面与视点(例如，相机)的距离的信息。深度图可以提供指示两个校正图像之间的深度差的深度值。深度估计器112可以由一组两个校正图像生成深度图。

3D人脸建模器114可以基于深度图和两个图像中的一者而生成3D人脸模型。举例来说，3D人脸建模器114可以将图像中的检测到的特征与深度图对准。在一些配置中，3D人脸建模器114可以在生成3D人脸模型时采用反向深度图。

单应矩阵换向器116可以使单应矩阵反向。单应矩阵换向器116可以使单应矩阵反向以获得反向单应矩阵，例如3×3反向单应矩阵。单应矩阵换向器116可以获得反向第一单应矩阵(P_L ^-1)和反向第二单应矩阵(P_R ^-1)。

反向深度图计算器118可以计算或映射反向深度图。举例来说，反向深度图计算器118可以将深度图映射到反向单应矩阵以获得反向深度图。反向深度图可以纠正由图像校正引起的深度图中的一些失真。

反向深度图正规化器120可以调整反向深度图并且将其正规化。正规化可以包含使反向深度图倾斜、旋转、缩放等。举例来说，反向深度图正规化器120可以检测反向深度图中的失真并且因此可以执行调整。在一些配置中，反向深度图正规化器120可以调整反向深度图中的像素的子集。在一些配置中，反向深度图正规化器120可以将非反向深度图正规化。换句话说，反向深度图正规化器120可以将深度图242直接正规化。

对称特征检测器122可以检测图像中的对称特征，例如人脸。举例来说，对称特征检测器122可以检测对称特征，例如眼睛、耳朵、嘴唇、鼻子、前额区域、脸颊、眼镜、眉毛等。

图1中所说明的组件可以产生3D人脸模型。举例来说，给定人脸的两个立体图像，可以估计深度图，并且深度图的背景部分可以设定为平面。通过已知深度值，可以计算人脸点的3D坐标，并且3D人脸可以重构为3D人脸模型。

在一个方法中，图像接收器102可以接收一组图像。所述图像组可以包含第一图像和第二图像，左图像和右图像，顶部图像和底部图像，两个立体图像等。所述图像组中的两个图像可以包含垂直对准但水平不同的对应像素。在一些配置中，两个图像之间的像素可以水平对准，但不能垂直对准。

图像接收器102可以将所述图像组提供到特征检测器/匹配器104。举例来说，图像接收器102可以通过有线连接、以无线方式或经由存储媒体发送图像。

特征检测器/匹配器104可以识别两个图像中的对应特征并且可以将对应图像匹配在一起。图2中展示下文描述的特征匹配的图示。

特征检测器/匹配器104可以将相关且匹配的图像提供到基本矩阵估计器106。一旦已匹配一定数量的像素，特征检测器/匹配器104可以将此数据提供到基本矩阵估计器106。

基本矩阵估计器106可以基于相关的图像而估计基本矩阵(H)。可以随后通过单应矩阵分解器108分解基本矩阵以获得两个单应矩阵(P_L和P_R)。换句话说，可以基于基本矩阵H而运算用于校正立体图像的投影变换矩阵P_L和P_R。

图像校正器110可以使用单应矩阵P_L和P_R来校正第一图像和第二图像。举例来说，第一单应矩阵P_L可以映射到左图像以产生第一校正图像，并且第二单应矩阵P_R可以映射到右图像以产生第二校正图像。

现在将给出图像校正流程的实例。在一个配置中，图像校正包含通过特征检测器/匹配器104检测并且匹配两个图像之间的一组对应点。正确匹配的点用于通过基本矩阵估计器106运算基本矩阵H使得X_R ^THX_L＝0，其中X_L是左图像中的点(例如，像素)，并且X_R是右图像中的对应点(例如，像素)。换句话说，X_L和X_R可以各自表示可以以[x,y,1]格式写成3D行矢量的2D点。T可以表示矩阵转置。因此，当3D列矢量被转置时，结果是写成[x,y,1]的3D行矢量(例如，列矢量[x,y,1]^T＝行矢量[x,y,1])。

在此配置中，P_L和P_R是通过单应矩阵分解器108从3x3基本矩阵H分解的3x3矩阵。给定P_L和P_R，图像校正器110将2D投影变换施加到两个图像上。此处，校正图像将每一图像像素(X)从原始数据像素(写成X＝[x,y,1]^T)变化成校正图像像素(写成X_L'＝P_LX_L或X_R＝P_RX_R)。此外，在此配置中，不需要相机内部和外部参数。

然而，在此配置中，单应矩阵P_L和P_R对并不是唯一的，因为两个立体校正图像是通过共同旋转立体校正的。换句话说，单应矩阵P_L和P_R对基于两个图像之间的差、围绕共同基线旋转而共用共同旋转。因此，可能将不希望的失真(具体来说，偏斜和方位/比例失真)引入校正图像。下文在图2中展示并且描述这种失真的图示。

一旦校正图像组，两个校正图像可由深度估计器112使用以确定深度图。换句话说，给定重构的立体图像，可以确定深度重构。但如果校正图像失真，那么深度图可以同样失真。因此，通过这种方法，图像校正导致深度图中的不希望的失真，如果不纠正，那么所述失真可以导致3D人脸模型失真。

为纠正由图像校正引起的深度图中的失真，可以由反向深度图计算器118生成反向深度图。反向深度图计算器118可以从深度估计器112获得深度图并且从单应矩阵换向器116获得反向单应矩阵。单应矩阵换向器116可以使从如上所述的单应矩阵分解器108获得的单应矩阵反向。

反向深度图计算器118可以将深度图映射到反向单应矩阵以产生反向深度图。举例来说，给定根据两个校正立体图像估计的深度图(M)，M可以通过施加反向矩阵(例如，P_L或P_R)反向映射到初始图像中的一者。在此实例中，M中的像素(m)(写成m＝[x,y,z]^T)将变成新像素(m')(写成m'＝P_L ^-1m)。因此，在反向映射之后，m'＝[x',y',z']作为反向深度图(M')的部分。在以上实例中，z表示深度图中的像素值，并且z'表示反向深度图中的像素值。

反向深度图可以部分地纠正由图像校正流程引起的深度图中的失真。举例来说，可以纠正偏斜和方位/比例失真。除部分地纠正由图像校正流程引起的深度图中的失真以外，可以通过反向深度图正规化器120执行对深度图/反向深度图的正规化。正规化可以纠正反向深度图以预防3D人脸模型不恰当地倾斜、旋转和/或缩放。举例来说，正规化的像素可以写成[x_a,y_a]，其中x_a＝x'/z'并且y_a＝y'/z'。因此，在正规化之后，深度图可以与原始图像在同一平面上。此外，可以去除2D平面上的失真。

反向深度图正规化器120可以从对称特征检测器122接收输入。举例来说，对称特征检测器122可以将检测到的对称特征和图案发送到反向深度图正规化器120。反向深度图正规化器120可以使用检测到的对称特征来执行调整，以确保检测到的对称特征成正确比例。下文更详细地论述关于图像正规化的其它细节。

一旦纠正并且正规化反向深度图，3D人脸建模器114可以生成3D人脸模型。3D人脸建模器114可以将初始图像中的一者映射到反向深度图，从而通过反向深度图上的对应点施加从对称特征检测器122发送的检测到的特征。

根据本文中呈现的系统和方法，可能有益的是使深度图反向并且基于人脸特有的特征而修改反向深度图以减少图像校正期间不希望的失真。具体来说，如先前所描述，现有的方法导致图像校正流程中的图像失真，并且常常需要大量的用户交互。本文中呈现的系统和方法通过使深度图反向以部分地说明图像校正流程中引入的失真而改良现有的方法。通过基于人脸特有的特征修改反向深度图并且将其正规化而施加进一步的纠正，以改良3D人脸模型的质量。此外，本文中呈现的系统和方法需要极少的用户交互。

图2说明用于产生反向深度图242的过程200。过程200可以在硬件或软件中实施。举例来说，过程200可以在电子装置上实施。在一些配置中，过程200可以对应于结合图1描述的组件。

图2说明第一图像230和第二图像232。第一图像230和第二图像232可以组成一组立体图像。举例来说，两个图像可以是从不同视点拍摄的单一人脸。在一些配置中，可以使用除人脸以外的对象。

在一些配置中，可以采用两个以上图像。举例来说，可以使用垂直像素全部对准的任何数量的图像。所述图像可以提供到图像接收器102。

给定从不同视点(例如，第一图像230和第二图像232)拍摄的人脸的两个图像，可以校正原始、未校准的立体图像。在校正两个图像中，第一图像230可以首先与产生组合的相关图像234的第二图像232相关。举例来说，特征检测器/匹配器104可以检测并且匹配第一图像230和第二图像232。随后，基本矩阵估计器106可以基于匹配点的线状投影而计算基本矩阵，如组合的相关图像234中所示。

可以经由组合的相关图像234使用第一图像230和第二图像232以产生第一校正图像236和第二校正图像238。举例来说，图像校正器110可以执行如上所述的图像校正流程的部分。如图2所示，第一校正图像236和第二校正图像238可以在图像校正流程期间失真。

可以从第一校正图像236和第二校正图像238确定深度图240。举例来说，深度估计器112可以生成深度图240。由于第一校正图像236和第二校正图像238失真，深度图240可能失真。

为纠正这种失真，可以计算反向深度图242。举例来说，反向深度图计算器118可以计算反向深度图242。可以通过将反向单应矩阵(例如，P_L ^-1或P_R ^-1)施加到深度图240而计算反向深度图242。如图2中所示，反向深度图242可以纠正例如偏斜等由图像校正引起的深度图240中的失真。

图3是说明用于产生3D人脸模型的方法300的流程图。方法300可以在硬件或软件中实施。举例来说，方法300可以在电子装置上实施。电子装置可以获得302两个图像，例如第一图像230和第二图像232。所述两个图像可以是通过图像接收器102接收的两个立体图像。

电子装置可以从第一图像230和第二图像232确定304基本矩阵。基本矩阵(H)可以是追踪两个立体图像中的对应点的3x3矩阵。可以基于组合的相关图像234而由基本矩阵估计器106生成基本矩阵。

电子装置可以从基本矩阵分解306对应于第一图像230的第一矩阵。电子装置还可以从基本矩阵分解306对应于第二图像232的第二矩阵。举例来说，如上所述，第一矩阵和第二矩阵可以分别是单应矩阵P_L和P_R。在一些配置中，第一矩阵和第二矩阵可以分别是P_R和P_L或一些其它矩阵。在一些配置中，可以从单应矩阵分解器108分解第一矩阵和第二矩阵。

电子装置可以将第一矩阵施加308到第一图像230以获得第一校正图像236。电子装置可以将第二矩阵施加308到第二图像232以获得第二校正图像238。举例来说，图像校正器110可以将第一矩阵映射或投影到第一图像230以产生第一校正图像236。可以类似地生成第二校正图像238。可能在图像校正期间引入失真。

电子装置可以从第一校正图像236和第二校正图像238确定310深度图240。可以通过深度估计器112确定深度图240。如果第一校正图像236和第二校正图像238失真并且偏斜，那么随后深度图240将很可能也失真并且偏斜。深度图240可以提供指示基于第一校正图像236和第二校正图像238的深度差的深度值。

电子装置可以计算312反向深度图242。可以通过使第一矩阵(或第二矩阵)反向并且将反向矩阵施加到深度图240而计算反向深度图242。举例来说，反向深度图计算器118可以执行这些计算。反向第一矩阵或反向第二矩阵可以是反向单应矩阵，例如P_L ^-1或P_R ^-1。单应矩阵换向器116可以将反向第一矩阵或反向第二矩阵提供到反向深度图计算器118以获得反向深度图242。

电子装置可以将反向深度图242正规化314以纠正由图像校正引起的深度图中的失真。举例来说，反向深度图正规化器120可以调整失真。下文将更详细地描述关于正规化的其它细节。

电子装置可以基于反向深度图242和两个图像中的一者(例如，第一图像230或第二图像电子装置232)而生成3163D人脸模型。举例来说，3D人脸建模器114可以将初始图像中的一者映射到已经正规化的反向深度图242。在生成3D人脸模型时，从对称特征检测器122检测到的特征可以映射到反向深度图242上的对应点。3D人脸模型不包含由于通过此方法300执行的纠正而由图像校正引起的失真中的至少一些。

尽管计算反向深度图可以纠正一些失真，但是其它失真(偏斜、缩放和旋转失真)仍可以影响反向深度图。可以由在图像校正期间创建的深度尺寸失真而引起这些失真。举例来说，左眼可以从校正流程失真，并且左眼的深度值可以比右眼更大。正规化可以纠正未通过创建反向深度图而纠正的失真。

为优化深度图，可以使用人脸特征。举例来说，可以考虑左和右对称特征。作为另一实例，可以基于前额和嘴巴区域调整倾斜。还可以基于对称脸部特征(例如，眼睛、耳朵、嘴唇、鼻子、前额区域、脸颊、眼镜、眉毛等)调整缩放和旋转。图4至图9将更详细地描述各种正规化方法，例如倾斜，缩放和旋转。

图4说明两个倾斜的图像。所述倾斜的图像可以基于反向深度图242。如下文将描述，倾斜图像中的过度倾斜，可以通过比较反向深度图242的各种部分中的不同深度值而纠正。调整并且优化反向深度图242的倾斜可以是将反向深度图242正规化的一个方法。

图4中的两个倾斜图像可以包含第一倾斜图像444和第二倾斜图像454。第一椭圆452可以经建模以匹配第一倾斜图像444中的人脸的周界。第一椭圆452可以包含第一长轴(a)448和第一短轴(b)450，并且可以帮助检测失真，例如第一倾斜图像444中的过度倾斜。举例来说，过度倾斜可以通过采用第一子集选择窗口446检测到。过度倾斜可以指示所述图像在超出可接受量的任一方向上倾斜。换句话说，过度倾斜的图像可以绕第一短轴(b)450向前倾斜得太远或向后倾斜得太远。

第一子集选择窗口446可以是矩形；然而，可以采用其它形状。在一个配置中，第一子集选择窗口446的高度和宽度可以为a/2和b/3。可以采用其它尺寸。在一些配置中，第一子集选择窗口446可以与第一椭圆452中心相同。在一些配置中，在人脸的鼻子区域在第一倾斜图像444上的情况下，第一子集选择窗口446可以为中心。

第二倾斜图像454可以类似地包含第二椭圆462，第二椭圆462包含第二长轴(a)458和第二短轴(b)460。第二椭圆462可以经建模以对应于第二倾斜图像454中的人脸。

第二倾斜图像454还可以包含第二子集选择456和第三子集选择466。第二子集选择456和第三子集选择466的高度和宽度可以相同；然而，在一些配置中，其可以不同于彼此。举例来说，第二子集选择456和第三子集选择466的高度和宽度可以为a/4和b/3。第二子集选择456和第三子集选择466可以各自是矩形，或可以是另一类型的形状，例如椭圆形。此外，第二子集选择456和第三子集选择466可以是不同的形状。

第二子集选择456可以放置在前额区上方，并且第三子集选择466可以定位在第二倾斜图像454的嘴巴区域上方。在用于渲染3D人脸模型的理想图像中，个体人脸的前额和嘴巴定位于同一平面中。因此，可以比较第二子集选择456与第三子集选择466以确定倾斜角。

下文在图5和图6中论述基于第一子集选择446或从第二子集选择456与第三子集选择466的比较而确定倾斜角。

在将反向深度图242正规化(例如，倾斜、旋转、缩放、调整等)时，应该考虑图像前景和背景以使得调整可以集中在个体的人脸而不是背景上。另外，区别前景和背景允许在两个表面之间平滑化。

在一个配置中，这种情况可以通过计算人脸深度f_m的平均值而执行。人脸深度的平均值可以用于设定背景深度d，背景深度d应该是3D人脸模型后方的平面。背景深度应该小于平均人脸深度，然而，差不应该显著变化。如果d<w*f_m，那么可以调整图像深度。此处，w是控制阈值以便预防在正调整图像深度时调整人脸深度的系数。以此方式，背景和人脸边界可以平滑地合并以使得边界上不存在较大的模糊。

图5是说明产生3D人脸模型的另一方法500的流程图。方法500可以在硬件或软件中实施。在一些配置中，方法500可以在电子装置上实施。电子装置可以计算502反向深度图242。

电子装置可以确定504反向深度图242的子集选择中的每一列像素的深度导数。举例来说，子集选择可以是第一子集选择446、第二子集选择456或第三子集选择466。可以运算子集选择中的每一垂直列的深度导数。举例来说，可以从顶部到底部运算每一子集选择的每一垂直列。

在一个配置中，电子装置可以使用506单一矩形子集选择(例如，第一子集选择446)。在此配置中，电子装置可以确定508子集选择(即，单一子集选择中的所有深度导数)的平均值(m)。换句话说，可以将每一深度导数平均化以计算m。

电子装置可以将平均值与阈值(t₁)相比较510。如果|m|>t₁，那么反向深度图242中的人脸可以分类为过度倾斜并且可以进行调整直到满足|m|≤t₁的条件为止。换句话说，电子装置可以基于所述比较而倾斜518反向深度图242。如上所述，电子装置可以基于反向深度图242和两个图像中的一者而生成5203D人脸模型。

在另一配置中，电子装置可以使用512两个矩形子集选择(例如，第二子集选择456和第三子集选择466)。两个矩形子集选择可以表示第一子集选择区域和第二子集选择区域。

电子装置可以确定514每一子集选择的平均值(m)。举例来说，电子装置可以确定514第一子集选择区域的第一平均值(m₁)和第二子集选择区域的平均值(m₂)。

电子装置可以基于反向深度图242和两个图像中的一者而生成5203D人脸模型。这种情况可以如上所述执行。

图6是说明用于使反向深度图242倾斜的方法600的流程图。方法600可以在硬件或软件中实施。举例来说，方法600可以在电子装置上实施。这种方法600可以是将反向深度图242正规化的一个实例。

电子装置可以发起602倾斜调整。电子装置可以执行604人脸检测和眼睛检测。举例来说，人脸检测和眼睛检测可以在反向深度图242或原始输入图像中的一者上执行。在一些配置中，执行604人脸检测和眼睛检测可以通过对称特征检测器122来执行。

电子装置可以通过长轴a和短轴b将人脸建模606为椭圆。举例来说，所述椭圆可以相似于上文结合图4描述的第一椭圆452或第二椭圆462。

在一个配置中，电子装置可以设定608一个矩形，所述矩形与所述椭圆中心相同。矩形的宽度和高度可以为b/3和a/2。举例来说，矩形可以相似于图4的第一子集选择446。

电子装置可以沿人脸的垂直方向计算610平均导数值(m)。电子装置可以比较612是否|m|>阈值t₁(即，图像过度倾斜)。在这种情况下，电子装置可以沿人脸的垂直方向(例如，绕短轴(b))调整614深度值直到|m|<＝t₁为止。

在另一配置中，电子装置可以设定616两个矩形，每一矩形的宽度和高度为b/3和a/2，中心定在椭圆中的前额和嘴巴区域处。举例来说，两个矩形可以相似于图4的第二子集选择456和第三子集选择466。电子装置可以计算618两个矩形中的每一者的平均深度值(m₁和m₂)。这种情况可以如结合上图5中所描述执行。电子装置可以比较620是否|m₁-m₂|>阈值t₂(即，图像过度倾斜)。在这种情况下，电子装置可以沿人脸的垂直方向(例如，绕短轴(b))调整622深度值直到|m₁-m₂|≤t₂为止。

图7说明用于将反向深度图742正规化的过程700。过程700可以在硬件或软件中实施。举例来说，过程700可以在电子装置上实施。在一些配置中，过程700可以对应于结合图1描述的组件。

图7说明可以对应于上文所描述的反向深度图242的反向深度图742。图7还说明检测到的图像774、经正规化的反向深度图778和3D人脸模型780。可以在先前已调整并且纠正反向深度图742的过度倾斜。在其它方法中，可以随后调整倾斜。

在一些配置中，可以检测到的人脸区域和眼睛的位置，如检测到的对称特征776中所示。基于左/右眼检测，可以按比例调整反向深度图742以使左侧和右侧在同一深度水平上。换句话说，检测到的图像774可以包含检测到的对称特征776，例如。一对眼睛。其它对称特征可以包含耳朵、嘴唇、鼻子、前额区域、脸颊、眼镜、眉毛等。

检测到的图像774可以由对称特征检测器122生成。检测到的图像774可以采用来自立体图像组的第一图像230或第二图像232。或者，检测到的图像774可以是深度图240或反向深度图742。

反向深度图742和检测到的图像774可以用于获得经正规化的反向深度图778。举例来说，反向深度图正规化器120可以使用反向深度图742和/或检测到的图像774生成经正规化的反向深度图778。

可以基于反向深度图742和两个图像中的一者(例如，第一图像230或第二图像232)而生成3D人脸模型780。举例来说，3D人脸建模器114可以生成3D人脸模型780以将图像中的检测到的对称特征776与反向深度图742对准。

图8是说明用于制造3D人脸模型780的另一方法800的流程图。方法800可以在硬件或软件中实施。举例来说，方法800可以在电子装置上实施。

如上所述，电子装置可以计算802反向深度图742。电子装置可以确定804反向深度图742中的对称特征。举例来说，可以确定804具有右特征的左特征对称。左特征和右特征可以包含为检测到的对称特征776。可以通过对称特征检测器122匹配对称特征。对称特征可以基于已知的脸部特征或侧图像的对应侧上的类似对称特征计算。

左特征和右特征可以是(例如)一对眼睛。这对眼睛可以不与彼此成比例。换句话说，反向深度图742中的左眼的深度值可以比右眼更大。

在一个配置中，电子装置可以按比例调整806反向深度图742以使左特征和右特征水平齐平。举例来说，反向深度图742可以绕垂直于图像延伸的轴旋转以对准左特征与右特征直到其水平齐平为止。下文结合图9更详细地解释这种情况。

在一些配置中，电子装置可以调整808反向深度图742以使左特征和右特征按比例均等并且处于同一深度水平。在一个实例中，反向深度图742可以绕垂直轴旋转直到左特征和右特征均等为止。

在另一个实例中，可以调整一个或两个特征中的像素直到左特征和右特征按比例均等为止。举例来说，给定左眼大于右眼的一组眼睛，可以减少左眼的深度水平且/或增加右眼的深度水平。在另一情况下，可以减少左眼的尺寸或比例且/或可以增加右眼的尺寸或比例。可以执行调整的组合以使左特征和右特征按比例均等并且处于同一深度水平。以这种方式，可以调整反向深度图742直到左特征和右特征在同一平面上为止。电子装置可以基于反向深度图742和两个图像中的一者而生成8103D人脸模型780。这种情况可以如上所述执行。

图9是说明用于将反向深度图742正规化的方法900的流程图。方法900可以在硬件或软件中实施。举例来说，方法900可以在电子装置上实施。在一些配置中，可以结合结合图6描述的方法600而采用这种方法900以用于使反向深度图742倾斜。

电子装置可以发起902旋转调整。电子装置可以执行904人脸检测和眼睛检测。举例来说，人脸检测和眼睛检测可以在反向深度图742或原始输入图像中的一者上执行。在一些配置中，执行904人脸检测和眼睛检测可以通过对称特征检测器122来执行。

电子装置可以通过长轴a和短轴b将人脸建模906为椭圆。在一个配置中，所述椭圆可以类似于上文结合图4描述的第一椭圆452或第二椭圆462。

在一些配置中，电子装置可以设定908两个矩形，一个中心定在左眼处并且一个中心定在右眼处。每一矩形的宽度和高度可以是b/4和a/8。可以采用其它尺寸和形状。举例来说，两个矩形可以各自具有b/3的宽度和a/2的高度。作为另一实例，两个矩形可以具有与彼此不同的尺寸。此外，可以采用除矩形以外的形状。

两个矩形可以相似于图4的第二子集选择456和第三子集选择466，但放置眼睛在上方并且具有不同的尺寸。

电子装置可以计算910两个矩形的平均深度值(m₁和m₂)。这种情况可以如结合上图5中所描述执行。电子装置可以比较912是否|m₁-m₂|>阈值t(即，图像过度旋转)。在这种情况下电子装置可以沿人脸的水平方向(例如，绕长轴)调整914深度值直到|m₁-m₂|≤t为止。

图10说明可以包含于电子装置1001内的某些组件。上文所描述的电子装置中的一或多个可以类似地配置成图10中所示的电子装置1001。

电子装置1001包含处理器1009。处理器1009可以是通用单芯片或多芯片微处理器(例如，ARM)、专用微处理器(例如，数字信号处理器(DSP))、微控制器、可编程门阵列等。处理器1009可被称为中央处理单元(CPU)。尽管图10的电子装置1001中仅展示单一处理器1009，但在替代配置中，可以使用处理器的组合(例如，ARM和DSP)。

电子装置1001还包含与处理器1009进行电子通信的存储器1003(即，处理器1009可以从存储器1003读取信息和/或将信息写入到存储器1003)。存储器1003可以是能够存储电子信息的任何电子组件。存储器1003可以是随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的快闪存储器装置、随处理器一起包含的机载存储器、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、寄存器等，包含其组合。

指令1005a和数据1007a可以存储于存储器1003中。指令1005a可以包含一或多个程序、例程、子例程、功能、程序、代码等。指令1005a可以包含单一计算机可读语句或许多计算机可读语句。指令1005a可以通过处理器1009执行以实施上文所描述的方法300、500、600、800和900中的一或多个。执行指令1005a可以涉及使用存储于存储器1003中的数据1007a。图10展示加载到处理器1009中的一些指令1005b和数据1007b(可能来自指令1005a和数据1007a)。

在一些配置中，电子装置1001可以包含用于捕获图像的一或多个图像捕获组件1017。在一个配置中，图像捕获组件1017可以是用于捕获图像(例如，立体图像)的相机或照相手机。

电子装置1001还可以包含用于与其它电子装置通信的一或多个通信接口1013。通信接口1013可以基于有线通信技术、无线通信技术或两者。不同类型的通信接口1013的实例包含串行端口、并行端口、通用串行总线(USB)、以太网适配器、IEEE1394总线接口、小型计算机系统接口(SCSI)总线接口、红外(IR)通信端口、蓝牙无线通信适配器等等。

电子装置1001还可以包含一或多个输入装置1015和一或多个输出装置1019。不同种类的输入装置1015的实例包含键盘、鼠标、麦克风、遥控器装置、按钮、操纵杆、跟踪球、触控板、光笔等。举例来说，电子装置1001可以包含用于捕获图像的一或多个图像捕获组件1017。

不同种类的输出装置1019的实例包含扬声器、打印机、3D打印机等。通常可以包含于电子装置1001中的一个特定类型的输出装置1019是显示器1023。与本文中所揭示的配置一起使用的显示器1023可利用任何合适的图像投影技术,例如阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)、气体等离子体、电致发光等等。举例来说，3D人脸模型可以在显示器1023上显示。还可以提供显示控制器1025以用于将存储于存储器1003中的数据转换成在显示器1023上展示的文字、图形和/或移动图像(按需要)。

电子装置1001还可以包含发射器(未图示)和接收器(未图示)以允许发射和接收电子装置1001与远程位置(例如，另一电子装置，无线通信装置等)之间的信号。发射器和接收器可以统称为收发器。天线(未图示)可以电耦合到收发器。电子装置1001还可以包含(未图示)多个发射器、多个接收器、多个收发器和/或多个天线。

电子装置1001的各种组件可以通过一或多个总线耦合在一起,所述总线可以包含电力总线、控制信号总线、状态信号总线、数据总线等。为简单起见,各种总线在图10中说明为总线系统1011。

在一个配置中，电路可以经适配以生成三维人脸。所述电路的第一部分可以经适配以基于深度图和反向第一矩阵而计算反向深度图。可以由其中像素垂直对准并且水平不同的两个图像生成反向第一矩阵。另外，同一电路、不同电路、不同电路的部分或同一电路的第二部分可以经适配以将反向深度图正规化以纠正由图像校正引起的深度图中的失真。此外，同一电路、不同电路、不同电路的部分或同一电路的第三部分可以经适配以基于反向深度图和两个图像中的一者而生成三维人脸模型。

在以上描述中，有时已结合各种术语而使用参考标号。在术语结合参考标号使用的情形下，此可意味着指代图中的一或多个中展示的特定元件。在无参考标号的情况下使用术语的情形下，此可意味着大体指代所述术语，而不限于任何特定图。

术语“确定”涵盖广泛多种动作，且因此“确定”可以包含计算、运算、处理、导出、调查、查找(例如，在表、数据库或另一数据结构中查找)、查实等等。而且，“确定”可以包含接收(例如，接收信息)、存取(例如，在存储器中存取数据)等等。并且，“确定”可以包含解析、选择、挑选、建立等等。

除非以其他方式明确指定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”和“基于至少”两者。

术语“处理器”应该广义地解释为涵盖通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等等。在一些情况下，“处理器”可以指代专用集成电路(ASIC)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)等。术语“处理器”可以指代处理装置的组合，例如DSP和微处理器的组合、多个微处理器的组合、一或多个微处理器结合DSP核心，或任何其它此类配置。

术语记忆体应该广义地解释为涵盖能够存储电子信息的任何电子组件。术语“存储器”可以指代各种类型的处理器可读媒体，例如随机接入存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、快闪存储器、磁性或光学数据存储器、寄存器等。如果处理器可以从存储器读取信息和/或将信息写入到存储器，那么存储器被称为与处理器进行电子通信。与处理器成一体式的存储器与处理器进行电子通信。

术语“指令”和“代码”应该广义地解释为包含任何类型的计算机可读语句。例如，术语指令和代码可以指代一或多个程序(program)、例程、子例程、函数、程序(procedure)等。“指令”和“代码”可以包含单一计算机可读语句或许多计算机可读语句。

本文中所描述的功能可以在通过硬件执行的软件或固件中实施。所述功能可以存储为计算机可读媒体上的一或多个指令。术语“计算机可读媒体”或“计算机程序产品”指代可以通过计算机或处理器存取的任何有形的非暂时性存储媒体。借助于实例而非限制，计算机可读媒体可以包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可以用于运载或存储呈指令或数据结构的形式的所要程序代码且可通以过计算机存取的任何其它媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。

本文中所揭示的方法包含用于实现所描述的方法的一或多个步骤或动作。在不脱离权利要求书的范围的情况下，所述方法步骤和/或动作可以彼此互换。换句话说，除非正描述的方法的适当操作需要步骤或动作的特定次序，否则，在不脱离权利要求书的范围的情况下，可以修改特定步骤及/或动作的次序和/或使用。

此外，应了解，用于执行本文中所描述的方法和技术的模块和/或其它适当装置(例如由图3、图5至图6和图8至图9所说明的)可以通过装置下载和/或以其它方式获得。举例来说，电子装置可以耦合到服务器以促进传送用于执行本文中所描述的方法的装置。或者，本文中所描述的各种方法可以经由存储装置(例如，随机存取存储器(RAM)、只读存储器(ROM)、例如压缩光盘(CD)或软性磁盘等物理存储媒体，等)提供，使得装置可在将存储装置耦合或提供到所述装置后获得各种方法。

应理解，权利要求书不限于上文所说明的精确配置和组件。在不脱离权利要求书的范围的情况下，可在本文中所描述的系统、方法和设备的配置、操作和细节方面进行各种修改、改变和变更。

Claims

1.一种用于三维人脸生成的方法，其包括：

基于深度图和反向第一矩阵而计算反向深度图，其中所述反向第一矩阵由其中像素垂直对准并且水平不同的两个图像生成；

将所述反向深度图正规化以纠正由图像校正引起的所述深度图中的失真；以及

基于所述反向深度图和所述两个图像中的一者而生成三维人脸模型。

2.根据权利要求1所述的方法，其进一步包括：

获得对应于所述两个图像的第一图像的第一矩阵；

获得对应于所述两个图像的第二图像的第二矩阵；

将所述第一矩阵施加到所述第一图像以获得第一校正图像；以及

将所述第二矩阵施加到所述第二图像以获得第二校正图像。

3.根据权利要求2所述的方法，其中所述第一矩阵是对应于所述第一图像的单应矩阵，并且其中所述第二矩阵是对应于所述第二图像的单应矩阵。

4.根据权利要求2所述的方法，其中计算所述反向深度图包括：

使所述第一矩阵反向以获得所述反向第一矩阵；以及

将所述反向第一矩阵施加到所述深度图。

5.根据权利要求2所述的方法，其进一步包括从所述第一校正图像和所述第二校正图像确定所述深度图。

6.根据权利要求2所述的方法，其进一步包括从所述两个图像确定基本矩阵。

7.根据权利要求6所述的方法，其中获得所述第一矩阵和所述第二矩阵包括分解所述基本矩阵。

8.根据权利要求1所述的方法，其中所述两个图像是相对于人脸的不同角度。

9.根据权利要求1所述的方法，其中将所述反向深度图正规化包括将所述反向深度图中的像素的子集正规化。

10.根据权利要求1所述的方法，其中将所述反向深度图正规化包括将所述反向深度图旋转、倾斜和缩放中的一者。

11.根据权利要求10所述的方法，其中使所述反向深度图倾斜包括：

确定所述反向深度图的子集选择中的每一列像素的深度导数；

确定所述子集选择的所有所述深度导数的平均值；

将所述平均值与阈值相比较；以及

基于所述比较而使所述反向深度图倾斜。

12.根据权利要求11所述的方法，其中所述子集选择包括矩形区域。

13.根据权利要求11所述的方法，其中所述子集选择包括第一区域和第二区域，并且其中比较包括将所述第一区域的平均值与所述第二区域的平均值之间的差与阈值相比较。

14.根据权利要求10所述的方法，其中使所述反向深度图旋转包括：

检测所述反向深度图中的对称特征，其中所述对称特征包括左特征和右特征；以及

按比例调整所述反向深度图以使所述左特征和所述右特征水平齐平。

15.根据权利要求10所述的方法，其中使所述反向深度图缩放包括：

调整所述反向深度图以使所述左特征和所述右特征按比例均等并且处于同一深度水平。

16.一种用于三维人脸生成的设备，其包括：

处理器；

存储器，其与所述处理器进行电子通信；

存储于所述存储器中的指令，所述指令可执行以：

17.根据权利要求16所述的设备，其进一步包括可执行以进行以下操作的指令：

获得对应于所述两个图像的第一图像的第一矩阵；

获得对应于所述两个图像的第二图像的第二矩阵；

将所述第二矩阵施加到所述第二图像以获得第二校正图像。

18.根据权利要求17所述的设备，其中所述第一矩阵是对应于所述第一图像的单应矩阵，并且其中所述第二矩阵是对应于所述第二图像的单应矩阵。

19.根据权利要求17所述的设备，其中可执行以计算所述反向深度图的所述指令包括可执行以进行以下操作的指令：

使所述第一矩阵反向以获得所述反向第一矩阵；以及

将所述反向第一矩阵施加到所述深度图。

20.根据权利要求17所述的设备，其进一步包括可执行以从所述第一校正图像和所述第二校正图像确定所述深度图的指令。

21.根据权利要求17所述的设备，其进一步包括可执行以从所述两个图像确定基本矩阵的指令。

22.根据权利要求21所述的设备，其中可执行以获得所述第一矩阵和所述第二矩阵的所述指令包括可执行以分解所述基本矩阵的指令。

23.根据权利要求16所述的设备，其中所述两个图像是相对于人脸的不同角度。

24.根据权利要求16所述的设备，其中可执行以将所述反向深度图正规化的所述指令包括可执行以将所述反向深度图中的像素的子集正规化的指令。

25.根据权利要求16所述的设备，其中可执行以将所述反向深度图正规化的所述指令包括可执行以使所述反向深度图旋转的指令、可执行以使所述反向深度图倾斜的指令和可执行以使所述反向深度图缩放的指令中的一者。

26.根据权利要求25所述的设备，其中可执行以使所述反向深度图倾斜的所述指令包括可执行以进行以下操作的指令：

确定所述子集选择的所有所述深度导数的平均值；

将所述平均值与阈值相比较；以及

基于所述比较而使所述反向深度图倾斜。

27.根据权利要求26所述的设备，其中所述子集选择包括矩形区域。

28.根据权利要求26所述的设备，其中所述子集选择包括第一区域和第二区域，并且其中可执行以比较的所述指令包括可执行以将所述第一区域的平均值与所述第二区域的平均值之间的差与阈值相比较的指令。

29.根据权利要求25所述的设备，其中可执行以使所述反向深度图旋转的所述指令包括可执行以进行以下操作的指令：

30.根据权利要求25所述的设备，其中可执行以使所述反向深度图缩放的所述指令包括可执行以进行以下操作的指令：

31.一种用于三维人脸生成的设备，其包括：

用于基于深度图和反向第一矩阵而计算反向深度图的装置，其中所述反向第一矩阵由其中像素垂直对准并且水平不同的两个图像生成；

用于将所述反向深度图正规化以纠正由图像校正引起的所述深度图中的失真的装置；以及

用于基于所述反向深度图和所述两个图像中的一者而生成三维人脸模型的装置。

32.根据权利要求31所述的设备，其中用于将所述反向深度图正规化的所述装置包括用于将所述反向深度图中的像素的子集正规化的装置。

33.根据权利要求31所述的设备，其中用于将所述反向深度图正规化的所述装置包括用于使所述反向深度图旋转、倾斜和缩放的装置中的一者。

34.根据权利要求33所述的设备，其中用于使所述反向深度图倾斜的所述装置包括：

用于确定所述反向深度图的子集选择中的每一列像素的深度导数的装置；

用于确定所述子集选择的所有所述深度导数的平均值的装置；

用于将所述平均值与阈值相比较的装置；以及

用于基于所述比较而使所述反向深度图倾斜的装置。

35.根据权利要求34所述的设备，其中所述子集选择包括第一区域和第二区域，并且其中用于比较的所述装置包括用于将所述第一区域的平均值与所述第二区域的平均值之间的差与阈值相比较的装置。

36.根据权利要求33所述的设备，其中用于使所述反向深度图旋转的所述装置包括：

用于检测所述反向深度图中的对称特征的装置，其中所述对称特征包括左特征和右特征；以及

用于按比例调整所述反向深度图以使所述左特征和所述右特征水平齐平的装置。

37.一种用于三维人脸生成的计算机程序产品，其包括在其上具有指令的非暂时性计算机可读媒体，所述指令包括：

用于使电子装置基于深度图和反向第一矩阵而计算反向深度图的代码，其中所述反向第一矩阵由其中像素垂直对准并且水平不同的两个图像生成；

用于使所述电子装置将所述反向深度图正规化以纠正由图像校正引起的所述深度图中的失真的代码；以及

用于使所述电子装置基于所述反向深度图和所述两个图像中的一者而生成三维人脸模型的代码。

38.根据权利要求37所述的计算机程序产品，其中用于使所述电子装置将所述反向深度图正规化的所述代码包括用于使所述电子装置将所述反向深度图中的像素的子集正规化的代码。

39.根据权利要求37所述的计算机程序产品，其中用于使所述电子装置将所述反向深度图正规化的所述代码包括用于使所述电子装置使所述反向深度图旋转、倾斜和缩放的代码中的一者。

40.根据权利要求39所述的计算机程序产品，其中用于使所述电子装置使所述反向深度图倾斜的所述代码包括：

用于使所述电子装置确定所述反向深度图的子集选择中的每一列像素的深度导数的代码；

用于使所述电子装置确定所述子集选择的所有所述深度导数的平均值的代码；

用于使所述电子装置将所述平均值与阈值相比较的代码；以及

用于使所述电子装置基于所述比较而使所述反向深度图倾斜的代码。

41.根据权利要求40所述的计算机程序产品，其中所述子集选择包括第一区域和第二区域，并且其中比较包括将所述第一区域的平均值与所述第二区域的平均值之间的差与阈值相比较。

42.根据权利要求39所述的计算机程序产品，其中用于使所述电子装置使所述反向深度图旋转的所述代码包括：

用于使所述电子装置检测所述反向深度图中的对称特征的代码，其中所述对称特征包括左特征和右特征；以及

用于使所述电子装置按比例调整所述反向深度图以使所述左特征和所述右特征水平齐平的代码。