CN104157010B - 一种3d人脸重建的方法及其装置 - Google Patents

Abstract

本申请实施方式提供了一种3D人脸重建的方法，该方法包括：获取用于3D人脸重建的图像，并从所述图像中获取预设数量的作为3D人脸重建特征点的图像特征点信息，图像特征点的集合用于反映人脸轮廓；获取3D平均人脸模型；确定图像特征点在3D平均人脸模型中的对应点，基于图像特征点的信息以及图像特征点与3D平均人脸模型中的对应点之间的对应关系进行拟合运算，得到3D人脸重建的形变模型系数，根据所述形变模型系数修正3D平均人脸模型，得到重建的初步3D人脸；获得初步3D人脸上各点的纹理坐标，实现3D人脸重建。本申请的实施方式还提供了一种3D人脸重建的装置。本申请实施方式可以针对任意图像进行3D人脸重建。

Description

一种3D人脸重建的方法及其装置

技术领域

本申请的实施方式涉及信息数据处理技术领域，尤其涉及一种3D人脸重建的方法及其装置。

背景技术

在信息处理环境中，基于图片数据进行3D人脸重建已得到广泛应用。目前3D人脸重建的方法是从多个角度采集多张人脸图片，然后对这些人脸图片进行对齐和综合运算，得到3D人脸。但是，这种3D人脸重建方法对用于重建对象的图片有特殊要求，即一般仅能针对含有人脸的图片进行，而对于不含有人脸的图片则不能实现3D人脸重建，降低了用户体验。此外，这种3D人脸重建通过多张图片尽管能够还原出人脸的深度信息，但是，其中的对齐和综合运算计算量较大，重建方式极为繁琐，不利于提高3D人脸重建的效率。

发明内容

为了解决上述问题，本申请实施方式提供了一种3D人脸重建的方法及其装置，以便针对无论是否含有人脸的图片均能实现3D人脸重建。

本申请实施方式提供的3D人脸重建的方法包括：

获取用于3D人脸重建的图像，并从所述图像中获取预设数量的作为3D人脸重建特征点的图像特征点信息，图像特征点的集合用于反映人脸轮廓；

获取3D平均人脸模型；

确定图像特征点在3D平均人脸模型中的对应点，基于图像特征点的信息以及图像特征点与3D平均人脸模型中的对应点之间的对应关系进行拟合运算，得到3D人脸重建的形变模型系数，根据所述形变模型系数对3D平均人脸模型进行处理，得到重建的初步3D人脸；

获得所述初步3D人脸上各点的纹理坐标，实现3D人脸重建。

优选地，所述方法还包括在获得3D平均人脸模型时，获取主成分分量；

所述基于图像特征点的信息以及图像特征点与3D平均人脸模型中的对应点之间的对应关系进行拟合运算，得到3D人脸重建的形变模型系数，根据所述形变模型系数对3D平均人脸模型进行处理，得到重建的初步3D人脸，具体包括：

按照如下公式构建代价函数E：

其中：Y_image为图像特征点向量，为3D平均人脸模型向量，S为主成分分量构成的分量矩阵，diag为由σ_i形成的对角阵，σ_i表示第i个主成分分量的标准差，c为各个主成分分量对应的形变模型系数，L为3D平均人脸模型到图像的投影矩阵，用于反映图像特征点与3D平均人脸模型中的对应点之间的对应关系；

求解所述代价函数E，得到形变模型系数c；

根据所述形变模型系数c按照如下公式计算得到初步3D人脸X_model：

优选地，各个图像特征点的分布具有一定的概率，用模糊矩阵A表示图像特征点的概率分布，则所述代价函数为：

优选地，所述获取主成分分量具体包括：

选取3D人脸模型库，对该3D人脸模型库进行主成分分析得到主成分分量。

进一步优选地，所述对3D人脸模型库进行主成分分析得到主成分分量具体包括：

从3D人脸模型库中获取M个人脸模型的顶点数据，人脸模型顶点数据可以表示为：

X_i＝(x₁,y₁,z₁,x₂,y₂,z₂,...,x_N,y_N,z_N)^T∈R^3N

其中，X_i为第i个人脸的顶点坐标组成的几何形状向量，N为顶点个数，R^3N为实数空间。

对M个3D人脸模型的顶点数据按照如下公式计算3D平均人脸模型：

基于3D平均人脸模型按照如下公式得到协方差矩阵：

利用协方差矩阵求解，得到主成分分量构成的分量矩阵S。

优选地，所述获得初步3D人脸上各点的纹理坐标具体包括：

按照如下公式先计算纹理坐标系数，即和P^d(x)函数的系数：

其中：d下标表示坐标轴的方向，G_d为图像特征点在3D人脸上的对应点的坐标值，K为特征点个数，φ^d(x,x_i)表示点x与图像特征点在3D人脸上的对应点x_i距离的RBF函数，P^d(x)表示基于点x的一次线性函数；

利用所述纹理坐标系数求得3D人脸上各点的纹理坐标。

本申请实施方式还提供了一种3D人脸重建的装置。该装置包括：第一获取单元、第二获取单元、拟合运算单元、人脸重建单元和纹理获得单元，其中：

所述第一获取单元，用于获取用于3D人脸重建的图像，并从所述图像中获取预设数量的作为3D人脸重建特征点的图像特征点信息，图像特征点的集合用于反映人脸轮廓；

所述第二获取单元，用于获取3D平均人脸模型；

所述拟合运算单元，用于确定图像特征点在3D平均人脸模型中的对应点，基于图像特征点的信息以及图像特征点与3D平均人脸模型中的对应点之间的对应关系进行拟合运算，得到3D人脸重建的形变模型系数；

所述人脸重建单元，用于根据所述形变模型系数对3D平均人脸模型进行处理，得到重建的初步3D人脸；

所述纹理获得单元，用于获得所述初步3D人脸上各点的纹理坐标，实现3D人脸重建。

优选地，所述第二获取单元，还用于在获取3D平均人脸模型时，获取主成分分量，则所述拟合运算单元包括对应点确定子单元、代价函数构建子单元和代价函数求解子单元，其中：

所述对应点确定子单元，用于确定图像特征点在3D平均人脸模型中的对应点；

所述代价函数构建子单元，用于按照如下公式构建代价函数E：

其中：Y_image为图像特征点向量，为3D平均人脸模型向量，S为主成分分量构成的分量矩阵，diag为由σ_i形成的对角阵，σ_i为第i个主成分分量的标准差，c为各个主成分分量对应的形变模型系数，L为3D平均人脸模型到图像的投影矩阵，用于反映图像特征点与3D平均人脸模型中的对应点之间的对应关系；

所述代价函数求解子单元，用于求解所述代价函数E，得到形变模型系数c；

所述人脸重建单元，具体用于根据所述形变模型系数c按照如下公式计算得到初步3D人脸X_model：

优选地，所述第二获取单元包括模型库选取子单元和主成分分析子单元，其中：所述模型库选取子单元，用于选取3D人脸模型库；所述主成分分析子单元，用于对该3D人脸模型库进行主成分分析得到主成分分量。

优选地，所述主成分分析子单元包括：顶点数据获取子单元、平均模型获取子单元和协方差矩阵求解子单元，其中：

所述顶点数据获取子单元，用于从3D人脸模型库中获取M个3D人脸模型的顶点数据，人脸模型顶点数据可以表示为：

X_i＝(x₁,y₁,z₁,x₂,y₂,z₂,...，x_N,y_N,z_N)^T∈R^3N

其中：X_i为第i个3D人脸模型的顶点坐标组成的几何形状向量，N为顶点个数；

所述平均模型获取子单元，用于对M个3D人脸模型的顶点数据按照如下公式计算3D平均人脸模型：

所述协方差矩阵求解子单元，用于基于3D平均人脸模型按照如下公式得到协方差矩阵：

并利用协方差矩阵求解，得到主成分分量构成的分量矩阵S。

本申请的实施方式在3D人脸重建过程中，获取3D平均人脸模型，从而可以基于3D平均人脸模型与用于3D人脸重建图像之间的对应关系实现3D人脸重建，通过这种方式重建3D人脸，使作为重建对象的图像不再受到任何限制，既可以是包含人脸的图像，也可以是不包含人脸图像，提高了用户体验。此外，在3D人脸重建过程中，本申请实施方式可以使用单张图像即可完成，从而避免了进行图片对齐和综合运算，降低了计算量，提高了3D人脸重建的效率。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1为本申请的3D人脸重建方法的一个实施例的流程图；

图2a～2d为本申请基于包含人脸的图像进行3D人脸重建的效果示意图，其中：图2a为用于3D人脸重建的包含真实人脸的图像，图2b为对包含真实人脸的图像进行重建后得到的3D人脸，图2c为用于3D人脸重建的不包含真实人脸但包含人脸轮廓的图像，图2d为对包含人脸轮廓的图像进行重建后得到的3D人脸；

图3a、3b为本申请基于不包含人脸的图像进行3D人脸重建的效果示意图，其中：图3a为用于3D人脸重建的图像，图3b为重建的3D人脸；

图4为本申请3D平均人脸模型与图像特征点进行拟合运算和处理3D平均人脸模型的一种方式的流程图；

图5为本申请的3D人脸重建装置的实施例的结构框图。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本申请的公开更加透彻和完整，并且能够将本申请公开的范围完整地传达给本领域的技术人员。

参见图1，该图示出了本申请提供的3D人脸重建方法的一个实施例(以下简称基础实施例)的流程，该流程包括：

步骤S11：获取用于3D人脸重建的图像，并从所述图像中获取预设数量的作为3D人脸重建特征点的图像特征点信息，图像特征点的集合用于反映人脸轮廓；

本实施例中重建3D人脸需要以图像为依据，为此，需要先获得一张或多张用于进行3D人脸重建的图像，该图像的来源可以是多种方式，比如，该图像可以是本地存储设备上存储的图像，也可以是网络上浏览、下载而获取到的图像；对于图像的格式，本实施例也不作限制，比如，可以是JPEG格式、BMP格式、TIFF、RAW等。这里还需要特别说明的是尽管本实施例的目的是要进行3D人脸重建，但是，在本实施例中，并不意味着仅能采用包含人脸的图像，实际上，完全可以针对不包含人脸的任意图像实现3D人脸重建。对于不包含人脸的图像，扩展了3D人脸重建的适用范围，建立的3D人脸有利于提高人脸重建的趣味性，增强用户体验。

获取用于进行3D人脸重建的图像后，本实施例从图像中获取图像特征点，这些特征点作为整体可以用于反映人脸轮廓。比如，人脸中的鼻子、眼镜、嘴巴等可以较好地刻画一张脸，那么则可以将这些位置或者这些位置上的某个点作为特征点，抽取这些特征点的信息。在获取图像特征点信息时可以采取自动化的方式，也可以是人工方式，对于前者，可以按照一定的算法(比如主动形状模型)编写程序从用于3D人脸重建的图像中自动读取主要轮廓部分的坐标值，将这些坐标值作为图像特征点信息，对于后者，可以通过手动方式在图片上进行位置指定，将该指定位置的坐标信息识别出来作为图像特征点信息。

步骤S12：获取3D平均人脸模型；

本领域技术人员可以采取多种方式获取3D平均人脸模型。这里需要说明的是：尽管在本实施例中是先获取用于进行3D人脸重建的图像，再获取3D平均人脸模型，但是，本申请并不限于这种方式，可以先获取3D平均人脸模型，再获取用于3D人脸重建的图像，或者上述两个步骤同时进行。

步骤S13：确定图像特征点在3D平均人脸模型中的对应点，基于图像特征点的信息以及图像特征点与3D平均人脸模型中的对应点之间的对应关系进行拟合运算，得到3D人脸重建的形变模型系数；

在获取到3D平均人脸模型和各图像特征点的信息之后，利用各图像特征点与3D平均人脸模型上相应点的对应关系，进行拟合计算，得到各图像特征点相对于3D平均人脸模型中对应点的形变模型系数，从而便于利用该形变模型系数来实现3D人脸重建。这里各图像特征点与3D平均人脸模型上相应点的对应关系可采用如下方式表示：

其中：表示对应关系，P＝1,2,...,K,其中K表示特征点个数，P表示特征点序号，表示图像上的第P个图像特征点，表示3D平均人脸模型上与第P个图像特征点相应点的序号。

步骤S14：根据所述形变模型系数对3D平均人脸模型进行处理，得到重建的初步3D人脸；

形变模型系数表征了图像上的特征点相对于3D平均人脸模型的变化，因此，利用前述步骤得到的形变模型系数，对3D平均人脸模型进行处理，即可得到符合用于3D人脸重建的图像中的人脸或非人脸景象的初步3D人脸。

步骤S15：获得所述初步3D人脸上各点的纹理坐标，实现3D人脸重建；

通过前述方式可以得到初步的3D人脸，为了更为逼真地将图像中的信息反映到重建的3D人脸之上，还需要对该初步的3D人脸进行完善，实现该目的的方式很多，比如可以采用线性插值的投影方式计算各点的纹理坐标，从而实现轮廓的完善。比如，本申请采用如下的方式获得各点的纹理坐标：

按照如下公式计算纹理坐标系数，即和P^d(x)函数的系数：

其中：d下标表示坐标轴的方向，G_d为图像特征点在3D人脸上的对应点的坐标值，K为特征点个数，φ^d(x,x_i)表示点x与图像特征点在3D人脸上的对应点x_i距离的RBF函数，P^d(x)表示基于x点的一次线性函数。通过已知的图像特征点与3D平均人脸模型上相应点的对应关系即可求得纹理坐标系数系数。

然后，利用这些系数求得初步3D人脸上各点的纹理坐标。

本实施例在3D人脸重建过程中，获取3D平均人脸模型，从而可以基于3D平均人脸模型与用于3D人脸重建图像之间的对应关系实现3D人脸重建。与现有技术相比，由于3D人脸重建的基础来自3D平均人脸模型，用于3D人脸重建的图像对3D平均人脸模型通过形变系数起到调整修正作用，而不同于现有技术的3D人脸重建仅仅单纯对图像进行分析计算，从而使作为重建对象的图像不再受到任何限制，用于重建3D人脸的图像既可以是包含人脸的图像，也可以是不包含人脸图像，如前所述，在这种不包括人脸的图像基础上进行的3D人脸重建，可以得到有趣的3D人脸，大大提高了用户体验。为了说明该技术效果，图2a、2b、2c、2d、以及图3a、3b分别示出了基于包含人脸的图像和不包含人脸的图像进行3D人脸重建的示意图，对于包含人脸的图像这种情况，在实际应用过程中可能存在两种情形，一是包含真实人脸的图像，如图2a所示，二是包含非真实人脸但具有人脸轮廓的图像，比如，人物卡通图、人物线条图等，如图2c所示。在图中：图2a、2c、3a为用于进行3D人脸重建的图像，图2b、2d、3b为重建的3D人脸[注：图中仅根据需要示出了局部])。

此外，在3D人脸重建过程中，现有技术往往采用不同角度的多张图片进行人脸重建，由于这些图片呈现出来的人脸姿态和光照等条件不同，必须对这些照片的人脸信息进行姿态对齐以及光照条件判断等繁琐的运算处理环节，而本申请实施例可以使用单张图像即可完成，从而避免了进行图片对齐和条件判断等运算处理，降低了计算量，提高了3D人脸重建的效率。需要说明的是：在现有技术中可能存在利用单张图像进行3D人脸重建的做法，该做法对形状和贴图同时进行分析综合运算，而且分析综合的步骤需要反复进行多次，每次计算时都需要考虑形状与贴图的相互影响，迭代步骤增多，使计算量依然巨大，而本实施例相对于这种现有技术同样能够取得减少计算量的良好效果，提高3D人脸重建的效率。再者，这种利用单张图像进行3D人脸重建的方法，由于图片本身光照条件的多样性，在重建过程中贴图会对形状的还原产生错误估计，导致重建出来的3D模型比较僵硬、脸部容易出现变形，而本实施例是基于3D平均人脸模型，利用基于特征点的信息获取到的形变模型系数来调整该3D平均人脸模型，从而使重建出来的3D人脸整体上比较精细灵活，能够避免出现“突点”、“跃点”，3D人脸的“皮肤”平滑。

在上述基础实施例的S13步骤中提及通过将3D平均人脸模型与特征点的信息进行拟合运算得到3D人脸重建的形变模型系数，对于该步骤可以有多种具体实现方式。为了较好地说明该技术特征，这里示例性地给出一种形变模型系数求取的方法,该方法需要获取主成分分量。然后按照如下步骤进行(参见图4，该图示出了具体的流程)：

步骤S41：确定图像特征点在3D平均人脸模型中的对应点；

步骤S42：按照如下公式构建代价函数E：

其中：Y_image为图像特征点向量，为3D平均人脸模型向量，S为主成分分量构成的分量矩阵，diag为由σ_i形成的对角阵，σ_i为第i个主成分分量的标准差，c为各个主成分分量对应的形变模型系数，L为3D平均人脸模型到图像的投影矩阵，用于反映图像特征点与3D平均人脸模型中的对应点之间的对应关系；

步骤S43：求解所述代价函数E，得到形变模型系数c。

步骤S44：根据所述形变模型系数c按照如下公式计算得到初步3D人脸X_model：

在上述求取形变模型系数过程中，需要利用到各个图像特征点信息。在实际应用过程中，这些图像特征点存在概率分布的问题，比如，通过编写程序来自动识别特征点，那么不同特征点可能被识别出来的概率不同，对于某些“特征”作用(即真实地反映人脸轮廓的能力)比较突出的点，其被识别出来作为特征点的可能性较大，反之则较小。因此，在构建代价函数过程中，为了避免或减少自动检测或人为调整特征点产生的误差，应当考虑各个特征点的概率分布，假设各个图像特征点的概率分布构成一个模糊矩阵A，那么可以按照如下公式构建代价函数：

在这种包含了图像特征点概率的代价函数基础之上，进行形变模型系数的求解，能够减小或消除可能存在的误差，从而避免出现对重建的3D人脸产生“破坏”的现象。

在前述基础实施例的S12中提到获取3D平均人脸模型，在实际应用过程中，获取3D平均人脸模型的方式较多，这里示例性的列举一种，该方式选择3D人脸模型库，然后在进行主成分分析过程中得到3D平均人脸模型。3D模型库是3D人脸模型的集合。该数据库中的每个3D人脸模型可以采用多种方式来建立。比如，一种方式是采用激光扫描仪对人脸进行扫描，从而得到与人脸对应的原始三维数据，这些三维数据即形成3D人脸模型。该数据库中的每个3D人脸模型也可以以不同精度要求呈现。比如，在一些对3D人脸重建要求不高的场合，一般的3D人脸模型即可满足需要，但在一些需要精细化展现3D人脸的场合下，则需要对应精细化程度的3D人脸模型。在后者的情况下，实际过程中通常会在一般的3D人脸模型的基础之上进行一系列优化操作，得到更为细粒度的3D人脸模型。比如，为消除或减少扫描过程中光照条件的细微变化、人脸表面的不光滑以及被扫描者的姿态差异等因素对3D人脸模型产生的影响，对原始3D人脸模型进行平滑、补洞、坐标矫正等预处理操作。还比如，为避免不同人脸之间的差异导致经过预处理的三维人脸点数、面数以及结构不一致，对这些3D人脸模型采用光流法进行对齐操作，使得每一个人脸的鼻尖点在各个3D人脸模型的序号一致。选择了相应的3D模型库后，本申请优选采用主成分分析法来获取主成分分量：

从3D人脸模型库中获取M个人脸模型的顶点数据，人脸模型顶点数据可以表示为：

X_i＝(x₁,y₁,z₁,x₂,y₂,z₂,...,x_N,y_N,z_N)^T∈R^3N

其中，X_i为第i个人脸的顶点坐标组成的几何形状向量，N为顶点个数，R^3N为实数空间。

对M个3D人脸模型的顶点数据按照如下公式计算3D平均人脸模型：

在获取3D平均人脸模型的基础之上，可以按照如下的方式获取主成分分量：

基于3D平均人脸模型按照如下公式得到协方差矩阵：

根据线性代数理论，协方差矩阵还可以表示为：

其中，S表示主成分分量矩阵，diag为由σ_i形成的对角阵，σ_i为第i个主成分分量的标准差。

然后，通过奇异值分析法可求得S。

上述内容详细介绍了本申请的3D人脸重建的方法的实施例，相应地，本申请还提供了一种3D人脸重建的装置的实施例。参见图5，该图示出了本申请3D人脸重建装置的一个实施例的结构框图。该装置实施例可以包括第一获取单元U51、第二获取单元U52、拟合运算单元U53、人脸重建单元U54和纹理获得单元U55，其中：

第一获取单元U51，用于获取用于3D人脸重建的图像，并从所述图像中获取预设数量的作为3D人脸重建特征点的图像特征点信息，图像特征点的集合用于反映人脸轮廓；

第二获取单元U52，用于获取3D平均人脸模型；

拟合运算单元U53、用于确定图像特征点在3D平均人脸模型中的对应点，基于图像特征点的信息以及图像特征点与3D平均人脸模型中的对应点之间的对应关系进行拟合运算，得到3D人脸重建的形变模型系数；

人脸重建单元U54，用于根据所述形变模型系数修正3D平均人脸模型，得到重建的初步3D人脸；

纹理获得单元U55，用于获得所述初步3D人脸上各点的纹理坐标，实现3D人脸重建。

本装置实施例的工作过程是：第一获取单元U51获取用于3D人脸重建的图像，并从所述图像中获取预设数量的作为3D人脸重建特征点的图像特征点信息；第二获取单元U52，用于获取3D平均人脸模型；在获取到图像和图像特征点的信息以及3D平均人脸模型后，由拟合运算单元U53确定所述图像特征点在3D平均人脸模型中的对应点，并基于图像特征点的信息以及图像特征点与3D平均人脸模型中的对应点之间的对应关系进行拟合运算，得到3D人脸重建的形变模型系数，然后，人脸重建单元U54根据所述形变模型系数修正3D平均人脸模型，得到重建的初步3D人脸，纹理获得单元U55在此基础之上，获得初步3D人脸上各点的纹理坐标，从而实现3D人脸重建。本装置实施例能够取得与前述方法实施例同样的技术效果，为避免重复，这里不再赘言。

在实际应用过程中，上述装置实施例中的第二获取单元可以根据需要具有多种功能，可以获取3D平均人脸模型以及与3D人脸重建相关的信息。比如，一种功能体现方式是第二获取单元U52不仅获得3D平均人脸模型，而且在获取3D平均人脸模型时还获取主成分分量。在这种情况下，拟合运算单元U53可以包括对应点确定子单元U531、代价函数构建子单元U532和代价函数求解子单元U533，其中：

对应点确定子单元U531，用于确定图像特征点在3D平均人脸模型中的对应点；

代价函数构建子单元U532，用于按照如下公式构建代价函数E：

其中：Y_image为图像特征点向量，为3D平均人脸模型向量，S为主成分分量构成的分量矩阵，diag为由σ_i形成的对角阵，σ_i为第i个主成分分量的标准差，c为各个主成分分量对应的形变模型系数，L为3D平均人脸模型到图像的投影矩阵，该投影矩阵可以反映所述图像特征点与3D平均人脸模型中的对应点之间的对应关系；

代价函数求解子单元U533，用于求解所述代价函数E，得到形变模型系数c；

同时，人脸重建单元U54则可以具体用于根据所述形变模型系数c按照如下公式计算得到X_model：

此外，在实际应用过程中，前述的第二获取单元不仅可以具有不同的功能，在实现这些功能时还可以根据实际情况采取不同的结构。比如，第二获取单元U52包括模型库选取子单元U521和主成分分析子单元U522，其中：模型库选取子单元U521，用于选取3D人脸模型库；主成分分析子单元U522，用于对该3D人脸模型库进行主成分分析得到主成分分量。其中，主成分分析子单元U522可以进一步包括：顶点数据获取子单元、平均模型获取子单元和协方差矩阵求解子单元，其中：

所述顶点数据获取子单元，用于从3D人脸模型库中获取M个人脸模型的顶点数据，人脸模型顶点数据可以表示为：

X_i＝(x₁,y₁,z₁,x₂,y₂,z₂,...,x_N,y_N,z_N)^T∈R^3N

其中，X_i是第i个人脸的点坐标组成的几何形状向量，N表示顶点个数；

所述平均模型获取子单元，用于对M个人脸模型的顶点数据按照如下公式计算3D平均人脸模型：

所述协方差矩阵求解子单元，用于基于3D平均人脸模型按照如下公式得到协方差矩阵：

并利用协方差矩阵求解，得到主成分分量构成的分量矩阵S。

需要说明的是为了叙述的简便，本说明书的上述实施例以及实施例的各种变形实现方式重点说明的都是与其他实施例或变形方式的不同之处，各个情形之间相同相似的部分互相参见即可。尤其，对于装置实施例的几个改进方式而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例的各单元可以是或者也可以不是物理上分开的，既可以位于一个地方，或者也可以分布到多个网络环境下。在实际应用过程中，可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的，本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

还值得说明的是，虽然前述内容已经参考若干具体实施方式描述了本发明创造的精神和原理，但是应该理解，本发明创造并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合，这种划分仅是为了表述的方便。本发明创造旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (6)

1.一种3D人脸重建的方法，其特征在于，所述方法包括：

获取用于3D人脸重建的图像，并从所述图像中获取预设数量的作为3D人脸重建特征点的图像特征点信息，图像特征点的集合用于反映人脸轮廓；

获取3D平均人脸模型和主成分分量；

确定图像特征点在3D平均人脸模型中的对应点，基于图像特征点的信息以及图像特征点与3D平均人脸模型中的对应点之间的对应关系进行拟合运算，得到3D人脸重建的形变模型系数，根据所述形变模型系数对3D平均人脸模型进行处理，得到重建的初步3D人脸；

获得所述初步3D人脸上各点的纹理坐标，实现3D人脸重建；

其中，所述基于图像特征点的信息以及图像特征点与3D平均人脸模型中的对应点之间的对应关系进行拟合运算，得到3D人脸重建的形变模型系数，根据所述形变模型系数对3D平均人脸模型进行处理，得到重建的初步3D人脸，具体包括：

按照如下公式构建代价函数E：

$E=|A\·L\·\stackrel{\‾}{X}+A\·L\·S\·diag\left({\mathrm{\σ}}_i\right)\·c-A\·Y_{image}{|}^2+|c{|}^2$

其中：Y_image为图像特征点向量，为3D平均人脸模型向量，S为主成分分量构成的分量矩阵，diag为由σ_i形成的对角阵，σ_i为第i个主成分分量的标准差，c为各个主成分分量对应的形变模型系数，L为3D平均人脸模型到图像的投影矩阵，用于反映图像特征点与3D平均人脸模型中的对应点之间的对应关系，模糊矩阵A表示图像特征点的概率分布；

求解所述代价函数E，得到形变模型系数c；

根据所述形变模型系数c按照如下公式计算得到初步3D人脸X_model：

$X_{\mathrm{mod}el}=\stackrel{\‾}{X}+S\·diag\left({\mathrm{\σ}}_i\right)\·c;$

所述获得初步3D人脸上各点的纹理坐标具体包括：

按照如下公式计算纹理坐标系数，即和P^d(x)函数的系数：

$G_d=\underset{i=1}{\overset{K}{\Σ}}{\mathrm{\α}}_i^d{\mathrm{\φ}}^d(x,x_i)+P^d\left(x\right)$

其中：d下标表示坐标轴的方向，G_d为图像特征点在3D人脸上的对应点的坐标值，K为特征点个数，φ^d(x,x_i)表示点x与图像特征点在3D人脸上的对应点x_i距离的RBF函数，P^d(x)表示基于点x的一次线性函数；

利用所述纹理坐标系数求得初步3D人脸上各点的纹理坐标。

2.根据权利要求1所述的方法，其特征在于，所述获取主成分分量具体包括：

选取3D人脸模型库，对该3D人脸模型库进行主成分分析得到主成分分量。

3.根据权利要求2所述的方法，其特征在于，所述对3D人脸模型库进行主成分分析得到主成分分量具体包括：

从3D人脸模型库中获取M个3D人脸模型的顶点数据，人脸模型顶点数据表示为：

X_i＝(x₁,y₁,z₁,x₂,y₂,z₂,...,x_N,y_N,z_N)^T∈R^3N

其中：X_i为第i个3D人脸模型的顶点坐标组成的几何形状向量，N为顶点个数，R^3N为实数空间；

对M个3D人脸模型的顶点数据按照如下公式计算3D平均人脸模型：

$\stackrel{\‾}{X}=\frac{1}{M}\underset{i=1}{\overset{M}{\Σ}}{X}_i$

基于3D平均人脸模型按照如下公式得到协方差矩阵：

$Cov=\frac{1}{M}\underset{i=1}{\overset{M}{\Σ}}(X_i-\stackrel{\‾}{X}){(X_i-\stackrel{\‾}{X})}^T$

利用协方差矩阵求解，得到主成分分量构成的分量矩阵S。

4.一种3D人脸重建的装置，其特征在于，所述装置包括：第一获取单元、第二获取单元、拟合运算单元、人脸重建单元和纹理获得单元，其中：

所述第一获取单元，用于获取用于3D人脸重建的图像，并从所述图像中获取预设数量的作为3D人脸重建特征点的图像特征点信息，图像特征点的集合用于反映人脸轮廓；

所述第二获取单元，用于获取3D平均人脸模型和主成分分量；

所述拟合运算单元，用于确定图像特征点在3D平均人脸模型中的对应点，基于图像特征点的信息以及图像特征点与3D平均人脸模型中的对应点之间的对应关系进行拟合运算，得到3D人脸重建的形变模型系数；

所述人脸重建单元，用于根据所述形变模型系数对3D平均人脸模型进行处理，得到重建的初步3D人脸；

所述纹理获得单元，用于获得所述初步3D人脸上各点的纹理坐标，实现3D人脸重建；

其中，所述拟合运算单元包括对应点确定子单元、代价函数构建子单元和代价函数求解子单元，其中：

所述对应点确定子单元，用于确定图像特征点在3D平均人脸模型中的对应点；

所述代价函数构建子单元，用于按照如下公式构建代价函数E：

$E=|A\·L\·\stackrel{\‾}{X}+A\·L\·S\·diag\left({\mathrm{\σ}}_i\right)\·c-A\·Y_{image}{|}^2+|c{|}^2$

其中：Y_image为图像特征点向量，为3D平均人脸模型向量，S为主成分分量构成的分量矩阵，diag为由σ_i形成的对角阵，σ_i为第i个主成分分量的标准差，c为各个主成分分量对应的形变模型系数，L为3D平均人脸模型到图像的投影矩阵，用于反映图像特征点与3D平均人脸模型中的对应点之间的对应关系，模糊矩阵A表示图像特征点的概率分布；

所述代价函数求解子单元，用于求解所述代价函数E，得到形变模型系数c；

所述人脸重建单元，具体用于根据所述形变模型系数c按照如下公式计算得到初步3D人脸X_model：

$X_{\mathrm{mod}el}=\stackrel{\‾}{X}+S\·diag\left({\mathrm{\σ}}_i\right)\·c;$

所述纹理获得单元，具体用于按照如下公式计算纹理坐标系数，即和P^d(x)函数的系数：

$G_d=\underset{i=1}{\overset{K}{\Σ}}{\mathrm{\α}}_i^d{\mathrm{\φ}}^d(x,x_i)+P^d\left(x\right)$

其中：d下标表示坐标轴的方向，G_d为图像特征点在3D人脸上的对应点的坐标值，K为特征点个数，φ^d(x,x_i)表示点x与图像特征点在3D人脸上的对应点x_i距离的RBF函数，P^d(x)表示基于点x的一次线性函数；

利用所述纹理坐标系数求得初步3D人脸上各点的纹理坐标。

5.根据权利要求4所述的装置，其特征在于，所述第二获取单元包括模型库选取子单元和主成分分析子单元，其中：

所述模型库选取子单元，用于选取3D人脸模型库；

所述主成分分析子单元，用于对该3D人脸模型库进行主成分分析得到主成分分量。

6.根据权利要求5所述的装置，其特征在于，所述主成分分析子单元包括：顶点数据获取子单元、平均模型获取子单元和协方差矩阵求解子单元，其中：

所述顶点数据获取子单元，用于从3D人脸模型库中获取M个3D人脸模型的顶点数据，人脸模型顶点数据可以表示为：

X_i＝(x₁,y₁,z₁,x₂,y₂,z₂,…,x_N,y_N,z_N)^T∈R^3N

其中:X_i为第i个3D人脸模型的顶点坐标组成的几何形状向量，N为顶点个数，R^3N为实数空间；

所述平均模型获取子单元，用于对M个3D人脸模型的顶点数据按照如下公式计算3D平均人脸模型：

$\stackrel{\‾}{X}=\frac{1}{M}\underset{i=1}{\overset{M}{\Σ}}{X}_i$

所述协方差矩阵求解子单元，用于基于3D平均人脸模型按照如下公式得到协方差矩阵：

$Cov=\frac{1}{M}\underset{i=1}{\overset{M}{\Σ}}(X_i-\stackrel{\‾}{X}){(X_i-\stackrel{\‾}{X})}^T$

并利用协方差矩阵求解，得到主成分分量构成的分量矩阵S。