CN108615256B - 一种人脸三维重建方法及装置 - Google Patents

Abstract

本申请实施例提供一种人脸三维重建方法及装置，该方法包括：针对待进行三维重建的人脸，在不同拍摄角度下获取该人脸的至少两幅图像；将每幅人脸图像输入到定位人脸特征点的定位模型中，得到该幅人脸图像中人脸特征点的位置信息，其中，定位模型包含多个子模型，每一子模型用于定位一个人脸部位中的特征点，且所述子模型是将预设幅人脸图像中所述人脸部位的特征点的位置信息输入到预设的神经网络模型中进行训练得到的，根据各幅人脸图像中人脸特征点的位置信息对图像中的人脸进行三维重建，这样，只需考虑各人脸部位的特征信息，考虑的信息远少于激光扫描时得到的信息，且不需借助于其它外部设备，所以重建人脸三维结构的成本较低、速度较快。

Description

一种人脸三维重建方法及装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种人脸三维重建方法及装置。

背景技术

人脸的三维结构信息广泛地应用在人脸图像处理中，例如人脸识别、人脸跟踪、人脸对齐等方面。

现有技术中，在构建人脸的三维结构时，需要先使用三维激光扫描仪对人脸进行360度的扫描，之后再利用扫描得到的大量人脸特征信息进行人脸三维重建，利用这种方法虽然能够获得精度较高的人脸三维结构数据，但由于激光扫描仪价格昂贵，所以构建人脸三维结构的成本比较高，并且，360度扫描时得到的人脸特征信息比较多，所以构建人脸三维结构的速度也比较慢。

鉴于以上因素，现有技术中构建人脸三维结构的方法不适用一些需要快速构建人脸三维结构的场景，如快速换发型、3D造型等，因此，如何快速建立人脸三维结构是亟待解决的问题。

发明内容

本申请实施例提供一种人脸三维重建方法及装置，用以提供一种快速建立人脸三维结构的方案。

第一方面，本申请实施例提供的一种人脸三维重建方法，包括：针对待进行三维重建的人脸，在不同拍摄角度下获取该人脸的至少两幅图像，将每幅人脸图像输入到用于定位人脸特征点的定位模型中，得到该幅人脸图像中人脸特征点的位置信息，其中，定位模型包含多个子模型，每一子模型用于定位一个人脸部位中的特征点，且该子模型是将预设幅人脸图像中对应人脸部位的特征点的位置信息输入到预设的神经网络模型中进行训练得到的，进而根据各幅人脸图像中人脸特征点的位置信息对图像中的人脸进行三维重建。

采用上述方案，针对待进行三维重建的人脸，只需在不同拍摄角度下获取该人脸的至少两幅图像，根据获取到的至少两幅人脸图像和预先建立的用于定位人脸特征点的定位模型就可进行人脸三维重建，不需要借助于其它外部设备，故人脸三维重建的成本较低，并且，定位模型包含多个子模型，每一子模型用于定位一个人脸部位中的特征点，这样，在对人脸进行三维重建时，只需考虑各人脸部位的特征信息，利用的人脸特征信息也远少于360度扫描时得到的人脸特征信息，所以人脸三维重建的速度也比较快，鉴于以上优点，这里，在建立各子模型时所使用的预设幅人脸图像可以是比较少的，所以上述人脸三维重建方法属于一种轻量级服务，即对运行设备的要求比较低，因此，可很好地适用于需要快速建立人脸三维结构的场景。

在一种可能的实施方式下，将每幅人脸图像输入到用于定位人脸特征点的定位模型中，得到该幅人脸图像中人脸特征点的位置信息之后，还可以根据人脸特征点的位置信息确定该幅人脸图像中人脸部位的相对位置矩阵，进而利用预先确定的标准人脸部位的相对位置矩阵对该幅人脸图像中人脸部位的相对位置矩阵进行校正，这样，利用标准人脸部位的相对位置矩阵对得到的人脸特征点组成的相对位置矩阵进行校正，可以提高定位模型对人脸图像中人脸特征点的定位准确性，保证构建的人脸三维模型的逼真性。

在一种可能的实施方式下，利用预先确定的标准人脸部位的相对位置矩阵对该幅人脸图像中人脸部位的相对位置矩阵进行校正，包括：确定标准人脸部位的相对位置矩阵与该幅人脸图像中人脸部位的相对位置矩阵的误差矩阵，若确定误差矩阵中存在大于预设值的元素，则可利用模拟退火算法对大于预设值的每一元素对应的人脸特征点的位置进行寻优，根据寻优后人脸特征点的位置，返回根据人脸特征点的位置信息确定该幅人脸图像中人脸部位的相对位置矩阵的步骤。

采用上述方案，计算得到的人脸图像中人脸特征点所组成的相对位置矩阵与标准相对位置矩阵之间的误差矩阵，并要求误差矩阵中的每一元素均小于预设值，可使人脸特征点之间的相对位置比较固定，并且，针对大于预设值的元素所对应的人脸特征点，可以利用模拟退火算法对这些人脸特征点的位置进行寻优，因为需要进行寻优的特征点数量比较少，所以寻优速度也比较快。

在一种可能的实施方式下，确定标准人脸部位的相对位置矩阵与该幅人脸图像中人脸部位的相对位置矩阵的误差矩阵，包括：计算标准人脸部位的相对位置矩阵与该幅人脸图像中人脸部位的相对位置矩阵的差矩阵，进而对差矩阵中的每一列元素分别进行求和，将得到的行向量确定为误差矩阵，这样，将矩阵转换为误差向量的形式，可降低算法复杂度。

在一种可能的实施方式下，针对每幅人脸图像，可以根据以下公式确定该幅人脸图像中人脸部位的相对位置矩阵S：

其中，S_ij为S中第i行第j列的元素，d_ij为该幅人脸图像中第i个人脸特征点与第j个人脸特征点之间的距离，1≤i≤n，1≤j≤n，n为该幅人脸图像中人脸特征点的总个数。

第二方面，本申请实施例提供的一种人脸三维重建装置，包括：

获取模块，用于针对待进行三维重建的人脸，在不同拍摄角度下获取该人脸的至少两幅图像；

定位模块，用于将每幅人脸图像输入到用于定位人脸特征点的定位模型中，得到该幅人脸图像中人脸特征点的位置信息，所述定位模型包含多个子模型，每一子模型用于定位一个人脸部位中的特征点，且所述子模型是将预设幅人脸图像中所述人脸部位的特征点的位置信息输入到预设的神经网络模型中进行训练得到的；

重建模块，用于根据各幅人脸图像中人脸特征点的位置信息对图像中的人脸进行三维重建。

第三方面，本申请实施例提供的一种计算机，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述计算机执行上述人脸三维重建法的步骤。

第四方面，本申请实施例提供的一种计算机可读存储介质，包括程序代码，当所述程序代码在计算机上运行时，使所述计算机执行上述人脸三维重建法的步骤。

另外，第二方面至第四方面中任一种设计方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果，此处不再赘述。

本申请的这些方面或其它方面在以下实施例的描述中会更加简明易懂。

附图说明

图1为本申请实施例提供的人脸三维重建方法的流程示意图；

图2为本申请实施例提供的建立定位模型的方法流程图；

图3为本申请实施例提供的人脸特征点的标记示意图；

图4为本申请实施例提供的眼睛部位的定位效果示意图；

图5为本申请实施例提供的鼻子部位的定位效果示意图；

图6为本申请实施例提供的嘴巴部位的定位效果示意图；

图7为本申请实施例提供的脸颊部位的定位效果示意图；

图8为本申请实施例提供的亮度对比示意图；

图9为本申请实施例提供的对定位模型确定的人脸特征点的位置进行校正的方法流程图；

图10为本申请实施例提供的校正前定位模型的定位效果示意图；

图11为本申请实施例提供的校正后定位模型的定位效果示意图；

图12为本申请实施例提供的人脸三维重建方法的流程图；

图13为本申请实施例提供的计算某一人脸特征点在世界坐标下的坐标的示意图；

图14为本申请实施例提供的人脸三维重建装置的结构图；

图15为本申请实施例提供的用于实现人脸三维重建方法的计算机的硬件结构示意图。

具体实施方式

为了快速建立人脸三维结构，本申请实施例提供了一种人脸三维重建方法和装置。

以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

以获取待重建人脸的两幅人脸图像为例，图1示出了本申请实施例提供的人脸三维重建方法的流程示意图，其中，针对待进行三维重建的人脸，在不同拍摄角度下获取到该人脸的两幅图像以后，可以将每幅人脸图像分别输入到定位模型中，得到该幅人脸图像中人脸特征点的位置信息，再根据这些人脸特征点的位置信息确定该幅人脸图像中人脸部位的相对位置矩阵，然后使用标准人脸的相对位置矩阵对得到的相对位置矩阵进行校正，最后根据校正后的两幅人脸图像中人脸部位的相对位置矩阵进行人脸三维重建。

其中，定位模型包含多个子模型，每一子模型用于定位一个人脸部位中的特征点，且该子模型是将预设幅人脸图像中该人脸部位的特征点的位置信息输入到预设的神经网络模型中进行训练得到的，人脸部位至少包括眼睛、鼻子、嘴巴和脸颊。

具体地，可以按照图2所示的流程建立定位模型：

S201：选择人脸图像训练样本集。

这里，可以从著名的ORL(Olivetti research laboratory)人脸数据库中选择人脸图像训练样本集，ORL人脸数据库包括400幅人脸图像，共40个人，每人10幅人脸图像，每幅原始图像为256个灰度级，分辨率为112*92，且ORL人脸数据库中的人脸图像是在不同时间、不同拍摄角度、各种表情(闭眼/睁眼、微笑/吃惊/生气/愤怒/高兴)和不同脸部细节(戴眼镜/没戴眼镜、有胡子/没胡子、不同发型)的条件下拍摄的。

S202：对每一幅人脸图像进行人脸特征点标记，并记录人脸特征点的位置与人脸部位之间的对应关系。

实际应用中，针对少量训练样本的情况，若只使用一个定位模型描述输入与输出关系，网络训练的效果很难达到理想的效果，因此，可以先将人脸重要特征点按照人脸部位进行分类，然后分别对每一人脸部位进行训练，得到该人脸部位对应的子模型，即，可以对输入为图像，输出为所有特征点的位置的总网络进行子网络划分，分而治之，以达到更好的训练效果。

为了使标记的特征点充分反映人脸图像的属性，标记的特征点位置可以囊括眼睛、鼻子、嘴巴、下巴和脸部轮廓。

比如，可以选择眼角、鼻翼、鼻尖、嘴角、脸颊、下巴作为人脸的重要特征点，且针对这六类人脸重要特征点，分别根据以下标准进行特征点标记：

(1)眼角：两边的眼角为眼白与皮肤接触点，中间的眼角为眼角的拐点，共标记四点；

(2)鼻翼：鼻子两翼曲线的拐点，共标记两点；

(3)鼻尖：鼻端曲线的拐点同时也是中点，共标记一点；

(4)嘴角：上唇和下唇两中点，共标记四点；

(5)脸颊：脸颊两侧的轮廓变化点，共标记两点；

(6)下巴：下巴中心，共标记一点；

如图3所示，为按照上述标准标注的两幅人脸图像的示意图，其中，黑色的点代表标记的人脸特征点，每幅图共标记14个人脸特征点。

并且，可以按照一定顺序对标记的每一特征点进行编号，使不同人脸图像中相同部位处的特征点具有相同的编号，便于后续分辨定位不准确的特征点。

S203：根据记录的各幅人脸图像中特征点的位置与人脸部位之间的对应关系，确定定位人脸特征点的定位模型。

具体实施时，可以将每幅人脸图像的灰度矩阵转换为一个行向量，以每幅人脸图像的行向量为LMBP神经网络的输入，一个人脸部位对应的所有特征点的位置为LMBP神经网络的输出，对LMBP神经网络进行训练，从而得到该人脸部位对应的子模型。

假设从ORL人脸数据库中随机抽取了210张人脸图像作为训练集，45张人脸图像作为训练测试集，45张人脸图像为防止过拟合测试集，100张人脸图像作为完全测试集，按照上述流程得到的眼睛、鼻子、嘴巴和脸颊对应的子模型的定位效果分别如图4～图7所示。

从图4～图7可以看出，由于训练样本比较少，且训练样本是在不同时间、不同视角、各种表情和不同脸部细节的条件下拍摄的，各样本间差异较大，所以有些子模型的定位效果不太理想，考虑到重要人脸特征点之间有较为稳定的位置关系，所以可以根据这一特性对定位模型输出的人脸特征点的位置进行纠错。

首先，介绍一下相对位置矩阵的提出。

Grossberg网络是一种自组织连续的竞争网络，其不仅能合理地规划输入模式，同时也能实现软竞争，在Grossberg网络中展示的是视觉系统中的“亮度对比现象”，神经元间使用加强中心/削弱周围的连接方式，从而规格化神经元的总活跃度，如图8所示，尽管图8中左右两幅图中的小圆盘具有相同的亮度，但看上去右边的小圆盘比左边的要亮些。

从以上亮度对比现象可以看到，一类有联系的输出集合之间具有相似的“亮度”，即在n维空间中，一类输出集合的各个n维元素的相对位置是相似的，即使同类的输出集合在n维空间中坐标量度不一致，只要规格化输出，其相对位置就是相同的或者相似的。

即，对于一类n个2维的输出集合，可以得到一个标准输出集合，类中输出集合与该标准输出集合的相对位置矩阵是相似的。

因此，可以定义用于表示人脸部位的相对位置矩阵S：

其中，S_ij为S中第i行第j列的元素，d_ij为标准人脸图像中第i个人脸特征点与第j个人脸特征点之间的距离，1≤i≤n，1≤j≤n，n为人脸图像中人脸特征点的总个数。

以上述S_ij为激励函数时，Grossberg网络中“漏积分器”的输出响应为：

u(t)＝1-e^-t，

漏积分器可以体现Grossberg网络抑制周围加强中心的思想，即同时减小大数值输出和小数值输出的差异，而相对位置矩阵针对的是空间距离d_ij，要抑制d_ij对大度量变量改变的敏感性，同时使小度量变量的改变对于d_ij不至于无影响，上述激励函数的表达式就有这样的特性。

即，使用上述公式计算的人脸图像的相对位置矩阵具有对人脸图像的形状大小敏感，对图像的缩放不敏感的特性，鉴于该性质，可以得到一个结论：对于一类有规则、相似的输出集合，一个输出集合若与标准输出集合相似，其相对位置矩阵之间误差应该非常小，依据相对位置矩阵的这个性质，可以利用标准相对位置矩阵对各幅图像的相对位置矩阵进行修正。

因此，可选择一副标准人脸图像，将根据上述公式计算的该标准人脸图像中人脸部位的相对位置矩阵作为标准人脸部位的相对位置矩阵，然后使用标准人脸部位的相对位置矩阵对定位模型输出的各人脸特征点的位置进行调整。

具体地，针对定位模型输出的每幅人脸图像的人脸特征点的位置信息，可以根据以上公式计算该幅人脸图像中人脸部位的相对位置矩阵，然后可以按照图9所示的流程对该相对位置矩阵进行校正：

S901：计算标准人脸部位的相对位置矩阵与该幅人脸图像中人脸部位的相对位置矩阵的误差矩阵。

具体地，可以计算标准人脸部位的相对位置矩阵与该幅人脸图像中人脸部位的相对位置矩阵的差矩阵，然后对差矩阵中的每一列元素分别进行求和，将得到的行向量确定为两者的误差矩阵。

S902：判断误差矩阵中是否存在小于β的元素，若是，则进入S903，否则，流程结束。

S903：确定初始种群。

将每一小于β的元素对应的人脸特征点作为错误特征点，针对每一错误特征点，将该错误特征点对应的位置加上一个比较小的随机变量，得到初始种群。

S904：确定目标函数。

将目标函数设为误差矩阵的误差平方和的平方，目标是使目标函数的取值最小。

S905：根据目标函数和初始种群，利用模拟退火算法进行极值寻优，得到各人脸特征点的新位置。

S906：重新计算该幅人脸图像中人脸部位的相对位置矩阵，返回S901。

假设设置的β＝0.12，随机抽取OLR数据库中的一张人脸图像(训练定位模型时未使用的人脸图像)，经过定位模型计算得到各人脸特征点标记于人脸图像上的效果如图10所示，可以看到图10上所标注的点大多数均接近我们所认为的人脸主要特征点，但用“*”标识的三个点的偏差比较大。

图10中，误差矩阵为：0.083，0.153，0.128，0.087，0.116，0.106，0.101，0.124，0.107，0.104，0.109，0.119，0.061，0.110，高于β的确实是标“*”的三个点，和主观评价的一样。

之后，对标“*”的点，可以利用模拟退火算法对这些点的位置进行优化，将优化后各特征点的位置重新标记于人脸图像上，效果如图11所示。

图11中，误差矩阵为：0.087，0.112，0.116，0.091，0.113，0.103，0.098，0.123，0.104，0.097，0.105，0.118，0.061，0.115，误差矩阵中的各元素均小于β，认为各人脸特征点的位置信息已符合误差标准。

这样，在少训练样本的情况下，通过神经网络训练及模拟退火算法进行优化，人脸重要特征点的定位效果也比较好。

本申请实施例，在训练样本较少的情况下，提出划分子网络进行神经网络训练的方法，并在此基础上提出一种用于描述一类输出之间关系的相对位置矩阵，用于对子网络输出的人脸特征点的位置进行检错，且最后在检错的基础上，使用优化粒子群算法(即模拟退火算法)求解使两个相对位置矩阵之间误差最小的人脸特征点的位置，实验表明，使用上述方法对人脸进行重要特征点定位具有良好的效果。

并且，对相对位置矩阵进行了性质分析，发现对空间度量不同、小噪声影响、大度量改变有很好的鲁棒性，而且对于一类具有规则输出关系的输出集合，具有检错的性质，因此，相对位置矩阵可应用于更多的领域。

最后，根据各幅人脸图像中人脸特征点的位置信息对图像中的人脸进行三维重建。

采用上述方案，因为各幅人脸图像中人脸特征点的位置比较准确，所以建立的人脸三维结构也可以满足快速换装、快速换发型的基本需求。

如图12所示，为本申请实施例提供的人脸三维重建方法的流程图，包括以下步骤：

S1201：针对待进行三维重建的人脸，在不同拍摄角度下获取该人脸的至少两幅图像。

实际应用中，因为双目摄像两个摄像头拍摄图像的角度自然不同，所以可以使用双目摄像机来获取该人脸的至少两幅图像。

S1202：将每一幅人脸图像输入到用于定位人脸特征点的定位模型中，得到该幅人脸图像中人脸特征点的位置信息。

具体实施时，可以获取少幅人脸图像，之后，针对每幅人脸图像，对该幅人脸图像中的每一人脸部位分别进行人脸特征点标记，并记录人脸部位与人脸特征点的位置之间的对应关系，人脸部位包括眼睛、鼻子、嘴巴和脸颊，进而针对每一人脸部位，以少幅人脸图像为输入、该人脸部位对应的各人脸特征点的位置为输出，对预先选定的神经网络模型进行训练，即可得到该人脸部位对应的子模型，这样，当选定眼睛、鼻子、嘴巴和脸颊这四个人脸部位时，就可以得到四个子模型，这四个子模型分别用于定位眼睛、鼻子、嘴巴和脸颊部位的人脸特征点，且构成了定位人脸图像中人脸特征点的定位模型。

并且，可以预先为每一标记点进行编号，使不同人脸图像中相同位置处的标记点具有相同的编号，便于后续计算图像中人脸部位的相对位置矩阵。

S1203：根据人脸特征点的位置信息确定该幅人脸图像中人脸部位的相对位置矩阵。

比如，可以根据以下公式确定该幅人脸图像中人脸部位的相对位置矩阵S：

其中，S_ij为S中第i行第j列的元素，d_ij为该幅人脸图像中第i个人脸特征点与第j个人脸特征点之间的距离，1≤i≤n，1≤j≤n，n为该幅人脸图像中人脸特征点的总个数。

S1204：计算标准人脸部位的相对位置矩阵与该幅人脸图像中人脸部位的相对位置矩阵的差矩阵。

S1205：对差矩阵中的每一列元素分别进行求和，将得到的行向量确定为误差矩阵。

S1206：判断误差矩阵中是否存在大于预设值的元素，若是，则进入S1207；否则，进入S1208。

S1207：利用模拟退火算法对大于预设值的每一元素对应的人脸特征点的位置进行寻优，将寻优后的位置确定为该人脸特征点的位置，返回S1203。

S1208：根据各幅人脸图像中人脸特征点的位置信息对图像中的人脸进行三维重建。

具体地，如图13所示，其中，O₁、O₂分别是双目摄像机中两个摄像头的所在位置，f_L为左侧相机的焦距，f_R为右侧相机的焦距，O_L是左侧相机成像平面的原点，O_R是右侧相机成像平面的原点，P1，P2分别是点P在左右两侧相机的成像平面上的投影点，即照片上拍摄到的点P。当左右两个相机的内参和外参已知时，根据左右两个相机的内参和外参，以及P1、P2点的位置，可以很容易地计算出点P在空间中的三维坐标。

比如，对于左侧相机而言，通过相机内参可以将相机坐标系转换成世界坐标系，此时，可以得到图像上成像点的世界坐标，即P1在左侧相机的世界坐标系坐标，同理，P2在右侧相机的世界坐标系坐标也可以得到，之后，根据两个相机的外参可以得到两个相机世界坐标系的变换矩阵，即可将P1、P2的坐标统一于一个世界坐标系中。

进一步地，在将每一人脸特征点统一于同一个世界坐标系中之后，就可容易地构建出人脸的三维结构。

比如，针对同一位置处的人脸特征点，可以计算各幅分人脸图像中该位置处人脸特征点在世界坐标系中的坐标平均值，将该坐标平均值作为该人脸特征点在世界坐标系中的坐标，进而根据各人脸特征点在世界坐标系中的坐标构建人脸的三维结构。

基于同一发明构思，本申请实施例中还提供了一种与人脸三维重建方法对应的人脸三维重建装置，由于该装置解决问题的原理与本申请实施例人脸三维重建方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。

如图14所示，为本申请实施例提供的人脸三维重建装置的结构图，包括：

获取模块1401，用于针对待进行三维重建的人脸，在不同拍摄角度下获取该人脸的至少两幅图像；

定位模块1402，用于将每幅人脸图像输入到用于定位人脸特征点的定位模型中，得到该幅人脸图像中人脸特征点的位置信息，所述定位模型包含多个子模型，每一子模型用于定位一个人脸部位中的特征点，且所述子模型是将预设幅人脸图像中所述人脸部位的特征点的位置信息输入到预设的神经网络模型中进行训练得到的；

重建模块1403，用于根据各幅人脸图像中人脸特征点的位置信息对图像中的人脸进行三维重建。

在一种可能的实施方式下，还包括，确定模块1404和校正模块1405：

所述确定模块1404，用于将每幅人脸图像输入到用于定位人脸特征点的定位模型中，得到该幅人脸图像中人脸特征点的位置信息之后，根据所述人脸特征点的位置信息确定该幅人脸图像中人脸部位的相对位置矩阵；

所述校正模块1405，用于利用预先确定的标准人脸部位的相对位置矩阵对该幅人脸图像中人脸部位的相对位置矩阵进行校正。

在一种可能的实施方式下，校正模块1405具体用于：

确定所述标准人脸部位的相对位置矩阵与该幅人脸图像中人脸部位的相对位置矩阵的误差矩阵；

若确定所述误差矩阵中存在大于预设值的元素，则利用模拟退火算法对大于预设值的每一元素对应的人脸特征点的位置进行寻优；

根据寻优后人脸特征点的位置，返回根据所述人脸特征点的位置信息确定该幅人脸图像中人脸部位的相对位置矩阵的步骤。

在一种可能的实施方式下，校正模块1405具体用于：

计算所述标准人脸部位的相对位置矩阵与该幅人脸图像中人脸部位的相对位置矩阵的差矩阵；

对所述差矩阵中的每一列元素分别进行求和，将得到的行向量确定为所述误差矩阵。

在一种可能的实施方式下，确定模块1404具体用于根据以下公式确定该幅人脸图像中人脸部位的相对位置矩阵S：

其中，S_ij为S中第i行第j列的元素，d_ij为该幅人脸图像中第i个人脸特征点与第j个人脸特征点之间的距离，1≤i≤n，1≤j≤n，n为该幅人脸图像中人脸特征点的总个数。

如图15所示，为本申请实施例提供的用于实现人脸三维重建法的计算机的硬件结构示意图，包括处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。

存储器1503，用于存放计算机程序；

处理器1501，用于执行存储器1503上所存放的程序时，使得计算机执行上述人脸三维重建法的步骤。

本申请实施例提供的一种计算机可读存储介质，包括程序代码，当所述程序代码在计算机上运行时，使计算机执行上述人脸三维重建法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种人脸三维重建方法，其特征在于，包括：

针对待进行三维重建的人脸，在不同拍摄角度下获取该人脸的至少两幅图像；

将每幅人脸图像输入到用于定位人脸特征点的定位模型中，得到该幅人脸图像中人脸特征点的位置信息，所述定位模型包含多个子模型，每一子模型用于定位一个人脸部位中的特征点，且所述子模型是将预设幅人脸图像中所述人脸部位的特征点的位置信息输入到预设的神经网络模型中进行训练得到的；

根据各幅人脸图像中人脸特征点的位置信息对图像中的人脸进行三维重建；

将每幅人脸图像输入到用于定位人脸特征点的定位模型中，得到该幅人脸图像中人脸特征点的位置信息之后，还包括：

根据所述人脸特征点的位置信息确定该幅人脸图像中人脸部位的相对位置矩阵；

利用预先确定的标准人脸部位的相对位置矩阵对该幅人脸图像中人脸部位的相对位置矩阵进行校正。

2.如权利要求1所述的方法，其特征在于，利用预先确定的标准人脸部位的相对位置矩阵对该幅人脸图像中人脸部位的相对位置矩阵进行校正，包括：

确定所述标准人脸部位的相对位置矩阵与该幅人脸图像中人脸部位的相对位置矩阵的误差矩阵；

若确定所述误差矩阵中存在大于预设值的元素，则利用模拟退火算法对大于预设值的每一元素对应的人脸特征点的位置进行寻优；

根据寻优后人脸特征点的位置，返回根据所述人脸特征点的位置信息确定该幅人脸图像中人脸部位的相对位置矩阵的步骤。

3.如权利要求2所述的方法，其特征在于，确定所述标准人脸部位的相对位置矩阵与该幅人脸图像中人脸部位的相对位置矩阵的误差矩阵，包括：

计算所述标准人脸部位的相对位置矩阵与该幅人脸图像中人脸部位的相对位置矩阵的差矩阵；

对所述差矩阵中的每一列元素分别进行求和，将得到的行向量确定为所述误差矩阵。

4.如权利要求1所述的方法，其特征在于，根据以下公式确定该幅人脸图像中人脸部位的相对位置矩阵S：

其中，S_ij为S中第i行第j列的元素，d_ij为该幅人脸图像中第i个人脸特征点与第j个人脸特征点之间的距离，1≤i≤n，1≤j≤n，n为该幅人脸图像中人脸特征点的总个数。

5.一种人脸三维重建装置，其特征在于，包括：

获取模块，用于针对待进行三维重建的人脸，在不同拍摄角度下获取该人脸的至少两幅图像；

定位模块，用于将每幅人脸图像输入到用于定位人脸特征点的定位模型中，得到该幅人脸图像中人脸特征点的位置信息，所述定位模型包含多个子模型，每一子模型用于定位一个人脸部位中的特征点，且所述子模型是将预设幅人脸图像中所述人脸部位的特征点的位置信息输入到预设的神经网络模型中进行训练得到的；

重建模块，用于根据各幅人脸图像中人脸特征点的位置信息对图像中的人脸进行三维重建；

还包括，确定模块和校正模块：

所述确定模块，用于将每幅人脸图像输入到用于定位人脸特征点的定位模型中，得到该幅人脸图像中人脸特征点的位置信息之后，根据所述人脸特征点的位置信息确定该幅人脸图像中人脸部位的相对位置矩阵；

所述校正模块，用于利用预先确定的标准人脸部位的相对位置矩阵对该幅人脸图像中人脸部位的相对位置矩阵进行校正。

6.如权利要求5所述的装置，其特征在于，所述校正模块具体用于：

确定所述标准人脸部位的相对位置矩阵与该幅人脸图像中人脸部位的相对位置矩阵的误差矩阵；

若确定所述误差矩阵中存在大于预设值的元素，则利用模拟退火算法对大于预设值的每一元素对应的人脸特征点的位置进行寻优；

根据寻优后人脸特征点的位置，返回根据所述人脸特征点的位置信息确定该幅人脸图像中人脸部位的相对位置矩阵的步骤。

7.如权利要求6所述的装置，其特征在于，所述校正模块具体用于：

计算所述标准人脸部位的相对位置矩阵与该幅人脸图像中人脸部位的相对位置矩阵的差矩阵；

对所述差矩阵中的每一列元素分别进行求和，将得到的行向量确定为所述误差矩阵。

8.如权利要求5所述的装置，其特征在于，所述确定模块具体用于根据以下公式确定该幅人脸图像中人脸部位的相对位置矩阵S：

其中，S_ij为S中第i行第j列的元素，d_ij为该幅人脸图像中第i个人脸特征点与第j个人脸特征点之间的距离，1≤i≤n，1≤j≤n，n为该幅人脸图像中人脸特征点的总个数。

9.一种计算机，其特征在于，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述计算机执行权利要求1～4任一所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，包括程序代码，当所述程序代码在计算机上运行时，使所述计算机执行权利要求1～4任一所述方法的步骤。

Images