CN107564049B - 人脸模型重建方法、装置以及存储介质、计算机设备 - Google Patents
人脸模型重建方法、装置以及存储介质、计算机设备 Download PDFInfo
- Publication number
- CN107564049B CN107564049B CN201710807428.0A CN201710807428A CN107564049B CN 107564049 B CN107564049 B CN 107564049B CN 201710807428 A CN201710807428 A CN 201710807428A CN 107564049 B CN107564049 B CN 107564049B
- Authority
- CN
- China
- Prior art keywords
- depth value
- normal vector
- faceform
- face model
- default
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明提供了一种人脸模型重建方法、装置以及存储介质、计算机设备。该方法包括步骤：根据输入的人脸图像构建出初始人脸模型；其中，所述人脸图像包括颜色信息，所述初始人脸模型包括其在不同的观察平面上的第一深度值；根据各个所述第一深度值获得参考法向量；根据所述参考法向量、所述颜色信息、预设反照度、所述第一深度值以及预设约束项，获得第二深度值；若所述第二深度值满足预设收敛条件，根据所述第二深度值、所述第一深度值以及所述初始人脸模型构建出最终人脸模型。通过多角度计算法向量，提高了人脸模型重建的计算效率。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，本发明涉及一种人脸模型重建方法、装置以及存储介质、计算机设备。
背景技术
单张图像重建人脸三维模型技术主要研究如何从单目相机拍摄的单张人脸图像中重建人脸的三维形状。该三维形状不仅能正确表达图像中人脸的形状，还能包含图像中人脸的细微的几何特征，例如老年人的皱纹、抬眉毛导致的抬头纹等。
传统技术中，单张图像重建人脸三维模型通常使用基于数据库的方法(data-driven method)实现。如果数据库中包含足够多的人脸模型，可以基于任意人脸可以由这个足够大的人脸模型库来表达的原则，通过图像中提取的特征适配(image fitting)，以重建由数据库表达的人脸模型。这种方法通过图像中提取的有限特征来重建人脸模型，仅仅在大体形状上与图像中的人脸相似，而不能很好地重建单双眼皮、嘴巴形状、脸上的皱纹等更小尺度的人脸特点。
而明暗重建形状方法(shape from shading)是一个能够从图像中通过成像原理反算形状的方法。明暗重建形状方法需要估算图像中光照，人脸的反射度，并且运用光照模型，逆渲染(inverse-rendering)出物体的形状。由于逆渲染问题是个病态问题，现今普遍的明暗重建形状方法为了保证重建结果的稳定性，往往基于大量的强约束假设。例如，假设重建物体材质是朗伯表面(Lambert surface)，光照是单光照，光照模型是漫反射模型。由于人脸材质并非朗伯表面，大部分照片中也不是单光照等原因，因此该方法在直接重建人脸模型上并不能得到好的结果。
因此，针对上述两种方法的缺陷，传统技术中还提供了一种将粗糙人脸重建与细节人脸重建结合的方法，即：基于数据库的方法重建出粗糙人脸，将这个粗糙人脸作为一个很好的初值，在更接近的初值基础上，根据明暗重建形状方法重建出人脸的中尺度和细尺度的凸凹。但是，为了避免图像维度的模型深度在边缘急剧变化所导致的法向量计算错误问题，该方法需要检测人脸边缘，并且在边缘处增加很强的法向量约束。由于每张图像的人脸边缘都不固定，这种方法会在检测每张图像人脸边缘时耗费时间，并且法向量的约束权值也不能很好的权衡，因此计算效率较低。
发明内容
基于此，有必要针对传统技术中人脸模型重建计算效率低的问题，提出一种人脸模型重建方法、装置以及存储介质、计算机设备，以提高人脸模型重建的计算效率。
本发明的实施例提供一种人脸模型重建方法，包括步骤：
根据输入的人脸图像构建出初始人脸模型；其中，所述人脸图像包括颜色信息，所述初始人脸模型包括其在不同的观察平面上的第一深度值；
根据各个所述第一深度值获得参考法向量；
根据所述参考法向量、所述颜色信息、预设反照度、所述第一深度值以及预设约束项，获得第二深度值；
若所述第二深度值满足预设收敛条件，根据所述第二深度值、所述第一深度值以及所述初始人脸模型构建出最终人脸模型。
上述人脸模型重建方法，获得初始人脸模型在不同角度的深度值，从而根据多个角度的深度值综合得到准确的法向量，即参考法向量，并根据该准确的法向量进行人脸模型的重建，从而有效避免了边缘法向量的急剧变化，在进行人脸模型重建时不再需要检测人脸边缘，也不需要在边缘处增加很强的法向量约束，因此大大提高了人脸模型重建的计算效率。
在一个实施例中，所述不同的观察平面包括图像平面以及不同于所述图像平面的其它若干个观察平面。为了提高法向量计算的准确度，需要综合含有最多有用信息的图像平面上的深度值以及其他角度上的深度值，从而得到没有边缘误差的参考法向量。
在一个实施例中，根据各个所述第一深度值获得参考法向量包括：根据所述初始人脸模型在所述图像平面上的第一深度值，获得第一法向量；根据所述初始人脸模型在所述其它若干个观察平面上的第一深度值，获得若干个第二法向量；根据所述第一法向量和所述若干个第二法向量获得参考法向量。根据图像平面上的深度值计算出来的法向量含有最多有用信息，然后再综合根据其他不同观察平面的深度值得到的法向量，即能得到没有边缘误差的参考法向量。
在一个实施例中，根据所述第一法向量和所述若干个第二法向量获得参考法向量包括：从所述第一法向量和所述若干个第二法向量中选取中位数，将选取的中位数作为参考法向量。观察角度不同，每个顶点对应只会有一个法向量有很大误差，在获得多个角度的法向量的情况下，取中位数可以取到真值，因此通过该中位数选取的方式提高了法向量计算的准确性。
在一个实施例中，根据所述参考法向量、所述颜色信息、预设反照度、所述第一深度值以及预设约束项，获得第二深度值之后，还包括步骤：若所述第二深度值不满足预设收敛条件，根据所述第二深度值、所述第一深度值以及所述初始人脸模型构建出中间人脸模型，将所述中间人脸模型作为新的初始人脸模型，返回执行根据各个所述第一深度值获得参考法向量的步骤，直至所述第二深度值满足预设收敛条件。通过重复迭代多角度计算法向量以及根据无误差的法向量构建人脸模型的方式，最终可以构造出更为准确的人脸模型。
在一个实施例中，所述预设约束项由梯度算子确定。使用梯度算子确定约束项，相较于传统技术中约束项所采用的LoG算子，在后续迭代中能够尽量保持细节的微小变化，并且计算更简单。
在一个实施例中，所述预设约束项为对第一结果和第二结果的差值求范数；其中，所述第一结果为所述梯度算子作用于所述第二深度值后得到的结果，所述第而结果为所述梯度算子作用于所述第一深度值后得到的结果。
本发明的实施例还提供一种人脸模型重建装置，包括：
初始人脸模型构建模块，用于根据输入的人脸图像构建出初始人脸模型；其中，所述人脸图像包括颜色信息，所述初始人脸模型包括其在不同的观察平面上的第一深度值；
参考法向量获得模块，用于根据各个所述第一深度值获得参考法向量；
第二深度值获得模块，用于根据所述参考法向量、所述颜色信息、预设反照度、所述第一深度值以及预设约束项，获得第二深度值；
最终人脸模型构建模块，用于在所述第二深度值满足预设收敛条件时，根据所述第二深度值、所述第一深度值以及所述初始人脸模型构建出最终人脸模型。
上述人脸模型重建装置，获得初始人脸模型在不同角度的深度值，从而根据多个角度的深度值综合得到准确的法向量，即参考法向量，并根据该准确的法向量进行人脸模型的重建，从而有效避免了边缘法向量的急剧变化，在进行人脸模型重建时不再需要检测人脸边缘，也不需要在边缘处增加很强的法向量约束，因此大大提高了人脸模型重建的计算效率。
在一个实施例中，所述不同的观察平面包括图像平面以及不同于所述图像平面的其它若干个观察平面。为了提高法向量计算的准确度，需要综合含有最多有用信息的图像平面上的深度值以及其他角度上的深度值，从而得到没有边缘误差的参考法向量。
在一个实施例中，所述参考法向量获得模块根据所述初始人脸模型在所述图像平面上的第一深度值，获得第一法向量；根据所述初始人脸模型在所述其它若干个观察平面上的第一深度值，获得若干个第二法向量；根据所述第一法向量和所述若干个第二法向量获得参考法向量。根据图像平面上的深度值计算出来的法向量含有最多有用信息，然后再综合根据其他不同观察平面的深度值得到的法向量，即能得到没有边缘误差的参考法向量。
在一个实施例中，所述参考法向量获得模块从所述第一法向量和所述若干个第二法向量中选取中位数，将选取的中位数作为参考法向量。观察角度不同，每个顶点对应只会有一个法向量有很大误差，在获得多个角度的法向量的情况下，取中位数可以取到真值，因此通过该中位数选取的方式提高了法向量计算的准确性。
在一个实施例中，人脸模型重建装置还包括与第二深度值获得模块相连的中间人脸模型构建模块；中间人脸模型构建模块在所述第二深度值不满足预设收敛条件时，根据所述第二深度值、所述第一深度值以及所述初始人脸模型构建出中间人脸模型，将所述中间人脸模型作为新的初始人脸模型，进入参考法向量获得模块执行根据各个所述第一深度值获得参考法向量的功能，直至所述第二深度值满足预设收敛条件。通过重复迭代多角度计算法向量以及根据无误差的法向量构建人脸模型的方式，最终可以构造出更为准确的人脸模型。
在一个实施例中，所述预设约束项由梯度算子确定。使用梯度算子确定约束项，相较于传统技术中约束项所采用的LoG算子，在后续迭代中能够尽量保持细节的微小变化，并且计算更简单。
在一个实施例中，所述预设约束项为对第一结果和第二结果的差值求范数；其中，所述第一结果为所述梯度算子作用于所述第二深度值后得到的结果，所述第而结果为所述梯度算子作用于所述第一深度值后得到的结果。
本发明的实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任意一项所述方法的步骤。该计算机可读存储介质获得初始人脸模型在不同角度的深度值，从而根据多个角度的深度值综合得到准确的法向量，即参考法向量，并根据该准确的法向量进行人脸模型的重建，从而有效避免了边缘法向量的急剧变化，在进行人脸模型重建时不再需要检测人脸边缘，也不需要在边缘处增加很强的法向量约束，因此大大提高了人脸模型重建的计算效率。
本发明的实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任意一项所述方法的步骤。该计算机设备获得初始人脸模型在不同角度的深度值，从而根据多个角度的深度值综合得到准确的法向量，即参考法向量，并根据该准确的法向量进行人脸模型的重建，从而有效避免了边缘法向量的急剧变化，在进行人脸模型重建时不再需要检测人脸边缘，也不需要在边缘处增加很强的法向量约束，因此大大提高了人脸模型重建的计算效率。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明一实施例的基于人脸图像构建人脸模型的整体流程示意图；
图2为本发明一实施例的人脸模型重建方法的流程示意图；
图3为一具体实施例的人脸特征点检测结果和对应关系的示意图；
图4为边界误差的示意图；
图5为根据本发明方法重建的部分人脸模型的具体实例的示意图；
图6为本发明一实施例的人脸模型重建装置的结构示意图；
图7为本发明一实施例的计算机设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”到另一元件时，它可以直接连接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”可以包括无线连接。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
在移动端越来越普及的今天，能够使用一部手机从图像中重建人脸模型也成为越来越迫切的需求。虽然移动端的计算能力逐年增长，但是大部分移动端的计算能力依然远远落后于PC(personal computer，个人计算机)端。而且，明暗重建形状方法需要求解大量稠密的形状顶点位置，而且对光照和反射度的求解也是个非线性问题，因此重建过程比较费时。那么，寻求尽大可能地降低计算消耗，提高计算效率也是当前需要解决的一大技术问题。针对该缺陷，传统技术中还提供了另一种将粗糙人脸重建与细节人脸重建结合的方法，该方法虽然避免了边缘检测，提高了计算效率，但是需要直接假设人脸变化平缓，对法向量进行常量约束，因而造成了人脸模型重建的误差。因此，针对传统技术中人脸模型重建速度慢，准确率低问题，本发明提出了多角度计算法向量方式，该方式既能计算出准确的法向量，提高人脸模型的准确性，又避免了人脸边缘检测，提高了人脸模型重建的计算效率。为了更好的理解本发明，首先对本发明的整体技术构思进行简单介绍。
如图1所示，本发明基于人脸图像构建人脸模型的整体流程为：输入人脸图像；识别人脸图像上的特征点；根据特征点进行大尺度人脸表情建模；多角度计算法向量，根据获得的准确的法向量进行中尺度和细尺度人脸建模。该方法不仅能够解决人脸边缘法向量基于图像维度的急剧变化问题，大大提高了计算效率，又可以在基于数据库重建粗糙人脸的基础上重建出人脸上的中尺度和细尺度的几何变化，大大提高了准确性。
下面结合实施例对本发明人脸模型重建方法的具体实施方式进行详细介绍。
如图2所示，在一个实施例中，本发明提供了一种人脸模型重建方法，包括步骤：
S110、根据输入的人脸图像构建出初始人脸模型；其中，所述人脸图像包括颜色信息，所述初始人脸模型包括其在不同的观察平面上的第一深度值；
人脸图像有多种获取方式，例如，通过单目相机或者其他摄像装置拍摄人脸图像，又例如，从本地存储的多种人脸图像中选取人脸图像，或者直接从网络上下载人脸图像等等，本发明并不对此做出限定。另外，本发明可以基于单张人脸图像重建人脸模型，因此可以仅输入单张人脸图像，但是本发明并不对人脸图像输入的个数进行限定。人脸图像所包含的颜色信息为人脸图像上每一个像素的颜色信息，用于后续构建带有细节的人脸模型，即中尺度和细尺度的人脸模型。
初始人脸模型为根据人脸图像构建的粗略的人脸模型，也即是大尺度的人脸模型，可以基于数据库的方式构建。观察平面即为从某角度观察初始人脸模型时的平面。本发明的发明人经过研究发现，基于多角度计算法向量，可以有效避免边缘法向量的急剧变化。因此，在构建细节人脸模型时，需要获取从不同角度观看初始人脸模型时初始人脸模型的深度图，其中获取各个角度的深度图可以根据现有技术中已有的方式实现。
在一个实施例中，所述不同的观察平面包括图像平面以及不同于所述图像平面的其它若干个观察平面。图像平面即为XOY平面，其它观察平面的个数和角度可以根据实际需要进行确定，本发明并不对此做出限定。在一个具体实例中，除了图像平面外，再分别选取倾斜于图像平面30度的其它角度的多个观察平面。例如，选取从人脸两侧、人脸头顶和下巴处向人脸观看，获得不同角度的深度图。
S120、根据各个所述第一深度值获得参考法向量；
获取初始人脸模型在各个不同观察平面上的深度值后，就可以根据各个不同观察平面上的深度值综合求得每个像素对应的形状上的法向量，各个像素对应形状上的法向量就构成了参考法向量。
S130、根据所述参考法向量、所述颜色信息、预设反照度、所述第一深度值以及预设约束项，获得第二深度值；
参考法向量为步骤S120得到的法向量。颜色信息为输入的人脸图像上每个像素的颜色值。预设反照度可以根据用户经验值设定，也可以根据某一模板人脸纹理图确定，还可以根据其他方式设定，本发明并不对此作出限定。第一深度值为初始人脸模型在某一个观察平面上的深度值，可选的，第一深度值为初始人脸模型在图像平面上的第一深度值。
为了保证人脸模型的形状，约束结果，需要设置约束项。传统技术中在进行人脸模型重建时约束项使用的是LoG算子(Laplacian of Gaussian)，LoG算子是一个对微小变化没有那么敏感的算子，计算略复杂。针对该缺陷，在一个实施例中，预设约束项可以由梯度算子确定。梯度算子在后续迭代中能够尽量保持细节的微小变化，并且计算更简单，有效保证重建的人脸变化曲度保持不变。
S140、若所述第二深度值满足预设收敛条件，根据所述第二深度值、所述第一深度值以及所述初始人脸模型构建出最终人脸模型。
当根据参考法向量计算的第二深度值满足预设收敛条件时，就可以根据该第二深度值构造出准确的人脸模型，有效避免了边缘法向量的急剧变化，在进行人脸模型重建时不再需要检测人脸边缘，也不需要在边缘处增加很强的法向量约束，因此也大大提高了人脸模型重建的计算效率。
可选的，基于数据库的方式构建出初始人脸模型的具体过程包括：检测人脸图像上的二维特征点，并以二维特征点作为人脸的稀疏特征与数据库中的人脸特征进行一一对应，然后通过人脸稀疏特征适配作为优化目标，从数据库中重建粗糙的人脸模型作为人脸模型重建的初值。
在检测人脸图像上的二维特征点时，可以使用经典方法，例如boostedregression(推动回归)方法，从单张人脸图像中检测出k个人脸特征点(如图3左边图像所示)。根据人脸特征点大概位置，对数据库中的人脸模型点选相应位置(如图3右边图像所示)，并获取每个位置在人脸模型上的顶点下标idx_k，从而获取每个2D(维)特征点与3D上稀疏特征点之间的一一对应关系。
然后可以使用多线性模型方法(multi-linear model)合成粗糙人脸。假设数据库中的人脸是Mface，3Uexpression是人脸的表情参数，2Uidentity是人脸的特征参数。则任意人脸可以用数据库中人脸表达为公式(1)：
Mface＝c×2Uidentity×3Uexpression (1)
通过公式(2)适配2D人脸检测点和3D稀疏点，可求解人脸参数，公式(2)的表达式为：
其中，P2d是图像上特征点二维位置；s是缩放参数；R是头部姿态的旋转；c是从模型数据集中分析得到的张量核；uid和uex则分别是特征与表情控制参数；Π是透视投影矩阵，这里的Π是单位矩阵的前两行；t是人脸中心与图像中心的偏移。最后运用公式(1)合成一个粗糙的人脸模型，即初始人脸模型。由于最优化目标是一个非线性问题，可以使用Levenberg–Marquardt方法来迭代求解最优解。
物理世界中，一副图像的形成，首先是光照照射到物体，然后摄像机捕捉到物体的反射颜色光，最后呈现到底片上。其中，图像上的颜色就可以由描述这个过程的光照模型来表示，最简单的漫反射表面的光照模型是：其中，I(x，y)是图像颜色，是光照，ρ是物体的反照度，是物体的法向量。反过来，已知一幅图像，可以在已知光照、物体的反照度的情况下求解物体的法向量，从而进一步获取物体的形状。明暗重建形状方法就是其中一种方法。本发明将使用这个方法，以步骤S110中得到的初始人脸模型作为基础，运用多角度计算法向量方法重建带有细节的人脸模型。
在一个实施例中，根据各个所述第一深度值获得参考法向量可以包括：
S1201、根据所述初始人脸模型在所述图像平面上的第一深度值，获得第一法向量；
获取初始人脸模型在图像平面上的深度值后，就可以根据公式(3)求得图像上每个像素对应的形状上的法向量，也即是第一法向量。公式(3)的表达式为：
其中，z是初始人脸模型在图像平面上的深度值，x，y是图像平面上的像素位置。
S1202、根据所述初始人脸模型在所述其它若干个观察平面上的第一深度值，获得若干个第二法向量；
由于人脸大部分面都是朝向摄像机的，因此XOY平面下的法向量含有最多有用信息，但是若直接使用该法向量，由于在图像维度初始模的法向量在边缘处急剧变化，不能避免法向量在边缘处的较大误差，会恢复出边界错误的结果，如图4所示。针对该缺陷，发明人考虑到初始人脸模型为3D物体，可以从360度任意角度观察。虽然各个法向量在各自维度的边缘都会出现很大误差，但是由于角度不同，每个顶点对应只会有一个法向量有很大误差，因此在多个法向量的情况下，就可以取到无误差的法向量，从而突破图像维度，直接避免边缘出现。
同样，可以通过公式(3)计算出其它若干个观察平面上每个深度图所对应的法向量。例如，选取从人脸两侧、人脸头顶和下巴处向人脸观看，获得不同角度的深度图，从而计算不同角度下的法向量{N1，N2，N3，N4}。
需要说明的是，法向量对应人脸模型上相同的位置时是相同的，与由什么角度计算得到无关，仅会因为计算误差导致不同。例如，由于角度不同，在图像上的点(x,y)与绕x轴倾斜30度(也就是从人脸头顶观看的角度)后的点对应关系为(x，y·cos(30))，则N(x，y)与N3(x，y·cos(30))是对应模型上同一位置的法向量。同理，N(x，y)与N1(x·cos(-30)，y)，N2(x·cos(30)，y)和N4(x，y·cos(-30))对应在模型上同一位置。
S1203、根据所述第一法向量和所述若干个第二法向量获得参考法向量。
获得图像维度计算得到的法向量(根据图像平面上的深度值计算的法向量)以及其它角度下计算得到的至少一个法向量后，确定出无误差的法向量。考虑到多角度计算的法向量情况下取中位数可以取到真值，因此，在一个实施例中，根据所述第一法向量和所述若干个第二法向量获得参考法向量包括：从所述第一法向量和所述若干个第二法向量中选取中位数，将选取的中位数作为参考法向量。逐点从第一法向量和若干个第二法向量中取中位数，则所有点的中位数就组成最终的法向量，该最终的法向量为没有边缘误差的法向量。
例如，图像维度计算得到的第一法向量为N，其他观察角度计算得到的法向量为{N1，N2，N3，N4}，将N和{N1，N2，N3，N4}进行比较，取它们中的中位数Nm作为最终的法向量。
获得参考法向量后，就可以基于该参考法向量求解人脸深度值。大体流程包括：以生成图像的辐射度公式和图像为基础，以基于数据库重建的人脸模型、一张模板人脸纹理作为已知量，求解人脸图片中光照；然后将人脸图片中光照、基于数据库重建的人脸模型作为已知量，求解人脸的反照度；再以人脸图片中光照、人脸反照度图作为已知量，求解人脸深度值。下面结合相应公式具体介绍S130所包含的步骤。
在一个实施例中，根据所述参考法向量、所述颜色信息、预设反照度、所述第一深度值以及预设约束项，获得第二深度值包括：
S1301、根据第二法向量N、人脸图像的颜色I(x，y)、预设反照度ρ以及第一深度值Az，通过公式(4)计算出光照其中可以以一张模板人脸纹理图作为反照度初值，Az为一个表达深度的矩阵；
S1302、根据第二法向量N、人脸图像的颜色I(x，y)、第一深度值Az以及步骤S1301得到的光照通过公式(2)计算出新的反照度ρ；
S1303、根据第二法向量N、人脸图像的颜色I(x，y)、步骤S1302得到的新的反照度ρ以及步骤S1301得到的光照通过公式(5)和预设约束项计算出第二深度值z，其中Al为一个表达光照的矩阵，
minz‖I(x，y)/ρ/N-Alz‖ (5)
在一个实施例中，所述预设约束项为对第一结果和第二结果的差值求范数；其中，所述第一结果为所述梯度算子作用于所述第二深度值后得到的结果，所述第二结果为所述梯度算子作用于所述第一深度值后得到的结果。即预设约束项为下述公式(6)：
E2＝‖dz-dzpre‖ (6)
其中，E2为约束项，d为梯度算子，z为第三深度值，zpre为第一深度值，‖‖为范数。
根据参考法向量计算出第二深度值后，判断第二深度值是否满足预设收敛条件，如果满足，则可以基于初始人脸模型，直接根据第二深度值、第一深度值构建出最终的人脸模型。
在一个实施例中，根据所述参考法向量、所述颜色信息、预设反照度、所述第一深度值以及预设约束项，获得第二深度值之后，还可以包括步骤：若所述第二深度值不满足预设收敛条件，根据所述第二深度值、所述第一深度值以及所述初始人脸模型构建出中间人脸模型，将所述中间人脸模型作为新的初始人脸模型，返回执行根据各个所述第一深度值获得参考法向量的步骤，直至所述第二深度值满足预设收敛条件。
在一个实施例中，根据第二深度值、第一深度值以及初始人脸模型构建带有细节的人脸模型的具体过程包括：
S1401、将第二深度值z(x，y)与第一深度值zpre(x，y)的差异按照人脸模型的纹理坐标，展到纹理图上，如公式(7)：
D(u，v)＝z(x，y)-zpre(x，y) (7)
其中，(x，y)与人脸模型上顶点p对应，而p的纹理坐标是(u，v)可以形成一个凹凸图d(displacement map)。
S1402、在原有粗糙模型基础上，对每个顶点进行法向量方向的位移，如公式(8)，得到一个带有细节的人脸模型，其中n(x，y)表示法向量：
p＝p+D(u，v)*n(x，y) (8)
需要说明的是，本发明并不对第二深度值收敛性判断和细节人脸模型生成的顺序进行限定。可以先判断第二深度值是否收敛，然后生成带有细节的人脸模型；也可以生成带有细节的人脸模型，再判断第二深度值是否收敛；判断第二深度值是否收敛和生成带有细节的人脸模型也可以同时执行。
如图5所示，为根据本发明方法重建的部分人脸模型的具体实例的示意图，从该图可以看出，本发明通过多角度计算法向量的方法能够构建出更为准确的人脸模型。
基于统一发明构思，本发明还提供一种人脸模型重建装置，下面结合附图对本发明装置的具体实施方式进行详细介绍。
如图6所示，在一个实施例中，本发明还提供了一种人脸模型重建装置，包括：
初始人脸模型构建模块110，用于根据输入的人脸图像构建出初始人脸模型；其中，所述人脸图像包括颜色信息，所述初始人脸模型包括其在不同的观察平面上的第一深度值；
参考法向量获得模块120，用于根据各个所述第一深度值获得参考法向量；
第二深度值获得模块130，用于根据所述参考法向量、所述颜色信息、预设反照度、所述第一深度值以及预设约束项，获得第二深度值；
最终人脸模型构建模块140，用于在所述第二深度值满足预设收敛条件时，根据所述第二深度值、所述第一深度值以及所述初始人脸模型构建出最终人脸模型。
上述人脸模型重建装置，获得初始人脸模型在不同角度的深度值，从而根据不同角度的深度值综合得到准确的法向量，并根据该准确的法向量进行人脸模型的重建，从而有效避免了边缘法向量的急剧变化，在进行人脸模型重建时不再需要检测人脸边缘，也不需要在边缘处增加很强的法向量约束，因此大大提高了人脸模型重建的计算效率。
在一个实施例中，所述不同的观察平面包括图像平面以及不同于所述图像平面的其它若干个观察平面。为了提高法向量计算的准确度，需要综合含有最多有用信息的图像平面上的深度值以及其他角度上的深度值，从而得到没有边缘误差的参考法向量。
在一个实施例中，所述参考法向量获得模块120根据所述初始人脸模型在所述图像平面上的第一深度值，获得第一法向量；根据所述初始人脸模型在所述其它若干个观察平面上的第一深度值，获得若干个第二法向量；根据所述第一法向量和所述若干个第二法向量获得参考法向量。根据图像平面上的深度值计算出来的法向量含有最多有用信息，然后再综合根据其他不同观察平面的深度值得到的法向量，即能得到没有边缘误差的参考法向量。
在一个实施例中，所述参考法向量获得模块120从所述第一法向量和所述若干个第二法向量中选取中位数，将选取的中位数作为参考法向量。观察角度不同，每个顶点对应只会有一个法向量有很大误差，在获得多个角度的法向量的情况下，取中位数可以取到真值，因此通过该中位数选取的方式提高了法向量计算的准确性。
在一个实施例中，人脸模型重建装置还包括与第二深度值获得模块130相连的中间人脸模型构建模块；中间人脸模型构建模块在所述第二深度值不满足预设收敛条件时，根据所述第二深度值、所述第一深度值以及所述初始人脸模型构建出中间人脸模型，将所述中间人脸模型作为新的初始人脸模型，进入参考法向量获得模块120执行根据各个所述第一深度值获得参考法向量的功能，直至所述第二深度值满足预设收敛条件。通过重复迭代多角度计算法向量以及根据无误差的法向量构建人脸模型的方式，最终可以构造出更为准确的人脸模型。
在一个实施例中，所述预设约束项由梯度算子确定。使用梯度算子确定约束项，相较于传统技术中约束项所采用的LoG算子，在后续迭代中能够尽量保持细节的微小变化，并且计算更简单。
在一个实施例中，所述预设约束项为对第一结果和第二结果的差值求范数；其中，所述第一结果为所述梯度算子作用于所述第二深度值后得到的结果，所述第而结果为所述梯度算子作用于所述第一深度值后得到的结果。
上述人脸模型重建装置的其他技术特征与上述人脸模型重建方法相同，在此不予赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：
根据输入的人脸图像构建出初始人脸模型；其中，所述人脸图像包括颜色信息，所述初始人脸模型包括其在不同的观察平面上的第一深度值；
根据各个所述第一深度值获得参考法向量；
根据所述参考法向量、所述颜色信息、预设反照度、所述第一深度值以及预设约束项，获得第二深度值；
若所述第二深度值满足预设收敛条件，根据所述第二深度值、所述第一深度值以及所述初始人脸模型构建出最终人脸模型。
上述计算机可读存储介质，获得初始人脸模型在不同角度的深度值，从而根据不同角度的深度值综合得到准确的法向量，并根据该准确的法向量进行人脸模型的重建，从而有效避免了边缘法向量的急剧变化，在进行人脸模型重建时不再需要检测人脸边缘，也不需要在边缘处增加很强的法向量约束，因此大大提高了人脸模型重建的计算效率。
在一个实施例中，所述不同的观察平面包括图像平面以及不同于所述图像平面的其它若干个观察平面。为了提高法向量计算的准确度，需要综合含有最多有用信息的图像平面上的深度值以及其他角度上的深度值，从而得到没有边缘误差的参考法向量。
在一个实施例中，该计算机程序被处理器执行时还实现以下步骤：根据各个所述第一深度值获得参考法向量包括：根据所述初始人脸模型在所述图像平面上的第一深度值，获得第一法向量；根据所述初始人脸模型在所述其它若干个观察平面上的第一深度值，获得若干个第二法向量；根据所述第一法向量和所述若干个第二法向量获得参考法向量。根据图像平面上的深度值计算出来的法向量含有最多有用信息，然后再综合根据其他不同观察平面的深度值得到的法向量，即能得到没有边缘误差的参考法向量。
在一个实施例中，该计算机程序被处理器执行时还实现以下步骤：根据所述第一法向量和所述若干个第二法向量获得参考法向量包括：从所述第一法向量和所述若干个第二法向量中选取中位数，将选取的中位数作为参考法向量。观察角度不同，每个顶点对应只会有一个法向量有很大误差，在获得多个角度的法向量的情况下，取中位数可以取到真值，因此通过该中位数选取的方式提高了法向量计算的准确性。
在一个实施例中，该计算机程序被处理器执行时还实现以下步骤：根据所述参考法向量、所述颜色信息、预设反照度、所述第一深度值以及预设约束项，获得第二深度值之后，还包括步骤：若所述第二深度值不满足预设收敛条件，根据所述第二深度值、所述第一深度值以及所述初始人脸模型构建出中间人脸模型，将所述中间人脸模型作为新的初始人脸模型，返回执行根据各个所述第一深度值获得参考法向量的步骤，直至所述第二深度值满足预设收敛条件。通过重复迭代多角度计算法向量以及根据无误差的法向量构建人脸模型的方式，最终可以构造出更为准确的人脸模型。
在一个实施例中，所述预设约束项由梯度算子确定。使用梯度算子确定约束项，相较于传统技术中约束项所采用的LoG算子，在后续迭代中能够尽量保持细节的微小变化，并且计算更简单。
在一个实施例中，所述预设约束项为对第一结果和第二结果的差值求范数；其中，所述第一结果为所述梯度算子作用于所述第二深度值后得到的结果，所述第而结果为所述梯度算子作用于所述第一深度值后得到的结果。
上述计算机可读存储介质的其它技术特征与上述人脸模型重建方法的技术特征相同，在此不予赘述。
如图7所示，在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
根据输入的人脸图像构建出初始人脸模型；其中，所述人脸图像包括颜色信息，所述初始人脸模型包括其在不同的观察平面上的第一深度值；
根据各个所述第一深度值获得参考法向量；
根据所述参考法向量、所述颜色信息、预设反照度、所述第一深度值以及预设约束项，获得第二深度值；
若所述第二深度值满足预设收敛条件，根据所述第二深度值、所述第一深度值以及所述初始人脸模型构建出最终人脸模型。
上述计算机设备，获得初始人脸模型在不同角度的深度值，从而根据计算出不同角度的深度值综合得到准确的法向量，并根据该准确的法向量进行人脸模型的重建，从而有效避免了边缘法向量的急剧变化，在进行人脸模型重建时不再需要检测人脸边缘，也不需要在边缘处增加很强的法向量约束，因此大大提高了人脸模型重建的计算效率。
在一个实施例中，所述不同的观察平面包括图像平面以及不同于所述图像平面的其它若干个观察平面。为了提高法向量计算的准确度，需要综合含有最多有用信息的图像平面上的深度值以及其他角度上的深度值，从而得到没有边缘误差的参考法向量。
在一个实施例中，所述处理器执行所述程序时还实现以下步骤：根据各个所述第一深度值获得参考法向量包括：根据所述初始人脸模型在所述图像平面上的第一深度值，获得第一法向量；根据所述初始人脸模型在所述其它若干个观察平面上的第一深度值，获得若干个第二法向量；根据所述第一法向量和所述若干个第二法向量获得参考法向量。根据图像平面上的深度值计算出来的法向量含有最多有用信息，然后再综合根据其他不同观察平面的深度值得到的法向量，即能得到没有边缘误差的参考法向量。
在一个实施例中，所述处理器执行所述程序时还实现以下步骤：根据所述第一法向量和所述若干个第二法向量获得参考法向量包括：从所述第一法向量和所述若干个第二法向量中选取中位数，将选取的中位数作为参考法向量。观察角度不同，每个顶点对应只会有一个法向量有很大误差，在获得多个角度的法向量的情况下，取中位数可以取到真值，因此通过该中位数选取的方式提高了法向量计算的准确性。
在一个实施例中，所述处理器执行所述程序时还实现以下步骤：根据所述参考法向量、所述颜色信息、预设反照度、所述第一深度值以及预设约束项，获得第二深度值之后，还包括步骤：若所述第二深度值不满足预设收敛条件，根据所述第二深度值、所述第一深度值以及所述初始人脸模型构建出中间人脸模型，将所述中间人脸模型作为新的初始人脸模型，返回执行根据各个所述第一深度值获得参考法向量的步骤，直至所述第二深度值满足预设收敛条件。通过重复迭代多角度计算法向量以及根据无误差的法向量构建人脸模型的方式，最终可以构造出更为准确的人脸模型。
在一个实施例中，所述预设约束项由梯度算子确定。使用梯度算子确定约束项，相较于传统技术中约束项所采用的LoG算子，在后续迭代中能够尽量保持细节的微小变化，并且计算更简单。
在一个实施例中，所述预设约束项为对第一结果和第二结果的差值求范数；其中，所述第一结果为所述梯度算子作用于所述第二深度值后得到的结果，所述第而结果为所述梯度算子作用于所述第一深度值后得到的结果。
上述计算机设备的其它技术特征与上述人脸模型重建方法的技术特征相同，在此不予赘述。
上述人脸模型重建方法、装置以及存储介质、计算机设备，与传统技术相互比较时，具备以下优点：
1、多角度计算法向量，根据多角度计算的法向量确定出无误差的法向量，然后根据该无误差的法向量构建人脸模型，从而避免边缘法向量急剧变化，不再遵循原明暗重建形状方法的方式--计算误差较大的法向量，不再寻找人脸形状的边缘，也不再添加人脸边缘的法向量强约束，降低了计算量，提高了计算效率以及人脸模型重建的准确性，为移动端的使用提供了更多便利；
2、基于数据库重建的初始人脸模型，以此为初值运用梯度保持的明暗重建形状方法限制新重建人脸保持梯度与其相同，从而保证重建的人脸变化曲度保持不变。相较于传统技术中采用LoG算子约束的方式，本发明对已经带有细节的深度值进行梯度约束，在保证深度约束的同时，也保留前面迭代的细节变化，并且计算更为简单；
3、可以从单张图片重建人脸模型，该人脸模型不仅具备基于数据库方法的稳定性，而且能够重建出基于数据库方法所不能得到的中尺度和细尺度的几何细节。
4、基于单张图片重建人脸模型，既不需要对用户进行预先训练，也不需要对相机进行手工标定，尽可能减少用户操作，可以获得更好的用户体验。
本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random AcceSS Memory，随即存储器)、EPROM(EraSable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically EraSableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种人脸模型重建方法，其特征在于，包括步骤：
根据输入的人脸图像构建出初始人脸模型；其中，所述人脸图像包括颜色信息，所述初始人脸模型包括其在不同的观察平面上的第一深度值；
根据各个所述第一深度值获得参考法向量；
根据所述参考法向量、所述颜色信息、预设反照度、所述第一深度值以及预设约束项，获得第二深度值；
若所述第二深度值满足预设收敛条件，根据所述第二深度值、所述第一深度值以及所述初始人脸模型构建出最终人脸模型；
所述不同的观察平面包括图像平面以及不同于所述图像平面的其它若干个观察平面；根据各个所述第一深度值获得参考法向量包括：
根据所述初始人脸模型在所述图像平面上的第一深度值，获得第一法向量；
根据所述初始人脸模型在所述其它若干个观察平面上的第一深度值，获得若干个第二法向量；
根据所述第一法向量和所述若干个第二法向量获得参考法向量；
计算法向量的公式为：
其中，z是初始人脸模型在图像平面上的深度值，x,y是图像平面上的像素位置；
根据所述参考法向量、所述颜色信息、预设反照度、所述第一深度值以及预设约束项，获得第二深度值，包括：
根据参考法向量N、人脸图像的颜色I(x,y)、预设反照度ρ以及第一深度值Az，通过下述公式计算出光照Az为一个表达深度的矩阵；
根据参考法向量N、人脸图像的颜色I(x,y)、第一深度值Az以及光照计算出新的反照度ρ；
根据参考法向量N、人脸图像的颜色I(x,y)、新的反照度ρ以及光照通过下述公式和预设约束项计算出第二深度值z，其中Al为一个表达光照的矩阵；
z＝arg minz‖I(x,y)/ρ/N-Alz‖。
2.根据权利要求1所述的人脸模型重建方法，根据所述第一法向量和所述若干个第二法向量获得参考法向量包括：
从所述第一法向量和所述若干个第二法向量中选取中位数，将选取的中位数作为参考法向量。
3.根据权利要求1或2所述的人脸模型重建方法，其特征在于，根据所述参考法向量、所述颜色信息、预设反照度、所述第一深度值以及预设约束项，获得第二深度值之后，还包括步骤：
若所述第二深度值不满足预设收敛条件，根据所述第二深度值、所述第一深度值以及所述初始人脸模型构建出中间人脸模型，将所述中间人脸模型作为新的初始人脸模型，返回执行根据各个所述第一深度值获得参考法向量的步骤，直至所述第二深度值满足预设收敛条件。
4.根据权利要求1或2所述的人脸模型重建方法，其特征在于，所述预设约束项由梯度算子确定。
5.根据权利要求4所述的人脸模型重建方法，其特征在于，所述预设约束项为对第一结果和第二结果的差值求范数；其中，所述第一结果为所述梯度算子作用于所述第二深度值后得到的结果，所述第二结果为所述梯度算子作用于所述第一深度值后得到的结果。
6.一种人脸模型重建装置，其特征在于，包括：
初始人脸模型构建模块，用于根据输入的人脸图像构建出初始人脸模型；其中，所述人脸图像包括颜色信息，所述初始人脸模型包括其在不同的观察平面上的第一深度值；
参考法向量获得模块，用于根据各个所述第一深度值获得参考法向量；
第二深度值获得模块，用于根据所述参考法向量、所述颜色信息、预设反照度、所述第一深度值以及预设约束项，获得第二深度值；
最终人脸模型构建模块，用于在所述第二深度值满足预设收敛条件时，根据所述第二深度值、所述第一深度值以及所述初始人脸模型构建出最终人脸模型；
所述不同的观察平面包括图像平面以及不同于所述图像平面的其它若干个观察平面；参考法向量获得模块根据所述初始人脸模型在所述图像平面上的第一深度值，获得第一法向量；根据所述初始人脸模型在所述其它若干个观察平面上的第一深度值，获得若干个第二法向量；根据所述第一法向量和所述若干个第二法向量获得参考法向量；
计算法向量的公式为：
其中，z是初始人脸模型在图像平面上的深度值，x,y是图像平面上的像素位置；
第二深度值获得模块用于：
根据参考法向量N、人脸图像的颜色I(x,y)、预设反照度ρ以及第一深度值Az，通过下述公式计算出光照Az为一个表达深度的矩阵；
根据参考法向量N、人脸图像的颜色I(x,y)、第一深度值Az以及光照计算出新的反照度ρ；
根据参考法向量N、人脸图像的颜色I(x,y)、新的反照度ρ以及光照通过下述公式和预设约束项计算出第二深度值z，其中Al为一个表达光照的矩阵；
z＝arg minz‖I(x,y)/ρ/N-Alz‖。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至5中任意一项所述方法的步骤。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至5中任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710807428.0A CN107564049B (zh) | 2017-09-08 | 2017-09-08 | 人脸模型重建方法、装置以及存储介质、计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710807428.0A CN107564049B (zh) | 2017-09-08 | 2017-09-08 | 人脸模型重建方法、装置以及存储介质、计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107564049A CN107564049A (zh) | 2018-01-09 |
| CN107564049B true CN107564049B (zh) | 2019-03-29 |
Family
ID=60980050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710807428.0A Active CN107564049B (zh) | 2017-09-08 | 2017-09-08 | 人脸模型重建方法、装置以及存储介质、计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107564049B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6919619B2 (ja) * | 2018-04-12 | 2021-08-18 | オムロン株式会社 | 画像解析装置、方法およびプログラム |
| CN109285215B (zh) | 2018-08-28 | 2021-01-08 | 腾讯科技（深圳）有限公司 | 一种人体三维模型重建方法、装置和存储介质 |
| CN109191453A (zh) * | 2018-09-14 | 2019-01-11 | 北京字节跳动网络技术有限公司 | 用于生成图像类别检测模型的方法和装置 |
| CN109272543B (zh) * | 2018-09-21 | 2020-10-02 | 北京字节跳动网络技术有限公司 | 用于生成模型的方法和装置 |
| CN110969046B (zh) * | 2018-09-28 | 2023-04-07 | 深圳云天励飞技术有限公司 | 人脸识别方法、设备及计算机可读存储介质 |
| CN110070037B (zh) * | 2019-04-22 | 2022-11-01 | 深圳力维智联技术有限公司 | 人脸识别模型的平滑升级方法、装置和可读存储介质 |
| CN112070888B (zh) * | 2020-09-08 | 2024-04-05 | 抖音视界有限公司 | 图像生成方法、装置、设备和计算机可读介质 |
| CN112862736B (zh) * | 2021-02-05 | 2022-09-20 | 浙江大学 | 一种基于点的实时三维重建与优化方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101320484A (zh) * | 2008-07-17 | 2008-12-10 | 清华大学 | 一种基于人脸全自动定位的三维人脸识别方法 |
| TW201023092A (en) * | 2008-12-02 | 2010-06-16 | Nat Univ Tsing Hua | 3D face model construction method |
| US8107764B2 (en) * | 2005-05-11 | 2012-01-31 | Fujifilm Corporation | Image processing apparatus, image processing method, and image processing program |
| CN103593870A (zh) * | 2013-11-12 | 2014-02-19 | 杭州摩图科技有限公司 | 一种基于人脸的图像处理装置及其方法 |
| CN104077808A (zh) * | 2014-07-20 | 2014-10-01 | 詹曙 | 一种用于计算机图形图像处理的、基于深度信息的实时三维人脸建模方法 |
-
2017
- 2017-09-08 CN CN201710807428.0A patent/CN107564049B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8107764B2 (en) * | 2005-05-11 | 2012-01-31 | Fujifilm Corporation | Image processing apparatus, image processing method, and image processing program |
| CN101320484A (zh) * | 2008-07-17 | 2008-12-10 | 清华大学 | 一种基于人脸全自动定位的三维人脸识别方法 |
| TW201023092A (en) * | 2008-12-02 | 2010-06-16 | Nat Univ Tsing Hua | 3D face model construction method |
| CN103593870A (zh) * | 2013-11-12 | 2014-02-19 | 杭州摩图科技有限公司 | 一种基于人脸的图像处理装置及其方法 |
| CN104077808A (zh) * | 2014-07-20 | 2014-10-01 | 詹曙 | 一种用于计算机图形图像处理的、基于深度信息的实时三维人脸建模方法 |
Non-Patent Citations (3)
| Title |
|---|
| KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera;Shahram Izadi等;《Proceeding of the 24th annual ACM symposium on User interface software and technology》;20111231;559-568 |
| 一种基于蒙特卡罗方法的体绘制算法;陈彦达;《计算机应用研究》;20091031;第26卷(第10期);3971-4000 |
| 一种用于人脸识别的三维人脸模型重建方法;沈晔湖;《电路与系统学报》;20071231;第12卷(第6期);27-32 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107564049A (zh) | 2018-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107564049B (zh) | 人脸模型重建方法、装置以及存储介质、计算机设备 | |
| CN109255831B (zh) | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 | |
| CN105144247B (zh) | 用户的三维表示的生成 | |
| CN107852533B (zh) | 三维内容生成装置及其三维内容生成方法 | |
| CN101916454B (zh) | 基于网格变形和连续优化的高分辨率人脸重建方法 | |
| KR101560508B1 (ko) | 3차원 이미지 모델 조정을 위한 방법 및 장치 | |
| Herrera et al. | Lighting hair from the inside: A thermal approach to hair reconstruction | |
| EP3335195A2 (en) | Methods of generating personalized 3d head models or 3d body models | |
| CN110298916B (zh) | 一种基于合成深度数据的三维人体重建方法 | |
| JP6207210B2 (ja) | 情報処理装置およびその方法 | |
| KR102187143B1 (ko) | 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법 | |
| CN113628327A (zh) | 一种头部三维重建方法及设备 | |
| Tsiminaki et al. | High resolution 3D shape texture from multiple videos | |
| Galteri et al. | Deep 3d morphable model refinement via progressive growing of conditional generative adversarial networks | |
| US11928778B2 (en) | Method for human body model reconstruction and reconstruction system | |
| CN114049434A (zh) | 一种基于全卷积神经网络的3d建模方法及系统 | |
| Wu et al. | 3D film animation image acquisition and feature processing based on the latest virtual reconstruction technology | |
| JP7398819B2 (ja) | 三次元再構成の方法及び装置 | |
| CN113538682B (zh) | 模型训练、头部重建方法、电子设备及存储介质 | |
| EP3756164B1 (en) | Methods of modeling a 3d object, and related devices and computer program products | |
| Fuentes-Jimenez et al. | Deep shape-from-template: Wide-baseline, dense and fast registration and deformable reconstruction from a single image | |
| US20230245396A1 (en) | System and method for three-dimensional scene reconstruction and understanding in extended reality (xr) applications | |
| Mena-Chalco et al. | 3D human face reconstruction using principal components spaces | |
| CN111582120A (zh) | 用于捕捉眼球活动特征的方法、终端设备 | |
| US20240119671A1 (en) | Systems and methods for face asset creation and models from one or more images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |