CN113744384B - 三维人脸重建方法、装置、电子设备及存储介质 - Google Patents

三维人脸重建方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113744384B
CN113744384B CN202010479102.1A CN202010479102A CN113744384B CN 113744384 B CN113744384 B CN 113744384B CN 202010479102 A CN202010479102 A CN 202010479102A CN 113744384 B CN113744384 B CN 113744384B
Authority
CN
China
Prior art keywords
dimensional face
face model
model
target
vertex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010479102.1A
Other languages
English (en)
Other versions
CN113744384A (zh
Inventor
金博
张国鑫
马里千
刘晓强
张博宁
孙佳佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202010479102.1A priority Critical patent/CN113744384B/zh
Priority to PCT/CN2020/132460 priority patent/WO2021238126A1/zh
Publication of CN113744384A publication Critical patent/CN113744384A/zh
Application granted granted Critical
Publication of CN113744384B publication Critical patent/CN113744384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及一种三维人脸重建方法、装置、电子设备及存储介质。该方法包括：获取目标三维人脸模型和标准三维人脸模型；按照目标三维人脸模型的形状，对标准三维人脸模型进行拟合，得到拟合三维人脸模型；将拟合三维人脸模型中的顶点变换至目标三维人脸模型中的顶点处，得到目标三维人脸模型对应的三维人脸重建模型。根据本公开，以目标三维人脸模型的形状为基准，对标准三维人脸模型进行拟合，并在拟合三维人脸模型与目标三维人脸模型对齐的基础上，将拟合三维人脸模型中的顶点变换至目标三维人脸模型中的顶点处，最小化三维人脸重建模型与待重建的目标三维人脸模型的误差，使最终得到的三维人脸重建模型更加自然，提高三维人脸模型重建的精度。

Description

三维人脸重建方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理领域，尤其涉及一种三维人脸重建方法、装置、电子设备及存储介质。
背景技术
随着人脸识别技术的不断发展，三维人脸重建技术逐渐发展为计算机图形学(Computer Graphics，CG)的一个重要应用分支。三维人脸模型比二维人脸模型有更强的描述能力，能更好的表达出真实人脸的特征，因此，基于三维人脸模型的人脸识别在识别准确率和活体检测准确率上均有较大的提高。传统三维人脸重建方法中，通常是通过人工在待重建的三维人脸模型上进行三维点的标注，并辅以形变迁移算法(Deformation TransferAlgorithm)，使得标准三维人脸模型与待重建的三维人脸模型尽量相似，以实现三维人脸重建的目的。
然而，传统三维人脸重建方法中，通过人工在待重建的三维人脸模型上进行三维点的标注，并经过形变迁移得到的标准三维人脸模型与待重建的三维人脸模型之间，依然存在很大的误差，无法精确地实现三维人脸重建。
发明内容
本公开提供一种基于三维人脸重建方法、装置、电子设备及存储介质，以至少解决相关技术中无法精确地实现三维人脸重建的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种三维人脸重建方法，包括：
获取目标三维人脸模型和标准三维人脸模型；
按照所述目标三维人脸模型的形状，对所述标准三维人脸模型进行拟合，得到拟合三维人脸模型；
将所述拟合三维人脸模型中的顶点变换至所述目标三维人脸模型中的顶点处，得到所述目标三维人脸模型对应的三维人脸重建模型。
在一示例性实施例中，所述标准三维人脸模型中包括标准三维人脸关键点；
所述按照所述目标三维人脸模型的形状，对所述标准三维人脸模型进行拟合，得到拟合三维人脸模型，包括：
按照所述目标三维人脸模型的形状，对所述标准三维人脸模型进行拟合，得到初始三维人脸模型；其中，所述初始三维人脸模型中的初始三维人脸关键点与所述标准三维人脸关键点一一对应；
获取所述目标三维人脸模型中的目标三维人脸关键点；
根据所述初始三维人脸关键点和所述目标三维人脸关键点，构建损失函数；
将满足预设条件的损失函数对应的初始三维人脸模型，确定为所述拟合三维人脸模型。
在一示例性实施例中，所述获取所述目标三维人脸模型中的目标三维人脸关键点，包括：
将所述目标三维人脸模型投影至二维图像上，得到二维人脸图像；其中，所述目标三维人脸模型中的顶点与所述二维人脸图像中的顶点之间存在一个顶点对应关系；
检测所述二维人脸图像中的二维人脸关键点；
根据所述二维人脸关键点和所述顶点对应关系，确定出所述目标三维人脸关键点。
在一示例性实施例中，所述将所述拟合三维人脸模型中的顶点变换至所述目标三维人脸模型中的顶点处，得到所述目标三维人脸模型对应的三维人脸重建模型，包括：
对于所述拟合三维人脸模型中的顶点，在所述目标三维人脸模型中查找对应的顶点，得到至少一个顶点对；
将所述顶点对中与所述拟合三维人脸模型对应的顶点变换至所述目标三维人脸模型对应的顶点处，得到所述三维人脸重建模型。
在一示例性实施例中，所述对于所述拟合三维人脸模型中的顶点，在所述目标三维人脸模型中查找对应的顶点，得到至少一个顶点对，包括：
在所述目标三维人脸模型中，查找与所述拟合三维人脸模型中的每一顶点距离最近的顶点；
将所述拟合三维人脸模型中的顶点和在所述目标三维人脸模型中查找到的距离最近的顶点，确定为所述至少一个顶点对。
在一示例性实施例中，所述将所述顶点对中与所述拟合三维人脸模型对应的顶点变换至所述目标三维人脸模型对应的顶点处，得到所述三维人脸重建模型，包括：
应用拉普拉斯算法，将所述顶点对中与所述拟合三维人脸模型对应的顶点变换至所述目标三维人脸模型对应的顶点处，得到所述三维人脸重建模型。
在一示例性实施例中，所述顶点对中与所述拟合三维人脸模型对应的顶点位于所述拟合三维人脸模型中的人脸区域；
所述将所述顶点对中与所述拟合三维人脸模型对应的顶点变换至所述目标三维人脸模型对应的顶点处，得到所述三维人脸重建模型之后，包括：
获取所述拟合三维人脸模型中非人脸区域的顶点；
获取将所述顶点对中与所述拟合三维人脸模型对应的顶点变换至所述目标三维人脸模型对应的顶点处的变换系数；
按照所述变换系数，对所述拟合三维人脸模型中非人脸区域的顶点进行变换，得到三维头部重建模型。
根据本公开实施例的第二方面，提供一种三维人脸重建装置，包括：
三维人脸模型获取单元，被配置为执行获取目标三维人脸模型和标准三维人脸模型；
三维人脸模型拟合单元，被配置为执行按照所述目标三维人脸模型的形状，对所述标准三维人脸模型进行拟合，得到拟合三维人脸模型；
三维人脸模型重建单元，被配置为执行将所述拟合三维人脸模型中的顶点变换至所述目标三维人脸模型中的顶点处，得到所述目标三维人脸模型对应的三维人脸重建模型。
在一示例性实施例中，所述标准三维人脸模型中包括标准三维人脸关键点；所述三维人脸模型拟合单元还被配置为执行：
按照所述目标三维人脸模型的形状，对所述标准三维人脸模型进行拟合，得到初始三维人脸模型；其中，所述初始三维人脸模型中的初始三维人脸关键点与所述标准三维人脸关键点一一对应；
获取所述目标三维人脸模型中的目标三维人脸关键点；
根据所述初始三维人脸关键点和所述目标三维人脸关键点，构建损失函数；
将满足预设条件的损失函数对应的初始三维人脸模型，确定为所述拟合三维人脸模型。
在一示例性实施例中，所述三维人脸模型拟合单元还被配置为执行：
将所述目标三维人脸模型投影至二维图像上，得到二维人脸图像；其中，所述目标三维人脸模型中的顶点与所述二维人脸图像中的顶点之间存在一个顶点对应关系；
检测所述二维人脸图像中的二维人脸关键点；
根据所述二维人脸关键点和所述顶点对应关系，确定出所述目标三维人脸关键点。
在一示例性实施例中，所述三维人脸模型重建单元还被配置为执行：
对于所述拟合三维人脸模型中的顶点，在所述目标三维人脸模型中查找对应的顶点，得到至少一个顶点对；
将所述顶点对中与所述拟合三维人脸模型对应的顶点变换至所述目标三维人脸模型对应的顶点处，得到所述三维人脸重建模型。
在一示例性实施例中，所述三维人脸模型重建单元还被配置为执行：
在所述目标三维人脸模型中，查找与所述拟合三维人脸模型中的每一顶点距离最近的顶点；
将所述拟合三维人脸模型中的顶点和在所述目标三维人脸模型中查找到的距离最近的顶点，确定为所述至少一个顶点对。
在一示例性实施例中，所述三维人脸模型重建单元还被配置为执行：
应用拉普拉斯算法，将所述顶点对中与所述拟合三维人脸模型对应的顶点变换至所述目标三维人脸模型对应的顶点处，得到所述三维人脸重建模型。
在一示例性实施例中，所述顶点对中与所述拟合三维人脸模型对应的顶点位于所述拟合三维人脸模型中的人脸区域；所述三维人脸模型重建单元还包括三维头部重建单元，被配置为执行：
获取所述拟合三维人脸模型中非人脸区域的顶点；
获取将所述顶点对中与所述拟合三维人脸模型对应的顶点变换至所述目标三维人脸模型对应的顶点处的变换系数；
按照所述变换系数，对所述拟合三维人脸模型中非人脸区域的顶点进行变换，得到三维头部重建模型。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现上述第一方面任一项实施例中所述的三维人脸重建方法。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述第一方面任一项实施例中所述的三维人脸重建方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序，使得设备执行上述第一方面任一项实施例中所述的三维人脸重建方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
获取目标三维人脸模型和标准三维人脸模型，以目标三维人脸模型的形状为基准，对标准三维人脸模型进行拟合，能够使得到的拟合三维人脸模型与目标三维人脸模型尽量对齐，并在拟合三维人脸模型与目标三维人脸模型对齐的基础上，将拟合三维人脸模型中的顶点变换至目标三维人脸模型中的顶点处，最小化三维人脸重建模型与待重建的目标三维人脸模型的误差，使最终得到的三维人脸重建模型更加自然，提高三维人脸模型重建的精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种三维人脸重建方法的流程图。
图2是根据一示例性实施例示出的步骤S200的一种可实施方式的流程图。
图3是根据一示例性实施例示出的步骤S220的一种可实施方式的流程图。
图4(a)是根据一示例性实施例示出的目标种三维人脸模型。
图4(b)是根据一示例性实施例示出的二维人脸图像。
图4(c)是根据一示例性实施例示出的目标种三维人脸关键点。
图5是根据一示例性实施例示出的步骤S300的一种可实施方式的流程图。
图6(a)是根据一示例性实施例示出的目标三维人脸模型。
图6(b)是根据一示例性实施例示出的拟合三维人脸模型。
图6(c)是根据一示例性实施例示出的经拉普拉斯形变后的三维人脸重建模型。
图7是根据一示例性实施例示出的一种三维人脸重建装置的框图。
图8是根据一示例性实施例示出的一种用于三维人脸重建的电子设备的内部结构图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种三维人脸重建方法的流程图，如图1所示，具体包括以下步骤：
在步骤S100中，获取目标三维人脸模型和标准三维人脸模型。
在步骤S200中，按照目标三维人脸模型的形状，对标准三维人脸模型进行拟合，得到拟合三维人脸模型。
在步骤S300中，将拟合三维人脸模型中的顶点变换至目标三维人脸模型中的顶点处，得到目标三维人脸模型对应的三维人脸重建模型。
其中，三维(three-dimensional，3D)人脸模型指人脸的三维立体模型，三维人脸模型比二维(two-dimension，2D)人脸模型有更强的描述能力，能更好的表达出真实人脸的特征。目标三维人脸模型是指待重建的三维人脸结构和三维人脸纹理。标准三维人脸模型是预先设置好的理想的三维人脸模型。
具体地，获取待重建的目标三维人脸模型和标准三维人脸模型，以目标三维人脸模型的形状为基准，将标准三维人脸模型拟合至目标三维人脸模型上，使得到的拟合三维人脸模型与目标三维人脸模型尽量对齐，在拟合三维人脸模型与目标三维人脸模型对齐的基础上，将拟合三维人脸模型中的顶点变换至目标三维人脸模型中的顶点处，得到待重建的目标三维人脸模型对应的三维人脸重建模型。
例如，标准三维人脸模型是预先设置好的各个面部形状基和表情基组形成的三维人脸模型。其中，形状基是指预先设计的人脸面部的器官或区域的形状和尺寸，例如眼睛的形状、嘴巴的形状、面部肌肉的形状或眉毛的形状等，以眉毛为例对形状基进行说明，眉毛对应的形状基可以为柳叶眉、拱形眉、上挑眉、平直眉等反应眉毛的形状。表情基是指人脸面部的器官或区域的的状态或动作，例如眼睛的开合状态、嘴巴的的开合状态、面部肌肉动作形态或眉毛的动作形态等，以眉毛为例对表情基进行说明，眉毛对应的表情基可以为挑眉、皱眉、闪眉等反应表情的状态或形态。
在获取到待重建的目标三维人脸模型和标准三维人脸模型后，将预先设置好的各个面部形状基和表情基组形成的标准三维人脸模型向着目标三维人脸模型拟合，得到拟合三维人脸模型。此时的拟合三维人脸模型与待重建的目标三维人脸模型在形状和表情上相似或一致。接着，将拟合三维人脸模型中的顶点变换至目标三维人脸模型中的顶点处，使得拟合三维人脸模型在更加细小的顶点处与待重建的目标三维人脸模型一致，使三维人脸重建模型与待重建的目标三维人脸模型的误差最小化，得到更加自然的三维人脸重建模型。
上述三维人脸重建方法中，获取目标三维人脸模型和标准三维人脸模型，以目标三维人脸模型的形状为基准，对标准三维人脸模型进行拟合，能够使得到的拟合三维人脸模型与目标三维人脸模型尽量对齐，并在拟合三维人脸模型与目标三维人脸模型对齐的基础上，将拟合三维人脸模型中的顶点变换至目标三维人脸模型中的顶点处，最小化三维人脸重建模型与待重建的目标三维人脸模型的误差，使最终得到的三维人脸重建模型更加自然，提高三维人脸模型重建的精度。能够为根据三维人脸重建模型进行注册、识别提供基础，提高注册、识别的成功率。
图2是根据一示例性实施例示出的步骤S200的一种可实施方式的流程图，如图2所示，步骤S200，按照目标三维人脸模型的形状，对标准三维人脸模型进行拟合，得到拟合三维人脸模型，具体包括以下步骤：
在步骤S210中，按照目标三维人脸模型的形状，对标准三维人脸模型进行拟合，得到初始三维人脸模型；其中，初始三维人脸模型中的初始三维人脸关键点与标准三维人脸关键点一一对应。
在步骤S220中，获取目标三维人脸模型中的目标三维人脸关键点。
在步骤S230中，根据初始三维人脸关键点和目标三维人脸关键点，构建损失函数。
在步骤S240中，将满足预设条件的损失函数对应的初始三维人脸模型，确定为拟合三维人脸模型。
其中，标准三维人脸模型中包括标准三维人脸关键点。标准三维人脸模型上的三维人脸关键点是从统一的标准三维人脸模型库中直接获取的，标准三维人脸模型库中的标准三维人脸模型对应的三维人脸关键点是预先进行人工标注得到的，一个标准三维人脸模型仅需人工标注一次。
具体地，应用三维人脸形变模型(3D Morphable Model，3DMM)算法，对标准三维人脸模型进行拟合，可以得到拟合三维人脸模型。其中，初始三维人脸模型中的初始三维人脸关键点与标准三维人脸关键点一一对应。3DMM算法指在三维人脸数据库的基础上，以人脸形状和人脸纹理统计为约束，同时考虑了人脸的姿态和光照因素的影响，进行的三维形变得到三维人脸模型的算法模型，此算法模型生成的三维人脸模型精度较高。
通过3DMM拟合，可以使得标准三维人脸模型形状尽可能的和待重建的目标三维人脸模型中的三维人脸结构和三维人脸纹理一致，并且具备与待重建的目标三维人脸模型中的人脸相近的表情。具体3DMM算法的实现方式如公式(1)所示：
其中，Smodel为拟合之后的拟合三维人脸模型，si为3DMM的形状基，ai为形状基对应的参数，n为形状基的数量，ei为3DMM的表情基，bi为表情基对应的参数，m为表情基的数量。
获取目标三维人脸模型中的目标三维人脸关键点，根据初始三维人脸关键点和目标三维人脸关键点，构建损失函数。其中，3DMM的拟合过程的损失函数如公式(2)所示：
其中，Slandmark表示待重建的目标三维人脸关键点，Smodel表示拟合之后的拟合三维人脸模型中的三维人脸关键点，L为三维关键点的个数。
具体地，拟合过程是求公式(1)中的参数ai和bi，以目标三维人脸关键点为基准，对标准三维人脸关键点进行拟合，并将满足预设条件的损失函数对应的初始三维人脸模型，确定为拟合三维人脸模型。可选地，所采用的拟合算法还可以是形变迁移算法(Deformation Transfer Algorithm)、最小二乘法等。
上述示例性实施例中，以目标三维人脸模型的形状为基准，对标准三维人脸模型进行拟合，并根据初始三维人脸关键点和目标三维人脸关键点，构建损失函数，在人脸关键点的形成的损失函数的监督下，将满足预设条件的损失函数对应的初始三维人脸模型，确定为拟合三维人脸模型。能够使拟合三维人脸模型中的三维人脸关键点尽可能的与目标三维人脸模型中的三维人脸关键点尽可能地对齐，减小三维人脸重建模型与待重建的目标三维人脸模型的误差，提高三维人脸模型重建的精度。
图3是根据一示例性实施例示出的步骤S220的一种可实施方式的流程图，如图3所示，步骤S220，获取目标三维人脸模型中的目标三维人脸关键点，具体包括以下步骤：
在步骤S221中，将目标三维人脸模型投影至二维图像上，得到二维人脸图像；其中，目标三维人脸模型中的顶点与二维人脸图像中的顶点之间存在一个顶点对应关系。
在步骤S222中，检测二维人脸图像中的二维人脸关键点。
在步骤S223中，根据二维人脸关键点和顶点对应关系，确定出目标三维人脸关键点。
其中，二维图像是指平面图像，二维人脸图像是指平面人脸图像。
具体地，将待重建的目标三维人脸模型渲染至投影至二维图像上，得到一个二维人脸图像，使用人脸关键点检测器检测得到二维人脸图像中的二维人脸关键点。由于该二维人脸图像是目标三维人脸模型投影到二维图像上得到的，因此，该二维人脸图像中的顶点与三维人脸模型中的顶点之间存在一个顶点对应关系，因此，在二维人脸图像上检测出的二维人脸关键点必然在目标三维人脸模型上存在一个对应的点。在使用人脸关键点检测器检测到二维人脸图像中的二维人脸关键点后，根据上述顶点对应关系，可以确定出目标三维人脸模型上的目标三维人脸关键点。
示例地，如图4(a)所示，是根据一示例性实施例示出的目标三维人脸模型，该目标三维人脸模型包括对应的三维人脸结构和三维人脸纹理；如图4(b)所示，是根据一示例性实施例示出的二维人脸图像，该目标三维人脸模型是将目标三维人脸模型投影至二维图像上得到的图像，图中的顶点为人脸关键点；如图4(c)所示，是根据一示例性实施例示出的目标三维人脸关键点，该目标三维人脸关键点是根据二维人脸关键点和顶点对应关系，确定出三维人脸关键点。
上述示例性实施例中，通过将目标三维人脸模型投影至二维图像上，得到二维人脸图像，并检测二维人脸图像中的二维人脸关键点，在得到二维人脸关键点后，根据二维人脸关键点和顶点对应关系，确定出目标三维人脸关键点。整个确定目标三维人脸关键点的过程，从检测器检测二维人脸关键点开始，到逐步得到三维人脸关键点，无需人工参与任何标注工作，能够节省大量的人力成本和时间成本，快速地得到三维人脸关键点，且得到的三维人脸关键点由计算机采用统一的识别或检测方式得到，避免了人工标注的随意性和无序性，提高目标三维人脸关键点的检测精度，为后续减小三维人脸重建模型与待重建的目标三维人脸模型的误差提供基础，提高三维人脸模型重建的精度。
图5是根据一示例性实施例示出的步骤S300的一种可实施方式的流程图，如图5所示，步骤S300，将拟合三维人脸模型中的顶点变换至目标三维人脸模型中的顶点处，得到目标三维人脸模型对应的三维人脸重建模型，具体包括以下步骤：
在步骤S310中，对于拟合三维人脸模型中的顶点，在目标三维人脸模型中查找对应的顶点，得到至少一个顶点对。
在步骤S320中，将顶点对中与拟合三维人脸模型对应的顶点变换至目标三维人脸模型对应的顶点处，得到三维人脸重建模型。
具体地，为了使拟合得到的拟合三维人脸模型更贴近待重建的目标三维人脸模型，在步骤S200中得到拟合三维人脸模型后，为了得到更加精确的三维人脸重建模型，对拟合三维人脸模型中顶点的进行形变处理，以得到目标三维人脸模型对应的三维人脸重建模型。具体包括从目标三维人脸模型中查找与拟合三维人脸模型对应的顶点，将两个三维人脸模中对应的顶点，确定为一个顶点对，将顶点对中与拟合三维人脸模型对应的顶点变换至目标三维人脸模型对应的顶点处，使得拟合三维人脸模型更加贴近目标三维人脸模型，得到三维人脸重建模型。
示例地，将标准三维人脸模型进行拟合，得到的拟合三维人脸模型中的三维人脸结构已经与待重建的目标三维人脸模型中的三维人脸结构对齐，且对于张嘴、撇嘴、闭眼等具备大表情的待重建的目标三维人脸模型中的三维人脸结构可以完成良好的对齐效果。接着，查找拟合三维人脸模型的三维顶点与三维中对应的三维顶点，对三维顶点进行进一步的变换好、对齐，将顶点对中与拟合三维人脸模型对应的顶点变换至目标三维人脸模型对应的顶点处，得到三维人脸重建模型。
可选地，在目标三维人脸模型中，查找与拟合三维人脸模型中的每一顶点距离最近的顶点；将拟合三维人脸模型中的顶点和在目标三维人脸模型中查找到的距离最近的顶点，确定为至少一个顶点对。
具体地，拟合三维人脸模型为与目标三维人脸模型已经在形状和表情上一致，此时，拟合三维人脸模型中的顶点与待重建的目标三维人脸模型中的顶点基本对应，拟合三维人脸模型中的顶点与待重建的目标三维人脸模型中的顶点的位置一致或者相差较小，因此，拟合三维人脸模型中的顶点与待重建的目标三维人脸模型中的顶点中对应的顶点之间的距离相较于拟合三维人脸模型中的顶点与待重建的目标三维人脸模型中的顶点中非对应的顶点之间的距离小，因此，将拟合三维人脸模型中的顶点和在目标三维人脸模型中查找到的距离最近的顶点，确定为至少一个顶点对，用于后续的变换处理。
可选地，应用拉普拉斯算法(Laplacian Deformation)，将顶点对中与拟合三维人脸模型对应的顶点变换至目标三维人脸模型对应的顶点处，得到三维人脸重建模型。
具体地，拉普拉斯形变算法的实现方式可以由一个损失函数描述，具体如公式(3)所示：
其中，为待重建的目标三维人脸模型的拉普拉斯坐标，/>为拟合三维人脸模型的拉普拉斯坐标，n为所有的三维顶点数量，v′i为拟合三维人脸模型的坐标，ui为待重建的目标三维人脸模型的坐标，m为非人脸区域的顶点的个数。其中，非人脸区域的顶点为脸区域以外的点，例如头发、耳朵、脖子等对应的点。非人脸区域的顶点跟随顶点对中与拟合三维人脸模型对应的点进行变换，可以保证拓扑完整平滑，使得到的三维人脸重建模型更加自然。
具体地，拟合三维人脸模型与目标三维人脸模型中的顶点并不都是相对应的，其中的三维人脸顶点在拟合三维人脸模型与目标三维人脸模型中存在着对应关系，相应的面部点也存在对应关系，但是三维人脸模型中的头发、耳朵、脖子等并不都存在对应的点，这些头发、耳朵、脖子等对应的点也不是人脸模型重建、识别、注册的关注点，因此并不需要特别的关注头发、耳朵、脖子等对应的点。
可选地，获取拟合三维人脸模型中非人脸区域的顶点；获取将顶点对中与拟合三维人脸模型对应的顶点变换至目标三维人脸模型对应的顶点处的变换系数；按照变换系数，对拟合三维人脸模型中非人脸区域的顶点进行变换，得到三维头部重建模型。
其中，拉普拉斯坐标的实现方式如公式(4)所示：
其中，vi为待重建的目标三维人脸模型或拟合三维人脸模型中的一个顶点，Ni为vi的邻域，di为邻域中每个顶点的权重。
如图6(a)所示，是根据一示例性实施例示出的目标三维人脸模型，该目标三维人脸模型包括对应的三维人脸结构和三维人脸纹理；如图6(b)所示，是根据一示例性实施例示出的拟合三维人脸模型，是以目标三维人脸关键点为基准，对标准三维人脸关键点进行拟合得到的；如图6(c)所示，是根据一示例性实施例示出的经拉普拉斯形变后的三维人脸重建模型。
上述示例性实施例中，对于拟合三维人脸模型中的顶点，在目标三维人脸模型中查找对应的顶点，得到至少一个顶点对；将顶点对中与拟合三维人脸模型对应的顶点变换至目标三维人脸模型对应的顶点处，得到三维人脸重建模型。能够对顶点对中的顶点进行变换，最小化三维人脸重建模型与待重建的目标三维人脸模型的误差，使最终得到的三维人脸重建模型更加自然，提高三维人脸模型重建的精度。能够为根据三维人脸重建模型进行注册、识别提供基础，提高注册、识别的成功率。
应该理解的是，虽然图1、2、4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、2、4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
图7是根据一示例性实施例示出的一种三维人脸重建装置的框图。参照图7，该装置包括三维人脸模型获取单元701、三维人脸模型拟合单元702和三维人脸模型重建单元703：
三维人脸模型获取单元701，被配置为执行获取目标三维人脸模型和标准三维人脸模型；
三维人脸模型拟合单元702，被配置为执行按照目标三维人脸模型的形状，对标准三维人脸模型进行拟合，得到拟合三维人脸模型；
三维人脸模型重建单元703，被配置为执行将拟合三维人脸模型中的顶点变换至目标三维人脸模型中的顶点处，得到目标三维人脸模型对应的三维人脸重建模型。
在一示例性实施例中，标准三维人脸模型中包括标准三维人脸关键点；三维人脸模型拟合单元702还被配置为执行：按照目标三维人脸模型的形状，对标准三维人脸模型进行拟合，得到初始三维人脸模型；其中，初始三维人脸模型中的初始三维人脸关键点与标准三维人脸关键点一一对应；获取目标三维人脸模型中的目标三维人脸关键点；根据初始三维人脸关键点和目标三维人脸关键点，构建损失函数；将满足预设条件的损失函数对应的初始三维人脸模型，确定为拟合三维人脸模型。
在一示例性实施例中，三维人脸模型拟合单元702还被配置为执行：将目标三维人脸模型投影至二维图像上，得到二维人脸图像；其中，目标三维人脸模型中的顶点与二维人脸图像中的顶点之间存在一个顶点对应关系；检测二维人脸图像中的二维人脸关键点；根据二维人脸关键点和顶点对应关系，确定出目标三维人脸关键点。
在一示例性实施例中，三维人脸模型重建单元703还被配置为执行：对于拟合三维人脸模型中的顶点，在目标三维人脸模型中查找对应的顶点，得到至少一个顶点对；将顶点对中与拟合三维人脸模型对应的顶点变换至目标三维人脸模型对应的顶点处，得到三维人脸重建模型。
在一示例性实施例中，三维人脸模型重建单元703还被配置为执行：在目标三维人脸模型中，查找与拟合三维人脸模型中的每一顶点距离最近的顶点；将拟合三维人脸模型中的顶点和在目标三维人脸模型中查找到的距离最近的顶点，确定为至少一个顶点对。
在一示例性实施例中，三维人脸模型重建单元703还被配置为执行：应用拉普拉斯算法，将顶点对中与拟合三维人脸模型对应的顶点变换至目标三维人脸模型对应的顶点处，得到三维人脸重建模型。
在一示例性实施例中，顶点对中与拟合三维人脸模型对应的顶点位于拟合三维人脸模型中的人脸区域；三维人脸模型重建单元703还包括三维头部重建单元，被配置为执行：获取拟合三维人脸模型中非人脸区域的顶点；获取将顶点对中与拟合三维人脸模型对应的顶点变换至目标三维人脸模型对应的顶点处的变换系数；按照变换系数，对拟合三维人脸模型中非人脸区域的顶点进行变换，得到三维头部重建模型。
关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种用于三维人脸重建的设备800的框图。例如，设备800可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
参照图8，设备800可以包括以下一个或多个组件：处理组件802、存储器804、电力组件806、多媒体组件808、音频组件810、输入/输出(I/O)的接口812、传感器组件814以及通信组件816。
处理组件802通常控制设备800的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在设备800上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘或光盘。
电源组件806为设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为设备800的显示器和小键盘，传感器组件814还可以检测设备800或设备800一个组件的位置改变，用户与设备800接触的存在或不存在，设备800方位或加速/减速和设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
通信组件816被配置为便于设备800和其他设备之间有线或无线方式的通信。设备800可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或8G)，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。
在一示例性实施例中，设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在一示例性实施例中，还提供了一种电子设备，包括：处理器820；用于存储处理器820可执行指令的存储器804；其中，处理器820被配置为执行指令，以实现上述任一项实施例中的三维人脸重建方法。
在一示例性实施例中，还提供了一种存储介质，当存储介质中的指令由电子设备的处理器820执行时，使得电子设备能够执行上述任一项实施例中的三维人脸重建方法。
在一示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由设备800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种三维人脸重建方法，其特征在于，包括：
获取目标三维人脸模型和标准三维人脸模型；
按照所述目标三维人脸模型的形状，对所述标准三维人脸模型进行拟合，得到初始三维人脸模型；其中，所述标准三维人脸模型中包括标准三维人脸关键点，所述初始三维人脸模型中的初始三维人脸关键点与所述标准三维人脸关键点一一对应；
获取所述目标三维人脸模型中的目标三维人脸关键点；
根据所述初始三维人脸关键点和所述目标三维人脸关键点，构建损失函数；
将满足预设条件的损失函数对应的初始三维人脸模型，确定为所述拟合三维人脸模型；
对于所述拟合三维人脸模型中的顶点，在所述目标三维人脸模型中查找对应的顶点，得到至少一个顶点对；
将所述顶点对中与所述拟合三维人脸模型对应的顶点变换至所述目标三维人脸模型对应的顶点处，得到所述三维人脸重建模型。
2.根据权利要求1所述的三维人脸重建方法，其特征在于，所述获取所述目标三维人脸模型中的目标三维人脸关键点，包括：
将所述目标三维人脸模型投影至二维图像上，得到二维人脸图像；其中，所述目标三维人脸模型中的顶点与所述二维人脸图像中的顶点之间存在一个顶点对应关系；
检测所述二维人脸图像中的二维人脸关键点；
根据所述二维人脸关键点和所述顶点对应关系，确定出所述目标三维人脸关键点。
3.根据权利要求1所述的三维人脸重建方法，其特征在于，所述对于所述拟合三维人脸模型中的顶点，在所述目标三维人脸模型中查找对应的顶点，得到至少一个顶点对，包括：
在所述目标三维人脸模型中，查找与所述拟合三维人脸模型中的每一顶点距离最近的顶点；
将所述拟合三维人脸模型中的顶点和在所述目标三维人脸模型中查找到的距离最近的顶点，确定为所述至少一个顶点对。
4.根据权利要求1所述的三维人脸重建方法，其特征在于，所述将所述顶点对中与所述拟合三维人脸模型对应的顶点变换至所述目标三维人脸模型对应的顶点处，得到所述三维人脸重建模型，包括：
应用拉普拉斯算法，将所述顶点对中与所述拟合三维人脸模型对应的顶点变换至所述目标三维人脸模型对应的顶点处，得到所述三维人脸重建模型。
5.根据权利要求1所述的三维人脸重建方法，其特征在于，所述顶点对中与所述拟合三维人脸模型对应的顶点位于所述拟合三维人脸模型中的人脸区域；
所述将所述顶点对中与所述拟合三维人脸模型对应的顶点变换至所述目标三维人脸模型对应的顶点处，得到所述三维人脸重建模型之后，包括：
获取所述拟合三维人脸模型中非人脸区域的顶点；
获取将所述顶点对中与所述拟合三维人脸模型对应的顶点变换至所述目标三维人脸模型对应的顶点处的变换系数；
按照所述变换系数，对所述拟合三维人脸模型中非人脸区域的顶点进行变换，得到三维头部重建模型。
6.一种三维人脸重建装置，其特征在于，包括：
三维人脸模型获取单元，被配置为执行获取目标三维人脸模型和标准三维人脸模型；
三维人脸模型拟合单元，被配置为执行按照所述目标三维人脸模型的形状，对所述标准三维人脸模型进行拟合，得到初始三维人脸模型；其中，所述标准三维人脸模型中包括标准三维人脸关键点，所述初始三维人脸模型中的初始三维人脸关键点与所述标准三维人脸关键点一一对应；获取所述目标三维人脸模型中的目标三维人脸关键点；根据所述初始三维人脸关键点和所述目标三维人脸关键点，构建损失函数；将满足预设条件的损失函数对应的初始三维人脸模型，确定为所述拟合三维人脸模型；
三维人脸模型重建单元，被配置为执行对于所述拟合三维人脸模型中的顶点，在所述目标三维人脸模型中查找对应的顶点，得到至少一个顶点对；将所述顶点对中与所述拟合三维人脸模型对应的顶点变换至所述目标三维人脸模型对应的顶点处，得到所述三维人脸重建模型。
7.根据权利要求6所述的三维人脸重建装置，其特征在于，所述三维人脸模型拟合单元还被配置为执行：
将所述目标三维人脸模型投影至二维图像上，得到二维人脸图像；其中，所述目标三维人脸模型中的顶点与所述二维人脸图像中的顶点之间存在一个顶点对应关系；
检测所述二维人脸图像中的二维人脸关键点；
根据所述二维人脸关键点和所述顶点对应关系，确定出所述目标三维人脸关键点。
8.根据权利要求6所述的三维人脸重建装置，其特征在于，所述三维人脸模型重建单元还被配置为执行：
在所述目标三维人脸模型中，查找与所述拟合三维人脸模型中的每一顶点距离最近的顶点；
将所述拟合三维人脸模型中的顶点和在所述目标三维人脸模型中查找到的距离最近的顶点，确定为所述至少一个顶点对。
9.根据权利要求6所述的三维人脸重建装置，其特征在于，所述三维人脸模型重建单元还被配置为执行：
应用拉普拉斯算法，将所述顶点对中与所述拟合三维人脸模型对应的顶点变换至所述目标三维人脸模型对应的顶点处，得到所述三维人脸重建模型。
10.根据权利要求6所述的三维人脸重建装置，其特征在于，所述顶点对中与所述拟合三维人脸模型对应的顶点位于所述拟合三维人脸模型中的人脸区域；所述三维人脸模型重建单元还包括三维头部重建单元，被配置为执行：
获取所述拟合三维人脸模型中非人脸区域的顶点；
获取将所述顶点对中与所述拟合三维人脸模型对应的顶点变换至所述目标三维人脸模型对应的顶点处的变换系数；
按照所述变换系数，对所述拟合三维人脸模型中非人脸区域的顶点进行变换，得到三维头部重建模型。
11.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的三维人脸重建方法。
12.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至5中任一项所述的三维人脸重建方法。
CN202010479102.1A 2020-05-29 2020-05-29 三维人脸重建方法、装置、电子设备及存储介质 Active CN113744384B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010479102.1A CN113744384B (zh) 2020-05-29 2020-05-29 三维人脸重建方法、装置、电子设备及存储介质
PCT/CN2020/132460 WO2021238126A1 (zh) 2020-05-29 2020-11-27 三维人脸重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010479102.1A CN113744384B (zh) 2020-05-29 2020-05-29 三维人脸重建方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113744384A CN113744384A (zh) 2021-12-03
CN113744384B true CN113744384B (zh) 2023-11-28

Family

ID=78725042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010479102.1A Active CN113744384B (zh) 2020-05-29 2020-05-29 三维人脸重建方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN113744384B (zh)
WO (1) WO2021238126A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529640B (zh) * 2022-02-17 2024-01-26 北京字跳网络技术有限公司 一种运动画面生成方法、装置、计算机设备和存储介质
CN115050067B (zh) * 2022-05-25 2024-07-02 中国科学院半导体研究所 人脸表情构建方法、装置、电子设备、存储介质及产品
CN116563371B (zh) * 2023-03-28 2024-09-27 北京纳通医用机器人科技有限公司 关键点确定方法、装置、设备及存储介质
CN117523152B (zh) * 2024-01-04 2024-04-12 广州趣丸网络科技有限公司 一种三维人脸重建方法、装置、计算机设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966316A (zh) * 2015-05-22 2015-10-07 腾讯科技（深圳）有限公司 一种3d人脸重建方法、装置及服务器
CN108510437A (zh) * 2018-04-04 2018-09-07 科大讯飞股份有限公司 一种虚拟形象生成方法、装置、设备以及可读存储介质
CN108537110A (zh) * 2017-03-01 2018-09-14 索尼公司 生成三维人脸模型的基于虚拟现实的装置和方法
CN108961149A (zh) * 2017-05-27 2018-12-07 北京旷视科技有限公司 图像处理方法、装置和系统及存储介质
CN109191507A (zh) * 2018-08-24 2019-01-11 北京字节跳动网络技术有限公司 三维人脸图像重建方法、装置和计算机可读存储介质
CN109754467A (zh) * 2018-12-18 2019-05-14 广州市百果园网络科技有限公司 三维人脸构建方法、计算机存储介质和计算机设备
CN110414394A (zh) * 2019-07-16 2019-11-05 公安部第一研究所 一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型
CN110807836A (zh) * 2020-01-08 2020-02-18 腾讯科技（深圳）有限公司 三维人脸模型的生成方法、装置、设备及介质
CN111028343A (zh) * 2019-12-16 2020-04-17 腾讯科技（深圳）有限公司 三维人脸模型的生成方法、装置、设备及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101718868B1 (ko) * 2015-09-21 2017-03-22 한국과학기술연구원 자동 의료영상 분할에 의한 3차원 악안면 모델 형성 방법, 이를 수행하는 자동 영상 분할과 모델 형성 서버 및 이를 저장하는 기록매체
CN110796719A (zh) * 2018-07-16 2020-02-14 北京奇幻科技有限公司 一种实时人脸表情重建方法
CN110866864B (zh) * 2018-08-27 2024-10-22 阿里巴巴华东有限公司 人脸姿态估计/三维人脸重构方法、装置及电子设备
CN111127668B (zh) * 2019-12-26 2023-08-22 网易（杭州）网络有限公司 一种角色模型生成方法、装置、电子设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966316A (zh) * 2015-05-22 2015-10-07 腾讯科技（深圳）有限公司 一种3d人脸重建方法、装置及服务器
CN108537110A (zh) * 2017-03-01 2018-09-14 索尼公司 生成三维人脸模型的基于虚拟现实的装置和方法
CN108961149A (zh) * 2017-05-27 2018-12-07 北京旷视科技有限公司 图像处理方法、装置和系统及存储介质
CN108510437A (zh) * 2018-04-04 2018-09-07 科大讯飞股份有限公司 一种虚拟形象生成方法、装置、设备以及可读存储介质
CN109191507A (zh) * 2018-08-24 2019-01-11 北京字节跳动网络技术有限公司 三维人脸图像重建方法、装置和计算机可读存储介质
CN109754467A (zh) * 2018-12-18 2019-05-14 广州市百果园网络科技有限公司 三维人脸构建方法、计算机存储介质和计算机设备
CN110414394A (zh) * 2019-07-16 2019-11-05 公安部第一研究所 一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型
CN111028343A (zh) * 2019-12-16 2020-04-17 腾讯科技（深圳）有限公司 三维人脸模型的生成方法、装置、设备及介质
CN110807836A (zh) * 2020-01-08 2020-02-18 腾讯科技（深圳）有限公司 三维人脸模型的生成方法、装置、设备及介质

Also Published As

Publication number Publication date
WO2021238126A1 (zh) 2021-12-02
CN113744384A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN113744384B (zh) 三维人脸重建方法、装置、电子设备及存储介质
WO2022037285A1 (zh) 相机外参标定方法及装置
CN112348933B (zh) 动画生成方法、装置、电子设备及存储介质
CN111368796B (zh) 人脸图像的处理方法、装置、电子设备及存储介质
US11308692B2 (en) Method and device for processing image, and storage medium
US11030733B2 (en) Method, electronic device and storage medium for processing image
WO2024007478A1 (zh) 基于单手机的人体三维建模数据采集与重建方法及系统
CN110148191B (zh) 视频虚拟表情生成方法、装置及计算机可读存储介质
CN113643356B (zh) 相机位姿确定、虚拟物体显示方法、装置及电子设备
CN110853095B (zh) 相机定位方法、装置、电子设备及存储介质
CN109754464B (zh) 用于生成信息的方法和装置
CN111062276A (zh) 基于人机交互的人体姿态推荐方法、装置、机器可读介质及设备
CN109840939A (zh) 三维重建方法、装置、电子设备及存储介质
US20220375258A1 (en) Image processing method and apparatus, device and storage medium
CN112115894B (zh) 手部关键点检测模型的训练方法、装置及电子设备
CN112614214B (zh) 动作捕捉方法、装置、电子设备及存储介质
CN112509005B (zh) 图像处理方法、装置、电子设备及存储介质
CN109377446A (zh) 人脸图像的处理方法及装置、电子设备和存储介质
CN111178298A (zh) 人体关键点检测方法、装置、电子设备及存储介质
CN114007099A (zh) 一种视频处理方法、装置和用于视频处理的装置
CN110728621B (zh) 一种面部图像的换脸方法、装置、电子设备及存储介质
CN113902869A (zh) 三维头部网格生成方法、装置、电子设备和存储介质
CN114140536A (zh) 位姿数据处理方法、装置、电子设备及存储介质
CN112767541B (zh) 三维重建方法及装置、电子设备和存储介质
CN112613447A (zh) 关键点检测方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant