CN113902869A - 三维头部网格生成方法、装置、电子设备和存储介质 - Google Patents
三维头部网格生成方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113902869A CN113902869A CN202010577142.XA CN202010577142A CN113902869A CN 113902869 A CN113902869 A CN 113902869A CN 202010577142 A CN202010577142 A CN 202010577142A CN 113902869 A CN113902869 A CN 113902869A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- dimensional head
- coordinate
- target
- vertex
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 35
- 230000008569 process Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 28
- 238000004891 communication Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开关于三维头部网格生成方法、装置、电子设备和存储介质，所述方法包括：确定二维图像中的人脸关键点；将所述人脸关键点的第一坐标和预设标准三维头部网格中顶点的第二坐标输入到预先训练得到的三维头部重建模型中，以输出与所述二维图像中的人脸相对应的三维头部网格中顶点的第三坐标；根据多个所述第三坐标生成所述三维头部网格。根据本公开的技术方案，可以根据单张二维图像，自动构造三维头部网格，以便后续用于生成具体的纹理图像，既不需要预先构建可变形的三维人脸模型，也不需要人工绘制，节约了人力和时间。
Description
技术领域
本公开涉及三维头部网格生成领域，尤其涉及三维头部网格生成方法、装置、电子设备和存储介质。
背景技术
随着自拍、短视频等功能的普及，用户对脸部美颜及相关脸部特效的需求也逐渐加强。其中，很多特效依赖于3D人脸模型，而3D人脸模型包括3D真实人脸模型，也包括3D卡通(也可以称作二次元)人脸模型。
相关技术中可以利用可变形的3D人脸模型(例如3D Morphable Model)，针对单张真实人脸图像构建3D真实人脸模型，由于可变形的3D人脸模型是基于大量真实人脸图像的扫描数据预先构建的，所以基于此只能构建出3D真实人脸模型。
而为了构建3D卡通人脸模型，往往需要设计师进行手工绘制，需要消耗大量的时间和精力。
发明内容
本公开提供了三维头部网格生成方法、装置、电子设备和存储介质，以至少解决相关技术中的技术问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提出一种三维头部网格生成方法，包括：
确定二维图像中的人脸关键点信息；
将所述人脸关键点信息和预设标准三维头部网格中顶点的信息输入到预先训练得到的三维头部重建模型中，以输出与所述二维图像中的人脸相对应的目标三维头部网格；
其中，所述三维头部重建模型基于损失函数训练得到，所述损失函数至少包括第一约束项和第二约束项，所述第一约束项用于表征所述目标三维头部网格中每个顶点与对应的所述人脸关键点的位置差异，所述第二约束项用于表征所述目标三维头部网格中每个顶点和相邻顶点之间的关系与所述预设标准三维头部网格中对应顶点和相邻顶点之间的关系的差异。
可选地，所述第一约束项通过以下方式计算得到：
确定所述目标三维头部网格中每个顶点的坐标向所述二维图像所在平面投影的投影坐标，与每个对应的所述人脸关键点的坐标的差异
可选地，所述第二约束项通过以下方式计算得到：
确定所述目标三维人脸网格中每个顶点的拉普拉斯坐标，与所述预设标准三维人脸网格中每个对应顶点的拉普拉斯坐标的差异。
可选地，所述模型的损失函数还包括第三约束项，其中，所述第三约束项通过以下方式计算得到：
确定所述目标三维头部网格中每个顶点的法向量，与所述预设标准三维头部网格中每个对应顶点的法向量的差异。
可选地，所述模型的损失函数还包括第四约束项，其中，所述第四约束项通过以下方式计算得到：
确定所述目标三维头部网格中边的长度，与所述预设标准三维头部网格中对应边的长度的差异。
可选地，所述方法还包括：
确定所述二维图像中的人脸皮肤蒙版；
其中，在所述输出与所述二维图像中的人脸相对应的目标三维头部网格之后，所述方法还包括：
根据所述人脸皮肤蒙版确定所述二维图像中的人脸皮肤区域；
将所述人脸皮肤区域向所述目标三维头部网格投影，以确定所述人脸皮肤区域中每个像素点的第一坐标，在所述目标三维头部网格中对应的第二坐标，并根据所述第一坐标对应像素点的颜色信息，以及对应的第二坐标对应顶点在所述目标三维头部网格中的深度信息，确定对应的第二坐标对应顶点的纹理信息；
将所述目标三维头部网格向预设纹理空间投影，以确定所述目标三维头部网格中的每个顶点的第二坐标，在所述预设纹理空间中对应的第三坐标，并根据所述第二坐标对应顶点的纹理信息，确定对应的所述第三坐标对应像素点的纹理信息。
可选地，在根据所述第二坐标的纹理信息，确定对应的所述第三坐标的纹理信息之后，所述方法还包括：
将所述人脸皮肤蒙版，向所述目标三维头部网格投影，以确定所述目标三维头部网格中的三维人脸皮肤区域；
将所述三维人脸皮肤区域向所述预设纹理空间投影，以确定在所述预设纹理空间中的目标人脸皮肤蒙版；
根据所述目标人脸皮肤蒙版，以及所述纹理空间中位于所述目标人脸皮肤蒙版中的第三坐标的纹理信息，以及预设的纹理补全模型，补全所述纹理空间中位于所述目标人脸皮肤蒙版以外的第三坐标的纹理信息。
根据本公开实施例的第二方面，提出一种三维头部网格生成装置，包括：
关键点确定模块，被配置为执行确定二维图像中的人脸关键点信息；
坐标确定模块，被配置为执行将所述人脸关键点信息和预设标准三维头部网格中顶点的信息输入到预先训练得到的三维头部重建模型中，以输出与所述二维图像中的人脸相对应的目标三维头部网格；
其中，所述三维头部重建模型基于损失函数训练得到，所述损失函数至少包括第一约束项和第二约束项，所述第一约束项用于表征所述目标三维头部网格中每个顶点与对应的所述人脸关键点的位置差异，所述第二约束项用于表征所述目标三维头部网格中每个顶点和相邻顶点之间的关系与所述预设标准三维头部网格中对应顶点和相邻顶点之间的关系的差异。
可选地，所述第一约束项通过以下方式计算得到：
确定所述目标三维头部网格中每个顶点的坐标向所述二维图像所在平面投影的投影坐标，与每个对应的所述人脸关键点的坐标的差异。
可选地，所述第二约束项通过以下方式计算得到：
确定所述目标三维人脸网格中每个顶点的拉普拉斯坐标，与所述预设标准三维人脸网格中每个对应顶点的拉普拉斯坐标的差异。
可选地，所述模型的损失函数还包括第三约束项，其中，所述第三约束项通过以下方式计算得到：
确定所述目标三维头部网格中每个顶点的法向量，与所述预设标准三维头部网格中每个对应顶点的法向量的差异。
可选地，所述模型的损失函数还包括第四约束项，其中，所述第四约束项通过以下方式计算得到：
确定所述目标三维头部网格中边的长度，与所述预设标准三维头部网格中对应边的长度的差异。
可选地，所述装置还包括：
蒙版确定模块，被配置为执行确定所述二维图像中的人脸皮肤蒙版；
皮肤确定模块，被配置为执行根据所述人脸皮肤蒙版确定所述二维图像中的人脸皮肤区域；
第一投影模块，被配置为执行将所述人脸皮肤区域向所述目标三维头部网格投影，以确定所述人脸皮肤区域中每个像素点的第一坐标，在所述目标三维头部网格中对应的第二坐标，并根据所述第一坐标对应像素点的颜色信息，以及对应的第二坐标对应顶点在所述目标三维头部网格中的深度信息，确定对应的第二坐标对应顶点的纹理信息；以及将所述目标三维头部网格向预设纹理空间投影，以确定所述目标三维头部网格中的每个顶点的第二坐标，在所述预设纹理空间中对应的第三坐标，并根据所述第二坐标对应顶点的纹理信息，确定对应的所述第三坐标对应像素点的纹理信息。
可选地，所述装置还包括：
第二投影模块，被配置为执行将所述人脸皮肤蒙版，向所述三维头部网格投影，以确定所述三维头部网格中的三维人脸皮肤区域；以及将所述三维人脸皮肤区域向所述预设纹理空间投影，以确定在所述预设纹理空间中的目标人脸皮肤蒙版；
纹理补全模块，被配置为执行根据所述目标人脸皮肤蒙版，以及所述纹理空间中位于所述目标人脸皮肤蒙版中的第三坐标的纹理信息，以及预设的纹理补全模型，补全所述纹理空间中位于所述目标人脸皮肤蒙版以外的第三坐标的纹理信息。
根据本公开实施例的第三方面，提出一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如上述任一实施例所述的三维头部网格生成方法。
根据本公开实施例的第四方面，提出一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述任一实施例所述的三维头部网格生成方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品被配置为执行上述任一实施例所述的三维头部网格生成方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
根据本公开的实施例，模型基于该损失函数输出二维图像中的人脸相对应的三维头部网格，一方面通过第一约束项，可以使得目标三维头部网格中每个顶点与对应的所述人脸关键点的位置尽可能接近，从而使得三维头部网格与二维图像中的人脸尽可能接近；另一方面，基于第二约束项，可以使得二维图像中的人脸相对应的三维头部网格中顶点之间的关系，与预设标准三维头部网格中每个顶点之间的关系尽可能接近，进而确保三维头部网格中顶点之间的关系，能够符合三维空间中的位置关系，有利于保证生成的三维头部网格的准确性。
可以根据单张二维图像，自动构造三维头部网格，以便后续用于生成具体的纹理图像，既不需要预先构建可变形的三维人脸模型，也不需要人工绘制，节约了人力和时间。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据本公开的实施例示出的一种三维头部网格生成方法的示意流程图。
图2是根据本公开的实施例示出的一种二维图像的示意图。
图3是根据本公开的实施例示出的一种人脸关键点的示意图。
图4是根据本公开的实施例示出的另一种三维头部网格生成方法的示意流程图。
图5是根据本公开的实施例示出的一种人脸皮肤蒙版的示意图。
图6是根据本公开的实施例示出的基于第三坐标的纹理信息确定的一种三维人脸图像的部分示意图。
图7是根据本公开的实施例示出的又一种三维头部网格生成方法的示意流程图。
图8是根据本公开的实施例示出的一种目标人脸皮肤蒙版的示意图。
图9是根据本公开的实施例示出的一种补全的三维人脸图像的示意图。
图10是根据本公开的实施例示出的一种渲染后的三维人脸图像的示意图。
图11是根据本公开的实施例示出的另一种渲染后的三维人脸图像的示意图。
图12是根据本公开的实施例示出的一种三维头部网格生成装置的示意框图。
图13是根据本公开的实施例示出的另一种三维头部网格生成装置的示意框图。
图14是根据本公开的实施例示出的另一种三维头部网格生成装置的示意框图。
图15是根据本公开的实施例示出的一种电子设备的示意框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据本公开的实施例示出的一种三维(也可以称作3D)头部网格生成方法的示意流程图。本实施例所示的方法可以适用于终端、服务器等电子设备，所述终端包括但不限于手机、平板电脑、可穿戴设备、个人计算机等。
如图1所示，所述方法可以包括以下步骤：
在步骤S101中，确定二维图像中的人脸关键点信息；
在步骤S102中，将所述人脸关键点信息和预设标准三维头部网格中顶点的第二坐标输入到预先训练得到的三维头部重建模型中，以输出与所述二维图像中的人脸相对应的三维头部网格；
其中，所述三维头部重建模型基于损失函数训练得到，所述损失函数至少包括第一约束项和第二约束项，所述第一约束项用于表征所述目标三维头部网格中每个顶点与对应的所述人脸关键点的位置差异，所述第二约束项用于表征所述目标三维头部网格中每个顶点和相邻顶点之间的关系与所述预设标准三维头部网格中对应顶点和相邻顶点之间的关系的差异。
在一个实施例中，用户可以选择一张二维图像来生成三维头部网格，针对二维模型，可以确定其中的人脸关键点信息。所述二维图像可以是包含真实人物的二维图像，也可以是包含卡通人物的二维图像，以下实施例主要针对包含卡通人物的二维图像进行示例。
图2是根据本公开的实施例示出的一种二维图像的示意图。图3是根据本公开的实施例示出的一种人脸关键点的示意图。
在一个实施例中，可以预先通过机器学习训练得到人脸检测模型和关键点检测模型。然后通过人脸检测模型确定图2所示二维卡通图像中的人脸(卡通人脸)，以及通过关键点检测模型在人脸中确定人脸关键点，得到如图3所示的关键点。
在一个实施例中，还可以预先针对大量(例如5千至5万张)二维卡通人脸图像，通过机器学习训练(例如监督训练)得到模型，该模型的输入包括两方面。
一方面是确定的人脸关键点的第一坐标，例如确定了60个人脸关键点，那么就包括60个第一坐标。
另一方面是预设标准三维头部网格中顶点的第二坐标，其中，预设标准三维头部网格可以是预先构建的，其中包括多个顶点，顶点之间通过边相连，构成多个三角形，进而通过多个三角形形成网格。例如预设标准三维头部网格中包括1000个顶点，那么就包括1000个第二坐标。
另外，针对预设标准三维头部网格中的顶点，可以预先设定其与关键点检测模型所检测出的关键点之间的对应关系，例如通过关键点检测模型确定出60个人脸关键点，那么在预设标准三维头部网格中，存在与这60个人脸关键点相对应的顶点。
由于二维图像包含三维信息较少，仅基于二维图像中的人脸关键点，难以准确地构建三维人脸模型。为此，本实施例预先构建了预设标准三维头部网格，预设标准三维头部网格是三维的，其中包含了足够的三维信息，从而可以结合二维图像和预设标准三维头部网格，以便相对准确地构建三维人脸模型。
通过将人脸关键点信息和预设标准三维头部网格中顶点的信息输入到预先训练得到的三维头部重建模型中，三维头部重建模型可以输出与二维图像中的人脸相对应的三维头部网格。
例如人脸关键点信息为人脸关键点的第一坐标，预设标准三维头部网格中顶点的信息为预设标准三维头部网格中顶点的第二坐标，那么将每个人脸关键点的第一坐标和预设标准三维头部网格中每个顶点的第二坐标输入到所述三维头部重建模型中，可以输出所述三维头部网格中每个顶点的第三坐标。
在一个实施例中，为了使得模型既能体现二维人脸图像与三维头部网格之间的关系，又能体现了预设标准三维头部网格与三维头部网格之间的关系，在构造损失函数时，可以设置损失函数至少包括两个约束项。
其中，所述第一约束项用于表征所述目标三维头部网格中每个顶点与对应的所述人脸关键点的位置差异，例如第一约束可以通过确定所述目标三维头部网格中每个顶点的坐标向所述二维图像所在平面投影的投影坐标，与每个对应的所述人脸关键点的坐标的差异得到，具体地，第一约束项为每个所述第三坐标向所述二维图像所在平面投影的投影坐标与每个对应的所述第一坐标之差的和。
例如二维图像中的人脸关键点为n个，第i个人脸关键点的第一坐标可以表示为Pi，1≤i≤n，在三维头部网格的顶点中，与第i个人脸关键点相对应的顶点，向二维图像所在平面投影的投影坐标表示为LMi(M)，二维人脸图像对应的三维头部网格表示为M。
那么第一约束项可以表示为
其中上角标2表示求平方，下角标2表示按照L2范数计算。
其中，所述第二约束项用于表征所述目标三维头部网格中每个顶点和相邻顶点之间的关系与所述预设标准三维头部网格中对应顶点和相邻顶点之间的关系的差异，例如第二约束可以通过确定所述目标三维人脸网格中每个顶点的拉普拉斯坐标，与所述预设标准三维人脸网格中每个对应顶点的拉普拉斯坐标的差异得到，具体地，第二约束项为三维头部网格中每个顶点的拉普拉斯坐标，与预设标准三维头部网格中每个对应顶点的拉普拉斯坐标之差的和。
预设标准三维头部网格表示为M0，对其中每个顶点计算拉普拉斯坐标表示为Lap(M0)，对二维人脸图像对应的三维头部网格中每个顶点计算拉普拉斯坐标表示为Lap(M)，那么第二约束项可以表示为
进而损失函数可以表示为：
模型基于该损失函数输出二维图像中的人脸相对应的三维头部网格，一方面通过第一约束项，可以使得目标三维头部网格中每个顶点与对应的所述人脸关键点的位置尽可能接近，从而使得三维头部网格与二维图像中的人脸尽可能接近；另一方面，基于第二约束项，可以使得二维图像中的人脸相对应的三维头部网格中顶点之间的关系，与预设标准三维头部网格中每个顶点之间的关系尽可能接近，进而确保三维头部网格中顶点之间的关系，能够符合三维空间中的位置关系，有利于保证生成的三维头部网格的准确性。
根据本公开的实施例，可以根据单张二维图像，自动构造三维头部网格，以便后续用于生成具体的纹理图像，既不需要预先构建可变形的三维人脸模型，也不需要人工绘制，节约了人力和时间。
可选地，所述第一约束项通过以下方式计算得到：
确定所述目标三维头部网格中每个顶点的坐标向所述二维图像所在平面投影的投影坐标，与每个对应的所述人脸关键点的坐标的差异。
可选地，所述第二约束项通过以下方式计算得到：
确定所述目标三维人脸网格中每个顶点的拉普拉斯坐标，与所述预设标准三维人脸网格中每个对应顶点的拉普拉斯坐标的差异。
可选地，所述模型的损失函数还包括第三约束项，其中，所述第三约束项通过以下方式计算得到：
确定所述目标三维头部网格中每个顶点的法向量，与所述预设标准三维头部网格中每个对应顶点的法向量的差异。
在一个实施例中，模型的损失函数除了包括第一约束项和第二约束项，还可以包括其他约束项，例如第三约束项，第三约束项可以通过确定所述目标三维头部网格中每个顶点的法向量，与所述预设标准三维头部网格中每个对应顶点的法向量的差异得到，具体地，第三约束项可以为所述三维头部网格中每个顶点的法向量，与所述预设标准三维头部网格中每个对应顶点的法向量之差的和。
对预设标准三维头部网格中每个顶点计算法向量表示为Norm(M0)，对二维人脸图像对应的三维头部网格中每个顶点计算法向量表示为Norm(M)，那么第三约束项可以表示为
进而在第一约束项和第二约束项的基础上，损失函数可以表示为：
基于第三约束项，可以使得二维图像中的人脸相对应的三维头部网格中顶点的法向量，与预设标准三维头部网格中每个顶点之间的法向量尽可能接近，从而可以进一步确保三维头部网格中顶点之间的关系，能够符合三维空间中的位置关系，有利于保证根据第三坐标生成的三维头部网格的准确性。
可选地，所述模型的损失函数还包括第四约束项，其中，可以通过确定所述目标三维头部网格中每个顶点的法向量，与所述预设标准三维头部网格中每个对应顶点的法向量的差异得到第四约束项，具体地，所述第四约束项为所述三维头部网格中边的长度，与所述预设标准三维头部网格中对应边的长度之差的和。
在一个实施例中，模型的损失函数除了包括第一约束项和第二约束项，还可以包括其他约束项，例如第四约束项，第四约束项为所述三维头部网格中边的长度，与所述预设标准三维头部网格中对应边的长度之差的和。
预设标准四维头部网格中每条边的长度表示为EL(M0)，对二维人脸图像对应的四维头部网格中每条边的长度表示为EL(M)，那么第四约束项可以表示为
进而在第一约束项和第二约束项的基础上，损失函数可以表示为：
基于第四约束项，可以使得二维图像中的人脸相对应的三维头部网格中边的长度，与预设标准三维头部网格中对应边的长度尽可能接近，从而可以进一步确保三维头部网格中顶点之间的关系，能够符合三维空间中的位置关系，有利于保证根据第三坐标生成的三维头部网格的准确性。
需要说明的是，上述关于第三约束项和第四约束项的实施例可以相结合，也即损失函数可以包括4个约束项，那么损失函数为：
图4是根据本公开的实施例示出的另一种三维头部网格生成方法的示意流程图。如图4所示，所述方法还包括：
在步骤S103中，确定所述二维图像中的人脸皮肤蒙版；该步骤可以在步骤S102之后执行，也可以根据需要调整执行顺序，例如在步骤S102之前执行；
其中，在所述输出与所述二维图像中的人脸相对应的目标三维头部网格之后，所述方法还包括：
在步骤S104中，根据所述人脸皮肤蒙版确定所述二维图像中的人脸皮肤区域；
在步骤S105中，将所述人脸皮肤区域向所述目标三维头部网格投影，以确定所述人脸皮肤区域中每个像素点的第一坐标，在所述目标三维头部网格中对应的第二坐标，并根据所述第一坐标对应像素点的颜色信息，以及对应的第二坐标对应顶点在所述目标三维头部网格中的深度信息，确定对应的第二坐标对应顶点的纹理信息；
在步骤S106中，将所述目标三维头部网格向预设纹理空间投影，以确定所述目标三维头部网格中的每个顶点的第二坐标，在所述预设纹理空间中对应的第三坐标，并根据所述第二坐标对应顶点的纹理信息，确定对应的所述第三坐标对应像素点的纹理信息。
图5是根据本公开的实施例示出的一种人脸皮肤蒙版的示意图。图6是根据本公开的实施例示出的基于第三坐标的纹理信息确定的一种三维人脸图像的部分示意图。
在一个实施例中，可以预先通过机器学习训练得到人脸分割模型，然后基于人脸分割模型，可以对如图2所示实施例中的二维图像中的人脸进行分割，从而得到如图5所示的二维人脸图像中的人脸模板。
根据人脸皮肤蒙版就可以确定出二维图像中的人脸皮肤区域，进而可以将人脸皮肤区域向三维头部网格投影，以确定人脸皮肤区域中每个第一坐标，在三维头部网格中对应的第二坐标，并根据所述第一坐标的颜色信息，确定对应的第二坐标的纹理信息。由于第二坐标位于三维头部网格中，是三维坐标，可以表达深度等信息，进一步结合颜色信息，就可以作为纹理信息。
然后可以将三维头部网格向预设纹理空间投影，以确定所述三维头部网格中的每个第二坐标，在所述预设纹理空间中对应的第三坐标，并根据所述第二坐标的纹理信息，确定对应的所述第三坐标的纹理信息。
在一个实施例中，可以预先构建纹理空间，也即预设纹理空间，预设纹理空间可以是二维平面，通过将第二坐标投影到纹理空间，可以确定对应的第三坐标，进而可以根据第二坐标的纹理信息，确定对应的第三坐标的纹理信息，据此，可以确定三维头部网格中每个点(不仅包括顶点，还有顶点所构成三角形内部的点)在纹理空间中对应坐标的纹理信息。进而基于第三坐标的纹理信息，可以确定出部分三维人脸图像，例如图6所示。
图7是根据本公开的实施例示出的又一种三维头部网格生成方法的示意流程图。如图7所示，在根据所述第二坐标的纹理信息，确定对应的所述第三坐标的纹理信息之后，所述方法还包括：
在步骤S107中，将所述人脸皮肤蒙版，向所述三维头部网格投影，以确定所述三维头部网格中的三维人脸皮肤区域；
在步骤S108中，将所述三维人脸皮肤区域向所述预设纹理空间投影，以确定在所述预设纹理空间中的目标人脸皮肤蒙版；
在步骤S109中，根据所述目标人脸皮肤蒙版，以及所述纹理空间中位于所述目标人脸皮肤蒙版中的第三坐标的纹理信息，以及预设的纹理补全模型，补全所述纹理空间中位于所述目标人脸皮肤蒙版以外的第三坐标的纹理信息。
图8是根据本公开的实施例示出的一种目标人脸皮肤蒙版的示意图。图9是根据本公开的实施例示出的一种补全的三维人脸图像的示意图。图10是根据本公开的实施例示出的一种渲染后的三维人脸图像的示意图。图11是根据本公开的实施例示出的另一种渲染后的三维人脸图像的示意图。
在一个实施例中，由于在二维图像中确定的人脸皮肤蒙版，和纹理空间中的人脸皮肤蒙版可以存在不同之处，那么可以基于三维头部网格搭建两者之间的关系。首先将人脸皮肤蒙版，向三维头部网格投影，以确定三维头部网格中的三维人脸皮肤区域，然后将三维人脸皮肤区域向预设纹理空间投影，以确定在预设纹理空间中的目标人脸皮肤蒙版，例如图8所示，其与图6所示的部分三维人脸图像是相对应的。
进而可以根据目标人脸皮肤蒙版，以及所述纹理空间中位于所述目标人脸皮肤蒙版中的第三坐标的纹理信息，以及预设的纹理补全模型，补全所述纹理空间中位于所述目标人脸皮肤蒙版以外的第三坐标的纹理信息，基于位于目标人脸皮肤蒙版以内和以外的第三坐标的纹理信息，可以确定出补全纹理的三维人脸图像，例如图9所示。
进而基于图9所示的三维人脸图像，可以进行渲染得到具体的三维人脸图像，例如在二维人脸图像如上述实施例所示为二维卡通人脸图像的情况下，通过phong渲染方式可以得到如图10所示的三维人脸图像，通过cartoon渲染方式可以得到如图11所示的三维人脸图像。
与前述三维头部网格生成方法的实施例相对应地，本公开还提出了三维头部网格生成装置的实施例。
图12是根据本公开的实施例示出的一种三维头部网格生成装置的示意框图。如图12所示，所述三维头部网格生成装置可以包括：
关键点确定模块101，被配置为执行确定二维图像中的人脸关键点信息；
坐标确定模块102，被配置为执行将所述人脸关键点信息和预设标准三维头部网格中顶点的信息输入到预先训练得到的三维头部重建模型中，以输出与所述二维图像中的人脸相对应的目标三维头部网格；
其中，所述三维头部重建模型基于损失函数训练得到，所述损失函数至少包括第一约束项和第二约束项，所述第一约束项用于表征所述目标三维头部网格中每个顶点与对应的所述人脸关键点的位置差异，所述第二约束项用于表征所述目标三维头部网格中每个顶点和相邻顶点之间的关系与所述预设标准三维头部网格中对应顶点和相邻顶点之间的关系的差异。
可选地，所述第一约束项通过以下方式计算得到：
确定所述目标三维头部网格中每个顶点的坐标向所述二维图像所在平面投影的投影坐标，与每个对应的所述人脸关键点的坐标的差异。
可选地，所述第二约束项通过以下方式计算得到：
确定所述目标三维人脸网格中每个顶点的拉普拉斯坐标，与所述预设标准三维人脸网格中每个对应顶点的拉普拉斯坐标的差异。
可选地，所述模型的损失函数还包括第三约束项，其中，所述第三约束项通过以下方式计算得到：
确定所述目标三维头部网格中每个顶点的法向量，与所述预设标准三维头部网格中每个对应顶点的法向量的差异。
可选地，所述模型的损失函数还包括第四约束项，其中，所述第四约束项通过以下方式计算得到：
确定所述目标三维头部网格中边的长度，与所述预设标准三维头部网格中对应边的长度的差异。
图13是根据本公开的实施例示出的另一种三维头部网格生成装置的示意框图。如图13所示，所述装置还包括：
蒙版确定模块103，被配置为执行确定所述二维图像中的人脸皮肤蒙版；
皮肤确定模块104，被配置为执行根据所述人脸皮肤蒙版确定所述二维图像中的人脸皮肤区域；
第一投影模块105，被配置为执行将所述人脸皮肤区域向所述目标三维头部网格投影，以确定所述人脸皮肤区域中每个像素点的第一坐标，在所述目标三维头部网格中对应的第二坐标，并根据所述第一坐标对应像素点的颜色信息，以及对应的第二坐标对应顶点在所述目标三维头部网格中的深度信息，确定对应的第二坐标对应顶点的纹理信息；以及将所述目标三维头部网格向预设纹理空间投影，以确定所述目标三维头部网格中的每个顶点的第二坐标，在所述预设纹理空间中对应的第三坐标，并根据所述第二坐标对应顶点的纹理信息，确定对应的所述第三坐标对应像素点的纹理信息。
图14是根据本公开的实施例示出的另一种三维头部网格生成装置的示意框图。如图14所示，所述装置还包括：
第二投影模块106，被配置为执行将所述人脸皮肤蒙版，向所述三维头部网格投影，以确定所述三维头部网格中的三维人脸皮肤区域；以及将所述三维人脸皮肤区域向所述预设纹理空间投影，以确定在所述预设纹理空间中的目标人脸皮肤蒙版；
纹理补全模块107，被配置为执行根据所述目标人脸皮肤蒙版，以及所述纹理空间中位于所述目标人脸皮肤蒙版中的第三坐标的纹理信息，以及预设的纹理补全模型，补全所述纹理空间中位于所述目标人脸皮肤蒙版以外的第三坐标的纹理信息。
关于上述实施例中的装置，其中各个模块/单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本公开的实施例还提出一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如上述任一实施例所述的三维头部网格生成方法。
本公开的实施例还提出一种一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一实施例所述的三维头部网格生成方法。
本公开的实施例还提出一种计算机程序产品，所述计算机程序产品被配置为执行上述任一实施例所述的三维头部网格生成方法。
图15是根据本公开的实施例示出的一种电子设备的示意框图。例如，电子设备1500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图15，电子设备1500可以包括以下一个或多个组件：处理组件1502，存储器1504，电源组件1506，多媒体组件1508，音频组件1510，输入/输出(I/O)的接口1512，传感器组件1514，以及通信组件1516。
处理组件1502通常控制电子设备1500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1502可以包括一个或多个处理器1520来执行指令，以完成上述三维头部网格生成方法的全部或部分步骤。此外，处理组件1502可以包括一个或多个模块，便于处理组件1502和其他组件之间的交互。例如，处理组件1502可以包括多媒体模块，以方便多媒体组件1508和处理组件1502之间的交互。
存储器1504被配置为存储各种类型的数据以支持在电子设备1500的操作。这些数据的示例包括用于在电子设备1500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1506为电子设备1500的各种组件提供电力。电源组件1506可以包括电源管理系统，一个或多个电源，及其他与为电子设备1500生成、管理和分配电力相关联的组件。
多媒体组件1508包括在电子设备1500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1508包括一个前置摄像头和/或后置摄像头。当电子设备1500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1510被配置为输出和/或输入音频信号。例如，音频组件1510包括一个麦克风(MIC)，当电子设备1500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1504或经由通信组件1516发送。在一些实施例中，音频组件1510还包括一个扬声器，用于输出音频信号。
I/O接口1512为处理组件1502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1514包括一个或多个传感器，用于为电子设备1500提供各个方面的状态评估。例如，传感器组件1514可以检测到电子设备1500的打开/关闭状态，组件的相对定位，例如所述组件为电子设备1500的显示器和小键盘，传感器组件1514还可以检测电子设备1500或电子设备1500一个组件的位置改变，用户与电子设备1500接触的存在或不存在，电子设备1500方位或加速/减速和电子设备1500的温度变化。传感器组件1514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1516被配置为便于电子设备1500和其他设备之间有线或无线方式的通信。电子设备1500可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件1516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在本公开一实施例中，电子设备1500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述三维头部网格生成方法。
在本公开一实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1504，上述指令可由电子设备1500的处理器1520执行以完成上述三维头部网格生成方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本公开实施例所提供的方法和装置进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域的一般技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。
Claims (10)
1.一种三维头部网格生成方法，其特征在于，包括：
确定二维图像中的人脸关键点信息；
将所述人脸关键点信息和预设标准三维头部网格中顶点的信息输入到预先训练得到的三维头部重建模型中，以输出与所述二维图像中的人脸相对应的目标三维头部网格；
其中，所述三维头部重建模型基于损失函数训练得到，所述损失函数至少包括第一约束项和第二约束项，所述第一约束项用于表征所述目标三维头部网格中每个顶点与对应的所述人脸关键点的位置差异，所述第二约束项用于表征所述目标三维头部网格中每个顶点和相邻顶点之间的关系与所述预设标准三维头部网格中对应顶点和相邻顶点之间的关系的差异。
2.根据权利要求1所述的方法，其特征在于，所述第一约束项通过以下方式计算得到：
确定所述目标三维头部网格中每个顶点的坐标向所述二维图像所在平面投影的投影坐标，与每个对应的所述人脸关键点的坐标的差异。
3.根据权利要求1所述的方法，其特征在于，所述第二约束项通过以下方式计算得到：
确定所述目标三维人脸网格中每个顶点的拉普拉斯坐标，与所述预设标准三维人脸网格中每个对应顶点的拉普拉斯坐标的差异。
4.根据权利要求1所述的方法，其特征在于，所述模型的损失函数还包括第三约束项，其中，所述第三约束项通过以下方式计算得到：
确定所述目标三维头部网格中每个顶点的法向量，与所述预设标准三维头部网格中每个对应顶点的法向量的差异。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述模型的损失函数还包括第四约束项，其中，所述第四约束项通过以下方式计算得到：
确定所述目标三维头部网格中边的长度，与所述预设标准三维头部网格中对应边的长度的差异。
6.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：
确定所述二维图像中的人脸皮肤蒙版；
其中，在所述输出与所述二维图像中的人脸相对应的目标三维头部网格之后，所述方法还包括：
根据所述人脸皮肤蒙版确定所述二维图像中的人脸皮肤区域；
将所述人脸皮肤区域向所述目标三维头部网格投影，以确定所述人脸皮肤区域中每个像素点的第一坐标，在所述目标三维头部网格中对应的第二坐标，并根据所述第一坐标对应像素点的颜色信息，以及对应的第二坐标对应顶点在所述目标三维头部网格中的深度信息，确定对应的第二坐标对应顶点的纹理信息；
将所述目标三维头部网格向预设纹理空间投影，以确定所述目标三维头部网格中的每个顶点的第二坐标，在所述预设纹理空间中对应的第三坐标，并根据所述第二坐标对应顶点的纹理信息，确定对应的所述第三坐标对应像素点的纹理信息。
7.根据权利要求6所述的方法，其特征在于，在根据所述第二坐标的纹理信息，确定对应的所述第三坐标的纹理信息之后，所述方法还包括：
将所述人脸皮肤蒙版，向所述目标三维头部网格投影，以确定所述目标三维头部网格中的三维人脸皮肤区域；
将所述三维人脸皮肤区域向所述预设纹理空间投影，以确定在所述预设纹理空间中的目标人脸皮肤蒙版；
根据所述目标人脸皮肤蒙版，以及所述纹理空间中位于所述目标人脸皮肤蒙版中的第三坐标的纹理信息，以及预设的纹理补全模型，补全所述纹理空间中位于所述目标人脸皮肤蒙版以外的第三坐标的纹理信息。
8.一种三维头部网格生成装置，其特征在于，包括：
关键点确定模块，被配置为执行确定二维图像中的人脸关键点信息；
坐标确定模块，被配置为执行将所述人脸关键点信息和预设标准三维头部网格中顶点的信息输入到预先训练得到的三维头部重建模型中，以输出与所述二维图像中的人脸相对应的目标三维头部网格；
其中，所述三维头部重建模型基于损失函数训练得到，所述损失函数至少包括第一约束项和第二约束项，所述第一约束项用于表征所述目标三维头部网格中每个顶点与对应的所述人脸关键点的位置差异，所述第二约束项用于表征所述目标三维头部网格中每个顶点和相邻顶点之间的关系与所述预设标准三维头部网格中对应顶点和相邻顶点之间的关系的差异。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的三维头部网格生成方法。
10.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至7中任一项所述的三维头部网格生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010577142.XA CN113902869A (zh) | 2020-06-22 | 2020-06-22 | 三维头部网格生成方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010577142.XA CN113902869A (zh) | 2020-06-22 | 2020-06-22 | 三维头部网格生成方法、装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113902869A true CN113902869A (zh) | 2022-01-07 |
Family
ID=79186607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010577142.XA Pending CN113902869A (zh) | 2020-06-22 | 2020-06-22 | 三维头部网格生成方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113902869A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114549291A (zh) * | 2022-02-24 | 2022-05-27 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备以及存储介质 |
| CN115239860A (zh) * | 2022-09-01 | 2022-10-25 | 北京达佳互联信息技术有限公司 | 表情数据生成方法、装置、电子设备及存储介质 |
| CN117523136A (zh) * | 2023-11-13 | 2024-02-06 | 书行科技(北京)有限公司 | 人脸点位对应关系处理方法、人脸重建方法、装置及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109741438A (zh) * | 2018-11-23 | 2019-05-10 | 重庆灵翎互娱科技有限公司 | 三维人脸建模方法、装置、设备及介质 |
| CN109754464A (zh) * | 2019-01-31 | 2019-05-14 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
| CN109993696A (zh) * | 2019-03-15 | 2019-07-09 | 广州愿托科技有限公司 | 基于多视点图像的结构物表观全景图矫正拼接方法 |
| US20200089097A1 (en) * | 2016-12-22 | 2020-03-19 | Eva - Esthetic Visual Analytics Ltd. | Real-time tracking for three-dimensional imaging |
-
2020
- 2020-06-22 CN CN202010577142.XA patent/CN113902869A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200089097A1 (en) * | 2016-12-22 | 2020-03-19 | Eva - Esthetic Visual Analytics Ltd. | Real-time tracking for three-dimensional imaging |
| CN109741438A (zh) * | 2018-11-23 | 2019-05-10 | 重庆灵翎互娱科技有限公司 | 三维人脸建模方法、装置、设备及介质 |
| CN109754464A (zh) * | 2019-01-31 | 2019-05-14 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法和装置 |
| CN109993696A (zh) * | 2019-03-15 | 2019-07-09 | 广州愿托科技有限公司 | 基于多视点图像的结构物表观全景图矫正拼接方法 |
Non-Patent Citations (2)
| Title |
|---|
| ALEXANDRU ION MARINESCU ET.AL: "A Fast and Robust, Forehead-Augmented 3D Face Reconstruction from Multiple Images using Geometrical Methods", 2020 INTERNATIONAL CONFERENCE ON SOFTWARE, TELECOMMUNICATIONS AND COMPUTER NETWORKS (SOFTCOM), 28 April 2020 (2020-04-28) * |
| 冯瑶: "基于单张图像的真实感三维人脸重建", 中国优秀硕士学位论文全文数据库, 15 June 2020 (2020-06-15) * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114549291A (zh) * | 2022-02-24 | 2022-05-27 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备以及存储介质 |
| CN115239860A (zh) * | 2022-09-01 | 2022-10-25 | 北京达佳互联信息技术有限公司 | 表情数据生成方法、装置、电子设备及存储介质 |
| CN115239860B (zh) * | 2022-09-01 | 2023-08-01 | 北京达佳互联信息技术有限公司 | 表情数据生成方法、装置、电子设备及存储介质 |
| CN117523136A (zh) * | 2023-11-13 | 2024-02-06 | 书行科技(北京)有限公司 | 人脸点位对应关系处理方法、人脸重建方法、装置及介质 |
| CN117523136B (zh) * | 2023-11-13 | 2024-05-14 | 书行科技(北京)有限公司 | 人脸点位对应关系处理方法、人脸重建方法、装置及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11114130B2 (en) | Method and device for processing video | |
| CN110148102B (zh) | 图像合成方法、广告素材合成方法及装置 | |
| US20210256672A1 (en) | Method, electronic device and storage medium for processing image | |
| EP2977956A1 (en) | Method, apparatus and device for segmenting an image | |
| CN113902869A (zh) | 三维头部网格生成方法、装置、电子设备和存储介质 | |
| CN107977934B (zh) | 图像处理方法及装置 | |
| CN109410276B (zh) | 关键点位置确定方法、装置及电子设备 | |
| CN105512605A (zh) | 人脸图像处理方法及装置 | |
| CN114125320B (zh) | 一种图像特效的生成方法及装置 | |
| US20200402321A1 (en) | Method, electronic device and storage medium for image generation | |
| CN112614228B (zh) | 三维网格的简化方法、装置、电子设备和存储介质 | |
| WO2023142645A1 (zh) | 图像处理方法、装置、电子设备、存储介质和计算机程序产品 | |
| CN110580677B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
| CN106097428B (zh) | 三维模型测量信息的标注方法及装置 | |
| CN112767288A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN111612876A (zh) | 表情生成方法、装置及存储介质 | |
| CN110929616B (zh) | 一种人手识别方法、装置、电子设备和存储介质 | |
| US9665925B2 (en) | Method and terminal device for retargeting images | |
| CN114067085A (zh) | 一种虚拟对象的显示方法及装置、电子设备和存储介质 | |
| CN116843826A (zh) | 柔性物体的三维建模方法、装置、电子设备和存储介质 | |
| CN110728621A (zh) | 一种面部图像的换脸方法、装置、电子设备及存储介质 | |
| CN107239758B (zh) | 人脸关键点定位的方法及装置 | |
| CN110502993B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113642551A (zh) | 指甲关键点检测方法、装置、电子设备及存储介质 | |
| CN115423896A (zh) | 曲线生成方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |