CN114332136B - 人脸属性数据标注方法、计算机设备及存储介质 - Google Patents

人脸属性数据标注方法、计算机设备及存储介质 Download PDF

Info

Publication number
CN114332136B
CN114332136B CN202210251073.2A CN202210251073A CN114332136B CN 114332136 B CN114332136 B CN 114332136B CN 202210251073 A CN202210251073 A CN 202210251073A CN 114332136 B CN114332136 B CN 114332136B
Authority
CN
China
Prior art keywords
face
image
parameters
data set
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210251073.2A
Other languages
English (en)
Other versions
CN114332136A (zh
Inventor
杨帆
郝强
潘鑫淼
胡建国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaoshi Technology (Jiangsu) Co.,Ltd.
Original Assignee
Nanjing Zhenshi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhenshi Intelligent Technology Co Ltd filed Critical Nanjing Zhenshi Intelligent Technology Co Ltd
Priority to CN202210251073.2A priority Critical patent/CN114332136B/zh
Publication of CN114332136A publication Critical patent/CN114332136A/zh
Application granted granted Critical
Publication of CN114332136B publication Critical patent/CN114332136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种人脸属性数据标注方法、计算机设备及存储介质，人脸属性数据标注方法，包括：建立人脸彩色图像数据集；检测人脸彩色图像数据集中图像的人脸区域掩模；采用三维形变模型，对人脸彩色图像数据集中图像，随机初始化参数；对初始化参数进行渲染，得到渲染图像；对人脸彩色图像数据集中的所有图像数据都进行标注，得到标注后的光照数据集和头部姿态数据集；将人脸图像输入到人脸属性预测模型中训练；迭代优化模型；对待测人脸图像进行人脸检测，裁剪出人脸区域中的图像，输入到训练好的人脸属性预测模型中，预测出此时人脸的光照参数和头部姿态。本发明大大降低了训练数据采集的成本，提高了拟合的精确度。

Description

人脸属性数据标注方法、计算机设备及存储介质
技术领域
本发明涉及图像处理技术领域，具体是一种人脸图像的属性数据标注方法、计算机设备及存储介质。
背景技术
人脸属性分析是指，根据人脸图像分析出面部光照、头部姿态、性别、年龄等信息，在安防、互动娱乐等领域有着广泛的应用。现有的基于计算机视觉的人脸属性分析方法依赖于高质量的带标注数据。例如人脸光照数据需要人工观察人脸图像，标注对应的宏观光照标签，如欠曝、过曝、偏红等，标注受主观影响较大，且无法全面的描述真实环境中的复杂光照。此外，传统的光照数据的采集需要在实验室环境下部署大量光源，利用不同组合光源获取带有标注的人脸光照数据。又例如头部姿态数据，需要使用3D传感器采集不同人不同角度的大量头部姿态数据。这些数据采集方法成本高昂，采集过程繁琐，且实验室环境与真实环境差异较大，基于这种数据训练后的模型在真实场景下往往泛化性不足。
发明内容
本发明所要解决的技术问题是提供一种提高拟合精度且泛化性好的人脸属性数据标注方法、计算机设备及存储介质。
为解决上述技术问题，本发明采用的技术方案是：
本发明首先提供一种人脸属性数据标注方法，包括：
建立人脸彩色图像数据集；
检测建立的人脸彩色图像数据集中图像的人脸区域掩模；
采用三维形变模型，对建立的人脸彩色图像数据集中图像，随机初始化身份参数、表情参数、纹理参数、球谐光照参数、头部姿态以及平移；
对初始化参数进行渲染，得到渲染图像；
计算人脸彩色图像数据集中图像与渲染图像在人脸区域掩模中的损失；最小化人脸彩色图像数据集中图像与渲染图像在人脸区域掩模中的损失，迭代优化身份参数、表情参数、纹理参数、球谐光照参数、头部姿态以及平移，得到优化后的球谐光照参数和头部姿态参数；
采用优化后的球谐光照参数和头部姿态参数，对人脸彩色图像数据集中的所有图像数据都进行标注，得到标注后的光照数据集和头部姿态数据集；
将人脸图像输入到人脸属性预测模型中训练；用于预测人脸光照的预测模型的最后一个全连接层为对应于球谐光照的27个参数对应的27个神经元；计算一个批次训练数据的预测光照参数与标注光照参数的损失，迭代优化模型；用于预测人脸头部姿态的预测模型的最后一个全连接层为对应于头部姿态数据的4个神经元，计算一个批次训练数据的预测头部姿态数据与标注头部姿态数据的损失，迭代优化模型；
对待测人脸图像进行人脸检测，裁剪出人脸区域中的图像，输入到训练好的人脸属性预测模型中，预测出此时人脸的光照参数和头部姿态。
本发明还提供一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实 现所述的人脸属性数据标注方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述的人脸属性数据标注方法。
与现有技术相比，本发明的有益效果是：
本发明提出了一种人脸属性数据标注方法，基于3DMM人脸先验模型和可微渲染器，利用迭代优化参数的方式拟合人脸图像数据，得到对应的人脸属性参数。相比于传统的人脸属性数据人工采集标注方式，本方法实现了计算机算法全自动标注，大大降低了训练数据采集的成本。此外，传统的3D人脸拟合方法一般使用3DMM模型拟合检测得到的二维人脸关键点，这种方法只利用了图像中的关键点信息，受脸型、表情、相机参数、关键点检测器精度等因素的影响，拟合精度不高，且无法拟合光照这种纹理参数。而本发明方法结合了可微渲染器直接使用渲染出的人脸拟合待标注的人脸图像，利用了图像中的全部信息，能够拟合光照参数，且拟合的损失函数中加入了人脸区域掩模，排除了背景信息对拟合的干扰，提升了拟合的精确度。
附图说明
图1是本发明方法的流程图；
图2是人脸区域掩模的标注过程示意图，其中，a为人脸彩色图像，b为a的人脸区域掩模；
图3为基于参数的渲染图像，其中，a,b,c,d为四个不同旋转姿态的渲染图形， a的人脸姿态为俯仰角=-5°，偏航角=14°，桶滚角=7°； b的人脸姿态为俯仰角=-2°，yaw=-76°，桶滚角=2°； c的人脸姿态为俯仰角=2°，偏航角=-12°，桶滚角=3°； d的人脸姿态为俯仰角=-6°，偏航角=54°，桶滚角=5°；
图4为三维人脸拟合效果对比，其中， a图为输入图像，b图为3DDFA-V2方法拟合的人脸形状，c图为本发明方法拟合出的人脸形状；
图5为光照预测效果图，其中，a图为输入图像，b图为预测光照参数渲染出的光照纹理。
具体实施方式
本实施例提供一种人脸属性数据标注方法，步骤如图1所示，包括：
1.人脸数据采集及预处理。通过预处理的人脸数据得到人脸彩色图像数据集。
在一个实施例中，人脸数据采集及预处理的方法包括：
采集大量人脸彩色图像数据，数据包含丰富的光照、表情、身份、头部姿态，共N张，N为大于100的整数；
使用人脸检测器检测人脸区域，裁剪出人脸区域中的图像；
将裁剪出人脸区域中的图像，统一放缩到高H像素、宽W像素尺寸（H、W为大于32的整数），得到数据集
Figure 100002_DEST_PATH_IMAGE002
，其中
Figure 100002_DEST_PATH_IMAGE004
为第n张（n为0到N—1整数）预处理后的图像。
2. 标注人脸区域掩模。检测建立的人脸彩色图像数据集中图像的人脸区域掩模，见图2所示，其中图2中b为a人脸彩色图像的人脸区域掩模。
在一个实施例中，对预处理后的图像
Figure 100002_DEST_PATH_IMAGE006
使用预训练的人脸分割模型（如人脸语义分割工具face_segmentation）检测图像的人脸区域掩模
Figure 100002_DEST_PATH_IMAGE008
，其中
Figure 100002_DEST_PATH_IMAGE010
为图像
Figure 100002_DEST_PATH_IMAGE012
的人脸区域掩模。
3. 基于3DMM模型标注人脸属性。具体包括：
采用三维形变模型，对建立的人脸彩色图像数据集中图像，随机初始化身份参数、表情参数、纹理参数、球谐光照参数、头部姿态以及平移；
对初始化参数进行渲染，得到渲染图像，见图3；
计算人脸彩色图像数据集中图像与渲染图像在人脸区域掩模中的损失；最小化人脸彩色图像数据集中图像与渲染图像在人脸区域掩模中的损失，迭代优化身份参数、表情参数、纹理参数、球谐光照参数、头部姿态以及平移，得到优化后的球谐光照参数和头部姿态参数；
采用优化后的球谐光照参数和头部姿态参数，对人脸彩色图像数据集中的所有图像数据都进行标注，得到标注后的光照数据集和头部姿态数据集。
三维形变模型（3DMM ，3D Morphable Models，）是一种人脸参数化模型，它能通过调节身份参数、表情参数、纹理参数、球谐光照参数、头部姿态、平移生成特定的3D脸型。球谐光照模型使用27个参数来表示复杂的光照，头部姿态用四元数的形式表示。
选取合适的3DMM模型（如巴塞尔人脸模型Basel Face Model，大规模人脸模型Large Scale Facial Model）。对图像
Figure 100002_DEST_PATH_IMAGE014
随机初始化身份参数
Figure DEST_PATH_IMAGE016
、表情参数
Figure DEST_PATH_IMAGE018
、纹理参数
Figure 100002_DEST_PATH_IMAGE020
、球谐光照参数
Figure 100002_DEST_PATH_IMAGE022
、头部姿态
Figure 100002_DEST_PATH_IMAGE024
、平移
Figure 100002_DEST_PATH_IMAGE026
。使用可微渲染器Render（如tensorflow网格渲染器tf mesh renderer、英伟达高性能可微渲染器Nvdiffrast等）将参数渲染成图像
Figure DEST_PATH_IMAGE028
，
Figure DEST_PATH_IMAGE030
。采用L1损失函数计算
Figure DEST_PATH_IMAGE032
与
Figure DEST_PATH_IMAGE034
在掩模
Figure DEST_PATH_IMAGE036
中的损失，
Figure DEST_PATH_IMAGE038
，其中mean
Figure DEST_PATH_IMAGE040
为求像素均值函数。使用Adam优化器最小化Loss，迭代优化各输入参数，得到优化后的球谐光照参数
Figure DEST_PATH_IMAGE042
和头部姿态参数
Figure DEST_PATH_IMAGE044
，此时
Figure DEST_PATH_IMAGE046
，
Figure DEST_PATH_IMAGE048
即为
Figure 209835DEST_PATH_IMAGE012
的人脸光照标注和头部姿态标注。对所有图像数据都进行标注，得到标注后的光照数据集
Figure DEST_PATH_IMAGE050
和头部姿态数据集
Figure DEST_PATH_IMAGE052
。
4.训练人脸属性预测模型。
将人脸图像输入到人脸属性预测模型中训练；用于预测人脸光照的预测模型的最后一个全连接层为对应于球谐光照的27个参数对应的27个神经元；计算一个批次训练数据的预测光照参数与标注光照参数的损失，迭代优化模型；用于预测人脸头部姿态的预测模型的最后一个全连接层为对应于头部姿态数据的4个神经元，计算一个批次训练数据的预测头部姿态数据与标注头部姿态数据的损失，迭代优化模型；
人脸属性预测模型可以选择卷积神经网络结构（如VGG、ResNet、MobileNet等）。
5.人脸属性预测。
对待测人脸图像进行人脸检测，裁剪出人脸区域中的图像，输入到训练好的人脸属性预测模型中，预测出此时人脸的光照参数和头部姿态。
裁剪出人脸区域中的图像放缩到高H像素、宽W像素尺寸。
三维人脸拟合方法对比。对比本发明方法和三维稠密人脸对齐方法3DDFA-V2方法拟合人脸的效果，如图4 所示，a图为输入图像，b图为3DDFA-V2方法拟合的人脸形状，c图为本发明方法拟合出的人脸形状。可以看出本发明方法拟合出的人脸三维形状更加贴合图像中的人脸。
光照评估方法对比。用于人脸的光照质量评估方法FIIQA只能返回一个描述光照条件好坏的分数；专利《光照对称性与全局光照强度融合的无参考人脸光照评价方法》仅能评估光照对称性和亮度这种宏观信息；而本发明方法能够预测27维的球谐光照参数，如图5所示，a图为输入图像，b图为预测光照参数渲染出的光照纹理，可见本发明方法可以精细地表示复杂的光照情况。
头部姿态方法对比。AFLW2000-3D是一个常用的人脸姿态评估数据集，在此数据集上对比本发明方法和细粒度头部姿态估计模型HopeNet，对比结果如表1所示，本发明方法的平均误差比HopeNet降低了28.9%。
表1头部姿态角度误差对比
俯仰角误差 偏航角误差 桶滚角误差 平均误差
HopeNet 6.56° 6.47° 5.44° 6.16°
本发明方法 5.84° 4.16° 4.33° 4.78°
本发明人脸属性数据标注方法中的人脸属性，还包括人脸精细表情参数，具体标准方法如下：
1.人脸数据采集及预处理。采集大量人脸彩色图像数据，数据包含丰富的表情、身份、光照、头部姿态，共N张（N为大于100的整数）。使用人脸检测器检测人脸区域，裁剪出人脸区域中的图像并统一放缩到高H像素、宽W像素尺寸（H、W为大于32的整数），得到数据集
Figure DEST_PATH_IMAGE053
，其中
Figure DEST_PATH_IMAGE055
为第n张（n为0到N—1整数）预处理后的图像。
2.标注人脸区域掩模。对预处理后的图像
Figure DEST_PATH_IMAGE057
使用预训练的人脸分割模型（如face_segmentation）检测图像的人脸区域掩模
Figure DEST_PATH_IMAGE059
，其中
Figure DEST_PATH_IMAGE061
为图像
Figure DEST_PATH_IMAGE063
的人脸区域掩模。
3.为3DMM模型绑定blendshapes。人脸3DMM（3D Morphable Models，三维形变模型）是一种人脸参数化模型，它能通过调节身份参数、表情参数、纹理参数、光照参数、旋转角、平移生成特定的3D脸型。选取合适的3DMM模型（如Basel Face Model，Large ScaleFacial Model），使用面部表情绑定算法——Example-based facial rigging，为3DMM模型绑定所需的M种（M为正整数）表情blendshapes（形态键），表情可以是抬眉毛、皱眉、闭眼、张嘴等解耦的精细表情，每个blendshape都是0到1的值，表示该表情的变化程度。标定blendshapes后的3DMM模型可以通过调节blendshapes系数控制3D人脸的细微表情。
4. blendshapes参数标注。对图像
Figure DEST_PATH_IMAGE065
随机初始化身份参数
Figure DEST_PATH_IMAGE067
、blendshapes参数
Figure DEST_PATH_IMAGE069
、纹理参数
Figure DEST_PATH_IMAGE071
、光照参数
Figure DEST_PATH_IMAGE073
、旋转角
Figure DEST_PATH_IMAGE075
、平移
Figure DEST_PATH_IMAGE077
。使用可微渲染器Render（如tf meshrenderer、Nvdiffrast等）将参数渲染成图像
Figure DEST_PATH_IMAGE079
，
Figure DEST_PATH_IMAGE081
。采用L1损失函数计算
Figure DEST_PATH_IMAGE083
与
Figure DEST_PATH_IMAGE085
在掩模
Figure DEST_PATH_IMAGE087
中的损失，
Figure DEST_PATH_IMAGE089
，其中mean
Figure DEST_PATH_IMAGE091
为求像素均值函数。使用Adam优化器最小化Loss，迭代优化输入参数，得到优化后的blendshapes参数
Figure DEST_PATH_IMAGE093
，此时
Figure DEST_PATH_IMAGE095
即为
Figure DEST_PATH_IMAGE097
的表情标注。对所有图像数据都进行标注，得到标注后的数据集
Figure DEST_PATH_IMAGE099
。
5.训练表情识别模型。选择合适和卷积神经网络结构（如VGG、ResNet、MobileNet等），将网络最后一个全连接层设置为M个神经元，对应于M个blendshapes。模型输入为人脸图像，输出为预测的M种表情blendshapes。采用L1损失函数计算一个批次训练数据的预测blendshapes与标注blendshapes的损失，使用梯度下降法迭代优化模型。最终训练后的模型能准确地从输入人脸预测表情blendshapes。
6.精细面部表情识别。对待识别人脸图像进行人脸检测，裁剪出人脸区域中的图像并放缩到高H像素、宽W像素尺寸，输入训练后的模型预测出人脸M种表情blendshapes。
本实施例提供一种计算机设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实 现上述实施例的人脸属性数据标注方法。
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例的人脸属性数据标注方法。

Claims (10)

1.一种人脸属性数据标注方法，其特征在于，包括：
建立人脸彩色图像数据集；
检测建立的人脸彩色图像数据集中图像的人脸区域掩模；
采用三维形变模型，对建立的人脸彩色图像数据集中的图像，随机初始化身份参数、表情参数、纹理参数、球谐光照参数、头部姿态以及平移；
对初始化参数得到的三维人脸模型进行渲染，得到渲染图像；
计算人脸彩色图像数据集中图像与渲染图像在人脸区域掩模中的损失；最小化人脸彩色图像数据集中图像与渲染图像在人脸区域掩模中的损失，迭代优化身份参数、表情参数、纹理参数、球谐光照参数、头部姿态以及平移，得到优化后的球谐光照参数和头部姿态参数；
采用优化后的球谐光照参数和头部姿态参数，对人脸彩色图像数据集中的所有图像数据进行标注，得到标注后的光照数据集和头部姿态数据集；
将人脸图像输入到人脸属性预测模型中训练；用于预测人脸光照的预测模型的最后一个全连接层为对应于球谐光照的27个参数对应的27个神经元；计算一个批次训练数据的预测光照参数与标注光照参数的损失，迭代优化模型；用于预测人脸头部姿态的预测模型的最后一个全连接层为对应于头部姿态数据的4个神经元，计算一个批次训练数据的预测头部姿态数据与标注头部姿态数据的损失，迭代优化模型；
对待测人脸图像进行人脸检测，裁剪出人脸区域中的图像，输入到训练好的人脸属性预测模型中，预测出此时人脸的光照参数和头部姿态。
2.根据权利要求1所述的人脸属性数据标注方法，其特征在于，
计算人脸彩色图像数据集中图像与渲染图像在人脸区域掩模中的损失采用L1损失函数：
Figure DEST_PATH_IMAGE002
其中
Figure DEST_PATH_IMAGE004
为求像素均值函数；
Figure DEST_PATH_IMAGE006
为人脸彩色图像数据集中第n个图像；
Figure DEST_PATH_IMAGE008
为第n个渲染图像；
Figure DEST_PATH_IMAGE010
为图像
Figure DEST_PATH_IMAGE012
的人脸区域掩模。
3.根据权利要求2所述的人脸属性数据标注方法，其特征在于，对初始化参数进行渲染，得到的渲染图像为：
Figure DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE015
为第n个渲染图像；
Figure DEST_PATH_IMAGE017
为初始化身份参数；
Figure DEST_PATH_IMAGE019
为初始化表情参数；
Figure DEST_PATH_IMAGE020
为初始化纹理参数；
Figure DEST_PATH_IMAGE022
为初始化球谐光照参数；
Figure DEST_PATH_IMAGE024
为初始化头部姿态；
Figure DEST_PATH_IMAGE026
为初始化平移。
4.根据权利要求3所述的人脸属性数据标注方法，其特征在于，得到标注后的光照数据集为
Figure DEST_PATH_IMAGE027
；得到标注后的头部姿态数据集为
Figure DEST_PATH_IMAGE029
其中，
Figure DEST_PATH_IMAGE031
～
Figure DEST_PATH_IMAGE033
为优化后的球谐光照参数，
Figure DEST_PATH_IMAGE035
～
Figure DEST_PATH_IMAGE037
为优化后的头部姿态参数。
5.根据权利要求1所述的人脸属性数据标注方法，其特征在于，建立人脸彩色图像数据集，包括：
采集N张人脸彩色图像数据，数据包含丰富的光照、表情、身份以及头部姿态，N为大于100的整数；
使用人脸检测器检测人脸区域，裁剪出人脸区域中的图像；
将剪裁出的人脸区域图像，统一放缩到高H像素、宽W像素尺寸，H、W为大于32的整数，得到数据集
Figure DEST_PATH_IMAGE039
，其中
Figure DEST_PATH_IMAGE041
为第n张预处理后的图像，n为0到N—1整数。
6.根据权利要求5所述的人脸属性数据标注方法，其特征在于，对待测人脸图像进行人脸检测，裁剪出人脸区域中的图像步骤中，裁决出的图像放缩到高H像素、宽W像素尺寸。
7.根据权利要求1所述的人脸属性数据标注方法，其特征在于，使用可微渲染器对初始化参数进行渲染。
8.根据权利要求1所述的人脸属性数据标注方法，其特征在于，人脸属性预测模型的迭代优化使用梯度下降法。
9.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的人脸属性数据标注方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的人脸属性数据标注方法。
CN202210251073.2A 2022-03-15 2022-03-15 人脸属性数据标注方法、计算机设备及存储介质 Active CN114332136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210251073.2A CN114332136B (zh) 2022-03-15 2022-03-15 人脸属性数据标注方法、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210251073.2A CN114332136B (zh) 2022-03-15 2022-03-15 人脸属性数据标注方法、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN114332136A CN114332136A (zh) 2022-04-12
CN114332136B true CN114332136B (zh) 2022-05-17

Family

ID=81033213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210251073.2A Active CN114332136B (zh) 2022-03-15 2022-03-15 人脸属性数据标注方法、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN114332136B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024081052A1 (en) * 2022-10-13 2024-04-18 Microsoft Technology Licensing, Llc Multi-modal three-dimensional face modeling and tracking for generating expressive avatars

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173765A (zh) * 2023-09-06 2023-12-05 广东工业大学 一种大规模遮罩人脸数据集标注方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474883B2 (en) * 2016-11-08 2019-11-12 Nec Corporation Siamese reconstruction convolutional neural network for pose-invariant face recognition
CN111950477B (zh) * 2020-08-17 2024-02-02 南京大学 一种基于视频监督的单图像三维人脸重建方法
CN113269872A (zh) * 2021-06-01 2021-08-17 广东工业大学 基于三维人脸重构和视频关键帧优化的合成视频生成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024081052A1 (en) * 2022-10-13 2024-04-18 Microsoft Technology Licensing, Llc Multi-modal three-dimensional face modeling and tracking for generating expressive avatars

Also Published As

Publication number Publication date
CN114332136A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
JP7200139B2 (ja) 仮想顔化粧の除去、高速顔検出およびランドマーク追跡
US10679046B1 (en) Machine learning systems and methods of estimating body shape from images
CN109816725B (zh) 一种基于深度学习的单目相机物体位姿估计方法及装置
CN108345869B (zh) 基于深度图像和虚拟数据的驾驶人姿态识别方法
Pishchulin et al. Building statistical shape spaces for 3d human modeling
CN108229296B (zh) 人脸皮肤属性识别方法和装置、电子设备、存储介质
Rematas et al. Novel views of objects from a single image
Dornaika et al. On appearance based face and facial action tracking
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
CN101159015B (zh) 一种二维人脸图像的识别方法
CN114332136B (zh) 人脸属性数据标注方法、计算机设备及存储介质
WO2020119458A1 (zh) 脸部关键点检测方法、装置、计算机设备和存储介质
CN110675368B (zh) 一种融合图像分割与分类的细胞图像语义分割方法
CN112766160A (zh) 基于多级属性编码器和注意力机制的人脸替换方法
WO2022095721A1 (zh) 参数估算模型的训练方法、装置、设备和存储介质
CN110310285B (zh) 一种精确的基于三维人体重建的烧伤面积计算方法
CN111243050B (zh) 肖像简笔画生成方法、系统及绘画机器人
US20240037852A1 (en) Method and device for reconstructing three-dimensional faces and storage medium
CN110543906B (zh) 基于Mask R-CNN模型的肤质自动识别方法
CN112734911A (zh) 基于卷积神经网络的单幅图像三维人脸重建方法及系统
Huber et al. Real-time 3D face fitting and texture fusion on in-the-wild videos
Hong et al. A 3D model-based approach for fitting masks to faces in the wild
Wang et al. Dynamic human body reconstruction and motion tracking with low-cost depth cameras
Paterson et al. 3D head tracking using non-linear optimization.
CN115471611A (zh) 一种提升3dmm人脸模型视觉效果的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 210000 Longmian Avenue 568, High-tech Park, Jiangning District, Nanjing City, Jiangsu Province

Patentee after: Xiaoshi Technology (Jiangsu) Co.,Ltd.

Address before: 210000 Longmian Avenue 568, High-tech Park, Jiangning District, Nanjing City, Jiangsu Province

Patentee before: NANJING ZHENSHI INTELLIGENT TECHNOLOGY Co.,Ltd.