CN114332136A - 人脸属性数据标注方法、计算机设备及存储介质 - Google Patents
人脸属性数据标注方法、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN114332136A CN114332136A CN202210251073.2A CN202210251073A CN114332136A CN 114332136 A CN114332136 A CN 114332136A CN 202210251073 A CN202210251073 A CN 202210251073A CN 114332136 A CN114332136 A CN 114332136A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- parameters
- data set
- illumination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种人脸属性数据标注方法、计算机设备及存储介质,人脸属性数据标注方法,包括:建立人脸彩色图像数据集;检测人脸彩色图像数据集中图像的人脸区域掩模;采用三维形变模型,对人脸彩色图像数据集中图像,随机初始化参数;对初始化参数进行渲染,得到渲染图像;对人脸彩色图像数据集中的所有图像数据都进行标注,得到标注后的光照数据集和头部姿态数据集;将人脸图像输入到人脸属性预测模型中训练;迭代优化模型;对待测人脸图像进行人脸检测,裁剪出人脸区域中的图像,输入到训练好的人脸属性预测模型中,预测出此时人脸的光照参数和头部姿态。本发明大大降低了训练数据采集的成本,提高了拟合的精确度。
Description
技术领域
本发明涉及图像处理技术领域,具体是一种人脸图像的属性数据标注方法、计算机设备及存储介质。
背景技术
人脸属性分析是指,根据人脸图像分析出面部光照、头部姿态、性别、年龄等信息,在安防、互动娱乐等领域有着广泛的应用。现有的基于计算机视觉的人脸属性分析方法依赖于高质量的带标注数据。例如人脸光照数据需要人工观察人脸图像,标注对应的宏观光照标签,如欠曝、过曝、偏红等,标注受主观影响较大,且无法全面的描述真实环境中的复杂光照。此外,传统的光照数据的采集需要在实验室环境下部署大量光源,利用不同组合光源获取带有标注的人脸光照数据。又例如头部姿态数据,需要使用3D传感器采集不同人不同角度的大量头部姿态数据。这些数据采集方法成本高昂,采集过程繁琐,且实验室环境与真实环境差异较大,基于这种数据训练后的模型在真实场景下往往泛化性不足。
发明内容
本发明所要解决的技术问题是提供一种提高拟合精度且泛化性好的人脸属性数据标注方法、计算机设备及存储介质。
为解决上述技术问题,本发明采用的技术方案是:
本发明首先提供一种人脸属性数据标注方法,包括:
建立人脸彩色图像数据集;
检测建立的人脸彩色图像数据集中图像的人脸区域掩模;
采用三维形变模型,对建立的人脸彩色图像数据集中图像,随机初始化身份参数、表情参数、纹理参数、球谐光照参数、头部姿态以及平移;
对初始化参数进行渲染,得到渲染图像;
计算人脸彩色图像数据集中图像与渲染图像在人脸区域掩模中的损失;最小化人脸彩色图像数据集中图像与渲染图像在人脸区域掩模中的损失,迭代优化身份参数、表情参数、纹理参数、球谐光照参数、头部姿态以及平移,得到优化后的球谐光照参数和头部姿态参数;
采用优化后的球谐光照参数和头部姿态参数,对人脸彩色图像数据集中的所有图像数据都进行标注,得到标注后的光照数据集和头部姿态数据集;
将人脸图像输入到人脸属性预测模型中训练;用于预测人脸光照的预测模型的最后一个全连接层为对应于球谐光照的27个参数对应的27个神经元;计算一个批次训练数据的预测光照参数与标注光照参数的损失,迭代优化模型;用于预测人脸头部姿态的预测模型的最后一个全连接层为对应于头部姿态数据的4个神经元,计算一个批次训练数据的预测头部姿态数据与标注头部姿态数据的损失,迭代优化模型;
对待测人脸图像进行人脸检测,裁剪出人脸区域中的图像,输入到训练好的人脸属性预测模型中,预测出此时人脸的光照参数和头部姿态。
本发明还提供一种计算机设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实 现所述的人脸属性数据标注方法。
本发明还提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现所述的人脸属性数据标注方法。
与现有技术相比,本发明的有益效果是:
本发明提出了一种人脸属性数据标注方法,基于3DMM人脸先验模型和可微渲染器,利用迭代优化参数的方式拟合人脸图像数据,得到对应的人脸属性参数。相比于传统的人脸属性数据人工采集标注方式,本方法实现了计算机算法全自动标注,大大降低了训练数据采集的成本。此外,传统的3D人脸拟合方法一般使用3DMM模型拟合检测得到的二维人脸关键点,这种方法只利用了图像中的关键点信息,受脸型、表情、相机参数、关键点检测器精度等因素的影响,拟合精度不高,且无法拟合光照这种纹理参数。而本发明方法结合了可微渲染器直接使用渲染出的人脸拟合待标注的人脸图像,利用了图像中的全部信息,能够拟合光照参数,且拟合的损失函数中加入了人脸区域掩模,排除了背景信息对拟合的干扰,提升了拟合的精确度。
附图说明
图1是本发明方法的流程图;
图2是人脸区域掩模的标注过程示意图,其中,a为人脸彩色图像,b为a的人脸区域掩模;
图3为基于参数的渲染图像,其中,a,b,c,d为四个不同旋转姿态的渲染图形, a的人脸姿态为俯仰角=-5°,偏航角=14°,桶滚角=7°; b的人脸姿态为俯仰角=-2°,yaw=-76°,桶滚角=2°; c的人脸姿态为俯仰角=2°,偏航角=-12°,桶滚角=3°; d的人脸姿态为俯仰角=-6°,偏航角=54°,桶滚角=5°;
图4为三维人脸拟合效果对比,其中, a图为输入图像,b图为3DDFA-V2方法拟合的人脸形状,c图为本发明方法拟合出的人脸形状;
图5为光照预测效果图,其中,a图为输入图像,b图为预测光照参数渲染出的光照纹理。
具体实施方式
本实施例提供一种人脸属性数据标注方法,步骤如图1所示,包括:
1.人脸数据采集及预处理。通过预处理的人脸数据得到人脸彩色图像数据集。
在一个实施例中,人脸数据采集及预处理的方法包括:
采集大量人脸彩色图像数据,数据包含丰富的光照、表情、身份、头部姿态,共N张,N为大于100的整数;
使用人脸检测器检测人脸区域,裁剪出人脸区域中的图像;
2. 标注人脸区域掩模。检测建立的人脸彩色图像数据集中图像的人脸区域掩模,见图2所示,其中图2中b为a人脸彩色图像的人脸区域掩模。
3. 基于3DMM模型标注人脸属性。具体包括:
采用三维形变模型,对建立的人脸彩色图像数据集中图像,随机初始化身份参数、表情参数、纹理参数、球谐光照参数、头部姿态以及平移;
对初始化参数进行渲染,得到渲染图像,见图3;
计算人脸彩色图像数据集中图像与渲染图像在人脸区域掩模中的损失;最小化人脸彩色图像数据集中图像与渲染图像在人脸区域掩模中的损失,迭代优化身份参数、表情参数、纹理参数、球谐光照参数、头部姿态以及平移,得到优化后的球谐光照参数和头部姿态参数;
采用优化后的球谐光照参数和头部姿态参数,对人脸彩色图像数据集中的所有图像数据都进行标注,得到标注后的光照数据集和头部姿态数据集。
三维形变模型(3DMM ,3D Morphable Models,)是一种人脸参数化模型,它能通过调节身份参数、表情参数、纹理参数、球谐光照参数、头部姿态、平移生成特定的3D脸型。球谐光照模型使用27个参数来表示复杂的光照,头部姿态用四元数的形式表示。
选取合适的3DMM模型(如巴塞尔人脸模型Basel Face Model,大规模人脸模型Large Scale Facial Model)。对图像随机初始化身份参数、表情参数、纹理参数、球谐光照参数、头部姿态、平移。使用可微渲染器Render(如tensorflow网格渲染器tf mesh renderer、英伟达高性能可微渲染器Nvdiffrast等)将参数渲染成图像,。采用L1损失函数计算与在掩模中的损失,,其中mean为求像素均值函数。使用Adam优化器最小化Loss,迭代优化各输入参数,得到优化后的球谐光照参数和头部姿态参数,此时,即为的人脸光照标注和头部姿态标注。对所有图像数据都进行标注,得到标注后的光照数据集和头部姿态数据集。
4.训练人脸属性预测模型。
将人脸图像输入到人脸属性预测模型中训练;用于预测人脸光照的预测模型的最后一个全连接层为对应于球谐光照的27个参数对应的27个神经元;计算一个批次训练数据的预测光照参数与标注光照参数的损失,迭代优化模型;用于预测人脸头部姿态的预测模型的最后一个全连接层为对应于头部姿态数据的4个神经元,计算一个批次训练数据的预测头部姿态数据与标注头部姿态数据的损失,迭代优化模型;
人脸属性预测模型可以选择卷积神经网络结构(如VGG、ResNet、MobileNet等)。
5.人脸属性预测。
对待测人脸图像进行人脸检测,裁剪出人脸区域中的图像,输入到训练好的人脸属性预测模型中,预测出此时人脸的光照参数和头部姿态。
裁剪出人脸区域中的图像放缩到高H像素、宽W像素尺寸。
三维人脸拟合方法对比。对比本发明方法和三维稠密人脸对齐方法3DDFA-V2方法拟合人脸的效果,如图4 所示,a图为输入图像,b图为3DDFA-V2方法拟合的人脸形状,c图为本发明方法拟合出的人脸形状。可以看出本发明方法拟合出的人脸三维形状更加贴合图像中的人脸。
光照评估方法对比。用于人脸的光照质量评估方法FIIQA只能返回一个描述光照条件好坏的分数;专利《光照对称性与全局光照强度融合的无参考人脸光照评价方法》仅能评估光照对称性和亮度这种宏观信息;而本发明方法能够预测27维的球谐光照参数,如图5所示,a图为输入图像,b图为预测光照参数渲染出的光照纹理,可见本发明方法可以精细地表示复杂的光照情况。
头部姿态方法对比。AFLW2000-3D是一个常用的人脸姿态评估数据集,在此数据集上对比本发明方法和细粒度头部姿态估计模型HopeNet,对比结果如表1所示,本发明方法的平均误差比HopeNet降低了28.9%。
表1头部姿态角度误差对比
俯仰角误差 | 偏航角误差 | 桶滚角误差 | 平均误差 | |
HopeNet | 6.56° | 6.47° | 5.44° | 6.16° |
本发明方法 | 5.84° | 4.16° | 4.33° | 4.78° |
本发明人脸属性数据标注方法中的人脸属性,还包括人脸精细表情参数,具体标准方法如下:
1.人脸数据采集及预处理。采集大量人脸彩色图像数据,数据包含丰富的表情、身份、光照、头部姿态,共N张(N为大于100的整数)。使用人脸检测器检测人脸区域,裁剪出人脸区域中的图像并统一放缩到高H像素、宽W像素尺寸(H、W为大于32的整数),得到数据集,其中为第n张(n为0到N—1整数)预处理后的图像。
3.为3DMM模型绑定blendshapes。人脸3DMM(3D Morphable Models,三维形变模型)是一种人脸参数化模型,它能通过调节身份参数、表情参数、纹理参数、光照参数、旋转角、平移生成特定的3D脸型。选取合适的3DMM模型(如Basel Face Model,Large ScaleFacial Model),使用面部表情绑定算法——Example-based facial rigging,为3DMM模型绑定所需的M种(M为正整数)表情blendshapes(形态键),表情可以是抬眉毛、皱眉、闭眼、张嘴等解耦的精细表情,每个blendshape都是0到1的值,表示该表情的变化程度。标定blendshapes后的3DMM模型可以通过调节blendshapes系数控制3D人脸的细微表情。
4. blendshapes参数标注。对图像随机初始化身份参数、blendshapes参数、纹理参数、光照参数、旋转角、平移。使用可微渲染器Render(如tf meshrenderer、Nvdiffrast等)将参数渲染成图像,。采用L1损失函数计算与在掩模中的损失,,其中mean为求像素均值函数。使用Adam优化器最小化Loss,迭代优化输入参数,得到优化后的blendshapes参数,此时即为的表情标注。对所有图像数据都进行标注,得到标注后的数据集。
5.训练表情识别模型。选择合适和卷积神经网络结构(如VGG、ResNet、MobileNet等),将网络最后一个全连接层设置为M个神经元,对应于M个blendshapes。模型输入为人脸图像,输出为预测的M种表情blendshapes。采用L1损失函数计算一个批次训练数据的预测blendshapes与标注blendshapes的损失,使用梯度下降法迭代优化模型。最终训练后的模型能准确地从输入人脸预测表情blendshapes。
6.精细面部表情识别。对待识别人脸图像进行人脸检测,裁剪出人脸区域中的图像并放缩到高H像素、宽W像素尺寸,输入训练后的模型预测出人脸M种表情blendshapes。
本实施例提供一种计算机设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实 现上述实施例的人脸属性数据标注方法。
本实施例提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述实施例的人脸属性数据标注方法。
Claims (10)
1.一种人脸属性数据标注方法,其特征在于,包括:
建立人脸彩色图像数据集;
检测建立的人脸彩色图像数据集中图像的人脸区域掩模;
采用三维形变模型,对建立的人脸彩色图像数据集中的图像,随机初始化身份参数、表情参数、纹理参数、球谐光照参数、头部姿态以及平移;
对初始化参数得到的三维人脸模型进行渲染,得到渲染图像;
计算人脸彩色图像数据集中图像与渲染图像在人脸区域掩模中的损失;最小化人脸彩色图像数据集中图像与渲染图像在人脸区域掩模中的损失,迭代优化身份参数、表情参数、纹理参数、球谐光照参数、头部姿态以及平移,得到优化后的球谐光照参数和头部姿态参数;
采用优化后的球谐光照参数和头部姿态参数,对人脸彩色图像数据集中的所有图像数据进行标注,得到标注后的光照数据集和头部姿态数据集;
将人脸图像输入到人脸属性预测模型中训练;用于预测人脸光照的预测模型的最后一个全连接层为对应于球谐光照的27个参数对应的27个神经元;计算一个批次训练数据的预测光照参数与标注光照参数的损失,迭代优化模型;用于预测人脸头部姿态的预测模型的最后一个全连接层为对应于头部姿态数据的4个神经元,计算一个批次训练数据的预测头部姿态数据与标注头部姿态数据的损失,迭代优化模型;
对待测人脸图像进行人脸检测,裁剪出人脸区域中的图像,输入到训练好的人脸属性预测模型中,预测出此时人脸的光照参数和头部姿态。
6.根据权利要求5所述的人脸属性数据标注方法,其特征在于,对待测人脸图像进行人脸检测,裁剪出人脸区域中的图像步骤中,裁决出的图像放缩到高H像素、宽W像素尺寸。
7.根据权利要求1所述的人脸属性数据标注方法,其特征在于,使用可微渲染器对初始化参数进行渲染。
8.根据权利要求1所述的人脸属性数据标注方法,其特征在于,人脸属性预测模型的迭代优化使用梯度下降法。
9.一种计算机设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一所述的人脸属性数据标注方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一所述的人脸属性数据标注方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210251073.2A CN114332136B (zh) | 2022-03-15 | 2022-03-15 | 人脸属性数据标注方法、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210251073.2A CN114332136B (zh) | 2022-03-15 | 2022-03-15 | 人脸属性数据标注方法、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114332136A true CN114332136A (zh) | 2022-04-12 |
CN114332136B CN114332136B (zh) | 2022-05-17 |
Family
ID=81033213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210251073.2A Active CN114332136B (zh) | 2022-03-15 | 2022-03-15 | 人脸属性数据标注方法、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114332136B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117173765A (zh) * | 2023-09-06 | 2023-12-05 | 广东工业大学 | 一种大规模遮罩人脸数据集标注方法及系统 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024081052A1 (en) * | 2022-10-13 | 2024-04-18 | Microsoft Technology Licensing, Llc | Multi-modal three-dimensional face modeling and tracking for generating expressive avatars |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180129869A1 (en) * | 2016-11-08 | 2018-05-10 | Nec Laboratories America, Inc. | Siamese Reconstruction Convolutional Neural Network for Pose-invariant Face Recognition |
CN111950477A (zh) * | 2020-08-17 | 2020-11-17 | 南京大学 | 一种基于视频监督的单图像三维人脸重建方法 |
CN113269872A (zh) * | 2021-06-01 | 2021-08-17 | 广东工业大学 | 基于三维人脸重构和视频关键帧优化的合成视频生成方法 |
-
2022
- 2022-03-15 CN CN202210251073.2A patent/CN114332136B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180129869A1 (en) * | 2016-11-08 | 2018-05-10 | Nec Laboratories America, Inc. | Siamese Reconstruction Convolutional Neural Network for Pose-invariant Face Recognition |
CN111950477A (zh) * | 2020-08-17 | 2020-11-17 | 南京大学 | 一种基于视频监督的单图像三维人脸重建方法 |
CN113269872A (zh) * | 2021-06-01 | 2021-08-17 | 广东工业大学 | 基于三维人脸重构和视频关键帧优化的合成视频生成方法 |
Non-Patent Citations (1)
Title |
---|
高翔等: "3DMM与GAN结合的实时人脸表情迁移方法", 《计算机应用与软件》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117173765A (zh) * | 2023-09-06 | 2023-12-05 | 广东工业大学 | 一种大规模遮罩人脸数据集标注方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114332136B (zh) | 2022-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7200139B2 (ja) | 仮想顔化粧の除去、高速顔検出およびランドマーク追跡 | |
CN108345869B (zh) | 基于深度图像和虚拟数据的驾驶人姿态识别方法 | |
US10679046B1 (en) | Machine learning systems and methods of estimating body shape from images | |
CN109816725B (zh) | 一种基于深度学习的单目相机物体位姿估计方法及装置 | |
Pishchulin et al. | Building statistical shape spaces for 3d human modeling | |
Rematas et al. | Novel views of objects from a single image | |
Dornaika et al. | On appearance based face and facial action tracking | |
WO2020108362A1 (zh) | 人体姿态检测方法、装置、设备及存储介质 | |
CN114332136B (zh) | 人脸属性数据标注方法、计算机设备及存储介质 | |
CN101159015B (zh) | 一种二维人脸图像的识别方法 | |
CN110675368B (zh) | 一种融合图像分割与分类的细胞图像语义分割方法 | |
WO2020119458A1 (zh) | 脸部关键点检测方法、装置、计算机设备和存储介质 | |
CN110310285B (zh) | 一种精确的基于三维人体重建的烧伤面积计算方法 | |
CN111243050B (zh) | 肖像简笔画生成方法、系统及绘画机器人 | |
CN112766160A (zh) | 基于多级属性编码器和注意力机制的人脸替换方法 | |
WO2022095721A1 (zh) | 参数估算模型的训练方法、装置、设备和存储介质 | |
US20240037852A1 (en) | Method and device for reconstructing three-dimensional faces and storage medium | |
CN110543906A (zh) | 基于数据增强和Mask R-CNN模型的肤质自动识别方法 | |
CN112734911A (zh) | 基于卷积神经网络的单幅图像三维人脸重建方法及系统 | |
Huber et al. | Real-time 3D face fitting and texture fusion on in-the-wild videos | |
Hong et al. | A 3D model-based approach for fitting masks to faces in the wild | |
CN115471611A (zh) | 一种提升3dmm人脸模型视觉效果的方法 | |
Wang et al. | Dynamic human body reconstruction and motion tracking with low-cost depth cameras | |
US10803677B2 (en) | Method and system of automated facial morphing for eyebrow hair and face color detection | |
CN113436251B (zh) | 一种基于改进的yolo6d算法的位姿估计系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder |
Address after: 210000 Longmian Avenue 568, High-tech Park, Jiangning District, Nanjing City, Jiangsu Province Patentee after: Xiaoshi Technology (Jiangsu) Co.,Ltd. Address before: 210000 Longmian Avenue 568, High-tech Park, Jiangning District, Nanjing City, Jiangsu Province Patentee before: NANJING ZHENSHI INTELLIGENT TECHNOLOGY Co.,Ltd. |
|
CP01 | Change in the name or title of a patent holder |