CN114742954A - 一种构建大规模多样化人脸图片和模型数据对的方法 - Google Patents
一种构建大规模多样化人脸图片和模型数据对的方法 Download PDFInfo
- Publication number
- CN114742954A CN114742954A CN202210454926.2A CN202210454926A CN114742954A CN 114742954 A CN114742954 A CN 114742954A CN 202210454926 A CN202210454926 A CN 202210454926A CN 114742954 A CN114742954 A CN 114742954A
- Authority
- CN
- China
- Prior art keywords
- face
- picture
- model
- dimensional
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000009877 rendering Methods 0.000 claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims abstract description 11
- 238000005286 illumination Methods 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims abstract description 5
- 230000001815 facial effect Effects 0.000 claims description 7
- 238000002360 preparation method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000007812 deficiency Effects 0.000 claims description 3
- 238000011997 immunoflourescence assay Methods 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 abstract description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 4
- 238000002679 ablation Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000007933 dermal patch Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- MVEOHWRUBFWKJY-UHFFFAOYSA-N 7-hydroxynaphthalene-2-sulfonic acid Chemical compound C1=CC(S(O)(=O)=O)=CC2=CC(O)=CC=C21 MVEOHWRUBFWKJY-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/44—Morphing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/62—Semi-transparency
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种构建大规模多样化人脸图片和模型数据对的方法。其步骤为：对任意人脸图片进行三维形变模型参数拟合，获得表示人脸三维形状的双线性模型；根据获取图片的年龄范围和性别，从人脸数据库中随机选取获得相适应的纹理贴图；将拟合得到的人脸模型和选取的纹理贴图在均匀光照下按原图片姿态渲染生成与模型一致的人脸图片；训练补全网络，完成对渲染图片中缺失区域的补全；对原获取的人脸图片进行语义分割，获得原图片的面部区域；调整补全后的渲染图片与原图片面部区域一致；最后在面部区域进行泊松融合，获得在面部区域与三维模型高度对应的人脸图片。本发明的方法能够获得大规模多样化的人脸图片和相应的真值三维模型数据对。
Description
技术领域
本发明涉及计算机视觉领域，具体地说，本发明涉及一种构建大规模多样化人脸图片和模型数据对的方法。
背景技术
近年来，计算机视觉技术发展迅速，三维人脸模型在影视动漫、虚拟现实、游戏设计、人机交互等领域应用广泛，有一大批基于深度学习的端到端单视图人脸三维重建算法被提出。然而，基于学习的方法需要大量高精度的人脸图片和对应的三维真值数据，同时为了保证模型的泛化性，训练数据还应具备高度的真实感。目前在单视图人脸三维重建领域，重建的几何模型和真值之间还有明显差距。究其原因，在数据方面，数据集的质量制约了监督训练预测器的重建精度。
目前用于人脸重建的数据集主要有以下三类。
第一类是在利用实验室场景下原始扫描或多视点三维重建获得的人脸三维模型作为三维真值，这类数据的精度较高，但代价高昂。另外，此类数据集的规模通常较小且原始采集的图片或视频的实验场景、光照等条件较为单一，一般无法满足训练神经网络的需求。如Bagdanov和Andrew D等人(Bagdanov AD,Del Bimbo A,Masi I.The florence 2d/3dhybrid face dataset[C]//Proceedings of the 2011joint ACM workshop on Humangesture and behavior understanding.2011:79-80.)提出的MICC数据集人脸精度很高，但数据量较小。
第二类是从已获取的人脸三维模型渲染二维人脸图片得到合成数据集，这类数据与第一类相比可以增加二维人脸图片的数量，且可以根据需要渲染任意姿态的二维人脸图片，数据容易获取。如Richardson等人(Richardson E,Sela M,Kimmel R.3D facereconstruction by learning from synthetic data[C]//2016fourth internationalconference on 3D vision(3DV).IEEE,2016:460-469.)从Bosphorus数据集按弱透视投影渲染得到二维人脸图片，构成人脸三维重建数据集。但此类数据集渲染合成的图片与真实图片差距较大，缺少头发背景等信息，真实感差。
第三类被广泛应用的单视图人脸三维重建数据集是从二维人脸图片数据集使用优化方法拟合得到人脸三维模型，图片和拟合的三维模型作为一组数据对。如Xiangyu Zhu等人(Zhu X,Lei Z,Liu X,et al.Face alignment across large poses:A 3d solution[C]//Proceedings of the IEEE conference on computer vision and patternrecognition.2016:146-155.)工作中使用的300W-LP数据集，此数据集数量大，包含的人脸图片姿态多样。但此数据集图片分辨率不高，拟合的过程中主要依靠稀疏的人脸关键点作为约束，故三维人脸与人脸图片之间不具有严格的对应性，存在偏差，此类数据精度较低。
因此，在单视图人脸三维重建领域，需要研究一种能生成数量大、对应性高、泛化性好的人脸图片与三维人脸数据对的方法。
发明内容
对于上述现有数据/数据生成方法中存在的缺陷，本发明的目的是提供一种能大量生成准确三维真值标注的、真实感强的人脸图片数据集的方法，此方法生成的三维人脸模型与人脸图片之间具有高度的对应性，可以用于单视图人脸三维重建任务，提升泛化能力和重建精度。
为了实现上述发明目的，本发明方法采用的技术方案如下：
一种构建大规模多样化人脸图片和模型数据对的方法，包括如下步骤：
S1，对大规模二维人脸图片数据集中任意人脸图片进行三维形变模型参数拟合，获得表示人脸几何形状的双线性模型作为三维真值；
S2，估计步骤S1人脸图片所对应的年龄和性别，并从人脸数据库中随机选取与人脸图片的年龄和性别相适应的纹理贴图；
S3，对获得纹理贴图的双线性模型进行渲染：用步骤S1拟合得到的几何模型和步骤S2得到的纹理贴图在均匀光照条件下进行渲染，获得与三维模型一致的人脸图片；
S4，训练缺失补全网络，用所述缺失补全网络补全步骤S3渲染得到的人脸图片中缺失的区域，同时人脸面部其他像素保持不变；
S5，通过人脸语义分割网络对步骤S1中的人脸图片进行语义分割，或者对有语义分割真值的人脸图片直接采用对应的语义分割值，获取对应的人脸面部区域；
S6，训练面部边缘皮肤补全网络，用所述皮肤补全网络补全步骤S4补全缺失区域后的渲染图片与原步骤S1中人脸图片面部区域相比缺少的皮肤区域，若原步骤S1中人脸图片面部区域超出补全后的渲染图片，则对超出部分的面部区域向二者交集区域形变，使补全后的渲染图片与原步骤S1中人脸图片面部区域完全一致；
S7，使用步骤S6获得的面部区域一致的补全后的渲染图片和对原步骤S1中人脸图片面部边缘形变的形变图片在面部区域进行泊松融合替换，获得面部与三维模型高度对应的近无约束的人脸图片；
S8，对不同人脸图片重复步骤S1～S7过程，即获得大规模多样化的人脸图片和相应的真值三维模型数据对。
进一步地，所述步骤S1的具体方法为：检测输入图片的二维关键点，从东方或西方人脸三维可形变模型中随机选择一种三维可形变模型，对关键点交替优化双线性模型的身份系数和表情系数，得到表示东方或西方人脸几何形状的双线性模型的系数，进而得到图片对应的人脸三维模型。
进一步地，所述步骤S2的具体方法为：对步骤S1所选取的人脸图片，如果该人脸图片有真值的年龄和性别标注，采用其标注值；否则估计人脸图片所对应的年龄和性别，根据步骤S1中选择拟合的人脸的三维可形变模型的人类型，从东方或者西方人脸数据库中随机挑选一张与该图片年龄和性别相适应的同类型人的纹理贴图。
进一步地，所述步骤S4中，所述缺失补全网络采用生成式网络实现，其训练数据准备过程如下：将人脸数据集中拓扑一致的参数化模型的面部区域F和原始采集的高精度模型Raw作为一组数据，分别在相同光照、视角、投影模型等条件下渲染得到一组二维人脸图片，记为IF和IRaw；其中图片IF的面部具有缺失的区域；考虑到图片IRaw所包含的区域大于图片IF，图片IF的外轮廓内的区域置为1，得到二值掩模板M，
以图片IF和IRaw′作为成对的图片训练所述缺失补全网络，IF作为输入，IRaw′作为真值。
进一步地，所述步骤S6的具体方法为：首先将步骤S4补全缺失区域后的渲染图片中不希望出现的非面部区域移除，并和步骤S5得到的面部区域二值掩模A取交集，记为B；然后将A和B在通道维度拼接，作为所述皮肤补全网络的输入；所述皮肤补全网络采用生成式网络实现，其训练数据的准备过程如下：从大量任意图片中分割出面部区域，在面部边缘处用随机大小的椭圆对面部像素进行移除来模拟面部皮肤的缺失，将移除椭圆区域的人脸和完整的面部区域二值掩模A在通道维度拼接，得到训练的输入数据；真值数据为完整的人脸图片，每一组输入数据和真值数据形成一对用于训练所述皮肤补全网络的数据对。
本发明通过构建一种新的大规模多样化人脸图片和模型数据对的方法，从大规模人脸图片数据集中任意一张人脸图片出发，经过人脸参数模型拟合、年龄性别估计、纹理贴图挑选、渲染、补全、融合换脸等过程，生成出对应性高的具有三维真值的人脸图片数据。本发明和现有技术相比，其显著优点为：(1)本方法泛化性好，按此方法可以处理任意的人脸图片；(2)生成数据的三维模型与人脸图片之间的对应性好，缩小了直接拟合得到三维人脸数据的偏差；(3)得到的数据真实感强，用在单视图人脸三维重建领域，提高了重建结果的精度和泛化性。
附图说明
图1为本发明方法的流程图。
图2为本发明实施例中各运行阶段的流程图。
图3为本发明实施例中(a)三维人脸模型，(b)纹理贴图，(c)渲染的二维人脸图片。
图4为本发明实施例中缺失补全网络的训练数据样例。
图5为本发明实施例中皮肤补全网络的训练数据样例。
图6为本发明实施例中部分的生成的人脸图片与三维人脸数据对。
图7为本发明实施例中利用本方法产生的数据进行消融实验的定性结果。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本实施例的一种构建大规模多样化人脸图片和模型数据对的方法，包括如下步骤：
(1)使用FFHQ(Karras T,Laine S,Aila T.A style-based generatorarchitecture for generative adversarial networks[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition.2019:4401-4410.)、CelebA-HQ(Lee C H,Liu Z,Wu L,et al.Maskgan:Towards diverse and interactivefacial image manipulation[C]//Proceedings of the IEEE/CVF Conference onComputer Vision and Pattern Recognition.2020:5549-5558.)、IMBD-WIKI(Rothe R,Timofte R,Van Gool L.Dex:Deep expectation of apparent age from a single image[C]//Proceedings of the IEEE international conference on computer visionworkshops.2015:10-15.)中提供的人脸图片，使用FaceScape(Yang H,Zhu H,Wang Y,etal.Facescape:a large-scale high quality 3d face dataset and detailed riggable3d face prediction[C]//Proceedings of the IEEE/CVF Conference on ComputerVision and Pattern Recognition.2020:601-610.)中提供的人脸双线性模型拟合算法对图片中人脸形状进行拟合。对于每一张人脸图片，使用Face alignment库(Bulat A,Tzimiropoulos G.How far are we from solving the 2d&3d face alignment problem？(and a dataset of 230,000 3d facial landmarks)[C]//Proceedings of the IEEEInternational Conference on Computer Vision.2017:1021-1030.)检测每幅图片Isrc的N(N＝68)个人脸关键点l＝[l1,l2,…,lN]，记相机投影矩阵为P，则可采用最小二乘法求解N个人脸关键点在世界坐标系对应的位置
参数化人脸模型的几何形状由身份系数
和表情系数
控制，记为
参数化模型具有一致的拓扑，记模型上三维人脸关键点为
身份系数
和表情系数
可通过最小化能量方程E求解：
其中s为尺度因子，R为旋转矩阵，t为平移向量。为了增加三维数据人种的多样性，对每张图片随机选择拟合具有东方人属性(FaceScape)或具有西方人属性(HeadSpace)的参数化模型。
(2)为了保证最终生成图片结果的质量和真实感，需要为拟合出的人脸模型选择与原始图片年龄、性别相适应的纹理贴图。采用年龄性别识别网络(AgeGender)获得图片年龄性别的估计值，并从东西方人脸数据库中随机选取相一致的纹理贴图，东方人脸纹理贴图数据库利用FaceScape数据集产生，西方人脸纹理贴图数据库利用HeadSpace数据集产生。
(3)将步骤(1)、(2)得到的一组对应的人脸三维模型和纹理贴图在均匀光照的条件下进行渲染，渲染过程采用pyrender库实现，投影方式设置为弱透视投影。图3中的(a)为拟合得到的人脸三维模型，(b)为挑选的相应的纹理贴图，(c)为模型渲染的结果。
(4)如图3的(c)图可见，由于人脸参数化模型不包含眼睛、牙齿等，渲染的图片缺少眼睛、牙齿等位置。补全眼睛牙齿等区域采用pix2pixHD网络(Wang T C,Liu M Y,Zhu JY,et al.High-resolution image synthesis and semantic manipulation withconditional gans[C]//P roceedings of the IEEE conference on computer visionand pattern recognition.2018:8798-8807.)，训练数据准备过程如下：将人脸数据集中拓扑一致的参数化模型的面部区域(记为F)和原始采集的高精度模型(记为Raw)作为一组数据，分别在相同光照、视角、投影模型等条件下渲染得到一组二维人脸图片，记为IF和IRaw。其中IF与渲染得到图片图3的(c)类似，缺少眼睛牙齿等区域，IRaw为原始采集的高精度模型渲染得到的图片，包含眼睛牙齿等区域。考虑到IRaw所包含的区域大于IF，IF的外轮廓内的区域置为1(其余区域为0)得到二值掩模板M，
以IF和IRaw′作为成对的图片训练缺失补全网络，IF作为输入，IRaw′作为真值，一组训练数据样例如图4所示，(a)图为IF，(b)图为IRaw′。训练时缺失补全网络的损失函数为：
其中，G代表生成器网络，D代表鉴别器网络，
定义如下：
其中V代表真值图片中可见区域的总像素数，Igt代表真值图片，Ix代表网络生成的图片。在训练时，取λadv＝1,λpixel＝10。
(5)对原始图片Isrc用BiSeNet(Yu C,Wang J,Peng C,et al.Bisenet:Bilateralsegme ntation network for real-time semantic segmentation[C]//Proceedings ofthe European conferen ce on computer vision(ECCV).2018:325-341.)进行语义分割，并根据语义分割图获得面部区域Mface。
(6)首先将步骤(4)补全缺失后的渲染图片中不希望出现的红/蓝色头套移除，并和步骤(5)得到的面部区域二值掩模(记为A)取交集，记为B。然后将A和B在通道维度拼接，作为皮肤补全网络的输入。皮肤补全网络采用pix2pixHD网络实现，训练数据的准备过程如下：从超过90000张任意拍摄的图片中分割出面部区域，在面部边缘处用随机大小的椭圆对面部像素进行移除来模拟面部皮肤的缺失，将移除椭圆区域的人脸(图5的(a)所示)和完整的面部区域二值掩模(图5的(b)所示)在通道维度拼接，得到训练的输入数据；真值数据为完整的人脸图片(图5的(c)所示)。一组训练数据样例如图5所示。为每一组输入数据和真值数据形成一对用于训练皮肤补全网络的数据对。同时，对原图片Isrc面部区域超出补全后的渲染图片的部分，则对超出部分的面部区域向二者交集区域形变，使二者面部区域完全一致。训练时皮肤补全网络的损失函数为：
其中
用VGG-19网络实现。在训练时，取λrec＝0.5,λGAN＝0.1,λperc＝1,λpixel＝1。
(7)使用步骤(6)获得的面部区域一致的补全渲染图片和对原图片面部边缘形变的形变图片在面部区域进行泊松融合替换，获得面部与三维模型高度对应的近无约束的人脸图片，图6展示了部分采用本方法产生的高对应的人脸图片与三维人脸数据对，第一行为人脸图片，第二行为三维真值与图片对齐显示的结果，可见人脸图片的真实感强，生成数据的三维模型与人脸图片之间的对应性好，缩小了直接拟合得到三维人脸数据的偏差。
(8)对FFHQ、CelebA、IMBD-WIKI中随机选取的图片重复步骤(1)～(7)，得到100000组多样化人脸图片和对应真值三维模型数据对。为了证明本发明方法的有效性，进行了如下实验：
对单视图人脸重建领域的一种典型方法PRNet(Feng Y,Wu F,Shao X,etal.Joint 3d f ace reconstruction and dense alignment with position mapregression network[C]//Proceedings of the European conference on computervision(ECCV).2018:534-551.)进行消融实验，该实验与PRNet保持相同的实验设置，仅用本发明生成的数据代替PRNet的训练数据，得到定量结果如下：
表1：消融实验定量结果
其中CD代表倒角距离，是预测三维模型到真值三维模型之间彼此顶点到面片距离的平均值，衡量了预测三维模型的整体误差距离，定义式如下：
其中Np,Ng分别是预测模型和真值模型上的顶点数目，
分别是预测模型和真值模型。MNE代表平均法向误差，是预测模型表面法线和真值模型表面法线夹角的平均值，衡量了模型局部细节的误差，定义式如下：
其中Nn代表两法向贴图中可视部分的像素总数。一些定性可视化结果如图7所示。
通过实验结果的对比，本发明中生成的人脸图片和三维人脸数据对应性好，人脸图片真实感强，缩小了直接拟合得到三维人脸数据带来的数据偏差，弥补了单视图人脸三维重建领域数据少，精度低，真实感差的缺陷。将本实施例数据用于单视图人脸三维重建领域，明显提升了人脸重建模型的精度。
Claims (5)
1.一种构建大规模多样化人脸图片和模型数据对的方法，其特征在于，包括如下步骤：
S1，对大规模二维人脸图片数据集中任意人脸图片进行三维形变模型参数拟合，获得表示人脸几何形状的双线性模型作为三维真值；
S2，估计步骤S1人脸图片所对应的年龄和性别，并从人脸数据库中随机选取与人脸图片的年龄和性别相适应的纹理贴图；
S3，对获得纹理贴图的双线性模型进行渲染：用步骤S1拟合得到的几何模型和步骤S2得到的纹理贴图在均匀光照条件下进行渲染，获得与三维模型一致的人脸图片；
S4，训练缺失补全网络，用所述缺失补全网络补全步骤S3渲染得到的人脸图片中缺失的区域，同时人脸面部其他像素保持不变；
S5，通过人脸语义分割网络对步骤S1中的人脸图片进行语义分割，或者对有语义分割真值的人脸图片直接采用对应的语义分割值，获取对应的人脸面部区域；
S6，训练面部边缘皮肤补全网络，用所述皮肤补全网络补全步骤S4补全缺失区域后的渲染图片与原步骤S1中人脸图片面部区域相比缺少的皮肤区域，若原步骤S1中人脸图片面部区域超出补全后的渲染图片，则对超出部分的面部区域向二者交集区域形变，使补全后的渲染图片与原步骤S1中人脸图片面部区域完全一致；
S7，使用步骤S6获得的面部区域一致的补全后的渲染图片和对原步骤S1中人脸图片面部边缘形变的形变图片在面部区域进行泊松融合替换，获得面部与三维模型高度对应的近无约束的人脸图片；
S8，对不同人脸图片重复步骤S1～S7过程，即获得大规模多样化的人脸图片和相应的真值三维模型数据对。
2.根据权利要求1所述的一种构建大规模多样化人脸图片和模型数据对的方法，其特征在于，所述步骤S1的具体方法为：检测输入图片的二维关键点，从东方或西方人脸三维可形变模型中随机选择一种三维可形变模型，对关键点交替优化双线性模型的身份系数和表情系数，得到表示东方或西方人脸几何形状的双线性模型的系数，进而得到图片对应的人脸三维模型。
3.根据权利要求1所述的一种构建大规模多样化人脸图片和模型数据对的方法，其特征在于，所述步骤S2的具体方法为：对步骤S1所选取的人脸图片，如果该人脸图片有真值的年龄和性别标注，采用其标注值；否则估计人脸图片所对应的年龄和性别，根据步骤S1中选择拟合的人脸的三维可形变模型的人类型，从东方或者西方人脸数据库中随机挑选一张与该图片年龄和性别相适应的同类型人的纹理贴图。
4.根据权利要求1所述的一种构建大规模多样化人脸图片和模型数据对的方法，其特征在于，所述步骤S4中，所述缺失补全网络采用生成式网络实现，其训练数据准备过程如下：将人脸数据集中拓扑一致的参数化模型的面部区域F和原始采集的高精度模型Raw作为一组数据，分别在相同光照、视角、投影模型等条件下渲染得到一组二维人脸图片，记为IF和IRaw；其中图片IF的面部具有缺失的区域；考虑到图片IRaw所包含的区域大于图片IF，图片IF的外轮廓内的区域置为1，得到二值掩模板M，
以图片IF和IRaw′作为成对的图片训练所述缺失补全网络，IF作为输入，IRaw′作为真值。
5.根据权利要求1所述的一种构建大规模多样化人脸图片和模型数据对的方法，其特征在于，所述步骤S6的具体方法为：首先将步骤S4补全缺失区域后的渲染图片中不希望出现的非面部区域移除，并和步骤S5得到的面部区域二值掩模A取交集，记为B；然后将A和B在通道维度拼接，作为所述皮肤补全网络的输入；所述皮肤补全网络采用生成式网络实现，其训练数据的准备过程如下：从大量任意图片中分割出面部区域，在面部边缘处用随机大小的椭圆对面部像素进行移除来模拟面部皮肤的缺失，将移除椭圆区域的人脸和完整的面部区域二值掩模A在通道维度拼接，得到训练的输入数据；真值数据为完整的人脸图片，每一组输入数据和真值数据形成一对用于训练所述皮肤补全网络的数据对。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210454926.2A CN114742954A (zh) | 2022-04-27 | 2022-04-27 | 一种构建大规模多样化人脸图片和模型数据对的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210454926.2A CN114742954A (zh) | 2022-04-27 | 2022-04-27 | 一种构建大规模多样化人脸图片和模型数据对的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114742954A true CN114742954A (zh) | 2022-07-12 |
Family
ID=82283602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210454926.2A Pending CN114742954A (zh) | 2022-04-27 | 2022-04-27 | 一种构建大规模多样化人脸图片和模型数据对的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114742954A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024032464A1 (zh) * | 2022-08-12 | 2024-02-15 | 广州市百果园信息技术有限公司 | 三维人脸重建方法及其装置、设备、介质、产品 |
-
2022
- 2022-04-27 CN CN202210454926.2A patent/CN114742954A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024032464A1 (zh) * | 2022-08-12 | 2024-02-15 | 广州市百果园信息技术有限公司 | 三维人脸重建方法及其装置、设备、介质、产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ji et al. | Deep view morphing | |
| RU2215326C2 (ru) | Иерархическое основанное на изображениях представление неподвижного и анимированного трехмерного объекта, способ и устройство для использования этого представления для визуализации объекта | |
| CN101916454B (zh) | 基于网格变形和连续优化的高分辨率人脸重建方法 | |
| JP7456670B2 (ja) | ３次元顔モデルの構築方法、３次元顔モデルの構築装置、コンピュータ機器、及びコンピュータプログラム | |
| CN112734890B (zh) | 基于三维重建的人脸替换方法及装置 | |
| CN112950775A (zh) | 一种基于自监督学习的三维人脸模型重建方法及系统 | |
| CN113313828B (zh) | 基于单图片本征图像分解的三维重建方法与系统 | |
| CN107358645A (zh) | 产品三维模型重建方法及其系统 | |
| Chen et al. | Autosweep: Recovering 3d editable objects from a single photograph | |
| CN115428027A (zh) | 神经不透明点云 | |
| CN113989441B (zh) | 基于单张人脸图像的三维漫画模型自动生成方法及系统 | |
| Kang et al. | Competitive learning of facial fitting and synthesis using uv energy | |
| CN108197555B (zh) | 一种基于人脸追踪的实时人脸融合方法 | |
| Li et al. | Multi-attribute regression network for face reconstruction | |
| Zhang et al. | Adaptive affine transformation: A simple and effective operation for spatial misaligned image generation | |
| CN113808272B (zh) | 三维虚拟人头脸建模中的纹理映射方法 | |
| Yin et al. | Weakly-supervised photo-realistic texture generation for 3d face reconstruction | |
| CN114742954A (zh) | 一种构建大规模多样化人脸图片和模型数据对的方法 | |
| Maxim et al. | A survey on the current state of the art on deep learning 3D reconstruction | |
| CN112561784B (zh) | 图像合成方法、装置、电子设备及存储介质 | |
| CN115908712A (zh) | 基于图像的三维重建及模型训练方法、设备及存储介质 | |
| CN115082640A (zh) | 基于单张图像的3d人脸模型纹理重建方法及设备 | |
| CN115375848A (zh) | 基于图表示的单图像三维人体重建方法、系统及存储介质 | |
| CN115761116A (zh) | 一种基于单目相机的透视投影下三维人脸重建方法 | |
| Leung et al. | Realistic video avatar |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |