CN115018996A - 根据真人人脸照片生成3d人脸模型的方法与装置 - Google Patents
根据真人人脸照片生成3d人脸模型的方法与装置 Download PDFInfo
- Publication number
- CN115018996A CN115018996A CN202210941552.7A CN202210941552A CN115018996A CN 115018996 A CN115018996 A CN 115018996A CN 202210941552 A CN202210941552 A CN 202210941552A CN 115018996 A CN115018996 A CN 115018996A
- Authority
- CN
- China
- Prior art keywords
- face
- model
- neural network
- training
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000003062 neural network model Methods 0.000 claims abstract description 87
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 100
- 239000013598 vector Substances 0.000 claims description 50
- 230000008569 process Effects 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 230000008014 freezing Effects 0.000 claims description 9
- 238000007710 freezing Methods 0.000 claims description 9
- 238000013526 transfer learning Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 description 8
- 230000015654 memory Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000209202 Bromus secalinus Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种根据真人人脸照片生成3D人脸模型的方法与装置、电子设备及存储介质，方法包括：获取待处理的真人人脸照片，利用训练好的对抗神经网络模型对所述待处理的真人人脸照片进行处理，得到目标人脸图像；根据目标人脸图像生成3D人脸模型，能够根据真人人脸照片自动生成内容与真人人脸照片内容一致且风格为指定风格的3D人脸模型。
Description
技术领域
本发明涉及计算机领域，特别涉及一种根据真人人脸照片生成3D人脸模型的方法与装置、电子设备及存储介质。
背景技术
随着计算机图像学的快速发展和游戏引擎的进步，制作逼真的3D游戏形象成为可能，游戏玩家在追求游戏可玩性的同时，对游戏画面和个性化体验的要求也越来越高。用户需要能够自主创建丰富逼真的虚拟游戏角色形象，满足其游戏中个性化体验，同时增强其参与度和游戏乐趣，为此游戏项目中一般提供多种方式，满足玩家自定义创建游戏角色需求。现有方式中以捏脸制作游戏人物最为主流，所谓捏脸，指游戏中提供大量人物脸部部位可调参数滑竿，用户通过操作滑竿，实现对应游戏人物脸部五官形状、位置、细节调整，使用该方法可以满足用户精确操作人物五官，如眼角、鼻尖，脸型等特征，实现个性虚拟游戏人物创建，进一步提高玩家的沉浸感和用户体验。
然而为实现细节逼真的人物创建，游戏中人物捏脸系统会提供上百捏脸参数，为创建更好的捏脸效果，往往需要用户花费数小时来调整参数，耗时耗力，且很难捏出理想效果，而且整个流程操作复杂，甚至可能导致用户流失。
因此，如何提供一种方案，以根据真人人脸照片自动生成内容与真人人脸照片内容一致且风格为指定风格的3D人脸模型，成为亟待解决的技术问题。
发明内容
针对现有技术存在的技术问题，本申请实施例提供一种根据真人人脸照片生成3D人脸模型的方法与装置、电子设备及存储介质。
第一方面，本申请实施例提供了一种根据真人人脸照片生成3D人脸模型的方法，包括：
获取待处理的真人人脸照片，利用训练好的对抗神经网络模型对所述待处理的真人人脸照片进行处理，得到目标人脸图像，其中，若所述对抗神经网络模型为第一对抗神经网络模型，所述第一对抗神经网络模型包括第一生成器、第二生成器、第一判别器和第二判别器，所述第一生成器用于根据所述待处理的真人人脸照片生成中间人脸图像，所述第二生成器用于根据所述中间人脸图像生成所述目标人脸图像，所述中间人脸图像与目标人脸图像的风格均为第一应用风格，所述目标人脸图像与真人人脸照片内容一致，所述第一判别器和第二判别器分别用于评判所述第一生成器和第二生成器生成的图像的好坏程度，在训练所述第一对抗神经网络模型时，使所述第一生成器和第二生成器，与所述第一判别器和第二判别器相互对抗，达到纳什均衡；或者若所述对抗神经网络模型为第二对抗神经网络模型，所述第二对抗神经网络模型包括第三生成器，所述第三生成器包括映射网络和生成网络，所述映射网络用于将所述待处理的真人人脸照片对应的输入向量编码为中间向量，所述生成网络用于根据所述中间向量生成所述目标人脸图像，所述目标人脸图像的风格为第二应用风格，在训练所述第二对抗神经网络模型时，通过冻结所述生成网络的至少一个网络层进行训练；
根据目标人脸图像生成3D人脸模型。
第二方面，本申请实施例还提供了一种根据真人人脸照片生成3D人脸模型的装置，包括：
处理单元，用于获取待处理的真人人脸照片，利用训练好的对抗神经网络模型对所述待处理的真人人脸照片进行处理，得到目标人脸图像，其中，若所述对抗神经网络模型为第一对抗神经网络模型，所述第一对抗神经网络模型包括第一生成器、第二生成器、第一判别器和第二判别器，所述第一生成器用于根据所述待处理的真人人脸照片生成中间人脸图像，所述第二生成器用于根据所述中间人脸图像生成所述目标人脸图像，所述中间人脸图像与目标人脸图像的风格均为第一应用风格，所述目标人脸图像与真人人脸照片内容一致，所述第一判别器和第二判别器分别用于评判所述第一生成器和第二生成器生成的图像的好坏程度，在训练所述第一对抗神经网络模型时，使所述第一生成器和第二生成器，与所述第一判别器和第二判别器相互对抗，达到纳什均衡；或者若所述对抗神经网络模型为第二对抗神经网络模型，所述第二对抗神经网络模型包括第三生成器，所述第三生成器包括映射网络和生成网络，所述映射网络用于将所述待处理的真人人脸照片对应的输入向量编码为中间向量，所述生成网络用于根据所述中间向量生成所述目标人脸图像，所述目标人脸图像的风格为第二应用风格，在训练所述第二对抗神经网络模型时，通过冻结所述生成网络的至少一个网络层进行训练；
生成单元，用于根据所述目标人脸图像生成3D人脸模型。
第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面所述的根据真人人脸照片生成3D人脸模型的方法的步骤。
第四方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面所述的根据真人人脸照片生成3D人脸模型的方法的步骤。
综上，本申请实施例提供的根据真人人脸照片生成3D人脸模型的方法与装置、电子设备及存储介质，获取待处理的真人人脸照片，利用训练好的对抗神经网络模型对所述待处理的真人人脸照片进行处理，得到目标人脸图像；根据目标人脸图像生成3D人脸模型，能够根据真人人脸照片自动生成内容与真人人脸照片内容一致且风格为指定风格的3D人脸模型。
附图说明
图1为本申请实施例提供的一种根据真人人脸照片生成3D人脸模型的方法一实施例的流程示意图；
图2为本申请实施例提供的一种根据真人人脸照片生成3D人脸模型的装置一实施例的结构示意图；
图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
参照图1所示，为本申请实施例提供的一种根据真人人脸照片生成3D人脸模型的方法的流程示意图，可以包括：
S10、获取待处理的真人人脸照片，利用训练好的对抗神经网络模型对所述待处理的真人人脸照片进行处理，得到目标人脸图像，其中，若所述对抗神经网络模型为第一对抗神经网络模型，所述第一对抗神经网络模型包括第一生成器、第二生成器、第一判别器和第二判别器，所述第一生成器用于根据所述待处理的真人人脸照片生成中间人脸图像，所述第二生成器用于根据所述中间人脸图像生成所述目标人脸图像，所述中间人脸图像与目标人脸图像的风格均为第一应用风格，所述目标人脸图像与真人人脸照片内容一致，所述第一判别器和第二判别器分别用于评判所述第一生成器和第二生成器生成的图像的好坏程度，在训练所述第一对抗神经网络模型时，使所述第一生成器和第二生成器，与所述第一判别器和第二判别器相互对抗，达到纳什均衡；或者若所述对抗神经网络模型为第二对抗神经网络模型，所述第二对抗神经网络模型包括第三生成器，所述第三生成器包括映射网络和生成网络，所述映射网络用于将所述待处理的真人人脸照片对应的输入向量编码为中间向量，所述生成网络用于根据所述中间向量生成所述目标人脸图像，所述目标人脸图像的风格为第二应用风格，在训练所述第二对抗神经网络模型时，通过冻结所述生成网络的至少一个网络层进行训练；
本实施例中，可以理解的是，第一对抗神经网络模型中第一判别器用于评判第一生成器生成的图像的好坏程度，即用于评判第一生成器生成的图像（即中间人脸图像）的风格与第一应用风格的相似程度；第二判别器用于评判第二生成器生成的图像的好坏程度，即用于评判第二生成器生成的图像（即目标人脸图像）的内容与真人人脸照片内容的相似程度。在训练第一对抗神经网络模型时，使第一生成器和第二生成器，与第一判别器和第二判别器相互对抗，达到纳什均衡，保证待处理的真人人脸照片经第一生成器和第二生成器处理后能生成风格为第一应用风格且内容与待处理的真人人脸照片内容一致的目标人脸图像。第一应用风格和第二应用风格可以相同，也可以不同，具体可以为任一款需要使用虚拟角色的应用的虚拟角色风格，比如游戏中虚拟人物角色的风格。
S11、根据所述目标人脸图像生成3D人脸模型。
本实施例中，可以理解的是，目标人脸图像是2D图像，且风格为指定应用风格（包括第一应用风格和第二应用风格），这就使得在确定出目标人脸图像后，基于目标人脸图像可以准确的生成指定应用风格的3D人脸模型，而目标人脸图像的内容与待处理的真人人脸照片内容一致，这就又使得生成的3D人脸模型与待处理的真人人脸照片内容一致，即使生成的3D人脸模型不仅能适配指定的应用风格，还能保证与真人照片的相似程度较高。
本申请实施例提供的根据真人人脸照片生成3D人脸模型的方法，获取待处理的真人人脸照片，利用训练好的对抗神经网络模型对所述待处理的真人人脸照片进行处理，得到目标人脸图像；根据目标人脸图像生成3D人脸模型，能够根据真人人脸照片自动生成内容与真人人脸照片内容一致且风格为指定风格的3D人脸模型。
在前述方法实施例的基础上，所述第一对抗神经网络模型包括神经网络CycleGAN，所述第一对抗神经网络模型的训练过程可以包括：
基于预训练人脸数据网络，通过将随机向量输入神经网络StyleGAN得到训练用真人人脸照片数据集，根据随机捏脸参数生成3D人脸模型数据集，通过对所述3D人脸模型数据集中的3D人脸模型进行拍摄得到训练用人脸图像数据集，其中，所述3D人脸模型数据集中包括至少一个3D人脸模型，所述训练用人脸图像数据集中包括至少一个人脸图像；
将所述训练用真人人脸照片数据集作为输入，所述训练用人脸图像数据集作为输出训练所述第一对抗神经网络模型。
本实施例中，可以理解的是，第一对抗神经网络模型可以为CycleGAN，在训练CycleGAN时，输入为训练用真人人脸照片数据集，输出为指定应用风格的训练用人脸图像数据集。具体地，可以基于预训练人脸数据网络，通过将随机向量输入神经网络StyleGAN得到多张真人人脸照片组成训练用真人人脸照片数据集，其中，预训练人脸数据网络包括使用ffhq人脸数据集训练StyleGAN得到的模型参数，可以为已有的ffhq.kpt或ffhq.pt文件。StyleGAN的输入可以为512维随机向量，输出可以为真人人脸照片。在实际训练过程中，为保证对CycleGAN训练的效果，可以利用预先训练好的StyleGAN生成较多数量（比如1万张）的真人人脸照片。而为了降低对CycleGAN训练的复杂度并增强训练效果，可以对生成的真人人脸照片进行以下处理：检测真人人脸照片中的人脸关键点；根据人脸关键点进行人脸矫正；通过将人脸关键点边界框按固定比例扩张裁剪出人脸区域；使用人脸分割模型（face-alignment）将照片背景置白。通过上述处理最终生成前述数量（比如1万张）的训练用真人人脸照片（尺寸可以为512×512）。而在生成训练用人脸图像数据集时可以先生成较多数量（比如1万个）的3D人脸模型，然后使用摄像机（比如应用为游戏，则摄像机为游戏摄像机）对生成的3D人脸模型进行拍摄，之后对拍摄得到的人脸图像进行前述针对真人人脸照片所做的处理（包括人脸关键点检测、矫正、裁剪、背景置白）得到前述数量（比如1万个）的人脸图像（尺寸可以为512×512），最后将得到的人脸图像组成训练用人脸图像数据集。在生成3D人脸模型时，可以使用人物捏脸系统来生成，具体地，可以提取需要的捏脸参数，将所有捏脸参数归一化，并使用随机函数随机生成捏脸参数，将所有参数赋予捏脸系统，从而生成随机3D人脸模型。
在训练CycleGAN时，可以假定训练用真人人脸照片数据集为X，指定应用风格的训
练用人脸图像数据集为Y，需要训练第一生成器G，
，训练第二生成器F，
；训练第一判别器
和第二判别器
，分别判断第一生成器G和第
二生成器F生成图像的好坏：如果第一生成器G生成的图像不像数据集Y里的图像，则第一判
别器
得低分，最低分为0，反之如果第一生成器G生成的图像像数据集Y里的图像，则第
一判别器
得高分，最高为1；如果第二生成器F生成的图像不像数据集X里的图像，则第
二判别器
得低分，最低分为0，反之如果第二生成器F生成的图像像数据集X里的图像，
则第二判别器
得高分，最高为1。
在训练CycleGAN时判别器和生成器分别训练，当固定生成器参数训练判别器时，
判别器将学到如何判别图像，当固定判别器参数训练生成器，生成器将骗过判别器，产生高
分图像，生成器和判别器相互对抗，最终相对于另一网络都处于峰值，达到纳什均衡。此外，
为保证图像
的风格跟数据集Y中图像的风格一致，将图像
放入第二生成器F中产生的
新图像和x保持高度相似，且风格跟数据集Y中图像的风格一致，则CycleGAN的损失函数
Loss由两部分组成：
，
目标函数为：
其中，
保证生成器和判别器相互进化，进而保证生成器能产生更真实
的图像，
保证生成器的输出图像与输入照片只是风格不同，内容相同，
表示x的分布，
表示y的分布，
和
表示求期
望，
表示m的1范数，
表示p的最小值。
训练生成器时，第一判别器
和第二判别器
参数被固定，第一生成器G和
第二生成器F参数可调，因此
其中，
表示q的最大值，
调整G的参数，使得参数固定，第一判别器
对G产生的图像
的打分越高
越好；
调整F的参数，使得第二判别器
对F产生的图片
的打分越高越好；
通过
保证生成器生成图像与指定应用风格接近；
通过
，保证生成器生成图像与真人人脸照片内容接近。
训练判别器时，第一生成器G和第二生成器F参数固定，第一判别器
和第二判
别器
参数可调。
具体地，训练第一判别器
时，
训练第一判别器
时，最大化
的值，使判别器给人脸图像y高分，最小
化
的值，使判别器给生成图像
低分，提升判别器的判别能力；
训练第二判别器
时，
训练第二判别器
时，最大化
的值，使判别器给真人人脸照片x高分，
最小化
的值，使判别器给生成图像
低分，提升判别器的判别能力。
最终通过生成器与判别器对抗训练，实现从真人人脸照片数据集，经过第一生成器G和第二生成器F，转换到人脸图像数据集Y，确保输出的人脸图像与真人人脸照片内容一致且风格为指定应用风格，达到预期效果。
在训练CycleGAN时，训练用数据集中数据量一般一万左右即可达到好的训练效果。本实施例中使用StyleGAN的方式生成训练用真人人脸照片数据集，并使用随机捏脸参数游戏随机生成训练用人脸图像数据集，可以产生包含任意多数据的数据集用于训练，从而使模型能够收敛，使模型训练结果更准确，便于基于训练好的模型生成与真人人脸照片内容一致且风格为指定应用风格的人脸图像。
在前述方法实施例的基础上，所述第二对抗神经网络模型包括神经网络StyleGAN，所述第二对抗神经网络模型的训练过程可以包括：
根据随机捏脸参数生成3D人脸模型数据集，通过对所述3D人脸模型数据集中的3D人脸模型进行拍摄得到训练用人脸图像数据集，其中，所述3D人脸模型数据集中包括至少一个3D人脸模型，所述训练用人脸图像数据集中包括至少一个人脸图像；
基于预训练人脸数据网络和所述训练用人脸图像数据集，通过冻结所述生成网络的至少一个网络层并进行迁移学习来对所述生成网络的其它网络层进行训练。
本实施例中，需要说明的是，第二对抗神经网络模型可以为StyleGAN，在训练StyleGAN时，需要冻结生成网络的至少一个网络层，并迁移学习预训练人脸数据网络和训练用人脸图像数据集来训练生成网络的的其它网络层输预训练人脸数据网络包括StyleGAN的参数；训练用人脸图像数据集的生成过程与前述方法实施例中训练CycleGAN时使用的训练用人脸图像数据集的生成过程一致，此处不再赘述。在获得预训练网络之后，需要冻结StyleGAN预训练网络的生成网络的至少一个网络层（即使生成网络的至少一个网络层的参数保持不变），通过迁移学习的方式使StyleGAN能够基于向量生成指定应用风格的人脸图像，且内容与真人人脸照片内容一致。StyleGAN的生成器（即第三生成器）包括映射网络和生成网络，其中，映射网络由8个全连接层组成，用于将输入向量编码为中间向量，中间向量的不同元素控制不同的视觉特征，通过映射网络，可以将易产生特征纠缠的输入向量映射生成一个不需要跟随训练数据分布的中间向量，并且可以减少特征之间的相关性，从而实现解耦，特征分离。之后，将中间向量复制18份，并通过可学习的仿射变换扩变为缩放因子与平移因子，并通过自适应实例归一化AdaIN模块输入到生成网络的每一个网络层中进行特征控制。而为了使输出的图像更加逼真与多样，可以在 AdaIN 模块之前向每个通道添加随机噪声。可以理解的是，训练时通过微调Stylegan并使用迁移学习的方法来生成指定应用风格的人脸图像。Stylegan 网络适用于不平衡数据集上的无监督学习，应用简单的微调技术甚至可以从有限的数据中正确学习。因此该方法可保留原图的人脸结构，生成逼真的指定应用风格的人脸图像，从而更好的实现将真人人脸照片转换为内容与真人人脸照片内容一致且风格为指定应用风格的人脸图像。为实现较好的训练效果，在训练StyleGAN时，训练用数据集不能过小，数据量需要比较大，一般1万至十万。在StyleGAN训练完成后，将待处理的真人人脸照片对应的输入向量输入StyleGAN即可得到指定应用风格的目标人脸图像。另外，需要说明的是，目标人脸图像由待处理的真人人脸照片对应的输入向量生成，因此可以通过操控待处理的真人人脸照片对应的输入向量或输入向量编码得到的中间向量或复制后的中间向量实现对目标人脸图像的编辑，比如更换发型、表情，以及添加饰品等。
本实施例中，基于预训练人脸数据网络进行迁移学习能够节省StyleGAN训练的时间，并保证训练效果。另外，相较于前述实施例，通过映射网络能够实现输入向量的特征解耦，避免特征纠缠，通过操控输入向量或中间向量能够对生成的目标人脸图像进行编辑。
在前述方法实施例的基础上，所述冻结所述生成网络的至少一个网络层，可以包括：
冻结所述生成网络的分辨率最低的一个网络层或分辨率最低的两个网络层或分辨率最低的三个网络层。
本实施例中，需要说明的是，除了冻结所述生成网络的最低分辨率的网络层之外，还可以冻结分辨率最低的多个网络层（比如分辨率最低的两个网络层、分辨率最低的三个网络层、分辨率最低的四个网络层等）。
在前述方法实施例的基础上，所述利用训练好的对抗神经网络模型对所述真人人脸照片进行处理，可以包括：
基于预训练人脸数据网络，通过将随机向量输入神经网络StyleGAN得到多张真人人脸照片；
从所述多张真人人脸照片中选出与所述待处理的真人人脸照片最相似的真人人脸照片，将选出的真人人脸照片对应的随机向量作为所述待处理的真人人脸照片对应的输入向量，将所述待处理的真人人脸照片对应的输入向量输入所述第二对抗神经网络模型。
本实施例中，需要说明的是，在从所述多张真人人脸照片中选出与所述待处理的真人人脸照片最相似的真人人脸照片时可以采用梯度下降算法。
在前述方法实施例的基础上，所述根据所述目标人脸图像生成3D人脸模型，可以包括：
根据所述目标人脸图像生成捏脸参数；
根据所述捏脸参数生成所述3D人脸模型。
本实施例中，需要说明的是，在生成捏脸参数时可以使用卷积神经网络模型。具体地，可以按照前述实施例中的方法，根据随机捏脸参数生成多个随机3D人脸模型，并对生成的3D人脸模型进行拍摄及相应的处理得到多个人脸图像，之后利用多个人脸图像作为输入，多个人脸图像对应的捏脸参数作为输出训练卷积神经网络模型。在卷积神经网络模型训练完成之后，将目标人脸图像输入卷积神经网络模型，即可得到目标人脸图像对应的捏脸参数。
参照图2所示，为本申请实施例提供的一种根据真人人脸照片生成3D人脸模型的装置的结构示意图，包括：
处理单元20，用于获取待处理的真人人脸照片，利用训练好的对抗神经网络模型对所述待处理的真人人脸照片进行处理，得到目标人脸图像，其中，若所述对抗神经网络模型为第一对抗神经网络模型，所述第一对抗神经网络模型包括第一生成器、第二生成器、第一判别器和第二判别器，所述第一生成器用于根据所述待处理的真人人脸照片生成中间人脸图像，所述第二生成器用于根据所述中间人脸图像生成所述目标人脸图像，所述中间人脸图像与目标人脸图像的风格均为第一应用风格，所述目标人脸图像与真人人脸照片内容一致，所述第一判别器和第二判别器分别用于评判所述第一生成器和第二生成器生成的图像的好坏程度，在训练所述第一对抗神经网络模型时，使所述第一生成器和第二生成器，与所述第一判别器和第二判别器相互对抗，达到纳什均衡；或者若所述对抗神经网络模型为第二对抗神经网络模型，所述第二对抗神经网络模型包括第三生成器，所述第三生成器包括映射网络和生成网络，所述映射网络用于将所述待处理的真人人脸照片对应的输入向量编码为中间向量，所述生成网络用于根据所述中间向量生成所述目标人脸图像，所述目标人脸图像的风格为第二应用风格，在训练所述第二对抗神经网络模型时，通过冻结所述生成网络的至少一个网络层进行训练；
生成单元21，用于根据目标人脸图像生成3D人脸模型。
本申请实施例提供的根据真人人脸照片生成3D人脸模型的装置，借助于处理单元20获取待处理的真人人脸照片，利用训练好的对抗神经网络模型对所述待处理的真人人脸照片进行处理，得到目标人脸图像；借助于生成单元21根据目标人脸图像生成3D人脸模型，能够根据真人人脸照片自动生成内容与真人人脸照片内容一致且风格为指定风格的3D人脸模型。
在前述装置实施例的基础上，所述第一对抗神经网络模型包括神经网络CycleGAN，所述第一对抗神经网络模型的训练过程可以包括：
基于预训练人脸数据网络，通过将随机向量输入神经网络StyleGAN得到训练用真人人脸照片数据集，根据随机捏脸参数生成3D人脸模型数据集，通过对所述3D人脸模型数据集中的3D人脸模型进行拍摄得到训练用人脸图像数据集，其中，所述3D人脸模型数据集中包括至少一个3D人脸模型，所述训练用人脸图像数据集中包括至少一个人脸图像；
将所述训练用真人人脸照片数据集作为输入，所述训练用人脸图像数据集作为输出训练所述第一对抗神经网络模型；或者
所述第二对抗神经网络模型包括神经网络StyleGAN，所述第二对抗神经网络模型的训练过程包括：
根据随机捏脸参数生成3D人脸模型数据集，通过对所述3D人脸模型数据集中的3D人脸模型进行拍摄得到训练用人脸图像数据集，其中，所述3D人脸模型数据集中包括至少一个3D人脸模型，所述训练用人脸图像数据集中包括至少一个人脸图像；
基于预训练人脸数据网络和所述训练用人脸图像数据集，通过冻结所述生成网络的至少一个网络层并进行迁移学习来对所述生成网络的其它网络层进行训练。
本申请实施例提供的根据真人人脸照片生成3D人脸模型的装置，其实现过程与本申请实施例提供的根据真人人脸照片生成3D人脸模型的方法一致，所能达到的效果也与本申请实施例提供的根据真人人脸照片生成3D人脸模型的方法相同，在此不再赘述。
如图3所示，本申请实施例提供的一种电子设备，包括：处理器30、存储器31和总线32，所述存储器31存储有所述处理器30可执行的机器可读指令，当电子设备运行时，所述处理器30与所述存储器31之间通过总线32通信，所述处理器30执行所述机器可读指令，以执行如上述根据真人人脸照片生成3D人脸模型的方法的步骤。
具体地，上述存储器31和处理器30能够为通用的存储器和处理器，这里不做具体限定，当处理器30运行存储器31存储的计算机程序时，能够执行上述根据真人人脸照片生成3D人脸模型的方法。
对应于上述根据真人人脸照片生成3D人脸模型的方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述根据真人人脸照片生成3D人脸模型的方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种根据真人人脸照片生成3D人脸模型的方法，其特征在于，包括：
获取待处理的真人人脸照片，利用训练好的对抗神经网络模型对所述待处理的真人人脸照片进行处理，得到目标人脸图像，其中，若所述对抗神经网络模型为第一对抗神经网络模型，所述第一对抗神经网络模型包括第一生成器、第二生成器、第一判别器和第二判别器，所述第一生成器用于根据所述待处理的真人人脸照片生成中间人脸图像，所述第二生成器用于根据所述中间人脸图像生成所述目标人脸图像，所述中间人脸图像与目标人脸图像的风格均为第一应用风格，所述目标人脸图像与真人人脸照片内容一致，所述第一判别器和第二判别器分别用于评判所述第一生成器和第二生成器生成的图像的好坏程度，在训练所述第一对抗神经网络模型时，使所述第一生成器和第二生成器，与所述第一判别器和第二判别器相互对抗，达到纳什均衡；或者若所述对抗神经网络模型为第二对抗神经网络模型，所述第二对抗神经网络模型包括第三生成器，所述第三生成器包括映射网络和生成网络，所述映射网络用于将所述待处理的真人人脸照片对应的输入向量编码为中间向量，所述生成网络用于根据所述中间向量生成所述目标人脸图像，所述目标人脸图像的风格为第二应用风格，在训练所述第二对抗神经网络模型时，通过冻结所述生成网络的至少一个网络层进行训练；
根据所述目标人脸图像生成3D人脸模型。
2.如权利要求1所述的方法，其特征在于，所述第一对抗神经网络模型包括神经网络CycleGAN，所述第一对抗神经网络模型的训练过程包括：
基于预训练人脸数据网络，通过将随机向量输入神经网络StyleGAN得到训练用真人人脸照片数据集，根据随机捏脸参数生成3D人脸模型数据集，通过对所述3D人脸模型数据集中的3D人脸模型进行拍摄得到训练用人脸图像数据集，其中，所述3D人脸模型数据集中包括至少一个3D人脸模型，所述训练用人脸图像数据集中包括至少一个人脸图像；
将所述训练用真人人脸照片数据集作为输入，所述训练用人脸图像数据集作为输出训练所述第一对抗神经网络模型。
3.如权利要求1所述的方法，其特征在于，所述第二对抗神经网络模型包括神经网络StyleGAN，所述第二对抗神经网络模型的训练过程包括：
根据随机捏脸参数生成3D人脸模型数据集，通过对所述3D人脸模型数据集中的3D人脸模型进行拍摄得到训练用人脸图像数据集，其中，所述3D人脸模型数据集中包括至少一个3D人脸模型，所述训练用人脸图像数据集中包括至少一个人脸图像；
基于预训练人脸数据网络和所述训练用人脸图像数据集，通过冻结所述生成网络的至少一个网络层并进行迁移学习来对所述生成网络的其它网络层进行训练。
4.如权利要求3所述的方法，其特征在于，所述冻结所述生成网络的至少一个网络层，包括：
冻结所述生成网络的分辨率最低的一个网络层或分辨率最低的两个网络层或分辨率最低的三个网络层。
5.如权利要求3或4所述的方法，其特征在于，所述利用训练好的对抗神经网络模型对所述真人人脸照片进行处理，包括：
基于预训练人脸数据网络，通过将随机向量输入神经网络StyleGAN得到多张真人人脸照片；
从所述多张真人人脸照片中选出与所述待处理的真人人脸照片最相似的真人人脸照片，将选出的真人人脸照片对应的随机向量作为所述待处理的真人人脸照片对应的输入向量，将所述待处理的真人人脸照片对应的输入向量输入所述第二对抗神经网络模型。
6.如权利要求1所述的方法，其特征在于，所述根据所述目标人脸图像生成3D人脸模型，包括：
根据所述目标人脸图像生成捏脸参数；
根据所述捏脸参数生成所述3D人脸模型。
7.一种根据真人人脸照片生成3D人脸模型的装置，其特征在于，包括：
处理单元，用于获取待处理的真人人脸照片，利用训练好的对抗神经网络模型对所述待处理的真人人脸照片进行处理，得到目标人脸图像，其中，若所述对抗神经网络模型为第一对抗神经网络模型，所述第一对抗神经网络模型包括第一生成器、第二生成器、第一判别器和第二判别器，所述第一生成器用于根据所述待处理的真人人脸照片生成中间人脸图像，所述第二生成器用于根据所述中间人脸图像生成所述目标人脸图像，所述中间人脸图像与目标人脸图像的风格均为第一应用风格，所述目标人脸图像与真人人脸照片内容一致，所述第一判别器和第二判别器分别用于评判所述第一生成器和第二生成器生成的图像的好坏程度，在训练所述第一对抗神经网络模型时，使所述第一生成器和第二生成器，与所述第一判别器和第二判别器相互对抗，达到纳什均衡；或者若所述对抗神经网络模型为第二对抗神经网络模型，所述第二对抗神经网络模型包括第三生成器，所述第三生成器包括映射网络和生成网络，所述映射网络用于将所述待处理的真人人脸照片对应的输入向量编码为中间向量，所述生成网络用于根据所述中间向量生成所述目标人脸图像，所述目标人脸图像的风格为第二应用风格，在训练所述第二对抗神经网络模型时，通过冻结所述生成网络的至少一个网络层进行训练；
生成单元，用于根据所述目标人脸图像生成3D人脸模型。
8.如权利要求7所述的装置，其特征在于，所述第一对抗神经网络模型包括神经网络CycleGAN，所述第一对抗神经网络模型的训练过程包括：
基于预训练人脸数据网络，通过将随机向量输入神经网络StyleGAN得到训练用真人人脸照片数据集，根据随机捏脸参数生成3D人脸模型数据集，通过对所述3D人脸模型数据集中的3D人脸模型进行拍摄得到训练用人脸图像数据集，其中，所述3D人脸模型数据集中包括至少一个3D人脸模型，所述训练用人脸图像数据集中包括至少一个人脸图像；
将所述训练用真人人脸照片数据集作为输入，所述训练用人脸图像数据集作为输出训练所述第一对抗神经网络模型；或者
所述第二对抗神经网络模型包括神经网络StyleGAN，所述第二对抗神经网络模型的训练过程包括：
根据随机捏脸参数生成3D人脸模型数据集，通过对所述3D人脸模型数据集中的3D人脸模型进行拍摄得到训练用人脸图像数据集，其中，所述3D人脸模型数据集中包括至少一个3D人脸模型，所述训练用人脸图像数据集中包括至少一个人脸图像；
基于预训练人脸数据网络和所述训练用人脸图像数据集，通过冻结所述生成网络的至少一个网络层并进行迁移学习来对所述生成网络的其它网络层进行训练。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至6任一项所述的根据真人人脸照片生成3D人脸模型的方法的步骤。
10.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至6任一项所述的根据真人人脸照片生成3D人脸模型的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210941552.7A CN115018996A (zh) | 2022-08-08 | 2022-08-08 | 根据真人人脸照片生成3d人脸模型的方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210941552.7A CN115018996A (zh) | 2022-08-08 | 2022-08-08 | 根据真人人脸照片生成3d人脸模型的方法与装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115018996A true CN115018996A (zh) | 2022-09-06 |
Family
ID=83065758
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210941552.7A Pending CN115018996A (zh) | 2022-08-08 | 2022-08-08 | 根据真人人脸照片生成3d人脸模型的方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115018996A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115953821A (zh) * | 2023-02-28 | 2023-04-11 | 北京红棉小冰科技有限公司 | 一种虚拟人脸图像生成方法、装置及电子设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109859295A (zh) * | 2019-02-01 | 2019-06-07 | 厦门大学 | 一种特定动漫人脸生成方法、终端设备及存储介质 |
| CN110930297A (zh) * | 2019-11-20 | 2020-03-27 | 咪咕动漫有限公司 | 人脸图像的风格迁移方法、装置、电子设备及存储介质 |
| CN111275651A (zh) * | 2020-02-25 | 2020-06-12 | 东南大学 | 一种基于对抗神经网络的人脸有光去除方法 |
| CN111729314A (zh) * | 2020-06-30 | 2020-10-02 | 网易（杭州）网络有限公司 | 一种虚拟角色的捏脸处理方法、装置及可读存储介质 |
| CN111951372A (zh) * | 2020-06-30 | 2020-11-17 | 重庆灵翎互娱科技有限公司 | 一种三维人脸模型的生成方法和设备 |
| CN112435169A (zh) * | 2020-07-01 | 2021-03-02 | 新加坡依图有限责任公司(私有) | 一种基于神经网络的图像生成方法及设备 |
| CN113658285A (zh) * | 2021-06-28 | 2021-11-16 | 华南师范大学 | 一种人脸照片到艺术素描的生成方法 |
| CN114677716A (zh) * | 2020-12-09 | 2022-06-28 | 深圳市万普拉斯科技有限公司 | 图像风格迁移方法、装置、计算机设备和存储介质 |
| CN114743080A (zh) * | 2022-03-04 | 2022-07-12 | 商汤国际私人有限公司 | 图像处理方法及装置、终端、存储介质 |
| CN114862699A (zh) * | 2022-04-14 | 2022-08-05 | 中国科学院自动化研究所 | 基于生成对抗网络的人脸修复方法、装置及存储介质 |
-
2022
- 2022-08-08 CN CN202210941552.7A patent/CN115018996A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109859295A (zh) * | 2019-02-01 | 2019-06-07 | 厦门大学 | 一种特定动漫人脸生成方法、终端设备及存储介质 |
| CN110930297A (zh) * | 2019-11-20 | 2020-03-27 | 咪咕动漫有限公司 | 人脸图像的风格迁移方法、装置、电子设备及存储介质 |
| CN111275651A (zh) * | 2020-02-25 | 2020-06-12 | 东南大学 | 一种基于对抗神经网络的人脸有光去除方法 |
| CN111729314A (zh) * | 2020-06-30 | 2020-10-02 | 网易（杭州）网络有限公司 | 一种虚拟角色的捏脸处理方法、装置及可读存储介质 |
| CN111951372A (zh) * | 2020-06-30 | 2020-11-17 | 重庆灵翎互娱科技有限公司 | 一种三维人脸模型的生成方法和设备 |
| CN112435169A (zh) * | 2020-07-01 | 2021-03-02 | 新加坡依图有限责任公司(私有) | 一种基于神经网络的图像生成方法及设备 |
| CN114677716A (zh) * | 2020-12-09 | 2022-06-28 | 深圳市万普拉斯科技有限公司 | 图像风格迁移方法、装置、计算机设备和存储介质 |
| CN113658285A (zh) * | 2021-06-28 | 2021-11-16 | 华南师范大学 | 一种人脸照片到艺术素描的生成方法 |
| CN114743080A (zh) * | 2022-03-04 | 2022-07-12 | 商汤国际私人有限公司 | 图像处理方法及装置、终端、存储介质 |
| CN114862699A (zh) * | 2022-04-14 | 2022-08-05 | 中国科学院自动化研究所 | 基于生成对抗网络的人脸修复方法、装置及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115953821A (zh) * | 2023-02-28 | 2023-04-11 | 北京红棉小冰科技有限公司 | 一种虚拟人脸图像生成方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111354079B (zh) | 三维人脸重建网络训练及虚拟人脸形象生成方法和装置 | |
| CN110717977B (zh) | 游戏角色脸部处理的方法、装置、计算机设备及存储介质 | |
| CN111632374B (zh) | 游戏中虚拟角色的脸部处理方法、装置及可读存储介质 | |
| CN113012282B (zh) | 三维人体重建方法、装置、设备及存储介质 | |
| CN111260754B (zh) | 人脸图像编辑方法、装置和存储介质 | |
| CN112037320B (zh) | 一种图像处理方法、装置、设备以及计算机可读存储介质 | |
| WO2022205762A1 (zh) | 三维人体重建方法、装置、设备及存储介质 | |
| CN112085835B (zh) | 三维卡通人脸生成方法、装置、电子设备及存储介质 | |
| CN110084193A (zh) | 用于面部图像生成的数据处理方法、设备和介质 | |
| CN111369428A (zh) | 虚拟头像生成方法和装置 | |
| CN113362422B (zh) | 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法 | |
| JP2016085579A (ja) | 対話装置のための画像処理装置及び方法、並びに対話装置 | |
| Agarwal et al. | Synthesis of realistic facial expressions using expression map | |
| CN115018996A (zh) | 根据真人人脸照片生成3d人脸模型的方法与装置 | |
| Wang et al. | Digital twin: Acquiring high-fidelity 3D avatar from a single image | |
| CN111754622A (zh) | 脸部三维图像生成方法及相关设备 | |
| CN117237542B (zh) | 基于文本的三维人体模型生成方法和装置 | |
| Chen et al. | Ultraman: Single Image 3D Human Reconstruction with Ultra Speed and Detail | |
| Lu et al. | Parametric shape estimation of human body under wide clothing | |
| Nguyen-Ngoc et al. | DM-VTON: Distilled mobile real-time virtual try-on | |
| Kang et al. | Image-to-image translation method for game-character face generation | |
| CN114373033A (zh) | 图像处理方法、装置、设备、存储介质及计算机程序 | |
| CN117011449A (zh) | 三维面部模型的重构方法和装置、存储介质及电子设备 | |
| CN114373034A (zh) | 图像处理方法、装置、设备、存储介质及计算机程序 | |
| CN113569809A (zh) | 一种图像处理方法、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220906 |