CN115018996A - 根据真人人脸照片生成3d人脸模型的方法与装置 - Google Patents

根据真人人脸照片生成3d人脸模型的方法与装置 Download PDF

Info

Publication number
CN115018996A
CN115018996A CN202210941552.7A CN202210941552A CN115018996A CN 115018996 A CN115018996 A CN 115018996A CN 202210941552 A CN202210941552 A CN 202210941552A CN 115018996 A CN115018996 A CN 115018996A
Authority
CN
China
Prior art keywords
face
model
neural network
training
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210941552.7A
Other languages
English (en)
Inventor
芦宏川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haima Cloud Tianjin Information Technology Co Ltd
Original Assignee
Haima Cloud Tianjin Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haima Cloud Tianjin Information Technology Co Ltd filed Critical Haima Cloud Tianjin Information Technology Co Ltd
Priority to CN202210941552.7A priority Critical patent/CN115018996A/zh
Publication of CN115018996A publication Critical patent/CN115018996A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种根据真人人脸照片生成3D人脸模型的方法与装置、电子设备及存储介质，方法包括：获取待处理的真人人脸照片，利用训练好的对抗神经网络模型对所述待处理的真人人脸照片进行处理，得到目标人脸图像；根据目标人脸图像生成3D人脸模型，能够根据真人人脸照片自动生成内容与真人人脸照片内容一致且风格为指定风格的3D人脸模型。

Description

根据真人人脸照片生成3D人脸模型的方法与装置
技术领域
本发明涉及计算机领域，特别涉及一种根据真人人脸照片生成3D人脸模型的方法与装置、电子设备及存储介质。
背景技术
随着计算机图像学的快速发展和游戏引擎的进步，制作逼真的3D游戏形象成为可能，游戏玩家在追求游戏可玩性的同时，对游戏画面和个性化体验的要求也越来越高。用户需要能够自主创建丰富逼真的虚拟游戏角色形象，满足其游戏中个性化体验，同时增强其参与度和游戏乐趣，为此游戏项目中一般提供多种方式，满足玩家自定义创建游戏角色需求。现有方式中以捏脸制作游戏人物最为主流，所谓捏脸，指游戏中提供大量人物脸部部位可调参数滑竿，用户通过操作滑竿，实现对应游戏人物脸部五官形状、位置、细节调整，使用该方法可以满足用户精确操作人物五官，如眼角、鼻尖，脸型等特征，实现个性虚拟游戏人物创建，进一步提高玩家的沉浸感和用户体验。
然而为实现细节逼真的人物创建，游戏中人物捏脸系统会提供上百捏脸参数，为创建更好的捏脸效果，往往需要用户花费数小时来调整参数，耗时耗力，且很难捏出理想效果，而且整个流程操作复杂，甚至可能导致用户流失。
因此，如何提供一种方案，以根据真人人脸照片自动生成内容与真人人脸照片内容一致且风格为指定风格的3D人脸模型，成为亟待解决的技术问题。
发明内容
针对现有技术存在的技术问题，本申请实施例提供一种根据真人人脸照片生成3D人脸模型的方法与装置、电子设备及存储介质。
第一方面，本申请实施例提供了一种根据真人人脸照片生成3D人脸模型的方法，包括：
获取待处理的真人人脸照片，利用训练好的对抗神经网络模型对所述待处理的真人人脸照片进行处理，得到目标人脸图像，其中，若所述对抗神经网络模型为第一对抗神经网络模型，所述第一对抗神经网络模型包括第一生成器、第二生成器、第一判别器和第二判别器，所述第一生成器用于根据所述待处理的真人人脸照片生成中间人脸图像，所述第二生成器用于根据所述中间人脸图像生成所述目标人脸图像，所述中间人脸图像与目标人脸图像的风格均为第一应用风格，所述目标人脸图像与真人人脸照片内容一致，所述第一判别器和第二判别器分别用于评判所述第一生成器和第二生成器生成的图像的好坏程度，在训练所述第一对抗神经网络模型时，使所述第一生成器和第二生成器，与所述第一判别器和第二判别器相互对抗，达到纳什均衡；或者若所述对抗神经网络模型为第二对抗神经网络模型，所述第二对抗神经网络模型包括第三生成器，所述第三生成器包括映射网络和生成网络，所述映射网络用于将所述待处理的真人人脸照片对应的输入向量编码为中间向量，所述生成网络用于根据所述中间向量生成所述目标人脸图像，所述目标人脸图像的风格为第二应用风格，在训练所述第二对抗神经网络模型时，通过冻结所述生成网络的至少一个网络层进行训练；
根据目标人脸图像生成3D人脸模型。
第二方面，本申请实施例还提供了一种根据真人人脸照片生成3D人脸模型的装置，包括：
处理单元，用于获取待处理的真人人脸照片，利用训练好的对抗神经网络模型对所述待处理的真人人脸照片进行处理，得到目标人脸图像，其中，若所述对抗神经网络模型为第一对抗神经网络模型，所述第一对抗神经网络模型包括第一生成器、第二生成器、第一判别器和第二判别器，所述第一生成器用于根据所述待处理的真人人脸照片生成中间人脸图像，所述第二生成器用于根据所述中间人脸图像生成所述目标人脸图像，所述中间人脸图像与目标人脸图像的风格均为第一应用风格，所述目标人脸图像与真人人脸照片内容一致，所述第一判别器和第二判别器分别用于评判所述第一生成器和第二生成器生成的图像的好坏程度，在训练所述第一对抗神经网络模型时，使所述第一生成器和第二生成器，与所述第一判别器和第二判别器相互对抗，达到纳什均衡；或者若所述对抗神经网络模型为第二对抗神经网络模型，所述第二对抗神经网络模型包括第三生成器，所述第三生成器包括映射网络和生成网络，所述映射网络用于将所述待处理的真人人脸照片对应的输入向量编码为中间向量，所述生成网络用于根据所述中间向量生成所述目标人脸图像，所述目标人脸图像的风格为第二应用风格，在训练所述第二对抗神经网络模型时，通过冻结所述生成网络的至少一个网络层进行训练；
生成单元，用于根据所述目标人脸图像生成3D人脸模型。
第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面所述的根据真人人脸照片生成3D人脸模型的方法的步骤。
第四方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面所述的根据真人人脸照片生成3D人脸模型的方法的步骤。
综上，本申请实施例提供的根据真人人脸照片生成3D人脸模型的方法与装置、电子设备及存储介质，获取待处理的真人人脸照片，利用训练好的对抗神经网络模型对所述待处理的真人人脸照片进行处理，得到目标人脸图像；根据目标人脸图像生成3D人脸模型，能够根据真人人脸照片自动生成内容与真人人脸照片内容一致且风格为指定风格的3D人脸模型。
附图说明
图1为本申请实施例提供的一种根据真人人脸照片生成3D人脸模型的方法一实施例的流程示意图；
图2为本申请实施例提供的一种根据真人人脸照片生成3D人脸模型的装置一实施例的结构示意图；
图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
参照图1所示，为本申请实施例提供的一种根据真人人脸照片生成3D人脸模型的方法的流程示意图，可以包括：
S10、获取待处理的真人人脸照片，利用训练好的对抗神经网络模型对所述待处理的真人人脸照片进行处理，得到目标人脸图像，其中，若所述对抗神经网络模型为第一对抗神经网络模型，所述第一对抗神经网络模型包括第一生成器、第二生成器、第一判别器和第二判别器，所述第一生成器用于根据所述待处理的真人人脸照片生成中间人脸图像，所述第二生成器用于根据所述中间人脸图像生成所述目标人脸图像，所述中间人脸图像与目标人脸图像的风格均为第一应用风格，所述目标人脸图像与真人人脸照片内容一致，所述第一判别器和第二判别器分别用于评判所述第一生成器和第二生成器生成的图像的好坏程度，在训练所述第一对抗神经网络模型时，使所述第一生成器和第二生成器，与所述第一判别器和第二判别器相互对抗，达到纳什均衡；或者若所述对抗神经网络模型为第二对抗神经网络模型，所述第二对抗神经网络模型包括第三生成器，所述第三生成器包括映射网络和生成网络，所述映射网络用于将所述待处理的真人人脸照片对应的输入向量编码为中间向量，所述生成网络用于根据所述中间向量生成所述目标人脸图像，所述目标人脸图像的风格为第二应用风格，在训练所述第二对抗神经网络模型时，通过冻结所述生成网络的至少一个网络层进行训练；
本实施例中，可以理解的是，第一对抗神经网络模型中第一判别器用于评判第一生成器生成的图像的好坏程度，即用于评判第一生成器生成的图像（即中间人脸图像）的风格与第一应用风格的相似程度；第二判别器用于评判第二生成器生成的图像的好坏程度，即用于评判第二生成器生成的图像（即目标人脸图像）的内容与真人人脸照片内容的相似程度。在训练第一对抗神经网络模型时，使第一生成器和第二生成器，与第一判别器和第二判别器相互对抗，达到纳什均衡，保证待处理的真人人脸照片经第一生成器和第二生成器处理后能生成风格为第一应用风格且内容与待处理的真人人脸照片内容一致的目标人脸图像。第一应用风格和第二应用风格可以相同，也可以不同，具体可以为任一款需要使用虚拟角色的应用的虚拟角色风格，比如游戏中虚拟人物角色的风格。
S11、根据所述目标人脸图像生成3D人脸模型。
本实施例中，可以理解的是，目标人脸图像是2D图像，且风格为指定应用风格（包括第一应用风格和第二应用风格），这就使得在确定出目标人脸图像后，基于目标人脸图像可以准确的生成指定应用风格的3D人脸模型，而目标人脸图像的内容与待处理的真人人脸照片内容一致，这就又使得生成的3D人脸模型与待处理的真人人脸照片内容一致，即使生成的3D人脸模型不仅能适配指定的应用风格，还能保证与真人照片的相似程度较高。
本申请实施例提供的根据真人人脸照片生成3D人脸模型的方法，获取待处理的真人人脸照片，利用训练好的对抗神经网络模型对所述待处理的真人人脸照片进行处理，得到目标人脸图像；根据目标人脸图像生成3D人脸模型，能够根据真人人脸照片自动生成内容与真人人脸照片内容一致且风格为指定风格的3D人脸模型。
在前述方法实施例的基础上，所述第一对抗神经网络模型包括神经网络CycleGAN，所述第一对抗神经网络模型的训练过程可以包括：
基于预训练人脸数据网络，通过将随机向量输入神经网络StyleGAN得到训练用真人人脸照片数据集，根据随机捏脸参数生成3D人脸模型数据集，通过对所述3D人脸模型数据集中的3D人脸模型进行拍摄得到训练用人脸图像数据集，其中，所述3D人脸模型数据集中包括至少一个3D人脸模型，所述训练用人脸图像数据集中包括至少一个人脸图像；
将所述训练用真人人脸照片数据集作为输入，所述训练用人脸图像数据集作为输出训练所述第一对抗神经网络模型。
本实施例中，可以理解的是，第一对抗神经网络模型可以为CycleGAN，在训练CycleGAN时，输入为训练用真人人脸照片数据集，输出为指定应用风格的训练用人脸图像数据集。具体地，可以基于预训练人脸数据网络，通过将随机向量输入神经网络StyleGAN得到多张真人人脸照片组成训练用真人人脸照片数据集，其中，预训练人脸数据网络包括使用ffhq人脸数据集训练StyleGAN得到的模型参数，可以为已有的ffhq.kpt或ffhq.pt文件。StyleGAN的输入可以为512维随机向量，输出可以为真人人脸照片。在实际训练过程中，为保证对CycleGAN训练的效果，可以利用预先训练好的StyleGAN生成较多数量（比如1万张）的真人人脸照片。而为了降低对CycleGAN训练的复杂度并增强训练效果，可以对生成的真人人脸照片进行以下处理：检测真人人脸照片中的人脸关键点；根据人脸关键点进行人脸矫正；通过将人脸关键点边界框按固定比例扩张裁剪出人脸区域；使用人脸分割模型（face-alignment）将照片背景置白。通过上述处理最终生成前述数量（比如1万张）的训练用真人人脸照片（尺寸可以为512×512）。而在生成训练用人脸图像数据集时可以先生成较多数量（比如1万个）的3D人脸模型，然后使用摄像机（比如应用为游戏，则摄像机为游戏摄像机）对生成的3D人脸模型进行拍摄，之后对拍摄得到的人脸图像进行前述针对真人人脸照片所做的处理（包括人脸关键点检测、矫正、裁剪、背景置白）得到前述数量（比如1万个）的人脸图像（尺寸可以为512×512），最后将得到的人脸图像组成训练用人脸图像数据集。在生成3D人脸模型时，可以使用人物捏脸系统来生成，具体地，可以提取需要的捏脸参数，将所有捏脸参数归一化，并使用随机函数随机生成捏脸参数，将所有参数赋予捏脸系统，从而生成随机3D人脸模型。
在训练CycleGAN时，可以假定训练用真人人脸照片数据集为X，指定应用风格的训 练用人脸图像数据集为Y，需要训练第一生成器G，
Figure 627758DEST_PATH_IMAGE001
，训练第二生成器F，
Figure 371330DEST_PATH_IMAGE002
；训练第一判别器
Figure 354329DEST_PATH_IMAGE003
和第二判别器
Figure 343014DEST_PATH_IMAGE004
，分别判断第一生成器G和第 二生成器F生成图像的好坏：如果第一生成器G生成的图像不像数据集Y里的图像，则第一判 别器
Figure 626228DEST_PATH_IMAGE003
得低分，最低分为0，反之如果第一生成器G生成的图像像数据集Y里的图像，则第 一判别器
Figure 776586DEST_PATH_IMAGE003
得高分，最高为1；如果第二生成器F生成的图像不像数据集X里的图像，则第 二判别器
Figure 637095DEST_PATH_IMAGE004
得低分，最低分为0，反之如果第二生成器F生成的图像像数据集X里的图像， 则第二判别器
Figure 39258DEST_PATH_IMAGE004
得高分，最高为1。
在训练CycleGAN时判别器和生成器分别训练，当固定生成器参数训练判别器时， 判别器将学到如何判别图像，当固定判别器参数训练生成器，生成器将骗过判别器，产生高 分图像，生成器和判别器相互对抗，最终相对于另一网络都处于峰值，达到纳什均衡。此外， 为保证图像
Figure 803076DEST_PATH_IMAGE005
的风格跟数据集Y中图像的风格一致，将图像
Figure 265282DEST_PATH_IMAGE005
放入第二生成器F中产生的 新图像和x保持高度相似，且风格跟数据集Y中图像的风格一致，则CycleGAN的损失函数 Loss由两部分组成：
Figure 613087DEST_PATH_IMAGE006
，
Figure 677994DEST_PATH_IMAGE008
，
Figure 670221DEST_PATH_IMAGE010
，
目标函数为：
Figure 693541DEST_PATH_IMAGE011
，
其中，
Figure 138429DEST_PATH_IMAGE012
保证生成器和判别器相互进化，进而保证生成器能产生更真实 的图像，
Figure 239984DEST_PATH_IMAGE013
保证生成器的输出图像与输入照片只是风格不同，内容相同，
Figure 476930DEST_PATH_IMAGE014
表示x的分布，
Figure 280938DEST_PATH_IMAGE015
表示y的分布，
Figure 603335DEST_PATH_IMAGE016
和
Figure 885412DEST_PATH_IMAGE017
表示求期 望，
Figure 976864DEST_PATH_IMAGE018
表示m的1范数，
Figure 217353DEST_PATH_IMAGE019
表示p的最小值。
训练生成器时，第一判别器
Figure 262931DEST_PATH_IMAGE003
和第二判别器
Figure 473333DEST_PATH_IMAGE004
参数被固定，第一生成器G和 第二生成器F参数可调，因此
Figure 29079DEST_PATH_IMAGE021
，
其中，
Figure 565103DEST_PATH_IMAGE022
表示q的最大值，
调整G的参数，使得参数固定，第一判别器
Figure 737458DEST_PATH_IMAGE003
对G产生的图像
Figure 485971DEST_PATH_IMAGE023
的打分越高 越好；
调整F的参数，使得第二判别器
Figure 427382DEST_PATH_IMAGE004
对F产生的图片
Figure 632842DEST_PATH_IMAGE024
的打分越高越好；
通过
Figure 885969DEST_PATH_IMAGE025
保证生成器生成图像与指定应用风格接近；
通过
Figure 579119DEST_PATH_IMAGE026
，保证生成器生成图像与真人人脸照片内容接近。
训练判别器时，第一生成器G和第二生成器F参数固定，第一判别器
Figure 234091DEST_PATH_IMAGE003
和第二判 别器
Figure 721704DEST_PATH_IMAGE004
参数可调。
具体地，训练第一判别器
Figure 681701DEST_PATH_IMAGE003
时，
Figure 912962DEST_PATH_IMAGE028
训练第一判别器
Figure 688020DEST_PATH_IMAGE003
时，最大化
Figure 346535DEST_PATH_IMAGE029
的值，使判别器给人脸图像y高分，最小 化
Figure 338368DEST_PATH_IMAGE030
的值，使判别器给生成图像
Figure 373320DEST_PATH_IMAGE023
低分，提升判别器的判别能力；
训练第二判别器
Figure 2885DEST_PATH_IMAGE004
时，
Figure 956934DEST_PATH_IMAGE032
训练第二判别器
Figure 812895DEST_PATH_IMAGE004
时，最大化
Figure 510592DEST_PATH_IMAGE033
的值，使判别器给真人人脸照片x高分， 最小化
Figure 870029DEST_PATH_IMAGE034
的值，使判别器给生成图像
Figure 762024DEST_PATH_IMAGE024
低分，提升判别器的判别能力。
最终通过生成器与判别器对抗训练，实现从真人人脸照片数据集，经过第一生成器G和第二生成器F，转换到人脸图像数据集Y，确保输出的人脸图像与真人人脸照片内容一致且风格为指定应用风格，达到预期效果。
在训练CycleGAN时，训练用数据集中数据量一般一万左右即可达到好的训练效果。本实施例中使用StyleGAN的方式生成训练用真人人脸照片数据集，并使用随机捏脸参数游戏随机生成训练用人脸图像数据集，可以产生包含任意多数据的数据集用于训练，从而使模型能够收敛，使模型训练结果更准确，便于基于训练好的模型生成与真人人脸照片内容一致且风格为指定应用风格的人脸图像。
在前述方法实施例的基础上，所述第二对抗神经网络模型包括神经网络StyleGAN，所述第二对抗神经网络模型的训练过程可以包括：
根据随机捏脸参数生成3D人脸模型数据集，通过对所述3D人脸模型数据集中的3D人脸模型进行拍摄得到训练用人脸图像数据集，其中，所述3D人脸模型数据集中包括至少一个3D人脸模型，所述训练用人脸图像数据集中包括至少一个人脸图像；
基于预训练人脸数据网络和所述训练用人脸图像数据集，通过冻结所述生成网络的至少一个网络层并进行迁移学习来对所述生成网络的其它网络层进行训练。
本实施例中，需要说明的是，第二对抗神经网络模型可以为StyleGAN，在训练StyleGAN时，需要冻结生成网络的至少一个网络层，并迁移学习预训练人脸数据网络和训练用人脸图像数据集来训练生成网络的的其它网络层输预训练人脸数据网络包括StyleGAN的参数；训练用人脸图像数据集的生成过程与前述方法实施例中训练CycleGAN时使用的训练用人脸图像数据集的生成过程一致，此处不再赘述。在获得预训练网络之后，需要冻结StyleGAN预训练网络的生成网络的至少一个网络层（即使生成网络的至少一个网络层的参数保持不变），通过迁移学习的方式使StyleGAN能够基于向量生成指定应用风格的人脸图像，且内容与真人人脸照片内容一致。StyleGAN的生成器（即第三生成器）包括映射网络和生成网络，其中，映射网络由8个全连接层组成，用于将输入向量编码为中间向量，中间向量的不同元素控制不同的视觉特征，通过映射网络，可以将易产生特征纠缠的输入向量映射生成一个不需要跟随训练数据分布的中间向量，并且可以减少特征之间的相关性，从而实现解耦，特征分离。之后，将中间向量复制18份，并通过可学习的仿射变换扩变为缩放因子与平移因子，并通过自适应实例归一化AdaIN模块输入到生成网络的每一个网络层中进行特征控制。而为了使输出的图像更加逼真与多样，可以在 AdaIN 模块之前向每个通道添加随机噪声。可以理解的是，训练时通过微调Stylegan并使用迁移学习的方法来生成指定应用风格的人脸图像。Stylegan 网络适用于不平衡数据集上的无监督学习，应用简单的微调技术甚至可以从有限的数据中正确学习。因此该方法可保留原图的人脸结构，生成逼真的指定应用风格的人脸图像，从而更好的实现将真人人脸照片转换为内容与真人人脸照片内容一致且风格为指定应用风格的人脸图像。为实现较好的训练效果，在训练StyleGAN时，训练用数据集不能过小，数据量需要比较大，一般1万至十万。在StyleGAN训练完成后，将待处理的真人人脸照片对应的输入向量输入StyleGAN即可得到指定应用风格的目标人脸图像。另外，需要说明的是，目标人脸图像由待处理的真人人脸照片对应的输入向量生成，因此可以通过操控待处理的真人人脸照片对应的输入向量或输入向量编码得到的中间向量或复制后的中间向量实现对目标人脸图像的编辑，比如更换发型、表情，以及添加饰品等。
本实施例中，基于预训练人脸数据网络进行迁移学习能够节省StyleGAN训练的时间，并保证训练效果。另外，相较于前述实施例，通过映射网络能够实现输入向量的特征解耦，避免特征纠缠，通过操控输入向量或中间向量能够对生成的目标人脸图像进行编辑。
在前述方法实施例的基础上，所述冻结所述生成网络的至少一个网络层，可以包括：
冻结所述生成网络的分辨率最低的一个网络层或分辨率最低的两个网络层或分辨率最低的三个网络层。
本实施例中，需要说明的是，除了冻结所述生成网络的最低分辨率的网络层之外，还可以冻结分辨率最低的多个网络层（比如分辨率最低的两个网络层、分辨率最低的三个网络层、分辨率最低的四个网络层等）。
在前述方法实施例的基础上，所述利用训练好的对抗神经网络模型对所述真人人脸照片进行处理，可以包括：
基于预训练人脸数据网络，通过将随机向量输入神经网络StyleGAN得到多张真人人脸照片；
从所述多张真人人脸照片中选出与所述待处理的真人人脸照片最相似的真人人脸照片，将选出的真人人脸照片对应的随机向量作为所述待处理的真人人脸照片对应的输入向量，将所述待处理的真人人脸照片对应的输入向量输入所述第二对抗神经网络模型。
本实施例中，需要说明的是，在从所述多张真人人脸照片中选出与所述待处理的真人人脸照片最相似的真人人脸照片时可以采用梯度下降算法。
在前述方法实施例的基础上，所述根据所述目标人脸图像生成3D人脸模型，可以包括：
根据所述目标人脸图像生成捏脸参数；
根据所述捏脸参数生成所述3D人脸模型。
本实施例中，需要说明的是，在生成捏脸参数时可以使用卷积神经网络模型。具体地，可以按照前述实施例中的方法，根据随机捏脸参数生成多个随机3D人脸模型，并对生成的3D人脸模型进行拍摄及相应的处理得到多个人脸图像，之后利用多个人脸图像作为输入，多个人脸图像对应的捏脸参数作为输出训练卷积神经网络模型。在卷积神经网络模型训练完成之后，将目标人脸图像输入卷积神经网络模型，即可得到目标人脸图像对应的捏脸参数。
参照图2所示，为本申请实施例提供的一种根据真人人脸照片生成3D人脸模型的装置的结构示意图，包括：
处理单元20，用于获取待处理的真人人脸照片，利用训练好的对抗神经网络模型对所述待处理的真人人脸照片进行处理，得到目标人脸图像，其中，若所述对抗神经网络模型为第一对抗神经网络模型，所述第一对抗神经网络模型包括第一生成器、第二生成器、第一判别器和第二判别器，所述第一生成器用于根据所述待处理的真人人脸照片生成中间人脸图像，所述第二生成器用于根据所述中间人脸图像生成所述目标人脸图像，所述中间人脸图像与目标人脸图像的风格均为第一应用风格，所述目标人脸图像与真人人脸照片内容一致，所述第一判别器和第二判别器分别用于评判所述第一生成器和第二生成器生成的图像的好坏程度，在训练所述第一对抗神经网络模型时，使所述第一生成器和第二生成器，与所述第一判别器和第二判别器相互对抗，达到纳什均衡；或者若所述对抗神经网络模型为第二对抗神经网络模型，所述第二对抗神经网络模型包括第三生成器，所述第三生成器包括映射网络和生成网络，所述映射网络用于将所述待处理的真人人脸照片对应的输入向量编码为中间向量，所述生成网络用于根据所述中间向量生成所述目标人脸图像，所述目标人脸图像的风格为第二应用风格，在训练所述第二对抗神经网络模型时，通过冻结所述生成网络的至少一个网络层进行训练；
生成单元21，用于根据目标人脸图像生成3D人脸模型。
本申请实施例提供的根据真人人脸照片生成3D人脸模型的装置，借助于处理单元20获取待处理的真人人脸照片，利用训练好的对抗神经网络模型对所述待处理的真人人脸照片进行处理，得到目标人脸图像；借助于生成单元21根据目标人脸图像生成3D人脸模型，能够根据真人人脸照片自动生成内容与真人人脸照片内容一致且风格为指定风格的3D人脸模型。
在前述装置实施例的基础上，所述第一对抗神经网络模型包括神经网络CycleGAN，所述第一对抗神经网络模型的训练过程可以包括：
基于预训练人脸数据网络，通过将随机向量输入神经网络StyleGAN得到训练用真人人脸照片数据集，根据随机捏脸参数生成3D人脸模型数据集，通过对所述3D人脸模型数据集中的3D人脸模型进行拍摄得到训练用人脸图像数据集，其中，所述3D人脸模型数据集中包括至少一个3D人脸模型，所述训练用人脸图像数据集中包括至少一个人脸图像；
将所述训练用真人人脸照片数据集作为输入，所述训练用人脸图像数据集作为输出训练所述第一对抗神经网络模型；或者
所述第二对抗神经网络模型包括神经网络StyleGAN，所述第二对抗神经网络模型的训练过程包括：
根据随机捏脸参数生成3D人脸模型数据集，通过对所述3D人脸模型数据集中的3D人脸模型进行拍摄得到训练用人脸图像数据集，其中，所述3D人脸模型数据集中包括至少一个3D人脸模型，所述训练用人脸图像数据集中包括至少一个人脸图像；
基于预训练人脸数据网络和所述训练用人脸图像数据集，通过冻结所述生成网络的至少一个网络层并进行迁移学习来对所述生成网络的其它网络层进行训练。
本申请实施例提供的根据真人人脸照片生成3D人脸模型的装置，其实现过程与本申请实施例提供的根据真人人脸照片生成3D人脸模型的方法一致，所能达到的效果也与本申请实施例提供的根据真人人脸照片生成3D人脸模型的方法相同，在此不再赘述。
如图3所示，本申请实施例提供的一种电子设备，包括：处理器30、存储器31和总线32，所述存储器31存储有所述处理器30可执行的机器可读指令，当电子设备运行时，所述处理器30与所述存储器31之间通过总线32通信，所述处理器30执行所述机器可读指令，以执行如上述根据真人人脸照片生成3D人脸模型的方法的步骤。
具体地，上述存储器31和处理器30能够为通用的存储器和处理器，这里不做具体限定，当处理器30运行存储器31存储的计算机程序时，能够执行上述根据真人人脸照片生成3D人脸模型的方法。
对应于上述根据真人人脸照片生成3D人脸模型的方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述根据真人人脸照片生成3D人脸模型的方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种根据真人人脸照片生成3D人脸模型的方法，其特征在于，包括：
获取待处理的真人人脸照片，利用训练好的对抗神经网络模型对所述待处理的真人人脸照片进行处理，得到目标人脸图像，其中，若所述对抗神经网络模型为第一对抗神经网络模型，所述第一对抗神经网络模型包括第一生成器、第二生成器、第一判别器和第二判别器，所述第一生成器用于根据所述待处理的真人人脸照片生成中间人脸图像，所述第二生成器用于根据所述中间人脸图像生成所述目标人脸图像，所述中间人脸图像与目标人脸图像的风格均为第一应用风格，所述目标人脸图像与真人人脸照片内容一致，所述第一判别器和第二判别器分别用于评判所述第一生成器和第二生成器生成的图像的好坏程度，在训练所述第一对抗神经网络模型时，使所述第一生成器和第二生成器，与所述第一判别器和第二判别器相互对抗，达到纳什均衡；或者若所述对抗神经网络模型为第二对抗神经网络模型，所述第二对抗神经网络模型包括第三生成器，所述第三生成器包括映射网络和生成网络，所述映射网络用于将所述待处理的真人人脸照片对应的输入向量编码为中间向量，所述生成网络用于根据所述中间向量生成所述目标人脸图像，所述目标人脸图像的风格为第二应用风格，在训练所述第二对抗神经网络模型时，通过冻结所述生成网络的至少一个网络层进行训练；
根据所述目标人脸图像生成3D人脸模型。
2.如权利要求1所述的方法，其特征在于，所述第一对抗神经网络模型包括神经网络CycleGAN，所述第一对抗神经网络模型的训练过程包括：
基于预训练人脸数据网络，通过将随机向量输入神经网络StyleGAN得到训练用真人人脸照片数据集，根据随机捏脸参数生成3D人脸模型数据集，通过对所述3D人脸模型数据集中的3D人脸模型进行拍摄得到训练用人脸图像数据集，其中，所述3D人脸模型数据集中包括至少一个3D人脸模型，所述训练用人脸图像数据集中包括至少一个人脸图像；
将所述训练用真人人脸照片数据集作为输入，所述训练用人脸图像数据集作为输出训练所述第一对抗神经网络模型。
3.如权利要求1所述的方法，其特征在于，所述第二对抗神经网络模型包括神经网络StyleGAN，所述第二对抗神经网络模型的训练过程包括：
根据随机捏脸参数生成3D人脸模型数据集，通过对所述3D人脸模型数据集中的3D人脸模型进行拍摄得到训练用人脸图像数据集，其中，所述3D人脸模型数据集中包括至少一个3D人脸模型，所述训练用人脸图像数据集中包括至少一个人脸图像；
基于预训练人脸数据网络和所述训练用人脸图像数据集，通过冻结所述生成网络的至少一个网络层并进行迁移学习来对所述生成网络的其它网络层进行训练。
4.如权利要求3所述的方法，其特征在于，所述冻结所述生成网络的至少一个网络层，包括：
冻结所述生成网络的分辨率最低的一个网络层或分辨率最低的两个网络层或分辨率最低的三个网络层。
5.如权利要求3或4所述的方法，其特征在于，所述利用训练好的对抗神经网络模型对所述真人人脸照片进行处理，包括：
基于预训练人脸数据网络，通过将随机向量输入神经网络StyleGAN得到多张真人人脸照片；
从所述多张真人人脸照片中选出与所述待处理的真人人脸照片最相似的真人人脸照片，将选出的真人人脸照片对应的随机向量作为所述待处理的真人人脸照片对应的输入向量，将所述待处理的真人人脸照片对应的输入向量输入所述第二对抗神经网络模型。
6.如权利要求1所述的方法，其特征在于，所述根据所述目标人脸图像生成3D人脸模型，包括：
根据所述目标人脸图像生成捏脸参数；
根据所述捏脸参数生成所述3D人脸模型。
7.一种根据真人人脸照片生成3D人脸模型的装置，其特征在于，包括：
处理单元，用于获取待处理的真人人脸照片，利用训练好的对抗神经网络模型对所述待处理的真人人脸照片进行处理，得到目标人脸图像，其中，若所述对抗神经网络模型为第一对抗神经网络模型，所述第一对抗神经网络模型包括第一生成器、第二生成器、第一判别器和第二判别器，所述第一生成器用于根据所述待处理的真人人脸照片生成中间人脸图像，所述第二生成器用于根据所述中间人脸图像生成所述目标人脸图像，所述中间人脸图像与目标人脸图像的风格均为第一应用风格，所述目标人脸图像与真人人脸照片内容一致，所述第一判别器和第二判别器分别用于评判所述第一生成器和第二生成器生成的图像的好坏程度，在训练所述第一对抗神经网络模型时，使所述第一生成器和第二生成器，与所述第一判别器和第二判别器相互对抗，达到纳什均衡；或者若所述对抗神经网络模型为第二对抗神经网络模型，所述第二对抗神经网络模型包括第三生成器，所述第三生成器包括映射网络和生成网络，所述映射网络用于将所述待处理的真人人脸照片对应的输入向量编码为中间向量，所述生成网络用于根据所述中间向量生成所述目标人脸图像，所述目标人脸图像的风格为第二应用风格，在训练所述第二对抗神经网络模型时，通过冻结所述生成网络的至少一个网络层进行训练；
生成单元，用于根据所述目标人脸图像生成3D人脸模型。
8.如权利要求7所述的装置，其特征在于，所述第一对抗神经网络模型包括神经网络CycleGAN，所述第一对抗神经网络模型的训练过程包括：
基于预训练人脸数据网络，通过将随机向量输入神经网络StyleGAN得到训练用真人人脸照片数据集，根据随机捏脸参数生成3D人脸模型数据集，通过对所述3D人脸模型数据集中的3D人脸模型进行拍摄得到训练用人脸图像数据集，其中，所述3D人脸模型数据集中包括至少一个3D人脸模型，所述训练用人脸图像数据集中包括至少一个人脸图像；
将所述训练用真人人脸照片数据集作为输入，所述训练用人脸图像数据集作为输出训练所述第一对抗神经网络模型；或者
所述第二对抗神经网络模型包括神经网络StyleGAN，所述第二对抗神经网络模型的训练过程包括：
根据随机捏脸参数生成3D人脸模型数据集，通过对所述3D人脸模型数据集中的3D人脸模型进行拍摄得到训练用人脸图像数据集，其中，所述3D人脸模型数据集中包括至少一个3D人脸模型，所述训练用人脸图像数据集中包括至少一个人脸图像；
基于预训练人脸数据网络和所述训练用人脸图像数据集，通过冻结所述生成网络的至少一个网络层并进行迁移学习来对所述生成网络的其它网络层进行训练。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至6任一项所述的根据真人人脸照片生成3D人脸模型的方法的步骤。
10.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至6任一项所述的根据真人人脸照片生成3D人脸模型的方法的步骤。
CN202210941552.7A 2022-08-08 2022-08-08 根据真人人脸照片生成3d人脸模型的方法与装置 Pending CN115018996A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210941552.7A CN115018996A (zh) 2022-08-08 2022-08-08 根据真人人脸照片生成3d人脸模型的方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210941552.7A CN115018996A (zh) 2022-08-08 2022-08-08 根据真人人脸照片生成3d人脸模型的方法与装置

Publications (1)

Publication Number Publication Date
CN115018996A true CN115018996A (zh) 2022-09-06

Family

ID=83065758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210941552.7A Pending CN115018996A (zh) 2022-08-08 2022-08-08 根据真人人脸照片生成3d人脸模型的方法与装置

Country Status (1)

Country Link
CN (1) CN115018996A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953821A (zh) * 2023-02-28 2023-04-11 北京红棉小冰科技有限公司 一种虚拟人脸图像生成方法、装置及电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859295A (zh) * 2019-02-01 2019-06-07 厦门大学 一种特定动漫人脸生成方法、终端设备及存储介质
CN110930297A (zh) * 2019-11-20 2020-03-27 咪咕动漫有限公司 人脸图像的风格迁移方法、装置、电子设备及存储介质
CN111275651A (zh) * 2020-02-25 2020-06-12 东南大学 一种基于对抗神经网络的人脸有光去除方法
CN111729314A (zh) * 2020-06-30 2020-10-02 网易（杭州）网络有限公司 一种虚拟角色的捏脸处理方法、装置及可读存储介质
CN111951372A (zh) * 2020-06-30 2020-11-17 重庆灵翎互娱科技有限公司 一种三维人脸模型的生成方法和设备
CN112435169A (zh) * 2020-07-01 2021-03-02 新加坡依图有限责任公司(私有) 一种基于神经网络的图像生成方法及设备
CN113658285A (zh) * 2021-06-28 2021-11-16 华南师范大学 一种人脸照片到艺术素描的生成方法
CN114677716A (zh) * 2020-12-09 2022-06-28 深圳市万普拉斯科技有限公司 图像风格迁移方法、装置、计算机设备和存储介质
CN114743080A (zh) * 2022-03-04 2022-07-12 商汤国际私人有限公司 图像处理方法及装置、终端、存储介质
CN114862699A (zh) * 2022-04-14 2022-08-05 中国科学院自动化研究所 基于生成对抗网络的人脸修复方法、装置及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859295A (zh) * 2019-02-01 2019-06-07 厦门大学 一种特定动漫人脸生成方法、终端设备及存储介质
CN110930297A (zh) * 2019-11-20 2020-03-27 咪咕动漫有限公司 人脸图像的风格迁移方法、装置、电子设备及存储介质
CN111275651A (zh) * 2020-02-25 2020-06-12 东南大学 一种基于对抗神经网络的人脸有光去除方法
CN111729314A (zh) * 2020-06-30 2020-10-02 网易（杭州）网络有限公司 一种虚拟角色的捏脸处理方法、装置及可读存储介质
CN111951372A (zh) * 2020-06-30 2020-11-17 重庆灵翎互娱科技有限公司 一种三维人脸模型的生成方法和设备
CN112435169A (zh) * 2020-07-01 2021-03-02 新加坡依图有限责任公司(私有) 一种基于神经网络的图像生成方法及设备
CN114677716A (zh) * 2020-12-09 2022-06-28 深圳市万普拉斯科技有限公司 图像风格迁移方法、装置、计算机设备和存储介质
CN113658285A (zh) * 2021-06-28 2021-11-16 华南师范大学 一种人脸照片到艺术素描的生成方法
CN114743080A (zh) * 2022-03-04 2022-07-12 商汤国际私人有限公司 图像处理方法及装置、终端、存储介质
CN114862699A (zh) * 2022-04-14 2022-08-05 中国科学院自动化研究所 基于生成对抗网络的人脸修复方法、装置及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953821A (zh) * 2023-02-28 2023-04-11 北京红棉小冰科技有限公司 一种虚拟人脸图像生成方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN111354079B (zh) 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
CN110717977B (zh) 游戏角色脸部处理的方法、装置、计算机设备及存储介质
WO2022205760A1 (zh) 三维人体重建方法、装置、设备及存储介质
CN111632374B (zh) 游戏中虚拟角色的脸部处理方法、装置及可读存储介质
CN111598998A (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
CN112037320B (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
WO2022205762A1 (zh) 三维人体重建方法、装置、设备及存储介质
CN112085835B (zh) 三维卡通人脸生成方法、装置、电子设备及存储介质
JP2016085579A (ja) 対話装置のための画像処理装置及び方法、並びに対話装置
CN111369428A (zh) 虚拟头像生成方法和装置
CN113362422B (zh) 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法
Agarwal et al. Synthesis of realistic facial expressions using expression map
CN115018996A (zh) 根据真人人脸照片生成3d人脸模型的方法与装置
Wang et al. Digital twin: Acquiring high-fidelity 3D avatar from a single image
CN111754622A (zh) 脸部三维图像生成方法及相关设备
Lu et al. Parametric shape estimation of human body under wide clothing
CN115482557B (zh) 人体图像生成方法、系统、设备及存储介质
CN111275610A (zh) 一种人脸变老图像处理方法及系统
CN117011449A (zh) 三维面部模型的重构方法和装置、存储介质及电子设备
CN114373033A (zh) 图像处理方法、装置、设备、存储介质及计算机程序
Kang et al. Image-to-image translation method for game-character face generation
CN113569809A (zh) 一种图像处理方法、设备及计算机可读存储介质
CN114943799A (zh) 一种面部图像处理方法、装置和计算机可读存储介质
CN112991152A (zh) 一种图像处理方法、装置、电子设备和存储介质
Chen et al. Ultraman: Single Image 3D Human Reconstruction with Ultra Speed and Detail

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination