CN114972661B - 人脸模型构建方法、人脸图像生成方法、设备及存储介质 - Google Patents

人脸模型构建方法、人脸图像生成方法、设备及存储介质 Download PDF

Info

Publication number
CN114972661B
CN114972661B CN202210914115.6A CN202210914115A CN114972661B CN 114972661 B CN114972661 B CN 114972661B CN 202210914115 A CN202210914115 A CN 202210914115A CN 114972661 B CN114972661 B CN 114972661B
Authority
CN
China
Prior art keywords
face
parameter
face image
inputting
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210914115.6A
Other languages
English (en)
Other versions
CN114972661A (zh
Inventor
林智慧
黄浩智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yuanxiang Information Technology Co ltd
Original Assignee
Shenzhen Yuanxiang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yuanxiang Information Technology Co ltd filed Critical Shenzhen Yuanxiang Information Technology Co ltd
Priority to CN202210914115.6A priority Critical patent/CN114972661B/zh
Publication of CN114972661A publication Critical patent/CN114972661A/zh
Application granted granted Critical
Publication of CN114972661B publication Critical patent/CN114972661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种人脸模型构建方法、人脸图像生成方法、设备及存储介质，其中，该模型构建方法包括：获取训练样本，训练样本包括多个数据对，每个数据对包括第一人脸属性参数与对应的第一虚拟人脸图；将每个第一人脸属性参数输入至仿真器训练；将每个第一虚拟人脸图输入至第一编码器中得到对应的第一编码参数，将第一编码参数输入域自适应器训练得到第二编码参数；将第二编码参数输入至翻译器训练得到第二人脸属性参数；将第二人脸属性参数输入至仿真器得到第三虚拟人脸图。该人脸模型构建方法完全不需要人工标注，并且有着易部署，推断效率高的优点，生成更为真实、保持更多真实人脸图像五官特点的虚拟人脸图像，由此提高用户的体验度。

Description

人脸模型构建方法、人脸图像生成方法、设备及存储介质
技术领域
本发明属于图像处理的技术领域，具体涉及一种人脸模型构建方法、人脸图像生成方法、计算机设备及存储介质。
背景技术
基于真实人脸照片的自动捏脸技术越来越多地被应用到各类游戏、社交软件中，自动捏脸可以便利用户获取期望的人脸模型，也增加了产品的趣味性。但是现有的自动捏脸技术方案基本都是基于仿真型虚拟形象进行设计的，由于虚拟人脸模型和真实人脸的风格差异过大，真实人脸的姿态、表情等属性也会加剧和虚拟人脸模型分布的差异，导致现有的自动捏脸技术方案在虚拟人脸模型上的表现很差。
发明内容
本申请提供一种人脸模型构建方法、人脸图像生成方法、计算机设备及存储介质，可以生成包括真实人脸图像五官特点的虚拟人脸图像。
第一方面，本申请提供了一种人脸模型的构建方法，所述方法包括：
获取训练样本，所述训练样本包括多个数据对，每个所述数据对包括第一人脸属性参数及与所述第一人脸属性参数对应的第一虚拟人脸图；
将每个所述数据对中的所述第一人脸属性参数输入至所述仿真器进行训练并生成第二虚拟人脸图，并计算所述第二虚拟人脸图与对应的所述第一虚拟人脸图的第一重构损失，以确定所述仿真器是否收敛；
将每个所述数据对中的所述第一虚拟人脸图输入至所述第一编码器中得到对应的第一编码参数，将所述第一编码参数输入所述域自适应器进行训练得到第二编码参数，将所述第二编码参数输入至所述判别器以判断是否符合真实人脸特征分布，得到判别结果，并将所述判别结果反馈至所述域自适应器；
将所述第二编码参数输入至所述翻译器进行训练得到第二人脸属性参数，根据所述第二人脸属性参数和对应的所述第一人脸属性参数计算第二重构损失，以确定所述域自适应器与所述翻译器是否收敛；
将所述第二人脸属性参数输入至已经收敛的所述仿真器得到第三虚拟人脸图，计算所述第三虚拟人脸图与对应的第一虚拟人脸图的身份损失，以确定所述域自适应器与所述翻译器是否收敛。
第二方面，本申请还提供了一种人脸图像生成方法，所述方法包括：
获取真实人脸图；
将所述真实人脸图输入至人脸模型，得到虚拟人脸图，其中，所述人脸模型采用本申请实施例提供任一项所述的人脸模型构建方法构建得到的。
第三方面，本申请还提供了一种计算机设备，所述计算机设备包括：
存储器和处理器；
其中，所述存储器与所述处理器连接，用于存储程序；
所述处理器用于通过运行所述存储器中存储的程序，实现如本申请实施例提供的任一项所述的人脸模型构建方法的步骤，或者实现如本申请实施例提供的任一项所述的人脸图像生成方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如本申请实施例提供的任一项所述的人脸模型构建方法的步骤，或者实现如本申请实施例提供的任一项所述的人脸图像生成方法的步骤。
本申请公开的人脸模型构建方法、人脸图像生成方法、设备及存储介质，通过引用迁移学习与对抗生成相结合的思想，提出的人脸模型构建方案完全不需要人工标注，并且有着易部署，推断效率高的优点，可以生成更为真实的虚拟人脸图像，即生成的虚拟人脸3D图像包括更多真实人脸图像五官细节特征，进而可以提高用户的体验度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的实施例提供的一种人脸模型构建方法的步骤示意流程图；
图2是本申请的实施例提供的一种捏脸引擎的界面示意图；
图3是本申请的实施例提供的一种人脸模型的构建过程示意图；
图4是本申请的实施例提供的一种迁移学习对象的示意图；
图5是本申请的实施例提供的一种人脸模型的构建过程示意图；
图6是本申请的实施例提供的一种人脸模型的结构示意图；
图7是本申请的实施例提供的一种人脸模型的生成结果的效果示意图；
图8是本申请的实施例提供的一种脸部特征参数的随机数获取方法的示意图；
图9是本申请的实施例提供的另一种人脸模型的构建过程示意图；
图10是本申请的实施例提供的另一种人脸模型的生成结果的效果示意图；
图11是本申请的实施例提供的一种用于存储第一编码参数结构示意图；
图12是本申请的实施例提供的又一种人脸网络模型的构建过程示意图；
图13是本申请的实施例提供的一种人脸图像生成方法的示意流程图；
图14是本申请的实施例提供的一种人脸图像生成效果示意图；
图15是本申请的实施例提供的一种计算机设备的示意框图。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
应当理解，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一识别模型和第二识别模型仅仅是为了区分不同的回调函数，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
还应当进理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
为便于理解本申请实施例，下面对本申请实施例中涉及到的一些词汇作简单说明。
1.人脸图像生成：是指根据获取的真实人物图像生成该人物的虚拟人脸 3D图像，比如给定一张真实人物图像，根据人脸特征，利用训练好的人脸模型构建一个虚拟人脸3D图，让虚拟人脸图保留真实人脸图像的五官特征。
2.捏脸引擎：通过将输入的人脸属性参数生成对应的虚拟人脸图像。
3.迁移学习：将某个领域或任务上学习到的知识或模式应用到不同但相关的领域或问题中。这样，计算机也可以“举一反三”“触类旁通”，而不必在每个领域都依赖大数据从头学起。
4.源域：有知识、有大量数据标注的领域，是要迁移的对象。
5.目标域：最终要赋予知识、赋予标注的对象。知识从源域传递到目标域，就完成了迁移。
6.域自适应：在经典的机器学习中，当源域和目标域数据分布不同，但是两者的任务相同时，这种特殊的迁移学习就是域自适应。
7.对抗生成：GAN网络全称Generative Adversarial Network，称为生成式对抗网络，是一种机器学习方法。其中在GAN网络中生成器和判别器。生成器和判别器在同一时间训练并且在极小化极大算法中进行竞争。在训练的过程中，生成器的目标就是生成假的图片去骗过判别器，而判别器的目标就是能够分辨出某一张图片是不是由生成器生成的，由此就变成了一个博弈的过程。同时生成器生成模型和判别器判别模型的能力也在训练的过程中逐渐提高，直至当判别器不再能够区分真实图片和伪造图片时，训练过程达到平衡。这种对抗方式避免了一些传统生成模型在实际应用中的一些困难，巧妙地通过对抗学习来近似一些不可解的损失函数，在图像、视频、自然语言和音乐等数据的生成方面有着广泛应用。
现有的自动捏脸技术方案基本都是基于仿真型虚拟形象进行设计的，由于虚拟人脸模型和真实人脸的风格差异过大，真实人脸的姿态、表情等属性也会加剧和虚拟人脸模型分布的差异，导致现有的自动捏脸技术方案在虚拟人脸模型上的表现很差。故有必要提供一种虚拟人脸模型的构建方法与虚拟人脸图像自动生成方法。
为此，本申请的实施例提供了一种人脸模型构建方法、人脸图像生成方法、设备和存储介质。其中，训练得到的人脸模型在用于用户的虚拟人脸图像生成方案时，可以生成更为真实的虚拟人脸3D图像，即生成的虚拟人脸图像包括更多真实人脸图像五官细节特征，进而可以提高用户的体验度。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1，图1是本申请实施例提供的一种人脸模型构建方法，该方法可以应用计算机设备，具体可以应用于专用模型构建的计算机设备，比如包括 GPU等计算机设备。
在本申请的实施例中，人脸模型基于迁移学习模型和对抗生成模型构成。使用迁移学习模型可以提高虚拟人脸图像与对应真实人脸图像的相似度，使用对抗生成模型可以进一步增强人脸模型对真实人脸五官特征保留能力。
如图1所示，该人脸模型构建方法包括步骤S101至步骤S105。
S101、获取训练样本，训练样本包括多个数据对，每个数据对包括第一人脸属性参数及与第一人脸属性参数对应的第一虚拟人脸图。
由多个脸部特征参数可以组成一个第一人脸属性参数，脸部特征参数包括影响人脸五官特征主要参数，具体可以按照参数对应器官名称组成一个序列，比如脸型长短、眼睛大小、嘴唇厚度、鼻子大小、耳朵大小、眉毛长短、额头大小中的一种或多种组合得到，如图2所示，图2为本申请的一种实施例中使用的捏脸引擎的界面示意图，用户可以在界面中调整脸部特征参数，得到的第一人脸属性参数经捏脸引擎得到对应的第一虚拟人脸图，第一人脸属性参数和对应的第一虚拟人脸图构成一个数据对，多个数据对构成训练样本用于构建人脸模型。
需要说明的是，在本申请中是以第一虚拟人脸图具体为卡通人脸图为例进行介绍，第一人脸属性参数也可以为捏脸参数。
S102、将每个数据对中的所述第一人脸属性参数输入至仿真器进行训练并生成第二虚拟人脸图，并计算第二虚拟人脸图与对应的第一虚拟人脸图的第一重构损失，以确定仿真器是否收敛。
如图3所示，图3是本申请的实施例提供的一种人脸模型的构建过程示意图，仿真器101是一个由人脸属性参数生成虚拟人脸图像的神经网络，通过对输入第一人脸属性参数生成对应的第二虚拟人脸图像，在人脸模型100训练过程中，虚拟人脸和真实人脸的风格差异巨大，真实人脸的姿态和表情也会加剧其和卡通人脸分布的差异，因此如果没有预先训练仿真器101会导致生成的虚拟人脸图像与对应监督的第一虚拟人脸图像偏差过大，降低训练的效率和质量。
具体地，如图3所示，图3是本申请的实施例提供的一种人脸模型的构建过程示意图，仿真器101可以由多个卷积层和上采样层组成，通过将每个数据对中的第一人脸属性参数输入仿真器进行训练，输出一个256×256的对应第二虚拟人脸图，通过第一人脸属性参数所对应的第一虚拟人脸图作为监督，通过计算每一数据对中的第一虚拟人脸图与其对应的第二虚拟人脸图的第一重构损失值，设定一个阈值fl1，当第一重构损失值在给定次数nl1中均小于等于阈值fl1时则认为仿真器101收敛，完成对仿真器101的训练。
在一些实施例中，第一重构损失计算采用曼哈顿距离(L1距离)计算第二虚拟人脸图与其对应的第一虚拟人脸图的第一重构损失值，表达式如下：
Figure GDA0003850460770000071
其中Ll1(a1,a2)表示第一重构损失值，a1与a2分别表示第一虚拟人脸图与对应的第二虚拟人脸图的像素点集，na表示像素点的个数，a1(k)与a2(k)表示第k 个像素点值，k∈{1,…,na}。
S103、将每个所述数据对中的所述第一虚拟人脸图输入至所述第一编码器中得到对应的第一编码参数，将所述第一编码参数输入所述域自适应器进行训练得到第二编码参数，将所述第二编码参数输入至所述判别器以判断是否符合真实人脸特征分布，得到判别结果，并将所述判别结果反馈至所述域自适应器。
如图4和图5所示，图4是本申请的实施例提供的一种迁移学习对象的示意图，源域为虚拟人脸，目标域为真实人脸。图5是本申请的实施例提供的一种人脸模型的构建过程示意图，在图5中，第一编码器102通过提取所输入的第一虚拟人脸图中的人脸特征参数，人脸特征参数构成第一编码参数。第一编码参数构成源域，通过域自适应器103将源域中的每一个基于虚拟人脸特征参数转换为真实人脸特征分布，得到第二编码参数，第二编码参数构成目标域。
S104、将所述第二编码参数输入至所述翻译器进行训练得到第二人脸属性参数，根据所述第二人脸属性参数和对应的所述第一人脸属性参数计算第二重构损失，以确定所述域自适应器与翻译器是否收敛。
如图5所示，利用得到的第二编码参数输入至翻译器104进行训练并转换为第二人脸属性参数，并通过将第二人脸属性参数与其对应的第一人脸属性参数进行第二重构损失计算，从参数层面对域自适应器103与翻译器104的训练进行监督，设定一个阈值fRec，当第二重构损失值在给定次数nRec中均小于等于阈值fRec时则认为域自适应器103与翻译器104收敛，完成对域自适应器103 与翻译器104的训练。
其中，第二重构损失公式如下：
LRec(X1，X2)＝(X1-X2)2
X1与X2分别表示第一虚拟人脸参数与对应的第二虚拟人脸参数，其中LRec(X1, X2)表示第二重构损失值。
S105、将所述第二人脸属性参数输入至已经收敛的所述仿真器得到第三虚拟人脸图，计算所述第三虚拟人脸图与对应的第一虚拟人脸图的身份损失，以确定所述域自适应器与翻译器是否收敛。
利用已经训练好的仿真器101，将翻译器104输出的第二虚拟人脸参数转换为第三虚拟人脸图，从图像层面对域自适应器103与翻译器104的训练进行监督，设定一个阈值fID，当第二重构损失值在给定次数nID中均小于等于阈值 fID时则认为域自适应器103与翻译器104收敛，完成对域自适应器103与翻译器104的训练。
其中，身份损失计算公式如下：
Figure GDA0003850460770000081
其中LID(x1,x3)表示分类损失值，x1与x3分别表示所述第一虚拟人脸图与所对应的第三虚拟人脸图，R(x1)与R(x3)为人脸识别器提取的第一虚拟人脸图与所对应的第三虚拟人脸图特征，<R(x1)，R(x3)>表示两个向量的内积。
具体地，如图6所示，图6为本申请一实施例提供的人脸模型100的网络模型的结构示意图，在图6中由于域自适应器103的目的是将虚拟人脸分布转换为真实人脸分布，固在构建人脸模型时可以删除域自适应器103，将编码器 102与翻译器104连接，并将仿真器101替换为实际应用的捏脸引擎107。
如图7所示，图7为采用该人脸模型输入一组真实人脸图最终得到的虚拟人脸图的结果示意图，结果表明采用该人脸模型可以很好保留真实人脸图的五官特征。
在一些实施例中，获取训练样本的方法包括：获取多个第一人脸属性参数，将每个第一人脸属性参数输入至捏脸引擎107生成与第一人脸属性参数对应的第一虚拟人脸图；将第一人脸属性参数和对应的第一虚拟人脸图构成一个数据对，多个数据对即可以构成所述训练样本。采用上述方法获得的训练样本更便捷且更容易对后续人脸模型训练进行监督。
其中，每个第一人脸属性参数中均包括脸部特征参数，脸部特征参数包括脸型长短、眼睛大小、嘴唇厚度、鼻子大小、耳朵大小、眉毛长短、额头大小中的一种或多种组合。
在一些实施例中，获取多个第一人脸属性参数，包括：确定脸部特征参数对应的属性值范围，确定脸部特征参数在所述属性值范围中对应的目标属性值；基于所述目标属性值随机在所述属性值范围产生多个关于所述脸部特征参数的随机数；多个关于所述脸部特征参数的随机数构成多个第一人脸属性参数。
具体地，如图8所示，图8是本申请的实施例提供的一种脸部特征参数的随机数获取方法的示意图，人脸特征将脸部特征参数对应的属性值范围确定为 0～1，并将目标属性值确定为0.5，获得多个脸部特征参数的随机数构成多个第一人脸属性参数。
在一些实施例中，利用判别器对域自适应器生成的第二编码参数进行判断，判断方法包括：
将真实人脸数据库经第二编码器106得到第三编码参数；将第三编码参数经域自适应器101得到第四编码参数，将第四编码参数输入至判别器105中作为真实样本；将真实样本与输入的第二编码参数进行比对，判断第二编码参数的人脸特征分布是否与来自真实人脸数据库的第四编码参数分布一致，得到一个对/或错的判断结果。
其中判别分布函数如下：
Figure GDA0003850460770000091
其中D表示判别器网络，A表示域自适应器网络，w1表示第一编码参数， w2表示第二编码参数，Ew1～Preal表示第一编码参数从真实人脸数据分布采样的期望，Ew1～Pcartoon表示第一编码参数从虚拟人脸数据分布采样的期望，训练过程中域自适应器网络A目的是希望生成的编码参数分布越接近真实越好，因此会令， D(A(w1))会变大，V(D,A)会变小，记为
Figure GDA0003850460770000092
判别器网络D目的是希望判别结果越来越准，此时当D(w1)变大，D(A(w1))会变小，V(D,A)会变大，记为
Figure GDA0003850460770000093
判别器105将判断结果反馈给域自适应器103，域自适应器103将基于判断结果不断提升其生成能力，获得与基于真实人脸数据库得到的第四编码参数分布更为一致的基于虚拟人脸图片提取得到的第二编码参数。
需要说明的是，在本申请的实施例中，域自适应器103也可以称为生成器，域自适应器网络也可以称为生成网络。
如图9所示，图9示出了本申请一实施例提供的人脸模型100构建的结构示意图，在图9中，由于对抗生成网络在实践中训练难度很大，难以收敛，为此在训练过程中，如图在将第四编码参数输入至判别器105作为真实样本之前，为域自适应器103添加了一个引导损失函数—不变性损失，设定一个阈值fInv，当不变性损失值在给定次数nInv中均小于等于阈值fInv时则认为真实人脸分布特征经过域自适应器103后保持不变，从而引导模型的训练，不变性损失表达式如下：
LInv(w3，w4)＝(w3-w4)2
其中LInv(w3,w4)表示不变性损失值，w3与w4分别表示所述第三编码参数与第四编码参数。
如图10所示，图10示出了加入不变性损失进行训练后，输入一组真实人脸图最终得到的虚拟人脸图的结果示意图，结果表明采用加入不变性损失后该人脸模型保留更多真实人脸图的五官特征细节。
在一些实施例中，第一编码器103和第二编码器106采用pSp编码器，pSp 编码器全称为pixel2style2pixel编码器，是人脸编辑中比较重要的特征提取方法，基于特征金字塔网络结构，从不同的金字塔尺度中提取风格向量，并根据其空间尺度直接插入固定、预训练的生成器中。可以直接将图像重建，避免耗时的优化过程。
如图11所示，图11示出了本申请一实施例提供的一种第一编码参数存储网络模型结构的示意图，在图11中，在采用pSp编码器作为第一编码器102 时，在人脸模型构建之前，能够将训练样本中每个数据对中的第一虚拟人脸图输入至pSp编码器中得到对应的第一编码参数，并存储第一编码参数于存储装置108，以便在训练所述人脸模型的过程中调用第一编码参数，如图12所示，图12为调用第一编码参数的人脸网络模型结构的示意图，在图12中，域自适应器103调用存储装置108中的第一编码参数，显而易见的，采用存储第一编码参数方式可以避免图像的重复提取导致训练时长和效率都受到影响。
在一些实施例中，将pSp编码器存储在硬盘中进行保存。
在一些实施例中，将第一编码参数输入域自适应器103进行训练得到第二编码参数之前，需要删除第一编码参数中的非相关参数，其中非相关参数为与脸部特征无关的参数。非相关参数包括人脸姿态参数和/或背景特征参数。
在一些实施例中，由于人脸模型100的规模很小，因此人脸模型100可以部署在云端和/或移动终端中，极大的简化了人脸模型100的操作和使用，及工作人员的维护。
在本申请提供的人脸模型构建方法中，通过引用迁移学习与对抗生成相结合的思想，解决了现有的自动捏脸技术方案基本都是基于仿真型虚拟形象进行设计的，由于真实人脸的姿态、表情等属性导致加剧和虚拟人脸模型分布的差异在虚拟人脸模型上的表现很差的问题，提出了的人脸模型构建方案完全不需要人工标注，并且有着易部署，推断效率高的优点。
如图13所示，该人脸图片生成方法包括步骤S201和步骤S202。
S201、获取真实人脸图；
S202、将真实人脸图输入至人脸模型，得到虚拟人脸图。
其中，所述人脸模型为基于本申请实施例提供的任一项的人脸模型方法构建得到的。
具体地，如图14所述，图14示出了本申请一实施例提供的一种人脸图片生成系统200网络模型结构的示意图，在图14中获取真实人脸图，可以是用户直接导入图片，也能通过电脑和/或手机摄像头实时采集得到，还能通过用户输入视频文件进行识别得到。将真实人脸图输入至本申请实施例提供的任一项所述的人脸模型，得到虚拟人脸图，最终得到的虚拟人脸图与真实人脸图十分接近，且保留了真实人脸图像五官特点。
在一些实施例中，用户能够在捏脸引擎107中对所生成的虚拟人脸图进行调整。
在本申请提供的人脸图像生成方法中，通过引用本申请实施例提供的任一项的人脸模型进行改进，解决了现有的自动捏脸技术方案在虚拟人脸模型上的表现很差的问题，提出了的人脸图像生成方法可以生成更为真实、保持更多真实人脸图像五官特点的虚拟人脸图像，由此提高用户的体验度。
请参阅图15，图15是本申请实施例提供的一种计算机设备300的示意性框图。如图所示，该计算机设备300包括一个或多个处理器301和存储器302，处理器301和存储器302通过总线连接，该总线比如为I2C(Inter-integrated Circuit)总线。
其中，一个或多个处理器301单独地或共同地工作，用于执行上述实施例提供的人脸模型100构建方法的步骤，或者，用于执行上述实施例提供的人脸图片生成方法的步骤。
具体地，处理器301可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器302可以是Flash芯片、只读存储器(ROM，Read-Only Memory) 磁盘、光盘、U盘或移动硬盘等。
其中，处理器301用于运行存储在存储器602中的计算机程序，用于执行上述实施例提供的人脸模型100构建方法的步骤，或者，用于执行上述实施例提供的人脸图片生成方法的步骤。
示例性的，处理器301用于运行存储在存储器302中的计算机程序，并在执行所述计算机程序时，实现如下步骤：
获取训练样本，训练样本包括多个数据对，每个数据对包括第一人脸属性参数及与第一人脸属性参数对应的第一虚拟人脸图；将每个数据对中的所述第一人脸属性参数输入至仿真器101进行训练并生成第二虚拟人脸图，并计算第二虚拟人脸图与对应的第一虚拟人脸图的第一重构损失，以确定仿真器101是否收敛；将每个所述数据对中的所述第一虚拟人脸图输入至所述第一编码器 102中得到对应的第一编码参数，将所述第一编码参数输入所述域自适应器103 进行训练得到第二编码参数，将所述第二编码参数输入至所述判别器105以判断是否符合真实人脸特征分布，得到判别结果，并将所述判别结果反馈至所述域自适应器103；将所述第二编码参数输入至所述翻译器104进行训练得到第二人脸属性参数，根据所述第二人脸属性参数和对应的所述第一人脸属性参数计算第二重构损失，以确定所述域自适应器103与所述翻译器104是否收敛。
示例性的，处理器301用于运行存储在存储器302中的计算机程序，并在执行所述计算机程序时，实现如下步骤：
获取真实人脸图；将真实人脸图输入至人脸模型100，得到虚拟人脸图；
其中，所述人脸模型100为基于本申请实施例提供的任一项所述的人脸模型100方法构建得到的。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现上述实施例提供的人脸模型构建方法的步骤，或者，实现上述实施例提供的人脸图片生成方法的步骤。
其中，所述计算机可读存储介质可以是前述任一实施例所述的计算机设备的内部存储单元，例如所述终端设备的硬盘或内存。所述计算机可读存储介质也可以是所述终端设备的外部存储设备，例如所述终端设备上配备的插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(Secure Digital，SD) 卡，闪存卡(Flash Card)等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围。

Claims (10)

1.一种人脸模型构建方法，其特征在于，待构建的人脸模型包括第一编码器、域自适应器、判别器、翻译器和仿真器；所述构建方法包括：
获取训练样本，所述训练样本包括多个数据对，每个所述数据对包括第一人脸属性参数及与所述第一人脸属性参数对应的第一虚拟人脸图；
将每个所述数据对中的所述第一人脸属性参数输入至所述仿真器进行训练并生成第二虚拟人脸图，并计算所述第二虚拟人脸图与对应的所述第一虚拟人脸图的第一重构损失，以确定所述仿真器是否收敛；
将每个所述数据对中的所述第一虚拟人脸图输入至所述第一编码器中得到对应的第一编码参数，将所述第一编码参数输入所述域自适应器进行训练得到第二编码参数，将所述第二编码参数输入至所述判别器以判断是否符合真实人脸特征分布，得到判别结果，并将所述判别结果反馈至所述域自适应器；其中，所述判别器将输入的所述第二编码参数与真实样本进行判断，得到所述判别结果，所述真实样本根据真实人脸数据库确定；
将所述第二编码参数输入至所述翻译器进行训练得到第二人脸属性参数，根据所述第二人脸属性参数和对应的所述第一人脸属性参数计算第二重构损失，以确定所述域自适应器与所述翻译器是否收敛；将所述第二人脸属性参数输入至已经收敛的所述仿真器得到第三虚拟人脸图，计算所述第三虚拟人脸图与对应的第一虚拟人脸图的身份损失，以确定所述域自适应器与所述翻译器是否收敛。
2.根据权利要求1所述的人脸模型构建方法，其特征在于，在确定所述域自适应器与所述翻译器已收敛后，所述方法还包括：
删除所述域自适应器，将所述第一编码器与所述翻译器连接，以及将所述仿真器替换为捏脸引擎。
3.根据权利要求1所述的人脸模型构建方法，其特征在于，所述获取训练样本，包括：
获取多个第一人脸属性参数，将每个所述第一人脸属性参数输入至捏脸引擎生成与所述第一人脸属性参数对应的第一虚拟人脸图；
其中，所述第一人脸属性参数和对应的第一虚拟人脸图构成数据对，多个所述数据对构成所述训练样本。
4.根据权利要求3所述的人脸模型构建方法，其特征在于，每个所述第一人脸属性参数包括脸部特征参数，所述脸部特征参数包括脸型长短、眼睛大小、嘴唇厚度、鼻子大小、耳朵大小、眉毛长短、额头大小中的一种或多种组合；
所述获取多个第一人脸属性参数，包括：
确定所述脸部特征参数对应的属性值范围，确定脸部特征参数在所述属性值范围中对应的目标属性值；
基于所述目标属性值随机在所述属性值范围产生多个关于所述脸部特征参数的随机数；
多个关于所述脸部特征参数的随机数构成多个所述第一人脸属性参数。
5.根据权利要求1所述的人脸模型构建方法，其特征在于，将所述第二编码参数输入至所述判别器以判断是否符合真实人脸特征分布，包括：
将真实人脸数据库输入至第二编码器，得到第三编码参数；
将所述第三编码参数输入至所述域自适应器中，得到第四编码参数；
将所述第四编码参数输入至所述判别器中作为真实样本；
所述判别器将输入的所述第二编码参数与所述真实样本进行判断，得到判别结果；
所述判别结果反馈至所述域自适应器提升其生成更为逼近所述真实样本的所述第二编码参数的能力。
6.根据权利要求5所述的人脸模型构建方法，其特征在于，在所述将所述第四编码参数输入至所述判别器作为真实样本之前，所述构建方法还包括：
根据所述第四编码参数和对应的所述第三编码参数计算不变性损失值；
将所述不变性损失值反馈至所述域自适应器，以使所述域自适应器根据所述不变性损失值进行优化训练。
7.根据权利要求1所述的人脸模型构建方法，其特征在于，所述第一编码器与第二编码器包括pSp编码器，所述构建方法还包括：在所述人脸模型构建之前，将所述训练样本中每个所述数据对中的所述第一虚拟人脸图输入至所述第一编码器中得到对应的第一编码参数，并存储所述第一编码参数，以便在训练所述人脸模型的过程中，调用所述第一编码参数。
8.一种人脸图像生成方法，其特征在于，所述方法包括：
获取真实人脸图；
将所述真实人脸图输入至人脸模型，得到虚拟人脸图；
其中，所述人脸模型采用权利要求1-7任一项所述的人脸模型构建方法构建得到。
9.一种计算机设备，其特征在于，所述计算机设备包括：
存储器和处理器；
其中，所述存储器与所述处理器连接，用于存储程序；
所述处理器用于通过运行所述存储器中存储的程序，实现如权利要求1-7任一项所述人脸模型构建方法的步骤，或，实现如权利要求8中所述人脸图像生成方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1-7任一项所述人脸模型构建方法的步骤，或，实现如权利要求8中所述人脸图像生成方法的步骤。
CN202210914115.6A 2022-08-01 2022-08-01 人脸模型构建方法、人脸图像生成方法、设备及存储介质 Active CN114972661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210914115.6A CN114972661B (zh) 2022-08-01 2022-08-01 人脸模型构建方法、人脸图像生成方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210914115.6A CN114972661B (zh) 2022-08-01 2022-08-01 人脸模型构建方法、人脸图像生成方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114972661A CN114972661A (zh) 2022-08-30
CN114972661B true CN114972661B (zh) 2022-11-01

Family

ID=82969332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210914115.6A Active CN114972661B (zh) 2022-08-01 2022-08-01 人脸模型构建方法、人脸图像生成方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114972661B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705492A (zh) * 2021-08-31 2021-11-26 杭州艾芯智能科技有限公司 人脸训练样本图像的生成方法、系统、计算机设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128287B (zh) * 2019-12-31 2024-01-02 暗物质(北京)智能科技有限公司 训练跨域人脸表情识别模型、人脸表情识别的方法及系统
CN114594851B (zh) * 2020-11-30 2024-06-25 华为技术有限公司 图像处理方法、服务器和虚拟现实设备
CN115335865A (zh) * 2021-01-07 2022-11-11 广州视源电子科技股份有限公司 虚拟图像构建方法、装置、设备及存储介质
CN113409437B (zh) * 2021-06-23 2023-08-08 北京字节跳动网络技术有限公司 一种虚拟角色捏脸的方法、装置、电子设备及存储介质
CN114627227B (zh) * 2022-05-18 2022-09-27 深圳元象信息科技有限公司 基于pbr材质的物体重建方法、设备及计算机可读存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705492A (zh) * 2021-08-31 2021-11-26 杭州艾芯智能科技有限公司 人脸训练样本图像的生成方法、系统、计算机设备及存储介质

Also Published As

Publication number Publication date
CN114972661A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN110390704B (zh) 图像处理方法、装置、终端设备及存储介质
US12002160B2 (en) Avatar generation method, apparatus and device, and medium
WO2024051445A9 (zh) 图像生成方法以及相关设备
WO2021208601A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN116109798B (zh) 图像数据处理方法、装置、设备及介质
CN110555896B (zh) 一种图像生成方法、装置以及存储介质
CN110288513B (zh) 用于改变人脸属性的方法、装置、设备和存储介质
CN110490959B (zh) 三维图像处理方法及装置、虚拟形象生成方法以及电子设备
CN111292262B (zh) 图像处理方法、装置、电子设备以及存储介质
CN111833236B (zh) 产生模拟用户的三维脸部模型的方法及装置
Liu et al. A 3 GAN: an attribute-aware attentive generative adversarial network for face aging
CN116363261B (zh) 图像编辑模型的训练方法、图像编辑方法和装置
CN110909680A (zh) 人脸图像的表情识别方法、装置、电子设备及存储介质
CN114723888B (zh) 三维发丝模型生成方法、装置、设备、存储介质及产品
CN113822953A (zh) 图像生成器的处理方法、图像生成方法及装置
CN115690276A (zh) 虚拟形象的视频生成方法、装置、计算机设备和存储介质
CN117635897A (zh) 三维对象的姿态补全方法、装置、设备、存储介质及产品
CN110610131A (zh) 人脸运动单元的检测方法、装置、电子设备及存储介质
CN117557708A (zh) 图像生成方法、装置、存储介质及计算机设备
CN114972661B (zh) 人脸模型构建方法、人脸图像生成方法、设备及存储介质
CN111597926A (zh) 图像处理方法及装置、电子设备及存储介质
Liu et al. A3GAN: An attribute-aware attentive generative adversarial network for face aging
CN114913305B (zh) 模型处理方法、装置、设备、存储介质及计算机程序产品
CN114373034B (zh) 图像处理方法、装置、设备、存储介质及计算机程序
CN117011449A (zh) 三维面部模型的重构方法和装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant