CN116168152A - 人脸图像生成方法、电子设备及计算机可读存储介质 - Google Patents

人脸图像生成方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN116168152A
CN116168152A CN202310081813.7A CN202310081813A CN116168152A CN 116168152 A CN116168152 A CN 116168152A CN 202310081813 A CN202310081813 A CN 202310081813A CN 116168152 A CN116168152 A CN 116168152A
Authority
CN
China
Prior art keywords
feature vector
face
sub
channel
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310081813.7A
Other languages
English (en)
Inventor
田春伟
曾佳文
张璇昱
张艳宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202310081813.7A priority Critical patent/CN116168152A/zh
Publication of CN116168152A publication Critical patent/CN116168152A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本申请实施例提供了人脸图像生成方法、电子设备及计算机可读存储介质，涉及人工智能技术领域。该方法包括：获取预设对象的源人脸图像；将源人脸图像输入至预设的三维人脸模型进行人脸建模处理，得到三维人脸先验特征；对源人脸图像进行特征提取，得到源人脸图像特征；将三维人脸先验特征和源人脸图像特征输入至预设的异构卷积模型进行人脸局部特征细化处理，得到目标人脸融合特征向量；将目标人脸融合特征向量输入至预设的生成器进行人脸重建，得到候选人脸图像；再通过源人脸图像和候选人脸图像之间的感知损失对生成器进行调整，以得到目标人脸图像。本实施例在保证人脸图像的身份一致性的情况下，能够提高人脸图像的局部细节质量。

Description

人脸图像生成方法、电子设备及计算机可读存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种人脸图像生成方法、电子设备及计算机可读存储介质。
背景技术
相关技术中，通过机器学习方法来进行图像生成。例如，使用无监督学习的生成对抗网络，使用生成模型G(Generative Model)生成图像，使用判别模型D(DiscriminativeModel)判别图像是真实图像还是生成图像，生成模型G和判别模型D相互竞争，最终达到收敛效果，从而使得生成模型G能够生成高分辨率的人脸图像。但是，在使用真实的图像并对其进行局部特征的修改时，身份一致性不准确。举例而言，在使用某一个真实存在的人脸图像作为源图像，试图获得改变了该源图像局部细节特征(例如姿态特征、表情特征)的目标图像时，目标图像的身份特征可能会发生改变。因此，如何提供一种人脸图像生成方法，在保证人脸图像的身份一致性的情况下，能够提高人脸图像的局部细节质量，成为了亟待解决的技术问题。
发明内容
本申请实施例的主要目的在于提出人脸图像生成方法、电子设备及计算机可读存储介质，在保证人脸图像的身份一致性的情况下，能够提高人脸图像的局部细节质量。
为实现上述目的，本申请实施例的第一方面提出了人脸图像生成方法，所述方法包括：
获取预设对象的源人脸图像；
将所述源人脸图像输入至预设的三维人脸模型进行人脸建模处理，得到三维人脸先验特征；其中，所述三维人脸先验特征用于表示：所述预设对象的人脸身份特征；
对所述源人脸图像进行特征提取，得到源人脸图像特征；
将所述三维人脸先验特征和所述源人脸图像特征输入至预设的异构卷积模型进行人脸局部特征细化处理，得到目标人脸融合特征向量；
将所述目标人脸融合特征向量输入至预设的生成器进行人脸重建，得到候选人脸图像；
根据所述源人脸图像和所述候选人脸图像计算感知损失，根据所述感知损失调整所述生成器，以得到目标人脸图像；所述目标人脸图像用于表示所述预设对象的重建人脸图像。
在一些实施例，所述异构卷积模型包括切分块、第一处理块、第二处理块和融合块，所述将所述三维人脸先验特征和所述源人脸图像特征输入至预设的异构卷积模型进行人脸局部特征细化处理，得到目标人脸融合特征向量，包括：
将所述三维人脸先验特征和所述源人脸图像特征进行特征融合，得到初始人脸融合特征向量；
通过所述切分块对所述初始人脸融合特征向量进行通道切分，得到子通道初始特征向量；所述子通道初始特征向量包括第一子通道初始特征向量、第二子通道初始特征向量；
通过所述第一处理块对所述第一子通道初始特征向量进行特征处理，得到第一子通道目标特征向量；
通过所述第二处理块对所述第二子通道初始特征向量进行特征处理，得到第二子通道目标特征向量；
通过所述融合块对所述第一子通道目标特征向量和所述第二子通道目标特征向量进行向量融合，得到所述目标人脸融合特征向量。
在一些实施例，所述第一处理块包括第一卷积层、第一池化层和第一激活函数层，所述通过所述第一处理块对所述第一子通道初始特征向量进行特征计算，得到第一子通道目标特征向量，包括：
通过所述第一卷积层对所述第一子通道初始特征向量进行卷积处理，得到第一子通道线性特征向量；
通过所述第一池化层对所述第一子通道线性特征向量进行池化处理，得到第一子通道池化特征向量；
通过所述第一激活函数层对所述第一子通道池化特征向量进行激活处理，得到所述第一子通道目标特征向量。
在一些实施例，所述第二处理块包括权重计算层、第二卷积层、第二池化层和第二激活函数层，所述通过所述第二处理块对所述第二子通道初始特征向量进行特征处理，得到第二子通道目标特征向量，包括：
通过所述权重计算层对所述第二子通道初始特征向量进行权重计算，得到权重参数，根据所述权重参数对所述第二卷积层进行参数调整，得到动态卷积层；
通过所述动态卷积层对所述第二子通道初始特征向量进行卷积处理，得到第二子通道线性特征向量；
通过所述第二池化层对所述第二子通道线性特征向量进行池化处理，得到第二子通道池化特征向量；
通过所述第二激活函数层对所述第二子通道池化特征向量进行激活处理，得到所述第二子通道目标特征向量。
在一些实施例，所述权重计算层包括顺序连接的全局平均池化单元、第一全连接单元、第一激活函数单元、第二全连接单元和第二激活函数单元，所述通过所述权重计算层对所述第二子通道初始特征向量进行权重计算，得到权重参数，包括：
依次通过所述全局平均池化单元、所述第一全连接单元、所述第一激活函数单元、所述第二全连接单元和所述第二激活函数单元对所述第二子通道初始特征向量进行权重计算，得到所述权重参数。
在一些实施例，所述异构卷积模型还包括第三处理块，所述子通道初始特征向量还包括第三子通道初始特征向量、第四子通道初始特征向量，所述第三处理块包括第一Transformer层、第三池化层、第三激活函数层、第三卷积层、第四池化层、第四激活函数层、第四卷积层和第五激活函数层，所述方法还包括：通过所述第三处理块对第三子通道初始特征向量和第四子通道初始特征向量进行特征处理，得到第三子通道目标特征向量，具体包括：
依次通过所述第一Transformer层、所述第三池化层和所述第三激活函数层对所述第三子通道初始特征向量进行特征提取，得到第一子通道潜在特征向量；
依次通过所述第三卷积层、所述第四池化层和所述第四激活函数层对所述第四子通道初始特征向量进行特征提取，得到第二子通道潜在特征向量；
将所述第一子通道潜在特征向量和所述第二子通道潜在特征向量进行拼接，并将拼接后的特征向量依次通过所述第四卷积层和所述第五激活函数层进行特征提取，得到所述第三子通道目标特征向量；
对应的，所述通过所述融合块对所述第一子通道目标特征向量和所述第二子通道目标特征向量进行向量融合，得到所述目标人脸融合特征向量，包括：
通过所述融合块对所述第一子通道目标特征向量、所述第二子通道目标特征向量和所述第三子通道目标特征向量进行向量融合，得到所述目标人脸融合特征向量。
在一些实施例，所述融合块包括顺序连接的拼接层、第二Transformer层、融合第一卷积层、下采样层、展平层、融合第二卷积层和第六激活函数层，所述通过所述融合块对所述第一子通道目标特征向量、所述第二子通道目标特征向量和所述第三子通道目标特征向量进行向量融合，得到所述目标人脸融合特征向量，包括：
通过所述拼接层对所述第一子通道目标特征向量、所述第二子通道目标特征向量和第三子通道目标特征向量进行向量拼接，得到第一拼接人脸特征向量；
通过所述第二Transformer层对所述第一拼接人脸特征向量进行特征提取，得到第二拼接人脸特征向量；
通过所述融合第一卷积层对所述第二拼接人脸特征向量进行通道数增加，得到第三拼接人脸特征向量；
通过所述下采样层对所述第三拼接人脸特征向量进行下采样处理，得到第四拼接人脸特征向量；
通过所述展平层对所述第四拼接人脸特征向量进行特征展平，得到第五拼接人脸特征向量；
通过所述融合第二卷积层对所述第五拼接人脸特征向量进行卷积处理，得到第六拼接人脸特征向量；
通过所述第六激活函数层对所述第六拼接人脸特征向量进行激活处理，得到所述目标人脸融合特征向量。
在一些实施例，在将所述目标人脸融合特征向量输入至预设的生成器进行人脸重建，得到候选人脸图像之前，所述方法还包括：
训练所述生成器，具体包括：
获取预设样本对象的样本源人脸图像；
将所述样本源人脸图像输入至预设的三维人脸模型进行人脸建模处理，得到样本三维人脸先验特征；其中，所述样本三维人脸先验特征用于表示：所述预设样本对象的人脸身份特征；
对所述样本源人脸图像进行特征提取，得到样本源人脸图像特征；
将所述样本三维人脸先验特征和所述源人脸图像特征输入至预设的异构卷积模型进行人脸局部特征细化处理，得到样本目标人脸融合特征向量；
将所述样本目标人脸融合特征向量输入至预设的生成器进行人脸重建，得到样本目标人脸图像；所述样本目标人脸图像用于表示所述预设样本对象的重建人脸图像；
通过预设的特征提取模型对所述样本源人脸图像进行中间特征提取，得到样本源人脸中间特征；并通过所述特征提取模型对所述样本目标人脸图像进行中间特征提取，得到样本目标人脸中间特征；
根据所述样本源人脸中间特征和所述样本目标人脸中间特征进行均方误差计算，得到图像感知损失数据；
根据所述图像感知损失数据调整所述生成器的参数。
为实现上述目的，本申请实施例的第二方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的人脸图像生成方法。
为实现上述目的，本申请实施例的第三方面提出了一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的人脸图像生成方法。
本申请提出的人脸图像生成方法、电子设备及计算机可读介质，该方法通过三维人脸模型保留源人脸图像的身份特征，得到三维人脸先验特征；然后通过异构卷积模型对三维人脸先验特征和源人脸图像特征进行局部特征细化处理，得到目标人脸融合特征向量；再将目标人脸融合特征向量输入至预设的生成器进行人脸重建，得到候选人脸图像；再根据感知损失对生成器进行调整，以得到目标人脸图像，目标人脸图像用于表示预设对象的重建人脸图像。该目标人脸图像既保留了与源人脸图像一致的身份特征，且对图像的局部特征进行了细化。综上所述，本申请实施例在保证人脸图像的身份一致性的情况下，能够改变人脸图像的局部细节，从而得到高质量的重建人脸图像。
附图说明
图1是本申请实施例提供的用于执行人脸图像生成方法的系统架构示意图；
图2是本申请实施例提供的人脸图像生成方法的一个整体框架示意图；
图3是本申请实施例提供的人脸图像生成方法的一个可选流程图；
图4A-D是本申请实施例提供的可视化图像示例图；
图5是图3中的步骤S104的流程图；
图6是图3中的步骤S104的流程图；
图7是图6中的步骤S303的流程图；
图8是图6中的步骤S304的流程图；
图9是图6中的步骤S305的流程图；
图10为本申请实施例提供的异构卷积模型的结构示意图；
图11是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
人工智能(artificial intelligence，AI)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
近年来，利用神经网络、机器学习的人脸图像生成方法发展迅速，在应用方面，利用人脸图像生成方法可以通过改变隐码来改变人脸的一些属性，比如老化、表情和光线方向。相关技术中，使用无监督学习的生成对抗网络进行人脸图像生成。具体地，使用生成模型G(Generative model)生成图像，使用判别模型D(Discriminative model)判别图像是真实图像还是生成图像，生成模型G和判别模型D相互竞争，最终达到收敛效果，从而使得生成模型G能够生成高分辨率的人脸图像。但是，在使用真实的人脸图像并对其进行局部特征的修改时，身份一致性不准确。举例而言，在使用某一个真实存在的人脸图像作为源人脸图像，试图获得改变了该源人脸图像部分特征(例如姿态特征、表情特征)的目标人脸图像时，目标人脸图像的身份特征可能会与源人脸图像的身份特征不一致。因此，需要一种高质量的人脸图像重建技术，以便在保证人脸图像的身份一致性的情况下，能够提高人脸图像的局部细节质量。
首先，对本申请中涉及的若干名词进行解析：
先验知识：端到端的深度神经网络是个黑盒子，虽然能够自动学习到一些可区分度好的特征，但是往往会拟合到一些非重要特征，导致模型会局部坍塌到一些不好的特征上面(例如在人脸图像重建上，会改变目标图像的身份特征，难以保持身份一致性)。为了解决这个问题，给模型加入人为设计的先验知识会让模型学习到一些关键的特征。
例如在本申请实施例中，通过三维人脸模型对源人脸图像进行三维建模，可以得到源人脸图像的三维人脸先验特征，将该三维先验人脸特征作为人脸几何先验知识，与源人脸图像一起加入至异构卷积模型进行学习，能够保证人脸身份一致性。
异构卷积模型：由于本申请需要将三维人脸先验特征和源人脸图像一起输入异构卷积模型，增加了计算量和学习的难度。因此，为了降低模型的学习的难度，引入了异构卷积模型。本申请的异构卷积模型可以是现有的深度异构网络(Deep HeterogeneousNetwork，DHN)，且本申请还提供了另一种具体的异构卷积模型的组成结构，具体结构将在下述实施例进行说明。异构卷积模型能够解决传统方法训练具有较高的代价、模型参数量大、网络运行效率低问题。
生成器：本申请的生成器具体是指人脸风格生成器，例如StyleGAN2等生成器。StyleGAN2中的“Style”是指数据集中人脸的主要属性，比如人物的姿态等信息，而不是风格转换中的图像风格，这里Style是指人脸的风格，包括了脸型上面的表情、人脸朝向、发型等等，还包括纹理细节上的人脸肤色、人脸光照等方方面面。StyleGAN2用风格(style)来影响人脸的姿态、身份特征等，用噪声(noise)来影响头发丝、皱纹、肤色等细节部分。
例如，在本申请实施例中，通过生成器进行人脸重建，将会得到目标人脸图像。该目标人脸图像将会在人脸风格上与源人脸图像不同，且由于在先引入了人脸先验特征作为几何人脸先验知识，所以目标人脸图像能够保持与源人脸图像的身份一致性。
感知损失：本申请提出的感知损失可利用预训练的VGG-19网络计算目标人脸图像和源人脸图像的中间特征损失，使得目标人脸图像的浅层特征到深层特诊与源人脸图像的浅层特征到深层特征更为相似，能够解决生成图像质量低的问题。另外，本申请的人脸图像生成方法适用于低分辨率人脸图像的生成、也适用于高分辨率人脸图像的生成。
本申请实施例应用的系统体系构架及场景说明
参照图1，图1是本申请实施例提供的用于执行人脸图像生成方法的系统架构示意图；本申请实施例的人脸图像生成方法可以单独由目标服务器400执行，也可以是第一终端100、第二终端200或第三终端300单独执行，还可以是第一终端100、第二终端200、第三终端300和目标服务器400共同执行。另外，本申请实施例提供的人脸图像生成方法还可以是运行于目标服务器400的软件。目标服务器400可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现人脸图像生成方法的应用等，但并不局限于以上形式。
本申请实施例的人脸图像生成方法可用于众多通用或专用的计算机系统环境或配置中。例如：服务器计算机、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本申请实施例可以应用在多种场景下，包括人脸年龄转换的场景、人脸表情转换的场景、特技镜头生成的场景等。
(一)人脸年龄转换的场景
目前，人工智能已经迅速渗透到人们生产、生活的各个角落。人们不仅期望通过人工智能来执行生产、生活中需要完成的任务，还期望在执行任务之外其能够提供各种增值服务。例如，当一名年轻演员需要扮演一位老年人，则需要对该年轻演员进行老化化妆，十分耗费时间和成本。此时，可以将该年轻演员作为预设对象，通过智能终端获取源人脸图像，并通过本申请实施例的人脸图像生成方法对该源人脸图像进行人脸图像生成，得到目标人脸图像，该目标人脸图像是该年轻演员的老化版人脸图像，从而可以节省了化妆与道具成本。需要说明的是，本申请实施例所指的年龄转换，可以是从年龄小转换至年龄大，还可以是从年龄大转换至年龄小。
(二)人脸表情转换的场景
例如用户通过手机进行自拍，得到源人脸图像。但对该源人脸图像的表情不满意，此时可通过本申请实施例的人脸图像生成方法对源人脸图像的表情进行转换，得到目标人脸图像。
(三)特技镜头生成的场景
例如在影视作品中，但演员需要呈现高危险性的特技镜头时，通过本申请实施例的人脸图像生成方法，可得到包含特技的高质量人脸图像，不仅能够保证演员的人身安全，还能够避免了使用昂贵的特效带来的额外成本。
本申请实施例提供人脸图像生成方法、电子设备、计算机可读存储介质，具体通过如下实施例进行说明，首先描述本申请实施例中的人脸图像生成方法。
需要说明的是，在本申请的各个具体实施方式中，当涉及到需要根据用户的人脸图像数据等与用户身份或特性相关的数据进行相关处理时，都会先获得用户的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关国家和地区的相关法律法规和标准。
在一实施例中，请参阅图2、图3。图2是本申请实施例提供的人脸图像生成方法的一个整体框架示意图。图3是本申请实施例提供的人脸图像生成方法的一个可选的流程图，可以包括但不限于包括步骤S101至步骤S106。
步骤S101，获取预设对象的源人脸图像；
步骤S102，将源人脸图像输入至预设的三维人脸模型进行人脸建模处理，得到三维人脸先验特征；其中，三维人脸先验特征用于表示：预设对象的人脸身份特征；
步骤S103，对源人脸图像进行特征提取，得到源人脸图像特征；
步骤S104，将三维人脸先验特征和源人脸图像特征输入至预设的异构卷积模型进行人脸局部特征细化处理，得到目标人脸融合特征向量；
步骤S105，将目标人脸融合特征向量输入至预设的生成器进行人脸重建，得到候选人脸图像；
步骤S106，根据源人脸图像和候选人脸图像计算感知损失，根据感知损失调整生成器，以得到目标人脸图像；目标人脸图像用于表示预设对象的重建人脸图像。
本申请实施例所示意的步骤S101至步骤S106，为了解决生成人脸的人脸身份特征和图像细节特征难以保持的问题，本申请实施例通过三维人脸模型保留源人脸图像的身份特征，得到三维人脸先验特征；然后通过异构卷积模型对三维人脸先验特征和源人脸图像特征进行局部特征细化处理，得到目标人脸融合特征向量；再将目标人脸融合特征向量输入至预设的生成器进行人脸重建，得到候选人脸图像；而为了进一步提高图像质量，引入感知损失对生成器进行调整，以便得到目标人脸图像。该目标人脸图像既保留了与源人脸图像一致的身份特征，且对图像的局部特征进行了细化，例如改变姿态特征、表情特征、肤色特征、人脸光线特征、皮肤状态特征等局部特征。综上所述，本申请实施例在保证人脸图像的身份一致性的情况下，能够改变人脸图像的局部细节，从而得到高质量的重建人脸图像。
请参阅图4A、图4B、图4C和图4D。图4A为本申请实施例提供的源人脸图像，且该源人脸图像为人工智能技术合成的虚拟人脸，并非真实人脸。图4B为本申请实施例提供的经过三维人脸模型进行人脸建模后得到的三维先验知识。图4C为本申请实施例提供的添加三维先验知识后得到的目标人脸图像。图4D为本申请实施例提供的未加三维先验知识得到的重建人脸图像。从图4C和图4D中可以发现，加了三维先验知识所得到的图4C的目标人脸图像，更能表现出与图4A的源人脸图像的身份一致性，而图4D由于未加三维先验知识，所以身份一致性难以保持，与图4A的源人脸图像在身份上差距较大。
在一些实施例的步骤S101中，预设对象是指要进行人脸图像重建的对象，例如在人脸年龄转换的场景中的年轻演员，又例如在人脸表情转换的场景中的进行自拍的用户。源人脸图像是指待进行人脸重建的图像。
具体地，当该人脸图像生成方法应用于第一终端100中时，该源人脸图像可以通过拍摄、蓝牙传输、有线传输、下载的方式获取，且当该源人脸图像通过拍摄的方式获取时，该第一终端100对应配置有摄像机，并通过该摄像机进行图像采集从而实现对源人脸图像的拍摄。当该人脸图像生成方法应用于目标服务器400中时，该源人脸图像可以是由第一终端100上传至目标服务器400的，也可以是目标服务器400从其他服务器中下载的。
在一些实施例的步骤S102中，将源人脸图像输入至预设的三维人脸模型进行人脸建模处理，得到三维人脸先验特征；其中，三维人脸先验特征用于表示：预设对象的人脸身份特征。
具体地，源人脸图像包括身份特征和局部细节特征，局部细节特征包括姿态特征、表情特征等。通过三维人脸模型对源人脸图像进行人脸建模处理，其实是从源人脸图像提取出人脸身份特征，并将人脸身份特征作为人脸几何先验知识，以得到三维人脸先验特征。本实施例通过三维人脸模型引入三维(3D)人脸先验特征,解决人脸图像的身份特征难以保持的问题。
需要说明的是，本申请实施例的三维人脸模型包括三维人脸统计模型(3DMorphable Models，3DMM)，和人脸对齐模型(3D Dense Face Alignment，3DDFA)。
具体地，3DMM将源人脸图像分为人脸形状和人脸表情两部分，源人脸图像的线性表达为：
Figure BDA0004067710760000101
其中，
Figure BDA0004067710760000102
代表着平均人脸形状，si代表着第i张参考人脸形状图像的人脸形状成分，ei代表着第i张参考人脸表情图像的人脸表情成分，αi是第i张参考人脸形状图像的人脸形状成分的系数，βi是第i张参考人脸表情图像的人脸表情成分的系数，m是指参考人脸形状图像的数量，n是指参考人脸表情图像的数量。本申请实施例采取了3DDFA作为三维人脸模型，将源人脸图像输入至3DFFA进行形状系数和表情系数的预测，也就是求解αi和βi。即可得到一张先验人脸图像，该先验人脸图像包含了源人脸图像的形状信息。因此，先验人脸图像可用于表示预设对象的人脸身份特征。/>
在一些实施例的步骤S103中，可通过卷积层对源人脸图像进行特征提取，得到源人脸图像特征。该源人脸图像特征用于表示预设对象的身份特征和局部细节特征。
在一些实施例的步骤S104中，将三维人脸先验特征和源人脸图像特征输入至预设的异构卷积模型进行人脸局部特征细化处理，得到目标人脸融合特征向量。具体地，异构卷积模型具体可为深度异构网络(Deep Heterogeneous Network，DHN)。将得到的三维人脸先验特征和源人脸图像特征共同作为深度异构网络的输入，这充分保持了人脸身份一致性，而且大大降低了学习难度。在能够进行人脸局部特征细化处理的基础上，还提高了模型处理速度。这在处理更高的图像分辨率优点尤其明显。
除了DHN，本申请实施例提出了一种更能提高人脸图像重建质量的异构卷积模型。在一些实施例中，该异构卷积模型包括切分块、第一处理块、第二处理块和融合块，参照图5，步骤S104具体包括但不限于步骤S201至步骤S205：
步骤S201，将三维人脸先验特征和源人脸图像特征进行特征融合，得到初始人脸融合特征向量；
步骤S202，通过切分块对初始人脸融合特征向量进行通道切分，得到子通道初始特征向量；子通道初始特征向量包括第一子通道初始特征向量、第二子通道初始特征向量；
步骤S203，通过第一处理块对第一子通道初始特征向量进行特征处理，得到第一子通道目标特征向量；
步骤S204通过第二处理块对第二子通道初始特征向量进行特征处理，得到第二子通道目标特征向量；
步骤S205，通过融合块对第一子通道目标特征向量和第二子通道目标特征向量进行向量融合，得到目标人脸融合特征向量。
本申请实施例所示意的步骤S201至步骤S205，通过对初始人脸融合特征向量进行通道切分，得到子通道初始特征向量，且子通道初始特征向量的通道数小于的初始人脸融合特征向量的通道数。本实施例在保证人脸特征不损失的情况下，通过通道切分可以降低计算量，提高了人脸重建的效率。
需要说明的是，根据通道切分的数量确定子通道初始特征向量的通道数。例如在本实施例中，通道切分的数量为2，则每个子通道初始特征向量的通道数为1/2*n(n为初始人脸融合特征向量的通道数)，所以第一子通道初始特征向量的通道数为1/2*n、第二子通道初始特征向量的通道数为1/2*n。
需要说明的是，图4中的异构卷积模型包括切分块、第一处理块、第二处理块和融合块，但在另一个实施例中，异构卷积模型还包括第三处理块，请参阅图6，步骤S104具体包括但不限于步骤S301至步骤S305：
步骤S301，将三维人脸先验特征和源人脸图像特征进行特征融合，得到初始人脸融合特征向量；
步骤S302，通过切分块对初始人脸融合特征向量进行通道切分，得到子通道初始特征向量；子通道初始特征向量包括第一子通道初始特征向量、第二子通道初始特征向量、第三子通道初始特征向量和第四子通道初始特征向量；
步骤S303，通过第一处理块对第一子通道初始特征向量进行特征处理，得到第一子通道目标特征向量；
步骤S304，通过第二处理块对第二子通道初始特征向量进行特征处理，得到第二子通道目标特征向量；
步骤S305，通过第三处理块对第三子通道初始特征向量和第四子通道初始特征向量进行特征处理，得到第三子通道目标特征向量；
步骤S306，通过融合块对第一子通道目标特征向量、第二子通道目标特征向量和第三子通道目标特征向量进行向量融合，得到目标人脸融合特征向量。
本申请实施例所示意的步骤S301至步骤S306，可以理解的是，本实施例通道切分的数量为4，则每个子通道初始特征向量通道数为1/4*n，所以第一子通道初始特征向量的通道数为1/4*n、第二子通道初始特征向量的通道数为1/4*n，第三子通道初始特征向量的通道数为1/4*n、第四子通道初始特征向量的通道数为1/4*n。与图5的实施例相比，本实施例进一步减少了每个子通道的通道数，从而更能减少模型的计算量，提高人脸重建的效率。
在一些实施例的步骤S301中，可将三维人脸先验特征和源人脸图像特征进行拼接，得到初始人脸融合特征向量。
在一些实施例的步骤S302中，切分块包括至少两个切分层。具体地，若切分块包括第一切分层和第二切分层，则通过第一切分层对初始人脸融合特征向量进行通道切分，得到第一子通道初始特征向量；通过第二切分层对初始人脸融合特征向量进行通道切分，得到第二子通道初始特征向量。若切分块包括第一切分层、第二切分层、第三切分层和第四切分层，则通过第一切分层对初始人脸融合特征向量进行通道切分，得到第一子通道初始特征向量；通过第二切分层对初始人脸融合特征向量进行通道切分，得到第二子通道初始特征向量；通过第三切分层对初始人脸融合特征向量进行通道切分，得到第三子通道初始特征向量；通过第四切分层对初始人脸融合特征向量进行通道切分，得到第四子通道初始特征向量。
在一些实施例中，第一处理块包括第一卷积层、第一池化层和第一激活函数层，参照图7，步骤S303具体包括但不限于步骤S401至步骤S403：
步骤S401，通过第一卷积层对第一子通道初始特征向量进行卷积处理，得到第一子通道线性特征向量；
步骤S402，通过第一池化层对第一子通道线性特征向量进行池化处理，得到第一子通道池化特征向量；
步骤S403，通过第一激活函数层对第一子通道池化特征向量进行激活处理，得到第一子通道目标特征向量。
本申请实施例所示意的步骤S401至步骤S403，通过第一卷积层(3*3Conv)、第一池化层(Pooling)和第一激活函数层(ReLU)对第一子通道初始特征向量进行处理，这有效减少模型的参数，避免过拟合，并且有利于网络层数的加深以增加网络的非线性表达能力。
在一些实施例中，第二处理块包括权重计算层、第二卷积层、第二池化层和第二激活函数层，参照图8，步骤S304具体包括但不限于步骤S501至步骤S504：
步骤S501，通过权重计算层对第二子通道初始特征向量进行权重计算，得到权重参数，根据权重参数对第二卷积层进行参数调整，得到动态卷积层；
步骤S502，通过动态卷积层对第二子通道初始特征向量进行卷积处理，得到第二子通道线性特征向量；
步骤S503，通过第二池化层对第二子通道线性特征向量进行池化处理，得到第二子通道池化特征向量；
步骤S504，通过第二激活函数层对第二子通道池化特征向量进行池化处理，得到第二子通道目标特征向量。
本申请实施例所示意的步骤S501至步骤S504，第二子通道初始特征向量经过权重计算层得到具有数据依赖性的动态卷积层的权重参数，权重参数与第二卷积层的初始参数进行乘积，得到目标参数，根据目标参数替换初始参数得到动态卷积层。再依次通过动态卷积层、第二池化层和第二激活函数层对第二子通道初始特征向量进行处理，这有效减少模型的参数，避免过拟合，并且有利于网络层数的加深以增加网络的非线性表达能力。
在一些实施例中，权重计算层包括顺序连接的全局平均池化单元、第一全连接单元、第一激活函数单元、第二全连接单元和第二激活函数单元。步骤S501具体包括：
依次通过全局平均池化单元、第一全连接单元、第一激活函数单元(GeLU激活函数)、第二全连接单元和第二激活函数单元(SoftMax激活函数)对第二子通道初始特征向量进行权重计算，得到权重参数。在一示例中，第二子通道初始特征向量经过权重计算层后，会得到4个不同的权重参数，4个权重参数分别与4个初始卷积层的初始参数进行乘积，得到4个目标卷积层，进一步的，4个目标卷积层通过加权组合得到一个具有数据依赖的初始动态卷积层。然后继续通过归一化层和激活函数(GeLU)，最终得到动态卷积层(DynamicConvolution)。第二处理块由动态卷积层、第二池化层和第二激活函数组成，解决网络表达能力有限，模型性能较低的问题，能够在不增加网络深度或宽度的情况下增加模型的表达能力。
在一些实施例中，第三处理块包括第一Transformer层、第三池化层、第三激活函数层、第三卷积层、第四池化层、第四激活函数层、第四卷积层和第五激活函数层，参照图9，步骤S305具体包括但不限于步骤S601至步骤S603：
步骤S601，依次通过第一Transformer层、第三池化层和第三激活函数层对第三子通道初始特征向量进行特征提取，得到第一子通道潜在特征向量；
步骤S602，依次通过第三卷积层、第四池化层和第四激活函数层对第四子通道初始特征向量进行特征提取，得到第二子通道潜在特征向量；
步骤S603，将第一子通道潜在特征向量和第二子通道潜在特征向量进行拼接，并将拼接后的特征向量依次通过第四卷积层和第五激活函数层进行特征提取，得到第三子通道目标特征向量。
本申请实施例所示意的步骤S601至步骤S603，第一Transformer层、第三池化层和第三激活函数层组成一个支路，不改变输入特征的维度。而第三卷积层、第四池化层和第四激活函数层组成另一个支路，用于降低输入特征的维度。通过这两个支路能够得到特征的潜在信息，最终得到第三子通道目标特征向量。
本申请实施例的第一Transformer层和第二Transformer层均包括Transformer结构和激活函数层(例如GeLU)。Transformer结构的整体架构可以包括编码模块、解码模块。编码模块包括多头自注意力层、残差连接层、归一化层。解码模块包括待掩码的多头自注意力层、多头自注意力层、残差连接层和归一化层。
可以理解的是，第一Transformer层、第三池化层和第三激活函数层组成第一支路，用于解决特征信息在网络的传递中容易丢失的问题，完善浅层特征，关注应当关注的区域，并且抑制无关信息。第三卷积层、第四池化层和第四激活函数层组成第二支路，能够降维以实现高效计算，在不同的通道上进行线性组合来整合信息，且用于为第一支路补充信息。
在一些实施例的步骤S306中，通过融合块对第一子通道目标特征向量、第二子通道目标特征向量和第三子通道目标特征向量进行向量融合，得到目标人脸融合特征向量。融合块包括顺序连接的拼接层、第二Transformer层、融合第一卷积层、下采样层、展平层、融合第二卷积层和第六激活函数层，步骤S306具体包括：
通过拼接层对第一子通道目标特征向量、第二子通道目标特征向量和第三子通道目标特征向量进行向量拼接，得到第一拼接人脸特征向量；
通过第二Transformer层对第一拼接人脸特征向量进行特征提取，得到第二拼接人脸特征向量；
通过融合第一卷积层对第二拼接人脸特征向量进行通道数增加，得到第三拼接人脸特征向量；
通过下采样层对第三拼接人脸特征向量进行下采样处理，得到第四拼接人脸特征向量；
通过展平层对第四拼接人脸特征向量进行特征展平，得到第五拼接人脸特征向量；
通过融合第二卷积层对第五拼接人脸特征向量进行卷积处理，得到第六拼接人脸特征向量；
通过第六激活函数层对第六拼接人脸特征向量进行激活处理，得到目标人脸融合特征向量。
具体地，拼接层使用Concat操作对不同的特征进行拼接，接下来的层是第二Transformer层，融合第一卷积层和下采样层。其中，融合第一卷积层将通道数增大两倍，下采样操作将特征图大小变为源人脸图像的1/2。参照图10，该异构卷积模型可包括四层，经过4次下采样之后，特征维度变为原来特征的1/16。再经过4次下采样之后得到的是64×64×256的特征，依次利用展平层的Flatten操作对特征进行展平操作、再通过融合第二卷积层进行3×3卷积层的操作，得到的是一个18×512维的特征向量。将这个特征向量作为生成器的输入，可以完成人脸的重建。得到的人脸图像身份一致性和图像细节保持良好，分辨率能够做到和原图一致。
步骤S104，将目标人脸融合特征向量输入至预设的生成器进行人脸重建，得到目标人脸图像；目标人脸图像用于表示预设对象的重建人脸图像。
具体地，本申请实施例的生成器可为人脸生成模型StyleGAN2(又可称StyleGAN2G)，还可以是基于StyleGAN模型的其他变形模型。
在另一实施例中，生成器可以预先通过以下过程训练：
获取预设样本对象的样本源人脸图像；
将样本源人脸图像输入至预设的三维人脸模型进行人脸建模处理，得到样本三维人脸先验特征；其中，样本三维人脸先验特征用于表示：预设样本对象的人脸身份特征；
对样本源人脸图像进行特征提取，得到样本源人脸图像特征；
将样本三维人脸先验特征和源人脸图像特征输入至预设的异构卷积模型进行人脸局部特征细化处理，得到样本目标人脸融合特征向量；
将样本目标人脸融合特征向量输入至预设的生成器进行人脸重建，得到样本目标人脸图像；样本目标人脸图像用于表示预设样本对象的重建人脸图像；
通过预设的特征提取模型对样本源人脸图像进行中间特征提取，得到样本源人脸中间特征；并通过特征提取模型对所述样本目标人脸图像进行中间特征提取，得到样本目标人脸中间特征；
根据样本源人脸中间特征和所述样本目标人脸中间特征进行均方误差计算，得到图像感知损失数据；
根据图像感知损失数据调整生成器的参数。
具体地，输入包括源人脸图像特征x和三维人脸先验特征
Figure BDA0004067710760000155
生成器输出则定义为：
Figure BDA0004067710760000151
DHN(·)为异构卷积模型，G(·)为StyleGAN2的生成器。
通过预先训练的VGG-19网络作为特征提取模型进行中间特征提取，得到样本源人脸中间特征和样本目标人脸中间特征。也可以通过VGG-16进行中间特征提取。具体地，VGG-16包含了16个隐藏层(13个卷积层和3个全连接层)，VGG-19包含了19个隐藏层(16个卷积层和3个全连接层)。
例如，通过VGG-19网络从样本目标人脸图像和样本源人脸图像中计算以下层的中间特征:4、9、18、27和36。然后，计算这些中间特征之间的均方损失作为感知损失，得到图像感知损失数据。图像感知损失数据如公式(3)所示。
Figure BDA0004067710760000152
需要说明的是，模型训练过程中的损失函数除了上述的图像感知损失数据，还包括图像像素损失数据和图像相似度损失数据。具体地，本申请实施例利用逐像素的L2损失，对样本源人脸图像和样本目标人脸图像提取特征，计算特征之间，样本目标人脸图像和样本源人脸图像的L2损失：
Figure BDA0004067710760000153
还引入了一个专用的识别损失来测量样本目标人脸图像和样本源人脸图像之间的余弦相似性：
Figure BDA0004067710760000154
其中，R是预训练的人脸识别模型：ArcFace网络。
本申请实施例的总损失函数定义为：
L(x)＝λ1L2(x)+λ2LLPIPS(x)+λ3LID(x) (6)
其中λ1、λ2、λ3是定义损失权重的常数，在本申请实施例中分别设置为1.0，0.8，0.1。通过总损失函数调整生成器的参数，直至损失函数收敛，完成对生成器的训练。
本申请实施例设计了一种人脸图像生成方法，具体为通过三个不同的阶段来进行人脸图像生成。第一阶段为利用三维人脸模型获得对应源人脸图像的三维人脸先验特征。将三维人脸先验特征和源人脸图像作为第二阶段的异构卷积模型的输入，通过利用三维人脸先验特征作为几何先验知识进行特征融合，大大降低了后续在异构卷积模型中的学习难度，同时可以充分保持人脸身份的一致性。第二阶段为异构卷积模型，通过对输入特征进行通道切分，降低通道数并采用不同的处理块进行特征处理，大大减小了模型的参数量，并且由于其计算过程是并行的，不存在延迟，这有效的提升了网络的计算效率。第三阶段为利用预训练的StyleGAN2的生成器进行人脸图像生成，在这里本申请利用率多层感知损失去计算目标人脸图像和源人脸图像的中间损失，这有效提高了图像质量。
以下为本申请的具体应用示例：
请参照图10，图10为本申请实施例提供的异构卷积模型的结构示意图。切分块包括第一切分层(Slice)、第二切分层(Slice)、第三切分层(Slice)和第四切分层(Slice)。第一处理块包括第一卷积层(3×3Conv)、第一池化层(Pooling)和第一激活函数层(GeLU)。第二处理块包括动态卷积层(Dynamic Convolution)、第二池化层(Pooling)和第二激活函数层(GeLU)。第三处理块包括第一Transformer层(Transformer)、第三池化层(Pooling)、第三激活函数层(GeLU)、第三卷积层(1×1Conv)、第四池化层(Pooling)、第四激活函数层(GeLU)、第四卷积层(Conv)和第五激活函数层(GeLU)。融合块包括顺序连接的拼接层(Concat)、第二Transformer层、融合第一卷积层(Conv)、下采样层(Downsampling)、展平层(Flatten)、融合第二卷积层(Conv)和第六激活函数层(GeLU)。
例如：预设对象的源人脸图像大小为1024×1024，首先利用三维人脸3D模型对源人脸图像提取三维人脸先验特征。将源人脸图像经过3×3卷积之后，得到源人脸图像特征。将三维人脸先验特征和源人脸图像特征共同作为异构卷积模型的输入。异构卷积模型包括输入块、切分块、第一处理块、第二处理块、第三处理块、融合块、输出块。输入块用于将三维人脸先验特征和源人脸图像特征进行特征融合，得到初始人脸融合特征向量。切分块将初始人脸融合特征向量(特征维度为1024×1024×16)的通道平均分成四份，得到第一子通道初始特征向量(特征维度为1024×1024×4)、第二子通道初始特征向量(特征维度为1024×1024×4)、第三子通道初始特征向量(特征维度为1024×1024×4)、第四子通道初始特征向量(特征维度为1024×1024×4)。通过第一处理块对第一子通道初始特征向量进行特征处理，得到第一子通道目标特征向量；通过第二处理块对第二子通道初始特征向量进行特征处理，得到第二子通道目标特征向量；通过第三处理块对第三子通道初始特征向量和第四子通道初始特征向量进行特征处理，得到第三子通道目标特征向量。之后通过融合块将第一子通道目标特征向量、第二子通道目标特征向量、第三子通道目标特征向量进行融合，得到目标人脸融合特征向量(特征维度为18×512)，目标人脸融合特征向量作为StyleGAN2生成器的输入，输出为一副重建的人脸图像，即得到预设对象的目标人脸图像。
还需要说明的是，本申请实施例至少存在以下优点：
1)提出的三维人脸先验是利用三维人脸模型对源人脸图像进行渲染得到的,可以解决人脸身份信息保持难的问题，同时降低了网络的学习的难度。
2)提出的异构卷积网络包括切分块、第一处理块、第二处理块、第三处理块和融合块，解决传统方法训练具有较高的代价、模型参数量大、网络运行效率低问题。其中，第一处理块由第一卷积层、第一激活函数层(以避免线性表达能量不够)、第一池化层组成，解决模型参数量大的问题，更深的网络增加了非线性的表达能力。第二处理块由权重计算层、第二卷积层、第二激活函数层和第二池化层组成，解决网络表达能力有限，模型性能较低的问题，能够在不增加网络深度或宽度的情况下增加模型的表达能力。第三处理块包括第一Transformer层、第三激活函数层、第三池化层、第三卷积层、第四激活函数层、第四池化层、第四卷积层和第五激活函数层，解决特征信息在网络的传递中容易丢失的问题，完善浅层特征，关注应当关注的区域，并且抑制无关信息。还能够降维以实现高效计算，在不同的通道上进行线性组合来整合信息。
3)提出的感知损失是利用预训练的VGG-19网络计算目标人脸图像和源人脸图像的中间特征损失，使得生成人脸图像的浅层特征到深层特诊与真实人脸图像的浅层特征到深层特征更为相似，比起传统的感知损失更加合理和有效，解决生成图像质量低的问题。
4)本申请同时适用于低分辨率人脸图像和高分辨率人脸图像的生成。
本申请实施例还提供了电子设备，电子设备包括：存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线，程序被处理器执行时实现上述基于生成对抗网络的视频生成方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
请参阅图11，图11示意了另一实施例的电子设备的硬件结构，电子设备包括：
处理器701，可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；
存储器702，可以采用只读存储器(Read Only Memory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(Random Access Memory，RAM)等形式实现。存储器702可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器702中，并由处理器701来调用执行本申请实施例的基于生成对抗网络的视频生成方法；
输入/输出接口703，用于实现信息输入及输出；
通信接口704，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；
总线705，在设备的各个组件(例如处理器701、存储器702、输入/输出接口703和通信接口704)之间传输信息；
其中处理器701、存储器702、输入/输出接口703和通信接口704通过总线705实现彼此之间在设备内部的通信连接。
本申请实施例还提供了存储介质，存储介质为计算机可读存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述人脸图像生成方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例提供的人脸图像生成方法、电子设备及存储介质，通过三维人脸模型保留源人脸图像的身份特征，得到三维人脸先验特征；然后通过异构卷积模型对三维人脸先验特征和源人脸图像特征进行局部特征细化处理，得到目标人脸融合特征向量；再将目标人脸融合特征向量输入至预设的生成器进行人脸重建，得到目标人脸图像；目标人脸图像用于表示预设对象的重建人脸图像。该目标人脸图像既保留了与源人脸图像一致的身份特征，且对图像的局部特征进行了细化，例如改变姿态特征、表情特征、肤色特征、人脸光线特征、皮肤状态特征等局部特征。综上所述，本申请实施例在保证人脸图像的身份一致性的情况下，能够改变人脸图像的局部细节，从而得到高质量的重建人脸图像。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图3-9中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims (10)

1.一种人脸图像生成方法，其特征在于，所述方法包括：
获取预设对象的源人脸图像；
将所述源人脸图像输入至预设的三维人脸模型进行人脸建模处理，得到三维人脸先验特征；其中，所述三维人脸先验特征用于表示：所述预设对象的人脸身份特征；
对所述源人脸图像进行特征提取，得到源人脸图像特征；
将所述三维人脸先验特征和所述源人脸图像特征输入至预设的异构卷积模型进行人脸局部特征细化处理，得到目标人脸融合特征向量；
将所述目标人脸融合特征向量输入至预设的生成器进行人脸重建，得到候选人脸图像；
根据所述源人脸图像和所述候选人脸图像计算感知损失，根据所述感知损失调整所述生成器，以得到目标人脸图像；所述目标人脸图像用于表示所述预设对象的重建人脸图像。
2.根据权利要求1所述的方法，其特征在于，所述异构卷积模型包括切分块、第一处理块、第二处理块和融合块，所述将所述三维人脸先验特征和所述源人脸图像特征输入至预设的异构卷积模型进行人脸局部特征细化处理，得到目标人脸融合特征向量，包括：
将所述三维人脸先验特征和所述源人脸图像特征进行特征融合，得到初始人脸融合特征向量；
通过所述切分块对所述初始人脸融合特征向量进行通道切分，得到子通道初始特征向量；所述子通道初始特征向量包括第一子通道初始特征向量、第二子通道初始特征向量；
通过所述第一处理块对所述第一子通道初始特征向量进行特征处理，得到第一子通道目标特征向量；
通过所述第二处理块对所述第二子通道初始特征向量进行特征处理，得到第二子通道目标特征向量；
通过所述融合块对所述第一子通道目标特征向量和所述第二子通道目标特征向量进行向量融合，得到所述目标人脸融合特征向量。
3.根据权利要求2所述的方法，其特征在于，所述第一处理块包括第一卷积层、第一池化层和第一激活函数层，所述通过所述第一处理块对所述第一子通道初始特征向量进行特征计算，得到第一子通道目标特征向量，包括：
通过所述第一卷积层对所述第一子通道初始特征向量进行卷积处理，得到第一子通道线性特征向量；
通过所述第一池化层对所述第一子通道线性特征向量进行池化处理，得到第一子通道池化特征向量；
通过所述第一激活函数层对所述第一子通道池化特征向量进行激活处理，得到所述第一子通道目标特征向量。
4.根据权利要求2所述的方法，其特征在于，所述第二处理块包括权重计算层、第二卷积层、第二池化层和第二激活函数层，所述通过所述第二处理块对所述第二子通道初始特征向量进行特征处理，得到第二子通道目标特征向量，包括：
通过所述权重计算层对所述第二子通道初始特征向量进行权重计算，得到权重参数，根据所述权重参数对所述第二卷积层进行参数调整，得到动态卷积层；
通过所述动态卷积层对所述第二子通道初始特征向量进行卷积处理，得到第二子通道线性特征向量；
通过所述第二池化层对所述第二子通道线性特征向量进行池化处理，得到第二子通道池化特征向量；
通过所述第二激活函数层对所述第二子通道池化特征向量进行激活处理，得到所述第二子通道目标特征向量。
5.根据权利要求4所述的方法，其特征在于，所述权重计算层包括顺序连接的全局平均池化单元、第一全连接单元、第一激活函数单元、第二全连接单元和第二激活函数单元，所述通过所述权重计算层对所述第二子通道初始特征向量进行权重计算，得到权重参数，包括：
依次通过所述全局平均池化单元、所述第一全连接单元、所述第一激活函数单元、所述第二全连接单元和所述第二激活函数单元对所述第二子通道初始特征向量进行权重计算，得到所述权重参数。
6.根据权利要求2所述的方法，其特征在于，所述异构卷积模型还包括第三处理块，所述子通道初始特征向量还包括第三子通道初始特征向量、第四子通道初始特征向量，所述第三处理块包括第一Transformer层、第三池化层、第三激活函数层、第三卷积层、第四池化层、第四激活函数层、第四卷积层和第五激活函数层，所述方法还包括：通过所述第三处理块对第三子通道初始特征向量和第四子通道初始特征向量进行特征处理，得到第三子通道目标特征向量，具体包括：
依次通过所述第一Transformer层、所述第三池化层和所述第三激活函数层对所述第三子通道初始特征向量进行特征提取，得到第一子通道潜在特征向量；
依次通过所述第三卷积层、所述第四池化层和所述第四激活函数层对所述第四子通道初始特征向量进行特征提取，得到第二子通道潜在特征向量；
将所述第一子通道潜在特征向量和所述第二子通道潜在特征向量进行拼接，并将拼接后的特征向量依次通过所述第四卷积层和所述第五激活函数层进行特征提取，得到所述第三子通道目标特征向量；
对应的，所述通过所述融合块对所述第一子通道目标特征向量和所述第二子通道目标特征向量进行向量融合，得到所述目标人脸融合特征向量，包括：
通过所述融合块对所述第一子通道目标特征向量、所述第二子通道目标特征向量和所述第三子通道目标特征向量进行向量融合，得到所述目标人脸融合特征向量。
7.根据权利要求6所述的方法，其特征在于，所述融合块包括顺序连接的拼接层、第二Transformer层、融合第一卷积层、下采样层、展平层、融合第二卷积层和第六激活函数层，所述通过所述融合块对所述第一子通道目标特征向量、所述第二子通道目标特征向量和所述第三子通道目标特征向量进行向量融合，得到所述目标人脸融合特征向量，包括：
通过所述拼接层对所述第一子通道目标特征向量、所述第二子通道目标特征向量和所述第三子通道目标特征向量进行向量拼接，得到第一拼接人脸特征向量；
通过所述第二Transformer层对所述第一拼接人脸特征向量进行特征提取，得到第二拼接人脸特征向量；
通过所述融合第一卷积层对所述第二拼接人脸特征向量进行通道数增加，得到第三拼接人脸特征向量；
通过所述下采样层对所述第三拼接人脸特征向量进行下采样处理，得到第四拼接人脸特征向量；
通过所述展平层对所述第四拼接人脸特征向量进行特征展平，得到第五拼接人脸特征向量；
通过所述融合第二卷积层对所述第五拼接人脸特征向量进行卷积处理，得到第六拼接人脸特征向量；
通过所述第六激活函数层对所述第六拼接人脸特征向量进行激活处理，得到所述目标人脸融合特征向量。
8.根据权利要求1-7任一项所述的方法，其特征在于，在将所述目标人脸融合特征向量输入至预设的生成器进行人脸重建，得到候选人脸图像之前，所述方法还包括：
训练所述生成器，具体包括：
获取预设样本对象的样本源人脸图像；
将所述样本源人脸图像输入至预设的三维人脸模型进行人脸建模处理，得到样本三维人脸先验特征；其中，所述样本三维人脸先验特征用于表示：所述预设样本对象的人脸身份特征；
对所述样本源人脸图像进行特征提取，得到样本源人脸图像特征；
将所述样本三维人脸先验特征和所述源人脸图像特征输入至预设的异构卷积模型进行人脸局部特征细化处理，得到样本目标人脸融合特征向量；
将所述样本目标人脸融合特征向量输入至预设的生成器进行人脸重建，得到样本目标人脸图像；所述样本目标人脸图像用于表示所述预设样本对象的重建人脸图像；
通过预设的特征提取模型对所述样本源人脸图像进行中间特征提取，得到样本源人脸中间特征；并通过所述特征提取模型对所述样本目标人脸图像进行中间特征提取，得到样本目标人脸中间特征；
根据所述样本源人脸中间特征和所述样本目标人脸中间特征进行均方误差计算，得到图像感知损失数据；
根据所述图像感知损失数据调整所述生成器的参数。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至8任一项所述的人脸图像生成方法。
10.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的人脸图像生成方法。
CN202310081813.7A 2023-01-31 2023-01-31 人脸图像生成方法、电子设备及计算机可读存储介质 Pending CN116168152A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310081813.7A CN116168152A (zh) 2023-01-31 2023-01-31 人脸图像生成方法、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310081813.7A CN116168152A (zh) 2023-01-31 2023-01-31 人脸图像生成方法、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116168152A true CN116168152A (zh) 2023-05-26

Family

ID=86410805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310081813.7A Pending CN116168152A (zh) 2023-01-31 2023-01-31 人脸图像生成方法、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116168152A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778562A (zh) * 2023-08-22 2023-09-19 中移(苏州)软件技术有限公司 面部验证方法、装置、电子设备及可读储存介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778562A (zh) * 2023-08-22 2023-09-19 中移(苏州)软件技术有限公司 面部验证方法、装置、电子设备及可读储存介质

Similar Documents

Publication Publication Date Title
CN110599395B (zh) 目标图像生成方法、装置、服务器及存储介质
CN110689599B (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN111798400A (zh) 基于生成对抗网络的无参考低光照图像增强方法及系统
CN111402143A (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN111862294B (zh) 基于ArcGAN网络的手绘3D建筑自动上色网络装置及方法
CN112967178B (zh) 一种图像转换方法、装置、设备及存储介质
CN110852940A (zh) 一种图像处理方法及相关设备
US20210077063A1 (en) Generating a simulated image of a baby
CN112258625B (zh) 基于注意力机制的单幅图像到三维点云模型重建方法及系统
CN116958534A (zh) 一种图像处理方法、图像处理模型的训练方法和相关装置
CN111462274A (zh) 一种基于smpl模型的人体图像合成方法及系统
CN113096001A (zh) 图像处理方法、电子设备及可读存储介质
CN116168152A (zh) 人脸图像生成方法、电子设备及计算机可读存储介质
Xu et al. Infrared and visible image fusion using a deep unsupervised framework with perceptual loss
GB2614794A (en) Synthesizing sequences of 3D geometries for movement-based performance
CN115239564A (zh) 一种结合语义信息的矿井图像超分辨率重建方法
CN115424013A (zh) 模型的训练方法、图像处理方法和设备、介质
CN114241558A (zh) 模型的训练方法、视频生成方法和装置、设备、介质
CN116664726B (zh) 视频获取方法、装置和存储介质及电子设备
CN116977169A (zh) 数据处理方法、装置、设备、可读存储介质及程序产品
CN116797768A (zh) 全景图像减少现实的方法和装置
CN114529785A (zh) 模型的训练方法、视频生成方法和装置、设备、介质
CN114943799A (zh) 一种面部图像处理方法、装置和计算机可读存储介质
CN113538254A (zh) 图像恢复方法、装置、电子设备及计算机可读存储介质
CN116958451B (zh) 模型处理、图像生成方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination