CN113763366A - 一种换脸方法、装置、设备及存储介质 - Google Patents

一种换脸方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113763366A
CN113763366A CN202111063896.4A CN202111063896A CN113763366A CN 113763366 A CN113763366 A CN 113763366A CN 202111063896 A CN202111063896 A CN 202111063896A CN 113763366 A CN113763366 A CN 113763366A
Authority
CN
China
Prior art keywords
modulation
module
attribute
identity
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111063896.4A
Other languages
English (en)
Other versions
CN113763366B (zh
Inventor
唐吉霖
袁燚
胡志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202111063896.4A priority Critical patent/CN113763366B/zh
Publication of CN113763366A publication Critical patent/CN113763366A/zh
Application granted granted Critical
Publication of CN113763366B publication Critical patent/CN113763366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种换脸方法、装置、设备及存储介质，涉及图像处理技术领域。该方法包括：该方法包括：将源图像输入预先训练得到的换脸模型中的多层次身份编码器，得到源图像对应的多个身份特征向量，源图像中包括源人脸；将目标图像输入该换脸模型中的多层次属性编码器，得到该目标图像对应的多个属性特征图，目标图像中包括待转换的目标人脸；将各身份特征向量以及各属性特征图输入该换脸模型中的图像生成器，经该图像生成器中的多个级联的特征调制模块依次融合后，得到换脸图像，该换脸图像中包括该源人脸，且该源人脸具有该目标人脸的属性特征。应用本申请实施例，可以使生成的换脸图像质量得到提高。

Description

一种换脸方法、装置、设备及存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种换脸方法、装置、设备及存储介质。
背景技术
近年来，随着人脸合成技术的发展，换脸技术得到了广泛的应用。换脸是指用源图像中的人脸区域替换目标图像中的人脸区域以改变目标图像的身份特征，同时保留目标图像中的属性特征，如头部姿态、面部表情等。
目前，主要采用基于特征解耦的技术来将源图像中的人脸区域替换到目标图像中，虽然该技术能够实现换脸任务，但是并未考虑源图像对应的多层身份特征，这样会使生成的换脸图像质量降低。
发明内容
本申请的目的在于，针对上述现有技术中的不足，提供一种换脸方法、装置、设备及存储介质，可以使生成的换脸图像质量得到提高。
为实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供了一种换脸方法，所述方法包括：
将源图像输入预先训练得到的换脸模型中的多层次身份编码器，得到所述源图像对应的多个身份特征向量，其中，所述多层次身份编码器中包括多个卷积层，各所述身份特征向量分别由所述多层次身份编码器中的一个卷积层处理得到，所述源图像中包括源人脸；
将目标图像输入所述换脸模型中的多层次属性编码器，得到所述目标图像对应的多个属性特征图，其中，所述多层次属性编码器中包括多个卷积层，各所述属性特征图分别由所述多层次属性编码器中的一个或多个卷积层处理得到，所述目标图像中包括待转换的目标人脸；
将各所述身份特征向量以及各所述属性特征图输入所述换脸模型中的图像生成器，经所述图像生成器中的多个级联的特征调制模块依次融合后，得到换脸图像，所述换脸图像中包括所述源人脸，且所述源人脸具有所述目标人脸的属性特征。
可选地，所述图像生成器中的各所述特征调制模块分别包括属性调制模块以及特征融合模块，其中，所述属性调制模块包括属性关系模块、属性调制参数修订模块以及属性调制特征图生成模块；
所述将各所述身份特征向量以及各所述属性特征图输入所述换脸模型中的图像生成器，经所述图像生成器中的多个级联的特征调制模块依次融合后，得到换脸图像，包括：
将第一属性特征图以及第一输入特征图输入第一特征调制模块中的所述属性关系模块，得到属性关系特征图，所述属性关系模块用于获取已加入的属性特征与未加入的属性特征之间的关联性，所述第一属性特征图为与所述第一特征调制模块对应的属性特征图，所述第一输入特征图为所述第一特征调制模块的前一特征调制模块输出的特征图，所述第一特征调制模块为所述多个级联的特征调制模块中的任一特征调制模块；
将所述属性关系特征图以及与所述第一属性特征图关联的初始属性调制参数特征图输入所述属性调制参数修订模块，得到目标属性调制参数特征图；
将所述目标属性调制参数特征图以及所述第一输入特征图输入所述属性调制特征图生成模块，得到属性调制特征图；
将所述属性调制特征图以及目标身份调制特征图输入所述特征融合模块，得到所述第一特征调制模块输出的融合后特征图，所述融合后特征图用于输入所述第一特征调制模块之后的特征调制模块进行融合，其中，所述目标身份调制特征图基于对第一身份特征向量进行身份调制后得到，所述第一身份特征向量为与所述第一特征调制模块对应的身份特征向量。
可选地，所述图像生成器中的各所述特征调制模块还分别包括身份调制模块，其中，所述身份调制模块包括身份关系模块、身份调制参数修订模块以及身份调制特征图生成模块；
所述将所述属性调制特征图以及目标身份调制特征图输入所述特征融合模块，得到所述第一特征调制模块输出的融合后特征图之前，还包括：
将所述第一身份特征向量以及所述第一输入特征图输入所述第一特征调制模块中的所述身份关系模块，得到身份关系特征图，所述身份关系模块用于获取已加入的身份特征与未加入的身份特征之间的关联性；
将所述身份关系特征图以及与所述第一身份特征向量关联的初始身份调制参数特征图输入所述身份调制参数修订模块，得到目标身份调制参数特征图；
将所述目标身份调制参数特征图以及所述第一输入特征图输入所述身份调制特征图生成模块，得到所述目标身份调制特征图。
可选地，所述特征融合模块包括相互关系模块，所述相互关系模块包括：第一处理模块和第二处理模块；
所述将所述属性调制特征图以及所述目标身份调制特征图输入所述特征融合模块，得到所述第一特征调制模块输出的融合后特征图，包括：
将所述属性调制特征图输入所述相互关系模块中的所述第一处理模块，得到总属性调制特征图；
将所述目标身份调制特征图输入所述相互关系模块中的所述第二处理模块，得到总身份调制特征图；
对所述总属性调制特征图和所述总身份调制特征图进行拼接，得到所述相互关系模块输出的相互关系特征图；
根据所述相互关系特征图、所述属性调制特征图以及所述目标身份调制特征图，得到所述第一特征调制模块输出的融合后特征图。
可选地，所述根据所述相互关系特征图、所述属性调制特征图以及所述目标身份调制特征图，得到所述第一特征调制模块输出的融合后特征图，包括：
对所述相互关系特征图以及所述属性调制特征图进行卷积操作，得到第一特征图；
对所述相互关系特征图以及所述目标身份调制特征图进行卷积操作，得到第二特征图；
分别将所述第一特征图以及所述第二特征图匹配层上的元素相加，得到所述第一特征调制模块输出的融合后特征图。
可选地，所述第一处理模块包括第一金字塔池化模块、第一上采样模块；所述将所述属性调制特征图输入所述相互关系模块中的所述第一处理模块，得到总属性调制特征图，包括：
将所述属性调制特征图输入所述第一金字塔池化模块，得到多个不同分辨率的子属性调制特征图；
将各所述不同分辨率的子属性调制特征图分别输入所述第一上采样模块，得到与所述属性调制特征图分辨率一致的子属性调制特征图；
将所述属性调制特征图与各所述子属性调制特征图拼接，得到所述总属性调制特征图。
可选地，所述第二处理模块包括第二金字塔池化模块、第二上采样模块；所述将所述目标身份调制特征图输入所述相互关系模块中的所述第二处理模块，得到总身份调制特征图，包括：
将所述目标身份调制特征图输入所述第二金字塔池化模块，得到多个不同分辨率的子身份调制特征图；
将各所述不同分辨率的子身份调制特征图分别输入所述第二上采样模块，得到与所述目标身份调制特征图分辨率一致的子身份调制特征图；
将所述目标身份调制特征图与各所述子身份调制特征图拼接，得到所述总身份调制特征图。
可选地，所述属性关系模块包括第三金字塔池化模块、第三上采样模块；
所述将第一属性特征图以及第一输入特征图输入第一特征调制模块中的所述属性关系模块，得到属性关系特征图，包括：
将所述第一输入特征图输入所述第三金字塔池化模块，得到多个不同分辨率的子输入特征图；
将各所述不同分辨率的子输入特征图分别输入所述第三上采样模块，得到与所述第一输入特征图分辨率一致的子输入特征图；
将所述输入特征图与各所述子输入特征图拼接，得到总输入特征图；
对所述第一属性特征图以及所述总输入特征图进行拼接，得到所述属性关系特征图。
可选地，所述身份关系模块包括全局平均池化模块；
所述将所述第一身份特征向量以及所述第一输入特征图输入所述第一特征调制模块中的所述身份关系模块，得到身份关系特征图，包括：
将所述第一输入特征图输入所述全局平均池化模块，得到输入特征向量；
对所述输入特征向量以及所述第一身份特征向量进行拼接，得到所述身份关系特征图。
第二方面，本申请实施例还提供了一种换脸装置，所述装置包括：
第一输入模块，用于将源图像输入预先训练得到的换脸模型中的多层次身份编码器，得到所述源图像对应的多个身份特征向量，其中，所述多层次身份编码器中包括多个卷积层，各所述身份特征向量分别由所述多层次身份编码器中的一个卷积层处理得到，所述源图像中包括源人脸；
第二输入模块，用于将目标图像输入所述换脸模型中的多层次属性编码器，得到所述目标图像对应的多个属性特征图，其中，所述多层次属性编码器中包括多个卷积层，各所述属性特征图分别由所述多层次属性编码器中的一个或多个卷积层处理得到，所述目标图像中包括待转换的目标人脸；
融合模块，用于将各所述身份特征向量以及各所述属性特征图输入所述换脸模型中的图像生成器，经所述图像生成器中的多个级联的特征调制模块依次融合后，得到换脸图像，所述换脸图像中包括所述源人脸，且所述源人脸具有所述目标人脸的属性特征。
可选地，所述图像生成器中的各所述特征调制模块分别包括属性调制模块以及特征融合模块，其中，所述属性调制模块包括属性关系模块、属性调制参数修订模块以及属性调制特征图生成模块；
相应地，所述融合模块，具体用于将第一属性特征图以及第一输入特征图输入第一特征调制模块中的所述属性关系模块，得到属性关系特征图，所述属性关系模块用于获取已加入的属性特征与未加入的属性特征之间的关联性，所述第一属性特征图为与所述第一特征调制模块对应的属性特征图，所述第一输入特征图为所述第一特征调制模块的前一特征调制模块输出的特征图，所述第一特征调制模块为所述多个级联的特征调制模块中的任一特征调制模块；将所述属性关系特征图以及与所述第一属性特征图关联的初始属性调制参数特征图输入所述属性调制参数修订模块，得到目标属性调制参数特征图；将所述目标属性调制参数特征图以及所述第一输入特征图输入所述属性调制特征图生成模块，得到属性调制特征图；将所述属性调制特征图以及目标身份调制特征图输入所述特征融合模块，得到所述第一特征调制模块输出的融合后特征图，所述融合后特征图用于输入所述第一特征调制模块之后的特征调制模块进行融合，其中，所述目标身份调制特征图基于对第一身份特征向量进行身份调制后得到，所述第一身份特征向量为与所述第一特征调制模块对应的身份特征向量。
可选地，所述图像生成器中的各所述特征调制模块还分别包括身份调制模块，其中，所述身份调制模块包括身份关系模块、身份调制参数修订模块以及身份调制特征图生成模块；
相应地，所述装置还包括：调制模块；所述调制模块，用于将所述第一身份特征向量以及所述第一输入特征图输入所述第一特征调制模块中的所述身份关系模块，得到身份关系特征图，所述身份关系模块用于获取已加入的身份特征与未加入的身份特征之间的关联性；将所述身份关系特征图以及与所述第一身份特征向量关联的初始身份调制参数特征图输入所述身份调制参数修订模块，得到目标身份调制参数特征图；将所述目标身份调制参数特征图以及所述第一输入特征图输入所述身份调制特征图生成模块，得到所述目标身份调制特征图。
可选地，所述特征融合模块包括相互关系模块，所述相互关系模块包括：第一处理模块和第二处理模块；
相应地，所述融合模块，具体用于将所述属性调制特征图输入所述相互关系模块中的所述第一处理模块，得到总属性调制特征图；将所述目标身份调制特征图输入所述相互关系模块中的所述第二处理模块，得到总身份调制特征图；对所述总属性调制特征图和所述总身份调制特征图进行拼接，得到所述相互关系模块输出的相互关系特征图；根据所述相互关系特征图、所述属性调制特征图以及所述目标身份调制特征图，得到所述第一特征调制模块输出的融合后特征图。
可选地，所述融合模块，还具体用于对所述相互关系特征图以及所述属性调制特征图进行卷积操作，得到第一特征图；对所述相互关系特征图以及所述目标身份调制特征图进行卷积操作，得到第二特征图；分别将所述第一特征图以及所述第二特征图匹配层上的元素相加，得到所述第一特征调制模块输出的融合后特征图。
可选地，所述第一处理模块包括第一金字塔池化模块、第一上采样模块；
相应地，所述融合模块，还具体用于将所述属性调制特征图输入所述第一金字塔池化模块，得到多个不同分辨率的子属性调制特征图；将各所述不同分辨率的子属性调制特征图分别输入所述第一上采样模块，得到与所述属性调制特征图分辨率一致的子属性调制特征图；将所述属性调制特征图与各所述子属性调制特征图拼接，得到所述总属性调制特征图。
可选地，所述第二处理模块包括第二金字塔池化模块、第二上采样模块；
相应地，所述融合模块，还具体用于将所述目标身份调制特征图输入所述第二金字塔池化模块，得到多个不同分辨率的子身份调制特征图；将各所述不同分辨率的子身份调制特征图分别输入所述第二上采样模块，得到与所述目标身份调制特征图分辨率一致的子身份调制特征图；将所述目标身份调制特征图与各所述子身份调制特征图拼接，得到所述总身份调制特征图。
可选地，所述属性关系模块包括第三金字塔池化模块、第三上采样模块；
相应地，所述融合模块，还具体用于将所述第一输入特征图输入所述第三金字塔池化模块，得到多个不同分辨率的子输入特征图；
将各所述不同分辨率的子输入特征图分别输入所述第三上采样模块，得到与所述第一输入特征图分辨率一致的子输入特征图；将所述输入特征图与各所述子输入特征图拼接，得到总输入特征图；对所述第一属性特征图以及所述总输入特征图进行拼接，得到所述属性关系特征图。
可选地，所述身份关系模块包括全局平均池化模块；
相应地，所述融合模块，还具体用于将所述第一输入特征图输入所述全局平均池化模块，得到输入特征向量；对所述输入特征向量以及所述第一身份特征向量进行拼接，得到所述身份关系特征图。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行上述第一方面的所述换脸方法的步骤。
第四方面，本申请实施例提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面的所述换脸方法的步骤。
本申请的有益效果是：
本申请实施例提供一种换脸方法、装置、设备及存储介质，该方法包括：将源图像输入预先训练得到的换脸模型中的多层次身份编码器，得到源图像对应的多个身份特征向量，该源图像中包括源人脸；将目标图像输入该换脸模型中的多层次属性编码器，得到该目标图像对应的多个属性特征图，该目标图像中包括待转换的目标人脸；将各身份特征向量以及各属性特征图输入该换脸模型中的图像生成器，经该图像生成器中的多个级联的特征调制模块依次融合后，得到换脸图像，该换脸图像中包括该源人脸，且该源人脸具有该目标人脸的属性特征。采用本申请实施例提供的换脸方法，利用多层次身份编码器中的多个卷积层充分提取多层次下的人脸身份信息，通过图像生成器中的各特征调制模块依次对不同层次下对应的人脸身份信息以及人脸属性信息进行完全融合处理，这样可以使图像生成器生成的换脸图像上更完整的保留源图像上源人脸的人脸身份信息，即可以使生成的换脸图像质量得到提高。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种换脸方法的流程示意图；
图2为本申请实施例提供的一种换脸模型的结构示意图；
图3为本申请实施例提供的另一种换脸方法的流程示意图；
图4为本申请实施例提供的一种第一特征调制模块的结构示意图；
图5为本申请实施例提供的又一种换脸方法的流程示意图；
图6为本申请实施例提供的另一种第一特征调制模块的结构示意图；
图7为本申请实施例提供的再一种换脸方法的流程示意图；
图8为本申请实施例提供的一种换脸方法的流程示意图；
图9为本申请实施例提供的另一种换脸方法的流程示意图；
图10为本申请实施例提供的一种相互关系模块的结构示意图；
图11为本申请实施例提供的一种属性关系模块的结构示意图；
图12为本申请实施例提供的一种身份关系模块的结构示意图；
图13为本申请实施例提供的一种换脸装置的结构示意图；
图14为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
申请人经研究发现，传统的换脸技术将源图像输入卷积神经网络进行处理后，仅将处于最深层的卷积层(即卷积神经网络最后一层的卷积层)输出的身份特征向量来表示源图像的身份信息，并未考虑源图像中的多层身份特征，申请人在此基础上，提出本申请技术方案，通过本申请技术方案可以使最后换脸生成的换脸图像的质量得到提高，也就是说，该换脸图像中完整的包含了源图像中的身份特征。
在对本申请实施例进行详细解释之前，首先对本申请的应用场景予以介绍。该应用场景具体可以为一种2D智能换脸场景，2D智能换脸是一种典型的将人脸编辑的图像进行合成的技术，本申请所提供的技术方案可应用在文化旅游、影视制作、虚拟现实、AI安全与隐私保护等领域中。
可将本申请提到的换脸方法分为两个阶段，第一阶段为训练模型阶段：首先需要构建初始换脸模型的神经网络结构，该神经网络结构可参考本申请实施例中的神经网络结构，该初始换脸模型的结构中包括初始多层次身份编码器、初始多层次属性编码器以及初始图像生成器。将预先构建的训练样本中的源图像样本以及目标图像样本作为初始换脸模型的输入，将训练样本中的换脸图像样本作为初始换脸模型的输出，在满足训练停止条件时，训练得到换脸模型，该换脸模型中包括多层次身份编码器、多层次属性编码器以及图像生成器，多层次身份编码器、多层次属性编码器分别与图像生成器连接；第二阶段为应用模型阶段：将源图像输入多层次身份编码器，多层次身份编码器在对源图像进行处理后，生成该源图像对应的多个身份特征向量，将目标图像输入多层次属性编码器，多层次属性编码器在对该目标图像进行处理后，生成该目标图像对应的多个属性特征图，多层次身份编码器以及多层次属性编码器将生成的身份特征向量以及属性特征图像分别输入图像生成器中对应的特征调制模中，经多个级联的特征调制模块依次融合特征后，可得到该图像生成器输出的换脸图像。
如下结合附图对本申请所提到的换脸方法进行示例说明。图1为本申请实施例提供的一种换脸方法的流程示意图，如图1所示，该方法包括：
S101、将源图像输入预先训练得到的换脸模型中的多层次身份编码器，得到源图像对应的多个身份特征向量。
其中，该多层次身份编码器中包括多个卷积层，各身份特征向量分别由多层次身份编码器中的一个卷积层处理得到，该源图像中包括源人脸。
首先，在将源图像输入预先训练得到的换脸模型中的多层次身份编码器之前，可根据预先构建的训练样本对初始换脸模型进行训练，该训练样本中包括作为特征的样本以及作为标签的样本，其中，作为特征的样本中有源图像样本以及目标图像样本，作为标签的样本中包括换脸图像样本，换脸图像样本的人脸区域中的身份信息为来自源图像样本中的身份特征(如脸型、眉毛走向)，属性信息为来自目标图像样本中的属性特征(如面部表情、妆容)。
初始换脸模型中包括初始多层次身份编码器、初始多层次属性编码器以及初始图像生成器，其中，该初始图像生成器中包括多个级联的特征调制模块，将训练样本中的特征样本作为该初始换脸模型的输入，将训练样本中的标签样本作为该初始换脸模型的输出，在训练该初始换脸模型的过程中，不断的将模型生成的图像与标签样本进行比较，利用预先设置的损失函数计算两者之间的偏差，在模型训练的过程中通过梯度下降算法迭代更新、优化换脸模型的可学习参数，在训练的达到最大迭代次数时，训练得到换脸模型。
图2为本申请实施例提供的一种换脸模型的结构示意图。如图2所示，换脸模型200中包括多层次身份编码器201、多层次属性编码器202以及图像生成器203，其中，图像生成器203中包括有多个级联的特征调制模块(Feature Modulation Block，FMB)。
多层次身份编码器201的模型结构具体可为卷积神经网络模型结构，该模型结构中包括多个卷积层(如卷积层1、卷积层2……卷积层n)以及多个全连接层(如全连接层1、全连接层2……全连接层n)。前一个卷积层输出的身份特征图输入后一个卷积层，各卷积层可对应有不同的分辨率参数，进而各卷积层可生成对应宽度(W)、高度(H)以及深度(C)的身份特征图，其中，宽度(W)、高度(H)以及深度(C)与卷积层上卷积核大小以及卷积核个数相关。各卷积层匹配有对应的全连接层，各全连接层将对应的卷积层输出的身份特征图投影、嵌入到相应的特征空间中，得到各卷积层对应的身份特征向量。
具体的，源图像Is204中包括目标人脸，将源图像Is204输入多层次身份编码器201中的首个卷积层，如卷积层1。多层次身份编码器201中的各卷积层可提取出源图像Is204中源人脸不同层次上的身份特征图，多层次身份编码器201中与各卷积层对应的全连接层对身份特征图进行处理，得到源图像Is204对应的多个身份特征向量fid(Is)：
Figure BDA0003257608670000151
其中，
Figure BDA0003257608670000152
表示源图像Is在第K个卷积层下提取到的身份特征向量，如图2所示，本申请将最深层卷积层作为第一个卷积层，当然，也可将首个卷积层作为第一个卷积层，本申请不对其进行限定。
S102、将目标图像输入该换脸模型中的多层次属性编码器，得到该目标图像对应的多个属性特征图。
其中，多层次属性编码器中包括多个卷积层，各属性特征图分别由该多层次属性编码器中的一个或多个卷积层处理得到，该目标图像中包括待转换的目标人脸。
如图2所示，多层次属性编码器202的模型结构具体可为U-Net结构的卷积神经网络模型结构，该模型结构中包括多个卷积层(如卷积层11、卷积层12……卷积层1n)以及多个跳跃层(如跳跃层11、跳跃层12……跳跃层1n)，前一个卷积层输出的初始属性特征图输入后一个卷积层。各卷积层可对应有不同的分辨率参数，各卷积层可提取出目标图像在不同分辨率下的初始属性特征图。各卷积层匹配有对应的跳跃层，各跳跃层根据对应的卷积层输出的初始属性特征图以及前一个跳跃层输出的结果生成属性特征图。
具体的，目标图像It205中包括待转换的目标人脸，将目标图像It205输入多层次属性编码器202中的首个编码器，如卷积层11。多层次属性编码器202中的各跳跃层可生成目标图像It205中目标人脸对应的多个属性特征图fatt(It)：
Figure BDA0003257608670000161
其中，
Figure BDA0003257608670000162
表示目标图片It在第k个跳跃层下对应的属性特征图，如图2所示，本申请将跳跃层作11作为第一个跳跃层，当然也可将跳跃层1n作为第一个跳跃层，本申请不对其进行解释，U-Net结构的卷积神经网络模型的具体内容可参考本领域中的相关内容，此处不再进行解释。
S103、将各身份特征向量以及各属性特征图输入该换脸模型中的图像生成器，经该图像生成器中的多个级联的特征调制模块依次融合后，得到换脸图像，该换脸图像中包括该源人脸，且该源人脸具有该目标人脸的属性特征。
如图2所示，图像生成器203由多个级联的FMB组成，FMB的个数与多层次身份编码器201中的全连接层个数、多层次属性编码器202中的跳跃层个数可一致，即FMB的个数为n个。从图2中可以看出，对于首个FMB来说，该FMB有三个输入，分别为身份特征向量、属性特征图以及与初始身份特征向量，该初始身份特征向量与多层次身份编码器201中某个卷积层输出的身份特征图关联的身份特征向量，图2中以多层次身份编码器201中最后一个卷积层输出的身份特征图对应的特征向量作为初始身份特征向量进行说明，需要说明的是，本申请不对其进行限定。
图像生成器203中的首个FMB将初始身份特征向量、该首个FMB对应的身份特征向量以及属性特征图进行融合后，可将融合后得到的身份特征图输入第二个FMB中，第二个FMB将首个FMB融合后得到的身份特征图、该第二个FMB对应的身份特征向量以及属性特征图进行融合，将融合后得到的身份特征图输入第三个FMB中，以此类推，最终可得到换脸图像Ist206。也就是说，多个级联的FMB将不同层次的身份特征向量以及属性特征图依次融合，得到最终的人脸特征图，该人脸特征图中不仅包括源图像中源人脸的完整身份信息，而且还包括目标图像中目标人脸的完整属性信息，所以通过对该人脸特征图进行解码后，可得到该人脸特征图对应的换脸图像。
综上所述，本申请提供的换脸方法中，利用多层次身份编码器中的多个卷积层充分提取多层次下的人脸身份信息，通过图像生成器中的各特征调制模块依次对不同层次下对应的人脸身份信息以及人脸属性信息进行完全融合处理，这样可以使图像生成器生成的换脸图像上更完整的保留源图像上源人脸的人脸身份信息，即可以使生成的换脸图像质量得到提高。
图3为本申请实施例提供的另一种换脸方法的流程示意图。如图3所示，可选地，该图像生成器中的各特征调制模块分别包括属性调制模块以及特征融合模块，其中，该属性调制模块包括属性关系模块、属性调制参数修订模块以及属性调制特征图生成模块。
上述将各身份特征向量以及各属性特征图输入换脸模型中的图像生成器，经该图像生成器中的多个级联的特征调制模块依次融合后，得到换脸图像，包括：
S301、将第一属性特征图以及第一输入特征图输入第一特征调制模块中的所述属性关系模块，得到属性关系特征图，所述属性关系模块用于获取已加入的属性特征与未加入的属性特征之间的关联性。
其中，第一属性特征图为与第一特征调制模块对应的属性特征图，第一输入特征图为第一特征调制模块的前一特征调制模块输出的特征图，第一特征调制模块为多个级联的特征调制模块中的任一特征调制模块。
举例来说，如图2所示，若第一特征调制模块(FMB)为图像生成器203中的首位FMB，那么该第一属性特征图为多层次属性编码器202中的首个跳跃层(跳跃层11)输出的属性特征图，该第一输入特征图为上述提到的初始身份特征向量，该初始特征向量为与多层次身份编码器201中某个卷积层输出的身份特征图关联的身份特征向量；若第一特征调制模块(FMB)为图像生成器203中的末位FMB，那么该第一属性特征图为多层次属性编码器202中的最后一个跳跃层(跳跃层1n)输出的属性特征图，该第一输入特征图为第(n-1)个特征调制模块输出的特征图，以此类推。
需要说明的是，本申请以多个级联的特征调制模块中的任一特征调制模块(如第一特征调制模块)进行说明，其他特征调制模块的融合操作可参考第一特征调制模块的相关描述，本申请不再进行说明。
图4为本申请实施例提供的一种第一特征调制模块的结构示意图。如图4所示，第一特征调制模块包括属性调制模块401以及特征融合模块402，其中，属性调制模块401可包括属性关系模块4011、属性调制参数修订模块4012以及属性调制特征图生成模块4013，属性关系模块4011与属性调制参数修订模块4012连接，属性调制参数修订模块4012与属性调制特征图生成模块4013连接。
此处以第K个特征调制模块(如第一特征调制模块)来说，如图4所示，第一属性特征图可用第一属性特征图
Figure BDA0003257608670000191
403表示，第一输入特征图为第(K-1)个特征调制模块输出的特征图经过归一化后得到的特征图，可用第一输入特征图
Figure BDA0003257608670000192
404表示，可分别将第一属性特征图
Figure BDA0003257608670000193
403以及第一输入特征图
Figure BDA0003257608670000194
404输入属性关系模块4011中，属性关系模块(Attribute Relation Block，ARB)可将已经加入至第一输入特征图
Figure BDA0003257608670000195
404中的属性特征于与未加入的第一属性特征图
Figure BDA0003257608670000196
403之间的相关性建模为一个属性关系图
Figure BDA0003257608670000197
也就是说，该属性关系图可有效的获取已加入的属性特征与未加入的属性特征之间的关联性。
S302、将该属性关系特征图以及与该第一属性特征图关联的初始属性调制参数特征图输入该属性调制参数修订模块，得到目标属性调制参数特征图。
其中，在对初始换脸模型训练完成后，得到学习参数，即可得到初始属性调制参数特征图，该初始属性调制参数特征图可用
Figure BDA0003257608670000198
和
Figure BDA0003257608670000199
表示，具体的，可将第一属性特征图
Figure BDA00032576086700001910
403分别输入两个并行的卷积层中，这两个卷积层分别对第一属性特征图
Figure BDA00032576086700001911
403进行处理后，得到初始属性调制参数特征图
Figure BDA00032576086700001912
如图4所示，可将属性关系模块4011输出的属性关系特征图
Figure BDA0003257608670000201
以及初始属性调制参数特征图
Figure BDA0003257608670000202
输入属性调制参数修订模块4012中，属性调制参数修订模块4012将属性关系特征图
Figure BDA0003257608670000203
分别与初始属性调制参数特征图
Figure BDA0003257608670000204
初始属性调制参数特征图
Figure BDA0003257608670000205
进行相乘处理，得到目标属性调制参数特征图
Figure BDA0003257608670000206
可以看出，初始属性调制参数特征图
Figure BDA0003257608670000207
中只包含了第一属性特征图
Figure BDA0003257608670000208
403中的属性信息，即只包含了还未加入的目标图像中的属性信息，初始属性调制参数特征图
Figure BDA0003257608670000209
对已经加入的目标图像中的属性信息(即第一输入特征图
Figure BDA00032576086700002010
404中的属性信息)上下文先验信息还不了解，通过利用上述提到的属性关系模块4011可以获取已加入的属性特征与未加入的属性特征之间的关联性，这样目标属性调制参数特征图
Figure BDA00032576086700002011
Figure BDA00032576086700002012
中不仅包含了第一属性特征图
Figure BDA00032576086700002013
403中的属性信息，还包含了第一输入特征图
Figure BDA00032576086700002014
404中的属性信息，进而避免最后生成的换脸图像缺乏整体一致性以及外观合理性的现象。
S303、将目标属性调制参数特征图以及第一输入特征图输入该属性调制特征图生成模块，得到属性调制特征图。
如图4所示，将目标属性调制参数特征图
Figure BDA00032576086700002015
以及第一输入特征图
Figure BDA00032576086700002016
404同时输入属性调制特征图生成模块4013中，调制特征图生成模块4013可对目标属性调制参数特征图
Figure BDA00032576086700002017
以及第一输入特征图
Figure BDA00032576086700002018
404进行如下处理，进而得到属性调制特征图
Figure BDA00032576086700002019
Figure BDA00032576086700002020
S304、将该属性调制特征图以及目标身份调制特征图输入该特征融合模块，得到该第一特征调制模块输出的融合后特征图，该融合后特征图用于输入该第一特征调制模块之后的特征调制模块进行融合。
其中，该目标身份调制特征图基于对第一身份特征向量进行身份调制后得到，该第一身份特征向量为与该第一特征调制模块对应的身份特征向量。
举例来说，如图2所示，若第一特征调制模块(FMB)为图像生成器203中的首位FMB，那么该第一身份特征向量为多层次身份编码器201中的首个全连接层(全连接层1)，即卷积层n输出的身份特征向量；若第一特征调制模块(FMB)为图像生成器203中的末位FMB，那么该第一身份特征向量为多层次身份编码器201中的最后一个全连接层(全连接层n)，即卷积层1输出的身份特征向量，以此类推。
可选地，在一种可实现的实施例中，对第一身份特征向量
Figure BDA0003257608670000211
进行身份调制后得到目标身份调制特征图
Figure BDA0003257608670000212
在另一种可实现的实施例中，可直接将第一身份特征向量
Figure BDA0003257608670000213
作为目标身份调制特征图
Figure BDA0003257608670000214
本申请不对其进行限定。
如图4所示，将属性调制特征图
Figure BDA0003257608670000215
以及目标身份调制特征图
Figure BDA0003257608670000216
输入特征融合模块402，特征融合模块402对两者进行融合处理后，可得到融合后特征图，若第一特征调制模块(FMB)为图像生成器203最后一个特征调制模块，那么将该融合后特征图进行解码后，得到的图像为图像生成器203生成的换脸图像。
通过在第一特征调制模块中的属性调制模块401上添加属性关系模块4011，这样可以使已加入的属性特征与未加入的属性特征之间预先建立自相关性，进而在特征融合模块402进行特征融合后，可以使最终生成的换脸图像上避免出现人脸面部严重扭曲、真实感差的现象，即有效地提高了生成人脸结果的整体一致性和外观合理性。
图5为本申请实施例提供的又一种换脸方法的流程示意图。如图5所示，可选地，该图像生成器中的各所述特征调制模块还分别包括身份调制模块，其中，该身份调制模块包括身份关系模块、身份调制参数修订模块以及身份调制特征图生成模块。
上述将属性调制特征图以及目标身份调制特征图输入该特征融合模块，得到该第一特征调制模块输出的融合后特征图之前，该方法还包括：
S501、将第一身份特征向量以及第一输入特征图输入第一特征调制模块中的身份关系模块，得到身份关系特征图，该身份关系模块用于获取已加入的身份特征与未加入的身份特征之间的关联性。
图6为本申请实施例提供的另一种第一特征调制模块的结构示意图。如图6所示，第一特征调制模块还包括身份调制模块600，其中，身份调制模块600包括身份关系模块601、身份调制参数修订模块602以及身份调制特征图生成模块603，身份关系模块601与身份调制参数修订模块602连接，身份调制参数修订模块602与身份调制特征图生成模块603连接。
继续上述举例，此处还是以第K个特征调制模块(第一特征调制模块)来说，如图6所示，第一身份特征向量可用第一身份特征向量
Figure BDA0003257608670000221
604表示，第一输入特征图为第(K-1)个特征调制模块输出的特征图经过归一化后得到的特征图，可用第一输入特征图
Figure BDA0003257608670000222
404表示，可分别将第一身份特征向量
Figure BDA0003257608670000223
604以及第一输入特征图
Figure BDA0003257608670000224
404输入身份关系模块601中，身份关系模块(Identity Relation Block，IRB)可将已经加入至第一输入特征图
Figure BDA0003257608670000231
404中的身份特征与未加入的第一身份特征向量
Figure BDA0003257608670000232
604之间的相关性建模为一个身份关系特征图
Figure BDA0003257608670000233
也就是说，该身份关系特征图可有效的获取已加入的身份特征与未加入的身份特征之间的关联性。
S502、将该身份关系特征图以及与该第一身份特征向量关联的初始身份调制参数特征图输入该身份调制参数修订模块，得到目标身份调制参数特征图。
其中，在对初始换脸模型训练完成后，得到学习参数，即可得到初始身份调制参数特征图，该初始身份调制参数特征图可用
Figure BDA0003257608670000234
和
Figure BDA0003257608670000235
表示，具体的，可将第一身份特征向量
Figure BDA0003257608670000236
604分别输入两个并行的卷积层中，这两个卷积层可分别对第一身份特征向量
Figure BDA0003257608670000237
604进行处理后，得到初始身份调制参数特征图
Figure BDA0003257608670000238
如图6所示，可将身份关系模块601输出的身份关系特征图
Figure BDA0003257608670000239
以及初始身份调制参数特征图
Figure BDA00032576086700002310
输入身份调制参数修订模块602中，身份调制参数修订模块602分别将身份关系特征图
Figure BDA00032576086700002311
分别与初始身份调制参数特征图
Figure BDA00032576086700002312
初始身份调制参数特征图
Figure BDA00032576086700002313
进行相乘处理，得到目标身份调制参数特征图
Figure BDA00032576086700002314
S503、将目标身份调制参数特征图以第一输入特征图输入身份调制特征图生成模块，得到目标身份调制特征图。
如图6所示，将目标身份调制参数特征图
Figure BDA00032576086700002315
以及第一输入特征图
Figure BDA00032576086700002316
404同时输入身份调制特征图生成模块603中，身份调制特征图生成模块603可对目标身份调制参数特征图
Figure BDA00032576086700002317
以及第一输入特征图
Figure BDA00032576086700002318
404进行如下处理，进而得到目标身份调制特征图
Figure BDA00032576086700002319
Figure BDA00032576086700002320
可以看出，初始身份调制参数特征图
Figure BDA0003257608670000241
中只包含了第一身份特征向量
Figure BDA0003257608670000242
604中的身份信息，即只包含了还未加入的源图像中的属性信息，初始身份调制参数特征图
Figure BDA0003257608670000243
对已加入的源图像中的身份信息(即第一输入特征图
Figure BDA0003257608670000244
404中的身份信息)上下先验信息还不了解，通过上述提到的身份关系模块601输出可以获取已加入的身份特征与未加入的身份特征之间的关联性，这样目标身份调制参数特征图
Figure BDA0003257608670000245
中不仅包含了第一身份特征向量
Figure BDA0003257608670000246
604中的身份信息，而且还包含了第一输入特征图
Figure BDA0003257608670000247
404中的身份信息，进而避免最后得到的换脸图像缺乏整体一致性以及外观合理性的现象。
图7为本申请实施例提供的再一种换脸方法的流程示意图。如图7所示，可选地，该特征融合模块包括相互关系模块，该相互关系模块包括：第一处理模块和第二处理模块。
上述将该属性调制特征图以及目标身份调制特征图输入该特征融合模块，得到该第一特征调制模块输出的融合后特征图，包括：
S701、将该属性调制特征图输入该相互关系模块中的第一处理模块，得到总属性调制特征图。
S702、将该目标身份调制特征图输入该相互关系模块中的第二处理模块，得到总身份调制特征图。
特征融合模块402中包括相互关系模块，相互关系模块中包括第一处理模块和第二处理模块，可以理解的是，相互关系模块(Mutual Relation Block，MRB)是一种对称的结构。第一处理模块可对输入的属性调制特征图
Figure BDA0003257608670000248
进行池化以及上采样处理，将处理后得到的特征图与属性调制特征图
Figure BDA0003257608670000251
进行拼接后，得到总属性调制特征图，第二处理模块可对输入的目标身份调制特征图
Figure BDA0003257608670000252
进行池化以及上采样处理，将处理后得到的特征图与目标身份调制特征图
Figure BDA0003257608670000253
进行拼接后，得到总身份调制特征图。
S703、对该总属性调制特征图和该总身份调制特征图进行拼接，得到该相互关系模块输出的相互关系特征图。
S704、根据该相互关系特征图、该属性调制特征图以及该目标身份调制特征图，得到该第一特征调制模块输出的融合后特征图。
其中，该总属性调制特征图与该总身份调制特征图具有相同的分辨率，其中，该总属性调制特征图的深度信息与该总身份调制特征图中的深度信息相同，举例来说若深度信息为5C，那么拼接后得到的拼接特征图中的深度信息为10C，将该拼接特征图经过卷积层以及激活函数后，可得到相互关系特征图
Figure BDA0003257608670000254
相互关系特征图
Figure BDA0003257608670000255
中的元素相当于权重，用逐元素相加的方式可将属性调制特征图
Figure BDA0003257608670000256
和目标身份调制特征图
Figure BDA0003257608670000257
合并后，将合并结果作为第一特征调制模块输出的融合后特征图。
通过相互关系特征图
Figure BDA0003257608670000258
捕捉已加入的目标图像中的属性特征与已加入的源图像中的身份特征之间的相互关系。
图8为本申请实施例提供的一种换脸方法的流程示意图。如图8所示，可选地，上述根据该相互关系特征图、该属性调制特征图以及该目标身份调制特征图，得到该第一特征调制模块输出的融合后特征图，包括：
S801、对该相互关系特征图以及该属性调制特征图进行卷积操作，得到第一特征图。
S802、对该相互关系特征图以及该目标身份调制特征图进行卷积操作，得到第二特征图。
S803、分别将该第一特征图以及该第二特征图匹配层上的元素相加，得到该第一特征调制模块输出的融合后特征图。
在一种可实现的实施例中，可直接将相互关系特征图
Figure BDA0003257608670000261
中各元素对应的权重1与属性调制特征图
Figure BDA0003257608670000262
中各层特征图上的特征值进行相乘操作
Figure BDA0003257608670000263
得到第一特征图，将相互关系特征图
Figure BDA0003257608670000264
中各元素对应的权重2与目标身份调制特征图
Figure BDA0003257608670000265
中各层特征图上的特征值进行相乘操作
Figure BDA0003257608670000266
得到第二特征图，其中，权重2等于(1-权重1)。该第一特征调制模块输出的融合后特征图
Figure BDA0003257608670000267
与该第一特征图以及该第二特征图之间的关系可用下述公式表示：
Figure BDA0003257608670000268
在另一种可实现的实施例中，可直接将相互关系特征图
Figure BDA0003257608670000269
中各元素对应的权重1与目标身份调制特征图
Figure BDA00032576086700002610
中各层特征图上的特征值进行相乘操作，将相互关系特征图
Figure BDA00032576086700002611
中各元素对应的权重2与属性调制特征图
Figure BDA00032576086700002612
中各层特征图上的特征值进行相乘操作，其他内容可参考上述描述。
图9为本申请实施例提供的另一种换脸方法的流程示意图。如图9所示，可选地，第一处理模块包括第一金字塔池化模块、第一上采样模块，上述将该属性调制特征图输入该相互关系模块中的第一处理模块，得到总属性调制特征图，包括：
S901、将该属性调制特征图输入该第一金字塔池化模块，得到多个不同分辨率的子属性调制特征图。
S902、将各不同分辨率的子属性调制特征图分别输入该第一上采样模块，得到与该属性调制特征图分辨率一致的子属性调制特征图。
S903、将该属性调制特征图与各子属性调制特征图拼接，得到该总属性调制特征图。
参考图10进行说明，图10为本申请实施例提供的一种相互关系模块的结构示意图。如图10所示，可选地，相互关系模块800中的第一处理模块900上包括第一金字塔池化模块1001、第一上采样模块1002，第一金字塔池化模块1001与第一上采样模块1002连接。第一金字塔池化模块1001可进行多尺度金字塔池化操作，举例来说，第一金字塔池化模块1001可包括4个层次的尺度(分辨率)，如1×1,2×2,4×4,6×6，首先将属性调制特征图
Figure BDA0003257608670000271
下采样为符合各层尺寸要求的特征图，每层特征图经过卷积层后可得到与各层对应尺寸的子属性调制特征图，需要说明的是，前一层对应的子属性调制特征图会先与下一层输入的特征图拼接后，再经过卷积层得到该层对应尺寸(分辨率)的子属性调制特征图，在第一金字塔池化模块1001处理完成后，可得到4个不同分辨率的子属性调制特征图。
假设属性调制特征图
Figure BDA0003257608670000272
分辨率为(h×w)，那么第一上采样模块1002可根据属性调制特征图
Figure BDA0003257608670000273
分辨率(h×w)将不同分辨率的子属性调制特征图上采样为同一分辨率的子属性调制特征图，同时将各子属性调制特征图与属性调制特征图
Figure BDA0003257608670000274
进行拼接，得到深度信息为(5C)的总属性调制特征图。需要说明的是，本申请不对第一金字塔池化模块1001中的层次个数进行限定，也不对拼接的顺序进行限定。
可选地，该第二处理模块包括第二金字塔池化模块、第二上采样模块；上述将该目标身份调制特征图输入该相互关系模块中的第二处理模块，得到总身份调制特征图，包括：将该目标身份调制特征图输入该第二金字塔池化模块，得到多个不同分辨率的子身份调制特征图；将各不同分辨率的子身份调制特征图分别输入该第二上采样模块，得到与该目标身份调制特征图分辨率一致的子身份调制特征图；将该目标身份调制特征图与各子身份调制特征图拼接，得到该总身份调制特征图。
如图10所示，相互关系模块800中的第二处理模块1000上包括第二金字塔池化模块1003、第二上采样模块1004，第二金字塔池化模块1003与第二上采样模块1004连接。从图10中可以看出，相互关系模块800为对称结构，第二金字塔池化模块1003对目标身份调制特征图
Figure BDA0003257608670000281
进行金字塔池化的处理过程可参考上述提到的第一金字塔池化模块1001对属性调制特征图
Figure BDA0003257608670000282
进行金字塔池化的处理过程，此处不再进行说明，第二金字塔池化模块1003的层数与第一金字塔池化模块1001层数可一致，第二金字塔池化模块1003可生成多个不同分辨率的子身份调制特征图，第二上采样模块1004对各不同分辨率的子身份调制特征图进行上采样的过程也可参考上述提到的第一上采样模块1002对不同分辨率的子属性调制特征图进行上采样的过程，此处不再进行说明。最后可将具有相同分辨率的子身份调制特征图与目标身份调制特征图
Figure BDA0003257608670000283
进行拼接，得到深度信息为(如5c)的总身份调制特征图。
根据上述得到的总属性调制特征图和总身份调制特征图，可得到相互关系特征图
Figure BDA0003257608670000284
可以看出，属性调制特征图
Figure BDA0003257608670000285
中的每个位置都充分感知目标身份调制特征图
Figure BDA0003257608670000286
在不同分辨率下的全局上下文先验，反之，目标身份调制特征图
Figure BDA0003257608670000291
中的每个位置都充分感知属性调制特征图
Figure BDA0003257608670000292
在不同分辨率下的全局上下文先验，这样可以使最后生成的换脸图像中的身份特征与属性特征更加融合，提高换脸图像中人脸区域的合理性。
可选地，上述属性关系模块包括第三金字塔池化模块、第三上采样模块；上述将第一属性特征图以及第一输入特征图输入第一特征调制模块中的属性关系模块，得到属性关系特征图，包括：
将该第一输入特征图输入该第三金字塔池化模块，得到多个不同分辨率的子输入特征图；将各不同分辨率的子输入特征图分别输入第三上采样模块，得到与第一输入特征图分辨率一致的子输入特征图；将该输入特征图与各子输入特征图拼接，得到总输入特征图；对该第一属性特征图以及该总输入特征图进行拼接，得到该属性关系特征图。
图11为本申请实施例提供的一种属性关系模块的结构示意图，可选地，如图11所示，属性关系模块4011中包括第三金字塔池化模块1101、第三上采样模块1102，第三金字塔池化模块1101与第三上采样模块1102连接。
其中，第三金字塔池化模块1101对输入的第一输入特征图
Figure BDA0003257608670000293
404进行池化处理的过程可参考上述提到的第一金字塔池化模块1001对属性调制特征图
Figure BDA0003257608670000294
进行金字塔池化的处理过程，此处不再进行说明，第三金字塔池化模块1101可生成多个不同分辨率的子输入特征图，第三上采样模块1102对各不同分辨率的子输入特征图进行上采样的过程也可参考上述提到的第一上采样模块1002对不同分辨率的子属性调制特征图进行上采样的过程，此处不再进行说明。最后可将第一属性特征图
Figure BDA0003257608670000295
403与各子输入特征图进行拼接，将拼接后的特征图经过卷积层、激活层后得到属性关系特征图
Figure BDA0003257608670000296
可以看出，第一属性特征图
Figure BDA0003257608670000301
中的每个位置都能充分获取到第一输入特征图
Figure BDA0003257608670000302
在不同分辨率下的全局上下文先验，这样可以提高已加入的属性特征与未加入的属性特征的相关性。
可选地，上述身份关系模块包括全局平均池化模块，上述将该第一身份特征向量以及该第一输入特征图输入该第一特征调制模块中的身份关系模块，得到身份关系特征图，包括：将该第一输入特征图输入该全局平均池化模块，得到输入特征向量；对该输入特征向量以及所述第一身份特征向量进行拼接，得到该身份关系特征图。
图12为本申请实施例提供的一种身份关系模块的结构示意图，可选地，如图12所示，身份关系模块601中包括全局平均池化模块120。
其中，全局平均池化模块120将第一输入特征图
Figure BDA0003257608670000303
404中各层上的特征值进行平均，得到输入特征向量。将第一身份特征向量
Figure BDA0003257608670000304
604与该输入特征向量进行拼接后，将拼接结果经过多层全连接层(如2层)以及激活层后，得到身份关系模块601输出的身份关系特征图
Figure BDA0003257608670000305
图13为本申请实施例提供的一种换脸装置的结构示意图。如图13所示，该装置包括：
第一输入模块1301，用于将源图像输入预先训练得到的换脸模型中的多层次身份编码器，得到源图像对应的多个身份特征向量；
第二输入模块1302，用于将目标图像输入该换脸模型中的多层次属性编码器，得到该目标图像对应的多个属性特征图；
融合模块1303，用于将各身份特征向量以及各属性特征图输入该换脸模型中的图像生成器，经该图像生成器中的多个级联的特征调制模块依次融合后，得到换脸图像，换脸图像中包括源人脸，且该源人脸具有该目标人脸的属性特征。
可选地，该图像生成器中的各特征调制模块分别包括属性调制模块以及特征融合模块，其中，属性调制模块包括属性关系模块、属性调制参数修订模块以及属性调制特征图生成模块；
相应地，融合模块1303，具体用于将第一属性特征图以及第一输入特征图输入第一特征调制模块中的属性关系模块，得到属性关系特征图，属性关系模块用于获取已加入的属性特征与未加入的属性特征之间的关联性，第一属性特征图为与第一特征调制模块对应的属性特征图，第一输入特征图为第一特征调制模块的前一特征调制模块输出的特征图，第一特征调制模块为多个级联的特征调制模块中的任一特征调制模块；将属性关系特征图以及与第一属性特征图关联的初始属性调制参数特征图输入属性调制参数修订模块，得到目标属性调制参数特征图；将目标属性调制参数特征图以及第一输入特征图输入属性调制特征图生成模块，得到属性调制特征图；将属性调制特征图以及目标身份调制特征图输入特征融合模块，得到第一特征调制模块输出的融合后特征图，融合后特征图用于输入第一特征调制模块之后的特征调制模块进行融合，其中，目标身份调制特征图基于对第一身份特征向量进行身份调制后得到，第一身份特征向量为与第一特征调制模块对应的身份特征向量。
可选地，该图像生成器中的各特征调制模块还分别包括身份调制模块，其中，身份调制模块包括身份关系模块、身份调制参数修订模块以及身份调制特征图生成模块；
相应地，该装置还包括：调制模块；该调制模块，用于将第一身份特征向量以及第一输入特征图输入第一特征调制模块中的身份关系模块，得到身份关系特征图，身份关系模块用于获取已加入的身份特征与未加入的身份特征之间的关联性；将身份关系特征图以及与第一身份特征向量关联的初始身份调制参数特征图输入身份调制参数修订模块，得到目标身份调制参数特征图；将目标身份调制参数特征图以及第一输入特征图输入身份调制特征图生成模块，得到目标身份调制特征图。
可选地，该特征融合模块包括相互关系模块，相互关系模块包括：第一处理模块和第二处理模块；
相应地，融合模块1303，具体用于将属性调制特征图输入相互关系模块中的第一处理模块，得到总属性调制特征图；将目标身份调制特征图输入相互关系模块中的第二处理模块，得到总身份调制特征图；对总属性调制特征图和总身份调制特征图进行拼接，得到相互关系模块输出的相互关系特征图；根据相互关系特征图、属性调制特征图以及目标身份调制特征图，得到第一特征调制模块输出的融合后特征图。
可选地，融合模块1303，还具体用于对相互关系特征图以及属性调制特征图进行卷积操作，得到第一特征图；对相互关系特征图以及目标身份调制特征图进行卷积操作，得到第二特征图；分别将第一特征图以及第二特征图匹配层上的元素相加，得到第一特征调制模块输出的融合后特征图。
可选地，第一处理模块包括第一金字塔池化模块、第一上采样模块；
相应地，融合模块1303，还具体用于将属性调制特征图输入第一金字塔池化模块，得到多个不同分辨率的子属性调制特征图；将各不同分辨率的子属性调制特征图分别输入第一上采样模块，得到与属性调制特征图分辨率一致的子属性调制特征图；将属性调制特征图与各子属性调制特征图拼接，得到总属性调制特征图。
可选地，第二处理模块包括第二金字塔池化模块、第二上采样模块；
相应地，融合模块，还具体用于将目标身份调制特征图输入第二金字塔池化模块，得到多个不同分辨率的子身份调制特征图；将各不同分辨率的子身份调制特征图分别输入第二上采样模块，得到与目标身份调制特征图分辨率一致的子身份调制特征图；将目标身份调制特征图与各子身份调制特征图拼接，得到总身份调制特征图。
可选地，该属性关系模块包括第三金字塔池化模块、第三上采样模块；
相应地，融合模块1303，还具体用于将第一输入特征图输入第三金字塔池化模块，得到多个不同分辨率的子输入特征图；
将各不同分辨率的子输入特征图分别输入第三上采样模块，得到与第一输入特征图分辨率一致的子输入特征图；将输入特征图与各子输入特征图拼接，得到总输入特征图；对第一属性特征图以及总输入特征图进行拼接，得到属性关系特征图。
可选地，该身份关系模块包括全局平均池化模块；
相应地，融合模块1303，还具体用于将第一输入特征图输入全局平均池化模块，得到输入特征向量；对输入特征向量以及第一身份特征向量进行拼接，得到身份关系特征图。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(Digital Signal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图14为本申请实施例提供的一种电子设备的结构示意图，如图14所示，该电子设备可以包括：处理器1401、存储介质1402和总线1403，存储介质1402存储有处理器1401可执行的机器可读指令，当该电子设备运行时，处理器1401与存储介质1402之间通过总线1403通信，处理器1401执行机器可读指令，以执行上述方法实施例的步骤。具体实现方式和技术效果类似，这里不再赘述。
可选地，本申请还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述方法实施例的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种换脸方法，其特征在于，所述方法包括：
将源图像输入预先训练得到的换脸模型中的多层次身份编码器，得到所述源图像对应的多个身份特征向量，其中，所述多层次身份编码器中包括多个卷积层，各所述身份特征向量分别由所述多层次身份编码器中的一个卷积层处理得到，所述源图像中包括源人脸；
将目标图像输入所述换脸模型中的多层次属性编码器，得到所述目标图像对应的多个属性特征图，其中，所述多层次属性编码器中包括多个卷积层，各所述属性特征图分别由所述多层次属性编码器中的一个或多个卷积层处理得到，所述目标图像中包括待转换的目标人脸；
将各所述身份特征向量以及各所述属性特征图输入所述换脸模型中的图像生成器，经所述图像生成器中的多个级联的特征调制模块依次融合后，得到换脸图像，所述换脸图像中包括所述源人脸，且所述源人脸具有所述目标人脸的属性特征。
2.根据权利要求1所述的方法，其特征在于，所述图像生成器中的各所述特征调制模块分别包括属性调制模块以及特征融合模块，其中，所述属性调制模块包括属性关系模块、属性调制参数修订模块以及属性调制特征图生成模块；
所述将各所述身份特征向量以及各所述属性特征图输入所述换脸模型中的图像生成器，经所述图像生成器中的多个级联的特征调制模块依次融合后，得到换脸图像，包括：
将第一属性特征图以及第一输入特征图输入第一特征调制模块中的所述属性关系模块，得到属性关系特征图，所述属性关系模块用于获取已加入的属性特征与未加入的属性特征之间的关联性，所述第一属性特征图为与所述第一特征调制模块对应的属性特征图，所述第一输入特征图为所述第一特征调制模块的前一特征调制模块输出的特征图，所述第一特征调制模块为所述多个级联的特征调制模块中的任一特征调制模块；
将所述属性关系特征图以及与所述第一属性特征图关联的初始属性调制参数特征图输入所述属性调制参数修订模块，得到目标属性调制参数特征图；
将所述目标属性调制参数特征图以及所述第一输入特征图输入所述属性调制特征图生成模块，得到属性调制特征图；
将所述属性调制特征图以及目标身份调制特征图输入所述特征融合模块，得到所述第一特征调制模块输出的融合后特征图，所述融合后特征图用于输入所述第一特征调制模块之后的特征调制模块进行融合，其中，所述目标身份调制特征图基于对第一身份特征向量进行身份调制后得到，所述第一身份特征向量为与所述第一特征调制模块对应的身份特征向量。
3.根据权利要求2所述的方法，其特征在于，所述图像生成器中的各所述特征调制模块还分别包括身份调制模块，其中，所述身份调制模块包括身份关系模块、身份调制参数修订模块以及身份调制特征图生成模块；
所述将所述属性调制特征图以及目标身份调制特征图输入所述特征融合模块，得到所述第一特征调制模块输出的融合后特征图之前，还包括：
将所述第一身份特征向量以及所述第一输入特征图输入所述第一特征调制模块中的所述身份关系模块，得到身份关系特征图，所述身份关系模块用于获取已加入的身份特征与未加入的身份特征之间的关联性；
将所述身份关系特征图以及与所述第一身份特征向量关联的初始身份调制参数特征图输入所述身份调制参数修订模块，得到目标身份调制参数特征图；
将所述目标身份调制参数特征图以及所述第一输入特征图输入所述身份调制特征图生成模块，得到所述目标身份调制特征图。
4.根据权利要求3所述的方法，其特征在于，所述特征融合模块包括相互关系模块，所述相互关系模块包括：第一处理模块和第二处理模块；
所述将所述属性调制特征图以及所述目标身份调制特征图输入所述特征融合模块，得到所述第一特征调制模块输出的融合后特征图，包括：
将所述属性调制特征图输入所述相互关系模块中的所述第一处理模块，得到总属性调制特征图；
将所述目标身份调制特征图输入所述相互关系模块中的所述第二处理模块，得到总身份调制特征图；
对所述总属性调制特征图和所述总身份调制特征图进行拼接，得到所述相互关系模块输出的相互关系特征图；
根据所述相互关系特征图、所述属性调制特征图以及所述目标身份调制特征图，得到所述第一特征调制模块输出的融合后特征图。
5.根据权利要求4所述的方法，其特征在于，所述根据所述相互关系特征图、所述属性调制特征图以及所述目标身份调制特征图，得到所述第一特征调制模块输出的融合后特征图，包括：
对所述相互关系特征图以及所述属性调制特征图进行卷积操作，得到第一特征图；
对所述相互关系特征图以及所述目标身份调制特征图进行卷积操作，得到第二特征图；
分别将所述第一特征图以及所述第二特征图匹配层上的元素相加，得到所述第一特征调制模块输出的融合后特征图。
6.根据权利要求4所述的方法，其特征在于，所述第一处理模块包括第一金字塔池化模块、第一上采样模块；所述将所述属性调制特征图输入所述相互关系模块中的所述第一处理模块，得到总属性调制特征图，包括：
将所述属性调制特征图输入所述第一金字塔池化模块，得到多个不同分辨率的子属性调制特征图；
将各所述不同分辨率的子属性调制特征图分别输入所述第一上采样模块，得到与所述属性调制特征图分辨率一致的子属性调制特征图；
将所述属性调制特征图与各所述子属性调制特征图拼接，得到所述总属性调制特征图。
7.根据权利要求4所述的方法，其特征在于，所述第二处理模块包括第二金字塔池化模块、第二上采样模块；所述将所述目标身份调制特征图输入所述相互关系模块中的所述第二处理模块，得到总身份调制特征图，包括：
将所述目标身份调制特征图输入所述第二金字塔池化模块，得到多个不同分辨率的子身份调制特征图；
将各所述不同分辨率的子身份调制特征图分别输入所述第二上采样模块，得到与所述目标身份调制特征图分辨率一致的子身份调制特征图；
将所述目标身份调制特征图与各所述子身份调制特征图拼接，得到所述总身份调制特征图。
8.根据权利要求2所述的方法，其特征在于，所述属性关系模块包括第三金字塔池化模块、第三上采样模块；
所述将第一属性特征图以及第一输入特征图输入第一特征调制模块中的所述属性关系模块，得到属性关系特征图，包括：
将所述第一输入特征图输入所述第三金字塔池化模块，得到多个不同分辨率的子输入特征图；
将各所述不同分辨率的子输入特征图分别输入所述第三上采样模块，得到与所述第一输入特征图分辨率一致的子输入特征图；
将所述输入特征图与各所述子输入特征图拼接，得到总输入特征图；
对所述第一属性特征图以及所述总输入特征图进行拼接，得到所述属性关系特征图。
9.根据权利要求3所述的方法，其特征在于，所述身份关系模块包括全局平均池化模块；
所述将所述第一身份特征向量以及所述第一输入特征图输入所述第一特征调制模块中的所述身份关系模块，得到身份关系特征图，包括：
将所述第一输入特征图输入所述全局平均池化模块，得到输入特征向量；
对所述输入特征向量以及所述第一身份特征向量进行拼接，得到所述身份关系特征图。
10.一种换脸装置，其特征在于，所述装置包括：
第一输入模块，用于将源图像输入预先训练得到的换脸模型中的多层次身份编码器，得到所述源图像对应的多个身份特征向量，其中，所述多层次身份编码器中包括多个卷积层，各所述身份特征向量分别由所述多层次身份编码器中的一个卷积层处理得到，所述源图像中包括源人脸；
第二输入模块，用于将目标图像输入所述换脸模型中的多层次属性编码器，得到所述目标图像对应的多个属性特征图，其中，所述多层次属性编码器中包括多个卷积层，各所述属性特征图分别由所述多层次属性编码器中的一个或多个卷积层处理得到，所述目标图像中包括待转换的目标人脸；
融合模块，用于将各所述身份特征向量以及各所述属性特征图输入所述换脸模型中的图像生成器，经所述图像生成器中的多个级联的特征调制模块依次融合后，得到换脸图像，所述换脸图像中包括所述源人脸，且所述源人脸具有所述目标人脸的属性特征。
11.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-9任一项所述换脸方法的步骤。
12.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-9任一项所述换脸方法的步骤。
CN202111063896.4A 2021-09-10 2021-09-10 一种换脸方法、装置、设备及存储介质 Active CN113763366B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111063896.4A CN113763366B (zh) 2021-09-10 2021-09-10 一种换脸方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111063896.4A CN113763366B (zh) 2021-09-10 2021-09-10 一种换脸方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113763366A true CN113763366A (zh) 2021-12-07
CN113763366B CN113763366B (zh) 2023-07-25

Family

ID=78794864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111063896.4A Active CN113763366B (zh) 2021-09-10 2021-09-10 一种换脸方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113763366B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115083000A (zh) * 2022-07-14 2022-09-20 北京百度网讯科技有限公司 人脸模型训练方法、换脸方法、装置和电子设备
WO2023231182A1 (zh) * 2022-06-02 2023-12-07 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备、存储介质及程序产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2993616A1 (en) * 2014-09-05 2016-03-09 Huawei Technologies Co., Ltd. Method and apparatus for generating facial feature verification model
CN111783603A (zh) * 2020-06-24 2020-10-16 有半岛(北京)信息科技有限公司 生成对抗网络训练方法、图像换脸、视频换脸方法及装置
CN112348743A (zh) * 2020-11-06 2021-02-09 天津大学 一种融合判别式网络和生成式网络的图像超分辨率方法
CN112560753A (zh) * 2020-12-23 2021-03-26 平安银行股份有限公司 基于特征融合的人脸识别方法、装置、设备及存储介质
CN112581635A (zh) * 2021-02-26 2021-03-30 北京智源人工智能研究院 一种通用的快速换脸方法、装置、电子设备和存储介质
CN112766160A (zh) * 2021-01-20 2021-05-07 西安电子科技大学 基于多级属性编码器和注意力机制的人脸替换方法
CN113240792A (zh) * 2021-04-29 2021-08-10 浙江大学 一种基于人脸重建的图像融合生成式换脸方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2993616A1 (en) * 2014-09-05 2016-03-09 Huawei Technologies Co., Ltd. Method and apparatus for generating facial feature verification model
CN111783603A (zh) * 2020-06-24 2020-10-16 有半岛(北京)信息科技有限公司 生成对抗网络训练方法、图像换脸、视频换脸方法及装置
CN112348743A (zh) * 2020-11-06 2021-02-09 天津大学 一种融合判别式网络和生成式网络的图像超分辨率方法
CN112560753A (zh) * 2020-12-23 2021-03-26 平安银行股份有限公司 基于特征融合的人脸识别方法、装置、设备及存储介质
CN112766160A (zh) * 2021-01-20 2021-05-07 西安电子科技大学 基于多级属性编码器和注意力机制的人脸替换方法
CN112581635A (zh) * 2021-02-26 2021-03-30 北京智源人工智能研究院 一种通用的快速换脸方法、装置、电子设备和存储介质
CN113240792A (zh) * 2021-04-29 2021-08-10 浙江大学 一种基于人脸重建的图像融合生成式换脸方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023231182A1 (zh) * 2022-06-02 2023-12-07 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备、存储介质及程序产品
CN115083000A (zh) * 2022-07-14 2022-09-20 北京百度网讯科技有限公司 人脸模型训练方法、换脸方法、装置和电子设备
CN115083000B (zh) * 2022-07-14 2023-09-05 北京百度网讯科技有限公司 人脸模型训练方法、换脸方法、装置和电子设备

Also Published As

Publication number Publication date
CN113763366B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
Zeng et al. Srnet: Improving generalization in 3d human pose estimation with a split-and-recombine approach
CN111401216B (zh) 图像处理、模型训练方法、装置、计算机设备和存储介质
US11727717B2 (en) Data-driven, photorealistic social face-trait encoding, prediction, and manipulation using deep neural networks
CN113763366A (zh) 一种换脸方法、装置、设备及存储介质
CN111553267A (zh) 图像处理方法、图像处理模型训练方法及设备
CN111275057A (zh) 图像处理方法、装置及设备
EP4150528A1 (en) Semantic relation preserving knowledge distillation for image-to-image translation
CN111160225B (zh) 基于深度学习的人体解析方法和装置
CN112200266A (zh) 基于图结构数据的网络训练方法、装置以及节点分类方法
CN113096001A (zh) 图像处理方法、电子设备及可读存储介质
Bulat et al. Matrix and tensor decompositions for training binary neural networks
CN113158970B (zh) 一种基于快慢双流图卷积神经网络的动作识别方法与系统
CN114387656A (zh) 基于人工智能的换脸方法、装置、设备及存储介质
CN114494543A (zh) 动作生成方法及相关装置、电子设备和存储介质
KR20200131663A (ko) 영상 처리 장치 및 그 동작방법
CN116977714A (zh) 图像分类方法、装置、设备、存储介质和程序产品
CN115618098B (zh) 基于知识增强与空洞卷积的冷链物流推荐方法及装置
Campana et al. Variable-hyperparameter visual transformer for efficient image inpainting
Lee et al. Holistic 3D face and head reconstruction with geometric details from a single image
CN114661887A (zh) 一种跨领域数据推荐方法、装置、计算机设备及介质
Molnár et al. Representation learning for point clouds with variational autoencoders
CN113449193A (zh) 基于多分类图像的信息推荐方法及装置
Han et al. Divergence triangle for joint training of generator model, energy-based model, and inference model
JPWO2022002943A5 (zh)
Karoui et al. Homologous mesh extraction via monocular systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant