CN113762022A - 人脸图像的融合方法和装置 - Google Patents

人脸图像的融合方法和装置 Download PDF

Info

Publication number
CN113762022A
CN113762022A CN202110178117.9A CN202110178117A CN113762022A CN 113762022 A CN113762022 A CN 113762022A CN 202110178117 A CN202110178117 A CN 202110178117A CN 113762022 A CN113762022 A CN 113762022A
Authority
CN
China
Prior art keywords
identity
attribute
face image
face
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110178117.9A
Other languages
English (en)
Inventor
刘颖璐
石海林
向明灿
梅涛
周伯文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202110178117.9A priority Critical patent/CN113762022A/zh
Publication of CN113762022A publication Critical patent/CN113762022A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本公开提出一种人脸图像的融合方法和装置，涉及图像处理领域。该方法包括获取模板人脸图像的属性特征；获取用户人脸图像的身份特征；基于模板人脸图像的属性特征，确定模板人脸图像的注意力图，注意力图用于区分模板人脸图像中的属性稳定区域和身份敏感区域；将模板人脸图像在属性稳定区域的属性特征，作为属性稳定区域的特征；根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征；利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合，得到融合人脸图像。换脸过程不需要人脸分割模型辅助，提高了换脸效果。

Description

人脸图像的融合方法和装置
技术领域
本公开涉及图像处理领域，特别涉及一种人脸图像的融合方法和装置。
背景技术
利用人工智能技术，将图像A中的人脸换到图像B中，所合成的图像C中的人脸与图像A中的人脸一致，背景、发型等与图像B保持一致。智能换脸技术有很广泛的应用，例如，电影后期制作、隐私保护等。例如，先用替身演员完成高难度的动作，然后再将主角的脸替换掉替身演员的脸。又例如，在一些公共网站，用虚拟人脸来替换掉用户的真实人脸。
一些相关智能换脸技术的换脸效果非常依赖人脸分割模型，人脸分割效果不好的人脸分割模型会严重影响换脸效果，而人脸分割效果好的人脸分割模型需要大量的标注数据进行训练，费时费力。
发明内容
本公开实施例提出一种不需要人脸分割模型辅助的智能换脸解决方案，提高换脸效果。
本公开一些实施例提出一种人脸图像的融合方法，包括：
获取模板人脸图像的属性特征；
获取用户人脸图像的身份特征；
基于模板人脸图像的属性特征，确定模板人脸图像的注意力图，注意力图用于区分模板人脸图像中的属性稳定区域和身份敏感区域；
将模板人脸图像在属性稳定区域的属性特征，作为属性稳定区域的特征；
根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征；
利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合，得到融合人脸图像。
在一些实施例中，根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征，包括：
基于用户人脸图像在身份敏感区域的身份特征，计算身份特征相关的均值和方差；
基于模板人脸图像在身份敏感区域的属性特征，计算属性特征相关的均值和方差；
根据模板人脸图像在身份敏感区域的属性特征和身份特征相关的均值和方差，执行第一自适应实例归一化操作，进行身份迁移；
根据第一自适应实例归一化操作结果和属性特征相关的均值和方差，执行第二自适应实例归一化操作，进行属性恢复，得到身份敏感区域的特征。
在一些实施例中，身份敏感区域的特征表示如下：
Figure BDA0002941361700000021
其中，F[Is-areas]表示身份敏感区域的特征，Conv表示卷积操作，
Figure BDA0002941361700000022
表示对Conv( )进行归一化操作，Fatt表示模板人脸图像在身份敏感区域的属性特征，βid、γid分别表示计算得到的身份特征相关的均值和方差，βatt、γatt分别表示计算得到的属性特征相关的均值和方差，
Figure BDA0002941361700000023
表示哈达玛积，
Figure BDA0002941361700000024
表示哈达玛和。
在一些实施例中，利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合，得到融合人脸图像包括：
Figure BDA0002941361700000025
其中，O表示融合人脸图像，M表示注意力图，F[As-areas]表示属性稳定区域的特征，F[Is-areas]表示身份敏感区域的特征，
Figure BDA0002941361700000026
表示哈达玛积。
在一些实施例中，利用融合网络执行权利要求1所述的方法，融合网络包括属性网络和换脸网络，属性网络执行获取模板人脸图像的属性特征的步骤，换脸网络执行身份特征获取步骤、注意力图确定步骤、属性稳定区域的特征确定步骤、身份敏感区域的特征确定步骤、融合人脸图像确定步骤，
其中，属性网络包括一个或多个依次级联的用来进行卷积的编码器以及在最后一级编码器后面依次级联的一个或多个用来进行反卷积的解码器，最后一级编码器和各个解码器分别输出各自级别的模板人脸图像的属性特征；
其中，换脸网络包括身份特征获取模块以及在身份特征获取模块后面依次级联的一个或多个换脸模块，第一个换脸模块的两个输入端分别连接身份特征获取模块和最后一级编码器，其他换脸模块的三个输入端分别连接相应解码器的输出端、身份特征获取模块的输出端和前一级换脸模块的输出端，身份特征获取模块被配置为基于人脸识别技术获取并输出用户人脸图像的身份特征，每个换脸模块被配置为基于本换脸模块的输入信息执行注意力图确定步骤、属性稳定区域的特征确定步骤、身份敏感区域的特征确定步骤、融合人脸图像确定步骤。
在一些实施例中，换脸模块执行融合人脸图像确定步骤包括：
Figure BDA0002941361700000031
其中，O(l)表示按照各个换脸模块级联顺序的第l个换脸模块确定的融合人脸图像，O(l-1)表示按照各个换脸模块级联顺序的第l-1个换脸模块确定的融合人脸图像，M(l)表示按照各个换脸模块级联顺序的第l个换脸模块确定的注意力图，
Figure BDA0002941361700000032
表示按照各个换脸模块级联顺序的第l个换脸模块确定的属性稳定区域的特征，
Figure BDA0002941361700000033
表示按照各个换脸模块级联顺序的第l个换脸模块确定的身份敏感区域的特征，
Figure BDA0002941361700000034
表示哈达玛积。
在一些实施例中，还包括：利用人脸图像训练数据对属性网络和换脸网络进行联合训练，直至训练损失满足要求，
其中，人脸图像训练数据包括多组第二模板人脸图像和第二用户人脸图像，训练损失包括第二用户人脸图像与第二融合人脸图像之间的身份损失，第二融合人脸图像是换脸网络基于第二模板人脸图像和第二用户人脸图像输出的图像。
在一些实施例中，训练损失还包括以下至少一项：
第二融合人脸图像与第二模板人脸图像之间的属性一致性损失；
第二融合人脸图像相对于第二模板人脸图像的重构损失；
第二融合人脸图像与预设真实人脸图像之间的对抗损失；
注意力图的正则化约束。
在一些实施例中，属性稳定区域包括背景、头发，属性特征包括背景、发型、肤色、表情、姿态；身份敏感区域包括人脸的五官区域和轮廓区域。
本公开一些实施例提出一种人脸图像的融合装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行任一些实施例所述的人脸图像的融合方法。
本公开一些实施例提出一种人脸图像的融合装置，包括：
属性网络，用于获取模板人脸图像的属性特征；
换脸网络，用于：
获取用户人脸图像的身份特征；
基于模板人脸图像的属性特征，确定模板人脸图像的注意力图，注意力图用于区分模板人脸图像中的属性稳定区域和身份敏感区域；
将模板人脸图像在属性稳定区域的属性特征，作为属性稳定区域的特征；
根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征；
利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合得到融合人脸图像。
在一些实施例中，属性网络包括一个或多个依次级联的用来进行卷积的编码器以及在最后一级编码器后面依次级联的一个或多个用来进行反卷积的解码器，最后一级编码器和各个解码器分别输出各自级别的模板人脸图像的属性特征；
换脸网络包括身份特征获取模块以及在身份特征获取模块后面依次级联的一个或多个换脸模块，第一个换脸模块的两个输入端分别连接身份特征获取模块和最后一级编码器，其他换脸模块的三个输入端分别连接相应解码器的输出端、身份特征获取模块的输出端和前一级换脸模块的输出端，身份特征获取模块被配置为基于人脸识别技术获取并输出用户人脸图像的身份特征，每个换脸模块被配置为基于自己的输入信息执行注意力图确定步骤、属性稳定区域的特征确定步骤、身份敏感区域的特征确定步骤、融合人脸图像确定步骤。
在一些实施例中，每个换脸模块包括：
注意力图确定单元，用于基于输入本换脸模块的模板人脸图像的属性特征，确定模板人脸图像的注意力图，注意力图用于区分模板人脸图像中的属性稳定区域和身份敏感区域；
属性稳定区域的特征确定单元，用于将输入本换脸模块的模板人脸图像在属性稳定区域的属性特征，作为属性稳定区域的特征；
身份敏感区域的特征确定单元，用于根据输入本换脸模块的模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征；
融合人脸图像确定单元，用于利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合得到融合人脸图像；
其中，身份敏感区域的特征确定单元包括：
第一自适应实例归一化单元，用于基于用户人脸图像在身份敏感区域的身份特征，计算身份特征相关的均值和方差；根据模板人脸图像在身份敏感区域的属性特征和身份特征相关的均值和方差，执行第一自适应实例归一化操作，进行身份迁移；
第二自适应实例归一化单元，用于基于模板人脸图像在身份敏感区域的属性特征，计算属性特征相关的均值和方差；根据第一自适应实例归一化操作结果和属性特征相关的均值和方差，执行第二自适应实例归一化操作，进行属性恢复，得到身份敏感区域的特征。
本公开一些实施例提出一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的人脸图像的融合方法的步骤。
本公开实施例通过注意力机制对人脸图像进行软划分，区分其中的属性稳定区域和身份敏感区域，将模板人脸图像在属性稳定区域的属性特征，作为属性稳定区域的特征，根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征，利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合得到融合人脸图像，换脸过程不需要人脸分割模型辅助，提高了换脸效果。
附图说明
下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍。根据下面参照附图的详细描述，可以更加清楚地理解本公开。
显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1a示出本公开一些实施例的对人脸图像进行融合的融合网络(也称融合装置)的示意图。
图1b示出本公开一些实施例的一个换脸模块的示意图。
图2为本公开一些实施例的人脸图像的融合方法的流程示意图。
图3为本公开一些实施例的人脸图像的融合装置的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
除非特别说明，否则，本公开中的“第一”“第二”等描述用来区分不同的对象，并不用来表示大小或时序等含义。
本公开一些实施例提出基于融合网络对人脸图像进行融合的智能换脸方案，换脸过程不需要人脸分割模型辅助，提高了换脸效果。
图1a示出本公开一些实施例的对人脸图像进行融合的融合网络(也称融合装置)的示意图。也即，该融合网络可以用作对人脸图像进行融合的融合装置。
如图1a所示，该实施例的融合网络(或者说，融合装置)包括：属性网络110(设为AttNet)和换脸网络120(设为SwapNet)。
属性网络110，用于获取模板人脸图像(设为Ir)的属性特征。属性特征包括背景、发型、肤色、表情、姿态等。属性网络110包括一个或多个依次级联的用来进行卷积的编码器111以及在最后一级编码器111后面依次级联的一个或多个用来进行反卷积的解码器112，最后一级编码器111和各个解码器112分别输出各自级别的模板人脸图像的属性特征。根据级联的先后顺序，各个编码器111输出的图像特征的尺寸越来越小，通道数越来越大，各个解码器112输出的图像特征的尺寸越来越大，通道数越来越小。
换脸网络120，用于利用InsightFace、DeepFace等人脸识别工具，获取用户人脸图像(设为Is)的身份特征，身份特征包括人脸五官特征、人脸轮廓特征等；基于模板人脸图像的属性特征，利用卷积操作，确定模板人脸图像的注意力图，注意力图(也称交换注意力图)用于区分模板人脸图像中的属性稳定区域和身份敏感区域；将模板人脸图像在属性稳定区域的属性特征，作为属性稳定区域的特征；根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征；利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合，得到融合人脸图像。
属性稳定区域包括背景、头发。身份敏感区域包括人脸的五官区域和轮廓区域。“五官”，指的就是“眉、眼、耳、鼻、口”五种影响容貌的面部特征。
利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合，得到融合人脸图像包括：
Figure BDA0002941361700000081
其中，O表示融合人脸图像，M表示注意力图，F[As-areas]表示属性稳定区域的特征，F[Is-areas]表示身份敏感区域的特征，
Figure BDA0002941361700000082
表示哈达玛积。使得换脸后的融合人脸图像中的身份信息和用户人脸图像保持一致，换脸后的融合人脸图像中的属性信息和模板人脸图像保持一致。
换脸网络120包括身份特征获取模块121以及在身份特征获取模块121后面依次级联的一个或多个换脸模块122，第一个换脸模块122的两个输入端分别连接身份特征获取模块121和最后一级编码器111，其他换脸模块122的三个输入端分别连接相应解码器112的输出端、身份特征获取模块121的输出端和前一级换脸模块122的输出端，身份特征获取模块121被配置为基于人脸识别技术获取并输出用户人脸图像的身份特征，每个换脸模块122被配置为基于本换脸模块122的输入信息执行注意力图确定步骤、属性稳定区域的特征确定步骤、身份敏感区域的特征确定步骤、融合人脸图像确定步骤。
身份特征获取模块121利用InsightFace、DeepFace等人脸识别工具获取并输出用户人脸图像的身份特征。
一个换脸模块122执行融合人脸图像确定步骤包括：
Figure BDA0002941361700000083
其中，O(l)表示按照各个换脸模块122级联顺序的第l个换脸模块122确定的融合人脸图像，O(l-1)表示按照各个换脸模块122级联顺序的第l-1个换脸模块122确定的融合人脸图像，M(l)表示按照各个换脸模块122级联顺序的第l个换脸模块122确定的注意力图，
Figure BDA0002941361700000084
表示按照各个换脸模块122级联顺序的第l个换脸模块122确定的属性稳定区域的特征，
Figure BDA0002941361700000085
表示按照各个换脸模块122级联顺序的第l个换脸模块122确定的身份敏感区域的特征，
Figure BDA0002941361700000086
表示哈达玛积。
需要说明的是，输入各个换脸模块122的用户人脸图像的身份特征是相同的，输入各个换脸模块122的模板人脸图像的属性特征是不同的，在特征尺寸和通道数方面是不同的，分别来自于与其连接的最后一个编码器111或解码器112输出的模板人脸图像的属性特征。
在图1a中，示例性的示出了4个编码器111、3个解码器112、4个换脸模块122，但是，本公开并不限于所述示例，编码器111的数量、解码器112的数量、换脸模块122的数量还可以设置为其他值。
图1b示出本公开一些实施例的一个换脸模块122的示意图。各个换脸模块122的结构和功能相同，图1b示出了其中一个换脸模块122的示意图，其他换脸模块122的结构和功能与该换脸模块122相同，后续不再赘述。
如图1b所示，该实施例的换脸模块122包括：
注意力图确定单元1221，用于基于输入本换脸模块122的模板人脸图像的属性特征，确定模板人脸图像的注意力图，注意力图用于区分模板人脸图像中的属性稳定区域和身份敏感区域；
属性稳定区域的特征确定单元1222，用于将输入本换脸模块122的模板人脸图像在属性稳定区域的属性特征，作为属性稳定区域的特征；
身份敏感区域的特征确定单元1223，用于根据输入本换脸模块122的模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征；
融合人脸图像确定单元1224，用于利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合得到融合人脸图像。
其中，身份敏感区域的特征确定单元1223包括：
第一自适应实例归一化(Adaptive Instance Normalizatioin，AdaIN)单元1223a，用于基于用户人脸图像在身份敏感区域的身份特征，计算身份特征相关的均值和方差；根据模板人脸图像在身份敏感区域的属性特征和身份特征相关的均值和方差，执行第一自适应实例归一化操作，进行身份迁移。
第二自适应实例归一化单元1223b，用于基于模板人脸图像在身份敏感区域的属性特征，计算属性特征相关的均值和方差；根据第一自适应实例归一化操作结果和属性特征相关的均值和方差，执行第二自适应实例归一化操作，进行属性恢复，得到身份敏感区域的特征。
身份敏感区域的特征表示如下：
Figure BDA0002941361700000101
其中，F[Is-areas]表示身份敏感区域的特征，也即
Figure BDA0002941361700000102
(第l个换脸模块的身份敏感区域的特征)，本公司省略换脸模块的标注，Conv表示卷积操作，
Figure BDA0002941361700000103
表示对Conv( )进行归一化操作，Fatt表示模板人脸图像在身份敏感区域的属性特征，βid、γid分别表示计算得到的身份特征相关的均值和方差，βatt、γatt分别表示计算得到的属性特征相关的均值和方差，
Figure BDA0002941361700000104
表示哈达玛积，
Figure BDA0002941361700000105
表示哈达玛和。
Figure BDA0002941361700000106
表示第一自适应实例归一化操作。
Figure BDA0002941361700000107
表示第二自适应实例归一化操作。
构建融合网络之后，还需要对融合网络进行训练，即，利用人脸图像训练数据对属性网络110和换脸网络120进行联合训练，直至训练损失满足要求，例如，训练损失小于预设值，使得训练好的融合网络能够对人脸图像进行融合。在训练过程中，不断地更新融合网络的参数，例如，编码器111参数、解码器112参数、生成注意力图的卷积参数等。
其中，人脸图像训练数据包括多组第二模板人脸图像和第二用户人脸图像。训练损失包括第二用户人脸图像与第二融合人脸图像之间的身份损失，第二融合人脸图像是换脸网络120基于第二模板人脸图像和第二用户人脸图像输出的图像。训练损失还包括以下至少一项：第二融合人脸图像与第二模板人脸图像之间的属性一致性损失；第二融合人脸图像相对于第二模板人脸图像的重构损失；第二融合人脸图像与预设真实人脸图像(可以是第二模板人脸图像、第二用户人脸图像或者拍摄得到的其他真实人脸图像)之间的对抗损失；注意力图的正则化约束。
训练损失包含5个部分，表示为：
Ltotal＝λ1Lid+λ2Latt+λ3Lrec+λ4Ladv+λ5Lreg
其中：
Figure BDA0002941361700000111
表示第二用户人脸图像与第二融合人脸图像之间的身份损失，用余弦距离来计算，
Figure BDA0002941361700000112
是第二用户人脸图像的身份特征，
Figure BDA0002941361700000113
是生成的第二融合人脸图像的身份特征。
Figure BDA0002941361700000114
表示第二融合人脸图像与第二模板人脸图像之间的属性一致性损失，
Figure BDA0002941361700000115
是输入第l个换脸模块122的第二模板人脸图像的属性特征，
Figure BDA0002941361700000116
是第l个换脸模块122输出的第二融合人脸图像的属性特征，L是换脸模块122的总数量。
重构损失Lrec为：
Figure BDA0002941361700000117
其中ML表示最后一个换脸模块122学到的注意力图，Is是训练时用到的第二用户人脸图像，Ir是训练时用到的第二模板人脸图像，O是训练时输出的第二融合人脸图像。
Ladv表示第二融合人脸图像与预设真实人脸图像(可以是第二模板人脸图像、第二用户人脸图像或者拍摄得到的其他真实人脸图像)之间的对抗损失，对抗损失可以参考现有技术。
Figure BDA0002941361700000118
表示对注意力图进行正则化约束，可以使得换脸网络120投入更多的精力在身份敏感区域。Ml表示第l个换脸模块122学到的注意力图。
λ1～λ5表示各个损失的加权系数，可以设置。
通过训练过程可以看出，虽然没有标注信息，采用自监督训练的方法自适应的学习得到注意力图，注意力图可以有效的区分出身份敏感区域(多集中在五官区域和轮廓区域)和属性稳定区域(背景、头发等区域)。换脸后的融合人脸图像中的身份信息和用户人脸图像保持一致，换脸后的融合人脸图像中的属性信息和模板人脸图像保持一致。
按照级联的先后顺序，注意力图的值会逐渐变大。前面的注意力图的值比较小，表明换脸网络120在前期更注重学习整体的属性特征，比如背景，人物属性等，而越到后面的注意力图，随着分辨率的提升，身份敏感区域的显著性会随之提升。
构建人脸图像的融合网络并采用自监督学习方法训练之后，就可以利用融合网络对人脸图像进行融合。
图2为本公开一些实施例的人脸图像的融合方法的流程示意图。
如图2所示，该实施例的人脸图像的融合方法包括：步骤210-260。其中，步骤210由属性网络110执行，步骤220-260由换脸网络120执行，步骤230-260由换脸网络120中的每个换脸模块122执行。
在步骤210，获取模板人脸图像的属性特征。
属性网络110中的各个编码器111对模板人脸图像进行卷积处理，各个解码器112对模板人脸图像进行反卷积处理，最后一级编码器111和各个解码器112分别输出各自级别的模板人脸图像的属性特征。根据级联的先后顺序，各个编码器111输出的图像特征的尺寸越来越小，通道数越来越大，各个解码器112输出的图像特征的尺寸越来越大，通道数越来越小。
在步骤220，获取用户人脸图像的身份特征。
换脸网络120中的身份特征获取模块121利用InsightFace、DeepFace等人脸识别工具获取并输出用户人脸图像的身份特征。
在步骤230，基于模板人脸图像的属性特征，确定模板人脸图像的注意力图，注意力图用于区分模板人脸图像中的属性稳定区域和身份敏感区域。
对模板人脸图像的属性特征进行卷积操作得到模板人脸图像的注意力图。
在步骤240，将模板人脸图像在属性稳定区域的属性特征，作为属性稳定区域的特征。
在步骤250，根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征。
确定身份敏感区域的特征包括：
基于用户人脸图像在身份敏感区域的身份特征，计算身份特征相关的均值和方差；
基于模板人脸图像在身份敏感区域的属性特征，计算属性特征相关的均值和方差；
根据模板人脸图像在身份敏感区域的属性特征和身份特征相关的均值和方差，执行第一自适应实例归一化操作，进行身份迁移；
根据第一自适应实例归一化操作结果和属性特征相关的均值和方差，执行第二自适应实例归一化操作，进行属性恢复，得到身份敏感区域的特征。
身份敏感区域的特征表示如下：
Figure BDA0002941361700000131
其中，F[Is-areas]表示身份敏感区域的特征，Conv表示卷积操作，
Figure BDA0002941361700000132
表示对Conv( )进行归一化操作，Fatt表示模板人脸图像在身份敏感区域的属性特征，βid、γid分别表示计算得到的身份特征相关的均值和方差，βatt、γatt分别表示计算得到的属性特征相关的均值和方差，
Figure BDA0002941361700000133
表示哈达玛积，
Figure BDA0002941361700000134
表示哈达玛和。
Figure BDA0002941361700000135
表示第一自适应实例归一化操作。
Figure BDA0002941361700000136
表示第二自适应实例归一化操作。
在步骤260，利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合，得到融合人脸图像。
利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合，得到融合人脸图像包括：
Figure BDA0002941361700000137
其中，O表示融合人脸图像，M表示注意力图，F[As-areas]表示属性稳定区域的特征，F[Is-areas]表示身份敏感区域的特征，
Figure BDA0002941361700000138
表示哈达玛积。
当多个换脸模块122时，每个换脸模块122利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合，得到融合人脸图像包括：
Figure BDA0002941361700000141
其中，O(l)表示按照各个换脸模块122级联顺序的第l个换脸模块122确定的融合人脸图像，O(l-1)表示按照各个换脸模块122级联顺序的第l-1个换脸模块122确定的融合人脸图像，M(l)表示按照各个换脸模块122级联顺序的第l个换脸模块122确定的注意力图，
Figure BDA0002941361700000142
表示按照各个换脸模块122级联顺序的第l个换脸模块122确定的属性稳定区域的特征，
Figure BDA0002941361700000143
表示按照各个换脸模块122级联顺序的第l个换脸模块122确定的身份敏感区域的特征，
Figure BDA0002941361700000144
表示哈达玛积。
通过注意力机制对人脸图像进行软划分，区分其中的属性稳定区域和身份敏感区域，将模板人脸图像在属性稳定区域的属性特征，作为属性稳定区域的特征，根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征，利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合得到融合人脸图像，换脸过程不需要人脸分割模型辅助，提高了换脸效果。
图3为本公开一些实施例的人脸图像的融合装置的结构示意图。
如图3所示，该实施例的装置300包括：存储器310以及耦接至该存储器310的处理器320，处理器320被配置为基于存储在存储器310中的指令，执行前述任意一些实施例中的方法。
例如，获取模板人脸图像的属性特征；获取用户人脸图像的身份特征；基于模板人脸图像的属性特征，确定模板人脸图像的注意力图，注意力图用于区分模板人脸图像中的属性稳定区域和身份敏感区域；将模板人脸图像在属性稳定区域的属性特征，作为属性稳定区域的特征；根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征；利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合，得到融合人脸图像。
其中，存储器310例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
装置300还可以包括输入输出接口330、网络接口340、存储接口350等。这些接口330，340，350以及存储器310和处理器320之间例如可以通过总线360连接。其中，输入输出接口330为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口340为各种联网设备提供连接接口。存储接口350为SD卡、U盘等外置存储设备提供连接接口。
例如，获取模板人脸图像的属性特征；获取用户人脸图像的身份特征；基于模板人脸图像的属性特征，确定模板人脸图像的注意力图，注意力图用于区分模板人脸图像中的属性稳定区域和身份敏感区域；将模板人脸图像在属性稳定区域的属性特征，作为属性稳定区域的特征；根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征；利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合，得到融合人脸图像。
本公开一些实施例提出一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现人脸图像的融合方法的步骤。
例如，获取模板人脸图像的属性特征；获取用户人脸图像的身份特征；基于模板人脸图像的属性特征，确定模板人脸图像的注意力图，注意力图用于区分模板人脸图像中的属性稳定区域和身份敏感区域；将模板人脸图像在属性稳定区域的属性特征，作为属性稳定区域的特征；根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征；利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合，得到融合人脸图像。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机程序代码的非瞬时性计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (14)

1.一种人脸图像的融合方法，其特征在于，包括：
获取模板人脸图像的属性特征；
获取用户人脸图像的身份特征；
基于模板人脸图像的属性特征，确定模板人脸图像的注意力图，注意力图用于区分模板人脸图像中的属性稳定区域和身份敏感区域；
将模板人脸图像在属性稳定区域的属性特征，作为属性稳定区域的特征；
根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征；
利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合，得到融合人脸图像。
2.根据权利要求1所述的方法，其特征在于，根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征，包括：
基于用户人脸图像在身份敏感区域的身份特征，计算身份特征相关的均值和方差；
基于模板人脸图像在身份敏感区域的属性特征，计算属性特征相关的均值和方差；
根据模板人脸图像在身份敏感区域的属性特征和身份特征相关的均值和方差，执行第一自适应实例归一化操作，进行身份迁移；
根据第一自适应实例归一化操作结果和属性特征相关的均值和方差，执行第二自适应实例归一化操作，进行属性恢复，得到身份敏感区域的特征。
3.根据权利要求2所述的方法，其特征在于，身份敏感区域的特征表示如下：
Figure FDA0002941361690000021
其中，F[Is-areas]表示身份敏感区域的特征，Conv表示卷积操作，
Figure FDA0002941361690000022
表示对Conv()进行归一化操作，Fatt表示模板人脸图像在身份敏感区域的属性特征，βid、γid分别表示计算得到的身份特征相关的均值和方差，βatt、γatt分别表示计算得到的属性特征相关的均值和方差，
Figure FDA0002941361690000023
表示哈达玛积，
Figure FDA0002941361690000024
表示哈达玛和。
4.根据权利要求1所述的方法，其特征在于，利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合，得到融合人脸图像包括：
Figure FDA0002941361690000025
其中，O表示融合人脸图像，M表示注意力图，F[As-areas]表示属性稳定区域的特征，F[Is-areas]表示身份敏感区域的特征，
Figure FDA0002941361690000026
表示哈达玛积。
5.根据权利要求1所述的方法，其特征在于，
利用融合网络执行权利要求1所述的方法，融合网络包括属性网络和换脸网络，属性网络执行获取模板人脸图像的属性特征的步骤，换脸网络执行身份特征获取步骤、注意力图确定步骤、属性稳定区域的特征确定步骤、身份敏感区域的特征确定步骤、融合人脸图像确定步骤，
其中，属性网络包括一个或多个依次级联的用来进行卷积的编码器以及在最后一级编码器后面依次级联的一个或多个用来进行反卷积的解码器，最后一级编码器和各个解码器分别输出各自级别的模板人脸图像的属性特征；
其中，换脸网络包括身份特征获取模块以及在身份特征获取模块后面依次级联的一个或多个换脸模块，第一个换脸模块的两个输入端分别连接身份特征获取模块和最后一级编码器，其他换脸模块的三个输入端分别连接相应解码器的输出端、身份特征获取模块的输出端和前一级换脸模块的输出端，身份特征获取模块被配置为基于人脸识别技术获取并输出用户人脸图像的身份特征，每个换脸模块被配置为基于本换脸模块的输入信息执行注意力图确定步骤、属性稳定区域的特征确定步骤、身份敏感区域的特征确定步骤、融合人脸图像确定步骤。
6.根据权利要求5所述的方法，其特征在于，换脸模块执行融合人脸图像确定步骤包括：
Figure FDA0002941361690000031
其中，O(l)表示按照各个换脸模块级联顺序的第l个换脸模块确定的融合人脸图像，O(l -1)表示按照各个换脸模块级联顺序的第l-1个换脸模块确定的融合人脸图像，M(l)表示按照各个换脸模块级联顺序的第l个换脸模块确定的注意力图，
Figure FDA0002941361690000032
表示按照各个换脸模块级联顺序的第l个换脸模块确定的属性稳定区域的特征，
Figure FDA0002941361690000033
表示按照各个换脸模块级联顺序的第l个换脸模块确定的身份敏感区域的特征，
Figure FDA0002941361690000034
表示哈达玛积。
7.根据权利要求5所述的方法，其特征在于，还包括：
利用人脸图像训练数据对属性网络和换脸网络进行联合训练，直至训练损失满足要求，
其中，人脸图像训练数据包括多组第二模板人脸图像和第二用户人脸图像，训练损失包括第二用户人脸图像与第二融合人脸图像之间的身份损失，第二融合人脸图像是换脸网络基于第二模板人脸图像和第二用户人脸图像输出的图像。
8.根据权利要求7所述的方法，其特征在于，训练损失还包括以下至少一项：
第二融合人脸图像与第二模板人脸图像之间的属性一致性损失；
第二融合人脸图像相对于第二模板人脸图像的重构损失；
第二融合人脸图像与预设真实人脸图像之间的对抗损失；
注意力图的正则化约束。
9.根据权利要求1-8任一项所述的方法，其特征在于，
属性稳定区域包括背景、头发，属性特征包括背景、发型、肤色、表情、姿态；
身份敏感区域包括人脸的五官区域和轮廓区域。
10.一种人脸图像的融合装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-9中任一项所述的人脸图像的融合方法。
11.一种人脸图像的融合装置，包括：
属性网络，用于获取模板人脸图像的属性特征；
换脸网络，用于：
获取用户人脸图像的身份特征；
基于模板人脸图像的属性特征，确定模板人脸图像的注意力图，注意力图用于区分模板人脸图像中的属性稳定区域和身份敏感区域；
将模板人脸图像在属性稳定区域的属性特征，作为属性稳定区域的特征；
根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征；
利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合得到融合人脸图像。
12.根据权利要求11所述的装置，其特征在于，
属性网络包括一个或多个依次级联的用来进行卷积的编码器以及在最后一级编码器后面依次级联的一个或多个用来进行反卷积的解码器，最后一级编码器和各个解码器分别输出各自级别的模板人脸图像的属性特征；
换脸网络包括身份特征获取模块以及在身份特征获取模块后面依次级联的一个或多个换脸模块，第一个换脸模块的两个输入端分别连接身份特征获取模块和最后一级编码器，其他换脸模块的三个输入端分别连接相应解码器的输出端、身份特征获取模块的输出端和前一级换脸模块的输出端，身份特征获取模块被配置为基于人脸识别技术获取并输出用户人脸图像的身份特征，每个换脸模块被配置为基于自己的输入信息执行注意力图确定步骤、属性稳定区域的特征确定步骤、身份敏感区域的特征确定步骤、融合人脸图像确定步骤。
13.根据权利要求12所述的装置，其特征在于，
每个换脸模块包括：
注意力图确定单元，用于基于输入本换脸模块的模板人脸图像的属性特征，确定模板人脸图像的注意力图，注意力图用于区分模板人脸图像中的属性稳定区域和身份敏感区域；
属性稳定区域的特征确定单元，用于将输入本换脸模块的模板人脸图像在属性稳定区域的属性特征，作为属性稳定区域的特征；
身份敏感区域的特征确定单元，用于根据输入本换脸模块的模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征；
融合人脸图像确定单元，用于利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合得到融合人脸图像；
其中，身份敏感区域的特征确定单元包括：
第一自适应实例归一化单元，用于基于用户人脸图像在身份敏感区域的身份特征，计算身份特征相关的均值和方差；根据模板人脸图像在身份敏感区域的属性特征和身份特征相关的均值和方差，执行第一自适应实例归一化操作，进行身份迁移；
第二自适应实例归一化单元，用于基于模板人脸图像在身份敏感区域的属性特征，计算属性特征相关的均值和方差；根据第一自适应实例归一化操作结果和属性特征相关的均值和方差，执行第二自适应实例归一化操作，进行属性恢复，得到身份敏感区域的特征。
14.一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-9中任一项所述的人脸图像的融合方法的步骤。
CN202110178117.9A 2021-02-09 2021-02-09 人脸图像的融合方法和装置 Pending CN113762022A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110178117.9A CN113762022A (zh) 2021-02-09 2021-02-09 人脸图像的融合方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110178117.9A CN113762022A (zh) 2021-02-09 2021-02-09 人脸图像的融合方法和装置

Publications (1)

Publication Number Publication Date
CN113762022A true CN113762022A (zh) 2021-12-07

Family

ID=78786611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110178117.9A Pending CN113762022A (zh) 2021-02-09 2021-02-09 人脸图像的融合方法和装置

Country Status (1)

Country Link
CN (1) CN113762022A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115083000A (zh) * 2022-07-14 2022-09-20 北京百度网讯科技有限公司 人脸模型训练方法、换脸方法、装置和电子设备
WO2023184817A1 (zh) * 2022-03-30 2023-10-05 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023184817A1 (zh) * 2022-03-30 2023-10-05 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品
CN115083000A (zh) * 2022-07-14 2022-09-20 北京百度网讯科技有限公司 人脸模型训练方法、换脸方法、装置和电子设备
CN115083000B (zh) * 2022-07-14 2023-09-05 北京百度网讯科技有限公司 人脸模型训练方法、换脸方法、装置和电子设备

Similar Documents

Publication Publication Date Title
CN109376582B (zh) 一种基于生成对抗网络的交互式人脸卡通方法
KR102627802B1 (ko) 가상 형상 생성 모델의 트레이닝 방법 및 가상 형상 생성 방법
Ding et al. Latent low-rank transfer subspace learning for missing modality recognition
WO2017193906A1 (zh) 一种图像处理方法及处理系统
CN110660037A (zh) 图像间脸部交换的方法、装置、系统和计算机程序产品
CN111553267B (zh) 图像处理方法、图像处理模型训练方法及设备
US11615516B2 (en) Image-to-image translation using unpaired data for supervised learning
US11282257B2 (en) Pose selection and animation of characters using video data and training techniques
CN113362263B (zh) 变换虚拟偶像的形象的方法、设备、介质及程序产品
CN111814566A (zh) 图像编辑方法、装置、电子设备及存储介质
CN113762022A (zh) 人脸图像的融合方法和装置
CN111108508B (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
CN110909680A (zh) 人脸图像的表情识别方法、装置、电子设备及存储介质
CN113362422B (zh) 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法
Tang et al. Attribute-guided sketch generation
CN113963409A (zh) 一种人脸属性编辑模型的训练以及人脸属性编辑方法
CN116363261A (zh) 图像编辑模型的训练方法、图像编辑方法和装置
CN110688897A (zh) 一种基于联合判断与生成学习的行人重识别方法及装置
CN116188912A (zh) 主题图像的图像合成模型的训练方法、装置、介质及设备
EP4285320A1 (en) Try-on with reverse gans
Yang et al. Controllable sketch-to-image translation for robust face synthesis
CN114049290A (zh) 图像处理方法、装置、设备及存储介质
CN115862120B (zh) 可分离变分自编码器解耦的面部动作单元识别方法及设备
CN113538254A (zh) 图像恢复方法、装置、电子设备及计算机可读存储介质
CN111325173A (zh) 毛发类型识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination