CN112990123A - 图像处理方法、装置、计算机设备和介质 - Google Patents

图像处理方法、装置、计算机设备和介质 Download PDF

Info

Publication number
CN112990123A
CN112990123A CN202110450649.3A CN202110450649A CN112990123A CN 112990123 A CN112990123 A CN 112990123A CN 202110450649 A CN202110450649 A CN 202110450649A CN 112990123 A CN112990123 A CN 112990123A
Authority
CN
China
Prior art keywords
image
characteristic information
prior
sampling rate
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110450649.3A
Other languages
English (en)
Other versions
CN112990123B (zh
Inventor
陈博
高原
刘霄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Century TAL Education Technology Co Ltd
Original Assignee
Beijing Century TAL Education Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Century TAL Education Technology Co Ltd filed Critical Beijing Century TAL Education Technology Co Ltd
Priority to CN202110450649.3A priority Critical patent/CN112990123B/zh
Publication of CN112990123A publication Critical patent/CN112990123A/zh
Application granted granted Critical
Publication of CN112990123B publication Critical patent/CN112990123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及一种图像处理方法、装置、计算机设备和介质，其中，图像处理方法包括：根据第一图像和第二图像，得到先验图像；将第一图像、第二图像和先验图像输入换脸网络模型中，得到换脸目标图像，其中，换脸网络模型中包括：多个先验处理模块，先验处理模块的输入包括：第一融合特征信息、第一图像的第一身份特征信息、对应采样率的第二图像的第一属性特征信息、对应采样率的先验图像的第一先验特征信息。即，通过先验处理模块对身份特征信息、属性特征信息和先验特征信息进行竞争学习，使得换脸目标图像更好地融合了第一图像的身份特征和第二图像的属性特征，提高了换脸目标图像的真实性和自然性，从而，提升了换脸效果。

Description

图像处理方法、装置、计算机设备和介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、计算机设备和介质。
背景技术
随着人工智能和计算机技术的发展，换脸逐渐成为用户社交娱乐的热点。换脸是指将第一图像的身份特征替换到第二图像中得到换脸后的换脸目标图像，使得换脸目标图像既具有第一图像的身份特征，又兼具第二图像的人脸表情、姿势等属性特征。
目前，常用的换脸方法包括：利用三维(3-Dimension，3D)建模技术对第一图像和第二图像进行三维面部重建，得到新的人脸三维模型，生成换脸目标图像；或者，针对指定的换脸对象，获取大量的包含换脸对象的人脸图像，对神经网络模型进行训练，利用训练得到的模型进行换脸。
然而，采用现有技术的方法，得到的换脸目标图像不够真实自然，换脸效果较差。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种图像处理方法、装置、计算机设备和介质。
第一方面，本公开提供一种图像处理方法，包括：
根据第一图像和第二图像，得到先验图像；
将所述第一图像、所述第二图像和所述先验图像输入换脸网络模型中，得到换脸目标图像，其中，所述换脸网络模型中包括：多个先验处理模块，所述先验处理模块的输入包括：第一融合特征信息、所述第一图像的第一身份特征信息、对应采样率的第二图像的第一属性特征信息、对应采样率的先验图像的第一先验特征信息，第一个先验处理模块输入的第一融合特征信息为对应采样率的先验图像的第一先验特征信息，其余先验处理模块输入的第一融合特征信息为前一个先验处理模块输出的目标融合特征信息。
可选的，所述将所述第一图像、所述第二图像和所述先验图像输入换脸网络模型中，得到换脸目标图像，包括：
获取所述第一图像的第一身份特征信息；
获取所述第二图像的不同采样率的第一属性特征信息；
获取所述先验图像的不同采样率的第一先验特征信息；
根据所述第一融合特征信息、所述第一身份特征信息、对应采样率的第一属性特征信息和对应采样率的第一先验特征信息，得到目标融合特征信息；
根据所述目标融合特征信息，得到换脸目标图像。
可选的，所述根据所述第一融合特征信息、所述第一身份特征信息、对应采样率的第一属性特征信息和对应采样率的第一先验特征信息，得到目标融合特征信息，包括：
根据所述第一融合特征信息、所述第一身份特征信息、对应采样率的第一属性特征信息和对应采样率的第一先验特征信息，得到第二身份特征信息、对应采样率的第二属性特征信息和对应采样率的第二先验特征信息；
根据所述第一融合特征信息，得到注意力掩膜；
根据所述第一身份特征信息和对应采样率的第二先验特征信息，得到身份特征权重参数；
根据所述注意力掩膜、所述身份特征权重参数、所述第二身份特征信息、对应采样率的第二属性特征信息和对应采样率的第二先验特征信息，得到目标融合特征信息。
可选的，所述根据所述第一融合特征信息、所述第一身份特征信息、对应采样率的第一属性特征信息和对应采样率的第一先验特征信息，得到第二身份特征信息、对应采样率的第二属性特征信息和对应采样率的第二先验特征信息，包括：
根据所述第一身份特征信息，得到所述第一身份特征信息对应的第一身份特征偏移参数；
根据对应采样率的第一属性特征信息，得到对应采样率的第一属性特征信息对应的第一属性特征偏移参数；
根据对应采样率的第一先验特征信息，得到对应采样率的第一先验特征信息对应的第一先验特征偏移参数；
根据所述第一融合特征信息、所述第一身份特征偏移参数、所述第一属性特征偏移参数和第一先验特征偏移参数，得到第二身份特征信息、对应采样率的第二属性特征信息和对应采样率的第二先验特征信息。
可选的，所述根据所述注意力掩膜、所述身份特征权重参数、所述第二身份特征信息、对应采样率的第二属性特征信息和对应采样率的第二先验特征信息，得到目标融合特征信息，包括：
根据
Figure 170447DEST_PATH_IMAGE001
，得到目标融合 特征信息；
其中，
Figure 445702DEST_PATH_IMAGE002
为目标融合特征信息，
Figure 527927DEST_PATH_IMAGE003
为注意力掩膜，
Figure 796098DEST_PATH_IMAGE004
为第二身份特征信 息，
Figure 335794DEST_PATH_IMAGE005
为对应采样率的第二属性特征信息，
Figure 296797DEST_PATH_IMAGE006
为对应采样率的第二先验特征信息，
Figure 866319DEST_PATH_IMAGE007
和
Figure 157754DEST_PATH_IMAGE008
为身份特征权重参数。
可选的，所述根据第一图像和第二图像，得到先验图像，包括：
将所述第一图像输入三维形变模型，得到所述第一图像的身份参数；
将所述第二图像输入所述三维形变模型，得到第二图像的属性参数，其中，所述属性参数包括：表情参数、旋转参数和平移参数；
根据第一图像的身份参数和第二图像的属性参数，得到融合图像的参数，所述融合图像的参数包括：所述第一图像的身份参数和所述第二图像的属性参数；
根据所述融合图像的参数，得到所述先验图像。
可选的，所述根据第一图像和第二图像，得到先验图像之前，还包括：
对第一原始图像进行人脸检测，获取所述第一原始图像对应的第一人脸关键点；
根据所述第一原始图像对应的第一人脸关键点和预设的标准人脸进行人脸对齐，得到第一图像；
对第二原始图像进行人脸检测，获取所述第二原始图像对应的第二人脸关键点；
根据所述第二原始图像对应的第二人脸关键点和预设的标准人脸进行人脸对齐，得到第二图像。
第二方面，本公开提供一种图像处理装置，包括：
获取模块，用于根据第一图像和第二图像，得到先验图像；
换脸网络模型，用于根据所述第一图像、所述第二图像和所述先验图像，得到换脸目标图像，其中，所述换脸网络模型中包括：多个先验处理模块，所述先验处理模块的输入包括：第一融合特征信息、所述第一图像的第一身份特征信息、对应采样率的第二图像的第一属性特征信息、对应采样率的先验图像的第一先验特征信息，第一个先验处理模块输入的第一融合特征信息为对应采样率的先验图像的第一先验特征信息，其余先验处理模块输入的第一融合特征信息为前一个先验处理模块输出的目标融合特征信息。
可选的，所述换脸网络模型，具体用于：
获取所述第一图像的第一身份特征信息；
获取所述第二图像的不同采样率的第一属性特征信息；
获取所述先验图像的不同采样率的第一先验特征信息；
根据所述第一融合特征信息、所述第一身份特征信息、对应采样率的第一属性特征信息和对应采样率的第一先验特征信息，得到目标融合特征信息；
根据所述目标融合特征信息，得到换脸目标图像。
可选的，所述换脸网络模型，具体用于：
根据所述第一融合特征信息、所述第一身份特征信息、对应采样率的第一属性特征信息和对应采样率的第一先验特征信息，得到第二身份特征信息、对应采样率的第二属性特征信息和对应采样率的第二先验特征信息；
根据所述第一融合特征信息，得到注意力掩膜；
根据所述第一身份特征信息和对应采样率的第二先验特征信息，得到身份特征权重参数；
根据所述注意力掩膜、所述身份特征权重参数、所述第二身份特征信息、对应采样率的第二属性特征信息和对应采样率的第二先验特征信息，得到目标融合特征信息。
可选的，所述换脸网络模型，具体用于：
根据所述第一身份特征信息，得到所述第一身份特征信息对应的第一身份特征偏移参数；
根据对应采样率的第一属性特征信息，得到对应采样率的第一属性特征信息对应的第一属性特征偏移参数；
根据对应采样率的第一先验特征信息，得到对应采样率的第一先验特征信息对应的第一先验特征偏移参数；
根据所述第一融合特征信息、所述第一身份特征偏移参数、所述第一属性特征偏移参数和第一先验特征偏移参数，得到第二身份特征信息、对应采样率的第二属性特征信息和对应采样率的第二先验特征信息。
可选的，所述换脸网络模型，具体用于：
根据
Figure 332383DEST_PATH_IMAGE001
，得到目标融合 特征信息；
其中，
Figure 995446DEST_PATH_IMAGE002
为目标融合特征信息，
Figure 6258DEST_PATH_IMAGE003
为注意力掩膜，
Figure 350652DEST_PATH_IMAGE004
为第二身份特征信 息，
Figure 176526DEST_PATH_IMAGE005
为对应采样率的第二属性特征信息，
Figure 230063DEST_PATH_IMAGE006
为对应采样率的第二先验特征信息，
Figure 446281DEST_PATH_IMAGE007
和
Figure 656682DEST_PATH_IMAGE008
为身份特征权重参数。
可选的，所述获取模块，具体用于：
将所述第一图像输入三维形变模型，得到所述第一图像的身份参数；
将所述第二图像输入所述三维形变模型，得到第二图像的属性参数，其中，所述属性参数包括：表情参数、旋转参数和平移参数；
根据第一图像的身份参数和第二图像的属性参数，得到融合图像的参数，所述融合图像的参数包括：所述第一图像的身份参数和所述第二图像的属性参数；
根据所述融合图像的参数，得到所述先验图像。
可选的，所述获取模块，还用于：
对第一原始图像进行人脸检测，获取所述第一原始图像对应的第一人脸关键点；
根据所述第一原始图像对应的第一人脸关键点和预设的标准人脸进行人脸对齐，得到第一图像；
对第二原始图像进行人脸检测，获取所述第二原始图像对应的第二人脸关键点；
根据所述第二原始图像对应的第二人脸关键点和预设的标准人脸进行人脸对齐，得到第二图像。
第三方面，本公开提供一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面任一项所述方法的步骤。
第四方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一项所述方法的步骤。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
根据第一图像和第二图像，得到先验图像；将第一图像、第二图像和先验图像输入换脸网络模型中，得到换脸目标图像，其中，换脸网络模型中包括：多个先验处理模块，先验处理模块的输入包括：第一融合特征信息、第一图像的第一身份特征信息、对应采样率的第二图像的第一属性特征信息、对应采样率的先验图像的第一先验特征信息，第一个先验处理模块输入的第一融合特征信息为对应采样率的先验图像的第一先验特征信息，其余先验处理模块输入的第一融合特征信息为前一个先验处理模块输出的目标融合特征信息。由于先验特征信息可以提供较多的身份特征信息和属性特征信息，通过先验处理模块对身份特征信息、属性特征信息和先验特征信息进行竞争学习，使得换脸目标图像更好地融合了第一图像的身份特征和第二图像的属性特征，提高了换脸目标图像的真实性和自然性，从而，提升了换脸效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开提供的一种图像处理方法实施例的流程示意图；
图2为本公开提供的一种换脸网络模型的结构示意图；
图3为本公开提供的另一种图像处理方法实施例的流程示意图；
图4为本公开提供的再一种图像处理方法实施例的流程示意图；
图5为本公开提供的又一种图像处理方法实施例的流程示意图；
图6为本公开提供的一种图像处理方法实施例的换脸效果图；
图7为本公开提供的一种图像处理方法装置的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
现有技术中，对第一图像和第二图像进行换脸得到的换脸目标图像，经常出现换脸目标图像的人脸脸型与第一图像的人脸脸型不匹配、换脸目标图像的人脸表情不自然等情况，尤其是在第一图像与第二图像的人脸脸型、表情和姿势差异较大的情况下，换脸目标图像所呈现的换脸效果较差。
本公开提供一种图像处理方法，根据第一图像和第二图像，得到先验图像；将第一图像、第二图像和先验图像输入换脸网络模型中，得到换脸目标图像，其中，换脸网络模型中包括：多个先验处理模块，先验处理模块的输入包括：第一融合特征信息、第一图像的第一身份特征信息、对应采样率的第二图像的第一属性特征信息、对应采样率的先验图像的第一先验特征信息，第一个先验处理模块输入的第一融合特征信息为对应采样率的先验图像的第一先验特征信息，其余先验处理模块输入的第一融合特征信息为前一个先验处理模块输出的目标融合特征信息。由于先验特征信息可以提供较多的身份特征信息和属性特征信息，通过先验处理模块对身份特征信息、属性特征信息和先验特征信息进行竞争学习，使得换脸网络模型能够更好地融合第一图像的身份特征和第二图像的属性特征，提高了换脸目标图像的真实性和自然性，从而，提升了换脸效果。
下面以几个具体的实施例对本公开的技术方案进行描述，对于相同或者类似的概念，可以相互参考，不再每处一一赘述。
图1为本公开实施例提供的一种图像处理方法实施例的流程示意图，如图1所示，本实施例的方法包括：
S101：根据第一图像和第二图像，得到先验图像。
其中，第一图像和第二图像均为包括人脸的图像，第二图像是需要更换人脸的图像，第一图像是用来对第二图像进行换脸的图像。将第一图像中人脸的五官、轮廓形状和纹理等替换到第二图像中，得到先验图像。先验图像具有第一图像中人脸的五官、轮廓形状和纹理等身份特征，兼具第二图像中的人脸表情和姿势等属性特征。
一种可能的实现方式为：
S1011：将第一图像输入三维形变模型，得到第一图像的身份参数。
将第一图像输入三维形变模型(3D Morphable Models，3DMM)，提取第一图像对应的人脸三维参数，从人脸三维参数中获取身份参数。其中，三维参数包括身份参数和属性参数。身份参数用于表示人脸的脸部特征，例如：人脸的轮廓形状、人脸的纹理、颜色、眼睛、鼻子、嘴巴的位置信息以及对应的特征信息等。
S1012：将第二图像输入三维形变模型，得到第二图像的属性参数。
其中，属性参数包括：表情参数、旋转参数和平移参数。
将第二图像输入3DMM，提取第二图像对应的人脸三维参数，从人脸三维参数中获取属性参数。其中，属性参数包括：表情参数、旋转参数和平移参数。表情参数用于表示人脸五官的动作，例如：微笑、眨眼等脸部表情；旋转参数和平移参数用于表示人脸的投影角度，例如：扭头、低头等脸部姿势。
S1013：根据第一图像的身份参数和第二图像的属性参数，得到融合图像的参数。
其中，融合图像的参数包括：第一图像的身份参数和第二图像的属性参数。
将第二图像对应的人脸三维参数中的身份参数替换为第一图像的身份参数，得到融合图像的参数。
S1014：根据融合图像的参数，得到先验图像。
根据融合图像的参数进行纹理渲染，得到三维人脸模型，对三维人脸模型进行二维投影，得到先验图像。
S102：将第一图像、第二图像和先验图像输入换脸网络模型中，得到换脸目标图像。
其中，换脸网络模型中包括：多个先验处理模块，先验处理模块的输入包括：第一融合特征信息、第一图像的第一身份特征信息、对应采样率的第二图像的第一属性特征信息、对应采样率的先验图像的第一先验特征信息，第一个先验处理模块输入的第一融合特征信息为对应采样率的先验图像的第一先验特征信息，其余先验处理模块输入的第一融合特征信息为前一个先验处理模块输出的目标融合特征信息。
可选的，图2示出了一种换脸网络模型的结构，包括：人脸识别网络、属性提取网络、3D编码器和多个先验处理模块。
基于图2所示的换脸网络模型，一种可能的实现方式为：如图3所示，
S1021：获取第一图像的第一身份特征信息。
将第一图像输入人脸识别网络，获取第一图像的第一身份特征信息。人脸识别网络可以是基于深度人脸识别的加性角度间隔损失(Additive Angular Margin Loss forDeep Face Recognition，ArcFace)函数训练得到的网络。
S1022：获取第二图像的不同采样率的第一属性特征信息。
将第二图像输入属性提取网络，获取第二图像的不同采样率的第一属性特征信息。如图2所示，属性提取网络可以采用U型网络（U-Net）结构，包括：多个下采样层和多个上采样层。下采样层通过不同的采样率对第二图像进行卷积操作和池化处理，输出对应采样率的下采样属性特征信息。每个下采样层的输出作为下一个下采样层的输入。最后一个下采样层输出的下采样属性特征信息作为第一个上采样层的输入。针对每个上采样层，确定上采样层对应的下采样层，获取对应的下采样层输出的下采样属性特征信息，根据下采样属性特征信息和前一个上采样层输出的上采样属性特征信息，输出上采样属性特征信息。每个上采样层的输出结果作为下一个上采样层的输入。第二图像的不同采样率的第一属性特征信息包括：最后一个下采样层输出的下采样属性特征信息和多个上采样层输出的上采样属性特征信息。
S1023：获取先验图像的不同采样率的第一先验特征信息。
将先验图像输入3D编码器，获取先验图像的不同采样率的第一先验特征信息。如图2所示，3D编码器包括：多个下采样层。下采样层通过不同的采样率对先验图像进行卷积操作和池化处理，输出对应采样率的第一先验特征信息。每个下采样层的输出作为下一个下采样层的输入。
S1024：根据第一融合特征信息、第一身份特征信息、对应采样率的第一属性特征信息和对应采样率的第一先验特征信息，得到目标融合特征信息。
可选的，将第一融合特征信息、第一身份特征信息、对应采样率的第一属性特征信息和对应采样率的第一先验特征信息输入对应的先验处理模块。先验处理模块通过注意力机制获取注意力掩膜以区分第一融合特征信息中的身份特征信息和属性特征信息，对第一身份特征信息、对应采样率的第一属性特征信息和对应采样率的第一先验特征信息进行竞争学习，得到目标融合特征信息。如图2所示，第一个先验处理模块输入的第一融合特征信息为对应采样率的先验图像的第一先验特征信息，其余先验处理模块输入的第一融合特征信息为前一个先验处理模块输出的目标融合特征信息。
S1025：根据目标融合特征信息，得到换脸目标图像。
可选的，换脸网络模型还可以包括：解码器。将目标融合特征信息输入解码器，得到换脸目标图像。
本实施例，根据第一图像和第二图像，得到先验图像；将第一图像、第二图像和先验图像输入换脸网络模型中，得到换脸目标图像，其中，换脸网络模型中包括：多个先验处理模块，先验处理模块的输入包括：第一融合特征信息、第一图像的第一身份特征信息、对应采样率的第二图像的第一属性特征信息、对应采样率的先验图像的第一先验特征信息，第一个先验处理模块输入的第一融合特征信息为对应采样率的先验图像的第一先验特征信息，其余先验处理模块输入的第一融合特征信息为前一个先验处理模块输出的目标融合特征信息。由于先验特征信息可以提供较多的身份特征信息和属性特征信息，通过先验处理模块对身份特征信息、属性特征信息和先验特征信息进行竞争学习，使得换脸网络模型能够更好地融合第一图像的身份特征和第二图像的属性特征，提高了换脸目标图像的真实性和自然性，从而，提升了换脸效果。
图4为本公开实施例提供的再一种图像处理方法实施例的流程示意图，图4是在图3所示实施例的基础上，S1024的一种可能的实现方式的描述，如图4所示，
S10241：根据第一融合特征信息、第一身份特征信息、对应采样率的第一属性特征信息和对应采样率的第一先验特征信息，得到第二身份特征信息、对应采样率的第二属性特征信息和对应采样率的第二先验特征信息。
一种可能的实现方式为：
S102411：根据第一身份特征信息，得到第一身份特征信息对应的第一身份特征偏移参数。
可选的，第
Figure 291057DEST_PATH_IMAGE009
个先验处理模块根据第一身份特征信息
Figure 499185DEST_PATH_IMAGE010
，基于自适应实例归一 化(Adaptive Instance Normalization, AdaIN)学习得到第一身份特征信息对应的第一 身份特征偏移参数，其中，第一身份特征偏移参数包括：第一身份特征缩放参数
Figure 265015DEST_PATH_IMAGE011
和第一 身份特征平移参数
Figure 701944DEST_PATH_IMAGE012
，
Figure 502410DEST_PATH_IMAGE013
为大于等于1的整数。
S102412：根据对应采样率的第一属性特征信息，得到对应采样率的第一属性特征信息对应的第一属性特征偏移参数。
可选的，第
Figure 147018DEST_PATH_IMAGE014
个先验处理模块根据对应采样率的第一属性特征信息
Figure 88560DEST_PATH_IMAGE015
，基于 AdaIN学习得到对应采样率的第一属性特征信息对应的第一属性特征偏移参数，其中，第一 属性特征偏移参数包括：第一属性特征缩放参数
Figure 640764DEST_PATH_IMAGE016
和第一属性特征平移参数
Figure 233420DEST_PATH_IMAGE017
，
Figure 534082DEST_PATH_IMAGE014
为大于等于1的整数。
S102413：根据对应采样率的第一先验特征信息，得到对应采样率的第一先验特征信息对应的第一先验特征偏移参数。
可选的，第
Figure 274505DEST_PATH_IMAGE018
个先验处理模块根据对应采样率的第一先验特征信息
Figure 833662DEST_PATH_IMAGE019
，基于 AdaIN学习得到对应采样率的第一先验特征信息对应的第一先验特征偏移参数，其中，第一 先验特征偏移参数包括：第一先验特征缩放参数
Figure 31557DEST_PATH_IMAGE020
和第一先验特征平移参数
Figure 752388DEST_PATH_IMAGE021
，
Figure 980107DEST_PATH_IMAGE022
为大于等于1的整数。
S102414：根据第一融合特征信息、第一身份特征偏移参数、第一属性特征偏移参数和第一先验特征偏移参数，得到第二身份特征信息、对应采样率的第二属性特征信息和对应采样率的第二先验特征信息。
可选的，根据
Figure 828108DEST_PATH_IMAGE023
，得到第二身份特征信息。
其中，
Figure 395356DEST_PATH_IMAGE024
为第二身份特征信息，
Figure 287089DEST_PATH_IMAGE025
为第一身份特征缩放参数，
Figure 205366DEST_PATH_IMAGE026
为第一融合 特征信息，
Figure 642077DEST_PATH_IMAGE027
为第一身份特征平移参数。
可选的，根据
Figure 63831DEST_PATH_IMAGE028
，得到对应采样率的第二属性特征 信息。
其中，
Figure 126465DEST_PATH_IMAGE029
为对应采样率的第二属性特征信息，
Figure 17192DEST_PATH_IMAGE030
为第一属性特征缩放参数，
Figure 721843DEST_PATH_IMAGE031
为第一融合特征信息，
Figure 263683DEST_PATH_IMAGE032
为第一属性特征平移参数。
可选的，根据
Figure 310267DEST_PATH_IMAGE033
，得到对应采样率的第二先验特征 信息。
其中，
Figure 937558DEST_PATH_IMAGE034
为对应采样率的第二先验特征信息，
Figure 180320DEST_PATH_IMAGE035
为第一先验特征缩放参数，
Figure 311087DEST_PATH_IMAGE036
为第一融合特征信息，
Figure 731835DEST_PATH_IMAGE037
为第一先验特征平移参数。
S10242：根据第一融合特征信息，得到注意力掩膜。
可选的，第
Figure 643159DEST_PATH_IMAGE038
个先验处理模块根据第一融合特征信息
Figure 424034DEST_PATH_IMAGE039
，利用卷积和 Sigmoid函数得到注意力掩膜
Figure 425619DEST_PATH_IMAGE040
，其中，
Figure 266536DEST_PATH_IMAGE040
用于区分第一融合特征信息中的属性特征 信息和身份特征信息。
S10243：根据第一身份特征信息和对应采样率的第二先验特征信息，得到身份特征权重参数。
可选的，由于第一身份特征信息和对应采样率的第二先验特征信息都包含较多的 身份特征信息，第
Figure 868419DEST_PATH_IMAGE041
个先验处理模块根据第一身份特征信息和对应采样率的第二先验特征 信息，利用Softmax函数得到身份特征权重参数
Figure 454DEST_PATH_IMAGE042
和
Figure 371392DEST_PATH_IMAGE043
。
S10244：根据注意力掩膜、身份特征权重参数、第二身份特征信息、对应采样率的第二属性特征信息和对应采样率的第二先验特征信息，得到目标融合特征信息。
可选的，第
Figure 117631DEST_PATH_IMAGE009
个先验处理模块根据
Figure 941231DEST_PATH_IMAGE044
，得到目标融合特征信息。
其中，
Figure 876957DEST_PATH_IMAGE002
为目标融合特征信息，
Figure 102402DEST_PATH_IMAGE003
为注意力掩膜，
Figure 285122DEST_PATH_IMAGE004
为第二身份特征信 息，
Figure 612329DEST_PATH_IMAGE005
为对应采样率的第二属性特征信息，
Figure 273117DEST_PATH_IMAGE006
为对应采样率的第二先验特征信息，
Figure 353069DEST_PATH_IMAGE007
和
Figure 972269DEST_PATH_IMAGE008
为身份特征权重参数。
本实施例，根据第一融合特征信息、第一身份特征信息、第一融合特征信息、对应采样率的第一属性特征信息和对应采样率的第一先验特征信息，得到第二身份特征信息、对应采样率的第二属性特征信息和对应采样率的第二先验特征信息；根据第一融合特征信息，得到注意力掩膜；根据第一身份特征信息和对应采样率的第二先验特征信息，得到身份特征权重参数；根据注意力掩膜、身份特征权重参数、第二身份特征信息、对应采样率的第二属性特征信息和对应采样率的第二先验特征信息，得到目标融合特征信息。即，先验处理模块基于注意力机制通过对身份特征信息、属性特征信息和先验特征信息的竞争学习，更好地融合了第一图像的身份特征和第二图像的属性特征，提高了换脸目标图像的真实性和自然性，从而，提升了换脸效果。
图5为本公开实施例提供的又一种图像处理方法实施例的流程示意图，图5是在图1-图4任一所示实施例的基础上，S101之前还可以包括：如图5所示，
S201：对第一原始图像进行人脸检测，获取第一原始图像对应的第一人脸关键点。
利用人脸检测算法或人脸关键点检测网络对第一原始图像进行人脸检测，获取第一原始图像对应的第一人脸关键点。
S202：根据第一原始图像对应的第一人脸关键点和预设的标准人脸进行人脸对齐，得到第一图像。
根据第一原始图像对应的第一人脸关键点，得到第一原始图像中的人脸角度，通过相似变换与预设的标准人脸进行人脸对齐，得到第一图像。
S203：对第二原始图像进行人脸检测，获取第二原始图像对应的第二人脸关键点。
利用人脸检测算法或人脸关键点检测网络对第二原始图像进行人脸检测，获取第二原始图像对应的第二人脸关键点。
S204：根据第二原始图像对应的第二人脸关键点和预设的标准人脸进行人脸对齐，得到第二图像。
根据第二原始图像对应的第二人脸关键点，得到第二原始图像中的人脸角度，通过相似变换与预设的标准人脸进行人脸对齐，得到第二图像。
本实施例，在根据第一图像和第二图像，得到先验图像之前，分别对第一原始图像和第二原始图像进行人脸检测和人脸对齐，分别得到第一图像和第二图像。由于第一图像和第二图像都是人脸对齐后的图像，提高了换脸网络模型对人脸平面旋转的鲁棒性，提升了换脸效果。
图6示出了采用本公开实施例提供的图像处理方法对第一图像和第二图像进行换脸得到的换脸目标图像，其中，第一列图像为第一图像，第二列图像为第二图像，第三列图像为换脸目标图像。其中，换脸目标图像真实自然，较好地融合了第一图像的身份特征和第二图像的人脸表情、姿势等属性特征。
可选的，在S201之前，还包括：通过生成对抗网络(Generative AdversarialNetwork，GAN)模型来训练换脸网络模型，将换脸网络模型作为生成对抗网络模型中的生成器模型，将换脸网络模型输出的换脸目标图像和真实的图像样本输入生成判别器模型，输出换脸目标图像的判定值，判定值是换脸目标对象属于真实图像的概率。
其中，换脸网络模型的训练方法，包括：
S301：获取训练图像集。
训练图像集包括：多个第一图像样本和多个第二图像样本。
其中，第一图像样本和第二图像样本可以是基于爬虫技术从网页中获取的人脸图像。
S302：根据第一图像样本和第二图像样本，得到先验图像样本。
S303：将第一图像样本、第二图像样本和先验图像样本输入换脸网络模型，得到换脸目标图像样本。
S304：根据换脸目标图像样本、第一图像样本和第二图像样本，得到身份一致损失函数的值、属性一致损失函数的值和重建损失函数的值。
可选的，根据
Figure 317931DEST_PATH_IMAGE045
，得到身份一致损失函数的 值。其中，
Figure 47989DEST_PATH_IMAGE046
为身份一致损失函数，
Figure 716868DEST_PATH_IMAGE047
为人脸识别网络，
Figure 257702DEST_PATH_IMAGE048
为换脸目标图像样本，
Figure 339927DEST_PATH_IMAGE049
为第一图像样本。
根据
Figure 608098DEST_PATH_IMAGE050
，得到属性一致损失函数的值。其中，
Figure 147795DEST_PATH_IMAGE051
为身份一致损失函数，
Figure 108797DEST_PATH_IMAGE052
为属性提取网络，
Figure 412740DEST_PATH_IMAGE053
为换脸目标图像样本，
Figure 235333DEST_PATH_IMAGE054
为第二 图像样本，
Figure 409963DEST_PATH_IMAGE055
为先验处理模块的个数，
Figure 10708DEST_PATH_IMAGE056
为大于等于1且小于等于
Figure 270788DEST_PATH_IMAGE057
的整数。
若第一图像的身份特征和第二图像的身份特征属于同一个换脸对象，根据
Figure 631494DEST_PATH_IMAGE058
，得到重建损失函数的值。其中，
Figure 457367DEST_PATH_IMAGE059
为重建损失函数，
Figure 494594DEST_PATH_IMAGE060
为换脸目 标图像样本，
Figure 727123DEST_PATH_IMAGE061
为第一图像样本。若第一图像的身份特征和第二图像的身份特征不属于同 一个换脸对象，重建损失函数
Figure 140787DEST_PATH_IMAGE062
。
S305：将换脸目标图像样本和第一图像样本输入判别器模型，得到换脸目标图像样本的判定值和对抗损失函数的值。
根据
Figure 24429DEST_PATH_IMAGE063
，得到对抗 损失函数的值。其中，
Figure 45606DEST_PATH_IMAGE064
为对抗损失函数，
Figure 14699DEST_PATH_IMAGE065
为判别器模型，
Figure 966474DEST_PATH_IMAGE066
为 第一图像样本，
Figure 704623DEST_PATH_IMAGE067
为换脸目标图像样本。
可选的，判别器模型可以使用多尺度判别器，将换脸目标图像样本和第一图像样 本以不同的分辨率进行下采样，得到不同分辨率对应的换脸目标图像样本和第一图像样 本，将对应分辨率的换脸目标图像样本和第一图像样本输入判别器模型，得到换脸目标图 像样本的判定值和对抗损失函数的值。例如：对换脸目标图像样本和第一图像样本以 256x256、128x128和64x64的分辨率进行3次下采样，将分辨率为256x256的换脸目标图像样 本和第一图像样本、分辨率为128x128的换脸目标图像样本和第一图像样本、分辨率为 64x64的换脸目标图像样本和第一图像样本输入判别器模型中，得到换脸目标图像样本的 判定值，根据
Figure 834384DEST_PATH_IMAGE068
，得到对抗损失函数的值。其中，
Figure 290773DEST_PATH_IMAGE069
为第
Figure 842978DEST_PATH_IMAGE070
次下采样得到换脸目标图像样本和第一图像样本的对 抗损失函数。
可选的，还可以将换脸目标图像样本和第二图像样本输入判别器模型，得到换脸目标图像样本的判定值和对抗损失函数的值。
S306：根据对抗损失函数的值、身份一致损失函数的值、属性一致损失函数的值和重建损失函数的值，更新换脸网络模型的参数和判别器模型的参数，直到判别器模型输出的换脸目标图像样本的判定值满足预设条件，停止训练，得到换脸网络模型。其中，预设条件可以为换脸目标图像样本的判定值大于第一预设阈值，第一预设阈值可以是0.99、0.98或其它趋近于1的数值等。
图7为本公开实施例提供的一种图像处理装置的结构示意图，本实施例的装置包括：获取模块701和换脸网络模型702。
其中，获取模块701，用于根据第一图像和第二图像，得到先验图像；
换脸网络模型702，用于根据第一图像、第二图像和先验图像，得到换脸目标图像，其中，换脸网络模型中包括：多个先验处理模块，先验处理模块的输入包括：第一融合特征信息、第一图像的第一身份特征信息、对应采样率的第二图像的第一属性特征信息、对应采样率的先验图像的第一先验特征信息，第一个先验处理模块输入的第一融合特征信息为对应采样率的先验图像的第一先验特征信息，其余先验处理模块输入的第一融合特征信息为前一个先验处理模块输出的目标融合特征信息。
可选的，换脸网络模型702，具体用于：
获取第一图像的第一身份特征信息；
获取第二图像的不同采样率的第一属性特征信息；
获取先验图像的不同采样率的第一先验特征信息；
根据第一融合特征信息、第一身份特征信息、对应采样率的第一属性特征信息和对应采样率的第一先验特征信息，得到目标融合特征信息；
根据目标融合特征信息，得到换脸目标图像。
可选的，换脸网络模型702，具体用于：
根据第一融合特征信息、第一身份特征信息、对应采样率的第一属性特征信息和对应采样率的第一先验特征信息，得到第二身份特征信息、对应采样率的第二属性特征信息和对应采样率的第二先验特征信息；
根据第一融合特征信息，得到注意力掩膜；
根据第一身份特征信息和对应采样率的第二先验特征信息，得到身份特征权重参数；
根据注意力掩膜、身份特征权重参数、第二身份特征信息、对应采样率的第二属性特征信息和对应采样率的第二先验特征信息，得到目标融合特征信息。
可选的，换脸网络模型702，具体用于：
根据第一身份特征信息，得到第一身份特征信息对应的第一身份特征偏移参数；
根据对应采样率的第一属性特征信息，得到对应采样率的第一属性特征信息对应的第一属性特征偏移参数；
根据对应采样率的第一先验特征信息，得到对应采样率的第一先验特征信息对应的第一先验特征偏移参数；
根据第一融合特征信息、第一身份特征偏移参数、第一属性特征偏移参数和第一先验特征偏移参数，得到第二身份特征信息、对应采样率的第二属性特征信息和对应采样率的第二先验特征信息。
可选的，换脸网络模型702，具体用于：
根据
Figure 463663DEST_PATH_IMAGE071
，得到目标融合特 征信息；
其中，
Figure 13593DEST_PATH_IMAGE002
为目标融合特征信息，
Figure 957279DEST_PATH_IMAGE003
为注意力掩膜，
Figure 798327DEST_PATH_IMAGE004
为第二身份特征信 息，
Figure 511068DEST_PATH_IMAGE005
为对应采样率的第二属性特征信息，
Figure 497478DEST_PATH_IMAGE006
为对应采样率的第二先验特征信息，
Figure 662880DEST_PATH_IMAGE007
和
Figure 510882DEST_PATH_IMAGE008
为身份特征权重参数。
可选的，获取模块701，具体用于：
将第一图像输入三维形变模型，得到第一图像的身份参数；
将第二图像输入三维形变模型，得到第二图像的属性参数，其中，属性参数包括：表情参数、旋转参数和平移参数；
根据第一图像的身份参数和第二图像的属性参数，得到融合图像的参数，融合图像的参数包括：第一图像的身份参数和第二图像的属性参数；
根据融合图像的参数，得到先验图像。
可选的，获取模块701，还用于：
对第一原始图像进行人脸检测，获取第一原始图像对应的第一人脸关键点；
根据第一原始图像对应的第一人脸关键点和预设的标准人脸进行人脸对齐，得到第一图像；
对第二原始图像进行人脸检测，获取第二原始图像对应的第二人脸关键点；
根据第二原始图像对应的第二人脸关键点和预设的标准人脸进行人脸对齐，得到第二图像。
本实施例的装置对应的可用于执行上述图1到图6任一所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本公开实施例提供了一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时可以实现图1到图6任一所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现图1到图6任一所示方法实施例的技术方案。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
根据第一图像和第二图像，得到先验图像；
将所述第一图像、所述第二图像和所述先验图像输入换脸网络模型中，得到换脸目标图像，其中，所述换脸网络模型中包括：多个先验处理模块，所述先验处理模块的输入包括：第一融合特征信息、所述第一图像的第一身份特征信息、对应采样率的第二图像的第一属性特征信息、对应采样率的先验图像的第一先验特征信息，第一个先验处理模块输入的第一融合特征信息为对应采样率的先验图像的第一先验特征信息，其余先验处理模块输入的第一融合特征信息为前一个先验处理模块输出的目标融合特征信息。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一图像、所述第二图像和所述先验图像输入换脸网络模型中，得到换脸目标图像，包括：
获取所述第一图像的第一身份特征信息；
获取所述第二图像的不同采样率的第一属性特征信息；
获取所述先验图像的不同采样率的第一先验特征信息；
根据所述第一融合特征信息、所述第一身份特征信息、对应采样率的第一属性特征信息和对应采样率的第一先验特征信息，得到目标融合特征信息；
根据所述目标融合特征信息，得到换脸目标图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一融合特征信息、所述第一身份特征信息、对应采样率的第一属性特征信息和对应采样率的第一先验特征信息，得到目标融合特征信息，包括：
根据所述第一融合特征信息、所述第一身份特征信息、对应采样率的第一属性特征信息和对应采样率的第一先验特征信息，得到第二身份特征信息、对应采样率的第二属性特征信息和对应采样率的第二先验特征信息；
根据所述第一融合特征信息，得到注意力掩膜；
根据所述第一身份特征信息和对应采样率的第二先验特征信息，得到身份特征权重参数；
根据所述注意力掩膜、所述身份特征权重参数、所述第二身份特征信息、对应采样率的第二属性特征信息和对应采样率的第二先验特征信息，得到目标融合特征信息。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一融合特征信息、所述第一身份特征信息、对应采样率的第一属性特征信息和对应采样率的第一先验特征信息，得到第二身份特征信息、对应采样率的第二属性特征信息和对应采样率的第二先验特征信息，包括：
根据所述第一身份特征信息，得到所述第一身份特征信息对应的第一身份特征偏移参数；
根据对应采样率的第一属性特征信息，得到对应采样率的第一属性特征信息对应的第一属性特征偏移参数；
根据对应采样率的第一先验特征信息，得到对应采样率的第一先验特征信息对应的第一先验特征偏移参数；
根据所述第一融合特征信息、所述第一身份特征偏移参数、所述第一属性特征偏移参数和第一先验特征偏移参数，得到第二身份特征信息、对应采样率的第二属性特征信息和对应采样率的第二先验特征信息。
5.根据权利要求3所述的方法，其特征在于，所述根据所述注意力掩膜、所述身份特征权重参数、所述第二身份特征信息、对应采样率的第二属性特征信息和对应采样率的第二先验特征信息，得到目标融合特征信息，包括：
根据
Figure 728756DEST_PATH_IMAGE001
，得到目标融合特征信息；
其中，
Figure 911476DEST_PATH_IMAGE002
为目标融合特征信息，
Figure 961385DEST_PATH_IMAGE003
为注意力掩膜，
Figure 887753DEST_PATH_IMAGE004
为第二身份特征信息，
Figure 30021DEST_PATH_IMAGE005
为对应采样率的第二属性特征信息，
Figure 134374DEST_PATH_IMAGE006
为对应采样率的第二先验特征信息，
Figure 666987DEST_PATH_IMAGE007
和
Figure 193783DEST_PATH_IMAGE008
为身份特征权重参数。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据第一图像和第二图像，得到先验图像，包括：
将所述第一图像输入三维形变模型，得到所述第一图像的身份参数；
将所述第二图像输入所述三维形变模型，得到第二图像的属性参数，其中，所述属性参数包括：表情参数、旋转参数和平移参数；
根据第一图像的身份参数和第二图像的属性参数，得到融合图像的参数，所述融合图像的参数包括：所述第一图像的身份参数和所述第二图像的属性参数；
根据所述融合图像的参数，得到所述先验图像。
7.根据权利要求6所述的方法，其特征在于，所述根据第一图像和第二图像，得到先验图像之前，还包括：
对第一原始图像进行人脸检测，获取所述第一原始图像对应的第一人脸关键点；
根据所述第一原始图像对应的第一人脸关键点和预设的标准人脸进行人脸对齐，得到第一图像；
对第二原始图像进行人脸检测，获取所述第二原始图像对应的第二人脸关键点；
根据所述第二原始图像对应的第二人脸关键点和预设的标准人脸进行人脸对齐，得到第二图像。
8.一种图像处理装置，其特征在于，包括：
获取模块，用于根据第一图像和第二图像，得到先验图像；
换脸网络模型，用于根据所述第一图像、所述第二图像和所述先验图像，得到换脸目标图像，其中，所述换脸网络模型中包括：多个先验处理模块，所述先验处理模块的输入包括：第一融合特征信息、所述第一图像的第一身份特征信息、对应采样率的第二图像的第一属性特征信息、对应采样率的先验图像的第一先验特征信息，第一个先验处理模块输入的第一融合特征信息为对应采样率的先验图像的第一先验特征信息，其余先验处理模块输入的第一融合特征信息为前一个先验处理模块输出的目标融合特征信息。
9.一种计算机设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法的步骤。
CN202110450649.3A 2021-04-26 2021-04-26 图像处理方法、装置、计算机设备和介质 Active CN112990123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110450649.3A CN112990123B (zh) 2021-04-26 2021-04-26 图像处理方法、装置、计算机设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110450649.3A CN112990123B (zh) 2021-04-26 2021-04-26 图像处理方法、装置、计算机设备和介质

Publications (2)

Publication Number Publication Date
CN112990123A true CN112990123A (zh) 2021-06-18
CN112990123B CN112990123B (zh) 2021-08-13

Family

ID=76340162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110450649.3A Active CN112990123B (zh) 2021-04-26 2021-04-26 图像处理方法、装置、计算机设备和介质

Country Status (1)

Country Link
CN (1) CN112990123B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486944A (zh) * 2021-07-01 2021-10-08 深圳市英威诺科技有限公司 人脸融合方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110305404A1 (en) * 2010-06-14 2011-12-15 Chia-Wen Lin Method And System For Example-Based Face Hallucination
CN104123749A (zh) * 2014-07-23 2014-10-29 邢小月 一种图像处理方法及系统
CN107507216A (zh) * 2017-08-17 2017-12-22 北京觅己科技有限公司 图像中局部区域的替换方法、装置及存储介质
CN107564080A (zh) * 2017-08-17 2018-01-09 北京觅己科技有限公司 一种人脸图像的替换系统
CN109741338A (zh) * 2018-12-13 2019-05-10 北京爱奇艺科技有限公司 一种人脸分割方法、装置及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110305404A1 (en) * 2010-06-14 2011-12-15 Chia-Wen Lin Method And System For Example-Based Face Hallucination
CN104123749A (zh) * 2014-07-23 2014-10-29 邢小月 一种图像处理方法及系统
CN107507216A (zh) * 2017-08-17 2017-12-22 北京觅己科技有限公司 图像中局部区域的替换方法、装置及存储介质
CN107564080A (zh) * 2017-08-17 2018-01-09 北京觅己科技有限公司 一种人脸图像的替换系统
CN109741338A (zh) * 2018-12-13 2019-05-10 北京爱奇艺科技有限公司 一种人脸分割方法、装置及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486944A (zh) * 2021-07-01 2021-10-08 深圳市英威诺科技有限公司 人脸融合方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112990123B (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN109409222B (zh) 一种基于移动端的多视角人脸表情识别方法
Shi et al. Warpgan: Automatic caricature generation
CN110348330B (zh) 基于vae-acgan的人脸姿态虚拟视图生成方法
CN111489287B (zh) 图像转换方法、装置、计算机设备和存储介质
CN110222668B (zh) 基于生成对抗网络的多姿态面部表情识别方法
US11276231B2 (en) Semantic deep face models
CN111243050B (zh) 肖像简笔画生成方法、系统及绘画机器人
CN110738153B (zh) 异质人脸图像转换方法、装置、电子设备及存储介质
WO2022052530A1 (zh) 人脸矫正模型的训练方法、装置、电子设备及存储介质
CN111598051B (zh) 一种脸部验证方法、装置、设备及可读存储介质
CN111680550B (zh) 情感信息识别方法、装置、存储介质及计算机设备
CN112949707B (zh) 一种基于多尺度语义信息监督的跨模态人脸图像生成方法
CN110909680A (zh) 人脸图像的表情识别方法、装置、电子设备及存储介质
CN113239834B (zh) 一种可预训练手模型感知表征的手语识别系统
CN112990123B (zh) 图像处理方法、装置、计算机设备和介质
CN117237542B (zh) 基于文本的三维人体模型生成方法和装置
CN115631285B (zh) 基于统一驱动的人脸渲染方法、装置、设备及存储介质
Zhao et al. ChildPredictor: A child face prediction framework with disentangled learning
Liu et al. A3GAN: An attribute-aware attentive generative adversarial network for face aging
CN116758212A (zh) 基于自适应去噪算法的3d重建方法、装置、设备及介质
CN111325252A (zh) 图像处理方法、装置、设备、介质
Kakkar Facial expression recognition with LDPP & LTP using deep belief network
Teng et al. Unimodal face classification with multimodal training
CN114612991A (zh) 攻击人脸图片的转换方法及装置、电子设备及存储介质
CN114862716A (zh) 人脸图像的图像增强方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant