CN115171199B - 图像处理方法、装置及计算机设备、存储介质 - Google Patents
图像处理方法、装置及计算机设备、存储介质 Download PDFInfo
- Publication number
- CN115171199B CN115171199B CN202211075798.7A CN202211075798A CN115171199B CN 115171199 B CN115171199 B CN 115171199B CN 202211075798 A CN202211075798 A CN 202211075798A CN 115171199 B CN115171199 B CN 115171199B
- Authority
- CN
- China
- Prior art keywords
- image
- identity
- pseudo
- identity replacement
- replacement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 156
- 238000003860 storage Methods 0.000 title claims abstract description 48
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 135
- 238000000605 extraction Methods 0.000 claims description 90
- 230000001815 facial effect Effects 0.000 claims description 58
- 238000005520 cutting process Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 19
- 238000007499 fusion processing Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 10
- 230000003042 antagnostic effect Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 208000032538 Depersonalisation Diseases 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 67
- 238000005516 engineering process Methods 0.000 abstract description 22
- 238000013473 artificial intelligence Methods 0.000 abstract description 11
- 238000002372 labelling Methods 0.000 description 18
- 238000004519 manufacturing process Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000002360 preparation method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例基于人工智能领域的计算机视觉技术，提供了一种图像处理方法、装置及计算机设备、存储介质。该方法包括：获取包括第一源图像、伪模板图像以及真实标注图像的伪模板样本组，调用身份置换模型基于第一源图像对伪模板图像进行身份置换处理，得到第一身份置换图像；获取包括第二源图像、真实模板图像以及伪标注图像的伪标注样本组，调用身份置换模型基于第二源图像对真实模板图像进行身份置换处理，得到第二身份置换图像；基于伪模板样本组、第一身份置换图像、伪标注样本组以及所述第二身份置换图像，对身份置换模型进行训练。可以使得身份置换模型的训练过程更加可控，有利于提升身份置换模型生成的身份置换图像的质量。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像处理方法、装置及计算机设备、存储介质。
背景技术
随着人工智能技术的快速发展，图像身份置换被广泛应用于图像、视频等的相关业务场景中。图像身份置换是指采用身份置换模型将源图像（source）中对象的身份置换到模板图像（template）中，得到的身份置换图像（fake）保持模板图像中对象的表情、对象的姿态、对象的穿着、对象的背景等不变，并且身份置换图像拥有源图像中对象的身份。
目前，图像身份置换任务中没有真实的标注图像，因此，通常采用无监督训练流程对身份置换模型进行训练，即将源图像和模板图像输入身份置换模型中，身份置换模型输出身份置换图像，对身份置换图像提取特征进行损失（Loss）约束。上述身份置换模型的无监督训练流程由于没有真实的标注图像对身份置换模型进行约束，会使得身份置换模型的训练过程不可控，从而，身份置换模型生成的身份置换图像的质量不高。
发明内容
本申请实施例提供了一种图像处理方法、装置及计算机设备、存储介质，可以使得身份置换模型的训练过程更加可控，有利于提升身份置换模型生成的身份置换图像的质量。
一方面，本申请实施例提供了一种图像处理方法，该图像处理方法包括：
获取伪模板样本组；伪模板样本组包括第一源图像、伪模板图像以及真实标注图像，伪模板图像是对真实标注图像进行身份置换处理得到的，第一源图像与真实标注图像具有相同的身份属性，伪模板图像和真实标注图像具有相同的非身份属性；
调用身份置换模型基于第一源图像对伪模板图像进行身份置换处理，得到伪模板图像的第一身份置换图像；
获取伪标注样本组；伪标注样本组包括第二源图像、真实模板图像以及伪标注图像，伪标注图像是基于第二源图像对真实模板图像进行身份置换处理得到的，第二源图像与伪标注图像具有相同的身份属性，真实模板图像与伪标注图像具有相同的非身份属性；
调用身份置换模型基于第二源图像对真实模板图像进行身份置换处理，得到真实模板图像的第二身份置换图像；
基于伪模板样本组、第一身份置换图像、伪标注样本组以及所述第二身份置换图像，对身份置换模型进行训练。
相应地，本申请实施例提供了一种图像处理装置，该图像处理装置包括：
获取单元，用于获取伪模板样本组；伪模板样本组包括第一源图像、伪模板图像以及真实标注图像，伪模板图像是对真实标注图像进行身份置换处理得到的，第一源图像与真实标注图像具有相同的身份属性，伪模板图像和真实标注图像具有相同的非身份属性；
处理单元，用于调用身份置换模型基于第一源图像对伪模板图像进行身份置换处理，得到伪模板图像的第一身份置换图像；
获取单元，还用于获取伪标注样本组；伪标注样本组包括第二源图像、真实模板图像以及伪标注图像，伪标注图像是基于第二源图像对真实模板图像进行身份置换处理得到的，第二源图像与伪标注图像具有相同的身份属性，真实模板图像与伪标注图像具有相同的非身份属性；
处理单元，还用于调用身份置换模型基于第二源图像对真实模板图像进行身份置换处理，得到真实模板图像的第二身份置换图像；
处理单元，还用于基于伪模板样本组、第一身份置换图像、伪标注样本组以及所述第二身份置换图像，对身份置换模型进行训练。
在一种实现方式中，处理单元，用于基于伪模板样本组、第一身份置换图像、伪标注样本组以及第二身份置换图像，对身份置换模型进行训练时，具体用于执行如下步骤：
基于第一身份置换图像与真实标注图像之间的第一像素差异，以及第二身份置换图像与伪标注图像之间的第二像素差异，确定身份置换模型的像素重构损失；
基于第一身份置换图像与真实标注图像之间的特征差异，确定身份置换模型的特征重构损失；
提取第一身份置换图像、第一源图像、伪模板图像、第二身份置换图像、第二源图像以及真实模板图像的人脸特征，以确定身份置换模型的身份损失；
对第一身份置换图像和第二身份置换图像进行判别处理，得到身份置换模型的对抗损失；
对身份置换模型的像素重构损失、特征重构损失、身份损失以及对抗损失进行求和处理，得到身份置换模型的损失信息，并根据身份置换模型的损失信息，更新身份置换模型的模型参数，以训练身份置换模型。
在一种实现方式中，处理单元，用于基于第一身份置换图像与真实标注图像之间的特征差异，确定身份置换模型的特征重构损失时，具体用于执行如下步骤：
获取图像特征提取网络，图像特征提取网络包括多个图像特征提取层；
调用图像特征提取网络对第一身份置换图像进行图像特征提取，得到第一特征提取结果，第一特征提取结果包括多个图像特征提取层中的每个图像特征提取层所提取到的身份置换图像特征；
调用图像特征提取网络对真实标注图像进行图像特征提取，得到第二特征提取结果，第二特征提取结果包括多个图像特征提取层中的每个图像特征提取层所提取到的标注图像特征；
计算每个图像特征提取层所提取到的身份置换图像特征与标注图像特征之间的特征差；
对各个图像特征提取层的特征差进行求和处理，得到身份置换模型的特征重构损失。
在一种实现方式中，身份置换模型的身份损失包括第一身份损失和第二身份损失；处理单元，用于提取第一身份置换图像、第一源图像、伪模板图像、第二身份置换图像、第二源图像以及真实模板图像的人脸特征，以确定身份置换模型的身份损失时，具体用于执行如下步骤：
基于第一身份置换图像的人脸特征与第一源图像的人脸特征之间的相似度，以及第二身份置换图像的人脸特征与第二源图像的人脸特征之间的相似度，确定第一身份损失；
基于第一身份置换图像的人脸特征与伪模板图像的人脸特征之间的相似度，第一源图像的人脸特征与伪模板图像的人脸特征之间的相似度，第二身份置换图像的人脸特征与真实模板图像的人脸特征之间的相似度，以及第二源图像的人脸特征与真实模板图像的人脸特征之间的相似度，确定第二身份损失。
在一种实现方式中，处理单元，用于对第一身份置换图像和第二身份置换图像进行判别处理，得到身份置换模型的对抗损失时，具体用于执行如下步骤：
获取判别模型；
调用判别模型对第一身份置换图像进行判别处理，得到第一判别结果；
调用判别模型对第二身份置换图像进行判别处理，得到第二判别结果；
根据第一判别结果与第二判别结果，确定身份置换模型的对抗损失。
在一种实现方式中，处理单元，用于基于第一身份置换图像与真实标注图像之间的第一像素差异，以及第二身份置换图像与伪标注图像之间的第二像素差异，确定身份置换模型的像素重构损失时，具体用于执行如下步骤：
获取第一像素差异对应的第一权重，以及第二像素差异对应的第二权重；
根据第一权重对第一像素差异进行加权处理，得到第一加权像素差异；
根据第二权重对第二像素差异进行加权处理，得到第二加权像素差异；
对第一加权像素差异和第二加权像素差异进行求和处理，得到身份置换模型的像素重构损失。
在一种实现方式中，身份置换模型包括编码网络和解码网络；处理单元，用于调用身份置换模型基于第一源图像对伪模板图像进行身份置换处理，得到伪模板图像的第一身份置换图像时，具体用于执行如下步骤：
调用编码网络对第一源图像和伪模板图像进行融合编码处理，得到编码结果；
调用解码网络对编码结果进行解码处理，得到伪模板图像的第一身份置换图像。
在一种实现方式中，处理单元，用于调用编码网络对第一源图像和伪模板图像进行融合编码处理，得到编码结果时，具体用于执行如下步骤：
对第一源图像和伪模板图像进行拼接处理，得到拼接图像；
对拼接图像进行特征学习，得到身份置换特征；
对第一源图像进行人脸特征识别，得到第一源图像的人脸特征；
对身份置换特征与第一源图像的人脸特征进行特征融合处理，得到编码结果。
在一种实现方式中，处理单元，用于对身份置换特征与第一源图像的人脸特征进行特征融合处理，得到编码结果时，具体用于执行如下步骤：
计算身份置换特征的均值和身份置换特征的方差；
计算人脸特征的均值和人脸特征的方差；
根据身份置换特征的均值、身份置换特征的方差、人脸特征的均值、以及人脸特征的方差，对身份置换特征与人脸特征进行融合处理，得到编码结果。
在一种实现方式中，获取单元，用于获取伪模板样本组时，具体用于执行如下步骤：
获取第一源图像对应的初始源图像，以及获取真实标注图像对应的初始标注图像；
对第一源图像对应的初始源图像进行人脸区域裁剪，得到第一源图像，以及对真实标注图像对应的初始标注图像进行人脸区域裁剪，得到真实标注图像；
获取参考源图像，基于参考源图像对真实标注图像进行身份置换处理，得到伪模板图像；
根据第一源图像、伪模板图像以及真实标注图像，生成伪模板样本组。
在一种实现方式中，获取单元，用于对第一源图像对应的初始源图像进行人脸区域裁剪，得到第一源图像时，具体用于执行如下步骤：
对第一源图像对应的初始源图像进行人脸检测，确定第一源图像对应的初始源图像中的人脸区域；
在人脸区域内，对第一源图像对应的初始源图像进行人脸配准，确定第一源图像对应的初始源图像中的人脸关键点；
基于人脸关键点，对第一源图像对应的初始源图像进行裁剪处理，得到第一源图像。
在一种实现方式中，处理单元，还用于执行如下步骤：
接收待处理的目标源图像和目标模板图像；
调用训练好的身份置换模型基于目标源图像对目标模板图像进行身份置换处理，得到目标模板图像的身份置换图像；
其中，目标源图像与目标模板图像的身份置换图像具有相同的身份属性，目标模板图像与目标模板图像的身份置换图像具有相同的非身份属性。
相应地，本申请实施例提供一种计算机设备，该计算机设备包括：
处理器，适于实现计算机程序；
计算机可读存储介质，存储有计算机程序，计算机程序适于由处理器加载并执行上述的图像处理方法。
相应地，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被计算机设备的处理器读取并执行时，使得计算机设备执行上述的图像处理方法。
相应地，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的图像处理方法。
本申请实施例中，提供了用于对身份置换模型进行训练的伪模板样本组和伪标注样本组；在伪模板样本组中，通过对真实标注图像进行身份置换处理构造了伪模板图像，这样可以使得身份置换模型的训练过程中存在真实标注图像，即可以通过真实标注图像对身份置换模型的训练过程进行约束，从而可以使得身份置换模型的训练过程更加可控，有利于提升身份置换模型生成的身份置换图像的质量；在伪标注样本组中，采用源图像对真实模板图像进行身份置换处理构造了伪标注图像，这样可以使得真实模板图像与真实身份置换场景中所使用的模板图像一致，弥补了伪模板样本组中构造的伪模板图像与真实身份置换场景中所使用的模板图像不一致的缺陷，进一步提升了身份置换模型的训练过程的可控性，以及身份置换模型生成的身份置换图像的质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供一种图像身份置换过程的示意图；
图2是本申请实施例提供的一种图像处理系统的结构示意图；
图3是本申请实施例提供的一种图像处理方法的流程示意图；
图4是本申请实施例提供的一种身份置换模型的结构示意图；
图5是本申请实施例提供的另一种图像处理方法的流程示意图；
图6是本申请实施例提供的一种身份置换模型的训练流程示意图；
图7是本申请实施例提供的一种图像处理装置的结构示意图；
图8是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了更清楚地理解本申请实施例所提供的技术方案，在此先对本申请实施例涉及的一些关键术语进行介绍：
（1）人工智能技术。人工智能（Artificial Intelligence，AI）技术是指利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
（2）计算机视觉技术。计算机视觉（Computer Vision，CV）技术是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR（Optical Character Recognition，文字识别）、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D（3-dimension，三维）技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术以及活体检测技术。
（3）生成对抗网络。生成对抗网络（Generative Adversarial Network，GAN）是非监督式学习的一种方法，由生成模型（Generative Model）和判别模型（DiscriminativeModel）两部分组成，生成对抗网络通过让生成模型和判别模型相互博弈的方式进行学习。生成对抗网络的基本原理可参见如下描述：生成模型可以用于从潜在空间（Latent Space）中随机取样作为输入，其输出结果需要尽量模仿训练集中的真实样本；判别模型可以将真实样本或生成模型的输出结果作为输入，其目的是将生成模型的输出结果从真实样本中尽可能分辨出来；也就是说，生成模型要尽可能地欺骗判别模型，从而生成模型与判别模型之间相互对抗，不断调整参数，最终生成以假乱真的图片。
（4）图像身份置换。图像身份置换是指将源图像（source）中对象的身份置换到模板图像（template）中，得到身份置换图像（fake）的过程。通常情况下，对象的身份可以通过对象的脸进行标识，也就是说，图像身份置换可以是指将源图像中对象的脸置换到模板图像中，得到身份置换图像的过程，因此，图像身份置换也可以称为图像换脸。图像身份置换后，源图像与身份置换图像具有相同的身份属性，所谓的身份属性是指能够标识图像中对象身份的属性，例如，图像中对象的脸；模板图像与身份置换图像具有相同的非身份属性，所谓的非身份属性是指图像中与对象身份无关的属性，例如，对象的发型、对象的表情、对象的姿态、对象的穿着、以及对象的背景等等；也就是说，身份置换图像保持模板图像中对象的非身份属性不变，并且拥有源图像中对象的身份属性。图1示出了一种图像身份置换的示意图，源图像中包含的对象为对象1，模板图像中包含的对象为对象2，身份置换处理得到的身份置换图像中保持了模板图像中对象2的非身份属性不变，并且拥有源图像中对象1的身份属性，即身份置换图像将模板图像中对象2的身份换成了对象1。
基于上述关键术语的相关描述，本申请实施例提出了一种图像处理方案，在该图像处理方案中：
一方面，为了保证身份置换模型的训练过程中存在真实的标注图像，本申请实施例采用伪模板方法构造一部分训练数据，具体来说，可以选取同一对象的两张图像，将其中一张图像作为源图像，另一张图像作为真实标注图像，然后，可以对真实标注图像进行任意对象的身份置换处理，构造出伪模板图像，从而可以基于源图像、伪模板图像、以及真实标注图像组成的伪模板样本组对身份置换模型进行训练。
另一方面，为了提高伪模板图像与真实身份置换场景中所使用的模板图像的一致性，本申请实施例采用伪gt（ground truth）方法构造另一部分训练数据，具体来说，可以选取不同对象的两张图像，将其中一个对象的图像作为源图像，另一个对象的图像作为真实模板图像，然后，可以基于源图像对真实模板图像进行身份置换处理，构造出伪标注图像，从而，可以基于源图像、真实模板图像、以及伪标注图像组成的伪标注样本组对身份置换模型进行训练。
下面结合图2对适于实现本申请实施例提供的图像处理方案的图像处理系统，以及图像处理方案的应用场景进行介绍。
图2所示的图像处理系统可以包括服务器201和终端设备202，本申请实施例不对终端设备202的数量进行限定，终端设备202的数量可以为一个或多个；服务器201可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN（Content Delivery Network，内容分发网络）、以及大数据和人工智能平台等基础云计算服务的云服务器，本申请实施例对此不进行限定；终端设备202可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能语音交互设备、智能手表、车载终端、智能家电、飞行器等，但并不局限于此；服务器201和终端设备202之间可以通过有线通信的方式建立直接地通信连接，或者可以通过无线通信的方式建立间接地通信连接，本申请实施例对此不进行限定。
在图2所示的图像处理系统中，对于模型训练阶段：
模型训练阶段可以由服务器201执行，服务器201可以获取多个伪模板样本组，以及多个伪标注样本组，然后，可以基于多个伪模板样本组和多个伪标注样本组对身份置换模型进行迭代训练，以得到训练好的身份置换模型。
在图2所示的图像处理系统中，对于模型应用阶段：
模型应用阶段可以由终端设备202执行，即训练好的身份置换模型可以部署于终端设备202中，当终端设备202中存在待处理的目标源图像和目标模板图像时，终端设备202可以调用训练好的身份置换模型基于目标源图像对目标模板图像进行身份置换处理，得到目标模板图像的身份置换图像；其中，目标模板图像的身份置换图像可以保持目标模板图像中对象的非身份属性不变，并且目标模板图像的身份置换图像中具有目标源图像中对象的身份属性。
或者，模型应用阶段可以由服务器201和终端设备202交互执行，训练好的身份置换模型可以部署于服务器201中，当终端设备202中存在待处理的目标源图像和目标模板图像时，终端设备202可以将目标源图像和目标模板图像发送至服务器201；服务器201可以调用训练好的身份置换模型基于目标源图像对目标模板图像进行身份置换处理，得到目标模板图像的身份置换图像，然后，服务器201可以将目标模板图像的身份置换图像发送至终端设备202；其中，目标模板图像的身份置换图像可以保持目标模板图像中对象的非身份属性不变，并且目标模板图像的身份置换图像中具有目标源图像中对象的身份属性。
通过在模型训练阶段结合伪模板样本组和伪标注样本组，使得身份置换模型的训练更加可控，从而，在模型应用阶段使用训练好的身份置换模型进行图像身份置换时，可以提升训练好的身份置换模型生成的身份置换图像的质量。
训练好的身份置换模型可以应用于影视制作、游戏形象制作、直播虚拟形象制作、证件照制作等应用场景中。其中：
（1）影视制作。在影视制作中，一些专业的动作镜头由专业人员完成，后期可以通过图像身份置换自动将演员替换进去；具体来说，可以获取动作镜头视频片段中包含专业人员的图像帧，将包含替换演员的图像作为源图像，将每张包含专业人员的图像帧作为模板图像分别与源图像输入训练好的身份置换模型中，输出对应的身份置换图像，输出的身份置换图像将模板图像中专业人员的身份置换为替换演员的身份。可见，通过图像身份置换，使得影视制作更加便利，避免重复拍摄，节约影视制作的成本。
（2）游戏形象制作。在游戏形象制作中，可以将包含人物对象的图像作为源图像，将包含游戏形象的图像作为模板图像，将源图像与模板图像输入训练好的身份置换模型中，输出对应的身份置换图像，输出的身份置换图像将模板图像中游戏形象的身份置换为源图像中人物对象的身份。可见，通过图像身份置换，可以为人物设计专属的游戏形象。
（3）直播虚拟形象制作。在直播场景中，可以将包含虚拟形象的图像作为源图像，将直播视频中每张包含人物对象的图像帧作为模板图像分别与源图像输入训练好的身份置换模型中，输出对应的身份置换图像，输出的身份置换图像将模板图像中人物对象的身份置换为虚拟形象。可见，可以在直播场景中利用虚拟形象进行身份置换，提升直播场景的趣味性。
（4）证件照制作。在证件照的制作过程中，可以将需要制作证件照的对象的图像作为源图像，将源图像与证件照模板图像输入训练好的身份置换模型中，输出对应的身份置换图像，输出的身份置换图像将证件照模板图像中模板对象的身份置换为需要制作证件照的对象。可见，通过图像身份置换，需要制作证件照的对象提供一张图像便可以直接制作证件照，不需要拍摄，大大降低了证件照的制作成本。
可以理解的是，本申请实施例描述的图像处理系统是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
需要特别说明的是，在本申请的各个实施例中，涉及到获取对象的图像或视频等相关的数据，当本申请的各个实施例运用到具体产品或技术中时，需要获得对象的许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
下面结合图3-图6对本申请实施例提供的图像处理方案进行更为详细地介绍。
本申请例提供一种图像处理方法，该图像处理方法主要介绍训练数据（即伪模板样本组和伪标注样本组）的准备过程，以及身份置换模型进行身份置换处理的过程。该图像处理方法可以由计算机设备执行，计算机设备可以是上述图像处理系统中服务器201。如图3所示，该图像处理方法可以包括但不限于以下步骤S301-步骤S305：
S301，获取伪模板样本组，伪模板样本组包括第一源图像、伪模板图像以及真实标注图像。
伪模板样本组的获取过程可参见如下描述：可以获取第一源图像和真实标注图像，第一源图像和真实标注图像具有相同的身份属性，也就是说，第一源图像和真实标注图像属于同一个对象，然后，可以对真实标注图像进行身份置换处理，得到伪模板图像，从而，可以根据第一源图像、伪模板图像以及真实标注图像生成伪模板样本组。更为具体地，伪模板图像可以是调用身份置换模型基于参考源图像对真实标注图像进行身份置换处理得到的，参考源图像中包含的对象可以是除第一源图像中包含的对象外的任意对象，从而，伪模板图像与真实标注图像具有相同的非身份属性；身份置换模型可以是经过初步训练的模型，例如，身份置换模型可以是采用无监督训练流程进行初步训练的模型，又如，身份置换模型可以是采用伪模板样本组进行初步训练的模型。
举例来说，可以获取同一对象的两张图像<A_i，A_j>，将其中一张图像A_i作为第一源图像，将另一张图像A_j作为真实标注图像，然后，可以采用任意对象的参考源图像对真实标注图像A_j进行身份置换处理，得到伪模板图像，即伪模板图像=fixed_swap_model_v0(参考源图像，A_j)，fixed_swap_model_v0表示初步训练过的身份置换模型，从而，第一源图像A_i、伪模板图像以及真实标注图像A_j可以组成伪模板样本组<A_i，伪模板图像，A_j>。
值得注意的是，第一源图像可以是进行人脸区域裁剪得到的，真实标注图像可以是进行人脸区域裁剪得到的。也就是说，可以获取第一源图像对应的初始源图像，对第一源图像对应的初始源图像进行人脸区域裁剪，得到第一源图像，以及可以获取真实标注图像对应的初始标注图像，可以对真实标注图像对应的初始标注图像进行人脸区域裁剪，得到真实标注图像。其中，第一源图像的人脸区域裁剪过程与真实标注图像的人脸区域裁剪过程是相同的，在此重点介绍第一源图像的人脸区域裁剪过程，真实标注图像的人脸区域裁剪过程可参见第一源图像的人脸区域裁剪过程，本申请实施例便不再赘述。第一源图像的人脸区域裁剪过程，具体可以参见如下内容：
首先，可以对第一源图像对应的初始源图像进行人脸检测，确定第一源图像对应的初始源图像中的人脸区域，其次，可以在人脸区域内，对第一源图像对应的初始源图像进行人脸配准，确定第一源图像对应的初始源图像中的人脸关键点，然后，可以基于人脸关键点，对第一源图像对应的初始源图像进行裁剪处理，得到第一源图像。通过人脸区域裁剪，可以将身份置换模型的学习重心放在人脸区域，加快身份置换模型的训练流程。
S302，调用身份置换模型基于第一源图像对伪模板图像进行身份置换处理，得到伪模板图像的第一身份置换图像。
在获取到包含第一源图像、伪模板图像以及真实标注图像的伪模板样本组之后，可以调用身份置换模型基于第一源图像对伪模板图像进行身份置换处理，得到伪模板图像的第一身份置换图像。图4示出了调用身份置换模型进行身份置换处理的过程，身份置换模型中可以包括编码网络和解码网络，编码网络的作用是对第一源图像和伪模板图像进行融合编码处理，得到编码结果，解码网络的作用是对编码网络的编码结果进行解码处理，得到伪模板图像的第一身份置换图像。其中：
①对于编码网络：首先，第一源图像和伪模板图像在输入编码网络后，第一源图像和伪模板图像被进行拼接处理，得到拼接图像；此处的拼接处理具体可以是指通道拼接处理，例如，第一源图像可以包括R通道（红色通道）、G通道（绿色通道）以及B通道（蓝色通道）共三个通道的图像，伪模板图像可以包括R通道、G通道以及B通道共三个通道的图像，则拼接处理得到的拼接图像可以包六个通道的图像。其次，可以对拼接图像进行特征学习，得到身份置换特征（身份置换特征可以表示为：swap_features）；此处的特征学习具体可以是通过编码网络中的多个卷积层实现的，编码网络中可以包括多个卷积层，多个卷积层的尺寸按照卷积处理的先后顺序逐渐减小，拼接图像经过多个卷积层的卷积处理后，分辨率不断降低，拼接图像最终被编码为身份置换特征，不难看出，通过多个卷积层的卷积处理，身份置换特征中融合了第一源图像中的图像特征以及伪模板图像中的图像特征。然后，可以对身份置换特征和第一源图像的人脸特征（第一源图像的人脸特征可以表示为：src1_id_features）进行特征融合处理，得到编码网络的编码结果，第一源图像的人脸特征可以是通过人脸识别网络对第一源图像进行人脸识别处理得到的。
身份置换特征和第一源图像的人脸特征可以是通过AdaIN（Adaptive InstanceNormalization，自适应实例标准化）的方式进行特征融合处理的，融合处理的本质是将身份置换特征的均值和方差，与第一源图像的人脸特征的均值和方差进行对齐，融合处理的具体过程可以包括：计算身份置换特征的均值和身份置换特征的方差，计算第一源图像的人脸特征的均值和第一源图像的人脸特征的方差，根据身份置换特征的均值、身份置换特征的方差、第一源图像的人脸特征的均值、以及第一源图像的人脸特征的方差，对身份置换特征与第一源图像的人脸特征进行融合处理，得到编码网络的编码结果。具体可参见下述公式1：
如上述公式1，
表示编码网络的编码结果，x表示身份置换特征（swap_features），y表示第一源图像的人脸特征（src1_id_features），
表示身份置换特征（swap_features）的均值，
表示身份置换特征（swap_features）的方差，
表示第一源图像的人脸特征（src1_id_features）的均值，
表示第一源图像的人脸特征（src1_id_features）的方差。
②对于解码网络：解码网络的解码处理是可以是通过解码网络中的多个卷积层实现的，解码网络中可以包括多个卷积层，多个卷积层的尺寸按照卷积处理的先后顺序逐渐减大，编码网络的编码结果经过多个卷积层的卷积处理后，分辨率不断增加，编码结果最终被解码为伪模板图像对应的第一身份置换图像（第一身份置换图像可以表示为：伪模板_fake）。
S303，获取伪标注样本组，伪标注样本组包括第二源图像、真实模板图像以及伪标注图像。
伪标注样本组的获取过程可参见如下描述：可以获取第二源图像和真实模板图像，第二源图像的身份属性和真实模板图像的身份属性不相同，也就是说，第二源图像和真实模板图像属于不同的对象，然后，可以基于第二源图像对真实模板图像进行身份置换处理，得到伪标注图像，经过身份置换处理，第二源图像与伪标注图像具有相同的身份属性，真实模板图像与伪标注图像具有相同的非身份属性，从而，可以根据第二源图像、真实模板图像以及伪标注图像生成伪标注样本组。更为具体地，伪标注图像可以是调用身份置换模型基于第二源图像对真实标注图像进行身份置换处理得到的，身份置换模型可以是经过初步训练的模型，例如，身份置换模型可以是采用无监督训练流程进行初步训练的模型，又如，身份置换模型可以是采用伪模板样本组进行初步训练的模型。
举例来说，可以获取不同对象的两张图像<B_i，C_j>，将其中一张图像B_i作为第二源图像，将另一张图像C_j作为真实模板图像，然后，可以采用第二源图像B_i对真实模板图像C_j进行身份置换处理，得到伪标注图像，即伪标注图像=fixed_swap_model_v0(第二源图像B_i，真实模板图像C_j)，fixed_swap_model_v0表示初步训练过的身份置换模型，从而，第二源图像B_i、真实模板图像C_j以及伪标注图像可以组成伪标注样本组<B_i，C_j，伪标注图像>。
值得注意的是，第二源图像可以是进行人脸区域裁剪得到的，真实模板图像可以是进行人脸区域裁剪得到的。也就是说，可以获取第二源图像对应的初始源图像，对第二源图像对应的初始源图像进行人脸区域裁剪，得到第二源图像，以及可以获取真实模板图像对应的初始模板图像，可以对真实模板图像对应的初始模板图像进行人脸区域裁剪，得到真实模板图像。其中，第二源图像的人脸区域裁剪过程与真实模板图像的人脸区域裁剪过程是相同的，在此重点介绍第二源图像的人脸区域裁剪过程，真实模板图像的人脸区域裁剪过程可参见第二源图像的人脸区域裁剪过程，本申请实施例便不再赘述。第二源图像的人脸区域裁剪过程，具体可以参见如下内容：
首先，可以对第二源图像对应的初始源图像进行人脸检测，确定第二源图像对应的初始源图像中的人脸区域，其次，可以在人脸区域内，对第二源图像对应的初始源图像进行人脸配准，确定第二源图像对应的初始源图像中的人脸关键点，然后，可以基于人脸关键点，对第二源图像对应的初始源图像进行裁剪处理，得到第二源图像。通过人脸区域裁剪，可以将身份置换模型的学习重心放在人脸区域，加快身份置换模型的训练流程。
S304，调用身份置换模型基于第二源图像对真实模板图像进行身份置换处理，得到真实模板图像的第二身份置换图像。
在获取到包含第二源图像、真实模板图像以及伪标注图像的伪标注样本组之后，可以调用身份置换模型基于第二源图像对真实模板图像进行身份置换处理，得到真实模板图像的第二身份置换图像。调用身份置换模型基于第二源图像对真实模板图像进行身份置换处理，得到真实模板图像的第二身份置换图像的过程，与上述步骤S302中调用身份置换模型基于第一源图像对伪模板图像进行身份置换处理，得到伪模板图像的第一身份置换图像的过程相同，身份置换模型中的编码网络的作用是对第二源图像和真实模板图像进行融合编码处理，得到编码结果，身份置换模型中的解码网络的作用是对编码网络的编码结果进行解码处理，得到真实模板图像的第二身份置换图像（第二身份置换图像可以表示为：伪标注_fake），编码网络的融合编码过程，以及解码网络的解码过程，具体可参见上述步骤S302中的描述，本申请实施例便不再赘述。
S305，基于伪模板样本组、第一身份置换图像、伪标注样本组以及所述第二身份置换图像，对身份置换模型进行训练。
在身份置换处理得到第一身份置换图像和第二身份置换图像后，可以基于伪模板样本组、第一身份置换图像、伪标注样本组以及所述第二身份置换图像，对身份置换模型进行训练。具体来说，可以基于伪模板样本组、第一身份置换图像、伪标注样本组以及所述第二身份置换图像，确定身份置换模型的损失信息，然后，可以根据身份置换模型的损失信息，更新身份置换模型的模型参数，以训练身份置换模型。
本申请实施例中，通过伪模板样本组的准备过程，可以使得身份置换模型的训练过程中存在真实标注图像，即可以通过真实标注图像对身份置换模型的训练过程进行约束，从而可以使得身份置换模型的训练过程更加可控，有利于提升身份置换模型生成的身份置换图像的质量；通过伪标注样本组的准备过程，可以使得真实模板图像与真实身份置换场景中所使用的模板图像一致，弥补了伪模板样本组中构造的伪模板图像与真实身份置换场景中所使用的模板图像不一致的缺陷，进一步提升了身份置换模型的训练过程的可控性，以及身份置换模型生成的身份置换图像的质量。并且，在准备伪模板样本组和伪标注样本组之前，对相关图像进行人脸区域裁剪，这样可以使得身份置换模型训练过程更加关注重要的人脸区域，忽略图像中过多的背景区域，可以加快身份置换模型训练进度。
在上述图3所示实施例的基础上，本申请例提供一种图像处理方法，该图像处理方法主要介绍身份置换模型的损失信息的构建。该图像处理方法可以由计算机设备执行，计算机设备可以是上述图像处理系统中服务器201。如图5所示，该图像处理方法可以包括但不限于以下步骤S501-步骤S510：
S501，获取伪模板样本组，伪模板样本组包括第一源图像、伪模板图像以及真实标注图像。
本申请实施例中，步骤S501的执行过程与上述图3所示实施例中步骤S301的执行过程相同，具体执行过程可以参见上述图3所示实施例中步骤S301的具体描述，在此不再赘述。
S502，调用身份置换模型基于第一源图像对伪模板图像进行身份置换处理，得到伪模板图像的第一身份置换图像。
本申请实施例中，步骤S502的执行过程与上述图3所示实施例中步骤S302的执行过程相同，具体执行过程可以参见上述图3所示实施例中步骤S302的具体描述，在此不再赘述。
S503，获取伪标注样本组，伪标注样本组包括第二源图像、真实模板图像以及伪标注图像。
本申请实施例中，步骤S503的执行过程与上述图3所示实施例中步骤S303的执行过程相同，具体执行过程可以参见上述图3所示实施例中步骤S303的具体描述，在此不再赘述。
S504，调用身份置换模型基于第二源图像对真实模板图像进行身份置换处理，得到真实模板图像的第二身份置换图像。
本申请实施例中，步骤S504的执行过程与上述图3所示实施例中步骤S304的执行过程相同，具体执行过程可以参见上述图3所示实施例中步骤S303的具体描述，在此不再赘述。
经过上述步骤S501-步骤S504，可以得到伪模板样本组、第一身份置换图像、伪标注样本组、第二身份置换图像，可以基于伪模板样本组、第一身份置换图像、伪标注样本组、第二身份置换图像确定身份置换模型的损失信息，并基于损失信息对身份置换模型进行训练。身份置换模型的损失信息可以是由身份置换模型的像素重构损失、身份置换模型的特征重构损失、身份置换模型的身份损失、以及身份置换模型的对抗损失组成的，下面结合步骤S505-步骤S501介绍身份置换模型的像素重构损失、身份置换模型的特征重构损失、身份置换模型的身份损失、以及身份置换模型的对抗损失的确定过程。
S505，基于第一身份置换图像与真实标注图像之间的第一像素差异，以及第二身份置换图像与伪标注图像之间的第二像素差异，确定身份置换模型的像素重构损失。
如图6所示的身份置换模型的训练流程，对于伪模板样本组，第一身份置换图像与真实标注图像之间的第一像素差异，即为伪模板样本组对应的像素重构损失，第一像素差异具体可以是指：第一身份置换图像中各个像素点的像素值与真实标注图像中对应像素点的像素值之差；对于伪标注样本组，第二身份置换图像与伪标注图像之间的第二像素差异，即为伪标注样本组对应的像素重构损失，第二像素差异具体可以是指：第二身份置换图像中各个像素点的像素值与伪标注图像中对应像素点的像素值之差。身份置换模型的像素重构损失可以是根据伪模板样本组对应的像素重构损失和伪标注样本组对应的像素重构损失确定的，也就是说，身份置换模型的像素重构损失可以是根据第一像素差异和第二像素差异确定的。
身份置换模型的像素重构损失可以是第一像素差异与第二像素差异进行加权求和的结果。具体来说，可以获取第一像素差异对应的第一权重，以及第二像素差异对应的第二权重，然后，可以根据第一权重对第一像素差异进行加权处理，得到第一加权像素差异，根据第二权重对第二像素差异进行加权处理，得到第二加权像素差异，然后，可以对第一加权像素差异和第二加权像素差异进行求和处理，得到身份置换模型的像素重构损失；其中，因为伪标注样本组中的伪标注图像不是真实的标注图像，可能会对身份置换模型的训练效果产生影响，所以，可以在身份置换模型的像素重构损失中降低伪标注样本组对应的像素重构损失的权重，例如，可以设置伪模板样本组对应的像素重构损失的权重大于伪标注样本组对应的像素重构损失的权重，即可以设置第一像素差异对应的第一权重大于第二像素差异对应的第二权重。上述身份置换模型的像素重构损失的计算过程具体，可参见下述公式2：
Reconstruction_Loss=a×|伪模板_fake–A_j|+b×|伪标注_fake–伪标注图像|公式2
如上述公式2，Reconstruction_Loss表示身份置换模型的像素重构损失；伪模板_fake表示伪模板样本组的第一身份置换图像，A_j表示真实标注图像，|伪模板_fake–A_j|表示第一像素差异；伪标注_fake表示伪标注样本组的第二身份置换图像，|伪标注_fake–伪标注图像|表示第二像素差异；a表示第一权重，b表示第二权重，a>b（例如a=1，b=0.1，即Reconstruction_Loss=|伪模板_fake–A_j|+0.1×|伪标注_fake–伪标注图像|）。
S506，基于第一身份置换图像与真实标注图像之间的特征差异，确定身份置换模型的特征重构损失。
上述步骤S505从像素维度比较了第一身份置换图像与真实标注图像之间的差异，并基于像素差异构建损失。在步骤S506中，将从特征维度比较第一身份置换图像与真实标注图像之间的差异，并基于特征差异构建损失，如图6所示的身份置换模型的训练流程，可以基于第一身份置换图像与真实标注图像之间的特征差异，确定身份置换模型的特征重构损失。
第一身份置换图像与真实标注图像之间的特征差异可以是逐层进行比较的。详细来说，可以获取图像特征提取网络，图像特征提取网络包括多个图像特征提取层，可以调用图像特征提取网络对第一身份置换图像进行图像特征提取，得到第一特征提取结果，第一特征提取结果可以包括多个图像特征提取层中的每个图像特征提取层所提取到的身份置换图像特征；以及，可以调用图像特征提取网络对真实标注图像进行图像特征提取，得到第二特征提取结果，第二特征提取结果可以包括多个图像特征提取层中的每个图像特征提取层所提取到的标注图像特征；然后，可以计算每个图像特征提取层所提取到的身份置换图像特征与标注图像特征之间的特征差，对各个图像特征提取层的特征差进行求和处理，便可以得到身份置换模型的特征重构损失。其中，图像特征提取网络可以是一种用于提取图像特征的神经网络，例如，图像特征提取网络可以是AlexNet（一种图像特征提取网络）；计算特征差时所采用的多个图像特征提取层可以是图像特征提取网络中所包含的全部图像特征提取层或部分图像特征提取层，本申请实施例对此进行限定。
以图像特征提取网络包含四个图像特征提取层为例，上述身份置换模型的特征重构损失的计算过程，可参见下述公式3：
LPIPS_Loss=|result_fea1-result_fea1|+|result_fea2-gt_img_fea2|+|result_fea3-gt_img_fea4|+|result_fea4-gt_img_fea4|公式3
如上述公式3，LPIPS_Loss表示身份置换模型的特征重构损失；result_feai表示图像特征提取网络对第一身份置换图像进行图像特征提取时，第i个图像特征提取层所提取到的身份置换图像特征（i=1,2,3,4）；gt_img_feai表示图像特征提取网络对真实标注图像进行图像特征提取时，第i个图像特征提取层所提取到的标注图像特征；|result_feai-result_feai|表示第i个图像特征提取层所提取到的身份置换图像特征与标注图像特征之间的特征差。
S507，提取第一身份置换图像、第一源图像、伪模板图像、第二身份置换图像、第二源图像以及真实模板图像的人脸特征，以确定身份置换模型的身份损失。
在步骤507中，可以提取第一身份置换图像、第一源图像、伪模板图像、第二身份置换图像、第二源图像以及真实模板图像的人脸特征，通过比较人脸特征之前的相似度来确定身份置换模型的身份损失，人脸特征可以是通过人脸识别网络提取的，身份置换模型的身份损失可以包括第一身份损失和第二身份损失。
设置第一身份损失的目的是：希望生成的身份置换图像中的人脸特征与源图像中的人脸特征越相似越好，因此，可以基于第一身份置换图像的人脸特征与第一源图像的人脸特征之间的相似度，以及第二身份置换图像的人脸特征与第二源图像的人脸特征之间的相似度，确定第一身份损失。其中，第一身份置换图像的人脸特征与第一源图像的人脸特征之间的相似度可以用于确定伪模板样本组对应的身份相似损失，第二身份置换图像的人脸特征与第二源图像的人脸特征之间的相似度可以用于确定伪标注样本组对应的身份相似损失，第一身份损失可以是由伪模板样本组对应的身份相似损失，以及伪标注样本组对应的身份相似损失两部分组成，第一身份损失可以等于伪模板样本组对应的身份相似损失，与伪标注样本组对应的身份相似损失之和。上述伪模板样本组对应的身份相似损失或伪标注样本组对应的身份相似损失的计算过程，可参见下述公式4：
ID_Loss=1–cosine_similarity(fake_id_features,src_id_features)公式4
如上述公式4，ID_Loss表示身份相似损失，fake_id_features表示身份置换图像的人脸特征，src_id_features表示源图像的人脸特征，cosine_similarity(fake_id_features,src_id_features)表示身份置换图像的人脸特征与源图像的人脸特征之间的相似度。当fake_id_features=伪模板_fake_id_features（即第一身份置换图像），src_id_features=src1_id_features（即第一源图像的人脸特征）时，ID_Loss表示伪模板样本组对应的身份相似损失；当fake_id_features=伪标注_fake_id_features（即第二身份置换图像），src_id_features=src2_id_features（即第二源图像的人脸特征）时，ID_Loss表示伪标注样本组对应的身份相似损失。
人脸特征之间的相似度的计算可参见如下公式5：
cosine_similarity（A，B）=
公式5
如上述公式5，cosine_similarity（A，B）表示人脸特征A与人脸特征B之间的相似度，
表示人脸特征A中的各分量，
表示人脸特征B中的各分量。
设置第二身份损失的目的是：希望生成的身份置换图像中的人脸特征与模板图像中的人脸特征越不相似越好，因此，可以基于第一身份置换图像的人脸特征与伪模板图像的人脸特征之间的相似度，第一源图像的人脸特征与伪模板图像的人脸特征之间的相似度，第二身份置换图像的人脸特征与真实模板图像的人脸特征之间的相似度，以及第二源图像的人脸特征与真实模板图像的人脸特征之间的相似度，确定第二身份损失。其中，第一源图像的人脸特征与伪模板图像的人脸特征之间的相似度，以及第一身份置换图像的人脸特征与伪模板图像的人脸特征之间的相似度可以用于确定伪模板样本组对应的身份非相似损失，伪模板样本组对应身份非相似损失可以等于第一身份置换图像的人脸特征与伪模板图像的人脸特征之间的相似度，减去第一源图像的人脸特征与伪模板图像的人脸特征之间的相似度；第二身份置换图像的人脸特征与真实模板图像的人脸特征之间的相似度，以及第二源图像的人脸特征与真实模板图像的人脸特征之间的相似度可以用于确定伪标注样本组对应的身份非相似损失，伪标注样本组的身份非相似损失可以等于第二身份置换图像的人脸特征与真实模板图像的人脸特征之间的相似度，减去第二源图像的人脸特征与真实模板图像的人脸特征之间的相似度；第二身份损失可以由伪模板样本组对应的身份非相似损失，以及伪标注样本组对应的身份非相似损失两部分组成，第二身份损失可以等于伪模板样本组对应的身份非相似损失，与伪标注样本组对应的身份非相似损失之和。上述伪模板样本组对应的身份非相似损失或伪标注样本组对应的身份非相似损失的计算过程，可以参见下述公式6：
ID_Neg_Loss=|cosine_similarity(fake_id_features,template_id_features)-cosine_similarity(src_id_features,template_id_features)|公式6
如上述公式6，ID_Neg_Loss表示身份非相似损失，fake_id_features表示身份置换图像的人脸特征，template_id_features表示模板图像的人脸特征，src_id_features表示源图像的人脸特征，cosine_similarity(fake_id_features,template_id_features)表示身份置换图像的人脸特征与模板图像的人脸特征之间的相似度，cosine_similarity(src_id_features,template_id_features)表示源图像的人脸特征与模板图像之间的相似度；当fake_id_features=伪模板_fake_id_features（即第一身份置换图像的人脸特征），src_id_features=src1_id_features（即第一源图像的人脸特征），template_id_features=伪模板_template_id_features（即伪模板图像的人脸特征）时，ID_Neg_Loss表示伪模板样本组对应的身份非相似损失；当fake_id_features=伪标注_fake_id_features（即第二身份置换图像的人脸特征），src_id_features=src2_id_features（即第二源图像的人脸特征），template_id_features=真实_template_id_features（即真实模板图像的人脸特征）时，ID_Neg_Loss表示伪模板样本组对应的身份非相似损失。
S508，对第一身份置换图像和第二身份置换图像进行判别处理，得到身份置换模型的对抗损失。
如图6所示的身份置换模型的训练流程，可以对第一身份置换图像和第二身份置换图像进行判别处理，得到身份置换模型的对抗损失。具体来说，可以获取判别模型，调用判别模型对第一身份置换图像进行判别处理，得到第一判别结果，第一判别结果可以用于指示第一身份置换图像为真实图像的概率，以及，可以调用判别模型对第二身份置换图像进行判别处理，得到第二判别结果，第二判别结果可以用于指示第二身份置换图像为真实图像的概率；然后，可以根据第一判别结果与第二判别结果，确定身份置换模型的对抗损失，其中，第一判别结果可以用于确定伪模板样本组对应的对抗损失，第二判别结果可以用于确定伪标注样本组对应的对抗损失，身份置换模型的对抗损失可以由伪模板样本组对应的对抗损失，以及伪标注样本组对应的对抗损失两部分组成，身份置换模型的对抗损失可以等于伪模板样本组对应的对抗损失与伪标注样本组对应的对抗损失之和。上述伪模板样本组对应的对抗损失或伪标注样本组对应的对抗损失的计算过程，可参见下述公式7：
G_Loss=log(1–D(fake))公式7
如上述公式7，D(fake)表示对身份置换图像的判别结果，G_Loss表示对抗损失；当fake=伪模板_fake（即第一身份置换图像）时，G_Loss可以表示伪模板样本组对应的对抗损失；当fake=伪标注_fake（即第二身份置换图像）时，G_Loss可以表示伪标注样本组对应的对抗损失。
S509，对身份置换模型的像素重构损失、特征重构损失、身份损失以及对抗损失进行求和处理，得到身份置换模型的损失信息。
在确定身份置换模型的像素重构损失、特征重构损失、身份损失以及对抗损失之后，可以对身份置换模型的像素重构损失、特征重构损失、身份损失以及对抗损失进行求和处理，得到身份置换模型的损失信息。身份置换模型的损失信息的计算过程具体可以参见下述公式8：
Loss=Reconstruction_Loss+LPIPS_Loss+ID_Loss+ID_Neg_Loss+G_Loss公式8
如上述公式8，Loss表示身份置换模型的损失信息，Reconstruction_Loss表示身份置换模型的像素重构损失，LPIPS_Loss表示身份置换模型的特征重构损失，ID_Loss表示身份置换模型的第一身份损失（可以包含伪模板样本组对应的身份相似损失和伪标注样本组对应的身份相似损失），ID_Neg_Loss表示身份置换模型的第二身份损失（可以包含伪模板样本组对应的身份非相似损失和伪标注样本组对应的身份非相似损失），G_Loss表示身份置换模型的对抗损失（可以包含伪模板样本组对应的对抗损失和伪标注样本组对应的对抗损失）。
S510，根据身份置换模型的损失信息，更新身份置换模型的模型参数，以训练身份置换模型。
步骤S510中，在得到身份置换模型的损失信息后，可以根据身份置换模型的损失信息，更新身份置换模型的模型参数，以训练身份置换模型。其中，根据身份置换模型的损失信息，更新身份置换模型的模型参数，以训练身份置换模型，具体可以是指：按照减小损失信息的方向，优化身份置换模型的模型参数。需要说明的是，“按照减小损失信息的方向”是指：以最小化损失信息为目标的模型优化方向；通过此方向进行模型优化，使得身份置换模型在优化后所产生的损失信息，需小于身份置换模型在优化前所产生的损失信息。例如，本次计算得到的身份置换模型的损失信息为0.85，那么通过按照减小损失信息的方向优化身份置换模型后，通过优化后的身份置换模型所产生的损失信息应小于0.85。
以上步骤S501-步骤S510介绍了身份置换模型的一次训练流程，在身份置换模型的实际训练过程中，需要执行多次训练流程，每执行一次训练流程，计算一次身份置换模型的损失信息，对身份置换模型的参数进行一次优化，若经多次优化后身份置换模型所产生的损失信息小于损失阈值，则可以确定身份置换模型的训练过程结束，可以将最后一次优化得到的身份置换模型确定为训练好的身份置换模型。
需要说明的是，上述步骤S501-步骤S510以身份置换模型的一次训练流程中使用一个伪模板样本组和一个伪标注样本组为例进行介绍，在身份置换模型的实际训练过程中，身份置换模型的一次训练流程中可以使用多个伪模板样本组和多个伪标注样本组（例如，身份置换模型的一次训练流程中使用10个伪模板样本组和20个伪标注样本组），从而，身份置换模型的损失信息可以根据多个伪模板样本组，每个伪模板样本组的身份置换图像、多个伪标注样本组以及每个伪标注样本组的身份置换图像共同确定；例如，身份置换模型的像素重构损失，可以由各个伪模板样本组对应的像素重构损失，以及各个伪标注样本组对应的像素重构损失共同确定；又如，身份置换模型的特征重构损失，可以由各个伪模板样本组对应的特征重构损失共同确定。
训练好的身份置换模型可以用于在不同的场景（例如影视制作、游戏形象制作，等等）中进行身份置换处理。在接收到待处理的目标源图像和目标模板图像后，可以调用训练好的身份置换模型基于目标源图像对目标模板图像进行身份置换处理，得到目标模板图像的身份置换图像；其中，目标源图像与目标模板图像的身份置换图像具有相同的身份属性，目标模板图像与目标模板图像的身份置换图像具有相同的非身份属性；调用训练好的身份置换模型基于目标源图像对目标模板图像进行身份置换处理的过程，与上述图3所示实施例中步骤S302中调用身份置换模型基于第一源图像对伪模板图像进行身份置换处理的过程类似，具体可参见上述图3所示实施例中步骤S302的描述，在此不再赘述。
本申请实施例中，通过伪模板样本组的准备过程，可以使得身份置换模型的训练过程中存在真实标注图像，即可以通过真实标注图像对身份置换模型的训练过程进行约束，从而可以使得身份置换模型的训练过程更加可控，有利于提升身份置换模型生成的身份置换图像的质量；通过伪标注样本组的准备过程，可以使得真实模板图像与真实身份置换场景中所使用的模板图像一致，弥补了伪模板样本组中构造的伪模板图像与真实身份置换场景中所使用的模板图像不一致的缺陷，进一步提升了身份置换模型的训练过程的可控性，以及身份置换模型生成的身份置换图像的质量。并且，本申请从不同维度（像素差异维度、特征差异维度、人脸特征的相似度、对抗模型维度等）计算身份置换模型的损失信息，从而，可以从不同维度优化身份置换模型，提升身份置换模型的训练效果。
上述详细阐述了本申请实施例的方法，为了便于更好地实施本申请实施例的上述方案，相应地，下面提供了本申请实施例的装置。
请参见图7，图7是本申请实施例提供的一种图像处理装置的结构示意图，该图像处理装置可以设置于本申请实施例提供的计算机设备中，计算机设备可以是上述方法实施例中提及的服务器201。图7所示的图像处理装置可以是运行于计算机设备中的一个计算机程序（包括程序代码），该图像处理装置可以用于执行图3或图5所示的方法实施例中的部分或全部步骤。请参见图7，该图像处理装置可以包括如下单元：
获取单元701，用于获取伪模板样本组；伪模板样本组包括第一源图像、伪模板图像以及真实标注图像，伪模板图像是对真实标注图像进行身份置换处理得到的，第一源图像与真实标注图像具有相同的身份属性，伪模板图像和真实标注图像具有相同的非身份属性；
处理单元702，用于调用身份置换模型基于第一源图像对伪模板图像进行身份置换处理，得到伪模板图像的第一身份置换图像；
获取单元701，还用于获取伪标注样本组；伪标注样本组包括第二源图像、真实模板图像以及伪标注图像，伪标注图像是基于第二源图像对真实模板图像进行身份置换处理得到的，第二源图像与伪标注图像具有相同的身份属性，真实模板图像与伪标注图像具有相同的非身份属性；
处理单元702，还用于调用身份置换模型基于第二源图像对真实模板图像进行身份置换处理，得到真实模板图像的第二身份置换图像；
处理单元702，还用于基于伪模板样本组、第一身份置换图像、伪标注样本组以及所述第二身份置换图像，对身份置换模型进行训练。
在一种实现方式中，处理单元702，用于基于伪模板样本组、第一身份置换图像、伪标注样本组以及第二身份置换图像，对身份置换模型进行训练时，具体用于执行如下步骤：
基于第一身份置换图像与真实标注图像之间的第一像素差异，以及第二身份置换图像与伪标注图像之间的第二像素差异，确定身份置换模型的像素重构损失；
基于第一身份置换图像与真实标注图像之间的特征差异，确定身份置换模型的特征重构损失；
提取第一身份置换图像、第一源图像、伪模板图像、第二身份置换图像、第二源图像以及真实模板图像的人脸特征，以确定身份置换模型的身份损失；
对第一身份置换图像和第二身份置换图像进行判别处理，得到身份置换模型的对抗损失；
对身份置换模型的像素重构损失、特征重构损失、身份损失以及对抗损失进行求和处理，得到身份置换模型的损失信息，并根据身份置换模型的损失信息，更新身份置换模型的模型参数，以训练身份置换模型。
在一种实现方式中，处理单元702，用于基于第一身份置换图像与真实标注图像之间的特征差异，确定身份置换模型的特征重构损失时，具体用于执行如下步骤：
获取图像特征提取网络，图像特征提取网络包括多个图像特征提取层；
调用图像特征提取网络对第一身份置换图像进行图像特征提取，得到第一特征提取结果，第一特征提取结果包括多个图像特征提取层中的每个图像特征提取层所提取到的身份置换图像特征；
调用图像特征提取网络对真实标注图像进行图像特征提取，得到第二特征提取结果，第二特征提取结果包括多个图像特征提取层中的每个图像特征提取层所提取到的标注图像特征；
计算每个图像特征提取层所提取到的身份置换图像特征与标注图像特征之间的特征差；
对各个图像特征提取层的特征差进行求和处理，得到身份置换模型的特征重构损失。
在一种实现方式中，身份置换模型的身份损失包括第一身份损失和第二身份损失；处理单元702，用于提取第一身份置换图像、第一源图像、伪模板图像、第二身份置换图像、第二源图像以及真实模板图像的人脸特征，以确定身份置换模型的身份损失时，具体用于执行如下步骤：
基于第一身份置换图像的人脸特征与第一源图像的人脸特征之间的相似度，以及第二身份置换图像的人脸特征与第二源图像的人脸特征之间的相似度，确定第一身份损失；
基于第一身份置换图像的人脸特征与伪模板图像的人脸特征之间的相似度，第一源图像的人脸特征与伪模板图像的人脸特征之间的相似度，第二身份置换图像的人脸特征与真实模板图像的人脸特征之间的相似度，以及第二源图像的人脸特征与真实模板图像的人脸特征之间的相似度，确定第二身份损失。
在一种实现方式中，处理单元702，用于对第一身份置换图像和第二身份置换图像进行判别处理，得到身份置换模型的对抗损失时，具体用于执行如下步骤：
获取判别模型；
调用判别模型对第一身份置换图像进行判别处理，得到第一判别结果；
调用判别模型对第二身份置换图像进行判别处理，得到第二判别结果；
根据第一判别结果与第二判别结果，确定身份置换模型的对抗损失。
在一种实现方式中，处理单元702，用于基于第一身份置换图像与真实标注图像之间的第一像素差异，以及第二身份置换图像与伪标注图像之间的第二像素差异，确定身份置换模型的像素重构损失时，具体用于执行如下步骤：
获取第一像素差异对应的第一权重，以及第二像素差异对应的第二权重；
根据第一权重对第一像素差异进行加权处理，得到第一加权像素差异；
根据第二权重对第二像素差异进行加权处理，得到第二加权像素差异；
对第一加权像素差异和第二加权像素差异进行求和处理，得到身份置换模型的像素重构损失。
在一种实现方式中，身份置换模型包括编码网络和解码网络；处理单元702，用于调用身份置换模型基于第一源图像对伪模板图像进行身份置换处理，得到伪模板图像的第一身份置换图像时，具体用于执行如下步骤：
调用编码网络对第一源图像和伪模板图像进行融合编码处理，得到编码结果；
调用解码网络对编码结果进行解码处理，得到伪模板图像的第一身份置换图像。
在一种实现方式中，处理单元702，用于调用编码网络对第一源图像和伪模板图像进行融合编码处理，得到编码结果时，具体用于执行如下步骤：
对第一源图像和伪模板图像进行拼接处理，得到拼接图像；
对拼接图像进行特征学习，得到身份置换特征；
对第一源图像进行人脸特征识别，得到第一源图像的人脸特征；
对身份置换特征与第一源图像的人脸特征进行特征融合处理，得到编码结果。
在一种实现方式中，处理单元702，用于对身份置换特征与第一源图像的人脸特征进行特征融合处理，得到编码结果时，具体用于执行如下步骤：
计算身份置换特征的均值和身份置换特征的方差；
计算人脸特征的均值和人脸特征的方差；
根据身份置换特征的均值、身份置换特征的方差、人脸特征的均值、以及人脸特征的方差，对身份置换特征与人脸特征进行融合处理，得到编码结果。
在一种实现方式中，获取单元701，用于获取伪模板样本组时，具体用于执行如下步骤：
获取第一源图像对应的初始源图像，以及获取真实标注图像对应的初始标注图像；
对第一源图像对应的初始源图像进行人脸区域裁剪，得到第一源图像，以及对真实标注图像对应的初始标注图像进行人脸区域裁剪，得到真实标注图像；
获取参考源图像，基于参考源图像对真实标注图像进行身份置换处理，得到伪模板图像；
根据第一源图像、伪模板图像以及真实标注图像，生成伪模板样本组。
在一种实现方式中，获取单元701，用于对第一源图像对应的初始源图像进行人脸区域裁剪，得到第一源图像时，具体用于执行如下步骤：
对第一源图像对应的初始源图像进行人脸检测，确定第一源图像对应的初始源图像中的人脸区域；
在人脸区域内，对第一源图像对应的初始源图像进行人脸配准，确定第一源图像对应的初始源图像中的人脸关键点；
基于人脸关键点，对第一源图像对应的初始源图像进行裁剪处理，得到第一源图像。
在一种实现方式中，处理单元702，还用于执行如下步骤：
接收待处理的目标源图像和目标模板图像；
调用训练好的身份置换模型基于目标源图像对目标模板图像进行身份置换处理，得到目标模板图像的身份置换图像；
其中，目标源图像与目标模板图像的身份置换图像具有相同的身份属性，目标模板图像与目标模板图像的身份置换图像具有相同的非身份属性。
根据本申请的另一个实施例，图7所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个（些）单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，图像处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本申请的另一个实施例，可以通过在包括中央处理单元（CPU）、随机存取存储介质（RAM）、只读存储介质（ROM）等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图3或图5所示的部分或全部方法所涉及的各步骤的计算机程序（包括程序代码），来构造如图7中所示的图像处理装置，以及来实现本申请实施例的图像处理方法。计算机程序可以记载于例如计算机可读存储介质上，并通过计算机可读存储介质装载于上述计算设备中，并在其中运行。
本申请实施例中，提供了用于对身份置换模型进行训练的伪模板样本组和伪标注样本组；在伪模板样本组中，通过对真实标注图像进行身份置换处理构造了伪模板图像，这样可以使得身份置换模型的训练过程中存在真实标注图像，即可以通过真实标注图像对身份置换模型的训练过程进行约束，从而可以使得身份置换模型的训练过程更加可控，有利于提升身份置换模型生成的身份置换图像的质量；在伪标注样本组中，采用源图像对真实模板图像进行身份置换处理构造了伪标注图像，这样可以使得真实模板图像与真实身份置换场景中所使用的模板图像一致，弥补了伪模板样本组中构造的伪模板图像与真实身份置换场景中所使用的模板图像不一致的缺陷，进一步提升了身份置换模型的训练过程的可控性，以及身份置换模型生成的身份置换图像的质量。
基于上述方法以及装置实施例，本申请实施例提供了一种计算机设备，该计算机设备可以是前述所提及的服务器201。请参见图8，图8是本申请实施例提供的一种计算机设备的结构示意图。图8所示的计算机设备至少包括处理器801、输入接口802、输出接口803以及计算机可读存储介质804。其中，处理器801、输入接口802、输出接口803以及计算机可读存储介质804可通过总线或其他方式连接。
计算机可读存储介质804可以存储在计算机设备的存储器中，计算机可读存储介质804用于存储计算机程序，计算机程序包括计算机指令，处理器801用于执行计算机可读存储介质804存储的程序指令。处理器801（或称CPU（Central Processing Unit，中央处理器））是计算机设备的计算核心以及控制核心，其适于实现一条或多条计算机指令，具体适于加载并执行一条或多条计算机指令从而实现相应方法流程或相应功能。
本申请实施例还提供了一种计算机可读存储介质（Memory），计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了计算机设备的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或多条的计算机指令，这些计算机指令可以是一个或一个以上的计算机程序（包括程序代码）。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器（Non-VolatileMemory），例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机可读存储介质。
在一些实施例中，可由处理器801加载并执行计算机可读存储介质804中存放的一条或多条计算机指令，以实现上述有关图4或图8所示的图像处理方法的相应步骤。具体实现中，计算机可读存储介质804中的计算机指令由处理器801加载并执行如下步骤：
获取伪模板样本组；伪模板样本组包括第一源图像、伪模板图像以及真实标注图像，伪模板图像是对真实标注图像进行身份置换处理得到的，第一源图像与真实标注图像具有相同的身份属性，伪模板图像和真实标注图像具有相同的非身份属性；
调用身份置换模型基于第一源图像对伪模板图像进行身份置换处理，得到伪模板图像的第一身份置换图像；
获取伪标注样本组；伪标注样本组包括第二源图像、真实模板图像以及伪标注图像，伪标注图像是基于第二源图像对真实模板图像进行身份置换处理得到的，第二源图像与伪标注图像具有相同的身份属性，真实模板图像与伪标注图像具有相同的非身份属性；
调用身份置换模型基于第二源图像对真实模板图像进行身份置换处理，得到真实模板图像的第二身份置换图像；
基于伪模板样本组、第一身份置换图像、伪标注样本组以及所述第二身份置换图像，对身份置换模型进行训练。
在一种实现方式中，计算机可读存储介质804中的计算机指令由处理器801加载并执行基于伪模板样本组、第一身份置换图像、伪标注样本组以及第二身份置换图像，对身份置换模型进行训练时，具体用于执行如下步骤：
基于第一身份置换图像与真实标注图像之间的第一像素差异，以及第二身份置换图像与伪标注图像之间的第二像素差异，确定身份置换模型的像素重构损失；
基于第一身份置换图像与真实标注图像之间的特征差异，确定身份置换模型的特征重构损失；
提取第一身份置换图像、第一源图像、伪模板图像、第二身份置换图像、第二源图像以及真实模板图像的人脸特征，以确定身份置换模型的身份损失；
对第一身份置换图像和第二身份置换图像进行判别处理，得到身份置换模型的对抗损失；
对身份置换模型的像素重构损失、特征重构损失、身份损失以及对抗损失进行求和处理，得到身份置换模型的损失信息，并根据身份置换模型的损失信息，更新身份置换模型的模型参数，以训练身份置换模型。
在一种实现方式中，计算机可读存储介质804中的计算机指令由处理器801加载并执行基于第一身份置换图像与真实标注图像之间的特征差异，确定身份置换模型的特征重构损失时，具体用于执行如下步骤：
获取图像特征提取网络，图像特征提取网络包括多个图像特征提取层；
调用图像特征提取网络对第一身份置换图像进行图像特征提取，得到第一特征提取结果，第一特征提取结果包括多个图像特征提取层中的每个图像特征提取层所提取到的身份置换图像特征；
调用图像特征提取网络对真实标注图像进行图像特征提取，得到第二特征提取结果，第二特征提取结果包括多个图像特征提取层中的每个图像特征提取层所提取到的标注图像特征；
计算每个图像特征提取层所提取到的身份置换图像特征与标注图像特征之间的特征差；
对各个图像特征提取层的特征差进行求和处理，得到身份置换模型的特征重构损失。
在一种实现方式中，身份置换模型的身份损失包括第一身份损失和第二身份损失；计算机可读存储介质804中的计算机指令由处理器801加载并执行提取第一身份置换图像、第一源图像、伪模板图像、第二身份置换图像、第二源图像以及真实模板图像的人脸特征，以确定身份置换模型的身份损失时，具体用于执行如下步骤：
基于第一身份置换图像的人脸特征与第一源图像的人脸特征之间的相似度，以及第二身份置换图像的人脸特征与第二源图像的人脸特征之间的相似度，确定第一身份损失；
基于第一身份置换图像的人脸特征与伪模板图像的人脸特征之间的相似度，第一源图像的人脸特征与伪模板图像的人脸特征之间的相似度，第二身份置换图像的人脸特征与真实模板图像的人脸特征之间的相似度，以及第二源图像的人脸特征与真实模板图像的人脸特征之间的相似度，确定第二身份损失。
在一种实现方式中，计算机可读存储介质804中的计算机指令由处理器801加载并执行对第一身份置换图像和第二身份置换图像进行判别处理，得到身份置换模型的对抗损失时，具体用于执行如下步骤：
获取判别模型；
调用判别模型对第一身份置换图像进行判别处理，得到第一判别结果；
调用判别模型对第二身份置换图像进行判别处理，得到第二判别结果；
根据第一判别结果与第二判别结果，确定身份置换模型的对抗损失。
在一种实现方式中，计算机可读存储介质804中的计算机指令由处理器801加载并执行基于第一身份置换图像与真实标注图像之间的第一像素差异，以及第二身份置换图像与伪标注图像之间的第二像素差异，确定身份置换模型的像素重构损失时，具体用于执行如下步骤：
获取第一像素差异对应的第一权重，以及第二像素差异对应的第二权重；
根据第一权重对第一像素差异进行加权处理，得到第一加权像素差异；
根据第二权重对第二像素差异进行加权处理，得到第二加权像素差异；
对第一加权像素差异和第二加权像素差异进行求和处理，得到身份置换模型的像素重构损失。
在一种实现方式中，身份置换模型包括编码网络和解码网络；计算机可读存储介质804中的计算机指令由处理器801加载并执行调用身份置换模型基于第一源图像对伪模板图像进行身份置换处理，得到伪模板图像的第一身份置换图像时，具体用于执行如下步骤：
调用编码网络对第一源图像和伪模板图像进行融合编码处理，得到编码结果；
调用解码网络对编码结果进行解码处理，得到伪模板图像的第一身份置换图像。
在一种实现方式中，计算机可读存储介质804中的计算机指令由处理器801加载并执行调用编码网络对第一源图像和伪模板图像进行融合编码处理，得到编码结果时，具体用于执行如下步骤：
对第一源图像和伪模板图像进行拼接处理，得到拼接图像；
对拼接图像进行特征学习，得到身份置换特征；
对第一源图像进行人脸特征识别，得到第一源图像的人脸特征；
对身份置换特征与第一源图像的人脸特征进行特征融合处理，得到编码结果。
在一种实现方式中，计算机可读存储介质804中的计算机指令由处理器801加载并执行对身份置换特征与第一源图像的人脸特征进行特征融合处理，得到编码结果时，具体用于执行如下步骤：
计算身份置换特征的均值和身份置换特征的方差；
计算人脸特征的均值和人脸特征的方差；
根据身份置换特征的均值、身份置换特征的方差、人脸特征的均值、以及人脸特征的方差，对身份置换特征与人脸特征进行融合处理，得到编码结果。
在一种实现方式中，计算机可读存储介质804中的计算机指令由处理器801加载并执行获取伪模板样本组时，具体用于执行如下步骤：
获取第一源图像对应的初始源图像，以及获取真实标注图像对应的初始标注图像；
对第一源图像对应的初始源图像进行人脸区域裁剪，得到第一源图像，以及对真实标注图像对应的初始标注图像进行人脸区域裁剪，得到真实标注图像；
获取参考源图像，基于参考源图像对真实标注图像进行身份置换处理，得到伪模板图像；
根据第一源图像、伪模板图像以及真实标注图像，生成伪模板样本组。
在一种实现方式中，计算机可读存储介质804中的计算机指令由处理器801加载并执行对第一源图像对应的初始源图像进行人脸区域裁剪，得到第一源图像时，具体用于执行如下步骤：
对第一源图像对应的初始源图像进行人脸检测，确定第一源图像对应的初始源图像中的人脸区域；
在人脸区域内，对第一源图像对应的初始源图像进行人脸配准，确定第一源图像对应的初始源图像中的人脸关键点；
基于人脸关键点，对第一源图像对应的初始源图像进行裁剪处理，得到第一源图像。
在一种实现方式中，计算机可读存储介质804中的计算机指令由处理器801加载并还用于执行如下步骤：
接收待处理的目标源图像和目标模板图像；
调用训练好的身份置换模型基于目标源图像对目标模板图像进行身份置换处理，得到目标模板图像的身份置换图像；
其中，目标源图像与目标模板图像的身份置换图像具有相同的身份属性，目标模板图像与目标模板图像的身份置换图像具有相同的非身份属性。
本申请实施例中，提供了用于对身份置换模型进行训练的伪模板样本组和伪标注样本组；在伪模板样本组中，通过对真实标注图像进行身份置换处理构造了伪模板图像，这样可以使得身份置换模型的训练过程中存在真实标注图像，即可以通过真实标注图像对身份置换模型的训练过程进行约束，从而可以使得身份置换模型的训练过程更加可控，有利于提升身份置换模型生成的身份置换图像的质量；在伪标注样本组中，采用源图像对真实模板图像进行身份置换处理构造了伪标注图像，这样可以使得真实模板图像与真实身份置换场景中所使用的模板图像一致，弥补了伪模板样本组中构造的伪模板图像与真实身份置换场景中所使用的模板图像不一致的缺陷，进一步提升了身份置换模型的训练过程的可控性，以及身份置换模型生成的身份置换图像的质量。根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选方式中提供的图像处理方法。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选方式中提供的图像处理方法。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (14)
1.一种图像处理方法，其特征在于，所述方法包括：
获取伪模板样本组；所述伪模板样本组包括第一源图像、伪模板图像以及真实标注图像，所述伪模板图像是对所述真实标注图像进行身份置换处理得到的，所述第一源图像与所述真实标注图像具有相同的身份属性，所述伪模板图像和所述真实标注图像具有相同的非身份属性；
调用身份置换模型基于所述第一源图像对所述伪模板图像进行身份置换处理，得到所述伪模板图像的第一身份置换图像；
获取伪标注样本组；所述伪标注样本组包括第二源图像、真实模板图像以及伪标注图像，所述伪标注图像是基于所述第二源图像对所述真实模板图像进行身份置换处理得到的，所述第二源图像与所述伪标注图像具有相同的身份属性，所述真实模板图像与所述伪标注图像具有相同的非身份属性；
调用所述身份置换模型基于所述第二源图像对所述真实模板图像进行身份置换处理，得到所述真实模板图像的第二身份置换图像；
基于所述第一身份置换图像与所述真实标注图像之间的第一像素差异，以及所述第二身份置换图像与所述伪标注图像之间的第二像素差异，确定所述身份置换模型的像素重构损失；
基于所述第一身份置换图像与所述真实标注图像之间的特征差异，确定所述身份置换模型的特征重构损失；
提取所述第一身份置换图像、所述第一源图像、所述伪模板图像、所述第二身份置换图像、所述第二源图像以及所述真实模板图像的人脸特征，以确定所述身份置换模型的身份损失；
对所述第一身份置换图像和所述第二身份置换图像进行判别处理，得到所述身份置换模型的对抗损失；
对所述身份置换模型的像素重构损失、特征重构损失、身份损失以及对抗损失进行求和处理，得到所述身份置换模型的损失信息，并根据所述身份置换模型的损失信息，更新所述身份置换模型的模型参数，以训练所述身份置换模型。
2.如权利要求1所述的方法，其特征在于，所述基于所述第一身份置换图像与所述真实标注图像之间的特征差异，确定所述身份置换模型的特征重构损失，包括：
获取图像特征提取网络，所述图像特征提取网络包括多个图像特征提取层；
调用所述图像特征提取网络对所述第一身份置换图像进行图像特征提取，得到第一特征提取结果，所述第一特征提取结果包括所述多个图像特征提取层中的每个图像特征提取层所提取到的身份置换图像特征；
调用所述图像特征提取网络对所述真实标注图像进行图像特征提取，得到第二特征提取结果，所述第二特征提取结果包括所述多个图像特征提取层中的每个图像特征提取层所提取到的标注图像特征；
计算每个图像特征提取层所提取到的身份置换图像特征与标注图像特征之间的特征差；
对各个图像特征提取层的特征差进行求和处理，得到所述身份置换模型的特征重构损失。
3.如权利要求1所述的方法，其特征在于，所述身份置换模型的身份损失包括第一身份损失和第二身份损失；所述提取所述第一身份置换图像、所述第一源图像、所述伪模板图像、所述第二身份置换图像、所述第二源图像以及所述真实模板图像的人脸特征，以确定所述身份置换模型的身份损失，包括：
基于所述第一身份置换图像的人脸特征与所述第一源图像的人脸特征之间的相似度，以及所述第二身份置换图像的人脸特征与所述第二源图像的人脸特征之间的相似度，确定所述第一身份损失；
基于所述第一身份置换图像的人脸特征与所述伪模板图像的人脸特征之间的相似度，所述第一源图像的人脸特征与所述伪模板图像的人脸特征之间的相似度，所述第二身份置换图像的人脸特征与所述真实模板图像的人脸特征之间的相似度，以及所述第二源图像的人脸特征与所述真实模板图像的人脸特征之间的相似度，确定所述第二身份损失。
4.如权利要求1所述的方法，其特征在于，所述对所述第一身份置换图像和所述第二身份置换图像进行判别处理，得到所述身份置换模型的对抗损失，包括：
获取判别模型；
调用所述判别模型对所述第一身份置换图像进行判别处理，得到第一判别结果；
调用所述判别模型对所述第二身份置换图像进行判别处理，得到第二判别结果；
根据所述第一判别结果与所述第二判别结果，确定所述身份置换模型的对抗损失。
5.如权利要求1所述的方法，其特征在于，所述基于所述第一身份置换图像与所述真实标注图像之间的第一像素差异，以及所述第二身份置换图像与所述伪标注图像之间的第二像素差异，确定所述身份置换模型的像素重构损失，包括：
获取所述第一像素差异对应的第一权重，以及所述第二像素差异对应的第二权重；
根据所述第一权重对所述第一像素差异进行加权处理，得到第一加权像素差异；
根据所述第二权重对所述第二像素差异进行加权处理，得到第二加权像素差异；
对所述第一加权像素差异和所述第二加权像素差异进行求和处理，得到所述身份置换模型的像素重构损失。
6.如权利要求1所述的方法，其特征在于，所述身份置换模型包括编码网络和解码网络；所述调用身份置换模型基于所述第一源图像对所述伪模板图像进行身份置换处理，得到所述伪模板图像的第一身份置换图像，包括：
调用所述编码网络对所述第一源图像和所述伪模板图像进行融合编码处理，得到编码结果；
调用所述解码网络对所述编码结果进行解码处理，得到所述伪模板图像的第一身份置换图像。
7.如权利要求6所述的方法，其特征在于，所述调用所述编码网络对所述第一源图像和所述伪模板图像进行融合编码处理，得到编码结果，包括：
对所述第一源图像和所述伪模板图像进行拼接处理，得到拼接图像；
对所述拼接图像进行特征学习，得到身份置换特征；
对所述第一源图像进行人脸特征识别，得到所述第一源图像的人脸特征；
对所述身份置换特征与所述第一源图像的人脸特征进行特征融合处理，得到所述编码结果。
8.如权利要求7所述的方法，其特征在于，所述对所述身份置换特征与所述第一源图像的人脸特征进行特征融合处理，得到所述编码结果，包括：
计算所述身份置换特征的均值和所述身份置换特征的方差；
计算所述人脸特征的均值和所述人脸特征的方差；
根据所述身份置换特征的均值、所述身份置换特征的方差、所述人脸特征的均值、以及所述人脸特征的方差，对所述身份置换特征与所述人脸特征进行融合处理，得到所述编码结果。
9.如权利要求1所述的方法，其特征在于，所述获取伪模板样本组，包括：
获取所述第一源图像对应的初始源图像，以及获取所述真实标注图像对应的初始标注图像；
对所述第一源图像对应的初始源图像进行人脸区域裁剪，得到所述第一源图像，以及对所述真实标注图像对应的初始标注图像进行人脸区域裁剪，得到所述真实标注图像；
获取参考源图像，基于所述参考源图像对所述真实标注图像进行身份置换处理，得到所述伪模板图像；
根据所述第一源图像、所述伪模板图像以及所述真实标注图像，生成所述伪模板样本组。
10.如权利要求9所述的方法，其特征在于，所述对所述第一源图像对应的初始源图像进行人脸区域裁剪，得到所述第一源图像，包括：
对所述第一源图像对应的初始源图像进行人脸检测，确定所述第一源图像对应的初始源图像中的人脸区域；
在所述人脸区域内，对所述第一源图像对应的初始源图像进行人脸配准，确定所述第一源图像对应的初始源图像中的人脸关键点；
基于所述人脸关键点，对所述第一源图像对应的初始源图像进行裁剪处理，得到所述第一源图像。
11.如权利要求1所述的方法，其特征在于，所述方法还包括：
接收待处理的目标源图像和目标模板图像；
调用训练好的身份置换模型基于所述目标源图像对所述目标模板图像进行身份置换处理，得到所述目标模板图像的身份置换图像；
其中，所述目标源图像与所述目标模板图像的身份置换图像具有相同的身份属性，所述目标模板图像与所述目标模板图像的身份置换图像具有相同的非身份属性。
12.一种图像处理装置，其特征在于，所述图像处理装置包括：
获取单元，用于获取伪模板样本组；所述伪模板样本组包括第一源图像、伪模板图像以及真实标注图像，所述伪模板图像是对所述真实标注图像进行身份置换处理得到的，所述第一源图像与所述真实标注图像具有相同的身份属性，所述伪模板图像和所述真实标注图像具有相同的非身份属性；
处理单元，用于调用身份置换模型基于所述第一源图像对所述伪模板图像进行身份置换处理，得到所述伪模板图像的第一身份置换图像；
所述获取单元，还用于获取伪标注样本组；所述伪标注样本组包括第二源图像、真实模板图像以及伪标注图像，所述伪标注图像是基于所述第二源图像对所述真实模板图像进行身份置换处理得到的，所述第二源图像与所述伪标注图像具有相同的身份属性，所述真实模板图像与所述伪标注图像具有相同的非身份属性；
所述处理单元，还用于调用所述身份置换模型基于所述第二源图像对所述真实模板图像进行身份置换处理，得到所述真实模板图像的第二身份置换图像；
所述处理单元，还用于基于所述第一身份置换图像与所述真实标注图像之间的第一像素差异，以及所述第二身份置换图像与所述伪标注图像之间的第二像素差异，确定所述身份置换模型的像素重构损失；基于所述第一身份置换图像与所述真实标注图像之间的特征差异，确定所述身份置换模型的特征重构损失；提取所述第一身份置换图像、所述第一源图像、所述伪模板图像、所述第二身份置换图像、所述第二源图像以及所述真实模板图像的人脸特征，以确定所述身份置换模型的身份损失；对所述第一身份置换图像和所述第二身份置换图像进行判别处理，得到所述身份置换模型的对抗损失；对所述身份置换模型的像素重构损失、特征重构损失、身份损失以及对抗损失进行求和处理，得到所述身份置换模型的损失信息，并根据所述身份置换模型的损失信息，更新所述身份置换模型的模型参数，以训练所述身份置换模型。
13.一种计算机设备，其特征在于，所述计算机设备包括：
处理器，适于实现计算机程序；
计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1至11任一项所述的图像处理方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于由处理器加载并执行如权利要求1至11任一项所述的图像处理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211075798.7A CN115171199B (zh) | 2022-09-05 | 2022-09-05 | 图像处理方法、装置及计算机设备、存储介质 |
| PCT/CN2023/113992 WO2024051480A1 (zh) | 2022-09-05 | 2023-08-21 | 图像处理方法、装置及计算机设备、存储介质 |
| US18/416,382 US20240161465A1 (en) | 2022-09-05 | 2024-01-18 | Image processing method and apparatus, computer device, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211075798.7A CN115171199B (zh) | 2022-09-05 | 2022-09-05 | 图像处理方法、装置及计算机设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115171199A CN115171199A (zh) | 2022-10-11 |
| CN115171199B true CN115171199B (zh) | 2022-11-18 |
Family
ID=83480935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211075798.7A Active CN115171199B (zh) | 2022-09-05 | 2022-09-05 | 图像处理方法、装置及计算机设备、存储介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240161465A1 (zh) |
| CN (1) | CN115171199B (zh) |
| WO (1) | WO2024051480A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115171199B (zh) * | 2022-09-05 | 2022-11-18 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置及计算机设备、存储介质 |
| CN115565238B (zh) * | 2022-11-22 | 2023-03-28 | 腾讯科技（深圳）有限公司 | 换脸模型的训练方法、装置、设备、存储介质和程序产品 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021258920A1 (zh) * | 2020-06-24 | 2021-12-30 | 百果园技术(新加坡)有限公司 | 生成对抗网络训练方法、图像换脸、视频换脸方法及装置 |
| WO2022179401A1 (zh) * | 2021-02-26 | 2022-09-01 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备、存储介质和程序产品 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000064110A (ko) * | 2000-08-22 | 2000-11-06 | 이성환 | 얼굴 영상에 기반한 캐릭터 자동 생성 장치 및 방법 |
| CN110059744B (zh) * | 2019-04-16 | 2022-10-25 | 腾讯科技（深圳）有限公司 | 训练神经网络的方法、图像处理的方法、设备及存储介质 |
| US11356640B2 (en) * | 2019-05-09 | 2022-06-07 | Present Communications, Inc. | Method for securing synthetic video conference feeds |
| US20210019541A1 (en) * | 2019-07-18 | 2021-01-21 | Qualcomm Incorporated | Technologies for transferring visual attributes to images |
| CN112464924A (zh) * | 2019-09-06 | 2021-03-09 | 华为技术有限公司 | 一种构建训练集的方法及装置 |
| CN111353546B (zh) * | 2020-03-09 | 2022-12-23 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、装置、计算机设备和存储介质 |
| CN111401216B (zh) * | 2020-03-12 | 2023-04-18 | 腾讯科技（深圳）有限公司 | 图像处理、模型训练方法、装置、计算机设备和存储介质 |
| CN111862057B (zh) * | 2020-07-23 | 2021-10-22 | 中山佳维电子有限公司 | 图片标注方法、装置、传感器质量检测方法和电子设备 |
| CN113327271B (zh) * | 2021-05-28 | 2022-03-22 | 北京理工大学重庆创新中心 | 基于双光孪生网络决策级目标跟踪方法、系统及存储介质 |
| CN114937115A (zh) * | 2021-07-29 | 2022-08-23 | 腾讯科技（深圳）有限公司 | 图像处理方法、人脸更换模型处理方法、装置和电子设备 |
| CN113936138A (zh) * | 2021-09-15 | 2022-01-14 | 中国航天科工集团第二研究院 | 基于多源图像融合的目标检测方法、系统、设备、介质 |
| CN113887357B (zh) * | 2021-09-23 | 2024-04-12 | 华南理工大学 | 一种人脸表示攻击检测方法、系统、装置及介质 |
| CN114005170B (zh) * | 2022-01-05 | 2022-03-25 | 中国科学院自动化研究所 | 基于视觉对抗重构的DeepFake防御方法和系统 |
| CN114612991A (zh) * | 2022-03-22 | 2022-06-10 | 北京明略昭辉科技有限公司 | 攻击人脸图片的转换方法及装置、电子设备及存储介质 |
| CN114841340B (zh) * | 2022-04-22 | 2023-07-28 | 马上消费金融股份有限公司 | 深度伪造算法的识别方法、装置、电子设备及存储介质 |
| CN115171199B (zh) * | 2022-09-05 | 2022-11-18 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置及计算机设备、存储介质 |
-
2022
- 2022-09-05 CN CN202211075798.7A patent/CN115171199B/zh active Active
-
2023
- 2023-08-21 WO PCT/CN2023/113992 patent/WO2024051480A1/zh unknown
-
2024
- 2024-01-18 US US18/416,382 patent/US20240161465A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021258920A1 (zh) * | 2020-06-24 | 2021-12-30 | 百果园技术(新加坡)有限公司 | 生成对抗网络训练方法、图像换脸、视频换脸方法及装置 |
| WO2022179401A1 (zh) * | 2021-02-26 | 2022-09-01 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备、存储介质和程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240161465A1 (en) | 2024-05-16 |
| CN115171199A (zh) | 2022-10-11 |
| WO2024051480A1 (zh) | 2024-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115171199B (zh) | 图像处理方法、装置及计算机设备、存储介质 | |
| CN111553267B (zh) | 图像处理方法、图像处理模型训练方法及设备 | |
| CN110188829B (zh) | 神经网络的训练方法、目标识别的方法及相关产品 | |
| CN111768425B (zh) | 图像处理方法、装置及设备 | |
| CN111739027B (zh) | 一种图像处理方法、装置、设备及可读存储介质 | |
| CN111985281B (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
| CN115565238B (zh) | 换脸模型的训练方法、装置、设备、存储介质和程序产品 | |
| CN113705290A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN113590854B (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
| CN111160313A (zh) | 一种基于lbp-vae异常检测模型的人脸表示攻击检测方法 | |
| CN111275784A (zh) | 生成图像的方法和装置 | |
| CN113344794B (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
| CN112836625A (zh) | 人脸活体检测方法、装置、电子设备 | |
| CN115497139A (zh) | 一种融合注意力机制的口罩遮挡人脸检测与识别方法 | |
| CN114972016A (zh) | 图像处理方法、装置、计算机设备、存储介质及程序产品 | |
| CN114972010A (zh) | 图像处理方法、装置、计算机设备、存储介质及程序产品 | |
| CN111402118A (zh) | 图像替换方法、装置、计算机设备和存储介质 | |
| WO2024104144A1 (zh) | 图像合成方法和装置、存储介质及电子设备 | |
| CN117094895B (zh) | 图像全景拼接方法及其系统 | |
| CN113569824B (zh) | 模型处理方法、相关设备、存储介质及计算机程序产品 | |
| WO2023071180A1 (zh) | 真伪识别方法、装置、电子设备以及存储介质 | |
| CN114841340B (zh) | 深度伪造算法的识别方法、装置、电子设备及存储介质 | |
| WO2022252372A1 (zh) | 一种图像处理方法、装置、设备及计算机可读存储介质 | |
| CN114299105A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN114331906A (zh) | 图像增强方法和装置、存储介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40077114 Country of ref document: HK |