CN113763366B - 一种换脸方法、装置、设备及存储介质 - Google Patents
一种换脸方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113763366B CN113763366B CN202111063896.4A CN202111063896A CN113763366B CN 113763366 B CN113763366 B CN 113763366B CN 202111063896 A CN202111063896 A CN 202111063896A CN 113763366 B CN113763366 B CN 113763366B
- Authority
- CN
- China
- Prior art keywords
- feature
- modulation
- module
- identity
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 239000013598 vector Substances 0.000 claims abstract description 111
- 238000012545 processing Methods 0.000 claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000010586 diagram Methods 0.000 claims description 114
- 238000011176 pooling Methods 0.000 claims description 66
- 230000004927 fusion Effects 0.000 claims description 55
- 238000005070 sampling Methods 0.000 claims description 13
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种换脸方法、装置、设备及存储介质,涉及图像处理技术领域。该方法包括:该方法包括:将源图像输入预先训练得到的换脸模型中的多层次身份编码器,得到源图像对应的多个身份特征向量,源图像中包括源人脸;将目标图像输入该换脸模型中的多层次属性编码器,得到该目标图像对应的多个属性特征图,目标图像中包括待转换的目标人脸;将各身份特征向量以及各属性特征图输入该换脸模型中的图像生成器,经该图像生成器中的多个级联的特征调制模块依次融合后,得到换脸图像,该换脸图像中包括该源人脸,且该源人脸具有该目标人脸的属性特征。应用本申请实施例,可以使生成的换脸图像质量得到提高。
Description
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种换脸方法、装置、设备及存储介质。
背景技术
近年来,随着人脸合成技术的发展,换脸技术得到了广泛的应用。换脸是指用源图像中的人脸区域替换目标图像中的人脸区域以改变目标图像的身份特征,同时保留目标图像中的属性特征,如头部姿态、面部表情等。
目前,主要采用基于特征解耦的技术来将源图像中的人脸区域替换到目标图像中,虽然该技术能够实现换脸任务,但是并未考虑源图像对应的多层身份特征,这样会使生成的换脸图像质量降低。
发明内容
本申请的目的在于,针对上述现有技术中的不足,提供一种换脸方法、装置、设备及存储介质,可以使生成的换脸图像质量得到提高。
为实现上述目的,本申请实施例采用的技术方案如下:
第一方面,本申请实施例提供了一种换脸方法,所述方法包括:
将源图像输入预先训练得到的换脸模型中的多层次身份编码器,得到所述源图像对应的多个身份特征向量,其中,所述多层次身份编码器中包括多个卷积层,各所述身份特征向量分别由所述多层次身份编码器中的一个卷积层处理得到,所述源图像中包括源人脸;
将目标图像输入所述换脸模型中的多层次属性编码器,得到所述目标图像对应的多个属性特征图,其中,所述多层次属性编码器中包括多个卷积层,各所述属性特征图分别由所述多层次属性编码器中的一个或多个卷积层处理得到,所述目标图像中包括待转换的目标人脸;
将各所述身份特征向量以及各所述属性特征图输入所述换脸模型中的图像生成器,经所述图像生成器中的多个级联的特征调制模块依次融合后,得到换脸图像,所述换脸图像中包括所述源人脸,且所述源人脸具有所述目标人脸的属性特征。
可选地,所述图像生成器中的各所述特征调制模块分别包括属性调制模块以及特征融合模块,其中,所述属性调制模块包括属性关系模块、属性调制参数修订模块以及属性调制特征图生成模块;
所述将各所述身份特征向量以及各所述属性特征图输入所述换脸模型中的图像生成器,经所述图像生成器中的多个级联的特征调制模块依次融合后,得到换脸图像,包括:
将第一属性特征图以及第一输入特征图输入第一特征调制模块中的所述属性关系模块,得到属性关系特征图,所述属性关系模块用于获取已加入的属性特征与未加入的属性特征之间的关联性,所述第一属性特征图为与所述第一特征调制模块对应的属性特征图,所述第一输入特征图为所述第一特征调制模块的前一特征调制模块输出的特征图,所述第一特征调制模块为所述多个级联的特征调制模块中的任一特征调制模块;
将所述属性关系特征图以及与所述第一属性特征图关联的初始属性调制参数特征图输入所述属性调制参数修订模块,得到目标属性调制参数特征图;
将所述目标属性调制参数特征图以及所述第一输入特征图输入所述属性调制特征图生成模块,得到属性调制特征图;
将所述属性调制特征图以及目标身份调制特征图输入所述特征融合模块,得到所述第一特征调制模块输出的融合后特征图,所述融合后特征图用于输入所述第一特征调制模块之后的特征调制模块进行融合,其中,所述目标身份调制特征图基于对第一身份特征向量进行身份调制后得到,所述第一身份特征向量为与所述第一特征调制模块对应的身份特征向量。
可选地,所述图像生成器中的各所述特征调制模块还分别包括身份调制模块,其中,所述身份调制模块包括身份关系模块、身份调制参数修订模块以及身份调制特征图生成模块;
所述将所述属性调制特征图以及目标身份调制特征图输入所述特征融合模块,得到所述第一特征调制模块输出的融合后特征图之前,还包括:
将所述第一身份特征向量以及所述第一输入特征图输入所述第一特征调制模块中的所述身份关系模块,得到身份关系特征图,所述身份关系模块用于获取已加入的身份特征与未加入的身份特征之间的关联性;
将所述身份关系特征图以及与所述第一身份特征向量关联的初始身份调制参数特征图输入所述身份调制参数修订模块,得到目标身份调制参数特征图;
将所述目标身份调制参数特征图以及所述第一输入特征图输入所述身份调制特征图生成模块,得到所述目标身份调制特征图。
可选地,所述特征融合模块包括相互关系模块,所述相互关系模块包括:第一处理模块和第二处理模块;
所述将所述属性调制特征图以及所述目标身份调制特征图输入所述特征融合模块,得到所述第一特征调制模块输出的融合后特征图,包括:
将所述属性调制特征图输入所述相互关系模块中的所述第一处理模块,得到总属性调制特征图;
将所述目标身份调制特征图输入所述相互关系模块中的所述第二处理模块,得到总身份调制特征图;
对所述总属性调制特征图和所述总身份调制特征图进行拼接,得到所述相互关系模块输出的相互关系特征图;
根据所述相互关系特征图、所述属性调制特征图以及所述目标身份调制特征图,得到所述第一特征调制模块输出的融合后特征图。
可选地,所述根据所述相互关系特征图、所述属性调制特征图以及所述目标身份调制特征图,得到所述第一特征调制模块输出的融合后特征图,包括:
对所述相互关系特征图以及所述属性调制特征图进行卷积操作,得到第一特征图;
对所述相互关系特征图以及所述目标身份调制特征图进行卷积操作,得到第二特征图;
分别将所述第一特征图以及所述第二特征图匹配层上的元素相加,得到所述第一特征调制模块输出的融合后特征图。
可选地,所述第一处理模块包括第一金字塔池化模块、第一上采样模块;所述将所述属性调制特征图输入所述相互关系模块中的所述第一处理模块,得到总属性调制特征图,包括:
将所述属性调制特征图输入所述第一金字塔池化模块,得到多个不同分辨率的子属性调制特征图;
将各所述不同分辨率的子属性调制特征图分别输入所述第一上采样模块,得到与所述属性调制特征图分辨率一致的子属性调制特征图;
将所述属性调制特征图与各所述子属性调制特征图拼接,得到所述总属性调制特征图。
可选地,所述第二处理模块包括第二金字塔池化模块、第二上采样模块;所述将所述目标身份调制特征图输入所述相互关系模块中的所述第二处理模块,得到总身份调制特征图,包括:
将所述目标身份调制特征图输入所述第二金字塔池化模块,得到多个不同分辨率的子身份调制特征图;
将各所述不同分辨率的子身份调制特征图分别输入所述第二上采样模块,得到与所述目标身份调制特征图分辨率一致的子身份调制特征图;
将所述目标身份调制特征图与各所述子身份调制特征图拼接,得到所述总身份调制特征图。
可选地,所述属性关系模块包括第三金字塔池化模块、第三上采样模块;
所述将第一属性特征图以及第一输入特征图输入第一特征调制模块中的所述属性关系模块,得到属性关系特征图,包括:
将所述第一输入特征图输入所述第三金字塔池化模块,得到多个不同分辨率的子输入特征图;
将各所述不同分辨率的子输入特征图分别输入所述第三上采样模块,得到与所述第一输入特征图分辨率一致的子输入特征图;
将所述输入特征图与各所述子输入特征图拼接,得到总输入特征图;
对所述第一属性特征图以及所述总输入特征图进行拼接,得到所述属性关系特征图。
可选地,所述身份关系模块包括全局平均池化模块;
所述将所述第一身份特征向量以及所述第一输入特征图输入所述第一特征调制模块中的所述身份关系模块,得到身份关系特征图,包括:
将所述第一输入特征图输入所述全局平均池化模块,得到输入特征向量;
对所述输入特征向量以及所述第一身份特征向量进行拼接,得到所述身份关系特征图。
第二方面,本申请实施例还提供了一种换脸装置,所述装置包括:
第一输入模块,用于将源图像输入预先训练得到的换脸模型中的多层次身份编码器,得到所述源图像对应的多个身份特征向量,其中,所述多层次身份编码器中包括多个卷积层,各所述身份特征向量分别由所述多层次身份编码器中的一个卷积层处理得到,所述源图像中包括源人脸;
第二输入模块,用于将目标图像输入所述换脸模型中的多层次属性编码器,得到所述目标图像对应的多个属性特征图,其中,所述多层次属性编码器中包括多个卷积层,各所述属性特征图分别由所述多层次属性编码器中的一个或多个卷积层处理得到,所述目标图像中包括待转换的目标人脸;
融合模块,用于将各所述身份特征向量以及各所述属性特征图输入所述换脸模型中的图像生成器,经所述图像生成器中的多个级联的特征调制模块依次融合后,得到换脸图像,所述换脸图像中包括所述源人脸,且所述源人脸具有所述目标人脸的属性特征。
可选地,所述图像生成器中的各所述特征调制模块分别包括属性调制模块以及特征融合模块,其中,所述属性调制模块包括属性关系模块、属性调制参数修订模块以及属性调制特征图生成模块;
相应地,所述融合模块,具体用于将第一属性特征图以及第一输入特征图输入第一特征调制模块中的所述属性关系模块,得到属性关系特征图,所述属性关系模块用于获取已加入的属性特征与未加入的属性特征之间的关联性,所述第一属性特征图为与所述第一特征调制模块对应的属性特征图,所述第一输入特征图为所述第一特征调制模块的前一特征调制模块输出的特征图,所述第一特征调制模块为所述多个级联的特征调制模块中的任一特征调制模块;将所述属性关系特征图以及与所述第一属性特征图关联的初始属性调制参数特征图输入所述属性调制参数修订模块,得到目标属性调制参数特征图;将所述目标属性调制参数特征图以及所述第一输入特征图输入所述属性调制特征图生成模块,得到属性调制特征图;将所述属性调制特征图以及目标身份调制特征图输入所述特征融合模块,得到所述第一特征调制模块输出的融合后特征图,所述融合后特征图用于输入所述第一特征调制模块之后的特征调制模块进行融合,其中,所述目标身份调制特征图基于对第一身份特征向量进行身份调制后得到,所述第一身份特征向量为与所述第一特征调制模块对应的身份特征向量。
可选地,所述图像生成器中的各所述特征调制模块还分别包括身份调制模块,其中,所述身份调制模块包括身份关系模块、身份调制参数修订模块以及身份调制特征图生成模块;
相应地,所述装置还包括:调制模块;所述调制模块,用于将所述第一身份特征向量以及所述第一输入特征图输入所述第一特征调制模块中的所述身份关系模块,得到身份关系特征图,所述身份关系模块用于获取已加入的身份特征与未加入的身份特征之间的关联性;将所述身份关系特征图以及与所述第一身份特征向量关联的初始身份调制参数特征图输入所述身份调制参数修订模块,得到目标身份调制参数特征图;将所述目标身份调制参数特征图以及所述第一输入特征图输入所述身份调制特征图生成模块,得到所述目标身份调制特征图。
可选地,所述特征融合模块包括相互关系模块,所述相互关系模块包括:第一处理模块和第二处理模块;
相应地,所述融合模块,具体用于将所述属性调制特征图输入所述相互关系模块中的所述第一处理模块,得到总属性调制特征图;将所述目标身份调制特征图输入所述相互关系模块中的所述第二处理模块,得到总身份调制特征图;对所述总属性调制特征图和所述总身份调制特征图进行拼接,得到所述相互关系模块输出的相互关系特征图;根据所述相互关系特征图、所述属性调制特征图以及所述目标身份调制特征图,得到所述第一特征调制模块输出的融合后特征图。
可选地,所述融合模块,还具体用于对所述相互关系特征图以及所述属性调制特征图进行卷积操作,得到第一特征图;对所述相互关系特征图以及所述目标身份调制特征图进行卷积操作,得到第二特征图;分别将所述第一特征图以及所述第二特征图匹配层上的元素相加,得到所述第一特征调制模块输出的融合后特征图。
可选地,所述第一处理模块包括第一金字塔池化模块、第一上采样模块;
相应地,所述融合模块,还具体用于将所述属性调制特征图输入所述第一金字塔池化模块,得到多个不同分辨率的子属性调制特征图;将各所述不同分辨率的子属性调制特征图分别输入所述第一上采样模块,得到与所述属性调制特征图分辨率一致的子属性调制特征图;将所述属性调制特征图与各所述子属性调制特征图拼接,得到所述总属性调制特征图。
可选地,所述第二处理模块包括第二金字塔池化模块、第二上采样模块;
相应地,所述融合模块,还具体用于将所述目标身份调制特征图输入所述第二金字塔池化模块,得到多个不同分辨率的子身份调制特征图;将各所述不同分辨率的子身份调制特征图分别输入所述第二上采样模块,得到与所述目标身份调制特征图分辨率一致的子身份调制特征图;将所述目标身份调制特征图与各所述子身份调制特征图拼接,得到所述总身份调制特征图。
可选地,所述属性关系模块包括第三金字塔池化模块、第三上采样模块;
相应地,所述融合模块,还具体用于将所述第一输入特征图输入所述第三金字塔池化模块,得到多个不同分辨率的子输入特征图;
将各所述不同分辨率的子输入特征图分别输入所述第三上采样模块,得到与所述第一输入特征图分辨率一致的子输入特征图;将所述输入特征图与各所述子输入特征图拼接,得到总输入特征图;对所述第一属性特征图以及所述总输入特征图进行拼接,得到所述属性关系特征图。
可选地,所述身份关系模块包括全局平均池化模块;
相应地,所述融合模块,还具体用于将所述第一输入特征图输入所述全局平均池化模块,得到输入特征向量;对所述输入特征向量以及所述第一身份特征向量进行拼接,得到所述身份关系特征图。
第三方面,本申请实施例提供了一种电子设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当所述电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行上述第一方面的所述换脸方法的步骤。
第四方面,本申请实施例提供了一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述第一方面的所述换脸方法的步骤。
本申请的有益效果是:
本申请实施例提供一种换脸方法、装置、设备及存储介质,该方法包括:将源图像输入预先训练得到的换脸模型中的多层次身份编码器,得到源图像对应的多个身份特征向量,该源图像中包括源人脸;将目标图像输入该换脸模型中的多层次属性编码器,得到该目标图像对应的多个属性特征图,该目标图像中包括待转换的目标人脸;将各身份特征向量以及各属性特征图输入该换脸模型中的图像生成器,经该图像生成器中的多个级联的特征调制模块依次融合后,得到换脸图像,该换脸图像中包括该源人脸,且该源人脸具有该目标人脸的属性特征。采用本申请实施例提供的换脸方法,利用多层次身份编码器中的多个卷积层充分提取多层次下的人脸身份信息,通过图像生成器中的各特征调制模块依次对不同层次下对应的人脸身份信息以及人脸属性信息进行完全融合处理,这样可以使图像生成器生成的换脸图像上更完整的保留源图像上源人脸的人脸身份信息,即可以使生成的换脸图像质量得到提高。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种换脸方法的流程示意图;
图2为本申请实施例提供的一种换脸模型的结构示意图;
图3为本申请实施例提供的另一种换脸方法的流程示意图;
图4为本申请实施例提供的一种第一特征调制模块的结构示意图;
图5为本申请实施例提供的又一种换脸方法的流程示意图;
图6为本申请实施例提供的另一种第一特征调制模块的结构示意图;
图7为本申请实施例提供的再一种换脸方法的流程示意图;
图8为本申请实施例提供的一种换脸方法的流程示意图;
图9为本申请实施例提供的另一种换脸方法的流程示意图;
图10为本申请实施例提供的一种相互关系模块的结构示意图;
图11为本申请实施例提供的一种属性关系模块的结构示意图;
图12为本申请实施例提供的一种身份关系模块的结构示意图;
图13为本申请实施例提供的一种换脸装置的结构示意图;
图14为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
申请人经研究发现,传统的换脸技术将源图像输入卷积神经网络进行处理后,仅将处于最深层的卷积层(即卷积神经网络最后一层的卷积层)输出的身份特征向量来表示源图像的身份信息,并未考虑源图像中的多层身份特征,申请人在此基础上,提出本申请技术方案,通过本申请技术方案可以使最后换脸生成的换脸图像的质量得到提高,也就是说,该换脸图像中完整的包含了源图像中的身份特征。
在对本申请实施例进行详细解释之前,首先对本申请的应用场景予以介绍。该应用场景具体可以为一种2D智能换脸场景,2D智能换脸是一种典型的将人脸编辑的图像进行合成的技术,本申请所提供的技术方案可应用在文化旅游、影视制作、虚拟现实、AI安全与隐私保护等领域中。
可将本申请提到的换脸方法分为两个阶段,第一阶段为训练模型阶段:首先需要构建初始换脸模型的神经网络结构,该神经网络结构可参考本申请实施例中的神经网络结构,该初始换脸模型的结构中包括初始多层次身份编码器、初始多层次属性编码器以及初始图像生成器。将预先构建的训练样本中的源图像样本以及目标图像样本作为初始换脸模型的输入,将训练样本中的换脸图像样本作为初始换脸模型的输出,在满足训练停止条件时,训练得到换脸模型,该换脸模型中包括多层次身份编码器、多层次属性编码器以及图像生成器,多层次身份编码器、多层次属性编码器分别与图像生成器连接;第二阶段为应用模型阶段:将源图像输入多层次身份编码器,多层次身份编码器在对源图像进行处理后,生成该源图像对应的多个身份特征向量,将目标图像输入多层次属性编码器,多层次属性编码器在对该目标图像进行处理后,生成该目标图像对应的多个属性特征图,多层次身份编码器以及多层次属性编码器将生成的身份特征向量以及属性特征图像分别输入图像生成器中对应的特征调制模中,经多个级联的特征调制模块依次融合特征后,可得到该图像生成器输出的换脸图像。
如下结合附图对本申请所提到的换脸方法进行示例说明。图1为本申请实施例提供的一种换脸方法的流程示意图,如图1所示,该方法包括:
S101、将源图像输入预先训练得到的换脸模型中的多层次身份编码器,得到源图像对应的多个身份特征向量。
其中,该多层次身份编码器中包括多个卷积层,各身份特征向量分别由多层次身份编码器中的一个卷积层处理得到,该源图像中包括源人脸。
首先,在将源图像输入预先训练得到的换脸模型中的多层次身份编码器之前,可根据预先构建的训练样本对初始换脸模型进行训练,该训练样本中包括作为特征的样本以及作为标签的样本,其中,作为特征的样本中有源图像样本以及目标图像样本,作为标签的样本中包括换脸图像样本,换脸图像样本的人脸区域中的身份信息为来自源图像样本中的身份特征(如脸型、眉毛走向),属性信息为来自目标图像样本中的属性特征(如面部表情、妆容)。
初始换脸模型中包括初始多层次身份编码器、初始多层次属性编码器以及初始图像生成器,其中,该初始图像生成器中包括多个级联的特征调制模块,将训练样本中的特征样本作为该初始换脸模型的输入,将训练样本中的标签样本作为该初始换脸模型的输出,在训练该初始换脸模型的过程中,不断的将模型生成的图像与标签样本进行比较,利用预先设置的损失函数计算两者之间的偏差,在模型训练的过程中通过梯度下降算法迭代更新、优化换脸模型的可学习参数,在训练的达到最大迭代次数时,训练得到换脸模型。
图2为本申请实施例提供的一种换脸模型的结构示意图。如图2所示,换脸模型200中包括多层次身份编码器201、多层次属性编码器202以及图像生成器203,其中,图像生成器203中包括有多个级联的特征调制模块(Feature Modulation Block,FMB)。
多层次身份编码器201的模型结构具体可为卷积神经网络模型结构,该模型结构中包括多个卷积层(如卷积层1、卷积层2……卷积层n)以及多个全连接层(如全连接层1、全连接层2……全连接层n)。前一个卷积层输出的身份特征图输入后一个卷积层,各卷积层可对应有不同的分辨率参数,进而各卷积层可生成对应宽度(W)、高度(H)以及深度(C)的身份特征图,其中,宽度(W)、高度(H)以及深度(C)与卷积层上卷积核大小以及卷积核个数相关。各卷积层匹配有对应的全连接层,各全连接层将对应的卷积层输出的身份特征图投影、嵌入到相应的特征空间中,得到各卷积层对应的身份特征向量。
具体的,源图像Is204中包括目标人脸,将源图像Is204输入多层次身份编码器201中的首个卷积层,如卷积层1。多层次身份编码器201中的各卷积层可提取出源图像Is204中源人脸不同层次上的身份特征图,多层次身份编码器201中与各卷积层对应的全连接层对身份特征图进行处理,得到源图像Is204对应的多个身份特征向量fid(Is):
其中,表示源图像Is在第K个卷积层下提取到的身份特征向量,如图2所示,本申请将最深层卷积层作为第一个卷积层,当然,也可将首个卷积层作为第一个卷积层,本申请不对其进行限定。
S102、将目标图像输入该换脸模型中的多层次属性编码器,得到该目标图像对应的多个属性特征图。
其中,多层次属性编码器中包括多个卷积层,各属性特征图分别由该多层次属性编码器中的一个或多个卷积层处理得到,该目标图像中包括待转换的目标人脸。
如图2所示,多层次属性编码器202的模型结构具体可为U-Net结构的卷积神经网络模型结构,该模型结构中包括多个卷积层(如卷积层11、卷积层12……卷积层1n)以及多个跳跃层(如跳跃层11、跳跃层12……跳跃层1n),前一个卷积层输出的初始属性特征图输入后一个卷积层。各卷积层可对应有不同的分辨率参数,各卷积层可提取出目标图像在不同分辨率下的初始属性特征图。各卷积层匹配有对应的跳跃层,各跳跃层根据对应的卷积层输出的初始属性特征图以及前一个跳跃层输出的结果生成属性特征图。
具体的,目标图像It205中包括待转换的目标人脸,将目标图像It205输入多层次属性编码器202中的首个编码器,如卷积层11。多层次属性编码器202中的各跳跃层可生成目标图像It205中目标人脸对应的多个属性特征图fatt(It):
其中,表示目标图片It在第k个跳跃层下对应的属性特征图,如图2所示,本申请将跳跃层作11作为第一个跳跃层,当然也可将跳跃层1n作为第一个跳跃层,本申请不对其进行解释,U-Net结构的卷积神经网络模型的具体内容可参考本领域中的相关内容,此处不再进行解释。
S103、将各身份特征向量以及各属性特征图输入该换脸模型中的图像生成器,经该图像生成器中的多个级联的特征调制模块依次融合后,得到换脸图像,该换脸图像中包括该源人脸,且该源人脸具有该目标人脸的属性特征。
如图2所示,图像生成器203由多个级联的FMB组成,FMB的个数与多层次身份编码器201中的全连接层个数、多层次属性编码器202中的跳跃层个数可一致,即FMB的个数为n个。从图2中可以看出,对于首个FMB来说,该FMB有三个输入,分别为身份特征向量、属性特征图以及与初始身份特征向量,该初始身份特征向量与多层次身份编码器201中某个卷积层输出的身份特征图关联的身份特征向量,图2中以多层次身份编码器201中最后一个卷积层输出的身份特征图对应的特征向量作为初始身份特征向量进行说明,需要说明的是,本申请不对其进行限定。
图像生成器203中的首个FMB将初始身份特征向量、该首个FMB对应的身份特征向量以及属性特征图进行融合后,可将融合后得到的身份特征图输入第二个FMB中,第二个FMB将首个FMB融合后得到的身份特征图、该第二个FMB对应的身份特征向量以及属性特征图进行融合,将融合后得到的身份特征图输入第三个FMB中,以此类推,最终可得到换脸图像Ist206。也就是说,多个级联的FMB将不同层次的身份特征向量以及属性特征图依次融合,得到最终的人脸特征图,该人脸特征图中不仅包括源图像中源人脸的完整身份信息,而且还包括目标图像中目标人脸的完整属性信息,所以通过对该人脸特征图进行解码后,可得到该人脸特征图对应的换脸图像。
综上所述,本申请提供的换脸方法中,利用多层次身份编码器中的多个卷积层充分提取多层次下的人脸身份信息,通过图像生成器中的各特征调制模块依次对不同层次下对应的人脸身份信息以及人脸属性信息进行完全融合处理,这样可以使图像生成器生成的换脸图像上更完整的保留源图像上源人脸的人脸身份信息,即可以使生成的换脸图像质量得到提高。
图3为本申请实施例提供的另一种换脸方法的流程示意图。如图3所示,可选地,该图像生成器中的各特征调制模块分别包括属性调制模块以及特征融合模块,其中,该属性调制模块包括属性关系模块、属性调制参数修订模块以及属性调制特征图生成模块。
上述将各身份特征向量以及各属性特征图输入换脸模型中的图像生成器,经该图像生成器中的多个级联的特征调制模块依次融合后,得到换脸图像,包括:
S301、将第一属性特征图以及第一输入特征图输入第一特征调制模块中的所述属性关系模块,得到属性关系特征图,所述属性关系模块用于获取已加入的属性特征与未加入的属性特征之间的关联性。
其中,第一属性特征图为与第一特征调制模块对应的属性特征图,第一输入特征图为第一特征调制模块的前一特征调制模块输出的特征图,第一特征调制模块为多个级联的特征调制模块中的任一特征调制模块。
举例来说,如图2所示,若第一特征调制模块(FMB)为图像生成器203中的首位FMB,那么该第一属性特征图为多层次属性编码器202中的首个跳跃层(跳跃层11)输出的属性特征图,该第一输入特征图为上述提到的初始身份特征向量,该初始特征向量为与多层次身份编码器201中某个卷积层输出的身份特征图关联的身份特征向量;若第一特征调制模块(FMB)为图像生成器203中的末位FMB,那么该第一属性特征图为多层次属性编码器202中的最后一个跳跃层(跳跃层1n)输出的属性特征图,该第一输入特征图为第(n-1)个特征调制模块输出的特征图,以此类推。
需要说明的是,本申请以多个级联的特征调制模块中的任一特征调制模块(如第一特征调制模块)进行说明,其他特征调制模块的融合操作可参考第一特征调制模块的相关描述,本申请不再进行说明。
图4为本申请实施例提供的一种第一特征调制模块的结构示意图。如图4所示,第一特征调制模块包括属性调制模块401以及特征融合模块402,其中,属性调制模块401可包括属性关系模块4011、属性调制参数修订模块4012以及属性调制特征图生成模块4013,属性关系模块4011与属性调制参数修订模块4012连接,属性调制参数修订模块4012与属性调制特征图生成模块4013连接。
此处以第K个特征调制模块(如第一特征调制模块)来说,如图4所示,第一属性特征图可用第一属性特征图403表示,第一输入特征图为第(K-1)个特征调制模块输出的特征图经过归一化后得到的特征图,可用第一输入特征图/>404表示,可分别将第一属性特征图/>403以及第一输入特征图/>404输入属性关系模块4011中,属性关系模块(Attribute Relation Block,ARB)可将已经加入至第一输入特征图/>404中的属性特征于与未加入的第一属性特征图/>403之间的相关性建模为一个属性关系图/>也就是说,该属性关系图可有效的获取已加入的属性特征与未加入的属性特征之间的关联性。
S302、将该属性关系特征图以及与该第一属性特征图关联的初始属性调制参数特征图输入该属性调制参数修订模块,得到目标属性调制参数特征图。
其中,在对初始换脸模型训练完成后,得到学习参数,即可得到初始属性调制参数特征图,该初始属性调制参数特征图可用和/>表示,具体的,可将第一属性特征图403分别输入两个并行的卷积层中,这两个卷积层分别对第一属性特征图/>403进行处理后,得到初始属性调制参数特征图/>如图4所示,可将属性关系模块4011输出的属性关系特征图/>以及初始属性调制参数特征图/>输入属性调制参数修订模块4012中,属性调制参数修订模块4012将属性关系特征图/>分别与初始属性调制参数特征图/>初始属性调制参数特征图/>进行相乘处理,得到目标属性调制参数特征图/>
可以看出,初始属性调制参数特征图中只包含了第一属性特征图403中的属性信息,即只包含了还未加入的目标图像中的属性信息,初始属性调制参数特征图/>对已经加入的目标图像中的属性信息(即第一输入特征图/>404中的属性信息)上下文先验信息还不了解,通过利用上述提到的属性关系模块4011可以获取已加入的属性特征与未加入的属性特征之间的关联性,这样目标属性调制参数特征图 中不仅包含了第一属性特征图/>403中的属性信息,还包含了第一输入特征图/>404中的属性信息,进而避免最后生成的换脸图像缺乏整体一致性以及外观合理性的现象。
S303、将目标属性调制参数特征图以及第一输入特征图输入该属性调制特征图生成模块,得到属性调制特征图。
如图4所示,将目标属性调制参数特征图以及第一输入特征图/>404同时输入属性调制特征图生成模块4013中,调制特征图生成模块4013可对目标属性调制参数特征图/>以及第一输入特征图/>404进行如下处理,进而得到属性调制特征图/>
S304、将该属性调制特征图以及目标身份调制特征图输入该特征融合模块,得到该第一特征调制模块输出的融合后特征图,该融合后特征图用于输入该第一特征调制模块之后的特征调制模块进行融合。
其中,该目标身份调制特征图基于对第一身份特征向量进行身份调制后得到,该第一身份特征向量为与该第一特征调制模块对应的身份特征向量。
举例来说,如图2所示,若第一特征调制模块(FMB)为图像生成器203中的首位FMB,那么该第一身份特征向量为多层次身份编码器201中的首个全连接层(全连接层1),即卷积层n输出的身份特征向量;若第一特征调制模块(FMB)为图像生成器203中的末位FMB,那么该第一身份特征向量为多层次身份编码器201中的最后一个全连接层(全连接层n),即卷积层1输出的身份特征向量,以此类推。
可选地,在一种可实现的实施例中,对第一身份特征向量进行身份调制后得到目标身份调制特征图/>在另一种可实现的实施例中,可直接将第一身份特征向量作为目标身份调制特征图/>本申请不对其进行限定。
如图4所示,将属性调制特征图以及目标身份调制特征图/>输入特征融合模块402,特征融合模块402对两者进行融合处理后,可得到融合后特征图,若第一特征调制模块(FMB)为图像生成器203最后一个特征调制模块,那么将该融合后特征图进行解码后,得到的图像为图像生成器203生成的换脸图像。
通过在第一特征调制模块中的属性调制模块401上添加属性关系模块4011,这样可以使已加入的属性特征与未加入的属性特征之间预先建立自相关性,进而在特征融合模块402进行特征融合后,可以使最终生成的换脸图像上避免出现人脸面部严重扭曲、真实感差的现象,即有效地提高了生成人脸结果的整体一致性和外观合理性。
图5为本申请实施例提供的又一种换脸方法的流程示意图。如图5所示,可选地,该图像生成器中的各所述特征调制模块还分别包括身份调制模块,其中,该身份调制模块包括身份关系模块、身份调制参数修订模块以及身份调制特征图生成模块。
上述将属性调制特征图以及目标身份调制特征图输入该特征融合模块,得到该第一特征调制模块输出的融合后特征图之前,该方法还包括:
S501、将第一身份特征向量以及第一输入特征图输入第一特征调制模块中的身份关系模块,得到身份关系特征图,该身份关系模块用于获取已加入的身份特征与未加入的身份特征之间的关联性。
图6为本申请实施例提供的另一种第一特征调制模块的结构示意图。如图6所示,第一特征调制模块还包括身份调制模块600,其中,身份调制模块600包括身份关系模块601、身份调制参数修订模块602以及身份调制特征图生成模块603,身份关系模块601与身份调制参数修订模块602连接,身份调制参数修订模块602与身份调制特征图生成模块603连接。
继续上述举例,此处还是以第K个特征调制模块(第一特征调制模块)来说,如图6所示,第一身份特征向量可用第一身份特征向量604表示,第一输入特征图为第(K-1)个特征调制模块输出的特征图经过归一化后得到的特征图,可用第一输入特征图/>404表示,可分别将第一身份特征向量/>604以及第一输入特征图/>404输入身份关系模块601中,身份关系模块(Identity Relation Block,IRB)可将已经加入至第一输入特征图404中的身份特征与未加入的第一身份特征向量/>604之间的相关性建模为一个身份关系特征图/>也就是说,该身份关系特征图可有效的获取已加入的身份特征与未加入的身份特征之间的关联性。
S502、将该身份关系特征图以及与该第一身份特征向量关联的初始身份调制参数特征图输入该身份调制参数修订模块,得到目标身份调制参数特征图。
其中,在对初始换脸模型训练完成后,得到学习参数,即可得到初始身份调制参数特征图,该初始身份调制参数特征图可用和/>表示,具体的,可将第一身份特征向量604分别输入两个并行的卷积层中,这两个卷积层可分别对第一身份特征向量604进行处理后,得到初始身份调制参数特征图/>如图6所示,可将身份关系模块601输出的身份关系特征图/>以及初始身份调制参数特征图/>输入身份调制参数修订模块602中,身份调制参数修订模块602分别将身份关系特征图/>分别与初始身份调制参数特征图/>初始身份调制参数特征图/>进行相乘处理,得到目标身份调制参数特征图/>
S503、将目标身份调制参数特征图以第一输入特征图输入身份调制特征图生成模块,得到目标身份调制特征图。
如图6所示,将目标身份调制参数特征图以及第一输入特征图/>404同时输入身份调制特征图生成模块603中,身份调制特征图生成模块603可对目标身份调制参数特征图/>以及第一输入特征图/>404进行如下处理,进而得到目标身份调制特征图/>
可以看出,初始身份调制参数特征图中只包含了第一身份特征向量604中的身份信息,即只包含了还未加入的源图像中的属性信息,初始身份调制参数特征图/>对已加入的源图像中的身份信息(即第一输入特征图/>404中的身份信息)上下先验信息还不了解,通过上述提到的身份关系模块601输出可以获取已加入的身份特征与未加入的身份特征之间的关联性,这样目标身份调制参数特征图/>中不仅包含了第一身份特征向量/>604中的身份信息,而且还包含了第一输入特征图/>404中的身份信息,进而避免最后得到的换脸图像缺乏整体一致性以及外观合理性的现象。
图7为本申请实施例提供的再一种换脸方法的流程示意图。如图7所示,可选地,该特征融合模块包括相互关系模块,该相互关系模块包括:第一处理模块和第二处理模块。
上述将该属性调制特征图以及目标身份调制特征图输入该特征融合模块,得到该第一特征调制模块输出的融合后特征图,包括:
S701、将该属性调制特征图输入该相互关系模块中的第一处理模块,得到总属性调制特征图。
S702、将该目标身份调制特征图输入该相互关系模块中的第二处理模块,得到总身份调制特征图。
特征融合模块402中包括相互关系模块,相互关系模块中包括第一处理模块和第二处理模块,可以理解的是,相互关系模块(Mutual Relation Block,MRB)是一种对称的结构。第一处理模块可对输入的属性调制特征图进行池化以及上采样处理,将处理后得到的特征图与属性调制特征图/>进行拼接后,得到总属性调制特征图,第二处理模块可对输入的目标身份调制特征图/>进行池化以及上采样处理,将处理后得到的特征图与目标身份调制特征图/>进行拼接后,得到总身份调制特征图。
S703、对该总属性调制特征图和该总身份调制特征图进行拼接,得到该相互关系模块输出的相互关系特征图。
S704、根据该相互关系特征图、该属性调制特征图以及该目标身份调制特征图,得到该第一特征调制模块输出的融合后特征图。
其中,该总属性调制特征图与该总身份调制特征图具有相同的分辨率,其中,该总属性调制特征图的深度信息与该总身份调制特征图中的深度信息相同,举例来说若深度信息为5C,那么拼接后得到的拼接特征图中的深度信息为10C,将该拼接特征图经过卷积层以及激活函数后,可得到相互关系特征图
相互关系特征图中的元素相当于权重,用逐元素相加的方式可将属性调制特征图/>和目标身份调制特征图/>合并后,将合并结果作为第一特征调制模块输出的融合后特征图。
通过相互关系特征图捕捉已加入的目标图像中的属性特征与已加入的源图像中的身份特征之间的相互关系。
图8为本申请实施例提供的一种换脸方法的流程示意图。如图8所示,可选地,上述根据该相互关系特征图、该属性调制特征图以及该目标身份调制特征图,得到该第一特征调制模块输出的融合后特征图,包括:
S801、对该相互关系特征图以及该属性调制特征图进行卷积操作,得到第一特征图。
S802、对该相互关系特征图以及该目标身份调制特征图进行卷积操作,得到第二特征图。
S803、分别将该第一特征图以及该第二特征图匹配层上的元素相加,得到该第一特征调制模块输出的融合后特征图。
在一种可实现的实施例中,可直接将相互关系特征图中各元素对应的权重1与属性调制特征图/>中各层特征图上的特征值进行相乘操作/>得到第一特征图,将相互关系特征图/>中各元素对应的权重2与目标身份调制特征图/>中各层特征图上的特征值进行相乘操作/>得到第二特征图,其中,权重2等于(1-权重1)。该第一特征调制模块输出的融合后特征图/>与该第一特征图以及该第二特征图之间的关系可用下述公式表示:
在另一种可实现的实施例中,可直接将相互关系特征图中各元素对应的权重1与目标身份调制特征图/>中各层特征图上的特征值进行相乘操作,将相互关系特征图中各元素对应的权重2与属性调制特征图/>中各层特征图上的特征值进行相乘操作,其他内容可参考上述描述。
图9为本申请实施例提供的另一种换脸方法的流程示意图。如图9所示,可选地,第一处理模块包括第一金字塔池化模块、第一上采样模块,上述将该属性调制特征图输入该相互关系模块中的第一处理模块,得到总属性调制特征图,包括:
S901、将该属性调制特征图输入该第一金字塔池化模块,得到多个不同分辨率的子属性调制特征图。
S902、将各不同分辨率的子属性调制特征图分别输入该第一上采样模块,得到与该属性调制特征图分辨率一致的子属性调制特征图。
S903、将该属性调制特征图与各子属性调制特征图拼接,得到该总属性调制特征图。
参考图10进行说明,图10为本申请实施例提供的一种相互关系模块的结构示意图。如图10所示,可选地,相互关系模块800中的第一处理模块900上包括第一金字塔池化模块1001、第一上采样模块1002,第一金字塔池化模块1001与第一上采样模块1002连接。第一金字塔池化模块1001可进行多尺度金字塔池化操作,举例来说,第一金字塔池化模块1001可包括4个层次的尺度(分辨率),如1×1,2×2,4×4,6×6,首先将属性调制特征图下采样为符合各层尺寸要求的特征图,每层特征图经过卷积层后可得到与各层对应尺寸的子属性调制特征图,需要说明的是,前一层对应的子属性调制特征图会先与下一层输入的特征图拼接后,再经过卷积层得到该层对应尺寸(分辨率)的子属性调制特征图,在第一金字塔池化模块1001处理完成后,可得到4个不同分辨率的子属性调制特征图。
假设属性调制特征图分辨率为(h×w),那么第一上采样模块1002可根据属性调制特征图/>分辨率(h×w)将不同分辨率的子属性调制特征图上采样为同一分辨率的子属性调制特征图,同时将各子属性调制特征图与属性调制特征图/>进行拼接,得到深度信息为(5C)的总属性调制特征图。需要说明的是,本申请不对第一金字塔池化模块1001中的层次个数进行限定,也不对拼接的顺序进行限定。
可选地,该第二处理模块包括第二金字塔池化模块、第二上采样模块;上述将该目标身份调制特征图输入该相互关系模块中的第二处理模块,得到总身份调制特征图,包括:将该目标身份调制特征图输入该第二金字塔池化模块,得到多个不同分辨率的子身份调制特征图;将各不同分辨率的子身份调制特征图分别输入该第二上采样模块,得到与该目标身份调制特征图分辨率一致的子身份调制特征图;将该目标身份调制特征图与各子身份调制特征图拼接,得到该总身份调制特征图。
如图10所示,相互关系模块800中的第二处理模块1000上包括第二金字塔池化模块1003、第二上采样模块1004,第二金字塔池化模块1003与第二上采样模块1004连接。从图10中可以看出,相互关系模块800为对称结构,第二金字塔池化模块1003对目标身份调制特征图进行金字塔池化的处理过程可参考上述提到的第一金字塔池化模块1001对属性调制特征图/>进行金字塔池化的处理过程,此处不再进行说明,第二金字塔池化模块1003的层数与第一金字塔池化模块1001层数可一致,第二金字塔池化模块1003可生成多个不同分辨率的子身份调制特征图,第二上采样模块1004对各不同分辨率的子身份调制特征图进行上采样的过程也可参考上述提到的第一上采样模块1002对不同分辨率的子属性调制特征图进行上采样的过程,此处不再进行说明。最后可将具有相同分辨率的子身份调制特征图与目标身份调制特征图/>进行拼接,得到深度信息为(如5c)的总身份调制特征图。
根据上述得到的总属性调制特征图和总身份调制特征图,可得到相互关系特征图可以看出,属性调制特征图/>中的每个位置都充分感知目标身份调制特征图/>在不同分辨率下的全局上下文先验,反之,目标身份调制特征图/>中的每个位置都充分感知属性调制特征图/>在不同分辨率下的全局上下文先验,这样可以使最后生成的换脸图像中的身份特征与属性特征更加融合,提高换脸图像中人脸区域的合理性。
可选地,上述属性关系模块包括第三金字塔池化模块、第三上采样模块;上述将第一属性特征图以及第一输入特征图输入第一特征调制模块中的属性关系模块,得到属性关系特征图,包括:
将该第一输入特征图输入该第三金字塔池化模块,得到多个不同分辨率的子输入特征图;将各不同分辨率的子输入特征图分别输入第三上采样模块,得到与第一输入特征图分辨率一致的子输入特征图;将该输入特征图与各子输入特征图拼接,得到总输入特征图;对该第一属性特征图以及该总输入特征图进行拼接,得到该属性关系特征图。
图11为本申请实施例提供的一种属性关系模块的结构示意图,可选地,如图11所示,属性关系模块4011中包括第三金字塔池化模块1101、第三上采样模块1102,第三金字塔池化模块1101与第三上采样模块1102连接。
其中,第三金字塔池化模块1101对输入的第一输入特征图404进行池化处理的过程可参考上述提到的第一金字塔池化模块1001对属性调制特征图/>进行金字塔池化的处理过程,此处不再进行说明,第三金字塔池化模块1101可生成多个不同分辨率的子输入特征图,第三上采样模块1102对各不同分辨率的子输入特征图进行上采样的过程也可参考上述提到的第一上采样模块1002对不同分辨率的子属性调制特征图进行上采样的过程,此处不再进行说明。最后可将第一属性特征图/>403与各子输入特征图进行拼接,将拼接后的特征图经过卷积层、激活层后得到属性关系特征图/>
可以看出,第一属性特征图中的每个位置都能充分获取到第一输入特征图/>在不同分辨率下的全局上下文先验,这样可以提高已加入的属性特征与未加入的属性特征的相关性。
可选地,上述身份关系模块包括全局平均池化模块,上述将该第一身份特征向量以及该第一输入特征图输入该第一特征调制模块中的身份关系模块,得到身份关系特征图,包括:将该第一输入特征图输入该全局平均池化模块,得到输入特征向量;对该输入特征向量以及所述第一身份特征向量进行拼接,得到该身份关系特征图。
图12为本申请实施例提供的一种身份关系模块的结构示意图,可选地,如图12所示,身份关系模块601中包括全局平均池化模块120。
其中,全局平均池化模块120将第一输入特征图404中各层上的特征值进行平均,得到输入特征向量。将第一身份特征向量/>604与该输入特征向量进行拼接后,将拼接结果经过多层全连接层(如2层)以及激活层后,得到身份关系模块601输出的身份关系特征图/>
图13为本申请实施例提供的一种换脸装置的结构示意图。如图13所示,该装置包括:
第一输入模块1301,用于将源图像输入预先训练得到的换脸模型中的多层次身份编码器,得到源图像对应的多个身份特征向量;
第二输入模块1302,用于将目标图像输入该换脸模型中的多层次属性编码器,得到该目标图像对应的多个属性特征图;
融合模块1303,用于将各身份特征向量以及各属性特征图输入该换脸模型中的图像生成器,经该图像生成器中的多个级联的特征调制模块依次融合后,得到换脸图像,换脸图像中包括源人脸,且该源人脸具有该目标人脸的属性特征。
可选地,该图像生成器中的各特征调制模块分别包括属性调制模块以及特征融合模块,其中,属性调制模块包括属性关系模块、属性调制参数修订模块以及属性调制特征图生成模块;
相应地,融合模块1303,具体用于将第一属性特征图以及第一输入特征图输入第一特征调制模块中的属性关系模块,得到属性关系特征图,属性关系模块用于获取已加入的属性特征与未加入的属性特征之间的关联性,第一属性特征图为与第一特征调制模块对应的属性特征图,第一输入特征图为第一特征调制模块的前一特征调制模块输出的特征图,第一特征调制模块为多个级联的特征调制模块中的任一特征调制模块;将属性关系特征图以及与第一属性特征图关联的初始属性调制参数特征图输入属性调制参数修订模块,得到目标属性调制参数特征图;将目标属性调制参数特征图以及第一输入特征图输入属性调制特征图生成模块,得到属性调制特征图;将属性调制特征图以及目标身份调制特征图输入特征融合模块,得到第一特征调制模块输出的融合后特征图,融合后特征图用于输入第一特征调制模块之后的特征调制模块进行融合,其中,目标身份调制特征图基于对第一身份特征向量进行身份调制后得到,第一身份特征向量为与第一特征调制模块对应的身份特征向量。
可选地,该图像生成器中的各特征调制模块还分别包括身份调制模块,其中,身份调制模块包括身份关系模块、身份调制参数修订模块以及身份调制特征图生成模块;
相应地,该装置还包括:调制模块;该调制模块,用于将第一身份特征向量以及第一输入特征图输入第一特征调制模块中的身份关系模块,得到身份关系特征图,身份关系模块用于获取已加入的身份特征与未加入的身份特征之间的关联性;将身份关系特征图以及与第一身份特征向量关联的初始身份调制参数特征图输入身份调制参数修订模块,得到目标身份调制参数特征图;将目标身份调制参数特征图以及第一输入特征图输入身份调制特征图生成模块,得到目标身份调制特征图。
可选地,该特征融合模块包括相互关系模块,相互关系模块包括:第一处理模块和第二处理模块;
相应地,融合模块1303,具体用于将属性调制特征图输入相互关系模块中的第一处理模块,得到总属性调制特征图;将目标身份调制特征图输入相互关系模块中的第二处理模块,得到总身份调制特征图;对总属性调制特征图和总身份调制特征图进行拼接,得到相互关系模块输出的相互关系特征图;根据相互关系特征图、属性调制特征图以及目标身份调制特征图,得到第一特征调制模块输出的融合后特征图。
可选地,融合模块1303,还具体用于对相互关系特征图以及属性调制特征图进行卷积操作,得到第一特征图;对相互关系特征图以及目标身份调制特征图进行卷积操作,得到第二特征图;分别将第一特征图以及第二特征图匹配层上的元素相加,得到第一特征调制模块输出的融合后特征图。
可选地,第一处理模块包括第一金字塔池化模块、第一上采样模块;
相应地,融合模块1303,还具体用于将属性调制特征图输入第一金字塔池化模块,得到多个不同分辨率的子属性调制特征图;将各不同分辨率的子属性调制特征图分别输入第一上采样模块,得到与属性调制特征图分辨率一致的子属性调制特征图;将属性调制特征图与各子属性调制特征图拼接,得到总属性调制特征图。
可选地,第二处理模块包括第二金字塔池化模块、第二上采样模块;
相应地,融合模块,还具体用于将目标身份调制特征图输入第二金字塔池化模块,得到多个不同分辨率的子身份调制特征图;将各不同分辨率的子身份调制特征图分别输入第二上采样模块,得到与目标身份调制特征图分辨率一致的子身份调制特征图;将目标身份调制特征图与各子身份调制特征图拼接,得到总身份调制特征图。
可选地,该属性关系模块包括第三金字塔池化模块、第三上采样模块;
相应地,融合模块1303,还具体用于将第一输入特征图输入第三金字塔池化模块,得到多个不同分辨率的子输入特征图;
将各不同分辨率的子输入特征图分别输入第三上采样模块,得到与第一输入特征图分辨率一致的子输入特征图;将输入特征图与各子输入特征图拼接,得到总输入特征图;对第一属性特征图以及总输入特征图进行拼接,得到属性关系特征图。
可选地,该身份关系模块包括全局平均池化模块;
相应地,融合模块1303,还具体用于将第一输入特征图输入全局平均池化模块,得到输入特征向量;对输入特征向量以及第一身份特征向量进行拼接,得到身份关系特征图。
上述装置用于执行前述实施例提供的方法,其实现原理和技术效果类似,在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(Digital Signal Processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(CentralProcessing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
图14为本申请实施例提供的一种电子设备的结构示意图,如图14所示,该电子设备可以包括:处理器1401、存储介质1402和总线1403,存储介质1402存储有处理器1401可执行的机器可读指令,当该电子设备运行时,处理器1401与存储介质1402之间通过总线1403通信,处理器1401执行机器可读指令,以执行上述方法实施例的步骤。具体实现方式和技术效果类似,这里不再赘述。
可选地,本申请还提供一种存储介质,存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述方法实施例的步骤。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取存储器(英文:Random Access Memory,简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (12)
1.一种换脸方法,其特征在于,所述方法包括:
将源图像输入预先训练得到的换脸模型中的多层次身份编码器,得到所述源图像对应的多个身份特征向量,其中,所述多层次身份编码器中包括多个卷积层,各所述身份特征向量分别由所述多层次身份编码器中的一个卷积层处理得到,所述源图像中包括源人脸;
将目标图像输入所述换脸模型中的多层次属性编码器,得到所述目标图像对应的多个属性特征图,其中,所述多层次属性编码器中包括多个卷积层,各所述属性特征图分别由所述多层次属性编码器中的一个或多个卷积层处理得到,所述目标图像中包括待转换的目标人脸;
将各所述身份特征向量以及各所述属性特征图输入所述换脸模型中的图像生成器,经所述图像生成器中的多个级联的特征调制模块依次融合后,得到换脸图像,所述换脸图像中包括所述源人脸,且所述源人脸具有所述目标人脸的属性特征;
所述经所述图像生成器中的多个级联的特征调制模块依次融合后,得到换脸图像,包括:
经所述图像生成器中的首个特征调制模块将初始身份特征向量、对应的身份特征向量以及属性特征图进行融合,并将融合后得到的身份特征图输入后一个特征调制模块,所述图像生成器中除所述首个特征调制模块外的各特征调制模块依次将前一特征调制模块融合后得到的身份特征图、对应的身份特性向量以及属性特征图进行融合,并将融合后得到的身份特征图输出至后一特征调制模块或作为换脸图像进行输出。
2.根据权利要求1所述的方法,其特征在于,所述图像生成器中的各所述特征调制模块分别包括属性调制模块以及特征融合模块,其中,所述属性调制模块包括属性关系模块、属性调制参数修订模块以及属性调制特征图生成模块;
所述将各所述身份特征向量以及各所述属性特征图输入所述换脸模型中的图像生成器,经所述图像生成器中的多个级联的特征调制模块依次融合后,得到换脸图像,包括:
将第一属性特征图以及第一输入特征图输入第一特征调制模块中的所述属性关系模块,得到属性关系特征图,所述属性关系模块用于获取已加入的属性特征与未加入的属性特征之间的关联性,所述第一属性特征图为与所述第一特征调制模块对应的属性特征图,所述第一输入特征图为所述第一特征调制模块的前一特征调制模块输出的特征图,所述第一特征调制模块为所述多个级联的特征调制模块中的任一特征调制模块;
将所述属性关系特征图以及与所述第一属性特征图关联的初始属性调制参数特征图输入所述属性调制参数修订模块,得到目标属性调制参数特征图;
将所述目标属性调制参数特征图以及所述第一输入特征图输入所述属性调制特征图生成模块,得到属性调制特征图;
将所述属性调制特征图以及目标身份调制特征图输入所述特征融合模块,得到所述第一特征调制模块输出的融合后特征图,所述融合后特征图用于输入所述第一特征调制模块之后的特征调制模块进行融合,其中,所述目标身份调制特征图基于对第一身份特征向量进行身份调制后得到,所述第一身份特征向量为与所述第一特征调制模块对应的身份特征向量。
3.根据权利要求2所述的方法,其特征在于,所述图像生成器中的各所述特征调制模块还分别包括身份调制模块,其中,所述身份调制模块包括身份关系模块、身份调制参数修订模块以及身份调制特征图生成模块;
所述将所述属性调制特征图以及目标身份调制特征图输入所述特征融合模块,得到所述第一特征调制模块输出的融合后特征图之前,还包括:
将所述第一身份特征向量以及所述第一输入特征图输入所述第一特征调制模块中的所述身份关系模块,得到身份关系特征图,所述身份关系模块用于获取已加入的身份特征与未加入的身份特征之间的关联性;
将所述身份关系特征图以及与所述第一身份特征向量关联的初始身份调制参数特征图输入所述身份调制参数修订模块,得到目标身份调制参数特征图;
将所述目标身份调制参数特征图以及所述第一输入特征图输入所述身份调制特征图生成模块,得到所述目标身份调制特征图。
4.根据权利要求3所述的方法,其特征在于,所述特征融合模块包括相互关系模块,所述相互关系模块包括:第一处理模块和第二处理模块;
所述将所述属性调制特征图以及所述目标身份调制特征图输入所述特征融合模块,得到所述第一特征调制模块输出的融合后特征图,包括:
将所述属性调制特征图输入所述相互关系模块中的所述第一处理模块,得到总属性调制特征图;
将所述目标身份调制特征图输入所述相互关系模块中的所述第二处理模块,得到总身份调制特征图;
对所述总属性调制特征图和所述总身份调制特征图进行拼接,得到所述相互关系模块输出的相互关系特征图;
根据所述相互关系特征图、所述属性调制特征图以及所述目标身份调制特征图,得到所述第一特征调制模块输出的融合后特征图。
5.根据权利要求4所述的方法,其特征在于,所述根据所述相互关系特征图、所述属性调制特征图以及所述目标身份调制特征图,得到所述第一特征调制模块输出的融合后特征图,包括:
对所述相互关系特征图以及所述属性调制特征图进行卷积操作,得到第一特征图;
对所述相互关系特征图以及所述目标身份调制特征图进行卷积操作,得到第二特征图;
分别将所述第一特征图以及所述第二特征图匹配层上的元素相加,得到所述第一特征调制模块输出的融合后特征图。
6.根据权利要求4所述的方法,其特征在于,所述第一处理模块包括第一金字塔池化模块、第一上采样模块;所述将所述属性调制特征图输入所述相互关系模块中的所述第一处理模块,得到总属性调制特征图,包括:
将所述属性调制特征图输入所述第一金字塔池化模块,得到多个不同分辨率的子属性调制特征图;
将各所述不同分辨率的子属性调制特征图分别输入所述第一上采样模块,得到与所述属性调制特征图分辨率一致的子属性调制特征图;
将所述属性调制特征图与各所述子属性调制特征图拼接,得到所述总属性调制特征图。
7.根据权利要求4所述的方法,其特征在于,所述第二处理模块包括第二金字塔池化模块、第二上采样模块;所述将所述目标身份调制特征图输入所述相互关系模块中的所述第二处理模块,得到总身份调制特征图,包括:
将所述目标身份调制特征图输入所述第二金字塔池化模块,得到多个不同分辨率的子身份调制特征图;
将各所述不同分辨率的子身份调制特征图分别输入所述第二上采样模块,得到与所述目标身份调制特征图分辨率一致的子身份调制特征图;
将所述目标身份调制特征图与各所述子身份调制特征图拼接,得到所述总身份调制特征图。
8.根据权利要求2所述的方法,其特征在于,所述属性关系模块包括第三金字塔池化模块、第三上采样模块;
所述将第一属性特征图以及第一输入特征图输入第一特征调制模块中的所述属性关系模块,得到属性关系特征图,包括:
将所述第一输入特征图输入所述第三金字塔池化模块,得到多个不同分辨率的子输入特征图;
将各所述不同分辨率的子输入特征图分别输入所述第三上采样模块,得到与所述第一输入特征图分辨率一致的子输入特征图;
将所述输入特征图与各所述子输入特征图拼接,得到总输入特征图;
对所述第一属性特征图以及所述总输入特征图进行拼接,得到所述属性关系特征图。
9.根据权利要求3所述的方法,其特征在于,所述身份关系模块包括全局平均池化模块;
所述将所述第一身份特征向量以及所述第一输入特征图输入所述第一特征调制模块中的所述身份关系模块,得到身份关系特征图,包括:
将所述第一输入特征图输入所述全局平均池化模块,得到输入特征向量;
对所述输入特征向量以及所述第一身份特征向量进行拼接,得到所述身份关系特征图。
10.一种换脸装置,其特征在于,所述装置包括:
第一输入模块,用于将源图像输入预先训练得到的换脸模型中的多层次身份编码器,得到所述源图像对应的多个身份特征向量,其中,所述多层次身份编码器中包括多个卷积层,各所述身份特征向量分别由所述多层次身份编码器中的一个卷积层处理得到,所述源图像中包括源人脸;
第二输入模块,用于将目标图像输入所述换脸模型中的多层次属性编码器,得到所述目标图像对应的多个属性特征图,其中,所述多层次属性编码器中包括多个卷积层,各所述属性特征图分别由所述多层次属性编码器中的一个或多个卷积层处理得到,所述目标图像中包括待转换的目标人脸;
融合模块,用于将各所述身份特征向量以及各所述属性特征图输入所述换脸模型中的图像生成器,经所述图像生成器中的多个级联的特征调制模块依次融合后,得到换脸图像,所述换脸图像中包括所述源人脸,且所述源人脸具有所述目标人脸的属性特征;
所述经所述图像生成器中的多个级联的特征调制模块依次融合后,得到换脸图像,包括:经所述图像生成器中的首个特征调制模块将初始身份特征向量、对应的身份特征向量以及属性特征图进行融合,并将融合后得到的身份特征图输入后一个特征调制模块,所述图像生成器中除所述首个特征调制模块外的各特征调制模块依次将前一特征调制模块融合后得到的身份特征图、对应的身份特性向量以及属性特征图进行融合,并将融合后得到的身份特征图输出至后一特征调制模块或作为换脸图像进行输出。
11.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当所述电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如权利要求1-9任一项所述换脸方法的步骤。
12.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1-9任一项所述换脸方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111063896.4A CN113763366B (zh) | 2021-09-10 | 2021-09-10 | 一种换脸方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111063896.4A CN113763366B (zh) | 2021-09-10 | 2021-09-10 | 一种换脸方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113763366A CN113763366A (zh) | 2021-12-07 |
CN113763366B true CN113763366B (zh) | 2023-07-25 |
Family
ID=78794864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111063896.4A Active CN113763366B (zh) | 2021-09-10 | 2021-09-10 | 一种换脸方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113763366B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114972016A (zh) * | 2022-06-02 | 2022-08-30 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备、存储介质及程序产品 |
CN115083000B (zh) * | 2022-07-14 | 2023-09-05 | 北京百度网讯科技有限公司 | 人脸模型训练方法、换脸方法、装置和电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2993616A1 (en) * | 2014-09-05 | 2016-03-09 | Huawei Technologies Co., Ltd. | Method and apparatus for generating facial feature verification model |
CN111783603A (zh) * | 2020-06-24 | 2020-10-16 | 有半岛(北京)信息科技有限公司 | 生成对抗网络训练方法、图像换脸、视频换脸方法及装置 |
CN112348743A (zh) * | 2020-11-06 | 2021-02-09 | 天津大学 | 一种融合判别式网络和生成式网络的图像超分辨率方法 |
CN112560753A (zh) * | 2020-12-23 | 2021-03-26 | 平安银行股份有限公司 | 基于特征融合的人脸识别方法、装置、设备及存储介质 |
CN112581635A (zh) * | 2021-02-26 | 2021-03-30 | 北京智源人工智能研究院 | 一种通用的快速换脸方法、装置、电子设备和存储介质 |
CN112766160A (zh) * | 2021-01-20 | 2021-05-07 | 西安电子科技大学 | 基于多级属性编码器和注意力机制的人脸替换方法 |
CN113240792A (zh) * | 2021-04-29 | 2021-08-10 | 浙江大学 | 一种基于人脸重建的图像融合生成式换脸方法 |
-
2021
- 2021-09-10 CN CN202111063896.4A patent/CN113763366B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2993616A1 (en) * | 2014-09-05 | 2016-03-09 | Huawei Technologies Co., Ltd. | Method and apparatus for generating facial feature verification model |
CN111783603A (zh) * | 2020-06-24 | 2020-10-16 | 有半岛(北京)信息科技有限公司 | 生成对抗网络训练方法、图像换脸、视频换脸方法及装置 |
CN112348743A (zh) * | 2020-11-06 | 2021-02-09 | 天津大学 | 一种融合判别式网络和生成式网络的图像超分辨率方法 |
CN112560753A (zh) * | 2020-12-23 | 2021-03-26 | 平安银行股份有限公司 | 基于特征融合的人脸识别方法、装置、设备及存储介质 |
CN112766160A (zh) * | 2021-01-20 | 2021-05-07 | 西安电子科技大学 | 基于多级属性编码器和注意力机制的人脸替换方法 |
CN112581635A (zh) * | 2021-02-26 | 2021-03-30 | 北京智源人工智能研究院 | 一种通用的快速换脸方法、装置、电子设备和存储介质 |
CN113240792A (zh) * | 2021-04-29 | 2021-08-10 | 浙江大学 | 一种基于人脸重建的图像融合生成式换脸方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113763366A (zh) | 2021-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108062754B (zh) | 基于密集网络图像的分割、识别方法和装置 | |
CN111402143B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
US10832034B2 (en) | Facial image generating method, facial image generating apparatus, and facial image generating device | |
CN113763366B (zh) | 一种换脸方法、装置、设备及存储介质 | |
CN110084193B (zh) | 用于面部图像生成的数据处理方法、设备和介质 | |
CN113343982B (zh) | 多模态特征融合的实体关系提取方法、装置和设备 | |
WO2015078017A1 (en) | Method and system for exacting face features from data of face images | |
CN111160225B (zh) | 基于深度学习的人体解析方法和装置 | |
CN113221794B (zh) | 一种训练数据集生成方法、装置、设备及存储介质 | |
CN117078790B (zh) | 图像生成方法、装置、计算机设备和存储介质 | |
CN113343981A (zh) | 一种视觉特征增强的字符识别方法、装置和设备 | |
CN116740422A (zh) | 基于多模态注意力融合技术的遥感图像分类方法及装置 | |
CN112069412A (zh) | 信息推荐方法、装置、计算机设备及存储介质 | |
CN114387656B (zh) | 基于人工智能的换脸方法、装置、设备及存储介质 | |
CN111709415A (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
CN115661635A (zh) | 基于Transformer融合卷积神经网络的高光谱图像重建方法 | |
CN117745944A (zh) | 预训练模型确定方法、装置、设备以及存储介质 | |
CN114897711A (zh) | 一种视频中图像处理方法、装置、设备及存储介质 | |
CN118229632A (zh) | 显示屏缺陷检测方法、模型训练方法、装置、设备及介质 | |
CN117094362A (zh) | 一种任务处理方法及相关装置 | |
JP2022037804A (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
Baby et al. | Face depth estimation and 3D reconstruction | |
JP2014149788A (ja) | 物体領域境界推定装置、物体領域境界推定方法及び物体領域境界推定プログラム | |
CN116229206A (zh) | 图像翻译模型的训练、图像翻译方法、设备及存储介质 | |
WO2021179117A1 (zh) | 神经网络通道数搜索方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |