CN114140319A - 图像迁移方法和图像迁移模型的训练方法、装置 - Google Patents

图像迁移方法和图像迁移模型的训练方法、装置 Download PDF

Info

Publication number
CN114140319A
CN114140319A CN202111502369.9A CN202111502369A CN114140319A CN 114140319 A CN114140319 A CN 114140319A CN 202111502369 A CN202111502369 A CN 202111502369A CN 114140319 A CN114140319 A CN 114140319A
Authority
CN
China
Prior art keywords
image
migration
feature
identity
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111502369.9A
Other languages
English (en)
Inventor
梁柏荣
郭知智
洪智滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202111502369.9A priority Critical patent/CN114140319A/zh
Publication of CN114140319A publication Critical patent/CN114140319A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种图像迁移方法和图像迁移模型的训练方法、装置、设备、介质，涉及人工智能领域，具体涉及深度学习和计算机视觉技术领域，可应用于人脸图像处理、人脸识别等场景。图像迁移方法包括：对包括第一对象的第一图像进行数据增强处理，得到第一增强后图像；提取第一增强后图像中第一对象的第一属性特征；提取第二图像包括的第二对象的第一身份特征；以及基于第一属性特征和第一身份特征生成第一迁移图像，该第一迁移图像包括具有第一属性特征的第二对象。

Description

图像迁移方法和图像迁移模型的训练方法、装置
技术领域
本公开涉及人工智能领域，具体涉及深度学习和计算机视觉技术领域，可应用于人脸图像处理、人脸识别等场景。
背景技术
随着深度学习与图像处理技术的发展，图像迁移技术可以应用于诸如人脸识别、视频制作和虚拟现实等多个领域中。
相关技术中，采用三维重建技术来实现图像迁移。该方法步骤复杂，计算量大。
发明内容
提供了一种降低计算量且提高迁移精度的图像迁移方法、图像迁移模型的训练方法、装置、电子设备和存储介质。
本公开的一个方面提供了一种图像迁移方法，包括：对包括第一对象的第一图像进行数据增强处理，得到第一增强后图像；提取第一增强后图像中第一对象的第一属性特征；提取第二图像包括的第二对象的第一身份特征；以及基于第一属性特征和第一身份特征生成第一迁移图像，该第一迁移图像包括具有第一属性特征的第二对象。
本公开的另一个方面提供了一种图像迁移模型的训练方法，其中，图像迁移模型包括第一编码网络、第二编码网络和生成器；该训练方法包括：对包括第三对象的第三图像进行数据增强处理，得到第二增强后图像；采用第一编码网络提取第二增强后图像中第三对象的第二属性特征；采用第二编码网络提取第四图像包括的第三对象的第二身份特征；基于第二属性特征和第二身份特征，采用生成器生成第二迁移图像；第二迁移图像包括具有第二属性特征的第三对象；以及基于第二迁移图像和第三图像的差异，对图像迁移模型进行训练。
本公开的另一个方面提供了一种图像迁移装置，包括：第一增强模块，用于对包括第一对象的第一图像进行数据增强处理，得到第一增强后图像；第一属性提取模块，用于提取第一增强后图像中第一对象的第一属性特征；第一身份提取模块，用于提取第二图像包括的第二对象的第一身份特征；以及第一图像生成模块，用于基于第一属性特征和第一身份特征生成第一迁移图像，第一迁移图像包括具有第一属性特征的第二对象。
本公开的另一个方面提供了一种图像迁移模型的训练装置，其中，图像迁移模型包括第一编码网络、第二编码网络和生成器；该装置包括：第二增强模块，用于对包括第三对象的第三图像进行数据增强处理，得到第二增强后图像；第二属性提取模块，用于采用第一编码网络提取第二增强后图像中第三对象的第二属性特征；第二身份提取模块，用于采用第二编码网络提取第四图像包括的第三对象的第二身份特征；第二图像生成模块，用于基于第二属性特征和第二身份特征，采用生成器生成第二迁移图像；第二迁移图像包括具有第二属性特征的第三对象；以及模型训练模块，用于基于第二迁移图像和第三图像的差异，对图像迁移模型进行训练。
本公开的另一个方面提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的图像迁移方法和/或图像迁移模型的训练方法。
根据本公开的另一个方面提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的图像迁移方法和/或图像迁移模型的训练方法。
根据本公开的另一个方面提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开提供的图像迁移方法和/或图像迁移模型的训练方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的图像迁移方法和图像迁移模型的训练方法、装置的应用场景示意图；
图2是根据本公开实施例的图像迁移方法的流程示意图；
图3是根据本公开实施例的获得第一图像的原理示意图；
图4是根据本公开实施例的图像迁移方法的原理示意图；
图5是根据本公开实施例图像迁移模型的训练方法的流程示意图；
图6是根据本公开实施例的图像迁移模型的训练方法的原理示意图；
图7是根据本公开实施例的图像迁移装置的结构框图；
图8是根据本公开实施例的图像迁移模型的训练装置的结构框图；以及
图9是用来实施本公开实施例的图像迁移方法和/或图像迁移模型的训练方法的电子设备的结构框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开提供了一种图像迁移方法，包括图像增强阶段、属性特征提取阶段、身份特征提取阶段和图像生成阶段。在图像增强阶段中，提取第一增强后图像中第一对象的第一属性特征。在身份特征提取阶段中，提取第二图像包括的第二对象的第一身份特征。在图像生成阶段中，基于第一属性特征和第一身份特征生成第一迁移图像，该第一迁移图像包括具有第一属性特征的第二对象。
以下将结合图1对本公开提供的方法和装置的应用场景进行描述。
图1是根据本公开实施例的图像迁移方法和图像迁移模型的训练方法、装置的应用场景图。
如图1所示，该实施例的应用场景100可以包括电子设备110，该电子设备110可以为具有处理功能的任意电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和服务器等等。
该电子设备110例如可以对输入的第一人脸的图像120和第二人脸的图像130进行表情迁移，从而生成图像140。该图像140中的人脸为第一人脸，但该第一人脸具有第二人脸的表情和姿态。例如可以从第一人脸的图像120中提取身份特征，从第二人脸的图像130中提取属性特征，将该身份特征和属性特征融合后，经由生成器可以生成图像140。其中，生成器例如可以为生成式对抗网络(Generative Adversarial Networks，GAN)中的生成器Generator。属性特征例如可以包括表情特征和姿态特征等。
在一实施例中，可以采用图像迁移模型来将第二人脸的表情和姿态迁移到第一人脸，从而生成图像140。
根据本公开的实施例，如图1所示，该应用场景100还可以包括服务器150。电子设备110可以通过网络与服务器150通信连接，该网络可以包括无线或有线通信链路。
示例性地，服务器150可以用于训练图像迁移模型，并响应于电子设备110发送的模型获取请求，将训练得到的图像迁移模型160发送给电子设备110，便于电子设备110对人脸的表情和姿态进行迁移。在一实施例中，电子设备110还可以通过网络将第一人脸的图像120和第二人脸的图像130发送给服务器150，由服务器150根据训练得到的图像迁移模型来生成图像140。
根据本公开的实施例，如图1所示，该应用场景100还可以包括数据库170，该数据库170可以维护有海量的图像或视频。服务器150可以访问该数据库170，并从数据库170中抽取部分具有同一人脸的图像作为样本图像，对图像迁移模型进行训练。
需要说明的是，本公开所提供的图像迁移方法可以由电子设备110或服务器150执行。相应地，本公开所提供的图像迁移装置可以设置于电子设备110或服务器150中。本公开提供的图像迁移模型的训练方法可以由服务器150执行。相应地，本公开提供的图像迁移模型的训练装置可以设置于服务器150中。
应该理解，图1中的电子设备、服务器和数据库的数目和类型仅仅是示意性的。根据实现需要，可以具有任意数目和类型的终端设备、服务器和数据库。
以下将结合图1，通过图2～图4对本公开提供的图像迁移方法进行详细描述。
图2是根据本公开实施例的图像迁移方法的流程示意图。
如图2所示，该实施例的图像迁移方法200可以包括操作S210～操作S240。
在操作S210，对包括第一对象的第一图像进行数据增强处理，得到第一增强后图像。
根据本公开的实施例，第一对象例如可以为人脸，或者可以为建筑物等。第一图像可以为拍摄第一对象得到的图像，或者可以为通过对拍摄的图像处理后的图像，或者可以为视频中包括第一对象的视频帧。该第一图像可以是实时拍摄得到的，也可以是预先拍摄得到的。
根据本公开的实施例，数据增强处理例如可以包括对图像的缩放处理、平移处理和/或像素级增强等。其中，像素级增强例如可以包括调整像素的对比度、亮度、模糊程度或为像素进行马赛克处理。其中马赛克处理可以将像素的色阶细节劣化并造成色块打乱的效果。
该实施例可以设置有数据增强工具，将第一图像输入该数据增强工具后，数据增强工具可以随机采用前述多种数据增强处理方式中的一种或多种方式，实现对第一图像的数据增强处理，输出第一增强后图像。
在操作S220，提取第一增强后图像中第一对象的第一属性特征。
根据本公开的实施例，第一属性特征例如可以用于表示第一对象的姿态、表情、视线、皮肤状态等特征。
在一实施例中，可以采用第一编码网络来从第一增强后图像中提取第一属性特征。其中，第一编码网络例如可以预训练得到。该第一编码网络可以为轻量级网络，例如MobileNet系列网络、ShuffleNet网络或SqueezeNet等。其中，MobileNet网络是使用深度可分离卷积(Depthwise Separable Convolution)构建的轻量级深度神经网络。例如，该第一编码网络可以包括有卷积层和池化层。
在一实施例中，还可以采用融合局部二值模式和局部稀疏表示的表情识别算法来提取第一属性特征。也可以采用关键点检测算法检测到的第一对象包括的各部位的比例关系等作为第一属性特征。
在一实施例中，该实施例可以分别提取第一对象的表情特征和姿态特征，将该表情特征和姿态特征拼接后作为第一属性特征。也可以将第一增强后图像输入第一编码网络，由第一编码网络同时提取表情&姿态特征，从而输出第一属性特征。
在操作S230，提取第二图像包括的第二对象的第一身份特征。
根据本公开的实施例，第二图像包括的第二对象可以与前文中的第一对象为相同类型的对象。例如第一对象和第二对象可以均为人脸，或者第一对象和第二对象可以均为建筑物等。该第一对象和第二对象还可以为同一对象，也可以为不同对象，本公开对词不做限定。
根据本公开的实施例，例如可以采用第二编码网络来从第二图像中提取第一身份特征。该第二编码网络例如可以采用残差网络(Residual Network，ResNet)、特征金字塔网络(Feature Pyramid Network，FPN)或U-Net等网络。该第二编码网络可以包括卷积层和池化层，且具有跳层连接结构，以用于提取相较于属性特征更为复杂的身份特征。
在操作S240，基于第一属性特征和第一身份特征生成第一迁移图像。
根据本公开的实施例，可以将第一属性特征和第一身份特征拼接后输入生成器Generator，由该生成器Generator根据拼接后的特征生成第一迁移图像。该生成的第一迁移图像中包括具有第一属性特征的第二对象。
本公开实施例通过从第一图像中提取对象属性特征，从第二图像中提取对象的身份特征，并根据身份特征和属性特征来生成迁移图像，相较于相关技术，无需进行对象的三维重建，因此可以在一定程度上降低图像迁移的计算量和复杂度。再者，在提取属性特征之前，通过对第一对象进行增强处理，可以弱化甚至去除第一对象的身份特征，如此便于提高第一属性特征的提取精度，提高得到的迁移图像的精度和真实性，并因此可以提高用户体验。
根据本公开的实施例，在基于第一属性特征和第一身份特征生成第一迁移图像时，可以对第一属性特征和第一身份特征进行除拼接外的其他融合，从而得到融合特征。随后将该融合特征输入生成器，由生成器输出第一迁移图像。其中，例如可以通过add操作对第一属性特征和第一身份特征进行融合，也可以先将第一属性特征和第一身份特征拼接后，经由卷积层进行卷积运算，从而得到融合特征。可以理解的是，上述融合第一属性特征和第一身份特征的方法仅作为示例以利于理解本公开，本公开对此不做限定。通过特征的融合，可以便于生成器生成更为逼真的迁移图像。
图3是根据本公开实施例的获得第一图像的原理示意图。
根据本公开的实施例，前述的第一图像例如可以为根据第一对象的位置裁剪后的图像，以此便于避免图像中除第一对象外的其他对象对提取第一属性特征的干扰，同时可以减少提取属性特征的计算量。
例如，可以将实时采集或预先采集的图像作为对象属性的模板图像。在得到模板图像后，该实施例可以先检测包括第一对象的模板图像，得到第一对象在模板图像中的第一位置信息。随后基于该第一位置信息裁剪模板图像，获得第一图像。
例如，可以对模板图像进行目标检测，检测得到包围第一对象的检测框在模板图像中的位置信息。其中，该检测得到的位置信息例如可以包括检测框的中心点在基于模板图像构建的坐标系中的坐标值，以及检测框的高度和宽度。在得到该位置信息后，可以以检测框的中心点作为中心点，根据预定高度和预定宽度裁剪该模板图像。其中，预定高度应大于检测框的高度，预定宽度应大于检测框的宽度。例如，裁剪得到的图像的大小例如可以为256像素×256像素。该实施例可以将裁剪得到的图像作为第一图像。
在一实施例中，在裁剪模板图像后，例如还可以去除裁剪得到的图像的背景图像，以此可以减少该背景图像对提取第一属性特征的干扰，从而进一步提高提取的第一属性特征的精度，减少提取属性特征的计算量，利于生成更为逼真的迁移图像。
如图3所示，在该实施例300中，在获得第一图像时，可以先对获取的模板图像301进行目标检测。例如可以将模板图像301输入目标检测模型310，经由目标检测模型310得到第一位置信息302，并根据该第一位置信息裁剪模板图像301，将该裁剪得到的图像303作为中间图像。其中，目标检测模型例如可以包括Faster R-CNN模型、单发多框检测(SingleShot Multibox Detector，SSD)模型和单次查看(You Only Look Once，YOLO)检测模型等多种模型中的任意一个，本公开对此不做限定。
在得到中间图像303后，该实施例可以进一步对该中间图像进行分割处理，从而得到中间图像中目标对象的第二位置信息。其中，该目标对象包括有前述的第一对象。例如，若第一对象为人脸，则目标对象可以为人体。
例如，如图3所示，可以将该中间图像303作为图像分割模型320的输入，经由该图像分割模型320处理而得到第二位置信息304。其中，该第二位置信息304应包括有目标对象的边界线在中间图像303中的位置。图像分割模型例如可以包括全卷积网络(FullyConvolutional Networks，FCN)模型、深度掩膜(Deep Mask)模型、Snake模型或BodyPix模型等，本公开对此不做限定。
在得到第二位置信息中，可以基于该第二位置信息304，生成针对目标对象的掩膜图像305。具体地，可以将中间图像303中除第二位置信息304包围的区域外，其他区域的像素值均调整为0，而第二位置信息304包围的区域内的像素值设定为255，从而得到掩膜图像305。
在得到掩膜图像305后，可以基于该掩膜图像305去除中间图像303的背景图像，从而得到第一图像。具体地，可以将该中间图像303与掩膜图像305进行像素级的点乘，并将点乘得到的图像中各像素点的像素值除以255，从而得到第一图像306。
如图3所示，通过上述处理得到的第一图像306，仅包括有前景图像，即目标对象的图像，而该目标对象的背景均为黑色背景，可以实现背景的去除。因此，可以避免背景对提取属性特征的影响。
根据本公开的实施例，前述的第二图像例如可以为根据第二对象的位置裁剪后的图像，以此便于避免图像中除第二对象外的其他对象对提取第一身份特征的干扰，同时可以减少身份特征提取的计算量。
例如，可以将实时采集或预先采集的图像作为对象身份的源图像。在得到源图像后，该实施例可以先检测包括第二对象的源图像，得到第二对象在源图像中的第三位置信息。随后基于该第三位置信息裁剪源图像，获得第二图像。可以理解的是，裁剪源图像得到第二图像的原理可以与前文描述的裁剪模板图像得到第一图像的原理类似，该第二图像的大小例如也可以为256×256，在此不再赘述。
需要说明的是，在获得第二图像时，例如可以无需去除背景图像，这是因为提取身份特征的网络通常较为复杂，可以较为精准地学习到身份特征，该学习过程受背景图像的影响较小。以此，可以减少对源图像的预处理流程。
根据本公开的实施例，在提取第一身份特征时，例如可以综合从包括第二对象的多个图像提取的身份特征，以此可以避免因单个图像中身份特征表征不完整或不清晰而导致的提取的身份特征不准确的问题。如此，可以提高得到的第一身份特征的精度，使得得到的迁移图像更为逼真。
例如，可以从视频中抽取包括第二对象的多帧视频，基于该多帧视频得到第二图像包括的多个图像。例如可以对多帧视频中的每帧视频均执行前文描述的裁剪操作，从而得到包括第二对象的大小为256×256的多个图像。其中，该多个图像的个数例如可以为3、5、8等任意大于1的整数，具体可以根据实际需求设定该个数，本公开对此不做限定。
该实施例可以分别提取多个图像中每个图像包括的第二对象的身份特征，从而得到多个初始身份特征。例如，对应m个图像中的每一个，均可以通过前文描述的第二编码网络得到一个身份特征，作为一个初始身份特征，由此得到m个初始身份特征。随后可以计算该多个初始身份特征的均值特征，即对m个初始身份特征累加后除以m，从而得到该特征均值。最后，确定该多个初始身份特征的均值特征为第二对象的第一身份特征。
图4是根据本公开实施例的图像迁移方法的原理示意图。
根据本公开的实施例，在提取属性特征之前，例如还可以先对第一增强后图像进行归一化处理，以此降低提取属性特征时的计算量，提高图像迁移效率。在进行归一化处理后，例如可以得到第一归一化图像，随后可以采用第一编码网络来对该第一归一化图像进行编码，得到第一属性特征。具体可以将第一归一化图像输入第一编码网络，经由第一编码网络处理后得输出第一属性特征。
例如，对第一增强后图像进行的归一化处理可以为：将第一增强后图像中每个像素的像素值除以255，使得得到的每个像素的像素值属于取值区间[0，1]，从而得到第一归一化图像。
类似地，在提取第一身份特征时，例如也可以对第二图像进行归一化处理，以此降低提取身份特征时的计算量，提高图像迁移效率。在进行归一化处理后，例如可以得到第二归一化图像，随后可以采用第二编码网络来对该第二归一化图像进行编码，得到第一身份特征。具体可以将第二归一化图像输入第二编码网络，经由第二编码网络处理后得输出第一身份特征。该对第二图像的归一化处理的方法可以与前文中对第一增强后图像进行归一化处理的方法类似，在此不再赘述。
在一实施例中，如图4所示，该实施例400的图像迁移方法中，第一图像可以采用前文描述的去除中间图像的背景图像后所得到的图像。第一编码网络例如可以为姿态编码网络(Pose Encoder)410，该姿态编码网络410可以采用前文描述的MobileNet等。第二编码网络例如可以为身份编码网络(ID Encoder)420，该身份编码网络420可以采用前文描述的ResNet网络。
在该实施例400中，可以先对第一图像401进行前文描述的数据增强处理和归一化处理等预处理，随后将预处理得到的图像输入姿态编码网络410，经由姿态编码网络410处理后输出第一属性特征403，该第一属性特征例如可以表征第一人脸的表情和姿态。同时，可以对第二图像402进行归一化处理等预处理，将预处理得到的图像输入身份编码网络420，经由身份编码网络420处理后输出第一身份特征404。
在得到第一身份特征404和第一属性特征403后，可以将该两个特征经由concat()函数拼接，得到拼接特征405。随后将该拼接特征405输入多层感知机(MultilayerPerceptron，MLP)430中，以实现对第一属性特征403和第一身份特征404的融合。随后将该多层感知机430的输出作为生成器Generator 440的输入，由该Generator 440输出迁移图像406，该迁移图像406中的对象为第二图像402中的第二对象，但该第二对象具有第一图像401中第一对象的表情和姿态。
在一实施例中，提取的第一属性特征例如可以为256维的向量，提取的第一身份特征可以为512维的向量，则拼接特征405则为768维的向量。其中，该多层感知机430输出的特征例如同样为768维的向量。生成的迁移图像406的尺寸例如可以与第一图像、第二图像的尺寸均相等，例如可以是大小为256×256的图像。
基于本公开提供的图像迁移方法，本公开还提供了一种图像迁移模型的训练方法，以下将结合图5～图6对该训练方法进行详细描述。
图5是根据本公开实施例图像迁移模型的训练方法的流程示意图。
根据本公开的实施例，如图5所示，该实施例的图像迁移模型的训练方法500可以包括操作S510～操作S550，其中，图像迁移模型可以包括第一编码网络、第二编码网络和生成器。
在操作S510，对包括第三对象的第三图像进行数据增强处理，得到第二增强后图像。可以理解的是，该操作S510的实现方式与前文得到第一增强后图像的实现方式类似，在此不再赘述。
在操作S520，采用第一编码网络提取第二增强后图像中第三对象的第二属性特征。其中，第一编码网络与前文描述的第一编码网络类似，该操作S520的实现方式与前文采用第一编码网络得到第一属性特征的实现方式类似，在此不再赘述。
在操作S530，采用第二编码网络提取第四图像包括的第三对象的第二身份特征。其中，第二编码网络与前文描述的第二编码网络类似，该操作S530的实现方式与前文采用第二编码网络得到第一身份特征的实现方式类似，在此不再赘述。需要说明的是，若第三图像和第四图像中都包括人脸，则第三图像中的人脸和第四图像中的人脸为同一个人的人脸。
在操作S540，基于第二属性特征和第二身份特征，采用生成器生成第二迁移图像。该第二迁移图像包括具有第二属性特征的第三对象。该操作S540的实现方式与前文描述的得到第一迁移图像的实现方式类似，在此不再赘述。
在操作S550，基于第二迁移图像和第三图像的差异，对图像迁移模型进行训练。
根据本公开的实施例，在第三图像为去除背景后的图像时，由于该第二迁移图像中具有背景，则首先可以采用基于第三图像得到的针对第三对象的掩膜图像，来去除第三迁移图像中的背景图像。随后根据去除了背景的第二迁移图像和第三图像的差异，来训练图像迁移模型。
例如，图像之间的差异例如可以通过对两个图像逐像素的对比得到。例如，可以采用第二迁移图像和第三图像之间的L1损失、L2损失或平滑L1损失等来表示差异。随后采用反向传播算法来对图像迁移模型进行训练。
图6是根据本公开实施例的图像迁移模型的训练方法的原理示意图。
根据本公开的实施例，在对图像迁移模型进行训练时，例如除了前述通过逐像素对比得到的损失外，还可以考虑生成器生成图像的损失。同时还可以为生成器对应的设置判别器，如此，由生成器和判别器构成生成式对抗网络，并通过计算生成式对抗损失来对生成器进行训练。通过该方式，可以提高训练得到的图像迁移模型中生成器的精度，使得生成器生成的迁移图像更为逼真。
如图6所示，该实施例600在训练图像迁移模型时，可以与前文描述的类似，对第三图像601进行数据增强处理，随后进行归一化处理，将归一化处理得到的图像输入第一编码网络610，得到第二属性特征603。同时，可以将第四图像602进行归一化处理，将归一化处理得到的图像输入第二编码网络620，得到第二身份特征604。随后可以将该第二属性特征603和第二身份特征604拼接后得到的拼接特征605输入多层感知机630，将多层感知机630的输出作为生成器640的输入，经由生成器640输出第二迁移图像606。需要说明的是，在第三图像为去除背景的图像时，还可以对生成器640输出的图像去除背景后，得到第二迁移图像606。
随后，可以基于第二迁移图像606和第三图像601之间的像素级差异，来确定图像迁移模型的第一损失。该第一损失可以采用前文描述的L1损失等。同时，可以将第二迁移图像606和第三图像601分别输入判别器650中，由该判别器650输出第二迁移图像为真实图像的第一真值概率，和第三图像为真实图像的第二真实概率。并根据第二迁移图像、第三图像、第一真值概率和第二真值概率，确定生成对抗损失608。
在得到第一损失607和生成对抗损失608后，例如先根据第一损失607和生成对抗损失608中生成器部分的损失来训练图像迁移模型。随后根据生成对抗损失608中判别器部分的损失来训练判别器，从而完成一次迭代训练。
在一实施例中，如图6所示，除了前述的第一损失607和生成对抗损失608外，例如还可以对第三图像601与第二迁移图像606进行特征级别的对比，并根据对比结果生成第二损失609。
例如，可以将第三图像601和第二迁移图像606分别输入特征提取网络660，该特征提取网络660例如可以为VGG网络、ResNet网络等，本公开对此不做限定。在提取得到两个特征后，可以根据该两个特征之间的差异计算第二损失609。该实施例中，第二损失609例如可以采用感知损失函数来计算得到，或者也可以采用前文描述的L1损失、L2损失等。
在得到第一损失、生成对抗损失和第二损失后，可以计算该第一损失、生成对抗损失中生成器部分的损失及第二损失的加权和。根据该加权和对图像迁移模型进行训练。随后，基于生成对抗损失中判别器部分的损失，对判别器进行训练，完成一次迭代训练。
通过进行多次迭代训练，可以使得图像迁移模型的损失达到损失阈值，从而完成对图像迁移模型的训练。该实施例通过同时考虑第二迁移图像和第三图像的特征差异来训练图像迁移模型，可以进一步提高训练得到的图像迁移模型的精度。并因此可以使得训练得到的图像迁移模型能够生成更为逼真的迁移图像。
基于本公开提供的图像迁移方法，本公开还提供了一种图像迁移装置，以下将结合图7对该装置进行详细描述。
图7是根据本公开实施例的图像迁移装置的结构框图。
如图7所示，该实施例的图像迁移装置700例如可以包括第一增强模块710、第一属性提取模块720、第一身份提取模块730和第一图像生成模块740。
第一增强模块710用于对包括第一对象的第一图像进行数据增强处理，得到第一增强后图像。在一实施例中，第一增强模块710可以用于执行前文描述的操作S210，在此不再赘述。
第一属性提取模块720用于提取第一增强后图像中第一对象的第一属性特征。在一实施例中，第一属性提取模块720可以用于执行前文描述的操作S220，在此不再赘述。
第一身份提取模块730用于提取第二图像包括的第二对象的第一身份特征。在一实施例中，第一身份提取模块730可以用于执行前文描述的操作S230，在此不再赘述。
第一图像生成模块740用于基于第一属性特征和第一身份特征生成第一迁移图像，第一迁移图像包括具有第一属性特征的第二对象。在一实施例中，第一图像生成模块740可以用于执行前文描述的操作S240，在此不再赘述。
根据本公开的实施例，上述图像迁移装置700还可以包括第一图像检测模块和第一图像裁剪模块。第一图像检测模块用于检测包括第一对象的模板图像，得到第一对象在模板图像中的第一位置信息。第一图像裁剪模块用于基于第一位置信息裁剪模板图像，获得第一图像。
根据本公开的实施例，上述图像裁剪模块可以包括裁剪子模块、分割子模块、掩膜生成子模块和背景去除子模块。裁剪子模块用于基于第一位置信息裁剪模板图像，得到中间图像。分割子模块用于对中间图像进行图像分割处理，得到中间图像中目标对象的第二位置信息；目标对象包括第一对象。掩膜生成子模块用于基于第二位置信息，生成针对目标对象的掩膜图像。背景去除子模块用于基于掩膜图像去除中间图像的背景图像，得到第一图像。
根据本公开的实施例，上述第一属性提取模块720可以包括第一归一化子模块和属性提取子模块。第一归一化子模块用于对第一增强后图像进行归一化处理，得到第一归一化图像。属性提取子模块用于采用第一编码网络对第一归一化图像进行编码，得到第一对象的第一属性特征。
根据本公开的实施例，上述图像迁移装置700还可以包括第二图像检测模块和第二图像裁剪模块。第二图像检测模块用于检测包括第二对象的源图像，得到第二对象在源图像中的第三位置信息。第二图像裁剪模块用于基于第三位置信息裁剪源图像，获得第二图像。
根据本公开的实施例，上述第一身份提取模块730可以包括第二归一化子模块和身份提取子模块。第二归一化子模块用于对第二图像进行归一化处理，得到第二归一化图像。身份提取子模块用于采用第二编码网络对第二归一化图像进行编码，得到第二对象的第一身份特征。
根据本公开的实施例，上述第二图像包括多个图像，上述第一身份提取模块730用于分别提取多个图像中每个图像包括的第二对象的身份特征，得到多个初始身份特征；以及确定多个初始身份特征的均值特征为第二对象的第一身份特征。
根据本公开的实施例，上述第一图像生成模块740可以包括特征融合子模块和图像生成子模块。特征融合子模块用于融合第一属性特征和第一身份特征，得到融合特征。图像生成子模块用于将融合特征作为生成器的输入，得到第一迁移图像。
基于本公开提供的图像迁移模型的训练方法，本公开还提供了一种图像迁移模型的训练装置，以下将结合图8对该装置进行描述。
图8是根据本公开实施例的图像迁移模型的训练装置的结构框图。
如图8所示，该实施例的图像迁移模型的训练装置800可以包括第二增强模块810、第二属性提取模块820、第二身份提取模块830、第二图像生成模块840和模型训练模块850。其中，图像迁移模型包括第一编码网络、第二编码网络和生成器。
第二增强模块810用于对包括第三对象的第三图像进行数据增强处理，得到第二增强后图像。在一实施例中，第二增强模块810可以用于执行前文描述的操作S510，在此不再赘述。
第二属性提取模块820用于采用第一编码网络提取第二增强后图像中第三对象的第二属性特征。在一实施例中，第二属性提取模块820可以用于执行前文描述的操作S520，在此不再赘述。
第二身份提取模块830用于采用第二编码网络提取第四图像包括的第三对象的第二身份特征。在一实施例中，第二身份提取模块830可以用于执行前文描述的操作S530，在此不再赘述。
第二图像生成模块840用于基于第二属性特征和第二身份特征，采用生成器生成第二迁移图像；第二迁移图像包括具有第二属性特征的第三对象。在一实施例中，第二图像生成模块840可以用于执行前文描述的操作S540，在此不再赘述。
模型训练模块850用于基于第二迁移图像和第三图像的差异，对图像迁移模型进行训练。在一实施例中，模型训练模块850可以用于执行前文描述的操作S550，在此不再赘述。
根据本公开的实施例，上述模型训练模块850包括第一损失确定子模块、真值概率确定子模块、第二损失确定子模块和模型训练子模块。第一损失确定子模块用于基于第二迁移图像和第三图像之间的像素级差异，确定图像迁移模型的第一损失。真值概率确定子模块用于将第二迁移图像和第三图像分别输入判别器中，得到针对第二迁移图像的第一真值概率和针对第三图像的第二真值概率。第二损失确定子模块用于基于第二迁移图像、第三图像、第一真值概率和第二真值概率，确定图像迁移模型的生成对抗损失。模型训练子模块用于基于第一损失和生成对抗损失，对图像迁移模型进行训练。
根据本公开的实施例，上述模型训练模块850还可以包括第三损失确定子模块，用于基于第二迁移图像和第三图像经由特征提取网络提取得到的两个特征的差异，确定图像迁移模型的第二损失。上述模型训练子模块具体用于基于第一损失、生成对抗损失和第二损失，对图像迁移模型进行训练。
需要说明的是，本公开的技术方案中，所涉及的用户个人信息的获取、收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9示出了可以用来实施本公开实施例的图像迁移方法和/或图像迁移模型的训练方法的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如图像迁移方法和/或图像迁移模型的训练方法。例如，在一些实施例中，图像迁移方法和/或图像迁移模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的图像迁移方法和/或图像迁移模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像迁移方法和/或图像迁移模型的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。其中，服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (25)

1.一种图像迁移方法，包括：
对包括第一对象的第一图像进行数据增强处理，得到第一增强后图像；
提取所述第一增强后图像中所述第一对象的第一属性特征；
提取第二图像包括的第二对象的第一身份特征；以及
基于所述第一属性特征和所述第一身份特征生成第一迁移图像，所述第一迁移图像包括具有所述第一属性特征的第二对象。
2.根据权利要求1所述的方法，还包括：
检测包括所述第一对象的模板图像，得到所述第一对象在所述模板图像中的第一位置信息；以及
基于所述第一位置信息裁剪所述模板图像，获得所述第一图像。
3.根据权利要求2所述的方法，其中，所述基于所述第一位置信息裁剪所述模板图像，获得所述第一图像包括：
基于所述第一位置信息裁剪所述模板图像，得到中间图像；
对所述中间图像进行图像分割处理，得到所述中间图像中目标对象的第二位置信息；所述目标对象包括所述第一对象；
基于所述第二位置信息，生成针对所述目标对象的掩膜图像；以及
基于所述掩膜图像去除所述中间图像的背景图像，得到所述第一图像。
4.根据权利要求1所述的方法，其中，所述提取所述第一增强后图像中所述第一对象的第一属性特征包括：
对所述第一增强后图像进行归一化处理，得到第一归一化图像；以及
采用第一编码网络对所述第一归一化图像进行编码，得到所述第一对象的第一属性特征。
5.根据权利要求1所述的方法，还包括：
检测包括所述第二对象的源图像，得到所述第二对象在所述源图像中的第三位置信息；以及
基于所述第三位置信息裁剪所述源图像，获得所述第二图像。
6.根据权利要求1所述的方法，其中，所述提取第二图像包括的第二对象的第一身份特征包括：
对所述第二图像进行归一化处理，得到第二归一化图像；以及
采用第二编码网络对所述第二归一化图像进行编码，得到所述第二对象的第一身份特征。
7.根据权利要求1或6所述的方法，其中，所述第二图像包括多个图像；所述提取第二图像包括的第二对象的第一身份特征包括：
分别提取所述多个图像中每个图像包括的第二对象的身份特征，得到多个初始身份特征；以及
确定所述多个初始身份特征的均值特征为所述第二对象的第一身份特征。
8.根据权利要求1所述的方法，其中，所述基于所述第一属性特征和所述第一身份特征生成第一迁移图像包括：
融合所述第一属性特征和所述第一身份特征，得到融合特征；以及
将所述融合特征作为生成器的输入，得到所述第一迁移图像。
9.一种图像迁移模型的训练方法，其中，所述图像迁移模型包括第一编码网络、第二编码网络和生成器；所述方法包括：
对包括第三对象的第三图像进行数据增强处理，得到第二增强后图像；
采用所述第一编码网络提取所述第二增强后图像中所述第三对象的第二属性特征；
采用所述第二编码网络提取第四图像包括的第三对象的第二身份特征；
基于所述第二属性特征和所述第二身份特征，采用所述生成器生成第二迁移图像；所述第二迁移图像包括具有所述第二属性特征的第三对象；以及
基于所述第二迁移图像和所述第三图像的差异，对所述图像迁移模型进行训练。
10.根据权利要求9所述的方法，其中，基于所述第二迁移图像和所述第三图像的差异，对所述图像迁移模型进行训练包括：
基于所述第二迁移图像和所述第三图像之间的像素级差异，确定所述图像迁移模型的第一损失；
将所述第二迁移图像和所述第三图像分别输入判别器中，得到针对所述第二迁移图像的第一真值概率和针对所述第三图像的第二真值概率；
基于所述第二迁移图像、所述第三图像、所述第一真值概率和所述第二真值概率，确定所述图像迁移模型的生成对抗损失；以及
基于所述第一损失和所述生成对抗损失，对所述图像迁移模型进行训练。
11.根据权利要求10所述的方法，其中，基于所述第二迁移图像和所述第三图像的差异，对所述图像迁移模型进行训练还包括：
基于所述第二迁移图像和所述第三图像经由特征提取网络提取得到的两个特征的差异，确定所述图像迁移模型的第二损失；以及
基于所述第一损失、所述生成对抗损失和所述第二损失，对所述图像迁移模型进行训练。
12.一种图像迁移装置，包括：
第一增强模块，用于对包括第一对象的第一图像进行数据增强处理，得到第一增强后图像；
第一属性提取模块，用于提取所述第一增强后图像中所述第一对象的第一属性特征；
第一身份提取模块，用于提取第二图像包括的第二对象的第一身份特征；以及
第一图像生成模块，用于基于所述第一属性特征和所述第一身份特征生成第一迁移图像，所述第一迁移图像包括具有所述第一属性特征的第二对象。
13.根据权利要求12所述的装置，还包括：
第一图像检测模块，用于检测包括所述第一对象的模板图像，得到所述第一对象在所述模板图像中的第一位置信息；以及
第一图像裁剪模块，用于基于所述第一位置信息裁剪所述模板图像，获得所述第一图像。
14.根据权利要求13所述的装置，其中，所述图像裁剪模块包括：
裁剪子模块，用于基于所述第一位置信息裁剪所述模板图像，得到中间图像；
分割子模块，用于对所述中间图像进行图像分割处理，得到所述中间图像中目标对象的第二位置信息；所述目标对象包括所述第一对象；
掩膜生成子模块，用于基于所述第二位置信息，生成针对所述目标对象的掩膜图像；以及
背景去除子模块，用于基于所述掩膜图像去除所述中间图像的背景图像，得到所述第一图像。
15.根据权利要求12所述的装置，其中，所述第一属性提取模块包括：
第一归一化子模块，用于对所述第一增强后图像进行归一化处理，得到第一归一化图像；以及
属性提取子模块，用于采用第一编码网络对所述第一归一化图像进行编码，得到所述第一对象的第一属性特征。
16.根据权利要求12所述的装置，还包括：
第二图像检测模块，用于检测包括所述第二对象的源图像，得到所述第二对象在所述源图像中的第三位置信息；以及
第二图像裁剪模块，用于基于所述第三位置信息裁剪所述源图像，获得所述第二图像。
17.根据权利要求12所述的装置，其中，所述第一身份提取模块包括：
第二归一化子模块，用于对所述第二图像进行归一化处理，得到第二归一化图像；以及
身份提取子模块，用于采用第二编码网络对所述第二归一化图像进行编码，得到所述第二对象的第一身份特征。
18.根据权利要求12或17所述的装置，其中，所述第二图像包括多个图像；所述第一身份提取模块用于：
分别提取所述多个图像中每个图像包括的第二对象的身份特征，得到多个初始身份特征；以及
确定所述多个初始身份特征的均值特征为所述第二对象的第一身份特征。
19.根据权利要求12所述的装置，其中，所述第一图像生成模块包括：
特征融合子模块，用于融合所述第一属性特征和所述第一身份特征，得到融合特征；以及
图像生成子模块，用于将所述融合特征作为生成器的输入，得到所述第一迁移图像。
20.一种图像迁移模型的训练装置，其中，所述图像迁移模型包括第一编码网络、第二编码网络和生成器；所述装置包括：
第二增强模块，用于对包括第三对象的第三图像进行数据增强处理，得到第二增强后图像；
第二属性提取模块，用于采用所述第一编码网络提取所述第二增强后图像中所述第三对象的第二属性特征；
第二身份提取模块，用于采用所述第二编码网络提取第四图像包括的第三对象的第二身份特征；
第二图像生成模块，用于基于所述第二属性特征和所述第二身份特征，采用所述生成器生成第二迁移图像；所述第二迁移图像包括具有所述第二属性特征的第三对象；以及
模型训练模块，用于基于所述第二迁移图像和所述第三图像的差异，对所述图像迁移模型进行训练。
21.根据权利要求20所述的装置，其中，所述模型训练模块包括：
第一损失确定子模块，用于基于所述第二迁移图像和所述第三图像之间的像素级差异，确定所述图像迁移模型的第一损失；
真值概率确定子模块，用于将所述第二迁移图像和所述第三图像分别输入判别器中，得到针对所述第二迁移图像的第一真值概率和针对所述第三图像的第二真值概率；
第二损失确定子模块，用于基于所述第二迁移图像、所述第三图像、所述第一真值概率和所述第二真值概率，确定所述图像迁移模型的生成对抗损失；以及
模型训练子模块，用于基于所述第一损失和所述生成对抗损失，对所述图像迁移模型进行训练。
22.根据权利要求21所述的装置，其中，所述模型训练模块还包括：
第三损失确定子模块，用于基于所述第二迁移图像和所述第三图像经由特征提取网络提取得到的两个特征的差异，确定所述图像迁移模型的第二损失；以及
所述模型训练子模块用于基于所述第一损失、所述生成对抗损失和所述第二损失，对所述图像迁移模型进行训练。
23.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～11中任一项所述的方法。
24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～11中任一项所述的方法。
25.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1～11中任一项所述的方法。
CN202111502369.9A 2021-12-09 2021-12-09 图像迁移方法和图像迁移模型的训练方法、装置 Pending CN114140319A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111502369.9A CN114140319A (zh) 2021-12-09 2021-12-09 图像迁移方法和图像迁移模型的训练方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111502369.9A CN114140319A (zh) 2021-12-09 2021-12-09 图像迁移方法和图像迁移模型的训练方法、装置

Publications (1)

Publication Number Publication Date
CN114140319A true CN114140319A (zh) 2022-03-04

Family

ID=80385555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111502369.9A Pending CN114140319A (zh) 2021-12-09 2021-12-09 图像迁移方法和图像迁移模型的训练方法、装置

Country Status (1)

Country Link
CN (1) CN114140319A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275779A (zh) * 2020-01-08 2020-06-12 网易（杭州）网络有限公司 表情迁移方法、图像生成器的训练方法、装置及电子设备
CN111652121A (zh) * 2020-06-01 2020-09-11 腾讯科技（深圳）有限公司 一种表情迁移模型的训练方法、表情迁移的方法及装置
CN111754396A (zh) * 2020-07-27 2020-10-09 腾讯科技（深圳）有限公司 脸部图像处理方法、装置、计算机设备和存储介质
CN111784565A (zh) * 2020-07-01 2020-10-16 北京字节跳动网络技术有限公司 图像处理方法、迁移模型训练方法、装置、介质及设备
CN112800869A (zh) * 2021-01-13 2021-05-14 网易（杭州）网络有限公司 图像人脸表情迁移方法、装置、电子设备及可读存储介质
JP2021119535A (ja) * 2020-08-20 2021-08-12 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 画像処理方法、装置、電子機器及び記憶媒体
KR20210121972A (ko) * 2020-03-31 2021-10-08 주식회사 자가돌봄 분리 가능한 전이 학습 기반의 인공 신경망을 이용하는 시스템 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275779A (zh) * 2020-01-08 2020-06-12 网易（杭州）网络有限公司 表情迁移方法、图像生成器的训练方法、装置及电子设备
KR20210121972A (ko) * 2020-03-31 2021-10-08 주식회사 자가돌봄 분리 가능한 전이 학습 기반의 인공 신경망을 이용하는 시스템 및 방법
CN111652121A (zh) * 2020-06-01 2020-09-11 腾讯科技（深圳）有限公司 一种表情迁移模型的训练方法、表情迁移的方法及装置
CN111784565A (zh) * 2020-07-01 2020-10-16 北京字节跳动网络技术有限公司 图像处理方法、迁移模型训练方法、装置、介质及设备
CN111754396A (zh) * 2020-07-27 2020-10-09 腾讯科技（深圳）有限公司 脸部图像处理方法、装置、计算机设备和存储介质
JP2021119535A (ja) * 2020-08-20 2021-08-12 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 画像処理方法、装置、電子機器及び記憶媒体
CN112800869A (zh) * 2021-01-13 2021-05-14 网易（杭州）网络有限公司 图像人脸表情迁移方法、装置、电子设备及可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QI LI.ETC: "Infrared Enhancement for Water Surface Imaging Based on Theory of Radiative Transfer and Edge Weight Analysis", IEEE, 31 December 2019 (2019-12-31) *
刘伦豪杰;王晨辉;卢慧;王家豪;: "基于迁移卷积神经网络的人脸表情识别", 电脑知识与技术, no. 07, 5 March 2019 (2019-03-05) *
陈军波;刘蓉;刘明;冯杨;: "基于条件生成式对抗网络的面部表情迁移模型", 计算机工程, no. 04, 15 April 2020 (2020-04-15) *

Similar Documents

Publication Publication Date Title
CN113221771B (zh) 活体人脸识别方法、装置、设备、存储介质及程序产品
CN113379627A (zh) 图像增强模型的训练方法和对图像进行增强的方法
CN113435408A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN113901909B (zh) 基于视频的目标检测方法、装置、电子设备和存储介质
CN113591566A (zh) 图像识别模型的训练方法、装置、电子设备和存储介质
CN112967315B (zh) 一种目标跟踪方法、装置及电子设备
CN112528858A (zh) 人体姿态估计模型的训练方法、装置、设备、介质及产品
CN115578614B (zh) 图像处理模型的训练方法、图像处理方法和装置
CN113326773A (zh) 识别模型训练方法、识别方法、装置、设备及存储介质
CN112561879A (zh) 模糊度评价模型训练方法、图像模糊度评价方法及装置
CN111192312B (zh) 基于深度学习的深度图像获取方法、装置、设备及介质
CN113962845B (zh) 图像处理方法、图像处理装置、电子设备以及存储介质
CN114792355A (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN114140320B (zh) 图像迁移方法和图像迁移模型的训练方法、装置
CN116994319A (zh) 训练模型的方法和人脸识别方法、设备、介质
CN115222895B (zh) 图像生成方法、装置、设备以及存储介质
CN114387651B (zh) 一种人脸识别方法、装置、设备及存储介质
CN114187318B (zh) 图像分割的方法、装置、电子设备以及存储介质
CN113553905B (zh) 图像识别方法、装置及系统
CN115409951A (zh) 图像处理方法、装置、电子设备及存储介质
CN115019057A (zh) 图像特征提取模型确定方法及装置、图像识别方法及装置
CN114140319A (zh) 图像迁移方法和图像迁移模型的训练方法、装置
CN114067394A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN113887435A (zh) 人脸图像处理方法、装置、设备、存储介质及程序产品
CN114187168A (zh) 图像迁移方法和图像迁移模型的训练方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination