CN109191409A - 图像处理、网络训练方法、装置、电子设备和存储介质 - Google Patents

图像处理、网络训练方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN109191409A
CN109191409A CN201810826566.8A CN201810826566A CN109191409A CN 109191409 A CN109191409 A CN 109191409A CN 201810826566 A CN201810826566 A CN 201810826566A CN 109191409 A CN109191409 A CN 109191409A
Authority
CN
China
Prior art keywords
image
network
sample
identity
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810826566.8A
Other languages
English (en)
Other versions
CN109191409B (zh
Inventor
沈宇军
罗平
闫俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201810826566.8A priority Critical patent/CN109191409B/zh
Publication of CN109191409A publication Critical patent/CN109191409A/zh
Application granted granted Critical
Publication of CN109191409B publication Critical patent/CN109191409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例提供了一种图像处理、网络训练方法、装置、电子设备和存储介质。图像处理方法，其特征在于，包括：从第一图像中提取所述第一图像中包括的第一目标对象的身份特征数据；根据噪声数据，生成噪声特征数据；根据所述第一目标对象的身份特征数据和所述噪声特征数据，生成第二图像。可基于含有第一目标对象的第一图像，将提取自第一图像的身份特征数据和噪声特征数据进行结合，来生成能够保持目标对象的身份特征而具有不同显示效果的合成图像。

Description

图像处理、网络训练方法、装置、电子设备和存储介质
技术领域
本公开实施例涉及图像处理技术领域，尤其涉及一种图像处理、网络训练方法、装置、电子设备和存储介质。
背景技术
人脸图像合成是人工智能领域的热点，对抗生成网络(Generative AdversarialNetwork，GAN)被广泛应用于人脸图像合成。然而，如何生成高质量的人脸图片仍然是本领域的难点。
发明内容
本公开实施例提供了图像处理和网络训练技术方案。
根据本公开实施例的第一方面，提供了一种图像处理方法，包括：从第一图像中提取所述第一图像中包括的第一目标对象的身份特征数据；根据噪声数据，生成噪声特征数据；根据所述第一目标对象的身份特征数据和所述噪声特征数据，生成第二图像。
可选地，所述根据所述第一目标对象的身份特征数据和所述噪声特征数据，生成第二图像，包括：对所述第一目标对象的身份特征数据和所述噪声特征数据进行连接处理，得到连接特征；基于所述连接特征，生成第二图像。
可选地，所述方法通过图像处理网络实现，所述方法还包括：基于所述第二图像，训练所述图像处理网络。
可选地，所述基于所述第二图像，训练所述图像处理网络，包括：对所述第二图像进行特征提取处理，得到所述第二图像的特征数据；基于所述第二图像的特征数据，调整所述图像处理网络的网络参数。
可选地，所述第二图像的特征数据包括所述第二图像中包括的第二目标对象的非身份特征数据；所述基于所述第二图像的特征数据，调整所述图像处理网络的网络参数，包括：基于所述第二图像的非身份特征数据和所述噪声特征数据，确定第一模型损失；基于所述第一模型损失，调整所述图像处理网络中的第一生成网络的网络参数，其中，所述噪声特征数据是通过所述第一生成网络生成的。
可选地，所述第二图像的特征数据包括所述第二图像中包括的第二目标对象的身份特征数据，其中，所述身份特征数据是通过所述图像处理网络的身份特征提取网络得到的；所述基于所述第二图像的特征数据，调整所述图像处理网络的网络参数，包括：基于所述第二目标对象的身份特征数据，确定所述第二目标对象的预测身份信息；基于所述第二目标对象的预测身份信息以及所述第一目标对象的预测身份信息，确定第二模型损失；基于所述第二模型损失，调整所述身份特征提取网络的网络参数。
可选地，所述预测身份信息包括预测身份和预测身份类别，所述预测身份类别为真实图像中的目标对象身份或合成图像中的目标对象身份。
可选地，所述方法还包括：对所述第一图像进行非身份特征提取处理，得到所述第一图像中第一目标对象的非身份特征数据；基于所述第一目标对象的身份特征数据和所述第一目标对象的非身份特征数据，生成重构图像；所述基于所述第二图像的特征数据，调整所述图像处理网络的网络参数，包括：基于所述第二图像的特征数据和所述重构图像，调整所述图像处理网络的网络参数。
可选地，所述基于所述第二图像的特征数据和所述重构图像，调整所述图像处理网络的网络参数，包括：确定所述第一图像和所述重构图像之间的第一差异；基于所述第一差异以及所述第二图像中第二目标对象的非身份特征数据与所述噪声特征数据之间的第二差异，确定第三模型损失；基于所述第三模型损失，确定所述图像处理网络中的非身份特征提取网络的网络参数，其中，所述非身份特征数据是通过所述非身份特征提取网络得到的。
可选地，所述基于所述第二图像的特征数据和所述重构图像，调整所述图像处理网络的网络参数，包括：对所述重构图像进行特征提取处理，得到所述重构图像的特征数据；基于所述第二图像的特征数据和所述重构图像的特征数据，调整所述图像处理网络的网络参数。
可选地，所述基于所述第二图像的特征数据和所述重构图像的特征数据，调整所述图像处理网络的网络参数，包括：基于所述第二图像的特征数据、所述重构图像的特征数据、所述第一目标对象的身份特征数据和所述噪声特征数据，确定第四模型损失；基于所述第四模型损失，调整所述图像处理网络中第二生成网络的网络参数，其中，所述第二图像和所述重构图像是通过所述第二生成网络生成的。
可选地，所述非身份特征数据包括面色特征数据、表情特征数据、口型特征数据、朝向特征数据、妆扮特征数据、图像质量特征数据中的一种或多种。
可选地，所述第一目标对象为人脸。
根据本公开实施例的第二方面，提供了一种图像处理网络的训练方法，包括：基于样本图像，通过图像处理网络生成样本合成图像；对所述样本合成图像进行特征提取处理，得到所述样本合成图像的特征数据；根据所述样本合成图像的特征数据，训练所述图像处理网络。
可选地，所述图像处理网络包括身份特征提取网络、第一生成网络和第二生成网络；所述方法还包括：基于噪声数据，通过所述第一生成网络生成噪声特征数据；所述基于样本图像，通过所述图像处理网络生成样本合成图像，包括：利用所述身份特征提取网络对所述样本图像进行第一身份特征提取处理，得到所述样本图像中第一目标对象的身份特征数据；基于所述第一目标对象的身份特征数据和所述噪声特征数据，通过所述第二生成网络生成所述样本合成图像。
可选地，所述样本合成图像的特征数据包括所述样本合成图像中包括的第二目标对象的非身份特征数据；所述根据所述样本合成图像的特征数据，训练所述图像处理网络，包括：基于所述第二目标对象的非身份特征数据与所述噪声特征数据，确定第一模型损失；基于所述第一模型损失，调整所述第一生成网络的网络参数。
可选地，所述样本合成图像的特征数据包括所述样本合成图像中包括的第二目标对象的身份特征数据；所述根据所述样本合成图像的特征数据，训练所述图像处理网络，包括：根据所述第二目标对象的身份特征数据，确定所述第二目标对象的预测身份信息；基于所述第一目标对象的预测身份信息和所述第二目标对象的预测身份信息，确定第二模型损失；基于所述第二模型损失，调整所述身份特征提取网络的网络参数。
可选地，所述预测身份信息包括预测身份和预测身份类别，所述预测身份类别为真实图像中的目标对象身份或合成图像中的目标对象身份。
可选地，所述方法还包括：对所述样本图像进行非身份特征提取处理，得到所述样本图像中第一目标对象的非身份特征数据；基于所述第一目标对象的身份特征数据和所述第一目标对象的非身份特征数据，通过所述第二生成网络生成样本重构图像；所述根据所述样本合成图像的特征数据，训练所述图像处理网络，包括：基于所述样本合成图像的特征数据和所述样本重构图像，调整所述图像处理网络的网络参数。
可选地，所述基于所述样本合成图像的特征数据和所述样本重构图像，调整所述图像处理网络的网络参数，包括：确定所述样本图像和所述样本重构图像之间的第一差异；基于所述样本合成图像中第二目标对象的非身份特征数据与所述噪声特征数据，确定第二差异；基于所述第一差异和所述第二差异，确定第三模型损失；基于所述第三模型损失，调整所述图像处理网络中的非身份特征提取网络的网络参数，其中，所述非身份特征数据是通过所述非身份特征提取网络得到的。
可选地，所述基于所述样本合成图像的特征数据和所述样本重构图像，调整所述图像处理网络的网络参数，包括：对所述样本重构图像进行特征提取处理，得到所述样本重构图像的特征数据；基于所述样本合成图像的特征数据和所述样本重构图像的特征数据，调整所述图像处理网络的网络参数。
可选地，所述基于所述样本合成图像的特征数据和所述样本重构图像的特征数据，调整所述图像处理网络的网络参数，包括：基于所述样本合成图像的特征数据、所述样本重构图像的特征数据、所述第一目标对象的身份特征数据和所述噪声特征数据，确定第四模型损失；基于所述第四模型损失，调整所述图像处理网络中第二生成网络的网络参数。
根据本公开实施例的第三方面，提供了一种图像处理方法，包括：获取第一图像；通过图像处理网络对第一图像进行处理，得到第二图像，其中，所述图像处理网络是根据任一前述所述的训练方法得到的。
根据本公开实施例的第四方面，提供了一种图像处理网络的训练方法，包括：利用所述图像处理网络对所述样本图像进行处理，生成样本重构图像；利用所述图像处理网络对所述样本图像进行处理，生成样本合成图像；根据所述样本重构图像和所述样本合成图像，训练所述图像处理网络。
可选地，所述利用所述图像处理网络对所述样本图像进行处理，生成样本合成图像，包括：基于噪声数据，生成噪声特征数据；对所述样本图像进行身份特征提取处理，得到所述样本图像中第一目标对象的身份特征数据；基于所述第一目标对象的身份特征数据和所述噪声特征数据，通过所述图像处理网络中的第二生成网络生成所述样本合成图像。
可选地，所述利用所述图像处理网络对所述样本图像进行处理，生成样本重构图像，包括：对所述样本图像进行非身份特征提取处理，得到所述样本图像中第一目标对象的非身份特征数据；基于所述第一目标对象的身份特征数据和所述第一目标对象的非身份特征数据，通过所述图像处理网络中的第二生成网络生成样本重构图像。
可选地，所述根据所述样本重构图像和所述样本合成图像，训练所述图像处理网络，包括：对所述样本重构图像和所述样本合成图像中的至少一项进行特征提取处理，得到所述样本重构图像和所述样本合成图像中的至少一项的特征数据；基于所述样本重构图像和所述样本合成图像中的至少一项的特征数据，调整所述图像处理网络的网络参数。
可选地，所述基于所述样本重构图像和所述样本合成图像中的至少一项的特征数据，调整所述图像处理网络的网络参数，包括：确定所述样本重构图像和所述样本图像之间的第一差异；基于所述样本合成图像中第二目标对象的非身份特征数据和所述噪声特征数据，确定第二差异，其中，所述样本合成图像的特征数据包括所述样本合成图像中第二目标对象的非身份特征数据；基于所述第一差异和所述第二差异，确定第三模型损失；基于所述第三模型损失，调整所述图像处理网络中非身份特征提取网络的网络参数，其中，所述非身份特征数据是通过所述非身份特征提取网络得到的。
可选地，所述基于所述样本重构图像和所述样本合成图像中的至少一项的特征数据，调整所述图像处理网络的网络参数，包括：基于所述样本合成图像的特征数据、所述样本重构图像的特征数据、所述第一目标对象的身份特征数据和所述噪声特征数据，确定第四模型损失；基于所述第四模型损失，调整所述图像处理网络中第二生成网络的网络参数。
根据本公开实施例的第五方面，提供了一种图像处理方法，包括：获取第一图像；通过图像处理网络对第一图像进行处理，得到第二图像，其中，所述图像处理网络是根据任一前述训练方法得到的。
根据本公开实施例的第六方面，提供了一种图像处理装置，包括：身份特征提取模块，用于从第一图像中提取所述第一图像中包括的第一目标对象的身份特征数据；第一噪声特征生成模块，用于根据噪声数据，生成噪声特征数据；图像生成模块，用于根据所述第一目标对象的身份特征数据和所述噪声特征数据，生成第二图像。
可选地，所述图像生成模块包括：特征连接单元，用于对所述第一目标对象的身份特征数据和所述噪声特征数据进行连接处理，得到连接特征；图像生成单元，用于基于所述连接特征，生成第二图像。
可选地，所述装置还包括：第一网络训练模块，基于所述第二图像，训练图像处理网络。
可选地，所述第一网络训练模块包括：特征提取单元，用于对所述第二图像进行特征提取处理，得到所述第二图像的特征数据；参数调整单元，用于基于所述第二图像的特征数据，调整所述图像处理网络的网络参数。
可选地，所述第二图像的特征数据包括所述第二图像中包括的第二目标对象的非身份特征数据；所述参数调整单元包括：第一模型损失确定子单元，用于基于所述第二图像的非身份特征数据和所述噪声特征数据，确定第一模型损失；第一网络训练子单元，用于基于所述第一模型损失，调整所述图像处理网络中的第一生成网络的网络参数，其中，所述噪声特征数据是通过所述第一生成网络生成的。
可选地，所述第二图像的特征数据包括所述第二图像中包括的第二目标对象的身份特征数据，其中，所述身份特征数据是通过所述图像处理网络的身份特征提取网络得到的；所述参数调整单元包括：身份预测子单元，用于基于所述第二目标对象的身份特征数据，确定所述第二目标对象的预测身份信息；第二模型损失确定子单元，用于基于所述第二目标对象的预测身份信息以及所述第一目标对象的预测身份信息，确定第二模型损失；第二网络训练子单元，用于基于所述第二模型损失，调整所述身份特征提取网络的网络参数。
可选地，所述预测身份信息包括预测身份和预测身份类别，所述预测身份类别为真实图像中的目标对象身份或合成图像中的目标对象身份。
可选地，所述装置还包括：非身份特征提取模块，用于对所述第一图像进行非身份特征提取处理，得到所述第一图像中第一目标对象的非身份特征数据；图像重构模块，用于基于所述第一目标对象的身份特征数据和所述第一目标对象的非身份特征数据，生成重构图像。所述参数调整单元包括：第三网络训练子单元，用于基于所述第二图像的特征数据和所述重构图像，调整所述图像处理网络的网络参数。
可选地，所述第三网络训练子单元用于：确定所述第一图像和所述重构图像之间的第一差异；基于所述第一差异以及所述第二图像中第二目标对象的非身份特征数据与所述噪声特征数据之间的第二差异，确定第三模型损失；基于所述第三模型损失，确定所述图像处理网络中的非身份特征提取网络的网络参数，其中，所述非身份特征数据是通过所述非身份特征提取网络得到的。
可选地，所述第三网络训练子单元用于：对所述重构图像进行特征提取处理，得到所述重构图像的特征数据；基于所述第二图像的特征数据和所述重构图像的特征数据，调整所述图像处理网络的网络参数。
可选地，所述第三网络训练子单元在基于所述第二图像的特征数据和所述重构图像的特征数据，调整所述图像处理网络的网络参数的处理中，用于：基于所述第二图像的特征数据、所述重构图像的特征数据、所述第一目标对象的身份特征数据和所述噪声特征数据，确定第四模型损失；基于所述第四模型损失，调整所述图像处理网络中第二生成网络的网络参数，其中，所述第二图像和所述重构图像是通过所述第二生成网络生成的。
可选地，所述非身份特征数据包括面色特征数据、表情特征数据、口型特征数据、朝向特征数据、妆扮特征数据、图像质量特征数据中的一种或多种。
可选地，所述第一目标对象为人脸。
根据本公开实施例的第七方面，提供了一种图像处理网络的训练装置，包括：样本图像合成模块，用于基于样本图像，通过图像处理网络生成样本合成图像；特征提取模块，用于对所述样本合成图像进行特征提取处理，得到所述样本合成图像的特征数据；第二网络训练模块，用于根据所述样本合成图像的特征数据，训练所述图像处理网络。
可选地，所述图像处理网络包括身份特征提取网络、第一生成网络和第二生成网络；所述装置还包括：第二噪声特征生成模块，用于基于噪声数据，通过所述第一生成网络生成噪声特征数据；所述样本图像合成模块包括：身份特征提取单元，用于利用所述身份特征提取网络对所述样本图像进行第一身份特征提取处理，得到所述样本图像中第一目标对象的身份特征数据；图像合成单元，用于基于所述第一目标对象的身份特征数据和所述噪声特征数据，通过所述第二生成网络生成所述样本合成图像。
可选地，所述样本合成图像的特征数据包括所述样本合成图像中包括的第二目标对象的非身份特征数据；所述第二网络训练模块包括：第一模型损失确定单元，用于基于所述第二目标对象的非身份特征数据与所述噪声特征数据，确定第一模型损失；第一网络训练单元，用于基于所述第一模型损失，调整所述第一生成网络的网络参数。
可选地，所述样本合成图像的特征数据包括所述样本合成图像中包括的第二目标对象的身份特征数据；所述第二网络训练模块包括：身份预测单元，用于根据所述第二目标对象的身份特征数据，确定所述第二目标对象的预测身份信息；第二模型损失确定单元，用于基于所述第一目标对象的预测身份信息和所述第二目标对象的预测身份信息，确定第二模型损失；第二网络训练单元，用于基于所述第二模型损失，调整所述身份特征提取网络的网络参数。
可选地，所述预测身份信息包括预测身份和预测身份类别，所述预测身份类别为真实图像中的目标对象身份或合成图像中的目标对象身份。
可选地，所述装置还包括：样本非身份特征提取模块，用于对所述样本图像进行非身份特征提取处理，得到所述样本图像中第一目标对象的非身份特征数据；样本重构模块，用于基于所述第一目标对象的身份特征数据和所述第一目标对象的非身份特征数据，通过所述第二生成网络生成样本重构图像；所述第二网络训练模块包括：第三网络训练单元，用于基于所述样本合成图像的特征数据和所述样本重构图像，调整所述图像处理网络的网络参数。
可选地，所述第三网络训练单元包括：第一差异确定子单元，用于确定所述样本图像和所述样本重构图像之间的第一差异；第二差异确定子单元，用于基于所述样本合成图像中第二目标对象的非身份特征数据与所述噪声特征数据，确定第二差异；差异融合子单元，用于基于所述第一差异和所述第二差异，确定第三模型损失；第四网络训练子单元，用于基于所述第三模型损失，调整所述图像处理网络中的非身份特征提取网络的网络参数，其中，所述非身份特征数据是通过所述非身份特征提取网络得到的。
可选地，所述第三网络训练单元包括：重构特征提取子单元，用于对所述样本重构图像进行特征提取处理，得到所述样本重构图像的特征数据；第五网络训练子单元，用于基于所述样本合成图像的特征数据和所述样本重构图像的特征数据，调整所述图像处理网络的网络参数。
可选地，所述第五网络训练子单元，用于：基于所述样本合成图像的特征数据、所述样本重构图像的特征数据、所述第一目标对象的身份特征数据和所述噪声特征数据，确定第四模型损失；基于所述第四模型损失，调整所述图像处理网络中第二生成网络的网络参数。
根据本公开实施例的第八方面，提供了一种图像处理装置，包括：图像获取模块，用于获取第一图像；图像处理模块，用于通过图像处理网络对第一图像进行处理，得到第二图像，其中，所述图像处理网络是根据任一前述的训练装置得到的。
根据本公开实施例的第九方面，提供了一种图像处理网络的训练装置，包括：第一图像处理模块，用于利用所述图像处理网络对所述样本图像进行处理，生成样本重构图像；第二图像处理模块，用于利用所述图像处理网络对所述样本图像进行处理，生成样本合成图像；图像处理网络训练模块，用于根据所述样本重构图像和所述样本合成图像，训练所述图像处理网络。
可选地，所述第二图像处理模块包括：噪声特征生成单元，用于基于噪声数据，生成噪声特征数据；样本身份特征提取单元，用于对所述样本图像进行身份特征提取处理，得到所述样本图像中第一目标对象的身份特征数据；样本图像合成单元，用于基于所述第一目标对象的身份特征数据和所述噪声特征数据，通过所述图像处理网络中的第二生成网络生成所述样本合成图像。
可选地，所述第一图像处理模块包括：样本非身份特征提取单元，用于对所述样本图像进行非身份特征提取处理，得到所述样本图像中第一目标对象的非身份特征数据；样本图像重构单元，用于基于所述第一目标对象的身份特征数据和所述第一目标对象的非身份特征数据，通过所述图像处理网络中的第二生成网络生成样本重构图像。
可选地，所述图像处理网络训练模块包括：重构图像特征提取单元，用于对所述样本重构图像和所述样本合成图像中的至少一项进行特征提取处理，得到所述样本重构图像和所述样本合成图像中的至少一项的特征数据；图像处理网络训练单元，用于基于所述样本重构图像和所述样本合成图像中的至少一项的特征数据，调整所述图像处理网络的网络参数。
可选地，所述图像处理网络训练单元包括：第一差异确定子单元，用于确定所述样本重构图像和所述样本图像之间的第一差异；第二差异确定子单元，用于基于所述样本合成图像中第二目标对象的非身份特征数据和所述噪声特征数据，确定第二差异，其中，所述样本合成图像的特征数据包括所述样本合成图像中第二目标对象的非身份特征数据；差异融合子单元，用于基于所述第一差异和所述第二差异，确定第三模型损失；第四网络训练子单元，用于基于所述第三模型损失，调整所述图像处理网络中非身份特征提取网络的网络参数，其中，所述非身份特征数据是通过所述非身份特征提取网络得到的。
可选地，所述图像处理网络训练单元包括：第四模型损失确定子单元，用于基于所述样本合成图像的特征数据、所述样本重构图像的特征数据、所述第一目标对象的身份特征数据和所述噪声特征数据，确定第四模型损失；第六网络训练子单元，用于基于所述第四模型损失，调整所述图像处理网络中第二生成网络的网络参数。
根据本公开实施例的第十方面，提供了一种图像处理装置，包括：图像获取模块，用于获取第一图像；图像处理模块，用于通过图像处理网络对所述第一图像进行处理，得到第二图像，其中，所述图像处理网络是根据任一前述的训练装置得到的。
根据本公开实施例的第十一方面，提供了一种电子设备，包括：处理器和存储器；所述存储器用于存放至少一个可执行指令，所述可执行指令使所述处理器执行如任一前述所述的图像处理方法。
根据本公开实施例的第十二方面，提供了一种电子设备，包括：处理器和存储器；所述存储器用于存放至少一个可执行指令，所述可执行指令使所述处理器执行如任一前述的图像处理网络的训练方法。
根据本公开实施例的第十三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有可执行指令，所述可执行指令使所述处理器执行如任一前述的图像处理方法。
根据本公开实施例的第十四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有可执行指令，所述可执行指令使所述处理器执行如任一前述的图像处理网络的训练方法。
根据本公开实施例的第十五方面，提供了一种计算机程序产品，包括：至少一个可执行指令，所述可执行指令被处理器执行时用于实现如任一前述的图像处理方法。
根据本公开实施例的第十六方面，提供了一种计算机程序产品，包括：至少一个可执行指令，所述可执行指令被处理器执行时用于实现任一前述的图像处理网络的训练方法。
本公开实施例的图像处理方案，可基于含有第一目标对象的第一图像，将提取自第一图像的身份特征数据和噪声特征数据进行结合，来生成能够保持目标对象的身份特征而具有不同显示效果的合成图像。
附图说明
图1是示出根据本发明一些实施例的图像处理方法的流程图；
图2是示出步骤S120的一种示例性处理的流程图；
图3是示出步骤S120的另一种示例性处理的流程图；
图4是示出根据本公开另一些实施例的图像处理方法的流程图；
图5和图6分别示出步骤S460的两种示例性处理的流程图；
图7是示出根据本公开示例性实施例的图像处理网络的训练方法的流程图；
图8是示出步骤S710的示例性处理的流程图；
图9是示出根据本公开另一示例性实施例的图像处理网络的训练方法的流程图；
图10是示出步骤S950的示例性处理的流程图；
图11是示出步骤S950的另一示例性处理的流程图；
图12是示出根据本公开示例性实施例的图像处理网络的训练方法的流程图；
图13示出了本公开实施例的图像处理网络中各网络之间的示意性关系；
图14是示出根据本公开一些实施例的图像处理装置的逻辑框图；
图15是示出根据本公开一些实施例的第一网络训练模块1440的逻辑框图；
图16是示出根据本公开一些实施例的参数调整单元1520的逻辑框图；
图17示出根据本公开另一些实施例的参数调整单元1520的逻辑框图；
图18是示出根据本公开另一些实施例的图像处理装置的逻辑框图；
图19是示出根据本公开一些实施例的图像处理网络的训练装置的逻辑框图；
图20是示出根据本公开一些实施例的第二网络训练模块1930的逻辑框图；
图21是示出根据本公开另一些实施例的第二网络训练模块1930的逻辑框图；
图22是示出根据本公开另一些实施例的图像处理网络的训练装置的逻辑框图；
图23是示出根据本公开一些实施例的另一种图像处理网络的训练装置的逻辑框图；
图24是示出根据本公开一些实施例的图像处理网络训练模块2330的逻辑框图；
图25是示出根据本公开另一些实施例的图像处理网络训练模块2330的逻辑框图；
图26是示出根据本公开另一些实施例的图像处理网络训练模块2330的逻辑框图；
图27示出了适于用来实现本公开实施例的图像处理装置的第一电子设备2700的结构示意图。
具体实施方式
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本公开实施例的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本公开范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
图1是示出根据本发明一些实施例的图像处理方法的流程图。
参照图1，在步骤S90，从第一图像中提取所述第一图像中包括的第一目标对象的身份特征数据。
这里，从第一图像的类别来讲，第一图像可为静态图像，或者为视频序列中的视频帧图像，也可以是合成图像等。第一目标对象为具有视觉上可见的形状、结构的物体或对象，例如猫、狗等动物、机动车辆、自行车、建筑物、行人、人脸等。
第一目标对象的身份特征数据是用于对第一目标对象进行身份识别的第一目标对象的特征数据。在一些可选实施例中，身份特征数据可以具体为特征向量，例如身份特征数据为从第一图像中获取的原始的身份特征向量或经过处理的身份特征向量，本公开实施例对身份特征数据的具体实现不做限定。
在一些可选实施例中，第一图像是脸部图像或者头部图像，例如，正面脸部图像，正面头部图像，正面半身图像，正面全身图像等。相应地，身份特征数据可包括眼部特征数据、嘴部特征数据、鼻部身份特征数据或头部特征数据或上半身特征数据或人体特征数据等。
在一些可选实施例中，可以首先获取第一图像，然后再对获取的第一图像进行特征提取处理，从第一图像中提取得到第一图像中目标对象的身份特征数据。
在步骤S100，根据噪声数据，生成噪声特征数据。
可随机生成用于图像处理的噪声数据，或者使用用户指定的噪声数据来执行本公开的图像处理。该噪声数据可以是第一目标对象的任何变形特征数据，如非身份噪声数据，为了保持身份特征不变，该噪声数据可以是与非身份特征相关的数据。在该步骤，使用噪声数据来生成表征非身份特性的噪声特征数据，例如非身份特征分布数据。
在本公开实施例中，噪声数据可以为一个随机噪声数据，例如高斯随机向量，可以是一维或多维的向量，本申请实施例对此不做限定。
在一些实施例中，可以将噪声数据输入到第一生成器进行处理，输出噪声特征数据。
在步骤S110，根据所述第一目标对象的身份特征数据和所述噪声特征数据，生成第二图像。
具体地，在该步骤，基于从第一图像提取的身份特征数据和所述噪声特征数据进行图像合成，生成保持第一目标对象的身份特性的第二图像。
根据本公开可选实施方式，在步骤S110，对所述第一目标对象的身份特征数据和所述噪声特征数据进行连接处理，得到连接特征，并且基于所述连接特征，生成第二图像。
通常身份特征数据和噪声特征数据均可包括一个或多个特征参数，可将身份特征数据和所述噪声特征数据表征为特征向量，在生成第二图像的处理中，可将身份特征数据和所述噪声特征数据进行连接，获得连接特征，再基于获得的连接特征来进行图像合成，生成第二图像。
在一些实施例中，可以利用第二生成器，基于第一目标对象的身份特征数据和噪声特征数据，生成第二图像。其中，可以将第一目标对象的身份特征数据和噪声特征数据直接输入到第二生成器，或者，可以在对第一目标对象的身份特征数据和噪声特征数据进行一种或多种处理，并将处理得到的结果输入到第二生成器，本公开实施例对此不做限定。
通过前述处理，可基于含有第一目标对象的第一图像，将提取自第一图像的身份特征数据和噪声特征数据进行结合，来生成能够保持目标对象的身份特征而具有不同显示效果的合成图像。
根据本公开可选实施方式，可通过图像处理网络实现本公开图像处理方法，即通过图像处理网络从第一图像中提取所述第一图像中包括的第一目标对象的身份特征数据，通过图像处理网络，根据噪声数据，生成噪声特征数据，并且通过图像处理网络，根据所述第一目标对象的身份特征数据和所述噪声特征数据，生成第二图像。
在一些实施例中，上述图像处理网络可以是训练好的神经网络。此时，上述图像处理过程对应于利用训练好的图像处理网络进行图像处理的过程。在另一些实施例中，上述图像处理网络可以是还未训练好的神经网络，此时，上述图像处理过程可以对应于网络训练过程。在此基础上，根据本公开示例性实施例，该图像处理方法还包括：步骤S120，基于生成的第二图像，训练所述图像处理网络。也就是说，第一图像具体为样本图像，将从样本图像中提取的身份特征数据与噪声特征数据进行结合，合成保持第一目标对象的身份特性的第二图像，并基于样本图像(即第一图像)和基于样本图像生成的第二图像来训练该图像处理网络。
在一些实施例中，可以利用生成对抗网络(Generative Adversarial Network，GAN)实现对图像处理网络的训练，其中，GAN可以包括图像处理网络和判别器，图像处理网络中的第二生成器的输出端与判别器的输入端连接，但本公开实施例不限于此。
在一些可选的实现方式中，可以确定第二图像的图像预测类别为真实图像或合成图像，并基于第二图像的图像预测类别调整图像处理网络的网络参数，或者可以进一步确定第一图像的图像预测类别，并基于第一图像和第二图像的图像预测类别，调整图像处理网络的网络参数。
根据本公开另一些实施方式，步骤S120的处理包括：对所述第二图像进行特征提取处理，得到所述第二图像的特征数据；基于所述第二图像的特征数据，调整所述图像处理网络的网络参数。
在一些实施例中，对第二图像的特征数据和第一图像的特征数据进行比对，通过比对结果来调整所述图像处理网络的网络参数，例如，确定第二图像的特征数据和第一图像的特征数据之间的相似度或距离，并基于相似度或距离调整图像处理网络的网络参数。
这里，所述第二图像的特征数据可包括所述第二图像的非身份特征数据和/或所述第二图像中包括的第二目标对象的身份特征数据，但本公开实施例对第二图像的特征数据的具体实现不作限定。
这里，第二目标对象对应于第一目标对象。第一目标对象和第二目标对象可以是例如，人脸。其中，第二图像的非身份特征数据可以包括第二图像中包括的第二目标对象的非身份特征数据。在本公开实施例中，非身份特征数据可以包括面色特征数据、表情特征数据、口型特征数据、朝向特征数据、妆扮特征数据、图像质量特征数据等中的一种或多种。目标对象的身份特征数据为用于识别该目标对象的身份的特征数据，如脸部关键点的数据、眼间距数据、鼻部特征数据等，本公开实施例对非身份特征数据和身份特征数据的具体实现不作限定。
在另一些实施例中，可以基于第二目标对象的身份特征，得到第二目标对象的预测身份信息，并基于第二目标对象的预测身份信息，调整图像处理网络的网络参数。或者，还可以进一步基于第一目标对象的身份特征，得到第一目标对象的预测身份信息，并基于第一目标对象和第二目标对象的预测身份信息调整图像处理网络的网络参数。
在一些实现方式中，预测身份信息包括预测身份和预测身份类别，例如，预测身份信息可以包括预测身份标识，其中，该预测身份标识不仅可以区分不同的人物身份，还可以区分不同的图像类别，即区分真实图像和合成图像。在一个例子中，可以预先设定2N个预测身份标识，该2N个预测身份标识对应于N个不同的身份，即2N个预测身份标识中存在N个预测身份标识对，每个预测身份标识对中包括的两个预测身份标识对应于相同的身份，其不同之处在于其中一个标识对应真实图像，表示真实图像中的目标对象的身份，另一个标识对应合成图像身份，表示合成图像中的目标对象的身份。具体地，该2N个预测身份标识中的前N个标识对应真实图像身份，后N个标识对应合成图像身份标识，或者以相反顺序排列或交叉排列等等，本公开实施例对其具体实现不作限定。
图2是示出步骤S120的一种示例性处理的流程图。
参照图2，在步骤S210，从第二图像提取第二图像中包括的第二目标对象的非身份特征数据。
可以通过任何适用的特征提取方法从第二图像提取前述的非身份特征数据。例如，可以通过图像处理网络中的一个或多个卷积块提取第二图像的非身份特征数据。
在步骤S220，基于所述第二图像的非身份特征数据和所述噪声特征数据，确定第一模型损失。
由于合成的第二图像是基于噪声特征数据与第一目标对象的身份特征数据相结合得到的，可以基于第二图像的非身份特征数据和所述噪声特征数据来确定第一模型损失，例如，计算两者之间的差异或距离值。
在一个例子中，可以按照如下公式计算第一模型损失
其中，为第二图像的非身份特征数据，为噪声特征数据，l2(·,·)为距离函数。
在步骤S230，基于所述第一模型损失，调整所述图像处理网络中的第一生成网络的网络参数，其中，所述噪声特征数据是通过所述第一生成网络生成的。
这里，图像处理网络可包括第一生成网络。相应地，在前述步骤S100，根据噪声数据，通过第一生成网络，生成噪声特征数据。
在该步骤，可将确定的第一模型损失反向传输给第一生成网络进行其网络参数的调整，在该网络满足预定的收敛条件或达到其他预设的训练完成条件后，训练得到该第一生成网络。
图3是示出步骤S120的另一种示例性处理的流程图。
根据本公开可选实施方式，第二图像的特征数据包括第二图像包括的第二目标对象的身份特征数据。此时，可选地，图像处理网络可还包括用于提取身份特征的身份特征提取网络。
参照图3，在步骤S310，通过身份特征提取网络，从第二图像提取第二图像中包括的第二目标对象的身份特征数据。
在步骤S320，基于所述第二目标对象的身份特征数据，确定所述第二目标对象的预测身份信息。
在获得第二目标对象的身份特征数据之后，能够基于该身份特征数据确定第二目标对象的预测身份信息，该预测身份信息可以包括预测身份和预测身份类别，所述预测身份类别为真实图像中的目标对象的身份或合成图像中的目标对象的身份。例如，假设第二目标对象是人脸，可确定第二目标对象的身份为张三以及第二目标对象为真实图像或合成图像中的目标对象。
在步骤S330，基于所述第二目标对象的预测身份信息以及所述第一目标对象的预测身份信息，确定第二模型损失。
理想情况下，第一图像中的第一目标对象和合成的第二图像中的第二目标对象应对应相同的预测身份，可以基于所述第二目标对象的预测身份信息以及所述第一目标对象的预测身份信息，计算第二模型损失，以用于身份特征提取网络的训练。
在一个例子中，可以预设2N个身份标识(lr id1,…,lr idN,ls id1,。。。,ls idN)，并且基于身份特征划分到2N个类别中的一个，其中，这2N个身份标识不仅可以区分不同的身份，即区分“id1”and“id2”，还可以区分真实身份和合成身份，即区分真实的“id1”和合成的“id1”。此时，可选地，可使用以下公式计算第二模型损失
其中，xr为样本图像(第一图像)，为样本图像xr中的身份标注数据，xs为样本合成图像(即第二图像)，为样本合成图像xs中的预测身份标识。λ为权重参数，可以根据实际情况进行设定，φ(·,·)为回归分类函数。
在步骤S340，基于所述第二模型损失，调整所述身份特征提取网络的网络参数。
在该步骤，可将确定的第二模型损失反向传输给身份特征提取网络进行其网络参数的调整，在该网络满足预定的收敛条件或达到其他预设的训练完成条件后，训练得到该身份特征提取网络。
根据本公开另一种可选实施方式，第二图像的特征数据包括第二图像包括的第二目标对象的身份特征数据。此时，可选地，该图像处理网络还包括用于提取非身份特征的非身份特征提取网络。
在一些例子中，可以基于噪声特征数据和第二图像的非身份特征数据，确定第三网络损失，并基于第三网络损失，调整非身份特征提取网络的网络参数。
在本公开的一些实施例中，在训练图像处理网络的过程中，还可以生成样本图像的重构图像，并基于重构图像，调整图像处理网络的网络参数。
图4是示出根据本公开另一些实施例的图像处理方法的流程图。
参照图4，在步骤S440，通过所述图像处理网络中的非身份特征提取网络，对所述第一图像进行非身份特征提取处理，得到所述第一图像中第一目标对象的非身份特征数据。
在步骤S450，基于所述第一目标对象的身份特征数据和所述第一目标对象的非身份特征数据，生成重构图像。
具体地，可以对第一目标对象的身份特征数据和所述第一目标对象的非身份特征数据进行连接，例如融合或者按通道叠加，得到连接特征，并基于连接特征生成第一图像的重构图像。在一些实施例中，可以通过图像处理网络中的第二生成器生成第一图像的重构图像，但本公开实施例不限于此。
在步骤S460，基于所述重构图像，调整所述图像处理网络的网络参数。
具体地，可通过将重构图像和第一图像进行比对，来确定网络训练的损失值或差异值，再基于该损失值或差异值来调整所述图像处理网络的网络参数。例如，可以基于第一图像和重构图像之间的差异，调整非身份特征提取网络和/或第二生成器的网络参数。
图5和图6分别示出步骤S460的两种示例性处理的流程图。
参照图5，在步骤S510，确定所述第一图像和所述重构图像之间的第一差异。
可通过对第一图像和重构图像的像素值进行差异计算，或者对第一图像的特征数据和重构图像的特征数据进行差异计算，来确定该第一差异。
在步骤S520，基于所述第一差异，确定第三模型损失。
例如，可以基于第一差异以及所述第二图像中第二目标对象的非身份特征数据与所述噪声特征数据之间的第二差异，确定第三模型损失。其中，可将第一差异和第二差异进行结合，如加权求和、求平均等方式，确定第三模型损失。
根据本公开一种可选实施方式，可通过以下公式计算第三模型损失
其中，xrec为重构图像，xr为第一图像，为第二目标对象的非身份特征数据，为噪声特征数据。l1(·,·)和l2(·,·)为距离函数，l1(xrec,xr)为重构图像和第一图像之间的第一距离值，即第一差异；为第二目标对象的非身份特征数据和噪声特征数据之间的第二距离值，即第二差异；kt为权重参数，可以根据实际情况进行设定。
在步骤S530，基于所述第三模型损失，确定所述图像处理网络中的非身份特征提取网络的网络参数。
具体地，可将确定的第三模型损失反向传输给非身份特征提取网络进行其网络参数的调整，在该网络满足预定的收敛条件或其他训练完成条件后，训练得到该非身份特征提取网络。
图6示出步骤S460的另一种示例性处理。
根据本公开一种可选实施方式，该图像处理网络还包括用于生成图像的第二生成网络。
相应地，所述第二图像和所述重构图像是通过所述第二生成网络生成的。
参照图6，在步骤S610，对所述重构图像进行特征提取处理，得到所述重构图像的特征数据。
重构图像的特征数据可以包括重构图像中包括的第三目标对象的身份特征数据和/或非身份特征数据，第三目标对象对应于第一目标对象。例如，可通过前述身份特征提取网络对所述重构图像进行特征提取处理，得到所述重构图像中第三目标对象的身份特征数据，或者，通过前述非身份特征提取网络对重构图像进行特征提取处理，得到重构图像的非身份特征数据。当然，也可以使用其他适用的特征提取方法进行步骤S610的处理，本公开实施例对此不做限定。
在步骤S620，基于所述重构图像的特征数据，调整所述图像处理网络的网络参数。
在一些可选实现方式中，可以基于重构图像的特征数据以及合成图像(即第二图像)的特征数据，调整图像处理网络的网络参数。
在一些例子中，确定第一图像的特征数据和重构图像的特征数据之间的距离或相似度，并基于该距离或相似度获得第四模型损失，例如，可以基于第一图像的身份特征数据与重构图像的身份特征数据之间的距离以及第一图像的非身份特征数据与重构图像的非身份特征数据之间的距离，确定第四模型损失，再基于该第四模型损失来调整图像处理网络的网络参数，例如，可以基于第四模型损失调整图像处理网络中的第二生成器的网络参数。
根据本公开一种可选实施方式，步骤S620包括：
操作a.基于所述第二图像的特征数据、所述重构图像的特征数据、所述第一目标对象的身份特征数据和所述噪声特征数据，确定第四模型损失。
例如，可计算所述第二图像的特征数据和所述重构图像的特征数据之间的第一距离值/差异值，再计算第一目标对象的身份特征数据和所述噪声特征数据之间的第二差异值，再基于前述计算得到的第一距离值/差异值以及第二差异值来计算得到第四模型损失。
在本公开实施例中，可根据以下公式计算第四模型损失
其中，xr为重构图像，xr为第一图像，为第二图像xs的身份特征数据，为第一图像xr的身份特征数据，为重构图像xr的身份特征数据，为重构图像xr的非身份特征数据，为第一图像xr的非身份特征数据，l1(·,·)和l2(·,·)为距离函数，l1(xrec,xr)为重构图像和第一图像之间的距离值，为第二图像xs的身份特征数据和第一图像xr的身份特征数据之间的距离值，为重构图像xr的身份特征数据和第一图像xr的身份特征数据之间的距离值，为重构图像xr的非身份特征数据和第一图像xr的非身份特征数据之间的距离值，λ1、λ2、λ3为权重参数，可以根据实际情况进行设定。
操作b.基于所述第四模型损失，调整所述图像处理网络中第二生成网络的网络参数。
以下将参照图7～图11描述本申请实施例提供的图像处理网络的训练方法。
图7是示出根据本公开示例性实施例的图像处理网络的训练方法的流程图。
参照图7，在步骤S710，基于样本图像，通过图像处理网络生成样本合成图像。
如前所述，通过待训练的图像处理网络，基于样本图像，生成保留了目标对象身份特征的样本合成图像。
在步骤S720，对所述样本合成图像进行特征提取处理，得到所述样本合成图像的特征数据。
可通过任何适用的特征提取方法从样本合成图像提取前述的特征数据。
在步骤S730，根据所述样本合成图像的特征数据，训练所述图像处理网络。
可基于样本合成图像的特征数据和原始的样本图像来确定模型损失，再使用确定的该模型损失，来训练所述图像处理网络。
根据本公开一种可选实施方式，所述第二图像的特征数据包括所述第二图像中包括的第二目标对象的非身份特征数据，并且参照步骤S220～S230执行步骤S730的处理，用于训练图像处理网络中的第一生成网络。
根据本公开另一种可选实施方式，所述样本合成图像的特征数据包括所述样本合成图像中包括的第二目标对象的身份特征数据，并且参照步骤S330～S340执行步骤S730的处理，训练图像处理网络中的身份特征提取网络。
由此，根据样本图像和通过图像处理网络合成得到的样本合成图像，来训练获得用于图像处理的图像处理网络。
图8是示出步骤S710的示例性处理的流程图。
根据本公开可选实施方式，所述图像处理网络包括身份特征提取网络、第一生成网络和第二生成网络。
参照图8，在步骤S810，基于噪声数据，通过所述第一生成网络生成噪声特征数据。
在步骤S820，利用所述身份特征提取网络对所述样本图像进行第一身份特征提取处理，得到所述样本图像中第一目标对象的身份特征数据。
在步骤S830，基于所述第一目标对象的身份特征数据和所述噪声特征数据，通过所述第二生成网络生成所述样本合成图像。
通过步骤S810～S830的处理，使用图像处理网络的各个组成网络由样本图像生成样本合成图像，以进一步根据样本合成图像进行图像处理网络或其各个组成网络的训练。
图9是示出根据本公开另一示例性实施例的图像处理网络的训练方法的流程图。
参照图9，在步骤S910，通过所述非身份特征提取网络，对所述样本图像进行非身份特征提取处理，得到所述样本图像中第一目标对象的非身份特征数据。
如前所述，非身份特征数据可包括面色特征数据、表情特征数据、口型特征数据、朝向特征数据、妆扮特征数据、图像质量特征数据中的一种或多种。
在步骤S920，基于所述第一目标对象的身份特征数据和所述第一目标对象的非身份特征数据，通过所述第二生成网络生成样本重构图像。
具体地，通过第二生成网络，结合第一目标对象的身份特征数据和所述第一目标对象的非身份特征数据，来生成保留了第一目标对象的身份特征并且具有相应的非身份特征的样本重构图像。
在步骤S930，基于样本图像，通过图像处理网络生成样本合成图像。
在步骤S940，对所述样本合成图像进行特征提取处理，得到所述样本合成图像的特征数据。
步骤S930和S940的处理分别与前述步骤S710和S720的处理相应，在此不予赘述。
在步骤S950，基于所述样本合成图像的特征数据和所述样本重构图像，调整所述图像处理网络的网络参数。
在此，通过将样本合成图像的特征数据和样本重构图像进行差异或损失值的计算，来进行图像处理网络的训练。以下将参照图10和图11示出步骤S950的两种示例性处理。
图10是示出步骤S950的示例性处理的流程图。
参照图10，在步骤S1010，确定所述样本图像和所述样本重构图像之间的第一差异。
可通过对样本图像和样本重构图像进行差异计算，或者对样本图像的特征数据和样本重构图像的特征数据进行差异计算来确定该第一差异。
在步骤S1020，基于所述样本合成图像中第二目标对象的非身份特征数据与所述噪声特征数据，确定第二差异。
通过对样本合成图像中第二目标对象的非身份特征数据与所述噪声特征数据进行差异计算，确定与身份特征不直接相关的第二差异。
在步骤S1030，基于所述第一差异和所述第二差异，确定第三模型损失。
可将第一差异和第二差异进行融合，如加权求和、求平均等方式，确定第三模型损失。
在步骤S1040，基于所述第三模型损失，调整所述图像处理网络中的非身份特征提取网络的网络参数。
类似地，可将确定的第三模型损失反向传输给非身份特征提取网络进行其网络参数的调整，在该网络满足预定的收敛条件后，训练得到该非身份特征提取网络。
图11是示出步骤S950的另一示例性处理的流程图。
参照图11，在步骤S1110，对所述样本重构图像进行特征提取处理，得到所述样本重构图像的特征数据。
可通过任何适用的特征提取方法从样本重构图像提取前述的特征数据，也可以使用身份特征提取网络从样本重构图像提取前述的特征数据。
在步骤S1120，基于所述样本合成图像的特征数据和所述样本重构图像的特征数据，调整所述图像处理网络的网络参数。
可通过对样本合成图像的特征数据和所述样本重构图像的特征数据进行差异值或距离值的计算来确定模型损失值，再将该模型损失值反向传输给图像处理网络，对图像处理网络的网络参数进行调整。
根据本公开一种可选实施方式，在该步骤，基于所述样本合成图像的特征数据、所述样本重构图像的特征数据、所述第一目标对象的身份特征数据和所述噪声特征数据，确定第四模型损失；基于所述第四模型损失，调整所述图像处理网络中第二生成网络的网络参数。可参照前述步骤S620中的操作a的处理执行第四模型损失的计算以及第二生成网络的网络参数调整的处理。
本发明还提供一种图像处理方法，在该图像处理方法中，获取第一图像；通过前述任一训练方法训练得到的图像处理网络对第一图像进行处理，得到第二图像。
此外，本发明还提供另一种图像处理网络的训练方法。以下将参照图12描述该图像处理网络的训练方法。
图12是示出根据本公开示例性实施例的图像处理网络的训练方法的流程图。
参照图12，在步骤S1210，利用所述图像处理网络对所述样本图像进行处理，生成样本重构图像。
可通过任一适用的图像合成方法将样本图像进行处理，生成保持第一目标对象的身份特征的样本重构图像。
根据本公开一种可选实施方式，步骤S1210可包括：对所述样本图像进行非身份特征提取处理，得到所述样本图像中第一目标对象的非身份特征数据；基于所述第一目标对象的身份特征数据和所述第一目标对象的非身份特征数据，通过所述图像处理网络中的第二生成网络生成样本重构图像。该处理与前述步骤S440～S450的处理相应，在此不予赘述。
在步骤S1220，利用所述图像处理网络对所述样本图像进行处理，生成样本合成图像。可参照步骤S710执行该步骤的处理。
根据本公开一种可选实施方式，步骤S1220可包括：基于噪声数据，生成噪声特征数据；对所述样本图像进行身份特征提取处理，得到所述样本图像中第一目标对象的身份特征数据；基于所述第一目标对象的身份特征数据和所述噪声特征数据，通过所述图像处理网络中的第二生成网络生成所述样本合成图像。该处理与前述步骤S810～S830的处理相应，在此不予赘述。
在步骤S1230，根据所述样本重构图像和所述样本合成图像，训练所述图像处理网络。
具体地，可计算所述样本重构图像和所述样本合成图像之间的差异值，再根据计算得到的差异值来训练所述图像处理网络。
根据本公开一种可选实施方式，在该步骤，对所述样本重构图像和所述样本合成图像中的至少一项进行特征提取处理，得到所述样本重构图像和所述样本合成图像中的至少一项的特征数据；基于所述样本重构图像和所述样本合成图像中的至少一项的特征数据，调整所述图像处理网络的网络参数。
也就是说，可对样本重构图像进行特征提取，得到样本重构图像的特征数据，基于样本重构图像的特征数据和样本图像进行差异值/损失值的计算，再基于计算出的差异值/损失值对图像处理网络进行训练。或者，可对样本合成图像进行特征提取，得到样本合成图像的特征数据，基于样本合成图像的特征数据和样本图像进行差异值/损失值的计算，再基于计算出的差异值/损失值对图像处理网络进行训练。或者，对所述样本重构图像和所述样本合成图像均进行特征提取处理，得到所述样本重构图像中的特征数据和所述样本合成图像中的特征数据；基于所述样本重构图像的特征数据和所述样本合成图像中的特征数据计算差异值/损失值，再基于计算出的差异值/损失值对图像处理网络进行训练。
根据本公开一种可选实施方式，在该步骤，确定所述样本重构图像和所述样本图像之间的第一差异；基于所述样本合成图像中第二目标对象的非身份特征数据和所述噪声特征数据，确定第二差异，其中，所述样本合成图像的特征数据包括所述样本合成图像中第二目标对象的非身份特征数据；基于所述第一差异和所述第二差异，确定第三模型损失；基于所述第三模型损失，调整所述图像处理网络中非身份特征提取网络的网络参数，其中，所述非身份特征数据是通过所述非身份特征提取网络得到的。
根据本公开另一种可选实施方式，在该步骤，基于所述样本合成图像的特征数据、所述样本重构图像的特征数据、所述第一目标对象的身份特征数据和所述噪声特征数据，确定第四模型损失；基于所述第四模型损失，调整所述图像处理网络中第二生成网络的网络参数。
本发明还提供一种图像处理方法，在该图像处理方法中，获取第一图像；通过图12中描述的任一训练方法训练得到的图像处理网络对第一图像进行处理，得到第二图像。
图13示出了本公开实施例的图像处理网络中各网络之间的示意性关系。
参照图13，根据本发明实施例的图像处理网络可具体包括身份特征提取网络C、非身份特征提取网络E、第一生成网络G1和第二生成网络G2。
身份特征提取网络C用于提取身份特征数据，具体依靠样本图像xr中的身份标注数据和样本合成图像xs中的身份标注数据体现在和部分。
非身份特征提取网络E用于提取非身份特征数据，方式是重建样本图像xr。在样本图像的身份特征数据不变的情况下，只有当样本图像的非身份特征数据足够准确，样本重构图像xrec才能很好地恢复样本图像xr，需要注意的是：样本重构图像xrec是第一生成网络G1利用样本图像的身份特征数据和样本图像的非身份特征数据生成的，具体体现在l1(xrec,xr)部分。
第二生成网络G2用于利用噪声数据z生成足够真实的非身份噪声特征数据真实的评判标准是：输入第一生成网络G1的非身份噪声特征数据和第一生成网络G1根据非身份噪声特征数据输出样本合成图像xs的非身份特征数据之间的差别尽可能地小，体现在部分。需要注意的是：这里有第一个对抗：第二生成网络G2和非身份特征提取网络E的对抗，体现在部分。即第二生成网络G2试图缩小样本合成图像的非身份特征数据和非身份噪声特征数据之间的差别，而非身份特征提取网络E试图增大这一差别。
第一生成网络G1用于根据身份特征数据和非身份特征数据生成新的图像，既包括了根据样本图像的身份特征数据和样本图像的非身份特征数据生成样本重构图像xrec，又包括了根据非身份噪声特征数据和样本图像的身份特征数据生成样本合成图像xs。为了保证从特征数据到图像的学习过程足够准确，需要保证样本重构图像xrec和样本图像xr的变化足够小，体现在l1(xrec,xr)部分；同时保证样本重构图像xrec的身份特征数据样本重构图像xrec的非身份特征数据与输入的样本图像的身份特征数据和样本图像的非身份特征数据相比变化足够小，分别体现在和部分。为了保证根据非身份噪声特征数据生成的样本合成图像xs的过程能够保持身份信息不变，要保证样本合成图像xs的身份特征数据和样本图像xr的身份特征数据的差别足够小，体现在部分。需要注意的是：这里有第二个对抗：第一生成网络G1和身份特征提取网络C的对抗，体现在部分。可以理解为：第一生成网络G1试图缩小样本图像的身份特征数据和身份特征数据之间的差别，而身份特征提取网络C试图从身份特征数据方面，将样本图像xr和样本合成图像xs区分开来，即分到不同类别的身份标注数据和例如，假设样本图像xr总共有100类的身份标注数据，那么即利用额外的100类的身份标注数据来代表样本合成图像xs的身份标注数据的类别。
需要说明的是，本公开实施例中，身份特征提取网络可以为ResNet-50网络，非身份特征提取网络可以为ResNet-18网络，第二生成网络可以为全连接层神经网络，第一生成网络可以为具有多个卷积层和上采样层的解码器网络。对训练身份特征提取网络、非身份特征提取网络、第一生成网络和第二生成网络的顺序不做限制，既可以顺序执行，也可以并列执行。
图14是示出根据本公开一些实施例的图像处理装置的逻辑框图。
参照图14，本公开实施例提供的图像处理装置包括：身份特征提取模块1410，用于从第一图像中提取所述第一图像中包括的第一目标对象的身份特征数据；第一噪声特征生成模块1420，用于根据噪声数据，生成噪声特征数据；图像生成模块1430，用于根据所述第一目标对象的身份特征数据和所述噪声特征数据，生成第二图像。
可选地，图像生成模块1430包括：特征连接单元1431，用于对所述第一目标对象的身份特征数据和所述噪声特征数据进行连接处理，得到连接特征；图像生成单元1432，用于基于所述连接特征，生成第二图像。
可选地，该图像处理装置还包括：第一网络训练模块1440，基于所述第二图像，训练所述图像处理网络。
图15是示出根据本公开一些实施例的第一网络训练模块1440的逻辑框图。
参照图15，第一网络训练模块1440包括：特征提取单元1510，用于对所述第二图像进行特征提取处理，得到所述第二图像的特征数据；参数调整单元1520，用于基于所述第二图像的特征数据，调整所述图像处理网络的网络参数。
图16是示出根据本公开一些实施例的参数调整单元1520的逻辑框图。
这里，所述第二图像的特征数据包括所述第二图像中包括的第二目标对象的非身份特征数据。
参照图16，参数调整单元1520包括：第一模型损失确定子单元1521，用于基于所述第二图像的非身份特征数据和所述噪声特征数据，确定第一模型损失；第一网络训练子单元1522，用于基于所述第一模型损失，调整所述图像处理网络中的第一生成网络的网络参数，其中，所述噪声特征数据是通过所述第一生成网络生成的。
图17示出根据本公开另一些实施例的参数调整单元1520的逻辑框图。
这里，所述第二图像的特征数据包括所述第二图像中包括的第二目标对象的身份特征数据，其中，所述身份特征数据是通过所述图像处理网络的身份特征提取网络得到的。
参照图17，参数调整单元1520包括：身份预测子单元1523，用于基于所述第二目标对象的身份特征数据，确定所述第二目标对象的预测身份信息；第二模型损失确定子单元1524，用于基于所述第二目标对象的预测身份信息以及所述第一目标对象的预测身份信息，确定第二模型损失；第二网络训练子单元1525，用于基于所述第二模型损失，调整所述身份特征提取网络的网络参数。
可选地，所述预测身份信息包括预测身份和预测身份类别，所述预测身份类别为真实图像中的目标对象身份或合成图像中的目标对象身份。
图18是示出根据本公开另一些实施例的图像处理装置的逻辑框图。
参照图18，图像处理装置除包括前述身份特征提取模块1410、第一噪声特征生成模块1420、图像生成模块1430和第一网络训练模块1440以外，还包括：非身份特征提取模块1450，用于对所述第一图像进行非身份特征提取处理，得到所述第一图像中第一目标对象的非身份特征数据；图像重构模块1460，用于基于所述第一目标对象的身份特征数据和所述第一目标对象的非身份特征数据，生成重构图像。
其中，参数调整单元1520包括：第三网络训练子单元1526，用于基于所述第二图像的特征数据和所述重构图像，调整所述图像处理网络的网络参数。
可选地，所述非身份特征数据包括面色特征数据、表情特征数据、口型特征数据、朝向特征数据、妆扮特征数据、图像质量特征数据中的一种或多种。
可选地，所述第一目标对象为人脸。
可选地，第三网络训练子单元1526用于：确定所述第一图像和所述重构图像之间的第一差异；基于所述第一差异以及所述第二图像中第二目标对象的非身份特征数据与所述噪声特征数据之间的第二差异，确定第三模型损失；基于所述第三模型损失，确定所述图像处理网络中的非身份特征提取网络的网络参数，其中，所述非身份特征数据是通过所述非身份特征提取网络得到的。
可选地，第三网络训练子单元1526用于：对所述重构图像进行特征提取处理，得到所述重构图像的特征数据；基于所述第二图像的特征数据和所述重构图像的特征数据，调整所述图像处理网络的网络参数。
可选地，第三网络训练子单元1526在基于所述第二图像的特征数据和所述重构图像的特征数据，调整所述图像处理网络的网络参数的处理中，用于：基于所述第二图像的特征数据、所述重构图像的特征数据、所述第一目标对象的身份特征数据和所述噪声特征数据，确定第四模型损失；基于所述第四模型损失，调整所述图像处理网络中第二生成网络的网络参数，其中，所述第二图像和所述重构图像是通过所述第二生成网络生成的。
本公开实施例的图像处理装置用于实现上述实施例中相应的图像处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。
图19是示出根据本公开一些实施例的图像处理网络的训练装置的逻辑框图。
参照图19，本公开实施例提供的图像处理网络的训练装置包括：样本图像合成模块1910，用于基于样本图像，通过图像处理网络生成样本合成图像；特征提取模块1920，用于对所述样本合成图像进行特征提取处理，得到所述样本合成图像的特征数据；第二网络训练模块1930，用于根据所述样本合成图像的特征数据，训练所述图像处理网络。
可选地，所述图像处理网络包括身份特征提取网络、第一生成网络和第二生成网络。
相应地，该训练装置还包括：第二噪声特征生成模块1940，用于基于噪声数据，通过所述第一生成网络生成噪声特征数据；样本图像合成模块1910包括：身份特征提取单元1911，用于利用所述身份特征提取网络对所述样本图像进行第一身份特征提取处理，得到所述样本图像中第一目标对象的身份特征数据；图像合成单元1912，用于基于所述第一目标对象的身份特征数据和所述噪声特征数据，通过所述第二生成网络生成所述样本合成图像。
图20是示出根据本公开一些实施例的第二网络训练模块1930的逻辑框图。
这里，所述样本合成图像的特征数据包括所述样本合成图像中包括的第二目标对象的非身份特征数据。
参照图20，第二网络训练模块1930包括：第一模型损失确定单元1931，用于基于所述第二目标对象的非身份特征数据与所述噪声特征数据，确定第一模型损失；第一网络训练单元1932，用于基于所述第一模型损失，调整所述第一生成网络的网络参数。
图21是示出根据本公开另一些实施例的第二网络训练模块1930的逻辑框图。
这里，所述样本合成图像的特征数据包括所述样本合成图像中包括的第二目标对象的身份特征数据。
参照图21，第二网络训练模块1930包括：身份预测单元1933，用于根据所述第二目标对象的身份特征数据，确定所述第二目标对象的预测身份信息；第二模型损失确定单元1934，用于基于所述第一目标对象的预测身份信息和所述第二目标对象的预测身份信息，确定第二模型损失；第二网络训练单元1935，用于基于所述第二模型损失，调整所述身份特征提取网络的网络参数。
可选地，所述预测身份信息包括预测身份和预测身份类别，所述预测身份类别为真实图像中的目标对象身份或合成图像中的目标对象身份。
图22是示出根据本公开另一些实施例的图像处理网络的训练装置的逻辑框图。
参照图22，根据本公开另一些实施例的图像处理网络的训练装置除包括前述样本图像合成模块1910、特征提取模块1920和第二网络训练模块1930以外，还包括：样本非身份特征提取模块1950，用于对所述样本图像进行非身份特征提取处理，得到所述样本图像中第一目标对象的非身份特征数据；样本重构模块1960，用于基于所述第一目标对象的身份特征数据和所述第一目标对象的非身份特征数据，通过所述第二生成网络生成样本重构图像。
相应地，第二网络训练模块1930包括：第三网络训练单元1936，用于基于所述样本合成图像的特征数据和所述样本重构图像，调整所述图像处理网络的网络参数。
可选地，第三网络训练单元1936具体包括：第一差异确定子单元，用于确定所述样本图像和所述样本重构图像之间的第一差异；第二差异确定子单元，用于基于所述样本合成图像中第二目标对象的非身份特征数据与所述噪声特征数据，确定第二差异；差异融合子单元，用于基于所述第一差异和所述第二差异，确定第三模型损失；第四网络训练子单元，用于基于所述第三模型损失，调整所述图像处理网络中的非身份特征提取网络的网络参数，其中，所述非身份特征数据是通过所述非身份特征提取网络得到的。
可选地，第三网络训练单元1936包括：重构特征提取子单元，用于对所述样本重构图像进行特征提取处理，得到所述样本重构图像的特征数据；第五网络训练子单元，用于基于所述样本合成图像的特征数据和所述样本重构图像的特征数据，调整所述图像处理网络的网络参数。
可选地，第五网络训练子单元用于：基于所述样本合成图像的特征数据、所述样本重构图像的特征数据、所述第一目标对象的身份特征数据和所述噪声特征数据，确定第四模型损失；基于所述第四模型损失，调整所述图像处理网络中第二生成网络的网络参数。
图23是示出根据本公开一些实施例的另一种图像处理网络的训练装置的逻辑框图。
参照图23，根据本公开实施例提供的图像处理网络的训练装置包括：第一图像处理模块2310，用于利用所述图像处理网络对所述样本图像进行处理，生成样本重构图像；第二图像处理模块2320，用于利用所述图像处理网络对所述样本图像进行处理，生成样本合成图像；图像处理网络训练模块2330，用于根据所述样本重构图像和所述样本合成图像，训练所述图像处理网络。
可选地，第二图像处理模块2320包括：噪声特征生成单元2321，用于基于噪声数据，生成噪声特征数据；样本身份特征提取单元2322，用于对所述样本图像进行身份特征提取处理，得到所述样本图像中第一目标对象的身份特征数据；样本图像合成单元2323，用于基于所述第一目标对象的身份特征数据和所述噪声特征数据，通过所述图像处理网络中的第二生成网络生成所述样本合成图像。
可选地，第一图像处理模块2310包括：样本非身份特征提取单元2311，用于对所述样本图像进行非身份特征提取处理，得到所述样本图像中第一目标对象的非身份特征数据；样本图像重构单元2312，用于基于所述第一目标对象的身份特征数据和所述第一目标对象的非身份特征数据，通过所述图像处理网络中的第二生成网络生成样本重构图像。
图24是示出根据本公开一些实施例的图像处理网络训练模块2330的逻辑框图。
参照图24，图像处理网络训练模块2330包括：重构图像特征提取单元2331，用于对所述样本重构图像和所述样本合成图像中的至少一项进行特征提取处理，得到所述样本重构图像和所述样本合成图像中的至少一项的特征数据；图像处理网络训练单元2332，用于基于所述样本重构图像和所述样本合成图像中的至少一项的特征数据，调整所述图像处理网络的网络参数。
图25是示出根据本公开另一些实施例的图像处理网络训练模块2330的逻辑框图。
参照图25，图像处理网络训练单元2330包括：第一差异确定子单元2333，用于确定所述样本重构图像和所述样本图像之间的第一差异；第二差异确定子单元2334，用于基于所述样本合成图像中第二目标对象的非身份特征数据和所述噪声特征数据，确定第二差异，其中，所述样本合成图像的特征数据包括所述样本合成图像中第二目标对象的非身份特征数据；差异融合子单元2335，用于基于所述第一差异和所述第二差异，确定第三模型损失；第四网络训练子单元2336，用于基于所述第三模型损失，调整所述图像处理网络中非身份特征提取网络的网络参数，其中，所述非身份特征数据是通过所述非身份特征提取网络得到的。
图26是示出根据本公开另一些实施例的图像处理网络训练模块2330的逻辑框图。
参照图26，图像处理网络训练单元2330包括：第四模型损失确定子单元2337，用于基于所述样本合成图像的特征数据、所述样本重构图像的特征数据、所述第一目标对象的身份特征数据和所述噪声特征数据，确定第四模型损失；第六网络训练子单元2338，用于基于所述第四模型损失，调整所述图像处理网络中第二生成网络的网络参数。
本公开实施例还提供一种图像处理装置，包括：第一图像获取模块，用于获取第一图像；第三图像处理模块，用于通过图像处理网络对第一图像进行处理，得到第二图像。其中，图像处理网络是根据前述如图19～图22所示的训练装置得到的。
本公开实施例还提供一种图像处理装置，包括：第二图像获取模块，用于获取第一图像；第四图像处理模块，用于通过图像处理网络对第一图像进行处理，得到第二图像。其中，图像处理网络是根据前述如图23～图26所示的训练装置得到的。
本公开实施例还提供了一种第一电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图27，其示出了适于用来实现本公开实施例的图像处理装置的第一电子设备2700的结构示意图：如图27所示，第一电子设备2700可以包括存储器和处理器。具体地，第一电子设备2700包括一个或多个处理器、通信元件等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)2701，和/或一个或多个图像处理器(GPU)2713等，处理器可以根据存储在只读存储器(ROM)2702中的可执行指令或者从存储部分2708加载到随机访问存储器(RAM)2703中的可执行指令而执行各种适当的动作和处理。通信元件包括通信组件2712和/或通信接口2709。其中，通信组件2712可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，通信接口2709包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，通信接口2709经由诸如因特网的网络执行通信处理。
处理器可与只读存储器2702和/或随机访问存储器2703中通信以执行可执行指令，通过通信总线2704与通信组件2712相连、并经通信组件2712与其他目标设备通信，从而完成本公开实施例提供的任一项图像处理方法对应的操作，例如，从第一图像中提取所述第一图像中包括的第一目标对象的身份特征数据；根据噪声数据，生成噪声特征数据；根据所述第一目标对象的身份特征数据和所述噪声特征数据，生成第二图像。
此外，在RAM2703中，还可存储有装置操作所需的各种程序和数据。CPU2701或GPU2713、ROM2702以及RAM2703通过通信总线2704彼此相连。在有RAM2703的情况下，ROM2702为可选模块。RAM2703存储可执行指令，或在运行时向ROM2702中写入可执行指令，可执行指令使处理器执行上述通信方法对应的操作。输入/输出(I/O)接口2705也连接至通信总线2704。通信组件2712可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在通信总线链接上。
以下部件连接至I/O接口2705：包括键盘、鼠标等的输入部分2706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分2707；包括硬盘等的存储部分2708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信接口2709。驱动器2710也根据需要连接至I/O接口2705。可拆卸介质2711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器2710上，以便于从其上读出的计算机程序根据需要被安装入存储部分2708。
需要说明的，如图27所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图27的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信元件可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本公开的保护范围。
本公开实施例的电子设备可以用于实现上述实施例中相应的图像处理方法，该电子设备中的各个器件可以用于执行上述方法实施例中的各个步骤，例如，上文中描述的图像处理方法可以通过电子设备的处理器调用存储器存储的相关指令来实现，为了简洁，在此不再赘述。
本公开实施例还提供了一种第二电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。该第二电子设备具有与前述图27示出的第一电子设备2700类似的结构。
第二电子设备的处理器可与只读存储器和/或随机访问存储器中通信以执行可执行指令，通过通信总线与通信组件相连、并经通信组件与其他目标设备通信，从而完成本公开实施例提供的任一项图像处理网络的训练方法对应的操作，例如，基于样本图像，通过图像处理网络生成样本合成图像；对所述样本合成图像进行特征提取处理，得到所述样本合成图像的特征数据；根据所述样本合成图像的特征数据，训练所述图像处理网络。
本公开实施例还提供了一种第三电子设备，该第三电子设备具有与前述图27示出的第一电子设备2700类似的结构。
第三电子设备的处理器可与只读存储器和/或随机访问存储器中通信以执行可执行指令，通过通信总线与通信组件相连、并经通信组件与其他目标设备通信，从而完成本公开实施例提供的任一项图像处理网络的训练方法对应的操作，例如，利用所述图像处理网络对所述样本图像进行处理，生成样本重构图像；利用所述图像处理网络对所述样本图像进行处理，生成样本合成图像；根据所述样本重构图像和所述样本合成图像，训练所述图像处理网络。。
本公开实施例的第二电子设备和第三电子设备可以用于实现上述实施例中相应的图像处理网络的训练方法，第二电子设备和第三电子设备中的各个器件可以用于执行上述方法实施例中的各个步骤，例如，上文中描述的图像处理网络的训练方法可以通过电子设备的处理器调用存储器存储的相关指令来实现，为了简洁，在此不再赘述。
根据本公开实施例，上文参考流程图描述的过程可以被实现为一种第一计算机程序产品。例如，本公开实施例包括一种第一计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本公开实施例提供的方法步骤对应的指令，例如，用于从第一图像中提取所述第一图像中包括的第一目标对象的身份特征数据的指令；用于根据噪声数据，生成噪声特征数据的指令；用于根据所述第一目标对象的身份特征数据和所述噪声特征数据，生成第二图像的指令。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质2711被安装。在该计算机程序被处理器执行时，执行本公开实施例的方法中公开的功能。
根据本公开实施例，上文参考流程图描述的过程还可以被实现为第二计算机程序产品。例如，本公开实施例包括一种第二计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本公开实施例提供的方法步骤对应的指令，例如，用于基于样本图像，通过图像处理网络生成样本合成图像的指令；用于对所述样本合成图像进行特征提取处理，得到所述样本合成图像的特征数据的指令；用于根据所述样本合成图像的特征数据，训练所述图像处理网络的指令。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质2711被安装。在该计算机程序被处理器执行时，执行本公开实施例的方法中公开的功能。
根据本公开实施例，上文参考流程图描述的过程还可以被实现为第三计算机程序产品。例如，本公开实施例包括一种第三计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本公开实施例提供的方法步骤对应的指令，例如，用于利用所述图像处理网络对所述样本图像进行处理，生成样本重构图像的指令；用于利用所述图像处理网络对所述样本图像进行处理，生成样本合成图像的指令；用于根据所述样本重构图像和所述样本合成图像，训练所述图像处理网络的指令。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质2711被安装。在该计算机程序被处理器执行时，执行本公开实施例的方法中公开的功能。
可能以许多方式来实现本公开的方法和装置、电子设备和存储介质。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开实施例的方法和装置、电子设备和存储介质。用于方法的步骤的上述顺序仅是为了进行说明，本公开实施例的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开实施例的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开实施例的方法的程序的记录介质。
本公开实施例的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式，很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
从第一图像中提取所述第一图像中包括的第一目标对象的身份特征数据；
根据噪声数据，生成噪声特征数据；
根据所述第一目标对象的身份特征数据和所述噪声特征数据，生成第二图像。
2.根据权利要求1所述的方法，其特征在于，所述方法通过图像处理网络实现，
所述方法还包括：基于所述第二图像，训练所述图像处理网络。
3.一种图像处理网络的训练方法，其特征在于，包括：
基于样本图像，通过图像处理网络生成样本合成图像；
对所述样本合成图像进行特征提取处理，得到所述样本合成图像的特征数据；
根据所述样本合成图像的特征数据，训练所述图像处理网络。
4.一种图像处理网络的训练方法，包括：
利用所述图像处理网络对所述样本图像进行处理，生成样本重构图像；
利用所述图像处理网络对所述样本图像进行处理，生成样本合成图像；
根据所述样本重构图像和所述样本合成图像，训练所述图像处理网络。
5.一种图像处理装置，其特征在于，包括：
身份特征提取模块，用于从第一图像中提取所述第一图像中包括的第一目标对象的身份特征数据；
第一噪声特征生成模块，用于根据噪声数据，生成噪声特征数据；
图像生成模块，用于根据所述第一目标对象的身份特征数据和所述噪声特征数据，生成第二图像。
6.一种图像处理网络的训练装置，其特征在于，包括：
样本图像合成模块，用于基于样本图像，通过图像处理网络生成样本合成图像；
特征提取模块，用于对所述样本合成图像进行特征提取处理，得到所述样本合成图像的特征数据；
第二网络训练模块，用于根据所述样本合成图像的特征数据，训练所述图像处理网络。
7.一种图像处理网络的训练装置，包括：
第一图像处理模块，用于利用所述图像处理网络对所述样本图像进行处理，生成样本重构图像；
第二图像处理模块，用于利用所述图像处理网络对所述样本图像进行处理，生成样本合成图像；
图像处理网络训练模块，用于根据所述样本重构图像和所述样本合成图像，训练所述图像处理网络。
8.一种电子设备，其特征在于，包括：处理器和存储器；
所述存储器用于存放至少一个可执行指令，所述可执行指令使所述处理器执行如权利要求1～4中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有可执行指令，所述可执行指令使所述处理器执行如权利要求1～4中任一项所述的方法。
10.一种计算机程序产品，其特征在于，包括：至少一个可执行指令，所述可执行指令被处理器执行时用于实现如权利要求1～4中任一项所述的方法。
CN201810826566.8A 2018-07-25 2018-07-25 图像处理、网络训练方法、装置、电子设备和存储介质 Active CN109191409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810826566.8A CN109191409B (zh) 2018-07-25 2018-07-25 图像处理、网络训练方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810826566.8A CN109191409B (zh) 2018-07-25 2018-07-25 图像处理、网络训练方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN109191409A true CN109191409A (zh) 2019-01-11
CN109191409B CN109191409B (zh) 2022-05-10

Family

ID=64937281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810826566.8A Active CN109191409B (zh) 2018-07-25 2018-07-25 图像处理、网络训练方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN109191409B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902723A (zh) * 2019-01-31 2019-06-18 北京市商汤科技开发有限公司 图像处理方法及装置
CN109919183A (zh) * 2019-01-24 2019-06-21 北京大学 一种基于小样本的图像识别方法、装置、设备及存储介质
CN110070515A (zh) * 2019-01-31 2019-07-30 北京字节跳动网络技术有限公司 图像合成方法、装置和计算机可读存储介质
CN110288668A (zh) * 2019-05-20 2019-09-27 平安科技（深圳）有限公司 图像生成方法、装置、计算机设备及存储介质
CN110298302A (zh) * 2019-06-25 2019-10-01 腾讯科技（深圳）有限公司 一种人体目标检测方法及相关设备
CN110322002A (zh) * 2019-04-30 2019-10-11 深圳市商汤科技有限公司 图像生成网络的训练及图像处理方法和装置、电子设备
CN110363060A (zh) * 2019-04-04 2019-10-22 杭州电子科技大学 基于特征子空间生成对抗网络的小样本目标识别方法
CN110688897A (zh) * 2019-08-23 2020-01-14 深圳久凌软件技术有限公司 一种基于联合判断与生成学习的行人重识别方法及装置
CN111539903A (zh) * 2020-04-16 2020-08-14 北京百度网讯科技有限公司 训练人脸图像合成模型的方法和装置
CN111899199A (zh) * 2020-08-07 2020-11-06 深圳市捷顺科技实业股份有限公司 一种图像处理方法、装置、设备及存储介质
US11410344B2 (en) 2019-02-02 2022-08-09 Shenzhen Sensetime Technology Co., Ltd. Method for image generation, electronic device, and storage medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0424159A2 (en) * 1989-10-19 1991-04-24 Osteotech, Inc., Aseptic processing of allograft bone and tissue
US20030086624A1 (en) * 2001-11-08 2003-05-08 Garcia Kevin J. Ghost image correction system and method
US20130190602A1 (en) * 2012-01-19 2013-07-25 Siemens Corporation 2d3d registration for mr-x ray fusion utilizing one acquisition of mr data
CN107784676A (zh) * 2017-09-20 2018-03-09 中国科学院计算技术研究所 基于自动编码器网络的压缩感知测量矩阵优化方法和系统
CN108090521A (zh) * 2018-01-12 2018-05-29 广州视声智能科技有限公司 一种生成式对抗网络模型的图像融合方法和判别器
CN108197525A (zh) * 2017-11-20 2018-06-22 中国科学院自动化研究所 人脸图像生成方法及装置
CN108205803A (zh) * 2017-07-19 2018-06-26 北京市商汤科技开发有限公司 图像处理方法、神经网络模型的训练方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0424159A2 (en) * 1989-10-19 1991-04-24 Osteotech, Inc., Aseptic processing of allograft bone and tissue
US20030086624A1 (en) * 2001-11-08 2003-05-08 Garcia Kevin J. Ghost image correction system and method
US20130190602A1 (en) * 2012-01-19 2013-07-25 Siemens Corporation 2d3d registration for mr-x ray fusion utilizing one acquisition of mr data
CN108205803A (zh) * 2017-07-19 2018-06-26 北京市商汤科技开发有限公司 图像处理方法、神经网络模型的训练方法及装置
CN107784676A (zh) * 2017-09-20 2018-03-09 中国科学院计算技术研究所 基于自动编码器网络的压缩感知测量矩阵优化方法和系统
CN108197525A (zh) * 2017-11-20 2018-06-22 中国科学院自动化研究所 人脸图像生成方法及装置
CN108090521A (zh) * 2018-01-12 2018-05-29 广州视声智能科技有限公司 一种生成式对抗网络模型的图像融合方法和判别器

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HUANG R ET AL: "《Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis》", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
HUANGRUI ET AL: "《Beyond Face Rotation Global and Local Perception GAN For Photorealistic and Identity Preserving Frontal View Synthesis》", 《RESEARCHGATE》 *
YIN X ET AL: "《Towards Large-Pose Face Frontalization in the Wild》", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
许哲豪等: "《基于生成对抗网络的图片风格迁移》", 《软件导刊》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919183A (zh) * 2019-01-24 2019-06-21 北京大学 一种基于小样本的图像识别方法、装置、设备及存储介质
CN109919183B (zh) * 2019-01-24 2020-12-18 北京大学 一种基于小样本的图像识别方法、装置、设备及存储介质
CN110070515B (zh) * 2019-01-31 2020-06-30 北京字节跳动网络技术有限公司 图像合成方法、装置和计算机可读存储介质
CN110070515A (zh) * 2019-01-31 2019-07-30 北京字节跳动网络技术有限公司 图像合成方法、装置和计算机可读存储介质
CN109902723A (zh) * 2019-01-31 2019-06-18 北京市商汤科技开发有限公司 图像处理方法及装置
WO2020155614A1 (zh) * 2019-01-31 2020-08-06 北京市商汤科技开发有限公司 图像处理方法及装置
US11410344B2 (en) 2019-02-02 2022-08-09 Shenzhen Sensetime Technology Co., Ltd. Method for image generation, electronic device, and storage medium
CN110363060A (zh) * 2019-04-04 2019-10-22 杭州电子科技大学 基于特征子空间生成对抗网络的小样本目标识别方法
JP7026222B2 (ja) 2019-04-30 2022-02-25 深▲セン▼市商▲湯▼科技有限公司 画像生成ネットワークの訓練および画像処理方法、装置、電子機器、ならびに媒体
CN110322002A (zh) * 2019-04-30 2019-10-11 深圳市商汤科技有限公司 图像生成网络的训练及图像处理方法和装置、电子设备
JP2021525401A (ja) * 2019-04-30 2021-09-24 深▲せん▼市商▲湯▼科技有限公司Ｓｈｅｎｚｈｅｎ Ｓｅｎｓｅｔｉｍｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． 画像生成ネットワークの訓練および画像処理方法、装置、電子機器、ならびに媒体
CN110322002B (zh) * 2019-04-30 2022-01-04 深圳市商汤科技有限公司 图像生成网络的训练及图像处理方法和装置、电子设备
CN110288668A (zh) * 2019-05-20 2019-09-27 平安科技（深圳）有限公司 图像生成方法、装置、计算机设备及存储介质
CN110288668B (zh) * 2019-05-20 2023-06-16 平安科技（深圳）有限公司 图像生成方法、装置、计算机设备及存储介质
CN110298302A (zh) * 2019-06-25 2019-10-01 腾讯科技（深圳）有限公司 一种人体目标检测方法及相关设备
CN110298302B (zh) * 2019-06-25 2023-09-08 腾讯科技（深圳）有限公司 一种人体目标检测方法及相关设备
CN110688897A (zh) * 2019-08-23 2020-01-14 深圳久凌软件技术有限公司 一种基于联合判断与生成学习的行人重识别方法及装置
CN111539903A (zh) * 2020-04-16 2020-08-14 北京百度网讯科技有限公司 训练人脸图像合成模型的方法和装置
CN111539903B (zh) * 2020-04-16 2023-04-07 北京百度网讯科技有限公司 训练人脸图像合成模型的方法和装置
CN111899199A (zh) * 2020-08-07 2020-11-06 深圳市捷顺科技实业股份有限公司 一种图像处理方法、装置、设备及存储介质
CN111899199B (zh) * 2020-08-07 2024-03-19 深圳市捷顺科技实业股份有限公司 一种图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN109191409B (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
CN109191409A (zh) 图像处理、网络训练方法、装置、电子设备和存储介质
Chen et al. Sketchygan: Towards diverse and realistic sketch to image synthesis
Liu et al. Generative adversarial networks for image and video synthesis: Algorithms and applications
Amodio et al. Travelgan: Image-to-image translation by transformation vector learning
Sabir et al. Recurrent convolutional strategies for face manipulation detection in videos
Palsson et al. Generative adversarial style transfer networks for face aging
Li et al. Linestofacephoto: Face photo generation from lines with conditional self-attention generative adversarial networks
CN109376582A (zh) 一种基于生成对抗网络的交互式人脸卡通方法
CN103473801B (zh) 一种基于单摄像头与运动捕捉数据的人脸表情编辑方法
CN110211045A (zh) 基于srgan网络的超分辨率人脸图像重建方法
CN113627482B (zh) 一种基于音频—触觉信号融合的跨模态图像生成方法及装置
Singh et al. Neural style transfer: A critical review
Xu et al. Saliency prediction on omnidirectional image with generative adversarial imitation learning
Chen et al. Scripted video generation with a bottom-up generative adversarial network
Ververas et al. Slidergan: Synthesizing expressive face images by sliding 3d blendshape parameters
Sarfraz et al. Content and colour distillation for learning image translations with the spatial profile loss
Huang et al. Temporally coherent video harmonization using adversarial networks
Song et al. Editing out-of-domain gan inversion via differential activations
Kumar et al. A comprehensive survey on generative adversarial networks used for synthesizing multimedia content
Xu et al. Self-ensembling GAN for cross-domain semantic segmentation
Xu et al. A domain gap aware generative adversarial network for multi-domain image translation
CN111489405B (zh) 基于条件增强生成对抗网络的人脸草图合成系统
Wang et al. CLAST: Contrastive Learning for Arbitrary Style Transfer
Zhao et al. Pooling the convolutional layers in deep convnets for action recognition
Chen et al. Texture deformation based generative adversarial networks for face editing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant