CN113449851A - 数据处理方法及设备 - Google Patents

数据处理方法及设备 Download PDF

Info

Publication number
CN113449851A
CN113449851A CN202110802048.4A CN202110802048A CN113449851A CN 113449851 A CN113449851 A CN 113449851A CN 202110802048 A CN202110802048 A CN 202110802048A CN 113449851 A CN113449851 A CN 113449851A
Authority
CN
China
Prior art keywords
generator
loss
output
teacher
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110802048.4A
Other languages
English (en)
Inventor
吴捷
任玉羲
肖学锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202110802048.4A priority Critical patent/CN113449851A/zh
Publication of CN113449851A publication Critical patent/CN113449851A/zh
Priority to PCT/CN2022/094556 priority patent/WO2023284416A1/zh
Priority to US18/579,178 priority patent/US20240320966A1/en
Priority to EP22841056.9A priority patent/EP4354343A4/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开实施例提供一种数据处理方法及设备，该方法适用于通过模型蒸馏得到的生成式对抗网络，生成式对抗网络包括第一生成器、第二生成器和判别器，模型蒸馏为交替训练第一生成器和第二生成器的过程，第一生成器的模型规模小于第二生成器的模型规模。该方法包括：获取待处理的图像；通过第一生成器对图像进行处理，得到处理后的图像。从而，舍弃复杂的多阶段模型压缩过程，采用模型蒸馏实现模型的一步压缩，提高生成式对抗网络的模型压缩效率；通过模型蒸馏中第一生成器和第二生成器的交替训练，确保模型压缩后的生成器的图像处理效果。

Description

数据处理方法及设备
技术领域
本公开实施例涉及计算机与网络通信技术领域，尤其涉及一种数据处理方法及设备。
背景技术
目前，随着硬件技术进步和业务发展，在轻量级设备(例如手机、智能可穿戴设备)上部署深度学习网络逐渐成为深度学习网络发展的趋势之一。鉴于深度学习网络的网络结构通常较为复杂、计算量较大，将深度学习网络部署在轻量级设备之前需对深度学习网络进行模型压缩。
目前，对深度学习网络进行模型压缩，是将深度学习网络的模型压缩过程制定为一个多阶段的任务，该任务包括网络结构搜索、蒸馏、剪枝、量化等多个操作。在将生成式对抗网络(Generative Adversarial Networks，GAN)部署在轻量级设备上时，若采用上述模型压缩过程对GAN进行模型压缩，会导致模型压缩的时间成本较高且对计算资源的要求较高。
发明内容
本公开实施例提供一种数据处理方法及设备，以提高生成式对抗网络的模型压缩效率，实现在轻量级设备上通过生成对抗网络对图像进行处理。
第一方面，本公开实施例提供一种数据处理方法，适用于通过模型蒸馏得到的生成式对抗网络，所述数据处理方法包括：
获取待处理的图像；
通过第一生成器对所述图像进行处理，得到处理后的图像；
其中，所述生成式对抗网络包括所述第一生成器、第二生成器和判别器，所述模型蒸馏为交替训练所述第一生成器和所述第二生成器的过程，所述第一生成器的模型规模小于所述第二生成器的模型规模。
第二方面，本公开实施例提供一种数据处理设备，适用于通过模型蒸馏得到的生成式对抗网络，所述数据处理设备包括：
获取模块，用于获取待处理的图像；
处理模块，用于通过第一生成器对所述图像进行处理，得到处理后的图像；
其中，所述生成式对抗网络包括所述第一生成器、所述第二生成器和判别器，所述模型蒸馏为交替训练所述第一生成器和所述第二生成器的过程，所述第一生成器的模型规模小于所述第二生成器的模型规模。
第三方面，本公开实施例提供一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的数据处理方法。
第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的数据处理方法。
第五方面，本公开实施例提供一种计算机程序产品，所述计算机程序产品包含计算机执行指令，当处理器执行所述计算机执行指令时，实现如上述第一方面以及第一方面各种可能的设计所述的数据处理方法。
本实施例提供的数据处理方法及设备中，生成式对抗网络包括第一生成器、第二生成器和判别器，第一生成器的模型规模小于第二生成器的模型规模，在模型蒸馏过程中，对生成对抗网络中的第一生成器和第二生成器进行交替训练，在每次训练过程中，通过优化后的第二生成器引导第一生成器的训练。通过模型蒸馏得到的第一生成器对待处理的图像进行处理。
从而，在本实施例中：一方面，摒弃多阶段的模型压缩过程，实现仅模型蒸馏这一阶段的模型压缩，降低了模型压缩的复杂性，提高了模型压缩的效率；另一方面，通过模型蒸馏过程中第一生成器和第二生成器交替训练这一在线蒸馏方式，提高了第一生成器的模型训练效果，提高了经第一生成器处理的图像的质量。最终得到的第一生成器在模型规模上能够适应于计算能力较弱的轻量级设备，且经第一生成器确保处理后的图像的质量较佳。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种应用场景的示例图；
图2为本公开实施例提供的数据处理方法流程示意图；
图3为本公开实施例提供的数据处理方法中生成式对抗网络的一次训练过程的流程示意图一；
图4为本公开实施例提供的数据处理方法中生成式对抗网络的一次训练过程的流程示意图二；
图5为本公开实施例提供的生成式对抗网络的模型结构示例图；
图6为本公开实施例提供的数据处理设备的结构框图；
图7为本公开实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
参考图1，图1为本公开实施例提供的一种应用场景的示例图。
图1所示的应用场景为图像处理场景。在图像处理场景中，涉及的设备包括终端101和服务器102，终端101与服务器102例如通过网络进行通信。服务器102用于训练深度学习模型，并将训练后的深度学习模型部署至终端101。终端101通过深度学习模型进行图像处理。
其中，深度学习模型为生成式对抗网络(Generative Adversarial Networks，GAN)。服务器102将训练后的生成式对抗网络中的生成器部署至终端。
终端101属于轻量级设备(例如摄像头、手机、智能家电)，计算能力较弱，适合部署规模较小的深度学习模型。所以，如何得到适应于部署在轻量级设备上的规模较小的生成器并提高规模较小的生成器的图像处理效果，是目前亟需解决的问题之一。
模型压缩为训练模型规模较小的深度学习模型的方式之一。然而，目前用于生成式对抗网络的模型压缩方式仍存在以下不足之处：
1)深度学习领域成熟的模型压缩技术不是针对生成式对抗网络定制的，缺乏对生成式对抗网络的复杂特性和结构的探索；2)模型压缩过程包括网络结构搜索、蒸馏、剪枝、量化等多个阶段，时间要求和计算资源要求较高；3)压缩后的生成式对抗网络消耗的计算资源较高，难以应用于轻量级设备。
为解决上述问题，本公开实施例提供了一种数据处理方法。在该方法中设计了一种适合生成式对抗网络的模型压缩方式，在该方式中，通过模型蒸馏实现生成式对抗网络的一步压缩，降低了模型压缩的复杂度，提高了模型压缩的效率，在模型蒸馏过程中，通过规模较小的生成器与规模较大的生成器交替训练的在线蒸馏方式，提高规模较小的生成器的训练效果。最终，得到的规模较小的生成器，能够适用于轻量级设备、且处理后的图像质量较佳。
示例性的，本公开实施例提供的数据处理方法可以应用在终端或者服务器中。该方法应用在终端时，可以实现对终端所采集图像的实时处理。该方法应用在服务器时，可以实现对终端所发送图像的处理。其中，终端设备可以是个人数字处理(personal digitalassistant，简称PDA)设备、具有无线通信功能的手持设备(例如智能手机、平板电脑)、计算设备(例如个人电脑(personal computer，简称PC))、车载设备、可穿戴设备(例如智能手表、智能手环)、以及智能家居设备(例如智能显示设备)等。
参考图2，图2为本公开实施例提供的数据处理方法的流程示意图一。如图2所示，该数据处理方法包括：
S201、获取待处理的图像。
一示例中，待处理的图像可为终端实时拍摄到的图像、或者从终端实时拍摄的视频中获取一帧或者多帧图像。
又一示例中，待处理的图像可为用户输入或者用户选中的图像。例如，用户在终端的显示界面上输入待处理检测的图像，或者选择待检测的图像。或者，服务器接收到终端发送的用户输入或者用户选中的图像。
又一示例中，待处理的图像可为终端上实时播放的图像。例如，终端在检测到图像或者视频播放时，获取正在播放的图像或者视频帧。从而，实现对终端上实时播放的图像的处理。
又一示例中，待处理的图像为终端和/或服务器上预先存储的数据库中的图像。例如，在终端预先建立存储多个待处理的图像的数据库，在进行图像处理时，从该数据库中获取待处理的图像。
S202、通过第一生成器对图像进行处理，得到处理后的图像。
在生成式对抗网络中，包括第一生成器、第二生成器和判别器，第一生成器的模型规模小于第二生成器的模型规模，所以，相较于第一生成器，第二生成器的图像处理能力更强，能够提取到图像更细致的特征，处理得到质量较高的图像，图像处理过程所需要的计算资源也更多。
在生成式对抗网络的训练过程中，采用模型蒸馏的方式对生成式对抗网络进行训练。在模型蒸馏过程中，对第一生成器和第二生成器进行交替训练，即对第一生成器和第二生成器进行在线蒸馏，以利用优化后的第二生成器引导第一生成器的优化，使得比第二生成器的模型规模小的第一生成器在图像处理质量上能够逼近第二生成器。
生成式对抗网络的训练过程可在服务器上进行。考虑到终端的计算能力较弱，可将模型蒸馏后的模型规模较小的第一生成器，部署在终端。
本步骤中，在图像处理过程中，将待处理的图像直接输入第一生成器，或者将待处理的图像经过裁剪、去噪、增强等预处理操作后，再输入第一生成器，得到第一生成器输出的处理后的图像。
本公开实施例中，通过第一生成器和第二生成器的在线蒸馏方式，实现生成式对抗网络的模型压缩，提高了模型压缩的效率和效果，得到模型规模较小、处理得到的图像质量较高的第一生成器，尤其适合部署在轻量级设备上用于图像处理，提高轻量级设备上图像的处理效率和质量。
需要说明以下几点：生成式对抗网络的训练过程与生成式对抗网络应用于图像处理的过程分开进行，例如，在服务器上进行生成式对抗网络的训练后，在终端上部署训练后的学生生成器，通过学生生成器进行图像处理。服务器每次更新生成式对抗网络后，可在终端重新部署学生生成器。
下面，通过实施例对生成式对抗网络的训练过程进行描述。
参考图3，图3为本公开实施例提供的数据处理方法中生成式对抗网络的一次训练过程的流程示意图一，即生成式对抗网络中第一生成器与第二生成器的一次交替训练过程的流程示意图。如图3所示，生成式对抗网络中第一生成器与第二生成器的一次交替训练过程，包括：
S301：根据样本数据和判别器，确定第二生成器的损失值。
其中，样本数据包括样本图像和样本图像对应的参考图像。例如，在图像的深度估计中，样本数据包括样本图像和样本图像的真实深度图；在图像的人脸识别中，样本图像包括样本图像和样本图像的真实的人脸标记图，比如在人脸标记图中可由人工手动标记各个人脸的位置。
本步骤中，通过第二生成器对样本图像进行处理，得到第二生成器输出的处理后的样本图像，为简洁描述，后续称为第二生成器的输出图像。通过判别器，对样本图像对应的参考图像和第二生成器的输出图像进行真假判别，确定第二生成器的对抗损失。其中，在训练过程中，第二生成器使得自身的输出图像逼近样本图像对应的参考图像，判别器尽量区分出第二生成器的输出图像和样本图像对应的参考图像，第二生成器的对抗损失反映判别器对第二生成器的输出图像和样本图像对应的参考图像进行真假判别的损失值。
在通过判别器，对样本图像对应的参考图像和第二生成器的输出图像进行判别的过程中，将样本图像对应的参考图像，输入判别器，将第二生成器的输出图像，输入判别器，由判别器分别判别样本图像对应的参考图像、第二生成器的输出图像是否来自样本数据。最终，根据样本图像对应的参考图像输入判别器时判别器的输出、第二生成器的输出图像输入判别器时判别器的输出和对抗损失函数，计算教师生成器的对抗损失。
可选的，在判别器的输出为1表示判别器的输入数据来自样本数据，判别器的输出为0表示判别器的输入数据不来自样本数据的情形下，确定样本图像对应的参考图像输入判别器时判别器的输出的期望值，确定1减去第二生成器的输出图像输入判别器时判别器的输出得到的差值的期望值，将该两个期望值进行相加求和，得到第二生成器的对抗损失。
进一步的，用于计算第二生成器的对抗损失的对抗损失函数，表示为：
LGAN(GT，D)＝E{x，y}[logD(x，y)]+E{x}[log(1-D(x，GT(x)))]。
其中，LGAN(GT，D)为对抗损失函数，GT表示第二生成器，D表示判别器，x表示样本图像，y表示样本图像对应的参考图像，GT(x)表示将样本图像x输入第二生成器后第二生成器的输出图像，E{x，y}[]表示在样本数据{x，y}下的期望函数、E{x}[]表示在样本数据x下的期望函数。
在一些实施例中，确定第二生成器的损失值为第二生成器的对抗损失。也即，直接采用上述计算得到的对抗损失，作为教第二生成器的损失值。
在一些实施例中，除对抗损失之外，第二生成器的损失值还包含第二生成器的重建损失。此时，S301的一种可能的实现方式包括：通过第二生成器对样本图像进行处理，得到第二生成器的输出图像；通过判别器对样本图像对应的参考图像和第二生成器的输出图像进行真假判别，确定第二生成器的对抗损失；根据样本图像对应的参考图像与第二生成器的输出图像的差异，确定第二生成器的损失值。从而，在第二生成器的损失值中，既考虑到判别器进行图像判别时的对抗损失，又考虑到反映样本图像对应的参考图像与第二生成器的输出图像之间差异的重建损失，提高第二生成器的损失值的全面性和准确性，进而提高第二生成器的训练效果。
可选的，在重建损失函数中，确定样本图像对应的参考图像与第二生成器的输出图像之间的差值，根据该差值，计算得到第二生成器的重建损失。
进一步的，用于计算第二生成器的重建损失的重建损失函数，表示为：
LreCon(GT，D)＝E{x，y}[y-GT(x)]。
其中，Lrecon(GT，D)为第二生成器的重建损失函数，y-GT(x)为样本图像对应的参考图像与第二生成器的输出图像之间的差值。
S302：根据第二生成器的损失值，调整第二生成器。
本步骤中，在得到第二生成器的损失值后，可根据优化目标函数，对第二生成器进行调整，完成第二生成器的一次训练。其中，优化目标函数，例如为最大化损失值的函数，或者，最小化损失值的函数，在第二生成器的调整过程中所采用的优化算法，例如梯度下降算法，在此对优化算法不做限制。
在一些实施例中，第二生成器的损失值包含第二生成器的对抗损失时，优化目标函数包括在判别器的基础上最大化该对抗损失和在教师生成器的基础上最小化该对抗损失。换句话说，在该优化目标函数中，判别器的优化方向为最大化该对抗损失，以提高判别器的判别能力；第二生成器的优化目标为最小化该对抗损失，以通过第二生成器的输出图像逼近样本图像对应的参考图像，使得判别器判别第二生成器的输出图像来自样本数据。
在一些实施例中，第二生成器的损失值包含第二生成器的重建损失时，优化目标函数包括在第二生成器的基础上最小化该重建损失，即，通过调整第二生成器最小化该重建损失，促使第二生成器的输出图像逼近样本图像对应的参考图像，提高第二生成器的输出图像的图像质量。
可选的，在第二生成器的损失值包含第二生成器的对抗损失和第二生成器的重建损失时，第二生成器的优化目标函数表示为：
Figure BDA0003164984330000061
其中，
Figure BDA0003164984330000062
表示第二生成器训练过程中的优化目标函数，
Figure BDA0003164984330000063
表示通过调整判别器最大化判别损失。
S303：根据样本图像、调整后的第二生成器和第一生成器，确定调整后的第二生成器与第一生成器之间的蒸馏损失。
本步骤中，通过调整后的第二生成器对样本图像进行处理，通过第一生成器对样本图像进行处理。由于第二生成器的模型规模大于第一生成器的模型规模，通过调整后的第二生成器对样本图像进行处理所得到的数据与通过第一生成器对样本图像进行处理所得到的数据之间存在差异，根据这些差异，确定调整后的第二生成器与第一生成器之间的蒸馏损失。
以下提供蒸馏损失以及蒸馏损失的确定过程的实施例。
在一些实施例中，调整后的第二生成器与第一生成器之间的蒸馏损失，包含调整后的第二生成器与第一生成器之间的输出蒸馏损失。在生成式对抗网络中，网络层包括输入层、中间层和输出层，输出蒸馏损失为第二生成器的输出层与第一生成器的输出层之间的蒸馏损失，反映第二生成器的输出图像与第一生成器的输出图像之间的差异。此时，S303的一种可能的实现方式包括：通过第一生成器、调整后的第二生成器，分别处理样本图像，得到第一生成器的输出图像和第二生成器的输出图像；根据第一生成器的输出图像与第二生成器的输出图像之间的差异，确定输出蒸馏损失。
其中，第一生成器的输出图像与第二生成器的输出图像之间的差异，可通过将第一生成器的输出图像与第二生成器的输出图像进行比较得到。例如，将第一生成器的输出图像中各个像素与第二生成器的输出图像中相应位置处的像素进行比较；又如，在图像的亮度、对比度等方面，对第一生成器的输出图像与第二生成器的输出图像进行比较。
从而，通过反映第一生成器的输出图像与第二生成器的输出图像之间的差异的输出蒸馏损失，引导第一生成器的优化，随着第一生成器的优化，第一生成器的输出图像逐渐逼近调整后的第二生成器的输出图像，有利于提高第一生成器处理图像的图像质量。
关于输出蒸馏损失：
一示例中，输出蒸馏损失包含第一生成器的输出图像与第二生成器的输出图像之间的结构化相似损失和/或感知损失。
其中，结构化相似损失与人类视觉系统(Human Visual System，HVS)对图像的观察相似，关注第一生成器的输出图像与第二生成器的输出图像的局部结构差异，包括图像的亮度、对比度等方面的差异。感知损失关注第一生成器的输出图像与第二生成器的输出图像在特征表示方面的差异。
具体的，可根据第二生成器的输出图像的亮度和对比度以及第一生成器的输出图像的亮度和对比度，确定第二生成器的输出图像与第一生成器的输出图像之间的结构相似化损失，例如，在图像的亮度、对比度上，分别比较第二生成器的输出图像与第一生成器的输出图像的差异，得到结构化相似损失。和/或，通过特征提取网络对第一生成器的输出图像和第二生成器的输出图像分别进行特征提取，确定第一生成器的输出图像与第二生成器的输出图像之间的感知损失，例如，将提取到的第一生成器的输出图像的特征与提取到的第二生成器的输出图像的特征进行比较，得到感知损失。
根据结构相似化损失和/或感知损失，确定输出蒸馏损失，例如，确定输出蒸馏损失为结构化相似损失，或者，确定输出蒸馏损失为感知损失，或者，对结构化相似损失和感知损失进行加权求和，得到输出蒸馏损失。
从而，通过结构化相似损失和/或感知损失，从人类视觉、特征表示等一个或多个方面，确定第一生成器的输出图像与第二生成器的输出图像之间的差异，提高输出蒸馏损失的全面性和准确性，提高第一生成器的训练效果。
可选的，确定结构相似化损失的过程包括：确定第二生成器的输出图像的亮度估计、第一生成器的输出图像的亮度估计、第二生成器的输出图像的对比度估计、第一生成器的输出图像的对比度估计、第二生成器的输出图像与第一生成器的输出图像之间的结构相似性估计；根据这些参数，确定第一生成器的输出图像和第二生成器的输出图像之间的结构相似化损失。
具体的，计算第二生成器的输出图像的像素均值、像素标准差，计算第一生成器的输出图像的像素均值、像素标准差，计算第二生成器的输出图像的像素与第一生成器的输出图像的像素之间的协方差。针对第二生成器，确定其输出图像的亮度估计、对比度估计分别为其输出图像的像素均值、像素标准差。同样的，针对第一生成器，确定其输出图像的亮度估计、对比度估计分别为其输出图像的像素均值、像素标准差。确定第二生成器的输出图像与第一生成器的输出图像之间的结构相似性估计，为第二生成器的输出图像的像素与第一生成器的输出图像的像素之间的协方差。
进一步的，用于计算结构化相似的结构相似化损失函数表示为：
Figure BDA0003164984330000071
其中，LSSIM(pt，ps)表示结构相似化损失函数，pt、ps分别表示第二生成器的输出图像、第一生成器的输出图像，μt、μs分别表示第二生成器的输出图像的亮度估计、第一生成器的输出图像的亮度估计，
Figure BDA0003164984330000072
分别表示第二生成器的输出图像的对比度估计、第一生成器的输出图像的对比度估计，σts表示第二生成器的输出图像与第一生成器的输出图像之间的结构相似性估计。
可选的，确定感知损失的过程包括：将第一生成器的输出图像和第二生成器的输出图像分别输入特征提取网络，得到特征提取网络的预设网络层输出的第一生成器的输出图像的特征和第二生成器的输出图像的特征；根据第一生成器的输出图像的特征与第二生成器的输出图像的特征之间的差异，确定特征重建损失和/或样式重建损失。
其中，感知损失包括特征重建损失和/或样式重建损失：特征重建损失用于反映第一生成器的输出图像的较为底层(或者较为具体)的特征表示与第二生成器的输出图像的较为底层的特征表示之间的差异，用于鼓励第一生成器的输出图像与第二生成器的输出图像具有相似的特征表示；样式重建损失用于反映第一生成器的输出图像的较为抽象的样式特征(例如颜色、纹理、图案)与第二生成器的输出图像的较为抽象的样式特征之间的差异，用于鼓励第一的输出图像与第二生成器的输出图像具有相似的样式特征。
具体的，基于同一特征提取网络的不同网络层提取到的特征的抽象程度不同：获取用于提取底层特征的网络层所提取的第一生成器的输出图像的特征和第二生成器的输出图像的特征，根据第一生成器的输出图像的特征与第二生成器的输出图像的特征之间的差异，确定特征重建损失；获取用于提取抽象特征的网络层所提取的第一生成器的输出图像的特征和第二生成器的输出图像的特征，根据第一生成器的输出图像的特征与第二生成器的输出图像的特征之间的差异，确定样式重建损失。
或者，通过不同的特征提取网络进行图像特征的提取，其中，一个特征提取网络擅长提取底层的特征表示，另一个特征提取网络擅长提取抽象的样式特征。基于不同的特征提取网络所提取的第一生成器的输出图像的特征与第二生成器的特征，分别确定特征重建损失和样式重建损失。
可选的，特征提取网络为超分辨率测试序列(Visual Geometry Group，VGG)网络，其中，VGG网络是一个深度的卷积神经网络，可用于提取第一生成器的输出图像的特征与第二生成器的特征。从而，可同一VGG网络的不同网络层中或者从不同VGG网络的不同网络层中，得到第一生成器的输出图像和第二生成器的输出图像中不同抽象程度的特征。
进一步的，用于计算特征重建损失的特征重建损失函数表示为：
Figure BDA0003164984330000081
其中，Lfea(pt，ps)表示特征损失函数，用于计算第二生成器的输出图像pt与第一生成器ps的输出图像之间的特征重建损失，φj(pt)表示VGG网络φ的第j层提取到的第二生成器的输出图像的特征激活值(即特征)，φi(ps)表示VGG网络φ的第j层提取到的第一生成器的输出图像的特征激活值。Cj×Hj×Wj表示VGG网络φ的第j层输出的特征激活值的维数。
进一步的，用于计算样式重建损失的样式重建损失函数表示为：
Figure BDA0003164984330000082
其中，Lstyle(pt，ps)表示样式损失函数，用于计算第二生成器的输出图像pt与第一生成器ps的输出图像之间的样式重建损失，
Figure BDA0003164984330000083
表示VGG网络φ的第j层提取到的第二生成器的输出图像的特征激活值的格拉姆矩阵(Gram matrix)，
Figure BDA0003164984330000084
表示VGG网络φ的第j层提取到的第一生成器的输出图像的特征激活值的格拉姆矩阵。
S304：根据蒸馏损失，调整第一生成器。
本步骤中，在得到第一生成器与第二生成器之间的蒸馏损失后，对该蒸馏损失进行反向传播，在反向传播的过程中调整第一生成器的模型参数，使得学习生成器朝着最小化蒸馏损失的方向进行优化。
一示例中，蒸馏损失包含输出蒸馏损失，对输出蒸馏损失进行反向传播，在反向传播的过程中调整第一生成器的模型参数，使得学习生成器朝着最小化输出蒸馏损失的方向进行优化。其中，输出蒸馏损失的概念和确定过程可参照前述步骤的描述，不再赘述。
又一示例中，除蒸馏损失外，第一生成器相对于第二生成器的在线损失还包括第一生成器的输出图像的总变差损失。其中，第一生成器的输出图像的总变差损失用来反映第一生成器的输出图像的空间平滑度，通过总变差损失对第一生成器进行优化，可以提高第一生成器的输出图像的空间平滑度，提高图像质量。
在第一生成器的在线损失包括第一生成器与第二生成器之间的蒸馏损失和第一生成器的输出图像的总变差损失的情形下，S304的一种可能的实现方式包括：对蒸馏损失和总变差损失进行加权求和，得到第一生成器的在线损失；根据第一生成器的在线损失，对第一生成器进行调整。其中，蒸馏损失和总变差损失分别对应的权重可由专业人员基于经验和实验过程进行确定。
从而，在第一生成器的训练过程中，通过结合蒸馏损失和总变差损失的方式，兼顾了第一生成器与第二生成器之间图像处理的数据差异和第一生成器输出的图像噪声情况，并通过蒸馏损失和总变差损失的加权方式，对蒸馏损失和总变差损失进行平衡，有利于提高第一生成器的训练效果。
进一步的，在蒸馏损失包括输出蒸馏损失，输出蒸馏损失包括第一生成器的输出图像与第二生成器的输出图像之间的结构相似化损失、感知损失，以及感知损失包括第一生成器的输出图像与第二生成器的输出图像之间的特征重建损失和样式重建损失的情形下，用于计算第一生成器的在线损失的在线蒸馏损失函数，表示为：
Lkd(pt，ps)＝λssimLssim+λfeaLfea+λstvleLstvle+λtvLtv。
其中，Lkd(pt，ps)表示第一生成器的损失函数，λssim、λfea、λstyle、λtv分别表示为结构相似化损失Lssim对应的权重、特征重建损失Lfea对应的权重、样式重建损失Lstyle对应的权重、总变差损失Ltv对应的权重。
综上，本实施例中，第二生成器与第一生成器在线蒸馏，即第二生成器与第一生成器同步进行训练。在每次训练过程中，第一生成器仅利用当前训练次数中调整后的第二生成器进行优化。一方面，实现第一生成器在有判别器的环境下进行训练，同时第一生成器又无需与判别器紧密绑定，使得第一生成器可以更加灵活的训练并获得进一步的压缩；另一方面，第一生成器的优化也无需真实标签，第一生成器仅学习具有相似结构且模型规模更大的第二生成器的输出，有效地降低了第一生成器拟合真实标签的难度。
在一些实施例中，第一生成器为学生生成器，第二生成器为教师生成器。其中，学生生成器与教师生成器的模型结构相似，教师生成器的模型规模和复杂程度大于学生生成器的模型规模和复杂程度，相较于学生生成器，教师生成器的学习能力更强，能够在蒸馏过程中更好地引导学生生成器的训练。
在一些实施例中，教师生成器包括第一教师生成器和第二教师生成器，其中，第一教师生成器的模型容量大于学生生成器的模型容量，第二教师生成器的模型深度大于学生生成器的模型深度。
因此，从两个互补的维度为学生生成器提供两个不同的教师生成器，可以在模型蒸馏过程中为学生生成模型提供互补的全面的蒸馏损失，具体如下：第一教师生成器从模型容量(即模型宽度，又称为模型的通道数)对学生生成器进行弥补，捕捉到学生生成器捕捉不到的更细节的图像信息；第二模型生成器从模型深度对学生生成器进行弥补，达到各更好的图像质量。除上述区别外，学生生成器与第一教师生成器、第二教师生成器在模型结构上整体相似，都是由包括个网络层的深度学习模型。
可选的，第一教师生成器的中间层的通道数为学生生成器的中间层的通道数的倍数，其中，倍数大于1。从而，通过倍数关系，简洁地建立第一教师生成器与学生生成器的关系，更有利于后续实施例中通道蒸馏损失的计算。
可选的，第二教师生成器的网络层数量多于学生生成器的网络层数量。
可选的，在构建第二教师生成器时，在学生生成器的每个上采样网络层和每个下采样网络层之前增加一个或多个网络层，得到第二教师生成器。
可选的，在构建第二教师生成器时，在学生生成器的每个上采样网络层和每个下采样网络层之前增加深度残差网络(Deep residual network，Resnet)，得到第二教师生成器。从而，通过增加成熟的Resnet，提高第二教师生成器的训练效率，降低模型深度较大的第二教师生成器的训练难度。
一示例中，在生成式对抗网络的一次训练过程中，可根据样本数据和判别器，确定第一教师生成器的损失值，样本数据中包括样本图像和样本图像的参考图像；根据第一教师生成器的损失值，调整第一教师生成器；根据样本数据和判别器，确定第二教师生成器的损失值；根据第二教师生成器的损失值，调整第二教师生成器；根据样本图像、调整后的第一教师生成器以及调整后的第二教师生成器，调整学生生成器。
其中，第一教师生成器的调整、第二教师生成器的调整可参照前述实施例中第二生成器的调整，与前述实施例不同的是，在调整学生生成器时，需要确定第一教师生成器与学生生成器之间的蒸馏损失、第二教师生成器与学生生成器之间的蒸馏损失，根据第一教师生成器与学生生成器之间的蒸馏损失以及第二教师生成器与学生生成器之间的蒸馏损失，调整学生生成器。同样的，第一教师生成器与学生生成器之间的蒸馏损失的确定过程、第二教师生成器与学生生成器之间的蒸馏损失的确定过程，可以参照前述实施例中第二生成器与第一生成器之间的蒸馏损失的确定过程，不再赘述。
在一些实施例中，判别器包括第一判别器和第二判别器，第一判别器和第二判别器之间存在共享卷积层，在生成式对抗网络的模型训练过程中，第一教师生成器采用第一判别器，第二教师生成器采用第二判别器。从而，充分考虑到第一教师生成器与第二教师生成器的模型结构相似但又不完全相同，采用卷积层部分共享的第一判别器和第二判别器分别训练第一教师生成器和第二教师生成器，提高模型训练效果和效率。
参考图4，图4为本公开实施例提供的数据处理方法中生成式对抗网络的一次训练过程的流程示意图二，即生成式对抗网络中学生生成器、第一教师生成器、第二教师生成器的一次交替训练过程的流程示意图。
如图4所示，生成式对抗网络中学生生成器与第一教师生成器、第二教师生成器的一次交替训练过程，包括：
S401、根据样本数据和第一判别器，确定第一教师生成器的损失值。
其中，S401的实现原理和技术效果，可参照前述实施例中对根据样本图像和判别器确定第二生成器的损失值的描述，在此不再赘述。
可选的，第一教师生成器的损失值包括第一教师生成器的对抗损失。此时，用于计算第一教师生成器的对抗损失的对抗损失函数，可表示为：
Figure BDA0003164984330000101
其中，
Figure BDA0003164984330000102
为第一教师生成器的对抗损失函数，
Figure BDA0003164984330000103
表示第一教师生成器，
Figure BDA0003164984330000111
表示将样本图像x输入第一教师生成器后第一教师生成器的输出图像，D1表示第一判别器。
可选的，第一教师生成器的损失值还包含第一教师生成器的重建损失，此时，用于计算第一教师生成器的重建损失的重建损失函数，可表示为：
Figure BDA0003164984330000112
其中，
Figure BDA0003164984330000113
为第一教师生成器的重建损失函数，
Figure BDA0003164984330000114
为样本图像对应的参考图像与第一教师生成器的输出图像之间的差值。
S402、根据第一教师生成器的损失值，调整第一教师生成器。
其中，S402的实现原理和技术效果，可参照前述实施例中对根据第二生成器的损失值调整第二生成器的描述，在此不再赘述。
可选的，在第一教师生成器的损失值包含第一教师生成器的对抗损失和第一教师生成器的重建损失时，第一教师生成器的优化目标函数表示为：
Figure BDA0003164984330000115
其中，
Figure BDA0003164984330000116
表示第一教师生成器训练过程中的优化目标函数，
Figure BDA0003164984330000117
表示通过调整第一判别器最大化判别损失。
S403、根据样本数据和第二判别器，确定第二教师生成器的损失值。
其中，S403的实现原理和技术效果，可参照前述实施例中对根据样本图像和判别器确定第二生成器的损失值的描述，在此不再赘述。
可选的，第二教师生成器的损失值包括第二教师生成器的对抗损失。此时，用于计算第二教师生成器的对抗损失的对抗损失函数，可表示为：
Figure BDA0003164984330000118
其中，
Figure BDA0003164984330000119
为第二教师生成器的对抗损失函数，
Figure BDA00031649843300001110
表示第二教师生成器，
Figure BDA00031649843300001111
表示将样本图像x输入第二教师生成器后第二教师生成器的输出图像，D2表示第二判别器。
可选的，第二教师生成器的损失值还包含第二教师生成器的重建损失，此时，用于计算第二教师生成器的重建损失的重建损失函数，可表示为：
Figure BDA00031649843300001112
其中，
Figure BDA00031649843300001113
为第一教师生成器的重建损失函数，
Figure BDA00031649843300001114
为样本图像对应的参考图像与第一教师生成器的输出图像之间的差值。
S404、根据第二教师生成器的损失值，调整第二教师生成器。
其中，S404的实现原理和技术效果，可参照前述实施例中对根据第二生成器的损失值调整第二生成器的描述，在此不再赘述。
可选的，在第二教师生成器的损失值包含第二教师生成器的对抗损失和第二教师生成器的重建损失时，第二教师生成器的优化目标函数表示为：
Figure BDA00031649843300001115
其中，
Figure BDA00031649843300001116
表示第二教师生成器训练过程中的优化目标函数，
Figure BDA00031649843300001117
表示通过调整第二判别器最大化判别损失。
S405、根据样本图像、调整后的第一教师生成器以及调整后的第二教师生成器，调整学生生成器。
本步骤中，通过调整后的第一教师生成器、调整后的第二教师生成器、学生生成器分别对样本图像进行处理。第一教师生成器的模型容量大于学生生成器的模型容量，第二教师生成器的模型深度大于学生生成器的模型深度，因此：通过调整后的第一教师生成器对样本图像进行处理所得到的数据、通过调整后的第二教师生成器对样本图像进行处理所得到的数据分别与通过学生生成器进行处理所得到的数据之间存在差异，通过这些差异，可确定调整后的第一教师生成器、调整后的第二教师生成器分别与学生生成器之间的蒸馏损失。进而，根据调整后的第一教师生成器、调整后的第二教师生成器分别与学生生成器之间的蒸馏损失，调整学生生成器，在每次训练过程中，基于优化的第一教师生成器、优化的第二教师生成器引导学生生成器的优化，综合第一教师生成器和第二教师生成器，提高学生生成器的训练效果。
在一些实施例中，第一教师生成器与学生生成器之间的蒸馏损失包括第一教师生成器与学生生成器之间的输出蒸馏损失，即第一教师生成器的输出层与学生生成器的输出层之间的蒸馏损失。进一步的，该输出蒸馏损失可包括：第一教师生成器的输出图像与学生生成器的输出图像之间的结构相似性损失和/或感知损失。进一步的，该感知损失可包括：第一教师生成器的输出图像与学生生成器的输出图像之间的特征重建损失和/或样式重建损失。
在一些实施例中，第二教师生成器与学生生成器之间的蒸馏损失包括第二教师生成器与学生生成器之间的输出蒸馏损失，即第二教师生成器的输出层与学生生成器的输出层之间的蒸馏损失。进一步的，该输出蒸馏损失可包括：第二师生成器的输出图像与学生生成器的输出图像之间的结构相似性损失和/或感知损失。进一步的，该感知损失可包括：第二教师生成器的输出图像与学生生成器的输出图像之间的特征重建损失和/或样式重建损失。
其中，第一教师生成器、第二教师生成器分别与学生生成器之间的蒸馏损失的相关内容可参照前述实施例中第二生成器与第一生成器之间的蒸馏损失的详细描述，在此不再赘述。
在一些实施例中，第一教师生成器的模型深度与学生生成器的模型深度相同，相较于学生生成器，第一教师生成器的模型容量更大，也即卷积层的通道数更多，能够捕捉到学生生成器无法捕捉到的细节。考虑到教师生成器与学生生成器之间的蒸馏损失若仅包括输出蒸馏损失，也即，在模型蒸馏过程中，仅蒸馏了教师生成器的输出层的信息，或者说，仅考虑了教师生成器的输出图像与学生生成器的输出图像之间从差异，而未考虑教师生成器的中间层的信息。因此，可以基于第一教师生成器的结构特点，利用第一教师生成器的中间层的信息，也即利用通道粒度的信息，作为学生生成器的优化过程的监督信号之一，进一步提升学生生成器的训练效果。
可选的，第一教师生成器与学生生成器之间的蒸馏损失包含第一教师生成器与学生生成器之间的输出蒸馏损失和通道蒸馏损失，其中，通道蒸馏损失为第一教师生成器的中间层与学生生成器的中间层之间的蒸馏损失，反映第一教师生成器的中间层提取的样本图像的特征与学生生成器的中间层提取的样本图像的特征之间的差异。从而，结合输出蒸馏损失、通道蒸馏损失作为学生生成器优化的监督信息，实现多粒度的模型蒸馏，提高模型蒸馏效果。
此时，S405的一种可能的实现方式包括：通过学生生成器、调整后的第一教师生成器、调整后的第二教师生成器，分别处理样本图像，得到学生生成器的输出图像和第一教师生成器的输出图像，确定第一输出蒸馏损失，第一输出蒸馏损失为第一教师生成器的输出层与学生生成器的输出层之间的蒸馏损失；根据学生生成器的中间层输出的特征图和第一教师生成器的中间层输出的特征图，确定通道蒸馏损失；根据学生生成器的输出图像和第二教师生成器的输出图像，确定第二输出蒸馏损失，第二输出蒸馏损失为第二教师生成器的输出层与学生生成器的输出层之间的蒸馏损失；根据第一输出蒸馏损失、通道蒸馏损失以及第二输出蒸馏损失，调整学生生成器。
其中，学生生成器的中间层输出的特征图，是指经学生生成器的中间层提取到的样本图像的特征，包括学生生成器的中间层中各个通道输出的特征映射值。同样的，第一教师生成器的中间层输出的特征图，是指经第一教师生成器的中间层提取到的样本图像的特征，包括第一教师生成器的中间层中各个通道输出的特征映射值。
具体的，由于学生生成器的模型深度与第一教师生成器的模型深度相同，针对各中间层，确定学生生成器的中间层输出的特征图与第一教师生成器的中间层输出的特征图之间的差异，根据该差异，确定通道蒸馏损失。在得到第一输出蒸馏损失、通道蒸馏损失以及第二输出蒸馏损失后，根据第一输出蒸馏损失、通道蒸馏损失和第二输出蒸馏损失，调整学生生成器。
考虑到第一教师生成器的模型容量大于学生生成器的模型容量，第一教师生成器的中间层的通道数大于学生生成器的中间层的通道数，在一些实施例中，第一教师生成器的中间层与学生生成器的中间层之间连接有通道卷积层，通道卷积层用于建立第一教师生成器的中间层的通道与学生生成器的中间层的通道之间的映射关系。从而，基于通道卷积层，针对学生生成器的中间层的每个通道，在第一教师生成器的中间层的通道中都存在与之对应的通道，在不改变学生生成器的中间层的通道数的前提下，通过通道卷积层，在通道蒸馏损失的确定过程中实现学生生成器的中间层的通道数扩展。
此时，根据学生生成器的中间层输出的特征图和第一教师生成器的中间层输出的特征图，确定通道蒸馏损失的一种可能的实现方式包括：根据学生生成器的中间层中的各通道输出的特征图，确定学生生成器的中间层中各通道的注意力权重；根据第一教师生成器的中间层中各通道输出的特征图，确定第一教师生成器的中间层中各通道的注意力权重；在学生生成器的中间层和第一教师生成器的中间层中，根据相互映射的通道的注意力权重之间的差异，确定通道蒸馏损失。其中，通道的注意力权重用于衡量通道的重要性。
具体的，在学生生成器中，针对中间层中的各通道，可基于通道输出的特征图上的像素，计算通道的注意力权重，例如，将通道输出的特征图上所有像素的总和或者均值，确定为该通道的注意力权重。在第一教师生成器中，针对中间层中的各通道，可基于通道输出的特征图上的像素，计算通道的注意力权重。在学生生成器的中间层的各通道中和第一教师生成器的中间层的各通道中，确定相互映射的通道，将相互映射的通道的注意力权重进行比较，确定相互映射的通道的注意力权重之间的差异，进而确定通道蒸馏损失。
可选的，通道卷积层为1*1的可学习卷积层，通过1*1的可学习卷积层将学生生成器的中间层的通道映射到第一教师生成器相应的中间层的通道，使得学生生成器的中间层的通道数升维至与学生生成器相应的中间层的通道数一致。
可选的，在学生生成器中，可针对中间层的各通道，根据通道输出的特征图上的各像素以及通道输出的特征图的尺寸，计算通道的注意力权重。
在根据通道输出的特征图上的各像素以及通道输出的特征图的尺寸的过程中，可将通道输出的特征图上每行像素相加，得到各行对应的像素和；将各行对应的像素和相加，得到特征图对应的像素总和；根据特征图的尺寸，对像素总和求平均，得到通道的注意力权重。
进一步的，通道的注意力权重的计算公式可表示为：
Figure BDA0003164984330000141
其中，wc表示通道c的注意力权重，H为通道C输出的特征图的高，W为通道C输出的特征图的宽，uc(i，j)为特征图上位置为(i，j)的像素。
其中，第一教师生成器的中间层中各通道的注意力权重的确定过程，可参照学生生成器的相关描述，不再赘述。
可选的，针对学生生成器的各中间层和教师生成器的各中间层中，确定相互映射的各对通道的注意力权重之间的差值，根据相互映射的各对通道的注意力权重之间的差值、学生生成器的中间层和第一教师生成器的中间层中特征图的采样数量、特征图映射的通道数，确定通道蒸馏损失。从而，不仅考虑到相互映射的各对通道的注意力权重，还考虑到中间层的通道数、中间层中采样的特征图的数量，提高了通道蒸馏损失的准确性。
其中，用于计算通道蒸馏损失的通道蒸馏损失函数可表示为：
Figure BDA0003164984330000142
其中，
Figure BDA0003164984330000143
表示通道蒸馏损失函数，n表示特征图的采样数量，c表示特征图映射的通道数，
Figure BDA0003164984330000144
表示在第一教师生成器中第i个特征图映射的第j个通道的注意力权重，
Figure BDA0003164984330000145
表示在学生生成器中第i个特征图映射的第j个通道的注意力权重。
可选的，在基于通道蒸馏损失、第一输出蒸馏损失以及第二蒸馏损失，调整学生生成器时，根据通道损失权重因子，对通道蒸馏损失进行加权，得到加权结果，根据加权结果、第一输出蒸馏损失以及第二输出蒸馏损失，调整学生生成器。从而，可通过调整通道损失权重因子，对通道蒸馏损失对学生生成器的优化过程的影响程度进行调整，提高学生生成器的训练的灵活性。
进一步的，在根据通道蒸馏损失与通道损失权重因子的加权结果、第一输出蒸馏损失以及第二输出蒸馏损失，调整学生生成器的过程中，可基于第一输出蒸馏损失、第二输出蒸馏损失，分别确定学生生成器相对于第一教师生成器的在线损失、学生生成器相对于第二教师生成器的在线损失。对第一教师生成器的在线损失、学生生成器相对于第二教师生成器的在线损失以及通道蒸馏损失与通道损失权重因子的加权结果进行加权求和，以通过加权方式平衡这几项损失值，得到学生生成器的多粒度在线蒸馏的最终损失值。基于该最终损失值，调整学生生成器的模型参数，实现学生生成器的优化。
其中，学生生成器相对于第一教师生成器的在线损失包含：学生生成器与第一教师生成器之间的输出蒸馏损失。或者，学生生成器相对于第一教师生成器的在线损失包含：学生生成器与第一教师生成器之间的输出蒸馏损失和学生生成器的输出图像的总变差损失。学生生成器相对于第二教师生成器的在线损失包含：学生生成器与第二教师生成器之间的输出蒸馏损失。或者，学生生成器相对于第二教师生成器的在线损失包含：学生生成器与第二教师生成器之间的输出蒸馏损失和学生生成器的输出图像的总变差损失。具体可参照前述实施例中学生生成器相对于教师生成器的在线损失，不再赘述。
进一步的，用于计算学生生成器的多粒度在线蒸馏的最终损失值的目标损失函数可表示为：
Figure BDA0003164984330000151
其中，
Figure BDA0003164984330000152
表示目标损失函数，λCD表示通道损失权重因子。
Figure BDA0003164984330000153
表示学生生成器与第一教师生成器的在线损失函数，
Figure BDA0003164984330000154
表示学生生成器与第二教师生成器的在线损失函数。
参照图5，图5为本公开实施例提供的生成式对抗网络的模型结构示例图。如图5所示，生成式对抗网络包括两个教师生成器、一个学生生成器GS以及部分共享的两个判别器，两个教师生成器包括更宽的教师生成器
Figure BDA0003164984330000155
和更深度教师生成器
Figure BDA0003164984330000156
两个判别器共享前面多个卷积层。
其中，更宽的教师生成器的中间层的通道数为η×c1、η×c2、......、η×ck-1、η×ck，学生生成器的中间层的通道数为c1、c2、......、ck-1、ck，可见，该教师生成器即前述实施例中的第一教师生成器；更深的教师生成器相较于学生生成器，相当于在学生生成器的采样层的前后插入多个Resnet模块，模型的深度大于学生生成器的模型深度，可见，该教师生成器即前述实施例中的第二教师生成器。
其中，更宽的教师生成器的中间层与学生生成器的中间层连接有通道卷积层(图5中未标注)，根据前述实施例的描述，可知该处的通道卷积层用于建立更宽的教师生成器的中间层中的通道与学生生成器的中间层中的通道的映射关系，便于计算更宽的教师生成器与学生成器之间的通道蒸馏损失。
如图5所示，可按照图5中1、2、3、4的顺序进行训练。在训练过程中，将样本图像(图5中高跟鞋的轮廓图)分别输入更宽的教师生成器、学生生成器、更深的教师生成器。通过部分共享的判别器、更宽的教师生成器的输出图像和真实标签(前述实施例中的参考图像)，确定更宽的教师生成器的GAN损失，即前述实施例中第一教师生成器的对抗损失，该对抗损失用于调整更宽的教师生成器。通过部分共享的判别器、更深的教师生成器的输出图像和真实标签，确定更深的教师生成器的GAN损失，即前述实施例中第二教师生成器的对抗损失，该对抗损失用于调整更深的教师生成器。基于更宽的教师生成器的输出图像、学生生成器的输出图像、更深的教师生成器的输出图像，分别计算得到更宽的教师生成器与学生生成器之间的输出蒸馏损失、更深的教师生成器与学生生成器之间的输出蒸馏损失。基于更宽的教师生成器与学生生成器在中间层的差异，计算得到通道蒸馏损失。基于通道蒸馏损失和该两类输出蒸馏损失，调整学生生成器。
对应于上文实施例的数据处理方法，图6为本公开实施例提供的数据处理设备的结构框图。为了便于说明，仅示出了与本公开实施例相关的部分。参照图6，数据处理设备包括：获取模块601和处理模块602。
获取模块601，用于获取待处理的图像；
处理模块602，用于通过第一生成器对图像进行处理，得到处理后的图像。
其中，该数据处理设备适用于通过模型蒸馏得到的生成式对抗网络，生成式对抗网络包括第一生成器、第二生成器和判别器，模型蒸馏为交替训练第一生成器和第二生成器的过程，第一生成器的模型规模小于第二生成器的模型规模。
在本公开的一个实施例中，生成式对抗网络中第一生成器与第二生成器的一次交替训练过程包括：
根据样本数据和判别器，确定第二生成器的损失值，样本数据中包括样本图像和样本图像对应的参考图像；
根据第二生成器的损失值，调整第二生成器；
根据样本图像、调整后的第二生成器和第一生成器，确定调整后的第二生成器与第一生成器之间的蒸馏损失；
根据蒸馏损失，调整第一生成器。
在本公开的一个实施例中，根据样本数据和判别器，确定第二生成器的损失值，包括：
通过第二生成器对样本图像进行处理，得到第二生成器的输出图像；
通过判别器对样本图像对应的参考图像和第二生成器的输出图像进行真假判别，确定第二生成器的对抗损失；
根据样本图像对应的参考图像与第二生成器的输出图像的差异，确定第二生成器的重建损失；
根据对抗损失和重建损失，确定第二生成器的损失值。
在本公开的一个实施例中，在生成式对抗网络中，网络层包括输入层、中间层和输出层，根据样本图像、调整后的第二生成器和第一生成器，确定调整后的第二生成器与第一生成器之间的蒸馏损失，包括：
通过第一生成器、调整后的第二生成器，分别处理样本图像，得到第一生成器的输出图像和第二生成器的输出图像；
根据第一生成器的输出图像与第二生成器的输出图像之间的差异，确定输出蒸馏损失，输出蒸馏损失为第二生成器的输出层与第一生成器的输出层之间的蒸馏损失。
在本公开的一个实施例中，根据第一生成器的输出图像与第二生成器的输出图像之间的差异，确定输出蒸馏损失，包括：
根据第二生成器的输出图像的亮度和对比度以及第一生成器的输出图像的亮度和对比度，确定第二生成器的输出图像与第一生成器的输出图像之间的结构相似化损失；
通过特征提取网络对第一生成器的输出图像和第二生成器的输出图像分别进行特征提取，确定第一生成器的输出图像与第二生成器的输出图像之间的感知损失；
根据结构相似化损失和感知损失，确定输出蒸馏损失。
在本公开的一个实施例中，感知损失包括特征重建损失和/或样式重建损失，通过特征提取网络对第一生成器的输出图像和第二生成器的输出图像分别进行特征提取，确定第一生成器的输出图像与第二生成器的输出图像之间的感知损失，包括：
将第一生成器的输出图像和第二生成器的输出图像分别输入特征提取网络，得到特征提取网络的预设网络层输出的第一生成器的输出图像的特征和第二生成器的输出图像的特征；
根据第一生成器的输出图像的特征与第二生成器的输出图像的特征之间的差异，确定特征重建损失和/或样式重建损失。
在本公开的一个实施例中，根据蒸馏损失，调整第一生成器，包括：
确定第一生成器的输出图像的总变差损失；
根据蒸馏损失和总变差损失，调整第一生成器。
在本公开的一个实施例中，述根据蒸馏损失和总变差损失，调整第一生成器，包括：
对蒸馏损失和总变差损失进行加权求和，得到第一生成器的在线损失；
根据第一生成器的在线损失，对第一生成器进行调整。
在本公开的一个实施例中，第一生成器为学生生成器，第二生成器为教师生成器。
在本公开的一个实施例中，教师生成器包括第一教师生成器和第二教师生成器，第一教师生成器的模型容量大于学生生成器的模型容量，第二教师生成器的模型深度大于学生生成器的模型深度。
在本公开的一个实施例中，判别器包括第一判别器和第二判别器，第一判别器和第二判别器之间存在共享卷积层，生成式对抗网络中第一生成器与第二生成器的一次交替训练过程包括：
根据样本数据和第一判别器，确定第一教师生成器的损失值，样本数据中包括样本图像和样本图像的参考图像；
根据第一教师生成器的损失值，调整第一教师生成器；
根据样本数据和第二判别器，确定第二教师生成器的损失值；
根据第二教师生成器的损失值，调整第二教师生成器；
根据样本图像、调整后的第一教师生成器以及调整后的第二教师生成器，调整学生生成器。
在本公开的一个实施例中，在生成式对抗网络中，网络层包括输入层、中间层和输出层，根据样本图像、调整后的第一教师生成器以及调整后的第二教师生成器，调整学生生成器，包括：
通过学生生成器、调整后的第一教师生成器、调整后的第二教师生成器，分别处理样本图像，得到学生生成器的输出图像、第一教师生成器的输出图像以及第二教师生成器的输出图像；
根据学生生成器的输出图像和第一教师生成器的输出图像，确定第一输出蒸馏损失，第一输出蒸馏损失为第一教师生成器的输出层与学生生成器的输出层之间的蒸馏损失；
根据学生生成器的中间层输出的特征图和第一教师生成器的中间层输出的特征图，确定通道蒸馏损失，通道蒸馏损失为第一教师生成器的中间层与学生生成器的中间层之间的蒸馏损失；
根据学生生成器的输出图像和第二教师生成器的输出图像，确定第二输出蒸馏损失，第二输出蒸馏损失为第二教师生成器的输出层与学生生成器的输出层之间的蒸馏损失；
根据第一输出蒸馏损失、通道蒸馏损失以及第二输出蒸馏损失，调整学生生成器。
在本公开的一个实施例中，第一教师生成器的中间层与学生生成器的中间层之间连接有通道卷积层，通道卷积层用于建立第一教师生成器的中间层中的通道与学生生成器的中间层的通道之间的映射关系，根据学生生成器的中间层输出的特征图和第一教师生成器的中间层输出的特征图，确定通道蒸馏损失，包括：
根据学生生成器的中间层中各通道输出的特征图，确定学生生成器的中间层中各通道的注意力权重；
根据第一教师生成器的中间层中各通道输出的特征图，确定第一教师生成器的中间层中各通道的注意力权重；
在学生生成器的中间层和第一教师生成器的中间层中，根据相互映射的通道的注意力权重之间的差异，确定通道蒸馏损失。
在本公开的一个实施例中，根据第一输出蒸馏损失、通道蒸馏损失以及第二输出蒸馏损失，调整学生生成器，包括：
根据通道损失权重因子，对通道蒸馏损失进行加权，得到加权结果；
根据加权结果、第一输出蒸馏损失以及第二输出蒸馏损失，调整学生生成器。
本实施例提供的设备，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
参考图7，其示出了适于用来实现本公开实施例的电子设备700的结构示意图，该电子设备700可以为终端设备或服务器。其中，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant，简称PDA)、平板电脑(Portable Android Device，简称PAD)、便携式多媒体播放器(Portable MediaPlayer，简称PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(Read Only Memory，简称ROM)702中的程序或者从存储装置708加载到随机访问存储器(Random Access Memory，简称RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(Liquid CrystalDisplay，简称LCD)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从ROM 702被安装。在该计算机程序被处理装置701执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network，简称LAN)或广域网(Wide Area Network，简称WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
第一方面，根据本公开的一个或多个实施例，提供了一种数据处理方法，适用于通过模型蒸馏得到的生成式对抗网络，所述数据处理方法包括：获取待处理的图像；通过第一生成器对所述图像进行处理，得到处理后的图像；其中，所述生成式对抗网络包括所述第一生成器、第二生成器和判别器，所述模型蒸馏为交替训练所述第一生成器和所述第二生成器的过程，所述第一生成器的模型规模小于所述第二生成器的模型规模。
根据本公开的一个或多个实施例，所述生成式对抗网络中第一生成器与第二生成器的一次交替训练过程包括：根据样本数据和所述判别器，确定所述第二生成器的损失值，所述样本数据中包括样本图像和所述样本图像对应的参考图像；根据所述第二生成器的损失值，调整所述第二生成器；根据所述样本图像、调整后的第二生成器和所述第一生成器，确定调整后的第二生成器与所述第一生成器之间的蒸馏损失；根据所述蒸馏损失，调整所述第一生成器。
根据本公开的一个或多个实施例，所述根据样本数据和所述判别器，确定所述第二生成器的损失值，包括：通过所述第二生成器对所述样本图像进行处理，得到所述第二生成器的输出图像；通过所述判别器对所述样本图像对应的参考图像和所述第二生成器的输出图像进行真假判别，确定所述第二生成器的对抗损失；根据所述样本图像对应的参考图像与所述第二生成器的输出图像的差异，确定所述第二生成器的重建损失；根据所述对抗损失和所述重建损失，确定所述第二生成器的损失值。
根据本公开的一个或多个实施例，在所述生成式对抗网络中，网络层包括输入层、中间层和输出层，所述根据所述样本图像、调整后的第二生成器和所述第一生成器，确定调整后的第二生成器与所述第一生成器之间的蒸馏损失，包括：通过所述第一生成器、调整后的第二生成器，分别处理所述样本图像，得到所述第一生成器的输出图像和所述第二生成器的输出图像；根据所述第一生成器的输出图像与所述第二生成器的输出图像之间的差异，确定输出蒸馏损失，所述输出蒸馏损失为所述第二生成器的输出层与所述第一生成器的输出层之间的蒸馏损失。
根据本公开的一个或多个实施例，所述根据所述第一生成器的输出图像与所述第二生成器的输出图像之间的差异，确定输出蒸馏损失，包括：
根据所述第二生成器的输出图像的亮度和对比度以及所述第一生成器的输出图像的亮度和对比度，确定所述第二生成器的输出图像与所述第一生成器的输出图像之间的结构相似化损失；通过特征提取网络对所述第一生成器的输出图像和所述第二生成器的输出图像分别进行特征提取，确定所述第一生成器的输出图像与所述第二生成器的输出图像之间的感知损失；根据所述结构相似化损失和所述感知损失，确定所述输出蒸馏损失。
根据本公开的一个或多个实施例，所述感知损失包括特征重建损失和/或样式重建损失，所述通过特征提取网络对所述第一生成器的输出图像和所述第二生成器的输出图像分别进行特征提取，确定所述第一生成器的输出图像与所述第二生成器的输出图像之间的感知损失，包括：
将所述第一生成器的输出图像和所述第二生成器的输出图像分别输入所述特征提取网络，得到所述特征提取网络的预设网络层输出的所述第一生成器的输出图像的特征和所述第二生成器的输出图像的特征；根据所述第一生成器的输出图像的特征与所述第二生成器的输出图像的特征之间的差异，确定所述特征重建损失和/或所述样式重建损失。
根据本公开的一个或多个实施例，所述根据所述蒸馏损失，调整所述第一生成器，包括：确定所述第一生成器的输出图像的总变差损失；根据所述蒸馏损失和所述总变差损失，调整所述第一生成器。
根据本公开的一个或多个实施例，所述根据所述蒸馏损失和所述总变差损失，调整所述第一生成器，包括：对所述蒸馏损失和所述总变差损失进行加权求和，得到所述第一生成器的在线损失；根据所述第一生成器的在线损失，对所述第一生成器进行调整。
根据本公开的一个或多个实施例，所述第一生成器为学生生成器，所述第二生成器为教师生成器。
根据本公开的一个或多个实施例，所述教师生成器包括第一教师生成器和第二教师生成器，所述第一教师生成器的模型容量大于所述学生生成器的模型容量，所述第二教师生成器的模型深度大于所述学生生成器的模型深度。
根据本公开的一个或多个实施例，所述判别器包括第一判别器和第二判别器，所述第一判别器和所述第二判别器之间存在共享卷积层，所述生成式对抗网络中第一生成器与第二生成器的一次交替训练过程包括：根据样本数据和所述第一判别器，确定所述第一教师生成器的损失值，所述样本数据中包括样本图像和所述样本图像的参考图像；根据所述第一教师生成器的损失值，调整所述第一教师生成器；根据样本数据和所述第二判别器，确定所述第二教师生成器的损失值；根据所述第二教师生成器的损失值，调整所述第二教师生成器；根据所述样本图像、调整后的第一教师生成器以及调整后的第二教师生成器，调整所述学生生成器。
根据本公开的一个或多个实施例，在所述生成式对抗网络中，网络层包括输入层、中间层和输出层，所述根据所述样本图像、调整后的第一教师生成器以及调整后的第二教师生成器，调整所述学生生成器，包括：通过所述学生生成器、调整后的第一教师生成器、调整后的第二教师生成器，分别处理所述样本图像，得到所述学生生成器的输出图像、所述第一教师生成器的输出图像以及所述第二教师生成器的输出图像；根据所述学生生成器的输出图像和所述第一教师生成器的输出图像，确定第一输出蒸馏损失，所述第一输出蒸馏损失为所述第一教师生成器的输出层与所述学生生成器的输出层之间的蒸馏损失；根据所述学生生成器的中间层输出的特征图和所述第一教师生成器的中间层输出的特征图，确定通道蒸馏损失，所述通道蒸馏损失为所述第一教师生成器的中间层与所述学生生成器的中间层之间的蒸馏损失；根据所述学生生成器的输出图像和所述第二教师生成器的输出图像，确定第二输出蒸馏损失，所述第二输出蒸馏损失为所述第二教师生成器的输出层与所述学生生成器的输出层之间的蒸馏损失；根据所述第一输出蒸馏损失、所述通道蒸馏损失以及所述第二输出蒸馏损失，调整所述学生生成器。
根据本公开的一个或多个实施例，所述第一教师生成器的中间层与所述学生生成器的中间层之间连接有通道卷积层，通道卷积层用于建立所述第一教师生成器的中间层中的通道与所述学生生成器的中间层的通道之间的映射关系，所述根据所述学生生成器的中间层输出的特征图和所述第一教师生成器的中间层输出的特征图，确定通道蒸馏损失，包括：根据所述学生生成器的中间层中各通道输出的特征图，确定所述学生生成器的中间层中各通道的注意力权重；根据所述第一教师生成器的中间层中各通道输出的特征图，确定所述第一教师生成器的中间层中各通道的注意力权重；在所述学生生成器的中间层和所述第一教师生成器的中间层中，根据相互映射的通道的注意力权重之间的差异，确定所述通道蒸馏损失。
根据本公开的一个或多个实施例，所述根据所述第一输出蒸馏损失、所述通道蒸馏损失以及所述第二输出蒸馏损失，调整所述学生生成器，包括：根据通道损失权重因子，对所述通道蒸馏损失进行加权，得到加权结果；根据所述加权结果、所述第一输出蒸馏损失以及所述第二输出蒸馏损失，调整所述学生生成器。
第二方面，根据本公开的一个或多个实施例，提供了一种数据处理设备，适用于通过模型蒸馏得到的生成式对抗网络，所述数据处理设备包括：获取模块，用于获取待处理的图像；处理模块，用于通过第一生成器对所述图像进行处理，得到处理后的图像；其中，所述生成式对抗网络包括所述第一生成器、第二生成器和判别器，所述模型蒸馏为交替训练所述第一生成器和所述第二生成器的过程，所述第一生成器的模型规模小于所述第二生成器的模型规模。
根据本公开的一个或多个实施例，所述生成式对抗网络中第一生成器与第二生成器的一次交替训练过程包括：根据样本数据和所述判别器，确定所述第二生成器的损失值，所述样本数据中包括样本图像和所述样本图像对应的参考图像；根据所述第二生成器的损失值，调整所述第二生成器；根据所述样本图像、调整后的第二生成器和所述第一生成器，确定调整后的第二生成器与所述第一生成器之间的蒸馏损失；根据所述蒸馏损失，调整所述第一生成器。
根据本公开的一个或多个实施例，所述根据样本数据和所述判别器，确定所述第二生成器的损失值，包括：通过所述第二生成器对所述样本图像进行处理，得到所述第二生成器的输出图像；通过所述判别器对所述样本图像对应的参考图像和所述第二生成器的输出图像进行真假判别，确定所述第二生成器的对抗损失；根据所述样本图像对应的参考图像与所述第二生成器的输出图像的差异，确定所述第二生成器的重建损失；根据所述对抗损失和所述重建损失，确定所述第二生成器的损失值。
根据本公开的一个或多个实施例，在所述生成式对抗网络中，网络层包括输入层、中间层和输出层，所述根据所述样本图像、调整后的第二生成器和所述第一生成器，确定调整后的第二生成器与所述第一生成器之间的蒸馏损失，包括：通过所述第一生成器、调整后的第二生成器，分别处理所述样本图像，得到所述第一生成器的输出图像和所述第二生成器的输出图像；根据所述第一生成器的输出图像与所述第二生成器的输出图像之间的差异，确定输出蒸馏损失，所述输出蒸馏损失为所述第二生成器的输出层与所述第一生成器的输出层之间的蒸馏损失。
根据本公开的一个或多个实施例，所述根据所述第一生成器的输出图像与所述第二生成器的输出图像之间的差异，确定输出蒸馏损失，包括：
根据所述第二生成器的输出图像的亮度和对比度以及所述第一生成器的输出图像的亮度和对比度，确定所述第二生成器的输出图像与所述第一生成器的输出图像之间的结构相似化损失；通过特征提取网络对所述第一生成器的输出图像和所述第二生成器的输出图像分别进行特征提取，确定所述第一生成器的输出图像与所述第二生成器的输出图像之间的感知损失；根据所述结构相似化损失和所述感知损失，确定所述输出蒸馏损失。
根据本公开的一个或多个实施例，所述感知损失包括特征重建损失和/或样式重建损失，所述通过特征提取网络对所述第一生成器的输出图像和所述第二生成器的输出图像分别进行特征提取，确定所述第一生成器的输出图像与所述第二生成器的输出图像之间的感知损失，包括：
将所述第一生成器的输出图像和所述第二生成器的输出图像分别输入所述特征提取网络，得到所述特征提取网络的预设网络层输出的所述第一生成器的输出图像的特征和所述第二生成器的输出图像的特征；根据所述第一生成器的输出图像的特征与所述第二生成器的输出图像的特征之间的差异，确定所述特征重建损失和/或所述样式重建损失。
根据本公开的一个或多个实施例，所述根据所述蒸馏损失，调整所述第一生成器，包括：确定所述第一生成器的输出图像的总变差损失；根据所述蒸馏损失和所述总变差损失，调整所述第一生成器。
根据本公开的一个或多个实施例，所述根据所述蒸馏损失和所述总变差损失，调整所述第一生成器，包括：对所述蒸馏损失和所述总变差损失进行加权求和，得到所述第一生成器的在线损失；根据所述第一生成器的在线损失，对所述第一生成器进行调整。
根据本公开的一个或多个实施例，所述第一生成器为学生生成器，所述第二生成器为教师生成器。
根据本公开的一个或多个实施例，所述教师生成器包括第一教师生成器和第二教师生成器，所述第一教师生成器的模型容量大于所述学生生成器的模型容量，所述第二教师生成器的模型深度大于所述学生生成器的模型深度。
根据本公开的一个或多个实施例，所述判别器包括第一判别器和第二判别器，所述第一判别器和所述第二判别器之间存在共享卷积层，所述生成式对抗网络中第一生成器与第二生成器的一次交替训练过程包括：根据样本数据和所述第一判别器，确定所述第一教师生成器的损失值，所述样本数据中包括样本图像和所述样本图像的参考图像；根据所述第一教师生成器的损失值，调整所述第一教师生成器；根据样本数据和所述第二判别器，确定所述第二教师生成器的损失值；根据所述第二教师生成器的损失值，调整所述第二教师生成器；根据所述样本图像、调整后的第一教师生成器以及调整后的第二教师生成器，调整所述学生生成器。
根据本公开的一个或多个实施例，在所述生成式对抗网络中，网络层包括输入层、中间层和输出层，所述根据所述样本图像、调整后的第一教师生成器以及调整后的第二教师生成器，调整所述学生生成器，包括：通过所述学生生成器、调整后的第一教师生成器、调整后的第二教师生成器，分别处理所述样本图像，得到所述学生生成器的输出图像、所述第一教师生成器的输出图像以及所述第二教师生成器的输出图像；根据所述学生生成器的输出图像和所述第一教师生成器的输出图像，确定第一输出蒸馏损失，所述第一输出蒸馏损失为所述第一教师生成器的输出层与所述学生生成器的输出层之间的蒸馏损失；根据所述学生生成器的中间层输出的特征图和所述第一教师生成器的中间层输出的特征图，确定通道蒸馏损失，所述通道蒸馏损失为所述第一教师生成器的中间层与所述学生生成器的中间层之间的蒸馏损失；根据所述学生生成器的输出图像和所述第二教师生成器的输出图像，确定第二输出蒸馏损失，所述第二输出蒸馏损失为所述第二教师生成器的输出层与所述学生生成器的输出层之间的蒸馏损失；根据所述第一输出蒸馏损失、所述通道蒸馏损失以及所述第二输出蒸馏损失，调整所述学生生成器。
根据本公开的一个或多个实施例，所述第一教师生成器的中间层与所述学生生成器的中间层之间连接有通道卷积层，通道卷积层用于建立所述第一教师生成器的中间层中的通道与所述学生生成器的中间层的通道之间的映射关系，所述根据所述学生生成器的中间层输出的特征图和所述第一教师生成器的中间层输出的特征图，确定通道蒸馏损失，包括：根据所述学生生成器的中间层中各通道输出的特征图，确定所述学生生成器的中间层中各通道的注意力权重；根据所述第一教师生成器的中间层中各通道输出的特征图，确定所述第一教师生成器的中间层中各通道的注意力权重；在所述学生生成器的中间层和所述第一教师生成器的中间层中，根据相互映射的通道的注意力权重之间的差异，确定所述通道蒸馏损失。
根据本公开的一个或多个实施例，所述根据所述第一输出蒸馏损失、所述通道蒸馏损失以及所述第二输出蒸馏损失，调整所述学生生成器，包括：根据通道损失权重因子，对所述通道蒸馏损失进行加权，得到加权结果；根据所述加权结果、所述第一输出蒸馏损失以及所述第二输出蒸馏损失，调整所述学生生成器。
第三方面，根据本公开的一个或多个实施例，提供了一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的数据处理方法。
第四方面，根据本公开的一个或多个实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的数据处理方法。
第五方面，根据本公开的一个或多个实施例，提供了一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的数据处理方法。
第六方面，根据本公开的一个或多个实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的数据处理方法。
第七方面，根据本公开的一个或多个实施例，提供了一种计算机程序产品，所述计算机程序产品包含计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面以及第一方面各种可能的设计所述的数据处理方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (18)

1.一种数据处理方法，适用于通过模型蒸馏得到的生成式对抗网络，所述数据处理方法包括：
获取待处理的图像；
通过第一生成器对所述图像进行处理，得到处理后的图像；
其中，所述生成式对抗网络包括所述第一生成器、第二生成器和判别器，所述模型蒸馏为交替训练所述第一生成器和所述第二生成器的过程，所述第一生成器的模型规模小于所述第二生成器的模型规模。
2.根据权利要求1所述的数据处理方法，所述生成式对抗网络中第一生成器与第二生成器的一次交替训练过程包括：
根据样本数据和所述判别器，确定所述第二生成器的损失值，所述样本数据中包括样本图像和所述样本图像对应的参考图像；
根据所述第二生成器的损失值，调整所述第二生成器；
根据所述样本图像、调整后的第二生成器和所述第一生成器，确定调整后的第二生成器与所述第一生成器之间的蒸馏损失；
根据所述蒸馏损失，调整所述第一生成器。
3.根据权利要求2所述的数据处理方法，所述根据样本数据和所述判别器，确定所述第二生成器的损失值，包括：
通过所述第二生成器对所述样本图像进行处理，得到所述第二生成器的输出图像；
通过所述判别器对所述样本图像对应的参考图像和所述第二生成器的输出图像进行真假判别，确定所述第二生成器的对抗损失；
根据所述样本图像对应的参考图像与所述第二生成器的输出图像的差异，确定所述第二生成器的重建损失；
根据所述对抗损失和所述重建损失，确定所述第二生成器的损失值。
4.根据权利要求2所述的数据处理方法，在所述生成式对抗网络中，网络层包括输入层、中间层和输出层，所述根据所述样本图像、调整后的第二生成器和所述第一生成器，确定调整后的第二生成器与所述第一生成器之间的蒸馏损失，包括：
通过所述第一生成器、调整后的第二生成器，分别处理所述样本图像，得到所述第一生成器的输出图像和所述第二生成器的输出图像；
根据所述第一生成器的输出图像与所述第二生成器的输出图像之间的差异，确定输出蒸馏损失，所述输出蒸馏损失为所述第二生成器的输出层与所述第一生成器的输出层之间的蒸馏损失。
5.根据权利要求4所述的数据处理方法，所述根据所述第一生成器的输出图像与所述第二生成器的输出图像之间的差异，确定输出蒸馏损失，包括：
根据所述第二生成器的输出图像的亮度和对比度以及所述第一生成器的输出图像的亮度和对比度，确定所述第二生成器的输出图像与所述第一生成器的输出图像之间的结构相似化损失；
通过特征提取网络对所述第一生成器的输出图像和所述第二生成器的输出图像分别进行特征提取，确定所述第一生成器的输出图像与所述第二生成器的输出图像之间的感知损失；
根据所述结构相似化损失和所述感知损失，确定所述输出蒸馏损失。
6.根据权利要求5所述的数据处理方法，所述感知损失包括特征重建损失和/或样式重建损失，所述通过特征提取网络对所述第一生成器的输出图像和所述第二生成器的输出图像分别进行特征提取，确定所述第一生成器的输出图像与所述第二生成器的输出图像之间的感知损失，包括：
将所述第一生成器的输出图像和所述第二生成器的输出图像分别输入所述特征提取网络，得到所述特征提取网络的预设网络层输出的所述第一生成器的输出图像的特征和所述第二生成器的输出图像的特征；
根据所述第一生成器的输出图像的特征与所述第二生成器的输出图像的特征之间的差异，确定所述特征重建损失和/或所述样式重建损失。
7.根据权利要求2所述的数据处理方法，所述根据所述蒸馏损失，调整所述第一生成器，包括：
确定所述第一生成器的输出图像的总变差损失；
根据所述蒸馏损失和所述总变差损失，调整所述第一生成器。
8.根据权利要求7所述的数据处理方法，所述根据所述蒸馏损失和所述总变差损失，调整所述第一生成器，包括：
对所述蒸馏损失和所述总变差损失进行加权求和，得到所述第一生成器的在线损失；
根据所述第一生成器的在线损失，对所述第一生成器进行调整。
9.根据权利要求1-8中任一项所述的数据处理方法，所述第一生成器为学生生成器，所述第二生成器为教师生成器。
10.根据权利要求9所述的数据处理方法，所述教师生成器包括第一教师生成器和第二教师生成器，所述第一教师生成器的模型容量大于所述学生生成器的模型容量，所述第二教师生成器的模型深度大于所述学生生成器的模型深度。
11.根据权利要求10所述的数据处理方法，所述判别器包括第一判别器和第二判别器，所述第一判别器和所述第二判别器之间存在共享卷积层，所述生成式对抗网络中第一生成器与第二生成器的一次交替训练过程包括：
根据样本数据和所述第一判别器，确定所述第一教师生成器的损失值，所述样本数据中包括样本图像和所述样本图像的参考图像；
根据所述第一教师生成器的损失值，调整所述第一教师生成器；
根据样本数据和所述第二判别器，确定所述第二教师生成器的损失值；
根据所述第二教师生成器的损失值，调整所述第二教师生成器；
根据所述样本图像、调整后的第一教师生成器以及调整后的第二教师生成器，调整所述学生生成器。
12.根据权利要求11所述的数据处理方法，在所述生成式对抗网络中，网络层包括输入层、中间层和输出层，所述根据所述样本图像、调整后的第一教师生成器以及调整后的第二教师生成器，调整所述学生生成器，包括：
通过所述学生生成器、调整后的第一教师生成器、调整后的第二教师生成器，分别处理所述样本图像，得到所述学生生成器的输出图像、所述第一教师生成器的输出图像以及所述第二教师生成器的输出图像；
根据所述学生生成器的输出图像和所述第一教师生成器的输出图像，确定第一输出蒸馏损失，所述第一输出蒸馏损失为所述第一教师生成器的输出层与所述学生生成器的输出层之间的蒸馏损失；
根据所述学生生成器的中间层输出的特征图和所述第一教师生成器的中间层输出的特征图，确定通道蒸馏损失，所述通道蒸馏损失为所述第一教师生成器的中间层与所述学生生成器的中间层之间的蒸馏损失；
根据所述学生生成器的输出图像和所述第二教师生成器的输出图像，确定第二输出蒸馏损失，所述第二输出蒸馏损失为所述第二教师生成器的输出层与所述学生生成器的输出层之间的蒸馏损失；
根据所述第一输出蒸馏损失、所述通道蒸馏损失以及所述第二输出蒸馏损失，调整所述学生生成器。
13.根据权利要求12所述的数据处理方法，所述第一教师生成器的中间层与所述学生生成器的中间层之间连接有通道卷积层，通道卷积层用于建立所述第一教师生成器的中间层中的通道与所述学生生成器的中间层的通道之间的映射关系，所述根据所述学生生成器的中间层输出的特征图和所述第一教师生成器的中间层输出的特征图，确定通道蒸馏损失，包括：
根据所述学生生成器的中间层中各通道输出的特征图，确定所述学生生成器的中间层中各通道的注意力权重；
根据所述第一教师生成器的中间层中各通道输出的特征图，确定所述第一教师生成器的中间层中各通道的注意力权重；
在所述学生生成器的中间层和所述第一教师生成器的中间层中，根据相互映射的通道的注意力权重之间的差异，确定所述通道蒸馏损失。
14.根据权利要求12所述的数据处理方法，所述根据所述第一输出蒸馏损失、所述通道蒸馏损失以及所述第二输出蒸馏损失，调整所述学生生成器，包括：
根据通道损失权重因子，对所述通道蒸馏损失进行加权，得到加权结果；
根据所述加权结果、所述第一输出蒸馏损失以及所述第二输出蒸馏损失，调整所述学生生成器。
15.一种数据处理设备，适用于通过模型蒸馏得到的生成式对抗网络，所述数据处理设备包括：
获取模块，用于获取待处理的图像；
处理模块，用于通过第一生成器对所述图像进行处理，得到处理后的图像；
其中，所述生成式对抗网络包括所述第一生成器、第二生成器和判别器，所述模型蒸馏为交替训练所述第一生成器和所述第二生成器的过程，所述第一生成器的模型规模小于所述第二生成器的模型规模。
16.一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至14任一项所述的数据处理方法。
17.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至14任一项所述的数据处理方法。
18.一种计算机程序产品，所述计算机程序产品包含计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至14任一项所述的数据处理方法。
CN202110802048.4A 2021-07-15 2021-07-15 数据处理方法及设备 Pending CN113449851A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110802048.4A CN113449851A (zh) 2021-07-15 2021-07-15 数据处理方法及设备
PCT/CN2022/094556 WO2023284416A1 (zh) 2021-07-15 2022-05-23 数据处理方法及设备
US18/579,178 US20240320966A1 (en) 2021-07-15 2022-05-23 Method and device for data processing
EP22841056.9A EP4354343A4 (en) 2021-07-15 2022-05-23 DATA PROCESSING METHOD AND DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110802048.4A CN113449851A (zh) 2021-07-15 2021-07-15 数据处理方法及设备

Publications (1)

Publication Number Publication Date
CN113449851A true CN113449851A (zh) 2021-09-28

Family

ID=77816289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110802048.4A Pending CN113449851A (zh) 2021-07-15 2021-07-15 数据处理方法及设备

Country Status (4)

Country Link
US (1) US20240320966A1 (zh)
EP (1) EP4354343A4 (zh)
CN (1) CN113449851A (zh)
WO (1) WO2023284416A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023284416A1 (zh) * 2021-07-15 2023-01-19 北京字跳网络技术有限公司 数据处理方法及设备
CN115936980A (zh) * 2022-07-22 2023-04-07 北京字跳网络技术有限公司 一种图像处理方法、装置、电子设备及存储介质
WO2023093897A1 (zh) * 2021-11-29 2023-06-01 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及存储介质
WO2023169334A1 (zh) * 2022-03-09 2023-09-14 北京字跳网络技术有限公司 图像的语义分割方法、装置、电子设备及存储介质
CN116797466A (zh) * 2022-03-14 2023-09-22 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118172636B (zh) * 2024-05-15 2024-07-23 乐麦信息技术(杭州)有限公司 批量自适应调节图像文字及非图像样式的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458765A (zh) * 2019-01-25 2019-11-15 西安电子科技大学 基于感知保持卷积网络的图像质量增强方法
CN111967573A (zh) * 2020-07-15 2020-11-20 中国科学院深圳先进技术研究院 数据处理方法、装置、设备及计算机可读存储介质
CN112465111A (zh) * 2020-11-17 2021-03-09 大连理工大学 一种基于知识蒸馏和对抗训练的三维体素图像分割方法
CN113065635A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种模型的训练方法、图像增强方法及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102492318B1 (ko) * 2015-09-18 2023-01-26 삼성전자주식회사 모델 학습 방법 및 장치, 및 데이터 인식 방법
CN112052948B (zh) * 2020-08-19 2023-11-14 腾讯科技（深圳）有限公司 一种网络模型压缩方法、装置、存储介质和电子设备
CN113095475A (zh) * 2021-03-02 2021-07-09 华为技术有限公司 一种神经网络的训练方法、图像处理方法以及相关设备
CN113449851A (zh) * 2021-07-15 2021-09-28 北京字跳网络技术有限公司 数据处理方法及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458765A (zh) * 2019-01-25 2019-11-15 西安电子科技大学 基于感知保持卷积网络的图像质量增强方法
CN111967573A (zh) * 2020-07-15 2020-11-20 中国科学院深圳先进技术研究院 数据处理方法、装置、设备及计算机可读存储介质
CN112465111A (zh) * 2020-11-17 2021-03-09 大连理工大学 一种基于知识蒸馏和对抗训练的三维体素图像分割方法
CN113065635A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种模型的训练方法、图像增强方法及设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023284416A1 (zh) * 2021-07-15 2023-01-19 北京字跳网络技术有限公司 数据处理方法及设备
WO2023093897A1 (zh) * 2021-11-29 2023-06-01 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及存储介质
WO2023169334A1 (zh) * 2022-03-09 2023-09-14 北京字跳网络技术有限公司 图像的语义分割方法、装置、电子设备及存储介质
CN116797466A (zh) * 2022-03-14 2023-09-22 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及可读存储介质
CN115936980A (zh) * 2022-07-22 2023-04-07 北京字跳网络技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN115936980B (zh) * 2022-07-22 2023-10-20 北京字跳网络技术有限公司 一种图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20240320966A1 (en) 2024-09-26
EP4354343A4 (en) 2024-10-23
WO2023284416A1 (zh) 2023-01-19
EP4354343A1 (en) 2024-04-17

Similar Documents

Publication Publication Date Title
CN109800732B (zh) 用于生成漫画头像生成模型的方法和装置
CN113449851A (zh) 数据处理方法及设备
CN111091576B (zh) 图像分割方法、装置、设备及存储介质
CN109993150B (zh) 用于识别年龄的方法和装置
CN111476306A (zh) 基于人工智能的物体检测方法、装置、设备及存储介质
CN111402112B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN110009059B (zh) 用于生成模型的方法和装置
CN112132847A (zh) 模型训练方法、图像分割方法、装置、电子设备和介质
CN110414593B (zh) 图像处理方法及装置、处理器、电子设备及存储介质
CN110021052A (zh) 用于生成眼底图像生成模型的方法和装置
CN112115900B (zh) 图像处理方法、装置、设备及存储介质
CN112419179B (zh) 修复图像的方法、装置、设备和计算机可读介质
CN112800276B (zh) 视频封面确定方法、装置、介质及设备
CN113505848A (zh) 模型训练方法和装置
CN117095006B (zh) 图像美学评估方法、装置、电子设备及存储介质
CN114519667A (zh) 一种图像超分辨率重建方法及系统
CN114419400A (zh) 图像识别模型的训练方法、识别方法、装置、介质和设备
CN114420135A (zh) 基于注意力机制的声纹识别方法及装置
CN113538304B (zh) 图像增强模型的训练方法及装置、图像增强方法及装置
CN111488887B (zh) 基于人工智能的图像处理方法、装置
CN114418835B (zh) 图像处理方法、装置、设备及介质
CN110765304A (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN112418233B (zh) 图像处理方法、装置、可读介质及电子设备
CN112801997B (zh) 图像增强质量评估方法、装置、电子设备及存储介质
CN111369429B (zh) 图像处理方法、装置、电子设备及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination