CN116957951A - 图像生成方法、装置、计算机设备、存储介质及产品 - Google Patents

图像生成方法、装置、计算机设备、存储介质及产品 Download PDF

Info

Publication number
CN116957951A
CN116957951A CN202310029111.4A CN202310029111A CN116957951A CN 116957951 A CN116957951 A CN 116957951A CN 202310029111 A CN202310029111 A CN 202310029111A CN 116957951 A CN116957951 A CN 116957951A
Authority
CN
China
Prior art keywords
image
sample
encoder
self
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310029111.4A
Other languages
English (en)
Inventor
刘夏雷
李珂
翟江天
任博
程明明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310029111.4A priority Critical patent/CN116957951A/zh
Publication of CN116957951A publication Critical patent/CN116957951A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像生成方法、装置、计算机设备、存储介质及产品，涉及图像处理技术领域。该方法包括：将第一样本局部图像输入第一自编码器，得到第一自编码器输出的第一样本重构图像，第一样本局部图像是样本整体图像的局部区域图像，第一样本重构图像是样本整体图像的重构图像；将第一样本局部图像输入第二自编码器，得到第二自编码器输出的第二样本重构图像，第一样本重构图像和第二样本重构图像为互补图像；对第一样本重构图像和第二样本重构图像进行图像合并，生成样本整体图像的样本合成图像；基于样本合成图像和样本整体图像，训练第一自编码器和第二自编码器。该方法可以基于局部图像重构出较为真实的完整图像。

Description

图像生成方法、装置、计算机设备、存储介质及产品
技术领域
本申请实施例涉及图像处理技术领域，特别涉及一种图像生成方法、装置、计算机设备、存储介质及产品。
背景技术
类增量学习指数据集按照不同类别被划分为连续的任务，每次训练仅提供当前任务所包含的类别数据进行训练，模型需要识别先前所有任务出现的所有类上的分类任务。
相关技术中，可以采用样本回溯的方法，通过保存旧任务样本，在新任务训练过程中将旧任务样本和新任务样本共同用于模型训练，以缓解模型对旧人物的灾难性遗忘问题。对应样本回溯的效果取决于旧任务样本数量以及数量质量。
然而，若直接保存数量较多的旧任务样本显然会带来较大的存储负担。
发明内容
本申请实施例提供了一种图像生成方法、装置、计算机设备、存储介质及产品。所述技术方案如下：
根据本申请的一个方面，提供了一种图像生成方法，所述方法包括：
将第一样本局部图像输入第一自编码器，得到所述第一自编码器输出的第一样本重构图像，所述第一样本局部图像是样本整体图像的局部区域图像，所述第一样本重构图像是所述样本整体图像的重构图像；
将所述第一样本局部图像输入第二自编码器，得到所述第二自编码器输出的第二样本重构图像，所述第一样本重构图像和所述第二样本重构图像为互补图像；
对所述第一样本重构图像和所述第二样本重构图像进行图像合并，生成所述样本整体图像的样本合成图像；
基于所述样本合成图像和所述样本整体图像，训练所述第一自编码器和所述第二自编码器。
根据本申请的另一方面，提供了一种图像生成方法，所述方法包括：
将局部图像输入第一自编码器，得到所述第一自编码器输出的第一重构图像，所述局部图像是整体图像的局部区域图像，所述第一重构图像是所述整体图像的重构图像；
将所述局部图像输入第二自编码器，得到所述第二自编码器输出的第二重构图像，所述第一重构图像和所述第二重构图像为互补图像；
基于所述第一重构图像和所述第二重构图像进行图像合并，生成所述整体图像的合成图像。
根据本申请的另一方面，提供了一种图像生成装置，所述装置包括：
第一图像重构模块，用于将第一样本局部图像输入第一自编码器，得到所述第一自编码器输出的第一样本重构图像，所述第一样本局部图像是样本整体图像的局部区域图像，所述第一样本重构图像是所述样本整体图像的重构图像；
第二图像重构模块，用于将所述第一样本局部图像输入第二自编码器，得到所述第二自编码器输出的第二样本重构图像，所述第一样本重构图像和所述第二样本重构图像为互补图像；
生成模块，用于对所述第一样本重构图像和所述第二样本重构图像进行图像合并，生成所述样本整体图像的样本合成图像；
第一训练模块，用于基于所述样本合成图像和所述样本整体图像，训练所述第一自编码器和所述第二自编码器。
根据本申请的另一方面，提供了一种图像生成装置，所述装置包括：
第一图像重构模块，用于将局部图像输入第一自编码器，得到所述第一自编码器输出的第一重构图像，所述局部图像是整体图像的局部区域图像，所述第一重构图像是所述整体图像的重构图像；
第二图像重构模块，用于将所述局部图像输入第二自编码器，得到所述第二自编码器输出的第二重构图像，所述第一重构图像和所述第二重构图像为互补图像；
生成模块，用于基于所述第一重构图像和所述第二重构图像进行图像合并，生成所述整体图像的合成图像。
根据本申请的另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如上方面所述的图像生成方法。
根据本申请的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如上方面所述的图像生成方法。
根据本申请的另一方面，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述可选实现方式中提供的图像生成方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
提供了一种基于局部图像重构完整图像的方式：通过包含第一自编码器和第二自编码器的双路自编码器对样本局部图像进行不同图像维度的图像重构，以得到互为互补图像的第一样本重构图像和第二样本重构图像，并通过合并第一样本重构图像和第二样本重构图像，得到更真实的样本合成图像；且使用样本完整图像作为监督信息训练第一自编码器和第二自编码器，以提升模型的图像重构能力。此外，将该图像生成方法应用在样本回溯中，可以仅保存样本局部图像，就可以恢复出较为真实的样本完整图像，使得在存储空间一致的情况下，可以存储更多的旧任务样本；而且，基于旧任务样本的样本局部图像恢复出样本完整图像，可以得到更真实地旧任务样本，使得可以在样本数量和样本质量两个方面提高样本回溯的效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例示出的计算机系统的示意图；
图2示出了本申请一个示例性实施例提供的图像生成方法的流程图；
图3示出了本申请一个示例性实施例示出的图像生成原理示意图；
图4示出了本申请另一个示例性实施例提供的图像生成方法的流程图；
图5示出了本申请另一个示例性实施例示出的图像生成原理示意图；
图6示出了本申请另一个示例性实施例提供的图像生成方法的流程图；
图7示出了本申请一个示例性实施例示出的细节重构损失的确定过程示意图；
图8示出了本申请另一个示例性实施例示出的图像生成原理示意图；
图9示出了本申请另一个示例性实施例提供的图像生成方法的流程图；
图10示出了本申请一个示例性实施例示出的特征融合过程示意图；
图11示出了本申请另一个示例性实施例示出的图像生成原理示意图；
图12示出了本申请另一个示例性实施例提供的图像生成方法的流程图；
图13示出了本申请另一个示例性实施例提供的图像生成方法的流程图；
图14示出了本申请另一个示例性实施例提供的图像生成方法的流程图；
图15是本申请一个示例性实施例提供的图像生成装置的结构框图；
图16是本申请另一个示例性实施例提供的图像生成装置的结构框图；
图17示出了本申请一个实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先，对本申请实施例中涉及的名词进行简单介绍：
人工智能(Artificial Intelligence，AI)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。需要说明的是，本申请实施例主要涉及到人工智能技术领域中的机器学习技术领域。
图1是本申请一个示例性实施例示出的计算机系统的示意图。如图1所示，该计算机系统包括第一设备110和第二设备120。
第一设备110是训练双路自编码器的训练设备，在双路自编码器训练完成之后，第一设备110可以将训练完成的双路自编码器发送至第二设备120，以便在第二设备120中部署双路自编码器。可选的，第二设备120是使用双路自编码器进行图像重构的设备。
在模型应用阶段：可以将样本局部图像111输入双路自编码器112(包括第一自编码器和第二自编码器)进行图像重构，进而基于图像重构损失、细节重构损失和分类损失，共同训练双路自编码器112。
可选的，上述第一设备110和第二设备120可以是具有机器学习能力的计算机设备，比如，该计算机设备可以是终端或服务器。
可选的，上述第一设备110和第二设备120可以是同一个计算机设备，或者，第一设备110和第二设备120也可以是不同的计算机设备。并且，当第一设备110和第二设备120是不同的设备时，第一设备110和第二设备120可以是同一类型的设备，比如第一设备110和第二设备120可以都是服务器；或者，第一设备110和第二设备120也可以是不同类型的设备。上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。上述终端可以是智能手机、车载终端、智能电视、可穿戴设备、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
请参考图2，其示出了本申请一个示例性实施例提供的图像生成方法的流程图。本实施例以该方法的执行主体是计算机设备为例进行示例性说明，该方法包括：
步骤201，将第一样本局部图像输入第一自编码器，得到第一自编码器输出的第一样本重构图像，第一样本局部图像是样本整体图像的局部区域图像，第一样本重构图像是样本整体图像的重构图像。
在缓解图像分类模型在训练新任务过程对旧任务的遗忘问题时，通常可以采用样本回溯方法以缓解该遗忘问题，也即在新分类任务训练过程中，采用旧任务样本和新任务样本共同训练图像分类模型，从而使得图像分类模型具备对新任务和旧任务的分类能力；而在样本回溯时，一种方式直接存储旧任务样本，使得在新任务训练过程中可以获取旧人物样本以训练模型；另一种方式是生成新的旧任务样本；其中，若直接存储所有的旧任务样本可能带来较大的存储负担；若直接生成新的旧任务样本，该新的旧任务样本可能与真实旧任务样本存在差距，从而影响样本回溯的效果。为了改善上述两种方式获取旧任务样本所带来的问题，本申请实施例提供了保存旧任务样本的样本局部图像，并基于样本局部图像恢复出较为真实的旧任务样本(样本合成图像)的样本生成方式，一方面无需保存全部的旧任务样本，仅保存局部图像，以较少的存储空间存储更多的旧任务样本的样本局部图像；另一方面，可以基于真实旧任务样本的样本局部图像恢复出较为真实的旧任务样本，以提高生成的样本合成图像的真实性。
需要说明的是，本实施例的图像生成方法不仅可以应用于样本回溯场景中，基于旧任务样本的样本局部图像恢复出比较真实的旧任务样本；还可以应用在其他场景中，比如，基于局部图像恢复完整图像的图像生成场景中。对应在训练双路自编码器(包括第一自编码器和第二自编码器)的过程中，所采用的训练样本为样本局部图像，该样本局部图像是按照一定掩码比例对样本整体图像进行掩码处理后得到的。示意性的，掩码比例可以为75％，也即去除样本整体图像对应75％的图像区域后，可以得到样本局部图像。
可选的，为了使得重构出的样本合成图像更接近真实的样本整体图像，本实施例采用了双路自编码器，也即使用第一自编码器和第二自编码器从不同图像维度上重构图像，进而合并两个重构结果，以生成样本合成图像。
在一种可能的实施方式中，将第一样本局部图像输入第一自编码器，由第一自编码器基于第一样本局部图像进行图像重构，以生成第一样本重构图像，该第一样本重构图像是较为模糊，且缺少细节的图像，为注重图像语义信息的图像。
步骤202，将第一样本局部图像输入第二自编码器，得到第二自编码器输出的第二样本重构图像，第一样本重构图像和第二样本重构图像为互补图像。
对应在第二自编码器分支中，将第一样本局部图像输入第二自编码器，由第二自编码器基于第一样本局部图像进行图像重构，以生成第二样本重构图像，该第二样本重构图像为包含较多局部细节、纹理的图像。也即第二样本重构图像的细节特征多于第一样本重构图像，为注重图像纹理细节信息的图像。对应第一样本重构图像和第二样本重构图像为具备互补信息的图像，也即第一样本重构图像和第二样本重构图像为互补图像。
需要说明的时，步骤201和步骤202可以同时执行，也可以先执行步骤201，再执行步骤202，或者，先执行步骤202，再执行步骤201，本实施例对步骤201和步骤202的实施顺序不构成限定。
步骤203，对第一样本重构图像和第二样本重构图像进行图像合并，生成样本整体图像的样本合成图像。
为了得到更真实的合成样本，在一种可能的实施方式中，计算机设备通过对第一样本重构图像和第二样本重构图像进行图像合并，对应叠加图像语义信息和图像纹理细节信息，以得到更真实的样本合成图像，且该样本合成图像是样本整体图像的较为真实的重构图像。
步骤204，基于样本合成图像和样本整体图像，训练第一自编码器和第二自编码器。
为了使得双路自编码器(或双路掩码自编码器)具备生成较为真实的第一样本重构图像和第二样本重构图像的图像重构能力，进而提高样本合成图像的真实性，需要为双路自编码器设置监督信息。在一种可能的实施方式中，计算机设备将样本整体图像作为监督信息，使得可以基于样本合成图像和样本整体图像之间的样本差异，训练第一自编码器和第二自编码器，以提高双路自编码器的图像重构能力。
如图3所示，其示出了本申请一个示例性实施例示出的图像生成原理示意图。将第一样本局部图像301(对样本整体图像307按照一定掩码比例处理后得到的局部区域图像)分别输入第一自编码器302和第二自编码器303，由第一自编码器302基于第一样本局部图像301重构出第一样本重构图像304(第一样本重构图像304是较为模糊，缺少细节的图像)，以及由第二自编码器303基于第一样本局部图像301重构出第二样本重构图像305(第二样本重构图像305是包含局部细节、纹理的图像)；并对第一样本重构图像304和第二样本重构图像305进行图像合并，以得到更真实的样本合成图像306；进而基于样本合成图像306和样本整体图像307之间的图像重构损失，训练第一自编码器302和第二自编码器303，使得训练后的双路(掩码)自编码器重构出更高质量的图像。
综上所述，本申请实施例提供了一种基于局部图像重构完整图像的方式：通过包含第一自编码器和第二自编码器的双路自编码器对样本局部图像进行不同图像维度的图像重构，以得到互为互补图像的第一样本重构图像和第二样本重构图像，并通过合并第一样本重构图像和第二样本重构图像，得到更真实的样本合成图像；且使用样本完整图像作为监督信息训练第一自编码器和第二自编码器，以提升模型的图像重构能力。此外，将该图像生成方法应用在样本回溯中，可以仅保存样本局部图像，就可以恢复出较为真实的样本完整图像，使得在存储空间一致的情况下，可以存储更多的旧任务样本；而且，基于旧任务样本的样本局部图像恢复出样本完整图像，可以得到更真实地旧任务样本，使得可以在样本数量和样本质量两个方面提高样本回溯的效果。
在一种可能的实施方式中，每个自编码器均由编码器和解码器构成，由编码器提取图像特征，由解码器进行特征解码和图像重构。而由于第一自编码器和第二自编码器所重构的样本重构图像所包含信息的差异，对应两个自编码器具备不同的编码器，以提取不同维度上的图像特征(或图像信息)。
请参考图4，其示出了本申请另一个示例性实施例提供的图像生成方法的流程图。本实施例以该方法的执行主体是计算机设备为例进行示例性说明，该方法包括：
步骤401，通过第一编码器对第一样本局部图像进行语义特征提取，得到样本语义特征。
步骤402，通过第一解码器对样本语义特征进行特征解码，得到第一样本重构图像。
其中，第一自编码器包括第一编码器和第一解码器。第一编码器用于特征提取，第一解码器用于特征解码和图像重构。由于本实施例中的第一自编码器所重构出的第一样本重构图像主要包含图像语义信息(图像深度语义信息)，则在特征提取阶段，第一编码器即需要进行语义特征提取。对应在一种可能的实施方式中，计算机设备可以将第一样本局部图像输入第一编码器进行语义特征提取，以得到样本语义特征；进而通过第一解码器对样本语义特征进行特征解码和图像重构，以得到包含图像语义信息的第一样本重构图像。
可选的，第一编码器可以包括Encoder Block1和Encoder Block2～6，其中，Encoder Block1为一层自注意力层，以从第一样本局部图像中提取浅层特征，进而将浅层特征输入Encoder Block2～6(多层自注意力层)，以学习深层语义信息。
步骤403，通过第二编码器对第一样本局部图像进行细节特征提取，得到样本细节特征。
步骤404，通过第二解码器对样本细节特征进行特征解码，得到第二样本重构图像。
其中，第二自编码器包括第二编码器和第二解码器。第二编码器用于特征提取，第二解码器用于特征解码和图像重构。由于本实施例中的第二自编码器所重构出的第二样本重构图像主要包含图像纹理细节信息，则在特征提取阶段，第二编码器即需要进行细节特征提取。对应在一种可能的实施方式中，计算机设备可以将第二样本局部图像输入第二编码器进行细节特征提取，以得到样本细节特征；进而通过第二解码器对样本细节特征进行特征解码和图像重构，以得到包含图像纹理细节信息的第二样本重构图像。
可选的，第二编码器可以包括Encoder Block1和细节编码器，其中，EncoderBlock1可以公用第一编码器中的Encoder Block1。也即将第一样本局部图像输入EncoderBlock1中，输出浅层特征，该浅层特征一路输入第一编码器中的Encoder Block2～6中以学习深度语义信息，另外一路输入细节编码器中，学习图像纹理细节信息等。也即第一编码器和第二编码器可以共享Encoder Block1。
步骤405，对第一样本重构图像和第二样本重构图像进行图像合并，生成样本整体图像的样本合成图像。
步骤405的实施方式可以参考上文实施例，本实施例在此不做赘述。
步骤406，基于样本合成图像和样本整体图像，确定图像重构损失。
步骤407，基于图像重构损失，训练第一自编码器和第二自编码器。
可选的，在图片层级，计算机设备基于样本合成图像和样本整体图像之间的差异，确定出图像重构损失，以便基于该图像重构损失训练第一自编码器和第二自编码器。
如图5所示，其示出了本申请另一个示例性实施例示出的图像生成原理示意图。将第一样本局部图像501(对样本整体图像513按照一定掩码比例处理后得到的局部区域图像)分别输入第一自编码器502和第二自编码器505进行图像重构；其中，第一自编码器502包括第一编码器503和第一解码器504，由第一编码器503对第一样本局部图像501进行特征提取，得到样本语义特征508，由第一解码器504对样本语义特征508进行特征解码，输出第一样本重构图像510；第二自编码器505包括第二编码器506和第二解码器507，由第二编码器506对第一样本局部图像501进行特征提取，得到样本细节特征509，由第二解码器507对样本细节特征509进行特征解码，输出第二样本重构图像511；并对第一样本重构图像510和第二样本重构图像511进行图像合并，以得到更真实的样本合成图像512；进而基于样本合成图像512和样本整体图像513之间的图像重构损失514，训练第一自编码器502和第二自编码器505，使得训练后的双路(掩码)自编码器重构出更高质量的图像。
本实施例中，通过第一编码器学习图像语义信息，以使得第一自编码器可以重构出包含语义信息的第一样本重构图像；并通过第二编码器学习图像纹理细节信息，以使得第二自编码器可以重构出包含更多细节纹理信息的第二样本重构图像。进而通过合并两路互补重构图像，以得到更真实的样本合成图像。
在一种可能的应用场景中，仅提供重构目标作为监督信息来训练双路自编码器时，无法有效监督各条支路的学习情况，为图像重构带来较大的不确定性。因此，为了进一步提高模型的图像重构能力。除了提供有图像重构目标作为监督信息来训练双路自编码器之外，还针对细节支路额外提供了针对学习图像细节特征的监督信息。
请参考图6，其示出了本申请另一个示例性实施例提供的图像生成方法的流程图。本实施例以该方法的执行主体是计算机设备为例进行示例性说明，该方法包括：
步骤601，通过第一编码器对第一样本局部图像进行语义特征提取，得到样本语义特征。
步骤602，通过第一解码器对样本语义特征进行特征解码，得到第一样本重构图像。
可选的，由于第一编码器是对第一样本局部图像进行语义特征提取，提取到的样本语义特征中未包含样本整体图像中被掩码区域图像的语义特征，则为了使得第一解码器可以重构出样本整体图像的第一样本重构图像，在第一编码器提取出样本语义特征后，需要在空间维度填充空白特征(空白特征即对应掩码区域图像的语义特征)，形成填充后的样本语义特征，进而由第一解码器对填充后的样本语义特征进行特征解码以及图像重构，以得到重构出的第一样本重构图像。
可选的，在由第一解码器对填充后的样本语义特征进行特征解码后，可以得到样本重构语义特征，进而基于样本重构语义特征，恢复出第一样本重构图像。
步骤603，通过第二编码器对第一样本局部图像进行细节特征提取，得到样本细节特征。
步骤601～步骤603的实施方式可以参考上文实施例，本实施例在此不做赘述。
步骤604，通过第二解码器对样本细节特征进行特征解码，得到样本重构细节特征。
步骤605，基于样本重构细节特征，生成第二样本重构图像。
可选的，与第一编码器和第一解码器的原理类似，在第二编码器对第一样本局部图像进行细节特征提取，得到样本细节特征后，也需要填充空白特征，以得到填充后的样本细节特征，进而由第二解码器对填充后的样本细节特征进行特征解码，得到样本重构细节特征，从而基于样本重构细节特征，恢复出第二样本重构图像。
步骤606，获取样本整体图像的标注细节图像。
本实施例中针对细节分支(第二自编码器分支)提供有细节监督信息，该细节监督信息为样本整体图像的标注细节图像。可选的，该标注细节图像的获取方式可以通过对样本整体图像进行边缘提取得到(边缘提取可以获取样本整体图像的纹理信息等)；可选的，该标注细节图像也可以通过两种掩码比例的输入图像经过主分支(第一自编码器分支)重构的两张图像之差确定。可选的，该标注细节图像也可以是人为预先设置的。
可选的，标注细节图像由两种掩码比例的输入图像经过主分支重构的两张图像之差确定。对应在一个示例性的例子中，步骤606可以包括步骤606A～步骤606C。
步骤606A，获取第二样本局部图像，第二样本局部图像通过对样本整体图像进行掩码处理得到，第二样本局部图像的掩码比例与第一样本局部图像的掩码比例不同。
其中，第二样本局部图像也是由样本整体图像进行掩码处理后得到的，也为样本整体图像的局部区域图像。与第一样本局部图像不同的是，第二样本局部图像的掩码比例与第一样本局部图像的掩码比例不同，也即按照第一掩码比例对样本整体图像进行掩码处理，得到第一样本局部图像，按照第二掩码比例对样本整体图像进行掩码处理，得到第二样本局部图像。第一掩码比例与第二样本掩码比例不同。示例性的，第一掩码比例为75％，第二掩码比例为50％。
步骤606B，将第二样本局部图像输入第一自编码器，得到第一自编码器输出的第三样本重构图像。
步骤606C，基于第一样本重构图像和第三样本重构图像，确定标注细节图像。
可选的，将第二样本局部图也输入第一自编码器，可以得到第一自编码器输出的第三样本重构图像；当计算机设备获取到两种掩码比例的输入经过主分支(第一自编码器分支)后得到的第一样本重构图像(第一掩码比例)和第三样本重构图像(第二掩码比例)后，即可以基于第一样本重构图像和第三样本重构图像之差，确定出标注细节图像。该操作既可以保证细节分支(第二自编码器分支)的学习效果，同时由于两种掩码比例的输入重构得到的图片之差中包含了更少的细节信息，主分支也能学习更高质量的重构图片，而不是将学习任务转移到细节分支中。
可选的，还可以通过样本整体图像进行边缘提取，以获取到标注细节特征。对应在另一个示例性的例子中，步骤606还可以包括步骤606D。
步骤606D，对样本整体图像进行边缘提取处理，得到标注细节图像。
可选的，计算机设备可以通过对样本整体图像进行边缘提取处理，以得到包含纹理细节信息的标注细节图像。可选的，边缘提取处理可以采用多种边缘提取算法，比如，Sobel算子、robert算子、prewitt算子、Laplacian算子等等，本实施例对边缘提取所采用的方式不构成限定。
步骤607，从标注细节图像中提取与图像细节相关的样本标注细节特征。
步骤608，基于样本标注细节特征和样本重构细节特征，确定细节重构损失。
可选的，当计算机设备获取到细节分支的监督信息-标注细节图像后，可以从标注细节图像中提取与图像细节相关的样本标注细节特征，以便基于样本标注细节特征和样本重构细节特征之间的差异，确定细节重构损失。
如图7所示，其示出了本申请一个示例性实施例示出的细节重构损失的确定过程示意图。一方面，将样本重构细节特征701输入Frequency Converter&Filter(变频器和滤波器)中进行特征处理，以得到处理后的样本重构细节特征；另一方面，从标注细节图像702中提取出样本标注细节特征703，并将样本标注细节特征703输入Frequency Converter(变频器)中进行特征处理，以得到处理后的样本标注细节特征，进而基于处理后的样本重构细节特征和处理后的样本标注细节特征确定细节重构损失704。
步骤609，对第一样本重构图像和第二样本重构图像进行图像合并，生成样本整体图像的样本合成图像。
步骤610，基于样本合成图像和样本整体图像，确定图像重构损失。
步骤609和步骤610的实施方式可以参考上文实施例，本实施例在此不做赘述。
步骤611，基于细节重构损失和图像重构损失，训练第一自编码器和第二自编码器。
本实施例中不仅引入了图像重构损失，还针对细节支路分支引入了细节重构损失。对应在一种可能的实施方式中，可以基于细节重构损失和图像重构损失之和，训练第一自编码器和第二自编码器。
如图8所示，其示出了本申请另一个示例性实施例示出的图像生成原理示意图。将第一样本局部图像801(对样本整体图像813按照一定掩码比例处理后得到的局部区域图像)分别输入第一自编码器802和第二自编码器805进行图像重构；其中，第一自编码器802包括第一编码器803和第一解码器804，由第一编码器803对第一样本局部图像801进行特征提取，得到样本语义特征808，由第一解码器804对样本语义特征808进行特征解码，输出第一样本重构图像810；第二自编码器805包括第二编码器806和第二解码器807，由第二编码器806对第一样本局部图像801进行特征提取，得到样本细节特征809，由第二解码器807对样本细节特征809进行特征解码，输出第二样本重构图像811；并对第一样本重构图像810和第二样本重构图像811进行图像合并，以得到更真实的样本合成图像812；进而基于样本合成图像812和样本整体图像813确定图像重构损失814；可选的，在细节支路分支，还基于第一解码器807的输出(样本重构细节特征)和标注细节图像815，确定细节重构损失816；进而基于细节重构损失816和图像重构损失814之和训练第一自编码器802和第二自编码器805，使得训练后的双路(掩码)自编码器重构出更高质量的图像。
本实施例中，通过在细节支路引入细节重构损失，可以提高细节支路的细节信息重构能力，进而提高图像重构的准确性；此外，通过将两种掩码比例的输入经过主分支重构得到的两张图像之差作为细节支路的监督信息，既可以保证细节分支的学习效果，同时由于两种掩码比例的输入重构得到的图片之差中包含了更少的细节信息，主分支也能学习更高质量的重构图片，而不是将学习任务转移到细节分支中。
为了使得生成的样本合成图像可以应用于图像分类任务，在一种可能的实施方式中，可以将第一编码器和第二编码器提取到的特征进行特征融合，并基于融合后特征进行图像分类任务，使得可以在总损失中引入分类损失。
请参考图9，其示出了本申请另一个示例性实施例提供的图像生成方法的流程图。本实施例以该方法的执行主体是计算机设备为例进行示例性说明，该方法包括：
步骤901，通过第一编码器对第一样本局部图像进行语义特征提取，得到样本语义特征。
步骤902，通过第一解码器对样本语义特征进行特征解码，得到第一样本重构图像。
步骤903，通过第二编码器对第一样本局部图像进行细节特征提取，得到样本细节特征。
步骤904，通过第二解码器对样本细节特征进行特征解码，得到样本重构细节特征。
步骤905，基于样本重构细节特征，生成第二样本重构图像。
步骤906，获取样本整体图像的标注细节图像。
步骤907，从标注细节图像中提取与图像细节相关的样本标注细节特征。
步骤908，基于样本标注细节特征和样本重构细节特征，确定细节重构损失。
步骤909，对第一样本重构图像和第二样本重构图像进行图像合并，生成样本整体图像的样本合成图像。
步骤910，基于样本合成图像和样本整体图像，确定图像重构损失。
步骤901～步骤910的实施方式可以参考上文实施例，本实施例在此不做赘述。
步骤911，对样本语义特征和样本细节特征进行特征融合，得到样本融合特征。
为了使得模型学习更好的分类决策边界，在一种可能的实施方式中，将两个支路学习到的信息进行特征融合，也即对样本语义特征和样本细节特征进行特征融合，以得到样本融合特征，进而将该样本融合特征用于分类任务。
可选的，对样本语义特征和样本细节特征进行特征融合时，通过一个注意力机制层来实现。对应在一个示例性的例子中，步骤911还可以包括步骤911A和步骤911B。
步骤911A，将样本语义特征和样本细节特征进行加权处理，得到样本加权特征。
步骤911B，对样本加权特征和样本语义特征进行相加处理，得到样本融合特征。
在一种可能的实施方式中，计算机设备将样本语义特征和样本细节特征输入注意力机制层，对样本细节特征和样本语义特征计算相关性并对样本细节特征本身加权作为输出，同时与原始语义信息(样本语义特征)相加，以得到样本融合特征；也就是说，将样本语义特征和样本细节特征进行加权处理，并计算相关性，以得到样本加权特征，进而将样本加权特征和样本语义特征进行相加处理，从而得到样本融合特征。在该特征融合过程中，语义信息作为特征中心，而细节信息作为偏移量，最终得到的融合信息具备更丰富的数据分布，以帮助模型学习更好的分类决策边界。
如图10所示，其示出了本申请一个示例性实施例示出的特征融合过程示意图。特征融合过程中，将样本语义特征1001和样本细节特征1002输入Layer Norm(标准层)，以得到Key、Querry和Value，进而由Self Attention(注意力机制层)对其计算相关性，以得到样本加权特征，进而将样本加权特征和样本语义特征1001相加，以得到样本融合特征1003。
步骤912，基于样本融合特征进行图像分类，得到预测分类标签。
步骤913，基于预测分类标签和标注分类标签，确定分类损失。
可选的，当计算机设备获取到样本融合特征后，即可以基于样本融合特征进行图像分类，得到预测分类标签，进而将标注分类标签作为监督信息，使得可以基于预测分类标签和标注分类标签，确定出分类损失。
步骤914，基于细节重构损失、图像重构损失以及分类损失，训练第一自编码器和第二自编码器。
在一个示例性的例子中，双路自编码器(双路掩码自编码器)的总损失可以如公式(1)所示。
L＝L1+L2+L3 (1)
其中，L表示双路自编码器的总损失，L1表示图像重构损失，L2表示细节重构损失，L3表示分类损失。
可选的，当计算机设备获取到图像重构损失、细节重构损失以及分类损失后，即可以根据图像重构损失、细节重构损失以及分类损失之和，训练第一自编码器和第二自编码器。
如图11所示，其示出了本申请另一个示例性实施例示出的图像生成原理示意图。将样本局部图像1101输入编码块1，以提取到浅层特征，并将浅层特征输入两个分支：在主分支中，将浅层特征输入编码块2-6，以提取样本语义特征1102，再填充空白特征后输入第一解码器1103进行特征解码，得到样本重构语义特征1104，以重构得到第一样本重构图像1105；在细节分支中，将浅层特征输入细节编码块，以提取样本细节特征1106，并填充空白特征后输入第二解码器1107进行特征解码，得到样本重构细节特征1108，输入细节头，以重构得到第二样本重构图像1110；可选的，在细节头中可以基于细节目标，输出细节重构损失1109；进一步的，基于第一样本重构图像1105和第二样本重构图像1110合成样本合成图像1111，并基于样本合成图像1111和样本整体图像1112(真实样本图像)确定图像重构损失1113；可选的，还可以将样本语义特征1102和样本细节特征1106进行特征融合，并输入分类器，以得到分类损失1114；最终基于分类损失1114、图像重构损失1113以及细节重构损失1109之和，训练双路自编码器。
本实施例中，通过融合样本语义特征和样本细节特征，并将融合后的样本融合特征应用于分类任务，使得可以在模型损失中引入分类损失，使得模型可以学习更好的分类决策边界，进而使得生成的样本合成图像可以应用于图像分类任务。
在上述图像生成方法应用于样本回溯场景中，双路自编码器可以与图像分类模型共同训练，也就是说，在训练双路自编码器的过程中，可以基于双路自编码器输出的样本合成图像，训练图像分类模型，使得随着任务的学习，双路自编码器可以合成质量更高的样本合成图像，图像分类模型也可以完整该任务阶段的分类任务。
请参考图12，其示出了本申请另一个示例性实施例提供的图像生成方法的流程图。本实施例以该方法的执行主体是计算机设备为例进行示例性说明，该方法包括：
步骤1201，在第i分类任务阶段训练完成后，按照掩码比例对样本整体图像进行掩码处理，得到第一样本局部图像。
在类增量学习过程中，图像分类模型分为不同的分类任务阶段，在新的分类任务阶段中，将旧任务样本和新任务样本一起用于图像分类模型训练，可以缓解图像分类模型对旧任务数据的遗忘问题。对应在一种可能的实施方式中，样本整体图像用于在第i分类任务阶段训练图像分类模型，对应在第i+1分类任务阶段，样本整体图像为旧任务样本。在第i分类任务阶段训练完成后，可以按照掩码比例对样本整体图像进行掩码处理，以得到第一样本局部图像。后续将第一样本局部图像输入双路自编码器进行图像重构，以得到样本合成图像。
步骤1202，将第一样本局部图像输入第一自编码器，得到第一自编码器输出的第一样本重构图像。
步骤1203，将第一样本局部图像输入第二自编码器，得到第二自编码器输出的第二样本重构图像。
步骤1204，对第一样本重构图像和第二样本重构图像进行图像合并，生成样本整体图像的样本合成图像。
步骤1205，基于样本合成图像和样本整体图像，训练第一自编码器和第二自编码器。
步骤1202～步骤1205的实施方式可以参考上文实施例，本实施例在此不做赘述。
步骤1206，在第i+1分类任务阶段，基于样本合成图像和新样本分类图像，训练图像分类模型。
在第i+1分类任务阶段，为了缓解图像分类模型对旧任务样本(旧任务数据)的遗忘问题，可以将重构出的样本合成图像和新样本分类图像(新任务样本)作为训练样本，一起训练图像分类模型。
本实施例中，通过对旧任务样本(样本整体图像)进行掩码处理，以得到第一样本局部图像，进而通过双路自编码器对第一样本局部图像进行图像重构，以得到样本合成图像，以用于第i+1分类任务阶段的图像分类模型的训练，以缓解图像分类模型对旧任务样本的遗忘问题。
上文实施例主要示出了如何训练双路自编码器使其具备特定图像重构能力的过程，在模型训练完成后，即可以将双路自编码器应用于图像生成场景或者样本回溯场景中，下文实施例主要对模型应用过程进行着重描述。
请参考图13，其示出了本申请另一个示例性实施例提供的图像生成方法的流程图。本实施例以该方法的执行主体是计算机设备为例进行示例性说明，该方法包括：
步骤1301，将局部图像输入第一自编码器，得到第一自编码器输出的第一重构图像，局部图像是整体图像的局部区域图像，第一重构图像是整体图像的重构图像。
步骤1302，将局部图像输入第二自编码器，得到第二自编码器输出的第二重构图像，第一重构图像和第二重构图像为互补图像。
步骤1303，基于第一重构图像和第二重构图像进行图像合并，生成整体图像的合成图像。
与模型训练过程类似，在双路自编码器训练完成后，计算机设备可以将局部图像输入第一自编码器和第二自编码器，由第一自编码器基于局部图像生成包含图像语义信息的第一重构图像，以及由第二自编码器基于局部图像生成包含图像细节信息的第二重构图像，进而基于互补的第一重构图像和第二重构图像，生成更为接近真实图像的合成图像。
可选的，该合成图像可以应用于新的图像分类任务，也可以应用于其他图像任务，比如，目标检测任务等，本实施例对此不构成限定。
综上所述，本申请实施例提供了一种基于局部图像重构完整图像的方式：通过包含第一自编码器和第二自编码器的双路自编码器对样本局部图像进行不同图像维度的图像重构，以得到互为互补图像的第一样本重构图像和第二样本重构图像，并通过合并第一样本重构图像和第二样本重构图像，得到更真实的样本合成图像。此外，将该图像生成方法应用在样本回溯中，可以仅保存样本局部图像，就可以恢复出较为真实的样本完整图像，使得在存储空间一致的情况下，可以存储更多的旧任务样本；而且，基于旧任务样本的样本局部图像恢复出样本完整图像，可以得到更真实地旧任务样本，使得可以在样本数量和样本质量两个方面提高样本回溯的效果。
与训练侧的图像重构过程类似，在应用侧生成重构图像的构成中，在两个支路中需要分别提取不同维度的图像信息，以重构出包含不同图像信息的重构图像，进而合成较为真实的合成图像。
请参考图14，其示出了本申请另一个示例性实施例提供的图像生成方法的流程图。本实施例以该方法的执行主体是计算机设备为例进行示例性说明，该方法包括：
步骤1401，通过第一编码器对局部图像进行语义特征提取，得到语义特征。
步骤1402，通过第一解码器对语义特征进行特征解码，得到第一重构图像。
步骤1403，通过第二编码器对局部图像进行细节特征提取，得到细节特征。
步骤1404，通过第二解码器对细节特征进行特征解码，得到第二重构图像。
在一个示例性的例子中，步骤1404还可以包括步骤1404A和步骤1404B。
步骤1404A，通过第二解码器对细节特征进行特征解码，得到重构细节特征。
步骤1404B，基于重构细节特征，生成第二重构图像。
步骤1405，基于第一重构图像和第二重构图像进行图像合并，生成整体图像的合成图像。
需要说明的是，本实施例中生成第一重构图像的过程可以参考上文实施例中生成第一样本重构图像的过程。本实施例中生成第二重构图像的过程可以参考上文实施例中生成第二样本重构图像的过程。本实施例中生成合成图像的过程可以参考上文实施例中生成样本合成图像的过程，本实施例在此不做赘述。
可选的，在样本回溯应用场景中，可以获取图像分类模型在第j分类任务训练阶段的整体图像(旧任务样本)，并在第j分类任务训练完成后，按照掩码比例对整体图像进行掩码处理，得到局部图像，并存储局部图像；以便在第j+1分类任务阶段，可以通过双路自编码器基于局部图像恢复出较为真实的旧任务样本(合成图像)，并基于合成图像和新分类图像，训练图像分类模型。一方面仅存储旧任务样本的局部图像，可以减少旧任务样本所占的存储空间，且存储空间一定可以存储更多数量的旧任务样本；另一方面，可以基于旧任务样本的局部图像恢复出较为真实的旧任务样本，也可以提高用于样本回溯的任务样本的样本质量，从而提高样本回溯的效果。
可选的，可以同时训练图像分类模型和双路自编码器，也可以先训练双路自编码器，在双路自编码器训练完成后，基于双路自编码器恢复的合成图像训练图像分类模型。
本实施例中，通过两个分支分别提取图像的语义信息和细节信息，以分别重构出包含语义信息的第一重构图像，以及包含细节信息的第二重构图像，进而合成所需的合成图像，以提高合成图像的真实性。
以下为本申请的装置实施例，对于装置实施例中未详细描述的细节，可参考上述方法实施例。
图15是本申请一个示例性实施例提供的图像生成装置的结构框图。该装置包括：
第一图像重构模块1501，用于将第一样本局部图像输入第一自编码器，得到所述第一自编码器输出的第一样本重构图像，所述第一样本局部图像是样本整体图像的局部区域图像，所述第一样本重构图像是所述样本整体图像的重构图像；
第二图像重构模块1502，用于将所述第一样本局部图像输入第二自编码器，得到所述第二自编码器输出的第二样本重构图像，所述第一样本重构图像和所述第二样本重构图像为互补图像；
生成模块1503，用于对所述第一样本重构图像和所述第二样本重构图像进行图像合并，生成所述样本整体图像的样本合成图像；
第一训练模块1504，用于基于所述样本合成图像和所述样本整体图像，训练所述第一自编码器和所述第二自编码器。
可选的，所述第一自编码器包括第一编码器和第一解码器，所述第二自编码器包括第二编码器和第二解码器；
所述第一图像重构模块1501，还用于：
通过所述第一编码器对所述第一样本局部图像进行语义特征提取，得到样本语义特征；
通过所述第一解码器对所述样本语义特征进行特征解码，得到所述第一样本重构图像；
所述第二图像重构模块1502，还用于：
通过所述第二编码器对所述第一样本局部图像进行细节特征提取，得到样本细节特征；
通过所述第二解码器对所述样本细节特征进行特征解码，得到所述第二样本重构图像；
所述第一训练模块1504，用于：
基于所述样本合成图像和所述样本整体图像，确定图像重构损失；
基于所述图像重构损失，训练所述第一自编码器和所述第二自编码器。
可选的，所述第二图像重构模块1502，还用于：
通过所述第二解码器对所述样本细节特征进行特征解码，得到样本重构细节特征；
基于所述样本重构细节特征，生成所述第二样本重构图像；
所述装置还包括：
获取模块，用于获取所述样本整体图像的标注细节图像；
提取模块，用于从所述标注细节图像中提取与图像细节相关的样本标注细节特征；
确定模块，用于基于所述样本标注细节特征和所述样本重构细节特征，确定细节重构损失；
所述第一训练模块1504，还用于：
基于所述细节重构损失和所述图像重构损失，训练所述第一自编码器和所述第二自编码器。
可选的，所述装置还包括：
特征融合模块，用于对所述样本语义特征和所述样本细节特征进行特征融合，得到样本融合特征；
分类预测模块，用于基于所述样本融合特征进行图像分类，得到预测分类标签；
确定模块，用于基于所述预测分类标签和标注分类标签，确定分类损失；
所述第一训练模块1504，还用于：
基于所述细节重构损失、所述图像重构损失以及所述分类损失，训练所述第一自编码器和所述第二自编码器。
可选的，所述特征融合模块，还用于：
将所述样本语义特征和所述样本细节特征进行加权处理，得到样本加权特征；
对所述样本加权特征和所述样本语义特征进行相加处理，得到所述样本融合特征。
可选的，所述获取模块，还用于：
获取第二样本局部图像，所述第二样本局部图像通过对所述样本整体图像进行掩码处理得到，所述第二样本局部图像的掩码比例与所述第一样本局部图像的掩码比例不同；
将所述第二样本局部图像输入所述第一自编码器，得到所述第一自编码器输出的第三样本重构图像；
基于所述第一样本重构图像和所述第三样本重构图像，确定所述标注细节图像。
可选的，所述获取模块，还用于：
对所述样本整体图像进行边缘提取处理，得到所述标注细节图像。
可选的，所述样本整体图像用于在第i分类任务阶段训练图像分类模型，i为正整数；
所述装置还包括：
图像处理模块，用于在所述第i分类任务阶段训练完成后，按照掩码比例对所述样本整体图像进行掩码处理，得到所述第一样本局部图像；
所述装置还包括：
第二训练模块，用于在第i+1分类任务阶段，基于所述样本合成图像和新样本分类图像，训练所述图像分类模型。
综上所述，本申请实施例提供了一种基于局部图像重构完整图像的方式：通过包含第一自编码器和第二自编码器的双路自编码器对样本局部图像进行不同图像维度的图像重构，以得到互为互补图像的第一样本重构图像和第二样本重构图像，并通过合并第一样本重构图像和第二样本重构图像，得到更真实的样本合成图像；且使用样本完整图像作为监督信息训练第一自编码器和第二自编码器，以提升模型的图像重构能力。此外，将该图像生成方法应用在样本回溯中，可以仅保存样本局部图像，就可以恢复出较为真实的样本完整图像，使得在存储空间一致的情况下，可以存储更多的旧任务样本；而且，基于旧任务样本的样本局部图像恢复出样本完整图像，可以得到更真实地旧任务样本，使得可以在样本数量和样本质量两个方面提高样本回溯的效果。
图16是本申请另一个示例性实施例提供的图像生成装置的结构框图。该装置包括：
第一图像重构模块1601，用于将局部图像输入第一自编码器，得到所述第一自编码器输出的第一重构图像，所述局部图像是整体图像的局部区域图像，所述第一重构图像是所述整体图像的重构图像；
第二图像重构模块1602，用于将所述局部图像输入第二自编码器，得到所述第二自编码器输出的第二重构图像，所述第一重构图像和所述第二重构图像为互补图像；
生成模块1603，用于基于所述第一重构图像和所述第二重构图像进行图像合并，生成所述整体图像的合成图像。
可选的，所述第一自编码器包括第一编码器和第一解码器，所述第二自编码器包括第二编码器和第二解码器；
所述第一图像重构模块1601，还用于：
通过所述第一编码器对所述局部图像进行语义特征提取，得到语义特征；
通过所述第一解码器对所述语义特征进行特征解码，得到所述第一重构图像；
所述第二图像重构模块1602，还用于：
通过所述第二编码器对所述局部图像进行细节特征提取，得到细节特征；
通过所述第二解码器对所述细节特征进行特征解码，得到所述第二重构图像。
可选的，所述第二图像重构模块1602，还用于：
通过所述第二解码器对所述细节特征进行特征解码，得到重构细节特征；
基于所述重构细节特征，生成所述第二重构图像。
可选的，所述装置还包括：
获取模块，用于获取图像分类模型在第j分类任务训练阶段的所述整体图像，j为正整数；
图像处理模块，用于在所述第j分类任务训练完成后，按照掩码比例对所述整体图像进行掩码处理，得到所述局部图像；
所述装置还包括：
训练模块，用于在第j+1分类任务阶段，基于所述合成图像和新分类图像，训练所述图像分类模型。
综上所述，本申请实施例提供了一种基于局部图像重构完整图像的方式：通过包含第一自编码器和第二自编码器的双路自编码器对样本局部图像进行不同图像维度的图像重构，以得到互为互补图像的第一样本重构图像和第二样本重构图像，并通过合并第一样本重构图像和第二样本重构图像，得到更真实的样本合成图像；且使用样本完整图像作为监督信息训练第一自编码器和第二自编码器，以提升模型的图像重构能力。此外，将该图像生成方法应用在样本回溯中，可以仅保存样本局部图像，就可以恢复出较为真实的样本完整图像，使得在存储空间一致的情况下，可以存储更多的旧任务样本；而且，基于旧任务样本的样本局部图像恢复出样本完整图像，可以得到更真实地旧任务样本，使得可以在样本数量和样本质量两个方面提高样本回溯的效果。
请参考图17，其示出了本申请一个实施例提供的计算机设备的结构示意图，该计算机设备可以用于实施上述实施例中提供的计算机设备执行的图像处理方法。所述计算机设备1700包括中央处理单元(CPU，Central Processing Unit)1701、包括随机存取存储器(RAM，Random Access Memory)1702和只读存储器(ROM，Read-Only Memory)1703的系统存储器1704，以及连接系统存储器1704和中央处理单元1701的系统总线1705。所述计算机设备1700还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O，Input/Output)1706，和用于存储操作系统1713、应用程序1714和其他程序模块1715的大容量存储设备1707。
所述基本输入/输出系统1706包括有用于显示信息的显示器1708和用于用户输入信息的诸如鼠标、键盘之类的输入设备1709。其中所述显示器1708和输入设备1709都通过连接到系统总线1705的输入/输出控制器1710连接到中央处理单元1701。所述基本输入/输出系统1706还可以包括输入/输出控制器1710以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入/输出控制器1710还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1707通过连接到系统总线1705的大容量存储控制器(未示出)连接到中央处理单元1701。所述大容量存储设备1707及其相关联的计算机可读介质为计算机设备1700提供非易失性存储。也就是说，所述大容量存储设备1707可以包括诸如硬盘或者CD-ROM(Compact Disc Read-Only Memory，只读光盘)驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read-Only Memory，可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，带电可擦除可编程只读存储器)、闪存或其他固态存储其技术，CD-ROM、DVD(Digital Video Disc，高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1704和大容量存储设备1707可以统称为存储器。
根据本申请的各种实施例，所述计算机设备1700还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1700可以通过连接在所述系统总线1705上的网络接口单元1712连接到网络1711，或者说，也可以使用网络接口单元1712来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上中央处理单元1701执行。
本申请还提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述任意示例性实施例所提供的图像生成方法。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述可选实现方式中提供的图像生成方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (17)

1.一种图像生成方法，其特征在于，所述方法包括：
将第一样本局部图像输入第一自编码器，得到所述第一自编码器输出的第一样本重构图像，所述第一样本局部图像是样本整体图像的局部区域图像，所述第一样本重构图像是所述样本整体图像的重构图像；
将所述第一样本局部图像输入第二自编码器，得到所述第二自编码器输出的第二样本重构图像，所述第一样本重构图像和所述第二样本重构图像为互补图像；
对所述第一样本重构图像和所述第二样本重构图像进行图像合并，生成所述样本整体图像的样本合成图像；
基于所述样本合成图像和所述样本整体图像，训练所述第一自编码器和所述第二自编码器。
2.根据权利要求1所述的方法，其特征在于，所述第一自编码器包括第一编码器和第一解码器，所述第二自编码器包括第二编码器和第二解码器；
所述将第一样本局部图像输入第一自编码器，得到所述第一自编码器输出的第一样本重构图像，包括：
通过所述第一编码器对所述第一样本局部图像进行语义特征提取，得到样本语义特征；
通过所述第一解码器对所述样本语义特征进行特征解码，得到所述第一样本重构图像；
所述将所述第一样本局部图像输入第二自编码器，得到所述第二自编码器输出的第二样本重构图像，包括：
通过所述第二编码器对所述第一样本局部图像进行细节特征提取，得到样本细节特征；
通过所述第二解码器对所述样本细节特征进行特征解码，得到所述第二样本重构图像；
所述基于所述样本合成图像和所述样本整体图像，训练所述第一自编码器和所述第二自编码器，包括：
基于所述样本合成图像和所述样本整体图像，确定图像重构损失；
基于所述图像重构损失，训练所述第一自编码器和所述第二自编码器。
3.根据权利要求2所述的方法，其特征在于，所述通过所述第二解码器对所述样本细节特征进行特征解码，得到所述第二样本重构图像，包括：
通过所述第二解码器对所述样本细节特征进行特征解码，得到样本重构细节特征；
基于所述样本重构细节特征，生成所述第二样本重构图像；
所述方法还包括：
获取所述样本整体图像的标注细节图像；
从所述标注细节图像中提取与图像细节相关的样本标注细节特征；
基于所述样本标注细节特征和所述样本重构细节特征，确定细节重构损失；
所述基于所述图像重构损失，训练所述第一自编码器和所述第二自编码器，包括：
基于所述细节重构损失和所述图像重构损失，训练所述第一自编码器和所述第二自编码器。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
对所述样本语义特征和所述样本细节特征进行特征融合，得到样本融合特征；
基于所述样本融合特征进行图像分类，得到预测分类标签；
基于所述预测分类标签和标注分类标签，确定分类损失；
所述基于所述细节重构损失和所述图像重构损失，训练所述第一自编码器和所述第二自编码器，包括：
基于所述细节重构损失、所述图像重构损失以及所述分类损失，训练所述第一自编码器和所述第二自编码器。
5.根据权利要求4所述的方法，其特征在于，所述对所述样本语义特征和所述样本细节特征进行特征融合，得到样本融合特征，包括：
将所述样本语义特征和所述样本细节特征进行加权处理，得到样本加权特征；
对所述样本加权特征和所述样本语义特征进行相加处理，得到所述样本融合特征。
6.根据权利要求3所述的方法，其特征在于，所述获取所述样本整体图像的标注细节图像，包括：
获取第二样本局部图像，所述第二样本局部图像通过对所述样本整体图像进行掩码处理得到，所述第二样本局部图像的掩码比例与所述第一样本局部图像的掩码比例不同；
将所述第二样本局部图像输入所述第一自编码器，得到所述第一自编码器输出的第三样本重构图像；
基于所述第一样本重构图像和所述第三样本重构图像，确定所述标注细节图像。
7.根据权利要求3所述的方法，其特征在于，所述获取所述样本整体图像的标注细节图像，还包括：
对所述样本整体图像进行边缘提取处理，得到所述标注细节图像。
8.根据权利要求1至7任一所述的方法，其特征在于，所述样本整体图像用于在第i分类任务阶段训练图像分类模型，i为正整数；
所述将第一样本局部图像输入第一自编码器，得到所述第一自编码器输出的第一样本重构图像之前，所述方法还包括：
在所述第i分类任务阶段训练完成后，按照掩码比例对所述样本整体图像进行掩码处理，得到所述第一样本局部图像；
所述对所述第一样本重构图像和所述第二样本重构图像进行图像合并，生成所述样本整体图像的样本合成图像之后，所述方法还包括：
在第i+1分类任务阶段，基于所述样本合成图像和新样本分类图像，训练所述图像分类模型。
9.一种图像生成方法，其特征在于，所述方法包括：
将局部图像输入第一自编码器，得到所述第一自编码器输出的第一重构图像，所述局部图像是整体图像的局部区域图像，所述第一重构图像是所述整体图像的重构图像；
将所述局部图像输入第二自编码器，得到所述第二自编码器输出的第二重构图像，所述第一重构图像和所述第二重构图像为互补图像；
基于所述第一重构图像和所述第二重构图像进行图像合并，生成所述整体图像的合成图像。
10.根据权利要求9所述的方法，其特征在于，所述第一自编码器包括第一编码器和第一解码器，所述第二自编码器包括第二编码器和第二解码器；
所述将局部图像输入第一自编码器，得到所述第一自编码器输出的第一重构图像，包括：
通过所述第一编码器对所述局部图像进行语义特征提取，得到语义特征；
通过所述第一解码器对所述语义特征进行特征解码，得到所述第一重构图像；
所述将所述局部图像输入第二自编码器，得到所述第二自编码器输出的第二重构图像，包括：
通过所述第二编码器对所述局部图像进行细节特征提取，得到细节特征；
通过所述第二解码器对所述细节特征进行特征解码，得到所述第二重构图像。
11.根据权利要求10所述的方法，其特征在于，所述通过所述第二解码器对所述细节特征进行特征解码，得到所述第二重构图像，包括：
通过所述第二解码器对所述细节特征进行特征解码，得到重构细节特征；
基于所述重构细节特征，生成所述第二重构图像。
12.根据权利要求9至11任一所述的方法，其特征在于，
所述将局部图像输入第一自编码器，得到所述第一自编码器输出的第一重构图像之前，所述方法还包括：
获取图像分类模型在第j分类任务训练阶段的所述整体图像，j为正整数；
在所述第j分类任务训练完成后，按照掩码比例对所述整体图像进行掩码处理，得到所述局部图像；
所述基于所述第一重构图像和所述第二重构图像进行图像合并，生成所述整体图像的合成图像之后，所述方法还包括：
在第j+1分类任务阶段，基于所述合成图像和新分类图像，训练所述图像分类模型。
13.一种图像生成装置，其特征在于，所述装置包括：
第一图像重构模块，用于将第一样本局部图像输入第一自编码器，得到所述第一自编码器输出的第一样本重构图像，所述第一样本局部图像是样本整体图像的局部区域图像，所述第一样本重构图像是所述样本整体图像的重构图像；
第二图像重构模块，用于将所述第一样本局部图像输入第二自编码器，得到所述第二自编码器输出的第二样本重构图像，所述第一样本重构图像和所述第二样本重构图像为互补图像；
生成模块，用于对所述第一样本重构图像和所述第二样本重构图像进行图像合并，生成所述样本整体图像的样本合成图像；
第一训练模块，用于基于所述样本合成图像和所述样本整体图像，训练所述第一自编码器和所述第二自编码器。
14.一种图像生成装置，其特征在于，所述装置包括：
第一图像重构模块，用于将局部图像输入第一自编码器，得到所述第一自编码器输出的第一重构图像，所述局部图像是整体图像的局部区域图像，所述第一重构图像是所述整体图像的重构图像；
第二图像重构模块，用于将所述局部图像输入第二自编码器，得到所述第二自编码器输出的第二重构图像，所述第一重构图像和所述第二重构图像为互补图像；
生成模块，用于基于所述第一重构图像和所述第二重构图像进行图像合并，生成所述整体图像的合成图像。
15.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1至8任一所述的图像生成方法，或，实现如权利要求9至12任一所述的图像生成方法。
16.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至8任一所述的图像生成方法，或，实现如权利要求9至12任一所述的图像生成方法。
17.一种计算机程序产品，其特征在于，所述计算机程序产品存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至8任一所述的图像生成方法，或，实现如权利要求9至12任一所述的图像生成方法。
CN202310029111.4A 2023-01-09 2023-01-09 图像生成方法、装置、计算机设备、存储介质及产品 Pending CN116957951A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310029111.4A CN116957951A (zh) 2023-01-09 2023-01-09 图像生成方法、装置、计算机设备、存储介质及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310029111.4A CN116957951A (zh) 2023-01-09 2023-01-09 图像生成方法、装置、计算机设备、存储介质及产品

Publications (1)

Publication Number Publication Date
CN116957951A true CN116957951A (zh) 2023-10-27

Family

ID=88453640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310029111.4A Pending CN116957951A (zh) 2023-01-09 2023-01-09 图像生成方法、装置、计算机设备、存储介质及产品

Country Status (1)

Country Link
CN (1) CN116957951A (zh)

Similar Documents

Publication Publication Date Title
Zhang et al. Uncertainty inspired RGB-D saliency detection
CN111709408B (zh) 图像真伪检测方法和装置
CN111768425B (zh) 图像处理方法、装置及设备
CN111898696A (zh) 伪标签及标签预测模型的生成方法、装置、介质及设备
CN111553267B (zh) 图像处理方法、图像处理模型训练方法及设备
CN113538480A (zh) 图像分割处理方法、装置、计算机设备和存储介质
CN114339409B (zh) 视频处理方法、装置、计算机设备及存储介质
CN115565238B (zh) 换脸模型的训练方法、装置、设备、存储介质和程序产品
CN111833360B (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
CN114359775A (zh) 关键帧检测方法、装置、设备及存储介质、程序产品
CN112884758A (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
CN113570689A (zh) 人像卡通化方法、装置、介质和计算设备
CN114972016A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
CN117095019B (zh) 一种图像分割方法及相关装置
Zou et al. 360° image saliency prediction by embedding self-supervised proxy task
CN112819689A (zh) 人脸属性编辑模型的训练方法、人脸属性编辑方法及设备
CN116403142A (zh) 视频处理方法、装置、电子设备及介质
CN113727187B (zh) 基于骨架迁移的动画视频处理方法、装置及相关设备
CN116977247A (zh) 图像处理方法、装置、电子设备及存储介质
CN116957951A (zh) 图像生成方法、装置、计算机设备、存储介质及产品
CN113822117B (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN112995433B (zh) 一种时序视频生成方法、装置、计算设备及存储介质
CN116309005A (zh) 虚拟换装方法、装置、电子设备及可读介质
CN113824989A (zh) 一种视频处理方法、装置和计算机可读存储介质
CN116708725B (zh) 基于语义编解码的低带宽人群场景安防监控方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication