CN116805282A - 图像超分辨率重建方法、模型训练方法、装置及电子设备 - Google Patents

图像超分辨率重建方法、模型训练方法、装置及电子设备 Download PDF

Info

Publication number
CN116805282A
CN116805282A CN202310797255.4A CN202310797255A CN116805282A CN 116805282 A CN116805282 A CN 116805282A CN 202310797255 A CN202310797255 A CN 202310797255A CN 116805282 A CN116805282 A CN 116805282A
Authority
CN
China
Prior art keywords
resolution
sample
image
scale
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310797255.4A
Other languages
English (en)
Inventor
秦睿
戴宇荣
王斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Tsinghua University
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Beijing Dajia Internet Information Technology Co Ltd filed Critical Tsinghua University
Priority to CN202310797255.4A priority Critical patent/CN116805282A/zh
Publication of CN116805282A publication Critical patent/CN116805282A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开关于一种图像超分辨率重建方法、模型训练方法、装置、电子设备、计算机可读存储介质以及计算机程序产品，由于本实施例通过采用具有不同分辨率的同一样本图像作为训练数据，分别进行多尺度的特征提取、码本量化以及解码重建，并基于各环节的输出特征对网络进行训练，从而使得训练后的模型可以学习到图像完整的双分辨率纹理表示，并具有跨分辨率对应性而对复杂的退化具有鲁棒性，以得到能够从具有任意未知退化的低分辨率图像重建逼真的高分辨率图像的图像超分辨率重建模型。

Description

图像超分辨率重建方法、模型训练方法、装置及电子设备
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像超分辨率重建方法、模型训练方法、装置、电子设备、计算机可读存储介质以及计算机程序产品。
背景技术
图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。随着电子设备的普及，随时随地拍摄照片已成为人们生活中必不可少的习惯，而普通用户的拍摄结果也已成为了多媒体资源的主流。
然而，因受到拍摄设备、技术、环境以及传播数据压缩等因素的影响，网络中传输的大量图片，通常会包含复杂多样的图片退化，例如模糊、噪声、低分辨率等，这些图片退化明显影响了图片质量。因此，如何有效修复图片中的各类退化对于提高图片质量有着至关重要的作用。
发明内容
本公开提供一种图像超分辨率重建方法、模型训练方法、装置、电子设备、计算机可读存储介质以及计算机程序产品，以至少解决相关技术中如何有效修复图片中各类退化的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像超分辨率重建模型训练方法，包括：
获取训练数据和待训练的图像重建网络，所述训练数据包括表征同一图像的第一分辨率样本图像和第二分辨率样本图像；
对所述第一分辨率样本图像进行多尺度的第一分辨率特征提取，得到多尺度的第一分辨率样本特征；对所述第二分辨率样本图像进行多尺度的第二分辨率特征提取，得到多尺度的第二分辨率样本特征；
对所述多尺度的第一分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第一样本量化特征；对所述多尺度的第二分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第二样本量化特征；
对多尺度分辨率的所述第一样本量化特征和所述第二样本量化特征分别进行相应分辨率的解码，得到对应分辨率下的样本重建图像；
根据所述样本重建图像、所述第一样本量化特征、所述第二样本量化特征、所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一分辨率样本图像和所述第二分辨率样本图像，对所述图像重建网络进行训练，得到图像超分辨率重建模型。
在其中一个实施例中，所述根据所述样本重建图像、所述第一样本量化特征、所述第二样本量化特征、所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一分辨率样本图像和所述第二分辨率样本图像，对所述图像重建网络进行训练，得到图像超分辨率重建模型，包括：根据所述样本重建图像、所述第一样本量化特征、所述第二样本量化特征、所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一分辨率样本图像和所述第二分辨率样本图像，确定用于模型训练的损失函数；根据所述损失函数调整所述图像重建网络的网络参数；当调整后的所述图像重建网络满足收敛条件时，将调整后的所述图像重建网络确定为所述图像超分辨率重建模型。
在其中一个实施例中，所述根据所述样本重建图像、所述第一样本量化特征、所述第二样本量化特征、所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一分辨率样本图像和所述第二分辨率样本图像，确定用于模型训练的损失函数，包括：根据所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一样本量化特征以及所述第二样本量化特征，确定第一损失；根据所述样本重建图像、所述第一分辨率样本图像和所述第二分辨率样本图像，确定第二损失；根据所述第二分辨率样本图像、所述第一样本量化特征和所述第二样本量化特征，确定第三损失；根据所述第一损失、所述第二损失以及所述第三损失的和，确定用于模型训练的损失函数。
在其中一个实施例中，所述根据所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一样本量化特征以及所述第二样本量化特征，确定第一损失，包括：根据所述第一分辨率样本特征和所述第二分辨率样本特征，确定跨分辨率一致性损失；根据所述第一分辨率样本特征、所述第一样本量化特征、所述第二分辨率样本特征以及所述第二样本量化特征，确定优化基本损失；将所述跨分辨率一致性损失和所述优化基本损失的和，确定为所述第一损失。
在其中一个实施例中，所述对所述多尺度分辨率的第一样本量化特征和所述第二样本量化特征分别进行相应分辨率的解码，得到对应分辨率下的样本重建图像，包括：对所述多尺度分辨率的所述第一样本量化特征进行第一分辨率特征解码，得到对应第一分辨率下重建的第一图像；对所述多尺度分辨率的所述第一样本量化特征进行第二分辨率特征解码，得到对应第二分辨率下重建的第二图像；对所述多尺度分辨率的所述第二样本量化特征进行第一分辨率特征解码，得到对应第一分辨率下重建的第三图像；对所述多尺度分辨率的所述第二样本量化特征进行第二分辨率特征解码，得到对应第二分辨率下重建的第四图像。
在其中一个实施例中，所述根据所述样本重建图像、所述第一分辨率样本图像和所述第二分辨率样本图像，确定第二损失，包括：根据重建的所述第一图像、所述第二图像、所述第三图像、所述第四图像以及所述第一分辨率样本图像和所述第二分辨率样本图像，确定第二损失。
在其中一个实施例中，所述图像重建网络中包括预先训练的多尺度码本子网；所述多尺度码本子网用于对所述多尺度的第一分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第一样本量化特征，以及对所述多尺度的第二分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第二样本量化特征。
在其中一个实施例中，所述多尺度码本子网至少包括第一尺度码本量化模块和第二尺度码本量化模块，所述第二尺度小于所述第一尺度；所述方法还包括：对所述第一尺度码本量化模块进行训练，确定训练后的所述第一尺度码本量化模块的第一模型参数；根据所述第一模型参数，对所述第二尺度码本量化模块进行训练，确定训练后的所述第二尺度码本量化模块的第二模型参数；根据所述第一模型参数和所述第二模型参数，确定所述多尺度码本子网。
根据本公开实施例的第二方面，提供一种图像超分辨率重建方法，所述方法包括：
获取待重建图像；
将所述待重建图像输入至图像超分辨率重建模型，得到所述图像超分辨率重建模型输出的超分辨率图像；所述图像超分辨率重建模型采用如上第一方面所述的方法训练得到。
根据本公开实施例的第三方面，提供一种图像超分辨率重建模型训练装置，所述装置包括：
获取模块，被配置为执行获取训练数据和待训练的图像重建网络，所述训练数据包括表征同一图像的第一分辨率样本图像和第二分辨率样本图像；
特征提取模块，被配置为执行对所述第一分辨率样本图像进行多尺度的第一分辨率特征提取，得到多尺度的第一分辨率样本特征；对所述第二分辨率样本图像进行多尺度的第二分辨率特征提取，得到多尺度的第二分辨率样本特征；
码本量化模块，被配置为执行对所述多尺度的第一分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第一样本量化特征；对所述多尺度的第二分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第二样本量化特征；
解码模块，被配置为执行对多尺度分辨率的所述第一样本量化特征和所述第二样本量化特征分别进行相应分辨率的解码，得到对应分辨率下的样本重建图像；
训练模块，被配置为执行根据所述样本重建图像、所述第一样本量化特征、所述第二样本量化特征、所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一分辨率样本图像和所述第二分辨率样本图像，对所述图像重建网络进行训练，得到图像超分辨率重建模型。
根据本公开实施例的第四方面，提供一种图像超分辨率重建装置，所述装置包括：
图像获取模块，被配置为执行获取待重建图像；
图像重建模块，被配置为执行将所述待重建图像输入至图像超分辨率重建模型，得到所述图像超分辨率重建模型输出的超分辨率图像；所述图像超分辨率重建模型采用如上第一方面所述的方法训练得到。
根据本公开实施例的第五方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上第一方面所述的图像超分辨率重建模型训练方法或者实现如上第二方面所述的图像超分辨率重建方法。
根据本公开实施例的第六方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如上第一方面所述的图像超分辨率重建模型训练方法或者执行如上第二方面所述的图像超分辨率重建方法。
根据本公开实施例的第七方面，提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如上第一方面所述的图像超分辨率重建模型训练方法或者执行如上第二方面所述的图像超分辨率重建方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过获取训练数据和待训练的图像重建网络，对第一分辨率样本图像进行多尺度的第一分辨率特征提取，得到多尺度的第一分辨率样本特征；对第二分辨率样本图像进行多尺度的第二分辨率特征提取，得到多尺度的第二分辨率样本特征，对多尺度的第一分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第一样本量化特征；对多尺度的第二分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第二样本量化特征，对多尺度分辨率的第一样本量化特征和第二样本量化特征分别进行相应分辨率的解码，得到对应分辨率下的样本重建图像，并根据样本重建图像、第一样本量化特征、第二样本量化特征、第一分辨率样本特征、第二分辨率样本特征、第一分辨率样本图像和第二分辨率样本图像，对图像重建网络进行训练，以得到图像超分辨率重建模型。由于本实施例通过采用具有不同分辨率的同一样本图像作为训练数据，分别进行多尺度的特征提取、码本量化以及解码重建，并基于各环节的输出特征对网络进行训练，从而使得训练后的模型可以学习到图像完整的双分辨率纹理表示，并具有跨分辨率对应性而对复杂的退化具有鲁棒性，以得到能够从具有任意未知退化的低分辨率图像重建逼真的高分辨率图像的图像超分辨率重建模型。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像超分辨率重建模型训练方法的流程图。
图2是根据一示例性实施例示出的模型训练步骤的示意图。
图3是根据一示例性实施例示出的解码步骤的示意图。
图4是根据一示例性实施例示出的图像重建网络的架构示意图。
图5是根据一示例性实施例示出的确定损失函数步骤的示意图。
图6是根据一示例性实施例示出的双分辨率码本量化模块的结构示意图。
图7是根据一示例性实施例示出的基于语义先验的预训练示意图。
图8是根据一示例性实施例示出的多尺度码本子网构建步骤的示意图。
图9是根据一示例性实施例示出的多尺度码本子网预训练示意图。
图10是根据一示例性实施例示出的一种图像超分辨率重建方法的流程图。
图11是根据一示例性实施例示出的一种图像超分辨率重建方法的原理示意图。
图12是根据一示例性实施例示出的一种图像超分辨率重建模型训练装置的框图。
图13是根据一示例性实施例示出的一种图像超分辨率重建装置的框图。
图14是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
还需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
相关技术中，在面对具有多种复杂退化的真实低分辨率图片时，只能处理单一退化的非盲超分辨率方法往往效果不佳。因此，有人提出了使用基于高分辨率图片重建预训练的VQGAN(Vector Quantised Variational autoencoderwithGenerative AdversarialNetwork，具有生成对抗网络的矢量量化变分自动编码器)对高分辨率图片中的纹理进行离散建模，然后使用基于卷积层和滑动窗口转换器(Swin Transformer)的特征编码器将低分辨率图片输入映射到VQGAN构建的高分辨率纹理特征空间。此外，为了让VQGAN构建的纹理特征空间具有语义合理性，其还可以使用在ImageNet(图像网络)数据集中预训练的VGG19的卷积特征作为VQGAN中离散空间学习过程中的正则化约束。
但是，由于相关技术中只使用高分辨率图片进行VQGAN中纹理码本的学习，从而造成了严重的模式坍塌问题，即整个码本中只有非常少的比例在重建过程中被实际使用，进而会导致重建过程中可生成的纹理种类的局限性。此外，由于相关技术只在较大范围的尺度上进行了纹理码本的学习，缺少对于局部纹理细节的建模，因此对于精细图片结构的重建效果并不理想。又由于相关技术中使用基于图片分类任务预训练的特征向纹理码本学习过程中引入语义信息，但基于图片分类任务学习的先验特征只关注于图片的高层全局语义，而忽略了图片局部纹理的相似性，因此这类高层语义任务的先验特征并不适合于对局部纹理敏感的图片重建、图片修复等底层图片处理任务。
基于此，本申请提供了一种图像超分辨率重建方法、模型训练方法、装置、电子设备、计算机可读存储介质以及计算机程序产品，通过从具有任意未知退化的低分辨率图像重建逼真的高分辨率图像，以增强图片质量，从而实现盲图片超分辨率重建。
在一个实施例中，如图1所示，提供了一种图像超分辨率重建模型训练方法，本实施例以该方法应用于计算机设备进行举例说明，可以理解的是，计算机设备可以是终端，也可以是服务器，还可以是包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法可以包括以下步骤：
在步骤S110中，获取训练数据和待训练的图像重建网络。
其中，训练数据包括表征同一图像的第一分辨率样本图像和第二分辨率样本图像。具体地，第一分辨率样本图像和第二分辨率样本图像对应的是不同分辨率的同一样本图像，第二分辨率大于第一分辨率。例如，第一分辨率样本图像可以是样本图像的低分辨率图像，即分辨率低于某一较低分辨率阈值，第二分辨率样本图像则可以是样本图像的高分辨率图像，即分辨率高于某一较高分辨率阈值。
待训练的图像重建网络则可以是用于图像重建的基础网络。在本实施例中，图像重建网络可以包括分别对应于不同分辨率且多尺度的第一特征编码器和第二特征编码器，分别对应于不同分辨率的第一特征解码器和第二特征解码器，以及预先训练的多尺度码本子网。具体地，在进行模型训练时，计算机设备首先需要获取训练数据和待训练的图像重建网络，并通过后续步骤对图像重建网络进行训练，从而得到可以实现盲图片超分辨率重建的图像超分辨率重建模型。
在步骤S120中，对第一分辨率样本图像进行多尺度的第一分辨率特征提取，得到多尺度的第一分辨率样本特征；对第二分辨率样本图像进行多尺度的第二分辨率特征提取，得到多尺度的第二分辨率样本特征。
其中，多尺度的第一分辨率样本特征可以是基于第一分辨率的第一特征编码器，对第一分辨率样本图像进行多尺度的特征提取后，得到的具有不同尺度的多个第一分辨率的样本特征。多尺度的第二分辨率样本特征可以是基于第二分辨率的第二特征编码器，对第二分辨率样本图像进行多尺度的特征提取后，得到的具有不同尺度的多个第二分辨率的样本特征。
在本实施例中，计算机设备首先通过线性上采样的方式，将第一分辨率样本图像上采样到和第二分辨率样本图像一样的大小，然后通过采用第一分辨率的多尺度第一特征编码器，对第一分辨率样本图像进行多尺度的第一分辨率特征提取，从而得到多尺度的第一分辨率样本特征。通过采用第二分辨率的多尺度第二特征编码器，对第二分辨率样本图像进行多尺度的第二分辨率特征提取，从而得到多尺度的第二分辨率样本特征。
在步骤S130中，对多尺度的第一分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第一样本量化特征；对多尺度的第二分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第二样本量化特征。
其中，码本量化是将输入特征替换为码本中与输入特征距离最近的邻居的过程，即为输入特征的每个点特征匹配其在码本中的L2的最近邻，并将每个点特征的最近邻按照其在输入特征的空间位置进行整合，从而形成量化特征，即第一样本量化特征和第二样本量化特征。具体地，码本量化可以基于预先训练的多尺度码本子网实现。
在本实施例中，计算机设备通过采用预先训练的多尺度码本子网，对多尺度的第一分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，从而得到具有不同尺度分辨率的多个第一样本量化特征。通过采用预先训练的多尺度码本子网，对多尺度的第二分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，从而得到具有不同尺度分辨率的多个第二样本量化特征。
在步骤S140中，对多尺度分辨率的第一样本量化特征和第二样本量化特征分别进行相应分辨率的解码，得到对应分辨率下的样本重建图像。
其中，样本重建图像是对第一分辨率样本图像和第二分辨率样本图像，分别在不同分辨率下重建后得到的图像。在本实施例中，计算机设备通过采用可以进行不同分辨率重建的第一特征解码器和第二特征解码器，分别对多尺度分辨率的第一样本量化特征和第二样本量化特征进行相应分辨率的解码，从而得到对应分辨率下的样本重建图像。
在步骤S150中，根据样本重建图像、第一样本量化特征、第二样本量化特征、第一分辨率样本特征、第二分辨率样本特征、第一分辨率样本图像和第二分辨率样本图像，对图像重建网络进行训练，得到图像超分辨率重建模型。
其中，训练后的图像超分辨率重建模型可以实现盲图片超分辨率重建，即能够从具有任意未知退化的低分辨率图像重建逼真的高分辨率图像，以增强图片质量。
在本实施例中，计算机设备可以根据样本重建图像、第一样本量化特征、第二样本量化特征、第一分辨率样本特征、第二分辨率样本特征、第一分辨率样本图像和第二分辨率样本图像，对图像重建网络进行训练，从而可以得到图像超分辨率重建模型。
上述图像超分辨率重建模型训练方法中，通过获取训练数据和待训练的图像重建网络，对第一分辨率样本图像进行多尺度的第一分辨率特征提取，得到多尺度的第一分辨率样本特征；对第二分辨率样本图像进行多尺度的第二分辨率特征提取，得到多尺度的第二分辨率样本特征，对多尺度的第一分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第一样本量化特征；对多尺度的第二分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第二样本量化特征，对多尺度分辨率的第一样本量化特征和第二样本量化特征分别进行相应分辨率的解码，得到对应分辨率下的样本重建图像，并根据样本重建图像、第一样本量化特征、第二样本量化特征、第一分辨率样本特征、第二分辨率样本特征、第一分辨率样本图像和第二分辨率样本图像，对图像重建网络进行训练，以得到图像超分辨率重建模型。由于本实施例通过采用具有不同分辨率的同一样本图像作为训练数据，分别进行多尺度的特征提取、码本量化以及解码重建，并基于各环节的输出特征对网络进行训练，从而使得训练后的模型可以学习到图像完整的双分辨率纹理表示，并具有跨分辨率对应性而对复杂的退化具有鲁棒性，以得到能够从具有任意未知退化的低分辨率图像重建逼真的高分辨率图像的图像超分辨率重建模型。
在一示例性实施例中，如图2所示，在步骤S150中，根据样本重建图像、第一样本量化特征、第二样本量化特征、第一分辨率样本特征、第二分辨率样本特征、第一分辨率样本图像和第二分辨率样本图像，对图像重建网络进行训练，得到图像超分辨率重建模型，具体可以包括：
在步骤S210中，根据样本重建图像、第一样本量化特征、第二样本量化特征、第一分辨率样本特征、第二分辨率样本特征、第一分辨率样本图像和第二分辨率样本图像，确定用于模型训练的损失函数。
其中，损失函数可以用于衡量图像重建网络重建图像质量的好坏，通过损失函数可以对图像重建网络进行训练和优化。在本实施例中，计算机设备可以根据样本重建图像、第一样本量化特征、第二样本量化特征、第一分辨率样本特征、第二分辨率样本特征、第一分辨率样本图像和第二分辨率样本图像，而确定用于模型训练的损失函数。
在步骤S220中，根据损失函数调整图像重建网络的网络参数。
具体地，在本实施例中，计算机设备通过上述确定的损失函数可以调整图像重建网络的网络参数，从而对图像重建网络进行优化，使其具有更好的图像重建性能。
在步骤S230中，当调整后的图像重建网络满足收敛条件时，将调整后的图像重建网络确定为图像超分辨率重建模型。
其中，收敛条件可以是预先设定的停止训练的触发条件。例如，可以是设定的最大迭代次数，则当迭代超过最大迭代次数时就停止训练；还可以是设定的两次迭代之间的权值变化阈值，则当两次迭代之间的权值小于该阈值时就停止训练；还可以是预先设定的较小的损失阈值，则当损失函数小于该阈值时就停止训练。
具体地，当上述调整后的图像重建网络满足收敛条件时，则可以将该调整后的图像重建网络确定为图像超分辨率重建模型，即得到训练后的模型。
上述实施例中，根据样本重建图像、第一样本量化特征、第二样本量化特征、第一分辨率样本特征、第二分辨率样本特征、第一分辨率样本图像和第二分辨率样本图像，确定用于模型训练的损失函数，并根据损失函数调整图像重建网络的网络参数，当调整后的图像重建网络满足收敛条件时，则将调整后的图像重建网络确定为图像超分辨率重建模型。由于本实施例中用于模型训练的损失函数是根据不同分辨率的输入图像以及各环节的输出特征确定，从而使得训练后的模型可以学习到图像完整的双分辨率纹理表示，并能够从具有任意未知退化的低分辨率图像重建逼真的高分辨率图像，以具备对低分辨率图片进行修复的能力。
在一示例性实施例中，如图3所示，在步骤S140中，对多尺度分辨率的第一样本量化特征和第二样本量化特征分别进行相应分辨率的解码，得到对应分辨率下的样本重建图像，具体可以包括：
在步骤S310中，对多尺度分辨率的第一样本量化特征进行第一分辨率特征解码，得到对应第一分辨率下重建的第一图像。
其中，第一分辨率特征解码是指在第一分辨率下进行特征解码的处理。由于第一样本量化特征是采用预先训练的多尺度码本子网，对多尺度的第一分辨率样本特征分别在对应尺度上进行多分辨率的码本量化后，得到的具有不同尺度分辨率的多个量化特征。因此，计算机设备通过对其进行第一分辨率特征解码，可以得到对应第一分辨率下重建的第一图像。即第一图像是在第一分辨率下对多尺度分辨率的第一样本量化特征进行第一分辨率特征解码后得到的重建图像。
在步骤S320中，对多尺度分辨率的第一样本量化特征进行第二分辨率特征解码，得到对应第二分辨率下重建的第二图像。
同理，第二分辨率特征解码是指在第二分辨率下进行特征解码的处理。具体地，计算机设备通过对多尺度分辨率的第一样本量化特征进行第二分辨率特征解码，可以得到对应第二分辨率下重建的第二图像。即第二图像是在第二分辨率下对多尺度分辨率的第一样本量化特征进行第二分辨率特征解码后得到的重建图像，由于第二分辨率大于第一分辨率，则重建的第二图像的分辨率高于第一图像的分辨率。
在步骤S330中，对多尺度分辨率的第二样本量化特征进行第一分辨率特征解码，得到对应第一分辨率下重建的第三图像。
其中，第三图像是在第一分辨率下对多尺度分辨率的第二样本量化特征进行第一分辨率特征解码后得到的重建图像。具体地，计算机设备通过对多尺度分辨率的第二样本量化特征进行第一分辨率特征解码，从而得到对应第一分辨率下重建的第三图像。
在步骤S340中，对多尺度分辨率的第二样本量化特征进行第二分辨率特征解码，得到对应第二分辨率下重建的第四图像。
其中，第四图像是在第二分辨率下对多尺度分辨率的第二样本量化特征进行第二分辨率特征解码后得到的重建图像。具体地，计算机设备通过对多尺度分辨率的第二样本量化特征进行第二分辨率特征解码，从而得到对应第二分辨率下重建的第四图像。
上述实施例中，通过对多尺度分辨率的第一样本量化特征和第二样本量化特征分别进行交叉分辨率的解码重建，从而确保从相似特征生成的不同分辨率图像之间的纹理内容的相似性，使得不同分辨率下对应的纹理图案在码本空间中具有一致的表示，进而有利于超分辨率生成纹理的合理性和真实性。
在一示例性实施例中，如图4所示，图像重建网络可以包括分别对应于第一分辨率的多尺度第一特征编码器ELR和第一特征解码器DLR，分别对应于第二分辨率的多尺度第二特征编码器EHR和第二特征解码器DHR，以及包括预先训练的多尺度码本子网。具体地，多尺度码本子网DRCC用于对多尺度的第一分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第一样本量化特征，以及对多尺度的第二分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第二样本量化特征。
其中，多尺度码本子网DRCC可以包括多个不同尺度的双分辨率码本量化模块，其中，模块的数据和尺度的位置可以根据实际场景确定。本实施例中为了便于说明，以多尺度码本子网DRCC包括第一尺度码本量化模块(即Global DRCC)和第二尺度码本量化模块(即Local DRCC)为例进行阐述。具体地，第二尺度小于第一尺度，即第一尺度可以用于表征较大尺度的深层码本(也即全局码本)，第二尺度则可以用于表征较小尺度的浅层码本(也即局部码本)。
则上述图像超分辨率重建模型训练方法具体可以包括：首先，将用于表征同一图像的第一分辨率样本图像ILR和第二分辨率样本图像IHR作为图像重建网络的输入，采用第一分辨率的多尺度第一特征编码器ELR对第一分辨率样本图像ILR对行多尺度的特征提取，得到多尺度的第一分辨率样本特征FLR，例如，可以包括基于第一尺度的第一分辨率样本特征FLR1和基于第二尺度的第一分辨率样本特征FLR2。采用第二分辨率的多尺度第二特征编码器EHR对第二分辨率样本图像IHR对行多尺度的特征提取，得到多尺度的第二分辨率样本特征FHR。例如，可以包括基于第一尺度的第二分辨率样本特征FHR1和基于第二尺度的第二分辨率样本特征FHR2。
然后，将多尺度的第一分辨率样本特征FLR分别在多尺度码本子网DRCC中进行对应尺度的码本量化，从而得到量化后的多尺度第一样本量化特征例如，可以采用第一尺度码本量化模块DRCC1对第一尺度的第一分辨率样本特征FLRg进行量化，得到对应第一尺度的第一量化特征/>采用第二尺度码本量化模块DRCC2对第二尺度的第一分辨率样本特征FLRl进行量化，得到对应第二尺度的第一量化特征/>同理，可以得到第二分辨率样本特征FHR分别在多尺度码本子网DRCC中进行对应尺度的码本量化后的多尺度第二样本量化特征/>包括基于第一尺度的第二分辨率样本特征FHRg的第二量化特征/>和基于第二尺度的第二分辨率样本特征FHRl的第二量化特征/>
进而采用不同分辨率的解码器，分别对量化后的多尺度第一样本量化特征和第二样本量化特征/>进行解码，从而得到对应分辨率下的重建图像。具体地，可以采用第一分辨率的第一特征解码器DLR对多尺度的第一样本量化特征/>进行第一分辨率特征解码，从而得到对应第一分辨率下对第一样本量化特征/>重建的第一图像LR ReconLR；采用第二分辨率的第二特征解码器DHR对多尺度的第一样本量化特征/>进行第二分辨率特征解码，从而得到对应第二分辨率下对第一样本量化特征/>重建的第二图像HR ReconLR；采用第一分辨率的第一特征解码器DLR对多尺度的第二样本量化特征/>进行第一分辨率特征解码，从而得到对应第一分辨率下对第二样本量化特征/>重建的第三图像LR ReconHR；采用第二分辨率的第二特征解码器DHR对多尺度的第二样本量化特征/>进行第二分辨率特征解码，从而得到对应第二分辨率下对第二样本量化特征/>重建的第四图像HR ReconHR。从而实现对每个分辨率的输入都完成双分辨率结果的重建，使得网络能够学习到纹理表征的跨分辨率相似性，进而能够具有对低分辨率图片进行修复的能力。
在一示例性实施例中，如图5所示，在步骤S210中，根据样本重建图像、第一样本量化特征、第二样本量化特征、第一分辨率样本特征、第二分辨率样本特征、第一分辨率样本图像和第二分辨率样本图像，确定用于模型训练的损失函数，具体可以包括：
在步骤S510中，根据第一分辨率样本特征、第二分辨率样本特征、第一样本量化特征以及第二样本量化特征，确定第一损失。
其中，第一损失也即码本损失，用于对多尺度码本子网DRCC的学习优化。具体地，第一损失可以包括跨分辨率一致性损失和优化基本损失。
具体地，由于多尺度码本子网DRCC包括多个不同尺度的双分辨率码本量化模块，则对于任意一个双分辨率码本量化模块，如图6所示，其包括一个基本的特征量化单元Codebook Z和两个跨分辨率约束，其中，特征量化单元为输入的网格特征中每个点特征(即FLR和FHR)匹配其在码本中的L2的最近邻(即L2 Matching)，并将每个点特征的最近邻按照输入点特征的空间位置进行整合，从而形成量化后的特征(即和/>)。
为了在网络训练阶段中，让码本能够学习到纹理表征的跨分辨率相似性，通过使用两种不同的约束来引导码本的学习过程。其一为在码本空间中，相似的代码表示不同分辨率下相似的纹理内容，其二是具有相同纹理内容的不同分辨率图像在码本空间中应该具有相似的表示。因此，为了确保从相似特征生成的不同分辨率图像之间的纹理内容相似性，可以进行交叉分辨率重建训练。即将包括高分辨率和低分辨率特征在内的所有量化特征(包括和/>)都被发送到第一特征解码器DLR和第二特征解码器DHR，并执行相应分辨率的图像重建。由于成对的不同分辨率图像包含相同的图像内容，因此一个量化特征应该分别重建由第一特征解码器DLR输出的LR，并同时由第二特征解码器DHR输出的HR版本。为了确保具有相似纹理内容的不同分辨率图像之间的表示相似性，还可以在两个成对的输入特征(即FLR和FHR)之间添加一致性约束。通过结合以上两种策略，双分辨率码本量化模块可以确保两种分辨率下对应的纹理图案在码本空间中具有一致的表示，这意味着双分辨率码本量化模块实现了图像纹理的分辨率无关建模，而纹理表示和解码器之间的这种分离有利于超分辨率生成纹理的合理性和真实性。/>
在一种场景下，可以根据输入的第一分辨率样本特征FLR和第二分辨率样本特征FHR，确定跨分辨率一致性损失Lconsistent，并根据第一分辨率样本特征FLR、第一样本量化特征第二分辨率样本特征FHR以及第二样本量化特征/>确定优化基本损失LDRCC，并将跨分辨率一致性损失和优化基本损失的和，确定为第一损失LCodebook。
对于输入双分辨率码本量化模块的第一分辨率样本特征FLR(包括FLRg和FLRl)和第二分辨率样本特征FHR(包括FHRg和FHRl)，其量化后的输出为第一样本量化特征(包括和/>)和第二样本量化特征/>(包括/>和/>)，则优化基本损失LDRCC的计算过程如下：
其中，sg(·)表示截断该变量的梯度计算，/>表征输入参数，具体计算时可以使用/>或/>进行替换。
跨分辨率一致性损失Lconsistent的计算过程如下：
Lconsistent＝||FHR-FLR||2
则第一损失LCodebook的计算过程如下：
LCodebook＝LDRCC+Lconsistent
本实施例通过将跨分辨率一致性损失与优化基本损失的和，作为对多尺度码本子网DRCC进行学习优化的第一损失，从而实现在成对的输入特征之间添加了一致性约束，能够确保具有相似纹理内容的不同分辨率图像之间的表示相似性，使得相似的码本能够表示不同分辨率下相似的纹理内容。
在步骤S520中，根据样本重建图像、第一分辨率样本图像和第二分辨率样本图像，确定第二损失。
其中，第二损失用于表征图像的重建损失。
在本实施例中，计算机设备可以根据重建的第一图像、第二图像、第三图像、第四图像以及输入的第一分辨率样本图像和第二分辨率样本图像，确定第二损失。具体地，若输入的第一分辨率样本图像为ILR，第二分辨率样本图像为IHR，重建的第一图像为LR ReconLR、第二图像为HR ReconLR、第三图像为LR ReconHR、第四图像为HR ReconHR，则重建损失即第二损失LRecon可以采用如下方式计算：
其中，
φper表示预训练的VGG16网络，D表征网络中的鉴别器，E表征随机变量期望参数，λper、λadv表示系数，IGT表示输入图像，在实际计算时，可以使用上述输入图像ILR或IHR进行替换，IRecon表示对应的重建图像，在实际计算时，可以使用上述重建图像LR ReconLR、HR ReconLR、LR ReconHR或HR ReconHR进行替换。从而得到交叉重建过程中每张重建图像与对应的输入图像的重建损失之和，使得网络能够学习到更逼真的纹理。
在步骤S530中，根据第二分辨率样本图像、第一样本量化特征和第二样本量化特征，确定第三损失。
其中，第三损失用于表征语义先验损失。本实施例可以在多尺度码本子网DRCC中应用语义先验，由于多尺度码本子网DRCC分别包含全局(第一尺度)和局部(第二尺度)纹理，因此，可以通过利用全局语义先验和局部语义先验作为优化中的额外正则化。
具体来说，全局语义先验是在ImageNet数据集中经过图片分类预训练的VGG19网络φtmgnet的第5个ReLU层后的激活值，局部先验是图像块分类预训练网络φpatch的第二个最大池化层的激活值。由于未退化的高分辨率图像具有更有意义的语义先验。因此，可以使用高分辨率图像来提取语义先验特征。语义监督即第三损失LSem是在全局量化特征Fg、局部量化特征Fl和来自输入图像IHR，ILR的多尺度先验特征之间计算的，可以表示为：
其中，又有：
其中，/>表示量化特征，则表示对应的全局量化特征，其具体可以是/>和/> 表示对应的局部量化特征，其具体可以是/>和/>
本实施例通过上述语义先验损失(即第三损失)能够增强底层图片处理方法所重建出的纹理的语义合理性，进而能够加强网络对局部纹理的感知能力。
在一种场景下，为了更好地理解本申请的方案，进一步说明上述语义先验原理，其具体可以包括图像块数据生成和代理任务训练。
在图像块数据生成过程中，可以不重叠地裁剪图像，根据分割标签过滤有效样本，并为每个有效图像块分配相应的语义类别标签。如图7所示，若给定图像I，其对应的语义分割图为M，通过非重叠地切出长宽大小为Hp×Wp的块Ip。对于每个图像块Ip，如果其分割结果Mp中属于类别C的像素比例超过了阈值γ，则可以将其视为有效图像块，并将其对应的类别标签Cp设置为c。如果分割结果中没有类别的像素所占比例超过γ，则可以将其标记为无效块。
而在代理任务训练过程中，在收集到有效的“图像块-类别”数据对后，可以对这些图像块数据进行图像分类训练。如图7右侧所示，分类网络包括基于CNN的编码器和作为分类器的全连接层。具体来说，可以使用VGG19的第3个最大池化层之前的CNN部分作为编码器，并使用在ImageNet数据集上的图片分类预训练参数对其进行初始化。为了使学习的先验对码本空间中的L2距离友好，还可以添加额外的对比学习损失函数LInfoNCE并结合交叉熵损失LCE(即图中的LCrossEntrop)用于预训练。在计算对比损失时，可以将属于同一类的图像块视为正样本，将属于其他类别的图像块视为负样本。则图像分类训练的损失函数Lprior为：
Lprior＝LCE+λLInfoNCE
本实施例的预训练与基于全图像的分类预训练不同，由于缺乏完整的全局语义信息，如对象形状和轮廓，图像块级的分类预训练迫使网络关注图像块纹理和图像之间的相关性。与高级语义特征相比，图像块级特征可以更好地衡量不同纹理之间的相似性，对纹理敏感的低级任务更友好。
在步骤S540中，根据第一损失、第二损失以及第三损失的和，确定用于模型训练的损失函数。
具体地，计算机设备通过计算第一损失、第二损失以及第三损失的和，并将得到的和确定为用于模型训练的损失函数。从而使得训练后的模型可以学习到图像完整的双分辨率纹理表示，并能够从具有任意未知退化的低分辨率图像重建逼真的高分辨率图像。
在一示例性实施例中，以下进一步说明多尺度码本子网的构建过程，如图8所示，具体可以包括如下步骤：
在步骤S810中，对第一尺度码本量化模块进行训练，确定训练后的第一尺度码本量化模块的第一模型参数。
由于多尺度码本子网包括多个不同尺度的双分辨率码本量化模块，在本实施例中，以其包括两个不同尺度的双分辨率码本量化模块(即第一尺度码本量化模块和第二尺度码本量化模块)为例进行说明。其中，第一尺度码本量化模块可以是全局双分辨率码本量化模块，第二尺度码本量化模块可以是局部双分辨率码本量化模块。
在本实施例中，计算机设备首先对第一尺度码本量化模块进行训练，并确定训练后的第一尺度码本量化模块的第一模型参数。
在步骤S820中，根据第一模型参数，对第二尺度码本量化模块进行训练，确定训练后的第二尺度码本量化模块的第二模型参数。
具体地，计算机设备可以根据第一模型参数，即在上述确定的第一模型参数的基础上对第二尺度码本量化模块进行训练，并确定训练后的第二尺度码本量化模块的第二模型参数。
在步骤S830中，根据第一模型参数和第二模型参数，确定多尺度码本子网。
在本实施例中，为了避免从头开始训练多尺度码本子网时收敛困难的问题，可以采用由深到浅的多尺度码本训练策略。具体来说，可以从深尺度(即全局尺度)到浅尺度(即局部尺度)依次训练不同的码本。如图9所示，在第一阶段，可以从头开始训练全局双分辨率码本量化模块(即Global DRCC)，在此过程中，通过使用临时解码器代替局部双分辨率码本量化模块和多尺度解码器。从而使得多尺度编码器和全局双分辨率码本量化模块在这个阶段得到完善的学习。在第二阶段，可以对局部双分辨率码本量化模块进行训练，并用多尺度解码器(即Global Decoder和LoCal Decoder)替换临时解码器。在第二阶段的训练过程中，与第一阶段相同的模块则使用第一阶段中训练良好的参数进行初始化，并在第二阶段的训练期间保持冻结状态。由于多尺度编码器和全局双分辨率码本量化模块在第一阶段中已经进行了良好的预训练，因此，在第二阶段中可以对局部双分辨率码本量化模块(即LoCalDRCC)进行有效优化，使其在相对稳定的初始参数下进行学习。
本实施例通过采用双分辨率码本量化模块，由于其考虑了双分辨率纹理之间的表征相似性和同一纹理表征的跨分辨率重建一致性，对并低分辨率输入较为友好，其所具有的跨分辨率对应性对复杂的退化具有鲁棒性，因此能够获取更完整的双分辨率对应纹理表示，从而能够缓解相关技术中码本坍塌的问题。此外，为了同时对不同大小范围的纹理进行合理建模，其还可以为多尺度码本进行由深到浅的序列训练，从而构建多尺度码本子网，因此，能够有效地稳定多尺度码本的优化，提高了精细纹理的重建性能。
在一示例性实施例中，如图10所示，本实施例还提供了一种图像超分辨率重建方法，具体可以包括以下步骤：
在步骤S1010中，获取待重建图像。
其中，待重建图像可以是需要进行图像重建的任意低分辨率图像。
在步骤S1020中，将待重建图像输入至图像超分辨率重建模型，得到图像超分辨率重建模型输出的超分辨率图像。
其中，图像超分辨率重建模型可以是采用上述如图1至图9所述的方法训练得到。
具体地，如图11所示，使用具有第一分辨率的多尺度第一特征编码器ELR对输入的待重建图像ILR进行多尺度特征提取，得到多尺度的第一分辨率特征FLR；然后，使用多尺度码本子网(包括全局双分辨率码本量化模块Global DRCC和局部双分辨率码本量化模块LoCal DRCC)分别对不同尺度的特征进行量化，得到量化后的多尺度第一量化特征最后使用具有第二分辨率的第二特征解码器DHR对量化后的多尺度第一量化特征/>进行解码，从而得到重建的高分辨率图片HR ReconLR。
由于采用上述如图1至图9所述的方法训练得到的图像超分辨率重建模型，具有跨分辨率对应性而对复杂的退化具有鲁棒性，从而能够对具有任意未知退化的低分辨率图像进行重建，而得到逼真的高分辨率图像。
应该理解的是，虽然图1-图11的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-图11中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见，每个实施例重点说明的是与其他实施例的不同之处，相关之处参见其他方法实施例的说明即可。
图12是根据一示例性实施例示出的一种图像超分辨率重建模型训练装置框图。参照图12，该装置包括获取模块1202，特征提取模块1204，码本量化模块1206，解码模块1208和训练模块1210。
获取模块1202，被配置为执行获取训练数据和待训练的图像重建网络，所述训练数据包括表征同一图像的第一分辨率样本图像和第二分辨率样本图像；
特征提取模块1204，被配置为执行对所述第一分辨率样本图像进行多尺度的第一分辨率特征提取，得到多尺度的第一分辨率样本特征；对所述第二分辨率样本图像进行多尺度的第二分辨率特征提取，得到多尺度的第二分辨率样本特征；
码本量化模块1206，被配置为执行对所述多尺度的第一分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第一样本量化特征；对所述多尺度的第二分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第二样本量化特征；
解码模块1208，被配置为执行对多尺度分辨率的所述第一样本量化特征和所述第二样本量化特征分别进行相应分辨率的解码，得到对应分辨率下的样本重建图像；
训练模块1210，被配置为执行根据所述样本重建图像、所述第一样本量化特征、所述第二样本量化特征、所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一分辨率样本图像和所述第二分辨率样本图像，对所述图像重建网络进行训练，得到图像超分辨率重建模型。
在一示例性实施例中，训练模块还被配置为执行：根据所述样本重建图像、所述第一样本量化特征、所述第二样本量化特征、所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一分辨率样本图像和所述第二分辨率样本图像，确定用于模型训练的损失函数；根据所述损失函数调整所述图像重建网络的网络参数；当调整后的所述图像重建网络满足收敛条件时，将调整后的所述图像重建网络确定为所述图像超分辨率重建模型。
在一示例性实施例中，训练模块还被配置为执行：根据所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一样本量化特征以及所述第二样本量化特征，确定第一损失；根据所述样本重建图像、所述第一分辨率样本图像和所述第二分辨率样本图像，确定第二损失；根据所述第二分辨率样本图像、所述第一样本量化特征和所述第二样本量化特征，确定第三损失；根据所述第一损失、所述第二损失以及所述第三损失的和，确定用于模型训练的损失函数。
在一示例性实施例中，训练模块还被配置为执行：根据所述第一分辨率样本特征和所述第二分辨率样本特征，确定跨分辨率一致性损失；根据所述第一分辨率样本特征、所述第一样本量化特征、所述第二分辨率样本特征以及所述第二样本量化特征，确定优化基本损失；将所述跨分辨率一致性损失和所述优化基本损失的和，确定为所述第一损失。
在一示例性实施例中，解码模块还被配置为执行：对所述多尺度分辨率的所述第一样本量化特征进行第一分辨率特征解码，得到对应第一分辨率下重建的第一图像；对所述多尺度分辨率的所述第一样本量化特征进行第二分辨率特征解码，得到对应第二分辨率下重建的第二图像；对所述多尺度分辨率的所述第二样本量化特征进行第一分辨率特征解码，得到对应第一分辨率下重建的第三图像；对所述多尺度分辨率的所述第二样本量化特征进行第二分辨率特征解码，得到对应第二分辨率下重建的第四图像。
在一示例性实施例中，训练模块还被配置为执行：根据重建的所述第一图像、所述第二图像、所述第三图像、所述第四图像以及所述第一分辨率样本图像和所述第二分辨率样本图像，确定第二损失。
在一示例性实施例中，所述图像重建网络中包括预先训练的多尺度码本子网；所述多尺度码本子网用于对所述多尺度的第一分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第一样本量化特征，以及对所述多尺度的第二分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第二样本量化特征。
在一示例性实施例中，所述多尺度码本子网至少包括第一尺度码本量化模块和第二尺度码本量化模块，所述第二尺度小于所述第一尺度；所述训练模块还被配置为执行：对所述第一尺度码本量化模块进行训练，确定训练后的所述第一尺度码本量化模块的第一模型参数；根据所述第一模型参数，对所述第二尺度码本量化模块进行训练，确定训练后的所述第二尺度码本量化模块的第二模型参数；根据所述第一模型参数和所述第二模型参数，确定所述多尺度码本子网。
在一示例性实施例中，还提出了一种图像超分辨率重建装置，参照图13，该装置包括图像获取模块1302和图像重建模块1304。
图像获取模块1302，被配置为执行获取待重建图像；
图像重建模块1304，被配置为执行将所述待重建图像输入至图像超分辨率重建模型，得到所述图像超分辨率重建模型输出的超分辨率图像。其中，图像超分辨率重建模型可以是采用上述如图1至图9所述的方法训练得到。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图14是根据一示例性实施例示出的一种用于图像超分辨率重建模型训练或用于图像超分辨率重建的电子设备Z00的框图。例如，电子设备Z00可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
参照图14，电子设备Z00可以包括以下一个或多个组件：处理组件Z02、存储器Z04、电源组件Z06、多媒体组件Z08、音频组件Z10、输入/输出(I/O)的接口Z12、传感器组件Z14以及通信组件Z16。
处理组件Z02通常控制电子设备Z00的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件Z02可以包括一个或多个处理器Z20来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件Z02可以包括一个或多个模块，便于处理组件Z02和其他组件之间的交互。例如，处理组件Z02可以包括多媒体模块，以方便多媒体组件Z08和处理组件Z02之间的交互。
存储器Z04被配置为存储各种类型的数据以支持在电子设备Z00的操作。这些数据的示例包括用于在电子设备Z00上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器Z04可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。
电源组件Z06为电子设备Z00的各种组件提供电力。电源组件Z06可以包括电源管理系统，一个或多个电源，及其他与为电子设备Z00生成、管理和分配电力相关联的组件。
多媒体组件Z08包括在所述电子设备Z00和用户之间的提供输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件Z08包括前置摄像头和/或后置摄像头。当电子设备Z00处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件Z10被配置为输出和/或输入音频信号。例如，音频组件Z10包括麦克风(MIC)，当电子设备Z00处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器Z04或经由通信组件Z16发送。在一些实施例中，音频组件Z10还包括扬声器，用于输出音频信号。
I/O接口Z12为处理组件Z02和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件Z14包括一个或多个传感器，用于为电子设备Z00提供各个方面的状态评估。例如，传感器组件Z14可以检测到电子设备Z00的打开/关闭状态，组件的相对定位，例如所述组件为电子设备Z00的显示器和小键盘，传感器组件Z14还可以检测电子设备Z00或电子设备Z00组件的位置改变，用户与电子设备Z00接触的存在或不存在，设备Z00方位或加速/减速和电子设备Z00的温度变化。传感器组件Z14可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件Z14还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件Z14还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
通信组件Z16被配置为便于电子设备Z00和其他设备之间有线或无线方式的通信。电子设备Z00可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件Z16经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件Z16还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备Z00可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器Z04，上述指令可由电子设备Z00的处理器Z20执行以完成上述方法。例如，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备Z00的处理器Z20执行以完成上述方法。
需要说明的，上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (13)

1.一种图像超分辨率重建模型训练方法，其特征在于，所述方法包括：
获取训练数据和待训练的图像重建网络，所述训练数据包括表征同一图像的第一分辨率样本图像和第二分辨率样本图像；
对所述第一分辨率样本图像进行多尺度的第一分辨率特征提取，得到多尺度的第一分辨率样本特征；对所述第二分辨率样本图像进行多尺度的第二分辨率特征提取，得到多尺度的第二分辨率样本特征；
对所述多尺度的第一分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第一样本量化特征；对所述多尺度的第二分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第二样本量化特征；
对多尺度分辨率的所述第一样本量化特征和所述第二样本量化特征分别进行相应分辨率的解码，得到对应分辨率下的样本重建图像；
根据所述样本重建图像、所述第一样本量化特征、所述第二样本量化特征、所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一分辨率样本图像和所述第二分辨率样本图像，对所述图像重建网络进行训练，得到图像超分辨率重建模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述样本重建图像、所述第一样本量化特征、所述第二样本量化特征、所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一分辨率样本图像和所述第二分辨率样本图像，对所述图像重建网络进行训练，得到图像超分辨率重建模型，包括：
根据所述样本重建图像、所述第一样本量化特征、所述第二样本量化特征、所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一分辨率样本图像和所述第二分辨率样本图像，确定用于模型训练的损失函数；
根据所述损失函数调整所述图像重建网络的网络参数；
当调整后的所述图像重建网络满足收敛条件时，将调整后的所述图像重建网络确定为所述图像超分辨率重建模型。
3.根据权利要求2所述的方法，其特征在于，所述根据所述样本重建图像、所述第一样本量化特征、所述第二样本量化特征、所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一分辨率样本图像和所述第二分辨率样本图像，确定用于模型训练的损失函数，包括：
根据所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一样本量化特征以及所述第二样本量化特征，确定第一损失；
根据所述样本重建图像、所述第一分辨率样本图像和所述第二分辨率样本图像，确定第二损失；
根据所述第二分辨率样本图像、所述第一样本量化特征和所述第二样本量化特征，确定第三损失；
根据所述第一损失、所述第二损失以及所述第三损失的和，确定用于模型训练的损失函数。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一样本量化特征以及所述第二样本量化特征，确定第一损失，包括：
根据所述第一分辨率样本特征和所述第二分辨率样本特征，确定跨分辨率一致性损失；
根据所述第一分辨率样本特征、所述第一样本量化特征、所述第二分辨率样本特征以及所述第二样本量化特征，确定优化基本损失；
将所述跨分辨率一致性损失和所述优化基本损失的和，确定为所述第一损失。
5.根据权利要求3所述的方法，其特征在于，所述对所述多尺度分辨率的第一样本量化特征和所述第二样本量化特征分别进行相应分辨率的解码，得到对应分辨率下的样本重建图像，包括：
对所述多尺度分辨率的所述第一样本量化特征进行第一分辨率特征解码，得到对应第一分辨率下重建的第一图像；
对所述多尺度分辨率的所述第一样本量化特征进行第二分辨率特征解码，得到对应第二分辨率下重建的第二图像；
对所述多尺度分辨率的所述第二样本量化特征进行第一分辨率特征解码，得到对应第一分辨率下重建的第三图像；
对所述多尺度分辨率的所述第二样本量化特征进行第二分辨率特征解码，得到对应第二分辨率下重建的第四图像。
6.根据权利要求5所述的方法，其特征在于，所述根据所述样本重建图像、所述第一分辨率样本图像和所述第二分辨率样本图像，确定第二损失，包括：
根据重建的所述第一图像、所述第二图像、所述第三图像、所述第四图像以及所述第一分辨率样本图像和所述第二分辨率样本图像，确定第二损失。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述图像重建网络中包括预先训练的多尺度码本子网；所述多尺度码本子网用于对所述多尺度的第一分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第一样本量化特征，以及对所述多尺度的第二分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第二样本量化特征。
8.根据权利要求7所述的方法，其特征在于，所述多尺度码本子网至少包括第一尺度码本量化模块和第二尺度码本量化模块，所述第二尺度小于所述第一尺度；所述方法还包括：
对所述第一尺度码本量化模块进行训练，确定训练后的所述第一尺度码本量化模块的第一模型参数；
根据所述第一模型参数，对所述第二尺度码本量化模块进行训练，确定训练后的所述第二尺度码本量化模块的第二模型参数；
根据所述第一模型参数和所述第二模型参数，确定所述多尺度码本子网。
9.一种图像超分辨率重建方法，其特征在于，所述方法包括：
获取待重建图像；
将所述待重建图像输入至图像超分辨率重建模型，得到所述图像超分辨率重建模型输出的超分辨率图像；所述图像超分辨率重建模型采用如权利要求1至8任一项所述的方法训练得到。
10.一种图像超分辨率重建模型训练装置，其特征在于，所述装置包括：
获取模块，被配置为执行获取训练数据和待训练的图像重建网络，所述训练数据包括表征同一图像的第一分辨率样本图像和第二分辨率样本图像；
特征提取模块，被配置为执行对所述第一分辨率样本图像进行多尺度的第一分辨率特征提取，得到多尺度的第一分辨率样本特征；对所述第二分辨率样本图像进行多尺度的第二分辨率特征提取，得到多尺度的第二分辨率样本特征；
码本量化模块，被配置为执行对所述多尺度的第一分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第一样本量化特征；对所述多尺度的第二分辨率样本特征分别在对应尺度上进行多分辨率的码本量化，得到多尺度分辨率的第二样本量化特征；
解码模块，被配置为执行对多尺度分辨率的所述第一样本量化特征和所述第二样本量化特征分别进行相应分辨率的解码，得到对应分辨率下的样本重建图像；
训练模块，被配置为执行根据所述样本重建图像、所述第一样本量化特征、所述第二样本量化特征、所述第一分辨率样本特征、所述第二分辨率样本特征、所述第一分辨率样本图像和所述第二分辨率样本图像，对所述图像重建网络进行训练，得到图像超分辨率重建模型。
11.一种图像超分辨率重建装置，其特征在于，所述装置包括：
图像获取模块，被配置为执行获取待重建图像；
图像重建模块，被配置为执行将所述待重建图像输入至图像超分辨率重建模型，得到所述图像超分辨率重建模型输出的超分辨率图像；所述图像超分辨率重建模型采用如权利要求1至8任一项所述的方法训练得到。
12.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至8中任一项所述的图像超分辨率重建模型训练方法或者实现如权利要求9所述的图像超分辨率重建方法。
13.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至8中任一项所述的图像超分辨率重建模型训练方法或者实现如权利要求9所述的图像超分辨率重建方法。
CN202310797255.4A 2023-06-30 2023-06-30 图像超分辨率重建方法、模型训练方法、装置及电子设备 Pending CN116805282A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310797255.4A CN116805282A (zh) 2023-06-30 2023-06-30 图像超分辨率重建方法、模型训练方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310797255.4A CN116805282A (zh) 2023-06-30 2023-06-30 图像超分辨率重建方法、模型训练方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN116805282A true CN116805282A (zh) 2023-09-26

Family

ID=88080626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310797255.4A Pending CN116805282A (zh) 2023-06-30 2023-06-30 图像超分辨率重建方法、模型训练方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN116805282A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117853340A (zh) * 2024-03-07 2024-04-09 北京航空航天大学 基于单向卷积网络和降质建模的遥感视频超分辨率重建方法
CN117853340B (zh) * 2024-03-07 2024-06-04 北京航空航天大学 基于单向卷积网络和降质建模的遥感视频超分辨率重建方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117853340A (zh) * 2024-03-07 2024-04-09 北京航空航天大学 基于单向卷积网络和降质建模的遥感视频超分辨率重建方法
CN117853340B (zh) * 2024-03-07 2024-06-04 北京航空航天大学 基于单向卷积网络和降质建模的遥感视频超分辨率重建方法

Similar Documents

Publication Publication Date Title
CN111340711B (zh) 一种超分辨率重建方法、装置、设备和存储介质
TWI777162B (zh) 圖像處理方法及裝置、電子設備和電腦可讀儲存媒體
CN109543714B (zh) 数据特征的获取方法、装置、电子设备及存储介质
US20210248718A1 (en) Image processing method and apparatus, electronic device and storage medium
WO2020119026A1 (zh) 图像处理方法及装置、电子设备和存储介质
KR101727169B1 (ko) 이미지 필터를 생성하기 위한 방법 및 장치
CN112258404A (zh) 图像处理方法、装置、电子设备和存储介质
CN112634160A (zh) 拍照方法及装置、终端、存储介质
CN114007099A (zh) 一种视频处理方法、装置和用于视频处理的装置
CN114186622A (zh) 图像特征提取模型训练方法、图像特征提取方法和装置
CN116250012A (zh) 用于图像动画的方法、系统和计算机可读存储介质
CN112509123A (zh) 三维重建方法、装置、电子设备及存储介质
CN113160277A (zh) 一种图像处理方法、装置、电子设备及存储介质
US20230169626A1 (en) Neural network system and method for restoring images using transformer and generative adversarial network
CN112734627B (zh) 图像风格迁移模型的训练方法、图像风格迁移方法及装置
CN114693905A (zh) 文本识别模型构建方法、文本识别方法以及装置
CN112036307A (zh) 图像处理方法及装置、电子设备和存储介质
CN116805282A (zh) 图像超分辨率重建方法、模型训练方法、装置及电子设备
CN114640815A (zh) 一种视频的处理方法、装置、电子设备及存储介质
CN115552415A (zh) 图像处理方法、装置、电子设备及存储介质
US20230169326A1 (en) Method and apparatus for generating paired low resolution and high resolution images using a generative adversarial network
CN111723715B (zh) 一种视频显著性检测方法及装置、电子设备和存储介质
WO2023230927A1 (zh) 图像处理方法、装置及可读存储介质
CN116205901A (zh) 乳腺腺体分割方法、装置、电子设备及存储介质
CN116205900A (zh) 乳腺淋巴结转移预测装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination