CN113313633A - 超分网络模型的训练方法、装置和电子设备 - Google Patents

超分网络模型的训练方法、装置和电子设备 Download PDF

Info

Publication number
CN113313633A
CN113313633A CN202110713803.1A CN202110713803A CN113313633A CN 113313633 A CN113313633 A CN 113313633A CN 202110713803 A CN202110713803 A CN 202110713803A CN 113313633 A CN113313633 A CN 113313633A
Authority
CN
China
Prior art keywords
sample image
hyper
network model
initial
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110713803.1A
Other languages
English (en)
Inventor
宋苗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Ziguang Zhanrui Technology Co ltd
Original Assignee
Xi'an Ziguang Zhanrui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Ziguang Zhanrui Technology Co ltd filed Critical Xi'an Ziguang Zhanrui Technology Co ltd
Priority to CN202110713803.1A priority Critical patent/CN113313633A/zh
Publication of CN113313633A publication Critical patent/CN113313633A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种超分网络模型的训练方法、装置和电子设备，可以先获取多个样本图像对；针对各样本图像对，将样本图像对中的初始样本图像输入至初始超分网络模型，得到第二样本图像；并分别对第二样本图像和样本图像对中的第一样本图像进行至少一个尺度的下采样处理，得到第一样本图像对应的第三样本图像，和第二样本图像对应的第四样本图像；再结合第三样本图像和第四样本图像，共同对初始超分网络模型进行训练，这样既可以改进轻量级的初始超分网络模型的增强性能，又不引入额外的网络参数，得到轻量级的目标超分网络模型，且该目标超分网络模型可以较好地恢复出高分辨率图像，实现对低分辨率图像的增强，从而提高了高分辨率图像的重建质量。

Description

超分网络模型的训练方法、装置和电子设备
技术领域
本申请涉及数据处理技术领域，尤其涉及一种超分网络模型的训练方法、装置和电子设备。
背景技术
图像超分辨率指从一张低分辨率图像恢复出高分辨率的图像。图像的分辨率越高，其提供的图像信息越丰富。尤其是在军事侦察，医学诊断等领域中，相比于低分辨率的图像，高分辨率的图像的显得尤为重要。
超分网络模型可以用于恢复出低分辨率图像对应的高分辨率图像。但是，较大网络结构的超分网络模型需要学习更多的参数，易造成对训练数据集的过拟合；而且，层数多的网络需要更多的计算资源，其计算量呈平方增长。而较小网络结构的超分网络模型并不能充分地学习到低分辨率图像到高分辨图像的映射关系，因此，现有的较小网络结构的超分网络模型无法很好地恢复出低分辨率图像对应的高分辨率图像。
因此，如何训练新的轻量级超分网络模型，且该新的轻量级超分网络模型可以较好地恢复出低分辨率图像对应的高分辨率图像，是本领域技术人员亟待解决的问题。
发明内容
本申请实施例提供了一种超分网络模型的训练方法、装置和电子设备，可以训练得到轻量级超分网络模型，且该轻量级超分网络模型可以较好地恢复出低分辨率图像对应的高分辨率图像，从而提高了高分辨率图像的重建质量。
第一方面，本申请实施例提供了一种超分网络模型的训练方法，该超分网络模型的训练方法可以包括：
获取多个样本图像对；其中，各样本图像对均包括一个第一样本图像，以及所述第一样本图像对应的初始样本图像，且所述第一样本图像为所述初始样本图像超分处理后的图像。
针对所述各样本图像对，将所述样本图像对的初始样本图像输入至初始超分网络模型，得到所述初始样本图像对应的第二样本图像；并分别对所述第一样本图像和所述第二样本图像进行至少一个尺度的下采样处理，得到所述第一样本图像对应的第三样本图像，以及所述第二样本图像对应的第四样本图像；其中，所述第二样本图像的超分倍数与所述第一样本图像的超分倍数相同。
根据所述各样本图像对的第一样本图像、以及对应的第二样本图像、第三样本图像、和第四样本图像，对所述初始超分网络模型进行训练，得到目标超分网络模型。
在一种可能的实现方式中，所述根据所述各样本图像对的第一样本图像、以及对应的第二样本图像、第三样本图像、和第四样本图像，对所述初始超分网络模型进行训练，得到目标超分网络模型，包括：
针对所述各样本图像对，根据所述样本图像对的第一样本图像、以及对应的第二样本图像、第三样本图像、和第四样本图像，确定所述样本图像对对应的损失函数。
根据所述各样本图像对对应的损失函数，对所述初始超分网络模型进行训练，得到目标超分网络模型。
在一种可能的实现方式中，所述根据所述样本图像对的第一样本图像、以及对应的第二样本图像、第三样本图像、以及第四样本图像，确定所述样本图像对对应的损失函数，包括：
根据所述第一样本图像和所述第二样本图像，确定第一损失函数，并根据所述第三样本图像和第四样本图像，确定第二损失函数。
根据所述第一损失函数和所述第二损失函数，确定所述样本图像对对应的损失函数。
在一种可能的实现方式中，所述根据所述第一损失函数和所述第二损失函数，确定所述样本图像对对应的损失函数，包括：
分别确定所述第一损失函数对应的第一权重，以及所述第二损失函数对应的第二权重；
计算所述第一损失函数与所述第一权重之间的第一乘积、以及所述第二损失函数与所述第二权重之间的第二乘积；
将所述第一乘积和所述第二乘积的和，确定为所述样本图像对对应的损失函数。
在一种可能的实现方式中，所述根据所述各样本图像对对应的损失函数，对所述初始超分网络模型进行训练，得到目标超分网络模型，包括：
将所述各样本图像对对应的损失函数之间的和，确定为所述多个样本图像对对应的目标损失函数。
根据所述目标损失函数，对所述初始超分网络模型进行训练，得到所述目标超分网络模型。
在一种可能的实现方式中，所述根据所述目标损失函数，对所述初始超分网络模型进行训练，得到所述目标超分网络模型，包括：
根据所述目标损失函数，更新所述初始超分网络模型的模型参数。
判断更新后的初始超分网络模型是否收敛。
若所述更新后的初始超分网络模型收敛，则将所述更新后的初始超分网络模型确定为所述目标超分网络模型。
在一种可能的实现方式中，所述超分网络模型的训练方法还包括：
若所述更新后的初始超分网络模型未收敛，则重复执行如下步骤，直至所述更新后的初始超分网络模型收敛。
通过更新后的初始超分网络模型获取所述初始样本图像对应的新的第二样本图像；根据所述新的第二样本图像和所述第一样本图像确定的第一损失函数，以及所述新的第二样本图像对应的新的第四样本图像和所述第三样本图像之间的第二损失，确定新的目标损失函数，并基于所述新的目标损失函数，再次更新所述更新后的初始超分网络模型的模型参数。
在一种可能的实现方式中，所述超分网络模型的训练方法还包括：
将预设初始图像输入至所述目标超分网络模型中，得到所述预设初始图像对应的目标超分图像。
根据所述预设初始图像和所述目标超分图像，确定峰值信噪比和/或结构相似度。
根据所述峰值信噪比和/或结构相似度，对所述目标超分网络模型的超分准确性进行验证。
第二方面，本申请实施例还提供了一种超分网络模型的训练装置，该超分网络模型的训练装置可以包括：
获取单元，用于获取多个样本图像对；其中，各样本图像对均包括一个第一样本图像，以及所述第一样本图像对应的初始样本图像，且所述第一样本图像为所述初始样本图像超分处理后的图像。
处理单元，用于针对所述各样本图像对，将所述样本图像对的初始样本图像输入至初始超分网络模型，得到所述初始样本图像对应的第二样本图像；并分别对所述第一样本图像和所述第二样本图像进行至少一个尺度的下采样处理，得到所述第一样本图像对应的第三样本图像，以及所述第二样本图像对应的第四样本图像；其中，所述第二样本图像的超分倍数与所述第一样本图像的超分倍数相同。
训练单元，用于根据所述各样本图像对的第一样本图像、以及对应的第二样本图像、第三样本图像、和第四样本图像，对所述初始超分网络模型进行训练，得到目标超分网络模型。
在一种可能的实现方式中，所述训练单元，具体用于针对所述各样本图像对，根据所述样本图像对的第一样本图像、以及对应的第二样本图像、第三样本图像、和第四样本图像，确定所述样本图像对对应的损失函数；根据所述各样本图像对对应的损失函数，对所述初始超分网络模型进行训练，得到目标超分网络模型。
在一种可能的实现方式中，所述训练单元，具体用于根据所述第一样本图像和所述第二样本图像，确定第一损失函数，并根据所述第三样本图像和第四样本图像，确定第二损失函数；根据所述第一损失函数和所述第二损失函数，确定所述样本图像对对应的损失函数。
在一种可能的实现方式中，所述训练单元，具体用于分别确定所述第一损失函数对应的第一权重，以及所述第二损失函数对应的第二权重；计算所述第一损失函数与所述第一权重之间的第一乘积、以及所述第二损失函数与所述第二权重之间的第二乘积；将所述第一乘积和所述第二乘积的和，确定为所述样本图像对对应的损失函数。
在一种可能的实现方式中，所述训练单元，具体用于将所述各样本图像对对应的损失函数之间的和，确定为所述多个样本图像对对应的目标损失函数；根据所述目标损失函数，对所述初始超分网络模型进行训练，得到所述目标超分网络模型。
在一种可能的实现方式中，所述训练单元，具体用于根据所述目标损失函数，更新所述初始超分网络模型的模型参数；判断更新后的初始超分网络模型是否收敛；若所述更新后的初始超分网络模型收敛，则将所述更新后的初始超分网络模型确定为所述目标超分网络模型。
在一种可能的实现方式中，所述训练单元，还用于若所述更新后的初始超分网络模型未收敛，则重复执行如下步骤，直至所述更新后的初始超分网络模型收敛：
通过更新后的初始超分网络模型获取所述初始样本图像对应的新的第二样本图像；根据所述新的第二样本图像和所述第一样本图像确定的第一损失函数，以及所述新的第二样本图像对应的新的第四样本图像和所述第三样本图像之间的第二损失，确定新的目标损失函数，并基于所述新的目标损失函数，再次更新所述更新后的初始超分网络模型的模型参数。
在一种可能的实现方式中，所述处理单元，还用于将预设初始图像输入至所述目标超分网络模型中，得到所述预设初始图像对应的目标超分图像；并根据所述预设初始图像和所述目标超分图像，确定峰值信噪比和/或结构相似度；再根据所述峰值信噪比和/或结构相似度，对所述目标超分网络模型的超分准确性进行验证。
第三方面，本申请实施例还提供了电子设备，该电子设备可以包括处理器和存储器；其中，
所述存储器，用于存储计算机程序；
所述处理器，用于读取所述存储器存储的计算机程序，并根据所述存储器中的计算机程序执行上述第一方面任一种可能的实现方式中所述的超分网络模型的训练方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述第一方面任一种可能的实现方式中所述的超分网络模型的训练方法。
第五方面，本申请实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，实现上述第一方面任一种可能的实现方式中所述的超分网络模型的训练方法。
由此可见，本申请实施例提供了的超分网络模型的训练方法、装置和电子设备，在训练目标超分网络模型时，可以先获取多个样本图像对；针对各样本图像对，将样本图像对中的初始样本图像输入至初始超分网络模型，得到第二样本图像；并分别对第二样本图像和样本图像对中的第一样本图像进行至少一个尺度的下采样处理，得到第一样本图像对应的第三样本图像，和第二样本图像对应的第四样本图像；再结合第三样本图像和第四样本图像，共同对初始超分网络模型进行训练，这样既可以改进轻量级的初始超分网络模型的增强性能，又不引入额外的网络参数，得到轻量级的目标超分网络模型，且该目标超分网络模型可以较好地恢复出高分辨率图像，实现对低分辨率图像的增强，从而提高了高分辨率图像的重建质量。
附图说明
图1为本申请实施例提的一种DRN模型的结构示意图；
图2为本申请实施例提供的一种超分网络模型的训练方法的流程示意图；
图3为本申请实施例提供的一种样本图像之间的关联示意图；
图4为本申请实施例提供的一种对目标超分网络模型的超分准确性进行验证的流程示意图；
图5为本申请实施例提供的一种超分网络模型的训练装置的结构示意图；
图6为本申请实施例提供的一种电子设备的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本申请的实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A，B可以是单数或者复数。在本申请的文字描述中，字符“/”一般表示前后关联对象是一种“或”的关系。
本申请实施例提供的技术方案可以应用于图像增强的场景中。超分网络模型可以用于恢复出低分辨率图像对应的高分辨率图像。但是，较大网络结构的超分网络模型需要学习更多的参数，易造成对训练数据集的过拟合；而且，层数多的网络需要更多的计算资源，其计算量呈平方增长。而较小网络结构的超分网络模型并不能充分地学习到低分辨率图像到高分辨图像的映射关系，因此，现有的较小网络结构的超分网络模型无法很好地恢复出低分辨率图像对应的高分辨率图像。
因此，可以考虑训练新的轻量级超分网络模型，用于恢复出低分辨率图像对应的高分辨率图像。在训练新的轻量级超分网络模型时，可以考虑采用一种增强训练的方法，嵌入到现有的轻量级超分网络模型中，一方面，可以通过增强训练的方法改进轻量级超分网络模型的增强性能；另一方面，增强训练的方法并不引入额外的网络参数，这样可以训练得到的新的轻量级超分网络模型可以较好地恢复出低分辨率图像对应的高分辨率图像，实现对低分辨率图像的增强，从而提高高分辨率图像的重建质量。
在采用一种增强训练的方法训练新的轻量级超分网络模型时，可以考虑将初始轻量级超分网络模型输出的预测图像进行至少一个尺度的下采样处理，得到预测图像对应的低分辨率图像，同样的，对真实的标签图像也进行至少一个尺度的下采样处理，得到标签图像对应的低分辨率图像，这样就可以得到预测图像对应的低分辨率图像，以及标签图像对应的低分辨率图像。这样在训练新的轻量级超分网络模型时，就可以在预测图像和真实标签图像的基础上，结合预测图像对应的低分辨率图像，以及标签图像对应的低分辨率图像共同对初始轻量级超分网络模型进行训练，通过该种增强方法，即可以改进轻量级超分网络模型的增强性能，又可以不引入额外的网络参数，因此，可以训练得到新的轻量级超分网络模型，且该新的轻量级超分网络模型可以较好地恢复出低分辨率图像对应的高分辨率图像，实现对低分辨率图像的增强，从而提高高分辨率图像的重建质量。
示例的，若初始轻量级超分网络模型是用于实现低分辨率图像的2倍超分，则得到的预测图像和对应的标签图像均为2倍超分图像，对应的，下采样的至少一个尺度为1至1.9之间的任一尺度；若初始轻量级超分网络模型是用于实现低分辨率图像的4倍超分，则得到的预测图像和对应的标签图像均为4倍超分图像，对应的，下采样的至少一个尺度为1至3.9之间的任一尺度。
示例的，对初始轻量级超分网络模型进行训练得到新的轻量级超分网络模型时，该初始轻量级超分网络模型可以采用现有轻量级网络结构的深度残差网络(DeepResidual Network，DRN)模型，也可以为采用现有轻量级网络结构的LWSR模型，也可以为其它现有轻量级网络结构的网络模型，具体可以根据实际需要进行设置。
在本申请实施例中，以初始轻量级超分网络模型采用现有轻量级网络结构的DRN模型为例，可参见图1所示，图1为本申请实施例提的一种DRN模型的结构示意图，可以看出，现有的DRN模型为Unet结构，主要包含两部分网络，一部分网络为Primary网络，简称P网络，用于实现从低分辨率图像到高分辨率图像的映射，且生成多尺度的高分辨率图像；另一部分网络为Dual Regression网络，简称对偶D网络，用于实现从高分辨率图像到低分辨率图像的映射，且生成多尺度的低分辨率图像。参见图1所示，输入图像即为初始图像，通过P网络可以得到输入图像对应的4倍超分图像的预测图像，再通过对偶D网络可以对4倍超分图像的预测图像进行2倍超分下采样处理，以及1倍超分下采样处理，就可以得到低分辨率的2倍超分图像和1倍超分图像，以及对输入图像对应的4倍超分图像的标签图像进行2倍超分下采样处理，以及1倍超分下采样处理，就可以得到低分辨率的2倍超分图像和1倍超分图像，这样通过现有的DRN模型中的P网络可以学习得到初始图像对应的预测图像，并通过对偶D网络可以学习得到至少一个尺度下采样得到的预测图像对应的低分辨率图像，以及标签图像对应的低分辨率图像，即通过P网络和对偶D网络可以同时学习原始映射P重建高分辨率图像，和双重映射D重建低分辨率图像，从而结合预测图像对应的低分辨率图像，以及标签图像对应的低分辨率图像共同对初始轻量级超分网络模型进行训练，即可以改进轻量级超分网络模型的增强性能，又可以不引入额外的网络参数，使得训练得到的新的轻量级超分网络模型可以较好地恢复出低分辨率图像对应的高分辨率图像，实现对低分辨率图像的增强，从而提高高分辨率图像的重建质量。需要注意的是，双重映射可以看作是对底层降采样内核的估计。
基于上述技术构思，本申请实施例提供了一种超分网络模型的训练方法，下面，将通过具体的实施例对本申请提供的超分网络模型的训练方法进行详细地说明。可以理解的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本申请实施例提供的一种超分网络模型的训练方法的流程示意图，该超分网络模型的训练可以由软件和/或硬件装置执行，例如，该硬件装置可以为超分网络模型的训练装置，该超分网络模型的训练装置可以终端或者服务器。示例的，请参见图2所示，该超分网络模型的训练方法可以包括：
S201、获取多个样本图像对；其中，各样本图像对均包括一个第一样本图像，以及第一样本图像对应的初始样本图像，且第一样本图像为初始样本图像超分处理后的图像。
其中，第一样本图像可以理解为真实的高分辨率样本图像，后续可作为标签图像，初始样本图像可以理解为对第一样本图像进行下采样处理，得到的低分辨率样本图像，该第一样本图像和初始样本图像为同一个样本图像，只是其分辨率不同。
鉴于每一个样本图像对的获取方式类似，下面，将以获取任一个样本图像对为例，对如何获取多个样本图像对进行描述。示例的，在获取某一样本图像对时，通常情况下，样本图像对中包括的高分辨率的第一样本图像是比较容易获得的，而低分辨率的初始样本图像是比较难获取的，因此，在获取到高分辨率的第一样本图像后，示例的，可以采用现有的双三次插值下采样方法，或者其它下采样方法，对该高分辨率的第一样本图像进行下采样处理，得到的低分辨率的样本图像即为第一样本图像对应的初始样本图像，从而获取到第一样本图像对应的初始样本图像。
需要说明的是，通常情况下，在训练某一个网络模型时，会采用多批样本，分批次对初始网络模型进行训练，才能得到最终收敛的网络模型。其中，每一批样本均包括多个样本，即采用多个样本共同实现对初始网络模型的一次训练。鉴于采用每批样本中多个样本对初始网络模型进行训练的方法类似，在本申请实施例中，以基于任一批样本对初始网络模型的训练为例进行说明，对应的，本步骤中的多个样本图像对可以理解为一批样本中的多个样本图像对，该批样本中的多个样本图像对中，各样本图像对包括的第一样本图像，以及第一样本图像对应的初始样本图像均用于对初始超分网络模型进行训练。
与现有技术训练超分网络模型不同的是，本申请实施例中，在分别得到多个样本图像对后，不是直接基于该多个样本图像对中包括的第一样本图像和其对应的初始样本图像，对初始超分网络模型进行训练，而是在获取到的多个样本图像对的基础上，进一步对各样本图像对中的第一样本图像和初始样本图像对应的第二样本图像分别进行至少一个尺度的下采样处理，即执行下述S202；并结合下采样处理得到的样本图像共同对初始超分网络模型进行训练，以得到最终的目标超分网络模型。
S202、针对各样本图像对，将样本图像对的初始样本图像输入至初始超分网络模型，得到初始样本图像对应的第二样本图像；并分别对第一样本图像和第二样本图像进行至少一个尺度的下采样处理，得到第一样本图像对应的第三样本图像，以及第二样本图像对应的第四样本图像。
其中，第二样本图像为将初始样本图像输入至初始超分网络模型中，通过初始超分网络模型对初始样本图像进行超分处理，得到的高分辨率样本图像，且第二样本图像的超分倍数与第一样本图像的超分倍数相同。例如，第一样本图像为初始样本图像的为2倍超分，则对应获取到的第二样本图像也为初始样本图像的为2倍超分。又例如，第一样本图像为初始样本图像的为4倍超分，则对应获取到的第二样本图像也为初始样本图像的为4倍超分。
第三样本图像为对高分辨率的第一样本图像进行至少一个尺度的下采样处理，得到的较低分辨率的样本图像；对应的，第四样本图像为高分辨率的第二样本图像进行至少一个尺度的下采样处理，得到的较低分辨率的样本图像。需要注意的是，在本申请实施例中，假设对高分辨率的第一样本图像进行a尺度的下采样处理，得到a倍超分的较低分辨率的第三样本图像，则也需要对高分辨率的第二样本图像进行a尺度的下采样处理，得到a倍超分的较低分辨率的第四样本图像，从而得到同倍超分下的第三样本图像和第四样本图像。
对第一样本图像和第二样本图像进行至少一个尺度的下采样处理时，示例的，可以采用现有的双三次插值下采样方法，或者其它下采样方法，对高分辨率的第一样本图像和第二样本图像分别进行下采样处理，以获取第一样本图像对应的第三样本图像，以及第二样本图像对应的第四样本图像，在此，对于具体如何采用现有的双三次插值下采样方法，或者其它下采样方法，对高分辨率的第一样本图像和第二样本图像分别进行下采样处理，本申请实施例不再进行赘述。
可以理解的是，本申请实施例中，对高分辨率的第一样本图像和第二样本图像进行的不同尺度的下采样越多，后续结合不同尺度的下采样得到的第一样本图像对应的第三样本图像和第二样本图像对应的第四样本图像训练得到的目标超分网络模型的准确度越高。
以某一个样本图像对为例，若该样本图像对中的初始样本图像为1倍超分，第一样本图像为初始样本图像的2倍超分，则将初始样本图像输入至初始超分网络模型中，得到的第二样本图像也为初始样本图像的2倍超分；对第一样本图像和第二样本图像进行的至少一个尺度的下采样处理，可以为1-1.9倍超分之间一个或多个尺度的下采样处理。例如，对第一样本图像进行1.9倍超分的下采样处理，得到第三图像样本；对应的，也需要对第二样本图像进行1.9倍超分的下采样处理，得到第四图像样本；又例如，对第一样本图像进行1.5倍超分的下采样处理，得到第三图像样本；对应的，也需要对第二样本图像进行1.5倍超分的下采样处理，得到第四图像样本；即需要通过下采样处理，得到同倍超分下的第三样本图像和第四样本图像。
假设样本图像对中包括一个真实的2倍超分的第一样本图像，和其对应的低分辨率的初始样本图像，将低分辨率的初始样本图像输入至初始超分网络模型，得到2倍超分的第二样本图像，且分别对2倍超分的第一样本图像和第二样本图像进行3个尺度的下采样处理，该3个尺度分别为1倍超分、1.5倍超分以及1.9倍超分，可参见图3所示，图3为本申请实施例提供的一种样本图像之间的关联示意图，则得到的第一样本图像对应的第三样本图像包括1倍超分的第三样本图像、1.5倍超分的第三样本图像以及1.9倍超分的第三样本图像；且得到的2倍超分的第二样本图像对应的第四样本图像包括1倍超分的第四样本图像、1.5倍超分的第四样本图像以及1.9倍超分的第四样本图像。
基于上述描述，可以获取到多个样本图像对中，每一个样本图像对的第一样本图像、以及对应的第二样本图像、第三样本图像、和第四样本图像；这样在分别获取到每一个样本图像对的第一样本图像、以及对应的第二样本图像、第三样本图像、和第四样本图像后，可以根据各样本图像对的第一样本图像、以及对应的第二样本图像、第三样本图像、和第四样本图像，共同对初始超分网络模型进行训练，以得到最终的目标超分网络模型，即执行下述S203：
S203、根据各样本图像对的第一样本图像、以及对应的第二样本图像、第三样本图像、和第四样本图像，对初始超分网络模型进行训练，得到目标超分网络模型。
示例的，在根据各样本图像对的第一样本图像、以及对应的第二样本图像、第三样本图像、和第四样本图像，对初始超分网络模型进行训练时，可以先根据各样本图像对的第一样本图像、以及对应的第二样本图像、第三样本图像、和第四样本图像，确定各样本图像对对应的损失函数；再根据各样本图像对对应的损失函数，对初始超分网络模型进行训练，得到目标超分网络模型。
通常情况下，在图像恢复任务中主要使用的是L1损失函数和L2损失函数。其中，L1损失函数即平均绝对误差(Mean Absolute Error，MAE)，用于描述网络模型预测值和真实值之间距离的平均值。L2损失函数即为均方误差(Mean Square Error，MSE)，是模型预测值与真实样本值之间差值平方的平均值。虽然L2损失函数的网络通常会对峰值信噪比(Peaksignal-to-noise ratio，PSNR)有针对性的提升，但L2损失函数的指标与人类对图像感知的图像关性较差，因此，本申请实施例中描述的损失函数可以为现有的L1损失函数，当然，若不考虑图像关性较差的问题，本申请实施例中描述的损失函数也可以用现有的L2损失函数，具体可以根据实际需要进行设置，在此，只是以本申请实施例中描述的损失函数为现有的L1损失函数为例进行说明，但并不代表本申请实施例仅局限于此。
鉴于每一个样本图像对对应的损失函数的确定方法类似，因此，在描述如何确定每一个样本图像对对应的损失函数时，将以确定其中任一个样本图像对对应的损失函数为例进行说明。示例的，在确定样本图像对对应的损失函数时，可以根据第一样本图像和第二样本图像，确定第一损失函数；并根据第三样本图像和第四样本图像，确定第二损失函数；再根据第一损失函数和第二损失函数，共同确定样本图像对对应的损失函数。这样结合第三样本图像和第四样本图像确定的第二损失函数，对第一损失函数进行优化，使得后续再基于各样本图像对对应的损失函数对初始超分网络模型进行训练时，可以有效地提高目标超分网络模型的泛化性能，使得目标超分网络模型可以较好地恢复出低分辨率图像对应的高分辨率图像，实现对低分辨率图像的增强，从而提高高分辨率图像的重建质量。
示例的，根据第一样本图像和第二样本图像，确定第一样本图像和第二样本图像之间的第一损失函数时，假设第一样本图像和第二样本图像均为s1倍超分的样本图像，则可以采用现有的双三次插值下采样方法，确定第一样本图像和第二样本图像之间第一损失函数：
ls1＝|bicubic↓(p(x)，s1)-|bicubic↓(y，s1) 公式1
其中，ls1表示第一样本图像和第二样本图像之间第一损失函数，bicubic↓表示双三次插值下采样方法，s1表示第一样本图像和第二样本图像的超分倍数，x表示初始样本图像，p(x)表示对初始样本图像进行s1倍超分得到的第二样本图像，y表示初始样本图像对应的真实的s1倍超分的第一样本图像。
示例的，根据对第一样本图像进行下采样处理得到的第三样本图像、和对第二样本图像进行下采样处理得到的第四样本图像，确定第三样本图像和第四样本图像之间的第二损失函数时，假设第三样本图像和第四样本图像均为进行s2倍超分下采样得到的样本图像，s2小于s1，则同样可以采用现有的双三次插值下采样方法，确定第三样本图像和第四样本图像之间的第二损失函数。
ls2＝|bicubic↓(D(p(x))，s2)-|bicubic↓(D(y)，s2) 公式2
其中，ls2表示第三样本图像和第四样本图像之间第二损失函数，s2表示第三样本图像和第四样本图像的超分倍数，x表示初始样本图像，p(x)表示对初始样本图像进行s1倍超分得到的第二样本图像，y表示初始样本图像对应的真实的s1倍超分的第一样本图像，D(p(x))表示对第二样本图像进行s2倍超分下采样得到的第四样本图像，D(y)表示对第一样本图像进行s2倍超分下采样得到的第三样本图像。
这样在分别得到第一样本图像和第二样本图像之间的第一损失函数、以及第三样本图像和第四样本图像之间的第二损失函数后，可以确定第一损失函数对应的第一权重，以及第二损失函数对应的第二权重，并计算第一损失函数与第一权重之间的第一乘积、以及第二损失函数与第二权重之间的第二乘积，将第一乘积与第二乘积的和，确定为样本图像对对应的损失函数，可参见下述公式3：
ls＝α1ls1+α2ls2 公式3
其中，ls表示样本图像对对应的损失函数，ls1表示第一损失函数，α1表示第一损失函数对应的第一权重，ls2表示第二损失函数，α2表示第二损失函数对应的第二权重。
结合上述图3所示，分别获取到2倍超分的第一样本图像对应的第三样本图像包括1倍超分的第三样本图像、1.5倍超分的第三样本图像以及1.9倍超分的第三样本图像、以及2倍超分的第二样本图像对应的第四样本图像包括1倍超分的第四样本图像、1.5倍超分的第四样本图像以及1.9倍超分的第四样本图像后，可以根据上述公式1确定2倍超分的第一样本图像和2倍超分的第二样本图像之间的第一损失函数，并根据上述公式2，分别确定1倍超分的第三样本图像和1倍超分的第四样本图像之间的第二损失函数、1.5倍超分的第三样本图像和1.5倍超分的第四样本图像之间的第二损失函数、以及1.9倍超分的第三样本图像和1.9倍超分的第四样本图像之间的第二损失函数，这样分别得到第一损失函数和三个第二损失函数之后，就可以分别计算第一损失函数与其对应的权重之间的乘积、并分别计算三个第二损失函数与各自对应的权重之间的乘积，得到四个乘积，再将该四个乘积的和，确定为包括该2倍超分的第一样本图像和1倍超分的初始图像的样本图像对对应的损失函数。
结合上述公式1、公式2以及公式3分别获取到各样本图像对对应的损失函数后，可以将各样本图像对对应的损失函数之间的和，确定为多个样本图像对对应的目标损失函数；再根据目标损失函数，对初始超分网络模型进行训练，得到目标超分网络模型。
示例的，在根据多个样本图像对对应的目标损失函数，对初始超分网络模型进行训练时，具体过程可以包括：根据目标损失函数，更新初始超分网络模型的模型参数；判断更新后的初始超分网络模型是否收敛；若更新后的初始超分网络模型收敛，则将更新后的初始超分网络模型确定为目标超分网络模型。
若更新后的初始超分网络模型未收敛，则重复执行如下步骤，直至更新后的初始超分网络模型收敛。如下步骤包括：通过更新后的初始超分网络模型获取初始样本图像对应的新的第二样本图像；根据新的第二样本图像和第一样本图像确定的第一损失函数，以及新的第二样本图像对应的新的第四样本图像和第三样本图像之间的第二损失，确定新的目标损失函数，并基于新的目标损失函数，再次更新更新后的初始超分网络模型的模型参数。直至更新后的初始超分网络模型收敛，则将更新后的初始超分网络模型确定为目标超分网络模型。
可以看出，本申请实施例中，在训练目标超分网络模型时，可以先获取多个样本图像对；针对各样本图像对，将样本图像对中的初始样本图像输入至初始超分网络模型，得到第二样本图像；并分别对第二样本图像和样本图像对中的第一样本图像进行至少一个尺度的下采样处理，得到第一样本图像对应的第三样本图像，和第二样本图像对应的第四样本图像；再结合第三样本图像和第四样本图像，共同对初始超分网络模型进行训练，这样既可以改进轻量级的初始超分网络模型的增强性能，又不引入额外的网络参数，得到轻量级的目标超分网络模型，且该目标超分网络模型可以较好地恢复出高分辨率图像，实现对低分辨率图像的增强，从而提高了高分辨率图像的重建质量。
基于上述任一实施例，在通过本申请实施例提供的技术方案，训练得到目标超分网络模型后，还可以进一步获取用于验证该目标超分网络模型的预设初始图像，并基于该预设初始图像对目标超分网络模型的超分准确性进行验证。其中，目标超分网络模型的超分准确性越好，说明该目标超分网络模型的超分性能越好。下面，将详细描述在本申请实施例中，如何基于预设初始图像对目标超分网络模型的超分准确性进行验证。
图4为本申请实施例提供的一种对目标超分网络模型的超分准确性进行验证的流程示意图，示例的，请参见图4所示，该对目标超分网络模型的超分准确性进行验证的方法可以包括：
S401、将预设初始图像输入至目标超分网络模型中，得到预设初始图像对应的目标超分图像。
示例的，预设初始图像可以为现有的set5，set14，B100，Urban100四个公开的数据集中的图像，当然，也可以为其它预设的低分辨率的初始图像，具体可以根据实际需要进行设置，在此，对于预设初始图像的选择，本申请实施例不做具体限制。
其中，Set5数据集：一个经典的基于非负邻域嵌入的低复杂度单图像超分辨率的数据集，只包含baby、bird、butterfly、head和woman五个测试图像。该数据集被用于单幅图像超分辨率重构，即根据低分辨率图像重构出高分辨率图像以获取更多的细节信息。Set14数据集：一个经典的基于非负邻域嵌入的低复杂度单图像超分辨率的数据集，该训练集被用于单幅图像超分辨率重构，即根据低分辨率图像重构出高分辨率图像以获取更多的细节信息。该数据集由比利埃大学、法国贝尔实验室于2012年发布。B100数据集：一个具有100个测试图像的经典数据集。数据集由各种各样的图像组成，从自然图像到特定对象(如植物、人、食物等)。Urban100数据集：是Huang等人介绍的一个相对较新的数据集。图像的数量与B100相同，但是组成完全不同。这些照片的焦点是人造建筑，即城市景观，具有不同频带的细节。
将预设初始图像输入至目标超分网络模型中，该目标超分模型的输出即为预设初始图像对应的目标超分图像，并根据预设初始图像和目标超分图像，确定峰值信噪比和/或结构相似度，即执行下述S402：
S402、根据预设初始图像和目标超分图像，确定峰值信噪比和/或结构相似度。
其中，峰值信噪比(Peak signal-to-noise ratio，PSNR)用于计算图像峰值与当前图像和参考图像对应像素点间的误差的比值，是使用比较广泛的一种图像客观评价指标。SSIM(Structural SIMilarity)结构相似度是用于评价两张图像相似度的指标，相对于PSNR，SSIM在图像质量上更接近人类对图像的评判。
PSNR度量与像素差异高度相关，因此，最小化像素损失直接最大化PSNR度量值。在根据预设初始图像和目标超分图像，确定峰值信噪比时，可以将预设初始图像即为干净图像I，将通过目标超分网络模型得到的目标超分图像即为噪声图像K，假设该预设初始图像和目标超分图像均为大小为m×n的图像，则可以先确定均方误差MSE，可参见下述公式4：
Figure BDA0003133987840000171
其中，MSE表示均方误差，m表示预设初始图像和目标超分图像在水平方向上的像素的个数，n表示预设初始图像和目标超分图像在垂直平方向上的像素的个数，i表示水平方向上的第i个像素，j表示水平方向上的第j个像素，I(i，j)表示预设初始图像中第(i，j)个像素的像素值，K(i，j)表示目标超分图像中第(i，j)个像素的像素值。
在确定出均方误差MSE，就可以基于确定出均方误差MSE进一步确定峰值信噪比PSNR，可参见下述公式5：
Figure BDA0003133987840000172
其中，MAXI为图片可能的最大像素值。若每个像素都由8位二进制表示，则MAXI的取值为255。针对uint8数据，最大像素值为255；针对浮点型数据，最大像素值为1，这样就可以确定出峰值信噪比PSNR。
通常情况下，相对于峰值信噪比PSNR，结构相似度SSIM在图像质量上更接近人类对图像的评判。其中，结构相似度SSIM可以基于预设初始图像x和目标超分图像y之间的三个要素进行确定，该三个要素分别为亮度(luminance)、对比度(contrast)和结构(structure)，亮度的确定可参见下述公式6，对比度的确定可参见下述公式7、以及结构的确定可参见下述公式8：
Figure BDA0003133987840000173
Figure BDA0003133987840000174
Figure BDA0003133987840000175
其中，l(x，y)表示预设初始图像x和目标超分图像y之间的亮度，μx为x的均值，μy为y的均值，c1＝(k1L)2，c(x，y)表示预设初始图像x和目标超分图像y之间的对比度，σx为x的协方差，σy为y的协方差，c2＝(k2L)2，s(x，y)表示预设初始图像x和目标超分图像y之间的结构，c3＝c2/2，且c1、c2、以及c3均为常数，避免除零，L为像素值的范围，k1＝0.01，k2＝0.03为默认值。
在分别确定出l(x，y)、c(x，y)、以及s(x，y)后，由于结构相似度SSIM(x，y)＝[l(x，y)α·c(x，y)β·s(x，y)γ]，可假设α，β，γ为1，，则可以得到下述公式9：
Figure BDA0003133987840000181
其中，SSIM(x，y)取值范围为[0,1]，值越大，表示目标超分图像失真越小，目标超分图像的超分效果越好；相反的，值越小，表示目标超分图像失真越大，目标超分图像的超分效果越差。在实际应用过程中，在计算结构相似度SSIM时，通常会从预设初始图像x和目标超分图像y取一个N×N的窗口，并不断滑动窗口进行计算，最后每一个N×N的窗口对应的结构相似度SSIM，再对每一个N×N的窗口对应的结构相似度SSIM进行求和平均，并将得到的平均值作为全局的结构相似度SSIM，从而确定出结构相似度SSIM。
在确定峰值信噪比和/或结构相似度后，就可以根据峰值信噪比和/或结构相似度，对目标超分网络模型的超分准确性进行验证，即执行下述S403：
S403、根据峰值信噪比和/或结构相似度，对目标超分网络模型的超分准确性进行验证。
在根据峰值信噪比对目标超分网络模型的超分准确性进行验证时，峰值信噪比的取值越大，说明目标超分网络模型的超分准确性越高；相反的，峰值信噪比的取值越小，说明目标超分网络模型的超分准确性越差，即峰值信噪比的取值与目标超分网络模型的超分准确性成正比。
在根据结构相似度，对目标超分网络模型的超分准确性进行验证时，结构相似度的取值越大，说明目标超分网络模型的超分准确性越高；相反的，结构相似度的取值越小，说明目标超分网络模型的超分准确性越差，即结构相似度的取值与目标超分网络模型的超分准确性成正比。
可以看出，本申请实施例中，在训练得到目标超分网络模型后，还可以进一步将预设初始图像输入至目标超分网络模型中，得到预设初始图像对应的目标超分图像；并根据预设初始图像和目标超分图像，确定峰值信噪比和/或结构相似度；再根据峰值信噪比和/或结构相似度，对目标超分网络模型的超分准确性进行验证，以确保训练得到的目标超分网络模型为超分准确性较高的超分网络模型。
下面，将以初始超分网络模型为DRN模型为例，对通过本申请技术方案训练得到的目标超分网络模型的超分效果进行对比。本次对比选取的set5，set14，B100，Urban100四个公开的数据集中的图像，对比情况可参见下述表1所示：
表1
Figure BDA0003133987840000191
结合表1可以看出，将set5中的图像输入至初始超分网络模型中，则得到的峰值信噪比PSNR的取值为37.55，结构相似度SSIM的取值为0.9577；将set5中的图像输入至目标超分网络模型中，则得到的峰值信噪比PSNR的取值为37.69，结构相似度SSIM的取值为0.9583；将set14中的图像输入至初始超分网络模型中，则得到的峰值信噪比PSNR的取值为33.06，结构相似度SSIM的取值为0.9124；将set5中的图像输入至目标超分网络模型中，则得到的峰值信噪比PSNR的取值为37.69，结构相似度SSIM的取值为0.9583；将B100中的图像输入至初始超分网络模型中，则得到的峰值信噪比PSNR的取值为31.84，结构相似度SSIM的取值为0.8947；将B100中的图像输入至目标超分网络模型中，则得到的峰值信噪比PSNR的取值为31.91，结构相似度SSIM的取值为0.8962；将Urban100中的图像输入至初始超分网络模型中，则得到的峰值信噪比PSNR的取值为30.71，结构相似度SSIM的取值为0.9129；将Urban100中的图像输入至目标超分网络模型中，则得到的峰值信噪比PSNR的取值为31.13，结构相似度SSIM的取值为0.9175，可以看出，在不增加其网络参数的基础上，得到的PSNR的取值相比之前均有一定的提升。此外，初始超分模型和目标超分模型对应的计算力FLOPs均为180G，网络参数Params均为0.22M。
以初始超分网络模型为LWSR模型为例，对通过本申请技术方案训练得到的目标超分网络模型的超分效果进行对比。本次对比选取的set5公开的数据集中的图像，对比情况可参见下述表2所示：
表2
Figure BDA0003133987840000201
结合表1可以看出，将set5中的图像输入至初始超分网络模型中，则得到的峰值信噪比PSNR的取值为37.7，将set5中的图像输入至目标超分网络模型中，则得到的峰值信噪比PSNR的取值为37.9，在不增加其网络参数的基础上，得到的PSNR的取值相比之前也有一定的提升。此外，初始超分模型和目标超分模型的网络参数Params均为0.53M。
基于上述表1和表2可以看出，通过本申请实施例训练得到的目标超分网络模型，与轻量级的初始超分网络模型相比，既改进了轻量级的初始超分网络模型的增强性能，又不引入额外的网络参数，且目标超分网络模型可以较好地恢复出高分辨率图像，实现对低分辨率图像的增强，从而提高了高分辨率图像的重建质量。
图5为本申请实施例提供的一种超分网络模型的训练装置50的结构示意图，示例的，请参见图5所示，该超分网络模型的训练装置50可以包括：
获取单元501，用于获取多个样本图像对；其中，各样本图像对均包括一个第一样本图像，以及第一样本图像对应的初始样本图像，且第一样本图像为初始样本图像超分处理后的图像。
处理单元502，用于针对各样本图像对，将样本图像对的初始样本图像输入至初始超分网络模型，得到初始样本图像对应的第二样本图像；并分别对第一样本图像和第二样本图像进行至少一个尺度的下采样处理，得到第一样本图像对应的第三样本图像，以及第二样本图像对应的第四样本图像；其中，第二样本图像的超分倍数与第一样本图像的超分倍数相同。
训练单元503，用于根据各样本图像对的第一样本图像、以及对应的第二样本图像、第三样本图像、和第四样本图像，对初始超分网络模型进行训练，得到目标超分网络模型。
可选的，训练单元503，具体用于针对各样本图像对，根据样本图像对的第一样本图像、以及对应的第二样本图像、第三样本图像、和第四样本图像，确定样本图像对对应的损失函数；根据各样本图像对对应的损失函数，对初始超分网络模型进行训练，得到目标超分网络模型。
可选的，训练单元503，具体用于根据第一样本图像和第二样本图像，确定第一损失函数，并根据第三样本图像和第四样本图像，确定第二损失函数；根据第一损失函数和第二损失函数，确定样本图像对对应的损失函数。
可选的，训练单元503，具体用于分别确定第一损失函数对应的第一权重，以及第二损失函数对应的第二权重；计算第一损失函数与第一权重之间的第一乘积、以及第二损失函数与第二权重之间的第二乘积；将第一乘积和第二乘积的和，确定为样本图像对对应的损失函数。
可选的，训练单元503，具体用于将各样本图像对对应的损失函数之间的和，确定为多个样本图像对对应的目标损失函数；根据目标损失函数，对初始超分网络模型进行训练，得到目标超分网络模型。
可选的，训练单元503，具体用于根据目标损失函数，更新初始超分网络模型的模型参数；判断更新后的初始超分网络模型是否收敛；若更新后的初始超分网络模型收敛，则将更新后的初始超分网络模型确定为目标超分网络模型。
可选的，训练单元503，还用于若更新后的初始超分网络模型未收敛，则重复执行如下步骤，直至更新后的初始超分网络模型收敛。
通过更新后的初始超分网络模型获取初始样本图像对应的新的第二样本图像；根据新的第二样本图像和第一样本图像确定的第一损失函数，以及新的第二样本图像对应的新的第四样本图像和第三样本图像之间的第二损失，确定新的目标损失函数，并基于新的目标损失函数，再次更新更新后的初始超分网络模型的模型参数。
可选的，处理单元502，还用于将预设初始图像输入至目标超分网络模型中，得到预设初始图像对应的目标超分图像；并根据预设初始图像和目标超分图像，确定峰值信噪比和/或结构相似度；再根据峰值信噪比和/或结构相似度，对目标超分网络模型的超分准确性进行验证。
本申请实施例提供的超分网络模型的训练装置50，可以执行上述任一实施例中超分网络模型的训练方法的技术方案，其实现原理以及有益效果与超分网络模型的训练方法的实现原理及有益效果类似，可参见超分网络模型的训练方法的实现原理及有益效果，此处不再进行赘述。
图6为本申请实施例提供的一种电子设备60的结构示意图，示例的，请参见图6所示，该电子设备60可以包括处理器601和存储器602；其中，
所述存储器602，用于存储计算机程序。
所述处理器601，用于读取所述存储器602存储的计算机程序，并根据所述存储器602中的计算机程序执行上述任一实施例中的超分网络模型的训练方法的技术方案。
可选地，存储器602既可以是独立的，也可以跟处理器601集成在一起。当存储器602是独立于处理器601之外的器件时，电子设备60还可以包括：总线，用于连接存储器602和处理器601。
可选地，本实施例还包括：通信接口，该通信接口可以通过总线与处理器601连接。处理器601可以控制通信接口来实现上述电子设备60的获取和发送的功能。
本申请实施例所示的电子设备60，可以执行上述任一实施例中超分网络模型的训练方法的技术方案，其实现原理以及有益效果与超分网络模型的训练方法的实现原理及有益效果类似，可参见超分网络模型的训练方法的实现原理及有益效果，此处不再进行赘述。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述任一实施例中超分网络模型的训练方法的技术方案，其实现原理以及有益效果与超分网络模型的训练方法的实现原理及有益效果类似，可参见超分网络模型的训练方法的实现原理及有益效果，此处不再进行赘述。
本申请实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，实现上述任一实施例中超分网络模型的训练方法的技术方案，其实现原理以及有益效果与超分网络模型的训练方法的实现原理及有益效果类似，可参见超分网络模型的训练方法的实现原理及有益效果，此处不再进行赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所展示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元展示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例方法的部分步骤。
应理解的是，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital SignalProcessor，简称：DSP)、专用集成电路(英文：Application Specific IntegratedCircuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述计算机可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (19)

1.一种超分网络模型的训练方法，其特征在于，包括：
获取多个样本图像对；其中，各样本图像对均包括一个第一样本图像，以及所述第一样本图像对应的初始样本图像，且所述第一样本图像为所述初始样本图像超分处理后的图像；
针对所述各样本图像对，将所述样本图像对的初始样本图像输入至初始超分网络模型，得到所述初始样本图像对应的第二样本图像；并分别对所述第一样本图像和所述第二样本图像进行至少一个尺度的下采样处理，得到所述第一样本图像对应的第三样本图像，以及所述第二样本图像对应的第四样本图像；其中，所述第二样本图像的超分倍数与所述第一样本图像的超分倍数相同；
根据所述各样本图像对的第一样本图像、以及对应的第二样本图像、第三样本图像、和第四样本图像，对所述初始超分网络模型进行训练，得到目标超分网络模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述各样本图像对的第一样本图像、以及对应的第二样本图像、第三样本图像、和第四样本图像，对所述初始超分网络模型进行训练，得到目标超分网络模型，包括：
针对所述各样本图像对，根据所述样本图像对的第一样本图像、以及对应的第二样本图像、第三样本图像、和第四样本图像，确定所述样本图像对对应的损失函数；
根据所述各样本图像对对应的损失函数，对所述初始超分网络模型进行训练，得到目标超分网络模型。
3.根据权利要求2所述的方法，其特征在于，所述根据所述样本图像对的第一样本图像、以及对应的第二样本图像、第三样本图像、以及第四样本图像，确定所述样本图像对对应的损失函数，包括：
根据所述第一样本图像和所述第二样本图像，确定第一损失函数，并根据所述第三样本图像和第四样本图像，确定第二损失函数；
根据所述第一损失函数和所述第二损失函数，确定所述样本图像对对应的损失函数。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一损失函数和所述第二损失函数，确定所述样本图像对对应的损失函数，包括：
分别确定所述第一损失函数对应的第一权重，以及所述第二损失函数对应的第二权重；
计算所述第一损失函数与所述第一权重之间的第一乘积、以及所述第二损失函数与所述第二权重之间的第二乘积；
将所述第一乘积和所述第二乘积的和，确定为所述样本图像对对应的损失函数。
5.根据权利要求2-4任一项所述的方法，其特征在于，所述根据所述各样本图像对对应的损失函数，对所述初始超分网络模型进行训练，得到目标超分网络模型，包括：
将所述各样本图像对对应的损失函数之间的和，确定为所述多个样本图像对对应的目标损失函数；
根据所述目标损失函数，对所述初始超分网络模型进行训练，得到所述目标超分网络模型。
6.根据权利要求5所述的方法，其特征在于，所述根据所述目标损失函数，对所述初始超分网络模型进行训练，得到所述目标超分网络模型，包括：
根据所述目标损失函数，更新所述初始超分网络模型的模型参数；
判断更新后的初始超分网络模型是否收敛；
若所述更新后的初始超分网络模型收敛，则将所述更新后的初始超分网络模型确定为所述目标超分网络模型。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
若所述更新后的初始超分网络模型未收敛，则重复执行如下步骤，直至所述更新后的初始超分网络模型收敛：
通过更新后的初始超分网络模型获取所述初始样本图像对应的新的第二样本图像；
根据所述新的第二样本图像和所述第一样本图像确定的第一损失函数，以及所述新的第二样本图像对应的新的第四样本图像和所述第三样本图像之间的第二损失，确定新的目标损失函数，并基于所述新的目标损失函数，再次更新所述更新后的初始超分网络模型的模型参数。
8.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
将预设初始图像输入至所述目标超分网络模型中，得到所述预设初始图像对应的目标超分图像；
根据所述预设初始图像和所述目标超分图像，确定峰值信噪比和/或结构相似度；
根据所述峰值信噪比和/或结构相似度，对所述目标超分网络模型的超分准确性进行验证。
9.一种超分网络模型的训练装置，其特征在于，包括：
获取单元，用于获取多个样本图像对；其中，各样本图像对均包括一个第一样本图像，以及所述第一样本图像对应的初始样本图像，且所述第一样本图像为所述初始样本图像超分处理后的图像；
处理单元，用于针对所述各样本图像对，将所述样本图像对的初始样本图像输入至初始超分网络模型，得到所述初始样本图像对应的第二样本图像；并分别对所述第一样本图像和所述第二样本图像进行至少一个尺度的下采样处理，得到所述第一样本图像对应的第三样本图像，以及所述第二样本图像对应的第四样本图像；其中，所述第二样本图像的超分倍数与所述第一样本图像的超分倍数相同；
训练单元，用于根据所述各样本图像对的第一样本图像、以及对应的第二样本图像、第三样本图像、和第四样本图像，对所述初始超分网络模型进行训练，得到目标超分网络模型。
10.根据权利要求9所述的装置，其特征在于，
所述训练单元，具体用于针对所述各样本图像对，根据所述样本图像对的第一样本图像、以及对应的第二样本图像、第三样本图像、和第四样本图像，确定所述样本图像对对应的损失函数；根据所述各样本图像对对应的损失函数，对所述初始超分网络模型进行训练，得到目标超分网络模型。
11.根据权利要求10所述的装置，其特征在于，
所述训练单元，具体用于根据所述第一样本图像和所述第二样本图像，确定第一损失函数，并根据所述第三样本图像和第四样本图像，确定第二损失函数；根据所述第一损失函数和所述第二损失函数，确定所述样本图像对对应的损失函数。
12.根据权利要求11所述的装置，其特征在于，
所述训练单元，具体用于分别确定所述第一损失函数对应的第一权重，以及所述第二损失函数对应的第二权重；计算所述第一损失函数与所述第一权重之间的第一乘积、以及所述第二损失函数与所述第二权重之间的第二乘积；将所述第一乘积和所述第二乘积的和，确定为所述样本图像对对应的损失函数。
13.根据权利要求10-12任一项所述的装置，其特征在于，
所述训练单元，具体用于将所述各样本图像对对应的损失函数之间的和，确定为所述多个样本图像对对应的目标损失函数；根据所述目标损失函数，对所述初始超分网络模型进行训练，得到所述目标超分网络模型。
14.根据权利要求13所述的装置，其特征在于，
所述训练单元，具体用于根据所述目标损失函数，更新所述初始超分网络模型的模型参数；判断更新后的初始超分网络模型是否收敛；若所述更新后的初始超分网络模型收敛，则将所述更新后的初始超分网络模型确定为所述目标超分网络模型。
15.根据权利要求14所述的装置，其特征在于，
所述训练单元，还用于若所述更新后的初始超分网络模型未收敛，则重复执行如下步骤，直至所述更新后的初始超分网络模型收敛：
通过更新后的初始超分网络模型获取所述初始样本图像对应的新的第二样本图像；根据所述新的第二样本图像和所述第一样本图像确定的第一损失函数，以及所述新的第二样本图像对应的新的第四样本图像和所述第三样本图像之间的第二损失，确定新的目标损失函数，并基于所述新的目标损失函数，再次更新所述更新后的初始超分网络模型的模型参数。
16.根据权利要求10-12任一项所述的装置，其特征在于，
所述处理单元，还用于将预设初始图像输入至所述目标超分网络模型中，得到所述预设初始图像对应的目标超分图像；并根据所述预设初始图像和所述目标超分图像，确定峰值信噪比和/或结构相似度；再根据所述峰值信噪比和/或结构相似度，对所述目标超分网络模型的超分准确性进行验证。
17.一种电子设备，其特征在于，包括处理器和存储器；其中，
所述存储器，用于存储计算机程序；
所述处理器，用于读取所述存储器存储的计算机程序，并根据所述存储器中的计算机程序执行上述权利要求1-9任一项所述的超分网络模型的训练方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述权利要求1-9任一项所述的超分网络模型的训练方法。
19.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时，实现上述权利要求1-9任一项所述的超分网络模型的训练方法。
CN202110713803.1A 2021-06-25 2021-06-25 超分网络模型的训练方法、装置和电子设备 Pending CN113313633A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110713803.1A CN113313633A (zh) 2021-06-25 2021-06-25 超分网络模型的训练方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110713803.1A CN113313633A (zh) 2021-06-25 2021-06-25 超分网络模型的训练方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN113313633A true CN113313633A (zh) 2021-08-27

Family

ID=77380431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110713803.1A Pending CN113313633A (zh) 2021-06-25 2021-06-25 超分网络模型的训练方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN113313633A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989696A (zh) * 2021-09-18 2022-01-28 北京远度互联科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN115147280A (zh) * 2022-07-15 2022-10-04 北京百度网讯科技有限公司 深度学习模型的训练方法、图像处理方法、装置和设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977932A (zh) * 2017-12-28 2018-05-01 北京工业大学 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN110222758A (zh) * 2019-05-31 2019-09-10 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及存储介质
CN111882556A (zh) * 2020-08-11 2020-11-03 北京小米松果电子有限公司 一种对抗网络的训练方法、装置和图像处理方法
CN112598581A (zh) * 2020-12-30 2021-04-02 中国科学院信息工程研究所 一种rdn超分辨网络的训练方法及图像生成方法
CN112862681A (zh) * 2021-01-29 2021-05-28 中国科学院深圳先进技术研究院 一种超分辨率方法、装置、终端设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977932A (zh) * 2017-12-28 2018-05-01 北京工业大学 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN110222758A (zh) * 2019-05-31 2019-09-10 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及存储介质
CN111882556A (zh) * 2020-08-11 2020-11-03 北京小米松果电子有限公司 一种对抗网络的训练方法、装置和图像处理方法
CN112598581A (zh) * 2020-12-30 2021-04-02 中国科学院信息工程研究所 一种rdn超分辨网络的训练方法及图像生成方法
CN112862681A (zh) * 2021-01-29 2021-05-28 中国科学院深圳先进技术研究院 一种超分辨率方法、装置、终端设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王子扬;章义来;: "图像超分辨率重建SRGAN算法的探讨", 福建电脑, no. 05 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989696A (zh) * 2021-09-18 2022-01-28 北京远度互联科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN115147280A (zh) * 2022-07-15 2022-10-04 北京百度网讯科技有限公司 深度学习模型的训练方法、图像处理方法、装置和设备
CN115147280B (zh) * 2022-07-15 2023-06-02 北京百度网讯科技有限公司 深度学习模型的训练方法、图像处理方法、装置和设备

Similar Documents

Publication Publication Date Title
Yan et al. Multi-scale dense networks for deep high dynamic range imaging
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN109345456B (zh) 生成对抗网络训练方法、图像处理方法、设备及存储介质
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
CN112132959B (zh) 数字岩心图像处理方法、装置、计算机设备及存储介质
CN109919110B (zh) 视频关注区域检测方法、装置及设备
CN113313633A (zh) 超分网络模型的训练方法、装置和电子设备
CN110570356A (zh) 图像处理方法和装置、电子设备及存储介质
Gong et al. Combining sparse representation and local rank constraint for single image super resolution
CN110598714A (zh) 一种软骨图像分割方法、装置、可读存储介质及终端设备
CN111340077B (zh) 基于注意力机制的视差图获取方法和装置
Guo et al. Single image dehazing based on fusion strategy
CN111079764A (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN111476719A (zh) 图像处理方法、装置、计算机设备及存储介质
CN108876716B (zh) 超分辨率重建方法及装置
JP2021179833A (ja) 情報処理装置、情報処理方法及びプログラム
CN108921801B (zh) 用于生成图像的方法和装置
Chen et al. MICU: Image super-resolution via multi-level information compensation and U-net
Zhang et al. DRDDN: dense residual and dilated dehazing network
CN114913083A (zh) 一种基于上下文分解特征融合的水下图像增强方法
Tang et al. Structure-embedded ghosting artifact suppression network for high dynamic range image reconstruction
CN107729885B (zh) 一种基于多重残差学习的人脸增强方法
CN110136061B (zh) 一种基于深度卷积预测与插值的分辨率提升方法及系统
Zhang et al. Iterative multi‐scale residual network for deblurring
CN115862119A (zh) 基于注意力机制的人脸年龄估计方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination