CN114494022B - 模型训练方法、超分辨率重建方法、装置、设备及介质 - Google Patents

模型训练方法、超分辨率重建方法、装置、设备及介质 Download PDF

Info

Publication number
CN114494022B
CN114494022B CN202210332655.3A CN202210332655A CN114494022B CN 114494022 B CN114494022 B CN 114494022B CN 202210332655 A CN202210332655 A CN 202210332655A CN 114494022 B CN114494022 B CN 114494022B
Authority
CN
China
Prior art keywords
super
loss function
resolution
characteristic diagram
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210332655.3A
Other languages
English (en)
Other versions
CN114494022A (zh
Inventor
张英杰
史宏志
温东超
赵健
崔星辰
尹云峰
葛沅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202210332655.3A priority Critical patent/CN114494022B/zh
Publication of CN114494022A publication Critical patent/CN114494022A/zh
Application granted granted Critical
Publication of CN114494022B publication Critical patent/CN114494022B/zh
Priority to PCT/CN2022/122864 priority patent/WO2023184913A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种模型训练方法、超分辨率重建方法、装置、设备及介质，涉及人工智能领域，包括：获取对原始分辨率图像进行下采样得到的下采样图像，并对下采样图像进行特征提取以得到初始特征图；按照预设采样比率对初始特征图进行两次随机采样，分别得到第一特征图和第二特征图，基于第一特征图和第二特征图构建对比损失函数；利用预设上采样方法对初始特征图进行处理得到超分辨率图像，基于原始分辨率图像和超分辨率图像构建L1损失函数；基于对比损失函数和L1损失函数构建总损失函数，并利用总损失函数对原始超分辨率模型进行训练。本申请通过构建对比损失函数并结合L1损失函数对原始超分辨率模型进行训练，以提高模型的性能。

Description

模型训练方法、超分辨率重建方法、装置、设备及介质
技术领域
本发明涉及人工智能技术，特别涉及一种模型训练方法、超分辨率重建方法、装置、设备及介质。
背景技术
超分辨率（Super Resolution，即SR）是从给定的低分辨率(Low Resolution ，即LR)图像中恢复高分辨率(High Resolution，即HR)图像的过程，是计算机视觉的一个经典应用。通过软件或硬件的方法，从观测到的低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像遥感、数字高清、显微成像、视频编码通信、视频复原和医学影像等领域都有重要的应用价值。而当前在使用超分辨率模型对图像进行重建，以得到相应的超分辨率图像时，仍存在图像质量较低、不清晰的问题。
综上，如何提高超分辨率模型的性能，以便利用该超分辨率模型对图像进行处理时，能得到更高质量的超分辨率图像是目前有待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种模型训练方法、超分辨率重建方法、装置、设备及介质，能够提高超分辨率模型的性能，以便利用该超分辨率模型对图像进行处理时，能得到更高质量的超分辨率图像。其具体方案如下：
第一方面，本申请公开了一种超分辨率模型训练方法，包括
获取对原始分辨率图像进行下采样后得到的下采样图像，并对所述下采样图像进行特征提取以得到初始特征图；
按照预设采样比率对所述初始特征图进行两次随机采样，分别得到第一特征图和第二特征图，基于所述第一特征图和所述第二特征图构建对比损失函数；
利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像，基于所述原始分辨率图像和所述超分辨率图像构建L1损失函数；
基于所述对比损失函数和所述L1损失函数构建总损失函数，并利用所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型。
可选的，所述利用所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型之前，还包括：
按照预设下采样倍数对若干数量张原始分辨率图像进行下采样，以得到相应的下采样图像；
基于所述原始分辨率图像和所述下采样图像构造用于训练所述原始超分辨率模型的训练集，其中，所述训练集中的训练样本包含所述原始分辨率图像以及对应的所述下采样图像。
可选的，所述利用所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型，包括：
确定预设迭代次数和预设优化器的超参数信息；其中，所述超参数信息包括学习率和批量大小；
基于所述预设迭代次数和所述预设优化器并利用所述训练集和所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型。
可选的，所述基于所述第一特征图和所述第二特征图构建对比损失函数，包括：
将所述第一特征图和所述第二特征图分别输入多层感知机网络，得到与所述第一特征图对应的第一输出值和与所述第二特征图对应的第二输出值；
基于所述第一特征图和所述第二特征图以及所述第一输出值和所述第二输出值构建对比损失函数。
可选的，所述利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像，包括：
利用插值方法对所述初始特征图的像素点进行扩充，得到扩充后特征图；
将所述扩充后特征图输入至最后一层卷积层的滤波器数量为三的卷积神经网络，以便通过所述卷积神经网络对所述扩充后特征图进行处理以降低所述扩充后特征图的通道数，得到通道数为三的超分辨率图像。
可选的，所述基于所述对比损失函数和所述L1损失函数构建总损失函数，包括：
为所述对比损失函数和所述L1损失函数分配相应的权重系数；
利用所述权重系数分别对所述对比损失函数和所述L1损失函数进行相应的加权，以构建总损失函数。
第二方面，本申请公开了一种图像超分辨率重建方法，包括：
获取待重建低分辨率图像；
利用前述公开的超分辨率模型训练方法训练得到的超分辨率模型对所述待重建低分辨率图像进行处理，以得到相应的超分辨率图像。
第三方面，本申请公开了一种超分辨率模型训练装置，包括
特征提取模块，用于获取对原始分辨率图像进行下采样后得到的下采样图像，并对所述下采样图像进行特征提取以得到初始特征图；
对比损失函数构建模块，用于按照预设采样比率对所述初始特征图进行两次随机采样，分别得到第一特征图和第二特征图，基于所述第一特征图和所述第二特征图构建对比损失函数；
L1损失函数构建模块，用于利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像，基于所述原始分辨率图像和所述超分辨率图像构建L1损失函数；
模型训练模块，用于基于所述对比损失函数和所述L1损失函数构建总损失函数，并利用所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型。
第四方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的超分辨率模型训练方法的步骤。
第五方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的超分辨率模型训练方法的步骤。
可见，本申请首先获取对原始分辨率图像进行下采样后得到的下采样图像，并对所述下采样图像进行特征提取以得到初始特征图；然后按照预设采样比率对所述初始特征图进行两次随机采样，分别得到第一特征图和第二特征图，基于所述第一特征图和所述第二特征图构建对比损失函数；接着利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像，基于所述原始分辨率图像和所述超分辨率图像构建L1损失函数；最后基于所述对比损失函数和所述L1损失函数构建总损失函数，并利用所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型。由此可见，本申请在获得对原始分辨率图像进行下采样得到的下采样图后，先对下采样图进行特征提取以得到初始特征图，再对初始特征图进行两次随机采样，以得到初始特征图对应的第一特征图和第二特征图；然后基于第一特征图和第二特征图构建对比损失函数，并结合L1损失函数构建总损失函数对原始超分辨率模型进行训练，以得到性能更好的超分辨率模型，以便后续利用该超分辨率模型对图像进行处理时，能得到更高质量的超分辨率图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种超分辨率模型训练方法流程图；
图2为本申请公开的一种具体的超分辨率模型训练方法流程图；
图3为本申请公开的一种具体的超分辨率模型训练方法流程图；
图4为本申请公开的一种图像超分辨率重建方法流程图；
图5为本申请公开的一种超分辨率模型训练装置结构示意图；
图6为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
超分辨率是从给定的低分辨率图像中恢复高分辨率图像的过程，是计算机视觉的一个经典应用。当前在使用超分辨率模型对图像进行重建，以得到相应的超分辨率图像时，仍存在图像质量较低、不清晰的问题。为此，本申请实施例公开了一种超分辨率模型训练方法和图像超分辨率重建方法，能够提高超分辨率模型的性能，以便利用该超分辨率模型对图像进行处理时，能得到更高质量的超分辨率图像。
参见图1所示，本申请实施例公开了一种超分辨率模型训练方法，该方法包括：
步骤S11：获取对原始分辨率图像进行下采样后得到的下采样图像，并对所述下采样图像进行特征提取以得到初始特征图。
本实施例中，首先对原始分辨率图像进行下采样，具体可以为利用MATLAB中的resize函数对原始分辨率图像下采样，以获得相应的下采样图像。然后对该下采样图像进行特征提取以得到初始特征图，需要注意的是，对下采样图像进行特征提取后，得到的初始特征图的图像大小与下采样图像一致，但通道数会增加，记为C。
步骤S12：按照预设采样比率对所述初始特征图进行两次随机采样，分别得到第一特征图和第二特征图，基于所述第一特征图和所述第二特征图构建对比损失函数。
本实施例中，按照预设采样比率对初始特征图进行两次随机采样，分别得到第一特征图和第二特征图；其中，将预设采样比率记为
Figure DEST_PATH_IMAGE001
、假设初始特征图的图像大小为H*W，那么第一特征图和第二特征图的图像大小为
Figure 480969DEST_PATH_IMAGE002
，一般将
Figure 929268DEST_PATH_IMAGE001
的值取为0.5，那么得到的第一特征图和第二特征图为初始特征图的图像大小的一半，再基于第一特征图和第二特征图构建对比损失函数。通过这种采样方式的对比学习，可以使得学习的特征图具有更加紧密的关联，在对图像进行大倍率超分辨率的时候，效果更加清晰。
需要指出的是，本实施例中，可以将第二特征图作为第一特征图的正样本，而对其他不同初始特征图进行随机采样得到的图像则作为负样本，也即，将与目标图像更相近的图像作为正样本，不相关的图像作为负样本。
步骤S13：利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像，基于所述原始分辨率图像和所述超分辨率图像构建L1损失函数。
本实施例中，上述利用预设上采样方法对所述初始特征图进行处理，以得到超分辨率图像，包括：利用插值方法对所述初始特征图的像素点进行扩充，得到扩充后特征图；将所述扩充后特征图输入至最后一层卷积层的滤波器数量为三的卷积神经网络，以便通过所述卷积神经网络对所述扩充后特征图进行处理以降低所述扩充后特征图的通道数，得到通道数为三的超分辨率图像。可以理解的是，本实施例需要将获得的C通道的初始特征图，映射回RGB三通道图像。在这个过程中，先将H*W*C特征图利用插值方法扩充成sH*sW*C的特征图，再将这个放大了s 2倍数的特征图映射成RGB图像，这样就实现了s 2倍数的超分辨率。例如，假设上述初始特征图的通道数为512，图像大小为48×48，首先利用插值方法对初始特征图的像素点进行扩充，当扩充倍数为4时，得到图像大小为96×96，通道数仍为512的扩充后特征图，再将扩充后特征图输入至最后一层卷积层的滤波器数量为三的卷积神经网络，并通过所述卷积神经网络对扩充后特征图进行处理以降低扩充后特征图的通道数，得到通道数为三的超分辨率图像，也即得到了映射后的RGB三通道图像。可以理解的是，滤波器的数量决定了输出图像的通道数，也即滤波器的数量为多少，那么输出的特征图的通道数就是多少。得到超分辨率图像后，再对超分辨率图像和原始分辨率图像计算L1损失，以构建L1损失函数。需要指出的是，L1损失函数也可以称为最小绝对值偏差或绝对值损失函数，它用于最小化目标值与估计值的绝对差值；本实施例中，其是用于对原始分辨率图像和超分辨率图像之间的差距进行最小化。
步骤S14：基于所述对比损失函数和所述L1损失函数构建总损失函数，并利用所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型。
本实施例中，基于对比损失函数和L1损失函数构建模型的总损失函数，然后利用该总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型。
可见，本申请首先获取对原始分辨率图像进行下采样后得到的下采样图像，并对所述下采样图像进行特征提取以得到初始特征图；然后按照预设采样比率对所述初始特征图进行两次随机采样，分别得到第一特征图和第二特征图，基于所述第一特征图和所述第二特征图构建对比损失函数；接着利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像，基于所述原始分辨率图像和所述超分辨率图像构建L1损失函数；最后基于所述对比损失函数和所述L1损失函数构建总损失函数，并利用所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型。由此可见，本申请在获得对原始分辨率图像进行下采样得到的下采样图后，先对下采样图进行特征提取以得到初始特征图，再对初始特征图进行两次随机采样，以得到初始特征图对应的第一特征图和第二特征图；然后基于第一特征图和第二特征图构建对比损失函数，并结合L1损失函数构建总损失函数对原始超分辨率模型进行训练，以得到性能更好的超分辨率模型，以便后续利用该超分辨率模型对图像进行处理时，能得到更高质量的超分辨率图像。
参见图2所示，本申请实施例公开了一种具体的超分辨率模型训练方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体包括：
步骤S21：获取对原始分辨率图像进行下采样后得到的下采样图像，并对所述下采样图像进行特征提取以得到初始特征图。
步骤S22：按照预设采样比率对所述初始特征图进行两次随机采样，分别得到第一特征图和第二特征图，基于所述第一特征图和所述第二特征图构建对比损失函数。
步骤S23：利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像，基于所述原始分辨率图像和所述超分辨率图像构建L1损失函数。
步骤S24：基于所述对比损失函数和所述L1损失函数构建总损失函数，并确定预设迭代次数和预设优化器的超参数信息；其中，所述超参数信息包括学习率和批量大小。
本实施例中，需要确定预设迭代次数和选取的预设优化器的超参数信息，超参数信息可以包括但不限于学习率和批量大小（即batchsize）。预设优化器具体可以为Adam优化器，学习率可以设为0.0001，批量大小可以为16。
步骤S25：基于所述预设迭代次数和所述预设优化器并利用训练集和所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型。
本实施例中，在对原始超分辨率模型进行训练，以得到训练后的超分辨率模型之前，还包括：按照预设下采样倍数对若干数量张原始分辨率图像进行下采样，以得到相应的下采样图像；基于所述原始分辨率图像和所述下采样图像构造用于训练所述原始超分辨率模型的训练集，其中，所述训练集中的训练样本包含所述原始分辨率图像以及对应的所述下采样图像。也即，本实施例首先采集若干数量张原始分辨率图像，然后按照预设下采样倍数对这些原始分辨率图像进行下采样，以得到不同倍数下的下采样图像，上述预设下采样倍数可以为2倍、3倍或4倍，并且，还需要指出的是，上述原始分辨率图像一般选取分辨率大于2000的图像。然后将这些成对的原始分辨率图像和对应的下采样图像作为训练集。同样以验证集：训练集=2：8的比例，在不同的原始分辨率图像上按照上述方式制作验证集。
本实施例中，基于预设优化器并利用训练集和所述总损失函数对原始超分辨率模型进行训练，当训练次数到达预设迭代次数后则停止训练，以得到训练后的超分辨率模型。
其中，关于上述步骤S21、S22和S23更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本申请实施例通过基于原始分辨率图像和对应的下采样图像构造用于训练原始超分辨率模型的训练集，然后确定预设迭代次数和预设优化器的超参数信息，然后基于预设迭代次数和预设优化器并利用训练集和总损失函数对原始超分辨率模型进行训练，以得到性能更好的超分辨率模型。
参见图3所示，本申请实施例公开了一种具体的超分辨率模型训练方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体包括：
步骤S31：获取对原始分辨率图像进行下采样后得到的下采样图像，并对所述下采样图像进行特征提取以得到初始特征图。
步骤S32：按照预设采样比率对所述初始特征图进行两次随机采样，分别得到第一特征图和第二特征图，将所述第一特征图和所述第二特征图分别输入多层感知机网络，得到与所述第一特征图对应的第一输出值和与所述第二特征图对应的第二输出值。
本实施例中，在得到第一特征图和第二特征图后，还需要将第一特征图和第二特征图输入至多层感知机网络（multilayer perceptron，即MLP）中，得到与第一特征图对应的第一输出值和与第二特征图对应的第二输出值。其中，本实施例中的多层感知机网络具体可以为5层结构。
当然，本实施例除了可以将第一特征图和第二特征图输入至多层感知机网络，还可以将第一特征图和第二特征图输入一个尺寸为1×1的卷积核中，得到与第一特征图对应的第一输出值和与第二特征图对应的第二输出值。上述多层感知机网络和1×1的卷积核都能实现不改变特征图的宽和高，只在通道上对图像进行降维处理，如此一来，能够减少参数量，降低对比损失函数计算的复杂度，并提升计算效率。
步骤S33：基于所述第一特征图和所述第二特征图以及所述第一输出值和所述第二输出值构建对比损失函数。
本实施例中，基于第一特征图和第二特征图以及第一输出值和第二输出值构建对比损失函数，可以理解的是，假设以N为一次训练所抓取的数据样本，则对N张初始特征图进行两次随机采样后，会得到2N张采样后的特征图。将第一特征图记为
Figure DEST_PATH_IMAGE003
、第二特征图记为
Figure 538366DEST_PATH_IMAGE004
，第一输出值记为
Figure DEST_PATH_IMAGE005
，第二输出值记为
Figure 199154DEST_PATH_IMAGE006
，那么对第一特征图和第二特征图进行对比损失计算的公式如下：
Figure DEST_PATH_IMAGE007
；
其中，contr表示对比度，L contr 表示对比损失函数；sim用于求余弦相似度，即归一化后的点积；t是超参数温度，默认取值为0.5；N为批量大小，即一次训练抓取的数据样本数量；
Figure 341422DEST_PATH_IMAGE008
为第一特征图、
Figure DEST_PATH_IMAGE009
为第二特征图，
Figure 429464DEST_PATH_IMAGE005
为第一输出值，
Figure 493235DEST_PATH_IMAGE010
为第二输出值。
整个数据样本的对比损失函数的计算公式为：
Figure DEST_PATH_IMAGE011
；
其中，contr表示对比度；N为批量大小；
Figure 957715DEST_PATH_IMAGE012
为第一特征图、
Figure DEST_PATH_IMAGE013
为第二特征图。
步骤S34：利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像，基于所述原始分辨率图像和所述超分辨率图像构建L1损失函数。
本实施中，L1损失函数的计算公式为：
Figure 414542DEST_PATH_IMAGE014
；
其中，L img 表示L1损失函数；IHR表示原始分辨率图像；ISR表示超分辨率图像；||*||表示范数。
步骤S35：为所述对比损失函数和所述L1损失函数分配相应的权重系数；利用所述权重系数分别对所述对比损失函数和所述L1损失函数进行相应的加权，以构建总损失函数，并利用所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型。
本实施例中，在利用对比损失函数和L1损失函数构建总损失函数时，需要为对比损失函数和L1损失函数分配相应的权重系数，并进行相应的加权计算以构建总损失函数。总损失函数的计算公式为：
Figure 440529DEST_PATH_IMAGE015
；
其中，loss表示总损失函数，
Figure 929279DEST_PATH_IMAGE016
表示权重系数，本实施例中将
Figure 197449DEST_PATH_IMAGE016
设为0.5；L img 表示L1损失函数；L contr 表示对比损失函数。
在另一种具体实施方式中，为了防止超分辨率模型过拟合，并提高超分辨率模型重建的稳定性，还可以在上述总损失函数的基础上，再增加一个L2权重衰减以形成新的总损失函数，并利用上述新的总损失函数对原始超分辨率模型进行训练。其中，本实施例中的上述L2权重衰减的具体表达式可以是：
Figure 517572DEST_PATH_IMAGE017
；
其中，w i 为第i个样本计算时模型的参数值，N为批量大小，λ为权重值，一般将λ取为0.1；那么在这种情况下，最后得到一个新的总损失函数为：
Figure DEST_PATH_IMAGE018
。
可见，本申请实施例在得到第一特征图和第二特征图后，再将第一特征图和第二特征图分别输入多层感知机网络，得到与第一特征图对应的第一输出值和与第二特征图对应的第二输出值，然后基于第一特征图和第二特征图以及第一输出值和第二输出值构建对比损失函数。并且，在构建总损失函数时，还需为对比损失函数和L1损失函数分配相应的权重系数，以得到加权计算后的总损失函数，以便利用该总损失函数对原始超分辨率模型进行训练，以得到性能更好的超分辨率模型。本申请通过引入对比损失函数，对模型在特征层进行监督，使得模型生成的图像在边缘处更加清晰锐化，能够让超分辨率模型达到更优的超分辨率效果。
参见图4所示，本申请实施例公开了一种图像超分辨率重建方法，该方法包括：
步骤S41：获取待重建低分辨率图像。
步骤S42：利用前述公开的超分辨率模型训练方法训练得到的超分辨率模型对所述待重建低分辨率图像进行处理，以得到相应的超分辨率图像。
可见，本申请实施例中，首先获取待重建低分辨率图像，然后利用前述公开的超分辨率模型训练方法训练得到的超分辨率模型对所述待重建低分辨率图像进行处理，以得到相应的超分辨率图像。由此可见，本申请可以获取任意一张待重建的低分辨率图像，并利用本申请中的超分辨率模型进行处理，以实现图像的超分辨率，达到恢复图像质量的目的。
需要指出的是，本申请公开的这种基于对比学习构建对比损失函数的方法可以应用于任意的超分辨率模型中，以实现对超分辨率算法进行有效的提升，并提升图像恢复的质量。
参见图5所示，本申请实施例还公开了一种超分辨率模型训练装置，该装置包括：
特征提取模块11，用于获取对原始分辨率图像进行下采样后得到的下采样图像，并对所述下采样图像进行特征提取以得到初始特征图；
对比损失函数构建模块12，用于按照预设采样比率对所述初始特征图进行两次随机采样，分别得到第一特征图和第二特征图，基于所述第一特征图和所述第二特征图构建对比损失函数；
L1损失函数构建模块13，用于利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像，基于所述原始分辨率图像和所述超分辨率图像构建L1损失函数；
模型训练模块14，用于基于所述对比损失函数和所述L1损失函数构建总损失函数，并利用所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型。
可见，本申请首先获取对原始分辨率图像进行下采样后得到的下采样图像，并对所述下采样图像进行特征提取以得到初始特征图；然后按照预设采样比率对所述初始特征图进行两次随机采样，分别得到第一特征图和第二特征图，基于所述第一特征图和所述第二特征图构建对比损失函数；接着利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像，基于所述原始分辨率图像和所述超分辨率图像构建L1损失函数；最后基于所述对比损失函数和所述L1损失函数构建总损失函数，并利用所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型。由此可见，本申请在获得对原始分辨率图像进行下采样得到的下采样图后，先对下采样图进行特征提取以得到初始特征图，再对初始特征图进行两次随机采样，以得到初始特征图对应的第一特征图和第二特征图；然后基于第一特征图和第二特征图构建对比损失函数，并结合L1损失函数构建总损失函数对原始超分辨率模型进行训练，以得到性能更好的超分辨率模型，以便后续利用该超分辨率模型对图像进行处理时，能得到更高质量的超分辨率图像。
图6为本申请实施例提供的一种电子设备的结构示意图。具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的由计算机设备执行的超分辨率模型训练方法中的相关步骤。
本实施例中，电源23用于为计算机设备20上的各硬件设备提供工作电压；通信接口24能够为计算机设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制计算机设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由计算机设备20执行的超分辨率模型训练方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括计算机设备接收到的由外部设备传输进来的数据，也可以包括由自身输入输出接口25采集到的数据等。
进一步的，本申请实施例还公开了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的由超分辨率模型训练过程中执行的方法步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种模型训练方法、超分辨率重建方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种超分辨率模型训练方法，其特征在于，包括
获取对原始分辨率图像进行下采样后得到的下采样图像，并对所述下采样图像进行特征提取以得到初始特征图；
按照预设采样比率对所述初始特征图进行两次随机采样，分别得到第一特征图和第二特征图，基于所述第一特征图和所述第二特征图构建对比损失函数；
利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像，基于所述原始分辨率图像和所述超分辨率图像构建L1损失函数；
基于所述对比损失函数和所述L1损失函数构建总损失函数，并利用所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型；
其中，所述利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像，包括：
利用插值方法对所述初始特征图的像素点进行扩充，得到扩充后特征图；将所述扩充后特征图输入至最后一层卷积层的滤波器数量为三的卷积神经网络，以便通过所述卷积神经网络对所述扩充后特征图进行处理以降低所述扩充后特征图的通道数，得到通道数为三的超分辨率图像；
并且，所述基于所述第一特征图和所述第二特征图构建对比损失函数，包括：
将所述第一特征图和所述第二特征图分别输入多层感知机网络，得到与所述第一特征图对应的第一输出值和与所述第二特征图对应的第二输出值；基于所述第一特征图和所述第二特征图以及所述第一输出值和所述第二输出值构建对比损失函数。
2.根据权利要求1所述的超分辨率模型训练方法，其特征在于，所述利用所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型之前，还包括：
按照预设下采样倍数对若干数量张原始分辨率图像进行下采样，以得到相应的下采样图像；
基于所述原始分辨率图像和所述下采样图像构造用于训练所述原始超分辨率模型的训练集，其中，所述训练集中的训练样本包含所述原始分辨率图像以及对应的所述下采样图像。
3.根据权利要求2所述的超分辨率模型训练方法，其特征在于，所述利用所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型，包括：
确定预设迭代次数和预设优化器的超参数信息；其中，所述超参数信息包括学习率和批量大小；
基于所述预设迭代次数和所述预设优化器并利用所述训练集和所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型。
4.根据权利要求1至3任一项所述的超分辨率模型训练方法，其特征在于，所述基于所述对比损失函数和所述L1损失函数构建总损失函数，包括：
为所述对比损失函数和所述L1损失函数分配相应的权重系数；
利用所述权重系数分别对所述对比损失函数和所述L1损失函数进行相应的加权，以构建总损失函数。
5.一种图像超分辨率重建方法，其特征在于，包括：
获取待重建低分辨率图像；
利用如权利要求1至4任一项所述的超分辨率模型训练方法训练得到的超分辨率模型对所述待重建低分辨率图像进行处理，以得到相应的超分辨率图像。
6.一种超分辨率模型训练装置，其特征在于，包括
特征提取模块，用于获取对原始分辨率图像进行下采样后得到的下采样图像，并对所述下采样图像进行特征提取以得到初始特征图；
对比损失函数构建模块，用于按照预设采样比率对所述初始特征图进行两次随机采样，分别得到第一特征图和第二特征图，基于所述第一特征图和所述第二特征图构建对比损失函数；
L1损失函数构建模块，用于利用预设上采样方法对所述初始特征图进行处理得到超分辨率图像，基于所述原始分辨率图像和所述超分辨率图像构建L1损失函数；
模型训练模块，用于基于所述对比损失函数和所述L1损失函数构建总损失函数，并利用所述总损失函数对原始超分辨率模型进行训练，以得到训练后的超分辨率模型；
其中，所述L1损失函数构建模块，具体用于：利用插值方法对所述初始特征图的像素点进行扩充，得到扩充后特征图；将所述扩充后特征图输入至最后一层卷积层的滤波器数量为三的卷积神经网络，以便通过所述卷积神经网络对所述扩充后特征图进行处理以降低所述扩充后特征图的通道数，得到通道数为三的超分辨率图像；
并且，所述对比损失函数构建模块，具体用于：将所述第一特征图和所述第二特征图分别输入多层感知机网络，得到与所述第一特征图对应的第一输出值和与所述第二特征图对应的第二输出值；基于所述第一特征图和所述第二特征图以及所述第一输出值和所述第二输出值构建对比损失函数。
7.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至4任一项所述的超分辨率模型训练方法的步骤。
8.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的超分辨率模型训练方法的步骤。
CN202210332655.3A 2022-03-31 2022-03-31 模型训练方法、超分辨率重建方法、装置、设备及介质 Active CN114494022B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210332655.3A CN114494022B (zh) 2022-03-31 2022-03-31 模型训练方法、超分辨率重建方法、装置、设备及介质
PCT/CN2022/122864 WO2023184913A1 (zh) 2022-03-31 2022-09-29 模型训练方法、超分辨率重建方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210332655.3A CN114494022B (zh) 2022-03-31 2022-03-31 模型训练方法、超分辨率重建方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114494022A CN114494022A (zh) 2022-05-13
CN114494022B true CN114494022B (zh) 2022-07-29

Family

ID=81487716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210332655.3A Active CN114494022B (zh) 2022-03-31 2022-03-31 模型训练方法、超分辨率重建方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN114494022B (zh)
WO (1) WO2023184913A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494022B (zh) * 2022-03-31 2022-07-29 苏州浪潮智能科技有限公司 模型训练方法、超分辨率重建方法、装置、设备及介质
US20240046527A1 (en) * 2022-08-02 2024-02-08 Alibaba Singapore Holding Private Limited End-to-end optimization of adaptive spatial resampling towards machine vision

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717851A (zh) * 2019-10-18 2020-01-21 京东方科技集团股份有限公司 图像处理方法及装置、神经网络的训练方法、存储介质
CN110992270A (zh) * 2019-12-19 2020-04-10 西南石油大学 基于注意力的多尺度残差注意网络图像超分辨率重建方法
CN112529150A (zh) * 2020-12-01 2021-03-19 华为技术有限公司 一种模型结构、模型训练方法、图像增强方法及设备
CN112734643A (zh) * 2021-01-15 2021-04-30 重庆邮电大学 一种基于级联网络的轻量图像超分辨率重建方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11869170B2 (en) * 2018-11-16 2024-01-09 Google Llc Generating super-resolution images using neural networks
CN111062872B (zh) * 2019-12-17 2021-02-05 暨南大学 一种基于边缘检测的图像超分辨率重建方法及系统
CN111626932B (zh) * 2020-05-07 2023-09-29 Tcl华星光电技术有限公司 图像的超分辨率重建方法及装置
CN113129231B (zh) * 2021-04-07 2023-05-30 中国科学院计算技术研究所 一种基于对抗生成网络生成高清图像的方法及系统
CN114494022B (zh) * 2022-03-31 2022-07-29 苏州浪潮智能科技有限公司 模型训练方法、超分辨率重建方法、装置、设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717851A (zh) * 2019-10-18 2020-01-21 京东方科技集团股份有限公司 图像处理方法及装置、神经网络的训练方法、存储介质
CN110992270A (zh) * 2019-12-19 2020-04-10 西南石油大学 基于注意力的多尺度残差注意网络图像超分辨率重建方法
CN112529150A (zh) * 2020-12-01 2021-03-19 华为技术有限公司 一种模型结构、模型训练方法、图像增强方法及设备
CN112734643A (zh) * 2021-01-15 2021-04-30 重庆邮电大学 一种基于级联网络的轻量图像超分辨率重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Practical Contrastive Learning Framework for Single Image Super-Resolution;Gang Wu 等;《Computer Vision and Pattern Recognition》;20211127;第1-11页 *
A Simple Framework for Contrastive Learning of Visual Representations;Ting Chen 等;《Proceedings of the 37th International Conference on Machine Learning》;20200701;第1597-1607页 *
基于深度学习的单幅图像超分辨率重建算法综述;李佳星 等;《自动化学报》;20211031;第47卷(第10期);全文 *

Also Published As

Publication number Publication date
WO2023184913A1 (zh) 2023-10-05
CN114494022A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN109389556B (zh) 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN114494022B (zh) 模型训练方法、超分辨率重建方法、装置、设备及介质
JP2013518336A (ja) 入力画像から増加される画素解像度の出力画像を生成する方法及びシステム
CN111105352A (zh) 超分辨率图像重构方法、系统、计算机设备及存储介质
CN109272452B (zh) 小波域中基于集团结构子带共同学习超分辨率网络的方法
CN109146813B (zh) 一种多任务图像重建方法、装置、设备和介质
CN109191411B (zh) 一种多任务图像重建方法、装置、设备和介质
WO2022042124A1 (zh) 超分辨率图像重建方法、装置、计算机设备和存储介质
CN112529776B (zh) 图像处理模型的训练方法、图像处理方法及装置
Wei et al. Improving resolution of medical images with deep dense convolutional neural network
CN108876716B (zh) 超分辨率重建方法及装置
CN114549308B (zh) 面向感知的具有大感受野的图像超分辨率重建方法及系统
CN112907448A (zh) 一种任意比率图像超分辨率方法、系统、设备及存储介质
CN113793286A (zh) 一种基于多阶注意力神经网络的媒体图像水印移除方法
CN114519667A (zh) 一种图像超分辨率重建方法及系统
CN113628115A (zh) 图像重建的处理方法、装置、电子设备和存储介质
Peng Super-resolution reconstruction using multiconnection deep residual network combined an improved loss function for single-frame image
Baccarelli et al. Twinned Residual Auto-Encoder (TRAE)—A new DL architecture for denoising super-resolution and task-aware feature learning from COVID-19 CT images
Singh et al. A content adaptive method of de-blocking and super-resolution of compressed images
CN110706167B (zh) 一种遥感图像待修复区域的精细补全处理方法及装置
CN113628114A (zh) 一种双通道稀疏编码的图像超分辨率重建方法
CN110895790A (zh) 基于后验降质信息估计的场景图像超分辨方法
CN114008661A (zh) 图像处理方法、装置及其计算机程序产品
CN111724292A (zh) 图像处理方法、装置、设备以及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant