CN113222855A - 一种图像恢复方法、装置和设备 - Google Patents

一种图像恢复方法、装置和设备 Download PDF

Info

Publication number
CN113222855A
CN113222855A CN202110594614.7A CN202110594614A CN113222855A CN 113222855 A CN113222855 A CN 113222855A CN 202110594614 A CN202110594614 A CN 202110594614A CN 113222855 A CN113222855 A CN 113222855A
Authority
CN
China
Prior art keywords
network
image
hyper
initial
degradation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110594614.7A
Other languages
English (en)
Other versions
CN113222855B (zh
Inventor
王伟
袁泽寰
王长虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youzhuju Network Technology Co Ltd
Original Assignee
Beijing Youzhuju Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youzhuju Network Technology Co Ltd filed Critical Beijing Youzhuju Network Technology Co Ltd
Priority to CN202110594614.7A priority Critical patent/CN113222855B/zh
Publication of CN113222855A publication Critical patent/CN113222855A/zh
Priority to PCT/CN2022/089429 priority patent/WO2022247568A1/zh
Application granted granted Critical
Publication of CN113222855B publication Critical patent/CN113222855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像恢复方法、装置和设备，根据待恢复的第一图像和目标条件网络确定第一图像的第一退化特征，根据第一退化特征调整目标超分网络的参数确定调整后的目标超分网络，从而根据第一图像和调整后的目标超分网络，获得第一图像恢复后的第二图像，该第二图像的质量高于第一图像的质量，目标条件网络用于提取图像的退化特征，目标超分网络用于恢复图像的质量。可见，利用描述待恢复图像退化情况的退化特征对超分网络进行自适应调整，使用调整后的超分网络对待恢复图像进行恢复，能够对各种退化模式以及退化参数下的低质量图像进行恢复，实现了泛化性和实用性较好的图像恢复效果，从而为各种计算机视觉任务提供了优质的数据来源。

Description

一种图像恢复方法、装置和设备
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像恢复方法、装置和设备。
背景技术
在各种计算机视觉任务(如视频分析、卫星监控、交通监管、刑事调查等应用)中，高质量的图像(如分辨率较高的图像)由于包含丰富的信息，所以具有重要的应用价值及研究前景。但是，在实际情况中，图像的采集、存储、传输等过程会不可避免受到外在条件限制或其它干扰，导致高质量的图像发生不同程度的质量退化。那么，将退化后的低质量图像恢复为高质量图像，是计算机视觉任务中重要的一环。
目前，图像恢复所采用的方法，都只能针对某种特定的退化实现图像的恢复，而实际导致产生低质量图像的退化模式以及退化参数是多种多样的，所以，目前的图像恢复方法无法普适性的实现所有低质量图像恢复的效果。
基于此，亟待提供一种图像恢复方法，能够对各种退化模式以及退化参数下的低质量图像进行恢复。
发明内容
本申请实施例提供了一种图像恢复方法、装置和设备，能够对各种退化的低质量图像进行恢复，实现泛化性和实用性较高的图像恢复效果，从而使得为各种计算机视觉任务提供优质数据来源成为可能。
第一方面，本申请实施例提供了一种图像恢复方法，包括：
根据待恢复的第一图像和目标条件网络，确定所述第一图像的第一退化特征，所述目标条件网络用于提取图像的退化特征；
根据所述第一退化特征调整目标超分网络的参数，确定调整后的目标超分网络，所述目标超分网络用于恢复图像的质量；
根据所述第一图像和所述调整后的目标超分网络，获得所述第一图像恢复后的第二图像，所述第二图像的质量高于所述第一图像的质量。
作为一个示例，所述目标超分网络和所述条件网络为分别利用样本数据库中的各类样本交替训练初始条件网络和初始超分网络获得的，其中，所述样本数据库为根据高质量的样本图像集合、退化模式和退化参数构建的，所述样本数据库中包括多类样本，每类样本中包括使用相同退化模式和退化参数对所述样本图像集合中的图像进行退化后所得的图像。
其中，所述退化模式包括：分辨率、噪声、模糊或压缩中的至少一种。
作为一个示例，所述样本数据库中包括第一类样本和第二类样本，所述分别利用所述样本数据库中的各类样本，交替训练初始条件网络和初始超分网络，包括：
利用所述第一类样本，交替训练初始条件网络和初始超分网络，获得中间条件网络和中间超分网络；
基于所述中间条件网络和所述中间超分网络，更新所述初始条件网络和所述初始超分网络，更新后的所述初始条件网络为所述中间条件网络，更新后的所述初始超分网络为所述中间超分网络；
利用所述第二类样本，交替训练所述初始条件网络和所述初始超分网络，获得所述目标条件网络和所述目标超分网络。
作为一个示例，所述利用所述第一类样本，交替训练初始条件网络和初始超分网络，获得中间条件网络和中间超分网络，包括：
根据所述第一类样本中的多张第三图像和所述初始条件网络，确定第二退化特征；
根据所述第二退化特征调整所述初始超分网络的参数，确定调整后的初始超分网络；
根据所述第一类样本中的第四图像和所述调整后的初始超分网络，确定输出结果；
基于所述输出结果，训练所述初始条件网络，获得所述中间条件网络；
基于所述中间条件网络和所述第一类样本，训练所述初始超分网络，获得所述中间超分网络。
其中，所述目标条件网络包括卷积层和平均池化层，所述目标超分网络包括卷积层、多个残差块和上采样函数，每个残差块包括卷积层。
作为一个示例，所述目标超分网络对应的初始超分网络的重建损失函数为：
Figure BDA0003090459250000031
所述目标条件网络对应的初始条件网络中的对比损失函数包括：
Figure BDA0003090459250000032
Figure BDA0003090459250000033
Figure BDA0003090459250000034
其中，所述Lres为重建损失函数，ILR为所述初始超分网络Fsr的输入图像，IHR为ILR退化前的图像，|| ||1用于计算1阶范数，p(τ)为采样函数，E用于计算期望，所述Linner为内部类损失函数，所述Lcross为交叉类损失函数，Lcon为对比损失函数，Xi、Xi’和Xj为所述初始条件网络Fc的输入图像，Xi和Xi’属于相同类样本，Xj与Xi属于不同类样本，px(τ)为针对样本图像集合X的采样函数，|| ||2用于计算1阶范数的平方。
第二方面，本申请实施例还提供了一种图像恢复装置，所述装置可以包括：第一确定单元、第二确定单元和获得单元。其中：
第一确定单元，用于根据待恢复的第一图像和目标条件网络，确定所述第一图像的第一退化特征，所述目标条件网络用于提取图像的退化特征；
第二确定单元，用于根据所述第一退化特征调整目标超分网络的参数，确定调整后的目标超分网络，所述目标超分网络用于恢复图像的质量；
获得单元，用于根据所述第一图像和所述调整后的目标超分网络，获得所述第一图像恢复后的第二图像，所述第二图像的质量高于所述第一图像的质量。
作为一个示例，所述目标超分网络和所述条件网络为分别利用样本数据库中的各类样本交替训练初始条件网络和初始超分网络获得的，其中，所述样本数据库为根据高质量的样本图像集合、退化模式和退化参数构建的，所述样本数据库中包括多类样本，每类样本中包括使用相同退化模式和退化参数对所述样本图像集合中的图像进行退化后所得的图像。
其中，所述退化模式包括：分辨率、噪声、模糊或压缩中的至少一种。
作为一个示例，所述样本数据库中包括第一类样本和第二类样本，所述分别利用所述样本数据库中的各类样本，交替训练初始条件网络和初始超分网络，包括：
利用所述第一类样本，交替训练初始条件网络和初始超分网络，获得中间条件网络和中间超分网络；
基于所述中间条件网络和所述中间超分网络，更新所述初始条件网络和所述初始超分网络，更新后的所述初始条件网络为所述中间条件网络，更新后的所述初始超分网络为所述中间超分网络；
利用所述第二类样本，交替训练所述初始条件网络和所述初始超分网络，获得所述目标条件网络和所述目标超分网络。
作为一个示例，所述利用所述第一类样本，交替训练初始条件网络和初始超分网络，获得中间条件网络和中间超分网络，包括：
根据所述第一类样本中的多张第三图像和所述初始条件网络，确定第二退化特征；
根据所述第二退化特征调整所述初始超分网络的参数，确定调整后的初始超分网络；
根据所述第一类样本中的第四图像和所述调整后的初始超分网络，确定输出结果；
基于所述输出结果，训练所述初始条件网络，获得所述中间条件网络；
基于所述中间条件网络和所述第一类样本，训练所述初始超分网络，获得所述中间超分网络。
其中，所述目标条件网络包括卷积层和平均池化层，所述目标超分网络包括卷积层、多个残差块和上采样函数，每个残差块包括卷积层。
作为一个示例，所述目标超分网络对应的初始超分网络的重建损失函数为：
Figure BDA0003090459250000041
所述目标条件网络对应的初始条件网络中的对比损失函数包括：
Figure BDA0003090459250000042
Figure BDA0003090459250000043
Figure BDA0003090459250000051
其中，所述Lres为重建损失函数，ILR为所述初始超分网络Fsr的输入图像，IHR为ILR退化前的图像，|| ||1用于计算1阶范数，p(τ)为采样函数，E用于计算期望，所述Linner为内部类损失函数，所述Lcross为交叉类损失函数，Lcon为对比损失函数，Xi、Xi’和Xj为所述初始条件网络Fc的输入图像，Xi和Xi’属于相同类样本，Xj与Xi属于不同类样本，px(τ)为针对样本图像集合X的采样函数，|| ||2用于计算1阶范数的平方。
第三方面，本申请实施例还提供了一种电子设备，所述电子设备包括：处理器和存储器；
所述存储器，用于存储指令或计算机程序；
所述处理器，用于执行所述存储器中的所述指令或计算机程序，以使得所述电子设备执行上述第一方面提供的方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述第一方面提供的方法。
由此可见，本申请实施例具有如下有益效果：
本申请实施例提供了一种图像恢复方法，执行该方法的图像恢复装置，在对质量较差的第一图像进行恢复时，先根据该待恢复的第一图像和目标条件网络，确定所述第一图像的第一退化特征，该目标条件网络为训练完成的、用于提取图像的退化特征；接着，根据该第一退化特征调整目标超分网络的参数，确定调整后的目标超分网络，该目标超分网络为训练完成的、用于恢复图像的质量；那么，该装置即可根据第一图像和调整后的目标超分网络，获得第一图像恢复后的第二图像，该第二图像的质量高于第一图像的质量。可见，通过本申请实施例提供的方法，利用描述待恢复图像退化情况的退化特征对超分网络进行自适应调整，使用调整后的超分网络对该待恢复图像进行恢复，能够对各种退化模式以及退化参数下的低质量图像进行恢复，实现了泛化性和实用性较好的图像恢复效果，从而为各种计算机视觉任务提供了优质的数据来源。
附图说明
图1为本申请实施例提供的一种图像恢复方法的流程示意图；
图2为本申请实施例提供的图像恢复方法进行图像恢复的示例的示意图；
图3为本申请实施例提供的一种图像恢复方法中训练过程的流程示意图；
图4为本申请实施例中初始条件网络和初始超分网络的结构示意图；
图5为本申请实施例中对初始条件网络和初始超分网络进行一轮训练的流程示意图；
图6为本申请实施例中一种图像恢复装置的结构示意图；
图7为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，并非对本申请的限定。另外，还需要说明的是，为便于描述，附图中仅示出了与本申请相关的部分，并非全部结构。
通常，高质量的图像在采集、存储、传输等过程会发生退化，退化的模式包括但不限于：分辨率、模糊、噪声、压缩。但是，许多计算机视觉任务(如视频分析、交通监管)，需要基于高质量的图像中丰富的信息完成，所以，将低质量图像恢复为高质量图像对于大多数计算机视觉任务非常重要。
图像超分技术，用于恢复出低质量图像的细节，得到体现更加丰富信息的高质量图像。目前，利用图像超分技术实现图像恢复的方法，包括但不限于：方法一，针对固定退化模式(例如三倍下采样的分辨率退化模式)退化的低质量图像进行重建，具体通过神经网络学习该固定退化模式下低质量图像和高质量图像之间的映射关系，从而借助该神经网络实现对该固定退化模式退化所得的低质量图像的恢复。但是，该方式一仅支持单一退化模式下退化所得的低质量图像的恢复，一旦低质量图像混合了多种退化模式，恢复性能就会大打折扣，无法很好的恢复出高质量图像。方法二，针对混合了多种退化模式的低质量图像，采用非盲超分算法进行图像恢复，具体过程包括：将样本中的各低质量图像和该低质量图像的退化情况(例如模糊核、噪声系数等)作为模型的输入，利用输出的高质量图像和已知的该低质量图像对应的高质量图像对模型进行训练；在完成模型训练后，依靠退化估计或人工调节的方式得到待恢复的低质量图像的退化情况，将该退化情况和该待恢复的低质量图像输入训练完成的模型，输出即为根据该方法二恢复出的高质量图像。该方法二虽然能够对多种退化模式退化的低质量图像进行恢复，但是，待恢复的低质量图像的退化情况往往不够准确，该退化情况和模型训练过程中样本图像的退化情况也不一致，导致使用该退化情况和训练完成的模型恢复图像的效果不佳。方法三，针对混合了多种退化模式的低质量图像，采用盲超分算法进行图像恢复，具体过程包括：首先，对待恢复的低质量图像进行去噪声操作、去模糊、去伪影等预处理操作，接着，使用方法一中的神经网络对预处理后的图像进行重建。该方法三虽然能够对多种退化模式退化的低质量图像进行恢复，但是，由于待恢复的低质量图像和模型训练过程中样本图像的退化情况不完全一致，导致该方法三无法适用所有的低质量图像的恢复。综上，目前的图像恢复方法，均存在泛化性和实用性较差的问题。
基于此，考虑到待恢复图像的退化模式和退化参数未知且退化情况复杂，所以，本申请实施例提供了一种图像恢复方法，能够对各种退化模式以及退化参数下的低质量图像进行高性能的恢复。具体而言，执行该方法的图像恢复装置，在利用对质量较差的第一图像进行恢复时，先根据该待恢复的第一图像和目标条件网络，确定所述第一图像的第一退化特征，该目标条件网络为训练完成的、用于提取图像的退化特征；接着，根据该第一退化特征调整目标超分网络的参数，确定调整后的目标超分网络，该目标超分网络为训练完成的、用于恢复图像的质量；那么，该装置即可根据第一图像和调整后的目标超分网络，获得第一图像恢复后的第二图像，该第二图像的质量高于第一图像的质量。
这样，通过本申请实施例提供的方法，利用描述待恢复图片退化情况的退化特征对超分网络进行自适应调整，使用调整后的超分网络对该待恢复图片进行恢复，能够对各种退化模式以及退化参数下的低质量图像进行恢复，实现了泛化性和实用性较好的图像恢复效果，从而使得为各种计算机视觉任务提供高质量的图像作为数据来源成为可能。
需要说明的是，实施本申请实施例的主体可以为具有本申请实施例提供的图像恢复功能的装置，该装置可以承载于终端，该终端可以是现有的、正在研发的或将来研发的、能够通过任何形式的有线和/或无线连接相互交互的任何用户设备，包括但不限于：现有的、正在研发的或将来研发的智能可穿戴设备、智能手机、非智能手机、平板电脑、膝上型个人计算机、桌面型个人计算机、小型计算机、中型计算机、大型计算机等。其中，实施本申请实施例的装置也可以包括目标条件网络和目标超分网络。
为便于理解本申请实施例提供的图像恢复方法的具体实现，下面将结合附图进行说明。
参见图1，该图为本申请实施例提供的一种图像恢复方法流程示意图，如果需要对待恢复的第一图像进行恢复得到高质量的第二图像，则，可以执行本申请实施例提供的该方法。如图1所示，该方法可以包括下述S101～S103：
S101，根据待恢复的第一图像和目标条件网络，确定所述第一图像的第一退化特征，所述目标条件网络用于提取图像的退化特征。
其中，第一图像可以是待恢复的任意一张低质量图像，该第一图像可以是高质量图像经过未知的至少一种退化模式退化所得的图像。
目标条件网络，是经过对初始条件网络进行训练得到的、用于提取待恢复图像的退化特征的模型，该目标条件网络的输入是待恢复图像，输出是该待恢复图像的退化特征。目标条件网络例如可以包括卷积层和平均池化层。其中，初始条件网络、目标条件网络的结构以及训练获得目标条件网络的相关描述可以参见下述图3以及图5所示实施例的介绍。
图像的退化特征，用于描述图像的退化情况，退化情况可以包括图像的退化模式以及各个退化模式对应的退化参数。退化特征可以表示为一个数组，例如：[128，1，1]。
作为一个示例，S101例如可以包括：将第一图像输入目标条件网络，该目标条件网络输出退化特征，将该退化特征记作该第一图像对应的第一退化特征。
作为另一个示例，为了降低图像恢复过程中的计算量和时间，S101例如也可以包括：将第一图像进行分块，得到若干图像块；将所述若干图像块中的某个或某几个图像块输入目标条件网络，该目标条件网络输出退化特征，该退化特征用于描述该目标条件网络所输入的图像块的退化情况，也用于描述第一图像的退化情况，所以，可以将该退化特征记作该第一图像对应的第一退化特征。
经过S101获得能够描述第一图像退化情况的第一退化特征，为后续调整目标超分网络以及利用调整后的目标超分网络实现对第一图像的恢复作好了准备。
S102，根据所述第一退化特征调整目标超分网络的参数，确定调整后的目标超分网络，所述目标超分网络用于恢复图像的质量。
目标超分网络，是经过对初始超分网络进行训练得到的、用于恢复图像质量的模型，该目标超分网络的输入是待恢复图像，输出是恢复后的图像。目标超分网络例如可以包括卷积层、多个残差块和上采样函数，每个残差块包括卷积层。其中，初始超分网络、目标超分网络的结构以及训练获得目标超分网络的相关描述可以参见下述图3以及图5所示实施例的介绍。
具体实现时，S102中利用第一退化特征调整目标超分网络的参数的过程例如可以包括：将第一退化特征作为目标超分网络的条件输入，对第一退化特征进行线性层变换后，再将变换后的退化特征和目标超分网络中的卷积层参数相乘，用计算所得乘积更新对应卷积层的参数，获得所述调整后的目标超分网络。
如此，通过S102实现了利用描述待恢复图片退化情况的退化特征对目标超分网络的自适应调整，为S103中基于调整后的目标超分网络对第一图片进行恢复提供了数据基础，使得该方法对各种退化模式以及退化参数下的低质量图像进行恢复成为可能。
S103，根据所述第一图像和所述调整后的目标超分网络，获得所述第一图像恢复后的第二图像，所述第二图像的质量高于所述第一图像的质量。
具体实现时，S103例如可以是：将第一图像输入到目标超分网络，该目标超分网络的图像即为S103中的第二图像，第二图像为经过本申请实施例提供的方法对第一图像进行恢复得到的结果，即，该第二图像为第一图像对应的高质量图像。
例如，将图2左侧的图像作为第一图像，经过本申请实施例提供的方法，可以得到图2右侧的图像(即第二图像)，通过对比可知，该第二图像的质量高于第一图像的质量。
需要说明的是，本申请实施例中提及的图像的质量，用于指示图像包括的信息的丰富程度。例如，图像的质量可以通过图像的分辨率体现，图像的分辨率越高，体现的细节越精细，则可以认为该图像的质量越高；反之，图像的分辨率越低，体现的细节越少，则可以认为该图像的质量越低。
在一些实现方式中，目标条件网络和目标超分网络可以作为图像恢复装置中两个独立的模型，那么，在执行该方法时，图像恢复装置可以先将第一图像输入目标条件网络，获得该目标条件网络的输出——第一退化特征；接着，图像恢复装置将第一图像和第一退化特征输入目标超分网络，获得该目标超分网络的输出——第二图像。
在另一些实现方式中，目标条件网络和目标超分网络可以作为图像恢复装置中的一个整体模型中的两个单元，那么，在执行该方法时，图像恢复装置可以将第一图像输入到该整体模型中，获得该整体模型的输出——第二图像，其中，该整体模型中的目标条件网络先根据第一图像获得该第一图像的第一退化特征，接着，利用第一退化特征对该整体模型中的目标超分网络的参数进行调整，然后，将第一图像输入该整体模型中调整后的目标超分网络，获得第二图像。
可见，通过本申请实施例提供的方法，考虑到待恢复图像的退化模式和退化参数未知且退化情况复杂，先利用条件网络获得低质量图像的退化特征，再利用描述待恢复图片退化情况的退化特征对超分网络进行自适应调整，才使用调整后的超分网络对该待恢复图片进行恢复，确保对各种退化模式以及退化参数下的低质量图像进行高性能的恢复，实现了泛化性和实用性较好的图像恢复效果，从而使得为各种计算机视觉任务提供高质量的图像作为数据来源成为可能。
可以理解的是，在图1所示实施例实施之前，还需要对构建的初始条件网络和初始超分网络进行训练以获得目标条件网络和目标超分网络。参见图3，在使用目标条件网络和目标超分网络执行上述S101～S103之前，本申请实施例还可以包括下述S301～S302：
S301，根据高质量的样本图像集合、退化模式和退化参数，构建样本数据库，所述样本数据库中包括多类样本，每类样本中包括使用相同退化模式和退化参数对所述样本图像集合中的图像进行退化后所得的图像。
为了使得训练所得的目标条件网络和目标超分网络能够适用各种退化情况下的低质量图像的恢复，本申请实施例中先基于S301构建样本数据库，该样本数据库中包括了丰富的样本，确保训练所得目标条件网络和目标超分网络的使用效果和实用性。
具体实现时，针对高质量的样本图像集合中的图像，分别按照不同的退化模式和退化参数的组合进行退化，得到各种退化模式和退化参数进行退化后的一组低质量样本图像；将每种退化模式和退化参数退化后的一组低质量样本图像记作一类样本，多类样本存入样本数据库中，得到构建的样本数据库，该样本数据库中的图像即为对初始条件网络和初始超分网络的训练数据。
其中，退化模式包括但不限于：分辨率、噪声、模糊或压缩中的至少一种。其中，退化模式包括分辨率时，退化参数可以对应不同的降采样倍数，如，2倍、4倍、……；退化模式包括噪声时，退化参数可以对应不同的高斯白噪声系数，如：20、30、……；退化模式包括模糊时，退化参数可以对应不同的高斯模糊核，如：0.5、1.5、……；退化模式包括压缩时，退化参数可以对应不同的压缩算法。
需要说明的是，构建样本数据库时，可以预设不同的退化模式和退化参数组合，每个组合下对高质量的样本图像集合中的图像进行退化，得到该组合对应的一类样本，该类样本不仅包括采用该组合的退化模式和退化参数进行退化后所得的低质量图像，还包括该组合的退化模式和退化参数。
例如，假设高质量的样本图像集合Y包括10张图像：HR0、HR1、……、HR9，退化模式和退化参数的组合包括：组合1{高斯模糊核G1、噪声系数N1、下采样倍数A1}、组合2{高斯模糊核G2、下采样倍数A2}、组合3{高斯模糊核G1、噪声系数N1、下采样倍数A3和压缩算法S}，那么，经过S301构建所得的样本数据库可以包括：第一类样本X1、第二类样本X2和第三类样本X3，每类样本包括10张低质量图像，每张低质量图像为一张样本图像集合Y中的图像经过该类样本对应的组合进行退化后得到的。其中，第一类样本X1与组合1对应，该第一类样本X1可以包括10张图像：LR10、LR11、……、LR19；第二类样本X2与组合2对应，该第二类样本X2可以包括10张图像：LR20、LR21、……、LR29；第三类样本X3与组合3对应，该第三类样本X3可以包括10张图像：LR30、LR31、……、LR39。以LR10为例，该LR10可以是对HR0经过σG1的模糊处理、σN1的噪声处理和A1倍下采样后得到的图像，其中，σ为方差。
该示例中，经过S301所得的样本数据库中包括：该第一类样本X1{LR10、LR11、……、LR19}-组合1{高斯模糊核G1、噪声系数N1、下采样倍数A1}、第二类样本X2{LR20、LR21、……、LR29}-组合2{高斯模糊核G2、下采样倍数A2}、以及第三类样本X3{LR30、LR31、……、LR39}-组合3{高斯模糊核G1、噪声系数N1、下采样倍数A3和压缩算法S}。
需要说明的是，在S302之前，还需要待训练的构建初始条件网络和初始超分网络。初始条件网络可以包括卷积层和平均池化层，初始超分网络可以包括卷积层、多个残差块和上采样函数，每个残差块包括卷积层。
作为一个示例，初始条件网络可以采用4层卷积层和2层平均池化层的结构，初始超分网络可以采用2层卷积层、10个残差块(如SRResNet-10)和1个上采样函数(英文：Upsampling)。
例如，参见图4所示，初始条件网络100可以包括：卷积层1、线性整流函数(英文：ReLU)1、卷积层2、线性整流函数2、平均池化层1、卷积层3、线性整流函数3、卷积层4、线性整流函数4和平均池化层2，其中，卷积层1和卷积层2的参数可以是K3n64s1，即，该卷积层1和卷积层2的规模为：卷积核为3，通道为64，步长为1。平均池化层1的参数可以是K2s2，即，该平均池化层1的规模为：卷积核为2，步长为2。卷积层3和卷积层4的参数可以是K3n128s1，即，该卷积层3和卷积层4的规模为：卷积核为3，通道为128，步长为1。平均池化层2的参数可以是Kh/2sw/2，即，该平均池化层2的规模为：卷积核为h/2，步长为w/2，其中，h和w分别为该初始条件网络100输入图像的高度和宽度。该初始条件网络100的输入如果是某类样本中的n张图像中的高度为h宽度为w的图像块，通道为3，那么，该初始条件网络100输出的为这n张图像的退化特征[128,1,1]。
仍然参加图4，初始超分网络200可以包括：全连接层1、全连接层2、……、全连接层20、残差块1、残差块2、……、残差块10、卷积层5、卷积层6和上采样函数1。每个残差块包括2个卷积层和一个线性整流函数，例如，残差块1包括：卷积层7、线性整流函数5和卷积层8。其中，20个全连接层的输入均为初始条件网络100输出的退化特征，20个输出分别连接到10个残差块的20个卷积层中，全连接层和残差块中的卷积层一一对应。初始超分网络200的输入包括：条件输入和超分输入，其中，条件输入为初始条件网络100输出的退化特征，超分输入为与初始条件网络100输入的图像属于同类样本的图像，超分输入依次经过卷积层5、10个残差块、上采用函数1和卷积层6，获得该初始超分网络的输出，即，超分输入经过该初始超分网络200进行图像恢复得到的图像。
在一些实现方式中，上述初始超分网络200的重建损失函数可以表示为下述公式(1)：
Figure BDA0003090459250000131
其中，所述Lres为重建损失函数，该Lres可以结合初始超分网络200的输出图像ISR和输入图像ILR对应的高质量图像IHR，对初始超分网络200的参数进行训练。公式(1)中，ILR为所述初始超分网络Fsr 200的输入图像，IHR为ILR退化前的图像，|| ||1用于计算1阶范数，p(τ)为采样函数，E用于计算期望。
初始条件网络100中的对比损失函数可以包括下述公式(2)～公式(4)：
Figure BDA0003090459250000132
Figure BDA0003090459250000133
Figure BDA0003090459250000134
其中，所述Linner为内部类损失函数，所述Lcross为交叉类损失函数，所述Lcon为对比损失函数。上述公式(2)和公式(3)中，Xi、Xi’和Xj为所述初始条件网络Fc 100的输入图像，Xi和Xi’属于相同类样本，Xj与Xi属于不同类样本，px(τ)为针对样本图像集合X的采样函数，|| ||2用于计算1阶范数的平方。
如此，不仅基于S301构建了样本数据库，还构建了待训练的初始条件网络和初始超分网络，为S302获得目标条件网络和目标超分网络作好了准备。
S302，分别利用所述样本数据库中的各类样本，交替训练初始条件网络和初始超分网络，获得所述目标条件网络和所述目标超分网络。
针对样本数据库中的多类样本中的每类样本，均可以被用于交替训练初始条件网络和初始超分网络，每类样本对初始条件网络和初始超分网络的训练过程类似，所以，下文中以样本数据库中的两类样本对初始条件网络和初始超分网络进行训练为例，阐述本申请实施例中的模型训练过程。
具体实现时，假设样本数据库中包括第一类样本和第二类样本，那么，S302例如可以包括：S3021，利用第一类样本，交替训练初始条件网络和初始超分网络，获得中间条件网络和中间超分网络；S3022，基于所述中间条件网络和所述中间超分网络，更新所述初始条件网络和所述初始超分网络，更新后的所述初始条件网络为所述中间条件网络，更新后的所述初始超分网络为所述中间超分网络；S3023，利用所述第二类样本，交替训练所述初始条件网络和所述初始超分网络，获得所述目标条件网络和所述目标超分网络。
其中，每类样本对初始条件网络和初始超分网络的交替训练过程类似，所以，为了更加清楚的说明具体的训练过程，可以参见图5，以利用第一类样本交替训练初始条件网络和初始超分网络(S3021)为例，介绍每类样本对初始条件网络和初始超分网络的训练过程，例如可以包括：
S501，根据所述第一类样本中的多张第三图像和所述初始条件网络，确定第二退化特征。
S502，根据所述第二退化特征调整所述初始超分网络的参数，确定调整后的初始超分网络。
S503，根据所述第一类样本中的第四图像和所述调整后的初始超分网络，确定输出结果。
S504，基于所述输出结果，训练所述初始条件网络，获得所述中间条件网络。
S505，基于所述中间条件网络和所述第一类样本，训练所述初始超分网络，获得所述中间超分网络。
具体实现时，S501例如可以是图像恢复装置先从第一类样本中选择若干张(如5张)第三图像，将所选中的第三图像输入到初始条件网络中，该初始条件网络的输出即为所输入的多张第三图像对应的第二退化特征。其中，从第一类样本中选择第三图像，可以是随机选择，也可以是按照其他可能的预设规律选择，在本申请实施例中不作限定。可选地，为了节约运算资源，也可以将所选中的若干第三图像分别进行分块，并将每个第三图像的一个或多个图像块输入到初始条件网络中，以获得第二退化特征。需要说明的是，初始条件网络的输入是第三图像还是第三图像的图像块，可以根据初始条件网络构建时的结构确定，是否分块以及分块的大小，均不影响本申请实施例的实现。
接着，S502例如可以是图像恢复装置将初始条件网络输出的第二退化特征作为初始超分网络的输入条件，输出到初始超分网络，调整初始超分网络中各残差块中卷积层的参数，得到调整后的初始超分网络。以图4所示的初始条件网络100和初始超分网络200为例，第二退化特征分别输入到全连接层1～全连接层20，全连接层1～全连接层20对该第二退化特征进行线性层变换后，分别将变换后的结果输入到残差块中的卷积层，与对应卷积层的参数相乘，乘积作为该卷积层更新后的参数，例如，全连接层1输出的变换后的结果输入残差块1中的卷积层7，卷积层7更新后的参数等于该卷积层7原来的参数和全连接层1输出的结果的乘积。如此，基于第二退化特征对各残差块中的卷积层的参数进行更新后，得到的初始超分网络即为该S502中“调整后的初始超分网络”。
然后，图像恢复装置可以从第一类样本中选择至少一张第四图像，然后将该第四图像作为超分输入，输入到所述调整后的初始超分网络，该初始超分网络的输出结果为第五图像。那么，S503和S504之间，初始超分网络还可以基于该输出结果、该第四图像在高质量的样本图像集合中对应的图像和重建损失函数，调整该初始超分网络中的参数，得到更新的初始超分网络。
接着，S504中例如可以基于S503中的输出结果训练所述初始条件网络，获得所述中间条件网络。作为一个示例，S504例如可以包括：S1，将第一类样本中的若干第三图像输入初始条件网络获得第二退化特征；S2，将第一类样本中的若干第六图像输入初始条件网络获得第三退化特征；S3，将第二类样本中的若干第七图像输入初始条件网络获得第四退化特征；S4，根据第二退化特征、第三退化特征和内部类损失函数确定第一结果，根据第二退化特征(或第三退化特征)、第四退化特征和交叉类损失函数确定第二结果，从而，根据第一结果、第二结果和对比损失函数调整所述初始条件网络的参数，得到中间条件网络。
此时，可以将中间条件网络视作训练好的条件网络，将第一类样本中的若干图像输入到该中间条件网络中，利用该中间条件网络输出的退化特征调整初始超分网络，并将该第一样本中的任意一张图像输入调整后的初始超分网络，利用该初始超分网络的输出图像和该初始超分网络的输入图像在高质量的样本图像集合中对应的图像和重建损失函数，调整该初始超分网络中的参数，得到所述中间超分网络。
可见，通过上述S501～S505的实现方式，获得了利用第一类样本训练初始条件网络和初始超分网络所得的中间条件网络和中间超分网络。接着，可以将中间条件网络记作下次更新的初始条件网络，将中间超分网络记作下次更新的初始超分网络。然后，进入下一轮训练，例如，利用所述未参与训练的下一类样本，交替训练所述初始条件网络和所述初始超分网络，获得中间条件网络和中间超分网络，接着返回执行“将中间条件网络记作下次更新的初始条件网络，将中间超分网络记作下次更新的初始超分网络”以及“利用所述未参与训练的下一类样本，交替训练所述初始条件网络和所述初始超分网络，获得中间条件网络和中间超分网络”，直到样本数据库中的所有类样本均参与训练，结束对该初始超分网络和初始条件网络的训练，将最后一类样本训练后的所得的中间条件网络和中间超分网络记作目标条件网络和目标超分网络。
需要说明的是，上述S3021可以视作基于第一类样本的一轮训练，S3023可以视作基于第二类样本的另一轮训练。上述S3021～S3023具体是以样本数据库仅包括两类样本(即第一类样本和第二类样本)为例的表述。
需要说明的是，如果初始条件网络的输入是图像，那么，目标条件网络的输入也可以为图像；如果初始条件网络的输入是图像中的图像块，那么，目标条件网络的输入也可以为图像中的图像块。
需要说明的是，初始条件网络和初始超分网络可以作为图像恢复装置中两个独立的模型；或者，初始条件网络和初始超分网络也可以作为图像恢复装置中的一个整体模型中的两个单元，在本申请实施例不作具体限定。
可见，通过本申请实施例提供的方法，能够合理的构建样本数据库、初始条件网络和初始超分网络，使得基于尽可能丰富的样本对合理的网络进行训练，得到适用于各种退化情况的目标条件网络和目标超分网络，该目标条件网络和目标超分网络具有良好的泛化性和实用性，为本申请实施例中对退化情况未知且复杂的图像的恢复提供了基础，实现了泛化性和实用性较好的图像恢复效果，从而使得为各种计算机视觉任务提供高质量的图像作为数据来源成为可能。
相应的，本申请实施例还提供了一种图像恢复装置600，如图6所示。该装置900可以包括：第一确定单元601、第二确定单元602和获得单元603。
其中：
第一确定单元601，用于根据待恢复的第一图像和目标条件网络，确定所述第一图像的第一退化特征，所述目标条件网络用于提取图像的退化特征；
第二确定单元602，用于根据所述第一退化特征调整目标超分网络的参数，确定调整后的目标超分网络，所述目标超分网络用于恢复图像的质量；
获得单元603，用于根据所述第一图像和所述调整后的目标超分网络，获得所述第一图像恢复后的第二图像，所述第二图像的质量高于所述第一图像的质量。
作为一个示例，所述目标超分网络和所述条件网络为分别利用样本数据库中的各类样本交替训练初始条件网络和初始超分网络获得的，其中，所述样本数据库为根据高质量的样本图像集合、退化模式和退化参数构建的，所述样本数据库中包括多类样本，每类样本中包括使用相同退化模式和退化参数对所述样本图像集合中的图像进行退化后所得的图像。
其中，所述退化模式包括：分辨率、噪声、模糊或压缩中的至少一种。
作为一个示例，所述样本数据库中包括第一类样本和第二类样本，所述分别利用所述样本数据库中的各类样本，交替训练初始条件网络和初始超分网络，包括：
利用所述第一类样本，交替训练初始条件网络和初始超分网络，获得中间条件网络和中间超分网络；
基于所述中间条件网络和所述中间超分网络，更新所述初始条件网络和所述初始超分网络，更新后的所述初始条件网络为所述中间条件网络，更新后的所述初始超分网络为所述中间超分网络；
利用所述第二类样本，交替训练所述初始条件网络和所述初始超分网络，获得所述目标条件网络和所述目标超分网络。
作为一个示例，所述利用所述第一类样本，交替训练初始条件网络和初始超分网络，获得中间条件网络和中间超分网络，包括：
根据所述第一类样本中的多张第三图像和所述初始条件网络，确定第二退化特征；
根据所述第二退化特征调整所述初始超分网络的参数，确定调整后的初始超分网络；
根据所述第一类样本中的第四图像和所述调整后的初始超分网络，确定输出结果；
基于所述输出结果，训练所述初始条件网络，获得所述中间条件网络；
基于所述中间条件网络和所述第一类样本，训练所述初始超分网络，获得所述中间超分网络。
其中，所述目标条件网络包括卷积层和平均池化层，所述目标超分网络包括卷积层、多个残差块和上采样函数，每个残差块包括卷积层。
作为一个示例，所述目标超分网络对应的初始超分网络的重建损失函数为：
Figure BDA0003090459250000181
所述目标条件网络对应的初始条件网络中的对比损失函数包括：
Figure BDA0003090459250000182
Figure BDA0003090459250000183
Figure BDA0003090459250000191
其中，所述Lres为重建损失函数，ILR为所述初始超分网络Fsr的输入图像，IHR为ILR退化前的图像，||||1用于计算1阶范数，p(τ)为采样函数，E用于计算期望，所述Linner为内部类损失函数，所述Lcross为交叉类损失函数，Lcon为对比损失函数，Xi、Xi’和Xj为所述初始条件网络Fc的输入图像，Xi和Xi’属于相同类样本，Xj与Xi属于不同类样本，px(τ)为针对样本图像集合X的采样函数，|| ||2用于计算1阶范数的平方。
需要说明的是，该装置600与上述图1、图3以及图5所示的方法对应，该装置600的实现方式以及达到的效果，可以参见上述图1、图3以及图5所示的实施例的相关描述。
此外，本申请实施例还提供了一种电子设备700，如图7所示。该电子设备700包括：处理器701和存储器702；其中：
所述存储器702，用于存储指令或计算机程序；
所述处理器701，用于执行所述存储器702中的所述指令或计算机程序，以使得所述电子设备执行上述图1、图3以及图5所示的实施例提供的方法。
此外，本申请实施例还提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述图1、图3以及图5所示的实施例提供的方法。
本申请实施例中提到的“第一图像”、“第一类样本”等名称中的“第一”只是用来做名字标识，并不代表顺序上的第一。该规则同样适用于“第二”等。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器(英文：read-only memory，ROM)/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如路由器等网络通信设备)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例和设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本申请的优选实施方式，并非用于限定本申请的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种图像恢复方法，其特征在于，包括：
根据待恢复的第一图像和目标条件网络，确定所述第一图像的第一退化特征，所述目标条件网络用于提取图像的退化特征；
根据所述第一退化特征调整目标超分网络的参数，确定调整后的目标超分网络，所述目标超分网络用于恢复图像的质量；
根据所述第一图像和所述调整后的目标超分网络，获得所述第一图像恢复后的第二图像，所述第二图像的质量高于所述第一图像的质量。
2.根据权利要求1所述的方法，其特征在于，所述目标超分网络和所述条件网络为分别利用样本数据库中的各类样本交替训练初始条件网络和初始超分网络获得的，其中，所述样本数据库为根据高质量的样本图像集合、退化模式和退化参数构建的，所述样本数据库中包括多类样本，每类样本中包括使用相同退化模式和退化参数对所述样本图像集合中的图像进行退化后所得的图像。
3.根据权利要求2所述的方法，其特征在于，所述退化模式包括：分辨率、噪声、模糊或压缩中的至少一种。
4.根据权利要求2所述的方法，其特征在于，所述样本数据库中包括第一类样本和第二类样本，所述分别利用所述样本数据库中的各类样本，交替训练初始条件网络和初始超分网络，包括：
利用所述第一类样本，交替训练初始条件网络和初始超分网络，获得中间条件网络和中间超分网络；
基于所述中间条件网络和所述中间超分网络，更新所述初始条件网络和所述初始超分网络，更新后的所述初始条件网络为所述中间条件网络，更新后的所述初始超分网络为所述中间超分网络；
利用所述第二类样本，交替训练所述初始条件网络和所述初始超分网络，获得所述目标条件网络和所述目标超分网络。
5.根据权利要求4所述的方法，其特征在于，所述利用所述第一类样本，交替训练初始条件网络和初始超分网络，获得中间条件网络和中间超分网络，包括：
根据所述第一类样本中的多张第三图像和所述初始条件网络，确定第二退化特征；
根据所述第二退化特征调整所述初始超分网络的参数，确定调整后的初始超分网络；
根据所述第一类样本中的第四图像和所述调整后的初始超分网络，确定输出结果；
基于所述输出结果，训练所述初始条件网络，获得所述中间条件网络；
基于所述中间条件网络和所述第一类样本，训练所述初始超分网络，获得所述中间超分网络。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述目标条件网络包括卷积层和平均池化层，所述目标超分网络包括卷积层、多个残差块和上采样函数，每个残差块包括卷积层。
7.根据权利要求1至5任一项所述的方法，其特征在于，所述目标超分网络对应的初始超分网络的重建损失函数为：
Figure FDA0003090459240000021
所述目标条件网络对应的初始条件网络中的对比损失函数包括：
Figure FDA0003090459240000022
Figure FDA0003090459240000023
Figure FDA0003090459240000024
其中，所述Lres为重建损失函数，ILR为所述初始超分网络Fsr的输入图像，IHR为ILR退化前的图像，||||1用于计算1阶范数，p(τ)为采样函数，E用于计算期望，所述Linner为内部类损失函数，所述Lcross为交叉类损失函数，Lcon为对比损失函数，Xi、Xi’和Xj为所述初始条件网络Fc的输入图像，Xi和Xi’属于相同类样本，Xj与Xi属于不同类样本，px(τ)为针对样本图像集合X的采样函数，||||2用于计算1阶范数的平方。
8.一种图像恢复装置，其特征在于，所述装置包括：
第一确定单元，用于根据待恢复的第一图像和目标条件网络，确定所述第一图像的第一退化特征，所述目标条件网络用于提取图像的退化特征；
第二确定单元，用于根据所述第一退化特征调整目标超分网络的参数，确定调整后的目标超分网络，所述目标超分网络用于恢复图像的质量；
获得单元，用于根据所述第一图像和所述调整后的目标超分网络，获得所述第一图像恢复后的第二图像，所述第二图像的质量高于所述第一图像的质量。
9.一种电子设备，其特征在于，所述电子设备包括：处理器和存储器；
所述存储器，用于存储指令或计算机程序；
所述处理器，用于执行所述存储器中的所述指令或计算机程序，以使得所述电子设备执行权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，包括指令，当其在计算机上运行时，使得计算机执行以上权利要求1至7任一项所述的方法。
CN202110594614.7A 2021-05-28 2021-05-28 一种图像恢复方法、装置和设备 Active CN113222855B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110594614.7A CN113222855B (zh) 2021-05-28 2021-05-28 一种图像恢复方法、装置和设备
PCT/CN2022/089429 WO2022247568A1 (zh) 2021-05-28 2022-04-27 一种图像恢复方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110594614.7A CN113222855B (zh) 2021-05-28 2021-05-28 一种图像恢复方法、装置和设备

Publications (2)

Publication Number Publication Date
CN113222855A true CN113222855A (zh) 2021-08-06
CN113222855B CN113222855B (zh) 2023-07-11

Family

ID=77099487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110594614.7A Active CN113222855B (zh) 2021-05-28 2021-05-28 一种图像恢复方法、装置和设备

Country Status (2)

Country Link
CN (1) CN113222855B (zh)
WO (1) WO2022247568A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114584675A (zh) * 2022-05-06 2022-06-03 中国科学院深圳先进技术研究院 一种自适应视频增强方法和装置
CN115115512A (zh) * 2022-06-13 2022-09-27 荣耀终端有限公司 一种图像超分网络的训练方法及装置
CN115409716A (zh) * 2022-11-01 2022-11-29 杭州网易智企科技有限公司 视频处理方法、装置、存储介质及设备
WO2022247568A1 (zh) * 2021-05-28 2022-12-01 北京有竹居网络技术有限公司 一种图像恢复方法、装置和设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977774A (zh) * 2019-02-25 2019-07-05 中国科学技术大学 一种基于自适应卷积的快速目标检测方法
CN110120011A (zh) * 2019-05-07 2019-08-13 电子科技大学 一种基于卷积神经网络和混合分辨率的视频超分辨方法
US20200242515A1 (en) * 2019-01-24 2020-07-30 Alibaba Group Holding Limited Systems and methods for deep-learning based super-resolution using multiple degradations on-demand learning
CN112419151A (zh) * 2020-11-19 2021-02-26 北京有竹居网络技术有限公司 图像退化处理方法、装置、存储介质及电子设备
CN112750081A (zh) * 2021-01-18 2021-05-04 北京小米松果电子有限公司 图像处理方法、装置及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047044B (zh) * 2019-03-21 2021-01-29 深圳先进技术研究院 一种图像处理模型的构建方法、装置及终端设备
CN111028174B (zh) * 2019-12-10 2023-08-04 深圳先进技术研究院 一种基于残差连接的多维图像复原方法和设备
CN113222855B (zh) * 2021-05-28 2023-07-11 北京有竹居网络技术有限公司 一种图像恢复方法、装置和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200242515A1 (en) * 2019-01-24 2020-07-30 Alibaba Group Holding Limited Systems and methods for deep-learning based super-resolution using multiple degradations on-demand learning
CN109977774A (zh) * 2019-02-25 2019-07-05 中国科学技术大学 一种基于自适应卷积的快速目标检测方法
CN110120011A (zh) * 2019-05-07 2019-08-13 电子科技大学 一种基于卷积神经网络和混合分辨率的视频超分辨方法
CN112419151A (zh) * 2020-11-19 2021-02-26 北京有竹居网络技术有限公司 图像退化处理方法、装置、存储介质及电子设备
CN112750081A (zh) * 2021-01-18 2021-05-04 北京小米松果电子有限公司 图像处理方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
敬琳萍: "基于卷积神经网络的视频超分辨技术研究" *
敬琳萍: "基于卷积神经网络的视频超分辨技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022247568A1 (zh) * 2021-05-28 2022-12-01 北京有竹居网络技术有限公司 一种图像恢复方法、装置和设备
CN114584675A (zh) * 2022-05-06 2022-06-03 中国科学院深圳先进技术研究院 一种自适应视频增强方法和装置
CN115115512A (zh) * 2022-06-13 2022-09-27 荣耀终端有限公司 一种图像超分网络的训练方法及装置
CN115115512B (zh) * 2022-06-13 2023-10-03 荣耀终端有限公司 一种图像超分网络的训练方法及装置
CN115409716A (zh) * 2022-11-01 2022-11-29 杭州网易智企科技有限公司 视频处理方法、装置、存储介质及设备

Also Published As

Publication number Publication date
WO2022247568A1 (zh) 2022-12-01
CN113222855B (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
CN113222855B (zh) 一种图像恢复方法、装置和设备
CN111028177B (zh) 一种基于边缘的深度学习图像去运动模糊方法
CN109389552B (zh) 一种基于上下文相关多任务深度学习的图像超分辨算法
CN108022212B (zh) 高分辨率图片生成方法、生成装置及存储介质
CN112767251B (zh) 基于多尺度细节特征融合神经网络的图像超分辨率方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN107133923B (zh) 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法
CN111861894B (zh) 基于生成式对抗网络的图像去运动模糊方法
CN112541864A (zh) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN112164011B (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
CN107464217B (zh) 一种图像处理方法及装置
CN109146813B (zh) 一种多任务图像重建方法、装置、设备和介质
CN109191411B (zh) 一种多任务图像重建方法、装置、设备和介质
CN113096013B (zh) 基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统
CN113450290A (zh) 基于图像修补技术的低照度图像增强方法及系统
CN113674191A (zh) 一种基于条件对抗网络的弱光图像增强方法和装置
CN112950480A (zh) 一种融合多感受野和密集残差注意的超分辨率重建方法
CN114418853A (zh) 基于相似图像检索的图像超分辨率优化方法、介质及设备
WO2021042774A1 (zh) 图像恢复方法、图像恢复网络训练方法、装置和存储介质
CN113362338A (zh) 铁轨分割方法、装置、计算机设备和铁轨分割处理系统
Yang et al. Image super-resolution reconstruction based on improved Dirac residual network
CN115147274A (zh) 获取图像超分辨率方法、获取系统设备以及存储介质
CN114897711A (zh) 一种视频中图像处理方法、装置、设备及存储介质
CN113763268A (zh) 人脸图像盲修复方法及系统
Pan et al. ChebyLighter: Optimal Curve Estimation for Low-light Image Enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant