CN112862681B - 一种超分辨率方法、装置、终端设备及存储介质 - Google Patents

一种超分辨率方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN112862681B
CN112862681B CN202110130561.3A CN202110130561A CN112862681B CN 112862681 B CN112862681 B CN 112862681B CN 202110130561 A CN202110130561 A CN 202110130561A CN 112862681 B CN112862681 B CN 112862681B
Authority
CN
China
Prior art keywords
resolution
image
sub
super
complexity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110130561.3A
Other languages
English (en)
Other versions
CN112862681A (zh
Inventor
孔祥涛
赵恒远
董超
乔宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202110130561.3A priority Critical patent/CN112862681B/zh
Publication of CN112862681A publication Critical patent/CN112862681A/zh
Priority to PCT/CN2021/137582 priority patent/WO2022160980A1/zh
Application granted granted Critical
Publication of CN112862681B publication Critical patent/CN112862681B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种超分辨率方法、装置、终端设备及存储介质，涉及深度学习技术领域，能够降低计算量。该超分辨率方法包括：将待处理的低分辨率图像输入已训练的分类超分网络模型中处理，输出得到与低分辨率图像对应的高分辨率图像；其中，分类超分网络模型包括分类模型和复杂度不同的多个超分辨率网络模型，分类超分网络模型对低分辨率图像的处理过程包括：将低分辨率图像切割为多个子图像；针对每个子图像，根据分类模型确定子图像的复杂度，并将子图像输入到多个超分辨率网络模型中与子图像的复杂度对应的超分辨率网络模型中处理，输出得到子图像的重建图像；将每个子图像的重建图像进行拼接，得到高分辨率图像。

Description

一种超分辨率方法、装置、终端设备及存储介质
技术领域
本申请涉及深度学习技术领域，尤其涉及一种超分辨率方法、装置、终端设备及存储介质。
背景技术
超分辨率技术是指将低分辨率图像重建为高分辨率图像的技术。而基于深度学习的超分辨率算法是目前较常用的超分辨率方法。基于深度学习的超分辨率算法是将低分辨率图像切割为子图像，让后将各个子图像分别输入到超分辨率网络模型中处理，得到重建图像，在对各个子图像的重建图像进行拼接得到高分辨率图像。
目前，较为常用的超分辨率网络模型包括加速超分辨率卷积神经网络(Accelerating the Super-Resolution Convolutional Neural Network，FSRCNN)，快速，准确，轻量级超分辨率与级联剩余网络(Fast,Accurate,and Lightweight Super-Resolution with Cascading Residual Network，CARN)，照片-现实的单一图像超分辨率使用生成对抗性网络(Photo-Realistic Single Image Super-Resolution Using aGenerative Adversarial Network，SRResNet)，图像超分辨率使用非常深的剩余信道注意网络(Image Super-Resolution Using Very Deep Residual Channel AttentionNetworks，RCAN)等。这些超分辨率网络模型在对低分辨率图像进行超分辨率处理的过程中，计算量较大，导致处理速度较慢。
发明内容
有鉴于此，本申请提供一种超分辨率方法、装置、终端设备及存储介质，能够减少超分辨率处理的计算量。
第一方面，本申请提供一种超分辨率方法，包括：将待处理的低分辨率图像输入已训练的分类超分网络模型中处理，输出得到与低分辨率图像对应的高分辨率图像；其中，分类超分网络模型包括分类模型和复杂度不同的多个超分辨率网络模型，分类超分网络模型对低分辨率图像的处理过程包括：
将低分辨率图像切割为多个子图像；针对每个子图像，根据分类模型确定子图像的复杂度类别，并将子图像输入到多个超分辨率网络模型中与复杂度类别对应的超分辨率网络模型中处理，输出得到子图像的重建图像；将多个子图像的重建图像进行拼接，得到与低分辨率图像对应的高分辨率图像。
可选的，该方法还包括：利用预设的第一损失函数、第二损失函数、第三损失函数和训练集对预设的初始网络模型进行训练，得到分类超分网络模型。
其中，初始网络模型包括初始分类模型和复杂度不同的多个初始超分辨率网络模型，训练集包括多个低分辨率图像样本和分别与每个低分辨率图像样本对应的高分辨率图像样本；第一损失函数用于减小初始网络模型输出的与低分辨率图像样本对应的高分辨率图像，和训练集中与低分辨率图像样本对应的高分辨率图像样本之间的误差；第二损失函数用于增大初始分类模型输出的多个概率值中的最大概率值与其他概率值之间的差值；第三损失函数用于减小初始分类模型确定的分别属于多个复杂度类别的子图像样本的数量差距。
可选的，在训练过程中，初始网络模型对训练集中的低分辨率图像样本的处理过程包括：
将低分辨率图像样本切割为多个子图像样本；针对每个子图像样本，将子图像样本输入初始分类模型中处理得到分类结果，分类结果包括子图像样本被归类到每个复杂度类别的概率值；将子图像样本分别输入到多个初始超分辨率网络模型中进行处理，得到多个初始超分辨率网络模型分别输出的第一重建图像样本；利用分类结果对多个第一重建图像样本进行加权求和，得到第二重建图像样本；将多个子图像样本的第二重建图像样本进行拼接，得到与低分辨率图像样本对应的高分辨率图像。
可选的，第二损失函数为：
Figure GDA0004107796460000031
其中，Lc是子图像样本x由初始分类模型处理后输出的属于每个复杂度类别的概率值之间的距离之和的负数，M是复杂度类别的数量，Pi(x)是子图像样本x被分到第i个复杂度类别的概率值，Pj(x)是子图像样本x被分到第j个复杂度类别的概率值。
可选的，第三损失函数为：
Figure GDA0004107796460000032
其中，La是批处理中初始分类模型分到每个复杂度类别的子图片样本数目和
Figure GDA0004107796460000033
之间的距离之和。其中B是批处理大小，Pi(xj)表示在一个批处理中第j张子图像样本被分到第i个复杂度类别的概率值，
Figure GDA0004107796460000034
表示一个批处理中所有被分到第i个复杂度类别的子图像样本的概率值之和。
可选的，多个超分辨率网络模型包括预设的第一超分辨率网络模型和至少一个经过网络参数删减处理的第一超分辨率网络模型。
第二方面，本申请提供一种超分辨率装置，包括：
获取单元，用于获取处理的低分辨率图像。
处理单元，用于将低分辨率图像输入已训练的分类超分网络模型中处理，输出得到与低分辨率图像对应的高分辨率图像。
其中，分类超分网络模型包括分类模型和复杂度不同的多个超分辨率网络模型，分类超分网络模型对低分辨率图像的处理过程包括：
将低分辨率图像切割为多个子图像；针对每个子图像，根据分类模型确定子图像的复杂度类别，并将子图像输入到多个超分辨率网络模型中与复杂度类别对应的超分辨率网络模型中处理，输出得到子图像的重建图像；将多个子图像的重建图像进行拼接，得到与低分辨率图像对应的高分辨率图像。
可选的，该超分辨率装置还包括训练单元：
训练单元，用于利用预设的第一损失函数、第二损失函数、第三损失函数和训练集对预设的初始网络模型进行训练，得到分类超分网络模型。
其中，初始网络模型包括初始分类模型和复杂度不同的多个初始超分辨率网络模型，训练集包括多个低分辨率图像样本和分别与每个低分辨率图像样本对应的高分辨率图像样本；第一损失函数用于减小初始网络模型输出的与低分辨率图像样本对应的高分辨率图像，和训练集中与低分辨率图像样本对应的高分辨率图像样本之间的误差；第二损失函数用于增大初始分类模型输出的多个概率值中的最大概率值与其他概率值之间的差值；第三损失函数用于减小初始分类模型确定的分别属于多个复杂度类别的子图像样本的数量差距。
第三方面，本申请提供一种终端设备，包括：存储器和处理器，存储器用于存储计算机程序；处理器用于在调用计算机程序时执行上述第一方面中任一方式所述的方法。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面中任一方式所述的方法。
第五方面，本申请实施例提供一种计算机程序产品，当计算机程序产品在处理器上运行时，使得处理器执行上述第一方面中任一方式所述的方法。
基于本申请所提供的超分辨率方法、装置、终端设备及存储介质，通过利用分类模型来识别低分辨率图像的各个子图像的复杂度，然后利用不同复杂度的超分辨率网络模型来处理不同复杂度的子图像。一方面，使得复杂度相对较小的子图像利用复杂度相对较小的超分辨率网络模型来处理，以在保证恢复效果的情况下，减小复杂度相对较小的子图像的计算量，加快处理速度。另一方面，使得复杂度相对较大的子图像利用复杂度相对较大的超分辨率网络模型来处理，保证复杂度相对较大的子图像的恢复效果。因此，对于一个完整的低分辨率图像来说，利用本申请提供的超分辨率方法，能够在保证高分辨率图像的恢复效果的情况下，降低超分辨率处理中的计算量，加快处理速度。
附图说明
图1为本申请一实施例提供的超分辨率方法的一个实施例的流程示意图；
图2为本申请一实施例提供的一种分类超分网络模型处理低分辨率图像的流程示意图；
图3为本申请一实施例提供的一种分类模型的网络结构示意图；
图4为本申请一实施例提供的多个不同复杂度的FSRCNN的网络结构示意图；
图5为本申请一实施例提供的多个不同复杂度的SRResNet的网络结构示意图；
图6为本申请一实施例提供的实验数据对比示意图一；
图7为本申请一实施例提供的实验数据对比示意图二；
图8为本申请一实施例提供的一种初始网络模型的训练流程示意图；
图9为本申请一实施例提供的实验数据对比示意图三；
图10为本申请一实施例提供的实验数据对比示意图四；
图11为本申请一实施例提供的实验数据对比示意图五；
图12为本申请一实施例提供的一种超分辨率装置的结构示意图；
图13为本申请一实施例提供的终端设备的结构示意图。
具体实施方式
目前，基于深度学习的超分辨率算法中，往往使用单一的超分辨率网络模型对低分辨率图像各个子图像进行超分辨率处理，以获得高分辨率图像。然而，经过验证发现同一低分辨率图像中的各个子图像的复杂度(也可以称为恢复难度)可能并不相同。对于复杂度较低的子图像来说，如果仍然使用复杂的超分辨率网络模型来处理，必然会造成计算量的冗余。计算量较大的情况下，处理速度就会降低。
目前为了加快处理速度，通常采用设计轻量级网络模型的方式或者设置高效的插件模块，来减少计算量。但是整个网络模型的计算量减少，对于一个复杂度较大的子图像来说，必然会导致恢复效果较差。
针对这一问题，本申请提供一种超分辨率方法，通过设计一种包含分类模型和多个复杂度不同的超分辨率网络模型的分类超分(Class Super-Resolution，Class SR)网络模型对低分辨率图像进行超分辨率处理。处理原理为通过分类模型来识别低分辨率图像的各个子图像的复杂度，然后利用不同复杂度的超分辨率网络模型来处理不同复杂度的子图像。一方面，使得复杂度相对较小的子图像利用复杂度相对较小的超分辨率网络模型来处理，以在保证恢复效果的情况下，减小复杂度相对较小的子图像的计算量，加快处理速度。另一方面，使得复杂度相对较大的子图像利用复杂度相对较大的超分辨率网络模型来处理，保证复杂度相对较大的子图像的恢复效果。从而实现对低分辨率图像进行超分辨率处理的加速处理。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
参见图1，为本申请提供的一种超分辨率方法方法的一个实施例的流程图，该方法的执行主体可以是图像处理设备，例如智能手机、智能手机、平板电脑、摄像机等移动终端，还可以是台式电脑、机器人、服务器等终端设备。图像处理设备中部署有本申请提供的已训练的分类超分网络模型。
如图1所示，图像处理设备获取到待处理的低分辨率图像后，即可将低分辨率图像输入分类超分网络模型中处理，输出得到与低分辨率图像对应的高分辨率图像。
在本申请所提供的分类超分网络模型包括分类模型和复杂度不同的多个(图1中以小、中、大三个不同的复杂度为例)超分辨率网络模型。参见图2，分类超分网络模型对低分辨率图像的处理过程包括：
S201，将低分辨率图像切割为多个子图像。
其中，图像处理设备可以按照预设的子图像的大小对低分辨率图像进行切割。子图像的大小可以基于分类超分网络模型中所使用的分类模型和超分辨率网络模型的输入要求进行设定。
S202，针对每个子图像，根据分类模型确定子图像的复杂度类别，并将子图像输入到多个超分辨率网络模型中与该子图像的复杂度类别对应的超分辨率网络模型中处理，输出得到该子图像的重建图像。
其中，分类模型可以是任一一种具备分类功能的神经网络模型。例如，如图3所示，分类模型可以是由若干个卷积层、池化层以及全连接层构成的卷积神经网络。分类模型用于识别子图像的复杂度，可以对输入的子图像进行分类处理，输出该子图像被归类到每个复杂度类别的概率值。概率值最大的复杂度类别即为该子图像的复杂度类别。
需要说明的是，由于不同子图像所含有的有效信息的量、识别对象的模糊程度等不同，导致不同子图像的识别难度不同，进而导致恢复成高分辨率图像的难度也不同。因此，在本申请中，所谓图像的复杂度是指重建为高分辨的难度。
可以理解的是，分类模型的输出为一个长度为M(M≥2，M为整数)的向量，其中M同时也表示分类超分网络模型中所具有的超模型的个数。例如，若分类模型输入一个子图像后，输出结果为(0.9，0.01，0.09)，则表示该子图像被归类到“小”复杂度类别的概率为0.9，被归类到“中”复杂度类别的概率为0.01，被归类到“大”复杂度类别的概率为0.09。由于被归类到“小”复杂度类别的概率值0.9为最大概率值，因此，该子图像的复杂度类别为“小”。
根据分类模型确定子图像的复杂度类别后，即可将该子图像输入与该子图像的复杂度类别对应的超分辨率网络模型中处理，输出得到该子图像的重建图像(即为该子图像的高分辨率图像)。
例如，确定子图像的复杂度类别为“小”，则将该子图像输入到“小复杂度”的超分辨率网络模型中进行高分辨率恢复处理。
在一个实施例中，复杂度不同的多个超分辨率网络模型可以包括不同的网络模型。例如，假设分类超分网络模型中需要设置三个复杂度不同的超分辨率网络模型，可以从已有的和/或重新构建的超分辨率网络模型中选择3个来搭建分类超分网络模型。
示例性的，按照网络模型的复杂度从小到大顺序，目前已有的超分辨率网络模型包括FSRCNN、CARN，SRResNet，RCAN等。若选择FSRCNN、CARN，SRResNet来搭建分类超分网络模型，则FSRCNN作为“小”复杂度的超分辨率网络模型，对应“小”复杂度类别；CARN作为“中”复杂度的超分辨率网络模型，对应“中”复杂度类别；SRResNet作为“大”复杂度的超分辨率网络模型，对应“大”复杂度类别。
可选的，在另一个实施例中，复杂度不同的多个超分辨率网络模型也可以包括预设的第一超分辨率网络模型和至少一个经过网络参数删减处理的第一超分辨率网络模型。
其中，第一超分辨率网络模型可以是任何已有的超分辨率网络模型或者重新构建的超分辨率网络模型。即在本申请实施例中，可以利用任一超分辨率网络模型的原始版本和至少一个简化版本来搭建分类超分网络模型。
示例性的，以SRResNet和FSRCNN为例。假设第一超分辨率网络模型为FSRCNN。参见图4，假设所使用的FSRCNN的原始版本如图4中的(c)所示，原始版本中包括卷积层a1、卷积层a2、4层卷积层a3、卷积层a4以及4层反卷积层。其中，卷积层a1用于提取子图像的特征。卷积层a1的输入通道(input channel)为3，输出通道(output channel)为56，卷积核大小(kernelsize)为5。卷积层a2用于对卷积层a1输出的特征图进行降维处理，以减小后续特征映射过程的计算量。卷积层a2的input channel＝56，output channel＝12，kernelsize＝1。4层连续的卷积层a3用于进行特征映射，将低分辨率特征映射为高分辨率特征。卷积层a3的input channel＝12，output channel＝12，kernelsize＝3。卷积层a4用于对卷积层a3输出的特征图进行升维处理，以恢复特征图的维度。卷积层a4的input channel＝12，outputchannel＝56，kernelsize＝1。4层连续的反卷积层用于执行上采样操作，得到所述子图像的重建图像。反卷积层的input channel＝56，output channel＝3，kernelsize＝9。
获得如图4中的(c)所示的FSRCNN后，可以根据所需的简化版本的个数对原始版本进行不同程度的简化，即在不同程度对FSRCNN的网络参数进行删减，从而得到所需的简化版本。
例如，FSRCNN的原始版本的复杂度默认为“大”，需要简化两个版本获得复杂度为“小”和“中”的FSRCNN。示例性的，网络参数删减后，“中”复杂度的FSRCNN的网络结构可以如图4中的(b)所示。相比于原始版本的FSRCNN，“中”复杂度的FSRCNN中，卷积层a1的outputchannel、卷积层a2的input channel、卷积层a4的output channel、反卷积层的inputchannel均减小为36。
“小”复杂度的FSRCNN的网络结构可以图4中的(a)所示。相比于原始版本的FSRCNN，“小”复杂度的FSRCNN中，卷积层a1的output channel、卷积层a2的input channel、卷积层a4的output channel、反卷积层的input channel均减小为16。
假设第一超分辨率网络模型为SRResNet。获取的SRResNet的原始版本如图5中的(a)所示，原始版本中包括卷积层b1、16层残差层、2层卷积层b2、2层像素重组层(pixel_shuffle)、卷积层b3以及卷积层b4。其中，卷积层b1和残差层用于提取子图像的特征。卷积层b1的input channel＝3，output channel＝68，kernelsize＝3。16层连续的残差层均为无批规范化层(batch normalization,BN)的残差块，残差层的input channel＝68，outputchannel＝68，kernelsize＝3。2层卷积层b2和2层pixel_shuffle交替排列，用于将低分辨率特征映射为高分辨率特征。卷积层b2的input channel＝68，output channel＝68*4，kernelsize＝3，pixel_shuffle用于将卷积层b2输出的特征图的长宽增大两倍，通道数减小到68。卷积层b3以及卷积层b4用于执行上采样操作，得到所述子图像的重建图像。卷积层b3的input channel＝68，output channel＝68，kernelsize＝3。卷积层b4的inputchannel＝68，output channel＝3，kernelsize＝3。
例如，SRResNet的原始版本的复杂度默认为“大”，需要简化两个版本获得复杂度为“小”和“中”的SRResNet。示例性的，网络参数删减后，“中”复杂度的SRResNet的网络结构可以如图5中的(b)所示。相比于原始版本的SRResNet，“中”复杂度的SRResNet中，卷积层b1的output channel、残差层的input channel和output channel、卷积层b2的inputchannel、卷积层b3的input channel和output channel、卷积层b4的input channel均减小为48，卷积层b2的output channel减小为48*4。
“小”复杂度的SRResNet的网络结构可以如图5中的(c)所示。相比于原始版本的SRResNet，“中”复杂度的SRResNet中，卷积层b1的output channel、残差层的inputchannel和output channel、卷积层b2的input channel、卷积层b3的input channel和output channel、卷积层b4的input channel均减小为32，卷积层b2的output channel减小为32*4。
可以理解的是，简化后，由于网络层中特征图的channel减小，使得所需计算的网络参数就减少，因此处理特征图的过程中计算量减少，处理速度加快，同时还能保证对应复杂度的子图像的恢复效果。也就是说，相比于使用单一的第一超分辨率网络模型的原始版本，采用第一超分辨率网络模型的原始版本和该原始版本的简化版本搭建分类超分网络模型，可以在一定程度上减少计算量，加快处理速度。即本申请提供的分类超分网络模型可以视为第一超分辨率网络模型的加速版本。
在得到每个子图像的重建图像后，即可执行步骤S203。
S203，将多个子图像的重建图像进行拼接，得到高分辨率图像。
在本申请实施例中，利用分类模型来识别低分辨率图像的各个子图像的复杂度，然后利用不同复杂度的超分辨率网络模型来处理不同复杂度的子图像。一方面，使得复杂度相对较小的子图像利用复杂度相对较小的超分辨率网络模型来处理，以在保证恢复效果的情况下，减小复杂度相对较小的子图像的计算量，加快处理速度。另一方面，使得复杂度相对较大的子图像利用复杂度相对较大的超分辨率网络模型来处理，保证复杂度相对较大的子图像的恢复效果。因此，对于一个完整的低分辨率图像来说，利用本申请提供的分类超分网络模型进行超分辨率处理，能够在降低计算量的情况下保证高分辨率图像的恢复效果。
为了充分说明本申请提供的分类超分网络模型的效果，下面结合图6-7以及表1所示的实验数据对比进行示例性的说明。所选用的对比组包括以原始版本的FSRCNN-O和采用本申请提供的网络框架搭建的加速版本的ClassSR-FSRCNN、原始版本的CARN-O和加速版本的ClassSR-CARN、原始版本的SRResNet-O和加速版本的ClassSR-SRResNet、原始版本的RCAN-O和加速版本的ClassSR-RCAN。
图6为将各个超分辨率网络模型的原始版本以及采用本申请提供的网络框架搭建的加速版本，在8K图像测试集上进行测试后，根据获得的实验数据的统计图。其中，纵坐标为高分辨率图像的峰值信噪比(Peak Signal to Noise Ratio，PSNR)，单位为dB，横坐标为计算量(FLOPs)，单位为M。
基于图6可以看出，利用加速版本进行超分辨率处理，得到的高分辨率图像的峰值信噪比(Peak Signal to Noise Ratio，PSNR)能够得到保证。甚至在轻量级的超分辨率网络模型(例如，FSRCNN-O和CARN-O)上，利用加速版本进行超分辨率处理得到的高分辨率图像的PSNR相比于原始版本有所提升。一般情况下，PSNR越高，表明网络模型对低分辨率图像的恢复效果越好。
而在计算量方面，各个超分辨率网络模型的加速版本的计算量均减少接近50％(分别为-50％、-47％、-48％、-50％)。也就是说，加速版本的处理速度相比于原始版本提高了将近一倍。
将各个网络超分辨率网络模型的原始版本以及加速版本分别在2K图像测试集、4K图像测试集、8K图像测试集上进行测试，每个测试集中包含100张低分辨率图像样本，所得到的实验参数可以如下表1所示：
表1
Figure GDA0004107796460000121
Figure GDA0004107796460000131
表1中Parameters表示网络模型的网络参数数据量。Test/FLOPs表示对应的网络模型在对测试集中100张低分辨率图像进行超分辨率处理后，重建的高分辨率图像的平均PSNR(单位为dB)，和平均计算量(单位为M或者G)。可以看出，使用原始版本和加速版本不同测试条件下同样的测试集上进行测试后，原始版本和加速版本所输出的高分辨率图像的平均PSNR基本相等。也就是说，加速版本中虽然部分子图像通过简化后的超分辨率网络模型处理，但最终恢复的高分辨率图像的恢复效果没有明显降低。而在保证了高分辨率图像的恢复效果的情况下，相较于原始版本，加速版本处理低分辨率图像的计算量明显大幅度降低，均从100％降低至50％至71％。可见，在保证了高分辨率图像的恢复效果的情况下，相较于原始版本，加速版本的处理速度有大幅度提高。
图7是从2K图像测试集、4K图像测试集和8K图像测试集中任一两张低分辨率图像样本的实验数据对比示意图。其中，包括各个超分辨网络的原始版本以及加速版本对一个子图样本的进行超分辨率处理后，得到的重建图像样本，还包括测试集中与该子图像样本对应的重建图像样本(GT)和利用传统的双三次插值(Bicubic interpolation)恢复的高分辨率重建图像样本。
基于图7，从单张图像的超分辨率处理来看，本申请提供的分类超分网络模型能够在保证高分辨率图像的恢复效果的情况下，加快处理速度。
下面结合图8对本申请提供的分类超分网络模型的训练过程进行示例性的说明。
如图8所示，在本申请实施例中可以利用预设的第一损失函数、第二损失函数、第三损失函数和训练集对预设的初始网络模型进行训练，得到分类超分网络模型。
其中，初始网络模型是指网络参数未完成优化的分类超分网络模型。可以理解的是，初始网络模型包括初始分类模型和复杂度不同的多个初始超分辨率网络模型。
训练集包括多个低分辨率图像样本和每个低分辨率图像样本对应的高分辨率图像样本。在本申请实施例中，该训练集可以包括2K图像训练集、4K图像训练集和/或8K图像训练集。
由于训练集中的低分辨率图像样本的各个子图像样本的复杂度难以量化，无法进行标注。因此，本申请提供一种训练方法，在训练过程中，根据初始超分辨率网络模型对子图像样本的恢复效果优化初始分类模型的网络参数，以使得训练后的分类模型能够准确地将输入的子图像分配给合适的超分辨率网络模型中。
具体的，在训练过程中，初始网络模型对训练集中的低分辨率图像样本的处理过程包括：
S301，将低分辨率图像样本切割为多个子图像样本。
S302，针对每个子图像样本，将子图像样本输入初始分类模型中处理得到分类结果，分类结果包括子图像样本被归类到每个复杂度类别的概率值；将子图像样本分别输入到多个初始超分辨率网络模型中进行处理，得到多个初始超分辨率网络模型分别输出的第一重建图像样本；利用分类结果对多个第一重建图像样本进行加权求和，得到第二重建图像样本。
S303，将多个子图像样本的第二重建图像样本进行拼接，得到与低分辨率图像样本对应的高分辨率图像。
初始网络模型输出与低分辨率图像样本对应的高分辨率图像后，利用第一损失函数计算该初始网络模型输出的与低分辨率图像样本对应的高分辨率图像和训练集中与低分辨率图像样本对应的高分辨率图像样本之间的误差，然后根据误差值调整多个初始超分辨率网络模型和初始分类模型的网络参数。可以理解的是，误差越小，表示恢复效果越好。如此，便可将恢复效果反向传播会初始分类模块，进行网络参数调整。
其中，该第一损失函数用于减小初始网络模型输出的与低分辨率图像样本对应的高分辨率图像，和训练集中与低分辨率图像样本对应的高分辨率图像样本之间的误差。第一损失函数可以是常规的L1损失函数。
在一个实施例中，为了保证训练后的分类模型能够有效分类，避免分类模块输出的分类结果中各个概率值大小接近，导致分类接近于随机分类。本申请还提供一种第二损失函数，用于在训练过程中增大初始分类模型输出的多个概率值中的最大概率值与其他概率值之间的差值。也就是说，通过第二损失函数约束初始分类模型在对某一子图像样本进行分类时，保证该子图像样本被分到对应复杂度类别的概率尽可能大，尽可能趋向于1。在本申请实施例中，该第二损失函数也可以称为分类损失(classification-loss)。
示例性的，该第二损失函数可以通过如下公式表示：
Figure GDA0004107796460000151
其中，Lc是同一子图像样本x由初始分类模型处理后输出的属于每个复杂度类别的概率值之间的距离和的负数。其中，其中M是复杂度类别的数量，Pi(x)是子图像样本x被分到第i个复杂度类别的概率值，Pj(x)是子图像样本x被分到第j个复杂度类别的概率值。这种损失可以扩大不同分类结果之间概率差距，使最大概率值接近1。
在一个实施例中，为了保证每个初始超分辨率网络模型都能够得到充分的训练，从而保证每个初始超分辨率网络模型的训练效果，本申请还提供一种第三损失函数，第三损失函数用于减小初始分类模型确定的分别属于多个复杂度类别的子图像样本的数量差距。也就是说，通过第三损失函数来约束初始分类模型在训练过程中，为每个复杂度类别分配到的子图像样本的数量大致相同。从而保证每个初始超分辨率网络模型都能得到充分的训练。
示例性的，该第三损失函数可以通过如下公式表示：
Figure GDA0004107796460000161
其中，La是批(batch)处理中初始分类模型分到每个复杂度类别的子图片样本数目和平均数
Figure GDA0004107796460000162
之间的距离和。其中B是批处理大小(batchsize)，即一个batch中处理的子图片样本的数量。Pi(xj)是在一个batch中第j张子图像样本被分到第i个复杂度类别的概率值。
Figure GDA0004107796460000163
是一个batch中所有被分到第i个复杂度类别的子图像样本的概率值之和。由于通过第二损失函数保证了被分到第i个复杂度类别的子图像样本的概率值均接近于1，因此，
Figure GDA0004107796460000164
也接近于一个batch中被分到第i个复杂度类别的子图像样本数目。
可以理解的时，通过约束La的取值范围来约束初始分类模型在训练过程中，为每个复杂度类别分配到的子图像样本的数量大致相同。从而使得与每个复杂度类别分别对应的初始超分辨率网络模型被训练到。在本申请，第三损失函数也可以称为平均损失(Average-loss)。
下面结合图9-11实验数据对本申请提供的训练方法的训练效果进行示例性的说明。
假如，固定多个超分辨网络模块的网络参数，只训练分类模型。
图9为同时使用第一损失函数、第二损失函数和第三损失函数对分类模型进行训练的训练曲线示意图。其中，图9中的(a)表示初始分类超分网络模型的所输出的高分辨率图像样本的PSNR随着训练时间的变化曲线。图9中的(b)表示初始分类超分网络模型的计算量随着训练时间的变化曲线。基于图9可以看出，随着训练时间的延长，初始分类超分网络模型的PSNR在上升的同时计算量在下降。表明，各个低分辨率图像样本的各个子图像样本正在逐渐被分配到合适的超分辨率网络模型。
图10为使用第一损失函数和第二损失函数但不使用第三损失函数对分类模型进行训练的训练曲线(第一PSNR曲线和第一FLOPs曲线)，和同时使用三种损失函数对分类模型进行训练的训练曲线(第二PSNR曲线和第二FLOPs曲线)之间的对比示意图。其中，图10中的(a)表示初始分类超分网络模型的所输出的高分辨率图像样本的PSNR随着训练时间的变化曲线。图10中的(b)表示初始分类超分网络模型的计算量随着训练时间的变化曲线。
基于图10可以看出，随着训练时间的延长，初始分类超分网络模型的所输出的高分辨率图像样本的PSNR和计算量基本不变，且PSNR和计算量均较大。说明初始分类模型将所有子图像样本都分配到复杂度最大的超分辨率网络模型中处理。也就是说，若开始对多个超分辨网络进行训练，不适用第三损失函数则会导致除复杂度最大的超分辨率网络模型之外，剩余的超分辨率网络模型将无法得到充分的训练。
图11为使用第一损失函数和第三损失函数但不使用第二损失函数对分类模型进行训练的训练曲线(第三PSNR曲线和第三FLOPs曲线)，和同时使用三种损失函数对分类模型进行训练的训练曲线(第四PSNR曲线和第四FLOPs曲线)之间的对比示意图。其中，图10中的(a)表示初始分类超分网络模型的所输出的高分辨率图像样本的PSNR随着训练时间的变化曲线。图11中的(b)表示初始分类超分网络模型的计算量随着训练时间的变化曲线。
基于图11可以看出，随着训练时间的延长，初始分类超分网络模型的所输出的高分辨率图像样本的PSNR和计算量的曲线都在大幅度波动。说明初始分类模型在对输入的各个子图像样本进行分类时发生了随机分类的问题，导致训练无法完成。
综上可知，采用本申请提供的结合第一损失函数、第二损失函数、第三损失函数进行联合训练方式，即能够保证各个超分辨率网络模型都能够得到充分的训练，又使得分类模型基于恢复效果进行有效的优化，并输出有效的分类结果。保证了训练所得的分类超分网络模型在保证恢复效果的情况下大幅度提高处理速度。
值得说明的是，本申请提供网络框架以及训练方法具备泛用性。可以应用于任何图像恢复任务或者以图像恢复效果为评价指标的任务中。例如，除了超分辨率任务外，还可以应用于图像去噪任务中。同样可以在保证PSNR的情况下大幅度降低计算量。
基于同一发明构思，作为对上述方法的实现，本申请实施例提供了一种影像驱动的脑图谱构建装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。
图12为本申请实施例提供的超分辨率装置的结构示意图，如图12所示，本实施例提供的超分辨率装置包括：获取单元1201、处理单元1202。
其中，获取单元1201，用于获取处理的低分辨率图像。
处理单元1202，用于将低分辨率图像输入已训练的分类超分网络模型中处理，输出得到与低分辨率图像对应的高分辨率图像。
可选的，超分辨率装置还包括训练单元1203，用于利用预设的第一损失函数、第二损失函数、第三损失函数和训练集对预设的初始网络模型进行训练，得到分类超分网络模型。
本实施例提供的超分辨率装置可以执行上述方法实施例，其实现原理与技术效果类似，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
基于同一发明构思，本申请实施例还提供了一种终端设备。图13为本申请实施例提供的终端设备的结构示意图，如图13所示，本实施例提供的终端设备包括：存储器1301和处理器1302，存储器1301用于存储计算机程序；处理器1302用于在调用计算机程序时执行上述方法实施例所述的方法。
本实施例提供的终端设备可以执行上述方法实施例，其实现原理与技术效果类似，此处不再赘述。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例所述的方法。
本申请实施例还提供一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现上述方法实施例所述的方法。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (7)

1.一种超分辨率方法，其特征在于，所述方法包括：
将待处理的低分辨率图像输入已训练的分类超分网络模型中处理，输出得到与所述低分辨率图像对应的高分辨率图像；
其中，所述分类超分网络模型包括分类模型和复杂度不同的多个超分辨率网络模型，所述分类超分网络模型对所述低分辨率图像的处理过程包括：
将所述低分辨率图像切割为多个子图像；
针对每个子图像，根据所述分类模型确定所述子图像的复杂度类别，并将所述子图像输入到所述多个超分辨率网络模型中与所述复杂度类别对应的超分辨率网络模型中处理，输出得到所述子图像的重建图像；
将所述多个子图像的重建图像进行拼接，得到所述与所述低分辨率图像对应的高分辨率图像；
所述方法还包括：
利用预设的第一损失函数、第二损失函数、第三损失函数和训练集对预设的初始网络模型进行训练，得到所述分类超分网络模型；
其中，所述初始网络模型包括初始分类模型和复杂度不同的多个初始超分辨率网络模型，所述训练集包括多个低分辨率图像样本和分别与每个低分辨率图像样本对应的高分辨率图像样本；
所述第一损失函数用于减小所述初始网络模型输出的与低分辨率图像样本对应的高分辨率图像，和所述训练集中与所述低分辨率图像样本对应的高分辨率图像样本之间的误差；
所述第二损失函数用于增大所述初始分类模型输出的多个概率值中的最大概率值与其他概率值之间的差值；所述第二损失函数为：
Figure FDA0004107796450000021
其中，Lc是子图像样本x由所述初始分类模型处理后输出的属于每个复杂度类别的概率值之间的距离之和的负数，M是复杂度类别的数量，Pi(x)是所述子图像样本x被分到第i个复杂度类别的概率值，Pj(x)是所述子图像样本x被分到第j个复杂度类别的概率值；
所述第三损失函数用于减小所述初始分类模型确定的分别属于多个复杂度类别的子图像样本的数量差距。
2.如权利要求1所述的方法，其特征在于，在训练过程中，所述初始网络模型对所述训练集中的低分辨率图像样本的处理过程包括：
将所述低分辨率图像样本切割为多个子图像样本；
针对每个子图像样本，将所述子图像样本输入所述初始分类模型中处理得到分类结果，所述分类结果包括所述子图像样本被归类到每个复杂度类别的概率值；将所述子图像样本分别输入到所述多个初始超分辨率网络模型中进行处理，得到所述多个初始超分辨率网络模型分别输出的第一重建图像样本；利用所述分类结果对多个所述第一重建图像样本进行加权求和，得到第二重建图像样本；
将所述多个子图像样本的第二重建图像样本进行拼接，得到与所述低分辨率图像样本对应的高分辨率图像。
3.如权利要求1所述的方法，其特征在于，所述第三损失函数为：
Figure FDA0004107796450000022
其中，La是批处理中所述初始分类模型分到每个复杂度类别的子图片样本数目和
Figure FDA0004107796450000031
之间的距离之和；其中B是批处理大小，M是复杂度类别的数量，Pi(xj)表示在一个批处理中第j张子图像样本被分到第i个复杂度类别的概率值，
Figure FDA0004107796450000032
表示一个批处理中所有被分到第i个复杂度类别的子图像样本的概率值之和。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述多个超分辨率网络模型包括预设的第一超分辨率网络模型和至少一个经过网络参数删减处理的所述第一超分辨率网络模型。
5.一种超分辨率装置，其特征在于，包括：
获取单元，用于获取处理的低分辨率图像；
处理单元，用于将所述低分辨率图像输入已训练的分类超分网络模型中处理，输出得到与所述低分辨率图像对应的高分辨率图像；
其中，所述分类超分网络模型包括分类模型和复杂度不同的多个超分辨率网络模型，所述分类超分网络模型对所述低分辨率图像的处理过程包括：
将所述低分辨率图像切割为多个子图像；
针对每个子图像，根据所述分类模型确定所述子图像的复杂度类别，并将所述子图像输入到所述多个超分辨率网络模型中与所述复杂度类别对应的超分辨率网络模型中处理，输出得到所述子图像的重建图像；
将所述多个子图像的重建图像进行拼接，得到所述与所述低分辨率图像对应的高分辨率图像；
所述装置还包括训练单元：
所述训练单元，用于利用预设的第一损失函数、第二损失函数、第三损失函数和训练集对预设的初始网络模型进行训练，得到所述分类超分网络模型；
其中，所述初始网络模型包括初始分类模型和复杂度不同的多个初始超分辨率网络模型，所述训练集包括多个低分辨率图像样本和分别与每个低分辨率图像样本对应的高分辨率图像样本；
所述第一损失函数用于减小所述初始网络模型输出的与低分辨率图像样本对应的高分辨率图像，和所述训练集中与所述低分辨率图像样本对应的高分辨率图像样本之间的误差；
所述第二损失函数用于增大所述初始分类模型输出的多个概率值中的最大概率值与其他概率值之间的差值；所述第二损失函数为：
Figure FDA0004107796450000041
其中，Lc是子图像样本x由所述初始分类模型处理后输出的属于每个复杂度类别的概率值之间的距离之和的负数，M是复杂度类别的数量，Pi(x)是所述子图像样本x被分到第i个复杂度类别的概率值，Pj(x)是所述子图像样本x被分到第j个复杂度类别的概率值；
所述第三损失函数用于减小所述初始分类模型确定的分别属于多个复杂度类别的子图像样本的数量差距。
6.一种终端设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在调用所述计算机程序时执行如权利要求1-4任一项所述的方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4任一项所述的方法。
CN202110130561.3A 2021-01-29 2021-01-29 一种超分辨率方法、装置、终端设备及存储介质 Active CN112862681B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110130561.3A CN112862681B (zh) 2021-01-29 2021-01-29 一种超分辨率方法、装置、终端设备及存储介质
PCT/CN2021/137582 WO2022160980A1 (zh) 2021-01-29 2021-12-13 一种超分辨率方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110130561.3A CN112862681B (zh) 2021-01-29 2021-01-29 一种超分辨率方法、装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN112862681A CN112862681A (zh) 2021-05-28
CN112862681B true CN112862681B (zh) 2023-04-14

Family

ID=75987330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110130561.3A Active CN112862681B (zh) 2021-01-29 2021-01-29 一种超分辨率方法、装置、终端设备及存储介质

Country Status (2)

Country Link
CN (1) CN112862681B (zh)
WO (1) WO2022160980A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862681B (zh) * 2021-01-29 2023-04-14 中国科学院深圳先进技术研究院 一种超分辨率方法、装置、终端设备及存储介质
CN113421189A (zh) * 2021-06-21 2021-09-21 Oppo广东移动通信有限公司 图像超分辨率处理方法和装置、电子设备
CN113411521B (zh) * 2021-06-23 2022-09-09 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备及存储介质
CN113313633A (zh) * 2021-06-25 2021-08-27 西安紫光展锐科技有限公司 超分网络模型的训练方法、装置和电子设备
CN113596576A (zh) * 2021-07-21 2021-11-02 杭州网易智企科技有限公司 一种视频超分辨率的方法及装置
CN113674152B (zh) * 2021-08-03 2024-09-06 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN113888411A (zh) * 2021-09-29 2022-01-04 豪威科技(武汉)有限公司 分辨率提升方法及可读存储介质
CN113706390A (zh) * 2021-10-29 2021-11-26 苏州浪潮智能科技有限公司 图像转换模型训练方法和图像转换方法、设备及介质
CN115392216B (zh) * 2022-10-27 2023-03-14 科大讯飞股份有限公司 一种虚拟形象生成方法、装置、电子设备及存储介质
CN116071238A (zh) * 2023-03-06 2023-05-05 武汉人工智能研究院 图像超分处理方法、装置、电子设备及存储介质
CN118469818A (zh) * 2024-05-28 2024-08-09 哈尔滨工业大学 一种基于fsrcnn和ope的图像超分辨率重建方法、电子设备及存储介质
CN118279152B (zh) * 2024-06-03 2024-10-15 上海蜜度科技股份有限公司 图像超分辨率重建方法、系统、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062872A (zh) * 2019-12-17 2020-04-24 暨南大学 一种基于边缘检测的图像超分辨率重建方法及系统
CN111080527A (zh) * 2019-12-20 2020-04-28 北京金山云网络技术有限公司 一种图像超分辨率的方法、装置、电子设备及存储介质
CN111369440A (zh) * 2020-03-03 2020-07-03 网易（杭州）网络有限公司 模型训练、图像超分辨处理方法、装置、终端及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130177242A1 (en) * 2012-01-10 2013-07-11 James E. Adams, Jr. Super-resolution image using selected edge pixels
US10009587B1 (en) * 2017-08-14 2018-06-26 Christie Digital Systems Usa, Inc. Real-time spatial-based resolution enhancement using shifted superposition
CN110136056B (zh) * 2018-02-08 2023-08-29 华为技术有限公司 图像超分辨率重建的方法和装置
CN109903221B (zh) * 2018-04-04 2023-08-22 华为技术有限公司 图像超分方法及装置
CN109886891B (zh) * 2019-02-15 2022-01-11 北京市商汤科技开发有限公司 一种图像复原方法及装置、电子设备、存储介质
CN111598796B (zh) * 2020-04-27 2023-09-05 Oppo广东移动通信有限公司 图像处理方法及装置、电子设备、存储介质
CN111598779B (zh) * 2020-05-14 2023-07-14 Oppo广东移动通信有限公司 图像超分辨率处理方法和装置、电子设备及存储介质
CN112862681B (zh) * 2021-01-29 2023-04-14 中国科学院深圳先进技术研究院 一种超分辨率方法、装置、终端设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062872A (zh) * 2019-12-17 2020-04-24 暨南大学 一种基于边缘检测的图像超分辨率重建方法及系统
CN111080527A (zh) * 2019-12-20 2020-04-28 北京金山云网络技术有限公司 一种图像超分辨率的方法、装置、电子设备及存储介质
CN111369440A (zh) * 2020-03-03 2020-07-03 网易（杭州）网络有限公司 模型训练、图像超分辨处理方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN112862681A (zh) 2021-05-28
WO2022160980A1 (zh) 2022-08-04

Similar Documents

Publication Publication Date Title
CN112862681B (zh) 一种超分辨率方法、装置、终端设备及存储介质
CN112396115B (zh) 基于注意力机制的目标检测方法、装置及计算机设备
CN110598714B (zh) 一种软骨图像分割方法、装置、可读存储介质及终端设备
CN110766632A (zh) 基于通道注意力机制和特征金字塔的图像去噪方法
CN111950723A (zh) 神经网络模型训练方法、图像处理方法、装置及终端设备
CN113298728B (zh) 一种视频优化方法、装置、终端设备及存储介质
CN112614110B (zh) 评估图像质量的方法、装置及终端设备
Couturier et al. Image denoising using a deep encoder-decoder network with skip connections
CN111553867B (zh) 一种图像去模糊方法、装置、计算机设备及存储介质
CN111079764A (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN112308866A (zh) 图像处理方法、装置、电子设备及存储介质
CN112183649A (zh) 一种用于对金字塔特征图进行预测的算法
CN114140346A (zh) 一种图像处理方法及装置
JP2024508867A (ja) 画像クラスタリング方法、装置、コンピュータ機器及びコンピュータプログラム
CN113837980A (zh) 分辨率的调整方法、装置、电子设备及存储介质
CN114049491A (zh) 指纹分割模型训练、指纹分割方法、装置、设备及介质
CN113658050A (zh) 一种图像的去噪方法、去噪装置、移动终端及存储介质
CN116309612A (zh) 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质
Albluwi et al. Super-resolution on degraded low-resolution images using convolutional neural networks
CN114862699B (zh) 基于生成对抗网络的人脸修复方法、装置及存储介质
CN113139617B (zh) 一种输电线路自主定位方法、装置及终端设备
CN114119377B (zh) 一种图像处理方法及装置
CN115375909A (zh) 一种图像处理方法及装置
US11288534B2 (en) Apparatus and method for image processing for machine learning
CN114861904A (zh) 图像训练数据的生成方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant