CN112116527B - 基于级联网络框架的图像超分辨率方法、级联网络 - Google Patents
基于级联网络框架的图像超分辨率方法、级联网络 Download PDFInfo
- Publication number
- CN112116527B CN112116527B CN202010940661.8A CN202010940661A CN112116527B CN 112116527 B CN112116527 B CN 112116527B CN 202010940661 A CN202010940661 A CN 202010940661A CN 112116527 B CN112116527 B CN 112116527B
- Authority
- CN
- China
- Prior art keywords
- network
- resolution
- super
- image
- preliminary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000005070 sampling Methods 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 22
- 230000000694 effects Effects 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 18
- 230000008447 perception Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 3
- 206010040030 Sensory loss Diseases 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 15
- 230000000007 visual effect Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于级联网络框架的图像超分辨率方法、级联网络，基于基础超分辨率网络，获取目标图像的初步上采样结果；基于细节精修网络，根据初步上采样结果，获取超分辨率图像结果。其两个网络级联，将面向峰值信噪比的任务和面向主观感受的任务分开，由两个模型分别处理，基础超分辨率网络首先完成初步的上采样，这个初步上采样的结果很大程度上和原始高分辨率图像保证了内容一致性，接下来将初步上采样的结果送入精修网络来进一步改善感官损失，精修网络有了初步上采样结果的输入保证了整个超分辨率结果不会过度牺牲内容一致性，并且在初步上采样结果上精修减轻了精修网络和判别器的训练难度加快了训练速度，有效地缓解了现有模型的问题。
Description
技术领域
本发明属于图像超分辨率技术领域，具体涉及一种基于级联网络框架的图像超分辨率方法、级联网络。
背景技术
超分辨率是一种从观察到的低分辨率图像重建更高分辨率图像或序列的技术。由于光的衍射特性，成像系统中的感光元件往往无法获得低于可见光波长的细节，这样就限制了单个像素所能蕴含的细节信息，整体来看，一个可见光成像系统可以看作是一个具有一定频率阈值的低通滤波器，所有高于这个阈值的图像信息成像系统都无法有效地记录，超分辨率任务就是利用图像低频信息和高频信息之间的互补能力和相关性来预测频率阈值之上的高频信息。超分辨率重建的可行性建立在图像的信息冗余性和自相似性基础之上。按照输入图像的类型，超分辨率算法可以为多帧超分辨率和单帧超分辨率，如果可以获取具有子像素未对准的相同场景的多个图像，则可以利用它们之间的互补信息来重建更高分辨率的图像或图像序列。然而，由于客观因素限制，多个低分辨率图像有时可能无法同时获得，因此使用有限的分辨率信息来恢复高分辨率图像具有很高的应用价值，通过单个低分辨率图像恢复高分辨率图像的任务又称作做单帧超分辨。
现有的面向感知度量的超分辨率模型主要通过对损失函数的改造来引入感知损失，这种方法往往存在两个问题：
（1）感知损失与内容损失以及L2损失之间是加权相加的，具体的权值大小往往对超分辨率模型的重建效果起着至关重要的作用。在现有的方法中，这些权值大小都属于超参数需要人类进行手工调参，手工调参带来的是模型训练时间的加长和模型重建表现的不稳定性。
（2）现有的通过对损失函数的改造来达到提升感知效果的方法往往在带来感知效果提升的同时降低了在客观指标上的表现，往往会生成一些感知效果很好但峰值信噪比并不高的图像。
因此，如何使得图像超分辨率过程中，减小模型训练的时间，增强模型重建的稳定性，达到客观指标，成为现有技术中亟待解决的技术问题。
发明内容
为了至少解决现有技术存在的上述问题，本发明提供了一种基于级联网络框架的图像超分辨率方法、级联网络，以实现综合考虑主客观评价指标的级联网络框架，有效缓解图像超分辨率中模型训练时间长、过度平滑问题 。
本发明提供的技术方案如下：
一方面，一种用于图像超分辨率的级联网络，包括：基础超分辨率网络、细节精修网络；所述细节精修网络与基础超分辨率网络级联；
所述基础超分辨率网络，用于获取目标图像的初步上采样结果；
所述细节精修网络，用于根据所述初步上采样结果，获取超分辨率图像结果。
可选的，还包括：判别器网络；所述判别器网络，用于判别所述超分辨率图形结果与原始高分辨率图像的可信程度，根据所述可信程度进行学习，从而实现与所述细节精修网络的对抗式训练。
可选的，所述细节精修网络，包括：特征提取器子网络、非线性映射子网络和重建子网络；
所述特征提取器子网络，用于根据初步上采样结果，提取粗特征；
所述非线性映射子网络，用于将所述粗特征，映射到具有高感知效果的特征空间，获取映射后的图像特征；
所述重建子网络，用于根据所述映射后的图像特征，重建获取超分辨率图像。
可选的，所述特征提取子网络，用于：从低分辨率图像中提取粗特征/>；所述/>的提取公式为：
其中，为提取出的粗特征，/>和/>分别为卷积层，/>代表输入的低分辨率图像。
可选的，所述非线性映射子网络，用于基于密集连接的通道注意力模块，将特征提取器提取到的粗特征映射到具有高感知效果的特征空间/>;所述/>的计算方式为：
其中，是经过映射后的图像特征；/>是密集连接的通道注意力模块。
可选的，所述由k个密集连接的卷积组(/>)组成，对于不同的升分辨率倍数，k值不同；所述/>的计算方式为：
其中，代表密集连接的通道注意力模块中第K个卷积组，其中每一个卷积组的输入都是之前所有卷积组的输出和原始输入图像特征的结合。
可选的，所述细节精修网络，用于：
根据所述初步上采样结果，获取初步超分辨率图像；
根据所述初步超分辨率图像与所述初步上采样结果相加并平均，获取所述超分辨率图像结果。
可选的，所述判别器网络为相对判别器网络；
所述相对判别器网络，用于接受精修网络输出的超分辨率结果和原始的高分辨率图像，并判断相较于原始高分辨率图片，生成图片的可信程度。
可选的，所述相对判别器，用于：对真实高分辨率图像和超分辨率图像的联合判别结果，为：
；
其中，代表真实高分辨率图像，/>代表模型重建出的超分辨率图像，C为判别器网络，/>为Sigmod函数。
又一方面，一种基于级联网络的图像超分辨率方法，包括：
基于基础超分辨率网络，获取目标图像的初步上采样结果；
基于细节精修网络，根据所述初步上采样结果，获取超分辨率图像结果。
本发明的有益效果为：
本发明实施例提供的一种基于级联网络框架的图像超分辨率方法、级联网络，基于基础超分辨率网络，获取目标图像的初步上采样结果；基于细节精修网络，根据初步上采样结果，获取超分辨率图像结果。其两个网络级联，将面向峰值信噪比的任务和面向主观感受的任务分开，由两个模型分别处理，基础超分辨率网络首先完成初步的上采样，这个初步上采样的结果很大程度上和原始高分辨率图像保证了内容一致性，接下来将初步上采样的结果送入精修网络来进一步改善感官损失，精修网络有了初步上采样结果的输入保证了整个超分辨率结果不会过度牺牲内容一致性，并且在初步上采样结果上精修减轻了精修网络和判别器的训练难度加快了训练速度，有效地缓解了现有模型的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种用于图像超分辨率的级联网络的结构示意图；
图2为本发明实施例提供的一种细节精修网络的结构示意图；
图3为Set14-Comic细节精修网络的效果比较示意图；
图4为Set14-Face 细节精修网络的效果比较示意图；
图5为Set14-Coastguard 不同策略效果对比示意图；
图6为Texture-10视觉效果对比示意图；
图7为Texture-13视觉效果对比示意图；
图8为Texture-14 视觉效果对比示意图；
图9为 Texture-22 视觉效果对比示意图；
图10为本发明实施例提供的一种基于级联网络的图像超分辨率方法流程示意图；
图11为本发明实施例提供的一种基于级联网络的图像超分辨率设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
为了至少解决本发明中提出的技术问题，本发明实施例提供一种用于图像超分辨率的级联网络。
图1为本发明实施例提供的一种用于图像超分辨率的级联网络的结构示意图，参阅图1，本发明实施例提供的用于图像超分辨率的级联网络，包括：基础超分辨率网络10、细节精修网络20；细节精修网络20与基础超分辨率网络10级联；
基础超分辨率网络10，用于获取目标图像的初步上采样结果；
细节精修网络20，用于根据初步上采样结果，获取超分辨率图像结果。
在一个具体的实现过程中，可以根据本申请实施例提供的用于图像超分辨率的级联网络，来对图像进行超分辨率。可以定义某个初始图像为目标图像，该目标图像为低分辨率图像，其由原始高分辨率图像采样到低分辨率而得到。
在获取到目标图像后，将目标图像输入到基础超分辨率网络中，从而获得到目标图像的初步上采样结果；而初步上采样结果作为输入，输入到细节精修网络中，从而获取到精修后的超分辨率图像结果。
例如，基础超分辨率网络10可以单独训练，在训练中，为了提升稳定性，可以L2距离作为训练中的损失函数。基础超分辨率网络为现有技术，此处不做赘述，本领域人员可轻易得到。
本发明实施例提供的用于图像超分辨率的级联网络，该网络框架由两个网络级联组成，将面向峰值信噪比的任务和面向主观感受的任务分开，由两个模型分别处理，基础超分辨率网络首先完成初步的上采样，这个初步上采样的结果很大程度上和原始高分辨率图像保证了内容一致性，接下来将初步上采样的结果送入精修网络来进一步改善感官损失，精修网络有了初步上采样结果的输入保证了整个超分辨率结果不会过度牺牲内容一致性，并且在初步上采样结果上精修减轻了精修网络和判别器的训练难度加快了训练速度，有效地缓解了现有模型的问题。
在一些实施例中，可选的，还包括：判别器网络30。判别器网络30，用于判别超分辨率图形结果与原始高分辨率图像的可信程度，根据可信程度进行学习，从而实现对细节精修网络的反馈指导。
图2为本发明实施例提供的一种细节精修网络的结构示意图。
在一些实施例中，可选的，参阅图2，细节精修网络20，包括：特征提取器子网络201、非线性映射子网络202和重建子网络203；
特征提取器子网络201，用于根据初步上采样结果，提取粗特征；
非线性映射子网络202，用于将粗特征，映射到具有高感知效果的特征空间，获取映射后的图像特征；
重建子网络203，用于根据映射后的图像特征，重建获取超分辨率图像。
在一些实施例中，可选的，特征提取子网络201，用于：从低分辨率图像中提取粗特征/>；/>的提取公式为：
（公式1）
其中，为提取出的粗特征，/>和/>分别为卷积层，/>代表输入的低分辨率图像。值得说明的是，此处的低分辨率图像是相对于最终超分辨率图像而言的低分辨率。
例如，在一个具体的实现过程中，特征提取器子网络，可以包括2个卷积层，即卷积层和卷积层/>，经过两个卷积层，使得从输入的初步上采样结果中，提取粗特征/>，/>的计算公式参阅公式1。
在一些实施例中，可选的，非线性映射子网络202，用于基于密集连接的通道注意力模块，将特征提取器提取到的粗特征映射到具有高感知效果的特征空间/>;/>的计算方式为：
（公式2）
其中，是经过映射后的图像特征；/>是密集连接的通道注意力模块。
由k个密集连接的卷积组(/>)组成，对于不同的升分辨率倍数，k值不同；
其中，代表密集连接的通道注意力模块中第K个卷积组，HDID的输入为粗特征；HDID的输出为HD K的输出；/>代表密集连接的通道注意力模块中第K个卷积组；每个卷积组的输入为前一个卷积组的输出和原始输入图像特征的结合。
在每一个密集连接的通道注意力模块的卷积组中，输入的特征图（即提取的粗特征）先经由一个通道注意力模块以突出重要的特征通道，再经过一个降维卷积，以压缩输入特征的通道数目，然后再通过三个3*3的卷积层以进行非线性映射，得到映射后的图像特征，最后将所有层的输出特征再通道维度上连接起来再做一次降维卷积得到最后整个模块的输出结果，即超分辨率图像。
在一些实施例中，可选的，细节精修网络20，用于：
根据初步上采样结果，获取初步超分辨率图像；
根据初步超分辨率图像与初步上采样结果相加并平均，获取超分辨率图像结果。
在本发明实施例中，细节精修网络与基础超分辨率网络，存在如下不同：第一，由于细节精修网络的输入已经是高分辨率尺寸的图像，基础超分辨率网络中最后的上采样部分和重建部分被替换成为了一个卷积层；第二，由于细节精修网络中的输入已经是恢复了大量低频信息的中间结果，细节精修网络所承担的任务复杂度有所下降。相比于基础超分辨率网络堆叠了的卷积组数量，精修网络只保留了少量的卷积组，从而大大地降低了计算量和计算时间。此外在整个精修网络外围还有一个短路连接，也就是精修网络最后的生成结果要与升分辨率网络的结果相加并平均才是最后的超分辨率结果，这样可以使精修网络在一开始就有一个较好的初始起点，便于和判别器网络共同对抗式训练。
在一些实施例中，可选的，判别器网络30为相对判别器网络；
相对判别器网络，用于接受精修网络输出的超分辨率结果和原始的高分辨率图像，并判断相较于原始高分辨率图片，生成图片的可信程度。
例如，在本发明实施例中，相对判别器30可以使用一个成熟的VGG模型作为网络基础结构，相比于普通生成式对抗网络框架，这个判别器并不直接判断输入图像的真实程度，而同时接受精修网络输出的超分辨率结果和原始的高分辨率图像，并判断相较于原始高分辨率图片，生成图片的可信程度，这样极大地减轻判别器的学习压力。
由判别器网络直接判断生成图像的真实程度是一个很有难度的任务，因为在图像超分辨率任务中，因为低分辨率参照图像的存在，生成的超分图像和原始高分图像往往是极为相似的。为了缓解这个问题，本申请采用了不同于标准判别器网络的相对判别器网络。不同于标准判别器，这种判别器并不单单优化某一个输入图像的打分，而是判断真实图像相比于生成图像的真实程度。
（公式4）
（公式5）
在公式（4）和公式（5）中，代表真实高分辨率图像，/>代表模型重建出的超分辨率图像，C为判别器网络，为Sigmod函数。
在一些实施例中，可选的，相对判别器30，用于：对真实高分辨率图像和超分辨率图像的联合判别结果，为：
（公式6）
（公式7）
其中，代表真实高分辨率图像，/>代表模型重建出的超分辨率图像，C为判别器网络，/>为Sigmod函数。
如式公（6）所示标准判别器的优化目标是让真实图像的评分趋于1，让虚假图像的的频分趋于0。
在公式（6）和公（7）中，代表相对判别器对真实高分辨率图像和超分辨率图像的联合判别结果，不同于标准判别器的目标，相对判别器的优化目标在于让真实图像的评分减去生成图像的评分趋于1，让生成图像的评分减去真实图像的评分趋于0。
本发明实施例中，采用相对判别器可以极大地加快判别器网络的训练速度，训练良好的判别器网络也可以给精修网络提供足够的梯度信息从而提升整个超分辨率系统的表现。
为了进一步说明本发明提供技术方案的技术效果，本发明实施例提供一消融实验。
在超分辨率网络后级联的精修网络能够在峰值信噪比下降不严重的情况下提升主观感受和感知损失，下面的实验直接对比采用级联策略和不采用级联策略的两个模型在峰值信噪比、结构相似度以及感知指标的衡量下性能表现的差异。所用到的模型都是以四倍上采样为目标并且都采用同样的训练策略在DIV2k数据集上进行充分的训练，测试过程中也采用完全相同的图像拼接策略。所有模型的性能评价以峰值信噪比，结构相似度和感知指标来度量，其中峰值信噪比和结构相似度都是越高代表模型的还原能力越强，感知指标则是越低代表图像越接近人类视觉眼中的自然图像。
表1 级联精修网络对各个指标的影响
从表1可以看出，级联结构的引入达到了加入可以使得网络在提升感官评价的同时，客观指标和与原图像的一致性没有太多下降。为了进一步直观体现细节精修网络的特性，在四倍上采样的目标下，可以选取Set14中的两个细节较多的图像来进行重建效果的直观比较。
图3为Set14-Comic细节精修网络的效果比较示意图，参阅图3，标有HR的为原始高分辨率图像用以提供细节对比，标有DSTAN的是初步上采样网络的重建结果，C-DSTAN的是在初步上采样结果之上进行细节精修的结果。可以看出在任务头部装饰和颈部装饰等众多地方，相比于初步上采样结果，位置精修网络能够较好地补充细节避免重建结果的过于平滑。
图4为Set14-Face 细节精修网络的效果比较示意图，参阅图4，可以看出，在人物的皮肤部分初步上采样的重建结果因为追求与源图像更高的逐像素接近而趋于平滑，经过级联精修网络的调整和修正之后重建结果增加了很多细节很大程度上改善了感知度量。
级联结构与其他策略的比较：
在本发明中，在基础网络模型上采用面向感知度量采用不同的策略带来的影响，这些策略分别是：
第一，训练过程中将L1损失和对抗损失加权相加的方案；
第二，分别以L1损失和对抗损失训练两个结构相同的网络，然后对网络进行加权插值。
通过在同一个基础网络上使用不同的策略来改进感知损失，直接对比不同策略对感知度量的影响，以及为了获得感知度量在峰值信噪比和结构相似性等传统指标下所做出的妥协程度。在实验中，所有模型均是以四倍上采样为目标，都在DIV2k上采用同样的训练策略经过充分训练之后所得出的结果，以峰值信噪比，结构相似度以及感知指标作为度量，其中峰值信噪比和结构相似度都是越高代表着模型性能越好，感知指标则是越低表明生成图像越接近自然图像。
表2 级联结构与其他策略的比较
通过表2可以看出相比于损失加权的训练策略和训练之后进行网络插值的策略，本申请提出的级联结构能够改善感知度量下的图像质量，并且相比于其他策略级联结构在改善图像质量的过程中带来与原图更高的一致性，也就是拥有更高的峰值信噪比。
图5为Set14-Coastguard 不同策略效果对比示意图，为了进一步直观体现不同策略的效果差异，在四倍上采样的目标下，本发明实施例中选取了Set14中细节较多的图像来进行重建效果的直观比较，结果如图5所示，在水面的波纹效果中，相比于采用损失加权策略的模型重建结果模糊的特点，采用网络插值策略和级联结构的模型都能够有效的恢复波纹细节，且拥有相对较好的主观感受，此外从岸边的石头细节中可以看到，采用级联结构的模型在细节处的重建于原始图像的一致性更加强。
与其他感知度量模型的对比：
本发明中将对比C-DSTAN（Cascade-Dense Self Transfer Attention Network，级联网络感知模型）与其他主流基于感知度量的模型，包括SRGAN和ESRGAN。对于这些模型，首先采用峰值信噪比、结构相似性以及感知指标三个指标作为度量，接下来将以图像的方式呈现三个不同的模型各自的表现，以最直观的方式来比较这些模型，本节中采用的模型均使用相同的训练数据集并进行充分地训练。
表3 级联网络与其他感知度量模型的比较
通过以上实验可以看出，在所有的数据集上，本文所提出的级联网络C-DSTAN方法都处于一流水平，在某些数据集上还达到了最佳效果。并且为了提升感知指标，本发明所提方法也都有最低的图像一致性损失，也就是还保留了较高的峰值信噪比和结构相似性，下面的内容中，将以直观的方式来反映这种特点。
图6为Texture-10视觉效果对比示意图；图7为Texture-13视觉效果对比示意图；图8为Texture-14 视觉效果对比示意图；图9为 Texture-22 视觉效果对比示意图，参阅图5-图9，SRGAN网络和ESRGAN网络为了重建出符合自然图像特点的图像，普遍牺牲了与原图的一致性，具体表现就是，在上述图像中，SRGAN和ESRGAN恢复出的图像明显都不能正确的恢复出高频细节部分，虽然网络本身的涂抹和填补效果使得单看生成图像视觉效果并不差，但是这些重建结果与原图有了很大的出入，相比之下本申请提出的C-DSTAN不但能够恢复出较高视觉效果的图像，并且这些重建出的图像和原始图像具有较高的一致性。
基于一个总的发明构思，本发明实施例还提供一种基于级联网络的图像超分辨率方法。
图10为本发明实施例提供的一种基于级联网络的图像超分辨率方法流程示意图，参阅图10，改方法包括：
S11、基于基础超分辨率网络，获取目标图像的初步上采样结果；
S12、基于细节精修网络，根据初步上采样结果，获取超分辨率图像结果。
本发明实施例中的方法，其中各个步骤执行操作的具体方式已经在有关该方法的级联网络中进行了详细描述，此处将不做详细阐述说明。
本发明实施例提供的一种基于级联网络的图像超分辨率方法，基于基础超分辨率网络，获取目标图像的初步上采样结果；基于细节精修网络，根据初步上采样结果，获取超分辨率图像结果。其两个网络级联，将面向峰值信噪比的任务和面向主观感受的任务分开，由两个模型分别处理，基础超分辨率网络首先完成初步的上采样，这个初步上采样的结果很大程度上和原始高分辨率图像保证了内容一致性，接下来将初步上采样的结果送入精修网络来进一步改善感官损失，精修网络有了初步上采样结果的输入保证了整个超分辨率结果不会过度牺牲内容一致性，并且在初步上采样结果上精修减轻了精修网络和判别器的训练难度加快了训练速度，有效地缓解了现有模型的问题。
基于一个总的发明构思，本发明实施例还提供一种基于级联网络的图像超分辨率设备。
图11为本发明实施例提供的一种基于级联网络的图像超分辨率设备结构示意图，请参阅图11，本发明实施例提供的一种虚拟电厂内部多元主体的竞价设备，包括：处理器111，以及与处理器相连接的存储器112。
存储器112用于存储计算机程序，计算机程序至少用于上述任一实施例记载的基于级联网络的图像超分辨率方法；
处理器111用于调用并执行存储器中的计算机程序。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (7)
1.一种用于图像超分辨率的级联网络，其特征在于，包括：基础超分辨率网络、细节精修网络；所述细节精修网络与基础超分辨率网络级联；
所述基础超分辨率网络，用于获取目标图像的初步上采样结果；
所述细节精修网络，用于根据所述初步上采样结果，获取超分辨率图像结果；其中，所述细节精修网络，包括：特征提取器子网络、非线性映射子网络和重建子网络；
所述特征提取器子网络，用于根据初步上采样结果，提取粗特征；
所述非线性映射子网络，用于将所述粗特征，映射到具有高感知效果的特征空间，获取映射后的图像特征；所述非线性映射子网络，具体用于基于密集连接的通道注意力模块，将特征提取器提取到的粗特征映射到具有高感知效果的特征空间/>;所述/>的计算方式为：
其中，是经过映射后的图像特征；/>是密集连接的通道注意力模块；
所述由K个密集连接的卷积组(/>)组成，对于不同的升分辨率倍数，K值不同；
其中，HDID的输入为所述粗特征；HDID的输出为HD K的输出；代表密集连接的通道注意力模块中第K个卷积组；每个卷积组的输入为前一个卷积组的输出和所述粗特征的结合；
所述重建子网络，用于根据所述映射后的图像特征，重建获取超分辨率图像。
2.根据权利要求1所述的用于图像超分辨率的级联网络，其特征在于，还包括：判别器网络；所述判别器网络，用于判别所述超分辨率图形结果与原始高分辨率图像的可信程度，根据所述可信程度进行学习，从而实现与所述细节精修网络的对抗式训练。
3.根据权利要求1所述的用于图像超分辨率的级联网络，其特征在于，所述特征提取子网络，用于：从低分辨率图像中提取粗特征/>；所述/>的提取公式为：
其中，为提取出的粗特征，/>和/>分别为卷积层，/>代表输入的低分辨率图像。
4.根据权利要求1所述的用于图像超分辨率的级联网络，其特征在于，所述细节精修网络，用于：
根据所述初步上采样结果，获取初步超分辨率图像；
根据所述初步超分辨率图像与所述初步上采样结果相加并平均，获取所述超分辨率图像结果。
5.根据权利要求2所述的用于图像超分辨率的级联网络，其特征在于，所述判别器网络为相对判别器网络；
所述相对判别器网络，用于接受精修网络输出的超分辨率结果和原始的高分辨率图像，并判断相较于原始高分辨率图片，生成图片的可信程度。
6.根据权利要求5所述的用于图像超分辨率的级联网络，其特征在于，所述相对判别器，用于：对真实高分辨率图像和超分辨率图像的联合判别结果，为：
；
其中，代表真实高分辨率图像，/>代表模型重建出的超分辨率图像，C为判别器网络，为Sigmod函数。
7.一种基于级联网络的图像超分辨率方法，其特征在于，包括：
基于基础超分辨率网络，获取目标图像的初步上采样结果；
基于细节精修网络，根据所述初步上采样结果，获取超分辨率图像结果；具体用于根据初步上采样结果，提取粗特征；将所述粗特征，映射到具有高感知效果的特征空间，获取映射后的图像特征；根据所述映射后的图像特征，重建获取超分辨率图像；所述非线性映射子网络，具体用于基于密集连接的通道注意力模块，将特征提取器提取到的粗特征映射到具有高感知效果的特征空间/>;所述/>的计算方式为：
其中，是经过映射后的图像特征；/>是密集连接的通道注意力模块；
所述由K个密集连接的卷积组(/>)组成，对于不同的升分辨率倍数，K值不同；
其中，HDID的输入为粗特征；HDID的输出为HD K的输出；代表密集连接的通道注意力模块中第K个卷积组；每个卷积组的输入为前一个卷积组的输出和所述粗特征的结合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010940661.8A CN112116527B (zh) | 2020-09-09 | 2020-09-09 | 基于级联网络框架的图像超分辨率方法、级联网络 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010940661.8A CN112116527B (zh) | 2020-09-09 | 2020-09-09 | 基于级联网络框架的图像超分辨率方法、级联网络 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112116527A CN112116527A (zh) | 2020-12-22 |
| CN112116527B true CN112116527B (zh) | 2024-02-23 |
Family
ID=73802459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010940661.8A Active CN112116527B (zh) | 2020-09-09 | 2020-09-09 | 基于级联网络框架的图像超分辨率方法、级联网络 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112116527B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204489A (zh) * | 2016-07-12 | 2016-12-07 | 四川大学 | 结合深度学习与梯度转换的单幅图像超分辨率重建方法 |
| CN109325931A (zh) * | 2018-08-22 | 2019-02-12 | 中北大学 | 基于生成对抗网络和超分辨率网络的多模态图像融合方法 |
| CN110717856A (zh) * | 2019-09-03 | 2020-01-21 | 天津大学 | 一种用于医学成像的超分辨率重建算法 |
| CN110942424A (zh) * | 2019-11-07 | 2020-03-31 | 昆明理工大学 | 一种基于深度学习的复合网络单图像超分辨率重建方法 |
| CN111028147A (zh) * | 2019-11-25 | 2020-04-17 | 天津大学 | 基于级联空洞卷积的三维医学图像超分辨率重建方法 |
| CN111161150A (zh) * | 2019-12-30 | 2020-05-15 | 北京工业大学 | 一种基于多尺度注意级联网络的图像超分辨率重建方法 |
| CN111161146A (zh) * | 2019-12-25 | 2020-05-15 | 大连理工大学 | 一种由粗糙到精细的单张图像超分辨率重建方法 |
| CN111179177A (zh) * | 2019-12-31 | 2020-05-19 | 深圳市联合视觉创新科技有限公司 | 图像重建模型训练方法、图像重建方法、设备及介质 |
| CN111402140A (zh) * | 2020-03-25 | 2020-07-10 | 中国计量大学 | 单张图像超分辨率重建系统及方法 |
-
2020
- 2020-09-09 CN CN202010940661.8A patent/CN112116527B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204489A (zh) * | 2016-07-12 | 2016-12-07 | 四川大学 | 结合深度学习与梯度转换的单幅图像超分辨率重建方法 |
| CN109325931A (zh) * | 2018-08-22 | 2019-02-12 | 中北大学 | 基于生成对抗网络和超分辨率网络的多模态图像融合方法 |
| CN110717856A (zh) * | 2019-09-03 | 2020-01-21 | 天津大学 | 一种用于医学成像的超分辨率重建算法 |
| CN110942424A (zh) * | 2019-11-07 | 2020-03-31 | 昆明理工大学 | 一种基于深度学习的复合网络单图像超分辨率重建方法 |
| CN111028147A (zh) * | 2019-11-25 | 2020-04-17 | 天津大学 | 基于级联空洞卷积的三维医学图像超分辨率重建方法 |
| CN111161146A (zh) * | 2019-12-25 | 2020-05-15 | 大连理工大学 | 一种由粗糙到精细的单张图像超分辨率重建方法 |
| CN111161150A (zh) * | 2019-12-30 | 2020-05-15 | 北京工业大学 | 一种基于多尺度注意级联网络的图像超分辨率重建方法 |
| CN111179177A (zh) * | 2019-12-31 | 2020-05-19 | 深圳市联合视觉创新科技有限公司 | 图像重建模型训练方法、图像重建方法、设备及介质 |
| CN111402140A (zh) * | 2020-03-25 | 2020-07-10 | 中国计量大学 | 单张图像超分辨率重建系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112116527A (zh) | 2020-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xia et al. | Super-resolution of cardiac MR cine imaging using conditional GANs and unsupervised transfer learning | |
| Wang et al. | Laplacian pyramid adversarial network for face completion | |
| CN111091616A (zh) | 一种三维超声图像的重建方法及装置 | |
| CN108416821A (zh) | 一种深度神经网络的ct图像超分辨重建方法 | |
| CN111178499B (zh) | 一种基于生成对抗网络改进的医学图像超分辨率方法 | |
| Andrew et al. | Super-resolution reconstruction of brain magnetic resonance images via lightweight autoencoder | |
| KR102402677B1 (ko) | 영상 융합 방법 및 장치 | |
| CN117197627B (zh) | 一种基于高阶退化模型的多模态图像融合方法 | |
| CN110349085A (zh) | 一种基于生成对抗网络的单幅图像超分辨特征增强方法 | |
| CN108537734A (zh) | 基于梯度轮廓例子字典和加权自适应p范数的单幅图像超分辨率重建方法 | |
| CN117237196A (zh) | 基于隐式神经表征的脑部mri超分辨率重建方法及系统 | |
| CN117315735A (zh) | 基于先验信息与注意力机制的人脸超分辨率重建方法 | |
| Hu et al. | Pyramid orthogonal attention network based on dual self-similarity for accurate mr image super-resolution | |
| CN104700440A (zh) | 磁共振部分k空间图像重建方法 | |
| Wang et al. | Brain MR image super-resolution using 3D feature attention network | |
| CN114187181A (zh) | 基于残差信息精炼的双路径肺部ct图像超分辨率方法 | |
| CN112116527B (zh) | 基于级联网络框架的图像超分辨率方法、级联网络 | |
| Rashid et al. | Single MR image super-resolution using generative adversarial network | |
| Zhao et al. | Perception-oriented generative adversarial network for retinal fundus image super-resolution | |
| CN118014837A (zh) | 基于残差注意力机制的mri超分辨率 | |
| Liu et al. | Progressive residual learning with memory upgrade for ultrasound image blind super-resolution | |
| Xu et al. | Dual-branch deep image prior for image denoising | |
| CN110866888B (zh) | 基于潜在信息表征gan的多模态mri合成方法 | |
| George | Robust single image super resolution using neighbor embedding and fusion in wavelet domain | |
| Cheng et al. | Large-scale blind face super-resolution via edge guided frequency aware generative facial prior networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |