CN115205122A - 保持结构和纹理的超分图像生成方法、系统、装置和介质 - Google Patents

保持结构和纹理的超分图像生成方法、系统、装置和介质 Download PDF

Info

Publication number
CN115205122A
CN115205122A CN202211084696.1A CN202211084696A CN115205122A CN 115205122 A CN115205122 A CN 115205122A CN 202211084696 A CN202211084696 A CN 202211084696A CN 115205122 A CN115205122 A CN 115205122A
Authority
CN
China
Prior art keywords
resolution image
image
loss
branch network
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211084696.1A
Other languages
English (en)
Other versions
CN115205122B (zh
Inventor
周碧君
王朔遥
鄢慧斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202211084696.1A priority Critical patent/CN115205122B/zh
Publication of CN115205122A publication Critical patent/CN115205122A/zh
Application granted granted Critical
Publication of CN115205122B publication Critical patent/CN115205122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种保持结构和纹理的超分图像生成方法、系统、电子装置和存储介质，方法包括：将低分辨率图像输入第一分支网络，得到输出图像；将低分辨率图像输入第二分支网络，对低分辨率图像的结构张量进行重建，得到重建后的高分辨率的图像梯度信息；以低分辨率图像对应的高分辨率图像作为真实数据，结合图像梯度信息和输出图像，得到超分辨率图像，本发明通过使用结构张量来引导图像的超分重建，能够更好地描述图像的多通道信息，减少了结构和纹理失真，提高了超分辨率图像的保真度。

Description

保持结构和纹理的超分图像生成方法、系统、装置和介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种保持结构和纹理的超分图像生成方法、系统、装置和介质。
背景技术
在超分辨率图像算法中，Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data 利用纯合成数据训练的真实世界的盲超分辨率算法。该算法通过构建更复杂的退化模型，降级过程中引入了多种操作，例如模糊、噪声、下采样和JPEG压缩等。为了更好地模拟真实图像的复杂退化过程，该算法采用了采用二阶退化策略。该算法可以恢复更真实的纹理，但某些SR图像的局部恢复质量并不理想。并且它重建出的图像带有扭曲的结构线，尤其是在建筑物中，建筑线条的扭曲十分明显。
Designing a Practical Degradation Model for Deep Blind Image Super-Resolution (BSRGAN) 深盲图像超分辨率退化模型。该算法同Real-ESRGAN一样对降级过程引入多种退化操作，但其没有采用二阶退化。该算法生成的超分图像在结构线条上没有出现严重的扭曲，但它图像整体比较平滑，相比之下细节恢复的效果不够好。BSRGAN和RealESRGAN可以在一些退化比较严重的LR图像上生成一定数量的细节，但它们很难在轻微退化的LR输入上生成精细细节。
然而，图像的结构和纹理细节是图像超分问题中的两个关键。Real-ESRGAN重建的图像结构线条会扭曲，在建筑上尤为明显。整体视觉效果较好，但是局部的纹理恢复效果不理想。BSRGAN在结构上没有出现严重的扭曲，但它图像整体比较平滑，纹理细节恢复的效果不够好，由此可见，现有的主流方法皆没有能很好的同时处理结构和纹理这两个关键。
发明内容
本发明的主要目的在于提供一种保持结构和纹理的超分图像生成方法、系统、装置和介质，旨在解决当前先进算法恢复的超分图像中仍然存在的结构扭曲和过度平滑的纹理问题。
为实现上述目的，本发明第一方面提供一种保持结构和纹理的超分图像生成方法，包括：将低分辨率图像输入第一分支网络，得到输出图像；将所述低分辨率图像输入第二分支网络，对所述低分辨率图像的结构张量进行重建，得到重建后的高分辨率的图像梯度信息；以所述低分辨率图像对应的高分辨率图像作为真实数据，结合所述图像梯度信息和所述输出图像，得到超分辨率图像。
进一步地，所述超分辨率图像在生成器中生成，所述生成器包括第一分支网络和第二分支网络，所述第一分支网络为超分辨率残差网络，依次包括1个3*3的卷积块，23个残差块，1个3*3的卷积块，上采样层，2个3*3的卷积块组成的卷积层；所述第二分支网络包括1个3*3的卷积块，4个由1个残差块和1个3*3卷积块组成的剩余密集块，1个3*3的卷积块，上采样层，2个3*3的卷积块组成的卷积层，1个1*1的卷积块组成；所述生成器还包括和第一分支网络连接的融合块、2个3*3的卷积块组成的卷积层，和第二分支网络连接的激活函数、1个1*1的卷积块组成，所述图像梯度信息经过激活函数和1*1的卷积块，与经过第二分支网络的卷积层的输出特征进行跳跃连接，在所述生成器的融合块内和所述输出图像进行融合，在所述生成器的卷积层内生成超分辨率图像。
进一步地，所述生成器的损失函数包括两个，一个是第一分支网络的损失函数
Figure 753030DEST_PATH_IMAGE001
，施加在所述输出图像上，另一个为第二分支网络的损失函数
Figure 416093DEST_PATH_IMAGE002
，施加在结构张量重建时的低分辨率图像和所述超分辨率图像上；
Figure DEST_PATH_IMAGE003
其中，
Figure 879435DEST_PATH_IMAGE004
、
Figure DEST_PATH_IMAGE005
、
Figure 223829DEST_PATH_IMAGE006
、
Figure DEST_PATH_IMAGE007
分别为第一分支网络中的像素损失、感知损失、对抗损失和局部损失，ILR为低分辨率图像数据，IHR为高分辨率图像，ISR为超分辨率图像，
Figure 534855DEST_PATH_IMAGE008
；
Figure DEST_PATH_IMAGE009
其中，
Figure 40923DEST_PATH_IMAGE010
、
Figure DEST_PATH_IMAGE011
分别为像素级损失、对抗损失，用于惩罚超分辨率图像的结构张量和高分辨率图像的结构张量之间的差异，
Figure 257141DEST_PATH_IMAGE012
为第二分支网络中的像素损失。
进一步地，在第一分支网络的损失函数
Figure DEST_PATH_IMAGE013
的计算方法中，
Figure 201963DEST_PATH_IMAGE014
其中，
Figure 554447DEST_PATH_IMAGE004
、
Figure 231416DEST_PATH_IMAGE005
、
Figure 669350DEST_PATH_IMAGE006
、
Figure 667131DEST_PATH_IMAGE007
分别为低分辨率图像的像素损失、感知损失、对抗损失和局部损失，ILR为低分辨率图像，IHR为高分辨率图像，ISR为超分辨率图像，
Figure DEST_PATH_IMAGE015
和
Figure 874122DEST_PATH_IMAGE016
分别表示相对判别器和VGG模型第1-5层的输出函数，
Figure DEST_PATH_IMAGE017
表示期望，
Figure 987571DEST_PATH_IMAGE008
。
进一步地，在第二分支网络的损失函数
Figure 975119DEST_PATH_IMAGE002
中，
Figure 199427DEST_PATH_IMAGE018
其中，
Figure DEST_PATH_IMAGE019
、
Figure 526503DEST_PATH_IMAGE020
和
Figure DEST_PATH_IMAGE021
分别表示图像低分辨率图像的结构张量、第二分支网络的相对判别器和生成器，参数
Figure 810854DEST_PATH_IMAGE022
和
Figure DEST_PATH_IMAGE023
分别为0.005和0.5。
进一步地，所述局部损失
Figure 770850DEST_PATH_IMAGE007
的函数为：
Figure 798849DEST_PATH_IMAGE024
其中，
Figure DEST_PATH_IMAGE025
和
Figure 980432DEST_PATH_IMAGE026
分别表示图像局部块的感知损失和对抗损失，表示的图像为高分辨率图像和超分辨率图像，
Figure DEST_PATH_IMAGE027
，分别表示局部块的感知损失和对抗损失的权重。
进一步地，在第一分支网络中，还将第一个3*3卷积块提取的输出特征与经过23个残差块后再和由1个3*3卷积块提取的特征相连接，一起作为上采样层的输入；在第二分支网络中，第一个3*3卷积块的输出和一个剩余密集块相连，还和另一个3*3卷积块的输出相连，4个剩余密集块还分别和第一分支网络的第五残差块、第十残差块、第十五残差块、第二十残差块的输出相连。
本发明第二方面提供一种保持结构和纹理的超分图像生成系统，包括：第一分支模块，用于将低分辨率图像输入第一分支网络，得到输出图像，并以所述低分辨率图像对应的高分辨率图像作为真实数据，结合重建后的高分辨率的图像梯度信息和所述输出图像，得到超分辨率图像；第二分支模块，用于将所述低分辨率图像输入第二分支网络，对所述低分辨率图像的结构张量进行重建，得到重建后的高分辨率的图像梯度信息。
本发明第三方面提供一种电子装置，包括：存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述中的任意一项所述保持结构和纹理的超分图像生成方法。
本发明第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述中的任意一项所述保持结构和纹理的超分图像生成方法。
本发明提供一种保持结构和纹理的超分图像生成方法、系统、装置和介质，有益效果在于：本发明通过使用结构张量来引导图像的超分辨率，能够更好地描述图像的多通道信息，减少了结构和纹理失真，提高了超分辨率图像的保真度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例保持结构和纹理的超分图像生成方法的流程图；
图2为本发明实施例保持结构和纹理的超分图像生成方法的基于真实数据集DPED和OST300的各方法的视觉效果展示图；
图3为本发明实施例保持结构和纹理的超分图像生成方法的基于DIV2K验证集的各方法之间的视觉效果展示图；
图4为本发明实施例保持结构和纹理的超分图像生成系统的框架图；
图5为本发明实施例电子装置的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，为一种保持结构和纹理的超分图像生成方法，包括：
S101、将低分辨率图像输入第一分支网络，得到输出图像；
S102、将低分辨率图像输入第二分支网络，对低分辨率图像的结构张量进行重建，得到重建后的高分辨率的图像梯度信息；
S103、以低分辨率图像对应的高分辨率图像作为真实数据，结合图像梯度信息和输出图像，得到超分辨率图像。
在本实施例中，我们的目标是将low-resolution(LR，低分辨率图像) 图像ILR作为输入，并在其对应的high-resolution(HR，高分辨率图像)图像IHR作为ground truth （真实数据）的情况下生成SR 图像ISR。其中，生成器G（·）：ILR→ ISR由两个分支组成。第一分支网络采用与ESRGAN 相同的生成器，这是一个深度网络，在剩余密集块（RRDB）中有23个残差块。我们还提出了ST（Structure Tensor）结构张量分支，用于提供图像梯度信息以指导图像重建。最后，我们使用RRDB块和卷积层连接两个分支的输出特征，并从连接的特征重建出超分图像ISR。
其中，超分辨率图像在生成器中生成，所述生成器第一分支网络和第二分支网络，第一分支网络即为超分辨率残差网络，依次包括1个3*3的卷积块，23个残差块，1个3*3的卷积块，上采样层，2个3*3的卷积块组成的卷积层；第二分支网络包括1个3*3的卷积块，4个由1个残差块和1个3*3卷积块组成的剩余密集块，1个3*3的卷积块，上采样层，2个3*3的卷积块组成的卷积层，1个1*1的卷积块组成；生成器还包括和第一分支网络连接的融合块、2个3*3的卷积块组成的卷积层，和第二分支网络连接的激活函数、1个1*1的卷积块组成，图像梯度信息经过激活函数和1*1的卷积块，与经过第二分支网络的卷积层的输出特征进行跳跃连接，在生成器的融合块内和输出图像进行融合，在生成器的卷积层内生成超分辨率图像。
在本实施例中，在第一分支网络中，1个3*3的卷积块的输出和一个残差块相连，还和上采样层的输入相连；在第二分支网络中，第一个3*3卷积块的输出和一个剩余密集块相连，还和另一个3*3卷积块的输出相连，4个剩余密集块还分别和第一分支网络的第五残差块、第十残差块、第十五残差块、第二十残差块的输出相连。
由于有两个网络分支，所以生成器的损失函数包括两个，一个是第一分支网络的损失函数
Figure 498001DEST_PATH_IMAGE028
，施加在输出图像上，另一个为第二分支网络的损失函数
Figure DEST_PATH_IMAGE029
，施加在结构张量重建时的低分辨率图像和超分辨率图像上。
其中，第一网络分支的损失函数，
Figure 397824DEST_PATH_IMAGE030
的计算方法为：
Figure DEST_PATH_IMAGE031
其中，
Figure 266730DEST_PATH_IMAGE032
、
Figure DEST_PATH_IMAGE033
、
Figure 302819DEST_PATH_IMAGE034
、
Figure DEST_PATH_IMAGE035
分别为第一分支网络中的像素损失、感知损失、对抗损失和局部损失，ILR为低分辨率图像数据，IHR为高分辨率图像，ISR为超分辨率图像，
Figure 928972DEST_PATH_IMAGE036
。
其中，
Figure 112829DEST_PATH_IMAGE037
其中，
Figure 482630DEST_PATH_IMAGE032
、
Figure 638805DEST_PATH_IMAGE033
、
Figure 435860DEST_PATH_IMAGE034
、
Figure 44696DEST_PATH_IMAGE035
分别为低分辨率图像的像素损失、感知损失、对抗损失和局部损失，ILR为低分辨率图像，IHR为高分辨率图像，ISR为超分辨率图像，
Figure 765658DEST_PATH_IMAGE038
和
Figure 776340DEST_PATH_IMAGE039
分别表示全局的相对判别器和VGG模型第1-5层的输出函数，
Figure 744296DEST_PATH_IMAGE040
表示期望，
Figure 840428DEST_PATH_IMAGE036
。
而第一网络分支的损失函数，
Figure 552032DEST_PATH_IMAGE041
的计算方法为：
Figure 682799DEST_PATH_IMAGE042
其中，
Figure 883973DEST_PATH_IMAGE043
、
Figure 201822DEST_PATH_IMAGE044
分别为像素级损失、对抗损失，用于惩罚超分辨率图像的结构张量和高分辨率图像的结构张量之间的差异，
Figure 717117DEST_PATH_IMAGE045
为第二分支网络中的像素损失，作用在低分辨率图像的结构张量和重建的结构张量上。
其中，
Figure 702390DEST_PATH_IMAGE046
其中，
Figure 12149DEST_PATH_IMAGE047
、
Figure 128878DEST_PATH_IMAGE048
和
Figure 182285DEST_PATH_IMAGE049
分别表示图像低分辨率图像的结构张量、第二分支网络的相对判别器和生成器，参数
Figure 22065DEST_PATH_IMAGE050
和
Figure 502725DEST_PATH_IMAGE051
分别为0.005和0.5。
图像的梯度信息可以很好地反映结构和纹理信息。现有方法SPSR（Structure-Preserving Super Resolution with Gradient Guidance，基于梯度指导的结构保留超分辨率方法）主要利用每个通道的梯度强度来构造梯度分支。然而，它忽略了每个通道之间的相关性，因此使用单通道梯度优化图像结构可能会引入通道矛盾。因此，我们引入结构张量来关联多通道信息，以指导SR结构信息的重建。结构张量是由Di Zenzo（文章：A note onthe gradient of a multi-image）提出的，它可以集成和表示彩色自然图像每个通道的梯度信息。像素（x，y）处图像I的结构张量可以由2×2矩阵Ψ(I)表示：
Figure 60745DEST_PATH_IMAGE052
其中，m，
Figure 714581DEST_PATH_IMAGE053
和
Figure 674446DEST_PATH_IMAGE054
分别表示通道数，图像在i通道上的水平梯度和i通道上的垂直梯度。
结构张量(Structure Tensor,ST)是一个具有两个实特征值和非负特征值的实对称矩阵，表示像素指定邻域中的主梯度方向，以及这些方向的相干程度。通过组合图像多通道的导数，利用了不同通道之间的相关性。与单通道梯度图相比，从ST得到的梯度信息更丰富、更准确。与从LR图像到HR图像的重建过程类似，第二网络分支学习LR图像的结构张量到HR图像的结构张量之间的分布映射。第二网络分支集成了从第一网络分支提取的从浅到深（第5、10、15和20个残差块）的特征。这些特征为从LR-ST到HR-ST的重建提供了补充信息。反过来，重建ST中的结构信息可以更好地指导图像重建。
另外，感知损失和对抗损失是两种常见的纹理升级损失函数。基于上述两种损失，现有方法主要利用判别器从整个图像的角度来判别生成图像的真实性。然而，当判别器聚焦于整个图像时，它忽略了对局部区域（例如纹理）中小梯度的鉴别，导致局部纹理的恢复质量较低。而图像超分辨率的关键是恢复低分辨率图像的真实纹理，其中图像包含丰富而复杂的内容，因此图像的局部信息非常重要。为了改善局部纹理，本发明的判别器同时考虑图像的全局和局部区域。为此，本实施例采用了全局-局部鉴别器结构，使用与Real-ESRGAN算法中相同的U-Net判别器，从全局和局部两方面角度来区分SR图像。具体地，本实施例从SR分支的输出图像和HR图像中随机裁剪出大小为64×64的块，然后判别器在识别全局图像对的同时，学习区分局部随机裁剪块是真是假。这种全局-局部结构确保恢复的局部裁剪块与HR裁剪块具有相似的视觉感知效果。相应地，本实施例引入了一种局部损失，该损失在SR输出图像和HR图像的局部裁剪块上进行优化。
局部损失
Figure 326007DEST_PATH_IMAGE035
的函数为：
Figure 105745DEST_PATH_IMAGE055
其中，
Figure 500954DEST_PATH_IMAGE056
和
Figure 128375DEST_PATH_IMAGE057
分别表示图像局部块的感知损失和对抗损失，表示的图像为高分辨率图像和超分辨率图像，
Figure 950838DEST_PATH_IMAGE058
，分别表示局部块的感知损失和对抗损失的权重。
在一个实施例中，还对本发明提供的保持结构和纹理的超分图像生成方法制定了数据集和评估，具体为：
在实验中，采用DIV2K、Flickr2K和OutdoorScenetTraining数据集进行训练。实验测试了真实世界图像的不同数据集，包括RealSR（来自佳能和尼康）、OST300、DPED和ADE20K验证集。考虑到这一方向的工作更关注感知质量，而非参考图像质量评估（NIQE）被视为继Real-ESRGAN之后的主要指标。NIQE值越低，表示感知质量越高。除此之外，实验还利用六种常用的测试基准：Set5、Set14、BSD100、Urban100、General100和DIV2K验证集。对于这些具有ground truth的合成数据集，实验中计算了YCbCr图像Y通道上的评估峰值信噪比（PeakSignal-to-Noise Ratio，PSNR）和结构相似性（Structural Similarity，SSIM）。实验从输出的SR图像和ground truth HR图像中随机抽取10个大小为64×64的块，通过判别器判断其真实性，并计算局部损失。我们使用四个NVIDIA A100 GPU训练模型，总批量大小为48，学习率为1×10−4。
在进行实验后，分别在真实图像、合成数据集上进行了比较。
其中，在真实图像上比较：将本发明提供的方法与几种最先进的方法进行比较，包括ESRGAN、DAN、RealSR、BSRGAN和Real-ESRGAN。NIQE值的结果如表一所示。本实施例仅给出比例因子为4的SR结果。如表1所示，该方法在大多数真实图像数据集上实现了最佳NIQE性能。本实施例给出了图2中的定性比较示例。如图2所示，本发明的方法在恢复感知上更丰富的局部纹理和增强结构信息方面都优于以前的方法，图2中，“Ours”表示本发明实施例提供的方法的实验方案。具体来说，Real-ESRGAN可以在一些真实图像上实现良好的性能，但它的一些线条是扭曲的，尤其是在建筑中。我们的方法增强了图像的结构信息，在一定程度上缓解了上述问题。
Figure 217871DEST_PATH_IMAGE059
。
另外，在合成数据集上比较。除了比较真实图像外，实验还将六个基准数据集上的性能与本发明的主干方法Real- ESRGAN进行了比较。本实施例对生成的结果进行了定量比较。如表2所示，我们的方法在峰值信噪比PSNR和结构相似性SSIM评估指标上都优于Real-ESRGAN。此外，我们还在图3中给出了一些可视化示例。我们的方法可以在复杂退化的真实图像（如图2所示）和轻微退化的LR输入（如双三次下采样）上重建视觉感知良好的SR图像，如图3所示。然而，Real-ESRGAN很难在轻微退化的LR输入上生成精细细节。相比之下，本发明的方法能够从具有显著细节的简单退化图像生成SR图像。
Figure 416771DEST_PATH_IMAGE060
。
在本实施例中，还进行了消融实验，以研究主要成分在本发明提供的方法中的作用，包括局部损失和ST分支。为了公平地比较实验，本实施例在我们的环境中复现了Real-ESRGAN方法，而不改变原始设置。特别是，比较了真实SR数据集（具有NIQE度量）和合成数据集（具有PSNR度量）的结果。基于这一主干，实验中逐步修改基线模型，结果如表3所示。从表中数据可以观察到，相比之前的方法，利用结构张量构建分支比使用图像梯度强度构建分支的超分效果更好。也可以观察到感知质量和重建精度的改善，验证了我们方法的有效性。
Figure 85650DEST_PATH_IMAGE061
。
此外，本发明是第一个在Real-SR真实图像超分任务中联合考虑过平滑和泛化问题的工作，且第一个使用图像的结构张量代替梯度强度来引导图像超分辨率，ST可以更好地描述图像的多通道梯度信息。
并且本发明我们全局-局部判别器来有效提升局部纹理。在真实数据集和合成数据集上的实验结果表明，本发明的方法通过减少结构和纹理失真，成功地提高了SR保真度。
本发明提供的保持结构和纹理的超分图像生成方法，能够近乎无损的放大低分辨率的图像，改善图像的感知质量，例如应用于桌面壁纸。超分还被广泛应用于医学影像分析、视频监控于安全等方面。
请参阅图4，为本发明实施例提供的保持结构和纹理的超分图像生成系统，包括：第一分支模块1、第二分支模块2；第一分支模块1用于将低分辨率图像输入第一分支网络，得到输出图像，并以低分辨率图像对应的高分辨率图像作为真实数据，结合重建后的高分辨率的图像梯度信息和输出图像，得到超分辨率图像；第二分支模块2用于将低分辨率图像输入第二分支网络，对低分辨率图像的结构张量进行重建，得到低分辨率图像的图像梯度信息。
在一个实施例中，超分辨率图像在生成器中生成，生成器包括第一分支网络和第二分支网络，第一分支网络为超分辨率残差网络，依次包括1个3*3的卷积块，23个残差块，1个3*3的卷积块，上采样层，2个3*3的卷积块组成的卷积层；第二分支网络包括1个3*3的卷积块，4个由1个残差块和1个3*3卷积块组成的剩余密集块，1个3*3的卷积块，上采样层，2个3*3的卷积块组成的卷积层，1个1*1的卷积块组成；生成器还包括和第一分支网络连接的融合块、2个3*3的卷积块组成的卷积层，和第二分支网络连接的激活函数、1个1*1的卷积块组成，图像梯度信息经过激活函数和1*1的卷积块，与经过第二分支网络的卷积层的输出特征进行跳跃连接，在生成器的融合块内和输出图像进行融合，在生成器的卷积层内生成超分辨率图像。
在一个实施例中，生成器的损失函数包括两个，一个是第一分支网络的损失函数
Figure 141331DEST_PATH_IMAGE030
，施加在输出图像上，另一个为第二分支网络的损失函数
Figure 895660DEST_PATH_IMAGE029
，施加在结构张量重建时的低分辨率图像和超分辨率图像上；
Figure 898251DEST_PATH_IMAGE062
其中，
Figure 421637DEST_PATH_IMAGE032
、
Figure 585902DEST_PATH_IMAGE033
、
Figure 827527DEST_PATH_IMAGE034
、
Figure 682744DEST_PATH_IMAGE035
分别为第一分支网络中的像素损失、感知损失、对抗损失和局部损失，ILR为低分辨率图像数据，IHR为高分辨率图像，ISR为超分辨率图像，
Figure 60636DEST_PATH_IMAGE036
；
Figure 661381DEST_PATH_IMAGE063
其中，
Figure 124724DEST_PATH_IMAGE064
、
Figure 469117DEST_PATH_IMAGE065
分别为像素级损失、对抗损失，用于惩罚超分辨率图像的结构张量和高分辨率图像的结构张量之间的差异，
Figure 763833DEST_PATH_IMAGE066
为第二分支网络中的像素损失，作用在低分辨率图像的结构张量和重建的结构张量上。
在一个实施例中，在第一分支网络的损失函数
Figure 535479DEST_PATH_IMAGE030
的计算方法中，
Figure 486118DEST_PATH_IMAGE067
其中，
Figure 368623DEST_PATH_IMAGE032
、
Figure 721107DEST_PATH_IMAGE033
、
Figure 476705DEST_PATH_IMAGE034
、
Figure 914639DEST_PATH_IMAGE035
分别为低分辨率图像的像素损失、感知损失、对抗损失和局部损失，ILR为低分辨率图像，IHR为高分辨率图像，ISR为超分辨率图像，
Figure 600836DEST_PATH_IMAGE068
和
Figure 807826DEST_PATH_IMAGE069
分别表示相对判别器和VGG模型第1-5层的输出函数，
Figure 921275DEST_PATH_IMAGE070
表示期望，
Figure 908823DEST_PATH_IMAGE036
。
在一个实施例中，在第二分支网络的损失函数
Figure 133131DEST_PATH_IMAGE041
中，
Figure 460207DEST_PATH_IMAGE071
其中，
Figure 478979DEST_PATH_IMAGE072
、
Figure 891506DEST_PATH_IMAGE073
和
Figure 231089DEST_PATH_IMAGE074
分别表示图像低分辨率图像的结构张量、第二分支网络的相对判别器和生成器，参数
Figure 412672DEST_PATH_IMAGE050
和
Figure 867924DEST_PATH_IMAGE051
分别为0.005和0.5。
在一个实施例中，局部损失
Figure 502167DEST_PATH_IMAGE035
的函数为：
Figure 68278DEST_PATH_IMAGE075
其中，
Figure 432263DEST_PATH_IMAGE076
和
Figure 58416DEST_PATH_IMAGE077
分别表示图像局部块的感知损失和对抗损失，表示的图像为高分辨率图像和超分辨率图像，
Figure 179956DEST_PATH_IMAGE078
，分别表示局部块的感知损失和对抗损失的权重。
在一个实施例中，在第一分支网络中，还将第一个3*3卷积块提取的输出特征与经过23个残差块后再和由1个3*3卷积块提取的特征相连接，一起作为上采样层的输入；在第二分支网络中，第一个3*3卷积块的输出和一个剩余密集块相连，还和另一个3*3卷积块的输出相连，4个剩余密集块还分别和第一分支网络的第五残差块、第十残差块、第十五残差块、第二十残差块的输出相连。
本申请实施例提供一种电子装置，请参阅图5，该电子装置包括：存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序，处理器602执行该计算机程序时，实现前述中描述的保持结构和纹理的超分图像生成方法。
进一步的，该电子装置还包括：至少一个输入设备603以及至少一个输出设备604。
上述存储器601、处理器602、输入设备603以及输出设备604，通过总线605连接。
其中，输入设备603具体可为摄像头、触控面板、物理按键或者鼠标等等。输出设备604具体可为显示屏。
存储器601可以是高速随机存取记忆体（RAM，Random Access Memory）存储器，也可为非不稳定的存储器（non-volatile memory），例如磁盘存储器。存储器601用于存储一组可执行程序代码，处理器602与存储器601耦合。
进一步的，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子装置中，该计算机可读存储介质可以是前述中的存储器601。该计算机可读存储介质上存储有计算机程序，该程序被处理器602执行时实现前述实施例中描述的保持结构和纹理的超分图像生成方法。
进一步的，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器601（ROM，Read-Only Memory）、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的一种保持结构和纹理的超分图像生成方法、系统、电子装置和存储介质的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种保持结构和纹理的超分图像生成方法，其特征在于，包括：
将低分辨率图像输入第一分支网络，得到输出图像；
将所述低分辨率图像输入第二分支网络，对所述低分辨率图像的结构张量进行重建，得到重建后的高分辨率的图像梯度信息；
以所述低分辨率图像对应的高分辨率图像作为真实数据，结合所述图像梯度信息和所述输出图像，得到超分辨率图像。
2.根据权利要求1所述的保持结构和纹理的超分图像生成方法，其特征在于，所述超分辨率图像在生成器中生成，所述生成器包括第一分支网络和第二分支网络，所述第一分支网络为超分辨率残差网络，依次包括1个3*3的卷积块，23个残差块，1个3*3的卷积块，上采样层，2个3*3的卷积块组成的卷积层；所述第二分支网络包括1个3*3的卷积块，4个由1个残差块和1个3*3卷积块组成的剩余密集块，1个3*3的卷积块，上采样层，2个3*3的卷积块组成的卷积层，1个1*1的卷积块组成；所述生成器还包括和第一分支网络连接的融合块、2个3*3的卷积块组成的卷积层，和第二分支网络连接的激活函数、1个1*1的卷积块组成，所述图像梯度信息经过激活函数和1*1的卷积块，与经过第二分支网络的卷积层的输出特征进行跳跃连接，在所述生成器的融合块内和所述输出图像进行融合，在所述生成器的卷积层内生成超分辨率图像。
3.根据权利要求1所述的保持结构和纹理的超分图像生成方法，其特征在于，所述生成器的损失函数包括两个，一个是第一分支网络的损失函数
Figure 980804DEST_PATH_IMAGE001
，施加在所述输出图像上，另一个为第二分支网络的损失函数
Figure 154296DEST_PATH_IMAGE002
，施加在结构张量重建时的低分辨率图像和所述超分辨率图像上；
Figure 164977DEST_PATH_IMAGE003
其中，
Figure 195250DEST_PATH_IMAGE004
、
Figure 291382DEST_PATH_IMAGE005
、
Figure 737407DEST_PATH_IMAGE006
、
Figure 868174DEST_PATH_IMAGE007
分别为第一分支网络中的像素损失、感知损失、对抗损失和局部损失，ILR为低分辨率图像数据，IHR为高分辨率图像，ISR为超分辨率图像，
Figure 7031DEST_PATH_IMAGE008
；
Figure 902044DEST_PATH_IMAGE009
其中，
Figure 151760DEST_PATH_IMAGE010
、
Figure 137033DEST_PATH_IMAGE011
分别为像素级损失、对抗损失，用于惩罚超分辨率图像的结构张量和高分辨率图像的结构张量之间的差异，
Figure 446792DEST_PATH_IMAGE012
为第二分支网络中的像素损失，作用在低分辨率图像的结构张量和重建的结构张量上。
4.根据权利要求3所述的保持结构和纹理的超分图像生成方法，其特征在于，在第一分支网络的损失函数
Figure 517516DEST_PATH_IMAGE001
的计算方法中，
Figure 633240DEST_PATH_IMAGE013
其中，
Figure 473020DEST_PATH_IMAGE014
、
Figure 953679DEST_PATH_IMAGE015
、
Figure 246121DEST_PATH_IMAGE016
、
Figure 103218DEST_PATH_IMAGE017
分别为低分辨率图像的像素损失、感知损失、对抗损失和局部损失，ILR为低分辨率图像，IHR为高分辨率图像，ISR为超分辨率图像，
Figure 797505DEST_PATH_IMAGE018
和
Figure 262115DEST_PATH_IMAGE019
分别表示相对判别器和VGG模型第1-5层的输出函数，
Figure 307432DEST_PATH_IMAGE020
表示期望，
Figure 702641DEST_PATH_IMAGE008
。
5.根据权利要求3所述的保持结构和纹理的超分图像生成方法，其特征在于，在第二分支网络的损失函数
Figure 251434DEST_PATH_IMAGE002
中，
Figure 339476DEST_PATH_IMAGE021
其中，
Figure 668826DEST_PATH_IMAGE022
、
Figure 602147DEST_PATH_IMAGE023
和
Figure 271025DEST_PATH_IMAGE024
分别表示图像低分辨率图像的结构张量、第二分支网络的相对判别器和生成器，参数
Figure 529968DEST_PATH_IMAGE025
和
Figure 18719DEST_PATH_IMAGE026
分别为0.005和0.5。
6.根据权利要求4所述的保持结构和纹理的超分图像生成方法，其特征在于，所述局部损失
Figure 335824DEST_PATH_IMAGE027
的函数为：
Figure 859209DEST_PATH_IMAGE028
其中，
Figure 23474DEST_PATH_IMAGE029
和
Figure 265100DEST_PATH_IMAGE030
分别表示图像局部块的感知损失和对抗损失，表示的图像为高分辨率图像和超分辨率图像，
Figure 805802DEST_PATH_IMAGE031
，分别表示局部块的感知损失和对抗损失的权重。
7.根据权利要求2所述的保持结构和纹理的超分图像生成方法，其特征在于，
在第一分支网络中，还将第一个3*3卷积块提取的输出特征与经过23个残差块后再和由1个3*3卷积块提取的特征相连接，一起作为上采样层的输入；
在第二分支网络中，第一个3*3卷积块的输出和一个剩余密集块相连，还和另一个3*3卷积块的输出相连，4个剩余密集块还分别和第一分支网络的第五残差块、第十残差块、第十五残差块、第二十残差块的输出相连。
8.一种保持结构和纹理的超分图像生成系统，其特征在于，包括：
第一分支模块，用于将低分辨率图像输入第一分支网络，得到输出图像，并以所述低分辨率图像对应的高分辨率图像作为真实数据，结合重建后的高分辨率的图像梯度信息和所述输出图像，得到超分辨率图像；
第二分支模块，用于将所述低分辨率图像输入第二分支网络，对所述低分辨率图像的结构张量进行重建，得到重建后的高分辨率的图像梯度信息。
9.一种电子装置，包括：存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至7中的任意一项所述方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至7中的任意一项所述方法。
CN202211084696.1A 2022-09-06 2022-09-06 保持结构和纹理的超分图像生成方法、系统、装置和介质 Active CN115205122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211084696.1A CN115205122B (zh) 2022-09-06 2022-09-06 保持结构和纹理的超分图像生成方法、系统、装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211084696.1A CN115205122B (zh) 2022-09-06 2022-09-06 保持结构和纹理的超分图像生成方法、系统、装置和介质

Publications (2)

Publication Number Publication Date
CN115205122A true CN115205122A (zh) 2022-10-18
CN115205122B CN115205122B (zh) 2022-12-06

Family

ID=83572395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211084696.1A Active CN115205122B (zh) 2022-09-06 2022-09-06 保持结构和纹理的超分图像生成方法、系统、装置和介质

Country Status (1)

Country Link
CN (1) CN115205122B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012296A (zh) * 2022-12-01 2023-04-25 浙江大学 一种基于超分辨率和半监督学习算法的装配式预制构件检测方法
CN116543377A (zh) * 2023-07-05 2023-08-04 西南民族大学 一种基于多尺度特征的车牌清晰度提升方法
CN116612013A (zh) * 2023-07-19 2023-08-18 山东智洋上水信息技术有限公司 一种红外图像超分算法及其移植至前端设备的方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514580A (zh) * 2013-09-26 2014-01-15 香港应用科技研究院有限公司 用于获得视觉体验优化的超分辨率图像的方法和系统
CN110111256A (zh) * 2019-04-28 2019-08-09 西安电子科技大学 基于残差蒸馏网络的图像超分辨重建方法
CN112508786A (zh) * 2020-12-03 2021-03-16 武汉大学 面向卫星图像的任意尺度超分辨率重建方法及系统
CN112731520A (zh) * 2019-10-14 2021-04-30 中国石油化工股份有限公司 一种基于结构张量扩散滤波的全波形反演方法及系统
CN112926430A (zh) * 2020-04-08 2021-06-08 沈阳工业大学 基于深度学习的多角度人脸表情识别方法
CN114549308A (zh) * 2022-01-28 2022-05-27 大连大学 面向感知的具有大感受野的图像超分辨率重建方法及系统
CN114677282A (zh) * 2022-04-19 2022-06-28 中国人民解放军火箭军工程大学 一种图像超分辨率重建方法及系统
CN115147283A (zh) * 2022-08-03 2022-10-04 魔视智能科技(武汉)有限公司 一种图像重建方法、装置、设备及介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514580A (zh) * 2013-09-26 2014-01-15 香港应用科技研究院有限公司 用于获得视觉体验优化的超分辨率图像的方法和系统
CN110111256A (zh) * 2019-04-28 2019-08-09 西安电子科技大学 基于残差蒸馏网络的图像超分辨重建方法
CN112731520A (zh) * 2019-10-14 2021-04-30 中国石油化工股份有限公司 一种基于结构张量扩散滤波的全波形反演方法及系统
CN112926430A (zh) * 2020-04-08 2021-06-08 沈阳工业大学 基于深度学习的多角度人脸表情识别方法
CN112508786A (zh) * 2020-12-03 2021-03-16 武汉大学 面向卫星图像的任意尺度超分辨率重建方法及系统
CN114549308A (zh) * 2022-01-28 2022-05-27 大连大学 面向感知的具有大感受野的图像超分辨率重建方法及系统
CN114677282A (zh) * 2022-04-19 2022-06-28 中国人民解放军火箭军工程大学 一种图像超分辨率重建方法及系统
CN115147283A (zh) * 2022-08-03 2022-10-04 魔视智能科技(武汉)有限公司 一种图像重建方法、装置、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIN DENG: "Deep Coupled Feedback Network for Joint Exposure Fusion and Image Super-Resolution", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012296A (zh) * 2022-12-01 2023-04-25 浙江大学 一种基于超分辨率和半监督学习算法的装配式预制构件检测方法
CN116012296B (zh) * 2022-12-01 2023-10-24 浙江大学 基于超分辨率和半监督学习的装配式预制构件检测方法
CN116543377A (zh) * 2023-07-05 2023-08-04 西南民族大学 一种基于多尺度特征的车牌清晰度提升方法
CN116612013A (zh) * 2023-07-19 2023-08-18 山东智洋上水信息技术有限公司 一种红外图像超分算法及其移植至前端设备的方法
CN116612013B (zh) * 2023-07-19 2023-10-31 山东智洋上水信息技术有限公司 一种红外图像超分方法及其移植至前端设备的方法

Also Published As

Publication number Publication date
CN115205122B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN115205122B (zh) 保持结构和纹理的超分图像生成方法、系统、装置和介质
CN111047516B (zh) 图像处理方法、装置、计算机设备和存储介质
CN111275637B (zh) 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN114092330B (zh) 一种轻量化多尺度的红外图像超分辨率重建方法
CN111429347A (zh) 图像超分辨率重建方法、装置及计算机可读存储介质
CN111105352A (zh) 超分辨率图像重构方法、系统、计算机设备及存储介质
CN108537733A (zh) 基于多路径深度卷积神经网络的超分辨率重建方法
CN115311720B (zh) 一种基于Transformer的deepfake生成方法
Zhu et al. Video super-resolution based on a spatio-temporal matching network
CN109146813B (zh) 一种多任务图像重建方法、装置、设备和介质
CN111681166A (zh) 一种堆叠注意力机制编解码单元的图像超分辨率重建方法
CN110580680B (zh) 基于组合学习的人脸超分辨率方法及装置
CN109191411B (zh) 一种多任务图像重建方法、装置、设备和介质
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN111626927B (zh) 采用视差约束的双目图像超分辨率方法、系统及装置
CN116485741A (zh) 一种无参考图像质量评价方法、系统、电子设备及存储介质
CN115619645A (zh) 一种基于多级残差跳跃连接网络的图像超分辨率重建方法
Ma et al. Enhancing the resolution of micro-CT images of rock samples via unsupervised machine learning based on a diffusion model
CN117575915A (zh) 一种图像超分辨率重建方法、终端设备及存储介质
CN116012266B (zh) 图像去噪方法、系统、设备及存储介质
CN112598604A (zh) 一种盲脸复原方法及系统
CN115272131B (zh) 基于自适应多光谱编码的图像去摩尔纹系统及方法
CN112150360A (zh) 一种基于稠密残差网络的ivus图像超分辨率重建方法
CN116703750A (zh) 基于边缘注意力和多阶微分损失的图像去雾方法及系统
CN116703725A (zh) 感知多重特征的双分支网络实现针对真实世界文本图像的超分辨率的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant