CN111553861A - 一种图像超分辨率重构方法、装置、设备及可读存储介质 - Google Patents
一种图像超分辨率重构方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN111553861A CN111553861A CN202010357485.5A CN202010357485A CN111553861A CN 111553861 A CN111553861 A CN 111553861A CN 202010357485 A CN202010357485 A CN 202010357485A CN 111553861 A CN111553861 A CN 111553861A
- Authority
- CN
- China
- Prior art keywords
- resolution
- network
- image
- super
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 88
- 238000005457 optimization Methods 0.000 claims abstract description 49
- 230000006870 function Effects 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像超分辨率重构方法，该方法包括以下步骤：接收待超分辨率重构图像；利用卷积网络提取待超分辨率重构图像的特征信息；利用各多尺度密集网络对特征信息进行特征优化，并计算目标分辨率；其中，各多尺度密集网络为通过预设损失函数进行训练得到的网络；利用重构网络将待超分辨率重构图像重构为分辨率大小为目标分辨率的目标图像；其中，重构网络包括顺次连接的第一卷积子网络、子像素网络、第二卷积子网络。应用本发明实施例所提供的技术方案，较大地降低了成本，降低了对存储空间的消耗。本发明还公开了一种图像超分辨率重构装置、设备及存储介质，具有相应技术效果。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像超分辨率重构方法、装置、设备及计算机可读存储介质。
背景技术
图像超分辨率(super-resolution，SR)是指从低分辨率(low resolution，LR)图像中恢复高分辨率(high resolution，HR)图像的过程，是计算机视觉和图像处理中的一个重要研究方向。图像超分辨率具有广泛的实际应用，例如医学成像、安防监控和遥感图像等领域。除了提高图像感知质量外，图像超分辨率还有助于改善其他计算机视觉任务。
近年来，随着深度学习技术的飞速发展，基于深度学习的图像超分辨率模型已得到积极探索。最近在图像超分辨率上的研究工作显示，更深的网络往往带来更好的性能。因此增加网络的深度或宽度可以提升感受野，能够提供更多特征信息来重建图像超分辨率图像。基于此，深度递归卷积网络(deeply-recursive convolutional network，DRCN)被提出来。在DRCN的基础上，深度递归残差网络(Deep Recursive Residual Network，DRRN)应用全局和局部残差学习来帮助实现特征提取和梯度流动。SRDenseNet(super-resolutionusing dense skip connections)在图像超分辨率中使用了DenseNet的架构，但是DenseNet并不是为了针对超分辨率任务设计的网络。尽管上述图像超分辨率方法已经取得了一定的成果，但是仍然存在缺点。比如，需要通过添加新的卷积层来获得更深或更宽的网络，在高维空间中利用预定义的上采样运算符将待超分辨率重构图像的分辨率放大到所需的目标分辨率，从而得到更好的网络性能，成本高，耗费大量存储空间。
综上所述，如何有效地解决现有的图像超分辨率重构方式成本高，存储空间耗费严重等问题，是目前本领域技术人员急需解决的问题。
发明内容
本发明的目的是提供一种图像超分辨率重构方法，该方法较大地降低了成本，降低了对存储空间的消耗；本发明的另一目的是提供一种图像超分辨率重构装置、设备及计算机可读存储介质。
为解决上述技术问题，本发明提供如下技术方案：
一种图像超分辨率重构方法，包括：
接收待超分辨率重构图像；
利用卷积网络提取所述待超分辨率重构图像的特征信息；
利用各多尺度密集网络对所述特征信息进行特征优化，并计算目标分辨率；其中，各所述多尺度密集网络为通过预设损失函数进行训练得到的网络；
利用重构网络将所述待超分辨率重构图像重构为分辨率大小为所述目标分辨率的目标图像；其中，所述重构网络包括顺次连接的第一卷积子网络、子像素网络、第二卷积子网络。
在本发明的一种具体实施方式中，利用各多尺度密集网络对所述特征信息进行特征优化，并计算目标分辨率；其中，各所述多尺度密集网络为通过预设损失函数进行训练得到的网络，包括：
利用各多尺度密集网络对所述特征信息进行特征优化，并计算目标分辨率；其中，各所述多尺度密集网络为通过L1损失函数进行网络权重优化训练得到的网络。
在本发明的一种具体实施方式中，利用各多尺度密集网络对所述特征信息进行特征优化，并计算目标分辨率；其中，各所述多尺度密集网络为通过L1损失函数进行网络权重优化训练得到的网络，包括：
利用各多尺度密集网络对所述特征信息进行特征优化，并计算目标分辨率；其中，各所述多尺度密集网络为通过所述L1损失函数以目标图像训练集为训练样本进行网络权重优化训练得到的网络，所述目标图像训练集为对原图像训练集进行数据增强得到的训练集。
在本发明的一种具体实施方式中，利用各多尺度密集网络对所述特征信息进行特征优化，并计算目标分辨率，包括：
利用各多尺度密集网络对所述特征信息进行特征优化，并计算目标分辨率；其中，每个多尺度密集网络包括一个两旁路密集子网络和一个注意力机制子网络，所述两旁路密集子网络中第一密集子网络包括预设数量的第一卷积层，第二密集子网络包括所述预设数量的第二卷积层，各所述第一卷积层与各所述第二卷积层的卷积核大小不同。
在本发明的一种具体实施方式中，所述第一卷积层和所述第二卷积层为部署有激活函数的卷积层。
一种图像超分辨率重构装置，包括：
图像接收模块，用于接收待超分辨率重构图像；
信息提取模块，用于利用卷积网络提取所述待超分辨率重构图像的特征信息；
分辨率计算模块，用于利用各多尺度密集网络对所述特征信息进行特征优化，并计算目标分辨率；其中，各所述多尺度密集网络为通过预设损失函数进行训练得到的网络；
图像重构模块，用于利用重构网络将所述待超分辨率重构图像重构为分辨率大小为所述目标分辨率的目标图像；其中，所述重构网络包括顺次连接的第一卷积子网络、子像素网络、第二卷积子网络。
在本发明的一种具体实施方式中，所述分辨率计算模块具体为利用各多尺度密集网络对所述特征信息进行特征优化，并计算目标分辨率的模块；其中，各所述多尺度密集网络为通过L1损失函数进行网络权重优化训练得到的网络。
在本发明的一种具体实施方式中，所述分辨率计算模块具体为利用各多尺度密集网络对所述特征信息进行特征优化，并计算目标分辨率的模块；其中，各所述多尺度密集网络为通过所述L1损失函数以目标图像训练集为训练样本进行网络权重优化训练得到的网络，所述目标图像训练集为对原图像训练集进行数据增强得到的训练集。
一种图像超分辨率重构设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如前所述图像超分辨率重构方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述图像超分辨率重构方法的步骤。
应用本发明实施例所提供的方法，接收待超分辨率重构图像；利用卷积网络提取待超分辨率重构图像的特征信息；利用各多尺度密集网络对特征信息进行特征优化，并计算目标分辨率；其中，各多尺度密集网络为通过预设损失函数进行训练得到的网络；利用重构网络将待超分辨率重构图像重构为分辨率大小为目标分辨率的目标图像；其中，重构网络包括顺次连接的第一卷积子网络、子像素网络、第二卷积子网络。通过预先建立各多尺度密集网络，并利用预设损失函数对各多尺度密集网络进行训练，利用训练得到的各多尺度密集网络根据提取得到的待超分辨率重构图像的特征信息计算需要重构为的目标图像的目标分辨率，再利用重构网络将待超分辨率重构图像重构为分辨率大小为目标分辨率的目标图像。相较于现有的图像超分辨率重构方式，本发明无需在高维空间中利用预定义的上采样运算符将待超分辨率重构图像的分辨率放大到所需的目标分辨率，较大地降低了成本，降低了对存储空间的消耗。
相应的，本发明实施例还提供了与上述图像超分辨率重构方法相对应的图像超分辨率重构装置、设备和计算机可读存储介质，具有上述技术效果，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中图像超分辨率重构方法的一种实施流程图；
图2为本发明实施例中图像超分辨率重构方法的另一种实施流程图；
图3为本发明实施例中一种图像超分辨率重构系统的结构示意图；
图4为本发明实施例中一种单个多尺度密集网络的结构示意图；
图5为本发明实施例中一种重构网络的结构示意图；
图6为本发明实施例中一种图像超分辨率重构装置的结构框图；
图7为本发明实施例中一种图像超分辨率重构设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
参见图1，图1为本发明实施例中图像超分辨率重构方法的一种实施流程图，该方法可以包括以下步骤：
S101：接收待超分辨率重构图像。
当需要对低分辨率的待超分辨率重构图像进行超分辨率重构时，将待超分辨率重构图像发送至图像超分辨率重构系统。图像超分辨率重构系统接收待超分辨率重构图像。
S102：利用卷积网络提取待超分辨率重构图像的特征信息。
图像超分辨率重构系统在接收到待超分辨率重构图像之后，首先经过图像超分辨率重构系统主干网络中的卷积网络，利用卷积网络提取待超分辨率重构图像的特征信息。
S103：利用各多尺度密集网络对特征信息进行特征优化，并计算目标分辨率；其中，各多尺度密集网络为通过预设损失函数进行训练得到的网络。
图像超分辨率重构系统主干网络的卷积网络之后紧着设置有多个多尺度密集网络(multi-scale dense block，MSDB)。预先利用预设损失函数对图像超分辨率重构系统中各多尺度密集网络进行训练。在提取得到待超分辨率重构图像的特征信息之后，利用训练后的各多尺度密集网络对特征信息进行特征优化，并计算目标分辨率。
S104：利用重构网络将待超分辨率重构图像重构为分辨率大小为目标分辨率的目标图像。
其中，重构网络包括顺次连接的第一卷积子网络、子像素网络、第二卷积子网络。
在利用各多尺度密集网络对特征信息进行特征优化，并计算目标分辨率之后，利用重构网络将待超分辨率重构图像重构为分辨率大小为目标分辨率的目标图像。相较于现有的图像超分辨率重构方式，本发明无需在高维空间中利用预定义的上采样运算符进行图像超分辨率重构，较大地降低了成本，降低了对存储空间的消耗，提高了图像超分辨率重构质量。
应用本发明实施例所提供的方法，接收待超分辨率重构图像；利用卷积网络提取待超分辨率重构图像的特征信息；利用各多尺度密集网络对特征信息进行特征优化，并计算目标分辨率；其中，各多尺度密集网络为通过预设损失函数进行训练得到的网络；利用重构网络将待超分辨率重构图像重构为分辨率大小为目标分辨率的目标图像；其中，重构网络包括顺次连接的第一卷积子网络、子像素网络、第二卷积子网络。通过预先建立各多尺度密集网络，并利用预设损失函数对各多尺度密集网络进行训练，利用训练得到的各多尺度密集网络根据提取得到的待超分辨率重构图像的特征信息计算需要重构为的目标图像的目标分辨率，再利用重构网络将待超分辨率重构图像重构为分辨率大小为目标分辨率的目标图像。相较于现有的图像超分辨率重构方式，本发明无需在高维空间中利用预定义的上采样运算符将待超分辨率重构图像的分辨率放大到所需的目标分辨率，较大地降低了成本，降低了对存储空间的消耗。
需要说明的是，基于上述实施例一，本发明实施例还提供了相应的改进方案。在后续实施例中涉及与上述实施例一中相同步骤或相应步骤之间可相互参考，相应的有益效果也可相互参照，在下文的改进实施例中不再一一赘述。
实施例二：
参见图2，图2为本发明实施例中图像超分辨率重构方法的另一种实施流程图，该方法可以包括以下步骤：
S201：接收待超分辨率重构图像。
S202：利用卷积网络提取待超分辨率重构图像的特征信息。
S203：利用各多尺度密集网络对特征信息进行特征优化，并计算目标分辨率；其中，各多尺度密集网络为通过L1损失函数以目标图像训练集为训练样本进行网络权重优化训练得到的网络，目标图像训练集为对原图像训练集进行数据增强得到的训练集。
每个多尺度密集网络包括一个两旁路密集子网络和一个注意力机制子网络，两旁路密集子网络中第一密集子网络包括预设数量的第一卷积层，第二密集子网络包括预设数量的第二卷积层，各第一卷积层与各第二卷积层的卷积核大小不同，第一卷积层和第二卷积层为部署有激活函数的卷积层。
预先获取原图像训练集
其中，Xi表示原图像训练集中第i张低分辨率图像，Yi表示原图像训练集中第i张高分辨率图像，N表示原图像训练集中的图像总数。在获取到原图像训练集D之后，对原图像训练集D进行数据增强。数据增强过程可以包括：
在每幅高分辨率图像上随机裁剪c×c大小的子图，在相应的低分辨率图像的对应位置裁剪
大小的子图，其中，s是缩放因子。对获得的子图对进行旋转、翻转操作，生成更多的子图对，最终得到一个新的大规模训练数据集，即目标图像训练集
其中，xi表示目标图像训练集中第i张低分辨率图像，yi表示目标图像训练集中第i张高分辨率图像，N′表示目标图像训练集中的图像总数。从而较大地增加了训练样本数目，提升了对各多尺度密集网络的训练效果。
如图3所示，在图像超分辨率重构系统的主干网络上，利用Bicubic采样方式对待超分辨率重构图像进行上采样，待超分辨率重构图像首先经过一个3x3卷积网络，以此来初步提取待超分辨率重构图像的特征信息，F0表示3x3卷积网络的输出。紧接着，有多个多尺度密集网络，每个多尺度密集网络的输出分别用F1...Fk...Fn表示，I1...Ik...In分别表示F1...Fk...Fn经过重建恢复得到的超分辨率重构图像。单个的多尺度密集网络如图4所示，每个多尺度密集网络包括一个两旁路密集子网络和一个注意力机制子网络，Bk-1表示第K个多尺度密集网络的输入，先经过一个1x1卷积网络，输出用H表示，两旁路密集子网络中第一密集子网络包括预设数量的第一卷积层，第二密集子网络包括预设数量的第二卷积层，各第一卷积层与各第二卷积层的卷积核大小不同，可以分别设置为3x3与5x5，U1...Ui...Um分别表示上支路中各第一卷积层的输出，D1...Di...Dm分别表示下支路中各第二卷积层的输出，经过两旁路密集子网络的输出用
表示。再通过由全局池化网络以及两个1x1卷积网络构成的注意力机制子网络增强通道信息融合，优化提取到的待超分辨率重构图像的特征信息。再通过Sigmoid激活函数来增加非线性、缓解过拟合问题和梯度消失问题，得到当前多尺度密集网络对应的网络权重，将得到的网络权重与
相乘得到当前多尺度密集网络的输出Fk。
损失函数为各个多尺度密集网络重建的超分辨率重构得到的目标图像与理想状态下需要重构为的图像之间差异的加权和。在网络训练时，初始化网络权重，采用数据增强得到的目标图像训练集
对各多尺度密集网络进行训练，每批次训练取T对图像，使得损失最小，公式如下：
其中，
为待超分辨率重构图像xi的重构得到的目标图像，wt为权重，n为多尺度密集网络的个数。
在得到最大训练次数时，获得权重优化后的网络。
利用各多尺度密集网络对特征信息进行特征优化，并计算目标分辨率，充分利用了深度学习技术来提高图像分辨率，实现了在低维空间对需超分辨率重构的目标图像的目标分辨率进行计算，较大地提升了计算效率。
S204：利用重构网络将待超分辨率重构图像重构为分辨率大小为目标分辨率的目标图像；
其中，重构网络包括顺次连接的第一卷积子网络、子像素网络、第二卷积子网络。
如图5所示，重构网络具体可包括顺次连接的卷积核大小为3x3的第一卷积子网络、子像素网络、以及卷积核大小为3x3的第二卷积子网络。在计算得到目标分辨率之后，将分辨率上采样至需要的大小。
在一种具体实例应用中，选用DIV2K中的800对低分辨率图像和高分辨率图像作为原图像训练集
其中，Xi表示原图像训练集中第i张低分辨率图像，Yi表示原图像训练集中第i张高分辨率图像。在每幅高分辨率图像上随机裁剪40×40大小的子图，在相应的低分辨率图像的对应位置裁剪
大小的子图，其中，s是缩放因子。对获得的子图对进行旋转、翻转操作，生成更多的子图对，最终得到一个新的大规模训练数据集，即目标图像训练集
其中，xi表示目标图像训练集中第i张低分辨率图像，yi表示目标图像训练集中第i张高分辨率图像，N′表示目标图像训练集中的图像总数。在本发明实施例中s＝4。
在图像超分辨率重构系统的主干网络上，待超分辨率重构图像首先经过一个3x3卷积网络，以此来初步提取待超分辨率重构图像的特征信息。紧接着，有多个多尺度密集网络，每个多尺度密集网络包括一个两旁路密集子网络和一个注意力机制子网络，两旁路密集子网络中第一密集子网络包括预设数量的第一卷积层，第二密集子网络包括预设数量的第二卷积层，各第一卷积层与各第二卷积层的卷积核大小不同，可以分别设置为3x3与5x5。且第一卷积层和第二卷积层均部署有激活函数，以此来增加非线性、缓解过拟合问题和梯度消失问题。利用注意力机制子网络优化提取到的待超分辨率重构图像的特征信息。
损失函数为各个多尺度密集网络重建的超分辨率重构得到的目标图像与理想状态下需要重构为的图像之间差异的加权和。在网络训练时，初始化网络权重，采用数据增强得到的目标图像训练集
对各多尺度密集网络进行训练，每批次训练取T对图像，使得损失最小，公式如下：
其中，
为待超分辨率重构图像xi的重构得到的目标图像，wt为权重，在本发明实施例中多尺度密集网络的个数为4，T＝16。
在公开的基准数据集Set5、Set14、BSD100、Urban100上进行了测试，通过在100张测试图像X上，反复进行的超分辨率重构，可以获得100张目标图像XSR。对测试图像与对应的目标图像进行峰值信噪比MSE和结构相似性指标的评估，即：
MSE＝(XSR-X)2；
同时与其他已有方法在相同的数据集上进行对比，实验结果如表1所示。表1可以发现，本发明的峰值信噪比与结构相似性取得满意的结果。
表1
相应于上面的方法实施例，本发明实施例还提供了一种图像超分辨率重构装置，下文描述的图像超分辨率重构装置与上文描述的图像超分辨率重构方法可相互对应参照。
参见图6，图6为本发明实施例中一种图像超分辨率重构装置的结构框图，该装置可以包括：
图像接收模块61，用于接收待超分辨率重构图像；
信息提取模块62，用于利用卷积网络提取待超分辨率重构图像的特征信息；
分辨率计算模块63，用于利用各多尺度密集网络对特征信息进行特征优化，并计算目标分辨率；其中，各多尺度密集网络为通过预设损失函数进行训练得到的网络；
图像重构模块64，用于利用重构网络将待超分辨率重构图像重构为分辨率大小为目标分辨率的目标图像；其中，重构网络包括顺次连接的第一卷积子网络、子像素网络、第二卷积子网络。
应用本发明实施例所提供的装置，接收待超分辨率重构图像；利用卷积网络提取待超分辨率重构图像的特征信息；利用各多尺度密集网络对特征信息进行特征优化，并计算目标分辨率；其中，各多尺度密集网络为通过预设损失函数进行训练得到的网络；利用重构网络将待超分辨率重构图像重构为分辨率大小为目标分辨率的目标图像；其中，重构网络包括顺次连接的第一卷积子网络、子像素网络、第二卷积子网络。通过预先建立各多尺度密集网络，并利用预设损失函数对各多尺度密集网络进行训练，利用训练得到的各多尺度密集网络根据提取得到的待超分辨率重构图像的特征信息计算需要重构为的目标图像的目标分辨率，在利用重构网络将待超分辨率重构图像重构为分辨率大小为目标分辨率的目标图像。相较于现有的图像超分辨率重构方式，本发明无需在高维空间中利用预定义的上采样运算符将待超分辨率重构图像的分辨率放大到所需的目标分辨率，较大地降低了成本，降低了对存储空间的消耗。
在本发明的一种具体实施方式中，分辨率计算模块63具体为利用各多尺度密集网络对特征信息进行特征优化，并计算目标分辨率的模块；其中，各多尺度密集网络为通过L1损失函数进行网络权重优化训练得到的网络。
在本发明的一种具体实施方式中，分辨率计算模块63具体为利用各多尺度密集网络对特征信息进行特征优化，并计算目标分辨率的模块；其中，各多尺度密集网络为通过L1损失函数以目标图像训练集为训练样本进行网络权重优化训练得到的网络，目标图像训练集为对原图像训练集进行数据增强得到的训练集。
在本发明的一种具体实施方式中，分辨率计算模块63具体为利用各多尺度密集网络对特征信息进行特征优化，并计算目标分辨率的模块；其中，每个多尺度密集网络包括一个两旁路密集子网络和一个注意力机制子网络，两旁路密集子网络中第一密集子网络包括预设数量的第一卷积层，第二密集子网络包括预设数量的第二卷积层，各第一卷积层与各第二卷积层的卷积核大小不同。
相应于上面的方法实施例，参见图7，图7为本发明所提供的图像超分辨率重构设备的示意图，该设备可以包括：
存储器71，用于存储计算机程序；
处理器72，用于执行上述存储器71存储的计算机程序时可实现如下步骤：
接收待超分辨率重构图像；利用卷积网络提取待超分辨率重构图像的特征信息；利用各多尺度密集网络对特征信息进行特征优化，并计算目标分辨率；其中，各多尺度密集网络为通过预设损失函数进行训练得到的网络；利用重构网络将待超分辨率重构图像重构为分辨率大小为目标分辨率的目标图像；其中，重构网络包括顺次连接的第一卷积子网络、子像素网络、第二卷积子网络。
对于本发明提供的设备的介绍请参照上述方法实施例，本发明在此不做赘述。
相应于上面的方法实施例，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下步骤：
接收待超分辨率重构图像；利用卷积网络提取待超分辨率重构图像的特征信息；利用各多尺度密集网络对特征信息进行特征优化，并计算目标分辨率；其中，各多尺度密集网络为通过预设损失函数进行训练得到的网络；利用重构网络将待超分辨率重构图像重构为分辨率大小为目标分辨率的目标图像；其中，重构网络包括顺次连接的第一卷积子网络、子像素网络、第二卷积子网络。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本发明提供的计算机可读存储介质的介绍请参照上述方法实施例，本发明在此不做赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.一种图像超分辨率重构方法，其特征在于，包括：
接收待超分辨率重构图像；
利用卷积网络提取所述待超分辨率重构图像的特征信息；
利用各多尺度密集网络对所述特征信息进行特征优化，并计算目标分辨率；其中，各所述多尺度密集网络为通过预设损失函数进行训练得到的网络；
利用重构网络将所述待超分辨率重构图像重构为分辨率大小为所述目标分辨率的目标图像；其中，所述重构网络包括顺次连接的第一卷积子网络、子像素网络、第二卷积子网络。
2.根据权利要求1所述的图像超分辨率重构方法，其特征在于，利用各多尺度密集网络对所述特征信息进行特征优化，并计算目标分辨率；其中，各所述多尺度密集网络为通过预设损失函数进行训练得到的网络，包括：
利用各多尺度密集网络对所述特征信息进行特征优化，并计算目标分辨率；其中，各所述多尺度密集网络为通过L1损失函数进行网络权重优化训练得到的网络。
3.根据权利要求2所述的图像超分辨率重构方法，其特征在于，利用各多尺度密集网络对所述特征信息进行特征优化，并计算目标分辨率；其中，各所述多尺度密集网络为通过L1损失函数进行网络权重优化训练得到的网络，包括：
利用各多尺度密集网络对所述特征信息进行特征优化，并计算目标分辨率；其中，各所述多尺度密集网络为通过所述L1损失函数以目标图像训练集为训练样本进行网络权重优化训练得到的网络，所述目标图像训练集为对原图像训练集进行数据增强得到的训练集。
4.根据权利要求1至3任一项所述的图像超分辨率重构方法，其特征在于，利用各多尺度密集网络对所述特征信息进行特征优化，并计算目标分辨率，包括：
利用各多尺度密集网络对所述特征信息进行特征优化，并计算目标分辨率；其中，每个多尺度密集网络包括一个两旁路密集子网络和一个注意力机制子网络，所述两旁路密集子网络中第一密集子网络包括预设数量的第一卷积层，第二密集子网络包括所述预设数量的第二卷积层，各所述第一卷积层与各所述第二卷积层的卷积核大小不同。
5.根据权利要求4所述的图像超分辨率重构方法，其特征在于，所述第一卷积层和所述第二卷积层为部署有激活函数的卷积层。
6.一种图像超分辨率重构装置，其特征在于，包括：
图像接收模块，用于接收待超分辨率重构图像；
信息提取模块，用于利用卷积网络提取所述待超分辨率重构图像的特征信息；
分辨率计算模块，用于利用各多尺度密集网络对所述特征信息进行特征优化，并计算目标分辨率；其中，各所述多尺度密集网络为通过预设损失函数进行训练得到的网络；
图像重构模块，用于利用重构网络将所述待超分辨率重构图像重构为分辨率大小为所述目标分辨率的目标图像；其中，所述重构网络包括顺次连接的第一卷积子网络、子像素网络、第二卷积子网络。
7.根据权利要求6所述的图像超分辨率重构装置，其特征在于，所述分辨率计算模块具体为利用各多尺度密集网络对所述特征信息进行特征优化，并计算目标分辨率的模块；其中，各所述多尺度密集网络为通过L1损失函数进行网络权重优化训练得到的网络。
8.根据权利要求7所述的图像超分辨率重构装置，其特征在于，所述分辨率计算模块具体为利用各多尺度密集网络对所述特征信息进行特征优化，并计算目标分辨率的模块；其中，各所述多尺度密集网络为通过所述L1损失函数以目标图像训练集为训练样本进行网络权重优化训练得到的网络，所述目标图像训练集为对原图像训练集进行数据增强得到的训练集。
9.一种图像超分辨率重构设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述图像超分辨率重构方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述图像超分辨率重构方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010357485.5A CN111553861B (zh) | 2020-04-29 | 2020-04-29 | 一种图像超分辨率重构方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010357485.5A CN111553861B (zh) | 2020-04-29 | 2020-04-29 | 一种图像超分辨率重构方法、装置、设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111553861A true CN111553861A (zh) | 2020-08-18 |
| CN111553861B CN111553861B (zh) | 2023-11-24 |
Family
ID=72004246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010357485.5A Active CN111553861B (zh) | 2020-04-29 | 2020-04-29 | 一种图像超分辨率重构方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111553861B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113674156A (zh) * | 2021-09-06 | 2021-11-19 | 苏州大学 | 一种图像超分辨率重建的方法及系统 |
| CN113674153A (zh) * | 2021-08-10 | 2021-11-19 | Oppo广东移动通信有限公司 | 图像处理芯片、电子设备、图像处理方法和存储介质 |
| WO2022166245A1 (zh) * | 2021-02-08 | 2022-08-11 | 南京邮电大学 | 一种视频帧的超分辨率重构方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106991646A (zh) * | 2017-03-28 | 2017-07-28 | 福建帝视信息科技有限公司 | 一种基于密集连接网络的图像超分辨率方法 |
| US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN108537731A (zh) * | 2017-12-29 | 2018-09-14 | 西安电子科技大学 | 基于压缩多尺度特征融合网络的图像超分辨率重建方法 |
| CN109146784A (zh) * | 2018-07-27 | 2019-01-04 | 徐州工程学院 | 一种基于多尺度生成对抗网络的图像超分辨率重建方法 |
-
2020
- 2020-04-29 CN CN202010357485.5A patent/CN111553861B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN106991646A (zh) * | 2017-03-28 | 2017-07-28 | 福建帝视信息科技有限公司 | 一种基于密集连接网络的图像超分辨率方法 |
| CN108537731A (zh) * | 2017-12-29 | 2018-09-14 | 西安电子科技大学 | 基于压缩多尺度特征融合网络的图像超分辨率重建方法 |
| CN109146784A (zh) * | 2018-07-27 | 2019-01-04 | 徐州工程学院 | 一种基于多尺度生成对抗网络的图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 应自炉等: "多尺度密集残差网络的单幅图像超分辨率重建" * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022166245A1 (zh) * | 2021-02-08 | 2022-08-11 | 南京邮电大学 | 一种视频帧的超分辨率重构方法 |
| CN113674153A (zh) * | 2021-08-10 | 2021-11-19 | Oppo广东移动通信有限公司 | 图像处理芯片、电子设备、图像处理方法和存储介质 |
| CN113674156A (zh) * | 2021-09-06 | 2021-11-19 | 苏州大学 | 一种图像超分辨率重建的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111553861B (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dai et al. | Second-order attention network for single image super-resolution | |
| CN108062754B (zh) | 基于密集网络图像的分割、识别方法和装置 | |
| Kim et al. | Accurate image super-resolution using very deep convolutional networks | |
| Yu et al. | A unified learning framework for single image super-resolution | |
| Dong et al. | Remote sensing image super-resolution using second-order multi-scale networks | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| Sun et al. | Lightweight image super-resolution via weighted multi-scale residual network | |
| WO2016019484A1 (en) | An apparatus and a method for providing super-resolution of a low-resolution image | |
| CN111105352A (zh) | 超分辨率图像重构方法、系统、计算机设备及存储介质 | |
| CN111553861A (zh) | 一种图像超分辨率重构方法、装置、设备及可读存储介质 | |
| Muqeet et al. | HRAN: Hybrid residual attention network for single image super-resolution | |
| CN111768340B (zh) | 一种基于密集多路径网络的超分辨图像重构方法和系统 | |
| CN113298718A (zh) | 一种单幅图像超分辨率重建方法及系统 | |
| CN111932480A (zh) | 去模糊视频恢复方法、装置、终端设备以及存储介质 | |
| Yang et al. | Multilevel and multiscale network for single-image super-resolution | |
| Muqeet et al. | Hybrid residual attention network for single image super resolution | |
| CN113538246A (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
| CN115713462A (zh) | 超分辨模型训练方法、图像识别方法、装置及设备 | |
| Yang et al. | Variation learning guided convolutional network for image interpolation | |
| Zang et al. | Cascaded dense-UNet for image super-resolution | |
| Zhao et al. | SSIR: Spatial shuffle multi-head self-attention for Single Image Super-Resolution | |
| CN116385265B (zh) | 一种图像超分辨率网络的训练方法及装置 | |
| CN116188272B (zh) | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 | |
| Liu et al. | Gradient prior dilated convolution network for remote sensing image super resolution | |
| CN116029905A (zh) | 一种基于渐进差值互补的人脸超分辨率重构方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |