CN111768340A - 一种基于密集多路径网络的超分辨图像重构方法和系统 - Google Patents
一种基于密集多路径网络的超分辨图像重构方法和系统 Download PDFInfo
- Publication number
- CN111768340A CN111768340A CN202010614616.3A CN202010614616A CN111768340A CN 111768340 A CN111768340 A CN 111768340A CN 202010614616 A CN202010614616 A CN 202010614616A CN 111768340 A CN111768340 A CN 111768340A
- Authority
- CN
- China
- Prior art keywords
- image
- scale
- resolution
- super
- dense
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000005070 sampling Methods 0.000 claims abstract description 11
- 230000004913 activation Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 230000007306 turnover Effects 0.000 claims description 2
- 230000002860 competitive effect Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 12
- 238000012360 testing method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4046—Scaling the whole image or part thereof using neural networks
Abstract
本申请公开了一种基于密集多路径网络的超分辨图像重构方法和系统，其中，该方法包括对原始训练集中的图像进行旋转和翻转，得到大规模训练数据集；提取输入图像中的粗糙特征信息，利用多个密集多路径模块获得所述输入图像中的多尺度和多层次的特征信息；对所述多尺度和多层次的特征信息进行拼接和提纯；将拼接和提纯后的图像的分辨率采样至预设大小，恢复成超分辨图像。利用基于密集多路径网络的超分辨图像重构方法和系统，能够进一步提高重建质量，获得更加具有竞争力的结果。
Description
技术领域
本发明属于图像处理技术领域，特别是涉及一种基于密集多路径网络的超分辨图像重构方法和系统。
背景技术
图像超分辨率(super-resolution，SR)是指从低分辨率(low resolution，LR)图像中恢复高分辨率(high resolution，HR)图像的过程，是计算机视觉和图像处理中的一个重要研究方向，SR具有广泛的实际应用，例如医学成像、安防监控和遥感图像等领域，除了提高图像感知质量外，SR还有助于改善其他计算机视觉任务。然而，即便经过数十年的广泛研究，单图像SR仍然是一个非常具有挑战性和开放性的研究问题。
在过去，已经提出了多种经典的SR方法，包括基于预测的方法、基于边缘的方法、基于统计的方法、基于补丁的方法和基于稀疏表示的方法等等。近年来，随着深度学习技术的发展，基于深度学习的SR模型已得到积极探索。最近在SR上的研究显示，更深的网络会带来更好的性能，因此当前的研究倾向于使用更深的卷积神经网络来增加网络的感受野，提供更多特征信息来重建SR图像，但是盲目增加网络深度并不能有效地改善网络，并且随着网络深度的增加，训练过程中可能会出现更多问题，这就需要更多的训练技巧。
对网络加深带来的部分问题，现有技术中采用深度递归卷积网络(deeply-recursive convolutional network，DRCN)来解决，在DRCN的基础上，深度递归残差网络(deep recursive residual network，DRRN)应用全局和局部残差学习来帮助实现特征提取和梯度流动。
SRDenseNet(super-resolution using dense skip connections)在SR中使用了DenseNet的架构，并在网络末端使用转置卷积层进行上采样，这有助于恢复高频细节。超分辨率多尺度残差网络(multi-scale residual network for image super-resolution)可以更好地从多个尺度中提取图像特征，并进一步提高性能。尽管上述SR方法已经取得了显著成果，但是仍然存在缺点，例如随着网络深度的增加，特征在传输过程中逐渐消失，如何充分利用这些特征对于网络重建高质量图像至关重要。
发明内容
为解决上述问题，本发明提供了一种基于密集多路径网络的超分辨图像重构方法和系统，能够进一步提高重建质量，获得更加具有竞争力的结果。
本发明提供的一种基于密集多路径网络的超分辨图像重构方法，包括：
对原始训练集中的图像进行旋转和翻转，得到大规模训练数据集；
提取输入图像中的粗糙特征信息，利用多个密集多路径模块获得所述输入图像中的多尺度和多层次的特征信息；
对所述多尺度和多层次的特征信息进行拼接和提纯；
将拼接和提纯后的图像的分辨率采样至预设大小，恢复成超分辨图像。
优选的，在上述基于密集多路径网络的超分辨图像重构方法中，利用一个3×3卷积层提取输入图像中的粗糙特征信息。
优选的，在上述基于密集多路径网络的超分辨图像重构方法中，利用包括4个多路径子网络的密集多路径模块获得所述输入图像中的多尺度和多层次的特征信息。
优选的，在上述基于密集多路径网络的超分辨图像重构方法中，所述多路径子网络包括三列卷积层分别为3×3、5×5和7×7的路径，且每个所述卷积层后均有一个激活函数。
优选的，在上述基于密集多路径网络的超分辨图像重构方法中，利用一个1×1卷积层对所述多尺度和多层次的特征信息进行提纯。
优选的，在上述基于密集多路径网络的超分辨图像重构方法中，利用1个子像素层和2个3×3卷积层，将拼接和提纯后的图像的分辨率采样至预设大小。
本发明提供的一种基于密集多路径网络的超分辨图像重构系统，包括：
旋转和翻转模块，用于对原始训练集中的图像进行旋转和翻转，得到大规模训练数据集；
提取和获得模块，用于提取输入图像中的粗糙特征信息，利用多个密集多路径模块获得所述输入图像中的多尺度和多层次的特征信息；
拼接和提纯模块，用于对所述多尺度和多层次的特征信息进行拼接和提纯；
采样和恢复模块，用于将拼接和提纯后的图像的分辨率采样至预设大小，恢复成超分辨图像。
优选的，在上述基于密集多路径网络的超分辨图像重构系统中，所述提取和获得模块具体用于利用一个3×3卷积层提取输入图像中的粗糙特征信息。
优选的，在上述基于密集多路径网络的超分辨图像重构系统中，所述提取和获得模块具体用于利用包括4个多路径子网络的密集多路径模块获得所述输入图像中的多尺度和多层次的特征信息。
优选的，在上述基于密集多路径网络的超分辨图像重构系统中，所述拼接和提纯模块具体用于利用一个1×1卷积层对所述多尺度和多层次的特征信息进行提纯。
通过上述描述可知，本发明提供的上述基于密集多路径网络的超分辨图像重构方法，由于先对原始训练集中的图像进行旋转和翻转，得到大规模训练数据集；然后提取输入图像中的粗糙特征信息，利用多个密集多路径模块获得所述输入图像中的多尺度和多层次的特征信息；再对所述多尺度和多层次的特征信息进行拼接和提纯；最后将拼接和提纯后的图像的分辨率采样至预设大小，恢复成超分辨图像，可见该方案采用了多个密集多路径模块获得所述输入图像中的多尺度和多层次的特征信息，因此能够通过各个路径不同的感受野获得多尺度和多层次的特征表达能力，从而该方法能够进一步提高重建质量，获得更加具有竞争力的结果。本发明提供的上述系统具有同样的优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种基于密集多路径网络的超分辨图像重构方法的实施例的示意图；
图2为一种密集多路径网络模型的结构图；
图3为一种密集多路径模块的示意图；
图4为一种多路径子网络的示意图；
图5为一种重建模块的示意图；
图6为本申请提供的一种基于密集多路径网络的超分辨图像重构系统的实施例的示意图。
具体实施方式
本发明的核心是提供一种基于密集多路径网络的超分辨图像重构方法和系统，能够进一步提高重建质量，获得更加具有竞争力的结果。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的一种基于密集多路径网络的超分辨图像重构方法的实施例如图1所示，图1为本发明提供的一种基于密集多路径网络的超分辨图像重构方法的实施例的示意图，该方法包括如下步骤：
S1：对原始训练集中的图像进行旋转和翻转，得到大规模训练数据集；
具体的，向数据准备模块中输入原始训练集
其中，XLR，i，XHR，i分别表示原始训练集中第i张LR和HR图像，N为原始训练集中的图像总数。对原始训练集D进行数据增强，在每幅HR图像上随机裁剪c×c大小的子图，在相应的LR图像的对应位置裁剪
大小的子图，其中s是缩放因子，对获得的子图对进行旋转、翻转等操作，生成更多的子图对，最终得到一个新的大规模训练数据集
其中ILR，i，IHR，i分别表示新训练集D′中第i张LR和HR图像，N′为新训练集D′中的图像总数。
S2：提取输入图像中的粗糙特征信息，利用多个密集多路径模块获得输入图像中的多尺度和多层次的特征信息；
在主干网络上，输入图像首可以先经过一个3×3卷积层，以此来初步提取输入LR图像的特征信息，即粗糙特征信息，然后采用多个密集多路径模块(densely multi-pathblock，DMPB)获得更多特征信息。
S3：对多尺度和多层次的特征信息进行拼接和提纯；
也就是说，将多个路径提取的特征进行拼接，再对信息进行提纯，为了优化计算效率并充分利用深度学习技术来提高图像分辨率，因此在低维空间中进行计算。
S4：将拼接和提纯后的图像的分辨率采样至预设大小，恢复成超分辨图像。
也就是说，将图片分辨率上采样至所需的大小。
通过上述描述可知，本发明提供的上述基于密集多路径网络的超分辨图像重构方法的实施例中，由于先对原始训练集中的图像进行旋转和翻转，得到大规模训练数据集；然后提取输入图像中的粗糙特征信息，利用多个密集多路径模块获得输入图像中的多尺度和多层次的特征信息；再对多尺度和多层次的特征信息进行拼接和提纯；最后将拼接和提纯后的图像的分辨率采样至预设大小，恢复成超分辨图像，可见该方案采用了多个密集多路径模块获得输入图像中的多尺度和多层次的特征信息，因此能够通过各个路径不同的感受野获得多尺度和多层次的特征表达能力，从而该方法能够进一步提高重建质量，获得更加具有竞争力的结果。
在上述基于密集多路径网络的超分辨图像重构方法的一个具体实施例中，如图2所示，图2为一种密集多路径网络模型的结构图，可见该实施例中，具体是利用一个3×3卷积层提取输入图像中的粗糙特征信息，即图2中的3×3Conv这一模块。
在上述基于密集多路径网络的超分辨图像重构方法的另一个具体实施例中，可以利用包括4个密集多路径模块获得输入图像中的多尺度和多层次的特征信息，当然这只是一种优选方案，密集多路径模块的数量n还可以选择其他数量，此处并不限制。如图3所示，图3为一种密集多路径模块的示意图，可见其利用m个多路径子网络来获得输入图像中的多尺度和多层次的特征信息。
在上述基于密集多路径网络的超分辨图像重构方法的又一个具体实施例中，如图4所示，图4为一种多路径子网络的示意图，可见，该多路径子网络包括三列卷积层分别为3×3、5×5和7×7的路径，且每个卷积层后均有一个激活函数(PReLU)。
进一步的，可以参考图1那样，利用一个1×1卷积层(1×1Conv)对多尺度和多层次的特征信息进行提纯。
在上述基于密集多路径网络的超分辨图像重构方法的优选实施例中，可以参考图5，图5为一种重建模块的示意图，可见，可以利用1个子像素层(Pixel Shuffle)和2个3×3卷积层(3×3conv)，将拼接和提纯后的图像的分辨率采样至预设大小。
每个DMPB的输出通过重建分别恢复成SR图像，即中间结果，此外，所有DMPB输出和先前的粗糙特征信息拼接构成最终结果，损失函数考虑了所有中间和最终SR图像。
初始化网络的权重，采用新训练集
对该网络进行训练，每批次训练取T对图像，使得损失最小。
损失函数为：
其中，
为输入LR图像ILR，i在第t个DMPB重建的SR图像，IHR，i为输入LR图像ILR，i对应的HR图像，wt是权重，n是DMPB的个数，满足终止条件后，可以获得权重优化后的模型。
本申请提供的一种基于密集多路径网络的超分辨图像重构系统的实施例如图6所示，图6为本申请提供的一种基于密集多路径网络的超分辨图像重构系统的实施例的示意图，该系统包括：
旋转和翻转模块601，用于对原始训练集中的图像进行旋转和翻转，得到大规模训练数据集，具体而言，向数据准备模块中输入原始训练集
其中，XLR，i，XHR，i分别表示原始训练集中第i张LR和HR图像，N为原始训练集中的图像总数。对原始训练集D进行数据增强，在每幅HR图像上随机裁剪c×c大小的子图，在相应的LR图像的对应位置裁剪
大小的子图，其中s是缩放因子。对获得的子图对进行旋转、翻转等操作，生成更多的子图对，最终得到一个新的大规模训练数据集
其中ILR，i，IHR，i分别表示新训练集D′中第i张LR和HR图像，N′为新训练集D′中的图像总数；
提取和获得模块602，用于提取输入图像中的粗糙特征信息，利用多个密集多路径模块获得输入图像中的多尺度和多层次的特征信息，具体而言，在主干网络上，输入图像首可以先经过一个3×3卷积层，以此来初步提取输入LR图像的特征信息，即粗糙特征信息，紧接着，采用多个密集多路径模块(densely multi-path blocks，DMPBs)获得更多特征信息；
拼接和提纯模块603，用于对多尺度和多层次的特征信息进行拼接和提纯，也就是说，将多个路径提取的特征进行拼接，最后对信息进行提纯，为了优化计算效率并充分利用深度学习技术来提高图像分辨率，因此在低维空间中进行计算；
采样和恢复模块604，用于将拼接和提纯后的图像的分辨率采样至预设大小，恢复成超分辨图像，也就是说，将图片分辨率上采样至需要的大小。
可见该系统采用了多个密集多路径模块获得输入图像中的多尺度和多层次的特征信息，因此能够通过各个路径不同的感受野获得多尺度和多层次的特征表达能力，从而该方法能够进一步提高重建质量，获得更加具有竞争力的结果。
在上述基于密集多路径网络的超分辨图像重构系统的一个具体实施例中，提取和获得模块具体用于利用一个3×3卷积层提取输入图像中的粗糙特征信息。
在上述基于密集多路径网络的超分辨图像重构系统的另一个具体实施例中，提取和获得模块具体用于利用包括4个多路径子网络的密集多路径模块获得输入图像中的多尺度和多层次的特征信息。
在上述基于密集多路径网络的超分辨图像重构系统的又一个具体实施例中，拼接和提纯模块具体用于利用一个1×1卷积层对多尺度和多层次的特征信息进行提纯。
下面一个一个具体的例子对上述方案进行说明：
在超分辨率训练集DIV2K的800张训练图像与Flickr2K的2650张训练图像上进行训练，训练集共有3450张高质量2K图像对，并在超分辨率图像公开的基准数据集Set5、Set14、BSD100、Urban100上进行了测试。Set5是一个经典数据集，仅包含五个测试图像，分别是婴儿、鸟类、蝴蝶、头部和女性。Set14与Set5相比包含更多类别，但图像数量仍然很少，即14张测试图像。BSD100是一个具有100张测试图像的经典数据集，由各种各样的图像组成，从自然图像到特定对象，例如植物、人、食物等。Urban100是一个相对较新的数据集，图像数量与BSD100相同，但组成完全不同，这些照片的重点是人造结构，即城市场景。
具体实施步骤如下：
一、数据准备模块
输入训练集中的3450对LR/HR图像作为原始训练集
其中，XLR，i，XHR，i分别表示原始训练集中第i张LR和HR图像。首先，在每幅HR图像上随机裁剪48×48大小的子图，在相应的LR图像的对应位置裁剪
大小的子图，其中s是缩放因子。对获得的子图对进行旋转、翻转操作，生成更多的子图对。最终得到一个新的大规模训练数据集
其中ILR，i，IHR，i分别表示新训练集D′中第i张LR和HR图像，N′为新训练集D′中的图像总数。在本实例中，s＝4。
二、模型训练模块
参考图2，在主干网络上，输入图像首先经过一个3x3卷积层，以此来初步提取输入LR图像的特征信息，紧接着，有n个多尺度密集模块(densely multi-path blocks，DMPBs)，单个的DMPB如图3所示。该模块包含了m个多路径子网络(multi-path subnets，MPSs)和一个1×1卷积层，单个的MPS如图4所示。多路径子网络中的三列路径分别使用不同大小的卷积核，这里分别使用3×3、5×5和7×7，以上每个卷积层后都有一个激活函数(PReLU)，然后将三个路径提取的特征进行拼接，最后通过一个1×3卷积层对信息进行提纯，为了优化计算效率并充分利用深度学习技术来提高图像分辨率，因此在低维空间中进行计算。主干网络末端的重构模块(如图5所示)利用1个子像素层和2个1×3卷积层，在网络最后将图片分辨率上采样至需要的大小，损失函数为各个DMPB重建的SR图像与HR图像之间差异绝对值的加权和。
初始化网络的权重，采用新训练集
对该网络进行训练，每批次训练取T对图像，使得损失最小：
其中
为输入LR图像ILR，i的重建SR图像，IHR，i为输入LR图像ILR，i对应的HR图像，wt是权重，n是DMPB的个数，满足终止条件后，可以获得权重优化后的模型。在本实例中，n＝4,m＝4,T＝16,wt＝1。
三、超分辨率重建模块
输入一张测试图像x，用权重优化后的模型对之进行图像超分辨率重建，即可获得其SR图像XSR。
本例子的效果可以通过如下实验验证：
通过在测试图像上进行的超分辨率重建，可以获得SR图像，对测试图像与对应的SR图像进行峰值信噪比PSNR和结构相似性指标SSIM的评估，即
MSE＝(XSR-X)2
同时与其他方法在相同的数据集上进行对比，实验结果如表1所示，从表1可以发现，利用本例子获得的峰值信噪比与结构相似性取得了更好的结果，需要说明的是，表1中结果的格式为峰值信噪比/结构相似性(PSNR/SSIM)。
表1各方法的性能对比
| 方法 | Set5 | Set14 | BSD100 | Urban100 |
| Bicubic | 28.42/0.8104 | 26.00/0.7027 | 25.96/0.6675 | 23.14/0.6577 |
| VDSR | 31.35/0.8838 | 28.01/0.7674 | 27.29/0.7251 | 25.18/0.7524 |
| DRCN | 31.53/0.8854 | 28.02/0.7670 | 27.23/0.7233 | 25.14/0.7510 |
| DRRN | 31.68/0.8888 | 28.21/0.7721 | 27.38/0.7284 | 25.44/0.7638 |
| MemNet | 31.74/0.8893 | 28.26/0.7723 | 27.40/0.7281 | 25.50/0.7630 |
| SRDenseNet | 32.02/0.8934 | 28.50/0.7782 | 27.53/0.7337 | 26.05/0.7819 |
| NLRN | 31.92/0.8916 | 28.36/0.7745 | 27.48/0.7306 | 25.79/0.7729 |
| 本例子 | 32.33/0.8966 | 28.72/0.7844 | 27.65/0.7387 | 26.33/0.7942 |
综合来说，本方案将LR图像作为输入，而无需使用预定义的上采样运算符在进行预测之前将输入放大到所需的空间分辨率，在网络中使用密集多路径模块(denselymulti-path block，DMPB)而不是传统的单卷积层，然后使用重建模块将每个模块的输出恢复成SR图像，并使用L1损失函数训练网络，与其他方法相比，本方案获得了更具有竞争力的结果。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于密集多路径网络的超分辨图像重构方法，其特征在于，包括：
对原始训练集中的图像进行旋转和翻转，得到大规模训练数据集；
提取输入图像中的粗糙特征信息，利用多个密集多路径模块获得所述输入图像中的多尺度和多层次的特征信息；
对所述多尺度和多层次的特征信息进行拼接和提纯；
将拼接和提纯后的图像的分辨率采样至预设大小，恢复成超分辨图像。
2.根据权利要求1所述的基于密集多路径网络的超分辨图像重构方法，其特征在于，利用一个3×3卷积层提取输入图像中的粗糙特征信息。
3.根据权利要求2所述的基于密集多路径网络的超分辨图像重构方法，其特征在于，利用包括4个多路径子网络的密集多路径模块获得所述输入图像中的多尺度和多层次的特征信息。
4.根据权利要求3所述的基于密集多路径网络的超分辨图像重构方法，其特征在于，所述多路径子网络包括三列卷积层分别为3×3、5×5和7×7的路径，且每个所述卷积层后均有一个激活函数。
5.根据权利要求4所述的基于密集多路径网络的超分辨图像重构方法，其特征在于，利用一个1×1卷积层对所述多尺度和多层次的特征信息进行提纯。
6.根据权利要求5所述的基于密集多路径网络的超分辨图像重构方法，其特征在于，利用1个子像素层和2个3×3卷积层，将拼接和提纯后的图像的分辨率采样至预设大小。
7.一种基于密集多路径网络的超分辨图像重构系统，其特征在于，包括：
旋转和翻转模块，用于对原始训练集中的图像进行旋转和翻转，得到大规模训练数据集；
提取和获得模块，用于提取输入图像中的粗糙特征信息，利用多个密集多路径模块获得所述输入图像中的多尺度和多层次的特征信息；
拼接和提纯模块，用于对所述多尺度和多层次的特征信息进行拼接和提纯；
采样和恢复模块，用于将拼接和提纯后的图像的分辨率采样至预设大小，恢复成超分辨图像。
8.根据权利要求7所述的基于密集多路径网络的超分辨图像重构系统，其特征在于，所述提取和获得模块具体用于利用一个3×3卷积层提取输入图像中的粗糙特征信息。
9.根据权利要求8所述的基于密集多路径网络的超分辨图像重构系统，其特征在于，所述提取和获得模块具体用于利用包括4个多路径子网络的密集多路径模块获得所述输入图像中的多尺度和多层次的特征信息。
10.根据权利要求9所述的基于密集多路径网络的超分辨图像重构系统，其特征在于，所述拼接和提纯模块具体用于利用一个1×1卷积层对所述多尺度和多层次的特征信息进行提纯。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010614616.3A CN111768340B (zh) | 2020-06-30 | 2020-06-30 | 一种基于密集多路径网络的超分辨图像重构方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010614616.3A CN111768340B (zh) | 2020-06-30 | 2020-06-30 | 一种基于密集多路径网络的超分辨图像重构方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111768340A true CN111768340A (zh) | 2020-10-13 |
| CN111768340B CN111768340B (zh) | 2023-12-01 |
Family
ID=72723129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010614616.3A Active CN111768340B (zh) | 2020-06-30 | 2020-06-30 | 一种基于密集多路径网络的超分辨图像重构方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111768340B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767260A (zh) * | 2020-12-30 | 2021-05-07 | 上海联影智能医疗科技有限公司 | 图像质量提升方法、装置、计算机设备和存储介质 |
| CN113052759A (zh) * | 2021-03-31 | 2021-06-29 | 华南理工大学 | 基于mask和自动编码器的场景复杂文本图像编辑方法 |
| CN113109780A (zh) * | 2021-03-02 | 2021-07-13 | 西安电子科技大学 | 基于复数密集连接神经网络的高分辨距离像目标识别方法 |
| CN113674156A (zh) * | 2021-09-06 | 2021-11-19 | 苏州大学 | 一种图像超分辨率重建的方法及系统 |
| CN114549316A (zh) * | 2022-02-18 | 2022-05-27 | 中国石油大学(华东) | 基于通道自关注多尺度特征学习的遥感单图超分辨率方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537733A (zh) * | 2018-04-11 | 2018-09-14 | 南京邮电大学 | 基于多路径深度卷积神经网络的超分辨率重建方法 |
| CN111145096A (zh) * | 2019-12-26 | 2020-05-12 | 苏州大学 | 基于递归极深网络的超分辨图像重构方法及系统 |
| AU2020100200A4 (en) * | 2020-02-08 | 2020-06-11 | Huang, Shuying DR | Content-guide Residual Network for Image Super-Resolution |
-
2020
- 2020-06-30 CN CN202010614616.3A patent/CN111768340B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537733A (zh) * | 2018-04-11 | 2018-09-14 | 南京邮电大学 | 基于多路径深度卷积神经网络的超分辨率重建方法 |
| CN111145096A (zh) * | 2019-12-26 | 2020-05-12 | 苏州大学 | 基于递归极深网络的超分辨图像重构方法及系统 |
| AU2020100200A4 (en) * | 2020-02-08 | 2020-06-11 | Huang, Shuying DR | Content-guide Residual Network for Image Super-Resolution |
Non-Patent Citations (3)
| Title |
|---|
| GAO HUANG等: "Densely Connected Convolutional Networks", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION（CVPR）》 * |
| SHU ZHANG等: "Scene-Adaptive Remote Sensing Image Super-Resolution Using a Multiscale Attention Network", 《IEEE ACCESS》 * |
| 沈明玉等: "多阶段融合网络的图像超分辨率重建", 《中国图象图形学报》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767260A (zh) * | 2020-12-30 | 2021-05-07 | 上海联影智能医疗科技有限公司 | 图像质量提升方法、装置、计算机设备和存储介质 |
| CN113109780A (zh) * | 2021-03-02 | 2021-07-13 | 西安电子科技大学 | 基于复数密集连接神经网络的高分辨距离像目标识别方法 |
| CN113052759A (zh) * | 2021-03-31 | 2021-06-29 | 华南理工大学 | 基于mask和自动编码器的场景复杂文本图像编辑方法 |
| CN113674156A (zh) * | 2021-09-06 | 2021-11-19 | 苏州大学 | 一种图像超分辨率重建的方法及系统 |
| CN114549316A (zh) * | 2022-02-18 | 2022-05-27 | 中国石油大学(华东) | 基于通道自关注多尺度特征学习的遥感单图超分辨率方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111768340B (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109903226B (zh) | 基于对称残差卷积神经网络的图像超分辨率重建方法 | |
| CN111768340B (zh) | 一种基于密集多路径网络的超分辨图像重构方法和系统 | |
| CN110120011B (zh) | 一种基于卷积神经网络和混合分辨率的视频超分辨方法 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN108647775B (zh) | 基于全卷积神经网络单张图像的超分辨率图像重建方法 | |
| CN102156875B (zh) | 基于多任务ksvd字典学习的图像超分辨率重构方法 | |
| CN109035146B (zh) | 一种基于深度学习的低质量图像超分方法 | |
| CN110232653A (zh) | 快速轻型超分辨率重建密集残差网络 | |
| CN112200724B (zh) | 一种基于反馈机制的单图像超分辨率重建系统及方法 | |
| CN112801901A (zh) | 基于分块多尺度卷积神经网络的图像去模糊算法 | |
| CN111402128A (zh) | 一种基于多尺度金字塔网络的图像超分辨率重建方法 | |
| Zhang et al. | Accurate and efficient image super-resolution via global-local adjusting dense network | |
| Xu et al. | Joint demosaicing and super-resolution (JDSR): Network design and perceptual optimization | |
| CN112288632A (zh) | 基于精简esrgan的单图像超分辨率方法及系统 | |
| CN111340744A (zh) | 基于注意力双流深度网络的低质量图像降采样方法及其系统 | |
| CN114418850A (zh) | 一种融合图卷积的有参考图像超分辨率重构方法 | |
| CN112381722A (zh) | 一种单图像的超分与感知图像增强的联合任务学习方法 | |
| CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
| CN116563100A (zh) | 一种基于内核引导网络的盲超分辨率重建方法 | |
| Yang et al. | Multilevel and multiscale network for single-image super-resolution | |
| CN116777764A (zh) | 一种基于扩散模型的光学遥感图像去云雾方法及系统 | |
| CN114926337A (zh) | 基于CNN和Transformer混合网络的单幅图像超分辨率重建方法及系统 | |
| Fan et al. | Global sensing and measurements reuse for image compressed sensing | |
| CN109272450A (zh) | 一种基于卷积神经网络的图像超分方法 | |
| CN112598604A (zh) | 一种盲脸复原方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |