CN110533591A - 基于编解码器结构的超分辨图像重建方法 - Google Patents
基于编解码器结构的超分辨图像重建方法 Download PDFInfo
- Publication number
- CN110533591A CN110533591A CN201910768437.2A CN201910768437A CN110533591A CN 110533591 A CN110533591 A CN 110533591A CN 201910768437 A CN201910768437 A CN 201910768437A CN 110533591 A CN110533591 A CN 110533591A
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- module
- resolution
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000005070 sampling Methods 0.000 claims abstract description 63
- 238000013507 mapping Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 25
- 239000000284 extract Substances 0.000 claims abstract description 7
- 238000004458 analytical method Methods 0.000 claims abstract description 3
- 238000003475 lamination Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims 1
- 230000004927 fusion Effects 0.000 abstract 1
- 238000002474 experimental method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 6
- 230000001186 cumulative effect Effects 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Abstract
本发明提出了一种基于编解码器结构的超分辨图像重建方法，用于解决现有技术中存在的重建后的高分辨率图像峰值信噪比和结构相似性较低的技术问题。实现步骤为：构建编解码器网络；获取由高低分辨率图像块对组成的训练样本集；对编解码器进行训练；用编解码器网络对待重建RGB图像进行超分辨率图像重建。本发明在多尺度特征融合网络中采用多个依次层叠连接的降采样模块提取低分辨图像的多尺度特征，并利用上采样重建模块进行非线性映射，有利于提高重建后的高分辨率图像峰值信噪比和结构相似性。
Description
技术领域
本发明属于图像处理技术领域，更进一步涉及超分辨图像处理技术领域的一种基于编解码器结构的超分辨图像重建方法。本发明可用于利用低分辨图像生成对应的高分辨图像，以便为图像后续的处理提供更加全面、准确的信息。
背景技术
超分辨率图像重建是指结合图像中有限的先验知识，利用数字图像处理技术，从单幅或多幅低分辨率的图像中重新构建出一幅细节丰富的高分辨率图像的过程。由于高分辨率图像传感器和光学元件的制造工艺和生产成本较高，在许多场合和大规模部署时难以实现。因此，利用超分辨率图像重建技术获取高分辨率具有非常重要的现实意义。超分辨图像重建的目的是为了得到高分辨图像，增强和丰富了景物的细节内容，以便为后续的图像解译、目标检测、目标跟踪提供更准确、全面的信息。
南京理工大学在其申请的专利文献“一种基于层级递进网络的单图像超分辨重建方法”(专利申请专利号：201910146330.4，公开号：CN110047038A)中提出了一种基于层级递进网络的图像超分辨重建方法。该方法将高倍超分辨任务分解为多个子任务，每个子任务可以由一个超分辨单元网络单独完成，且每个子任务对应重建不同尺寸的高分辨率图像，最终多个超分辨单元网络级联形成整个网络。该方法可以使用同一个训练模型对图像做多种倍数的超分辨重建处理，且采用了局部残差、密集连接等结构改善信息流传递效率，避免梯度消失。但是，该方法仍然存在的不足之处是：该方法通过多个超分辨单元网络级联的方式来逐级提升特征图的空间分辨率，限制了特征图的感受野，无法充分挖掘图像数据中的内部特性，抑制了网络对于多尺度信息的学习能力和特征表达能力，使得该方法无法利用训练图像中包含的所有特征信息，从而影响了图像的重建效果。
Kim,Jiwon，Lee,Jung Kwon，Lee,Kyoung Mu等人在其发表的论文“AccurateImage Super-Resolution Using Very Deep Convolutional Networks.”(IEEEConference on Computer Vision and Pattern Recognition，June 2016)中公开了一种基于深度学习的极深网络超分辨图像重建方法。该方法使用了20层网络单元直接级联而成的网络结构，使得后面的网络层拥有更大的感受野，从而可以根据更多的像素点去推断结果像素点，获得了较好的图像重建效果。但是，该方法仍然存在的不足之处是：由于通过大量相同的网络单元直接级联的方法构建了网络模型，未能充分利用每一层训练所得到的特征信息，该方法非常容易引入累计误差导致过拟合，使得重建得到的整体效果有所下降，同时20层的网络深度使得网络的训练时间增大，增加了时间成本和计算资源成本。
发明内容
本发明的目的在于针对上述现有技术的不足，提出了一种基于编解码器结构的超分辨图像重建方法，解决了由于特征图的感受野受到限制而导致无法充分利用训练图像中包含的所有特征信息问题和级联网络的深度过深而导致累计误差引起的过拟合问题，提升超分辨图像重建的效果。
实现本发明上述目的的思路是：采用编解码器网络中的降采样模块提取低分辨率图像块的多个尺度的特征以拓宽感受野，表征低分辨率图像中更丰富的细节信息以及更完整的结构信息，并且将多个上采样重建模块依次层叠连接以减少网络深度，并进一步提高网络对高低图像分辨率图像特征之间非线性映射关系的拟合能力，从而提升了重建的高分辨率图像的峰值信噪比和结构相似性。
为实现上述目的，本发明采取的技术方案包括如下步骤：
步骤1，构建上采样模块：
搭建一个7层的上采样模块，其结构依次为：输入层→第1卷积层→第1反卷积层→第2卷积层→第1融合层→第2反卷积层→第2融合层；
设置上采样模块各层的参数：
将输入层的输入特征映射图大小设置为d，其中d表示特征张量通道的总数；
将第1、2卷积层的卷积核大小分别设置为1×1、(2mup+1)×(2mup+1)，步长分别设置为1、mup，输出特征图大小均设置为d，其中mup表示上采样模块的重建倍数；
将第1、2反卷积层卷积核大小均设置为(2mup+1)×(2mup+1)，步长均设置为mup，输出特征图大小均设置为d；
步骤2，构建降采样模块：
搭建一个4层的降采样模块，其结构依次为：输入层→第1卷积层→第2个卷积层→第3个卷积层；
设置降采样模块各层的参数：
将输入层输入特征映射图大小设置为d；
将第1、2、3个卷积层卷积核大小分别设置为1×1、1×1、(2mdown+1)×(2mdown+1)，步长分别设置为1、1、mdown，输出特征图大小分别设置为d×2、d、d，其中，mdown表示降采样模块重建倍数；
步骤3，构建编解码器子网络：
搭建一个由一个输入层、H层降采样模块、H层上采样重建模块组成的编解码器子网络，每个上采样重建模块由一个上采样子模块和一个全连接层组成，其中，H为预先设定的数值；
设置编解码器子网络各层的参数：
将输入层输入特征映射图大小设置为d；
降采样模块的各层参数、上采样重建模块各层的参数与超分辨图像重建的倍数s相关；
步骤4，构建编解码器网络：
搭建一个6层的编解码器网络，其结构依次为：输入层→第1卷积层→上采样模块→编解码器子网络→第2卷积层→损失层；
设置编解码器网络各层的参数：
将第1、2卷积层的卷积核大小分别设置为5×5、3×3，步长均设置为1，输出的特征图大小分别设置为d和1；
将上采样模块的重建倍数设置为超分辨图像重建的倍数s；
将损失层的损失函数设置为L2Loss函数；
步骤5，生成训练数据集：
从一个高分辨率图像数据集中随机选取至少500幅高分辨率RGB图像；
将所选的每张格式为RGB的高分辨率图像的转换成格式为YCbCr的高分辨率图像，提取每张YCbCr图像中的Y通道图像；
将每张Y通道图像裁剪成尺寸为W×H的高分辨率Y通道图像，分别进行s倍下采样处理，得到对应尺寸为的低分辨率图像，其中W、H分别表示裁剪后每张图像的宽度、高度；
将每张高分辨率Y通道图像与其对应的低分辨率图像组成高低分辨率图像对；
对所有高低分辨率图像对进行裁剪，将高分辨率Y通道图像裁剪成尺寸为c×c高分辨率图像块Xi，将低分辨率图像裁剪成尺寸为低分辨率图像块Yi，将高分辨率图像块和与其对应的低分辨率图像块组合成高低分辨率图像块对，得到训练数据集；
步骤6，训练编解码器网络：
将训练数据集中的低分辨率图像块与其对应的高分辨率图像块输入到编解码器网络中，利用梯度下降法，对网络参数进行迭代更新，直至损失函数的J(θ)≤0.013，得到训练好的编解码器网络；
步骤7，对待重建的低分辨率RGB图像进行超分辨率重建：
将待重建的每张低分辨率RGB图像转换成格式为YCbCr的低分辨率图像；
提取每张YCbCr图像中的Y通道图像、Cb通道图像和Cr通道图像；
将Y通道图像输入到训练好的编解码器网络中，输出重建的Y通道图像；
使用双三次插值算法，将待重建的Cb通道图像和待重建的Cr通道图像进行s倍的上采样，得到重建的Cb通道图像和重建的Cr通道图像；
将重建的Y通道图像、重建的Cb通道图像和重建的Cr通道图像进行组合，得到重建的高分辨率YCbCr图像，并对重建的高分辨率YCbCr图像进行格式转换，得到重建的高分辨率RGB图像。
本发明与现有的技术相比具有以下优点：
第一，本发明构建降采样模块，以提取低分辨图像块的多尺度特征，拓宽感受野，克服了现有技术由于特征图的感受野受到限制而导致无法充分利用训练图像中包含的所有特征信息问题，使得本发明恢复出的高分辨率图像具有更丰富的细节信息和更完整的结构信息。
第二，本发明构建编解码器子网络，增加了上采样重建模块的数量以减少网络深度，进而提高了编解码器网络对高低分辨率图像特征之间的非线性映射关系的拟合能力，克服了现有技术中级联网络的深度过深而导致累计误差引起的过拟合问题，使得本发明对于纹理信息和结构信息的重建能力得到显著提高。
附图说明
图1是本发明的流程图；
图2是本发明的仿真图。
具体实施方式
下面结合附图对本发明做进一步的描述。
参照图1，本发明的具体实施步骤如下。
步骤1，构建上采样模块。
搭建一个7层的上采样模块，其结构依次为：输入层→第1卷积层→第1反卷积层→第2卷积层→第1融合层→第2反卷积层→第2融合层。
设置上采样模块各层的参数。
将输入层的输入特征映射图大小设置为16。
将第1、2卷积层的卷积核大小分别设置为1×1、(2mup+1)×(2mup+1)，步长分别设置为1、mup，输出特征图大小均设置为16，其中mup表示上采样模块的重建倍数。
将第1、2反卷积层卷积核大小均设置为(2mup+1)×(2mup+1)，步长均设置为mup，输出特征图大小均设置为16。
所述融合层包括第1融合层和第2融合层，第1融合层的输入为第2卷积层的输出和输入层的输出相减的差值，第2融合层的输入为第1反卷积层输出和第2反卷积层输出相加的和。
步骤2，构建降采样模块。
搭建一个4层的降采样模块，其结构依次为：输入层→第1卷积层→第2个卷积层→第3个卷积层。
设置降采样模块各层的参数。
将输入层输入特征映射图大小设置为16。
将第1、2、3个卷积层卷积核大小分别设置为1×1、1×1、(2mdown+1)×(2mdown+1)，步长分别设置为1、1、mdown，输出特征图大小分别设置为32、16、16，其中mdown表示降采样模块重建倍数。
步骤3，构建编解码器子网络。
搭建一个由输入层、4层降采样模块、4层上采样重建模块组成的编解码器子网络，所述的每个上采样重建模块由一个上采样模块和一个全连接层组成；
设置编解码器子网络各层的参数。
将输入层输入特征映射图大小设置为16。
将第1、2、3、4层上采样重建模块和降采样模块的重建倍数均设置为2。
所述的4层上采样重建模块中的全连接层，其输入关系如下。
第1全连接层的输入为第1上采样模块的输出和第3降采样模块的输出按特征映射图的维度进行全连接后的结果，第2全连接层的输入为第2上采样模块的输出和第2降采样模块的输出按特征映射图的维度进行全连接后的结果，第3全连接层的输入为第3上采样模块的输出和第1降采样模块的输出按特征映射图的维度进行全连接后的结果，第4全连接层的输入为第4上采样模块的输出和输入层的输出按特征映射图的维度进行全连接后的结果。
步骤4，构建编解码器网络。
搭建一个6层的编解码器网络，其结构依次为：输入层→第1卷积层→上采样模块→编解码器子网络→第2卷积层→损失层。
设置编解码器网络各层的参数。
将第1、2卷积层的卷积核大小分别设置为5×5、3×3，步长均设置为1，输出的特征图大小分别设置为16和1。
将上采样模块的重建倍数设置为8。
将损失层的损失函数设置为L2Loss函数。
所述的L2Loss函数如下。
其中，L(·)表示L2Loss函数的输出值，θ表示编解码器网络的所有参数集合，N表示高低分辨率图像对的总数，∑表示求和操作，Xi表示第i幅高低分辨率图像对中的低分辨率图像，F(·)表示低分辨率图像对应的重建高分辨率图像，Ri表示Yi与Xi的残差图像，Yi表示第i幅高低分辨率图像对中的高分辨率图像。
步骤5，生成训练数据集。
从一个高分辨率图像数据集中随机选取1000幅高分辨率RGB图像。
将所选的每张格式为RGB的高分辨率图像的转换成格式为YCbCr的高分辨率图像，提取每张YCbCr图像中的Y通道图像。
将每张Y通道图像裁剪成尺寸为512×512的高分辨率Y通道图像，分别进行s倍下采样处理，得到对应尺寸为64×64的低分辨率图像。
将每张高分辨率Y通道图像与其对应的低分辨率图像组成高低分辨率图像对。
对所有高低分辨率图像对进行裁剪，将高分辨率Y通道图像裁剪成尺寸为128×128高分辨率图像块Xi，将低分辨率图像裁剪成尺寸为16×16低分辨率图像块Yi，将高分辨率图像块和与其对应的低分辨率图像块组合成高低分辨率图像块对，得到训练数据集。
步骤6，训练编解码器网络。
将训练数据集中的低分辨率图像块与其对应的高分辨率图像块输入到编解码器网络中，采用学习率为1×10-5，利用梯度下降法，对网络参数进行迭代更新，直至损失函数的J(θ)≤0.013，得到训练好的编解码器网络。
步骤7，对待重建的低分辨率RGB图像进行超分辨率重建。
将待重建的每张低分辨率RGB图像转换成格式为YCbCr的低分辨率图像。
提取每张YCbCr图像中的Y通道图像、Cb通道图像和Cr通道图像。
将Y通道图像输入到训练好的编解码器网络中，输出重建的Y通道图像。
使用双三次插值算法，将待重建的Cb通道图像和待重建的Cr通道图像进行s倍的上采样，得到重建的Cb通道图像和重建的Cr通道图像。
将重建的Y通道图像、重建的Cb通道图像和重建的Cr通道图像进行组合，得到重建的高分辨率YCbCr图像，并对重建的高分辨率YCbCr图像进行格式转换，得到重建的高分辨率RGB图像。
本发明的效果可通过以下仿真进一步说明。
1.仿真实验条件：
本发明的仿真实验的硬件平台为：处理器为Intel(R)Core i9-9900K CPU，主频为3.6GHz，内存32GB。
本发明的仿真实验的软件平台为：Windows 10操作系统和python 3.6、tensorflow。
2.仿真内容及其结果分析：
本发明仿真实验是采用本发明和两个现有技术(FSRCNN超分辨图像重建方法、VDSR超分辨图像重建方法)分别对输入的来自于法国贝尔实验室公开的Set5测试集中5幅RGB图像进行超分辨图像重建，得到重建后的高分辨率图像。
现有技术的FSRCNN超分辨图像重建方法是指，Dong Chao等人在“Acceleratingthe Super-Resolution Convolutional Neural Network[J].European Conference onComputer Vision,2016:391-407.”中提出的超分辨图像重建方法，简称FSRCNN超分辨图像重建方法。
现有技术的VDSR超分辨图像重建方法是指，Kim等人在“Accurate Image Super-Resolution Using Very Deep Convolutional Networks[J].Computer Vision andPattern Recognition,2016:1646-1654.”中提出的超分辨图像重建方法，简称VDSR超分辨图像重建方法。
本发明仿真实验中，共使用两个图像训练数据集，其一为NTIRE 2018挑战赛公开的具有800幅RGB的图像训练集DIV2K，其二为来自伯克利大学公开的具有200幅RGB图像的图像训练集BSD500，将两个图像训练数据集中的全部图片混合后组成一个新的图像训练数据集，用于网络训练。
本发明仿真实验中所用图像的格式均为png。
下面结合图2对本发明的效果做进一步的描述。
图2(a)为本发明仿真实验中从Set5测试集中选取的一幅高分辨图像，图2(b)为本发明仿真实验中对所选取的高分辨率图像降采样后得到的低分辨率图像，图2(c)为本发明仿真实验中将低分辨率图像输入到编解码器网络重建后的高分辨图像。
为了验证本发明对图像重建效果，利用两个评价指标(信噪比峰值PSNR、结构相似度SSIM)，在超分辨重建倍数分别为2倍、4倍和8倍的情况下，分别对三种方法重建后的图像进行评价，当PSNR值与SSIM值越高，图像超分辨的结果越好。利用下面公式，计算测试集中选取的高分辨率图像和对应的重建后高分辨率图像的信噪比峰值PSNR、结构相似度SSIM，将所有计算结果绘制成表1：
表1.FSRCNN、VDSR和本发明方法超分辨图像重建结果对比表
| 方法 | 放大倍数 | PSNR(dB) | SSIM(％) |
| FSRCNN | ×2 | 36.99 | 95.5 |
| VDSR | ×2 | 37.29 | 95.7 |
| 本发明 | ×2 | 37.29 | 95.7 |
| FSRCNN | ×4 | 30.71 | 86.5 |
| VDSR | ×4 | 31.32 | 88.1 |
| 本发明 | ×4 | 31.37 | 88.2 |
| FSRCNN | ×8 | 25.41 | 68.2 |
| VDSR | ×8 | 26.04 | 73.3 |
| 本发明 | ×8 | 26.14 | 74.2 |
其中，m和n分别表示测试集中选取的每幅高分辨率图像的宽和高，∑表示求和操作，I(i,j)和K(i,j)分别表示测试集中选取的每幅高分辨率图像中位于(i,j)坐标点处的像素值和对应的重建后的每幅高分辨率图像中位于(i,j)坐标点处的像素值，log10(·)表示取以10为底的对数操作；
其中，x和y分别表示测试集中选取的每幅高分辨率图像和对应的重建后的每幅高分辨率图像，μx和μy分别表示x和y的均值，和分别表示x和y的方差，σxy表示x和y的协方差，c1和c2表示避免分母除0的常数。
结合表1可以看出，与现有的VDSR和FSRCNN图像超分辨方法相比，本发明得到的信噪比峰值PSNR和结构相似度SSIM更高，图像重建的效果更好。
以上仿真实验表明：本发明方法搭建的编解码器网络，采用降采样模块能够提取低分辨率图像块的多个尺度的特征信息，并且将多个上采样重建模块依次层叠连接以进一步提高网络对高低图像分辨率图像特征之间非线性映射关系的拟合能力，进一步提升了超分辨图像重建的效果，是一种非常实用的超分辨图像重建方法。
Claims (6)
1.一种基于编解码器结构的超分辨图像重建方法，其特征在于，构建上采样模块，构建降采样模块，构建编解码器子网络，该方法的具体步骤包括如下：
将低分辨率的图像输入进行多尺度特征提取的降采样模块，将多尺度特征进行图像重构的上采样模块，按图像重建的倍数要求使用不同个数的上采样模块和降采样模块进行级联和旁路连接生成编解码器网络，该方法的具体步骤包括如下：
步骤1，构建上采样模块：
搭建一个7层的上采样模块，其结构依次为：输入层→第1卷积层→第1反卷积层→第2卷积层→第1融合层→第2反卷积层→第2融合层；
设置上采样模块各层的参数：
将输入层的输入特征映射图大小设置为d，其中d表示特征张量通道的总数；
将第1、2卷积层的卷积核大小分别设置为1×1、(2mup+1)×(2mup+1)，步长分别设置为1、mup，输出特征图大小均设置为d，其中mup表示上采样模块的重建倍数；
将第1、2反卷积层卷积核大小均设置为(2mup+1)×(2mup+1)，步长均设置为mup，输出特征图大小均设置为d；
步骤2，构建降采样模块：
搭建一个4层的降采样模块，其结构依次为：输入层→第1卷积层→第2个卷积层→第3个卷积层；
设置降采样模块各层的参数：
将输入层输入特征映射图大小设置为d；
将第1、2、3个卷积层卷积核大小分别设置为1×1、1×1、(2mdown+1)×(2mdown+1)，步长分别设置为1、1、mdown，输出特征图大小分别设置为d×2、d、d，其中，mdown表示降采样模块重建倍数；
步骤3，构建编解码器子网络：
搭建一个由一个输入层、H层降采样模块、H层上采样重建模块组成的编解码器子网络，每个上采样重建模块由一个上采样子模块和一个全连接层组成，其中，H为预先设定的数值；
设置编解码器子网络各层的参数：
将输入层输入特征映射图大小设置为d；
降采样模块的各层参数、上采样重建模块各层的参数与超分辨图像重建的倍数s相关；
步骤4，构建编解码器网络：
搭建一个6层的编解码器网络，其结构依次为：输入层→第1卷积层→上采样模块→编解码器子网络→第2卷积层→损失层；
设置编解码器网络各层的参数：
将第1、2卷积层的卷积核大小分别设置为5×5、3×3，步长均设置为1，输出的特征图大小分别设置为d和1；
将上采样模块的重建倍数设置为超分辨图像重建的倍数s；
将损失层的损失函数设置为L2 Loss函数；
步骤5，生成训练数据集：
从一个高分辨率图像数据集中随机选取至少500幅高分辨率RGB图像；
将所选的每张格式为RGB的高分辨率图像的转换成格式为YCbCr的高分辨率图像，提取每张YCbCr图像中的Y通道图像；
将每张Y通道图像裁剪成尺寸为W×H的高分辨率Y通道图像，分别进行s倍下采样处理，得到对应尺寸为的低分辨率图像，其中W、H分别表示裁剪后每张图像的宽度、高度；
将每张高分辨率Y通道图像与其对应的低分辨率图像组成高低分辨率图像对；
对所有高低分辨率图像对进行裁剪，将高分辨率Y通道图像裁剪成尺寸为c×c高分辨率图像块Xi，将低分辨率图像裁剪成尺寸为低分辨率图像块Yi，将高分辨率图像块和与其对应的低分辨率图像块组合成高低分辨率图像块对，得到训练数据集；
步骤6，训练编解码器网络：
将训练数据集中的低分辨率图像块与其对应的高分辨率图像块输入到编解码器网络中，利用梯度下降法，对网络参数进行迭代更新，直至损失函数的J(θ)≤0.013，得到训练好的编解码器网络；
步骤7，对待重建的低分辨率RGB图像进行超分辨率重建：
将待重建的每张低分辨率RGB图像转换成格式为YCbCr的低分辨率图像；
提取每张YCbCr图像中的Y通道图像、Cb通道图像和Cr通道图像；
将Y通道图像输入到训练好的编解码器网络中，输出重建的Y通道图像；
使用双三次插值算法，将待重建的Cb通道图像和待重建的Cr通道图像进行s倍的上采样，得到重建的Cb通道图像和重建的Cr通道图像；
将重建的Y通道图像、重建的Cb通道图像和重建的Cr通道图像进行组合，得到重建的高分辨率YCbCr图像，并对重建的高分辨率YCbCr图像进行格式转换，得到重建的高分辨率RGB图像。
2.根据权利要求1所述的基于编解码器结构的超分辨图像重建方法，其特征在于，步骤1中所述融合层包括第1融合层和第2融合层，第1融合层的输入为第2卷积层的输出和输入层的输出相减的差值，第2融合层的输入为第1反卷积层输出和第2反卷积层输出相加的和。
3.根据权利要求1所述的基于编解码器结构的超分辨图像重建方法，其特征在于，步骤3中所述预先设定的数值H是按照下式设定的：
其中，s表示超分辨图像重建的倍数。
4.根据权利要求1所述的基于编解码器结构的超分辨图像重建方法，其特征在于，步骤3中所述的降采样模块的各层参数、上采样重建模块各层的参数与超分辨图像重建的倍数s相关的关系如下：
当s＝2时，将第1、2层上采样重建模块和降采样模块的重建倍数均设置为2；
当s＝3时，将第1层上采样重建模块和第2层降采样模块的重建倍数均设置为3，将第2层上采样重建模块和第1层降采样模块的重建倍数均设置为2；
当s＝4时，将第1、2、3层上采样重建模块和降采样模块的重建倍数均设置为2；
当s＝8时，将第1、2、3、4层上采样重建模块和降采样模块的重建倍数均设置为2。
5.根据权利要求1所述的基于编解码器结构的超分辨图像重建方法，其特征在于，步骤3中所述的H层上采样重建模块中的全连接层，其输入是与超分辨图像重建的倍数s相关，其关系如下：
当s＝2,3时，第1全连接层的输入为第1上采样模块的输出和第1降采样模块的输出按特征映射图的维度进行全连接后的结果，第2全连接层的输入为第2上采样模块的输出和输入层的输出按特征映射图的维度进行全连接后的结果；
当s＝4时，第1全连接层的输入为第1上采样模块的输出和第2降采样模块的输出按特征映射图的维度进行全连接后的结果，第2全连接层的输入为第2上采样模块的输出和第1降采样模块的输出按特征映射图的维度进行全连接后的结果，第3全连接层的输入为第3上采样模块的输出和输入层的输出按特征映射图的维度进行全连接后的结果；
当s＝8时，第1全连接层的输入为第1上采样模块的输出和第3降采样模块的输出按特征映射图的维度进行全连接后的结果，第2全连接层的输入为第2上采样模块的输出和第2降采样模块的输出按特征映射图的维度进行全连接后的结果，第3全连接层的输入为第3上采样模块的输出和第1降采样模块的输出按特征映射图的维度进行全连接后的结果，第4全连接层的输入为第4上采样模块的输出和输入层的输出按特征映射图的维度进行全连接后的结果。
6.根据权利要求1所述的基于编解码器结构的超分辨图像重建方法，其特征在于，步骤4中所述的L2 Loss函数如下：
其中，L(·)表示L2 Loss函数的输出值，θ表示编解码器网络的所有参数集合，N表示高低分辨率图像对的总数，∑表示求和操作，Xi表示第i幅高低分辨率图像对中的低分辨率图像，F(·)表示低分辨率图像对应的重建高分辨率图像，Ri表示Yi与Xi的残差图像，Yi表示第i幅高低分辨率图像对中的高分辨率图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910768437.2A CN110533591B (zh) | 2019-08-20 | 2019-08-20 | 基于编解码器结构的超分辨图像重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910768437.2A CN110533591B (zh) | 2019-08-20 | 2019-08-20 | 基于编解码器结构的超分辨图像重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110533591A true CN110533591A (zh) | 2019-12-03 |
| CN110533591B CN110533591B (zh) | 2022-12-27 |
Family
ID=68663695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910768437.2A Active CN110533591B (zh) | 2019-08-20 | 2019-08-20 | 基于编解码器结构的超分辨图像重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110533591B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111681166A (zh) * | 2020-06-02 | 2020-09-18 | 重庆理工大学 | 一种堆叠注意力机制编解码单元的图像超分辨率重建方法 |
| CN112261415A (zh) * | 2020-10-23 | 2021-01-22 | 青海民族大学 | 基于过拟合卷积自编码网络的图像压缩编码方法 |
| CN113538243A (zh) * | 2021-07-22 | 2021-10-22 | 西安电子科技大学 | 基于多视差注意力模块组合的超分辨图像重建方法 |
| CN116823625A (zh) * | 2023-08-30 | 2023-09-29 | 之江实验室 | 基于变分自编码器的跨对比度磁共振超分辨率方法和系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN108537731A (zh) * | 2017-12-29 | 2018-09-14 | 西安电子科技大学 | 基于压缩多尺度特征融合网络的图像超分辨率重建方法 |
| CN110136060A (zh) * | 2019-04-24 | 2019-08-16 | 西安电子科技大学 | 基于浅层密集连接网络的图像超分辨率重建方法 |
-
2019
- 2019-08-20 CN CN201910768437.2A patent/CN110533591B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN108537731A (zh) * | 2017-12-29 | 2018-09-14 | 西安电子科技大学 | 基于压缩多尺度特征融合网络的图像超分辨率重建方法 |
| CN110136060A (zh) * | 2019-04-24 | 2019-08-16 | 西安电子科技大学 | 基于浅层密集连接网络的图像超分辨率重建方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111681166A (zh) * | 2020-06-02 | 2020-09-18 | 重庆理工大学 | 一种堆叠注意力机制编解码单元的图像超分辨率重建方法 |
| CN111681166B (zh) * | 2020-06-02 | 2023-04-18 | 重庆理工大学 | 一种堆叠注意力机制编解码单元的图像超分辨率重建方法 |
| CN112261415A (zh) * | 2020-10-23 | 2021-01-22 | 青海民族大学 | 基于过拟合卷积自编码网络的图像压缩编码方法 |
| CN112261415B (zh) * | 2020-10-23 | 2022-04-08 | 青海民族大学 | 基于过拟合卷积自编码网络的图像压缩编码方法 |
| CN113538243A (zh) * | 2021-07-22 | 2021-10-22 | 西安电子科技大学 | 基于多视差注意力模块组合的超分辨图像重建方法 |
| CN116823625A (zh) * | 2023-08-30 | 2023-09-29 | 之江实验室 | 基于变分自编码器的跨对比度磁共振超分辨率方法和系统 |
| CN116823625B (zh) * | 2023-08-30 | 2023-12-12 | 之江实验室 | 基于变分自编码器的跨对比度磁共振超分辨率方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110533591B (zh) | 2022-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| US11537873B2 (en) | Processing method and system for convolutional neural network, and storage medium | |
| CN108537731B (zh) | 基于压缩多尺度特征融合网络的图像超分辨率重建方法 | |
| CN110533591A (zh) | 基于编解码器结构的超分辨图像重建方法 | |
| CN112734646B (zh) | 一种基于特征通道划分的图像超分辨率重建方法 | |
| CN108830813A (zh) | 一种基于知识蒸馏的图像超分辨率增强方法 | |
| CN110136063A (zh) | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 | |
| CN109064396A (zh) | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 | |
| CN108734660A (zh) | 一种基于深度学习的图像超分辨率重建方法及装置 | |
| CN109886871A (zh) | 基于通道注意力机制和多层特征融合的图像超分辨率方法 | |
| CN107977932A (zh) | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 | |
| CN109146788A (zh) | 基于深度学习的超分辨率图像重建方法和装置 | |
| CN107633486A (zh) | 基于三维全卷积神经网络的结构磁共振图像去噪方法 | |
| CN109255755A (zh) | 基于多列卷积神经网络的图像超分辨率重建方法 | |
| CN110136060B (zh) | 基于浅层密集连接网络的图像超分辨率重建方法 | |
| CN111127374A (zh) | 一种基于多尺度密集网络的Pan-sharpening方法 | |
| CN109377520A (zh) | 基于半监督循环gan的心脏图像配准系统及方法 | |
| CN104657962B (zh) | 基于级联线性回归的图像超分辨重建方法 | |
| Chen et al. | Single image super-resolution using deep CNN with dense skip connections and inception-resnet | |
| CN110322402A (zh) | 基于稠密混合注意力网络的医学图像超分辨率重建方法 | |
| CN113256494B (zh) | 一种文本图像超分辨率方法 | |
| CN117597703A (zh) | 用于图像分析的多尺度变换器 | |
| He et al. | Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks | |
| CN114626984A (zh) | 中文文本图像的超分辨率重建方法 | |
| CN113096015B (zh) | 基于渐进式感知和超轻量级网络的图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |