CN110060204A - 一种基于可逆网络的单一图像超分辨率方法 - Google Patents
一种基于可逆网络的单一图像超分辨率方法 Download PDFInfo
- Publication number
- CN110060204A CN110060204A CN201910354852.3A CN201910354852A CN110060204A CN 110060204 A CN110060204 A CN 110060204A CN 201910354852 A CN201910354852 A CN 201910354852A CN 110060204 A CN110060204 A CN 110060204A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- size
- super
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 115
- 230000002441 reversible effect Effects 0.000 claims abstract description 50
- 239000011159 matrix material Substances 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000013507 mapping Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 5
- 230000008878 coupling Effects 0.000 claims description 17
- 238000010168 coupling process Methods 0.000 claims description 17
- 238000005859 coupling reaction Methods 0.000 claims description 17
- 238000011478 gradient descent method Methods 0.000 claims description 16
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000012806 monitoring device Methods 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims description 3
- 238000002059 diagnostic imaging Methods 0.000 claims description 2
- XCWPUUGSGHNIDZ-UHFFFAOYSA-N Oxypertine Chemical compound C1=2C=C(OC)C(OC)=CC=2NC(C)=C1CCN(CC1)CCN1C1=CC=CC=C1 XCWPUUGSGHNIDZ-UHFFFAOYSA-N 0.000 claims 1
- 238000013461 design Methods 0.000 claims 1
- 238000003475 lamination Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 11
- 238000013135 deep learning Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 5
- 241000283070 Equus zebra Species 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 241000251468 Actinopterygii Species 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06T3/02—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于可逆网络的单一图像超分辨率方法，属于图像处理领域。所述方法通过引入可逆网络来构建超分辨率模型的网络结构，利用可逆网络的可逆性质实现了高分辨率图像空间和低分辨率图像空间的相互映射，从低分辨率和高分辨率两个方向对超分辨率过程进行优化，解决了其他基于深度学习的超分辨率方法无法有效利用高分辨率和低分辨率图像之间的相互依赖的问题，从而提升了模型进行图像超分辨率的能力。还通过引入奇异值分解初始化1×1可逆卷积层的权重矩阵，提升了1×1可逆卷积层的逆过程的传播速度；采用本申请方法能够有效实现单一图像的超分辨率过程，利用低分辨率图像生成具有良好纹理细节以及视觉效果的超分辨率图像。
Description
技术领域
本发明涉及一种基于可逆网络的单一图像超分辨率方法，属于图像处理领域。
背景技术
图像超分辨率(Image Super Resolution)是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。单一图像超分辨率(Single image super resolution，SISR)则是在低分辨率图像和高分辨率图像之间建立一种映射，并通过输入的低分辨率图像生成超分辨率图像。目前超分辨率的方法主要包括基于插值，基于重建，基于学习的方法。常见的插值方法有双线性插值，双三次插值方法等，但是通过插值得到的重建图像容易产生模糊、锯齿现象，并且缺少纹理细节。基于重建的方法是利用低分辨率图像作为约束的前提下，结合图像的先验知识进行重建还原，例如迭代反向投影法，凸集投影法。而基于学习的方法是通过提取高分辨率图像和低分辨率图像的特征学习两者之间的映射关系来对高分辨率图像进行重建，这也是目前比较主流的方法。研究者们提出了很多的基于学习的重建方法，例如邻域嵌入方法，概率图模型，线性及非线性回归，稀疏编码以及随机森林。
近些年，随着深度神经网络的飞速发展，越来越多的研究人员开始使用各种深度神经网络结构来解决超分辨率问题。相对于其他传统的超分辨率方法，具有深度神经网络结构的超分辨率重建方法能够取得更高的PSNR(峰值信噪比,DB)和SSIM(结构相似性)值。超分辨率卷积网络(Dong C,Chen C L,He K,et al.Image Super-Resolution Using DeepConvolutional Networks[J].IEEE Transactions on Pattern Analysis&MachineIntelligence)较早提出利用深度卷积网络来解决超分辨率重建问题，其设计了由三个卷积核大小不同的卷积层构成的网络，将三层卷积网络分别解释为三个步骤：补丁提取，非线性映射，图像重建。在图像输入到SRCNN中去之前，会经过一个基于插值的超分辨率过程将其尺寸放大到预期尺寸。ESPCN(Shi W,Caballero J,Huszar F,et al.Real-Time SingleImage and Video Super-Resolution Using an Efficient Sub-Pixel ConvolutionalNeural Network[C].Computer Vision and Pattern Recognition)提出了一种新的扩张图像尺寸的结构：亚像素卷积层，通过减少图像的通道数增加图像的尺寸。SRGAN(Ledig C,Wang Z,Shi W,et al.Photo-Realistic Single Image Super-Resolution Using aGenerative Adversarial Network[C].Computer Vision and Pattern Recognition.)利用残差神经网络来设计超分辨网络结构，通过结合对抗学习和迁移学习取得了杰出的感知表现。
上述基于深度神经网络的图像超分辨算法相对于其他算法能够取得更好的效果，但这些方法都是将低分辨率图像投影到高分辨率图像空间来估计一个超分辨率图像，然后利用超分辨率图像和估计的高分辨率图像之间的差异来构建损失函数并进行优化，没有利用低分辨率图像和高分辨率图像之间的相互依赖，无法更有效地利用两个图像之间的互信息，从而影响了模型图像超分辨的效果。
发明内容
为了解决目前存在的现有技术没有利用低分辨率图像和高分辨率图像之间的相互依赖，无法更有效地利用两个图像之间的互信息，从而影响了模型图像超分辨的效果问题，本发明提供了一种基于可逆网络的单一图像超分辨率方法，所述方法利用可逆网络构建进行超分辨率的网络模型，然后将低分辨率图像输入到网络模型的一端生成超分辨率图像，将高分辨率图像输入到网络模型的另一端生成低分辨率重建图像，利用生成的超分辨率图像以及低分辨率重建图像与真实的高分辨率图像以及低分辨率图像之间的差异来设计优化的目标函数，通过最小化目标函数的值来对网络模型的参数进行更新，以提升网络模型的超分辨能力。
可选的，所述方法包括：
(1)选择训练数据集D：选择一个用来训练网络模型的数据集D，该数据集D需包括多张尺寸为W×H×C的低分辨率图像和对应的尺寸为rW×rH×C的高分辨率图像，其中W、H以及C分别为图像的宽度、高度以及通道数，r为超分辨率因子；
(2)建立可逆模块：可逆模块由位于两端的1×1可逆卷积层和位于中间的仿射耦合层组成，其中仿射耦合层按以下步骤计算得到：
仿射耦合层正向过程：对于尺寸为的输入数据x，将其从通道处分为尺寸为的两个部分x1和x2，然后利用下述公式(1)和(2)得到输出数据的两个部分y1和y2：
y1＝x1 (1)
y2＝x2·exp(F(x1))+G(x1) (2)
其中，F(x1)和G(x1)分别代表没有限制且不改变数据尺寸的非线性映射；将得到的y1和y2在通道处进行拼接得到尺寸为的输出y；
仿射耦合层逆向过程：对于尺寸为的输入数据y′，将其从通道处分为尺寸为的两个部分y′1和y′2，然后利用下述公式(3)和(4)得到输出数据的两个部分x′1和x′2：
x′1＝y′1 (3)
x′2＝(y′2-G(y′1))/exp(F(y′1)) (4)
将得到的x′1和x′2在通道处进行拼接得到尺寸为的输出x′；
(3)建立网络模型：网络模型由24个步骤(2)建立的可逆模块组成；
(4)建立批数据：从数据集D中随机选择16个高分辨率图像进行拼接得到尺寸为16×rW×rH×C的高分辨率图像批数据IHR_B，将对应的16个低分辨率图像进行拼接得到尺寸为16×W×H×C低分辨率图像批数据ILR_B；
(5)数据预处理：对尺寸为16×W×H×C的低分辨率图像批数据ILR_B进行基于双立方插值的超分辨率处理将其尺寸放大为16×rW×rH×C，然后利用亚像素卷积操作将尺寸调整为得到经过预处理的低分辨率图像批数据ILR_B_P；对于尺寸为16×rW×rH×C的高分辨率图像批数据IHR_B，直接利用亚像素卷积操作将尺寸调整为得到经过预处理的高分辨率图像批数据IHR_B_P；
(6)生成重建图像：将尺寸为的低分辨率图像批数据ILR_B_P从网络模型的低分辨率端进行输入，经过正向传播在网络模型的高分辨率端得到尺寸为 的超分辨率图像批数据IHR_B_P_Re，然后通过亚像素卷积的逆操作将其尺寸调整为16×rW×rH×C，得到最终超分辨率图像批数据IHR_B_Re；将尺寸为的高分辨率图像批数据IHR_B_P从网络模型的高分辨率端进行输入，经过逆向传播在网络的低分辨率端得到尺寸为的低分辨率重建图像批数据ILR_B_P_Re，然后利用亚像素卷积的逆操作将其尺寸调整为16×rW×rH×C，得到最终低分辨率重建图像批数据ILR_B_Re；
(7)计算优化目标值：利用得到的超分辨率图像批数据IHR_B_Re与真实高分辨率图像批数据IHR_B确定高分辨率图像空间的损失函数：
其中，x和y分别表示图片中单个像素的横坐标和纵坐标；
利用得到的低分辨率重建图像ILR_B_Re和真实的低分辨率图像ILR_B确定低分辨率图像空间的损失函数：
将高分辨率图像空间和低分辨率图像空间的损失函数进行加权得到网络模型的优化目标：
其中λ1和1-λ1分别代表了高分辨率图像空间损失函数和低分辨率图像空间损失函数的权重，0.4＜λ1＜1；
(8)更新网络模型的参数：利用批数据作为输入得到的loss对网络模型的所有参数Wm进行求导得到Wm关于loss的导数ΔWm，然后利用梯度下降法以α＝0.0001以及下述公式(8)对网络模型参数进行更新：
Wm＝Wm-α·ΔWm (8)
(9)跳转至步骤(4)，并在迭代次数达到10万后将α减半，在迭代次数达到20万次时结束迭代，得到训练好的网络模型；
(10)将需要进行超分辨率的低分辨率图像输入到训练好的网络模型的低分辨率一端，由网络模型的高分辨率一端生成超分辨率图像。
可选的，步骤(2)所述的可逆模块中的1×1可逆卷积层按以下步骤计算得到：
(2.1)1×1可逆卷积正向过程：对于尺寸为的输入数据，初始化一个尺寸为4C×4C的随机矩阵WC，然后对其进行奇异值分解得到正交矩阵U、对角矩阵S以及正交矩阵VT，增加WC的维度，将其尺寸置为1×1×4C×4C，然后将WC作为权重矩阵来对输入数据进行卷积操作并得到尺寸为的输出数据；
(2.2)1×1可逆卷积逆向过程：对于尺寸为的输入数据，计算(2.1)中得到的U、S以及VT的逆矩阵，其方法为，对于U和VT直接计算其转置矩阵得到其逆矩阵UT和V，对于S，直接将其对角线元素分别求倒数就能得到其逆矩阵然后利用以下公式得到1×1可逆卷积逆向过程的矩阵向量：
增加的维度，将其尺寸置为1×1×4C×4C，然后将作为权重矩阵来对输入数据进行卷积操作并得到尺寸为的输出数据。
可选的，所述用来训练网络模型的数据集D中至少包括4000张尺寸为W×H×C的低分辨率图像和对应的尺寸为rW×rH×C的高分辨率图像。
可选的，步骤(7)中λ1的取值范围为0.4＜λ1＜0.6。
可选的，λ1取值0.5。
可选的，步骤(8)中梯度下降法包括随机梯度下降法和Momentum梯度下降法。
可选的，步骤(8)中梯度下降法α取值范围为[0.00005，0.0005]。
本申请还提供上述方法在图像处理领域内的应用。
本申请还提供上述方法在监控设备、卫星图像和医学影像领域内的应用。
本发明有益效果是：
通过引入可逆网络来构建超分辨率模型的网络结构，利用可逆网络的可逆性质实现了高分辨率图像空间和低分辨率图像空间的相互映射，从低分辨率和高分辨率两个方向对超分辨率过程进行优化，解决了其他基于深度学习的超分辨率方法无法有效利用高分辨率和低分辨率图像之间的相互依赖的问题，从而提升了模型进行图像超分辨率的能力。还通过引入奇异值分解初始化1×1可逆卷积层的权重矩阵，提升了1×1可逆卷积层的逆过程的传播速度；采用本申请方法建立的网络模型生成的超分辨率图像能够得到更清晰的纹理结果以及更好的视觉效果，从而更好的满足监控设备、卫星图像以及医学影像等领域对超分辨图像更严格的要求。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明方法的整体流程图。
图2是可逆模块结构图。
图3是模型整体结构图。
图4是从基准数据集set5中选择的图像在本发明方法训练好的模型中生成的超分辨率图像与在其他方法中得到的超分辨率图像的视觉对比图。
图5是从基准数据集set14中选择的图像在本发明方法训练好的模型中生成的超分辨率图像与在其他方法中得到的超分辨率图像的视觉对比图。
图6是从基准数据集BSD100中选择的图像在本发明方法训练好的模型中生成的超分辨率图像与在其他方法中得到的超分辨率图像的视觉对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
首先对本申请涉及的可逆网络进行介绍如下：
可逆网络是具有可逆结构的网络。对于可逆网络来说，输入数据经正向传播得到输出后，可以通过逆向传播由输出以相反的过程得到最初的输入数据，在这个过程中输入数据没有任何信息的丢失。
较早前，就有论文应用神经网络中的某些可逆特性，例如利用随机梯度下降的可逆性质对模型的超参数进行微调。近些年，又出现了很多研究与利用可逆网络的论文。NICE(L.Dinh，D.Krueger，Y.Bengio，NICE：Non-linear independent components estimation，arXiv)和RNVP(L.Dinh，S.D.Jascha，S.Bengio.Density estimation using realNVP.arXiv)将可逆网络与最大似然估计相结合提出了基于流的生成模型，利用网络的可逆特性，通过最大化生成过程的逆过程得到的潜变量的对数似然函数值来优化模型生成能力与拟合真实数据分布的能力。NICE提出了一种耦合层的结构来实现可逆。在加性耦合层中，每一层的输入x从通道或者空间上被分成两个部分x1和x2，通过下面公式计算输出：
y1＝x1
y2＝x2+F(x1)
将y1和y2拼接得到输出y。在网络逆向传播时，将该层输出y以与拼接相反的方式分成两个部分y1和y2，通过下面公式得到输入x：
x1＝y1
x2＝y2-F(y1)
在RNVP中，作者首先引入了卷积操作，为了保证卷积操作所需的局部相关性，只能对图像进行通道处或空间棋盘式分割。其次，作者提出了更为一般的仿射耦合层。在仿射耦合层中，在每一层输入被分割成两部分x1和x2后，通过下面公式得到输出y：
y1＝x1
在逆向传播时，将y分割成y1和y2，通过下面公式得到输入x：
x1＝y1
x2＝(y2-G(y1))/exp(F(y1))
其中和/分别代表了Hadamard乘积或逐元素乘积及它们的逆过程，其中F(x1)和G(x1)分别代表了没有任何限制且不改变图像尺寸的非线性映射，例如全连接层或者卷积层。NICE和RNVP中为了得到不平凡的变换，使用了交错和随机两种方式打乱耦合顺序。
实施例一：
本实施例提供一种单一图像超分辨率方法，参照图1，本发明的具体实施步骤包括如下：
步骤1.选择训练数据集D：选择一个用来训练网络模型的数据集D，该数据集需包括多张尺寸为W×H×C的低分辨率图像和对应的尺寸为rW×rH×C的高分辨率图像，其中W、H以及C分别为图像的宽度、高度以及通道数，r为超分辨率因子；
深度学习要求训练数据集的样本越多越好，越多效果会越好，本实施例中提高一个经验参考值，训练数据集D至少包含4000张以上的满足上述要求的图像。
步骤2.建立可逆模块：可逆模块由位于两端的1×1可逆卷积层和位于中间的仿射耦合层组成；
其中1×1可逆卷积层按以下步骤计算得到：
(2.1)1×1可逆卷积正向过程：对于尺寸为的输入数据，初始化一个尺寸为4C×4C的随机矩阵WC，然后对其进行奇异值分解得到正交矩阵U、对角矩阵S以及正交矩阵VT，增加WC的维度，将其尺寸置为1×1×4C×4C，然后将WC作为权重矩阵来对输入数据进行卷积操作并得到尺寸为的输出数据。
(2.2)1×1可逆卷积逆向过程：对于尺寸为的输入数据，计算(2.1)中得到的U、S以及VT的逆矩阵，其方法为，对于U和VT直接计算其转置矩阵得到其逆矩阵UT和V，直接将S的对角线元素分别求倒数就能得到其逆矩阵然后利用以下公式得到1×1可逆卷积逆向过程的矩阵向量：
增加的维度，将其尺寸置为1×1×4C×4C，然后将作为权重矩阵来对输入数据进行卷积操作并得到尺寸为的输出数据。
其中可逆模块中的仿射耦合层正向和逆向过程按以下步骤计算得到：
(2.3)仿射耦合层正向过程：对于尺寸为的输入数据x，将其从通道处分为尺寸为的两个部分x1和x2，然后利用下面的公式得到输出数据的两个部分y1和y2：
y1＝x1 (1)
y2＝x2·exp(F(x1))+G(x1) (2)
其中，F(x1)和G(x1)分别代表着没有限制的不改变数据尺寸的非线性映射；将得到的y1和y2在通道处进行拼接得到尺寸为的输出y；
(2.4)仿射耦合层逆向过程：对于尺寸为的输入数据y′，将其从通道处分为尺寸为的两个部分y′1和y′2，然后利用下述公式(3)和(4)得到输出数据的两个部分x′1和x′2：
x′1＝y′1 (3)
x′2＝(y′2-G(y′1))/exp(F(y′1)) (4)
将得到的x′1和x′2在通道处进行拼接得到尺寸为的输出x′；
步骤3.建立网络模型：网络模型由24个可逆模块组成；
步骤4.建立批数据：从数据集D中随机选择16个高分辨率图像进行拼接得到尺寸为16×rW×rH×C的高分辨率图像批数据IHR_B，其中B＝16表示批数据中所含图像的数量，将对应的16个低分辨率图像进行拼接得到尺寸为16×W×H×C低分辨率图像批数据ILR_B；
步骤5.数据预处理：对尺寸为16×W×H×C的低分辨率图像批数据ILR_B进行基于双立方插值的超分辨率处理将其尺寸放大为16×rW×rH×C，然后利用亚像素卷积操作将其尺寸调整为得到经过预处理的低分辨率图像批数据ILR_B_P；对于尺寸为16×rW×rH×C的高分辨率图像批数据IHR_B，直接利用亚像素卷积操作将尺寸调整为得到经过预处理的高分辨率图像批数据IHR_B_P；
步骤6.生成重建图像：将尺寸为的低分辨率图像批数据ILR_B_P从网络模型的低分辨率端进行输入，经过正向传播在网络模型的高分辨率端得到尺寸为的超分辨率图像批数据IHR_B_P_Re，然后通过亚像素卷积的逆操作将其尺寸调整为16×rW×rH×C，得到最终超分辨率图像批数据IHR_B_Re；将尺寸为 的高分辨率图像批数据IHR_B_P从网络模型的高分辨率端进行输入，经过逆向传播在网络的低分辨率端得到尺寸为的低分辨率重建图像批数据ILR_B_P_Re，然后利用亚像素卷积的逆操作将其尺寸调整为16×rW×rH×C，得到最终低分辨率重建图像批数据ILR_B_Re；
步骤7.计算优化目标值：利用得到的超分辨率图像批数据IHR_B_Re与真实高分辨率图像批数据IHR_B确定高分辨率图像空间的损失函数：
其中，x和y分别表示图片中单个像素的横坐标和纵坐标。
利用得到的低分辨率重建图像ILR_B_Re和真实的低分辨率图像ILR_B确定低分辨率图像空间的损失函数：
将高分辨率图像空间和低分辨率图像空间的损失函数进行加权得到网络模型的优化目标：
其中λ1和1-λ1分别代表了高分辨率图像空间损失函数和低分辨率图像空间损失函数的权重，0.4＜λ1＜1
步骤8.更新网络模型的参数：利用梯度下降法以α＝0.0001为学习率更新网络模型的参数来减小优化目标值loss；(8.1)更新网络模型的参数：利用批数据作为输入得到的loss对网络模型的所有参数Wm进行求导得到Wm关于loss的导数ΔWm，然后利用梯度下降法以α＝0.0001以及下面的公式对进行网络模型参数进行更新：
Wm＝Wm-α·ΔWm (8)
步骤9.跳转至步骤4，并在迭代次数达到10万后将α减半，在迭代次数达到20万次时结束迭代，得到训练好的网络模型；
其中的梯度下降法包括随机梯度下降法和Momentum梯度下降法，α取值范围为[0.00005，0.0005]，本申请以采用梯度下降法以α＝0.0001为例进行说明，且α＝0.0001效果较好。
步骤10.将需要进行超分辨率的低分辨率图像输入到训练好的网络模型的低分辨率一端，由网络模型的高分辨率一端生成超分辨率图像。
为进一步说明本发明的效果，下述通过仿真实验进一步说明：
1、仿真条件及参数
在整个实验中，本申请采用的超分辨率因子为4×，表示4倍，即r为4。所使用的训练图片来自于RAISE(http：//mmlab.science.unitn.it/RAISE/)数据集，该数据集包括了8156对低分辨率图片以及其对应的高分辨率图片。其中低分辨率图片是由高分辨率图片经过一个缩放因子为4的双三次插值缩放得到。
本实验中，步骤2中的目标损失函数中的权重因子λ1为0.5。
选择set5，set14和BSD100三个基准数据集生成超分辨率图像以验证本申请提出的方法。
2、仿真内容及结果分析
仿真实验中，将本发明方法与其他一些基于插值、基于重建以及基于深度学习的超分辨率方法进行对比分析，试验主要从以下方面开展。
实验1：生成超分辨率图像在超分辨率评价指标上的对比，超分辨率评价指标包括峰值信噪比PSNR和结构相似性SSIM，这两个值代表重建图像的像素值和原始图像像素值的接近程度；2个图像之间PSNR值越大，则越相似。SSIM取值范围为[0，1]，值越大，表示图像失真越小。
将本发明方法中训练好的模型生成的超分辨率图像与其他方法生成的超分辨率图像进行超分辨率评价指标上的定量对比：
表1：在基准数据集set5上本发明方法与其他方法的对比
表2：在基准数据集set14上本方法与其他方法的对比
表3：在基准数据集BSD100上本方法与其他方法的对比
如表1所示：我们的方法在PSNR上略低于SRCNN和Kim，高于其他方法；在SSIM上我们的方法高于其他所有方法。
如表2、表3所示：我们的方法在PSNR和SSIM上都高于其他所有方法。
综合表1、表2、表3，通过生成的超分辨率图像的定量对比可知，本申请提供的方法能够取得较好的超分辨率效果。
实验2：生成的超分辨率图像在视觉效果上的对比
将本发明方法中训练好的模型生成的超分辨率图像与其他方法生成的超分辨率图像进行视觉上的对比：
图4是从基准数据集set5中选择的图像在本发明方法训练好的模型中生成的超分辨率图像与在其他方法中得到的超分辨率图像的视觉对比图。
图5是从基准数据集set14中选择的图像在本发明方法训练好的模型中生成的超分辨率图像与在其他方法中得到的超分辨率图像的视觉对比图。
图6是从基准数据集BSD100中选择的图像在本发明方法训练好的模型中生成的超分辨率图像与在其他方法中得到的超分辨率图像的视觉对比图。
由图4可以看出：在set5数据集蝴蝶图像上，相对于我们的方法所生成的超分辨率图像，nearest方法生成的图像在蝴蝶条纹处具有严重的锯齿纹理，而bicubic和glasner方法生成的图像更加模糊，而ScSR、SRCNN以及Kim等方法生成的图像在蝴蝶的条纹两边具有伪影效果。
由图5可以看出：在set14数据集斑马图像上，相对于我们的方法所生成的超分辨率图像，nearest方法生成的图像在斑马身上黑白条纹处具有严重的锯齿纹理，bicubic、ScSR、SRCNN以及Kim方法所生成的图像在斑马身上条纹上具有间断在原图中没有的黑色阴影块，而glaster方法生成的图像具有比原图更细的斑马条纹。
由图6可以看出：在BSD100数据集的鱼图像上，相对于我们的方法所生成的超分辨率图像，nearest方法生成的图像具有严重的锯齿纹理，bicubic、glaster、ScSR以及SRCNN生成的图像在鱼头上的白色条纹上都具有原图所没有的黑色阴影块，而Kim方法生成的图像则在鱼头的白色条纹两边具有伪影效果。
通过生成的超分辨率图像的定性对比，说明我们的方法能够生成在视觉效果上更好的超分辨率图像。
本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种单一图像超分辨率方法，其特征在于，所述方法利用可逆网络构建进行超分辨率的网络模型，然后将低分辨率图像输入到网络模型的一端生成超分辨率重建图像，将高分辨率图像输入到网络模型的另一端生成低分辨率重建图像，利用生成的超分辨率重建图像以及低分辨率重建图像与真实的高分辨率图像以及低分辨率图像之间的差异设计优化的目标函数，通过最小化目标函数的值来对网络模型的参数进行更新，提升网络模型的超分辨能力。
2.根据权利要求1所述的方法，其特征在于，所述方法包括：
(1)选择训练数据集D：选择一个用来训练网络模型的数据集D，该数据集D需包括多张尺寸为W×H×C的低分辨率图像和对应的尺寸为rW×rH×C的高分辨率图像，其中W、H以及C分别为图像的宽度、高度以及通道数，r为超分辨率因子；
(2)建立可逆模块：可逆模块由位于两端的1×1可逆卷积层和位于中间的仿射耦合层组成，其中仿射耦合层按以下步骤计算得到：
仿射耦合层正向过程：对于尺寸为的输入数据x，将其从通道处分为尺寸为的两个部分x1和x2，然后利用下述公式(1)和(2)得到输出数据的两个部分y1和y2：
y1＝x1 (1)
y2＝x2·exp(F(x1))+G(x1) (2)
其中，F(x1)和G(x1)分别代表没有限制且不改变数据尺寸的非线性映射；将得到的y1和y2在通道处进行拼接得到尺寸为的输出y；
仿射耦合层逆向过程：对于尺寸为的输入数据y′，将其从通道处分为尺寸为的两个部分y′1和y′2，然后利用下述公式(3)和(4)得到输出数据的两个部分x′1和x′2：
x′1＝y′1 (3)
x′2＝(y′2-G(y′1))/exp(F(y′1)) (4)
将得到的x′1和x′2在通道处进行拼接得到尺寸为的输出x′；
(3)建立网络模型：网络模型由24个步骤(2)建立的可逆模块组成；
(4)建立批数据：从数据集D中随机选择16个高分辨率图像进行拼接得到尺寸为16×rW×rH×C的高分辨率图像批数据IHR_B，将对应的16个低分辨率图像进行拼接得到尺寸为16×W×H×C低分辨率图像批数据ILR_B；
(5)数据预处理：对尺寸为16×W×H×C的低分辨率图像批数据ILR_B进行基于双立方插值的超分辨率处理将其尺寸放大为16×rW×rH×C，然后利用亚像素卷积操作将尺寸调整为得到经过预处理的低分辨率图像批数据ILR_B_P；对于尺寸为16×rW×rH×C的高分辨率图像批数据IHR_B，直接利用亚像素卷积操作将尺寸调整为得到经过预处理的高分辨率图像批数据IHR_B_P；
(6)生成重建图像：将尺寸为的低分辨率图像批数据ILR_B_P从网络模型的低分辨率端进行输入，经过正向传播在网络模型的高分辨率端得到尺寸为 的超分辨率图像批数据IHR_B_P_Re，然后通过亚像素卷积的逆操作将其尺寸调整为16×rW×rH×C，得到最终超分辨率图像批数据IHR_B_Re；将尺寸为的高分辨率图像批数据IHR_B_P从网络模型的高分辨率端进行输入，经过逆向传播在网络的低分辨率端得到尺寸为的低分辨率重建图像批数据ILR_B_P_Re，然后利用亚像素卷积的逆操作将其尺寸调整为16×rW×rH×C，得到最终低分辨率重建图像批数据ILR_B_Re；
(7)计算优化目标值：利用得到的超分辨率图像批数据IHR_B_Re与真实高分辨率图像批数据IHR_B确定高分辨率图像空间的损失函数：
其中，x和y分别表示图片中单个像素的横坐标和纵坐标；
利用得到的低分辨率重建图像ILR_B_Re和真实的低分辨率图像ILR_B确定低分辨率图像空间的损失函数：
将高分辨率图像空间和低分辨率图像空间的损失函数进行加权得到网络模型的优化目标：
其中λ1和1-λ1分别代表了高分辨率图像空间损失函数和低分辨率图像空间损失函数的权重，0.4<λ1<1；
(8)更新网络模型的参数：利用批数据作为输入得到的loss对网络模型的所有参数Wm进行求导得到Wm关于loss的导数ΔWm，然后利用随机梯度下降法或Momentum梯度下降法以学习率α，以及下述公式(8)对网络模型参数进行更新：
Wm＝Wm-α·ΔWm (8)
(9)跳转至步骤(4)，并在迭代次数达到10万后将α减半，在迭代次数达到20万次时结束迭代，得到训练好的网络模型；
(10)将需要进行超分辨率的低分辨率图像输入到训练好的网络模型的低分辨率一端，由网络模型的高分辨率一端生成超分辨率图像。
3.根据权利要求2所述的方法，其特征在于，步骤(2)所述的可逆模块中的1×1可逆卷积层按以下步骤计算得到：
(2.1)1×1可逆卷积正向过程：对于尺寸为的输入数据，初始化一个尺寸为4C×4C的随机矩阵WC，然后对其进行奇异值分解得到正交矩阵U、对角矩阵S以及正交矩阵VT，增加WC的维度，将其尺寸置为1×1×4C×4C，然后将WC作为权重矩阵来对输入数据进行卷积操作并得到尺寸为的输出数据；
(2.2)1×1可逆卷积逆向过程：对于尺寸为的输入数据，计算(2.1)中得到的U、S以及VT的逆矩阵，其方法为，对于U和VT直接计算其转置矩阵得到其逆矩阵UT和V，对于S，直接将其对角线元素分别求倒数就能得到其逆矩阵然后利用以下公式得到1×1可逆卷积逆向过程的矩阵向量：
增加的维度，将其尺寸置为1×1×4C×4C，然后将作为权重矩阵来对输入数据进行卷积操作并得到尺寸为的输出数据。
4.根据权利要求2所述的方法，其特征在于，所述用来训练网络模型的数据集D中至少包括4000张尺寸为W×H×C的低分辨率图像和对应的尺寸为rW×rH×C的高分辨率图像。
5.根据权利要求2所述的方法，其特征在于，步骤(7)中λ1的取值范围为0.4<λ1<0.6。
6.根据权利要求5所述的方法，其特征在于，λ1取值0.5。
7.根据权利要求2所述的方法，其特征在于，步骤(8)中梯度下降法包括随机梯度下降法和Momentum梯度下降法。
8.根据权利要求2所述的方法，其特征在于，步骤(8)中梯度下降法α取值范围为[0.00005,0.0005]。
9.权利要求1-8任一所述的方法在图像处理领域内的应用。
10.权利要求1-7任一所述的方法在监控设备、卫星图像和医学影像领域内的应用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910354852.3A CN110060204B (zh) | 2019-04-29 | 2019-04-29 | 一种基于可逆网络的单一图像超分辨率方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910354852.3A CN110060204B (zh) | 2019-04-29 | 2019-04-29 | 一种基于可逆网络的单一图像超分辨率方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110060204A true CN110060204A (zh) | 2019-07-26 |
| CN110060204B CN110060204B (zh) | 2020-12-29 |
Family
ID=67321708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910354852.3A Active CN110060204B (zh) | 2019-04-29 | 2019-04-29 | 一种基于可逆网络的单一图像超分辨率方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110060204B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
| CN110782393A (zh) * | 2019-10-10 | 2020-02-11 | 江南大学 | 一种基于可逆网络的图像分辨率压缩及重建方法 |
| CN111652354A (zh) * | 2020-05-29 | 2020-09-11 | 北京百度网讯科技有限公司 | 用于训练超网络的方法、装置、设备以及存储介质 |
| CN112287973A (zh) * | 2020-09-28 | 2021-01-29 | 北京航空航天大学 | 基于截尾奇异值和像素插值的数字图像对抗样本防御方法 |
| CN112862922A (zh) * | 2021-01-27 | 2021-05-28 | 南昌大学 | 一种基于多特征生成网络先验信息引导的图像填充方法 |
| CN113496234A (zh) * | 2020-03-19 | 2021-10-12 | 中移(上海)信息通信科技有限公司 | 图像分类模型训练方法、图像分类方法、装置及电子设备 |
| CN114841895A (zh) * | 2022-05-24 | 2022-08-02 | 中国科学技术大学 | 一种基于双向映射网络的图像阴影去除方法 |
| WO2023207872A1 (zh) * | 2022-04-27 | 2023-11-02 | 维沃移动通信有限公司 | 视频编解码方法、视频编解码器和电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070177476A1 (en) * | 2006-02-02 | 2007-08-02 | Hiroki Yamamoto | Optical information recording and reproducing apparatus |
| CN102142136A (zh) * | 2011-03-05 | 2011-08-03 | 河海大学常州校区 | 基于神经网络的声纳图像的超分辨率重建方法 |
| CN105072373A (zh) * | 2015-08-28 | 2015-11-18 | 中国科学院自动化研究所 | 基于双向循环卷积网络的视频超分辨率方法和系统 |
| CN107274347A (zh) * | 2017-07-11 | 2017-10-20 | 福建帝视信息科技有限公司 | 一种基于深度残差网络的视频超分辨率重建方法 |
| CN107977930A (zh) * | 2017-12-09 | 2018-05-01 | 北京花开影视制作有限公司 | 一种图像超分辨方法及其系统 |
-
2019
- 2019-04-29 CN CN201910354852.3A patent/CN110060204B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070177476A1 (en) * | 2006-02-02 | 2007-08-02 | Hiroki Yamamoto | Optical information recording and reproducing apparatus |
| CN102142136A (zh) * | 2011-03-05 | 2011-08-03 | 河海大学常州校区 | 基于神经网络的声纳图像的超分辨率重建方法 |
| CN105072373A (zh) * | 2015-08-28 | 2015-11-18 | 中国科学院自动化研究所 | 基于双向循环卷积网络的视频超分辨率方法和系统 |
| CN107274347A (zh) * | 2017-07-11 | 2017-10-20 | 福建帝视信息科技有限公司 | 一种基于深度残差网络的视频超分辨率重建方法 |
| CN107977930A (zh) * | 2017-12-09 | 2018-05-01 | 北京花开影视制作有限公司 | 一种图像超分辨方法及其系统 |
Non-Patent Citations (5)
| Title |
|---|
| CHAO DONG 等: "Image Super-Resolution Using Deep Convolutional Networks", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| CHRISTIAN LEDIG等: "Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| LAURENT DINH 等: "NICE: NON-LINEAR INDEPENDENT COMPONENTS ESTIMATION", 《AIRXIV》 * |
| WENZHE SHI等: "Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| 李天军 等: "RBF神经网络及其在锅炉过热汽温控制中的应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
| CN110782393A (zh) * | 2019-10-10 | 2020-02-11 | 江南大学 | 一种基于可逆网络的图像分辨率压缩及重建方法 |
| CN113496234A (zh) * | 2020-03-19 | 2021-10-12 | 中移(上海)信息通信科技有限公司 | 图像分类模型训练方法、图像分类方法、装置及电子设备 |
| CN111652354A (zh) * | 2020-05-29 | 2020-09-11 | 北京百度网讯科技有限公司 | 用于训练超网络的方法、装置、设备以及存储介质 |
| CN111652354B (zh) * | 2020-05-29 | 2023-10-24 | 北京百度网讯科技有限公司 | 用于训练超网络的方法、装置、设备以及存储介质 |
| CN112287973A (zh) * | 2020-09-28 | 2021-01-29 | 北京航空航天大学 | 基于截尾奇异值和像素插值的数字图像对抗样本防御方法 |
| CN112862922A (zh) * | 2021-01-27 | 2021-05-28 | 南昌大学 | 一种基于多特征生成网络先验信息引导的图像填充方法 |
| WO2023207872A1 (zh) * | 2022-04-27 | 2023-11-02 | 维沃移动通信有限公司 | 视频编解码方法、视频编解码器和电子设备 |
| CN114841895A (zh) * | 2022-05-24 | 2022-08-02 | 中国科学技术大学 | 一种基于双向映射网络的图像阴影去除方法 |
| CN114841895B (zh) * | 2022-05-24 | 2023-10-20 | 中国科学技术大学 | 一种基于双向映射网络的图像阴影去除方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110060204B (zh) | 2020-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110060204A (zh) | 一种基于可逆网络的单一图像超分辨率方法 | |
| Zhao et al. | Efficient image super-resolution using pixel attention | |
| CN108447020A (zh) | 一种基于极深卷积神经网络的人脸超分辨率重建方法 | |
| CN108805808A (zh) | 一种利用卷积神经网络提高视频分辨率的方法 | |
| CN109118432A (zh) | 一种基于快速循环卷积网络的图像超分辨率重建方法 | |
| CN110136062A (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN110782393A (zh) | 一种基于可逆网络的图像分辨率压缩及重建方法 | |
| Yang et al. | Image super-resolution based on deep neural network of multiple attention mechanism | |
| CN112837224A (zh) | 一种基于卷积神经网络的超分辨率图像重建方法 | |
| Singla et al. | A review on Single Image Super Resolution techniques using generative adversarial network | |
| CN113744136A (zh) | 基于通道约束多特征融合的图像超分辨率重建方法和系统 | |
| Sha et al. | Fast deep parallel residual network for accurate super resolution image processing | |
| Hu et al. | Rtsrgan: Real-time super-resolution generative adversarial networks | |
| Yang et al. | An image super-resolution network based on multi-scale convolution fusion | |
| Li et al. | High-resolution network for photorealistic style transfer | |
| CN110415169A (zh) | 一种深度图超分辨率重建方法、系统及电子设备 | |
| CN113096015B (zh) | 基于渐进式感知和超轻量级网络的图像超分辨率重建方法 | |
| CN114359039A (zh) | 基于知识蒸馏的图像超分方法 | |
| CN110047038A (zh) | 一种基于层级递进网络的单图像超分辨重建方法 | |
| Yu et al. | Scale-aware frequency attention network for super-resolution | |
| Wang et al. | Pixel attention convolutional network for image super-resolution | |
| Lei et al. | HFF-SRGAN: super-resolution generative adversarial network based on high-frequency feature fusion | |
| Lin et al. | Generative adversarial image super‐resolution network for multiple degradations | |
| Jiao et al. | ESRGAN-based visualization for large-scale volume data | |
| Zhang et al. | Cascaded convolutional neural network for image super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |