CN109118432B - 一种基于快速循环卷积网络的图像超分辨率重建方法 - Google Patents
一种基于快速循环卷积网络的图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN109118432B CN109118432B CN201811124147.6A CN201811124147A CN109118432B CN 109118432 B CN109118432 B CN 109118432B CN 201811124147 A CN201811124147 A CN 201811124147A CN 109118432 B CN109118432 B CN 109118432B
- Authority
- CN
- China
- Prior art keywords
- convolution
- layer
- depth
- stage
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 125000004122 cyclic group Chemical group 0.000 title claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 230000000694 effects Effects 0.000 claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000005070 sampling Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims abstract description 4
- 230000004913 activation Effects 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 6
- 230000037396 body weight Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 19
- 230000001133 acceleration Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理领域并公开一种基于快速循环卷积网络的图像超分辨率重建方法，其包括以下步骤：步骤1：将训练数据集中的每张高分辨率图像下采样对应的低分辨率图像，并分别切成若干子图像，步骤2：将训练数据集中的低分辨率图像输入网络分别执行特征提取阶段、快速循环卷积层计算阶段和特征融合阶段以及反卷积计算阶段，最终重建出其对应的高分辨率图像；步骤3：将反卷积重建的高分辨率图像与训练数据集中的高分辨率图像进行比较，计算Charbonnier惩罚函数；步骤4，基于Charbonnier惩罚函数不断更新并优化获得最优的卷积权值参数和偏置参数。本发明克服现有由于计算代价昂贵而无法在移动设备上运行的缺点，显著地提高了重建效果。
Description
技术领域
本发明涉及图像超分辨率及增强领域，尤其涉及一种基于快速循环卷积网络的图像超分辨率重建方法。
背景技术
图像超分辨率重建作为图像处理及增强的基础问题，旨在从低分辨率图像重建出其对应的高分辨率图像。随着移动设备显示技术的快速发展，移动端的可支持显示分辨率越来越高，尤其是iPhone手机已具备所谓的“视网膜屏”。因此，人们对移动端高清或者超高清图片的诉求也随之越来越大。为了获得更好的视觉体验，在脸书(Facebook),推特(Twitter),微博等社交平台，人们常乐于上传、下载和预览数十兆的高清图像。但是，这些用户需求带来了一定的困扰——要看高清图像也就意味着要占用大量带宽，一来是数据成本增加，二来加载速度会变慢，导致用户体验不佳。因此，在不影响用户体验的情况下，移动设备如何实现传输低分辨率图像来达到高清或者超高清图像效果，以提高加载速度和节约传输带宽成为目前亟待解决的一个问题。
目前，与传统的图像超分辨率算法相比，基于深度学习的图像超分辨率算法已经显著地提高了图像质量和重建效果。Dong等人提出的SRCNN【1】是基于深度学习的超分辨率重建领域的开山之作，继承了传统机器学习领域稀疏编码的思想，只利用三层卷积层网络结构重建出其对应的高分辨率图像。但由于较浅层网络的局限性，超分辨率重建效果也不尽如意。随后为了提高超分辨率重建效果和图像质量，VDSR【2】,EDSR【3】和MDSR【3】等深层网络模型被提出，通过实验证明，网络层数的加深或者网络结构的改进，大大地提升了超分辨率重建的性能。但是以上算法都只考虑重建性能，忽略了计算复杂度。因此，为了减少计算复杂度，Tong等人提出了SRDenseNet【4】网络结构，该网络在不同特征层之间添加稠密连接和跳跃链接，此种策略为图像高分辨率重建中提供了浅层与深层之间信息传递的新思路，同时减少了大量的计算成本。但是，由于损失函数的设计不合理的原因，SRDenseNet网络结构重建出的高分辨率图像也存在一些瑕疵，有些细节和边缘过于模糊。
随着生成对抗网络【5】的出现，SRGAN【6】首次将生成对抗网络应用在超分辨率重建上,并取得了不错的视觉效果。为了提高超分效果，中国公开专利“基于双向循环卷积网络的视频超分辨率方法和系统”(公开号：CN105072373A,公开日为2015.11.18)采用了双向循环卷积网络结构重建视频图像高分辨率。但是，大部分重建效果较良好的基于深度学习的超分辨率算法都存在计算代价大的问题，因而不能直接适用于移动端超分辨率重建。谷歌提出了一项基于机器学习的超分辨率新技术RAISR，该技术是利用机器学习算法获得高、低分辨率的映射关系。这项技术能够在节省带宽75％的情况下高分辨率图像效果接近原图，同时速度能够提升大约10到100倍，能够实时处理移动端超分辨率重建。
虽然相关研究已经取得了较好的图像超分辨率效果，但是大部分算法只考虑重建效果或者计算复杂度，很难直接适用于内存和计算复杂度要求极高的移动设备中。
发明内容
本发明的目的在于提供一种基于快速循环卷积网络的图像超分辨率重建方法。
本发明采用的技术方案是：
一种基于快速循环卷积网络的图像超分辨率重建方法，其包括如下步骤：
步骤1：将训练数据集中的每张高分辨率图像下采样至原来的1/s，获得其对应的低分辨率图像，然后将把低分辨率图像高分辨率图像IHR分别切成m×m和(s×m)×(s×m)的子图像，其中s和m分别表示放大倍数和子图像的大小；
步骤2：将训练数据集中的低分辨率图像输入网络分别执行特征提取阶段、快速循环卷积层计算阶段和特征融合阶段以及反卷积计算阶段，最终重建出其对应的高分辨率图像；所述步骤2具体包括以下几个步骤：
步骤2.1特征提取阶段：
特征提取阶段由两个卷积层组成，输入的低分辨率图像进入特征提取层后，进行卷积运算和激活函数运算得到特征提取层输出结果，其计算公式是：
F2＝g([g(W1*X+B1)]*W2+B2} (1)
其中g(·)表示非线性激活函数，W1，W2，B1，B2分别表示特征提取阶段中第一和第二个卷积层的权重和偏置，X表示输入图片，F2表示特征提取阶段得到的输出结果；
步骤2.2快速循环卷积阶段：
快速循环卷积阶段采用五个深度可分离卷积层构成的循环结构体，快速循环卷积阶段包括前向传递和后向传递两个阶段；前向传递过程：循环结构体的最顶层作为循环体的输入层，输入层通过前向传递初始化后续的所有深度可分离卷积层参数，每个深度可分离卷积层的输出连接到下一深度可分离卷积层作为输入；后向传递过程：当循环体中所有深度可分离卷积层均得到一次更新后，所有的深度可分离卷积层通过反向传递对当前深度可分离卷积层的前一层进行前述相同的更新过程，直到循环体中所有深度可分离卷积层的参数均被重新更新一遍；每个深度可分离卷积层包括深度卷积层和点卷积层，深度卷积层通过单个卷积滤波器对输入图像的每个通道进行卷积处理，点卷积层通过1×1卷积核将深度卷积层的输出相连接以重建特征图；在该循环体内进行的上述卷积操作被称为快速循环卷积；该过程公式表示如下：
其中Xi表示循环体中第i层(1＜i≤L)深度可分离卷积层的输出，L表示循环体重深度可分离卷积层的个数；*定义可分离卷积操作，
和
分别表示深度卷积层和点卷积层在第1到i卷积层和第m到i卷积层之间的权重和偏置参数，f(·)表示非线性激活函数；
将循环体中各层深度卷积层的输出特征图Xi相连接，可得到快速循环卷积阶段的输出FL，该过程可表示为：
其中Xi表示循环体中第i层(1＜i≤L)深度可分离卷积层的输出，L表示循环体重深度可分离卷积层的个数；
步骤2.3特征融合阶段：
特征融合阶段由一个卷积层和一个跳跃式连接构成。卷积层提取高层特征信息的同时降低循环结构输出通道数以减少网络计算量。通通过跳跃式连接将该层的输出与特征提取层的输出相连接，避免梯度弥散并且通过保留原始特征以增强信息，表示公式如下：
Fg＝f(WLFL+BL)+F2 (6)
其中FL表示快速卷积模块的输出，WL和BL表示特征融合阶段卷积层的权重和偏置参数，F2是步骤2.1的特征提取层的输出，f(·)表示非线性激活函数。
步骤2.4反卷积计算阶段：
本发明的反卷积计算阶段由一个或者多个反卷积层组成，反卷积层将特征融合阶段所得特征图进行上采样操作，根据放大倍数选择反卷积的数量，其计算公式是：
I′HR＝((Wd1*Fg+Bd1)*Wd2+Bd2)...*Wdn+Bdn (7)
其中Wd1，Wd2，Wdn，Bd1，Bd2，和Bdn分别表示第一个、第二个和第n个反卷积层的权重和偏置参数，Fg是步骤2.3的特征融合层的输出，I′HR表示反卷积阶段的输出也即本发明重建的高分辨率图像。
步骤3：利用步骤2.4反卷积操作后重建的高分辨率图像将与步骤1中所对应的高分辨率图像进行比较，计算Charbonnier惩罚函数。
其中n表示高、低分辨率数图像的数量，I′HR表示重建的图像，IHR表示对应的高分辨率图像，ε表示正则化系数。
步骤4，基于Charbonnier惩罚函数不断更新并优化获得最优的卷积权值参数和偏置参数；
当重建后的图像与训练数据集中的高分辨率图像进行比较时没有获得预先设定的重建效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤2；当重建后的图像与其对应的高分辨率视频图像进行比较时已经获得预先设定的重建效果时，则停止反向传播，并最终求得步骤2所获得的网络的卷积权值参数和偏置参数。
进一步地，步骤1中每张高分辨率图像进行旋转，镜像和缩放操作后再经过双三次插值法进行下采样。
进一步地，步骤2.2中快速循环卷积阶段采用五个深度可分离卷积层构成的循环结构体。
进一步地，步骤2.2中深度可分离卷积层计算公式如下：
其中(i，j)和(k，l)分别表示像素值的坐标位置，m表示特征图通道数，F1表示每一层深度卷积层的输入，K1表示深度卷积核，G1表示深度卷积层输出特征图，f(·)表示非线性激活函数；
其中卷积核K2的大小为1×1×m，G2表示深度可分离卷积层的输出特征图，(i，j)和(k，l) 分别表示像素值的坐标位置，m表示特征图通道数，F1表示每一层深度卷积层的输入，G1表示深度卷积层输出特征图，f(·)表示非线性激活函数。
本发明采用以上技术方案，相比现有技术创新性主要体现在两个方面：第一，为减少计算代价和内存消耗以满足手机设备的要求，本发明提出一种快速循环卷积网络结构适用于移动端高分辨率图像重建。第二，为了实现网络加速，本发明采用深度可分离卷积操作取代传统的全卷积操作以提高网络运行速度。与其他经典超分辨率重建网络相比，本发明不仅在实时性上表现优良，同时显著地提高了图像质量及视觉效果。本发明克服现有超分辨率算法由于计算代价昂贵而无法在移动设备上运行的缺点，显著地提高了重建效果，而且提出的网络结构的优势验证了移动设备上的超分辨率重建应用。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1是本发明一种基于快速循环卷积网络的移动端图像超分辨率重建方法的原理示意图；
图2是本发明的快速循环卷积阶段的原理示意图；
图3是本发明与Bicubic和SRCNN在公开数据集BSDS100上测试的效果对比图；
图4是本发明与Bicubic和SRCNN在公开数据集Urban100上测试的效果对比图；
图5是本发明与Bicubic和SRCNN在公开数据集Set5上测试的效果对比图。
具体实施方式
如图1-5之一所示，本发明公开了一种基于快速循环卷积网络的移动端图像超分辨率重建方法，其包括如下步骤：
步骤1：为了训练超分辨率转换模型，选取DIV2K公开数据集，对每张高分辨率图像进行旋转，镜像和缩放操作后，并经过双三次插值法将高分辨率图像下采样至原来的1/4，获得其对应的低分辨率图像。然后将把低分辨率图像ILR和高分辨率图像IHR分别切成32×32和 128×128的子图像，并进行归一化处理将图像像素值映射到[-1，1]区间，得到训练数据集。
步骤2：将训练数据集中的低分辨率图像输入网络分别执行特征提取阶段、快速循环卷积层计算阶段和特征融合阶段以及反卷积计算阶段，最终重建出训练数据集中的高分辨率图像。所述步骤2具体包括以下几个步骤：
步骤2.1特征提取阶段：
特征提取阶段由两个卷积层组成，卷积核均为3*3大小，每个卷积层后接非线性激活函数LeakyReLU。第一个卷积层通道数设置为32，以获取更多图像信息，第二个卷积层通道数设置为20来降低特征图通道数以减少下一阶段的网络计算量。输入的低分辨率图像进入特征提取层后，进行卷积运算和激活函数运算得到特征提取层输出结果，其计算公式是：
F2＝g{[g(W1*X+B1)]*W2+B2} (1)
其中g(·)表示LeakyReLU非线性激活函数，W1，W2，B1，B2分别表示特征提取阶段中第一和第二个卷积层的权重和偏置，X表示输入图片，F2表示特征提取阶段得到的输出结果。
步骤2.2快速循环卷积阶段：
快速循环卷积结构是一个由五个深度可分离卷积层构成的循环结构体。深度可分离卷积层的基本思想是通过两个分离的卷积操作取代一个全卷积操作从而减少计算量。深度可分离卷积操作包括两个部分，一个是深度卷积操作，通过单个卷积滤波器对输入图像的每个通道 (本发明中输入图像为RGB三通道)进行卷积操作，设置循环体结构中深度可分离卷积数量为5，也即L＝5，深度卷积层的卷积核大小均为3×3，输入和输出通道数均为20，每个深度卷积的输出都经过非线性激活函数ReLU。另一个是点卷积操作，通过1×1大小的卷积核将深度卷积操作的输出相连接以重建特征图，点卷积操作的输出经过非线性函数ReLU激活。此举有着显著减少计算量和模型大小的作用。减少计算量为：
其中N为输出特征图通道数，
为深度卷积核的大小。深度可分离卷积层计算公式如下：
公式(2)表示深度卷积操作，其中(i，j)和(k，l)分别表示像素值的坐标位置，m表示特征图通道数，F1表示每一层深度卷积层的输入，K1表示深度卷积核，G1表示深度卷积层输出特征图，f(·)表示非线性激活函数ReLU。
公式(3)表示点卷积操作，其中卷积核K2的大小为1×1×m，G2表示深度可分离卷积层的输出特征图，其余同上。为方便叙述，本发明中深度可分离卷积层均表示深度可分离卷积层。
深度可分离卷积取代全卷积作为循环体的基本组成部分。该循环结构包括前向传递和后向传递两个阶段。前向传递过程：循环结构的最顶层作为循环体的输入层，输入层通过前向传递初始化后续的所有深度可分离卷积层参数。每个深度可分离卷积层的输出连接到下一深度可分离卷积层作为输入，以此来更新下一层的对应参数。后向传递过程：当循环体中所有深度可分离卷积层均得到一次更新后，所有的深度可分离卷积层通过反向传递对当前深度可分离卷积层的前一层进行前述相同的更新过程，除了作为输入的顶层参数不需要更新，直到循环体中所有深度可分离卷积层的参数均被重新更新一遍。在该循环体内进行的上述卷积操作被称为快速循环卷积。该过程公式表示如下：
其中Xi表示循环体中第i层(1＜i≤L)深度可分离卷积层的输出，L表示循环体重深度可分离卷积层的个数。*定义可分离卷积操作，
和
分别表示深度卷积层和点卷积层在第1到i卷积层和第m到i卷积层之间的权重和偏置参数。f(·)表示非线性激活函数 ReLU。
将循环体中各层深度卷积层的输出特征图Xi相连接，可得到快速循环卷积阶段的输出FL，该过程可表示为：
步骤2.3特征融合阶段：
特征融合阶段由一个卷积层和一个跳跃式连接构成。卷积层提取高层特征信息的同时降低循环结构输出通道数以减少网络计算量。通通过跳跃式连接将该层的输出与特征提取层的输出相连接，避免梯度弥散并且通过保留原始特征以增强信息。其中卷积层的卷积核大小设置为3×3，滤波器个数为20，卷积层输出接线性激活函数ReLU。具体公式如下：
Fg＝f(WLFL+BL)+F2 (6)
其中FL表示快速卷积模块的输出，WL和BL表示特征融合阶段卷积层的权重和偏置参数，F2是步骤2.1的特征提取层的输出，f(·)表示非线性激活函数ReLU。
步骤2.4反卷积计算阶段：
本发明的反卷积计算阶段由两个反卷积层组成，反卷积层将特征融合阶段所得特征图进行上采样操作，放大四倍后重建出与原图大小一致的高分辨率图像。反卷积层的滤波器大小均为4×4，步长为2，第一个反卷积层滤波器个数为8，第二个反卷积层滤波器个数为3。，其计算公式是：
I′HR＝(Wd1*Fg+Bd1)*Wd2+Bd2 (7)
其中Wd1，Wd2，Bd1，和Bd2，分别表示第一个和第二个反卷积层的权重和偏置参数，Fg是步骤2.3的特征融合层的输出，I′HR表示反卷积阶段的输出也即本发明重建的高分辨率图像。
步骤3：利用步骤2.4反卷积操作后重建的高分辨率图像将与步骤1中所对应的高分辨率图像进行比较，计算Charbonnier惩罚函数。
其中n表示高、低分辨率数图像的数量，I′HR表示重建的图像，IHR表示对应的高分辨率图像，ε表示正则化系数，本发明的ε设置为1e-3。
步骤4，基于Charbonnier惩罚函数不断更新并优化获得最优的卷积权值参数和偏置参数；
当重建后的图像与训练数据集中的高分辨率图像进行比较时没有获得预先设定的重建效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤2；当重建后的图像与其对应的高分辨率视频图像进行比较时已经获得预先设定的重建效果时，则停止反向传播，并最终求得步骤2所获得的网络的卷积权值参数和偏置参数。
为了验证本发明的有效性，采用国际通用测试集BSDS100，Urban100，Set5对本发明提出算法进行测试，并将本发明得到的重建效果与一些现有技术进行比较，例如双三次插值法 (Bicubic interpolation)和SRCNN[1]。重建效果如图3所示。
本发明采用峰值信噪比(PSNR：Peak Signal to Noise Ratio)和多尺度结构相似性 (MS-SSIM：Multi-ScaleStructural Similarity Index)来衡量图像重建性能。PSNR越高代表图像客观质量越好，MS-SSIM值反映了图片的主观质量，该值越高表示图片还原度越高，视觉效果越好。比较结果如表1所示。
表1本发明与SRCNN对于不同数据集的PSNR和MS-SSIM平均值
从表1中可看出，本发明比现有技术中经典的图像超分辨率算法的(SRCNN)的PSNR值和MS-SSIM值在BSDS100，Urban100和Set5中分别提高了0.29dB、1.08dB、0.97dB和0.0072、 0.0175、0.0114。由此可见，本发明采用以上技术方案，较SRCNN重建效果更好。
如表2所示，为进一步验证本发明提出的算法的加速性能，本发明也在不同的设备上进行上进行了加速的性能评估。
| CPU，ms | GPU，ms | 雷蛇手机，ms | 华为p20，ms | 内存消耗，G | |
| SRCNN | 3239 | 205 | 7801 | 11566 | 2.6 |
| 本发明 | 767 | 70 | 1198 | 1776 | 1.6 |
| 加速率 | 4.2 | 2.9 | 6.5 | 6.5 | / |
表2本发明与SRCNN对于不同测试设备上的时间和内存消耗
从表2中可以看出，较SRCNN本发明提出算法在手机端可加速6.5倍，在GPU和CPU上增速3-4倍，同时内存消耗减少了约40％，验证了本发明所提出算法的加速性能。
本发明采用以上技术方案，相比现有技术创新性主要体现在两个方面：第一，为减少计算代价和内存消耗以满足手机设备的要求，本发明提出一种快速循环卷积网络结构适用于移动端高分辨率图像重建。第二，为了实现网络加速，本发明采用深度可分离卷积操作取代传统的全卷积操作以提高网络运行速度。与其他经典超分辨率重建网络相比，本发明不仅在实时性上表现优良，同时显著地提高了图像质量及视觉效果。本发明克服现有超分辨率算法由于计算代价昂贵而无法在移动设备上运行的缺点，显著地提高了重建效果，而且提出的网络结构的优势验证了移动设备上的超分辨率重建应用。
参考文献：
【1】Dong C，Chen C L，He K，et al.Learning a Deep Convolutional Networkfor Image Super-Resolution[M]//Computer Vision-ECCV 2014.SpringerInternational Publishing，2014：184-199.
【2】Kim J，Lee J K，Lee K M.Accurate Image Super-Resolution Using VeryDeep Convolutional Networks[J].2015：1646-1654.
【3】Lim B，Son S，Kim H，et al.Enhanced Deep Residual Networks for SingleImage Super-Resolution[C]//Computer Vision and Pattern RecognitionWorkshops.IEEE， 2017：1132-1140.
【4】Tong T，Li G，Liu X，et al.Image Super-Resolution Using Dense SkipConnections[C]//IEEE International Conference on Computer Vision.IEEEComputer Society，2017：4809-4817.
【5】Goodfellow I J，Pouget-Abadie J，Mirza M，et al.GenerativeAdversarial Networks[J].Advances in Neural Information Processing Systems，2014，3：2672-2680.
【6】Ledig C，Theis L，Huszar F，et al.Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network[J].2016：105-114.
【7】Romano Y，Isidoro J，Milanfar P.RAISR：Rapid and Accurate Image SuperResolution[J].IEEE Transactions on Computational Imaging，2016，3(1)：110-125.
Claims (4)
1.一种基于快速循环卷积网络的图像超分辨率重建方法，其特征在于：其包括如下步骤：
步骤1：将训练数据集中的每张高分辨率图像下采样至原来的1/s，获得其对应的低分辨率图像，把低分辨率图像切成m×m的子图像，并把高分辨率图像切成(s×m)×(s×m)的子图像，其中s和m分别表示放大倍数和子图像的大小；
步骤2：将训练数据集中的低分辨率图像输入网络分别执行特征提取阶段、快速循环卷积层计算阶段和特征融合阶段以及反卷积计算阶段，最终重建出其对应的高分辨率图像；所述步骤2具体包括以下几个步骤：
步骤2.1特征提取阶段：特征提取阶段由两个卷积层组成，输入的低分辨率图像进入特征提取层后，进行卷积运算和激活函数运算得到特征提取层输出结果，其计算公式是：
F2＝g{[g(W1*X+B1)]*W2+B2} (1)
其中g(·)表示非线性激活函数，W1,W2,B1，B2分别表示特征提取阶段中第一和第二个卷积层的权重和偏置，X表示输入图片，F2表示特征提取阶段得到的输出结果；
步骤2.2快速循环卷积阶段：
快速循环卷积阶段采用五个以上的深度可分离卷积层构成的循环结构体，快速循环卷积阶段包括前向传递和后向传递两个阶段；前向传递过程：循环结构体的最顶层作为循环体的输入层，输入层通过前向传递初始化后续的所有深度可分离卷积层参数，每个深度可分离卷积层的输出连接到下一深度可分离卷积层作为输入；后向传递过程：当循环体中所有深度可分离卷积层均得到一次更新后，所有的深度可分离卷积层通过反向传递对当前深度可分离卷积层的前一层进行前述相同的更新过程，直到循环体中所有深度可分离卷积层的参数均被重新更新一遍；每个深度可分离卷积层包括深度卷积层和点卷积层，深度卷积层通过单个卷积滤波器对输入图像的每个通道进行卷积处理，点卷积层通过1×1卷积核将深度卷积层的输出相连接以重建特征图；在该循环体内进行的上述卷积操作被称为快速循环卷积；该过程公式表示如下：
其中Xi表示循环体中第i层(1＜i≤L)深度可分离卷积层的输出，L表示循环体重深度可分离卷积层的个数；*定义可分离卷积操作，
和
分别表示深度卷积层和点卷积层在第l到i卷积层和第m到i卷积层之间的权重和偏置参数，f( ·)表示非线性激活函数；
将循环体中各层深度卷积层的输出特征图Xi相连接，可得到快速循环卷积阶段的输出FL，该过程可表示为：
其中Xi表示循环体中第i层(1＜i≤L)深度可分离卷积层的输出，L表示循环体重深度可分离卷积层的个数；
步骤2.3特征融合阶段：
特征融合阶段由一个卷积层和一个跳跃式连接构成，通过跳跃式连接将该层的输出与特征提取层的输出相连接，表示公式如下：
Fg＝f(WLFL+BL)+F2 (6)
其中FL表示快速卷积模块的输出，WL和B L 表示特征融合阶段卷积层的权重和偏置参数,F2是特征提取阶段得到的输出，f(·)表示非线性激活函数；
步骤2.4反卷积计算阶段：
反卷积计算阶段由一个或者多个反卷积层组成，反卷积层将特征融合阶段所得特征图进行上采样操作，根据放大倍数选择反卷积的数量，其计算公式是：
I′HR＝((Wd1*Fg+Bd1)*Wd2+Bd2)…*Wdn+Bdn (7)
其中Wd1，Wd2，Wdn,Bd1,Bd2,和Bdn分别表示第一个、第二个和第n个反卷积层的权重和偏置参数，Fg是特征融合层的输出，I′HR表示反卷积阶段的输出，即反卷积重建的高分辨率图像；
步骤3：将反卷积重建的高分辨率图像与训练数据集中的高分辨率图像进行比较，计算Charbonnier惩罚函数；
其中n表示高、低分辨率数图像的数量，I′HR表示重建的图像，IHR表示训练数据集中的高分辨率图像,ε表示正则化系数；
步骤4，基于Charbonnier惩罚函数不断更新并优化获得最优的卷积权值参数和偏置参数；当重建后的图像与训练数据集中的高分辨率图像进行比较时没有获得预先设定的重建效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤2；当重建后的图像与训练数据集中的高分辨率图像进行比较时已经获得预先设定的重建效果时，则停止反向传播，并最终求得步骤2所获得的网络的卷积权值参数和偏置参数。
2.根据权利要求1所述的一种基于快速循环卷积网络的图像超分辨率重建方法，其特征在于：步骤1中每张高分辨率图像进行旋转,镜像和缩放操作后再经过双三次插值法进行下采样。
3.根据权利要求1所述的一种基于快速循环卷积网络的图像超分辨率重建方法，其特征在于：步骤2.2中快速循环卷积阶段采用五个深度可分离卷积层构成的循环结构体。
4.根据权利要求1所述的一种基于快速循环卷积网络的图像超分辨率重建方法，其特征在于：步骤2.2中深度可分离卷积层计算公式如下：
其中(i,j)和(k,l)分别表示像素值的坐标位置，m表示特征图通道数，F1表示每一层深度卷积层的输入，K1表示深度卷积核，G1表示深度卷积层输出特征图，f(·)表示非线性激活函数；
其中卷积核K2的大小为1×1×m，G2表示深度可分离卷积层的输出特征图，(i,j)和(k,l)分别表示像素值的坐标位置，m表示特征图通道数，F1表示每一层深度卷积层的输入，G1表示深度卷积层输出特征图，f(·)表示非线性激活函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811124147.6A CN109118432B (zh) | 2018-09-26 | 2018-09-26 | 一种基于快速循环卷积网络的图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811124147.6A CN109118432B (zh) | 2018-09-26 | 2018-09-26 | 一种基于快速循环卷积网络的图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109118432A CN109118432A (zh) | 2019-01-01 |
| CN109118432B true CN109118432B (zh) | 2022-09-13 |
Family
ID=64856662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811124147.6A Active CN109118432B (zh) | 2018-09-26 | 2018-09-26 | 一种基于快速循环卷积网络的图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109118432B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109671022B (zh) * | 2019-01-22 | 2022-11-18 | 北京理工大学 | 一种基于深度特征翻译网络的图片纹理增强超分辨率方法 |
| CN109859106B (zh) * | 2019-01-28 | 2022-07-05 | 桂林电子科技大学 | 一种基于自注意力的高阶融合网络的图像超分辨率重建方法 |
| CN109903226B (zh) * | 2019-01-30 | 2023-08-15 | 天津城建大学 | 基于对称残差卷积神经网络的图像超分辨率重建方法 |
| CN109886874B (zh) * | 2019-01-31 | 2022-11-29 | 西安理工大学 | 超分辨率图像重建方法及专用加速电路 |
| CN110047038B (zh) * | 2019-02-27 | 2022-11-04 | 南京理工大学 | 一种基于层级递进网络的单图像超分辨重建方法 |
| CN109978785B (zh) * | 2019-03-22 | 2020-11-13 | 中南民族大学 | 多级递归特征融合的图像超分辨率重构系统及其方法 |
| CN110111257B (zh) * | 2019-05-08 | 2023-01-03 | 哈尔滨工程大学 | 一种基于特征通道自适应加权的超分辨图像重建方法 |
| CN110288518B (zh) * | 2019-06-28 | 2020-10-23 | 北京三快在线科技有限公司 | 图像处理方法、装置、终端及存储介质 |
| CN110753225A (zh) * | 2019-11-01 | 2020-02-04 | 合肥图鸭信息科技有限公司 | 一种视频压缩方法、装置及终端设备 |
| CN110782396B (zh) * | 2019-11-25 | 2023-03-28 | 武汉大学 | 一种轻量化的图像超分辨率重建网络和重建方法 |
| CN111083359B (zh) * | 2019-12-06 | 2021-06-25 | Oppo广东移动通信有限公司 | 图像处理方法及其装置、电子设备和计算机可读存储介质 |
| CN111161146B (zh) * | 2019-12-25 | 2022-10-14 | 大连理工大学 | 一种由粗糙到精细的单张图像超分辨率重建方法 |
| CN111353940B (zh) * | 2020-03-31 | 2021-04-02 | 成都信息工程大学 | 一种基于深度学习迭代上下采样的图像超分辨率重建方法 |
| CN111932463B (zh) * | 2020-08-26 | 2023-05-30 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN111931937B (zh) * | 2020-09-30 | 2021-01-01 | 深圳云天励飞技术股份有限公司 | 图像处理模型的梯度更新方法、装置及系统 |
| CN114372984A (zh) * | 2022-03-22 | 2022-04-19 | 南京熊猫电子制造有限公司 | 一种超分辨率元器件角度识别装置及方法 |
| CN117196947B (zh) * | 2023-09-06 | 2024-03-22 | 南通大学 | 一种面向高分辨率图像的高效压缩重建模型构建方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105072373A (zh) * | 2015-08-28 | 2015-11-18 | 中国科学院自动化研究所 | 基于双向循环卷积网络的视频超分辨率方法和系统 |
| CN107274347A (zh) * | 2017-07-11 | 2017-10-20 | 福建帝视信息科技有限公司 | 一种基于深度残差网络的视频超分辨率重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11024009B2 (en) * | 2016-09-15 | 2021-06-01 | Twitter, Inc. | Super resolution using a generative adversarial network |
-
2018
- 2018-09-26 CN CN201811124147.6A patent/CN109118432B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105072373A (zh) * | 2015-08-28 | 2015-11-18 | 中国科学院自动化研究所 | 基于双向循环卷积网络的视频超分辨率方法和系统 |
| CN107274347A (zh) * | 2017-07-11 | 2017-10-20 | 福建帝视信息科技有限公司 | 一种基于深度残差网络的视频超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于多层卷积神经网络学习的单帧图像超分辨率重建方法;刘娜等;《中国科技论文》;20150131(第02期);全文 * |
| 基于循环卷积神经网络的目标检测与分类;艾玲梅等;《计算机技术与发展》;20171031(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109118432A (zh) | 2019-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109118432B (zh) | 一种基于快速循环卷积网络的图像超分辨率重建方法 | |
| CN111754403B (zh) | 一种基于残差学习的图像超分辨率重构方法 | |
| CN110033410B (zh) | 图像重建模型训练方法、图像超分辨率重建方法及装置 | |
| CN108537733B (zh) | 基于多路径深度卷积神经网络的超分辨率重建方法 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN112734646B (zh) | 一种基于特征通道划分的图像超分辨率重建方法 | |
| CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
| CN111242846B (zh) | 基于非局部增强网络的细粒度尺度图像超分辨率方法 | |
| CN107274347A (zh) | 一种基于深度残差网络的视频超分辨率重建方法 | |
| CN108537754B (zh) | 基于形变引导图的人脸图像复原系统 | |
| CN107155110A (zh) | 一种基于超分辨率技术的图片压缩方法 | |
| CN108259994B (zh) | 一种提高视频空间分辨率的方法 | |
| CN111340744B (zh) | 基于注意力双流深度网络的低质量图像降采样方法及其系统 | |
| CN109949222B (zh) | 基于语义图的图像超分辨率重建方法 | |
| CN110675321A (zh) | 一种基于渐进式的深度残差网络的超分辨率图像重建方法 | |
| CN111815516B (zh) | 一种弱监督红外遥感图像超分辨率重建方法 | |
| Tang et al. | Deep inception-residual Laplacian pyramid networks for accurate single-image super-resolution | |
| CN107590775B (zh) | 一种利用回归树场的图像超分辨率放大方法 | |
| CN111932461A (zh) | 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统 | |
| Yang et al. | Image super-resolution based on deep neural network of multiple attention mechanism | |
| CN113902658B (zh) | 基于密集多尺度网络的rgb图像到高光谱图像重建方法 | |
| CN111861884A (zh) | 一种基于深度学习的卫星云图超分辨率重建方法 | |
| CN111986092B (zh) | 一种基于双重网络的图像超分辨率重建方法及系统 | |
| CN112017116B (zh) | 基于非对称卷积的图像超分辨率重建网络及其构建方法 | |
| CN112419150A (zh) | 一种基于双边上采样网络的任意倍数图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |