CN107492070B - 一种双通道卷积神经网络的单图像超分辨率计算方法 - Google Patents
一种双通道卷积神经网络的单图像超分辨率计算方法 Download PDFInfo
- Publication number
- CN107492070B CN107492070B CN201710556581.0A CN201710556581A CN107492070B CN 107492070 B CN107492070 B CN 107492070B CN 201710556581 A CN201710556581 A CN 201710556581A CN 107492070 B CN107492070 B CN 107492070B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- texture
- obtains
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 14
- 238000004364 calculation method Methods 0.000 title claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000015556 catabolic process Effects 0.000 claims abstract description 12
- 230000006735 deficit Effects 0.000 claims abstract description 8
- 238000006731 degradation reaction Methods 0.000 claims abstract description 3
- 238000000034 method Methods 0.000 claims description 62
- 238000013507 mapping Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 6
- 239000000654 additive Substances 0.000 claims description 2
- 230000000996 additive effect Effects 0.000 claims description 2
- 230000007850 degeneration Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 23
- 238000000605 extraction Methods 0.000 description 12
- 238000012549 training Methods 0.000 description 11
- 238000005457 optimization Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 230000003321 amplification Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 6
- 238000000354 decomposition reaction Methods 0.000 description 6
- 238000003199 nucleic acid amplification method Methods 0.000 description 6
- 239000000470 constituent Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003706 image smoothing Methods 0.000 description 4
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000004615 ingredient Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- UELITFHSCLAHKR-UHFFFAOYSA-N acibenzolar-S-methyl Chemical compound CSC(=O)C1=CC=CC2=C1SN=N2 UELITFHSCLAHKR-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007630 basic procedure Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002620 method output Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种双通道输入卷积神经网络的单图像超分辨率计算方法，包括(1)把已知高分辨率图像经过模糊退化处理，得到相同大小的低分辨率图像；(2)把步骤(1)得到的模糊处理后的低分辨率图像分解成低分辨率图像纹理部分和平滑结构部分；得到高分辨率图像的纹理部分和平滑结构部分；(3)把步骤(2)得到的低分辨率纹理部分和原低分辨率图像组合得到双通道输入，得到高分辨率纹理部分的输出；(4)组合步骤(3)得到的高分辨率纹理部分输出与原低分辨率图像得到最终的图像超分辨率重建结果，完成超分辨率重建；(5)计算步骤(4)和步骤(2)得到的高分辨率纹理部分之间的差值得到纹理部分损失；最小化纹理损失与图像损失的和来优化网络结构参数。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种双通道卷积神经网络的单图像超分辨率计算方法，该方法适用于多种计算机视觉任务，如人脸识别、目标跟踪、车牌识别等。
背景技术
单图像超分辨率(SR,Super-Resolution)技术是指通过软件方式把一幅低分辨率(LR,Low-Resolution)图像恢复成高分辨率(HR,High-Resolution)图像的过程。该技术具有广泛的应用，如视频监控、医学成像、遥感卫星成像等。现有的SR率算法可分为三类：基于插值[1]、基于重建[2]和基于学习的方法[3-10]。其中基于学习的图像SR算法，学习LR和HR图像之间的函数映射关系，生成最终的HR图像，具有更好的复原效果，是近年来研究的热点。
Chang等[4,5]引入局部线性嵌入法(LLE,Locally linear embedding)来计算重建图像加权平均的权值。假设HR图像块和对应的LR图像块在几何上具有相似性，通过LLE算法计算出一组最优的线性组合系数，使得样本库中的K个最近邻样本LR块经过这组系数加权平均得到的图像与输入LR图像块之间的误差最小；再将这组系数直接应用于K个样本中的HR图像块，从而得到HR图像。Yang等[6,7]对LR和HR样本图像块构成的样本库进行稀疏表示，并通过联合训练的方式找到LR和HR图像块对应的过完备字典。这种联合训练的方式迫使对应的LR块和HR块通过各自的字典所获得的稀疏系数相同，并由此建立起LR与HR之间的桥梁。基于稀疏字典的图像SR算法[7]建立稀疏先验约束，在稀疏编码过程自动选择参与SR重建的字典原子数量，而非LLE中人为的设定。这类方法较LLE方法重建质量更高，但是稀疏编码和重建过程需要多次迭代，算法复杂度较大。Jim等[8]改进了Yang等的算法，分别重建图像高频纹理部分和平滑部分，纹理部分采用稀疏表示的方法重构，平滑部分简单地用插值的方法恢复，然后组合两部分得到结果的HR图像，增强了图像纹理细节。
以上基于学习的SR算法主要分为特征提取、学习和重建三个阶段。各阶段分别独立设计优化，且学习模型的特征提取与表达能力有限。近年来，深度学习引起了广泛的关注，它的出现弥补了传统基于学习方法的不足。其中，Dong等[9]率先将卷积神经网络(CNN,Convolutional Neural Network)引入到图像SR复原问题中，设计了基于深度CNN的图像SR复原方法(SRCNN)。该方法主要思想：以深度学习与传统的稀疏编码之间的关系为依据，将网络分为图像块提取、非线性映射和重建三个阶段，再将这三个阶段统一到一个深度CNN的框架中，学习LR图像到HR图像之间的端到端映射关系。网络结构上，将稀疏编码过程看作卷积操作，利用三层卷积层完成图像块提取、非线性映射和重建操作。优化方式上，传统的基于学习的SR方法对三个阶段分别独立优化处理，忽略了整体框架的优化。SRCNN[9]采用联合优化方式，图像重建性能有了较大的提高。SRCNN模型证明了直接学习LR和HR之间端到端的映射简单可行，效果也很好，但重构出的高频特征仍然不能令人满意。
Jim和Dong等方法的启发，本发明提出一种结合形态学成分分析(MCA,Morphological Component Analysis)[11]分解的边缘指导双通道CNN算法。首先，利用MCA算法，将待处理的LR图像分解为边缘纹理部分和平滑结构部分；边缘纹理部分和原LR图像共同组成双通道，输入到CNN中得到HR纹理图像输出；再将HR纹理输出图像与原LR图像合并，得到重建的HR图像；最后通过最小化纹理损失和原图像损失之和训练网络结构参数。实验结果表明，本发明提出的边缘指导双通道模型超分辨率算法在结果图像中能够保留更多高频细节信息，同时也可以很好地减弱振铃现象。实验的评价指标PSNR值也证明了本发明模型算法的有效性。
本发明引用到的现有技术参考文件列出如下：
[1]Zhang L,Wu X.An edge-guided image interpolation algorithm viadirectional filtering and data fusion[J].IEEE Transactions on ImageProcessing,2006,15(8):2226-2238.
[2]Rasti P,Demirel H,Anbarjafari G.Image resolution enhancement byusing interpolation followed by iterative backprojection[C]//SignalProcessing and Communications Applications Conference.Haspolat,Turkey:IEEEPress,2013:1-4.
[3]Freeman W T,Jones T R,Pasztor E C.Example-based super-resolution[J].IEEE Computer Graphics and Applications,2002,22(2):56-65.
[4]Chang H,Yeung D Y,Xiong Y M.Super-resolution through neighborembedding[C]//IEEE Computer Society Conference on Computer Vision and PatternRecongnition.Washington,USA:IEEE Press,2004:1-1.
[5]Chang T M,Zhang J P,Pu J,Huang H.Neighbor embedding based super-resolution algorithm through edge detection and feature selection[J].PatternRecognition Letters,2009,30(5):494-502
[6]Yang Jianchao,Wright J,Huang T,et al.Image Super-resolution asSparse Representation of Raw Image Patches[C]//IEEE Conference on ComputerVision and Pattern Recongnition.Anchorage,USA:IEEE press,2008:1-8.
[7]Yang J C,Wright J,Huang T S,Ma Y.Image superresolution via sparserepresentation[J].IEEE Transactions on Image Processing,2010,19(11):2861-2873
[8]Jing G,Shi Y,Lu B.Single-Image Super-Resolution Based onDecomposition and Sparse Representation[C]//InternationalConference onMultimedia Communications,HongKong:IEEE press,2011:127-130.
Chao Dong,C.C.Loy,K.He,X.Tang.Image Super-Resolution Using DeepConvolutional Networks[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2016,38(2):295-307.
[9]Krizhevsky A,Sutskever I,Hinton G E.ImageNet classification withdeep convolutional neural networks[C]//International Conference on NeuralInformation Processing Systems,USA:Curran Associates,2012:1097-1105.
[10]J.Bobin,J.L.Starck,J.M.Fadili,Y.Moudden andD.L.Donoho.Morphological Component Analysis:An Adaptive Thresholding Strategy[J].IEEE Transactions on Image Processing,2007,16(11):2675-2681.
[11]K.He,X.Zhang,S.Ren and J.Sun.Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification[C]//IEEEInternational Conference on Computer Vision.Santiago,Spain:IEEE press.2015:1026-1034.
[12]Starck J L,Elad M,Donoho D L.Image decomposition via thecombination of sparse representations and a variational approach[M],IEEEPress.2005.
[13]R.Zeyde,M.Elad,and M.Protter.On single image scale-up usingsparse-representations[C]//International Conference on Curves andSurfaces.Berlin:Spring-Verlag.2010:711-730.
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出一种有效的图像超分辨率重建方法，以改善重建质量。该方法利用高频纹理细节和原图像作为输入，并采用纹理损失和图像损失之和作为损失误差训练网络参数，实验结果表明：本发明能够很好地恢复HR图像的纹理细节，对纹理细节丰富的图像恢复效果更好。
为了解决上述技术问题，本发明的技术方案是：一种基于双通道输入卷积神经网络的单图像超分辨率计算方法，包括以下步骤：
(1)通过插值方法把已知HR(高分辨率)图像经过模糊退化处理(下采样和上采样)得到相同大小的LR(低分辨率)图像；
(2)使用形态学成分分析方法把步骤(1)得到的模糊处理后的LR图像分解成LR图像纹理部分和平滑结构部分；对原HR图像做相同的处理得到HR图像的纹理部分和平滑结构部分；对原高分辨率图像做相同的处理，得到高分辨率图像的纹理部分和平滑结构部分。
(3)把步骤(2)得到的LR纹理部分和原LR图像组合得到双通道输入，输入到双通道网络结构中，得到HR纹理部分的输出。
(4)组合步骤(3)得到的HR纹理部分输出与原LR图像得到最终的图像SR重建结果，完成SR重建。
(5)计算步骤(4)HR纹理输出和步骤(2)HR图像分解得到的HR纹理部分之间的差值得到纹理部分损失；计算步骤(4)得到的重构HR图像的结果与原HR图像的差值得到图像损失；最小化纹理损失与图像损失的和来优化网络结构参数。
具体的，所述步骤(1)中的HR图像退化处理，具体如下：
y＝DHx+v (1)
其中H和D分别为模糊和下采样因子，v为图像处理过程的加性噪声，给定低分辨率图像y，图像SR的目的是解决下面的最大后验概率(MAP)问题:
其中，p(·)是x的先验规则项，直接学习高、低分辨率图像的映射关系会忽略高频细节，考虑高频纹理细节特征参与HR图像重建。
具体的，所述步骤(2)中使用形态学成分分析方法进行图像分解步骤是指:
(2-1)将步骤(1)处理得到的低分辨率图像，通过稀疏表示和全变分(TV:TotalVaritation)方法将其分解为不同形态的空间特征。为了提取图像的高频纹理信息，只把图像分成两种形态：纹理部分和平滑结构部分。输入图像X，X是两个不同部分的线性组合，纹理部分Xt和结构部分Xn。则有:
X＝Xt+Xn (3)
为了分离包含图像纹理部分的Xt和包含图像平滑结构部分的Xn，把每一部分用一个给定的联合字典稀疏表示，即Xt＝Ttαt,Xn＝Tnαn，其中Tt,Tn∈MR×L。形态学成分分析方法的目的是求解以下最优化问题：
其中，Xt＝Ttαt+Tnαn (4)
由于公式(4)不容易求解，是一个NP难问题，可以用l1代替l0，得到一个凸优化问题：
其中，||X-Ttαt-Tnαn||≤ξ (5)
式中，参数ξ表示图像噪声约束。由于TV模型能够有效地复原分段平滑图像的显著边缘，因此在图像平滑成分分解中增加一个TV约束项，如(5)式所示。惩罚项γTV{Tnαn}使得分解的平滑图有一个稀疏的梯度，更接近分段平滑图像。
由于MCA分解是有损的，直接使用Tnαn进行SR重建得到的HR图片效果不佳，本发明使用低分辨率图像与其纹理部分的插值，即Y-Ttαt代替分解后的低分辨率平滑结构图片Nl，用于SR重建；
(2-2)本发明利用MCA算法分解HR图像为纹理部分和平滑结构部分，所述分解高分辨率图像纹理部分采用基于局部的DCT变换，分解高分辨率图像平滑结构部分采用基于曲波变换，基本流程描述如下：
步骤一：首先初始化，设置阈值因子Lmax＝255，参数λ＝1、γ＝0.8，迭代次数N＝30，令Xn＝X，Xk＝0，γ＝λLmax；执行N次迭代：
步骤二：固定Xk，更新Xn：
计算冗余误差：R＝X-Xn-Xk；计算Xn+R的小波变换：使用阈值δ进行阈值处理，得到通过重构Xn，
步骤三：固定Xn，更新Xk
计算冗余误差：R＝X-Xn-Xk；计算Xn+R的局部DCT变换：使用阈值δ进行阈值处理，得到通过重构Xn，
步骤四：求解TV拘束项，更新阈值δ，通过以下公式对TV约束项调整：
δ＝δ-λ/N； (8)
步骤五：判断停止条件是否满足：如果δ>λ，则返回步骤2，否则，结束。
低分辨率图像的分解办法与上述过程相同，本发明只用到提取的纹理部分，平滑结构部分不参与训练。
具体的，所述步骤(3)，得到高分辨率纹理部分输出包括以下三部分算法：
第一层块的提取和表示层，从输入图像中紧密的裁剪小块，并表示成一个特征向量，即采用64个为大小为3×3的滤波器提取特征，相当于滤波器作用在2个输入通道的3×3空间区域(特征映射)上，该特征提取层是一个线性操作，激活函数ReLU对特征提取层输出的所有特征映射作非线性处理，得到特征图(或图像块)第一层的操作如下所示：
中间层由若干个特征映射层组成，不同层可以逐步恢复不同频域的HR图像特征，即把不同频域的LR图像小块的低维特征向量表示成高维特征向量，最终组合成一幅HR纹理输出，其中每一层相当于大小为3×3×64滤波器作用在64个通道的3×3的空间区域上。表示如下：
最后一层重构层用单一的滤波器大小为3×3×64将高分辨率边缘纹理小块拼接成一幅完整的图像，
具体的，步骤(4)中，所述的组合是将由步骤(3)得到的高分辨率纹理图像和低分辨率输入图像平滑结构部分Nl组合得到高分辨率图像的输出即
具体的，所述步骤(5)中，网络的优化过程，具体如下：所述纹理损失为步骤(3)中高分辨率纹理图像的输出与高分辨率纹理部分Th的差值，即图像部分的损失为步骤(4)中重构的高分辨率图像输出与高分辨率图像X的差值，即总的训练损失为Loss＝LossI+LossT，采用最小化总的损失最优化网络结构的参数；采用最小化欧式距离来优化模型参数得到最终的结构模型。给定一组数据集Xi表示一组真实的HR图像，Yi表示的是一组LR图像。本发明的学习模型是目标图像HR图像的估计，本发明采用最小化纹理损失与原图像损失之和训练网络模型参数。因此，只要使得均值误差最小即可。值得一提的是双通道输入结构如图2所示，从LR图像中提取纹理信息平滑信息从HR图像中提取纹理信息平滑信息则新的LR训练样本为相对应的真实HR图像为X′i＝{Xi}，损失函数为：
其中Θ′＝{W′1,W′2,W′3,B′1,B′2,B′3}，F(·)和FT(·)分别表示由输入的LR图像和LR纹理图像得到HR图像和HR纹理图像的映射函数，λ用于平衡纹理部分损失和原图像损失的权重，经验值取为1。这里我们把每个训练样本分为纹理部分和平滑部分，因此n′等于n为训练样本的数目。具体地，整个网络结构的权重参数更新如下：
wi+1:＝wi+mi+1 (13)
其中i为迭代次数，α是动力，λ是权重衰减项，η表示学习率，表示权重w的目标函数在第i块图像块Bi上的均方差。
本发明与现有的技术相比，具有如下优点和有益效果：
1.本发明运用形态学成分分析方法把图像分解成纹理部分和平滑结构部分，纹理部分和原LR图像共同作为网络结构的输入，提取了更多的高频成分用于SR重建。
2.本发明建立了一个三步的框架：首先分解，然后重建，最后组合，并通过最优化纹理损失与图像损失重建网络模型参数。
3.执行网络输出与LR输入图像的直方图匹配使色调保持一致，提升感官效果；应用迭代的反向映射使HR重建与LR输入保持退化算子一致性提高PSNR值。
实验表明，本发明的方法比现有的一些方法更有效，能更好地恢复HR图像的纹理细节，消除边缘震动现象，对纹理细节丰富的图像恢复效果更好，并且在实验环境和现实的场景下都能取得满意的结果。
附图说明
图1是本发明的总体流程示意图；
图2是图像形态学成分分析分解示意图。其中，(a)Butterfly亮度通道的原图；
(b)Butterfly平滑结构图；(c)Butterfly纹理图
图3是各个方法对图像3的部分处理结果示意图，其中，(a)原图像；(b)Bicubic；
(c)SCSR；(d)SRCNN；(e)本发明方法。
具体实施方式
以下结合附图和实施实例对本发明加以详细说明。
对于彩色的RGB图像，先转换成YCbCr图像，在Y分量上进行超分辨率重建，而Cb，Cr分量上采用双三次插值放大，然后将YCbCr图像转换成RGB图像；对于灰度图像，直接在灰度图上进行超分辨率重建。
如图1所示，一种基于双通道输入卷积神经网络的单图像超分辨率计算方法，包括以下步骤：
(1)将用于训练的LR样本图像y插值放大到图像Xl，图像Xl与原HR具有相同尺寸。
(2)使用形态学成分分析方法对步骤(1)得到的LR图像进行分解，提取LR图像的纹理部分；用相同的办法提取对应的HR图像的纹理部分。
(3)把步骤(2)得到的LR纹理部分和原LR图像组合得到双通道输入，输入到双通道网络结构中，经过块的提取和表示，非线性映射，重构步骤得到HR纹理部分的输出。
(4)将步骤(3)得到的HR纹理部分输出与原LR图像合并得到最终的图像SR重建结果，完成超分辨率重建。
(5)训练步骤，步骤(4)的HR纹理输出与步骤(2)HR图像分解得到的纹理部分的差值构成纹理损失；步骤(4)得到的重构HR图像的结果与原HR图像得到图像损失；最小化纹理损失与图像损失的和优化网络结构参数。
所述步骤(1)得到相同大小的LR图像具体如下所述：
Xl＝s↑y (1)
其中s为上采样因子，Xl为得到的与HR图像相同大小的LR图像，直接学习高、低分辨率图像的映射关系会忽略高频细节，本发明将高频纹理细节特征作为输入参与SR图像重建。
具体的，所述步骤(2)中使用形态学成分分析方法进行图像分解的步骤具体是指:
(2-1)随机选择不同的HR图像，通过稀疏表示和全变分(TV:Total Varitation)方法将其分解为不同形态的空间特征。为了提取图像的高频纹理信息，只把图像分成两种形态：纹理部分和平滑结构部分。输入图像X，X是两个不同部分的线性组合，纹理部分Xt和结构部分Xn。则有:
X＝Xt+Xn (2)
为了分离包含图像纹理部分的Xt和包含图像结构部分的Xn，把每一部分用一个给定的联合字典稀疏表示，即Xt＝Ttαt,Xn＝Tnαn，其中Tt,Tn∈MR×L。MCA分解的目的是求解以下最优化问题：
其中，Xt＝Ttαt+Tnαn (3)
由于公式(4)不容易求解，是一个NP难问题，可以用l1代替l0，得到一个凸优化问题：
式中，参数ξ表示图像噪声约束。由于TV模型能够有效地复原分段平滑图像的显著边缘，因此在图像平滑成分分解中增加一个TV约束项，如(6)式所示。惩罚项γTV{Tnαn}使得分解的平滑图有一个稀疏的梯度，更接近分段平滑图像。
对图像进行形态学成分分析分解时，需要采用已知的变换矩阵Tk和Tn [13]。经过实验本文选用基于局部的DCT变换分解图像的纹理成分，基于曲波变换分解图像的结构成分。
(2-2)本文利用形态徐成分分析算法分解HR图像为纹理部分和结构部分，基本流程描述如下：
初始化：
设置阈值因子Lmax＝255，参数λ＝1、γ＝0.8，迭代次数N＝30，令Xn＝X，Xk＝0，γ＝λLmax；执行N次迭代：
先固定Xk，更新Xn：
计算冗余误差：R＝X-Xn-Xk；计算Xn+R的小波变换：使用阈值δ进行阈值处理，得到通过重构Xn，
再固定Xn，更新Xk
计算冗余误差：R＝X-Xn-Xk；计算Xn+R的局部DCT变换：使用阈值δ进行阈值处理，得到通过重构Xn，
求解TV拘束项，更新阈值δ，通过以下公式对TV约束项调整：
δ＝δ-λ/N； (8)
判断停止条件是否满足：如果δ>λ，则返回步骤2，否则，结束。
HR图像的分解过程与上述过程相同。
具体的，所述步骤(3)，得到高分辨率纹理输出，具体如下：
1)LR边缘纹理提取在步骤2中详细提到利用基于稀疏表示和全变分的MCA方法提取低分辨率图像的边缘纹理信息，这也可以推广到建模其他自然图像先验信息上。这里表述如何在深度网络中嵌入边缘信息，具体地，将低分辨率图像中提取的边缘纹理特征与原LR图像共同作为双通道输入，旨在预测高分辨率输出图像的高频纹理特征，然后将其用于复原高分辨率图像。
网络的输入特征Finput是原低分辨率图像Y与纹理特征的级联，
Finput＝[Y,Tl] (9)
2)HR边缘纹理部分复原。该网络结构旨在学习高、低分辨率纹理图像之间的映射函数。网络由n层组成：第一层块的提取和表示层，从输入图像中紧密的裁剪小块，并表示成一个特征向量，如图2采用64个为大小为3×3的滤波器提取特征，相当于滤波器作用在2个输入通道的3×3空间区域(特征映射)上，该特征提取层是一个线性操作，激活函数ReLU对特征提取层输出的所有特征映射作非线性处理，得到特征图(或图像块)第一层的操作如下所示：
最后一层重构层用单一的滤波器大小为3×3×64将高分辨率边缘纹理小块拼接成一幅完整的图像，
中间层由若干个特征映射层组成，不同层可以逐步恢复不同频域的HR图像特征，即把不同频域的LR图像小块的低维特征向量表示成高维特征向量，最终组合成一幅HR纹理输出，其中每一层相当于大小为3×3×64滤波器作用在64个通道的3×3的空间区域上。表示如下：
具体的，所述步骤(4)中，得到高分辨率图像的输出具体步骤是：因为低分辨率图像包含重要的低分辨率细节，基于边缘指导的双通道网络主要恢复高频成分，高分辨率图像重建过程依然需要低分辨率图像细节的辅助，因此最终高分辨率图像输出是用Y-Ttαt替代后的低分辨率平滑结构图片Nl与由步骤(3)得到的高分辨率纹理图像之和，即完成超分辨率重建。
本发明方法与当前5个代表性算法进行了比较，LR图像先利用双三次插值
(Bicubic)得到初始HR图像大小的图像，然后用ScSR算法、SRCNN算法以及本申请的算法SR重建得到的结果进行对比。
实验过程中选取SRCNN实验中使用的91幅图像，采取高斯核模糊(δ＝1.2)，并双三次插值下采样得到训练集。随机裁剪大小为33×33的小块，采用零均值，标准方差0.001(偏置项为0)的高斯分布初始化每一层的权重，权重衰减项0，动力0.9，采用Adam的策略，无dropout。作为后处理步骤，执行网络的图像输出与LR图像输入的直方图匹配提升感官效果；应用迭代的反向映射使HR图像重建与LR图像输入保持退化算子一致性，提高图像复原质量。
表1 不同算法在Set5上的均值PSNR(dB)比较
| 上采样倍数 | 2 | 3 | 4 |
| Bicubic | 33.66 | 30.39 | 28.42 |
| ScSR | 36.04 | 31.78 | 29.48 |
| SRCNN | 36.66 | 32.75 | 30.49 |
| 提出的方法 | 36.94 | 33.09 | 30.63 |
表2 不同算法在Set14上的均值PSNR(dB)比较
表3 不同算法在Set5上3倍放大的PSNR(dB)比较
表4 不同算法在Set14上3倍放大的PSNR(dB)比较
表1-4列出各种方法输出结果的峰值信噪比(PSNR)性能，计算中排出了边界像素，重构的彩色图像K与原图像I的PSNR定义为：
其中，I和K分别表示原HR图像和重构的HR图像，尺寸为H×W。我们的方法提供了最好的平均性能，从表1，表2中得出：不同放大因子，本发明方法的PSNR均值都高于对比方法，当放大倍数为3时在Set5上平均PSNR比SRCNN方法高出约0.3dB，在Set14上平均PSNR比SRCNN高出约0.12dB。表3，表4列出了4种方法每张测试图像3倍放大的结果。对于所有的测试图像，本发明的方法一致胜出了其他方法。对于显著边和丰富纹理的Butterfly本发明超出其他方法近1dB。PSNR度量并不能精确可靠地判断处理结果之间的质量差异。图3是各个方法的处理结果示意图，其中(a)原图；(b)Bicubic；(c)SCSR；(d)SRCNN；(e)本发明方法。可以看到：由于双三次插值方法没有考虑沿边缘纹理插值，蝴蝶翅膀较大的内部支架纹理不丰富、偏模糊；ScSR和SRCNN方法中蝴蝶的翅膀较大的内部支架和本发明方法一样较清晰，但由于没有考虑高频纹理的特征提取，翅膀的细小边缘部分恢复比较模糊；本发明提取了更多的高频纹理特征用于SR重建，蝴蝶翅膀的细小边缘细节恢复更加清晰。因此从主观上来看，本发明效果整体优于对比算法。
以上对本发明的技术方案进行了详细说明。显然，本发明并不局限于所描述的内容。基于本发明中的实施方式，熟悉本技术领域的人员还可据此做出多种变化，但任何与本发明等同或相类似的变化都属于本发明保护的范围。
Claims (2)
1.一种基于双通道输入卷积神经网络的单图像超分辨率计算方法，其特征在于，包括以下步骤：
(1)通过插值方法把已知高分辨率图像经过模糊退化处理，得到相同大小的低分辨率图像；
(2)使用形态学成分分析方法把步骤(1)得到的模糊处理后的低分辨率图像分解成低分辨率图像纹理部分和平滑结构部分；对原高分辨率图像做相同的处理，得到高分辨率图像的纹理部分和平滑结构部分；
(3)把步骤(2)得到的低分辨率纹理部分和原低分辨率图像组合得到双通道输入，然后输入到双通道网络结构中，得到高分辨率纹理部分的输出；
(4)组合步骤(3)得到的高分辨率纹理部分输出与原低分辨率图像得到最终的图像超分辨率重建结果，完成超分辨率重建；
所述的组合是将由步骤(3)得到的高分辨率纹理图像和低分辨率输入图像平滑结构部分Nl组合得到高分辨率图像的输出即
(5)计算步骤(3)高分辨率纹理输出和步骤(2)高分辨率图像分解得到的高分辨率纹理部分之间的差值得到纹理部分损失；计算步骤(4)得到的重构高分辨率图像的结果与原高分辨率图像的差值得到图像损失；最小化纹理损失与图像损失的和来优化网络结构参数。
2.根据权利要求1所述的方法，其特征在于，步骤(1)中所述退化处理分为模糊和下采样两步，具体如下：
y＝DHx+v 1)
其中H和D分别为模糊和下采样因子，v为图像处理过程的加性噪声，给定低分辨率图像y，图像超分辨率的目的是解决下面的最大后验概率问题：
其中，p(·)是x的先验规则项，直接学习高、低分辨率图像的映射关系会忽略高频细节，采用高频纹理细节特征参与高分辨图像重建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710556581.0A CN107492070B (zh) | 2017-07-10 | 2017-07-10 | 一种双通道卷积神经网络的单图像超分辨率计算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710556581.0A CN107492070B (zh) | 2017-07-10 | 2017-07-10 | 一种双通道卷积神经网络的单图像超分辨率计算方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107492070A CN107492070A (zh) | 2017-12-19 |
| CN107492070B true CN107492070B (zh) | 2019-12-03 |
Family
ID=60644351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710556581.0A Expired - Fee Related CN107492070B (zh) | 2017-07-10 | 2017-07-10 | 一种双通道卷积神经网络的单图像超分辨率计算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107492070B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4024327A4 (en) * | 2020-01-14 | 2023-01-04 | Tencent Technology (Shenzhen) Company Limited | IMAGE PROCESSING METHOD, EQUIPMENT, ELECTRONIC DEVICE AND STORAGE MEDIA |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108109109B (zh) * | 2017-12-22 | 2021-11-16 | 浙江大华技术股份有限公司 | 一种超分辨率图像重构方法、装置、介质及计算设备 |
| CN108492261A (zh) * | 2018-02-07 | 2018-09-04 | 厦门美图之家科技有限公司 | 一种图像增强方法及计算设备 |
| CN110276720B (zh) * | 2018-03-16 | 2021-02-12 | 华为技术有限公司 | 一种图像生成方法和装置 |
| CN108537264B (zh) * | 2018-03-30 | 2021-09-07 | 西安电子科技大学 | 基于深度学习的异源图像匹配方法 |
| CN108765320B (zh) * | 2018-05-16 | 2021-06-22 | 哈尔滨工业大学 | 基于多级小波卷积神经网络的图像复原系统 |
| CN108734661B (zh) * | 2018-05-25 | 2020-12-29 | 南京信息工程大学 | 基于图像纹理信息构建损失函数的高分辨率图像预测方法 |
| CN109146777B (zh) * | 2018-06-15 | 2020-10-27 | 国网浙江省电力有限公司 | 利用预训练网络的感知相似性进行混合图像超分辨方法 |
| CN108921788A (zh) * | 2018-06-20 | 2018-11-30 | 华北电力大学 | 基于深层残差cnn的图像超分辨率方法、装置及存储介质 |
| CN109272450B (zh) * | 2018-08-22 | 2023-01-06 | 复旦大学 | 一种基于卷积神经网络的图像超分方法 |
| CN109255769A (zh) * | 2018-10-25 | 2019-01-22 | 厦门美图之家科技有限公司 | 图像增强网络的训练方法和训练模型、及图像增强方法 |
| CN109636716B (zh) * | 2018-10-29 | 2022-07-22 | 昆明理工大学 | 一种基于小波系数学习的图像超分辨率重建方法 |
| CN110163237B (zh) * | 2018-11-08 | 2023-03-14 | 腾讯科技（深圳）有限公司 | 模型训练及图像处理方法、装置、介质、电子设备 |
| CN109741254B (zh) * | 2018-12-12 | 2022-09-27 | 深圳先进技术研究院 | 字典训练及图像超分辨重建方法、系统、设备及存储介质 |
| CN109712097B (zh) * | 2019-01-04 | 2021-04-30 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| US10817991B2 (en) * | 2019-01-14 | 2020-10-27 | Advanced New Technologies Co., Ltd. | Methods for deep-learning based super-resolution using high-frequency loss |
| CN109816592B (zh) * | 2019-01-26 | 2022-05-13 | 福州大学 | 一种基于卷积神经网络的单帧图像连续尺度超分辨率方法 |
| CN109978840A (zh) * | 2019-03-11 | 2019-07-05 | 太原理工大学 | 一种基于卷积神经网络的含纹理图像质量的判别方法 |
| CN111724448A (zh) * | 2019-03-18 | 2020-09-29 | 华为技术有限公司 | 一种图像超分辨重建方法、装置和终端设备 |
| CN110111253B (zh) * | 2019-04-12 | 2023-06-23 | 浙江师范大学 | 自适应全局和纹理约束的超分辨率的方法 |
| CN110111251B (zh) * | 2019-04-22 | 2023-04-28 | 电子科技大学 | 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法 |
| CN109996085B (zh) * | 2019-04-30 | 2021-05-14 | 北京金山云网络技术有限公司 | 模型训练方法、图像处理方法、装置及电子设备 |
| CN110232699A (zh) * | 2019-05-05 | 2019-09-13 | 淮阴工学院 | 一种基于l0稀疏统计特性的图像多层特征分解方法 |
| CN110197154B (zh) * | 2019-05-30 | 2021-09-21 | 汇纳科技股份有限公司 | 融合部位纹理三维映射的行人重识别方法、系统、介质及终端 |
| CN110443768B (zh) * | 2019-08-08 | 2023-05-12 | 齐鲁工业大学 | 基于多重一致性约束的单帧图像超分辨率重建方法 |
| CN110895790B (zh) * | 2019-10-12 | 2024-03-22 | 天津大学 | 基于后验降质信息估计的场景图像超分辨方法 |
| US11010871B1 (en) * | 2019-11-05 | 2021-05-18 | Moxa Inc. | Device and method of handling image super-resolution |
| CN111062872B (zh) * | 2019-12-17 | 2021-02-05 | 暨南大学 | 一种基于边缘检测的图像超分辨率重建方法及系统 |
| CN111260566B (zh) * | 2020-01-09 | 2022-08-09 | 复旦大学 | 一种基于稀疏先验的图像复原方法 |
| CN114945935A (zh) * | 2020-02-17 | 2022-08-26 | 英特尔公司 | 使用卷积神经网络的超分辨率 |
| US11288771B2 (en) * | 2020-04-29 | 2022-03-29 | Adobe Inc. | Texture hallucination for large-scale image super-resolution |
| CN111932460B (zh) * | 2020-08-10 | 2023-09-22 | 北京大学深圳医院 | Mr图像超分辨率重建方法、装置、计算机设备及存储介质 |
| CN111986092B (zh) * | 2020-09-07 | 2023-05-05 | 山东交通学院 | 一种基于双重网络的图像超分辨率重建方法及系统 |
| CN112348103B (zh) * | 2020-11-16 | 2022-11-11 | 南开大学 | 图像块分类方法和装置及其超分辨重建方法和装置 |
| CN112419151B (zh) * | 2020-11-19 | 2023-07-21 | 北京有竹居网络技术有限公司 | 图像退化处理方法、装置、存储介质及电子设备 |
| CN113917677B (zh) * | 2021-09-09 | 2023-05-05 | 北京纳析光电科技有限公司 | 一种三维超分辨率光片显微成像方法和显微镜 |
| CN113920013B (zh) * | 2021-10-14 | 2023-06-16 | 中国科学院深圳先进技术研究院 | 一种基于超分辨率的小图像多目标检测方法 |
| CN115439329B (zh) * | 2022-11-10 | 2023-01-24 | 四川轻化工大学 | 人脸图像超分辨率重建方法及计算机可读取的存储介质 |
| CN116984747B (zh) * | 2023-09-19 | 2023-11-24 | 讯创(天津)电子有限公司 | 基于lmc工艺使用激光束刻蚀射频区域的方法 |
| CN117557807B (zh) * | 2024-01-11 | 2024-04-02 | 齐鲁工业大学(山东省科学院) | 基于加权滤波增强的卷积神经网络图像预测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102915527A (zh) * | 2012-10-15 | 2013-02-06 | 中山大学 | 基于形态学成分分析的人脸图像超分辨率重建方法 |
| EP3054279A1 (en) * | 2015-02-06 | 2016-08-10 | St. Anna Kinderkrebsforschung e.V. | Methods for classification and visualization of cellular populations on a single cell level based on microscopy images |
| CN106485656A (zh) * | 2016-09-19 | 2017-03-08 | 华南理工大学 | 一种图像超分辨率重构的方法 |
| CN106910161A (zh) * | 2017-01-24 | 2017-06-30 | 华南理工大学 | 一种基于深度卷积神经网络的单幅图像超分辨率重建方法 |
-
2017
- 2017-07-10 CN CN201710556581.0A patent/CN107492070B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102915527A (zh) * | 2012-10-15 | 2013-02-06 | 中山大学 | 基于形态学成分分析的人脸图像超分辨率重建方法 |
| EP3054279A1 (en) * | 2015-02-06 | 2016-08-10 | St. Anna Kinderkrebsforschung e.V. | Methods for classification and visualization of cellular populations on a single cell level based on microscopy images |
| CN106485656A (zh) * | 2016-09-19 | 2017-03-08 | 华南理工大学 | 一种图像超分辨率重构的方法 |
| CN106910161A (zh) * | 2017-01-24 | 2017-06-30 | 华南理工大学 | 一种基于深度卷积神经网络的单幅图像超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| Image Decomposition via the Combination of Sparse Representations and a Variational Approach;Jean-Luc Starck等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20051031;第14卷(第10期);全文 * |
| 利用双通道卷积神经网络的图像超分辨率算法;徐冉等;《中国图像图形学报》;20160531;第21卷(第5期);全文 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4024327A4 (en) * | 2020-01-14 | 2023-01-04 | Tencent Technology (Shenzhen) Company Limited | IMAGE PROCESSING METHOD, EQUIPMENT, ELECTRONIC DEVICE AND STORAGE MEDIA |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107492070A (zh) | 2017-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107492070B (zh) | 一种双通道卷积神经网络的单图像超分辨率计算方法 | |
| CN110992275B (zh) | 一种基于生成对抗网络的细化单幅图像去雨方法 | |
| CN110599409B (zh) | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN106952228B (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
| Li et al. | An efficient deep convolutional neural networks model for compressed image deblocking | |
| CN104200437B (zh) | 一种图像去雾处理方法 | |
| CN110197468A (zh) | 一种基于多尺度残差学习网络的单图像超分辨重建算法 | |
| CN110378849B (zh) | 基于深度残差网络的图像去雾去雨方法 | |
| Tang et al. | Single image dehazing via lightweight multi-scale networks | |
| CN108269244B (zh) | 一种基于深度学习和先验约束的图像去雾系统 | |
| CN110503613B (zh) | 基于级联空洞卷积神经网络的面向单幅图像去雨方法 | |
| CN110232653A (zh) | 快速轻型超分辨率重建密集残差网络 | |
| CN106558022A (zh) | 一种基于边缘差异约束的单幅图像超分辨率重建方法 | |
| CN112270654A (zh) | 基于多通道gan的图像去噪方法 | |
| CN111476725A (zh) | 一种基于梯度域导向滤波和多尺度Retinex理论的图像去雾增强算法 | |
| CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
| CN104504672B (zh) | 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法 | |
| CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
| CN115393225A (zh) | 一种基于多层次特征提取融合的低光照图像增强方法 | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| Liu et al. | Learning pixel-distribution prior with wider convolution for image denoising | |
| CN115131229A (zh) | 图像降噪、滤波数据处理方法、装置和计算机设备 | |
| CN117151990B (zh) | 一种基于自注意力编码解码的图像去雾方法 | |
| CN113554568A (zh) | 一种基于自监督约束和不成对数据的无监督循环去雨网络方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191203 Termination date: 20210710 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |