CN112200728A - 一种基于树状聚合轻量化的单张图像超分辨率方法 - Google Patents

一种基于树状聚合轻量化的单张图像超分辨率方法 Download PDF

Info

Publication number
CN112200728A
CN112200728A CN202011281095.0A CN202011281095A CN112200728A CN 112200728 A CN112200728 A CN 112200728A CN 202011281095 A CN202011281095 A CN 202011281095A CN 112200728 A CN112200728 A CN 112200728A
Authority
CN
China
Prior art keywords
resolution
image
low
resolution image
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011281095.0A
Other languages
English (en)
Inventor
王子建
陈晓珍
王学博
陆耀
李玮琪
李公平
吴紫薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Media Group
Original Assignee
China Media Group
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Media Group filed Critical China Media Group
Publication of CN112200728A publication Critical patent/CN112200728A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于树状聚合轻量化的单张图像超分辨率方法,属于图像处理技术领域。包括:对高分辨率图像训练数据集进行预处理,下采样得高低分辨率图像对,并将低分辨率图像输入标准模型,得到标准模型的特征;将低分辨率图像映射得到高维低分辨率特征图;将高维低分辨率特征图取不同深度层次的特征;使用树状聚合结构的聚合点将融合不同深度层次的特征得到融合特征;计算损失并回传,更新所有卷积层参数;将融合特征使用反卷积层融合重建,得到超分辨率图像;计算像素级损失并训练,当像素级损失基本保持不变,训练完成;使用训练好的卷积神经网络参数将低分辨率图像重建为超分辨率图像。本方法步骤简单,单张图像的质量评估得到了较好的保证。

Description

一种基于树状聚合轻量化的单张图像超分辨率方法
技术领域
本发明涉及一种基于树状聚合轻量化的单张图像超分辨率方法,属于图像处理技术领域。
技术背景
图像分辨率是一组用于评估图像中蕴含细节信息丰富程度的性能参数,包括时间分辨率、空间分辨率及色阶分辨率等,体现了成像系统实际所能反映物体细节信息的能力。相较于低分辨率图像,高分辨率图像通常包含更大的像素密度、更丰富的纹理细节及更高的可信赖度。但在实际上中,受采集设备与环境、网络传输介质与带宽、图像退化模型本身等诸多因素的约束,我们通常并不能直接得到具有边缘锐化、无成块模糊的理想高分辨率图像。
提升图像分辨率的最直接的做法是对采集系统中的光学硬件进行改进,但这种做法受限于制造工艺难以大幅改进、制造成本十分高昂等约束。由此,从软件和方法的角度着手,实现图像超分辨率重建的技术成为了图像处理和计算机视觉等多个领域的热点研究课题。
1955年,ToraldodiFrancia在光学成像领域首次明确定义了超分辨率这一概念,主要是指利用光学相关的知识,恢复出衍射极限以外的数据信息的过程。1964年左右,Harris和Goodman则首次提出了图像超分辨率这一概念,主要是指利用外推频谱的方法合成出细节信息更丰富的单帧图像的过程。1984年,在前人的基础上,Tsai和Huang等首次提出使用多帧低分辨率图像重建出高分辨率图像的方法后,超分辨率重建技术开始受到了学术界和工业界广泛的关注和研究。
目前,国内外对超分辨率的研究较突出的有:美国加州大学多维信号处理研究小组的PeymanMilanfar等提出了大量的实用方法和集成各种方法的超分辨率图像恢复软件包;美国Dayton大学和Wright实验室对红外CCD相机进行了机载试验,利用20幅低分辨率的红外图像,取得了分辨率提高近5倍的实验结果。香港R.F.Chars等研究了超分辨率图像恢复的有效预处理共扼梯度迭代方法。以色列耶鲁撒冷大学M.Elad等对存在任意运动的图像序列,以及动态的和彩色的多媒体等的超分辨率恢复进行了研究。以色列的EROS-A卫星利用“过采样”技术使影像的分辨率提高一倍以上。印度S.Chaudhuri等研究了迭代的超分辨率图像恢复方法。韩国Pohang理工大学在各向异性扩散用于超分辨率方面进行了研究。国内近几年在频谱外推、混叠效应的消除、无损检测、成像探测元的阵列改进以及一些超分辨率方法的改进方面做过类似研究,但研究水平无论从深度和广度上都较国外存在一定的差距。
具体来说,图像超分辨率重建技术指的是利用数字图像处理、计算机视觉等领域的相关知识,借由特定的方法和处理流程,从给定的低分辨率图像中复原出高分辨率图像的过程。其旨在克服或补偿由于图像采集系统或采集环境本身的限制,导致的成像图像模糊、质量低下、感兴趣区域不显著等问题。
发明内容
本发明的目的是为了提高低分辨率图像的像素大小以及视觉效果,并且减少图像超分辨率网络的参数量和计算量,提出了一种基于树状聚合轻量化的单张图像超分辨率方法。
本发明是通过以下技术方案实现的。
所述基于树状聚合轻量化的单张图像超分辨率方法,包括如下步骤:
步骤1、对高分辨率图像训练数据集进行预处理,包括旋转、平移和随机剪切,生成RGB三通道图像,将RGB图像利用双三次插值法进行下采样,得到高低分辨率图像对,并将该高低分辨率图像对中的低分辨率图像输入到标准模型中,得到标准模型的特征;
其中,高低分辨率图像对中包含高分辨率图像和低分辨率图像,且低分辨率图像为低分辨率的RGB三通道图像;
其中,旋转、平移和随机剪切的目的在于增加图像的数量和数据的多样性,标准模型是基于评价指标选择卷积神经网络的超分辨率模型效果好的模型;
步骤2、将步骤1生成的低分辨率图像通过一个卷积核大小为3x3的卷积层映射到高维的低分辨率空间,得到高维低分辨率特征图;
其中,3x3的卷积层是指卷积核大小为3*3的卷积神经网络;
步骤3、将步骤2得到的高维低分辨率特征图输入到树状聚合结构中的特征提取部分,提取不同深度层次的特征;
其中,树状聚合结构由卷积神经网络的卷积层构成,树状聚合结构的特征提取部分,由卷积核大小为3*3的卷积层构成;
步骤4、使用树状聚合结构的聚合点将步骤3中提取到的不同深度层次的特征进行特征融合,得到融合特征;
其中,树状聚合结构的聚合点由卷积核大小为1*1的卷积层构成;
步骤5、将步骤4得到的融合特征与步骤1得到的标准模型特征计算一个特征向量之间的损失,并利用梯度下降方法回传损失,更新前面步骤中所有卷积层的参数;
步骤6、将步骤4得到的融合特征使用反卷积层进行融合重建,得到一个超分辨率图像;
步骤7、基于步骤6得到的超分辨率图像与步骤1中高低分辨率图像对中的高分辨率图像计算像素级损失,使用此像素级损失函数训练步骤2到步骤6中的卷积层的参数,当此像素级损失基本保持不变,神经网络可视为训练完成;
步骤8、使用训练好的卷积神经网络参数将低分辨率图像重建为超分辨率图像;
至此,经过步骤1到步骤8,完成了一种基于树状聚合轻量化的单张图像超分辨率方法。
有益效果
本发明所述的一种基于树状聚合轻量化的单张图像超分辨率方法,与现有对齐普通图像的超分辨率方法相比,具有如下有益效果:
1.使用本发明产生的高分辨率图像峰值信噪比更高(PSNR);
2.使用本发明产生的高分辨率图像结构相似度更高(SSIM);
3.使用本发明产生的高分辨率图像可视化效果更好;
4.使用本发明实现图像超分辨率网络参数量更少。
附图说明
图1是本发明一种基于树状聚合轻量化的单张图像超分辨率方法及具体实施时的流程图;
图2是本发明一种基于树状聚合轻量化的单张图像超分辨率方法步骤4中的树状聚合结构;
图3是本发明一种基于树状聚合轻量化的单张图像超分辨率方法与当前最好的超分辨率方法对比的可视化结果。
具体实施方式
下面结合附图及具体实施例,对本发明所述的一种基于树状聚合轻量化的单张图像超分辨率方法进行详细阐述。
实施例1
本发明对普通图像进行训练具体实施时,使用开源的DIV2K的普通图像数据集进行训练,该数据集共包含800张3K大小的图像,100张3K大小的图像验证集,和100张3K大小的图像测试集。本实例使用了标准测试集Set5,Set14,BSD100等。本实例所采取的实验环境:硬件系统为TiTan X独立显卡,显存为12G,软件系统为ubuntu16.04,使用pythonpytorch框架。使用峰值信噪比(PSNR),与结构相似性度量(SSIM)作为超分辨率评价指标。
本发明所述普通图像超分辨率方法,实施的具体实施步骤如图1所示。
从图1中可以看出,所述超分辨率方法包括如下步骤:
步骤A、对训练数据集进行预处理,对DIV2K的数据集中每个3K的图像进行随机剪切,剪切大小为192*192像素作为高分辨率图像,然后对高分辨率图像进行平移和旋转,最后通过双三次插值法得到低分辨率图像(48*48)作为神经网络的输入图像;
步骤B、训练时,将48*48大小的RGB图像通过一个3*3的卷积映射到高维的低分辨率的空间,得到一个高维低分辨率特征图;
步骤C、将步骤B中高维低分辨率特征图作为树状聚合结构的输入,经过树状聚合结构中的特征提取与特征融合得到一个融合特征;
其中步骤C是“发明内容”中的步骤3和步骤4的实现,树状聚合结构如图2所示,特征提取部分的卷积层由方块表示,使用卷积核大小为3*3的卷积层,特征融合部分的卷积层由圆圈表示,使用卷积核大小为1*1的卷积层。
步骤D、将步骤C中的融合特征与标准模型(RCAN)中通过8个残差通道注意力模块(RCAB)提取的高维特征计算一个特征向量之间的损失,并利用随机梯度下降方法回传损失,更新前面步骤中所有卷积层的参数;
步骤E、将步骤C得到的融合特征图利用子像素卷积的上采样方法进行图像的重建,得到一个RGB三通道的超分辨率图像;
步骤F、将步骤E得到的超分辨率的图像与真实的高分辨率图像计算L2损失,并进行损失回传,以此来训练卷积神经网络的卷积层参数;
步骤G、使用训练好的卷积神经网络,将低分辨率图像进行超分辨率重建。
具体超分辨率结果展示:
我们在普通低分辨率图像测试集Set5,Set14,BSD100上做了测试,并与当前一些经典超分辨率方法SRCNN,LapSRN,VDSR,SRDenseNet等做了比较,结果如下表1所示。
表1普通图像超分辨率测试结果
表中每项数据斜杠前为PSNR(单位dB),斜杠后为SSIM(单位:无)
Name SRCNN LapSRN VDSR SRDenseNet ours
Set5 30.48/0.8628 31.54/0.8855 31.35/0.8838 32.02/0.8935 32.31/0.8970
Set14 27.50/0.7513 28.19/0.7722 28.01/0.7674 28.50/0.7782 28.67/0.7832
BSD100 26.90/0.7107 27.32/0.7280 27.29/0.7251 27.53/0.7738 27.58/0.7404
由表1中定量的指标可以看出,本方法--一种基于树状聚合轻量化的单张图像超分辨率方法在峰值信噪比(PSNR,单位dB,)和结构相似度(SSIM,无单位)两个评价指标上,均高于当前最好的超分辨率方法。
其中,以基于Set5测试集的普通图像超分辨率测试结果为例,在PSNR上比最早的图像超分辨率神经网络的方法(SRCNN),高了32.31(本方法)-30.48(SRCNN)=1.83dB,与本方法结构相似的SRDenseNet的方法高了32.31(本方法)-32.02(SRDenseNet)=0.29dB,同时在SSIM评价指标上,比SRCNN的方法高了0.8970(本方法)-0.8628(SRCNN)=0.0342,比SRDenseNet高了0.8970(本方法)-0.8935(SRDenseNet)=0.0035。
表2普通图像超分辨率层数比较
Name SRCNN DRCN VDSR SRDenseNet ours RCAN
Layers 3 16 20 66 66 500
Set5_x4/dB 30.48 31.53 31.35 32.02 32.31 32.63
由表2中层数分析中可以看到,本方法(66层)与早期的SRCNN(3层)、DRCN(16层)以及VDSR方法(20层)相比,增加了卷积的层数,也在PSNR上带来了有效的收益。与SRDenseNet结构相比,本方法使用了相同的层数,较少的跳过连接在PSNR上得到了更好的收益:本方法(PSNR:32.32dB)-SRDenseNet(PSNR:32.02dB)=0.3dB。
除定量评价之外,我们与当前最好的超分辨率方法SRCNN,DBPN,VDSR,SRDenseNet做了定性的可视化比较,如图3“普通图像超分辨率可视化”所示,我们的一种基于树状聚合轻量化的单张图像超分辨率方法生成的高分辨率图像,结构与原图更加一致,同时细节信息更丰富。
以上所述为本发明的较佳实施例而已,本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改,都落入本发明保护的范围。

Claims (5)

1.一种基于树状聚合轻量化的单张图像超分辨率方法,其特征在于:包括如下步骤:
步骤1、对高分辨率图像训练数据集进行预处理,包括旋转、平移和随机剪切,生成RGB三通道图像,将RGB图像利用双三次插值法进行下采样,得到高低分辨率图像对,并将该高低分辨率图像对中的低分辨率图像输入到标准模型中,得到标准模型的特征;
其中,高低分辨率图像对中包含高分辨率图像和低分辨率图像,且低分辨率图像为低分辨率的RGB三通道图像;
步骤2、将步骤1生成的低分辨率图像通过一个卷积核大小为3x3的卷积层映射到高维的低分辨率空间,得到高维低分辨率特征图;
步骤3、将步骤2得到的高维低分辨率特征图输入到树状聚合结构中的特征提取部分,提取不同深度层次的特征;
步骤4、使用树状聚合结构的聚合点将步骤3中提取到的不同深度层次的特征进行特征融合,得到融合特征;
步骤5、将步骤4得到的融合特征与步骤1得到的标准模型特征计算一个特征向量之间的损失,并利用梯度下降方法回传损失,更新前面步骤中所有卷积层的参数;
步骤6、将步骤4得到的融合特征使用反卷积层进行融合重建,得到一个超分辨率图像;
步骤7、基于步骤6得到的超分辨率图像与步骤1中高低分辨率图像对中的高分辨率图像计算像素级损失,使用此像素级损失函数训练步骤2到步骤6中的卷积层的参数,当此像素级损失基本保持不变,神经网络可视为训练完成;
步骤8、使用训练好的卷积神经网络参数将低分辨率图像重建为超分辨率图像。
2.根据权利要求1所述的一种基于树状聚合轻量化的单张图像超分辨率方法,其特征在于:步骤1中,旋转、平移和随机剪切的目的在于增加图像的数量和数据的多样性,标准模型是基于评价指标选择卷积神经网络的超分辨率模型效果好的模型。
3.根据权利要求1所述的一种基于树状聚合轻量化的单张图像超分辨率方法,其特征在于:步骤2中,3x3的卷积层是指卷积核大小为3*3的卷积神经网络。
4.根据权利要求1所述的一种基于树状聚合轻量化的单张图像超分辨率方法,其特征在于:步骤3中,树状聚合结构由卷积神经网络的卷积层构成,树状聚合结构的特征提取部分,由卷积核大小为3*3的卷积层构成。
5.根据权利要求1所述的一种基于树状聚合轻量化的单张图像超分辨率方法,其特征在于:步骤4中,树状聚合结构的聚合点由卷积核大小为1*1的卷积层构成。
CN202011281095.0A 2019-12-06 2020-11-16 一种基于树状聚合轻量化的单张图像超分辨率方法 Pending CN112200728A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911240424.4A CN110969579A (zh) 2019-12-06 2019-12-06 一种基于树状聚合轻量化的单张图像超分辨率方法
CN2019112404244 2019-12-06

Publications (1)

Publication Number Publication Date
CN112200728A true CN112200728A (zh) 2021-01-08

Family

ID=70033220

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911240424.4A Withdrawn CN110969579A (zh) 2019-12-06 2019-12-06 一种基于树状聚合轻量化的单张图像超分辨率方法
CN202011281095.0A Pending CN112200728A (zh) 2019-12-06 2020-11-16 一种基于树状聚合轻量化的单张图像超分辨率方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201911240424.4A Withdrawn CN110969579A (zh) 2019-12-06 2019-12-06 一种基于树状聚合轻量化的单张图像超分辨率方法

Country Status (1)

Country Link
CN (2) CN110969579A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686830B (zh) * 2020-12-30 2023-07-25 太原科技大学 基于图像分解的单一深度图的超分辨率方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767386A (zh) * 2018-12-22 2019-05-17 昆明理工大学 一种基于深度学习的快速图像超分辨率重建方法
CN110322402A (zh) * 2019-04-30 2019-10-11 武汉理工大学 基于稠密混合注意力网络的医学图像超分辨率重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767386A (zh) * 2018-12-22 2019-05-17 昆明理工大学 一种基于深度学习的快速图像超分辨率重建方法
CN110322402A (zh) * 2019-04-30 2019-10-11 武汉理工大学 基于稠密混合注意力网络的医学图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN LEDIG 等: "Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network", 2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR), 9 November 2017 (2017-11-09), pages 4681 - 4690 *

Also Published As

Publication number Publication date
CN110969579A (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
Pan et al. Super-resolution of single remote sensing image based on residual dense backprojection networks
Engin et al. Cycle-dehaze: Enhanced cyclegan for single image dehazing
CN108898560B (zh) 基于三维卷积神经网络的岩心ct图像超分辨率重建方法
CN111861961B (zh) 单幅图像超分辨率的多尺度残差融合模型及其复原方法
CN111598778B (zh) 一种绝缘子图像超分辨率重建方法
Cheon et al. Generative adversarial network-based image super-resolution using perceptual content losses
Cheng et al. Encoder-decoder residual network for real super-resolution
Yang et al. Image super-resolution based on deep neural network of multiple attention mechanism
CN113538246A (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN117575915B (zh) 一种图像超分辨率重建方法、终端设备及存储介质
Guan et al. Srdgan: learning the noise prior for super resolution with dual generative adversarial networks
CN109615576B (zh) 基于级联回归基学习的单帧图像超分辨重建方法
CN112598604A (zh) 一种盲脸复原方法及系统
CN116703725A (zh) 感知多重特征的双分支网络实现针对真实世界文本图像的超分辨率的方法
Deng et al. Efficient test-time adaptation for super-resolution with second-order degradation and reconstruction
Hsu et al. Dual reconstruction with densely connected residual network for single image super-resolution
CN112200728A (zh) 一种基于树状聚合轻量化的单张图像超分辨率方法
Li et al. Local-Global Context-Aware Generative Dual-Region Adversarial Networks for Remote Sensing Scene Image Super-Resolution
CN112837220A (zh) 一种提高红外图像分辨率的方法及其用途
Zhang et al. Color image super-resolution and enhancement with inter-channel details at trivial cost
Wang et al. Deep residual network for single image super-resolution
Bao et al. Iterative convolutional neural network for noisy image super-resolution
Lyn Multi-level feature fusion mechanism for single image super-resolution
Lu et al. Tree-structured dilated convolutional networks for image compressed sensing
CN113205005B (zh) 一种面向低光照低分辨率的人脸图像幻构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination