CN108921785A - 基于小波包的超分辨率重建方法 - Google Patents

基于小波包的超分辨率重建方法 Download PDF

Info

Publication number
CN108921785A
CN108921785A CN201810614929.1A CN201810614929A CN108921785A CN 108921785 A CN108921785 A CN 108921785A CN 201810614929 A CN201810614929 A CN 201810614929A CN 108921785 A CN108921785 A CN 108921785A
Authority
CN
China
Prior art keywords
resolution
frequency
low
wavelet packet
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810614929.1A
Other languages
English (en)
Other versions
CN108921785B (zh
Inventor
邱明
林坤辉
景丽婷
曾捷航
王颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201810614929.1A priority Critical patent/CN108921785B/zh
Publication of CN108921785A publication Critical patent/CN108921785A/zh
Application granted granted Critical
Publication of CN108921785B publication Critical patent/CN108921785B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

基于小波包的超分辨率重建方法，输入三通道彩色低分辨图，通过32个残差单元构成的深度神经网络输出高分辨图片的高频特征；将32个残差单元的输出再输入到另外一组32个残差单元构成的深度神经网络，再输出高分辨率图片的低频特征；利用小波包将高分辨图片的低频特征和高频特征合成为最终的高分辨率图片。网络结构更为简单，训练参数更少，从而可以构建出比之前方法更深的网络结构，而增加网络深度及特征通道数是提高模型的准确率的重要方法之一。小波包是用来将图片的高频细节和低频内容分开，利用各自独立的损失函数来控制的高频细节信息和低频图片内容在超分辨率重建中所占的比例，可控制出现过度的纹理细节，或者纹理缺失的情况。

Description

基于小波包的超分辨率重建方法
技术领域
本发明涉及图像超分辨率的重建，尤其是涉及使用基于深度学习的小波包变换的方法实现超分辨率。
背景技术
在解决图像超分辨率(SR)问题的方案中，大致分为两类，一类是属于非学习类的超分辨率方法，另一类是基于深度学习的方法。在非深度学习的方法中，又分为基于插值的方法以及基于重建的方法。基于插值的方法，例如小波的双线性插值，以及基于光滑性约束的Delaunay三角化插值算法等，它们存在重构的图像边缘细节缺失，容易产生模糊，超分辨率能力有限；基于重建的方法，是凸集投影法(POCS)、最大后验概率法(MAP)以及MAP/POCS混合法等基于重建的方法，存在图像分辨率上升，其性能也会迅速下降，出现细节丢失、边缘模糊的问题([1]龙超.图像超分辨率重建算法综述[J].科技视界,2015(13):88-89)。
使用深度学习的方法，使得衡量图像超分辨率的重要的指标——峰值信噪比(PSNR)有了很大的提升。将深度学习引入SR领域的开山鼻祖就是SRCNN,虽然这个网络的参数需要足够“稠密”，才能直接从网络中映射出一张高清的HR图像，而且存在着感知域比较小的问题，但它成功将卷积神经网络应用到SR领域([2]C.Dong,C.C.Loy,K.He andX.Tang,"Image Super-Resolution Using Deep Convolutional Networks,"in IEEETransactions on Pattern Analysis and Machine Intelligence,vol.38,no.2,pp.295-307,Feb.12016)。之后各类深度学习的方法纷纷应用于实现SR。但是深度神经网络方法在结构最优化原则中暴露了其局限性，神经网络模型的重构性能对小型架构的变化敏感，同样的模型通过不同的初始化和训练技术会有不同的性能水平，需要精心设计的模型架构和复杂的优化方法来训练神经网络([3]Lim B,Son S,Kim H,et al.Enhanced DeepResidual Networks for Single Image Super-Resolution[C]//Computer VisionandPattern Recognition Workshops.IEEE,2017:1132-1140)。而且卷积神经网络往往需要不同的子像素(subpixel)或者是反卷积层等来进行图像尺寸的放大处理。
小波变换(WT)已经被证明是一种高效且直观的工具，可以用来表示和存储多分辨率图像，以及描述图像在不同层次上的上下文和纹理信息([4]Huang H,He R,Sun Z,etal.Wavelet-SRNet:A Wavelet-Based CNN for Multi-scale Face Super Resolution[C]//IEEE International Conference on Computer Vision.IEEE Computer Society,2017:1698-1706)。但是一些应用于超分辨率重建实现，仍然存在整体的图像会过于平滑现象，即使是处于存在图像的中间的焦点位置，一些细节纹理信息和颜色也不能很好地保留下来。本发明考虑到这些，尤其是考虑到不同尺寸的放大处理，使用了基于wavelet的深度学习方法来实现SR。
发明内容
本发明的目的在于提供基于小波包的超分辨率重建方法。
本发明包括以下步骤：
1)输入三通道彩色低分辨图，通过32个残差单元构成的深度神经网络输出高分辨图片的高频特征；
2)将32个残差单元的输出再输入到另外一组32个残差单元构成的深度神经网络，再输出高分辨率图片的低频特征；
3)利用小波包将高分辨图片的低频特征和高频特征合成为最终的高分辨率图片。
本发明的核心点在于：
1)不需要子像素层(subpixel)和反卷积层等用于放大图像的放大层，而是直接利用wavelet滤波实现其功能。
与以前的方法相比，没有反卷积层或子像素层，这是本发明的网络结构更为简单，可以构建出比之前方法更深的网络结构，而网络深度及特征通道数很多情况下对大幅度提高效果来说是很重要的。
2)本发明的wavelet是用来将细节系数和近似系数分来，利用细节损失和近似损失来控制想要的纹理部分和非纹理区域的细节比例，可以控制出现过度的或者是奇怪的纹理细节，以及纹理缺失的情况。
附图说明
图1为本发明实施例的WaveletSR的网络结构。
图2为图1中的残差单元结构。
具体实施方式
以下实施例将结合附图对本发明作进一步的说明。
本发明实施例包括以下步骤：
1)输入三通道彩色低分辨图，通过32个残差单元构成的深度神经网络输出高分辨图片的高频特征；
2)将32个残差单元的输出再输入到另外一组32个残差单元构成的深度神经网络，再输出高分辨率图片的低频特征；
3)利用小波包将高分辨图片的低频特征和高频特征合成为最终的高分辨率图片。
本发明的解决方案是基于小波包变换的，首先，将高分辨率图像转换为一组小波分解系数，它们与对应的低分辨率图像大小相同。然后，应用深度卷积网络将被低分辨率图像映射到小波分解图像集。超分辨率图像是利用反向小波包变换从分解系数集合中计算出来的。
本发明使用小波包变换迭代计算Daubechies 1小波系数，直到它达到低分辨率图像的大小。分解层次为n＝log2r，其中r是缩放比例因子。在RGB图像的3个通道中，n层次的小波系数数量是3×4n。小波系数分为细节系数和近似系数。近似系数是仅经过低通滤波器hlow的那些系数，其余的是细节系数。在n层次上，有3个近似系数和3×4n-3个细节系数。
图1是WaveletSR的网络结构，所有的卷积层有256个通道，图2是对图1中的残差单元的结构展示。网络层上显示的数字是过滤器的大小(重点在于右上角的wavelet的使用方向)。
在图1WaveletSR的网络结构中，首先，它以一个低分辨率图像作为输入，通过32个残差单元和一个1×1卷积层计算获得高分辨率图片的高频细节系数；其次，使用另外32个残差单元和一个1×1卷积层来计算高分辨率图片的低频近似系数，其中，32个残差单元的前后都对应有一个3×3卷积层的操作；最后，使用小波包算法将图片的高频细节系数和低频近似系数合成为超分辨率图像。
图2是图1中残差单元的具体结构，它由两层3×3卷积层以及在卷积层之间的一层修正线性单元(RELU)组成，每个残差单元中只有一条从输入之前到最后输出的跳线。其中，修正线性单元是一个表达式为f(x)＝max(0,x)的激活函数。

Claims (1)

1.基于小波包的超分辨率重建方法，其特征在于包括以下步骤：
1)输入三通道彩色低分辨图，通过32个残差单元构成的深度神经网络输出高分辨图片的高频特征；
2)将32个残差单元的输出再输入到另外一组32个残差单元构成的深度神经网络，再输出高分辨率图片的低频特征；
3)利用小波包将高分辨图片的低频特征和高频特征合成为最终的高分辨率图片。
CN201810614929.1A 2018-06-14 2018-06-14 基于小波包的超分辨率重建方法 Expired - Fee Related CN108921785B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810614929.1A CN108921785B (zh) 2018-06-14 2018-06-14 基于小波包的超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810614929.1A CN108921785B (zh) 2018-06-14 2018-06-14 基于小波包的超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN108921785A true CN108921785A (zh) 2018-11-30
CN108921785B CN108921785B (zh) 2020-07-07

Family

ID=64421611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810614929.1A Expired - Fee Related CN108921785B (zh) 2018-06-14 2018-06-14 基于小波包的超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN108921785B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767386A (zh) * 2018-12-22 2019-05-17 昆明理工大学 一种基于深度学习的快速图像超分辨率重建方法
CN110992295A (zh) * 2019-12-20 2020-04-10 电子科技大学 基于小波-red卷积神经网络的低剂量ct重建方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719266A (zh) * 2009-12-25 2010-06-02 西安交通大学 一种基于仿射变换的正面人脸图像超分辨率重建方法
CN103116880A (zh) * 2013-01-16 2013-05-22 杭州电子科技大学 一种基于稀疏表示和多残差的图像超分辨率重建方法
CN107507141A (zh) * 2017-08-07 2017-12-22 清华大学深圳研究生院 一种基于自适应残差神经网络的图像复原方法
JP2018022329A (ja) * 2016-08-03 2018-02-08 日本放送協会 超解像装置及びプログラム
CN107730453A (zh) * 2017-11-13 2018-02-23 携程计算机技术（上海）有限公司 图像质量提升方法
CN107767342A (zh) * 2017-11-09 2018-03-06 中南林业科技大学 基于积分平差模型的小波变换超分辨率图像重建方法
CN108122197A (zh) * 2017-10-27 2018-06-05 江西高创保安服务技术有限公司 一种基于深度学习的图像超分辨率重建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719266A (zh) * 2009-12-25 2010-06-02 西安交通大学 一种基于仿射变换的正面人脸图像超分辨率重建方法
CN103116880A (zh) * 2013-01-16 2013-05-22 杭州电子科技大学 一种基于稀疏表示和多残差的图像超分辨率重建方法
JP2018022329A (ja) * 2016-08-03 2018-02-08 日本放送協会 超解像装置及びプログラム
CN107507141A (zh) * 2017-08-07 2017-12-22 清华大学深圳研究生院 一种基于自适应残差神经网络的图像复原方法
CN108122197A (zh) * 2017-10-27 2018-06-05 江西高创保安服务技术有限公司 一种基于深度学习的图像超分辨率重建方法
CN107767342A (zh) * 2017-11-09 2018-03-06 中南林业科技大学 基于积分平差模型的小波变换超分辨率图像重建方法
CN107730453A (zh) * 2017-11-13 2018-02-23 携程计算机技术（上海）有限公司 图像质量提升方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈健等: "超分辨率复原方法相关原理研究", 《中国光学》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767386A (zh) * 2018-12-22 2019-05-17 昆明理工大学 一种基于深度学习的快速图像超分辨率重建方法
CN110992295A (zh) * 2019-12-20 2020-04-10 电子科技大学 基于小波-red卷积神经网络的低剂量ct重建方法
CN110992295B (zh) * 2019-12-20 2022-04-19 电子科技大学 基于小波-red卷积神经网络的低剂量ct重建方法

Also Published As

Publication number Publication date
CN108921785B (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
CN106683067B (zh) 一种基于残差子图像的深度学习超分辨率重建方法
CN110136066B (zh) 面向视频的超分辨率方法、装置、设备和存储介质
Ellmauthaler et al. Multiscale image fusion using the undecimated wavelet transform with spectral factorization and nonorthogonal filter banks
CN104680485B (zh) 一种基于多分辨率的图像去噪方法及装置
CN108765291A (zh) 基于稠密神经网络和双参数损失函数的超分辨率重建方法
CN107122826A (zh) 用于卷积神经网络的处理方法和系统、和存储介质
CN106709875A (zh) 一种基于联合深度网络的压缩低分辨率图像复原方法
Tang et al. Deep inception-residual Laplacian pyramid networks for accurate single-image super-resolution
CN110136057B (zh) 一种图像超分辨率重建方法、装置及电子设备
CN116051428B (zh) 一种基于深度学习的联合去噪与超分的低光照图像增强方法
CN109996023A (zh) 图像处理方法和装置
CN110322404B (zh) 一种图像增强方法及系统
CN108921785A (zh) 基于小波包的超分辨率重建方法
Yeh et al. HEVC intra frame coding based on convolutional neural network
CN110047038B (zh) 一种基于层级递进网络的单图像超分辨重建方法
CN115393191A (zh) 一种轻量级遥感图像超分辨率重建方法、装置及设备
CN110288529B (zh) 一种基于递归局部合成网络的单幅图像超分辨率重建方法
Xing et al. Residual swin transformer channel attention network for image demosaicing
CN106296583B (zh) 基于图像块组稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法
CN112150356A (zh) 基于级联框架的单幅压缩图像超分辨率重建方法
Deng et al. RADAR: Robust algorithm for depth image super resolution based on FRI theory and multimodal dictionary learning
CN113096015B (zh) 基于渐进式感知和超轻量级网络的图像超分辨率重建方法
CN109872274A (zh) 一种基于引导滤波器的量子图像传感器的列噪声消除方法
CN107767342B (zh) 一种基于积分平差模型的小波变换超分辨率图像重建方法
CN110675320A (zh) 一种空间参数变化及复杂场景下目标图像清晰化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200707