CN108921785B - 基于小波包的超分辨率重建方法 - Google Patents
基于小波包的超分辨率重建方法 Download PDFInfo
- Publication number
- CN108921785B CN108921785B CN201810614929.1A CN201810614929A CN108921785B CN 108921785 B CN108921785 B CN 108921785B CN 201810614929 A CN201810614929 A CN 201810614929A CN 108921785 B CN108921785 B CN 108921785B
- Authority
- CN
- China
- Prior art keywords
- resolution
- frequency
- low
- residual error
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 3
- 238000012549 training Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 7
- 238000000354 decomposition reaction Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
基于小波包的超分辨率重建方法,输入三通道彩色低分辨图,通过32个残差单元构成的深度神经网络输出高分辨图片的高频特征;将32个残差单元的输出再输入到另外一组32个残差单元构成的深度神经网络,再输出高分辨率图片的低频特征;利用小波包将高分辨图片的低频特征和高频特征合成为最终的高分辨率图片。网络结构更为简单,训练参数更少,从而可以构建出比之前方法更深的网络结构,而增加网络深度及特征通道数是提高模型的准确率的重要方法之一。小波包是用来将图片的高频细节和低频内容分开,利用各自独立的损失函数来控制的高频细节信息和低频图片内容在超分辨率重建中所占的比例,可控制出现过度的纹理细节,或者纹理缺失的情况。
Description
技术领域
本发明涉及图像超分辨率的重建,尤其是涉及使用基于深度学习的小波包变换的方法实现超分辨率。
背景技术
在解决图像超分辨率(SR)问题的方案中,大致分为两类,一类是属于非学习类的超分辨率方法,另一类是基于深度学习的方法。在非深度学习的方法中,又分为基于插值的方法以及基于重建的方法。基于插值的方法,例如小波的双线性插值,以及基于光滑性约束的Delaunay三角化插值算法等,它们存在重构的图像边缘细节缺失,容易产生模糊,超分辨率能力有限;基于重建的方法,是凸集投影法(POCS)、最大后验概率法(MAP)以及MAP/POCS混合法等基于重建的方法,存在图像分辨率上升,其性能也会迅速下降,出现细节丢失、边缘模糊的问题([1]龙超.图像超分辨率重建算法综述[J].科技视界,2015(13):88-89)。
使用深度学习的方法,使得衡量图像超分辨率的重要的指标——峰值信噪比(PSNR)有了很大的提升。将深度学习引入SR领域的开山鼻祖就是SRCNN,虽然这个网络的参数需要足够“稠密”,才能直接从网络中映射出一张高清的HR图像,而且存在着感知域比较小的问题,但它成功将卷积神经网络应用到SR领域([2]C.Dong,C.C.Loy,K.He andX.Tang,"Image Super-Resolution Using Deep Convolutional Networks,"in IEEETransactions on Pattern Analysis and Machine Intelligence,vol.38,no.2,pp.295-307,Feb.12016)。之后各类深度学习的方法纷纷应用于实现SR。但是深度神经网络方法在结构最优化原则中暴露了其局限性,神经网络模型的重构性能对小型架构的变化敏感,同样的模型通过不同的初始化和训练技术会有不同的性能水平,需要精心设计的模型架构和复杂的优化方法来训练神经网络([3]Lim B,Son S,Kim H,et al.Enhanced DeepResidual Networks for Single Image Super-Resolution[C]//Computer VisionandPattern Recognition Workshops.IEEE,2017:1132-1140)。而且卷积神经网络往往需要不同的子像素(subpixel)或者是反卷积层等来进行图像尺寸的放大处理。
小波变换(WT)已经被证明是一种高效且直观的工具,可以用来表示和存储多分辨率图像,以及描述图像在不同层次上的上下文和纹理信息([4]Huang H,He R,Sun Z,etal.Wavelet-SRNet:A Wavelet-Based CNN for Multi-scale Face Super Resolution[C]//IEEE International Conference on Computer Vision.IEEE Computer Society,2017:1698-1706)。但是一些应用于超分辨率重建实现,仍然存在整体的图像会过于平滑现象,即使是处于存在图像的中间的焦点位置,一些细节纹理信息和颜色也不能很好地保留下来。本发明考虑到这些,尤其是考虑到不同尺寸的放大处理,使用了基于wavelet的深度学习方法来实现SR。
发明内容
本发明的目的在于提供基于小波包的超分辨率重建方法。
本发明包括以下步骤:
1)输入三通道彩色低分辨图,通过32个残差单元构成的深度神经网络输出高分辨图片的高频特征;
2)将32个残差单元的输出再输入到另外一组32个残差单元构成的深度神经网络,再输出高分辨率图片的低频特征;
3)利用小波包将高分辨图片的低频特征和高频特征合成为最终的高分辨率图片。
本发明的核心点在于:
1)不需要子像素层(subpixel)和反卷积层等用于放大图像的放大层,而是直接利用wavelet滤波实现其功能。
与以前的方法相比,没有反卷积层或子像素层,这是本发明的网络结构更为简单,可以构建出比之前方法更深的网络结构,而网络深度及特征通道数很多情况下对大幅度提高效果来说是很重要的。
2)本发明的wavelet是用来将细节系数和近似系数分来,利用细节损失和近似损失来控制想要的纹理部分和非纹理区域的细节比例,可以控制出现过度的或者是奇怪的纹理细节,以及纹理缺失的情况。
附图说明
图1为本发明实施例的WaveletSR的网络结构。
图2为图1中的残差单元结构。
具体实施方式
以下实施例将结合附图对本发明作进一步的说明。
本发明实施例包括以下步骤:
1)输入三通道彩色低分辨图,通过32个残差单元构成的深度神经网络输出高分辨图片的高频特征;
2)将32个残差单元的输出再输入到另外一组32个残差单元构成的深度神经网络,再输出高分辨率图片的低频特征;
3)利用小波包将高分辨图片的低频特征和高频特征合成为最终的高分辨率图片。
本发明的解决方案是基于小波包变换的,首先,将高分辨率图像转换为一组小波分解系数,它们与对应的低分辨率图像大小相同。然后,应用深度卷积网络将被低分辨率图像映射到小波分解图像集。超分辨率图像是利用反向小波包变换从分解系数集合中计算出来的。
本发明使用小波包变换迭代计算Daubechies 1小波系数,直到它达到低分辨率图像的大小。分解层次为n=log2r,其中r是缩放比例因子。在RGB图像的3个通道中,n层次的小波系数数量是3×4n。小波系数分为细节系数和近似系数。近似系数是仅经过低通滤波器hlow的那些系数,其余的是细节系数。在n层次上,有3个近似系数和3×4n-3个细节系数。
图1是WaveletSR的网络结构,所有的卷积层有256个通道,图2是对图1中的残差单元的结构展示。网络层上显示的数字是过滤器的大小(重点在于右上角的wavelet的使用方向)。
在图1WaveletSR的网络结构中,首先,它以一个低分辨率图像作为输入,通过32个残差单元和一个1×1卷积层计算获得高分辨率图片的高频细节系数;其次,使用另外32个残差单元和一个1×1卷积层来计算高分辨率图片的低频近似系数,其中,32个残差单元的前后都对应有一个3×3卷积层的操作;最后,使用小波包算法将图片的高频细节系数和低频近似系数合成为超分辨率图像。
图2是图1中残差单元的具体结构,它由两层3×3卷积层以及在卷积层之间的一层修正线性单元(RELU)组成,每个残差单元中只有一条从输入之前到最后输出的跳线。其中,修正线性单元是一个表达式为f(x)=max(0,x)的激活函数。
Claims (1)
1.基于小波包的超分辨率重建方法,其特征在于包括以下步骤:
1)输入三通道彩色低分辨图,通过32个残差单元构成的深度神经网络输出高分辨图片的高频特征;
2)将32个残差单元的输出再输入到另外一组32个残差单元构成的深度神经网络,再输出高分辨率图片的低频特征;
3)利用小波包将高分辨图片的低频特征和高频特征合成为最终的高分辨率图片;
上述步骤具体包括:首先以一个低分辨率图像作为输入,通过32个残差单元和一个1×1卷积层计算获得高分辨率图片的高频细节系数;其次,使用另外32个残差单元和一个1×1卷积层来计算高分辨率图片的低频近似系数,其中,32个残差单元的前后都对应有一个3×3卷积层的操作;最后,使用小波包算法将图片的高频细节系数和低频近似系数合成为超分辨率图像;
所述残差单元的具体结构,它由两层3×3卷积层以及在卷积层之间的一层修正线性单元组成,每个残差单元中只有一条从输入之前到最后输出的跳线,其中,修正线性单元是一个表达式为f(x)=max(0,x)的激活函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810614929.1A CN108921785B (zh) | 2018-06-14 | 2018-06-14 | 基于小波包的超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810614929.1A CN108921785B (zh) | 2018-06-14 | 2018-06-14 | 基于小波包的超分辨率重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108921785A CN108921785A (zh) | 2018-11-30 |
CN108921785B true CN108921785B (zh) | 2020-07-07 |
Family
ID=64421611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810614929.1A Expired - Fee Related CN108921785B (zh) | 2018-06-14 | 2018-06-14 | 基于小波包的超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108921785B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109767386A (zh) * | 2018-12-22 | 2019-05-17 | 昆明理工大学 | 一种基于深度学习的快速图像超分辨率重建方法 |
CN110992295B (zh) * | 2019-12-20 | 2022-04-19 | 电子科技大学 | 基于小波-red卷积神经网络的低剂量ct重建方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107507141A (zh) * | 2017-08-07 | 2017-12-22 | 清华大学深圳研究生院 | 一种基于自适应残差神经网络的图像复原方法 |
CN107730453A (zh) * | 2017-11-13 | 2018-02-23 | 携程计算机技术(上海)有限公司 | 图像质量提升方法 |
CN108122197A (zh) * | 2017-10-27 | 2018-06-05 | 江西高创保安服务技术有限公司 | 一种基于深度学习的图像超分辨率重建方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101719266B (zh) * | 2009-12-25 | 2012-05-23 | 西安交通大学 | 一种基于仿射变换的正面人脸图像超分辨率重建方法 |
CN103116880A (zh) * | 2013-01-16 | 2013-05-22 | 杭州电子科技大学 | 一种基于稀疏表示和多残差的图像超分辨率重建方法 |
JP6778541B2 (ja) * | 2016-08-03 | 2020-11-04 | 日本放送協会 | 超解像装置及びプログラム |
CN107767342B (zh) * | 2017-11-09 | 2020-11-13 | 中南林业科技大学 | 一种基于积分平差模型的小波变换超分辨率图像重建方法 |
-
2018
- 2018-06-14 CN CN201810614929.1A patent/CN108921785B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107507141A (zh) * | 2017-08-07 | 2017-12-22 | 清华大学深圳研究生院 | 一种基于自适应残差神经网络的图像复原方法 |
CN108122197A (zh) * | 2017-10-27 | 2018-06-05 | 江西高创保安服务技术有限公司 | 一种基于深度学习的图像超分辨率重建方法 |
CN107730453A (zh) * | 2017-11-13 | 2018-02-23 | 携程计算机技术(上海)有限公司 | 图像质量提升方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108921785A (zh) | 2018-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108734659B (zh) | 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法 | |
Zhong et al. | Joint sub-bands learning with clique structures for wavelet domain super-resolution | |
JP2003018398A (ja) | ピクセル画像から超解像度画像を生成する方法 | |
CN111861886B (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
CN112270644A (zh) | 基于空间特征变换和跨尺度特征集成的人脸超分辨方法 | |
Guo et al. | Multiscale semilocal interpolation with antialiasing | |
CN111553867B (zh) | 一种图像去模糊方法、装置、计算机设备及存储介质 | |
KR100860968B1 (ko) | 해상도 향상 장치 및 방법 | |
CN112529776B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
CN112419150B (zh) | 一种基于双边上采样网络的任意倍数图像超分辨率重建方法 | |
CN108921785B (zh) | 基于小波包的超分辨率重建方法 | |
CN115511708A (zh) | 基于不确定性感知特征传输的深度图超分辨率方法及系统 | |
CN110047038B (zh) | 一种基于层级递进网络的单图像超分辨重建方法 | |
Yang et al. | An effective and comprehensive image super resolution algorithm combined with a novel convolutional neural network and wavelet transform | |
Qiu | Interresolution look-up table for improved spatial magnification of image | |
CN111899166A (zh) | 一种基于深度学习的医学高光谱显微图像超分辨重构方法 | |
CN112200719A (zh) | 图像处理方法、电子设备及可读存储介质 | |
CN116188273A (zh) | 一种基于不确定性导向的双模态可分离图像超分辨率方法 | |
CN116188272A (zh) | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 | |
CN116128722A (zh) | 基于频域-纹理特征融合的图像超分辨率重建方法及系统 | |
CN113674154B (zh) | 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统 | |
CN115330938B (zh) | 一种基于投影密度图采样的草图生成三维点云的方法 | |
CN113902618B (zh) | 一种基于多模态空间滤波的图像超分算法 | |
Xu | Image interpolation | |
KR102597298B1 (ko) | 국부 텍스처 추정을 이용한 이미지 워핑 네트워크 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200707 |
|
CF01 | Termination of patent right due to non-payment of annual fee |