CN106981046B - 基于多层梯度约束回归的单幅图像超分辨率重建方法 - Google Patents
基于多层梯度约束回归的单幅图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN106981046B CN106981046B CN201710170298.4A CN201710170298A CN106981046B CN 106981046 B CN106981046 B CN 106981046B CN 201710170298 A CN201710170298 A CN 201710170298A CN 106981046 B CN106981046 B CN 106981046B
- Authority
- CN
- China
- Prior art keywords
- gradient
- residual error
- image
- resolution
- regression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims 1
- 238000012360 testing method Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多层梯度约束回归的单幅图像超分辨率重建方法。主要包括以下步骤：利用训练图像，在梯度及残差域分别学习多层的的回归模型；将输入低分辨率图像插值，得到初始高分辨率图像；将当前的高分辨率图像作为输入，利用当前层对应的梯度及残差域回归模型分别估计出梯度及残差；根据当前层估计的梯度及残差，构建并优化重建代价函数，得到当前层的重建结果；以上一层重建结果作为新的高分辨率图像，重复执行以上两个步骤，直到达到最大重建次数，最后输出即为最终重建结果。本发明所述方法可以由低分辨率图像重建高质量的高分辨率图像，并有较快的重建速度，其可应用于军事、遥感、医疗等领域。
Description
技术领域
本发明涉及图像分辨率提升技术，具体涉及一种基于多层梯度约束回归的单幅图像超分辨率重建方法，属于图像处理领域。
背景技术
在军事、医疗、农业、民生等领域，图像及视频都有广泛的应用，尤其是高分辨率的图像或视频。然而，由于成像设备及成像环境等因素的限制和影响，实际获取的图像或视频的质量往往难以满足实际使用的要求，如存在分辨率不足、噪声污染严重、模糊等问题。因此，在实际应用中，通过图像处理技术来针对性地提升已获取的图像及视频信号的质量，是很有必要的。超分辨率重建技术是提升图像或视频信号的分辨率的方法之一，其具有易于实现、成本低、适用性强等特点。其中，单幅图像超分辨率重建技术是指由观测的单幅低分辨率图像估计对应的高分辨率图像。显然，由于采样等降质过程，同一低分辨率图像可能对应多个不同的高分辨率图像。因此，单幅图像超分辨率重建问题具有严重的病态性。为了获得一个稳定、可靠的高分辨率估计，图像先验在重建过程中是必不可少的。先验模型可以通过挖掘自然图像满足的通用特性来获取，也可以利用大量的自然图像来学习获得。目前的单幅图像超分辨率重建方法大致可以分为三类：基于学习的超分辨率方法、基于重建的超分辨率方法和基于插值的超分辨率方法。这三类方法具有不同的特点，如基于学习的方法往往具有较快的执行速度，并且能很好地恢复图像细节，但是其易于将一些人工效应引入到重建结果中；基于重建的方法通常可以很好地抑制人工效应，但是不能较好地保留图像纹理及细节信息，并且重建速度较慢。
发明内容
本发明的目的是集成基于重建及基于学习的超分辨率重建方法的优点，进而构建一种高效率、高性能的单幅图像超分辨率重建方法。
本发明提出的基于多层梯度约束回归的单幅图像超分辨率重建方法(简称为SGCRSR)，主要包括以下操作步骤：
(1)利用训练图像，在梯度及残差域分别学习多层的的回归模型；
(2)将输入低分辨率图像插值，得到初始高分辨率图像；
(3)将当前的高分辨率图像作为输入，利用当前层对应的梯度及残差域回归模型分别估计出梯度及残差；
(4)根据步骤(3)估计的梯度及残差，构建并优化重建代价函数，得到当前层的重建结果；
(5)以步骤(4)的重建结果作为新的高分辨率图像，重复执行步骤(3)和(4)，直到达到最大重建次数，最后输出即为最终重建结果。
附图说明
图1是本发明基于多层梯度约束回归的单幅图像超分辨率重建方法的原理框图：其中，(a)为本发明SGCRSR的训练及重建阶段的框图，(b)(c)分别为(a)中“训练回归模型”及“GCRSR”模块的框图
图2是本发明与四种方法对测试图像“Bike”重建结果的对比图：其中，(a)为测试图像，(b)(c)(d)(e)(f)分别为Bicubic、对比方法1、对比方法2、对比方法3及本发明的重建结果
图3是本发明与四种方法对测试图像“Woman”重建结果的对比图：其中，(a)为测试图像，(b)(c)(d)(e)(f)分别为Bicubic、对比方法1、对比方法2、对比方法3及本发明的重建结果
具体实施方式
下面结合附图对本发明作进一步说明：
图1中，基于多层梯度约束回归的单幅图像超分辨率重建方法，具体可以分为以下几个步骤：
(1)利用训练图像，在梯度及残差域分别学习多层的的回归模型；
(2)将输入低分辨率图像插值，得到初始高分辨率图像；
(3)将当前的高分辨率图像作为输入，利用当前层对应的梯度及残差域回归模型分别估计出梯度及残差；
(4)根据步骤(3)估计的梯度及残差，构建并优化重建代价函数，得到当前层的重建结果；
(5)以步骤(4)的重建结果作为新的高分辨率图像，重复执行步骤(3)和(4)，直到达到最大重建次数，最后输出即为最终重建结果。
具体地，所述步骤(1)中，我们首先将用于训练的高分辨率图像进行下采样，得到模拟的低分辨率图像并将进行插值，得到初始高分辨率图像然后，如图1(b)所示，利用和来训练出第一层的梯度域及残差域的回归模型。具体实现为：利用梯度提取算子在和中分别提取出高低分辨率的梯度特征和在和的差中提取出高频残差特征梯度域及残差域回归模型的计算方式分别如公式(1)和(2)所示:
其中，和分别为第一层的梯度域及残差域的回归模型，I为单位矩阵,λ为设定的常数,T为转置操作。需要说明的是，为了简洁性，本说明中以图像为单位进行方法介绍，但实际算法实现是以图像块为单位进行训练及重建。此外，算法实现中，会训练多组回归模型来适应不同类型的图像块，从而保证重建效果。
获取梯度域及残差域回归模型后，即可对初始高分辨率图像进行第一次重建，其原理如图1(c)所示的GCRSR模块：首先利用梯度算子提取的梯度特征进而利用训练得到的梯度及残差域回归模型(和)分别估计梯度及残差，即
根据基于最大后验概率的超分辨率重建框架，利用估计的梯度及残差结果分别建立约束项，构建超分辨率重建的代价函数为：
其中，为模拟低分辨率图像的第一层重建结果，α和β均为正则化系数，为梯度算子。代价函数(5)可用梯度下降法求解。
在后续层的训练中，其原理与第一层的训练相同，主要区别在于训练使用的图像。在训练第一层的模型时，使用的图像为和而在第n层的模型训练中，训练使用的图像为和其中，表示第(n-1)层的重建结果。
通过步骤(1)，可训练出多层的梯度域模型和残差域模型在测试过程中，这些模型将依次用来对输入图像进行多次重建，以渐进地提升重建图像的质量。
所述步骤(2)中，我们采用双三次插值方法将待重建低分辨率图像插值到目标分辨率，得到初始的高分辨率图像。
所述步骤(3)中，我们将当前的高分辨率图像作为输入，提取其梯度特征；然后选择对应层的梯度及残差域回归模型，按照公式(3)及公式(4)分别估计出梯度及残差。
所述步骤(4)中，利用步骤(3)中估计的梯度及残差分别构建约束项，并建立如公式(5)所示的重建代价函数。采用梯度下降法优化重建代价函数，得到当前层的重建结果。
所述步骤(5)中，我们将步骤(4)的结果作为新的初始高分辨率图像，重复执行步骤(3)和步骤(4)。直到达到设定的最大重建次数，重建结果即为最终的输出。
为了更好地说明本发明的有效性，在常用测试图像“Bike”及“Woman”上进行了比较实验。其中，“Bike”如图2(a)所示，“Woman”如图3(a)所示。模拟低分辨率图像的生成方式：用大小为7x7，方差为1.5的高斯模糊核对高分辨率测试图像进行模糊，然后进行3倍下采样。实验中，选取双三次插值Bicubic及三种典型的单幅图像超分辨率重建算法作为对比方法。三种对比的超分辨率重建算法为：
方法1：Zhang等人提出的方法，参考文献“K.Zhang,X.Gao,D.Tao,and X.Li,“Single image super-resolution with non-local means and steering kernelregression,”IEEE Trans.Image Process.,vol.21,no.11,pp.4544-4556,Nov.2012.”。
方法2：Dong等人提出的方法，参考文献“W.Dong,L.Zhang,G.Shi,andX.Li,“Nonlocally centralized sparse representation for image restoration,”IEEETrans.Image Process.,vol.22,no.4,pp.1620-1630,Apr.2013.”。
方法3：Timofte等人提出的方法，参考文献“R.Timofte,V.De Smet,and L.VanGool,“A+:Adjusted anchored neighborhood regression for fast super-resolution,”in Proc.Asian Conf.Comput.Vis(ACCV),Nov.2014,pp.111-126.”。
对比实验的内容如下：
实验1，分别用Bicubic，方法1，方法2，方法3以及本发明对由测试图像“Bike”模拟生成的低分辨率图像进行3倍重建。超分辨率重建结果分别如图2(b)、图2(c)、图2(d)，图2(e)及图2(f)所示，重建结果的客观评价参数及重建时间如表一所示。其中客观评价参数PSNR(Peak Signal to Noise Ratio)、SSIM(Structure Similarity Index)及IFC(Information Fidelity Criterion)均为值越大，代表图像质量越好。算法测试平台：处理器Inter Core i5CPU(3.3GHz)及内存16G的台式计算机。
表一
实验2，分别用Bicubic，方法1，方法2，方法3以及本发明对由测试图像“Woman”模拟生成的低分辨率图像进行3倍重建。超分辨率重建结果分别如图3(b)、图3(c)、图3(d)，图3(e)及图3(f)所示，重建结果的客观评价参数及重建时间如表一所示。其中客观评价参数PSNR(Peak Signal to Noise Ratio)、SSIM(Structure Similarity Index)及IFC(Information Fidelity Criterion)均为值越大，代表图像质量越好。算法测试平台：处理器Inter Core i5 CPU(3.3GHz)及内存16G的台式计算机。
表二
从图2及图3所示的实验结果可以看出，方法Bicubic的结果很模糊，且重建图像中有较多的锯齿等人工效应；方法1及方法2的结果中人工效应较少，但是有些过度平滑；方法3不能较好地去除模糊效应；本发明的重建结果更加清晰，并且人工效应较少，整体视觉效果更好。
从表一及表二所示的客观参数上看，在两幅测试图像“Bike”及“Woman”上，本发明都取得了最高的PSNR、SSIM、IFC值，代表着本发明重建结果的质量更好。同时，本发明的重建时间远低于方法1及方法2的重建时间。
综上所述，相比于对比方法，本发明的重建结果在主客观评价上都有一定优势。并且，本发明的重建时间较短。因此，本发明是一种高效率、高性能的单幅图像超分辨率重建方法。
Claims (3)
1.基于多层梯度约束回归的单幅图像超分辨率重建方法，其特征在于包括以下步骤：
步骤一：利用训练图像，在梯度及残差域分别学习多层的回归模型；
步骤二：将输入低分辨率图像插值，得到初始高分辨率图像；
步骤三：将当前的高分辨率图像作为输入，利用当前层对应的梯度及残差域回归模型分别估计出梯度及残差；
步骤四：根据步骤三估计的梯度及残差，构建并优化重建代价函数，得到当前层的重建结果；
步骤五：以步骤四的重建结果作为新的高分辨率图像，重复执行步骤三和四，直到达到最大重建次数，最后输出即为最终的重建结果。
2.根据权利要求1所述的基于多层梯度约束回归的单幅图像超分辨率重建方法，其特征在于，所述步骤四中利用步骤三估计的梯度及残差分别构建重建约束项，进而建立超分辨率重建代价函数。
3.根据权利要求1所述的基于多层梯度约束回归的单幅图像超分辨率重建方法，其特征在于，利用回归模型学习映射关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710170298.4A CN106981046B (zh) | 2017-03-21 | 2017-03-21 | 基于多层梯度约束回归的单幅图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710170298.4A CN106981046B (zh) | 2017-03-21 | 2017-03-21 | 基于多层梯度约束回归的单幅图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106981046A CN106981046A (zh) | 2017-07-25 |
| CN106981046B true CN106981046B (zh) | 2019-10-11 |
Family
ID=59338165
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710170298.4A Active CN106981046B (zh) | 2017-03-21 | 2017-03-21 | 基于多层梯度约束回归的单幅图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106981046B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3783570B1 (de) * | 2019-08-23 | 2023-05-17 | Siemens Healthcare GmbH | Computerimplementiertes verfahren zur rekonstruktion von medizinischen bilddaten |
| CN111754406B (zh) * | 2020-06-22 | 2024-02-23 | 北京大学深圳研究生院 | 图像分辨率处理方法、装置、设备及可读存储介质 |
| CN113033704B (zh) * | 2021-04-22 | 2023-11-07 | 江西理工大学 | 基于模式识别的铜转炉吹炼造铜期终点智能判断方法及系统 |
| CN113920013B (zh) * | 2021-10-14 | 2023-06-16 | 中国科学院深圳先进技术研究院 | 一种基于超分辨率的小图像多目标检测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722876A (zh) * | 2012-05-29 | 2012-10-10 | 杭州电子科技大学 | 一种基于残差的图像超分辨率重建方法 |
| CN106204489A (zh) * | 2016-07-12 | 2016-12-07 | 四川大学 | 结合深度学习与梯度转换的单幅图像超分辨率重建方法 |
-
2017
- 2017-03-21 CN CN201710170298.4A patent/CN106981046B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722876A (zh) * | 2012-05-29 | 2012-10-10 | 杭州电子科技大学 | 一种基于残差的图像超分辨率重建方法 |
| CN106204489A (zh) * | 2016-07-12 | 2016-12-07 | 四川大学 | 结合深度学习与梯度转换的单幅图像超分辨率重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| Accurate image superresolution using very deep convolutional networks;KIM J 等;《Proceedings of the IEEE Conference on Computer》;20161231;第1646-1654页 * |
| 多尺度自适应配准的视频超分辨率算法;卢涛 等;《武汉工程大学学报》;20160415;第38卷(第2期);第178-184、194页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106981046A (zh) | 2017-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112200750B (zh) | 一种超声图像去噪模型建立方法及超声图像去噪方法 | |
| Johnson et al. | Conditional generative adversarial network for 3D rigid‐body motion correction in MRI | |
| CN104156994B (zh) | 一种压缩感知磁共振成像的重建方法 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| Li et al. | FilterNet: Adaptive information filtering network for accurate and fast image super-resolution | |
| CN106981046B (zh) | 基于多层梯度约束回归的单幅图像超分辨率重建方法 | |
| CN109214989B (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
| CN105631807A (zh) | 基于稀疏域选取的单帧图像超分辨重建方法 | |
| Chen et al. | Single image super-resolution using deep CNN with dense skip connections and inception-resnet | |
| Cao et al. | New architecture of deep recursive convolution networks for super-resolution | |
| CN105488759B (zh) | 一种基于局部回归模型的图像超分辨率重建方法 | |
| Çelik et al. | Resizing and cleaning of histopathological images using generative adversarial networks | |
| Deeba et al. | Sparse representation based computed tomography images reconstruction by coupled dictionary learning algorithm | |
| Qiu et al. | Progressive U-Net residual network for computed tomography images super-resolution in the screening of COVID-19 | |
| Upadhyay et al. | A mixed-supervision multilevel gan framework for image quality enhancement | |
| Muhammad et al. | Multi-scale Xception based depthwise separable convolution for single image super-resolution | |
| CN110610458A (zh) | 一种基于岭回归的gan图像增强交互处理方法及系统 | |
| Lu et al. | A novel 3D medical image super-resolution method based on densely connected network | |
| CN110047038B (zh) | 一种基于层级递进网络的单图像超分辨重建方法 | |
| CN116563100A (zh) | 一种基于内核引导网络的盲超分辨率重建方法 | |
| Hua et al. | Dynamic scene deblurring with continuous cross-layer attention transmission | |
| Wang et al. | MHAN: Multi-Stage Hybrid Attention Network for MRI reconstruction and super-resolution | |
| Ding et al. | An improved image mixed noise removal algorithm based on super-resolution algorithm and CNN | |
| Tang et al. | Structure-embedded ghosting artifact suppression network for high dynamic range image reconstruction | |
| CN117455770A (zh) | 基于逐层上下文信息聚合网络的轻量级图像超分辨率方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |