CN108460723B - 基于邻域相似性的双边全变分图像超分辨率重建方法 - Google Patents
基于邻域相似性的双边全变分图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN108460723B CN108460723B CN201810112609.6A CN201810112609A CN108460723B CN 108460723 B CN108460723 B CN 108460723B CN 201810112609 A CN201810112609 A CN 201810112609A CN 108460723 B CN108460723 B CN 108460723B
- Authority
- CN
- China
- Prior art keywords
- super
- image
- resolution
- iteration
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000002146 bilateral effect Effects 0.000 title claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims abstract description 32
- 239000000126 substance Substances 0.000 claims description 12
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 6
- 238000004088 simulation Methods 0.000 description 5
- 230000014759 maintenance of location Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于邻域结构相似性双边全变分的图像超分辨率重建方法,主要解决现有技术在图像超分辨率重建过程中细节丢失的问题。其实现方案是:1.获取低分辨率图像序列,并对Y的第一帧图像进行插值,作为第1次迭代的超分辨率重建图像2.计算第t次迭代重建图像的邻域结构相似距离矩阵Wt;3.根据Wt构建目标函数,并求解目标函数的最小化问题,获得第t+1次迭代的重建图像4.计算相邻两次迭代所生成的超分辨率重建图像的欧氏距离;5.重复步骤2‑4,直至相邻两次迭代所生成的超分辨率重建的图像的欧氏距离小于阈值,输出超分辨率重建结果。本发明能有效重建图像中的细节信息,更好的保持结构特性,可用于遥感图像和医学图像处理。
Description
技术领域
本发明属于数字图像处理技术领域,具体涉及一种数字图像超分辨率重建方法,可用于遥感图像和医学图像处理。
背景技术
在成像系统中,由于成像过程中外在的干扰及成像系统自身的不足,最终的图像质量会有一定的退化,分辨率较低,从而丢失了图像中的细节信息,无法满足一些高精度应用的要求。超分辨率重建技术可以有效地提高图像的分辨率,增强图像中的细节信息,现在己经被广泛应用于医学、社会安全、国防等领域。
现存的图像超分辨率重建方法主要有:基于频域的超分辨率迭代重建方法和基于空间域的超分辨率迭代重建方法。空间域方法直接对像素输出进行处理,易于硬件实现,从而获得广泛应用。传统的空间域方法例如全变分法、迭代反射投影法、吉洪诺夫正则化法等,在重建图像的同时会丢失图像的纹理和细节等信息,Fasiu等人将边缘保持特性较好的全变分模型与双边滤波模型结合构建出双边全变分先验约束,取得了更好的超分辨率重建效果(Sina Farsiu,M.Dirk Robinson,Michael Elad et al.,Fast and RobustMultiframe Super Resolution,IEEE Transactions on Image Processing,Vol.13,No.10,2004,pp.1327-1344.)。但该方法中滤波权重仍由单个像素亮度值决定,因而在较强的噪声干扰下,权重误差将导致重建效果下降。
发明内容
本发明的目的在于针对上述现有技术的不足,提出一种基于邻域相似性的双边全变分图像超分辨率重建方法,以获得更高的峰值信噪比和结构相似度,提高图像重建效果。
实现本发明目的的技术方案是:用邻域相似度权取代传统双边滤波中的像素亮度距离权,构建邻域相似性双边全变分项作为先验约束加入迭代回归估计过程中,并使用分裂布雷格曼方法进行求解,得到重建图像,具体步骤包括如下:
(1)获取低分辨率图像序列Y;
(5)构建由保真项F和邻域结构相似性双边全变分正则项组成的目标函数J:
其中,μ和λ为两个数值不同的规整参数,μ的取值为0.72,λ的取值为0.97。
(7)计算相邻两次迭代超分辨率重建图像的欧氏距离E;
(8)设置收敛阈值tol=0.0005,判断相邻两次图像超分辨率重建图像的欧氏距离E是否小于收敛阈值tol,如果欧氏距离E大于收敛阈值tol,则重复步骤(3)至步骤(7);否则,迭代结束,输出(6)获得的超分辨重建图像。
本发明与现有技术相比,具有以下优点:
本发明的方法由于在目标函数中引入邻域相似性双边全变分正则项,与现有的双边全变分正则项图像超分辨率重建方法相比,充分利用了图像邻域的相似信息,可以获得更多的细节信息,具有更好的边缘保持特性,在求解时使用分裂布雷格曼方法,求解速度更快。
附图说明
图1是本发明的实现框图;
图2是现有低分辨率图像序列中的一幅图像;
图3是采用现有双边全变分方法对图2中的图像进行超分辨率重建后的输图像;
图4是采用现有非局部全变分方法对图2中的图像进行超分辨率重建后的输出图像;
图5是采用本发明的方法对图2中的图像进行超分辨率重建后的输后图像。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
参照图1,本发明将邻域结构相似性双边全变分引入数字图像超分辨率重建中,具体包括如下步骤:
步骤1,获取低分辨率图像序列Y。
本实施例的低分辨率图像序列由标准测试图片Dollar经过降质后获得,示例图片如图2所示。
2a)对低分辨率图像序列Y的第一帧图像进行上采样,将上采样图像中每个未知像素点的值设置为0,得到上采样后的高分辨率图像YHR;
2b)计算YHR中未知像素点的像素值:
f(x,y)=f(x,y)(1-x)(1-y)+f(x+1,y)x(1-y)+f(x,y+1)(1-x)y+f(x+1,y+1)xy
其中,x为像素点的横坐标,y为像素点的纵坐标,f(x,y)为坐标为(x,y)的像素点的像素值;
3b)计算邻域结构相似性距离矩阵Wt:
步骤5,构建保真项F。
用降质后的图像与每一帧低分辨率图像求2范数,将各个帧求得的2范数累加,得到保真项F,其表示如下:
其中,为参与迭代的超分辨率重建图像,N为低分辨率图像序列的帧数,Dk为第k帧低分辨率图像的下采样矩阵,Hk为第k帧低分辨率图像的模糊矩阵,Fk为第k帧低分辨率图像的位移矩阵,Yk为第k帧低分辨率图像,表示2范数。
步骤6,构建目标函数J。
其中,本实例中μ的取值为0.72,λ的取值为0.97。
步骤7,应用分裂布雷格曼方法,修改目标函数。
在目标函数J中加入分裂项和松弛参数,可将目标函数转变为约束最优化问题,显著提高求解速度,具体步骤按如下进行:
7a)加入分裂项,令dt=Υ(Xt),将目标函数改写为:
7b)使用松弛参数dt将目标函数J松弛为:
7c)根据布雷格曼迭代方法,加入辅助参数bt,形成最终的目标函数:
在求解目标函数最小化的过程中,交替计算松弛参数、辅助参数和超分辨率重建图像,具体步骤如下:
步骤9,设置收敛阈值tol,计算相邻两次迭代的超分辨率重建图像的欧氏距离E。
本实例设置收敛阈值tol=0.0005,欧氏距离E的计算方式按如下步骤进行:
步骤10,输出超分辨率重建的图像。
本发明的效果可以通过以下仿真实验进一步说明。
仿真实验1,采用现有双边全变分方法对图2中的低分辨率图像以缩放因子4进行超分辨率重建,结果如图3。
仿真实验2,采用现有非局部全变分方法对图2中的低分辨率图像以缩放因子4进行超分辨率重建,结果如图4。
仿真实验3,采用本发明方法对图2中的低分辨率图像以缩放因子4进行超分辨率重建,结果如图5。
通过图3、图4和图5的对比可以看出,经本发明方法重建的超分辨率图像较于现有的全变分方法、双边全变分方法重建的超分辨率图像,细节更丰富,边缘更清晰。
仿真实验4,使用峰值信噪比PSNR和结构相似度SSIM量化评价本发明提出的邻域结构相似性双边全变分图像超分辨率重建方法与现有双边全变分方法以及非局部全变分方法的性能。
1)峰值信噪比PSNR的数学表达式为:
其中,I(i,j)为原高分辨率图像坐标(i,j)处的像素值,I0(i,j)为超分辨率重建后图像坐标(i,j)处的像素值,M为图像的长度,N为图像的宽度。
PSNR取值越大表明超分辨率重建效果越好。
2)结构相似度SSIM的数学表达式为:
SSIM(X,Y)=[I(X,Y)]α·[c(X,Y)]β·[s(X,Y)]γ
其中,亮度比较项μX和μY分别表示原高分辨率图像X和超分辨率重建后图像Y的所有像素点像素值的均值,C1为常数,α为亮度比较项指数;对比度比较项σX和σY分别表示未受噪声污染图像X和校正后图像Y的方差,C2为常数,β为对比度比较项指数;结构比较项σXY为未受噪声污染图像X和校正后图像Y的协方差,C3为常数,γ为结构比较项指数。
SSIM取值越大说明超分辨率重建图像与原始图像场景结构相似度越高,细节保持能力越好。
使用上述的峰值信噪比PSNR和结构相似度SSIM分别估计现有的双边全变分方法重建的超分辨率图像图3和非局部全变分方法重建的超分辨率图像图4以及本发明提出的邻域结构相似性双边全变分图像超分辨率重建方法重建的超分辨率图像图5,实验结果见表1。
表1对比测试结果的量化参数对比表
由表1可见:
用本发明方法重建的超分辨图像的峰值信噪比PSNR明显高于双边全变分法和非局部全变分法的结果,说明经本发明重建的超分辨率图像包含了更多的细节信息。
用本发明方法重建的超分辨图像的结构相似性系数SSIM明显高于双边全变分法和非局部全变分法的结果,说明经本发明的方法重建后的超分辨率图像保留了原始图像中更多的结构特性。
表1结果充分说明,本发明方法的超分辨率重建效果更好,既保留了原始场景更多的细节信息,还具有更好的结构保持特性。
综上,本发明所提出的基于邻域结构相似性双边全变分图像超分辨率重建方法可以更大限度地重建原始图像中的细节信息和结构特性。
需要说明的是,上述实施例不以任何形式限制本发明,凡采用等同替换或等效变换的方式所获得的技术方案,均落在本发明的保护范围内。
Claims (7)
1.一种基于邻域相似性的双边全变分图像超分辨率重建方法,包括:
(1)获取低分辨率图像序列Y;
(5)构建由保真项F和邻域结构相似性双边全变分正则项组成的目标函数J:
(7)计算相邻两次迭代超分辨率重建图像的欧氏距离E;
(8)设置收敛阈值tol=0.0005,判断相邻两次图像超分辨率重建图像的欧氏距离E是否小于收敛阈值tol,如果欧氏距离大于收敛阈值tol,则重复步骤(3)至步骤(7);否则,迭代结束,输出(6)获得的超分辨重建的图像。
6.根据权利要求1所述的方法,其中步骤(6)中采用分裂布雷格曼方法求解目标函数最小化问题,按如下步骤进行:
(6a)按照分裂布雷格曼方法,使用第t次迭代的松弛参数dt对目标函数进行松弛,并加入第t次迭代的辅助参数bt,其中d0和b0的值都为0;
bt=bt-1+(Υ(Xt)-dt);
(6e)计算邻域结构相似性双边结构相似距离矩阵Wt:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810112609.6A CN108460723B (zh) | 2018-02-05 | 2018-02-05 | 基于邻域相似性的双边全变分图像超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810112609.6A CN108460723B (zh) | 2018-02-05 | 2018-02-05 | 基于邻域相似性的双边全变分图像超分辨率重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108460723A CN108460723A (zh) | 2018-08-28 |
CN108460723B true CN108460723B (zh) | 2021-07-27 |
Family
ID=63239711
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810112609.6A Active CN108460723B (zh) | 2018-02-05 | 2018-02-05 | 基于邻域相似性的双边全变分图像超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108460723B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110415173A (zh) * | 2019-07-31 | 2019-11-05 | 南京邮电大学 | 一种基于三维总变分的图像超分辨率方法 |
CN111626931B (zh) * | 2020-05-06 | 2023-08-08 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、存储介质与电子设备 |
WO2022000192A1 (zh) * | 2020-06-29 | 2022-01-06 | 深圳先进技术研究院 | 一种ct图像的构建方法、ct设备以及存储介质 |
CN111968192A (zh) * | 2020-06-29 | 2020-11-20 | 深圳先进技术研究院 | 一种ct图像的构建方法、ct设备以及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102360498A (zh) * | 2011-10-27 | 2012-02-22 | 江苏省邮电规划设计院有限责任公司 | 图像超分辨率重建方法 |
WO2013168618A1 (ja) * | 2012-05-09 | 2013-11-14 | 株式会社日立国際電気 | 画像処理装置及び画像処理方法 |
CN103824273A (zh) * | 2014-03-19 | 2014-05-28 | 中科院成都信息技术股份有限公司 | 基于复合运动和自适应非局部先验的超分辨率重建方法 |
CN104809461A (zh) * | 2015-05-08 | 2015-07-29 | 内蒙古科技大学 | 结合序列图像超分辨率重建的车牌识别方法及系统 |
CN107067367A (zh) * | 2016-09-08 | 2017-08-18 | 南京工程学院 | 一种图像超分辨重建处理方法 |
-
2018
- 2018-02-05 CN CN201810112609.6A patent/CN108460723B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102360498A (zh) * | 2011-10-27 | 2012-02-22 | 江苏省邮电规划设计院有限责任公司 | 图像超分辨率重建方法 |
WO2013168618A1 (ja) * | 2012-05-09 | 2013-11-14 | 株式会社日立国際電気 | 画像処理装置及び画像処理方法 |
CN103824273A (zh) * | 2014-03-19 | 2014-05-28 | 中科院成都信息技术股份有限公司 | 基于复合运动和自适应非局部先验的超分辨率重建方法 |
CN104809461A (zh) * | 2015-05-08 | 2015-07-29 | 内蒙古科技大学 | 结合序列图像超分辨率重建的车牌识别方法及系统 |
CN107067367A (zh) * | 2016-09-08 | 2017-08-18 | 南京工程学院 | 一种图像超分辨重建处理方法 |
Non-Patent Citations (2)
Title |
---|
Total variation regularized iterative back-projection method for single frame image super resolution;LAI Rui et al;《2012 IEEE 11th International Conference on Signal Processing》;20130404;第931-934页 * |
双边全变分的自适应核回归超分辨率重建;孙学芳等;《计算机工程与应用》;20131031;第49卷(第20期);第175-178页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108460723A (zh) | 2018-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jin et al. | A flexible deep CNN framework for image restoration | |
Zhang et al. | Accurate image restoration with attention retractable transformer | |
Huang et al. | Robust single-image super-resolution based on adaptive edge-preserving smoothing regularization | |
Zhang et al. | Image super-resolution based on structure-modulated sparse representation | |
CN108460723B (zh) | 基于邻域相似性的双边全变分图像超分辨率重建方法 | |
Zhang et al. | A super-resolution reconstruction algorithm for surveillance images | |
CN113808032A (zh) | 多阶段渐进式的图像去噪算法 | |
CN109767389B (zh) | 基于局部和非局部联合先验的自适应加权双范数遥感图像盲超分辨重建方法 | |
CN107194889B (zh) | 分块双边全变分正则化图像噪声消除方法 | |
CN110689509A (zh) | 基于循环多列3d卷积网络的视频超分辨率重建方法 | |
Mikaeli et al. | Single-image super-resolution via patch-based and group-based local smoothness modeling | |
Chen et al. | Attention-based broad self-guided network for low-light image enhancement | |
Yang et al. | Super-resolution image reconstruction using fractional-order total variation and adaptive regularization parameters | |
CN113240581A (zh) | 一种针对未知模糊核的真实世界图像超分辨率方法 | |
Islam et al. | Super resolution of 3d MRI images using a Gaussian scale mixture model constraint | |
Chen et al. | Nonlocal low-rank matrix completion for image interpolation using edge detection and neural network | |
CN112070676B (zh) | 一种双通道多感知卷积神经网络的图片超分辨率重建方法 | |
CN114757826A (zh) | 一种基于多特征的pocs图像超分辨率重建方法 | |
Gan et al. | Adaptive joint nonlocal means denoising back projection for image super resolution | |
Zhang et al. | Deep residual network based medical image reconstruction | |
CN113628114A (zh) | 一种双通道稀疏编码的图像超分辨率重建方法 | |
CN112488920A (zh) | 一种基于类高斯模糊核的图像正则化超分辨重建方法 | |
CN108648143B (zh) | 一种利用序列图像的图像分辨率增强方法 | |
Nawaz et al. | Image super resolution by sparse linear regression and iterative back projection | |
Huang et al. | MESR: Multistage enhancement network for image super-resolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |