CN102222320A - 基于全变分迭代反向投影的单帧图像空间分辨率增强方法 - Google Patents
基于全变分迭代反向投影的单帧图像空间分辨率增强方法 Download PDFInfo
- Publication number
- CN102222320A CN102222320A CN 201110134444 CN201110134444A CN102222320A CN 102222320 A CN102222320 A CN 102222320A CN 201110134444 CN201110134444 CN 201110134444 CN 201110134444 A CN201110134444 A CN 201110134444A CN 102222320 A CN102222320 A CN 102222320A
- Authority
- CN
- China
- Prior art keywords
- back projection
- image
- resolution
- projection error
- definition picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于全变分迭代反向投影的单帧图像空间分辨率增强方法,其方法是:(1)利用双线性插值获取低分辨率图像Il的初始高分辨率估计图像(2)利用成像退化模型对降质,将Il与降质后图像作差获取反向投影误差e;(3)利用双线性插值对e上采样,得投影误差ez;(4)利用全变分方法对ez正则化,得修正后的上采样投影误差eTV;(5)利用eTV对进行修正,得反向投影后的高分辨率图像IBP;(6)利用全变分方法对IBP进行正则化,得全变分反向投影处理后的高分辨率图像ITV;(7)将本轮得到的ITV反馈到第(2)步取代进行下一轮反向投影和正则化处理。本发明有效提高了对图像边缘特征的保持,降低图像高分辨率估计值与实际值之间的偏差,可用于单帧灰度或彩色图像的超分辨率复原。
Description
技术领域
本发明属于数字信号处理技术领域,是一种数字图像复原方法,具体涉及的是基于全变分迭代反向投影的单帧图像空间分辨率增强方法,适合用于单帧图像的空间分辨率增强。
背景技术
高空间分辨率的图像能够提供更丰富的场景细节信息,因而成为当今医学影像、遥感遥测、多媒体通信以及光电显示等应用领域的迫切需求。然而许多成像系统受其物理条件的限制,所获取图像的空间分辨率较低。提高成像分辨率最直接的途径就是通过增加探测元密度以实现空间采样率的提升。而高密度图像传感器的研制涉及到多个基础研究领域,难以在短时间内完成;此外,随着探测元尺寸的减小,散弹噪声将会严重影响成像信噪比,探测元尺寸的下限也受到限制。可见,采用改善成像装置硬件的方法获取高分辨率图像,成本高且难于实现。而采用基于现代信号处理的超分辨率复原技术,无需改变成像系统结构,仅通过计算机软件处理就能提高图像的高空间分辨率,是一种低费效比的方法。
超分辨率复原方法分为:序列帧超分辨率方法和单帧超分辨率方法两类。其中,前者利用帧间的亚像素平移提供的大量冗余信息重建高分辨率图像,但此类方法需进行大量的相关运算和数据吞吐操作,且需要大容量的外部存储空间,从而导致难以实现实时处理。因此,在实时性要求较高的应用中多采用单帧超分辨率方法。
单帧超分辨率方法通过引入约束条件发掘附加信息以恢复成像过程中损失的高分辨率细节。现有的单帧超分辨率方法通常可分为基于实例和基于插值两类。基于实例的方法可产生高分辨率的细节,但计算复杂度较高;基于插值的方法计算简单执行效率高,但会导致图像边缘模糊。为了使基于插值的超分辨率方法所产生图像边缘更加清晰,许多改进算法被提出来。例如,边缘方向插值,该方法需要去模糊的后处理过程,然而对边缘的精确定位本身就难以实现。此外,迭代反向投影方法同时实现了插值和去模糊,然而此方法却会在所获得图像的边缘处产生棋盘和振铃效应,从而影响到超分辨率复原效果。显然,上述方法对图像边缘特征保持方面还存在不足,不利于图像的高分辨率细节恢复。因此,针对如何保持图像的边缘特征,寻求一种有效而可靠的方法对单帧图像超分辨率复原就显得尤为重要。
发明内容
针对上述存在的问题,本发明的目的是在于将全变分方法引入到迭代误差的正则化过程中,提出了一种新颖的基于全变分迭代反向投影的单帧图像空间分辨率增强方法,以减小图像高分辨率估计值与实际值之间的偏差,提高复原图像边缘和纹理的清晰度。
实现本发明目的的技术方案是:针对单帧图像超分辨率复原中边缘特征保持的要求,引入全变分方法以正则化迭代误差,将全变分方法与迭代反向投影超分辨率方法相结合,具体步骤如下:
(1)利用双线性插值方法对低分辨率图像Il进行插值,获取高分辨率图像的估计值
(3)利用双线性插值方法对反向投影误差进行插值,获取上采样的投影误差值ez。
(4)利用全变分方法对投影误差ez进行正则化,得到修正后的上采样投影误差eTV。
(6)再次利用全变分方法对IBP进行正则化,得到全变分反向投影处理后的高分辨率图像ITV。
上述步骤(2),高分辨率图像Ih退化成低分辨率图像Il的成像过程,根据公式Il=(Ih*B)↓S的退化模型描述,式中B代表模糊因子,它由探测器的点扩散函数决定,*代表卷积算子,↓S代表S倍下采样算子;根据上述退化模型,可计算出高分辨率图像估计值经过降质处理后的低分辨率图像而后将与实际的低分辨率图像Il作差,计算出反向投影误差
上述步骤(4)中eTV的计算公式为
本发明由于在迭代的重建误差修正过程中将全变分正则化与反向投影复原方法相结合,即用全变分方法对每一轮次的反向投影误差和结果进行正则化处理,能够有效地提高对各向异性边缘特征的保持,从而降低了图像高分辨率估计值与实际值之间的偏差,使得超分辨率复原后的图像边缘和纹理细节更加锐利清晰。
附图说明
图1是本发明的实现框图;
图2是本发明方法与现有方法对灰度图像分辨率增强效果对比图;
图3是本发明方法与现有方法对彩色图像分辨率增强效果对比图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体实施方式,进一步阐述本发明。
参照图1,本实施例是基于全变分迭代反向投影的单帧图像空间分辨率增强,包括以下步骤:
步骤1,利用双线性插值方法对低分辨率图像Il进行插值,获取高分辨率图像的估计值
式中,↑S代表S倍双线性插值算子。
通常,高分辨率图像Ih退化成低分辨率图像Il的成像过程可以用如(2)式所示的退化模型描述,式中B代表模糊因子,它由探测器的点扩散函数决定,*代表卷积算子,↓S代表S倍下采样算子。
Il=(Ih*B)↓S (2)
步骤3,利用双线性插值方法对反向投影误差e进行S倍的插值,获取上采样的投影误差值
ez=(e)↑S (5)
步骤4,利用全变分方法对投影误差ez进行正则化,得到修正后的上采样投影误差
步骤5,利用eTV对高分辨率图像的估计值进行修正,得到反向投影后的高分辨率图像
式中,p为恒定的反向投影核。
步骤6,再次利用全变分方法对IBP进行正则化,得到全变分反向投影处理后的高分辨率图像
式中,IBP为本轮步骤5得到反向投影后的高分辨率图像,为上一轮步骤5得到反向投影后的高分辨率图像。
本实施例提出的基于全变分迭代反向投影的空间分辨率增强方法与现有方法对灰度和彩色图像的分辨率增强效果分别如图2和图3所示。从图2和图3可以看出,本发明提出的全变分迭代反向投影方法在边缘特征的保持方面要优于现有的双线性插值、改进的新边缘方向插值(iNEDI)、迭代曲率插值(ICBI)、迭代反向投影(IBP)和非局部迭代反向投影(NLIBP)方法。
本实施例提出的空间分辨率增强方法与现有方法性能的量化对比分别如表1和表2所示。
表1本实施例的方法与现有方法仿真结果的PSNR对比
由表1可见,经本实施例提出方法增强后的图像的峰值信噪比(PSNR)显著高于现有方法增强后的图像。
表2本实施例方法与现有方法仿真结果的SSIM对比
由表2可见,经本实施例提出方法增强后图像的结构相似度(SSIM)也显著高于现有方法增强后的图像。
上述结果充分说明了,本发明方法在对图像进行空间分辨率增强时能够更好地保留边缘和细节信息,从而更加接近实际的高分辨率图像。
综上,本发明所提出的基于全变分的迭代反向投影方法能在增强图像空间分辨率的同时有效保持了边缘特征,对图像的高分辨率细节的恢复起到了重要作用。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (3)
1.基于全变分迭代反向投影的单帧图像空间分辨率增强方法,其特征在于,其包括如下步骤:
(1)利用双线性插值方法对低分辨率图像Il进行插值,获取高分辨率图像的估计值
式中,↑S代表S倍双线性插值算子;
(3)利用双线性插值方法对反向投影误差进行插值,获取上采样的投影误差值ez;
(4)利用全变分方法对投影误差ez进行正则化,得到修正后的上采样投影误差eTV;
(6)再次利用全变分方法对IBP进行正则化,得到全变分反向投影处理后的高分辨率图像
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110134444 CN102222320B (zh) | 2011-05-24 | 2011-05-24 | 基于全变分迭代反向投影的单帧图像空间分辨率增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110134444 CN102222320B (zh) | 2011-05-24 | 2011-05-24 | 基于全变分迭代反向投影的单帧图像空间分辨率增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102222320A true CN102222320A (zh) | 2011-10-19 |
CN102222320B CN102222320B (zh) | 2013-01-02 |
Family
ID=44778865
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110134444 Expired - Fee Related CN102222320B (zh) | 2011-05-24 | 2011-05-24 | 基于全变分迭代反向投影的单帧图像空间分辨率增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102222320B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102800047A (zh) * | 2012-06-20 | 2012-11-28 | 天津工业大学 | 一种单帧图像超分辨率重构方法 |
WO2016106951A1 (zh) * | 2014-12-30 | 2016-07-07 | 华中科技大学 | 一种方向自适应图像去模糊方法 |
CN103839238B (zh) * | 2014-02-28 | 2017-02-15 | 西安电子科技大学 | 一种基于边缘信息和反卷积的sar图像超分辨率方法 |
CN106920213A (zh) * | 2017-01-19 | 2017-07-04 | 首都师范大学 | 一种高分辨率图像的获取方法及系统 |
CN107155096A (zh) * | 2017-04-19 | 2017-09-12 | 清华大学 | 一种基于半误差反向投影的超分辨率重建方法及装置 |
CN108320267A (zh) * | 2018-02-05 | 2018-07-24 | 电子科技大学 | 用于人脸图像的超分辨率处理方法 |
CN108734658A (zh) * | 2018-05-16 | 2018-11-02 | 四川大学 | 一种高分辨率图像的重建方法及系统 |
CN109389559A (zh) * | 2017-08-14 | 2019-02-26 | 美国科视数字系统有限公司 | 通过移位叠加的基于空间的实时分辨率增强 |
CN111932453A (zh) * | 2020-07-20 | 2020-11-13 | 合肥富煌君达高科信息技术有限公司 | 高分辨率图像生成方法及集成该方法的高速相机 |
CN112837219A (zh) * | 2021-01-14 | 2021-05-25 | Oppo广东移动通信有限公司 | 图像处理方法、装置以及电子设备 |
CN113129215A (zh) * | 2021-04-29 | 2021-07-16 | 中国科学院合肥物质科学研究院 | 一种污染气体ftir被动遥测扫描成像高分辨重建方法 |
CN113592728A (zh) * | 2021-07-01 | 2021-11-02 | 温州理工学院 | 一种图像复原方法、系统、处理终端及计算机介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060215891A1 (en) * | 2005-03-23 | 2006-09-28 | General Electric Company | Method and system for controlling image reconstruction |
CN101441765A (zh) * | 2008-11-19 | 2009-05-27 | 西安电子科技大学 | 保持边缘清晰的自适应正则超分辨图像重建方法 |
CN101639932A (zh) * | 2008-07-28 | 2010-02-03 | 汉王科技股份有限公司 | 一种数字图像分辨率增强的方法及系统 |
-
2011
- 2011-05-24 CN CN 201110134444 patent/CN102222320B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060215891A1 (en) * | 2005-03-23 | 2006-09-28 | General Electric Company | Method and system for controlling image reconstruction |
CN101639932A (zh) * | 2008-07-28 | 2010-02-03 | 汉王科技股份有限公司 | 一种数字图像分辨率增强的方法及系统 |
CN101441765A (zh) * | 2008-11-19 | 2009-05-27 | 西安电子科技大学 | 保持边缘清晰的自适应正则超分辨图像重建方法 |
Non-Patent Citations (2)
Title |
---|
《中国图象图形学报》 20091031 余丽红,冯衍秋,陈武凡 基于自适应正则化的全变分去噪算法 1950-1953 1-3 第14卷, 第10期 * |
《红外技术》 20101031 聂笃宪,陈一梅,陈鹤峰 去混合噪声的超分辨率图像重建算法 604-607 1-3 第32卷, 第10期 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102800047B (zh) * | 2012-06-20 | 2017-04-26 | 天津工业大学 | 一种单帧图像超分辨率重构方法 |
CN102800047A (zh) * | 2012-06-20 | 2012-11-28 | 天津工业大学 | 一种单帧图像超分辨率重构方法 |
CN103839238B (zh) * | 2014-02-28 | 2017-02-15 | 西安电子科技大学 | 一种基于边缘信息和反卷积的sar图像超分辨率方法 |
WO2016106951A1 (zh) * | 2014-12-30 | 2016-07-07 | 华中科技大学 | 一种方向自适应图像去模糊方法 |
US9582862B2 (en) | 2014-12-30 | 2017-02-28 | Huazhong University Of Science And Technology | Direction-adaptive image deblurring method |
CN106920213A (zh) * | 2017-01-19 | 2017-07-04 | 首都师范大学 | 一种高分辨率图像的获取方法及系统 |
CN107155096A (zh) * | 2017-04-19 | 2017-09-12 | 清华大学 | 一种基于半误差反向投影的超分辨率重建方法及装置 |
CN109389559B (zh) * | 2017-08-14 | 2023-10-27 | 美国科视数字系统有限公司 | 通过移位叠加的基于空间的实时分辨率增强 |
CN109389559A (zh) * | 2017-08-14 | 2019-02-26 | 美国科视数字系统有限公司 | 通过移位叠加的基于空间的实时分辨率增强 |
CN108320267A (zh) * | 2018-02-05 | 2018-07-24 | 电子科技大学 | 用于人脸图像的超分辨率处理方法 |
CN108734658A (zh) * | 2018-05-16 | 2018-11-02 | 四川大学 | 一种高分辨率图像的重建方法及系统 |
CN108734658B (zh) * | 2018-05-16 | 2020-05-12 | 四川大学 | 一种高分辨率图像的重建方法及系统 |
CN111932453A (zh) * | 2020-07-20 | 2020-11-13 | 合肥富煌君达高科信息技术有限公司 | 高分辨率图像生成方法及集成该方法的高速相机 |
CN112837219A (zh) * | 2021-01-14 | 2021-05-25 | Oppo广东移动通信有限公司 | 图像处理方法、装置以及电子设备 |
CN113129215A (zh) * | 2021-04-29 | 2021-07-16 | 中国科学院合肥物质科学研究院 | 一种污染气体ftir被动遥测扫描成像高分辨重建方法 |
CN113592728A (zh) * | 2021-07-01 | 2021-11-02 | 温州理工学院 | 一种图像复原方法、系统、处理终端及计算机介质 |
CN113592728B (zh) * | 2021-07-01 | 2024-04-05 | 温州理工学院 | 一种图像复原方法、系统、处理终端及计算机介质 |
Also Published As
Publication number | Publication date |
---|---|
CN102222320B (zh) | 2013-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102222320B (zh) | 基于全变分迭代反向投影的单帧图像空间分辨率增强方法 | |
CN107025632B (zh) | 一种图像超分辨率重建方法及系统 | |
US20110242126A1 (en) | Capturing image structure detail from a first image and color from a second image | |
US7043091B2 (en) | Method and apparatus for increasing spatial resolution of an image | |
CN103403758B (zh) | 图像处理装置、图像处理方法、用于图像处理的计算机程序及记录介质 | |
US8150197B2 (en) | Apparatus and method of obtaining high-resolution image | |
US20110211758A1 (en) | Multi-image sharpening and denoising using lucky imaging | |
CN102722875B (zh) | 一种基于视觉注意和质量可变的图像超分辨率重建方法 | |
CN104899835B (zh) | 基于盲模糊估计与锚定空间映射的图像超分辨处理方法 | |
CN103136734A (zh) | POCS超分辨率图像重建时边缘Halo效应的抑制方法 | |
US10007970B2 (en) | Image up-sampling with relative edge growth rate priors | |
CN103530863A (zh) | 一种多级重构的图像超分辨率方法 | |
US8233748B2 (en) | Image-resolution-improvement apparatus and method | |
US20220076459A1 (en) | Image optimization method, apparatus, device and storage medium | |
CN116542889A (zh) | 一种拥有稳定视点的全景视频增强方法 | |
CN104966269A (zh) | 一种多帧超分辨率成像的装置及方法 | |
US20130114892A1 (en) | Method and device for generating a super-resolution image portion | |
CN106920213B (zh) | 一种高分辨率图像的获取方法及系统 | |
WO2021211771A1 (en) | Systems and methods for optical flow estimation | |
CN104732491A (zh) | 一种边缘先验引导的单帧遥感图像超分辨率处理方法 | |
US8111939B2 (en) | Image processing device and image processing method | |
US9911178B2 (en) | System and method for content-adaptive super-resolution via cross-scale self-learning | |
CN112017122A (zh) | 超分辨成像方法 | |
CN107155096A (zh) | 一种基于半误差反向投影的超分辨率重建方法及装置 | |
Al Ismaeil et al. | Multi-frame super-resolution by enhanced shift & add |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130102 Termination date: 20130524 |