CN106600539A - 一种基于局部跨尺度自回归模型的单幅图像超分辨率方法 - Google Patents

一种基于局部跨尺度自回归模型的单幅图像超分辨率方法 Download PDF

Info

Publication number
CN106600539A
CN106600539A CN201611167531.5A CN201611167531A CN106600539A CN 106600539 A CN106600539 A CN 106600539A CN 201611167531 A CN201611167531 A CN 201611167531A CN 106600539 A CN106600539 A CN 106600539A
Authority
CN
China
Prior art keywords
local
pixel
resolution
image
smooth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611167531.5A
Other languages
English (en)
Other versions
CN106600539B (zh
Inventor
何娟
万蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN201611167531.5A priority Critical patent/CN106600539B/zh
Publication of CN106600539A publication Critical patent/CN106600539A/zh
Application granted granted Critical
Publication of CN106600539B publication Critical patent/CN106600539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术，其公开了一种基于局部跨尺度自回归模型的单幅图像超分辨率方法，解决传统技术中采用平滑先验或者梯度先验对重建图像进行约束带来的会模糊输出图像细节或者输出结果过于锐化的问题。该方法包括以下步骤：a.对原始输入低分辨率图像利用双三次插值得到初始估计；b.计算图上所有局部5*5像素块的像素方差并进行非平滑性检测；c.利用得到的初始估计，进行2倍下采样得到4幅下采样版本的低分辨率图；d.对每一幅低分辨率图的每一个像素点进行选择性像素处理：如果像素点为非平滑点，则利用SAI方法估计其局部回归模型，否则，直接预设模型参数；e.根据4幅图估计的所有局部回归模型，利用迭代求解的方法对重建的高分辨率图进行约束。

Description

一种基于局部跨尺度自回归模型的单幅图像超分辨率方法
技术领域
本发明涉及图像处理技术，具体涉及一种基于局部跨尺度自回归模型的单幅图像超分辨率方法。
背景技术
图像超分辨率是从一个或多个输入低分辨率图像恢复高分辨率图像的技术。该技术也是其它许多实际应用的基础工作，例如：目标检测、视频监督、医学成像处理。过去的三十年中，许多超分辨率方法被研究者们提出来用于解决各种应用背景下的高分辨率图像估计问题。总的来说，这些方法可以分为三大类：基于插值的方法、基于学习的方法、基于重建的方法。虽然目前很多方法已经能够获取不错的效果，但随着应用需求的增长，人们仍然希望能够有更好的超分辨率方法来进一步提升图像分辨率。
单幅图像超分辨率属于严重的病态逆问题，为了降低问题病态性，需要加入合适的图像先验信息对输出的解进行约束。常见的图像先验包括平滑先验(如:总变分先验、吉诺洪夫先验)、梯度先验(如:梯度轮廓先验)等。但是平滑先验会模糊输出图像的细节信息，而梯度轮廓先验会是输出结果过于锐化，而且，如果测试图像不符合假设的梯度轮廓先验时，效果会大大降低。
发明内容
本发明所要解决的技术问题是：提出一种基于局部跨尺度自回归模型的单幅图像超分辨率方法，解决传统技术中采用平滑先验或者梯度先验对重建图像进行约束带来的会模糊输出图像细节或者输出结果过于锐化的问题。
本发明解决其技术问题所采用的技术方案是：
一种基于局部跨尺度自回归模型的单幅图像超分辨率方法，包括以下步骤：
a.对原始输入低分辨率图像利用双三次插值得到初始估计；
b.计算图上所有局部5*5像素块的像素方差并进行非平滑性检测：若像素方差大于某一门限，则判定该像素块为非平滑区域，否则判定为平滑区域；
c.利用得到的初始估计，进行2倍下采样得到4幅下采样版本的低分辨率图；
d.对每一幅低分辨率图的每一个像素点进行选择性像素处理：如果像素点为非平滑点，则利用SAI方法估计其局部回归模型，否则，直接预设模型参数；
e.根据4幅图估计的所有局部回归模型，利用迭代求解的方法对重建的高分辨率图进行约束；
f.当前后两次迭代结果的差值与当前估计值的比值小于预设的门限，或者判定迭代次数到达预设值，停止迭代，否则跳转至步骤b。
作为进一步优化，步骤d中，直接预设模型参数包括：对角邻域上的四个模型参数直接赋值为1/4，其余为0。
本发明的有益效果是：能够获得很好的超分辨率效果，明显优于经典的基于平滑先验、梯度先验等的超分辨率方法；而且本发明的实质是提出了一个有效的图像先验信息，能够很容易地扩展到其它图像视频处理领域，例如图像去模糊、图像修复、视频超分辨率等。
附图说明
图1为实施例基于局部跨尺度自回归模型的单幅图像超分辨率方法流程图。
具体实施方式
本发明旨在提出一种基于局部跨尺度自回归模型的单幅图像超分辨率方法，解决传统技术中采用平滑先验或者梯度先验对重建图像进行约束带来的会模糊输出图像细节或者输出结果过于锐化的问题。
为了更好地保持恢复图像的细节信息，本发明提出一种具有自适应边缘保持的先验技术，而局部跨尺度自适应回归模型正好能够很好地用于本工作中。该模型在图像插值中取得了良好的效果，能够很好地保持边缘信息。
局部回归模型是指：在“图像的局部区域内，给定的图像结构是恒定的”的假设下，利用最小二乘对该结构模型参数进行求解。
跨尺度自回归模型是指，由低分辨率图像求得的模型能够近似表示该局部区域在高分辨率图像上的模型关系。
在图像插值中，首先在输入低分辨率图上求解局部回归模型，接着假设图像的未知高分辨率模型参数与对应的低分辨率版本参数一致，利用求得的参数对未知高分辨率像素进行估计。但在超分辨率中，低分辨率图像均是降质之后的小图(包含模糊等)，使得直接利用低分辨率估计的大图性能不佳。而且由于插值方法，如:软决策自适应插值(SAI)，只能进行2倍插值，而超分辨率往往需要处理多种不同的放大倍数。为了将局部回归模型用于超分辨率，并获取更好的恢复效果，我们采用如下的策略:
针对输入低分辨率图像存在模糊等降质，会降低模型参数估计精度的问题，我们采用迭代的参数估计方法，在迭代过程中不断更新模型参数。
针对任意放大倍数，我们不直接在输入低分辨率图上进行模型参数估计，而是在每次迭代估计图的2倍下采样版本上进行估计，这样使得算法能够处理任意放大倍数。
为了加快处理速度，对平滑区域直接采用预设值的方式(对角邻域上的四个模型参数直接赋值为1/4，其余为0)，非平滑区域采用上述局部模型求解方法。
下面结合附图及实施例对本发明的方案作进一步的描述：
如图1所示，本实施例中的基于局部跨尺度自回归模型的单幅图像超分辨率方法，采用以下步骤：
步骤一、对原始输入低分辨率图像利用双三次插值得到初始估计；
步骤二、计算图上所有局部5*5像素块的像素方差进行非平滑性检测，大于某一门限的判断为非平滑区域，否则为平滑区域；
步骤三、利用得到的初始估计，进行2倍下采样得到4幅下采样版本的低分辨率图；
步骤四、对每一幅低分辨率图的每一个像素点进行选择性像素处理，如果为非平滑点，利用SAI方法估计其局部回归模型，否则直接预设模型参数(对角邻域上的四个模型参数直接赋值为1/4，其余为0)；
步骤五、根据这四幅图估计的所有局部回归模型，利用迭代求解的方法对重建的高分辨率图进行约束；
步骤六，当前后两次迭代结果的差值与当前估计值的比值小于预设的门限，或者迭代次数到达预设值，停止迭代，否则跳到步骤二；
为了测试本发明的单幅图像超分辨率性能，分别与几种典型的图像超分辨率方法进行了比较，例如：传统的TV方法、稀疏表示的方法、深度学习的方法等；
对比的客观参数包括：峰值信噪比(PSNR)、结构相似度(SSIM)、信息保真度(IFC)。经过对BSDS500数据库进行测试得出:本发明对大多数图像的超分辨率重建效果均优于目前的主流方法，从而提升了图像处理效果。

Claims (2)

1.一种基于局部跨尺度自回归模型的单幅图像超分辨率方法，
其特征在于，包括以下步骤：
a.对原始输入低分辨率图像利用双三次插值得到初始估计；
b.计算图上所有局部5*5像素块的像素方差并进行非平滑性检测：若像素方差大于某一门限，则判定该像素块为非平滑区域，否则判定为平滑区域；
c.利用得到的初始估计，进行2倍下采样得到4幅下采样版本的低分辨率图；
d.对每一幅低分辨率图的每一个像素点进行选择性像素处理：如果像素点为非平滑点，则利用SAI方法估计其局部回归模型，否则，直接预设模型参数；
e.根据4幅图估计的所有局部回归模型，利用迭代求解的方法对重建的高分辨率图进行约束；
f.当前后两次迭代结果的差值与当前估计值的比值小于预设的门限，或者判定迭代次数到达预设值，停止迭代，否则跳转至步骤b。
2.如权利要求1所述的一种基于局部跨尺度自回归模型的单幅图像超分辨率方法，其特征在于，步骤d中，直接预设模型参数包括：对角邻域上的四个模型参数直接赋值为1/4，其余为0。
CN201611167531.5A 2016-12-16 2016-12-16 一种基于局部跨尺度自回归模型的单幅图像超分辨率方法 Active CN106600539B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611167531.5A CN106600539B (zh) 2016-12-16 2016-12-16 一种基于局部跨尺度自回归模型的单幅图像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611167531.5A CN106600539B (zh) 2016-12-16 2016-12-16 一种基于局部跨尺度自回归模型的单幅图像超分辨率方法

Publications (2)

Publication Number Publication Date
CN106600539A true CN106600539A (zh) 2017-04-26
CN106600539B CN106600539B (zh) 2019-09-24

Family

ID=58599535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611167531.5A Active CN106600539B (zh) 2016-12-16 2016-12-16 一种基于局部跨尺度自回归模型的单幅图像超分辨率方法

Country Status (1)

Country Link
CN (1) CN106600539B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741263A (zh) * 2019-01-11 2019-05-10 四川大学 基于自适应联合约束的遥感图像超分辨率重建算法
CN111738924A (zh) * 2020-06-22 2020-10-02 北京字节跳动网络技术有限公司 图像处理方法及装置
CN112288629A (zh) * 2020-10-27 2021-01-29 河南威虎智能科技有限公司 一种跨尺度图神经网络的超分辨率方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722863A (zh) * 2012-04-16 2012-10-10 天津大学 采用自回归模型对深度图进行超分辨率重建的方法
CN104008538A (zh) * 2014-05-12 2014-08-27 清华大学 基于单张图像超分辨率方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722863A (zh) * 2012-04-16 2012-10-10 天津大学 采用自回归模型对深度图进行超分辨率重建的方法
CN104008538A (zh) * 2014-05-12 2014-08-27 清华大学 基于单张图像超分辨率方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
J HU等: "Single-image superresolution based on local regression and non-local similarity", 《JOURNAL OF ELECTRONIC IMAGING》 *
刘婧: "基于统计学习的压缩图像超分辨率内插研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741263A (zh) * 2019-01-11 2019-05-10 四川大学 基于自适应联合约束的遥感图像超分辨率重建算法
CN111738924A (zh) * 2020-06-22 2020-10-02 北京字节跳动网络技术有限公司 图像处理方法及装置
CN112288629A (zh) * 2020-10-27 2021-01-29 河南威虎智能科技有限公司 一种跨尺度图神经网络的超分辨率方法
CN112288629B (zh) * 2020-10-27 2024-03-01 河南威虎智能科技有限公司 一种跨尺度图神经网络的超分辨率方法

Also Published As

Publication number Publication date
CN106600539B (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
Huang et al. Unfolding the alternating optimization for blind super resolution
Sajjadi et al. Frame-recurrent video super-resolution
EP2294808B1 (en) Method and system for efficient video processing
US9087390B2 (en) High-quality upscaling of an image sequence
US8326069B2 (en) Computing higher resolution images from multiple lower resolution images
US20180324465A1 (en) Edge-aware spatio-temporal filtering and optical flow estimation in real time
CN106169173B (zh) 一种图像插值方法
CN103514582A (zh) 基于视觉显著的图像去模糊方法
CN106169174B (zh) 一种图像放大方法
CN106600539A (zh) 一种基于局部跨尺度自回归模型的单幅图像超分辨率方法
US20170169545A1 (en) Method and device for enhancing quality of an image
CN110689509A (zh) 基于循环多列3d卷积网络的视频超分辨率重建方法
Zhao et al. A generalized detail-preserving super-resolution method
Yu et al. Split-attention multiframe alignment network for image restoration
CN106558021B (zh) 基于超分辨率技术的视频增强方法
Yuan et al. Fast super-resolution for license plate image reconstruction
CN103903239B (zh) 一种视频超分辨率重建方法及其系统
Ning et al. Multi-frame image super-resolution reconstruction using sparse co-occurrence prior and sub-pixel registration
Krämer et al. Local object-based super-resolution mosaicing from low-resolution video
Mohan Adaptive super-resolution image reconstruction with lorentzian error norm
Al Ismaeil et al. Multi-frame super-resolution by enhanced shift & add
CN110121016B (zh) 一种基于双重曝光先验的视频去模糊方法及装置
Xu et al. An image sharpening algorithm for high magnification image zooming
CN106204445A (zh) 基于结构张量全变差的图像视频超分辨率方法
Gan et al. Adaptive joint nonlocal means denoising back projection for image super resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant