CN106485656A - 一种图像超分辨率重构的方法 - Google Patents

一种图像超分辨率重构的方法 Download PDF

Info

Publication number
CN106485656A
CN106485656A CN201610830974.1A CN201610830974A CN106485656A CN 106485656 A CN106485656 A CN 106485656A CN 201610830974 A CN201610830974 A CN 201610830974A CN 106485656 A CN106485656 A CN 106485656A
Authority
CN
China
Prior art keywords
resolution
image
low
interpolation
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610830974.1A
Other languages
English (en)
Other versions
CN106485656B (zh
Inventor
方杰
蔡琳琳
冯久超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201610830974.1A priority Critical patent/CN106485656B/zh
Publication of CN106485656A publication Critical patent/CN106485656A/zh
Application granted granted Critical
Publication of CN106485656B publication Critical patent/CN106485656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像超分辨率重构的方法,步骤包括:将高分辨率图像进行处理得到低分辨率图像的插值图像,接着训练得到高低分辨率字典对;输入低分辨率图像,进行插值处理,得到低分辨率图像的插值图像;将低分辨率的插值图像分解为低分辨率的结构部分、纹理部分,舍弃低分辨率的纹理部分;将低分辨率的插值图像进行提取特征,得到低分辨率图像特征;根据高低分辨率字典对,对低分辨率图像特征进行稀疏重建,得到高分辨率图像纹理部分;将高分辨率图像纹理部分与低分辨率的结构部分合并,得到重构后的高分辨率图像。本发明能够针对性分类训练对应的样本,然后根据分类训练对应的字典对用于后续的超分辨率重构,更能准确地提高重构图像分辨率。

Description

一种图像超分辨率重构的方法
技术领域
本发明涉及图像处理领域,尤其涉及一种图像超分辨率重构的方法。
背景技术
随着现代科技的进步,数字图像得到越来越广泛的应用,逐渐演变成最重要的信息载体之一。而图像的分辨率是评价一幅图像的内容丰富程度的客观标准,分辨率越高说明图像内容越丰富,人们可以从中分析得到的信息越多。然而,现实中也有很多的原因会导致获取的图像分辨率不能达到需求,如硬件方面,受到传感器阵列密度限制的影响;外部条件方面,大气流动,光照条件变化,物体的相对运动等也会造成捕获的图像模糊,分辨率过低。所以,探索提高图像分辨率的方法成为了一件非常必要的事情。
目前,从信号处理方向来考虑,J.C.Yang在2010年提出的基于稀疏表示的图像超分辨率重构(SCSR)方法的基本思想是:以高低分辨率的图像块结合起来为训练数据,通过联合训练的方式得到高低分辨率字典对,使得高低分辨率图像块在高低分辨率字典对下具有相同的稀疏表示。但是,在Yang的方法中,直接将从样本库中采集的高分辨率图像块和低分辨率图像特征矩阵作为训练样本进行超完备字典对的训练,忽略了一些样本库的先验信息,同时也将低分辨率插值图像减去低分辨率插值图像均值的结果作为资源重构出对应的目标高分辨率部分,然后加上低分辨率插值图像均值部分得到最终的高分辨率图像。
于是本文在Yang的方法的基础上,在训练的时候利用图像块的灰度共生矩阵提取特征,然后根据提取的特征将图像块进行分类,对分类后的图像块集分别训练得到对应的高低分辨率字典对。重构的时候引入一种基于Mumford-Shah模型和G空间的图像纹理结构分解技术,将图像分割成纹理部分和结构部分,丢弃纹理部分,保留结构部分,通过训练高低分辨率的字典对来重构出纹理部分丢失的高频信息,然后将保留的结构部分和重构的纹理部分合成最终的高分辨率图像,实验结果证明,经过改进之后会得到更好的重构效果。
发明内容
本发明要解决的技术问题在于,提供一种图像超分辨率重构的方法,具有更好的分辨率重构效果、更快速的重构速率。
为解决上述技术问题,本发明提供如下技术方案:一种图像超分辨率重构的方法,包括以下步骤:
S1、将高分辨率图像进行降采样和插值处理,得到低分辨率图像的插值图像;
S2、将低分辨率图像的插值图像作为训练样本进行训练,得到高低分辨率字典对
S3、输入低分辨率图像,对其进行插值处理,得到低分辨率图像的插值图像;
S4、将低分辨率的插值图像分解为低分辨率的结构部分、纹理部分,舍弃低分辨率的纹理部分;
S5、将步骤S3的低分辨率的插值图像进行提取特征,得到低分辨率图像特征;
S6、根据步骤S2得到的高低分辨率字典对,对低分辨率图像特征进行稀疏重建,得到高分辨率图像纹理部分;
S7、将高分辨率图像纹理部分与步骤S4中低分辨率的结构部分合并,得到重构后的高分辨率图像。
进一步地,所述步骤S2中进行训练的过程具体为:
S21、对低分辨率图像的插值图像进行分块得到图像块,使用滤波器对图像块进行处理,得到图像块的灰度共生矩阵;
S22、将灰度共生矩阵进行求熵处理得到熵值,判断熵值是否为0,若熵值大于0,得到丰富纹理图像块;若熵值等于0,则得到平滑均匀图像块;
S23、将丰富纹理图像块进行训练得到丰富纹理的高分辨率和低分辨率图像;
S24、将步骤S1中的高分辨率图像利用灰度共生矩阵进行提取特征,直接得到平滑均匀图像块;
S25、将平滑均匀图像块训练得到平滑均匀的高分辨率和低分辨率图像;
S26、结合丰富纹理的高分辨率和低分辨率图像、平滑均匀的高分辨率和低分辨率图像,得到高低分辨率字典对。
进一步地,所述步骤S3中插值处理,其具体使用双三插值法处理。
进一步地,所述步骤S4具体为:利用基于Mumford-Shah模型分解技术或G空间的图像纹理结构分解技术将低分辨率的插值图像分解为低分辨率的结构部分、纹理部分。
进一步地,所述步骤S6具体为:设低分辨率图像特征为Fy,高低分辨率字典对分别为Dh、Dl,高分辨率图像纹理部分为Xv
(1)低分辨率图像特征Fy,求优化问题得到α*,其中λ表示分辨率转换系数;
(2)根据Xv=Dhα*,得到高分辨率纹理部分Xv
进一步地,所述步骤S7具体为:高分辨率图像纹理部分与低分辨率的结构部分合并后,然后用梯度下降法搜索最接近且满足重构约束的高分辨率图像。
采用上述技术方案后,本发明至少具有如下有益效果:
(1)本发明在前人工作基础上,在训练样本的过程中提出利用图像块的灰度共生矩阵提取特征并进行分类的训练方法,能够针对性分类训练对应的样本,然后根据分类训练对应的字典对用于后续的超分辨率重构,更能准确地提高重构图像分辨率。
(2)本发明利用重构图像的MS_G模型:既可以保证分解后的结构部分的光滑性,避免阶梯效应,又可以使得分解后的纹理部分图像能够很好的体现图像的纹理信息,最后会得到更好的重构效果。
附图说明
图1本发明一种图像超分辨率重构方法的训练过程流程图;
图2本发明一种图像超分辨率重构方法的重构过程流程图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合,下面结合附图和具体实施例对本申请作进一步详细说明。
如图1和图2所示,本发明提供一种图像超分辨率重构的方法,主要包括训练和重构两大部分,重点在于重构部分。
其中,训练部分步骤流程图如图1所示,重构部分如图2所示,本发明包括以下步骤:
(1)训练:
S1、将高分辨率图像进行降采样和插值处理,得到低分辨率图像的插值图像,使用滤波器对低分辨率图像的插值图像进行处理,得到插值图像的灰度共生矩阵;
S2、将灰度共生矩阵进行求熵处理得到熵值,判断熵值是否为0,若熵值大于0,得到丰富纹理图像块;若熵值等于0,则得到平滑均匀图像块;
S3、将丰富纹理图像块进行训练得到丰富纹理的高分辨率和低分辨率图像;
S4、还可以将步骤S1中的高分辨率图像利用求出来的灰度共生矩阵进行提取特征,可直接得到平滑均匀图像块;
S5、将平滑均匀图像块训练得到平滑均匀的高分辨率和低分辨率图像;
S6、结合丰富纹理的高分辨率和低分辨率图像、平滑均匀的高分辨率和低分辨率图像,得到高低分辨率字典对。
(2)重构:
S7、输入低分辨率图像,对其使用双三插值法进行插值处理,得到低分辨率图像的插值图像;
S8、利用基于Mumford-Shah模型分解技术或G空间的图像纹理结构分解技术,将低分辨率的插值图像分解为低分辨率的结构部分、纹理部分,舍弃低分辨率的纹理部分;
S9、将步骤S7的低分辨率图像的插值图像进行提取特征,得到低分辨率图像特征;
S10、根据步骤S6得到的高低分辨率字典对,对低分辨率图像特征进行稀疏重建,得到高分辨率图像纹理部分:设低分辨率图像特征为Fy,高低分辨率字典对分别为Dh、Dl,高分辨率图像纹理部分为Xv
(1)低分辨率图像特征Fy,求优化问题得到α*,其中λ表示分辨率转换系数;
(2)根据Xv=Dhα*,得到高分辨率纹理部分Xv
S11、将高分辨率图像纹理部分与步骤S4中低分辨率的结构部分合并,得到重构后的高分辨率图像,然后用梯度下降法搜索最接近且满足重构约束的高分辨率图像。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解的是,在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型,本发明的范围由所附权利要求及其等同范围限定。

Claims (6)

1.一种图像超分辨率重构的方法,其特征在于,包括以下步骤:
S1、将高分辨率图像进行降采样和插值处理,得到低分辨率图像的插值图像;
S2、将低分辨率图像的插值图像作为训练样本进行训练,得到高低分辨率字典对
S3、输入低分辨率图像,对其进行插值处理,得到低分辨率图像的插值图像;
S4、将低分辨率的插值图像分解为低分辨率的结构部分、纹理部分,舍弃低分辨率的纹理部分;
S5、将步骤S3的低分辨率的插值图像进行提取特征,得到低分辨率图像特征;
S6、根据步骤S2得到的高低分辨率字典对,对低分辨率图像特征进行稀疏重建,得到高分辨率图像纹理部分;
S7、将高分辨率图像纹理部分与步骤S4中低分辨率的结构部分合并,得到重构后的高分辨率图像。
2.如权利要求1所述的一种图像超分辨率重构的方法,其特征在于,所述步骤S2中进行训练的过程具体为:
S21、对低分辨率图像的插值图像进行分块得到图像块,使用滤波器对图像块进行处理,得到图像块的灰度共生矩阵;
S22、将灰度共生矩阵进行求熵处理得到熵值,判断熵值是否为0,若熵值大于0,得到丰富纹理图像块;若熵值等于0,则得到平滑均匀图像块;
S23、将丰富纹理图像块进行训练得到丰富纹理的高分辨率和低分辨率图像;
S24、将步骤S1中的高分辨率图像利用灰度共生矩阵进行提取特征,直接得到平滑均匀图像块;
S25、将平滑均匀图像块训练得到平滑均匀的高分辨率和低分辨率图像;
S26、结合丰富纹理的高分辨率和低分辨率图像、平滑均匀的高分辨率和低分辨率图像,得到高低分辨率字典对。
3.如权利要求1所述的一种图像超分辨率重构的方法,其特征在于,所述步骤S3中插值处理,其具体使用双三插值法处理。
4.如权利要求1所述的一种图像超分辨率重构的方法,其特征在于,所述步骤S4具体为:利用基于Mumford-Shah模型分解技术或G空间的图像纹理结构分解技术将低分辨率的插值图像分解为低分辨率的结构部分、纹理部分。
5.如权利要求1所述的一种图像超分辨率重构的方法,其特征在于,所述步骤S6具体为:设低分辨率图像特征为Fy,高低分辨率字典对分别为Dh、Dl,高分辨率图像纹理部分为Xv
(1)低分辨率图像特征Fy,求优化问题得到α*,其中λ表示分辨率转换系数;
(2)根据Xv=Dhα*,得到高分辨率纹理部分Xv
6.如权利要求1所述的一种图像超分辨率重构的方法,其特征在于,所述步骤S7具体为:高分辨率图像纹理部分与低分辨率的结构部分合并后,然后用梯度下降法搜索最接近且满足重构约束的高分辨率图像。
CN201610830974.1A 2016-09-19 2016-09-19 一种图像超分辨率重构的方法 Active CN106485656B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610830974.1A CN106485656B (zh) 2016-09-19 2016-09-19 一种图像超分辨率重构的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610830974.1A CN106485656B (zh) 2016-09-19 2016-09-19 一种图像超分辨率重构的方法

Publications (2)

Publication Number Publication Date
CN106485656A true CN106485656A (zh) 2017-03-08
CN106485656B CN106485656B (zh) 2019-10-18

Family

ID=58267439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610830974.1A Active CN106485656B (zh) 2016-09-19 2016-09-19 一种图像超分辨率重构的方法

Country Status (1)

Country Link
CN (1) CN106485656B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274462A (zh) * 2017-06-27 2017-10-20 哈尔滨理工大学 基于熵和几何方向的分类多字典学习磁共振图像重建方法
CN107492070A (zh) * 2017-07-10 2017-12-19 华北电力大学 一种双通道卷积神经网络的单图像超分辨率计算方法
CN107680042A (zh) * 2017-09-27 2018-02-09 杭州群核信息技术有限公司 渲染方法、装置、引擎及存储介质
CN108629733A (zh) * 2017-03-17 2018-10-09 北京大学 获取高分辨率图像的方法与装置
CN108765343A (zh) * 2018-05-29 2018-11-06 Oppo(重庆)智能科技有限公司 图像处理的方法、装置、终端及计算机可读存储介质
CN108876721A (zh) * 2018-05-31 2018-11-23 东南大学 基于课程学习的超分辨率图像重建方法及系统
CN111566703A (zh) * 2018-01-17 2020-08-21 索尼公司 图像处理装置和方法
US20210183022A1 (en) * 2018-11-29 2021-06-17 Tencent Technology (Shenzhen) Company Limited Image inpainting method and apparatus, computer device, and storage medium
CN113012046A (zh) * 2021-03-22 2021-06-22 华南理工大学 一种基于动态分组卷积的图像超分辨率重构方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366564B2 (en) * 2002-08-23 2008-04-29 The United States Of America As Represented By The Secretary Of The Navy Nonlinear blind demixing of single pixel underlying radiation sources and digital spectrum local thermometer
CN101667298A (zh) * 2009-09-30 2010-03-10 华南理工大学 一种基于邻域像素跳变分布函数提取的图像重建方法
CN104778671A (zh) * 2015-04-21 2015-07-15 重庆大学 一种基于sae和稀疏表示的图像超分辨率方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366564B2 (en) * 2002-08-23 2008-04-29 The United States Of America As Represented By The Secretary Of The Navy Nonlinear blind demixing of single pixel underlying radiation sources and digital spectrum local thermometer
CN101667298A (zh) * 2009-09-30 2010-03-10 华南理工大学 一种基于邻域像素跳变分布函数提取的图像重建方法
CN104778671A (zh) * 2015-04-21 2015-07-15 重庆大学 一种基于sae和稀疏表示的图像超分辨率方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANCHAO YANG 等: "Image Super-Resolution Via Sparse Representation", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
刘梓 等: "基于多成分字典和稀疏表示的超分辨率重建算法", 《南京理工大学学报》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629733B (zh) * 2017-03-17 2021-12-24 北京大学 获取高分辨率图像的方法与装置
CN108629733A (zh) * 2017-03-17 2018-10-09 北京大学 获取高分辨率图像的方法与装置
CN107274462A (zh) * 2017-06-27 2017-10-20 哈尔滨理工大学 基于熵和几何方向的分类多字典学习磁共振图像重建方法
CN107274462B (zh) * 2017-06-27 2020-06-23 哈尔滨理工大学 基于熵和几何方向的分类多字典学习磁共振图像重建方法
CN107492070A (zh) * 2017-07-10 2017-12-19 华北电力大学 一种双通道卷积神经网络的单图像超分辨率计算方法
CN107492070B (zh) * 2017-07-10 2019-12-03 华北电力大学 一种双通道卷积神经网络的单图像超分辨率计算方法
CN107680042A (zh) * 2017-09-27 2018-02-09 杭州群核信息技术有限公司 渲染方法、装置、引擎及存储介质
CN107680042B (zh) * 2017-09-27 2020-03-31 杭州群核信息技术有限公司 结合纹理及卷积网络的渲染方法、装置、引擎及存储介质
CN111566703B (zh) * 2018-01-17 2023-10-20 索尼公司 图像处理装置和方法
CN111566703A (zh) * 2018-01-17 2020-08-21 索尼公司 图像处理装置和方法
CN108765343A (zh) * 2018-05-29 2018-11-06 Oppo(重庆)智能科技有限公司 图像处理的方法、装置、终端及计算机可读存储介质
CN108765343B (zh) * 2018-05-29 2021-07-20 Oppo(重庆)智能科技有限公司 图像处理的方法、装置、终端及计算机可读存储介质
CN108876721A (zh) * 2018-05-31 2018-11-23 东南大学 基于课程学习的超分辨率图像重建方法及系统
US20210183022A1 (en) * 2018-11-29 2021-06-17 Tencent Technology (Shenzhen) Company Limited Image inpainting method and apparatus, computer device, and storage medium
US11798132B2 (en) * 2018-11-29 2023-10-24 Tencent Technology (Shenzhen) Company Limited Image inpainting method and apparatus, computer device, and storage medium
CN113012046A (zh) * 2021-03-22 2021-06-22 华南理工大学 一种基于动态分组卷积的图像超分辨率重构方法
CN113012046B (zh) * 2021-03-22 2022-12-16 华南理工大学 一种基于动态分组卷积的图像超分辨率重构方法

Also Published As

Publication number Publication date
CN106485656B (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN106485656A (zh) 一种图像超分辨率重构的方法
CN108537733B (zh) 基于多路径深度卷积神经网络的超分辨率重建方法
CN112734646B (zh) 一种基于特征通道划分的图像超分辨率重建方法
CN103871041B (zh) 基于认知正则化参数构建的图像超分辨率重构方法
CN109671023A (zh) 一种人脸图像超分辨率二次重建方法
CN107563965A (zh) 基于卷积神经网络的jpeg压缩图像超分辨率重建方法
CN110232653A (zh) 快速轻型超分辨率重建密集残差网络
CN106097253B (zh) 一种基于块旋转和清晰度的单幅图像超分辨率重建方法
CN105118053B (zh) 一种基于压缩感知的全参考图像质量客观评价方法
CN109191392B (zh) 一种语义分割驱动的图像超分辨率重构方法
CN102800094A (zh) 一种快速彩色图像分割方法
CN103116880A (zh) 一种基于稀疏表示和多残差的图像超分辨率重建方法
CN103606136B (zh) 基于关键帧和非局部约束的视频超分辨方法
CN111709900A (zh) 一种基于全局特征指导的高动态范围图像重建方法
CN108335264B (zh) 一种基于混合分辨率稀疏字典学习的图像超分辨率方法
CN104299193B (zh) 一种基于高频和中频信息的图像超分辨率重建方法
US9384781B2 (en) Method of sparse representation of contents of high-resolution video images supporting content editing and propagation
CN109903373A (zh) 一种基于多尺度残差网络的高质量人脸生成方法
CN103914816A (zh) 一种基于非局部正则化和关键帧的视频超分辨方法
CN104036498A (zh) 一种基于逐层分级的oct图像质量快速评价方法
CN108492252A (zh) 基于二次重建的人脸图像超分辨率重建方法
CN110288529A (zh) 一种基于递归局部合成网络的单幅图像超分辨率重建方法
CN116993737B (zh) 一种基于卷积神经网络的轻量型裂缝分割方法
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
CN104537610A (zh) 基于稀疏表示和uv通道处理的图像超分辨率重建方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant