CN106485656B - 一种图像超分辨率重构的方法 - Google Patents
一种图像超分辨率重构的方法 Download PDFInfo
- Publication number
- CN106485656B CN106485656B CN201610830974.1A CN201610830974A CN106485656B CN 106485656 B CN106485656 B CN 106485656B CN 201610830974 A CN201610830974 A CN 201610830974A CN 106485656 B CN106485656 B CN 106485656B
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- low
- interpolation
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000031068 symbiosis, encompassing mutualism through parasitism Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像超分辨率重构的方法,步骤包括:将高分辨率图像进行处理得到低分辨率图像的插值图像,接着训练得到高低分辨率字典对;输入低分辨率图像,进行插值处理,得到低分辨率图像的插值图像;将低分辨率的插值图像分解为低分辨率的结构部分、纹理部分,舍弃低分辨率的纹理部分;将低分辨率的插值图像进行提取特征,得到低分辨率图像特征;根据高低分辨率字典对,对低分辨率图像特征进行稀疏重建,得到高分辨率图像纹理部分;将高分辨率图像纹理部分与低分辨率的结构部分合并,得到重构后的高分辨率图像。本发明能够针对性分类训练对应的样本,然后根据分类训练对应的字典对用于后续的超分辨率重构,更能准确地提高重构图像分辨率。
Description
技术领域
本发明涉及图像处理领域,尤其涉及一种图像超分辨率重构的方法。
背景技术
随着现代科技的进步,数字图像得到越来越广泛的应用,逐渐演变成最重要的信息载体之一。而图像的分辨率是评价一幅图像的内容丰富程度的客观标准,分辨率越高说明图像内容越丰富,人们可以从中分析得到的信息越多。然而,现实中也有很多的原因会导致获取的图像分辨率不能达到需求,如硬件方面,受到传感器阵列密度限制的影响;外部条件方面,大气流动,光照条件变化,物体的相对运动等也会造成捕获的图像模糊,分辨率过低。所以,探索提高图像分辨率的方法成为了一件非常必要的事情。
目前,从信号处理方向来考虑,J.C.Yang在2010年提出的基于稀疏表示的图像超分辨率重构(SCSR)方法的基本思想是:以高低分辨率的图像块结合起来为训练数据,通过联合训练的方式得到高低分辨率字典对,使得高低分辨率图像块在高低分辨率字典对下具有相同的稀疏表示。但是,在Yang的方法中,直接将从样本库中采集的高分辨率图像块和低分辨率图像特征矩阵作为训练样本进行超完备字典对的训练,忽略了一些样本库的先验信息,同时也将低分辨率插值图像减去低分辨率插值图像均值的结果作为资源重构出对应的目标高分辨率部分,然后加上低分辨率插值图像均值部分得到最终的高分辨率图像。
于是本文在Yang的方法的基础上,在训练的时候利用图像块的灰度共生矩阵提取特征,然后根据提取的特征将图像块进行分类,对分类后的图像块集分别训练得到对应的高低分辨率字典对。重构的时候引入一种基于Mumford-Shah模型和G空间的图像纹理结构分解技术,将图像分割成纹理部分和结构部分,丢弃纹理部分,保留结构部分,通过训练高低分辨率的字典对来重构出纹理部分丢失的高频信息,然后将保留的结构部分和重构的纹理部分合成最终的高分辨率图像,实验结果证明,经过改进之后会得到更好的重构效果。
发明内容
本发明要解决的技术问题在于,提供一种图像超分辨率重构的方法,具有更好的分辨率重构效果、更快速的重构速率。
为解决上述技术问题,本发明提供如下技术方案:一种图像超分辨率重构的方法,包括以下步骤:
S1、将高分辨率图像进行降采样和插值处理,得到低分辨率图像的插值图像;
S2、将低分辨率图像的插值图像作为训练样本进行训练,得到高低分辨率字典对
S3、输入低分辨率图像,对其进行插值处理,得到低分辨率图像的插值图像;
S4、将低分辨率的插值图像分解为低分辨率的结构部分、纹理部分,舍弃低分辨率的纹理部分;
S5、将步骤S3的低分辨率的插值图像进行提取特征,得到低分辨率图像特征;
S6、根据步骤S2得到的高低分辨率字典对,对低分辨率图像特征进行稀疏重建,得到高分辨率图像纹理部分;
S7、将高分辨率图像纹理部分与步骤S4中低分辨率的结构部分合并,得到重构后的高分辨率图像。
进一步地,所述步骤S2中进行训练的过程具体为:
S21、对低分辨率图像的插值图像进行分块得到图像块,使用滤波器对图像块进行处理,得到图像块的灰度共生矩阵;
S22、将灰度共生矩阵进行求熵处理得到熵值,判断熵值是否为0,若熵值大于0,得到丰富纹理图像块;若熵值等于0,则得到平滑均匀图像块;
S23、将丰富纹理图像块进行训练得到丰富纹理的高分辨率和低分辨率图像;
S24、将步骤S1中的高分辨率图像利用灰度共生矩阵进行提取特征,直接得到平滑均匀图像块;
S25、将平滑均匀图像块训练得到平滑均匀的高分辨率和低分辨率图像;
S26、结合丰富纹理的高分辨率和低分辨率图像、平滑均匀的高分辨率和低分辨率图像,得到高低分辨率字典对。
进一步地,所述步骤S3中插值处理,其具体使用双三插值法处理。
进一步地,所述步骤S4具体为:利用基于Mumford-Shah模型分解技术或G空间的图像纹理结构分解技术将低分辨率的插值图像分解为低分辨率的结构部分、纹理部分。
进一步地,所述步骤S6具体为:设低分辨率图像特征为Fy,高低分辨率字典对分别为Dh、Dl,高分辨率图像纹理部分为Xv
(1)低分辨率图像特征Fy,求优化问题得到α*,其中λ表示分辨率转换系数;
(2)根据Xv=Dhα*,得到高分辨率纹理部分Xv。
进一步地,所述步骤S7具体为:高分辨率图像纹理部分与低分辨率的结构部分合并后,然后用梯度下降法搜索最接近且满足重构约束的高分辨率图像。
采用上述技术方案后,本发明至少具有如下有益效果:
(1)本发明在前人工作基础上,在训练样本的过程中提出利用图像块的灰度共生矩阵提取特征并进行分类的训练方法,能够针对性分类训练对应的样本,然后根据分类训练对应的字典对用于后续的超分辨率重构,更能准确地提高重构图像分辨率。
(2)本发明利用重构图像的MS_G模型:既可以保证分解后的结构部分的光滑性,避免阶梯效应,又可以使得分解后的纹理部分图像能够很好的体现图像的纹理信息,最后会得到更好的重构效果。
附图说明
图1本发明一种图像超分辨率重构方法的训练过程流程图;
图2本发明一种图像超分辨率重构方法的重构过程流程图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合,下面结合附图和具体实施例对本申请作进一步详细说明。
如图1和图2所示,本发明提供一种图像超分辨率重构的方法,主要包括训练和重构两大部分,重点在于重构部分。
其中,训练部分步骤流程图如图1所示,重构部分如图2所示,本发明包括以下步骤:
(1)训练:
S1、将高分辨率图像进行降采样和插值处理,得到低分辨率图像的插值图像,使用滤波器对低分辨率图像的插值图像进行处理,得到插值图像的灰度共生矩阵;
S2、将灰度共生矩阵进行求熵处理得到熵值,判断熵值是否为0,若熵值大于0,得到丰富纹理图像块;若熵值等于0,则得到平滑均匀图像块;
S3、将丰富纹理图像块进行训练得到丰富纹理的高分辨率和低分辨率图像;
S4、还可以将步骤S1中的高分辨率图像利用求出来的灰度共生矩阵进行提取特征,可直接得到平滑均匀图像块;
S5、将平滑均匀图像块训练得到平滑均匀的高分辨率和低分辨率图像;
S6、结合丰富纹理的高分辨率和低分辨率图像、平滑均匀的高分辨率和低分辨率图像,得到高低分辨率字典对。
(2)重构:
S7、输入低分辨率图像,对其使用双三插值法进行插值处理,得到低分辨率图像的插值图像;
S8、利用基于Mumford-Shah模型分解技术或G空间的图像纹理结构分解技术,将低分辨率的插值图像分解为低分辨率的结构部分、纹理部分,舍弃低分辨率的纹理部分;
S9、将步骤S7的低分辨率图像的插值图像进行提取特征,得到低分辨率图像特征;
S10、根据步骤S6得到的高低分辨率字典对,对低分辨率图像特征进行稀疏重建,得到高分辨率图像纹理部分:设低分辨率图像特征为Fy,高低分辨率字典对分别为Dh、Dl,高分辨率图像纹理部分为Xv:
(1)低分辨率图像特征Fy,求优化问题得到α*,其中λ表示分辨率转换系数;
(2)根据Xv=Dhα*,得到高分辨率纹理部分Xv;
S11、将高分辨率图像纹理部分与步骤S4中低分辨率的结构部分合并,得到重构后的高分辨率图像,然后用梯度下降法搜索最接近且满足重构约束的高分辨率图像。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解的是,在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型,本发明的范围由所附权利要求及其等同范围限定。
Claims (5)
1.一种图像超分辨率重构的方法,其特征在于,包括以下步骤:
S1、将高分辨率图像进行降采样和插值处理,得到低分辨率图像的插值图像;
S2、将低分辨率图像的插值图像作为训练样本进行训练,得到高低分辨率字典对;
S3、输入低分辨率图像,对其进行插值处理,得到低分辨率图像的插值图像;
S4、将低分辨率的插值图像分解为低分辨率的结构部分、纹理部分,舍弃低分辨率的纹理部分;
S5、将步骤S3的低分辨率的插值图像进行提取特征,得到低分辨率图像特征;
S6、根据步骤S2得到的高低分辨率字典对,对低分辨率图像特征进行稀疏重建,得到高分辨率图像纹理部分;
S7、将高分辨率图像纹理部分与步骤S4中低分辨率的结构部分合并,得到重构后的高分辨率图像;
所述步骤S2中进行训练的过程具体为:
S21、对低分辨率图像的插值图像进行分块得到图像块,使用滤波器对图像块进行处理,得到图像块的灰度共生矩阵;
S22、将灰度共生矩阵进行求熵处理得到熵值,判断熵值是否为0,若熵值大于0,得到丰富纹理图像块;若熵值等于0,则得到平滑均匀图像块;
S23、将丰富纹理图像块进行训练得到丰富纹理的高分辨率和低分辨率图像;
S24、将步骤S1中的高分辨率图像利用灰度共生矩阵进行提取特征,直接得到平滑均匀图像块;
S25、将平滑均匀图像块训练得到平滑均匀的高分辨率和低分辨率图像;
S26、结合丰富纹理的高分辨率和低分辨率图像、平滑均匀的高分辨率和低分辨率图像,得到高低分辨率字典对。
2.如权利要求1所述的一种图像超分辨率重构的方法,其特征在于,所述步骤S3中插值处理,其具体使用双三插值法处理。
3.如权利要求1所述的一种图像超分辨率重构的方法,其特征在于,所述步骤S4具体为:利用基于Mumford-Shah模型分解技术或G空间的图像纹理结构分解技术将低分辨率的插值图像分解为低分辨率的结构部分、纹理部分。
4.如权利要求1所述的一种图像超分辨率重构的方法,其特征在于,所述步骤S6具体为:设低分辨率图像特征为Fy,高低分辨率字典对分别为Dh、Dl,高分辨率图像纹理部分为Xv:
(1)低分辨率图像特征Fy,求优化问题得到α*,其中λ表示分辨率转换系数;
(2)根据Xv=Dhα*,得到高分辨率纹理部分Xv。
5.如权利要求1所述的一种图像超分辨率重构的方法,其特征在于,所述步骤S7具体为:高分辨率图像纹理部分与低分辨率的结构部分合并后,然后用梯度下降法搜索最接近且满足重构约束的高分辨率图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610830974.1A CN106485656B (zh) | 2016-09-19 | 2016-09-19 | 一种图像超分辨率重构的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610830974.1A CN106485656B (zh) | 2016-09-19 | 2016-09-19 | 一种图像超分辨率重构的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106485656A CN106485656A (zh) | 2017-03-08 |
CN106485656B true CN106485656B (zh) | 2019-10-18 |
Family
ID=58267439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610830974.1A Expired - Fee Related CN106485656B (zh) | 2016-09-19 | 2016-09-19 | 一种图像超分辨率重构的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106485656B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108629733B (zh) * | 2017-03-17 | 2021-12-24 | 北京大学 | 获取高分辨率图像的方法与装置 |
CN107274462B (zh) * | 2017-06-27 | 2020-06-23 | 哈尔滨理工大学 | 基于熵和几何方向的分类多字典学习磁共振图像重建方法 |
CN107492070B (zh) * | 2017-07-10 | 2019-12-03 | 华北电力大学 | 一种双通道卷积神经网络的单图像超分辨率计算方法 |
CN107680042B (zh) * | 2017-09-27 | 2020-03-31 | 杭州群核信息技术有限公司 | 结合纹理及卷积网络的渲染方法、装置、引擎及存储介质 |
WO2019142667A1 (ja) * | 2018-01-17 | 2019-07-25 | ソニー株式会社 | 画像処理装置および方法 |
CN108765343B (zh) * | 2018-05-29 | 2021-07-20 | Oppo(重庆)智能科技有限公司 | 图像处理的方法、装置、终端及计算机可读存储介质 |
CN108876721A (zh) * | 2018-05-31 | 2018-11-23 | 东南大学 | 基于课程学习的超分辨率图像重建方法及系统 |
CN109584178A (zh) * | 2018-11-29 | 2019-04-05 | 腾讯科技(深圳)有限公司 | 图像修复方法、装置和存储介质 |
CN113012046B (zh) * | 2021-03-22 | 2022-12-16 | 华南理工大学 | 一种基于动态分组卷积的图像超分辨率重构方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7366564B2 (en) * | 2002-08-23 | 2008-04-29 | The United States Of America As Represented By The Secretary Of The Navy | Nonlinear blind demixing of single pixel underlying radiation sources and digital spectrum local thermometer |
CN101667298A (zh) * | 2009-09-30 | 2010-03-10 | 华南理工大学 | 一种基于邻域像素跳变分布函数提取的图像重建方法 |
CN104778671A (zh) * | 2015-04-21 | 2015-07-15 | 重庆大学 | 一种基于sae和稀疏表示的图像超分辨率方法 |
-
2016
- 2016-09-19 CN CN201610830974.1A patent/CN106485656B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7366564B2 (en) * | 2002-08-23 | 2008-04-29 | The United States Of America As Represented By The Secretary Of The Navy | Nonlinear blind demixing of single pixel underlying radiation sources and digital spectrum local thermometer |
CN101667298A (zh) * | 2009-09-30 | 2010-03-10 | 华南理工大学 | 一种基于邻域像素跳变分布函数提取的图像重建方法 |
CN104778671A (zh) * | 2015-04-21 | 2015-07-15 | 重庆大学 | 一种基于sae和稀疏表示的图像超分辨率方法 |
Non-Patent Citations (2)
Title |
---|
Image Super-Resolution Via Sparse Representation;Jianchao Yang 等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20101130;第19卷(第11期);正文第1-5节 * |
基于多成分字典和稀疏表示的超分辨率重建算法;刘梓 等;《南京理工大学学报》;20140228;第38卷(第1期);第2861-2873页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106485656A (zh) | 2017-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106485656B (zh) | 一种图像超分辨率重构的方法 | |
CN112734646B (zh) | 一种基于特征通道划分的图像超分辨率重建方法 | |
CN113205096B (zh) | 一种基于注意力的联合图像与特征自适应的语义分割方法 | |
CN110232653A (zh) | 快速轻型超分辨率重建密集残差网络 | |
CN107563965A (zh) | 基于卷积神经网络的jpeg压缩图像超分辨率重建方法 | |
CN106097253B (zh) | 一种基于块旋转和清晰度的单幅图像超分辨率重建方法 | |
CN105046672A (zh) | 一种图像超分辨率重建方法 | |
CN109191392B (zh) | 一种语义分割驱动的图像超分辨率重构方法 | |
CN105631807A (zh) | 基于稀疏域选取的单帧图像超分辨重建方法 | |
CN112950480A (zh) | 一种融合多感受野和密集残差注意的超分辨率重建方法 | |
CN111861924B (zh) | 一种基于进化gan的心脏磁共振图像数据增强方法 | |
CN102332153A (zh) | 基于核回归的图像压缩感知重构方法 | |
CN110610458A (zh) | 一种基于岭回归的gan图像增强交互处理方法及系统 | |
CN103020940B (zh) | 一种基于局部特征转换的人脸超分辨率重建方法 | |
Hongmeng et al. | A detection method for deepfake hard compressed videos based on super-resolution reconstruction using CNN | |
CN108492252A (zh) | 基于二次重建的人脸图像超分辨率重建方法 | |
CN105590296B (zh) | 一种基于双字典学习的单帧图像超分辨率复原方法 | |
CN107292821B (zh) | 一种超分辨率图像重建方法及系统 | |
CN109002771A (zh) | 一种基于递归神经网络的遥感图像分类方法 | |
CN109272539A (zh) | 基于引导图全变分模型的图像纹理和结构的分解方法 | |
CN104050644B (zh) | 一种基于非局部约束稀疏表示的sar图像去噪方法 | |
CN108090914B (zh) | 基于统计建模与像素分类的彩色图像分割方法 | |
CN112686830B (zh) | 基于图像分解的单一深度图的超分辨率方法 | |
CN108090873B (zh) | 基于回归模型的金字塔人脸图像超分辨率重建方法 | |
CN110288529A (zh) | 一种基于递归局部合成网络的单幅图像超分辨率重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191018 |
|
CF01 | Termination of patent right due to non-payment of annual fee |