CN107610049B - 基于稀疏正则化技术和加权引导滤波的图像超分辨率方法 - Google Patents

基于稀疏正则化技术和加权引导滤波的图像超分辨率方法 Download PDF

Info

Publication number
CN107610049B
CN107610049B CN201710718998.2A CN201710718998A CN107610049B CN 107610049 B CN107610049 B CN 107610049B CN 201710718998 A CN201710718998 A CN 201710718998A CN 107610049 B CN107610049 B CN 107610049B
Authority
CN
China
Prior art keywords
image
term
regularization
reconstructed
sparse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710718998.2A
Other languages
English (en)
Other versions
CN107610049A (zh
Inventor
黄炜钦
黄德天
顾培婷
林炎明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN201710718998.2A priority Critical patent/CN107610049B/zh
Publication of CN107610049A publication Critical patent/CN107610049A/zh
Application granted granted Critical
Publication of CN107610049B publication Critical patent/CN107610049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开的基于稀疏正则化技术和加权引导滤波的图像超分辨率方法，该方法通过结合图像的非局部相似性和流形学习理论构造了一个新的稀疏编码目标函数，一方面在初始重建图像中寻找相似图像块构造非局部相似正则化项，得到图像的非局部冗余，以保持边缘信息；另一方面结合局部线性嵌入方法构造流行学习正则化项，获得图像的结构先验知识，以增强结构信息；再利用加权引导滤波的全局误差补偿模型对重建后的高分辨率图像进行误差补偿，得到重建误差更小，质量更高的图像。

Description

基于稀疏正则化技术和加权引导滤波的图像超分辨率方法
技术领域
本发明涉及一种基于学习的超分辨率方法，特别是涉及一种基于稀疏正则化技术和加权引导滤波的超分辨率方法。
背景技术
图像的空间分辨率是衡量图像质量的一项重要指标，通常，图像的空间分辨率越高意味着图像细节越丰富，其表达信息的能力就越强，从而越有利于后续的图像处理、分析和理解。目前，在医学诊断、模式识别、视频监控、生物鉴别、遥感成像等应用领域中，图像处理系统往往需要获取高分辨率的图像以提高分析结果的可靠性。然而，在实际应用中，受成像系统物理分辨率限制以及场景变化、天气变化等诸多因素的影响，实际成像过程中往往存在大气抖动、光学模糊、运动模糊、欠采样和噪声等退化因素，导致成像系统只能得到质量较差、分辨率较低的图像，往往不能满足实际应用的要求。为了基于已有硬件条件及当前的观测图像，尽可能地恢复图像本来面貌或进一步提高图像的分辨率和清晰度，图像超分辨率(Super Resolution,SR)重建方法被提出。
图像SR技术是数字图像处理的研究热点之一，该技术从软件方面通过一些相关方法将低分辨率(Low Resolution,LR)图像重建为清晰的高分辨率(High Resolution,HR)图像，能够突破现有成像器件的固有限制，是一种较为经济而有效的手段，具有重要的实际应用价值。图像SR算法主要可以分为基于插值的SR方法，基于重建的SR方法和基于学习的SR方法。基于插值的SR方法实现简单，但不能引入额外的高频细节信息。基于重建的SR方法需要将先验知识作为附加信息，通过构建约束项将附加信息加入到重建图像中。基于学习的SR方法通过训练样本学习HR、LR图像块之间的关系，可以获得更多的高频细节信息，是目前比较热门的一个研究领域，尤其是基于稀疏表示的超分辨重建技术获得的效果较为突出，该方法没有涉及到传统重建算法中的图像配准问题就可以实现图像的超分辨重建，受到越来越多的研究者们的青睐。
近年来，由Yang等开创的基于稀疏表示的方法是SR算法研究的热点方向，该方法是基于学习SR方法中最为突出的重建算法之一，通过字典学习构建能够稀疏表示图像块的字典对，利用线性规划求解LR图像块的稀疏表示系数，将此稀疏表示系数与HR字典进行线性组合得到HR图像块，从而可以恢复一定的高频细节信息，但是该算法获得的重建图像虽然具有较好的视觉效果，但一般存在较大的均方误差，当图像样本库中不能提供与待处理图像相似的图像块时，算法的重建效果将无法保证，而且该算法通常是对图像中每一像素向量独立进行独立稀疏表示的，忽略了图像中相似像素向量之间的联系，导致图像在边缘、纹理和结构等信息恢复不足，而且出现比较严重的块效应。
发明内容
有鉴于此，本发明的目的在于提供一种基于稀疏正则化技术和加权引导滤波的图像超分辨率方法，以克服现有方法边缘、纹理和结构等信息恢复不足的问题，进一步提高重建图像的质量。
为达成上述目的，本发明的技术方案如下：
基于稀疏正则化技术和加权引导滤波的图像超分辨率方法，包括以下步骤：
步骤1：首先对HR训练样本图像进行下采样，得到HR和LR训练样本图像，然后采用联合字典训练算法对样本图像进行训练，得到HR字典Φh和LR字典Φl，再通过FSS(特征表征搜索)算法求解式(1)所示的传统稀疏编码目标函数，得到Y对应的稀疏表示系数α，所述式(1)如下：
Figure BDA0001384505450000031
式中，||α||0表示α向量包含的非零值个数，待重建的LR图像Y，Φl为LR图像对应的过完备字典；
最后通过式
Figure BDA0001384505450000032
求解初始重建图像
Figure BDA0001384505450000033
步骤2：在常规的稀疏编码目标函数，即式(1)中引入由图像的非局部相似性原理构造得到的非局部相似正则化项和由LLE方法构造得到的流形学习正则化项，获得新的稀疏编码目标函数，其中两个正则化项通过结合步骤1中初始重建图像
Figure BDA0001384505450000034
进行构造；
步骤3：采用FSS求解新的稀疏编码目标函数，通过确定每一次迭代稀疏表示系数的符号来将非凸问题转变为凸问题，得到的新稀疏表示系数为
Figure BDA0001384505450000035
步骤4：通过HR字典Φh与新稀疏表示系数
Figure BDA0001384505450000041
线性组合，即
Figure BDA0001384505450000042
得到重建后的图像
Figure BDA0001384505450000043
步骤5：对引导滤波进行改进，得到加权引导滤波，并构造基于加权引导滤波的全局误差补偿模型，对步骤4中的重建图像
Figure BDA0001384505450000044
进行全局误差补偿，得到HR图像
Figure BDA0001384505450000045
在步骤2中构造基于非局部相似性与流行学习的新稀疏编码目标函数的过程具体如下：
步骤21：构造非局部相似正则化项，执行如下操作：
步骤211、将初始重建图像
Figure BDA0001384505450000046
进行分块，在
Figure BDA0001384505450000047
中根据欧氏距离条件
Figure BDA0001384505450000048
寻找每一个局部的初始重建图像块
Figure BDA0001384505450000049
对应的所有相似图像块
Figure BDA00013845054500000410
其中d为一个恒定阈值；
步骤212、设
Figure BDA00013845054500000411
是图像块
Figure BDA00013845054500000412
的中间像素，
Figure BDA00013845054500000413
是相似图像块
Figure BDA00013845054500000414
的中间像素，则有
Figure BDA00013845054500000415
即利用
Figure BDA00013845054500000416
的加权平均值
Figure BDA00013845054500000417
来预测
Figure BDA00013845054500000418
设h是权重调节因子，则为
Figure BDA00013845054500000419
分配的权重
Figure BDA00013845054500000420
为：
Figure BDA00013845054500000421
步骤213、确定预测误差项
Figure BDA00013845054500000422
通过处理可将误差表达式改写为
Figure BDA00013845054500000423
其中wi为包含所有权重
Figure BDA00013845054500000424
的列向量，βi为包含所有
Figure BDA00013845054500000425
的列向量；
步骤214、简化误差项
Figure BDA00013845054500000426
其中，I是单位矩阵，Λ为权重矩阵，
Figure BDA00013845054500000427
构造得到的非局部相似约束项为
Figure BDA0001384505450000051
步骤22：构造流行学习正则化项，执行如下操作：
步骤221、采用流形学习中LLE方法计算图像块
Figure BDA0001384505450000052
邻域图像块的重构权值，计算公式(3)如下：
Figure BDA0001384505450000053
其中，Ni为
Figure BDA0001384505450000054
的K邻域图像块，邻域图像块由欧氏距离确定。ωij是重建的权重，满足
Figure BDA0001384505450000055
对于所有
Figure BDA0001384505450000056
ωij＝0；
步骤222、借助一个Garm矩阵对式(3)进行优化，Garm矩阵如下所示，
Figure BDA0001384505450000057
其中，O的每一列为
Figure BDA0001384505450000058
的每一个邻域图像块，1为一个元素均为1的列向量，若ωi是由ωij组成的向量，则ωi权重估计值可以通过下式获得Giωi＝1，为了使
Figure BDA0001384505450000059
需要对ωi进行归一化处理；
步骤223、将重建权值
Figure BDA00013845054500000510
分配给重建图像块
Figure BDA00013845054500000511
得到重建图像块重建误差项
Figure BDA00013845054500000512
步骤224、简化重建误差项
Figure BDA00013845054500000513
其中，I为单位矩阵，
Figure BDA00013845054500000514
步骤23：将非局部相似正则化项
Figure BDA00013845054500000515
和流形学习正则化项
Figure BDA00013845054500000516
加入到稀疏编码目标函数，得到新的稀疏编码目标函数：
Figure BDA0001384505450000061
其中，γ是一个调整非局部相似正则化项的常数，η是一个调整流形正则化项权重的因子；第一项为重建保真项，用于确保重建图像与SR模型一致；第二项为稀疏惩罚项，用于保证稀疏表示系数α足够稀疏；第三项为非局部相似正则化项，用于消除伪影并保持边缘信息；第四项为流形正则化项，用于保持并恢复结构信息；
步骤24：对式(5)进行简化，令
Figure BDA0001384505450000062
则可化简为：
Figure BDA0001384505450000063
在步骤5中，构造基于加权引导滤波的全局误差补偿模型的具体过程如下：
步骤51：对引导滤波进行改进，得到加权引导滤波，执行如下操作：
步骤511、定义局部线性模型：设I为引导差值图像，d′为待滤波的差值图像，d″是滤波后的差值图像，则局部线性模型为：
Figure BDA0001384505450000064
其中，ak,bk表示在ωk邻域内的线性系数，假设为固定值；ωk表示以像素i为中心，k为半径的方形窗口；
步骤512、定义最小化的代价函数，该函数如式(8)所示，从而在邻域ωk内确定ak和bk。
Figure BDA0001384505450000071
其中，第一项为保真项，在最小化d′和d″差异的同时保证式(7)中局部线性模型的成立；第二项为规整项，υ是一个规整化因子，用于规整较大的ak；
步骤513、对传统引导滤波中固定的规整化因子υ进行改进，实现自适应调整，对于纹理变化大、边缘信息丰富的区域，采用较小的υ来规整，对于灰度值过渡平缓的区域，采用较大的υ来规整，以获取更小的逼近误差，同时采用高斯滤波对ΓI(p)进行平滑操作，边缘权重因子定义如下：
Figure BDA0001384505450000072
其中，
Figure BDA0001384505450000073
是I在3×3邻域内的方差，
Figure BDA0001384505450000074
取(0.001×C)2，C为灰度值范围；p(＝(x,y))表示图像像素的位置，将规整化因子υ改写为
Figure BDA0001384505450000075
步骤514、改进最小化的代价函数，即结合式(9)改进式(8)中固定的规整化因子：
Figure BDA0001384505450000076
步骤515、求解式(10)，求得ak和bk如下
Figure BDA0001384505450000077
其中，μk和σk 2分别表示在ωk窗口内图像I的灰度均值和方差，|ω|表示ωk内的像素数目，
Figure BDA0001384505450000078
表示在ωk内的灰度均值；
步骤516、通过步骤步骤515中得到的ak和bk求解d″i，从而构造出加权引导滤波G；
步骤52：采用基于加权引导滤波的全局误差补偿模型对重建后的图像
Figure BDA0001384505450000081
进行全局误差补偿。
所述步骤52中，全局误差补偿的具体步骤如下：
步骤521、输入：待重建的低分辨率图像Y，稀疏表示重建后的高分辨率图像
Figure BDA0001384505450000082
最大迭代次数T；
步骤522、构造加权引导滤波器G；
步骤523、For i＝1,2,...,T
将
Figure BDA0001384505450000083
下采样，得到图像
Figure BDA0001384505450000084
求出待重建LR图像Y和
Figure BDA0001384505450000085
的差值图像：
Figure BDA0001384505450000086
采用双三次插值法对差值图像d进行上采样，得到图像d′；
采用加权引导滤波G来对图像d′进行边缘保持，得到图像d″；
将d″与
Figure BDA0001384505450000087
叠加：
Figure BDA0001384505450000088
步骤54、输出：高分辨率图像
Figure BDA0001384505450000089
本发明相比现有技术，具有以下有益效果：
本发明首先结合非局部相似性与流形学习理论构造新的稀疏编码目标函数，对稀疏表示系数的求解进行约束，非局部相似正则化项根据图像结构内容和纹理信息的相似，即图像的非局部相似性，将非局部冗余贯穿在图像中，恢复更多边缘、纹理和结构等细节信息，消除伪影并保持边缘纹理信息，改善重建图像边缘细节，流形学习正则化项是利用LR图像的流形结构可以在重建过程中保留的优势，为重建提供充足的结构信息，保留并增强重建后的HR图像的结构特征；然后提出WGFGEC模型对重建图像进行进一步的误差补偿，减小误差，改善图像细节信息，优化图像的主观视觉效果，不仅减少了锯齿效应和振铃效应，而且进一步恢复了边缘与纹理的细节信息，重建图像更接近于真实图像，在主观视觉和客观评价指标方面都有更好的效果，得到质量更高的HR图像。
附图说明
图1为本发明基于稀疏正则化技术和加权引导滤波的图像超分辨率方法的处理流程图。
图2为“head”在不同SR方法下的重建结果；
图3为“butterfly”在不同SR方法下的重建结果。
具体实施方式
如图1所示本实施例揭示的基于稀疏正则化技术和加权引导滤波的图像超分辨率方法，具体包括以下步骤：
S1：输入待重建LR图像Y，HR图像训练集TIh，首先对TIh中的样本图像进行下采样，得到LR样本图像集TIl。所用的下采样模型为TIll＝DBTIh+n，其中，D为下采样算子，B为模糊矩阵，n为随机加性噪声，然后将TIh和TIl采用联合字典训练算法得到HR字典Φh和LR字典Φl；再通过FSS((Feature sign search，特征表征搜索)算法求解式(1)所示的传统稀疏编码目标函数，得到Y对应的稀疏表示系数α，所述式(1)如下：
Figure BDA0001384505450000101
式中，||α||0表示α向量包含的非零值个数，待重建的LR图像Y，Φl为LR图像对应的过完备字典；
最后通过式
Figure BDA0001384505450000102
求解初始重建图像
Figure BDA0001384505450000103
S2：在常规的稀疏编码目标函数，即式(1)中引入由图像的非局部相似性原理构造得到的非局部相似正则化项和由LLE方法构造得到的流形学习正则化项，获得新的稀疏编码目标函数，其中两个正则化项通过结合S1中初始重建图像
Figure BDA0001384505450000104
进行构造；
在本实施例中，提供了构造基于非局部相似性与流行学习的新稀疏编码目标函数的具体过程，如下：
S21：构造非局部相似正则化项，执行如下操作：
S211、将初始重建图像
Figure BDA0001384505450000105
进行分块，在
Figure BDA0001384505450000106
中根据欧氏距离条件
Figure BDA0001384505450000107
寻找每一个局部的初始重建图像块
Figure BDA0001384505450000108
对应的所有相似图像块
Figure BDA0001384505450000109
其中d为一个恒定阈值；
S212、设
Figure BDA00013845054500001010
是图像块
Figure BDA00013845054500001011
的中间像素，
Figure BDA00013845054500001012
是相似图像块
Figure BDA00013845054500001013
的中间像素，则有
Figure BDA00013845054500001014
即利用
Figure BDA00013845054500001015
的加权平均值
Figure BDA00013845054500001016
来预测
Figure BDA00013845054500001017
设h是权重调节因子，则为
Figure BDA00013845054500001018
分配的权重
Figure BDA00013845054500001019
为：
Figure BDA00013845054500001020
S213、确定预测误差项
Figure BDA00013845054500001021
并尽可能小化预测误差，使得加入的非局部信息更加准确，通过处理可将误差表达式改写为
Figure BDA0001384505450000111
其中wi为包含所有权重
Figure BDA00013845054500001116
的列向量，βi为包含所有
Figure BDA0001384505450000112
的列向量；
S214、简化误差项
Figure BDA0001384505450000113
其中，I是单位矩阵，Λ为权重矩阵，
Figure BDA0001384505450000114
构造得到的非局部相似约束项为
Figure BDA0001384505450000115
S22：构造流行学习正则化项，执行如下操作：
S221、采用流形学习中LLE方法(局部线性嵌入方法，Locally Linear Embedding)计算图像块
Figure BDA0001384505450000116
邻域图像块的重构权值，计算公式(3)如下：
Figure BDA0001384505450000117
其中，Ni为
Figure BDA0001384505450000118
的K邻域图像块，邻域图像块由欧氏距离确定。ωij是重建的权重，满足
Figure BDA0001384505450000119
对于所有
Figure BDA00013845054500001110
ωij＝0；
S222、借助一个Garm矩阵对式(3)进行优化，Garm矩阵如下所示，
Figure BDA00013845054500001111
其中，O的每一列为
Figure BDA00013845054500001112
的每一个邻域图像块，1为一个元素均为1的列向量，若ωi是由ωij组成的向量，则ωi权重估计值可以通过下式获得Giωi＝1，为了使
Figure BDA00013845054500001113
需要对ωi进行归一化处理；
S223、将重建权值
Figure BDA00013845054500001114
分配给重建图像块
Figure BDA00013845054500001115
得到重建图像块重建误差项
Figure BDA0001384505450000121
S224、简化重建误差项
Figure BDA0001384505450000122
为
Figure BDA0001384505450000123
其中，I为单位矩阵，
Figure BDA0001384505450000124
S23：将非局部相似正则化项
Figure BDA0001384505450000125
和流形学习正则化项
Figure BDA0001384505450000126
加入到稀疏编码目标函数，得到新的稀疏编码目标函数：
Figure BDA0001384505450000127
其中，γ是一个调整非局部相似正则化项的常数，η是一个调整流形正则化项权重的因子；第一项为重建保真项，用于确保重建图像与SR模型一致；第二项为稀疏惩罚项，用于保证稀疏表示系数α足够稀疏；第三项为非局部相似正则化项，用于消除伪影并保持边缘信息；第四项为流形正则化项，用于保持并恢复结构信息；
S24：对式(5)进行简化，令
Figure BDA0001384505450000128
则可化简为：
Figure BDA0001384505450000129
S3：采用FSS求解新的稀疏编码目标函数，通过确定每一次迭代稀疏表示系数的符号来将非凸问题转变为凸问题，提高稀疏表示系数的准确性，得到的新稀疏表示系数为
Figure BDA00013845054500001210
S4：通过HR字典Φh与新稀疏表示系数
Figure BDA00013845054500001211
线性组合，即
Figure BDA00013845054500001212
得到重建后的图像
Figure BDA00013845054500001213
S5：对引导滤波进行改进，得到加权引导滤波，并构造基于加权引导滤波的全局误差补偿模型(Global Error Compensation Model Based on Weighted GuidedFilter,WGFGEC)，对S4中的重建图像
Figure BDA0001384505450000131
进行全局误差补偿，得到HR图像
Figure BDA0001384505450000132
本实施例中，提供了构造基于加权引导滤波的全局误差补偿模型的具体过程，如下：
S51：对引导滤波进行改进，得到加权引导滤波，执行如下操作：
S511、定义局部线性模型：设I为引导差值图像，d′为待滤波的差值图像，d″是滤波后的差值图像，则局部线性模型为：
Figure BDA0001384505450000133
其中，ak,bk表示在ωk邻域内的线性系数，假设为固定值；ωk表示以像素i为中心，k为半径的方形窗口；
S512、定义最小化的代价函数，该函数如式(8)所示，从而在邻域ωk内确定ak和bk。
Figure BDA0001384505450000134
其中，第一项为保真项，在最小化d′和d″差异的同时保证式(7)中局部线性模型的成立；第二项为规整项，υ是一个规整化因子，用于规整较大的ak；
S513、对传统引导滤波中固定的规整化因子υ进行改进，实现自适应调整，对于纹理变化大、边缘信息丰富的区域，采用较小的υ来规整，对于灰度值过渡平缓的区域，采用较大的υ来规整，以获取更小的逼近误差，同时采用高斯滤波对ΓI(p)进行平滑操作，避免产生一些明显的块效应。边缘权重因子定义如下：
Figure BDA0001384505450000141
其中，
Figure BDA0001384505450000142
是I在3×3邻域内的方差，
Figure BDA0001384505450000143
取(0.001×C)2，C为灰度值范围；p(＝(x,y))表示图像像素的位置，将规整化因子υ改写为
Figure BDA0001384505450000144
S514、改进最小化的代价函数，即结合式(9)改进式(8)中固定的规整化因子：
Figure BDA0001384505450000145
S515、求解式(10)，求得ak和bk如下
Figure BDA0001384505450000146
其中，μk和σk 2分别表示在ωk窗口内图像I的灰度均值和方差，|ω|表示ωk内的像素数目，
Figure BDA0001384505450000147
表示在ωk内的灰度均值；
S516、通过S515中得到的ak和bk求解d″i，从而构造出加权引导滤波G；
S52：采用基于加权引导滤波的全局误差补偿模型(WGFGEC)对重建后的图像
Figure BDA0001384505450000148
进行全局误差补偿。
所述S52中，全局误差补偿的具体步骤如下：
S521、输入：待重建的低分辨率图像Y，稀疏表示重建后的高分辨率图像
Figure BDA0001384505450000149
最大迭代次数T；
S522、构造加权引导滤波器G；
S523、①将重建图像
Figure BDA0001384505450000151
进行下采样，得到图像
Figure BDA0001384505450000152
②求出待重建LR图像Y和
Figure BDA0001384505450000153
的差值图像：
Figure BDA0001384505450000154
③采用双三次插值法对差值图像d进行上采样，得到图像d′；
④采用加权引导滤波G来对图像d′进行边缘保持，得到图像d″；
⑤将d″与
Figure BDA0001384505450000155
叠加：
Figure BDA0001384505450000156
重复①-⑤，其中，重复次数为迭代次数，迭代完成后得到补偿后的HR图像
Figure BDA0001384505450000157
仿真实验
本发明的效果可以通过以下仿真实验进一步说明。在实验中，为了保证实验的客观性，实验采用标准测试库Set5。实验将与Bicubic、L1SR、SISR、ANR、NE+NNLS和NE+LLE等6种SR算法作对比。为了便于定量地评价重建图像的质量，将set5中的测试图像作为HR参考图像，并通过高斯模糊B和降采样D操作获取LR图像。相关参数的设置如下：降采样倍数为3，将LR图像裁剪为多个重叠区为2个像素的3×3的图像块；在提出的新的稀疏编码目标函数,即式(10)中，γ＝0.25，η＝0.01，λ＝0.1；非局部正则化中的阈值d＝0.25，流形学习正则化中的邻域K＝5；全局误差补偿模型中迭代次数T＝30。
图2和图3分别展示了比较了head(头部)和butterfly(蝴蝶)在不同SR方法下的实验比较图。通过观察可以看出，Bicubic方法重建的图像非常模糊；L1SR方法虽然恢复了部分细节，但重建图像出现比较严重的分块效果，如图2(2c)中的眼睛周围部分，图3(3c)中翅膀；SISR方法的重建图像边缘锐化效果明显，但是细节恢复不足，如图2(2d)脸上的斑点还比较少，并且颜色比较淡；ANR、NE+NNLS和NE+LLE等方法结合图像的邻域实现图像重建，得到的图像恢复了较多的细节，取得了比较好的超分重建效果，但是引入了较多的虚假细节，如图2(2e)和(2f)的眼皮部分以及图3(3f)和(3g)左下角翅膀边缘部分都存在明显的虚假细节；本发明提出的方法OURS在边缘锐度和清晰度上都有了明显的改善，比如图2(2h)的鼻子的边缘以及图3(3h)的黄色与黑色之间的边缘相比于其他方法更加细致，而且没有引入过多的虚假细节，重建图像的边缘结构更加清晰。
表1列出了Set5测试图像在提出方法与上述6种SR方法下重建图像的PSNR和SSIM值，其中粗体标出的数值在相应图像质量评价指标下最优。由表1可见，提出方法在两个评价指标下的超分重建效果均优于其他6种对比SR方法。
表1 不同SR方法的PSNR(dB)和SSIM值的比较
Figure BDA0001384505450000161
上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (3)

1.一种基于稀疏正则化技术和加权引导滤波的图像超分辨率方法，其特征在于，包括以下步骤：
步骤1：首先对HR训练样本图像进行下采样，得到HR和LR训练样本图像，然后采用联合字典训练算法对样本图像进行训练，得到HR字典Φh和LR字典Φl，再通过FSS算法求解式(1)所示的传统稀疏编码目标函数，得到Y对应的稀疏表示系数α，所述式(1)如下：
Figure FDA0002663050170000011
式中，||α||0表示α向量包含的非零值个数，Y表示待重建的LR图像，Φl为LR图像对应的过完备字典；
最后通过式
Figure FDA0002663050170000012
求解初始重建图像
Figure FDA0002663050170000013
步骤2：在式(1)中引入由图像的非局部相似性原理构造得到的非局部相似正则化项和由LLE方法构造得到的流形学习正则化项，获得新的稀疏编码目标函数，其中两个正则化项通过结合步骤1中初始重建图像
Figure FDA0002663050170000019
进行构造；
步骤3：采用FSS求解新的稀疏编码目标函数，通过确定每一次迭代稀疏表示系数的符号来将非凸问题转变为凸问题，得到的新稀疏表示系数为
Figure FDA0002663050170000014
步骤4：通过HR字典Φh与新稀疏表示系数
Figure FDA0002663050170000015
线性组合，即
Figure FDA0002663050170000016
得到重建后的图像
Figure FDA0002663050170000017
步骤5：对引导滤波进行改进，得到加权引导滤波，并构造基于加权引导滤波的全局误差补偿模型，对步骤4中的重建图像
Figure FDA0002663050170000018
进行全局误差补偿，得到HR图像
Figure FDA0002663050170000021
在步骤2中构造基于非局部相似性与流行学习的新稀疏编码目标函数的过程具体如下：
步骤21：构造非局部相似正则化项，执行如下操作：
步骤211、将初始重建图像
Figure FDA0002663050170000022
进行分块，在
Figure FDA0002663050170000023
中根据欧氏距离条件
Figure FDA0002663050170000024
寻找每一个局部的初始重建图像块
Figure FDA0002663050170000025
对应的所有相似图像块
Figure FDA0002663050170000026
其中d为一个恒定阈值；
步骤212、设
Figure FDA0002663050170000027
是图像块
Figure FDA0002663050170000028
的中间像素，
Figure FDA0002663050170000029
是相似图像块
Figure FDA00026630501700000210
的中间像素，则有
Figure FDA00026630501700000211
即利用
Figure FDA00026630501700000212
的加权平均值
Figure FDA00026630501700000213
来预测
Figure FDA00026630501700000214
设h是权重调节因子，则为
Figure FDA00026630501700000215
分配的权重
Figure FDA00026630501700000216
为：
Figure FDA00026630501700000217
步骤213、确定预测误差项
Figure FDA00026630501700000218
通过处理可将误差表达式改写为
Figure FDA00026630501700000219
其中wi为包含所有权重
Figure FDA00026630501700000220
的列向量，βi为包含所有
Figure FDA00026630501700000221
的列向量；
步骤214、简化误差项
Figure FDA00026630501700000222
为
Figure FDA00026630501700000223
其中，I是单位矩阵，Λ为权重矩阵，
Figure FDA00026630501700000224
构造得到的非局部相似约束项为
Figure FDA00026630501700000225
Figure FDA00026630501700000226
步骤22：构造流行学习正则化项，执行如下操作：
步骤221、采用流形学习中LLE方法计算图像块
Figure FDA00026630501700000227
邻域图像块的重构权值，计算公式(3)如下：
Figure FDA0002663050170000031
其中，Ni为
Figure FDA0002663050170000032
的K邻域图像块，邻域图像块由欧氏距离确定；ωij是重建的权重，满足
Figure FDA0002663050170000033
对于所有
Figure FDA0002663050170000034
ωij＝0；
步骤222、借助一个Garm矩阵对式(3)进行优化，Garm矩阵如下所示，
Figure FDA0002663050170000035
其中，O的每一列为
Figure FDA0002663050170000036
的每一个邻域图像块，1为一个元素均为1的列向量，若ωi是由ωij组成的向量，则ωi权重估计值可以通过下式获得Giωi＝1，为了使
Figure FDA0002663050170000037
需要对ωi进行归一化处理；
步骤223、将重建权值
Figure FDA0002663050170000038
分配给重建图像块
Figure FDA0002663050170000039
得到重建图像块重建误差项
Figure FDA00026630501700000310
步骤224、简化重建误差项
Figure FDA00026630501700000311
为
Figure FDA00026630501700000312
其中，I为单位矩阵，
Figure FDA00026630501700000313
步骤23：将非局部相似正则化项
Figure FDA00026630501700000314
和流形学习正则化项
Figure FDA00026630501700000315
加入到稀疏编码目标函数，得到新的稀疏编码目标函数：
Figure FDA00026630501700000316
其中，γ是一个调整非局部相似正则化项的常数，η是一个调整流形正则化项权重的因子；第一项为重建保真项，用于确保重建图像与SR模型一致；第二项为稀疏惩罚项，用于保证稀疏表示系数α足够稀疏；第三项为非局部相似正则化项，用于消除伪影并保持边缘信息；第四项为流形正则化项，用于保持并恢复结构信息；
步骤24：对式(5)进行简化，令
Figure FDA0002663050170000041
则可化简为：
Figure FDA0002663050170000042
2.如权利要求1所述的一种基于稀疏正则化技术和加权引导滤波的图像超分辨率方法，其特征在于，在步骤5中，构造基于加权引导滤波的全局误差补偿模型的具体过程如下：
步骤51：对引导滤波进行改进，得到加权引导滤波，执行如下操作：
步骤511、定义局部线性模型：设I为引导差值图像，d'为待滤波的差值图像，d”是滤波后的差值图像，则局部线性模型为：
Figure FDA0002663050170000043
其中，ak,bk表示在ωk邻域内的线性系数，假设为固定值；ωk表示以像素i为中心，k为半径的方形窗口；
步骤512、定义最小化的代价函数，该函数如式(8)所示，从而在邻域ωk内确定ak和bk；
Figure FDA0002663050170000044
其中，第一项为保真项，在最小化d'和d”差异的同时保证式(7)中局部线性模型的成立；第二项为规整项，υ是一个规整化因子，用于规整ak；
步骤513、对传统引导滤波中固定的规整化因子υ进行改进，实现自适应调整，以获取更小的逼近误差，同时采用高斯滤波对ΓI(p)进行平滑操作，边缘权重因子定义如下：
Figure FDA0002663050170000051
其中，
Figure FDA0002663050170000052
是I在3×3邻域内的方差，
Figure FDA0002663050170000053
取(0.001×C)2，C为灰度值范围；p(＝(x,y))表示图像像素的位置，将规整化因子υ改写为
Figure FDA0002663050170000054
步骤514、改进最小化的代价函数，即结合式(9)改进式(8)中固定的规整化因子：
Figure FDA0002663050170000055
步骤515、求解式(10)，求得ak和bk如下
Figure FDA0002663050170000056
其中，μk和σk 2分别表示在ωk窗口内图像I的灰度均值和方差，|ω|表示ωk内的像素数目，
Figure FDA0002663050170000057
表示在ωk内的灰度均值；
步骤516、通过步骤515中得到的ak和bk求解d”i，从而构造出加权引导滤波G；
步骤52：采用基于加权引导滤波的全局误差补偿模型对重建后的图像
Figure FDA0002663050170000058
进行全局误差补偿。
3.如权利要求2所述的一种基于稀疏正则化技术和加权引导滤波的图像超分辨率方法，其特征在于，所述步骤52中，全局误差补偿的具体步骤如下：
步骤521、输入：待重建的低分辨率图像Y，稀疏表示重建后的高分辨率图像
Figure FDA0002663050170000061
最大迭代次数T；
步骤522、构造加权引导滤波器G；
步骤523、Fori＝1,2,...,T
将
Figure FDA0002663050170000062
下采样，得到图像
Figure FDA0002663050170000063
求出待重建LR图像Y和
Figure FDA0002663050170000064
的差值图像：
Figure FDA0002663050170000065
采用双三次插值法对差值图像d进行上采样，得到图像d'；
采用加权引导滤波G来对图像d'进行边缘保持，得到图像d”；
将d”与
Figure FDA0002663050170000066
叠加：
Figure FDA0002663050170000067
步骤54、输出：高分辨率图像
Figure FDA0002663050170000068
CN201710718998.2A 2017-08-21 2017-08-21 基于稀疏正则化技术和加权引导滤波的图像超分辨率方法 Active CN107610049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710718998.2A CN107610049B (zh) 2017-08-21 2017-08-21 基于稀疏正则化技术和加权引导滤波的图像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710718998.2A CN107610049B (zh) 2017-08-21 2017-08-21 基于稀疏正则化技术和加权引导滤波的图像超分辨率方法

Publications (2)

Publication Number Publication Date
CN107610049A CN107610049A (zh) 2018-01-19
CN107610049B true CN107610049B (zh) 2021-01-05

Family

ID=61065643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710718998.2A Active CN107610049B (zh) 2017-08-21 2017-08-21 基于稀疏正则化技术和加权引导滤波的图像超分辨率方法

Country Status (1)

Country Link
CN (1) CN107610049B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765511B (zh) * 2018-05-30 2023-03-24 重庆大学 基于深度学习的超声图像超分辨率重建方法
CN108986101B (zh) * 2018-05-31 2021-07-06 浙江大学 基于循环“抠图-分割”优化的人体图像分割方法
CN108764367B (zh) * 2018-06-07 2023-05-12 深圳大学 一种基于关系正则化的特征图像提取装置及提取方法
CN109255770B (zh) * 2018-07-16 2022-11-08 电子科技大学 一种图像变换域降采样方法
CN109064492B (zh) * 2018-07-25 2022-04-01 南京信息工程大学 一种基于流形正则化的上下文相关滤波视频跟踪方法
CN109146785A (zh) * 2018-08-02 2019-01-04 华侨大学 一种基于改进稀疏自动编码器的图像超分辨率方法
CN109712205A (zh) * 2018-12-10 2019-05-03 重庆邮电大学 一种基于非局部自相似模型的图像压缩感知重建方法
CN113160271B (zh) * 2021-03-15 2023-10-31 华侨大学 一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法
CN113643197B (zh) * 2021-07-19 2023-06-20 海南大学 一种结合引导滤波和nsct的两阶轻量型网络全色锐化方法
CN113781419A (zh) * 2021-08-31 2021-12-10 广州大学 一种柔性pcb板缺陷检测方法、视觉系统、装置及介质
CN116188305B (zh) * 2023-02-16 2023-12-19 长春理工大学 基于加权引导滤波的多光谱图像重建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295196A (zh) * 2013-05-21 2013-09-11 西安电子科技大学 基于非局部字典学习和双正则项的图像超分辨率重建方法
CN106952228A (zh) * 2017-03-10 2017-07-14 北京工业大学 基于图像非局部自相似性的单幅图像的超分辨率重建方法
CN104103052B (zh) * 2013-04-11 2017-08-04 北京大学 一种基于稀疏表示的图像超分辨率重建方法
CN107067367A (zh) * 2016-09-08 2017-08-18 南京工程学院 一种图像超分辨重建处理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9142012B2 (en) * 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104103052B (zh) * 2013-04-11 2017-08-04 北京大学 一种基于稀疏表示的图像超分辨率重建方法
CN103295196A (zh) * 2013-05-21 2013-09-11 西安电子科技大学 基于非局部字典学习和双正则项的图像超分辨率重建方法
CN107067367A (zh) * 2016-09-08 2017-08-18 南京工程学院 一种图像超分辨重建处理方法
CN106952228A (zh) * 2017-03-10 2017-07-14 北京工业大学 基于图像非局部自相似性的单幅图像的超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
联合稀疏表示和总变分正则化的超分辨率;黄炜钦 等;《计算机科学》;20160731(第7期);全文 *

Also Published As

Publication number Publication date
CN107610049A (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
CN107610049B (zh) 基于稀疏正则化技术和加权引导滤波的图像超分辨率方法
Liu et al. Video super-resolution based on deep learning: a comprehensive survey
CN110969577B (zh) 一种基于深度双重注意力网络的视频超分辨率重建方法
Zhang et al. Image restoration: From sparse and low-rank priors to deep priors [lecture notes]
CN106952228B (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
Kang et al. Learning-based joint super-resolution and deblocking for a highly compressed image
CN113177882B (zh) 一种基于扩散模型的单帧图像超分辨处理方法
CN110443768B (zh) 基于多重一致性约束的单帧图像超分辨率重建方法
Ren et al. Single image super-resolution using local geometric duality and non-local similarity
Li et al. Example-based image super-resolution with class-specific predictors
CN112150354B (zh) 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法
CN111696033B (zh) 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法
EP3298575B1 (en) Super resolution using fidelity transfer
CN112837224A (zh) 一种基于卷积神经网络的超分辨率图像重建方法
Min et al. Blind deblurring via a novel recursive deep CNN improved by wavelet transform
Aakerberg et al. Semantic segmentation guided real-world super-resolution
López-Tapia et al. A single video super-resolution GAN for multiple downsampling operators based on pseudo-inverse image formation models
Mikaeli et al. Single-image super-resolution via patch-based and group-based local smoothness modeling
Guerreiro et al. Super-resolution of magnetic resonance images using Generative Adversarial Networks
Liu et al. Image super-resolution based on adaptive joint distribution modeling
WO2020001046A1 (zh) 一种基于自适应层次化运动建模的视频预测方法
Wang et al. Multi-scale fusion and decomposition network for single image deraining
Liu et al. Arbitrary-scale super-resolution via deep learning: A comprehensive survey
Suryanarayana et al. Deep Learned Singular Residual Network for Super Resolution Reconstruction.
CN113691792A (zh) 基于3d卷积的视频比特位深扩展方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant