CN109636722A - 一种基于稀疏表示的在线字典学习超分辨率重建的方法 - Google Patents
一种基于稀疏表示的在线字典学习超分辨率重建的方法 Download PDFInfo
- Publication number
- CN109636722A CN109636722A CN201811483016.7A CN201811483016A CN109636722A CN 109636722 A CN109636722 A CN 109636722A CN 201811483016 A CN201811483016 A CN 201811483016A CN 109636722 A CN109636722 A CN 109636722A
- Authority
- CN
- China
- Prior art keywords
- image
- sparse
- resolution
- dictionary
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 40
- 239000013598 vector Substances 0.000 claims description 60
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 18
- 238000012360 testing method Methods 0.000 abstract description 2
- 230000008929 regeneration Effects 0.000 abstract 1
- 238000011069 regeneration method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于稀疏表示的在线字典学习超分辨率重建的方法,包括三个部分:先验信息、字典学习、稀疏重建;其中,在字典训练部分采用在线字典学习,不仅有效利用外部图像库信息,更加入图像本身信息更新字典;此外,在稀疏先验的基础之上,同时加入局部自回归模型和非局部自相似性作为先验信息,建立了非局部正则化的超分辨率重建模型,重建图像的各种结构特征;在稀疏重建阶段,利用多尺度自相似稀疏表示确定稀疏系数,不同尺度相似块间的对应关系构建非局部约束项,在图像重建模型中将多尺度自相似结构的附加信息引入到重建过程;该方法不仅能够减小测试图像对训练图像集的依赖,而且能够克服重建过程中图像块出现的局部失真或模糊,进一步提高重建图像的质量。
Description
技术领域
本发明涉及图像信号处理技术领域,特别涉及一种基于稀疏表示的在线字典学习超分辨率重建的方法。
背景技术
人类认识世界获取信息的途径有许多,包括听觉、触觉以及嗅觉的,同样不可缺少来自视觉的信息。视觉信息的重要性往往是最重要的,远远超越了其他的获取途径。因此,通过视觉信息获取的图像质量将直接影响着我们对事物的认知和判断。
高分辨率图像具有更高的像素密度,且包含更加丰富的细节信息,对图像的特征提取、目标识别定位以及卫星遥感成像、医学影像等各特殊领域都存在着重要的意义和帮助。但是在实际中,获得的图像会受到成像硬件制约、外界环境等各种条件的影响,发生信息的损失,造成图像质量的衰退,空间分辨率通常无法满足实际应用的需要,对后期的图像处理带来不利。
图像超分辨率重建即利用单幅或多幅低分辨率图像进行图像的重建,从而获取高分辨率图像的数字处理技术。此法能够在图像传感硬件设备不被改变的情况下,较有效的恢复出高分辨率图像,因此成为当前的研究热点,并在医疗国防等各方面具有广泛的应用前景。
图像超分辨率重建从算法上大致可以分为以下三类:基于插值、基于重建和基于学习,具体如图1所示。
基于插值的方法通过插值函数在附近像素的基础上弥补丢失的像素值。该方法算法复杂度不高,但是重建效果较为模糊,且含有较为明显的锯齿效果。
基于重建的方法比如:凸集投影方法、迭代反向投影法、基于概率论等的方法,该法通常会受到先验信息的限制,且会出现收敛速度慢,求解不唯一等缺陷。
基于学习的方法是近年来的研究热点,该法的核心思想是从外部图像库中学习低分辨率和高分辨率图像之间的对应关系,以此估计并且恢复出当前低分辨率样本的高分辨率图像。较为经典的学习方式有马尔科夫网络和邻域嵌入的方法,但是前者存在计算成本大的缺陷;而后者利用低分辨率图像与样本库中k个邻近的高分辨率像素点构造所需HR图像,此法虽然减少了计算成本,但是在近邻个数的选取上存在争议。
另一种代表性的算法是基于稀疏表示的图像超分辨率重建,其主要思想是在同一幅图像中高低分辨率向量块具有相同的稀疏表示为前提,通过共同训练高低分辨率图像块组成的两个样本字典,并在设定好的前提下进行高低分辨率向量块的匹配,最终恢复出高分辨率图像。此法虽然重建效果好,但是也存在一些缺陷,比如对于字典库的训练,该模型复杂度高,对于边缘明显的图像,单一字典库的训练无法有效地表现出图像边缘信息,在细节信息的处理上存在弊端。
图像超分辨率重建是通过对单张或者多张具有互补信息的低分辨率图像进行处理,重建一张高分辨率图像的技术。目前传统超分辨率重建方法重建效果差、对于边缘、纹理等细节信息保持能力有限、易产生视觉伪影的问题,
发明内容
本发明的目的在于,提供一种基于稀疏表示的在线字典学习超分辨率重建的方法,不仅能够减小测试图像对训练图像集的依赖,而且能够克服重建过程中图像块出现的局部失真或模糊,进一步提高重建图像的质量。
为了解决上述技术问题,本发明实施例提供一种基于稀疏表示的在线字典学习超分辨率重建的方法,包括:
1)以图像的传统稀疏先验为基础,加入AR和非局部自相似性作为图像的额外补充信息,建立图像的非局部正则化超分辨率重建模型;
2)在稀疏重建的字典训练部分,选取在线字典学习;
3)在稀疏系数表示部分,结合多尺度自相似的稀疏表示,构造L1范数正则项补偿对;重建图像块向量,将所述图像块向量按照原顺序合成获得超分辨率重建图像。
进一步地,所述AR建模表示为:
式中,ai∈RN,ai表示像素点xi对应的AR参数向量;ui∈R,ui表示像素点xi的AR表示余项。
进一步地,所述非局部自相似性,包括:
图像像素点xi和xj之间的非局部自相似性的定义是基于图像块相似的;以xi和xj为中心的局部图像块Pi和Pj之间的距离ei,j小于预设阈值tol,则xi和xj就被称为是相似的,即,
在以xi为中心的一个非局部区域中,找出所有满足公式(3)的相似点xi由线性表示:
其中,vi表示余项;
bi,t表示组合权值,将其定义:
(5)式中,h表示权值的控制因子;ci归一化常数;
进一步地,所述在稀疏重建的字典训练部分,选取在线字典学习,包括:
根据所述AR生成的搜索局部相似块和所述非局部自相似性生成的搜索非局部相似块,生成用于字典学习的图像块样本对;
根据初始字典及所述字典学习的图像块样本对,在线字典学习更新字典。
进一步地,所述步骤3),包括:
3.1)用x表示n维高分辨率特征图像块向量,y表示m维低分辨率图像块向量;用矩阵Dh和Dl描述包含K个原子的字典(K>n,K>m);
Dh和Dl依次是从高分辨率图像的样本库及其所对应的低分辨率图像中训练所得;
Dh中的原子进行稀疏线性组合可以表示x,如下公式:
x=Dhα (15)
其中,α为稀疏向量,用||α||0表示α中的非零元素的个数,||α||0<<K,||α||0是α的l0范数;对y进行解下列l0最小化问题可以估计稀疏系数α:
其中,γ是用来对解的稀疏性和结果的保真性进行平衡的参数;
3.2)在α充分稀疏的条件下用l1最小化问题近似:
其中,||α||1是α的l1范数;l1范数是l0范数的最优凸近似,比l0范数更以优化求解;对输入图像的每一个y进行公式(17),与Dl进行结合得到相对应的稀疏系数α,再通过公式(15),利用α和Dh从y中恢复出所对应的高分辨率图像块向量x,拼接所有的x即可获得最终重建好的高分辨率图像。
进一步地,构造L1范数正则项补偿对,包括:
在稀疏编码过程中稀疏编码的补偿对估计βi和λi对相似图像块进行加权平均,由像素域转换到稀疏域计算;总之,与相关的补偿对记作:
是第k块相关的子字典,ω是权值,定义为xk和zk之间欧氏距离的减函数类似于
其中,h表示控制指数函数衰退预先设定的常数,W表示归一化因子,确保每个图像块权值总和为1。
本发明的优点在于,本发明的一种基于稀疏表示的在线字典学习超分辨率重建的方法,在字典训练部分采用在线字典学习,不仅有效利用外部图像库信息,更加入图像本身信息更新字典;此外,在稀疏先验的基础之上,同时加入局部自回归模型和非局部自相似性作为先验信息,建立了非局部正则化的超分辨率重建模型,重建图像的各种结构特征;在稀疏重建阶段,利用多尺度自相似稀疏表示确定稀疏系数,不同尺度相似块间的对应关系构建非局部约束项,在图像重建模型中将多尺度自相似结构的附加信息引入到重建过程。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为现有技术中图像超分辨率重建算法的分类示意图;
图2为本发明实施例提供的基于稀疏表示的在线字典学习超分辨率重建的方法流程图;
图3为本发明实施例提供的基于稀疏表示的在线字典学习超分辨率重建过程图;
图4为本发明实施例提供的图像局部区域灰度值变化的平稳性示意图;
图5为本发明实施例提供的图像的非局部自相似性示意图;
图6为本发明实施例提供的图像的多尺度相似性的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种基于稀疏表示的在线字典学习超分辨率重建的方法,参照图2所示,包括:
1)以图像的传统稀疏先验为基础,加入AR和非局部自相似性作为图像的额外补充信息,建立图像的非局部正则化超分辨率重建模型;
2)在稀疏重建的字典训练部分,选取在线字典学习;
3)在稀疏系数表示部分,结合多尺度自相似的稀疏表示,构造L1范数正则项补偿对;重建图像块向量,将所述图像块向量按照原顺序合成获得超分辨率重建图像。
本实施例中,基于稀疏表示的在线字典学习超分辨率重建的方法,为了能够详尽的表示出图像各部分的高频细节信息,增强图像重建的质量。主要包括三个部分:先验信息、字典学习、稀疏重建。
第一,由于图像的单张输入仅提供单个约束项,所以需要引进先验信息来弥补正则项。现在已经有许多的先验信息得到了有效且大量的应用。其中包括有图像的稀疏先验;还有另一种被有效应用的是非局部自相似先验。非局部自相似先验是利用在自然图像中广泛存在的非局部自相似性,图像区域块会在同尺度或相似尺度以及跨尺度的非局部重复多次,即可以在同一图像的不同单元中找到两个及以上的相似部分,这种先验性质能够在一定程度上反映出自然图像中许多的冗余信息,而恰恰正是可以用这些信息来估计高频图像丢失的细节信息。
针对基于稀疏先验的传统算法无法有效的保证重建图像的各个结构或特征这一缺点,本专利提出以传统稀疏先验为基础,同时加入图像的局部自回归和非局部自相似先验一并为图像的先验信息。
第二,在本专利中,选用在线字典学习的方法替代离线字典方案。传统的固定字典学习仅能在图像重建处理前对字典进行学习,且在整个重建的过程中维持不变。而在线字典学习则是使用待重建图像本身作为样本进行处理,持续迭送更新原有字典,有效将外部库中的信息与待重建处理图像自身的信息相结合,获得的活动字典比固定字典更适合于待处理的图像。
第三,在稀疏系数表示部分,通过正则化约束获得多尺度自相似结构中的附加信息,通过字典学习使样本中的多尺度相似图像块在字典下具有稀疏表示的形式,有效提取细节信息,优化重建质量。
下面分别对上述三部分进行详细的说明:参照图3所示;
第一部分:基于局部和非局部正则化的先验知识
传统的图像超分辨率重建算法选择图像在某一变换域的稀疏性先验,因此利用适合的先验知识对于此过程尤为重要。图像作为一种特殊的二维信号通常存在着大量的重复信息,具有非局部自相似性,处在不同位置的图像块常常会表现出很强的这个性质。与此同时,仅仅利用图像的非局部信息的自相似性,也会忽略图像像素间的局部信息,从而导致无法有效地重建图像边缘。因此本专利提出了一种基于局部和非局部正则化的图像先验。
Ⅰ.AR(图像的局部自回归模型)
虽然像素灰度在整个图像上的变化是非平稳的,但是我们可以在局部区域将变化过程看成是平稳的。因此,选取分块AR建模图像的局部自相关。
参照图4所示,为图像局部区域灰度值变化的平稳性示意图;
具体来说,图像X∈RN的像素点xi∈R(i=1,2,…,N),经分块AR建模可表示为:
式中,ai∈RN——像素点xi对应的AR参数向量;
ui∈R——像素点xi的AR表示余项。
其中,ai的分量大多为0,仅在AR支撑区的xi分量为非0。现以为分量构成行向量矩阵A∈RN×N,ui(i=1,2,…,N)为列向量构成矩阵U∈RN,于是有,式(1)的矩阵—向量形式
X=AX+U (2)
其中,系数矩阵A为稀疏矩阵。此式为基于局部自回归模型的图像表达方式。其特点是可以通过ai的变化表示出图像的不同结构。
II.图像的非局部自相似性
在自然图像中,相距较远的不同位置常会重复出现相同的结构模式,这种性质则为图像的非局部自相似性。
参照图5所示,为图像的非局部自相似性示意图;
图像像素点xi和xj之间的非局部自相似性的定义是基于图像块相似的。只要以xi和xj为中心的局部图像块Pi和Pj之间的距离ei,j小于给定的阈值tol,则xi和xj就被称为是相似的,即,
在以xi为中心的一个足够大的非局部区域中,找出所有满足公(3)的相似点那么xi便可以由线性表示:
其中,vi表示余项;
bi,t表示组合权值,将其定义:
式中,h表示权值的控制因子;
ci表示:为归一化常数。
此时,将式(4)表示为矩阵—向量形式:
X=BX+V (6)
其中,向量V∈RN的第i个分量为v;矩阵B∈RN×N的第i行第it列的元素为bi,t,其他元素都为零。因此,B的行向量只有少数非0向量,同样为稀疏矩阵,便于实际的计算和存储。将公式(2)和(6)做对比可知,两者均为图像“自回归”的建模表示,但前者是基于图像局部自回归模型,刻画的是图像像素“近程”间的相关性,而后者是基于图像非局部自回归模型,反映的则是图像像素“远程”之间的相似性。将这两者同时引入到图像的超分辨率重建问题中,以此进一步提升重建图像的质量和精度。
其中,一个足够大的非局部区域,是指:在初始高分辨率图像LR中以像素(i,j)为中心的匹配窗P对应位置的搜索窗i领域内搜索相似块。
第二部分:基于在线字典的稀疏重建算法
从图像中切分出边长为5像素的图像块,每块上仅有图像的基本结构基元,如线条、边缘、折角等,这些元素对于尺度变化有不变性。因此,低分辨率图像可以提供给超分辨率重建算法以结构基元的高频信息。
I.字典学习过程
字典往往通过S={s1,s2,...,st}这样的一组训练集合由以下公式学习获得:
其中,Z={z1,z2,...,zt}是训练样例S中的各图像块向量si所对应的稀疏系数zi的集合;Di是字典D中的第i个原子。
重建过程需要一个重要的前提条件,即高分辨率和低分辨率特征图像块向量关于字典Dh和Dl的稀疏系数相同。设定一对训练样例P={Sh,Sl},其中,Sh={x1,x2,...,xt}对应高分辨率图像块向量的训练集合,Sl={y1,y2,...,yt}是Sh的低分辨率特征图像块向量训练集合。单一字典的训练过程中可由公式(8)实现对Dh和Dl两个字典的训练,且使得高低分辨率图像块向量有相同的稀疏系数:
其中,
将式(8)改写:
II.在线字典学习阶段
在本专利中,选用在线字典学习的方法替代离线字典方案。传统的固定字典学习仅能在图像重建处理前对字典进行学习,且在整个重建的过程中维持不变。而在线字典学习则是使用待重建图像本身作为样本进行处理,持续迭送更新原有字典,有效将外部库中的信息与待重建处理图像自身的信息相结合,获得的活动字典比固定字典更适合于待处理的图像。
令Xl表示输入的N维低分辨率图像向量。首先对Xl下采样缩小为1/s,再利用双三次插值法放大s倍,获取n维低频图像向量Yl。然后,再通过双三次插值法将Xl放大s倍,获得待求的高分辨率图像向量Xh所相对应的低频图像向量Yh。令和分别表示图像Yl、Yh、Xl和Xh的第k个图像块向量。
对于每个找到该向量在Yl图像中所相对应的以为中心的L×L大小像素的训练窗中搜索c个的最相似的图像块向量。令Ω表示搜索到的相似图像向量的序号集,那么用集合表示低频图像块向量,以及表示对应的高频图像块向量集合,两者可构成一对用于在线字典学习的训练图像块向量样本。本文选择欧基里得距离衡量不同图像块向量间的相似度。
使用不同的方案分别取得高、低频训练样例,以此来确保低频训练图像及高频训练图像间的非线性相关。从高频图像块向量中减去其对应的低频图像块向量,可获得高频训练样例,将此过程,定义为G:
从中提取特征作为低频训练样例。本专利选择图像的一阶和二阶导数作为特征,
由以下公式进行提取:
由公式(12)作为卷积核对Yl做卷积运算,以此取得四张梯度图像。在各梯度图像的对应位置处提取图像块向量串联为一个向量,得到所对应的低频训练样例。这个过程定义作F。
根据公式(9)将各训练样本串联,获取集合Sc;确保Dh和Dl拥有相同的稀疏系数,并将二者串联为Dc进行联合字典训练。
在线字典学习的更新由下述公式表示:
其中,
——训练集Sc中的第i个训练样例;
z——s在字典D上的稀疏表示;
D0——更新前的初始字典。
本专利使用外部图像库训练得到初始字典。从库中随机抽取300张高质量图像,将其分割成图像块,每个图像块向量与输入的图像块向量具有相同的维度,即每一个图像块向量为一个结构基元。独立随机地从每张图像中选择500个,共计10000个图像块向量为训练样本。依据大数定理,能够确保抽取出的样本包括所有常见的结构基元。对所抽取的所有图像块向量采取下采样后再插值的方案获得其对应的低频图像块向量。通过过程G和F分别取得高、低分辨率训练集合,并串联为训练样本集Sc0。最后由公式(9)、(10)训练获取初始字典Dh0和Dl0。
第三部分:基于多尺度自相似稀疏表示的重建阶段
I.基于稀疏表示的超分辨率重建过程
图像块是基于稀疏表示的重建算法中的基本单元,是将在图像分别切割成特定像素的正方形。串联图像块的每列所构成的向量即为图像块向量。用x表示n维高分辨率特征图像块向量,y表示m维低分辨率图像块向量。用矩阵Dh和Dl描述包含K个原子的字典(K>n,K>m)。Dh和Dl依次是从高分辨率图像的样本库及其所对应的低分辨率图像中训练所得。Dh中的原子进行稀疏线性组合可以表示x,如下公式:
x=Dhα (15)
其中,α为稀疏向量,用||α||0表示α中的非零元素的个数,||α||0<<K,||α||0是α的l0范数;对y进行解下列l0最小化问题可以估计稀疏系数α:
其中,γ是用来对解的稀疏性和结果的保真性进行平衡的参数。
l0最小化问题是NP难问题,可以在α充分稀疏的条件下用l1最小化问题近似:
其中,||α||1是α的l1范数;l1范数是l0范数的最优凸近似,比l0范数更以优化求解。对输入图像的每一个y进行公式(17),与Dl进行结合得到相对应的稀疏系数α,再通过公式(15),利用α和Dh从y中恢复出所对应的高分辨率图像块向量x,拼接所有的x即可获得最终重建好的高分辨率图像。
II.利用多尺度自相似性调整α
抑制噪声水平能够提高图像的重建质量。局部自相似性同时存在于相同尺度和多尺度间,所以当只考虑同尺度间的冗余信息来增强图像重建效果是不足够的。因此在本专利中,同时采用相同尺度和不同尺度的自相似性估计补偿对对稀疏系数做出调整,一次提升模型性能。依旧选取由粗到精的过程,获取的稀疏系数随着迭送次数的增加表达更加精准,重建效果更加明显。
参照图6所示,表示图像的多尺度相似性,和分别表示在第i次迭代时估计的HR图像和它的第k个图像块。首先,构建两个样本集,裁剪输入HR图像X得到未处理的图像块构成同尺度样本集,不同尺度样本集由裁剪{Is}得到的未处理的图像块构成,Is表示每幅HR图像以1.25s缩减,s=0,-1,...,-6(I0=X)得到的图像,图像块大小与在同尺度和不同尺度样本集中使用最近邻搜索算法寻找P最近邻的两个数据集。P为最大值,其中将舍弃与的欧氏距离大于预设阈值的样本,避免因数据不足导致误差。此操作后获得的两个样本集实际上表示了同尺度相似性样本集和多尺度相似性数据集ψk。最后,在稀疏编码过程中稀疏编码的补偿对估计βi和λi对相似图像块进行加权平均,由像素域转换到稀疏域计算。总之,与相关的补偿对记作:
是第k块相关的子字典,ω是权值,定义为xk和zk之间欧氏距离的减函数类似于
其中,h表示控制指数函数衰退预先设定的常数,W表示归一化因子,确保每个图像块权值总和为1。
将公式(18)中定义的补偿对与公式(17)相结合,得出目标函数模型:
其中,β和λ分别是所有βk和λk的级联,表示对αZ的最优估计。μ1和μ2为平衡系数。利用梯度下降法迭送求解,表示第i次迭送后所得稀疏系数。
在此次模型中,计算的稀疏表示系数同时添加补偿项作为调整可以提高重建性能,抑制噪声影响。对α噪声进行分析,同尺度和不同尺度噪声都服从拉布拉斯先验,故此选取l1范数(即为M取值为1),此最优化过程可使用最小角回归(leastangleregression,LARS)进行运算。
与第二部分相结合,稀疏重建阶段是将输入图像Xl中每个进行放大的过程,恢复的最终高分辨率图像块的高频与低频部分相加即可。
利用公式(21)获取稀疏系数之后,重建的图像块向量为:
将按照原顺序合成所得即为最终的超分辨率重建图像Xh。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (6)
1.一种基于稀疏表示的在线字典学习超分辨率重建的方法,其特征在于,包括:
1)以图像的传统稀疏先验为基础,加入AR和非局部自相似性作为图像的额外补充信息,建立图像的非局部正则化超分辨率重建模型;
2)在稀疏重建的字典训练部分,选取在线字典学习;
3)在稀疏系数表示部分,结合多尺度自相似的稀疏表示,构造L1范数正则项补偿对;重建图像块向量,将所述图像块向量按照原顺序合成获得超分辨率重建图像。
2.如权利要求1所述的方法,其特征在于,所述AR建模表示为:
式中,ai∈RN,ai表示像素点xi对应的AR参数向量;ui∈R,ui表示像素点xi的AR表示余项。
3.如权利要求1所述的方法,其特征在于,所述非局部自相似性,包括:
图像像素点xi和xj之间的非局部自相似性的定义是基于图像块相似的;以xi和xj为中心的局部图像块Pi和Pj之间的距离ei,j小于预设阈值tol,则xi和xj就被称为是相似的,即,
在以xi为中心的一个非局部区域中,找出所有满足公式(3)的相似点xi由线性表示:
其中,vi表示余项;
bi,t表示组合权值,将其定义:
(5)式中,h表示权值的控制因子;ci归一化常数;
4.如权利要求1所述的方法,其特征在于,所述在稀疏重建的字典训练部分,选取在线字典学习,包括:
根据所述AR生成的搜索局部相似块和所述非局部自相似性生成的搜索非局部相似块,生成用于字典学习的图像块样本对;
根据初始字典及所述字典学习的图像块样本对,在线字典学习更新字典。
5.如权利要求1所述的方法,其特征在于,所述步骤3),包括:
3.1)用x表示n维高分辨率特征图像块向量,y表示m维低分辨率图像块向量;用矩阵Dh和Dl描述包含K个原子的字典(K>n,K>m);
Dh和Dl依次是从高分辨率图像的样本库及其所对应的低分辨率图像中训练所得;
Dh中的原子进行稀疏线性组合可以表示x,如下公式:
x=Dhα (15)
其中,α为稀疏向量,用||α||0表示α中的非零元素的个数,||α||0<<K,||α||0是α的l0范数;对y进行解下列l0最小化问题可以估计稀疏系数α:
其中,γ是用来对解的稀疏性和结果的保真性进行平衡的参数;
3.2)在α充分稀疏的条件下用l1最小化问题近似:
其中,||α||1是α的l1范数;l1范数是l0范数的最优凸近似,比l0范数更以优化求解;对输入图像的每一个y进行公式(17),与Dl进行结合得到相对应的稀疏系数α,再通过公式(15),利用α和Dh从y中恢复出所对应的高分辨率图像块向量x,拼接所有的x即可获得最终重建好的高分辨率图像。
6.如权利要求5所述的方法,其特征在于,构造L1范数正则项补偿对,包括:
在稀疏编码过程中稀疏编码的补偿对估计βi和λi对相似图像块进行加权平均,由像素域转换到稀疏域计算。总之,与相关的补偿对记作:
是第k块相关的子字典,ω是权值,定义为xk和zk之间欧氏距离的减函数类似于
其中,h表示控制指数函数衰退预先设定的常数,W表示归一化因子,确保每个图像块权值总和为1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811483016.7A CN109636722B (zh) | 2018-12-05 | 2018-12-05 | 一种基于稀疏表示的在线字典学习超分辨率重建的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811483016.7A CN109636722B (zh) | 2018-12-05 | 2018-12-05 | 一种基于稀疏表示的在线字典学习超分辨率重建的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109636722A true CN109636722A (zh) | 2019-04-16 |
CN109636722B CN109636722B (zh) | 2023-09-05 |
Family
ID=66071336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811483016.7A Active CN109636722B (zh) | 2018-12-05 | 2018-12-05 | 一种基于稀疏表示的在线字典学习超分辨率重建的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109636722B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110650340A (zh) * | 2019-04-25 | 2020-01-03 | 长沙理工大学 | 一种时空复用的压缩视频成像方法 |
CN113409192A (zh) * | 2021-06-17 | 2021-09-17 | Oppo广东移动通信有限公司 | 超分辨率芯片、超分辨率算法的更新方法和电子设备 |
CN113496468A (zh) * | 2020-03-20 | 2021-10-12 | 北京航空航天大学 | 深度图像的修复方法、装置和存储介质 |
CN116894037A (zh) * | 2023-07-14 | 2023-10-17 | 深圳市房地产和城市建设发展研究中心 | 一种基于时空数据字典库的多维特征更新方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103093444A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于自相似性和结构信息约束的图像超分辨重建方法 |
CN104103052A (zh) * | 2013-04-11 | 2014-10-15 | 北京大学 | 一种基于稀疏表示的图像超分辨率重建方法 |
CN105550988A (zh) * | 2015-12-07 | 2016-05-04 | 天津大学 | 基于改进邻域嵌入和结构自相似性的超分辨率重建算法 |
-
2018
- 2018-12-05 CN CN201811483016.7A patent/CN109636722B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103093444A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于自相似性和结构信息约束的图像超分辨重建方法 |
CN104103052A (zh) * | 2013-04-11 | 2014-10-15 | 北京大学 | 一种基于稀疏表示的图像超分辨率重建方法 |
CN105550988A (zh) * | 2015-12-07 | 2016-05-04 | 天津大学 | 基于改进邻域嵌入和结构自相似性的超分辨率重建算法 |
Non-Patent Citations (1)
Title |
---|
张超鹏: "基于稀疏表示和混合样本的图像超分辨率重建算法研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110650340A (zh) * | 2019-04-25 | 2020-01-03 | 长沙理工大学 | 一种时空复用的压缩视频成像方法 |
CN113496468A (zh) * | 2020-03-20 | 2021-10-12 | 北京航空航天大学 | 深度图像的修复方法、装置和存储介质 |
CN113409192A (zh) * | 2021-06-17 | 2021-09-17 | Oppo广东移动通信有限公司 | 超分辨率芯片、超分辨率算法的更新方法和电子设备 |
CN116894037A (zh) * | 2023-07-14 | 2023-10-17 | 深圳市房地产和城市建设发展研究中心 | 一种基于时空数据字典库的多维特征更新方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109636722B (zh) | 2023-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109741256B (zh) | 基于稀疏表示和深度学习的图像超分辨率重建方法 | |
CN109636722B (zh) | 一种基于稀疏表示的在线字典学习超分辨率重建的方法 | |
CN114119444B (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
CN113177882B (zh) | 一种基于扩散模型的单帧图像超分辨处理方法 | |
CN107993194B (zh) | 一种基于平稳小波变换的超分辨率重建方法 | |
Huang et al. | Deep hyperspectral image fusion network with iterative spatio-spectral regularization | |
CN106952228A (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
US20130129201A1 (en) | Method for Pan-Sharpening Panchromatic and Multispectral Images Using Wavelet Dictionaries | |
CN107730482A (zh) | 一种基于区域能量和方差的稀疏融合算法 | |
CN108257093B (zh) | 基于可控核与高斯过程回归的单帧图像超分辨方法 | |
CN110210282A (zh) | 一种基于非凸低秩稀疏分解的运动目标检测方法 | |
CN112819716B (zh) | 基于高斯-拉普拉斯金字塔的无监督学习x光图像增强方法 | |
CN114170088A (zh) | 一种基于图结构数据的关系型强化学习系统及方法 | |
CN112529777A (zh) | 基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法 | |
López-Tapia et al. | Deep learning approaches to inverse problems in imaging: Past, present and future | |
CN109741258B (zh) | 基于重建的图像超分辨率方法 | |
Mikaeli et al. | Single-image super-resolution via patch-based and group-based local smoothness modeling | |
CN107292855A (zh) | 一种结合自适应非局部样本和低秩的图像去噪方法 | |
Cheng et al. | Deep fuzzy clustering transformer: learning the general property of corruptions for degradation-agnostic multi-task image restoration | |
CN106934398A (zh) | 基于超像素聚类和稀疏表示的图像去噪方法 | |
CN113240581A (zh) | 一种针对未知模糊核的真实世界图像超分辨率方法 | |
CN110211037B (zh) | 一种基于多级稀疏字典学习的图像超分辨率方法 | |
CN110176029B (zh) | 基于层级稀疏表示的图像复原与匹配一体化方法及系统 | |
CN112241938A (zh) | 基于光滑塔克分解与高阶张量汉克化的图像修复方法 | |
CN108846797B (zh) | 基于两种训练集合的图像超分辨率方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |