CN110223231A - 一种含噪图像的快速超分辨重建算法 - Google Patents
一种含噪图像的快速超分辨重建算法 Download PDFInfo
- Publication number
- CN110223231A CN110223231A CN201910489849.2A CN201910489849A CN110223231A CN 110223231 A CN110223231 A CN 110223231A CN 201910489849 A CN201910489849 A CN 201910489849A CN 110223231 A CN110223231 A CN 110223231A
- Authority
- CN
- China
- Prior art keywords
- resolution
- formula
- image
- low
- patch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 33
- 239000013598 vector Substances 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000009826 distribution Methods 0.000 claims abstract description 8
- 238000005070 sampling Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000008929 regeneration Effects 0.000 claims description 5
- 238000011069 regeneration method Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 239000012141 concentrate Substances 0.000 claims description 2
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 230000003412 degenerative effect Effects 0.000 claims description 2
- 238000009795 derivation Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 239000004576 sand Substances 0.000 claims description 2
- 108091005725 scavenger receptor cysteine-rich superfamily Proteins 0.000 claims description 2
- 238000012876 topography Methods 0.000 claims 1
- 238000012360 testing method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种含噪图像的快速超分辨重建算法。现有算法大多假设输入图像是不含有噪声的。但这与实际情况相反,在生活中获得的图像多数是含有噪声的。首先,借鉴传统算法中高、低分辨率字典的训练方法,在此基础上,将低分辨率图像块的纹理结构加入字典的训练过程。在重建过程中,通过使用稀疏字典的列原子作为匹配对象,并对输入的特征向量和稀疏字典做了归一化处理提高了精度。根据输入的特征向量和匹配对象的相似程度选择相似块,并通过权重限制模型完成对相似块的权值分配重构出对应的高分辨率图像块。最后,通过加权平均,重建了原始估计的高分辨率图像和去噪后的低分辨率图像。再将两幅重建图像与迭代反投影相结合,得到最终图像。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种含噪图像的快速超分辨重建算法。
背景技术
单图像超分辨率重建是图像处理领域的经典研究内容。一般来说,它的首要任务是从低分辨率图像中重建丢失的高频细节。传统的基于插值的超分辨率重建技术已经被广泛运用并具备快速实现的优点。但是,面对图像边缘、不连续区域、高频特征时,往往不能取得理想的效果。
近些年来,人们提出了许多具有影响力的基于实例的超分辨率重建方法,并取得了不错的效果,逐渐成为超分辨重建领域的主流方法。该方法的主要思路是:学习样本库中对应高、低分辨率图像块之间的映射关系并结合输入的低分辨率图像块重构出丢失的高频细节。大多数方法都是基于最近邻嵌入思想。总的来说,针对每一个输入的低分辨率图像块从数据库中寻找最为接近的k个图像块,再结合之前学习的映射关系完成相似块的线性组合,最终估计出高分辨率图像块。虽然这些算法可以得到不错的结果,但是难以确定的近邻数目还是降低了这类算法的稳定性。
发明内容
本发明的目的是设计一种含噪图像的快速超分辨重建算法。单图像超分辨率重建是图像处理领域的经典研究内容。一般来说,它的首要任务是从低分辨率图像中重建丢失的高频细节。我们引入稀疏理论来降低噪声的影响并通过新的相似块选择方案来提高重建速度。
第一阶段是字典训练阶段,首先,训练中的高、低分辨率图像块具有相同的尺寸大小,后者是通过训练图像先下采样后插值放大,最后通过图像分块得到的。并且训练图像是无噪声的,即训练过程不受输入图像噪声程度的干扰。由于高分辨率字典是由对应的高、低分辨率图像块共同训练得到的,所以它不仅表示高分辨率图像的高频细节,还表示无噪声低分辨率图像的纹理结构。
第二阶段是高分辨率图像块重建阶段,重建高分辨率图像块的关键在于找到相似的高分辨率图像块并完成合理的线性组合。根据输入的特征向量可以从匹配对象中自适应地选择k个相似的字典原子对,并计算他们和输入特征向量之间的相似度差异。结合输入的特征向量、低分辨率字典原子、相似度差异计算出对应权值。
最后利用所有的估计图像块并通过对重叠区域的平均计算,得到估计的高分辨率图像和去噪后的低分辨率图像。最后,结合迭代反投影,得到最终重建的高分辨率图像。
附图说明
图1为本发明一种含噪图像的快速超分辨重建算法的结构示意图;
图2为本发明一种含噪图像的快速超分辨重建算法的部分训练图像;
图3、图4、图5为本发明一种含噪图像的快速超分辨重建算法的实验结果。
具体实施方式
下面结合附图阐述发明内容的具体实施方式,
一种含噪图像的快速超分辨重建算法,如图1所示,包括高、低分辨率字典训练、相似块的选取和权重计算以及高分辨率图像块重建,
C.高、低分辨率字典训练
在高、低分辨率字典训练时,我们使用了77张标准的自然图像作为训练集,部分用以高、低字典对训练的训练图像如图2所示,首先使用的训练图像是不含有噪声的,其中高分辨率图像与之对应的低分辨率图像 这里值得注意的是,为了提高相邻贴片之间的兼容性,使它们具有相同的图像尺寸,后者先进行下采样再插值放大,如公式(1)所示:
公式(1)中,H为上采样因子,D为下采样因子,上采样和下采样均使用双立方插值,分别对高、低分辨图像{Ih,Il}进行分块处理,图像块大小都是w×w,最终,得到高、低分辨率图像块{ph,pl},如公式(2)所示:
类似于SRCR中的字典设计思路,假设原始高分辨率图像和输入低分辨率图像分别在耦合字典DH和DL上具有相同的稀疏系数,和传统算法不同的是,为了增加对噪声的抗干扰性,参与高分辨率字典DH训练的不仅是高分辨率图像块PH的纹理结构,低分辨率图像块PL的纹理结构也被用来学习,在重建阶段,DH可以用来估计高分辨图像和不含噪声的低分辨图像,DL代表了图像的基本结构,为了提取适当的特征,我们使用简单有效的一阶导数和二阶导数作为滤波函数,用于提取特征的四个滤波器是
基于公式(3)给出的滤波器算子,我们可以提取每个图像块的四个不同方向的特征,将四个特征向量拼接成一个向量并作为低分辨率图像块的最终特征表示,
通过上述方法,字典训练数据可以通过以下方式获得的:
公式(4)中,(PH,PL)是相应的高、低分辨率图像对,是的平均值,是的平均值,是由公式(3)提取的特征向量并将四个特征向量拼接成一个向量,由于高、低分辨率图像块提取特征方式的不同,DH∈RN×S和DL∈RM×S并不是简单的线性连接,其中S是字典中原子的数目,所以通过使用公式(5)来完成字典联合训练的过程,
公式(5)中,N和M是向量形式的高、低分辨率图像贴片的尺寸,在实际训练过程中,我们可以将上述公式简化成公式(6),如下所示:
公式(6)中,
训练的过程是一个典型的稀疏系数求解的过程,然而,求解稀疏模型的过程往往需要花费很多的时间,Zeyde通过OMP和PCA节省了字典学习的时间,所以,对于稀疏字典的学习,我们使用Zeyde的方法,
D.相似块的选取和权重计算
在重建过程中,通过使用稀疏字典的列原子作为匹配对象从而大大降低了计算成本,并对输入的特征向量和稀疏字典做了归一化处理提高了精度,根据输入的特征向量和匹配对象的相似程度选择k个相似块,并通过权重限制模型完成对相似块的权值分配,从而重构出对应的高分辨率图像块,首先,将输入的低分辨率图像Yl通过双立方插值放大到和原始高分辨率图像XH相同的尺寸大小,然后将其分割成大小为w×w,数目为N的重叠低分辨率图像补丁,
公式(7)中,是向量化的低分辨率图像补丁,那么,估计的高分辨率图像XH可以表示为:
公式(8)中,是向量化的高分辨率图像补丁,尺寸大小为w×w所以,超分辨率重建就变成了从低分辨率图像补丁中估计高分辨率图像补丁的过程,在考虑噪声的影响下,退化过程可以描述为公式(9):
公式(9)中,Vi是噪声,我们假设它是均值为零且方差为σ2的高斯噪声,由于局部图像结构具有重复性,我们可以找到和结构相似的图像补丁集合并通过合理的权值分配重建估计的高分辨率图像补丁
公式(10)中,权重向量ωi=[ωi1,ωi2,...,ωik]T,而k是相似图像补丁的数目,通过上述描述,我们可以得到如下推导:
通过公式(11),我们可以得到:
因此:
公式(14)中,Vi是假设的均值为零且方差为σ2的高斯噪声,所以,εi是和σ2相关的,也就是说,在误差可控的范围内,通过输入的低分辨率图像补丁和选取的相似图像补丁可以得到合理的权值分配ωi,因此,重建阶段的关键在于从pl选取和输入图像补丁结构相似的图像补丁集合并获得合理的权重分配ωi,传统算法通过欧式距离来描述这种相似性,虽然计算方法简单,但是要从庞大的示例库中为每个输入寻找相似的图像补丁,这需要花费大量的时间,由于,稀疏字典可以使信号的主要成分集中在少许几个原子上,并且基于稀疏编码的超分辨重建算法展示了对噪声良好的鲁棒性,所以,我们选择用稀疏字典代替原始的示例库并从列原子中选取相似的图像补丁集合,即
通过上述讨论,对于每一个输入图像补丁通过提取它的梯度特征并根据低分辨率字典的列原子与输入特征向量之间的相似性找到k个相似的补丁对为了统一比较的标准,保证结果的可靠性,
进行相似度计算前,将低分辨率字典和输入特征向量进行标准化处理,过程如下:
D_norm=sqrt(sum((Dl)2,1))
Dnl=Dl./repmat(norm,Dl)
公式(15)中,sqrt(.)是开平方操作,sum(A,1)是矩阵A的按列求和函数,repmat(a,b)使a和b具有相同的矩阵维数,Dnl和是标准化后的低分辨率字典和输入特征向量,可以由Dnl表示:
公式(16)中,α=[α1,α2,...,αj,...,αs],表示低分辨率字典列原子,αj表示和的相关性,其中,α的求解公式如下:
公式(15)和(16)中,展示了每个字典列原子与输入特征向量之间的相关性,其中,我们认为αj越大,和之间的相关性就越强,反之,若αj很小或接近于零,则说明两者之间几乎没有相关性,我们通过相似性的强弱选择k个相似图像补丁对
公式(18)中,abs(.)是求绝对值操作,SortA(a,k)是将向量a从大到小排序,并返回前k个的索引值,这样,我们就从稀疏字典对(Dh,Dnl)中找到了与输入特征相似的k个图像补丁对对应的相似度大小βi=[βi1,βi2,...,βij,...,βik]计算公式如下:
公式(19)中,SortB(a,k)是将向量a从大到小排序,并返回前k个的值,结合公式(14),我们提出了基于L2范数正则化的最小二乘回归的权值解法:
由公式(18)可知,目标函数对每一个相似的图像补丁的约束力度是相同的,这并不能获得合理准确的权值分配,为了解决这个问题,引入了限制项Ci=[ci1,ci2,...,cij,...,cik],其目的是为了不平等地对待每一个相似的图像补丁,并且量化了这种不平等的程度,该函数由输入图像块特征向量与相似图像补丁对之间的相似性βi和每组相似图像补丁之间的差异bi=[bi1,bi2,...,bij,...,bik]共同作为限制项的评判标准,βi1是每组最相似的图像补丁,且bi1=1,计算公式如下:
bi=βi-βi1(i≠1)
Ci=βi·bi (21)
公式(21)中,·表示点乘,当相似性很强时,我们限制项会很小,从而会得到较大的权重,相反,当相似性较弱时,我们的限制项会变大,从而获得较小的权重,具体过程如下,先计算每组相似图像补丁之间的差异,即每个相似图像补丁减去每组最相似的图像补丁得到bi,再乘以每个相似图像补丁的相似性βi,从而得到最终的限制项Ci,所以,改进的最小二乘回归模型如下:
所以,自适应权值计算模型如下:
公式(23)中,λ是正则化参数,ωi是需要求解的权重,通过自适应权值计算模型,ωi会得到合理的权值,这是一个L2范数的约束问题,我们采用来求解ωi,闭式解表达式如下:
公式(24)中,解得最优权值并保证 这样我们很容易得到权值ωi和重构向量我们对得到的进行线性缩放,这样可以获得更好的效果,具体过程如下:
公式(25)中,S是线性缩放因子,是线性缩放后的重构向量,根据高分辨率字典的训练方式,不仅包括估计的高分辨率图像补丁还包括去噪后的低分辨率图像补丁这里值得注意的是,和具有相同的尺度大小,
公式(26)中,和的尺寸大小为w×w,是真实高分辨率图像补丁的估计值,是输入图像补丁的去噪部分,C∈Rw×w是全一列向量,E(·)是均值运算符,由于,我们添加的是均值为零的高斯噪声,所以噪声对图像均值的影响很小,即和的平均值可以由输入图像补丁的平均值来代替,公式(24)可以写成:
将所有估计的高分辨率图像补丁放入高分辨率图像中,并对重叠区域进行平均计算,同样,我们也可以从中得到去噪后的低分辨率图像为了加强重构中的约束条件,我们通过迭代反投影完成最终高分辨率图像X*的预测:
公式(28)中,是高分辨率图像第t次的迭代,↑s表示倍数为S的上采样,p是对称的高斯滤波器,
含噪图像的快速超分辨重建算法流程如下:
输入:已训练的联合稀疏字典DH和DL;输入低分辨率图像YL;相似块数目k;正则化参数λ;
输出:高分辨率图像X*;
初始化:对输入低分辨率图像YL作双立方插值得到与高分辨率图像XH同样大小的低分辨图像,作分块处理得低分辨率图像块保证相邻图像块在每个方向均有重叠像素,循环:直到处理完所有的图像块:
1)使用公式(3)提取低分辨率图像块的特征向量通过标准化并结合公式(17)求出向量之间的相关性α
2)根据相关性系数α寻找k个相似图像补丁对通过公式(19)、(21)计算得到限制项Ci
3)通过公式(24)计算得到权值分配ωi
4)得到重构向量并根据公式(25)、(27)得到估计的高分辨率图像补丁和去噪后的低分辨率图像补丁
5)通过重叠区域的加权平均得到高分辨率图像和去噪后的低分辨率图像
6)根据和并结合公式(28)得到最终估计的高分辨率图像X*,
我们将Set5、Set14和B100作为测试图像库。其中,分别包含5、14、100张用于重建测试的图片。为展示所提算法对噪声图像重建效果的提升,与NE、Zeyde、A+、SRCNN、CSC进行比较,将峰值信噪比(PSNR)和结构相似度(SSIM)作为客观评判指标。(使用相同的参数设置,图像块补丁大小为6×6,重叠区域为2,正则化因子λ=0.04,字典大小为1024,相似块数目K=5)。由于人类对光源的变化更加敏感,所以,我们的算法只在亮度分量通道上执行。因此,我们首先将图像转换为YcbCr通道,然后将测试算法应用于Y通道。
当标准差σ=0时,算法CSC体现了最好的性能。但这和实际应用情况不符。而当σ≠0时,我们在图像集Set5、Set14和B100中进行了测试,结果证明我们提出的算法比其他方法更加具有优越性。表1和表2列出了PSNR和SSIM的比较结果。测试集为Set5,当放大因子×2时,与CSC相比最小PSNR提升5.95dB(σ=10),最大PSNR提升7.96dB(σ=20)。比具有噪声抑制作用的Zeyde算法分别提升4.58dB(σ=10)和6.36dB(σ=20)。测试集为B100,当放大因子×3时,与CSC相比最小PSNR提升2.39dB(σ=10),最大PSNR提升5.40dB(σ=20),同样也比Zeyde算法分别提升0.64dB(σ=10)和3.81dBσ=20。图3-图5提供了各种方法的重建图像,可以发现我们的方法面对噪声图像时,具有更强的鲁棒性从而获得更好的重建效果。
我们对此算法进行了测试,其测试结果如图3、图4以及图5所示,并且我们将此算法和其他算法进行了对比,其结果如表1和表2所示,
表1. σ≠0,PSNR和SSIM的比较结果
表2. σ=0,PSNR和SSIM的比较结果
以上对本发明的一个实施例进行了详细说明,而非对本发明的限制,有关技术领域的技术人员在不脱离本发明的精神和范围的情况下,还可以做出各种变换和变化从而可以得到相对应的等同的技术方案,因此所有等同的技术方案均应归入本发明的专利保护范围。
Claims (2)
1.一种含噪图像的快速超分辨重建算法,其特征在于:包括高、低分辨率字典训练、相似块的选取和权重计算以及高分辨率图像块重建,
在高、低分辨率字典训练时,我们使用了77张标准的自然图像作为训练集,部分用以高、低字典对训练的训练图像,首先使用的训练图像是不含有噪声的,其中高分辨率图像与之对应的低分辨率图像 这里值得注意的是,为了提高相邻贴片之间的兼容性,使它们具有相同的图像尺寸,后者先进行下采样再插值放大,
公式(1)中,H为上采样因子,D为下采样因子,上采样和下采样均使用双立方插值,分别对高、低分辨图像{Ih,Il}进行分块处理,图像块大小都是w×w,最终,得到高、低分辨率图像块{ph,pl},
类似于SRCR中的字典设计思路,假设原始高分辨率图像和输入低分辨率图像分别在耦合字典DH和DL上具有相同的稀疏系数,和传统算法不同的是,为了增加对噪声的抗干扰性,参与高分辨率字典DH训练的不仅是高分辨率图像块PH的纹理结构,低分辨率图像块PL的纹理结构也被用来学习,在重建阶段,DH可以用来估计高分辨图像和不含噪声的低分辨图像,DL代表了图像的基本结构,为了提取适当的特征,我们使用简单有效的一阶导数和二阶导数作为滤波函数,用于提取特征的四个滤波器是:
基于公式(3)给出的滤波器算子,我们可以提取每个图像块的四个不同方向的特征,将四个特征向量拼接成一个向量并作为低分辨率图像块的最终特征表示,
通过上述方法,字典训练数据可以通过以下方式获得的:
公式(5)中,(PH,PL)是相应的高、低分辨率图像对,是的平均值,是的平均值,是由公式(4)提取的特征向量并将四个特征向量拼接成一个向量,由于高、低分辨率图像块提取特征方式的不同,DH∈RN×S和DL∈RM×S并不是简单的线性连接,其中S是字典中原子的数目,所以通过使用公式(5)来完成字典联合训练的过程,
公式(5)中,N和M是向量形式的高、低分辨率图像贴片的尺寸,在实际训练过程中,我们可以将上述公式简化成公式(6):
公式(6)中,
在重建过程中,通过使用稀疏字典的列原子作为匹配对象从而大大降低了计算成本,并对输入的特征向量和稀疏字典做了归一化处理提高了精度,根据输入的特征向量和匹配对象的相似程度选择k个相似块,并通过权重限制模型完成对相似块的权值分配,从而重构出对应的高分辨率图像块,首先,将输入的低分辨率图像Yl通过双立方插值放大到和原始高分辨率图像XH相同的尺寸大小,然后将其分割成大小为w×w,数目为N的重叠低分辨率图像补丁,
公式(7)中,是向量化的低分辨率图像补丁,那么,估计的高分辨率图像XH可以表示为:
公式(8)中,是向量化的高分辨率图像补丁,尺寸大小为w×w所以,超分辨率重建就变成了从低分辨率图像补丁中估计高分辨率图像补丁的过程,在考虑噪声的影响下,退化过程可以描述为公式(9):
公式(9)中,Vi是噪声,我们假设它是均值为零且方差为σ2的高斯噪声,由于局部图像结构具有重复性,我们可以找到和结构相似的图像补丁集合并通过合理的权值分配重建估计的高分辨率图像补丁
公式(10)中,权重向量ωi=[ωi1,ωi2,...,ωik]T,而k是相似图像补丁的数目,
通过上述描述,我们可以得到如下推导:
通过公式(11),我们可以得到:
因此:
公式(14)中,Vi是假设的均值为零且方差为σ2的高斯噪声,所以,εi是和σ2相关的,也就是说,在误差可控的范围内,通过输入的低分辨率图像补丁和选取的相似图像补丁可以得到合理的权值分配ωi,因此,重建阶段的关键在于从pl选取和输入图像补丁结构相似的图像补丁集台并获得合理的权重分配ωi,传统算法通过欧式距离来描述这种相似性,虽然计算方法简单,但是要从庞大的示例库中为每个输入寻找相似的图像补丁,这需要花费大量的时间,由于,稀疏字典可以使信号的主要成分集中在少许几个原子上,并且基于稀疏编码的超分辨重建算法展示了对噪声良好的鲁棒性,所以,我们选择用稀疏字典代替原始的示例库并从列原子中选取相似的图像补丁集合,即
通过上述讨论,对于每一个输入图像补丁通过提取它的梯度特征并根据低分辨率字典的列原子与输入特征向量之间的相似性找到k个相似的补丁对为了统一比较的标准,保证结果的可靠性,
进行相似度计算前,将低分辨率字典和输入特征向量进行标准化处理,过程如下:
公式(15)中,sqrt(.)是开平方操作,sum(A,1)是矩阵A的按列求和函数,repmat(a,b)使a和b具有相同的矩阵维数,Dnl和是标准化后的低分辨率字典和输入特征向量,可以由Dnl表示:
公式(16)中,α=[α1,α2,...,αj,...,αs],表示低分辨率字典列原子,αj表示和的相关性,其中,α的求解公式如下:
公式(15)和(16)中,展示了每个字典列原子与输入特征向量之间的相关性,其中,我们认为αj越大,和之间的相关性就越强,反之,若αj很小或接近于零,则说明两者之间几乎没有相关性,我们通过相似性的强弱选择k个相似图像补丁对
公式(18)中,abs(.)是求绝对值操作,SortA(a,k)是将向量a从大到小排序,并返回前k个的索引值,这样,我们就从稀疏字典对(Dh,Dnl)中找到了与输入特征相似的k个图像补丁对对应的相似度大小βi=[βi1,βi2,...,βij,...,βik]计算公式如下:
公式(19)中,SortB(a,k)是将向量a从大到小排序,并返回前k个的值,结合公式(14),我们提出了基于L2范数正则化的最小二乘回归的权值解法:
由公式(18)可知,目标函数对每一个相似的图像补丁的约束力度是相同的,这并不能获得合理准确的权值分配,为了解决这个问题,引入了限制项Ci=[ci1,ci2,...,cij,...,cik],其目的是为了不平等地对待每一个相似的图像补丁,并且量化了这种不平等的程度,该函数由输入图像块特征向量与相似图像补丁对之间的相似性βi和每组相似图像补丁之间的差异bi=[bi1,bi2,...,bij,...,bik]共同作为限制项的评判标准,βi1是每组最相似的图像补丁,且bi1=1,计算公式如下:
bi=βi-βi1(i≠1)
Ci=βi·bi (21)
公式(21)中,·表示点乘,当相似性很强时,我们限制项会很小,从而会得到较大的权重,相反,当相似性较弱时,我们的限制项会变大,从而获得较小的权重,具体过程如下,先计算每组相似图像补丁之间的差异,即每个相似图像补丁减去每组最相似的图像补丁得到bi,再乘以每个相似图像补丁的相似性βi,从而得到最终的限制项Ci,所以,改进的最小二乘回归模型如下:
所以,自适应权值计算模型如下:
公式(23)中,λ是正则化参数,ωi是需要求解的权重,通过自适应权值计算模型,ωi会得到合理的权值,这是一个L2范数的约束问题,我们采用来求解ωi,
公式(24)中,解得最优权值并保证这样我们很容易得到权值ωi和重构向量我们对得到的进行线性缩放,这样可以获得更好的效果,
公式(25)中,S是线性缩放因子,是线性缩放后的重构向量,根据高分辨率字典的训练方式,不仅包括估计的高分辨率图像补丁还包括去噪后的低分辨率图像补丁这里值得注意的是,和具有相同的尺度大小,
公式(26)中,和的尺寸大小为w×w,是真实高分辨率图像补丁的估计值,是输入图像补丁的去噪部分,C∈Rw×w是全一列向量,E(·)是均值运算符,由于,我们添加的是均值为零的高斯噪声,所以噪声对图像均值的影响很小,即和的平均值可以由输入图像补丁的平均值来代替,公式(24)可以写成:
将所有估计的高分辨率图像补丁放入高分辨率图像中,并对重叠区域进行平均计算,同样,我们也可以从中得到去噪后的低分辨率图像为了加强重构中的约束条件,我们通过迭代反投影完成最终高分辨率图像X*的预测:
公式(28)中,是高分辨率图像第t次的迭代,↑s表示倍数为S的上采样,p是对称的高斯滤波器,
含噪图像的快速超分辨重建算法流程如下:
输入:已训练的联合稀疏字典DH和DL;输入低分辨率图像YL;相似块数目k;正则化参数λ;
输出:高分辨率图像X*;
初始化:对输入低分辨率图像YL作双立方插值得到与高分辨率图像XH同样大小的低分辨图像,作分块处理得低分辨率图像块保证相邻图像块在每个方向均有重叠像素,循环:直到处理完所有的图像块:
1)使用公式(3)提取低分辨率图像块的特征向量通过标准化并结合公式(17)求出向量之间的相关性α
2)根据相关性系数α寻找k个相似图像补丁对通过公式(19)、(21)计算得到限制项Ci
3)通过公式(24)计算得到权值分配ωi
4)得到重构向量并根据公式(25)、(27)得到估计的高分辨率图像补丁和去噪后的低分辨率图像补丁
5)通过重叠区域的加权平均得到高分辨率图像和去噪后的低分辨率图像
6)根据和并结合公式(28)得到最终估计的高分辨率图像X*。
2.根据权利要求1所述的一种含噪图像的快速超分辨重建算法,其特征在于重建高分辨率图像的同时也重建了输入的低分辨率图像,这将有助于迭代反投影算法进一步提高重建的性能,并利用稀疏字典的列原子来计算权值和重构向量,这大大减少了计算时间并通过稀疏表达抑制了噪声。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910489849.2A CN110223231A (zh) | 2019-06-06 | 2019-06-06 | 一种含噪图像的快速超分辨重建算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910489849.2A CN110223231A (zh) | 2019-06-06 | 2019-06-06 | 一种含噪图像的快速超分辨重建算法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110223231A true CN110223231A (zh) | 2019-09-10 |
Family
ID=67819663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910489849.2A Pending CN110223231A (zh) | 2019-06-06 | 2019-06-06 | 一种含噪图像的快速超分辨重建算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110223231A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110930338A (zh) * | 2019-11-29 | 2020-03-27 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备和计算机可读存储介质 |
CN111031241A (zh) * | 2019-12-09 | 2020-04-17 | Oppo广东移动通信有限公司 | 图像处理方法及其装置、终端和计算机可读存储介质 |
CN111062408A (zh) * | 2019-10-23 | 2020-04-24 | 智慧视通(杭州)科技发展有限公司 | 一种基于深度学习的模糊车牌图像超分辨率重建方法 |
CN111210389A (zh) * | 2020-01-10 | 2020-05-29 | 北京华捷艾米科技有限公司 | 一种图像缩放处理方法及装置 |
CN113781442A (zh) * | 2021-09-13 | 2021-12-10 | 安徽农业大学 | 水稻幼苗植株三维结构模型重构方法 |
CN114511515A (zh) * | 2022-01-17 | 2022-05-17 | 山东高速路桥国际工程有限公司 | 一种基于BoltCorrDetNet网络的螺栓腐蚀检测系统和检测方法 |
WO2023122927A1 (en) * | 2021-12-28 | 2023-07-06 | Boe Technology Group Co., Ltd. | Computer-implemented method, apparatus, and computer-program product |
CN113781442B (zh) * | 2021-09-13 | 2024-05-31 | 安徽农业大学 | 水稻幼苗植株三维结构模型重构方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102722865A (zh) * | 2012-05-22 | 2012-10-10 | 北京工业大学 | 一种超分辨率稀疏重建方法 |
CN103093444A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于自相似性和结构信息约束的图像超分辨重建方法 |
CN103914816A (zh) * | 2014-03-04 | 2014-07-09 | 西安电子科技大学 | 一种基于非局部正则化和关键帧的视频超分辨方法 |
CN104867116A (zh) * | 2015-04-21 | 2015-08-26 | 重庆大学 | 一种基于mca和字典学习的车牌超分辨率重构方法 |
CN105844590A (zh) * | 2016-03-23 | 2016-08-10 | 武汉理工大学 | 基于稀疏表示的图像超分辨率重建方法及系统 |
US20170193635A1 (en) * | 2014-05-28 | 2017-07-06 | Peking University Shenzhen Graduate School | Method and apparatus for rapidly reconstructing super-resolution image |
CN108062743A (zh) * | 2017-08-25 | 2018-05-22 | 成都信息工程大学 | 一种含噪图像超分辨率方法 |
-
2019
- 2019-06-06 CN CN201910489849.2A patent/CN110223231A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102722865A (zh) * | 2012-05-22 | 2012-10-10 | 北京工业大学 | 一种超分辨率稀疏重建方法 |
CN103093444A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于自相似性和结构信息约束的图像超分辨重建方法 |
CN103914816A (zh) * | 2014-03-04 | 2014-07-09 | 西安电子科技大学 | 一种基于非局部正则化和关键帧的视频超分辨方法 |
US20170193635A1 (en) * | 2014-05-28 | 2017-07-06 | Peking University Shenzhen Graduate School | Method and apparatus for rapidly reconstructing super-resolution image |
CN104867116A (zh) * | 2015-04-21 | 2015-08-26 | 重庆大学 | 一种基于mca和字典学习的车牌超分辨率重构方法 |
CN105844590A (zh) * | 2016-03-23 | 2016-08-10 | 武汉理工大学 | 基于稀疏表示的图像超分辨率重建方法及系统 |
CN108062743A (zh) * | 2017-08-25 | 2018-05-22 | 成都信息工程大学 | 一种含噪图像超分辨率方法 |
Non-Patent Citations (2)
Title |
---|
窦诺等: "基于稀疏表示的含噪图像超分辨重建方法", 《计算机研究与发展》 * |
韩小虎: "图像稀疏表示及图像超分辨应用分析", 《无线互联科技》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111062408B (zh) * | 2019-10-23 | 2023-04-18 | 杭州云栖智慧视通科技有限公司 | 一种基于深度学习的模糊车牌图像超分辨率重建方法 |
CN111062408A (zh) * | 2019-10-23 | 2020-04-24 | 智慧视通(杭州)科技发展有限公司 | 一种基于深度学习的模糊车牌图像超分辨率重建方法 |
CN110930338A (zh) * | 2019-11-29 | 2020-03-27 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备和计算机可读存储介质 |
CN110930338B (zh) * | 2019-11-29 | 2023-06-23 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备和计算机可读存储介质 |
CN111031241A (zh) * | 2019-12-09 | 2020-04-17 | Oppo广东移动通信有限公司 | 图像处理方法及其装置、终端和计算机可读存储介质 |
CN111031241B (zh) * | 2019-12-09 | 2021-08-27 | Oppo广东移动通信有限公司 | 图像处理方法及其装置、终端和计算机可读存储介质 |
CN111210389A (zh) * | 2020-01-10 | 2020-05-29 | 北京华捷艾米科技有限公司 | 一种图像缩放处理方法及装置 |
CN111210389B (zh) * | 2020-01-10 | 2023-09-19 | 北京华捷艾米科技有限公司 | 一种图像缩放处理方法及装置 |
CN113781442A (zh) * | 2021-09-13 | 2021-12-10 | 安徽农业大学 | 水稻幼苗植株三维结构模型重构方法 |
CN113781442B (zh) * | 2021-09-13 | 2024-05-31 | 安徽农业大学 | 水稻幼苗植株三维结构模型重构方法 |
WO2023122927A1 (en) * | 2021-12-28 | 2023-07-06 | Boe Technology Group Co., Ltd. | Computer-implemented method, apparatus, and computer-program product |
CN114511515B (zh) * | 2022-01-17 | 2022-08-12 | 山东高速路桥国际工程有限公司 | 一种基于BoltCorrDetNet网络的螺栓腐蚀检测系统和检测方法 |
CN114511515A (zh) * | 2022-01-17 | 2022-05-17 | 山东高速路桥国际工程有限公司 | 一种基于BoltCorrDetNet网络的螺栓腐蚀检测系统和检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110223231A (zh) | 一种含噪图像的快速超分辨重建算法 | |
Yu et al. | Deep iterative down-up cnn for image denoising | |
Pistilli et al. | Learning graph-convolutional representations for point cloud denoising | |
Liu et al. | Highly undersampled magnetic resonance imaging reconstruction using autoencoding priors | |
CN107633486A (zh) | 基于三维全卷积神经网络的结构磁共振图像去噪方法 | |
CN113177882B (zh) | 一种基于扩散模型的单帧图像超分辨处理方法 | |
CN110796625A (zh) | 一种基于组稀疏表示和加权全变分的图像压缩感知重构方法 | |
CN104657962B (zh) | 基于级联线性回归的图像超分辨重建方法 | |
CN110135438B (zh) | 一种基于梯度幅值预运算的改进surf算法 | |
CN111415323B (zh) | 图像的检测方法及装置,神经网络的训练方法及装置 | |
CN112200733B (zh) | 一种基于图卷积网络的网格去噪方法 | |
Mo et al. | The research of image inpainting algorithm using self-adaptive group structure and sparse representation | |
CN110533591A (zh) | 基于编解码器结构的超分辨图像重建方法 | |
Ren et al. | Remote sensing image recovery via enhanced residual learning and dual-luminance scheme | |
CN114926883A (zh) | 一种满足多种降质模型的人脸图像处理方法 | |
Yang et al. | An image super-resolution network based on multi-scale convolution fusion | |
Tang et al. | Gc-net: An unsupervised network for gaussian curvature optimization on images | |
Cheng et al. | Deep fuzzy clustering transformer: learning the general property of corruptions for degradation-agnostic multi-task image restoration | |
Wang et al. | Global aligned structured sparsity learning for efficient image super-resolution | |
CN112241938B (zh) | 基于光滑塔克分解与高阶张量汉克化的图像修复方法 | |
CN110264482B (zh) | 基于中智集变换矩阵因子分解的活动轮廓分割方法 | |
CN108846797B (zh) | 基于两种训练集合的图像超分辨率方法 | |
Wang et al. | Face super-resolution via hierarchical multi-scale residual fusion network | |
Wang et al. | Lightweight image denoising network with four-channel interaction transform | |
CN112862655B (zh) | 一种基于通道空间注意力机制的jpeg图像隐写分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190910 |