CN107133915A

CN107133915A - 一种基于学习的图像超分辨率重构方法

Info

Publication number: CN107133915A
Application number: CN201710267170.XA
Authority: CN
Inventors: 周筱媛
Original assignee: Xian University of Science and Technology
Current assignee: Xian University of Science and Technology
Priority date: 2017-04-21
Filing date: 2017-04-21
Publication date: 2017-09-05

Abstract

本发明涉及一种基于学习的图像超分辨率重构方法，训练第一分辨率图像和第二分辨率图像形成图像学习字典；对待重构图像进行区块划分形成多个待重构图像块；根据第二分辨率图像确定图像信息量固定阈值；若待重构图像块的信息量大于固定阈值，根据图像学习字典进行图像重构以形成第一重构子区域；若否，根据双三次插值算法进行图像重构以形成第二重构子区域；对第一重构子区域和第二重构子区域进行图像拼接得到超分辨率重构图像。本发明为基于学习的图像超分辨率重构算法实现图像实时分辨率重构，其中，重构过程中采用KPCA方法进行数据降维；本发明不需要改变成像系统硬件结构，具有成本低，经济效益高的优点。

Description

一种基于学习的图像超分辨率重构方法

技术领域

本发明涉及图像视频领域，特别涉及一种基于学习的图像超分辨率重构方法。

背景技术

图像超分辨率重构(super resolution，SR)是指利用计算机将一幅低分辨率图像(low resolution，LR)或图像序列进行处理，恢复出高分辨率图像(high resolution，HR)的一种图像处理技术。HR意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。

随着计算机技术发展，人们在军事领域、卫星遥感成像领域及医学等领域对高分辨率图像的需求越来越迫切，然而由于传统设备在成像过程中会受到系统模糊、大气运动、噪声、成像环境等各种因素影响，导致获取图像分辨率较低，难以满足特定需求。若通过硬件设备来提升分辨率这种传统手段，会造成设备体积增大、制造成本高、加工困难等一系列新问题。因此，通过软件技术来提升图像分辨率成为新的方式。

目前的超分辨率重构算法主要有基于插值的重构算法、基于模型的重构算法和基于学习的重构算法。基于插值的重构算法利用邻近像素点的灰度值来产生待插值像素点的灰度值，原理简单、效率高，但是在边缘等不连续处效果不理想。从重构图像质量而言，基于学习的重构算法效果更佳，可以显著提升图像分辨率。基于学习的超分辨率重构算法虽然效果好，但是由于需要训练大量的先验信息，因而重构效率却比较低，无法实现实时超分辨率重构的目的。

发明内容

因此，为解决现有技术存在的技术缺陷和不足，本发明提出一种基于学习的图像超分辨率重构方法。

具体地，本发明一个实施例提出的一种基于学习的图像超分辨率重构方法，包括：

根据退化模型模糊和N倍下采样，处理第一分辨率图像形成第二分辨率图像；

训练所述第一分辨率图像和所述第二分辨率图像形成图像学习字典；

对待重构图像进行区块划分形成多个待重构图像块；

利用边缘提取算法，根据所述第二分辨率图像确定图像信息量固定阈值；

若所述待重构图像块的信息量大于所述固定阈值，根据所述图像学习字典对所述待重构图像块进行图像重构以形成第一重构子区域；若否，根据双三次插值算法对所述待重构图像块进行图像重构以形成第二重构子区域；

对所述第一重构子区域和所述第二重构子区域进行图像拼接得到超分辨率重构图像。

在本发明的一个实施例中，训练所述第一分辨率图像和所述第二分辨率图像形成图像学习字典，包括：

根据特征提取算法提取图像特征，获得第一分辨率图像特征信息和第二分辨率图像特征信息；

根据K-SVD算法，对所述第一分辨率图像特征信息和所述第二分辨率图像特征信息进行训练以获得第一图像学习字典和第二图像学习字典。

在本发明的一个实施例中，在步骤3之前，还包括：

对所述待重构图像去噪声处理和去模糊处理。

在本发明的一个实施例中，利用边缘提取算法，根据所述第二分辨率图像确定图像信息量固定阈值，包括：

将所述第二分辨率图像按照设定长宽进行区块划分形成第二分辨率图像块，利用边缘提取算法提取所述第二分辨率图像块的边缘信息量；

根据所述第二分辨率图像块的边缘信息量的分布情况选取X个所述边缘信息量作为候选信息量阈值；

根据超分辨率算法的重构时间以及对应重构形成的图像分辨率，从X个所述候选信息量阈值中选择一个作为所述固定阈值。

在本发明的一个实施例中，根据所述图像学习字典对所述待重构图像块进行图像重构以形成第一重构子区域之前，还包括：

对所述待重构图像块进行KPCA降维处理。

在本发明的一个实施例中，对所述待重构图像块进行KPCA降维处理，包括：

对所述待重构图像块进行滤波操作，采用2*2的滤波器组提取高频特征以获得所述待重构图像块的高频信息，根据所述高频信息进行所述KPCA降维处理。

在本发明的一个实施例中，所述2*2的滤波器组为f＝{f₁,f₂,f₃,f₄}，采用四个不同的滤波器组成，具体为：

f₁＝[1,-1], f₂＝f₁ ^T

f₃＝LOG, f₃＝f₃ ^T

其中，T表示矩阵转置操作，LOG代表一种5×5的二维滤波算子。

在本发明的一个实施例中，所述KPCA降维公式为：

其中，y表示降维后的低维数据，Φ为映射矩阵。

在本发明的一个实施例中，根据所述图像学习字典对所述待重构图像块进行图像重构以形成第一重构子区域，包括：

将稀疏表示系数与所述第一图像学习字典相乘，形成所述第一重构子区域。

在本发明的一个实施例中，所述稀疏表示系数为通过OMP算法求解降维后的所述待重构图像块在第二图像学习字典下的稀疏表示系数。

基于此，本发明具备如下优点：

由于本发明基于学习的图像超分辨率重构算法实现图像实时分辨率重构，成本低，不需要改变成像系统硬件结构。

本发明对学习字典进行处理，有效减少字典原子个数的同时，仍能够线性表示初始化字典的所有信息，从而提高了字典的训练效率。

本发明对待重构图像进行分块管理，通过设定信息量阈值的重构策略对图像块进行信息量判断，根据图像信息量的大小选择图像重构的方法，大幅提升了算法的计算效率。

通过以下参考附图的详细说明，本发明的其它方面和特征变得明显。但是应当知道，该附图仅仅为解释的目的设计，而不是作为本发明的范围的限定，这是因为其应当参考附加的权利要求。还应当知道，除非另外指出，不必要依比例绘制附图，它们仅仅力图概念地说明此处描述的结构和流程。

附图说明

下面将结合附图，对本发明的具体实施方式进行详细的说明。

图1为本发明实施例提供的一种基于学习的图像超分辨率重构方法的示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

实施例一

请参见图1，图1为本发明实施例提供的一种基于学习的图像超分辨率重构方法的示意图。该方法包括如下步骤：

步骤1、根据退化模型模糊和N倍下采样，处理第一分辨率图像形成第二分辨率图像；

步骤2、训练所述第一分辨率图像和所述第二分辨率图像形成图像学习字典；

步骤3、对待重构图像进行区块划分形成多个待重构图像块；

步骤4、利用边缘提取算法，根据所述第二分辨率图像确定图像信息量固定阈值；

步骤5、若所述待重构图像块的信息量大于所述固定阈值，根据所述图像学习字典对所述待重构图像块进行图像重构以形成第一重构子区域；若否，根据双三次插值算法对所述待重构图像块进行图像重构以形成第二重构子区域；

步骤6、对所述第一重构子区域和所述第二重构子区域进行图像拼接得到超分辨率重构图像。

其中，对于步骤2，可以包括：

其中，在于步骤3之前，还可以包括：

对所述待重构图像去噪声处理和去模糊处理。

其中，对于步骤4，可以包括：

其中，在于步骤5之前，还可以包括：

对所述待重构图像块进行KPCA降维处理。

进一步，对于对所述待重构图像块进行KPCA降维处理，可以包括：

进一步地，所述2*2的滤波器组为f＝{f₁,f₂,f₃,f₄}，采用四个不同的滤波器组成，具体为：

f₁＝[1,-1], f₂＝f₁ ^T

f₃＝LOG, f₃＝f₃ ^T

进一步地，所述KPCA降维公式为：

其中，y表示降维后的低维数据，Φ为映射矩阵。

其中，对于步骤5，可以包括：

进一步地，对于步骤5中稀疏表示系数为所述稀疏表示系数为通过OMP算法求解降维后的所述待重构图像块在第二图像学习字典下的稀疏表示系数。

本发明的有益效果具体为：

1、本发明实施例提出建立图像库训练字典的方法，将图像集离线训练字典库，得到高分辨率图像与低分辨率图像的映射关系，优化图像重构步骤，有效减少算法运行时间，具有自适应性和高效性。

2、本发明中算法中的阈值是基于大量对比试验后进行优化固定，在处过程中不需要进行改变，在不影响图像重构效果的情况下，有效的提高了图像重构效率。

3、由于本发明基于学习的超分辨率重构算法实现图像实时分辨率重构，因此不需要改变成像系统硬件结构，具有成本低，经济效益高的优点。

实施例二

本实施例在上述实施例的基础上，对本发明的技术方案进行详细描述。具体地，该方法包括：

步骤1：利用大量高分辨率图像(即第一分辨率图像)样本，将高分辨率图像按照修正后的退化模型进行模糊处理和N倍下采样处理，得到相应的低分辨率图像(即第二分辨率图像)样本。

步骤2：对步骤1中获得的低分辨率图像，通过特征提取算法提取图像特征，得到空间目标的高分辨率特征信息X_s(即第一分辨率特征信息)和低分辨率特征信息Y_s(即第二分辨率特征信息)。

步骤3：利用K-SVD算法，对特征信息进行联合训练，得到高分辨率图像学习字典D_h(即第一图像学习字典)和低分辨率图像学习字典D_l(即第二图像学习字典)。

步骤3a)：训练低分辨率图像学习字典。基字典Φ选择过完备DCT字典，利用稀疏K-SVD算法求解：

则低分辨率图像学习字典D_l＝ΦW。

步骤3b)：计算高分辨率图像学习字典。假设高分辨率图像块，低分辨率图像块在相应的高分辨率图像学习字典，低分辨率图像学习字典下具有相同的稀疏表示系数A，则可以通过最小化以下公式中的逼近误差来计算高分辨率字典D_h：

使用伪逆求解：

D_h＝X_sA⁺＝X_sA^T(AA^T)^-1 (3)

其中，上标“+”表示伪逆。

步骤4：对待重构的低分辨率图像进行预处理，其中主要包括图像去噪、图像去模糊和样本分块操作。其处理步骤为：

步骤4a)：对步骤1中得到的低分辨率图像去噪声；

步骤4b)：对步骤4a)得到的低分辨率图像去模糊，得到待重构低分辨率图像；

步骤4c)：对待重构低分辨率图像进行区块划分，将整幅图像按照固定长宽进行分割保存；

步骤5：对待重构低分辨率图像块进行分块管理，通过设定信息量阈值的重构策略对待重构图像块的信息量判断，根据图像信息量的大小选择待重构图像重构的方法，具体处理步骤如下：

步骤5a)：将步骤1得到的大量低分辨率图像样本进行区块分割，低分辨率图像块的长宽同步骤4c；利用边缘提取算法提取低分辨率图像块边缘信息，统计各低分辨率图像块的信息量及所有图像块的信息量分布情况；根据信息量分布选择若干具有代表性的信息量数值作为候选阈值，通过对照试验比较不同候选阈值对于超分辨率算法重构质量及速度的影响，根据项目需求确定最合适的候选阈值作为信息量固定阈值。

步骤5b)：输入待重构的低分辨率图像块，采用边缘提取算法提取图像块边缘信息，当改图像块信息量不超过步骤5a)确定的固定阈值时，采用双三次插值算法进行重构；否则，采用基于学习的超分辨率重构算法进行图像重构。

该策略保证了图像细节的重构质量，同时大幅提升了算法的计算速度。

其中，对于步骤5a)，信息量阈值的设置还可以使用如下的实施方式：

S1：将大量低分辨率图像样本进行区块分割获得图像块；

S2：利用边缘提取算法提取低分辨率图像块边缘信息，统计各低分辨率图像块的信息量及所有低分辨率图像块的信息量分布情况；

S3：选取低分辨率图像块中信息量最高的值，获取该低分辨率图像块的像素值为F1，取f＝F1/4，则f*40％<＝阈值<＝f*60％，取该范围内若干代表阈值，例如，可以取如下代表阈值：f*40％，f*45％，f*50％，f*55％，f*60％，计算每个阈值点对应的基于学习的稀疏表示图像超分辨率重构算法的重构时间和重构后图像的分辨率，可以根据主观评价和PSNR来判断。然后根据使用者需求从若干代表阈值中确定固定阈值作为信息量阈值，如使用者需求更注重时间，那就调高比例，时间就快；相反使用者如果注重重构效果，那就调低比例，带来的就是重构效果较好但时间较长。例如，经计算后f*50％最符合使用者需求，则取信息量阈值＝f*50％。

S4：输入待重构的低分辨率图像块，采用边缘提取算法提取图像块边缘信息，当该图像块信息量不超过步骤S3确定的信息量阈值时该图像块为低信息量图像块；否则，为高信息量图像块。优选地，所述边缘提取算法为Canny算子边缘检测算法

步骤6：针对待重构图像块进行图像滤波操作，进行高频特征提取，采用2*2的滤波器组，所用滤波器组为f＝{f₁,f₂,f₃,f₄}，其由四个不同的滤波器组成，分别为：

f₁＝[1,-1], f₂＝f₁ ^T (4)

f₃＝LOG, f₃＝f₃ ^T (5)

其中上角标T表示矩阵转置操作，LOG代表一种5×5的二维滤波算子。经过高频特征提取操作后获得图像块高频信息，以x_l表示。

步骤7：对采用超分辨率重构算法的图像块进行KPCA降维，实现高维数据压缩。降维步骤如下：

步骤7a)：将高维数据集合表示为X＝{x₁,x₂,x₃,…,x_M},x_i∈R^D，KPCA算法经过非线性映射函数

x→Φ(x)∈F，其中F是特征空间，这样便能将每个数据x映射到一个高维特征空间。

步骤7b)：核函数通过Φ将进行一个点x到F的对应操作，并且由此获得的F数据满足中心化的条件，即：

其中，Φ为映射矩阵，可以实现点x到F的映射，x_μ为样本图像特征。

则特征空间F中的协方差矩阵C为：

其中，M为样本总数。

步骤7c)：求c的特征值λ≥0以及特征向量V，v＝1,2，…，M

V∈F\{0},Cv＝λv (8)

则有

(Φ(x_v)·Cv)＝λ(Φ(x_v)v) (9)

考虑到所有的特征向量可表示为Φ(x₁),Φ(x₂),…,Φ(x_M)的线性组合，即：

则有：

式中，v＝1,2,3,…,M，定义M×M维矩阵K_μv

K_μv:＝(Φ(x_μ)·Φ(x_v)) (12)

步骤7d)：求解上式得到特征值及特征向量，对于数据集合在特征向量空间V^k的投影可以写成：

那么，数据被投影到协方差矩阵的特征向量V^k上，投影结果(也就是低维数据的表示y)可以表示为：

步骤8：对经过降维压缩后的图像块数据进行超分辨率重构，具体步骤如下：

步骤8a)：采用OMP算法求解待重构子区域y在低分辨率图像学习字典D_l下的稀疏表示系数β，即求解如下方程：

其中T₀为给定的稀疏度，β_i为矩阵β中的子元素。

步骤8b)：将求得的稀疏表示系数β与高分辨率图像学习字典D_h相乘，得到重构的超分辨率重构子区域(即第一子区域)，即：

X＝D_hβ (16)

其中X为求得的超分辨率重构子区域。

步骤9：对步骤8中求得的超分辨率重构子区域以及步骤5中双三次插值算法进行重构形成的重构子区域进行图像拼接，得到超分辨率重构图像。

综上所述，本文中应用了具体个例对本发明基于学习的图像超分辨率重构方法进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制，本发明的保护范围应以所附的权利要求为准。

Claims

1.一种基于学习的图像超分辨率重构方法，其特征在于，包括：

对待重构图像进行区块划分形成多个待重构图像块；

2.根据权利要求1所述的方法，其特征在于，训练所述第一分辨率图像和所述第二分辨率图像形成图像学习字典，包括：

3.根据权利要求1所述的方法，其特征在于，在步骤3之前，还包括：

对所述待重构图像去噪声处理和去模糊处理。

4.根据权利要求1所述的方法，其特征在于，利用边缘提取算法，根据所述第二分辨率图像确定图像信息量固定阈值，包括：

5.根据权利要求1所述的方法，其特征在于，根据所述图像学习字典对所述待重构图像块进行图像重构以形成第一重构子区域之前，还包括：

对所述待重构图像块进行KPCA降维处理。

6.根据权利要求5所述的方法，其特征在于，对所述待重构图像块进行KPCA降维处理，包括：

7.对所述待重构图像块进行滤波操作，采用2*2的滤波器组提取高频特征以获得所述待重构图像块的高频信息，根据所述高频信息进行所述KPCA降维处理。根据权利要求6所述的方法，其特征在于，所述2*2的滤波器组为f＝{f₁,f₂,f₃,f₄}，采用四个不同的滤波器组成，具体为：

f₁＝[1,-1],f₂＝f₁ ^T

f₃＝LOG,f₃＝f₃ ^T

8.根据权利要求7所述的方法，其特征在于，所述KPCA降维公式为：

<mrow> <mi>y</mi> <mo>=</mo> <mo>{</mo> <munder> <mi>&Sigma;</mi> <mi>j</mi> </munder> <msub> <mi>&alpha;</mi> <mn>1</mn> </msub> <mi>&Phi;</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mi>&Phi;</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>,</mo> <munder> <mi>&Sigma;</mi> <mi>j</mi> </munder> <msub> <mi>&alpha;</mi> <mn>2</mn> </msub> <mi>&Phi;</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mi>&Phi;</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>,</mo> <mn>...</mn> <mo>,</mo> <munder> <mi>&Sigma;</mi> <mi>j</mi> </munder> <msub> <mi>&alpha;</mi> <mi>d</mi> </msub> <mi>&Phi;</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mi>&Phi;</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>}</mo> </mrow>

其中，y表示降维后的低维数据，Φ为映射矩阵。

9.根据权利要求8所述的方法，其特征在于，根据所述图像学习字典对所述待重构图像块进行图像重构以形成第一重构子区域，包括：

10.根据权利要求9所述的方法，其特征在于，所述稀疏表示系数为通过OMP算法求解降维后的所述待重构图像块在第二图像学习字典下的稀疏表示系数。