CN109741263A - 基于自适应联合约束的遥感图像超分辨率重建算法 - Google Patents

Abstract

本发明公开了基于自适应联合约束的遥感图像超分辨率重建方法。主要包括以下步骤：使用双三次插值对低分辨率图像上采样；利用主成分分析和K‑means方法学习高分辨图像的字典；利用图像的非局部自相似性，构建非局部稀疏先验；提出一个基于图像局部梯度的局部结构滤波器，然后构建结构保持局部先验；融合非局部和局部的先验，并根据噪声级自适应地选择参数，最终形成一个自适应的联合先验；构建代价函数，然后使用交替迭代算法来求解；最终获得高质量图像。本发明所述的单幅遥感超分辨率重建方法在保留图像细节方面具有良好的性能，且有更高的客观评价指标。因此，本发明是一种有效的单幅遥感图像超分辨重建方法。

Description

基于自适应联合约束的遥感图像超分辨率重建算法

技术领域

本发明涉及图像超分辨率重建技术，具体涉及基于自适应联合约束的遥感图像超分辨率重建算法，属于数字图像处理领域。

背景技术

图像是人类获取、表达和传递信息的重要手段，因此图像对人类有着重要的意义。随着图像处理技术的深入发展，计算机视觉技术被广泛应用于各个领域，如科学研究、生物医学、航空航天、工业等。但是成像设备和成像环境限制了图像的分辨率，获得的图像常是低分辨率的，这并不能满足人们的需求。图像超分辨重建技术，是在不改变设备性能和成本的情况下，将低质量图像重建为高质量图像。因此，图像超分辨率重建技术的研究是十分有必要的。

因图像超分辨重建技术是一个病态问题，许多先验信息被用于约束超分辨率问题的解，以获得可靠的高分辨图像。目前，基于稀疏表示的超分辨重建方法在改善遥感图像质量方面取得了良好的效果。在传统的基于稀疏表示的超分辨重建方法中，稀疏先验展现了良好的约束性能。然而传统的基于稀疏表示的超分辨率重建方法忽略了遥感图像本身的一些互补的约束信息，这使得超分辨重建性能有限。

发明内容

本发明的目的是利用图像的非局部相似性和提出的局部结构滤波构建一个联合的先验，然后根据噪声级对联合先验的参数进行自适应选择，最终将自适应联合先验应用于超分辨重建，使重建的图像具有更加精细的结构，并减少噪声的影响。本发明通过以下操作步骤构成的技术方案来实现上述目的。

本发明提出的基于自适应联合约束的遥感图像超分辨率重建算法，主要包括以下操作步骤：

(1)使用双三次插值方法对输入的低分辨图像进行3倍上采样，得到初始的高分辨(high-resolution,HR)图像；

(2)对HR图像，利用主成分分析方法和K-means聚类方法计算HR图像的字典；

(3)利用图像的非局部相似性和稀疏表示，得到非局部稀疏先验；

(4)利用图像的局部梯度，构建一个局部结构滤波器；

(5)根据(4)中提出的局部结构滤波器，构建结构保持局部先验；

(6)融合(3)中的非局部稀疏先验和(5)中的结构保持局部先验，并根据噪声级自适应地选择参数，最终形成一个自适应的联合先验；

(7)构建超分辨率重建代价函数；

(8)利用交替迭代算法(Fast Iterative Soft Thresholding，FIST)求解代价函数，得到重建HR图像；

(9)重复步骤(3)至(8)直到达到预先设置的迭代次数；

(10)若不满足预设的条件，则返回到步骤(2)；反之，则结束。

附图说明

图1是本发明基于自适应联合约束的遥感图像超分辨率重建算法的框图

图2是本发明的测试图像

图3是本发明与不同的方法对无噪“aerial-airplane”图像的重建结果对比图

图4是本发明与不同的方法对含有噪声的“dense-residential”图像的重建结果对比图

具体实施方式

下面结合附图对本发明作进一步说明：

图1中，基于自适应联合约束的遥感图像超分辨率重建算法，包括以下步骤：

(1)使用双三次插值方法对输入的低分辨图像进行3倍上采样，得到初始的高分辨HR图像；

(2)对HR图像，利用主成分分析方法和K-means聚类方法计算HR图像的字典；

(3)利用图像的非局部相似性和稀疏表示，得到非局部稀疏先验；

(4)利用图像的局部梯度，构建一个局部结构滤波器；

(5)根据(4)中提出的局部结构滤波器，构建结构保持局部先验；

(6)融合(3)中的非局部稀疏先验和(5)中的结构保持局部先验，并根据噪声级自适应地选择参数，最终形成一个自适应的联合先验；

(7)构建超分辨率重建代价函数；

(8)利用交替迭代算法(FIST)求解代价函数，得到重建HR图像；

(9)重复步骤(3)至(8)直到达到预先设置的迭代次数；

(10)若不满足预设的条件，则返回到步骤(2)；反之，则结束。

具体地，所述步骤(2)中，我们使用主成分分析方法和K-means聚类方法学习HR图像的紧凑字典。具体的字典学习方法见参考文献“W.Dong,L.Zhang,G.Shi,and X.Li,“Nonlocally centralized sparse representation for image restoration,”IEEETransactions on Image Processing,vol.22,no.4,pp.1620–1630,2013.”。

所述步骤(3)中，我们利用图像的非局部相似性和稀疏表示，构建了一个非局部稀疏先验：

J_nonlocal＝||α-β||₁

其中，α是HR图像的稀疏矢量，β是利用α的非局部相似矢量对α的估计值。具体地构建非局部稀疏先验方法为Dong等人提出的方法，参考文献“W.Dong,L.Zhang,G.Shi,andX.Li,“Nonlocally centralized sparse representation for image restoration,”IEEE Transactions on Image Processing,vol.22,no.4,pp.1620–1630,2013.”。

所述步骤(4)中，为更好地保留图像的局部结构，我们提出了一个基于图像局部梯度的结构滤波器：

M_a＝I+ωM

其中，I为单位矩阵，ω是非负的参数，S_h和S_v分别是沿水平(h)和垂直(v)方向的离散差分操作，A_h和A_v分别是以和为主对角线元素的对角矩阵。和可通过下式计算：

其中，x是高分辨率图像，ε₁是非负的常数，表示梯度操作。

所述步骤(5)中，我们根据步骤(4)中提出的结构滤波构建结构保持局部先验：

所述步骤(6)中，融合(3)中的非局部稀疏先验和(5)中的结构保持局部先验，得到联合先验:

根据噪声级，我们自适应地选择联合先验的参数。其中，噪声级的测定见参考文献“X.Liu,M.Tanaka,and M.Okutomi,“Single-image noise level estimation for blinddenoising,”IEEE transactions on image processing,vol.22,no.12,pp.5226–5237,2013.”。

联合先验的参数可通过下式计算：

其中，ε_p是常数，σ_n是从输入的低分辨率图像中测得的噪声级，σ_i是误差(α-β)服从拉普拉斯分布的标准差；

λ₂＝r₁σ_n+ε_l

其中，r₁和ε_l是常数；

ω＝r₂σ_h+ε_h

其中，r₂和是ε_h常数，σ_h是从迭代估计的高分辨率图像中测得的噪声级。

所述步骤(7)中，我们构建如下的代价函数：

其中，y是输入的低分辨率图像，D是下采样操作，B是模糊操作，Θ是HR的紧凑字典，α_y是y的稀疏矢量。

所述步骤(8)中，我们利用交替迭代算法(FIST)求解(7)中的代价函数。当求出α_y，我们可以根据下式来估计未知的HR图像：

其中，R_i是从x中提取第i个块的操作矩阵，N是图像块的总数。

所述步骤(9)中，重复步骤(3)至(8)直到迭代次数达到预先设置的值，即一次外部迭代。

所述步骤(10)中，返回步骤(2)继续迭代，直到外部迭代次数达到5次。

为了更好地说明本发明的有效性，本发明将采用对比实验的方法来展示重建效果。在无噪声的情况下，以图像“aerial-airplane”为例；在有噪声的情况下，以图像“dense-residential”为例；对比实验选取双三次插值(Bicubic)和3个具有代表性的单幅图像超分辨率重建方法，并将本发明的实验结果和选取的对比方法的重建结果进行比较。这3个具有代表性的单幅图像超分辨率重建方法为：

方法1：Dong等人提出的方法，参考文献“W.Dong,L.Zhang,G.Shi,andX.Wu,“Imagedeblurring and super-resolution by adaptive sparse domain selection andadaptive regularization,”IEEE Transactions on Image Processing,vol.20,no.7,pp.1838–1857,2011.”。

方法2：Dong等人提出的方法，参考文献“W.Dong,L.Zhang,R.Lukac,and G.Shi,“Sparse representation based image interpolation with nonlocal autoregressivemodeling,”IEEE Transactions on Image Processing,vol.22,no.4,pp.1382–1394,2013.”。

方法3：Papyan和Elad提出的方法，参考文献“V.Papyan and M.Elad,“Multi-scale patch-based image restoration,”IEEE Transactions on image processing,vol.25,no.1,pp.249–261,2016.”。

对比实验的内容如下：

实验1，在无噪声的情况下，分别用Bicubic、方法1、方法2、方法3和本发明对图像“aerial-airplane”(图3(a))进行重建。图像“aerial-airplane”的重建结果分别如图3(b)、图3(c)、图3(d)、图3(e)和图3(f)所示。图“aerial-airplane”的客观评价指标见表一。

实验2，在有噪声的情况下，分别用Bicubic、方法1、方法2、方法3和本发明对图像“dense-residential”(图4(a))进行重建。图像“dense-residential”的重建结果分别如图4(b)、图4(c)、图4(d)、图4(e)和图4(f)所示。图“dense-residential”的客观评价指标分别见表二。

通过对比实验可以得出：

在无噪声的情况中，Bicubic重建图像的细节和边缘被模糊地厉害；方法1重建的图像比较清晰，但是会被模糊掉一部分细节；方法2会产生比较平滑的图像；方法3重建的图像比方法1重建的图像更清晰，但是方法1重建图像的细节更精细；本发明重建的图像具有更加精细的结构，在保留细节方面具有良好的性能，且有更高的客观评价指标。

在有噪声的情况中，Bicubic重建图像的质量最差；方法1并没有完全抑制噪声，重建的图像仍存在噪声；方法2重建的图像比较平滑，丢失了许多细节；方法3重建的图像比较清晰，但是重建的图像仍存在少许的噪声；本发明重建的图像具有更精细的结构，具有较好的噪声抑制性能。

表一给出了本发明与4中对比方法的重建结果的客观评价指标，分别为峰值信噪比(Peak Signal to Noise Ratio,PSNR)和结构相似度(Structure Similarity Index,SSIM)。其中，PSNR越大，SSIM越大，重建的效果越好。

综上所述，本发明重建的图像具有较高的客观评价指标和主观视觉效果，且抑制噪声性能较好。因此，本发明是一种有效的单幅遥感超图像超分辨重建方法。

表一

表二

Claims (4)

1.一种基于自适应联合约束的遥感图像超分辨率重建算法，其特征在于包括以下步骤：

步骤一：使用双三次插值方法对输入的低分辨图像进行3倍上采样，得到初始的高分辨HR图像；

步骤二：对HR图像，利用主成分分析方法和K-means聚类方法计算HR图像的字典；

步骤三：利用图像的非局部相似性和稀疏表示，得到非局部稀疏先验；

步骤四：利用图像的局部梯度，构建一个局部结构滤波器；

步骤五：根据(4)中提出的局部结构滤波器，构建结构保持局部先验；

步骤六：融合(3)中的非局部稀疏先验和(5)中的结构保持局部先验，并根据噪声级自适应地选择参数，最终形成一个自适应的联合先验；

步骤七：构建超分辨率重建代价函数；

步骤八：利用交替迭代算法求解代价函数，得到重建HR图像；

步骤九：重复步骤(3)至(8)直到达到预先设置的迭代次数；

步骤十：若不满足预设的条件，则返回到步骤(2)；反之，则结束。

2.根据权利要求1所述的一种基于自适应联合约束的遥感图像超分辨率重建算法，其特征在于步骤四所述提出了一个可保持图像边缘的基于图像局部梯度的结构滤波器：

M_a＝I+ωM

其中，I为单位矩阵，ω是非负的参数，S_h和S_v分别是沿水平(h)和垂直(v)方向的离散差分操作，A_h和A_v分别是以a_h,p和a_v,p为主对角线元素的对角矩阵。a_h,p和a_v,p可通过下式计算：

a_h,p＝[▽_h,p(x)+ε₁]^-1

a_v,p＝[▽_v,p(x)+ε₁]^-1

其中，x是高分辨率图像，ε₁是非负的常数，▽表示梯度操作。

3.根据权利要求1所述的一种基于自适应联合约束的遥感图像超分辨率重建算法，其特征在于步骤五所述根据提出的结构滤波构建了一个用于保持图像局部结构的局部先验：

4.根据权利要求1所述的一种基于自适应联合约束的遥感图像超分辨率重建算法，其特征在于步骤六所述融合非局部稀疏先验和结构保持局部先验，得到可更好地重建HR图像的联合先验：

其中，α是HR图像的稀疏矢量，β是利用α的非局部相似矢量对α的估计值。

然后，为了进一步地提升超分辨率的重建性能，我们根据噪声级自适应地选择联合先验的参数：

其中，ε_p是常数，σ_n是从输入的低分辨率图像中测得的噪声级，σ_i是误差(α-β)服从拉普拉斯分布的标准差；

λ₂＝r₁σ_n+ε_l

其中，r₁和ε_l是常数；

ω＝r₂σ_h+ε_h

其中，r₂和是ε_h常数，σ_h是从迭代估计的高分辨率图像中测得的噪声级。