CN109712074A - 双参数贝塔过程联合字典的遥感图像超分辨重建方法 - Google Patents

Abstract

本发明提供一种准确、运算量少的双参数贝塔过程联合字典的遥感图像超分辨重建方法,属于遥感图像处理技术领域。本发明包括：S1、输入待重建的低分辨率图像、高分辨率图像字典D^(x)、低分辨率图像字典D^(y)和映射矩阵A；S2、根据字典D^(y)，对输入的低分辨率图像进行稀疏编码，获得低分辨率稀疏系数，利用矩阵A映射出低分辨率稀疏系数对应的高分辨率稀疏系数，利用所述高分辨率稀疏系数和字典D^(x)重建高分辨率图像；字典D^(x)、D^(y)和矩阵A的获取方法为：根据成对的高、低分辨率训练图像，利用双参数贝塔过程，获得字典D^(x)、D^(y)和矩阵A，矩阵A为字典D^(y)的稀疏系数到字典D^(x)的稀疏系数的映射矩阵，稀疏系数为系数权值和字典原子的乘积。

Description

双参数贝塔过程联合字典的遥感图像超分辨重建方法

技术领域

本发明涉及一种遥感图像重建方法，特别涉及一种双参数贝塔过程联合字典的遥感图像超分辨重建方法,属于遥感图像处理技术领域。

背景技术

高分辨率遥感图像是遥感应用的重要保证，但获取高分辨率遥感图像并非易事，会受到遥感成像传感器阵列密度、大气扰动、相对运动、环境噪声等多种因素的影响，因此，提高遥感图像的空间分辨率是遥感技术的重要研究方向。获取高分辨率遥感图像最直接的方法是改进遥感成像硬件系统，但会带来成本高昂、周期长、甚至技术无法实现等缺陷。遥感图像超分辨重建(Super-resolution Reconstruction,SRR)就是一种在不改变现有遥感硬件成像设备及工艺水平条件下，利用软件处理的方法对同一场景的单帧或多帧地物遥感低分辨率图像(Low-resolution Images,LRIs)进行处理得到一帧高分辨率图像(High-resolution Images,HRI)的技术。这种SRR技术可以经济、高效地提高遥感图像空间分辨率，改善图像视觉质量，已成为遥感图像处理领域的研究热点。

随着国内外对超分辨技术研究的深入，SRR可总结为基于重建的超分辨和基于学习的超分辨方法两类，近年基于学习的图像超分辨方法已成为研究热点。基于学习的SRR方法是利用机器学习的思想，通过对样本图像进行训练和学习，获取HRI和LRIs间的关系，并利用这种关系对类似的LRI进行超分辨重建。随着压缩感知、稀疏表示技术的发展，很多学者提出基于字典学习的超分辨方法，如奇异值分解(K-SVD)法、在线字典更新(ODL)法、有效稀疏编码法等。这种方法采用字典学习技术获取高、低分辨率图像块间的共同先验信息，高分辨率图像块采用高分辨率字典和稀疏系数来恢复，而稀疏系数采用低分辨率特征块和低分辨率特征字典计算得到。这些算法都可以生成过完备字典和稀疏系数，但其中的稀疏系数都是高、低分辨率字典共享的，因此，算法很难拟合两个特征空间的字典和系数。Zeyde等人提出了两步字典学习算法，其中低分辨率字典由K-SVD算法学习，高分辨率字典通过最小二乘法生成，尽管这种方法大大降低了计算量，但重建高分辨率图像仍然不准确。Yang等人提出了该问题的双层优化解决方案，用一种映射函数代表两个特征空间的关系的经典稀疏表示超分辨方法，但这种方法依然是共享两个特征空间的系数。

发明内容

针对上述不足，本发明提供一种准确、运算量少的双参数贝塔过程联合字典的遥感图像超分辨重建方法。

本发明的双参数贝塔过程联合字典的遥感图像超分辨重建方法，所述方法包括：

S1、输入待重建的低分辨率图像L、高分辨率图像字典D^(x)、低分辨率图像字典D^(y)和映射矩阵A；

S2、根据低分辨率训练图像字典D^(y)，对输入的低分辨率图像L进行稀疏编码，获得低分辨率稀疏系数，然后，利用映射矩阵A映射出低分辨率稀疏系数对应的高分辨率稀疏系数，最后，利用所述高分辨率稀疏系数和高分辨率训练图像字典D^(x)重建高分辨率图像；

所述高分辨率图像字典D^(x)、低分辨率图像字典D^(y)和映射矩阵A的获取方法为：

根据成对的高、低分辨率训练图像，利用双参数贝塔过程，获得高分辨率图像字典D^(x)、低分辨率图像字典D^(y)和映射矩阵A，所述映射矩阵A为低分辨率图像字典D^(y)的稀疏系数到高分辨率图像字典D^(x)的稀疏系数的映射矩阵，所述稀疏系数为系数权值和字典原子的乘积。

优选的是，所述映射矩阵A：

A＝[(α^(y)α^(y)T)^-1α^(y)α^(x)T]^T

其中，α^(y)表示低分辨率图像字典D^(y)的稀疏系数矩阵，α^(x)表示高分辨率图像字典D^(x)的稀疏系数矩阵。

优选的是，所述双参数贝塔过程包括：

S31：以像素重叠分别从高、低分辨率训练图像中提取训练图像块x_i和y_i,i＝1,2,...,N，N表示高/低分辨率训练图像块的数量，

S32：初始化字典D^(x)、字典D^(y)及参数π_k、z_i、设置循环次数；

π_k表示贝塔过程函数，z_i表示字典原子，表示图像块x_i的稀疏系数权值，表示图像块y_i的稀疏系数权值；

S33：由吉布斯采样更新π_k；

π_k～Beta(a/k,b(k-1)/k)，参数a,b>0，Beta表示贝塔分布，k＝1,2,...K，K表示字典原子的数量；

S34：根据更新

P_x和P_y分别表示高、低分辨率训练图像块耦合特征空间的维数；表示P_x的逆，表示P_y的逆，表示P_x维的单位矩阵，I_Py表示P_y维的单位矩阵；

S35：根据更新z_i，Bernoulli表示伯努利分布；

S36：根据更新

和分别表示和的伽玛分布，由伽玛分布采样得到，I_K表示K维单位矩阵，和分别表示和的方差；

S37：根据更新

表示图像块x_i的重建误差，表示图像块y_i的重建误差，表的伽玛分布，由伽玛分布采样得到，表示的伽玛分布，由伽玛分布采样得到；

S38：根据更新○表示元素依次相乘；

表示图像块x_i的稀疏系数，表示图像块y_i的稀疏系数；

S39：执行S33至S38，直至达到循环次数，根据N个图像块x_i、y_i、和之间的关系，学习得到高分辨率图像字典D^(x)和低分辨率图像字典D^(y)，根据N个训练图像块的获得矩阵α^(x)和α^(y)，再根据A＝[(α^(y)α^(y)T)^-1α^(y)α^(x)T]^T求映射矩阵A。

优选的是，所述S1中，还包括：

将输入待重建的低分辨率图像L从RGB色彩空间转换到YCbCr色彩空间，并提取亮度空间特征，根据提取的特征编辑索引；

所述S2中重建高分辨率图像的过程还包括：利用所述索引重建高分辨率图像的亮度空间，并对另外两个色度空间进行双三次插值，将插值后的图像从YCbCr色彩空间转换到RGB色彩空间，完成重建。

优选的是，所述方法还包括采用全局约束和非局部相似性约束重建高分辨率图像：

H^*表示约束后的重建高分辨率图像，H表示步骤S2获得的重建高分辨率图像，H₀表示初始高分辨率图像，h_i和h_i(0)表示分别从H和H₀中提取的图像块，是跟h_i(0)最相似的第m个图像块，↓BH＝L表示对高分辨率图像采用下采样操作或运算得到低分辨率图像，ε表示任意小的一个误差值，表示二维范数，b^m是非局部权重，M表示从重建高分辨率图像中提取的图像块的数量。

本发明的有益效果，本发明解决了耦合特征空间中的双参数联合字典的训练问题，可自适应地训练成更小尺寸的字典，使得字典维数更低。与当前最先进的稀疏字典学习SRR方法相比较，超分辨结果图像的主观效果更好，恢复出更多的纹理细节；客观参数PSNR提高约1.5dB，SSIM高出约0.02；本发明利用人眼视觉对亮度空间更敏感的特性，将待重建的遥感图像从RGB空间转换至YCbCr空间，超分辨率重建时只对人眼较为敏感的亮度空间进行的超分辨重建，而对其色度空间仅采用双三次插值处理，这样在保障超分辨重建效果的同时大大减少运算量。超分辨重建时间降低约5秒。

附图说明

图1为本发明具体实施方式中获取高分辨率图像字典D^(x)、低分辨率图像字典D^(y)和映射矩阵A的流程示意图；

图2为本发明具体实施方式中重建高分辨率图像的流程示意图。

图3为第1组遥感图像的实验结果对比，图3(A)至图3(D)分别表示低分辨率图像、双三次插值法重建结果、经典稀疏表示超分辨方法重建结果和本发明方法超分辨重建结果；

图4为第2组遥感图像的实验结果对比，图4(A)至图4(D)分别表示低分辨率图像、双三次插值法重建结果、经典稀疏表示超分辨方法重建结果和本发明方法超分辨重建结果；

图5为第3组遥感图像的实验结果对比，图5(A)至图5(D)分别表示低分辨率图像、双三次插值法重建结果、经典稀疏表示超分辨方法重建结果和本发明方法超分辨重建结果；

图6为第4组遥感图像的实验结果对比，图6(A)至图6(D)分别表示低分辨率图像、双三次插值法重建结果、经典稀疏表示超分辨方法重建结果和本发明方法超分辨重建结果；

图7为靶标图像实验结果对比，图7(A)至图7(D)分别表示低分辨率图像、双三次插值法重建结果、经典稀疏表示超分辨方法重建结果和本发明方法超分辨重建结果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本实施方式的双参数贝塔过程联合字典的遥感图像超分辨重建方法，包括：

S1、输入待重建的低分辨率图像L、高分辨率图像字典D^(x)、低分辨率图像字典D^(y)和映射矩阵A；

S2、根据低分辨率训练图像字典D^(y)，对输入的低分辨率图像L进行稀疏编码，获得低分辨率稀疏系数，然后，利用映射矩阵A映射出低分辨率稀疏系数对应的高分辨率稀疏系数，最后，利用所述高分辨率稀疏系数和高分辨率训练图像字典D^(x)重建高分辨率图像；

所述高分辨率图像字典D^(x)、低分辨率图像字典D^(y)和映射矩阵A的获取方法为：

根据成对的高、低分辨率训练图像，利用双参数贝塔过程，获得高分辨率图像字典D^(x)、低分辨率图像字典D^(y)和映射矩阵A，所述映射矩阵A为低分辨率图像字典D^(y)的稀疏系数到高分辨率图像字典D^(x)的稀疏系数的映射矩阵，所述稀疏系数为系数权值和字典原子的乘积。

本实施方式考虑字典学习算法应该兼顾两个特征空间(低分辨率图像和高分辨率图像)的学习误差，利用双参数贝塔过程，利用先验模型，将字典学习过程中的稀疏系数分解为系数权值和字典原子的乘积，根据字典原子指标缩减字典，得到自适应大小的字典，能以更小的字典重建高质量的超分辨遥感图像；与当前最先进的稀疏字典学习SRR方法相比较，超分辨结果图像的主观效果更好，恢复出更多的纹理细节；

优选实施例中，本实施方式的映射矩阵A：

A＝[(α^(y)α^(y)T)^-1α^(y)α^(x)T]^T

其中，α^(y)表示低分辨率图像字典D^(y)的稀疏系数矩阵，α^(x)表示高分辨率图像字典D^(x)的稀疏系数矩阵。

学习得到稀疏矩阵α^(x)和α^(y)之后，通过最小二乘法计算得到A，映射矩阵A即为双参数联合训练字典。

双参数贝塔过程具体包括：假设有两个耦合特征空间和这两个特征空间中的特征就对应的字典而言是稀疏的。存在一个映射函数F:Y→X，它将Y中的特征与相对应的X中的特征关联起来。因此，字典和被测信号的关系以及两个特征空间的关系可以被表示为：

其中，为P_x维向量空间、为P_y维向量空间，x_i，y_i分别表示维数为P_x和P_y的训练样本图像块,i＝1,2,...,N。

D^(x)和D^(y)分别为每个空间中学习得到的含有K个原子的字典，K∈(1,P_x)(N是个不定未知数，根据图像大小而变换)；分别表示图像块x_i，y_i对应的稀疏系数,表示图像块x_i的重建误差，表示图像块y_i的重建误差。A是从图像块y_i的稀疏系数到图像块x_i的稀疏系数映射矩阵。为了同时学习两个字典，本实施方式在伯努利-贝塔过程基础上，设计了一个新的双参数贝塔过程来处理耦合特征空间中的字典学习问题。具体可表示为BP(a,b,W₀)，其中参数a,b>0，W₀是基础测度，写成和函数的形式为：

W由无穷多的从H₀中采样得到的或组成。其中，π_k～Beta(a/k,b(k-1)/k)，和是的原子。在此，用一个单独的贝塔过程先验模型和同一个字典原子来连接两个特征空间。用于耦合特征空间的贝塔过程联合字典学习模型可以表示为：

其中，字典原子服从正态高斯分布：

稀疏系数权值服从正态高斯分布：

字典原子服从伯努利分布：

重建误差服从正态分布：

c和d分别表示和分布的期望和方差，e和f分别表示ε^(x)和ε^(y)分布的期望和方差；

以上设计的双参数贝塔过程中，选择相同的z_i为x_i和y_i中的相对应的字典原子，但稀疏系数不同，构成稀疏系数的权重分别从不同的分布中采样得到。最终得到稀疏系数为：

其中，○表示元素依次相乘。由于和使用相同的字典原子，非零元素个数相同，因此，两个特征空间中字典原子的对应关系会在训练和学习的过程中得到加强。学习得到稀疏矩阵稀疏α^(x)和α^(y)之后，映射矩阵A即为双参数联合训练字典，并通过最小二乘法计算得到：

A＝[(α^(y)α^(y)T)^-1α^(y)α^(x)T]^T (15)

优选实施例中，本实施方式的双参数贝塔过程包括：

首先生成模拟训练样本图像，选定10帧不同类别、纹理丰富的图像作为HRI，分别将HRI进行模糊和下采样的降质操作，得到LRI，并进行吉布斯采样(Gibbs sampling)，得到字典训练样本。如图1所示，具体步骤如下：

输入：成对的高、低分辨率训练图像

输出：学习得到的字典D^(x)、D^(y)和矩阵A

S31：设置实验参数，以像素重叠分别从高、低分辨率训练图像中提取训练图像块x_i和y_i,i＝1,2,...,N，N表示高/低分辨率训练图像块的数量，筛选图像块，特征归一化图像块；

S32：初始化稀疏先验：初始化字典D^(x)、字典D^(y)及参数π_k、z_i、设置循环次数；

π_k表示贝塔过程函数，z_i表示字典原子，表示图像块x_i对应的的稀疏系数权值，表示图像块y_i对应的的稀疏系数权值；

S33：由吉布斯采样更新π_k；

π_k～Beta(a/k,b(k-1)/k)，参数a,b>0，Beta表示贝塔分布，k＝1,2,...K，K表示字典原子的数量；

S34：根据更新

P_x和P_y分别表示高、低分辨率训练图像块耦合特征空间的维数；表示P_x的逆，表示P_y的逆，表示维的单位矩阵，表示P_y维的单位矩阵；

S35：根据更新z_i，Bernoulli表示伯努利分布；

S36：根据更新

和分别表示和的伽玛分布，由伽玛分布采样得到，I_K表示K维单位矩阵，和分别表示和的方差；

S37：根据更新

表示图像块x_i的重建误差，表示图像块y_i的重建误差，表的伽玛分布，由伽玛分布采样得到，表示的伽玛分布，由伽玛分布采样得到；

S38：根据更新○表示元素依次相乘；

表示图像块x_i对应的稀疏系数，表示图像块y_i对应的稀疏系数；

S39：执行S33至S38，直至达到循环次数，根据N个图像块x_i、y_i、和之间的关系，学习得到高分辨率图像字典D^(x)和低分辨率图像字典D^(y)，根据N个训练图像块的获得矩阵α^(x)和α^(y)，再根据求矩阵A。

优选实施例中，如图2所示，所述S1中，还包括：

将输入待重建的低分辨率图像L从RGB色彩空间转换到YCbCr色彩空间，并提取亮度空间特征，根据提取的特征编辑索引；

所述S2中重建高分辨率图像的过程还包括：利用所述索引重建高分辨率图像的亮度空间，并对另外两个色度空间进行双三次插值，将插值后的图像从YCbCr色彩空间转换到RGB色彩空间，完成重建。

具体遥感图像超分辨重建过程中，由于人眼对图像的亮度信息更敏感，所以先对遥感图像进行色彩空间的变换，由RGB彩色空间变换到YCbCr彩色空间，仅对其亮度空间使用双参数联合字典超分辨算法，而对色度空间直接采用双三次插值法。

本实施方式的亮度空间的SRR步骤如下：

·输入：低分辨率图像L、学习得到的字典D^(x)、D^(y)和映射矩阵A

·输出：高分辨率图像H^*

S21：以ω像素重叠从L中提取低分辨率图像块l_i，用四个特征提取算子F1＝[-1,0,1]，F2＝F1,F3＝[1,0,-2,0,1],F4＝F3构造y_i，构造依据x_i＝h；y_i＝[F₁l；F₂l；F₃l；F₄l]，最后，用稀疏编码计算得到

S22：用A将稀疏系数投影到

S23：用和D^(x)恢复高分辨率图像块h_i：

恢复所有高分辨率图像块之后，初始高分辨率图像H₀可以由ω重叠像素重建。

S24：采用全局约束和非局部相似性约束进一步提高重建准确性：

H^*表示约束后的重建高分辨率图像，H表示步骤S2获得的重建高分辨率图像，H₀表示初始高分辨率图像，h_i和h_i(0)表示分别从H和H₀中提取的图像块，是跟h_i(0)最相似的第m个图像块，↓BH＝L表示对高分辨率图像采用下采样操作或运算得到低分辨率图像，ε表示任意小的一个误差值，表示二维范数，b^m是非局部权重，M表示从重建高分辨率图像中提取的图像块的数量。

利用本实施方式的方法、双三次插值及背景技术中提到的用映射函数代表两个特征空间的关系的经典稀疏表示超分辨方法对四张遥感和一张靶标的低分辨图像进行超分辨重建实验，获得如图3至图7所示的实验结果，五组的峰值信噪比PSNR和结构相似度SSIM统计对比如表1所示。客观参数PSNR提高约1.5dB，SSIM高出约0.02；本发明超分辨重建时间降低约5秒。

表1遥感超分辨结果图像的PSNR和SSIM统计对比

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (5)

1.双参数贝塔过程联合字典的遥感图像超分辨重建方法，其特征在于，所述方法包括：

S1、输入待重建的低分辨率图像L、高分辨率图像字典D^(x)、低分辨率图像字典D^(y)和映射矩阵A；

S2、根据低分辨率训练图像字典D^(y)，对输入的低分辨率图像L进行稀疏编码，获得低分辨率稀疏系数，然后，利用映射矩阵A映射出低分辨率稀疏系数对应的高分辨率稀疏系数，最后，利用所述高分辨率稀疏系数和高分辨率训练图像字典D^(x)重建高分辨率图像；

所述高分辨率图像字典D^(x)、低分辨率图像字典D^(y)和映射矩阵A的获取方法为：

根据成对的高、低分辨率训练图像，利用双参数贝塔过程，获得高分辨率图像字典D^(x)、低分辨率图像字典D^(y)、映射矩阵A，所述映射矩阵A为低分辨率图像字典D^(y)的稀疏系数到高分辨率图像字典D^(x)的稀疏系数的映射矩阵，所述稀疏系数为系数权值和字典原子的乘积。

2.根据权利要求1所述的遥感图像超分辨重建方法，其特征在于，所述映射矩阵A：

A＝[(α^(y)α^(y)T)^-1α^(y)α^(x)T]^T

其中，α^(y)表示低分辨率图像字典D^(y)的稀疏系数矩阵，α^(x)表示高分辨率图像字典D^(x)的稀疏系数矩阵。

3.根据权利要求2所述的遥感图像超分辨重建方法，其特征在于，所述双参数贝塔过程包括：

S31：以像素重叠分别从高、低分辨率训练图像中提取训练图像块x_i和y_i,i＝1,2,...,N，N表示高/低分辨率训练图像块的数量，

S32：初始化字典D^(x)、字典D^(y)及参数π_k、z_i、设置循环次数；

π_k表示贝塔过程函数，z_i表示字典原子，s_i ^(x)表示图像块x_i对应的稀疏系数权值，s_i ^(y)表示图像块y_i对应的稀疏系数权值；

S33：由吉布斯采样更新π_k；

π_k～Beta(a/k,b(k-1)/k)，参数a,b>0，Beta表示贝塔分布，k＝1,2,...K，K表示字典原子的数量；

S34：根据更新

P_x和P_y分别表示高、低分辨率训练图像块耦合特征空间的维数；表示P_x的逆，表示P_y的逆，表示P_x维的单位矩阵，I_Py表示P_y维的单位矩阵；

S35：根据更新z_i，Bernoulli表示伯努利分布；

S36：根据更新s_i ^(x)、s_i ^(y)；

和分别表示s_i ^(x)和s_i ^(y)的伽玛分布，由伽玛分布采样得到，I_K表示K维单位矩阵，和分别表示s_i ^(x)和s_i ^(y)的方差；

S37：根据更新

表示图像块x_i的重建误差，表示图像块y_i的重建误差，表示的伽玛分布，由伽玛分布采样得到，表示的伽玛分布，由伽玛分布采样得到；

S38：根据更新α_i ^(x)、α_i ^(y)，表示元素依次相乘；

α_i ^(x)表示图像块x_i对应的稀疏系数，α_i ^(y)表示图像块y_i对应的稀疏系数；

S39：执行S33至S38，直至达到循环次数，根据N个图像块x_i、y_i、α_i ^(x)、α_i ^(y)、和之间的关系，学习得到高分辨率图像字典D^(x)和低分辨率图像字典D^(y)，根据N个训练图像块的稀疏系数α_i ^(x)、α_i ^(y)，获得矩阵α^(x)和α^(y)，再根据A＝[(α^(y)α^(y)T)^-1α^(y)α^(x)T]^T求映射矩阵A。

4.根据权利要求1或3所述的遥感图像超分辨重建方法，其特征在于，所述S1中，还包括：

将输入待重建的低分辨率图像L从RGB色彩空间转换到YCbCr色彩空间，并提取亮度空间特征，根据提取的特征编辑索引；

所述S2中重建高分辨率图像的过程还包括：利用所述索引重建高分辨率图像的亮度空间，并对另外两个色度空间进行双三次插值，将插值后的图像从YCbCr色彩空间转换到RGB色彩空间，完成重建。

5.根据权利要求4所述的遥感图像超分辨重建方法，其特征在于，所述方法还包括采用全局约束和非局部相似性约束重建高分辨率图像：

H^*表示约束后的重建高分辨率图像，H表示步骤S2获得的重建高分辨率图像，H₀表示初始高分辨率图像，h_i和h_i(0)表示分别从H和H₀中提取的图像块，是跟h_i(0)最相似的第m个图像块，↓BH＝L表示对高分辨率图像采用下采样操作或运算得到低分辨率图像，ε表示任意小的一个误差值，表示二维范数，b^m是非局部权重，M表示从重建高分辨率图像中提取的图像块的数量。