CN106651772A - 一种卫星云图的超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种卫星云图的超分辨率重建方法，首先选取大量的高分辨率和低分辨率云图图像块，组成训练样本，利用改进的K‑SVD的算法训练字典，得到高、低分辨率字典对{Φ_h,Φ_l}；然后根据字典空间中原子间的相关性，采用最近邻域嵌入算法，求出高、低分辨率字典对中每个原子对应的最近邻映射关系，并建立相应的映射矩阵；对于输入的低分辨率云图图像块，在低分辨率字典中找到与其相关性最高的原子，并根据该原子对应的映射矩阵重建高分辨率云图图像块，最后对重建的高分辨率云图图像块用像素重叠的方法合成重建高分辨率云图图像，本发明的方法不仅能大大缩减重建过程的计算复杂度，而且重建的云图在视觉效果、峰值信噪比、结构相似度上也具有一定的优势。

Description

一种卫星云图的超分辨率重建方法

技术领域

本发明涉及一种图像的重建方法，尤其是涉及一种卫星云图的超分辨率重建方法。

背景技术

看云识天气，气象卫星云图包含了很多重要的气象信息，是预测天气变化及检测云演变过程的重要工具。卫星云图主要分为两类：可见光云图和红外云图。目前，虽然气象卫星可以提供很多成像通道，但是不同通道的图像的分辨率不同。比如红外通道数据的分辨率比较低，这对综合使用多通道的数据进行分析不利，也会增加分析设计的难度，如果对高分辨率通道数据进行抽样，使其与低分辨率通道数据一致，则对宝贵的高精度数据信息是一种浪费。

提高卫星云图分辨率最直接的方法就是改进硬件设备，但是硬件设备的改进往往受到制造工艺和成本的限制，短时间内很难有所突破。因此，我们只能通过特定的算法来提升云图的分辨率。图像的超分辨率重建就是将单帧或多帧低分辨率图像序列恢复为原始的高分辨率图像，目前主要有三种类型方法：基于插值的方法，基于重构的方法，基于学习的方法。基于插值的方法，计算复杂度低，但是重建过程中没有加入任何先验信息，放大倍数较大时图像边缘会出现严重的振铃现象；基于重构的方法，容易出现难以容忍的病态现像；而基于学习的方法，不仅能够提供相应的先验信息，而且克服了基于重构方法容易出现病态的问题，已经成为超分辨率重建的主流研究方向。

Chang等从流形学习理论出发，认为低分辨率图像空间与高分辨图像空间具有相似的流形结构，提出最近邻域嵌入NE(Neighbor Embedding)算法，通过建立低分辨率图像块和高分辨率图像块的映射关系，根据低分辨图像块线性组合来预测对应的高分辨率图像块，但是重建的图像趋于平滑。受压缩感知稀疏表示理论影响，Yang等把稀疏表示应用在图像超分辨率上，假设对应的高低分辨率块，在过完备字典下有相同的稀疏表示，通过联合训练得到一对高、低分辨率字典，对输入的低分辨率图像块求出相应的稀疏表示系数，结合高分辨率字典进行重建。Zeyde等在Yang的基础上应用K-SVD算法提高了训练字典速度，使得重建的图像在视觉效果上有所改善，而且峰值信噪比更高。但是Zeyde和Yang的算法，由于重建过程中稀疏编码的计算，导致重建过程的计算复杂度高，不利于实时处理。

发明内容

本发明所要解决的技术问题是提供一种卫星云图的超分辨率重建的方法，在保持重建云图的质量的同时，大大缩减了重建过程的时间，有利于云图的实时重建。

本发明解决上述技术问题所采用的技术方案为：一种卫星云图的超分辨率重建方法，包括以下步骤：

①建立训练样本集合：选取30到50幅已有的高分辨率云图图像，对这些高分辨率云图图像进行下采样得到对应的低分辨率云图图像，利用像素重叠的方法将高分辨率云图图像分块，并将分块后的图像块定义为高分辨率训练样本块，对每一个高分辨率训练样本块分别减去各自图像块的像素点的均值，得到去除了低频信息的高分辨率训练样本块集合其中l表示高分辨率训练样本块的总数，i表示1到l之间的任意整数，表示高分辨率训练样本块集合中的第i个样本块，然后用四个一维滤波器{f₁＝[-1,0,1],f₂＝f₁ ^T,f₃＝[1,0,-2,0,1],f₄＝f₃ ^T}对低分辨率云图图像进行特征提取并利用像素重叠的方法分块，得到低分辨率训练样本块集合其中表示低分辨率训练样本块集合中的第i个样本块，T表示矩阵的转置；

②用改进的K-SVD算法对步骤①中的高分辨率训练样本块集合和低分辨率训练样本块集合进行训练，得到高分辨率字典和低分辨率字典，定义为过完备字典对，并将高分辨率字典和低分辨率字典中的列向量分别定义为高分辨率字典原子和低分辨率字典原子；

③求解映射矩阵P_j：

③-1.在过完备字典对中，根据原子的相关性，利用最近邻域算法建立高分辨率字典中每个原子和低分辨率字典中的每个原子的最近邻域映射关系{N_H,N_L}，其中N_L是低分辨率字典中某个原子的最近邻域集，N_H是高分辨字典中某个原子的最近邻域集，其中{N_H,N_L}中原子的最近邻域集中的原子个数为小于或等于相应字典中原子总数的任意值；③-2.根据最近邻域映射关系{N_H,N_L}求解得到映射矩阵P_j，其中j表示不同的原子对应的映射矩阵编号；

④对需要重建的低分辨率云图图像，用四个一维滤波器{f₁＝[-1,0,1],f₂＝f₁ ^T,f₃＝[1,0,-2,0,1],f₄＝f₃ ^T}进行特征提取并利用像素重叠的方法分块，得到待重建的低分辨率云图图像块集合{y₁,y₂,...,y_k,...,y_n}，其中n表示待重建的低分辨率云图图像块的总数，k表示1到n之间的任意整数，y_k表示待重建的低分辨率云图图像块的的第k个图像块；

⑤对待重建低分辨率云图图像块y_k，利用相关性，在低分辨率字典中找到与它最相关的原子，并找到该原子对应的高分辨率字典原子和低分辨率字典原子的最近邻域映射关系{N_H,N_L}，然后根据映射关系找到对应的映射矩阵P_j；

⑥对待重建的低分辨率云图块y_k，利用公式进行重建得到相应的高分辨率云图块

⑦对于重建得到的高分辨率云图块利用像素重叠的方法合成重建高分辨率云图图像

所述的步骤②中用改进的K-SVD算法对步骤①中的高分辨率训练样本块集合和低分辨率训练样本块集合进行训练，得到高分辨率字典和低分辨率字典的具体方法为：

②－1：将原K-SVD算法中的数学模型

修改为

其中Φ_l是低分辨率过完备字典，A,W∈R^m×l都为m行l列的矩阵，A为稀疏系数矩阵，包含了所有的稀疏表示系数向量α_i，α_i是一个m维的列向量，K为稀疏度，表示稀疏表示系数向量α_i中不为0系数的个数的上限，A⊙W＝0表示如果矩阵A中的某个位置的元素不为0，则矩阵W对应位置的元素就为0，若A中的某个位置的元素为0，则矩阵W对应位置的元素就为1；

②－2：将步骤②－1中求得的稀疏系数矩阵A用于以下公式：

其中，Φ_h为高分辨率过完备字典，由广义逆矩阵的方法得到高分辨率字典：Φ_h＝X_sA₊＝X_sA^T(AA^T)^-1。

所述的步骤③-2中根据最近邻域映射关系{N_H,N_L}求解映射矩阵P的具体方法为：

③-1：在过完备字典对中，对字典中的每个原子，根据字典原子间的相关性，利用最近邻域算法建立高分辨率字典原子和低分辨率字典原子的最近邻的映射关系{N_H,N_L}；

③-2：将求解低分辨率字典的最近邻域嵌入系数β的数学模型表示为：

其中β是待求解的系数，为β的近似解，λ是权重系数，用来缓解奇异性问题并且保证系数分解的稳定性，y是低分辨率云图图像块，利用岭回归的方法得到为：

其中I是与大小相同的单位矩阵，把与N_L对应的高分辨率云图图像块的最近邻域集N_H和相结合，得到高分辨率云图图像块

则得到映射矩阵

所述的像素重叠是指相邻的图像块之间有1个或2个像素是相同的。

与现有技术相比，本发明的优点在于：利用改进的K-SVD算法对①中得到的高分辨率和低分辨率云图图像块训练样本集合进行字典训练，得到高分辨率过完备字典和低分辨率过完备字典。在过完备字典对中，对低分辨率字典和高分辨率字典中的每个原子求解对应的映射矩阵。对待重建的低分辨率云图图像块自适应选择映射矩阵进行重建，对重建的高分辨率云图图像块利用像素重叠的方法合成高分辨率云图图像。本方法不仅重建过程的计算复杂度大大降低，而且能够很好的重构出云图的纹理、轮廓结构，得到更高峰值信噪比和结构相似度。

附图说明

图1表示为采用改进的K-SVD算法与K-SVD算法训练字典的比较效果，其中图1(a)表示训练样本的表示误差的对比结果，图1(b)为测试样本的表示误差对比结果；

图2为本文方法与其他方法对图3(2)的重建结果比较，图2(a)表示原始图像，图2(b)表示Bicubic算法重建图像，图2(c)表示Yang et al.的算法重建图像，图2(d)表示Zeyde et al.的算法重建图像，图2(e)表示NE算法重建图像，图2(f)表示ANR算法重建图像，图2(g)表示本文方法重建图像；

图3给出用于验证本方法有效性的5幅测试卫星云图图像。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

在下列的实施例中，对于重建后的云图图像的质量评价方法如下：

利用峰值信噪比(PSNR)和结构相似度(SSIM)这两个评价指标来评价重建云图的效果，峰值信噪比(PSNR)为：MSE值越低越好，效果越好，能较准确地将其误差的实际情况反映出来。PSNR值越高，代表所获得的结果图像失真越小，越接近原始图像。结构相似度(SSIM)为：

其中x,y分别表示原始云图和重建云图在相同位置的云图块，μ_x和μ_y分别表示原始云图和重建云图在相同位置的云图块的均值，σ_xy为两个图像块的协方差，σ_x和σ_y分别表示原始云图和重建云图在相同位置的云图块的方差，c₁和c₂为相应的固定参数。结构相似度(SSIM)的范围为0～1，SSIM的值越高说明重建的云图与原始云图的相似度越高，重建的质量也越好。

本发明提出的一种卫星云图的超分辨率重建的方法，其包括以下步骤：

训练阶段：共①～③步。

①建立训练样本集合：选取30幅已有的高分辨率云图图像，对这些高分辨率云图图像进行下采样得到对应的低分辨率云图图像，利用像素重叠的方法将高分辨率云图图像分块，相邻的高分辨云图图像块之间重叠一个像素，并将分块后的图像块定义为高分辨率训练样本块，对每一个高分辨率训练样本块分别减去各自图像块的像素点的均值，得到去除了低频信息的高分辨率训练样本块集合其中l表示高分辨率训练样本块的总数l＝10000，i表示1到l之间的任意整数，表示高分辨率训练样本块集合中的第i个样本块，然后用四个一维滤波器{f₁＝[-1,0,1],f₂＝f₁ ^T,f₃＝[1,0,-2,0,1],f₄＝f₃ ^T}对低分辨率云图图像进行特征提取并利用像素重叠的方法分块，相邻的低分辨云图图像块之间重叠一个像素，得到低分辨率训练样本块集合其中表示低分辨率训练样本块集合中的第i个样本块，T表示矩阵的转置；。

②用改进的K-SVD算法对步骤①中的高分辨率训练样本块集合和低分辨率训练样本块集合进行训练，得到高分辨率字典和低分辨率字典，定义为过完备字典对，并将高分辨率字典和低分辨率字典中的列向量分别定义为高分辨率字典原子和低分辨率字典原子，高分辨率字典和低分辨率字典的大小都为512，即字典中有512个原子；

步骤②中用改进的K-SVD算法对步骤①中的高分辨率训练样本块集合和低分辨率训练样本块集合进行训练，得到高分辨率字典和低分辨率字典的具体方法为：②－1：将原K-SVD算法中的数学模型修改为其中Φ_l是低分辨率过完备字典，A,W∈R^m×l都为m行l列的矩阵，A为稀疏系数矩阵，包含了所有的稀疏表示系数向量α_i，α_i是一个m维的列向量，K为稀疏度，表示稀疏表示系数向量α_i中不为0系数的个数的上限，A⊙W＝0表示如果矩阵A中的某个位置的元素不为0，则矩阵W对应位置的元素就为0，若A中的某个位置的元素为0，则矩阵W对应位置的元素就为1；

②－2：将步骤②－1中求得的稀疏系数矩阵A用于以下公式：

其中，Φ_h为高分辨率过完备字典，由广义逆矩阵的方法得到高分辨率字典：

Φ_h＝X_sA⁺＝X_sA^T(AA^T)^-1。

③求解映射矩阵P_j：

③-1.在过完备字典对中，根据原子的相关性，利用最近邻域算法建立高分辨率字典中每个原子和低分辨率字典中的每个原子的最近邻域映射关系{N_H,N_L}，其中N_L是低分辨率字典中某个原子的最近邻域集，N_H是高分辨字典中某个原子的最近邻域集，其中{N_H,N_L}中原子的最近邻域集中的原子个数为小于或等于相应字典中原子总数的任意值，这里设置为40；③-2.根据最近邻域映射关系{N_H,N_L}求解得到映射矩阵P_j，其中j表示不同的原子对应的映射矩阵编号；

步骤③-2中根据最近邻域映射关系{N_H,N_L}求解映射矩阵P的具体方法为：

将求解低分辨率字典的最近邻域嵌入系数β的数学模型表示为：

其中β是待求解的系数，为β的近似解，λ是权重系数，用来缓解奇异性问题并且保证系数分解的稳定性，y是低分辨率云图图像块，利用岭回归的方法得到为：

其中I是与大小相同的单位矩阵，把与N_L对应的高分辨率云图图像块的最近邻域集N_H和相结合，得到高分辨率云图图像块

则得到映射矩阵

重建阶段：共④～⑦步

④对需要重建的低分辨率云图图像，用四个一维滤波器{f₁＝[-1,0,1],f₂＝f₁ ^T,f₃＝[1,0,-2,0,1],f₄＝f₃ ^T}进行特征提取并利用像素重叠的方法分块，相邻的低分辨率云图图像块之间重叠一个像素，得到待重建的低分辨率云图图像块集合{y₁,y₂,...,y_k,...,y_n}，其中n表示待重建的低分辨率云图图像块的总数，k表示1到n之间的任意整数，y_k表示待重建的低分辨率云图图像块的的第k个图像块；

⑤对待重建低分辨率云图图像块y_k，利用相关性，在低分辨率字典中找到与它最相关的原子，并找到该原子对应的高分辨率字典原子和低分辨率字典原子的最近邻域映射关系{N_H,N_L}，然后根据映射关系找到对应的映射矩阵P_j；

⑥对待重建的低分辨率云图块y_k，利用公式进行重建得到相应的高分辨率云图块

⑦对于重建得到的高分辨率云图块利用像素重叠的方法合成重建高分辨率云图图像这里相邻的高分辨率云图图像块之间重叠一个像素。

对重建的高分辨率云图图像进行质量评价：

通过数值实验来验证本发明所提出的卫星云图的超分辨率重建的方法的有效性，选取了附图3中的5幅卫星云图进行分析，整个实验测试平台为Inter(R)Xeon(R)CPU E5-2403V2 1.80GHz,Matlab版本2014b。大部分图像超分辨算法都关注于提高重建图像的质量，却往往忽视了重建的效率也是值得考虑的问题。在表1中给出了本文与Yang et al.、Zeyde et al.和NE算法在重建时间上的对比。

表1不同超分辨率算法重建的时间/s

如表1所示，本文方法重建的时间相对于其它算法降低了几倍甚至几十倍。与Yanget al.和Zeyde et al.的算法相比，重建时对待重建的低分辨率云图图像块，通过寻找已经建立的映射矩阵进行重建，避免了稀疏表示算法重建过程的稀疏编码过程，使得重建过程的计算复杂度大大降低；与NE算法相比，NE算法要对每一待重建的低分辨率云图图像块需要计算出相应权重系数并进行重建，所以计算复杂度更高。

在重建效率提高的同时，希望重建云图的质量也得到保证。如表2和表3中给出了本文方法与双三次方插值Bicubic、Yang et al.、Zeyde et al.、最近邻域嵌入算法NE和固定邻域回归算法ANR的峰值信噪比(PSNR)和结构相似度(SSIM)的对比结果。

表2不同超分辨率算法重建的PSNR/dB

表3不同超分辨率算法重建的SSIM

如表2和表3所示，本文方法与其它的算法比较，在峰值信噪比(PSNR)上是最大的，平均高出0.17dB到1.41dB。同时在结构相似度(SSIM)方面，虽然与其他算法比较提升不大，但还是有所提高。因此，本文算法在提高重建效率的情况下，确实保证了重建云图的质量。

为了更直观的反应重建的效果，还与双三次方插值Bicubic算法、Yang et al.、Zeyde et al.、最近邻域嵌入算法NE和固定邻域回归算法ANR进行重建云图视觉效果对比。本文中放大倍数s＝3，在附图3中选取一幅云图作为参考，进行不同算法下的视觉重建效果对比，如附图2所示是附图3(2)图像的对比效果。在附图2中图片中的指定区域内，双线性插值Bicubic算法重建的效果过于平滑，没有体现过多的细节；NE算法恢复了部分的纹理细节信息，但是边缘过于平滑；Yang et al.、Zeyde et al.和ANR算法重建的纹理细节比较丰富，但是出现了部分虚假信息；而本文方法不仅重建的纹理细节信息丰富而且边缘也更加尖锐，视觉效果更好。

本发明受稀疏表示理论和NE算法的启发，并引入一种改进的K-SVD算法用于字典的训练，提出一种云图超分辨率方法。根据字典空间中原子间的相关性，采用最近邻域嵌入算法，求出高、低分辨率字典对中每个原子对应的最近邻映射关系，并建立相应的映射矩阵。对输入的待重建低分辨率云图图像块，根据相关性找到相应的映射矩阵进行超分辨率重建。对红外云图和可见光云图进行了数值实验，实验结果验证了本方法的有效性，不仅重建过程的计算复杂度大大降低，而且能够很好的重构出云图的纹理、轮廓结构，得到更高峰值信噪比和结构相似度。

Claims (4)

1.一种卫星云图的超分辨率重建方法，其特征在于包括以下步骤：

①建立训练样本集合：选取30到50幅已有的高分辨率云图图像，对这些高分辨率云图图像进行下采样得到对应的低分辨率云图图像，利用像素重叠的方法将高分辨率云图图像分块，并将分块后的图像块定义为高分辨率训练样本块，对每一个高分辨率训练样本块分别减去各自图像块的像素点的均值，得到去除了低频信息的高分辨率训练样本块集合其中l表示高分辨率训练样本块的总数，i表示1到l之间的任意整数，表示高分辨率训练样本块集合中的第i个样本块，然后用四个一维滤波器{f₁＝[-1,0,1],f₂＝f₁ ^T,f₃＝[1,0,-2,0,1],f₄＝f₃ ^T}对低分辨率云图图像进行特征提取并利用像素重叠的方法分块，得到低分辨率训练样本块集合其中表示低分辨率训练样本块集合中的第i个样本块，T表示矩阵的转置；

②用改进的K-SVD算法对步骤①中的高分辨率训练样本块集合和低分辨率训练样本块集合进行训练，得到高分辨率字典和低分辨率字典，定义为过完备字典对，并将高分辨率字典和低分辨率字典中的列向量分别定义为高分辨率字典原子和低分辨率字典原子；

③求解映射矩阵P_j：

③-1.在过完备字典对中，根据原子的相关性，利用欧氏距离公式求解高分辨率字典中每个原子和低分辨率字典中的每个原子的最近邻域映射关系{N_H,N_L}，其中N_L是低分辨率字典中某个原子的最近邻域集，N_H是高分辨字典中某个原子的最近邻域集，其中{N_H,N_L}中原子的最近邻域集中的原子个数为小于或等于相应字典中原子总数的任意值；

③-2.根据最近邻域映射关系{N_H,N_L}求解得到映射矩阵P_j，其中j表示不同的原子对应的映射矩阵编号；

④对需要重建的低分辨率云图图像，用四个一维滤波器{f₁＝[-1,0,1],f₂＝f₁ ^T,f₃＝[1,0,-2,0,1],f₄＝f₃ ^T}进行特征提取并利用像素重叠的方法分块，得到待重建的低分辨率云图图像块集合{y₁,y₂,...,y_k,...,y_n}，其中n表示待重建的低分辨率云图图像块的总数，k表示1到n之间的任意整数，y_k表示待重建的低分辨率云图图像块的的第k个图像块；

⑤对待重建低分辨率云图图像块y_k，利用相关性，在低分辨率字典中找到与它最相关的原子，并找到该原子对应的高分辨率字典原子和低分辨率字典原子的最近邻域映射关系{N_H,N_L}，然后根据映射关系找到对应的映射矩阵P_j；

⑥对待重建的低分辨率云图块y_k，利用公式进行重建得到相应的高分辨率云图块

⑦对于重建得到的高分辨率云图块利用像素重叠的方法合成重建高分辨率云图图像

2.如权利要求1所述的一种卫星云图的超分辨率重建方法，其特征在于所述的步骤②中用改进的K-SVD算法对步骤①中的高分辨率训练样本块集合和低分辨率训练样本块集合进行训练，得到高分辨率字典和低分辨率字典的具体方法为：

②－1：将原K-SVD算法中的数学模型

||α_i||₀≤K，修改为

||α_i||₀≤K,A⊙W＝0

其中Φ_l是低分辨率过完备字典，A,W∈R^m×l都为m行l列的矩阵，A为稀疏系数矩阵，包含了所有的稀疏表示系数向量α_i，α_i是一个m维的列向量，K为稀疏度，表示稀疏表示系数向量α_i中不为0系数的个数的上限，A⊙W＝0表示如果矩阵A中的某个位置的元素不为0，则矩阵W对应位置的元素就为0，若A中的某个位置的元素为0，则矩阵W对应位置的元素就为1；

②－2：将步骤②－1中求得的稀疏系数矩阵A用于以下公式：

$\begin{array}{c}{\mathrm{\Φ}}_h=\underset{{\mathrm{\Φ}}_h}{Arg\min }\underset{i}{\Σ}\left|\right|x_s^i-{\mathrm{\Φ}}_h{\mathrm{\α}}_i|{|}_2^2\\ =\underset{{\mathrm{\Φ}}_h}{Arg\min }\left|\right|X_s-{\mathrm{\Φ}}_{h}A\left|\right|\end{array}$

其中，Φ_h为高分辨率过完备字典，由广义逆矩阵的方法得到高分辨率字典：Φ_h＝X_sA⁺＝X_sA^T(AA^T)^-1。

3.如权利要求1所述的一种卫星云图的超分辨率重建方法，其特征在于所述的步骤③-2中根据最近邻域映射关系{N_H,N_L}求解映射矩阵P的具体方法为：

③-1：在过完备字典对中，对字典中的每个原子，根据字典原子间的相关性，利用最近邻域算法建立高分辨率字典原子和低分辨率字典原子的最近邻的映射关系{N_H,N_L}；

③-2：将求解低分辨率字典的最近邻域嵌入系数β的数学模型表示为：

$\widehat{\mathrm{\β}}=\underset{\mathrm{\β}}{min}\left|\right|y-N_L\mathrm{\β}|{|}_2^2+\mathrm{\λ}|\left|\mathrm{\β}\right|{|}_2$

其中β是待求解的系数，为β的近似解，λ是权重系数，用来缓解奇异性问题并且保证系数分解的稳定性，y是低分辨率云图图像块，利用岭回归的方法得到为：

$\widehat{\mathrm{\β}}={(N_L^T{N}_L+\mathrm{\λ}I)}^{-1}{N}_L^{T}y$

其中I是与大小相同的单位矩阵，把与N_L对应的高分辨率云图图像块的最近邻域集N_H和相结合，得到高分辨率云图图像块

$\hat{x}=N_H\widehat{\mathrm{\β}}=N_H{(N_L^T{N}_L+\mathrm{\λ}I)}^{-1}{N}_L^{T}y=Py$

则得到映射矩阵

4.如权利要求1所述的一种卫星云图的超分辨率重建方法，其特征在于所述的像素重叠是指相邻的图像块之间有1个或2个像素是相同的。