CN115861099B - 一种引入物理成像先验知识约束的卫星云图图像复原方法 - Google Patents

Abstract

本发明公开了一种引入物理成像先验知识约束的卫星云图图像复原方法，包括步骤：S1，搭建PKKernelGAN+ZSSR图像退化模糊核估计深度神经网络；S2，构建成像退化矩阵；S3，将成像退化矩阵写入损失函数，训练PKKernelGAN网络，获得云图图像退化模糊核估计网络PKKernel‑G；S4，构建“高质量‑低质量”成对云图图像数据集；S5，基于“高质量‑低质量”成对云图图像数据集，训练云图图像复原深度神经网络ZSSR；S6，将原始云图图像输入步骤S5训练好的云图图像复原深度神经网络ZSSR，得到最终输出的高质量复原云图图像。本发明能度量云图图像物理成像损失，提升图像复原效果。

Description

一种引入物理成像先验知识约束的卫星云图图像复原方法

技术领域

本发明涉及卫星云图图像复原方法，尤其涉及一种引入物理成像先验知识约束的卫星云图图像复原方法。

背景技术

图像是人类认知世界的重要知识资源。气象卫星云图图像是一种非常重要的气象资料，是气象部门检测云的形态、结构、亮度和纹理特征，识别不同天气系统、确定位置，预测其强度和发展趋势的主要工具。高质量、高分辨率气象卫星云图图像，无疑会给基于云图图像的大气科学研究提供更好的数据基础。然而，受卫星传感器采样不足、设备稳定性、外界环境和数据传输等现实条件的限制和影响，获取的卫星云图图像通常产生质量下降，图像细节和纹理信息产生缺失等现象。

近年来，基于深度学习的图像处理技术得到迅速地发展，它通过利用卷积神经网络的超强非线性特征表示能力，能够很好地提高降质图像的复原效果。经过对现有基于深度学习的云图图像复原技术检索发现，深度神经网络在云图图像复原的研究中做出了一定的贡献，推动了云图图像复原技术的发展，但仍有很大局限。特别是在云图图像训练数据集的构建过程中，由于很难直接获得“高质量-低质量”成对云图图像数据集，上述深度神经网络训练所需的数据集一般按以下方法构建：首先，使用已有卫星云图图像作为高质量图像；其次，使用下采样模糊核模拟云图图像退化降质过程获得低质量图像；最后，由上述“高质量-低质量”图像对构成图像训练数据集。虽然，下采样模糊是卫星云图图像降质退化的主要因素之一，但其并不能反映卫星云图图像全部退化过程。因此，有必要对气象卫星云图图像降质过程进行合理估计，从而构建更加符合实际的“高质量-低质量”图像对数据集，以进一步训练更有效的云图图像复原深度神经网络，最终提升气象卫星云图图像复原方法的性能。

2019年，文献(Sefi Bell-Kligler,Assaf Shocher,and Michal Irani.BlindSuper-Resolution Kernel Estimation Using an Internal-GAN.In Advances inNeural Information Processing Systems(NeurIPS),pages 284–293,2019.)提出了KernelGAN方法，该方法可以实现对图像多种常见质量退化模糊核的估计。但是，在卫星云图图像复原的实际应用过程中，该方法对退化模糊核的估计还不够准确，导致图像复原效果不佳。原因是在KernelGAN损失函数计算时没有特别考虑气象卫星成像实际物理成像先验。

发明内容

发明目的：本发明的目的是提供一种能构建接近卫星成像实际的“高质量-低质量”成对云图图像数据集的引入物理成像先验知识约束的卫星云图图像复原方法。

技术方案：本发明的卫星云图图像复原方法，包括以下步骤：

S1，搭建PKKernelGAN+ZSSR图像退化模糊核估计深度神经网络；

S2，根据卫星探测器像元采样位置的非规则性，模拟气象卫星成像物理过程，构建成像退化矩阵k_cloud；

S3，将成像退化矩阵k_cloud写入损失函数L_PK，训练PKKernelGAN网络，获得云图图像退化模糊核估计网络PKKernel-G；

S4，采用原始云图图像作为高质量图像，基于训练好的PKKernel-G将原始云图图像生成退化模糊低质量图像，构建“高质量-低质量”成对云图图像数据集；

S5，基于“高质量-低质量”成对云图图像数据集，训练基于零次学习思想的云图图像复原深度神经网络ZSSR；

S6，将原始云图图像输入步骤S5训练好的云图图像复原深度神经网络ZSSR，得到最终输出的高质量复原云图图像。

进一步，所述PKKernelGAN+ZSSR图像退化模糊核估计深度神经网络包括PKKernelGAN网络和ZSSR网络；其中，PKKernelGAN网络为基于KernelGAN搭建的对抗生成网络，包括PKKernel-G网络和PKKernel-D网络；ZSSR为基于零次学习思想搭建的图像复原网络；

所述PKKernel-G网络由5层结构为“Convolution+ReLU”的卷积层构成，前三个层卷积核大小分别为7×7、5×5、3×3，其余卷积核大小为1×1；

所述PKKernel-D网络为判别网络，由1个7×7卷积层、5个结构为“Convolution+SpecNorm+BatchNorm+ReLU”的1×1卷积层，以及1个“Convolution+SpecNorm+Sigmoid”的激活层构成；

所述ZSSR网络为具有跨层连接结构的8层“Convolution+ReLU”和1层“Convolution”构成。

进一步，步骤S2中，模拟气象卫星成像物理过程，构建成像退化矩阵k_cloud的详细步骤如下：

S21，将气象卫星数据接收过程分解为若干正弦振动的叠加，表达式如下：

其中，f_i、A_i、分别为第i个谐波分量的振动频率、振幅和初始相位；t为气象卫星成像时刻；

S22，根据卫星探测器像元采样位置的非规则性，模拟气象卫星成像物理过程构建成像退化矩阵k_cloud；其中，非规则性几何形变，表达式如下：

其中，x为像元采样位置，ε(x)为像元采样位置的偏移量，ω为像元尺寸，Q为谐波数量，T_int为相机单级积分时间。

进一步，步骤S3中，所述损失函数L_PK的表达式如下：

L_PK＝αL_{sum_to_1}+βL_boundaries+γL_sparse+λL_cloud

其中，α，β，γ，λ为各损失函数的权重系数；

为求和损失，该损失函数的作用是鼓励k求和为1，k为PKKernelGAN估计的卫星成像退化模糊核，m,n为模糊核的像素坐标；

为边界损失，该损失函数的作用是惩罚接近边界的非零值，μ是一个常数权重，随着边界像素与k中心的距离变大而呈指数增长；

为稀疏损失；

L_cloud＝VAR(k,k_cloud)＝|var(k(m,n))-var(k_cloud(m,n))|为成像退化损失，k_cloud是根据气象卫星成像物理先验知识构建的成像退化矩阵。

式中，k_cloud是根据气象卫星成像物理先验知识构建的成像退化矩阵；m、n为模糊核的像素坐标；M、N为模糊核尺寸。

本发明与现有技术相比，其显著效果如下：

1、本发明构建了一个引入物理成像先验知识约束的损失函数L_PK，该损失函数包括求和损失、边界损失、稀疏损失和成像退化损失，构建的损失函数不仅可以度量云图图像特征损失，还可以度量云图图像物理成像损失，提升图像复原效果；

2、损失函数L_PK的成像退化损失中包含根据气象卫星成像物理先验知识构建的成像退化模糊矩阵k_cloud；因此，基于L_PK训练的PKKernelGAN网络，可以提高云图图像退化模糊核估计的准确性；基于PKKernelGAN中模糊核生成网络PKKernel-G构建的“高质量-低质量”成对云图图像数据集，更加接近卫星成像实际，训练的气象卫星云图图像复原深度神经网络性能更加优越。

附图说明

图1为本发明技术方案实现方法流程图；

图2为本发明的深度神经网络架构总体示意图；

图3(a)为本发明PKKernelGAN网络中PKKernel-G网络结构图，

图3(b)为本发明PKKernelGAN网络中PKKernel-D网络结构图，

图3(c)为本发明ZSSR网络结构图；

图4为本发明构建的基于气象卫星成像物理过程的成像退化矩阵可视化表达示意图；

图5为本发明基于PKKernel-G作用在原始图像后构建的部分成对云图图像数据集示意图；

图6为KernelGAN+ZSSR和PKKernelGAN+ZSSR两种深度神经网络框架下云图图像复原实验的对比图。

具体实施方式

下面结合说明书附图和具体实施方式对本发明做进一步详细描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明卫星云图图像复原方法的流程图，包括以下步骤：

步骤1，搭建PKKernelGAN+ZSSR图像退化模糊核估计深度神经网络；

如图2所示，为本发明的深度神经网络架构总体示意图，包括PKKernelGAN网络和ZSSR网络。其中，PKKernelGAN为基于KernelGAN搭建的对抗生成网络，包括PKKernel-G网络和PKKernel-D网络；ZSSR为基于零次学习思想搭建的图像复原网络；

其中，PKKernel-G为生成网络，由5层结构为“Convolution+ReLU”的卷积层构成，前三个层卷积核大小分别为7×7，5×5，3×3，其余卷积核大小为1×1，其功能是实现云图图像退化模糊核估计，具体结构如图3(a)；

其中，PKKernel-D为判别网络，由1个7×7卷积层、5个结构为“Convolution+SpecNorm+BatchNorm+ReLU”的1×1卷积层，以及1个“Convolution+SpecNorm+Sigmoid”的激活层构成，其功能是判别生成的退化图像与原始退化图像的相似性，如图3(b)；

其中，ZSSR网络结构为具有跨层连接结构的8层“Convolution+ReLU”和1层“Convolution”构成，如图3(c)；

步骤2，根据卫星探测器像元采样位置的非规则性，模拟气象卫星成像物理过程，构建成像退化矩阵k_cloud；

如图4所示，为本实施例根据气象卫星成像物理先验构建的成像退化矩阵的可视化表达。构建成像退化矩阵k_cloud的详细步骤如下：

步骤21，将气象卫星数据接收过程分解为若干正弦振动的叠加，表达式如下：

其中，f_i、A_i、分别为第i个谐波分量的振动频率、振幅和初始相位、t为气象卫星成像时刻；

步骤22，根据卫星探测器像元采样位置的非规则性，模拟气象卫星成像物理过程，构建成像退化矩阵k_cloud。其中，非规则性几何形变，表达式如下：

其中，x为像元采样位置，ε(x)为像元采样位置的偏移量，ω为像元尺寸，Q为谐波数量，T_int为相机单级积分时间，f_i、A_i、含义同步骤21。

步骤3，将k_cloud写入损失函数L_PK，训练PKKernelGAN网络，获得云图图像退化模糊核生成网络PKKernel-G；

本实施例构建了“求和损失+边界损失+稀疏损失+成像退化损失”的损失函数L_PK，所述损失函数L_PK的表达式如下：

L_PK＝αL_{sum_to_1}+βL_boundaries+γL_sparse+λL_cloud (3)

其中，α，β，γ，λ为各损失函数的权重系数；

为求和损失，该损失函数的作用是鼓励k求和为1，k是PKKernelGAN网络输出的卫星成像退化模糊核，m,n为模糊核的像素坐标；

为边界损失，该损失函数的作用是惩罚接近边界的非零值，μ是一个常数权重，随着边界像素与k中心的距离变大而呈指数增长，m,n为模糊核的像素坐标；

为稀疏损失，作用是鼓励稀疏性，以防止网络产生过度平滑内核，m,n为模糊核的像素坐标；

L_cloud＝VAR(k,k_cloud)＝|var(k(m,n))-var(k_cloud(m,n))|为成像退化损失，具体计算方法如下：

式中，k_cloud是根据气象卫星成像物理先验知识构建的成像退化矩阵；m、n为模糊核的像素坐标；M、N为模糊核尺寸。

本实施例中，损失函数的权重赋值如下：α＝2，β＝5，γ＝1，λ＝1，通过计VAR算L_PK总损失，使得PKKernelGAN最终生成的退化模糊核估计网络PKKernel-G可以包含物理成像先验模糊核中的信息，云图图像退化模糊和估计更加准确。

步骤4，采用原始云图图像作为高质量图像，基于训练好的PKKernelGAN网络中的PKKernel-G云图图像退化模糊核估计网络，将原始云图图像生成退化模糊低质量图像，构建“高质量-低质量”成对云图图像数据集。

如图4所示，本实施例中数据集由原始云图图像作为高质量图像，部分高质量云图图像如图5第1行所示；由PKKernel-G作用在原始云图图像后生成的图像作为低质量图像，部分低质量云图图像如图5第2行所示。

步骤5，采用“高质量-低质量”成对云图图像数据集，训练基于零次学习思想的云图图像复原深度神经网络ZSSR。

步骤6，将原始云图图像输入步骤5训练好的云图图像复原深度神经网络，得到最终输出的高质量复原云图图像。

如图6所示，本实施例中云图图像复原实验过程及结果如下：

从国家卫星气象中心风云四号卫星云图图像中随机选取4幅测试图像作为原始图像，分别如图6第1行所示。对比实验选取KernelGAN+ZSSR和PKKernelGAN+ZSSR两个网络结构的实验结果进行比较。对比实验结果如图6所示，对比实验客观评价指标如表1所示。

图6第2行为4幅原始测试图像细节的放大，图6第3行为KernelGAN+ZSSR网络对云图图像复原结果，图6第4行为PKKernelGAN+ZSSR网络对云图图像复原结果。通过4组对比试验可以看出，图6第3行KernelGAN+ZSSR框架下云图图像复原结果中，图像具有较为严重的锯齿和网格效应；图6第4行PKKernelGAN+ZSSR框架下云图图像复原结果中，图像复原效果锯齿和网格效应有所减弱，细节比较清晰；图6第4行与图5第2行比较，复原图像有更清晰的主观视觉效果。

表1给出了KernelGAN+ZSSR与PKKernelGAN+ZSSR两个网络对上述对比实验的无参考图像质量客观评价指标NIQE(NIQE：Natural Image Quality Evaluator)统计，以客观评价云图图像复原质量。

表1无参考图像质量客观评价指标NIQE统计表

其中，NIQE值越小表示复原图像的质量越好。

Claims (2)

1.一种引入物理成像先验知识约束的卫星云图图像复原方法，其特征在于，包括以下步骤：

S1，搭建PKKernelGAN+ZSSR图像退化模糊核估计深度神经网络；

S2，根据卫星探测器像元采样位置的非规则性，模拟气象卫星成像物理过程，构建成像退化矩阵k_cloud；

S3，将成像退化矩阵k_cloud写入损失函数L_PK，训练PKKernelGAN网络，获得云图图像退化模糊核估计网络PKKernel-G；

S4，采用原始云图图像作为高质量图像，基于训练好的PKKernel-G将原始云图图像生成退化模糊低质量图像，构建“高质量-低质量”成对云图图像数据集；

S5，基于“高质量-低质量”成对云图图像数据集，训练基于零次学习思想的云图图像复原深度神经网络ZSSR；

S6，将原始云图图像输入步骤S5训练好的云图图像复原深度神经网络ZSSR，得到最终输出的高质量复原云图图像；

步骤S2中，模拟气象卫星成像物理过程，构建成像退化矩阵k_cloud的详细步骤如下：

S21，将气象卫星数据接收过程分解为若干正弦振动的叠加，表达式如下：

其中，f_i、A_i、分别为第i个谐波分量的振动频率、振幅和初始相位；t为气象卫星成像时刻；

S22，根据卫星探测器像元采样位置的非规则性，模拟气象卫星成像物理过程构建成像退化矩阵k_cloud；其中，非规则性几何形变，表达式如下：

其中，x为像元采样位置，ε(x)为像元采样位置的偏移量，ω为像元尺寸，Q为谐波数量，T_int为相机单级积分时间；

步骤S3中，所述损失函数L_PK的表达式如下：

L_PK＝αL_{sum_to_1}+βL_boundaries+γL_sparse+λL_cloud

其中，α，β，γ，λ为各损失函数的权重系数；

为求和损失，该损失函数的作用是鼓励k求和为1，k为PKKernelGAN估计的卫星成像退化模糊核，m,n为模糊核的像素坐标；

为边界损失，该损失函数的作用是惩罚接近边界的非零值，μ是一个常数权重，随着边界像素与k中心的距离变大而呈指数增长；

为稀疏损失；

L_cloud＝VAR(k,k_cloud)＝|var(k(m,n))-var(k_cloud(m,n))|为成像退化损失，k_cloud是根据气象卫星成像物理先验知识构建的成像退化矩阵；

式中，k_cloud是根据气象卫星成像物理先验知识构建的成像退化矩阵；m、n为模糊核的像素坐标；M、N为模糊核尺寸。

2.根据权利要求1所述引入物理成像先验知识约束的卫星云图图像复原方法，其特征在于，所述PKKernelGAN+ZSSR图像退化模糊核估计深度神经网络包括PKKernelGAN网络和ZSSR网络；其中，PKKernelGAN网络为基于KernelGAN搭建的对抗生成网络，包括PKKernel-G网络和PKKernel-D网络；ZSSR为基于零次学习思想搭建的图像复原网络；

所述PKKernel-G网络由5层结构为“Convolution+ReLU”的卷积层构成，前三个层卷积核大小分别为7×7、5×5、3×3，其余卷积核大小为1×1；

所述PKKernel-D网络为判别网络，由1个7×7卷积层、5个结构为“Convolution+SpecNorm+BatchNorm+ReLU”的1×1卷积层，以及1个“Convolution+SpecNorm+Sigmoid”的激活层构成；

所述ZSSR网络为具有跨层连接结构的8层“Convolution+ReLU”和1层“Convolution”构成。