CN117994256A - 基于傅里叶变换神经算子的海温图像补全方法及系统 - Google Patents

Abstract

本发明属于图像处理技术领域，公开了基于傅里叶变换神经算子的海温图像补全方法及系统，通过傅里叶变换神经算子对输入的周期海温图像、当日破损海温图像、同期完整图像进行图像补全，输出当日完整海温图像；其中所述傅里叶变换神经算子包括傅里叶变换、傅里叶卷积算子、傅里叶逆变换三部分。本发明在进行海表面温度补全任务时，应用傅里叶变换神经算子，将海温图像变换至傅里叶频率域中进行开展，解决了现有方法仅仅从图像域中开展海温时空图像补全，忽略了对其频率域的充分利用的问题，提高图像补全的可靠性。

Description

基于傅里叶变换神经算子的海温图像补全方法及系统

技术领域

本发明属于图像处理技术领域，特别涉及基于傅里叶变换神经算子的海温图像补全方法及系统。

背景技术

利用深度神经网络开展海表面温度时空数据场补全是近年来将人工智能应用于海洋科学的重要尝试。相较于传统的数据插值和数据同化方法仅能利用当前时刻数据开展补全的局限，基于深度神经网络的方法可以借助大量历史海洋数据进行估计的方式来学习海表面温度时空数据的分布，从而达到更加精准的补全海表面温度场缺失值的目的。

目前，基于深度学习的海表面温度补全的前沿方法采用“由粗到细“的图像补全机制，大多采用两阶段的补全方法，例如，阶段一采用月均值估计周均值，阶段二借助待补全的海洋海表面温度日数据中未缺失的部分和周均值的间的偏差值去估计缺失部分的偏差，后再与周平均值进行叠加得到补全的日海表面温度场。这类方法的优势在于通过借助月均值进行周均值的估计，首先获得较为稳定的中长时序均值，可以提供一个全局约束，其次借助日数据中未缺失的数据和该周均值之间的偏差，获得局部的数据模式，利用该模式对缺失部分进行补全，获得局部的细粒度准确性。通过全局和局部的结合，既满足了全局的一致性，又同时兼顾了局部特殊性。解决了基于深度学习的海洋图像补全传统方法直接补全图像造成的补全不稳定、不准确的问题。

但是，上类方法存在以下问题：第一，仅仅从图像域中开展海温时空图像补全，忽略了对其频率域的充分利用。具体来说，上类方法借助与人类视觉、语义任务相关的表征建模过程在空间域上对海表面温度图像进行显著性表征建模，然而在语义特征不显著的海表面温度数据中难以充分建模数据的特征，从而限制了表征建模的质量，最终影响补全的质量。上类方法均仅在图像域中利用神经网络模型开展海表面温度图像补全任务，忽略了对频率域的充分利用，限制了图像补全的质量。第二，模型训练困难、速度慢。例如，上类方法大多使用多个前沿神经网络模型（如U-net、GAN、LSTM网络等）组合作为基本架构，而这些模型的网络层多、参数量大，导致上类方法所提出的模型的训练困难、速度慢。

发明内容

针对现有技术存在的不足，本发明提供基于傅里叶变换神经算子的海温图像补全方法及系统，在进行海表面温度补全任务时，应用傅里叶变换神经算子，将海温图像变换至傅里叶频率域中进行开展，解决了现有方法仅仅从图像域中开展海温时空图像补全，忽略了对其频率域的充分利用的问题，提高图像补全的可靠性；同时本发明的网络结构简单，提高图像补全的速速。

为了解决上述技术问题，本发明采用的技术方案是：

首先，本发明提供基于傅里叶变换神经算子的海温图像补全方法，包括以下步骤：

步骤S1、输入图像：包括周期海温图像SST_term、当日破损海温图像SST_corrup、同期完整图像SST_history；

步骤S2、基于傅里叶变换神经算子处理输入图像，进行图像补全：

其中所述傅里叶变换神经算子包括傅里叶变换FT、傅里叶卷积算子R_*、傅里叶逆变换FT^-1三部分，所述傅里叶卷积算子R_*包括三个并行的傅里叶卷积算子R_term(· ; θ₁)、R_corrup(· ; θ₂)、R_history(· ; θ₃)，其中，表示要处理的信号，θ₁、θ₂、θ₃分别是三个并行的傅里叶卷积算子待学习的神经网络参数，图像补全具体包括以下两步：

步骤S21、频率处理：

输入图像首先使用傅里叶变换FT分别将输入图像转换到傅里叶频率域上，生成周期平均信号sign_term、当日破损信号sign_corrup、同期完整信号sign_history；然后从同期完整信号sign_history减去周期平均信号sign_term，得到更新的同期完整信号sign’_history；然后应用三个并行的傅里叶卷积算子R_term(· ; θ₁)、R_corrup(· ; θ₂)、R_history(· ; θ₃)分别将sign_term、sign_corrup和sign’_history三个信号分别进行高频过滤、高频过滤、低高频过滤，分别得到过滤后的频率信号、/>、/>；

步骤S22、融合补全：

将得到的、/>、/>三个信号值进行融合，并应用傅里叶逆变换FT^-1，输出补全的当日破损海温图像，即当日完整海温图像/>。

进一步的，步骤S21中，使用的傅里叶卷积算子由神经网络组成，通过神经网络自适应的学习以过滤噪声信息并保留重要频段的信息：对于周期平均信号sign_term，进行高频过滤，只保留低频的均值信息；对于当日破损信号sign_corrup，进行高频过滤，过滤掉缺失区域的高频噪声而只保留非缺失部分的低频信号；对于更新的同期完整信号sign’_history，进行低频过滤，以保留同期完整图像中高频的完整特异性局部信息；得到的过滤后的频率信号、/>、/>具体计算如下：

；

；

进一步的，步骤S22中，首先对和/>、/>和/>进行同时融合，然后再对两者的融合结果再次进行融合，最后应用傅里叶逆变换FT^-1将信号还原生成预测的当日完整海温图像/>；具体计算操作如下：

；

其中，表示对应元素相加，FT^-1是傅里叶逆变换。

进一步的，还通过判别器判断生成的当日完整海温图像是否真实，进行神经网络的训练，损失函数L_总包括两个部分，公式如下：

；

其中表示重构损失，/>表示判别损失；

（1）重构损失具体计算如下：

；

其中，为L2范数，/>表示点乘，mask为SST_corrup的二进制掩码，即：

;

其中，i表示mask中像素点，mask⁽ⁱ⁾代表像素点i的数据是否缺失；

（2）判别损失具体计算如下：

；

其中，表示判别器，/>为判别器/>需学习的参数，/>为真实的当日完整海温图像，/>为预测的当日完整海温图像。

其次，本发明还提供基于傅里叶变换神经算子的海温图像补全系统，用于实现如前所述的基于傅里叶变换神经算子的海温图像补全方法，所述系统包括频率处理模块、融合补全模块和损失计算模块，所述频率处理模块以周期海温图像SST_term、当日破损海温图像SST_corrup、同期完整图像SST_history作为输入，首先通过傅里叶变换FT分别将输入图像转换到傅里叶频率域上，生成周期平均信号sign_term、当日破损信号sign_corrup、同期完整信号sign_history；然后从同期完整信号sign_history减去周期平均信号sign_term，得到更新的同期完整信号sign’_history；然后通过三个并行的傅里叶卷积算子R_term(· ; θ₁)、R_corrup(· ; θ₂)、R_history(· ; θ₃)分别将sign_term、sign_corrup和sign’_history三个信号分别进行高频过滤、高频过滤、低频过滤，分别得到过滤后的频率信号、/>、/>；

所述融合补全模块以频率处理模块输出的、/>、/>三个信号值作为输入进行融合，并应用傅里叶逆变换FT^-1，输出当日完整海温图像/>；

所述损失计算模块，用于计算重构损失和判别损失。

与现有技术相比，本发明优点在于：

（1）充分利用频率域开展海表面温度时空补全任务，提高了补全可靠性。例如，现有方法仅从图像域的视角上开展海表面温度补全任务，利用具有黑匣子特性的神经网络学习大量图像域样本后的潜在关系，而本发明借助具有可解释性的傅里叶频率域开展海表面温度补全任务，通过傅里叶变化将图像变换到傅里叶频率域，能够从信号的视角对海表面温度进行表征建模，从而学习到能够重建海表面温度数据的关键频率信息。首先将周期平均海温图像、当日破损海温图像、同期完整海温图像变换到傅里叶频率域上，然后对不同信号的频率段进行过滤去噪，以保留周期平均信号中高频的均值信息、同期完整海温信号中低频的特异性局部信息，以及过滤当日破损海温中高频的云层等噪声干扰。随后通过对三个信号进行两两融合后进行傅里叶逆变换生成当日完整海温图像，能保证当日完整海温图像既包括了周期平均海温信号中高频的均值信息，又包括了同期完整海温信号中低频的特异性局部信息，充分利用了傅里叶频率域开展海表面温度补全任务，提高了补全的可靠性。

（2）充分利用傅里叶变换神经算子提高了模型训练的速度。例如，现有方法在平均估计网络和异常修复网络中，均包括一对由神经网络组成的生成器、判别器，四个模块又由多层结构组成，包含的参数量巨大，导致模型训练困难、速度缓慢。而本发明应用傅里叶变换神经算子替代，所提出的模型仅包含三个并行的由简单神经网络实现的傅里叶卷积算子以及最后的一个判别器，从而提高了模型的训练速度，提高图像补全的速度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的系统结构图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的说明。

结合图1所示，本实施例提供一种基于傅里叶变换神经算子的海温图像补全方法，包括以下步骤：

步骤S1、输入图像：包括周期海温图像SST_term、当日破损海温图像SST_corrup、同期完整图像SST_history。

步骤S2、基于傅里叶变换神经算子处理输入图像，进行图像补全。

其中傅里叶变换神经算子包括傅里叶变换FT、傅里叶卷积算子R_*、傅里叶逆变换FT^-1三部分，所述傅里叶卷积算子R_*包括三个并行的傅里叶卷积算子R_term(· ; θ₁)、R_corrup(· ; θ₂)、R_history(· ; θ₃)，其中，表示要处理的信号，θ₁、θ₂、θ₃分别是三个并行的傅里叶卷积算子待学习的神经网络参数。

详细来说，图像补全具体包括以下两步：

步骤S21、频率处理。

输入图像首先使用傅里叶变换FT分别将输入图像转换到傅里叶频率域上，生成周期平均信号sign_term、当日破损信号sign_corrup、同期完整信号sign_history；具体变换计算如下：

；

；

；

FT是傅里叶变换，其过程如下：

；

其中，j是虚数单位，代表输入的原图中像素点，x，y分别为横纵坐标数值，M，N分别是原图长宽尺寸，/>是频域信号。

然后为了只保留同期完整信号中低频的当天特异性局部信息，从同期完整信号sign_history减去周期平均信号sign_term，得到更新的同期完整信号sign’_history，即sign’_history=sign_history-sign_term。

然后应用三个并行的傅里叶卷积算子R_term(· ; θ₁)、R_corrup(· ; θ₂)、R_history(·; θ₃)分别将sign_term、sign_corrup和sign’_history三个信号分别进行高频过滤、高频过滤、低频过滤，分别得到过滤后的频率信号、/>、/>。

具体来说，使用的傅里叶卷积算子由简单的神经网络组成，通过神经网络自适应的学习以过滤噪声信息并保留重要频段的信息：对于周期平均信号sign_term，进行高频过滤，只保留低频的均值信息；对于当日破损信号sign_corrup，进行高频过滤，过滤掉缺失区域的高频噪声而只保留非缺失部分的低频信号；对于更新的同期完整信号sign’_history，进行低频过滤，以保留同期完整图像中高频的完整特异性局部信息；得到的过滤后的频率信号、/>、/>具体计算如下：

；

；

；

其中，θ₁、θ₂、θ₃分别代表三个并行的傅里叶卷积算子待学习的神经网络参数，表示过滤后的周期平均信号，/>表示过滤后的当日破损信号，/>表示过滤后的同期完整信号。

步骤S22、融合补全。

将得到的、/>、/>三个信号值进行融合，并应用傅里叶逆变换FT^-1，输出补全的当日破损海温图像，即当日完整海温图像/>。

首先对和/>、/>和/>进行同时融合，然后再对两者的融合结果再次进行融合，最后应用傅里叶逆变换FT^-1将信号还原生成预测的当日完整海温图像/>；具体计算操作如下：

；

其中，表示对应元素相加，FT^-1是傅里叶逆变换，其过程如下：

；

其中，j是虚数单位，代表原图中像素点，M、N分别是原图长宽尺寸，/>是频域信号。

需要说明的是，针对信号、/>，也分别应用傅里叶逆变换FT^-1将频域信号还原回周期平均海温图像/>、同期完整海温图像/>（即图1中所示的重构，用于计算重构损失）。

需要说明的是，本发明还通过判别器判断生成的当日完整海温图像是否真实，进行神经网络的训练，本发明的损失函数L_总包括两个部分，公式如下：

；

其中表示重构损失，/>表示判别损失；

（1）重构损失具体计算如下：

；

其中，为L2范数，/>表示点乘，mask为SST_corrup的二进制掩码，即：

;

其中，i表示mask中像素点，mask⁽ⁱ⁾代表像素点i的数据是否缺失，取值为0时表示缺失，取值为1时表示不缺失。

（2）判别损失具体计算如下：

；

其中，表示判别器，/>为判别器/>需学习的参数，/>为真实的当日完整海温图像，/>为预测的当日完整海温图像。

作为本发明的另一实施例，还提供基于傅里叶变换神经算子的海温图像补全系统，结构图如图1所示。用于实现如前面所述的基于傅里叶变换神经算子的海温图像补全方法，所述系统包括频率处理模块、融合补全模块和损失计算模块。

频率处理模块以周期海温图像SST_term、当日破损海温图像SST_corrup、同期完整图像SST_history作为输入，首先通过傅里叶变换FT分别将输入图像转换到傅里叶频率域上，生成周期平均信号sign_term、当日破损信号sign_corrup、同期完整信号sign_history；然后从同期完整信号sign_history减去周期平均信号sign_term，得到更新的同期完整信号sign’_history；然后通过三个并行的傅里叶卷积算子R_term(· ; θ₁)、R_corrup(· ; θ₂)、R_history(· ; θ₃)分别将sign_term、sign_corrup和sign’_history三个信号分别进行高频过滤、高频过滤、低频过滤，分别得到过滤后的频率信号、/>、/>。

融合补全模块以频率处理模块输出的、/>、/>三个信号值作为输入进行融合，并应用傅里叶逆变换FT^-1，输出当日完整海温图像/>。

所述损失计算模块，用于计算重构损失和判别损失。

各个模块的处理数据的过程可参见前面基于傅里叶变换神经算子的海温图像补全方法步骤里的详细记载，此处不再赘述。

综上所述，本发明（1）网络结构简单，本发明应用傅里叶变换神经算子替代传统方法中的复杂网路网络模型，本发明仅包含三个并行的由简单神经网络实现的傅里叶卷积算子以及最后的一个判别器，提高了模型的训练速度，提高图像补全的速度。（2）本发明通过傅里叶变化将图像变换到傅里叶频率域，能够从信号的视角对海表面温度进行表征建模，从而学习到能够重建海表面温度数据的关键频率信息，例如，通过过滤周平均海表面温度保留低频信息，可以得到其均值信息（表现为变换不明显的低频信息）、通过过滤单日破损的海表面温度保留低频信息，可以得到其上下文信息（表现为变换不明显的低频信息）、通过过滤同期完整海表面温度保留高频信息，可以得到其局部特异性信息（表现为变换明显的高频信息），提高了海温图像补全的可靠性。

当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。

Claims (5)

1.基于傅里叶变换神经算子的海温图像补全方法，其特征在于，包括以下步骤：

步骤S1、输入图像：包括周期海温图像SST_term、当日破损海温图像SST_corrup、同期完整图像SST_history；

步骤S2、基于傅里叶变换神经算子处理输入图像，进行图像补全：

其中所述傅里叶变换神经算子包括傅里叶变换FT、傅里叶卷积算子R_*、傅里叶逆变换FT^-1三部分，所述傅里叶卷积算子R_*包括三个并行的傅里叶卷积算子R_term(· ; θ₁)、R_corrup(· ; θ₂)、R_history(· ; θ₃)，其中，表示要处理的信号，θ₁、θ₂、θ₃分别是三个并行的傅里叶卷积算子待学习的神经网络参数，图像补全具体包括以下两步：

步骤S21、频率处理：

输入图像首先使用傅里叶变换FT分别将输入图像转换到傅里叶频率域上，生成周期平均信号sign_term、当日破损信号sign_corrup、同期完整信号sign_history；然后从同期完整信号sign_history减去周期平均信号sign_term，得到更新的同期完整信号sign’_history；然后应用三个并行的傅里叶卷积算子R_term(· ; θ₁)、R_corrup(· ; θ₂)、R_history(· ; θ₃)分别将sign_term、sign_corrup和sign’_history三个信号分别进行高频过滤、高频过滤、低高频过滤，分别得到过滤后的频率信号、/>、/>；

步骤S22、融合补全：

将得到的、/>、/>三个信号值进行融合，并应用傅里叶逆变换FT^-1，输出补全的当日破损海温图像，即当日完整海温图像/>。

2.根据权利要求1所述的基于傅里叶变换神经算子的海温图像补全方法，其特征在于，步骤S21中，使用的傅里叶卷积算子由神经网络组成，通过神经网络自适应的学习以过滤噪声信息并保留重要频段的信息：对于周期平均信号sign_term，进行高频过滤，只保留低频的均值信息；对于当日破损信号sign_corrup，进行高频过滤，过滤掉缺失区域的高频噪声而只保留非缺失部分的低频信号；对于更新的同期完整信号sign’_history，进行低频过滤，以保留同期完整图像中高频的完整特异性局部信息；得到的过滤后的频率信号、/>、具体计算如下：

；

；

。

3.根据权利要求1所述的基于傅里叶变换神经算子的海温图像补全方法，其特征在于，步骤S22中，首先对和/>、/>和/>进行同时融合，然后再对两者的融合结果再次进行融合，最后应用傅里叶逆变换FT^-1将信号还原生成预测的当日完整海温图像/>；具体计算操作如下：

；

其中，表示对应元素相加，FT^-1是傅里叶逆变换。

4.根据权利要求1所述的基于傅里叶变换神经算子的海温图像补全方法，其特征在于，还通过判别器判断生成的当日完整海温图像是否真实，进行神经网络的训练，损失函数L_总包括两个部分，公式如下：

；

其中表示重构损失，/>表示判别损失；

（1）重构损失具体计算如下：

；

其中，为L2范数，/>表示点乘，mask为SST_corrup的二进制掩码，即：

;

其中，i表示mask中像素点，mask⁽ⁱ⁾代表像素点i的数据是否缺失；

（2）判别损失具体计算如下：

；

其中，表示判别器，/>为判别器/>需学习的参数，/>为真实的当日完整海温图像，/>为预测的当日完整海温图像。

5.基于傅里叶变换神经算子的海温图像补全系统，其特征在于，用于实现如权利要求1-4任一项所述的基于傅里叶变换神经算子的海温图像补全方法，所述系统包括频率处理模块、融合补全模块和损失计算模块，所述频率处理模块以周期海温图像SST_term、当日破损海温图像SST_corrup、同期完整图像SST_history作为输入，首先通过傅里叶变换FT分别将输入图像转换到傅里叶频率域上，生成周期平均信号sign_term、当日破损信号sign_corrup、同期完整信号sign_history；然后从同期完整信号sign_history减去周期平均信号sign_term，得到更新的同期完整信号sign’_history；然后通过三个并行的傅里叶卷积算子R_term(· ; θ₁)、R_corrup(· ;θ₂)、R_history(· ; θ₃)分别将sign_term、sign_corrup和sign’_history三个信号分别进行高频过滤、高频过滤、低频过滤，分别得到过滤后的频率信号、/>、/>；

所述融合补全模块以频率处理模块输出的、/>、/>三个信号值作为输入进行融合，并应用傅里叶逆变换FT^-1，输出当日完整海温图像/>；

所述损失计算模块，用于计算重构损失和判别损失。