CN116596784A - 基于多尺度异常的海表面温度遥感图像补全方法 - Google Patents

基于多尺度异常的海表面温度遥感图像补全方法 Download PDF

Info

Publication number
CN116596784A
CN116596784A CN202310539861.6A CN202310539861A CN116596784A CN 116596784 A CN116596784 A CN 116596784A CN 202310539861 A CN202310539861 A CN 202310539861A CN 116596784 A CN116596784 A CN 116596784A
Authority
CN
China
Prior art keywords
image
scale
abnormal
sea temperature
sea
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310539861.6A
Other languages
English (en)
Inventor
聂婕
魏琪晨
左子杰
陈树果
刁雅宁
陈鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202310539861.6A priority Critical patent/CN116596784A/zh
Publication of CN116596784A publication Critical patent/CN116596784A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理技术领域，公开了基于多尺度异常的海表面温度遥感图像补全方法，将目标海温图像和长期平均海温图像通过平均估计模块输出预测的无云短期平均海温图像，将需补全的目标海温图像和无云短期平均海温图像两者做差分运算得到海温异常图像；海温异常图像输入多尺度异常解耦模块，首先通过三次空洞卷积操作，获取海温异常图像的不同尺度异常特征，再对三个尺度的异常特征进行解耦，获得补全的不同尺度的异常图像，最后通过多尺度异常修复模块得到不同尺度的补全海表温度图像，通过本发明使得图像补全准确性更高。

Description

基于多尺度异常的海表面温度遥感图像补全方法
技术领域
本发明属于图像处理技术领域，特别涉及基于多尺度异常的海表面温度遥感图像补全方法。
背景技术
海表面温度是海水表层的水温，然而由于卫星传感器和云层覆盖的原因，观测到的海表面温度图像常常会出现部分像素缺失的问题，因此补全海表面温度图像对于海洋相关应用来说至关重要。海表面温度图像补全方法通过学习没有被云层遮挡的海表面温度图像特征，在空白缺失区域生成与已知区域时间连续、空间稳定的海表面温度，使之成为一张完整的海表面温度图像。
目前前沿的海表面温度数据补全方法，多采用生成对抗网络模型，通过学习没有被云层遮挡的海表面温度分布规律来估计被云层遮挡住的海表面温度分布规律，以达到输出无缺失值海表面温度图像的目的。但是该类方法存在的问题是：忽视了海温在一段时间内变化不大的物理特性。在时空数据场中，海表面温度变化缓慢，例如一周前的海表面温度可能和当前时刻的海表面温度相差无几，即在短时间内，海表面温度具有较强的稳定性和较小的不确定性，如若没有有效利用该时空稳定信息，则需要修复的缺口大，从而导致未知区域与已知区域时空特征不连续，最终得到违背自然规律或者不符合物理正确性的补全图像。
因此，针对以上问题，本文提出了基于多尺度异常的遥感海表面温度图像的补全方法。
发明内容
针对现有技术存在的不足，本发明提供基于多尺度异常的海表面温度遥感图像补全方法，建模每日海温与短期均值海温的多尺度异常特征，在不同尺度上挖掘异常特征，同时对不同尺度的异常特征进行解耦，消除特征纠缠；在异常图像和短期均值海温图像融合过程中，先在多个尺度上对异常图像和短期海温图像进行融合，再将不同尺度上得到的补全图像进行融合，学习随着尺度不断增加的全局与局部特征，有效地利用了不同尺度上的异常信息，提高了补全的图像的可靠性，使生成的图像更加真实。
为了解决上述技术问题，本发明采用的技术方案是：
基于多尺度异常的海表面温度遥感图像补全方法，包括以下步骤：
步骤1、输入需补全的目标海温图像及对应的长期平均海温图像；
步骤2、将目标海温图像和长期平均海温图像通过平均估计模块输出预测的无云短期平均海温图像，其中所述平均估计模块包括由编码器-解码器组成的生成器，提取并融合每日与长期平均海表面温度的特征；
步骤3、将需补全的目标海温图像和步骤2输出的无云短期平均海温图像两者做差分运算得到海温异常图像；
步骤4、将步骤3获得的海温异常图像输入多尺度异常解耦模块，首先通过三次空洞卷积操作，获取海温异常图像的不同尺度异常特征，分别是小尺度异常特征Fs、中尺度异常特征FM、大尺度异常特征FB；然后，再对三个尺度的异常特征进行解耦，获得补全的小尺度异常图像IanoS、补全的中尺度异常图像IanoM、补全的大尺度异常图像IanoB；
步骤5、将平均估计模块预测的无云短期平均海温图像输入多尺度异常修复模块，多尺度异常修复模块采用与多尺度异常解耦模块相同空洞率的空洞卷积将预测的无云短期平均海温图像下采样成相应的小尺度、中尺度和大尺度海温图像，同样地，用差分的方法对三个尺度分别解耦，得到解耦的小尺度短期海温图像IaveS、解耦的中尺度短期海温图像IaveM、解耦的大尺度短期海温图像IaveB，相应的采样率分别为1、1/2、1/4；
步骤6、将步骤4多尺度异常解耦模块中得到的三种尺度的异常图像IanoS、IanoM、IanoB与步骤5得到的对应的三种尺度的短期海温图像IaveS、IaveM、IaveB进行融合得到不同尺度的补全海温图像，分别是小尺度的补全海温图像Is、中尺度的补全海温图像IM、大尺度的补全海温图像IB；
步骤7、将三个尺度的补全海表温度图像Is、IM、IB输入多层感知机，得到最终的海温补全图像Ir。
进一步的，步骤4中对三个尺度的异常特征进行解耦的具体步骤是：保留小尺度异常特征不变，即解耦的小尺度异常特征再通过卷积操作将中尺度异常特征中的小尺度异常特征剥离出，得到新的中尺度异常特征/>同理，通过卷积操作将大尺度异常特征中的中尺度异常特征剥离出，得到新的大尺度特征/>不同尺度的异常特征/>分别通过生成器，得到补全的不同尺度的异常图像，分别为补全的小尺度异常图像IanoS、补全的中尺度异常图像IanoM、补全的大尺度异常图像IanoB。
进一步的，所述平均估计模块、多尺度异常解耦模块和多尺度异常修复模块都是采用生成对抗网络架构，通过生成器和鉴别器训练，总损失包括所述平均估计模块的损失、多尺度异常解耦模块的损失和多尺度异常修复模块的损失，总损失函数L总如下：
其中，平均估计模块的损失包括以下三部分，
公式(1)、(2)中的xn、yn和分别指长期平均海温图像、真实的短期平均海温图像、预测的无云短期平均海温图像，/>代表对xn进行掩膜运算，挖出缺失部分，/>表示对yn进行掩膜运算；N为小批量训练图像的数量，该损失记录了长期平均海温图像和预测的无云短期平均海温图像以及真实的短期平均海温图像和预测的无云短期平均海温图像的L2重建损失，使得缺失区域的整体结构和上下文一致，式(3)中，yn为真实短期平均海温图像，/>是对应于yn的缺失图像，/>为生成器生成的预测无云短期平均海温图像，表示对生成图像进行判别，期望判别器判定生成图片为假，真实图像为真，使生成的图像更加真实；多尺度异常解耦模块的损失包含三项，公式如下：
式(4)中，an为原异常图像，为不同尺度的异常特征，/>为多尺度异常解耦模块生成的不同尺度的异常图像，/>代表对an进行掩膜运算，通过掩膜运算挖去缺失部分即不计算缺失部分的重建损失，该式记录了不同尺度的补全的异常图像与原异常图像的L2重建损失；
多尺度异常修复模块的损失包含四项，公式如下：
其中前三项具体如式(5)中，bn为待补全的真实图像，为不同尺度的补全图像，表示对bn进行掩膜运算，该项记录了不同尺度上的真实图像与补全图像的L2重建损失；最后，第四项具体如式(6)，记录了补全图像与原缺失图像的对抗生成损失，/>为判别器对生成的图像进行打分，D(bn)为判别器对真实图像进行打分。
与现有技术相比，本发明优点在于：
本发明引入预测的短期均值来近似替代稳定信息，采用分尺度解耦的方式来准确建模海温图像异常。建模异常值时，不同尺度之间特征互相指导来捕捉不同的异常特征，使得补全图像兼顾了全局与局部特征，每种尺度所包含的异常特征的侧重点有所不同，但不同尺度之间特征纠缠无法将显著性较强的特征进行弱化防止其与周围特征不连续，并且无法将显著性较弱的特征进行加强防止特征丢失，因此再对异常值进行递进式解耦，使得不显著的异常特征变得明显，消除特征纠缠，提升了挖掘的异常特征的准确性和有效性，充分考虑了遥感图像的时空不稳定性。最后将不同尺度的补全图像融合，使得生成的图像兼顾全局与局部特征，更加真实。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的网络架构图；
图2为本发明的多尺度异常解耦模块的损失组成图；
图3为本发明的多尺度异常修复模块的损失组成图；
图4为发明的流程图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的说明。
结合图1所示，本实施例先设计了一种基于多尺度异常的海温遥感图像补全网络，主要包括三部分，分别是平均估计模块、多尺度异常解耦模块、多尺度异常修复模块，均采用生成对抗网络结构训练，关于生成对抗网络的生成器与判别器的训练本申请不做过多赘述。
所述平均估计模块，该模块的输入是需补全的目标海温图像及对应的长期平均海温图像(30天月均海温数据)，目标海温图像和长期平均海温图像通过生成器，输出预测的无云短期平均海温图像(7天周均海温数据)，判别器会不断将生成图像与真实图像做鉴别，不断优化生成图像。在生成器架构中，本专利使用空洞卷积代替了下现有方法生成器的普通卷积，以保证在不丢失原始图像的分辨率的基础上扩大卷积核的感受野，从而有效地保留了均值的空间层级化信息。
所述多尺度异常解耦模块，该模块的输入是无云短期平均海温图像与需补全的目标海温图像，然后将它们做差分运算得到海温异常图像，再通过三次空洞卷积操作，获取该海温异常图像的不同尺度异常特征，继而在不同尺度上进行海温异常图像的修复，得到三种尺度的异常图像。
所述多尺度异常修复模块，该模块的输入是平均估计模块预测的无云短期平均海温图像和多尺度异常解耦模块得到的三种尺度的异常图像。
在训练阶段，输入补全数据和长期平均数据，并设置初始迭代数为0，经过一次补全后，迭代数加一，并判断是否达到迭代次数；若没有达到，则继续迭代，并计算梯度、调整网络权重，若达到，则输出最优网络参数。
基于上述图像补全网络，结合图1、图4所示，本实施例设计了基于多尺度异常的海温遥感图像补全方法，包括以下步骤：
步骤1、输入数据：
输入需补全的目标海温图像及对应的长期平均海温图像。
步骤2、生成无云短期平均海温图像：
将目标海温图像和长期平均海温图像通过平均估计模块输出预测的无云短期平均海温图像，其中所述平均估计模块包括由编码器-解码器组成的生成器，提取并融合每日与长期平均海表面温度的特征。
步骤3、获取海温异常数据：
将需补全的目标海温图像和步骤2输出的无云短期平均海温图像两者做差分运算得到海温异常图像。
步骤4、多尺度异常特征解耦修补：
将步骤3获得的海温异常图像输入多尺度异常解耦模块，首先通过三次空洞卷积操作，获取海温异常图像的不同尺度异常特征，分别是小尺度异常特征Fs、中尺度异常特征FM、大尺度异常特征FB，其中空洞卷积的空洞率分别为6、12、18；然后，再对三个尺度的异常特征进行解耦，获得补全的小尺度异常图像IanoS、补全的中尺度异常图像IanoM、补全的大尺度异常图像IanoB。
其中，对三个尺度的异常特征进行解耦的具体步骤是：保留小尺度异常特征不变，即解耦的小尺度异常特征再通过卷积操作将中尺度异常特征中的小尺度异常特征剥离出，得到新的中尺度异常特征/>同理，通过卷积操作将大尺度异常特征中的中尺度异常特征剥离出，得到新的大尺度特征/>不同尺度的异常特征/>分别通过生成器，得到补全的不同尺度的异常图像，分别为补全的小尺度异常图像IanoS、补全的中尺度异常图像IanoM、补全的大尺度异常图像IanoB。
步骤5、多尺度重构异常数据：
输入平均估计模块预测的无云短期平均海温图像，多尺度异常修复模块采用与多尺度异常解耦模块相同空洞率的空洞卷积将预测的无云短期平均海温图像下采样成相应的小尺度、中尺度和大尺度海温图像，同样地，用差分的方法对三个尺度分别解耦，得到解耦的小尺度短期海温图像IaveS、解耦的中尺度短期海温图像IaveM、解耦的大尺度短期海温图像IaveB，相应的采样率分别为1、1/2、1/4。
步骤6、特征融合：
将步骤4的多尺度异常解耦模块中得到的三种尺度的异常图像IanoS、IanoM、IanoB与步骤5得到的对应的三种尺度的短期海温图像IaveS、IaveM、IaveB进行融合得到不同尺度的补全海温图像，分别是小尺度的补全海温图像Is、中尺度的补全海温图像IM、大尺度的补全海温图像IB；
步骤7、获取海温补全数据：
将三个尺度的补全海表温度图像Is、IM、IB输入多层感知机，得到最终的海温补全图像Ir。
由于平均估计模块、多尺度异常解耦模块和多尺度异常修复模块都是采用生成对抗网络架构，通过生成器和鉴别器训练，总损失包括三部分，分别是平均估计模块的损失、多尺度异常解耦模块的损失和多尺度异常修复模块的损失，总损失函数L总如下：
其中，平均估计模块的损失包括以下三部分，
公式(1)、(2)中的xn、yn和分别指长期平均、真实的短期平均海温图像、预测的无云短期平均海温图像，/>代表对xn进行掩膜运算，挖出缺失部分，/>表示对yn进行掩膜运算；N为小批量训练图像的数量,该损失记录了长期平均海温图像和预测的无云短期平均海温图像以及真实的短期平均海温图像和预测的无云短期平均海温图像的L2重建损失，使得缺失区域的整体结构和上下文一致,式(3)中，yn为真实短期平均海温图像，/>是对应于yn的缺失图像，/>为生成器生成的预测无云短期平均海温图像，/>表示对生成图像进行判别，期望判别器判定生成图片为假，真实图像为真，使生成的图像更加真实。
如图2所示，多尺度异常解耦模块的损失包含三项，公式如下：
式(4)中，an为原异常图像，为不同尺度的异常特征，/>为多尺度异常解耦模块生成的不同尺度的异常图像，/>代表对an进行掩膜运算，通过掩膜运算挖去缺失部分即不计算缺失部分的重建损失，该式记录了不同尺度的补全的异常图像与原异常图像的L2重建损失。
如图3所示，多尺度异常修复模块的损失包含四项，公式如下：
其中前三项具体如式(5)中，bn为待补全的真实图像，为不同尺度的补全图像，表示对bn进行掩膜运算，该项记录了不同尺度上的真实图像与补全图像的L2重建损失；最后，第四项具体如式(6)，记录了补全图像与原缺失图像的对抗生成损失，/>为判别器对生成的图像进行打分，D(bn)为判别器对真实图像进行打分。
综上所述，本发明对缺失海表面图像修复时，建模每日海温与短期均值海温的多尺度异常特征，在不同尺度上挖掘异常特征，同时对不同尺度的异常特征进行解耦，消除特征纠缠，提升了挖掘的异常特征的准确性和有效性，充分考虑了遥感图像的时空不稳定性。在异常图像和短期均值海温图像融合过程中，先在多个尺度上对异常图像和短期海温图像进行融合，再将不同尺度上得到的补全图像进行融合，学习随着尺度不断增加的全局与局部特征，有效地利用了不同尺度上的异常信息，提高了补全的图像的可靠性，使生成的图像更加真实。
当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。

Claims (3)

1.基于多尺度异常的海表面温度遥感图像补全方法，其特征在于，包括以下步骤：
步骤1、输入需补全的目标海温图像及对应的长期平均海温图像；
步骤2、将目标海温图像和长期平均海温图像通过平均估计模块输出预测的无云短期平均海温图像，其中所述平均估计模块包括由编码器-解码器组成的生成器，提取并融合每日与长期平均海表面温度的特征；
步骤3、将需补全的目标海温图像和步骤2输出的无云短期平均海温图像两者做差分运算得到海温异常图像；
步骤4、将步骤3获得的海温异常图像输入多尺度异常解耦模块，首先通过三次空洞卷积操作，获取海温异常图像的不同尺度异常特征，分别是小尺度异常特征Fs、中尺度异常特征FM、大尺度异常特征FB；然后，再对三个尺度的异常特征先进行解耦，再进行生成，获得补全的小尺度异常图像IanoS、补全的中尺度异常图像IanoM、补全的大尺度异常图像IanoB；
步骤5、将平均估计模块预测的无云短期平均海温图像输入多尺度异常修复模块，多尺度异常修复模块采用与多尺度异常解耦模块相同空洞率的空洞卷积将预测的无云短期平均海温图像下采样成相应的小尺度、中尺度和大尺度海温图像，同样地，用差分的方法对三个尺度分别解耦，得到解耦的小尺度短期海温图像IaveS、解耦的中尺度短期海温图像IaveM、解耦的大尺度短期海温图像IaveB，相应的采样率分别为1、1/2、1/4；
步骤6、将步骤4的多尺度异常解耦模块中得到的三种尺度的异常图像IanoS、IanoM、IanoB与步骤5得到的对应的三种尺度的短期海温图像IaveS、IaveM、IaveB进行融合得到不同尺度的补全海温图像，分别是小尺度的补全海温图像Is、中尺度的补全海温图像IM、大尺度的补全海温图像IB；
步骤7、将三个尺度的补全海温图像Is、IM、IB输入多层感知机，得到最终的海温补全图像Ir。
2.根据权利要求1所述的基于多尺度异常的海温遥感图像补全方法，其特征在于，步骤4中对三个尺度的异常特征进行解耦的具体步骤是：保留小尺度异常特征不变，即解耦的小尺度异常特征再通过卷积操作将中尺度异常特征中的小尺度异常特征剥离出，得到新的中尺度异常特征/>同理，通过卷积操作将大尺度异常特征中的中尺度异常特征剥离出，得到新的大尺度特征/>不同尺度的异常特征/>分别通过生成器，得到补全的不同尺度的异常图像，分别为补全的小尺度异常图像IanoS、补全的中尺度异常图像IanoM、补全的大尺度异常图像IanoB。
3.根据权利要求1所述的基于多尺度异常的海表面温度遥感图像补全方法，其特征在于，所述平均估计模块、多尺度异常解耦模块和多尺度异常修复模块都是采用生成对抗网络架构，通过生成器和鉴别器训练，总损失包括所述平均估计模块的损失、多尺度异常解耦模块的损失和多尺度异常修复模块的损失，总损失函数L总如下：
其中，平均估计模块的损失包括以下三部分，
公式(1)、(2)中的xn、yn和分别指长期平均海温图像、真实短期平均海温图像、预测的无云短期平均海温图像，/>代表对xn进行掩膜运算，挖出缺失部分，/>表示对yn进行掩膜运算；N为小批量训练图像的数量，该损失记录了长期平均海温图像和预测的无云短期平均海温图像以及真实的短期平均海温图像和预测的无云短期平均海温图像的L2重建损失，使得缺失区域的整体结构和上下文一致，式(3)中，yn为真实短期平均海温图像，/>是对应于yn的缺失图像，/>为生成器生成的预测无云短期平均海温图像，/>表示对生成图像进行判别，期望判别器判定生成图片为假，真实图像为真，使生成的图像更加真实；多尺度异常解耦模块的损失包含三项，公式如下：
式(4)中，an为原异常图像，为不同尺度的异常特征，/>为多尺度异常解耦模块生成的不同尺度的异常图像，/>代表对an进行掩膜运算，通过掩膜运算挖去缺失部分即不计算缺失部分的重建损失，该式记录了不同尺度的补全的异常图像与原异常图像的L2重建损失；
多尺度异常修复模块的损失包含四项，公式如下：
其中前三项具体如式(5)中，bn为待补全的真实图像，为不同尺度的补全图像，/>表示对bn进行掩膜运算，该项记录了不同尺度上的真实图像与补全图像的L2重建损失；最后，第四项具体如式(6)，记录了补全图像与原缺失图像的对抗生成损失，/>为判别器对生成的图像进行打分，D(bn)为判别器对真实图像进行打分。
CN202310539861.6A 2023-05-12 2023-05-12 基于多尺度异常的海表面温度遥感图像补全方法 Pending CN116596784A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310539861.6A CN116596784A (zh) 2023-05-12 2023-05-12 基于多尺度异常的海表面温度遥感图像补全方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310539861.6A CN116596784A (zh) 2023-05-12 2023-05-12 基于多尺度异常的海表面温度遥感图像补全方法

Publications (1)

Publication Number Publication Date
CN116596784A true CN116596784A (zh) 2023-08-15

Family

ID=87607473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310539861.6A Pending CN116596784A (zh) 2023-05-12 2023-05-12 基于多尺度异常的海表面温度遥感图像补全方法

Country Status (1)

Country Link
CN (1) CN116596784A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117935066A (zh) * 2024-03-25 2024-04-26 中国海洋大学 基于并行多尺度约束的海表面温度补全方法及系统
CN117994172A (zh) * 2024-04-03 2024-05-07 中国海洋大学 基于时序依赖和边缘细化的海温图像鲁棒补全方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117935066A (zh) * 2024-03-25 2024-04-26 中国海洋大学 基于并行多尺度约束的海表面温度补全方法及系统
CN117935066B (zh) * 2024-03-25 2024-05-28 中国海洋大学 基于并行多尺度约束的海表面温度补全方法及系统
CN117994172A (zh) * 2024-04-03 2024-05-07 中国海洋大学 基于时序依赖和边缘细化的海温图像鲁棒补全方法及系统

Similar Documents

Publication Publication Date Title
CN116596784A (zh) 基于多尺度异常的海表面温度遥感图像补全方法
CN111311685A (zh) 一种基于imu/单目图像的运动场景重构无监督方法
Dubois et al. Data-driven predictions of the Lorenz system
CN111539887A (zh) 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法
US20210035001A1 (en) Causation estimation apparatus, causation estimation method and program
CN115544264B (zh) 知识驱动的桥梁建造数字孪生场景智能构建方法及系统
CN115984281B (zh) 基于局部特异性深化的时序海温图像的多任务补全方法
CN115984146B (zh) 基于全局一致性的海洋叶绿素浓度图像的补全方法及网络
CN111986105A (zh) 基于时域去噪掩码的视频时序一致性增强方法
CN114118375A (zh) 一种基于时序图Transformer的连续动态网络表征学习方法
CN116052254A (zh) 基于扩展卡尔曼滤波神经网络的视觉连续情感识别方法
CN115661480A (zh) 一种基于多层次特征融合网络的图像异常检测方法
CN116738192A (zh) 一种基于数字孪生的安全数据评估方法及系统
CN116402352A (zh) 一种企业风险预测方法、装置、电子设备及介质
Windheuser et al. An end‐to‐end flood stage prediction system using deep neural networks
CN114595635A (zh) 火电机组主汽温度数据的特征选择方法、系统及设备
Fix et al. Simultaneous autoregressive models for spatial extremes
Wang et al. Motionhint: Self-supervised monocular visual odometry with motion constraints
CN117011668A (zh) 一种基于时序预测神经网络的天气雷达回波外推方法
Zhang Image enhancement method based on deep learning
CN115546689A (zh) 基于无监督下帧相关性的视频时间序列的异常帧探测方法
Pajot Incorporating physical knowledge into deep neural network
Wang A Markov Model‐Based Fusion Algorithm for Distorted Electronic Technology Archives
Li et al. A transfer learning method to generate synthetic synoptic magnetograms
Zhao et al. Knowledge-Informed Uncertainty-Aware Machine Learning for Time Series Forecasting of Dynamical Engineered Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination