CN117994172B - 基于时序依赖和边缘细化的海温图像鲁棒补全方法及系统 - Google Patents
基于时序依赖和边缘细化的海温图像鲁棒补全方法及系统 Download PDFInfo
- Publication number
- CN117994172B CN117994172B CN202410396552.2A CN202410396552A CN117994172B CN 117994172 B CN117994172 B CN 117994172B CN 202410396552 A CN202410396552 A CN 202410396552A CN 117994172 B CN117994172 B CN 117994172B
- Authority
- CN
- China
- Prior art keywords
- image
- attention
- time sequence
- complement
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000295 complement effect Effects 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 11
- 239000000284 extract Substances 0.000 claims abstract description 4
- 230000004154 complement system Effects 0.000 claims abstract description 3
- 230000007246 mechanism Effects 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 30
- 238000011176 pooling Methods 0.000 claims description 27
- 230000004913 activation Effects 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005096 rolling process Methods 0.000 claims description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000003169 complementation method Methods 0.000 claims description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims 1
- 238000005070 sampling Methods 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 230000001502 supplementing effect Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像处理技术领域，特别涉及基于时序依赖和边缘细化的海温图像鲁棒补全方法及系统，所述系统包括时序特征提取模块、条件粗生成模块、边缘细生成模块，时序特征提取模块包括序列注意力模块和时间注意力模块，对于输入的包含缺失图像的时序块，所述时序特征提取模块提取特征图，并输入序列注意力模块和时间注意力模块，所述条件粗生成模块的输入为缺失图像和时序特征提取模块输出的特征图，输出粗补全图像；所述边缘细生成模块的输入为条件粗生成模块生成的粗补全图像，输出最终补全的图像。通过本发明实现图像补全结果的可靠性。
Description
技术领域
本发明属于图像处理技术领域，特别涉及基于时序依赖和边缘细化的海温图像鲁棒补全方法及系统。
背景技术
海温数据是气象和海洋科学研究中非常重要的数据源，然而由于自然和人为因素导致跨越时间和空间的数据缺失。因此，如何在缺少信息的情况下尽可能恢复缺失数据是一个具有挑战性的问题。生成对抗网络通过共同训练生成器和判别器，基于生成对抗网络的海温数据补全方法通过在训练阶段对数据进行学习，再通过利用已经完成的模型为带有缺失信息的图像生成新的图像数据作为输出的过程，最终完成对缺失数据的修复。传统方法通常将整张图像作为输入进行修复，忽略了每个像素点之间的空间相关性。
目前，基于生成对抗网络的前沿补全方法将空间注意力机制引入海温数据补全任务中，有效捕捉空间上的相关性，可以更好地修复具有强空间相关性、缺失区域复杂的海温图像。其优势在于引入的空间注意力机制提高了修复时对目标的定位能力和对环境背景的控制能力，减少冗余信息的影响。但是，该方法存在一下问题：首先，忽略了海温数据中的时间依赖特征。对于缺失的像素点，只基于已知的空间上下文信息进行预测，忽略了时间维度的信息，导致无法充分利用时空序列数据的周期性、趋势性、稳定性等时间依赖关系，从而容易出现预测结果不准确的情况。其次，无法很好地处理温度层中温度变化剧烈的过渡区域的边界数据。例如，在海洋中，海洋温度变化不平稳，在海表面温度高的区域和海表面温度低的区域之间的过渡部分温度变化剧烈，针对此类温度变化剧烈的边缘数据，该方法难以准确地恢复边缘部分的细节特征。
发明内容
针对现有技术存在的不足，本发明提供基于时序依赖和边缘细化的海温图像鲁棒补全方法及系统，在时序特征提取模块中设计了从包含缺失时刻的时序块中提取全局和局部的时序特征，从而实现了对图像时空依赖性的建模，用以解决原方法忽略时间依赖特征的问题。在边缘保持模块中设计了门控空洞卷积和细节注意力机制优化边缘补全部分，更好地捕捉图像的纹理和边缘特征，解决了原方法无法很好地处理温度层中温度变化剧烈的过渡区域的边缘数据的问题。
为了解决上述技术问题，本发明采用的技术方案是：
首先，本发明提供一种基于时序依赖和边缘细化的海温图像鲁棒补全方法，包括以下步骤：
步骤1、构建缺失图像时序块：获取缺失时刻前后若干张图像，构建包含缺失图像的时序块；
步骤2、从时序块中提取全局和局部的时序特征，对缺失图像进行时空依赖性建模，具体如下：
步骤21、时序块中的每一张图像通过卷积网络处理，输出特征图F，作为时序注意力机制的输入；
步骤22、特征图F经过时序注意力机制处理得到特征图：
在时序注意力机制中，首先特征图F经过序列注意力模块得到序列注意力特征图，/>与F点乘，得到序列注意力优化的中间特征图/>，其次特征图/>经过时间注意力模块得到时间注意力特征图/>，/>与/>点乘，得到经过序列和时间注意力最终优化后的输出/>；
步骤3、图像粗补全：
将步骤22得到的特征图作为附加条件，与缺失图像一起送入条件粗生成模块，得到粗补全图像；
步骤4、边缘处理：
将步骤3得到的粗补全图像输入边缘细生成模块，经过门控空洞卷积和细节注意力机制优化边缘补全部分，得到最终补全的图像。
进一步的，所述序列注意力模块包括全局最大池化、全局平均池化、多层感知机和激活函数，输入特征图F分别经过全局最大池化和全局平均池化在空间维度上压缩，得到和/>中间特征图，并送到一个参数共享的多层感知机，将输出的特征进行加和操作，经过激活函数操作，生成最终的序列注意力特征图/>；所述时间注意力模块包括全局最大池化、全局平均池化、卷积核和激活函数，经过序列注意力机制提炼的特征图/>分别经过全局最大池化和全局平均池化在序列维度上压缩，得到/>和/>中间特征图，并在序列维度上拼接在一起，使用卷积核进行卷积操作降维，再经过激活函数生成时间注意力特征图/>。
进一步的，所述条件粗生成模块包括若干个卷积块、残差块和空间注意力块。
进一步的，所述边缘细生成模块处理图像的过程如下：粗补全图像首先经过三个跨步门控卷积、两个门控卷积，门控单元应用于卷积核中的每个通道，计算出一个权重值，用于指导卷积操作中信息的筛选和提取；接着通过四个空洞卷积，输出的特征图输入细节注意力机制；在细节注意力机制内，首先通过一个全局平均池化层，将特征图的每个通道降维到一个标量，然后将其输入到两个全连接层中，第一个全连接层将标量进行非线性变换，得到一个激活向量；第二个全连接层将激活向量映射到一组权重向量，每个权重向量对应一个通道，权重向量将用于对输入特征图的每个通道进行加权，以得到调整后的特征图；最后经过门控卷积操作得到最终补全图像。
进一步的，总损失函数L总分为三个部分，分别为条件生成对抗网络的损失函数、衡量补全精度的重建损失函数和注意力损失函数，下面分别展开介绍：
（7）；
第一部分①是条件生成对抗网络的损失函数：
（8）；
其中：x是破损图像，z是条件向量，y是真实图像，代表x，y为从真实数据分布/>中采样得到的样本，/>代表x 从真实数据分布中采样得到的样本，/>代表z从某一特定分布/>中采样得到的样本，代表空间注意力生成对抗网络的生成器，/>代表判别器将真实数据判定为真实数据的概率，/>为判别器将虚假数据仍判定为虚假数据的概率；
第二部分②、③是衡量补全精度的重建损失函数，采用标准的L1损失：
（9）；
（10）；
其中：公式（9）对应在条件粗生成模块中，为输入的破损图像，/>为真实值；公式（10）对应在边缘细生成模块中，/>为粗补全图像，/>为真实值；/>为每个通道对损失的贡献权重，/>和/>为生成器的补全结果，C、H、W分别表示图像的通道数、高度和宽度，/>代表L1范式；
第三部分④为注意力损失：
（11）；
其中：矩阵A为空间注意力模块生成的注意力图，矩阵M为有云区域的二值图像，通过计算有云和无云图像的差值得到，为L2范式。
其次，本发明提供基于时序依赖和边缘细化的海温图像鲁棒补全系统，用于实现如前所述的基于时序依赖和边缘细化的海温图像鲁棒补全方法，包括时序特征提取模块、条件粗生成模块、边缘细生成模块，所述时序特征提取模块包括序列注意力模块和时间注意力模块，对于输入的包含缺失图像的时序块，所述时序特征提取模块提取特征图F，输入序列注意力模块和时间注意力模块，输出特征图，所述条件粗生成模块的输入为缺失图像和时序特征提取模块输出的特征图/>，输出粗补全图像；所述边缘细生成模块的输入为条件粗生成模块生成的粗补全图像，输出最终补全的图像。
与现有技术相比，本发明优点在于：
（1）对于一张缺失图像，本方法首先关注缺失图像所在的时序块，通过时序特征提取模块，先采用序列注意力机制再采用时间注意力机制，捕捉序列之间的相关性，保证了时序特征的全局一致性和局部敏感性，从而实现了对图像时序依赖性的建模，解决了原方法忽略时序特征的问题，提高了补全结果的可靠性。
（2）针对海洋图像补全任务，基于条件生成对抗网络，将时序特征作为条件输入到生成对抗网络中，网络可以将这些信息融入到生成图像的过程中，并根据时序信息控制图像中不同位置的像素值的大小和分布，从而使生成的图像更加符合实际情况，提高生成模型的表达能力。
（3）在边缘细生成模块中，运用门控和空洞卷积增加网络感受野，提取到更广阔的上下文信息；同时，通过使用细节注意力机制来分析图像的梯度信息，将细节信息与背景信息进行分离，更好地保留细节，解决了原方法无法很好地处理温度层中温度变化剧烈的过渡区域的边缘数据的问题，提高了图像生成的质量。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的系统架构图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的说明。
结合图1，本实施例设计了一种基于时序依赖和边缘细化的海温图像鲁棒补全方法，包括以下步骤：
步骤1、构建缺失图像时序块：获取缺失时刻前后若干张图像，构建包含缺失图像的时序块。
具体来说，按相等时间间隔依次选择缺失时刻前后各（k-1）/2张，则整个时间序列可表示如下：，k为想要提取时序特征的时序块所包含的图像数量。
步骤2、从时序块中提取全局和局部的时序特征，对缺失图像进行时空依赖性建模，具体如下：
步骤21、时序块中的每一张图像通过卷积网络处理，输出特征图F，作为时序注意力机制的输入。
步骤22、特征图F经过时序注意力机制处理得到特征图：
在时序注意力机制中，首先特征图F经过序列注意力模块得到序列注意力特征图，/>与F点乘，得到序列注意力优化的中间特征图/>，其次特征图/>经过时间注意力模块得到时间注意力特征图/>，/>与/>点乘，得到经过序列和时间注意力最终优化后的输出/>。
其中，所述序列注意力模块包括全局最大池化、全局平均池化、多层感知机和激活函数，输入特征图F分别经过全局最大池化和全局平均池化在空间维度上压缩，得到和/>中间特征图，并送到一个参数共享的多层感知机，将输出的特征进行加和操作，经过激活函数操作，生成最终的序列注意力特征图/>；所述时间注意力模块包括全局最大池化、全局平均池化、卷积核和激活函数，经过序列注意力机制提炼的特征图/>分别经过全局最大池化和全局平均池化在序列维度上压缩，得到/>和/>中间特征图，并在序列维度上拼接在一起，使用卷积核进行卷积操作降维，再经过激活函数生成时间注意力特征图/>。
在时序注意力机制中，计算公式如下：
（5）；
（6）；
其中代表点乘，/>表示经过注意力提取的特征，/>表示经过时间注意力提取的特征，/>代表/>与输入特征F点乘得到的序列注意力优化的中间特征图，/>代表经过序列和时间注意力最终优化后的输出。
步骤3、图像粗补全：
将步骤22得到的特征图作为附加条件，与缺失图像一起送入条件粗生成模块，得到粗补全图像。
所述条件粗生成模块包括若干个卷积块、残差块和空间注意力块。
条件粗生成模块概括来说是生成模型，输入为缺失图像和上一步得到的时序特征，通过编码-解码生成生成粗补全图像。
条件粗生成模块的设计旨在通过多层次、多尺度的特征提取和融合，使模型能够更全面、准确地理解海温数据的时空特性。首先，卷积块的引入有助于从输入数据中提取局部特征，捕捉海温图像中的空间相关性。这些卷积操作通过权重共享和非线性变换，有效地学习到不同位置的特征表示，为后续的处理提供了更为丰富的空间信息。接着，残差块的采用强调了对残差学习的关注，使得模型能够更容易地捕捉到图像中微小的变化和细节，从而提高了生成图像的细腻程度和真实感。进一步，空间注意力块被引入以加强对缺失区域的关注。通过空间注意力机制，模型能够自适应地调整对不同位置的注意力，集中精力填充缺失图像中的关键区域。这种机制有助于更好地理解海温数据的局部特性，提高了生成图像在缺失区域的准确性和连续性。
步骤4、边缘处理：
将步骤3得到的粗补全图像输入边缘细生成模块，经过门控空洞卷积和细节注意力机制优化边缘补全部分，得到最终补全的图像。
所述边缘细生成模块处理图像的过程如下：粗补全图像首先经过三个跨步门控卷积、两个门控卷积，门控单元应用于卷积核中的每个通道，计算出一个权重值，用于指导卷积操作中信息的筛选和提取；接着通过四个空洞卷积，输出的特征图输入细节注意力机制；在细节注意力机制内，首先通过一个全局平均池化层，将特征图的每个通道降维到一个标量，然后将其输入到两个全连接层中，第一个全连接层将标量进行非线性变换，得到一个激活向量；第二个全连接层将激活向量映射到一组权重向量，每个权重向量对应一个通道，权重向量将用于对输入特征图的每个通道进行加权，以得到调整后的特征图。在加权过程中，权重向量会经过一个Softmax 操作，以确保权重的值在0到1之间且总和为1。然后，每个通道的特征图将与对应的权重向量相乘，以得到调整后的特征图，即在保留重要特征的同时，抑制不重要的特征，最后又经过门控卷积操作（本实施例是三个门控卷积和三个跨步门控卷积），得到最终补全图像。
本发明的总损失函数L总分为三个部分，分别为条件生成对抗网络的损失函数、衡量补全精度的重建损失函数和注意力损失函数，下面分别展开介绍：
（7）；
第一部分①是条件生成对抗网络的损失函数：
（8）；
其中：x是破损图像，z是条件向量，y是真实图像，代表x，y为从真实数据分布/>中采样得到的样本，/>代表x从真实数据分布中采样得到的样本，/>代表z从某一特定分布/>中采样得到的样本，代表空间注意力生成对抗网络的生成器，/>代表判别器将真实数据判定为真实数据的概率，/>为判别器将虚假数据仍判定为虚假数据的概率。
第二部分②、③是衡量补全精度的重建损失函数，采用标准的L1损失：
（9）；
（10）；
用于在条件粗生成模块和边缘细生成模块衡量每个重建像素的精度；其中：公式（9）对应在条件粗生成模块中，为输入的破损图像，/>为真实值；公式（10）对应在边缘细生成模块中，/>为粗补全图像，/>为真实值；/>为每个通道对损失的贡献权重，本实施例取值为1；/>和/>为生成器的补全结果，C、H、W分别表示图像的通道数、高度和宽度，/>代表L1范式。
第三部分④为注意力损失：
（11）；
其中：矩阵A为空间注意力模块生成的注意力图，矩阵M为有云区域的二值图像，通过计算有云和无云图像的差值得到，为L2范式。
作为本发明另一实施例，如图1所示，设计了基于时序依赖和边缘细化的海温图像鲁棒补全系统，用于实现如前所述的基于时序依赖和边缘细化的海温图像鲁棒补全方法，包括时序特征提取模块、条件粗生成模块、边缘细生成模块，所述时序特征提取模块包括序列注意力模块和时间注意力模块，对于输入的包含缺失图像的时序块，所述时序特征提取模块提取特征图F，输入序列注意力模块和时间注意力模块，输出特征图，所述条件粗生成模块的输入为缺失图像和时序特征提取模块输出的特征图/>，输出粗补全图像；所述边缘细生成模块的输入为条件粗生成模块生成的粗补全图像，输出最终补全的图像。
各模块的功能及数据处理过程此处不再赘述。
综上所述，本发明在时序特征提取模块中设计了从包含缺失时刻的时序块中提取全局和局部的时序特征，从而实现了对图像时空依赖性的建模，用以解决原方法忽略时间依赖特征的问题。其次在边缘细生成模块中设计了门控空洞卷积和细节注意力机制优化边缘补全部分，让模型更好地捕捉图像的纹理和边缘特征，解决了原方法无法很好地处理温度层中温度变化剧烈的过渡区域的边缘数据的问题。
（1）本发明从更多时刻的视角上挖掘了潜在信息，最大程度的还原了原始数据的动态特征。例如，原方法在补全过程中仅使用单张图片作为补全条件，割裂了缺失时刻与所在时序块的动态演变关系，而本方法在时序特征提取模块中，通过序列与时间注意力，更加关注到与缺失时刻相关的其他时刻的时序特征。这样不仅考虑了缺失图像本身的信息，还考虑了缺失时刻在时间序列中的位置，推断缺失图像的可能特征，可以更好地还原原始数据的动态特性，有效解决了原方法中忽略时序特征依赖不足的问题。
（2）充分利用时序特征作为条件生成对抗网络的先验知识来更好地保证生成图像的质量和准确性。例如，原方法采用普通的条件生成对抗网络，而本方法将时序特征作为条件输入到条件生成对抗网络中，使其在生成补全图像时更加准确地保留海温数据的时间依赖关系，更好地控制海温数据的生成过程，从而提高补全效果的准确性和质量。
（3）充分恢复温度变化剧烈的过渡区域的细节特征增强图像生成的质量。例如，本方法在边缘保持模块中运用门控卷积、空洞卷积和细节注意力机制优化边缘补全部分，在不增加参数数量的情况下扩大感受野，更好地捕捉图像的纹理和边缘特征，提高模型对于细节信息的把握能力及对于边缘部分的修复精度，提高了图像生成的质量。
当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。
Claims (3)
1.基于时序依赖和边缘细化的海温图像鲁棒补全方法，其特征在于，包括以下步骤：
步骤1、构建缺失图像时序块：获取缺失时刻前后若干张图像，构建包含缺失图像的时序块；
步骤2、从时序块中提取全局和局部的时序特征，对缺失图像进行时空依赖性建模，具体如下：
步骤21、时序块中的每一张图像通过卷积网络处理，输出特征图F，作为时序注意力机制的输入；
步骤22、特征图F经过时序注意力机制处理得到特征图F″：
在时序注意力机制中，首先特征图F经过序列注意力模块得到序列注意力特征图Mc(F)，Mc(F)与F点乘，得到序列注意力优化的中间特征图F′，其次特征图F′经过时间注意力模块得到时间注意力特征图Mt(F′)，Mt(F′)与F′点乘，得到经过序列和时间注意力最终优化后的输出F″；
所述序列注意力模块包括全局最大池化、全局平均池化、多层感知机和激活函数，输入特征图F分别经过全局最大池化和全局平均池化在空间维度上压缩，得到和/>中间特征图，并送到一个参数共享的多层感知机，将输出的特征进行加和操作，经过激活函数操作，生成最终的序列注意力特征图Mc(F)；所述时间注意力模块包括全局最大池化、全局平均池化、卷积核和激活函数，经过序列注意力机制提炼的特征图F′分别经过全局最大池化和全局平均池化在序列维度上压缩，得到/>和/>中间特征图，并在序列维度上拼接在一起，使用卷积核进行卷积操作降维，再经过激活函数生成时间注意力特征图Mt(F′)；
步骤3、图像粗补全：
将步骤22得到的特征图F″作为附加条件，与缺失图像一起送入条件粗生成模块，得到粗补全图像；
所述条件粗生成模块包括若干个卷积块、残差块和空间注意力块；
步骤4、边缘处理：
将步骤3得到的粗补全图像输入边缘细生成模块，经过门控空洞卷积和细节注意力机制优化边缘补全部分，得到最终补全的图像；
所述边缘细生成模块处理图像的过程如下：粗补全图像首先经过三个跨步门控卷积、两个门控卷积，门控单元应用于卷积核中的每个通道，计算出一个权重值，用于指导卷积操作中信息的筛选和提取；接着通过四个空洞卷积，输出的特征图输入细节注意力机制；在细节注意力机制内，首先通过一个全局平均池化层，将特征图的每个通道降维到一个标量，然后将其输入到两个全连接层中，第一个全连接层将标量进行非线性变换，得到一个激活向量；第二个全连接层将激活向量映射到一组权重向量，每个权重向量对应一个通道，权重向量将用于对输入特征图的每个通道进行加权，以得到调整后的特征图；最后经过门控卷积操作得到最终补全图像。
2.根据权利要求1所述的基于时序依赖和边缘细化的海温图像鲁棒补全方法，其特征在于，总损失函数L总分为三个部分，分别为条件生成对抗网络的损失函数、衡量补全精度的重建损失函数和注意力损失函数，下面分别展开介绍：
第一部分①是条件生成对抗网络的损失函数：
其中：x是破损图像，z是条件向量，y是真实图像，x，y～pdata(x，y)代表x，y为从真实数据分布pdata(x，y)中采样得到的样本，x～pdata(x)代表x从真实数据分布pdata(x)中采样得到的样本，z～pz(z)代表z从某一特定分布pz(z)中采样得到的样本，G(·)代表空间注意力生成对抗网络的生成器，D(·)代表判别器将真实数据判定为真实数据的概率，log(1-D(G(·)))为判别器将虚假数据仍判定为虚假数据的概率；
第二部分②、③是标准的L1损失：
其中：公式(9)对应在条件粗生成模块中，Iin1为输入的破损图像，Igt1为真实值；公式(10)对应在边缘细生成模块中，Iin2为粗补全图像，Igt2为真实值；λc为每个通道对损失的贡献权重，G(Iin1)和G(Iin2)为生成器的补全结果，C、H、W分别表示图像的通道数、高度和宽度，|·|1代表L1范式；
第三部分④为注意力损失：
其中：矩阵A为空间注意力模块生成的注意力图，矩阵M为有云区域的二值图像，通过计算有云和无云图像的差值得到，||·||2为L2范式。
3.基于时序依赖和边缘细化的海温图像鲁棒补全系统，用于实现如权利要求1-2任一项所述的基于时序依赖和边缘细化的海温图像鲁棒补全方法，其特征在于，包括时序特征提取模块、条件粗生成模块、边缘细生成模块，所述时序特征提取模块包括序列注意力模块和时间注意力模块，对于输入的包含缺失图像的时序块，所述时序特征提取模块提取特征图F，输入序列注意力模块和时间注意力模块，输出特征图F″，所述条件粗生成模块的输入为缺失图像和时序特征提取模块输出的特征图F″，输出粗补全图像；所述边缘细生成模块的输入为条件粗生成模块生成的粗补全图像，输出最终补全的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410396552.2A CN117994172B (zh) | 2024-04-03 | 2024-04-03 | 基于时序依赖和边缘细化的海温图像鲁棒补全方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410396552.2A CN117994172B (zh) | 2024-04-03 | 2024-04-03 | 基于时序依赖和边缘细化的海温图像鲁棒补全方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117994172A CN117994172A (zh) | 2024-05-07 |
| CN117994172B true CN117994172B (zh) | 2024-06-18 |
Family
ID=90894556
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410396552.2A Active CN117994172B (zh) | 2024-04-03 | 2024-04-03 | 基于时序依赖和边缘细化的海温图像鲁棒补全方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117994172B (zh) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738940B (zh) * | 2020-06-02 | 2022-04-12 | 大连理工大学 | 一种人脸图像眼部补全方法 |
| CN112686816A (zh) * | 2020-12-25 | 2021-04-20 | 天津中科智能识别产业技术研究院有限公司 | 一种基于内容注意力机制和掩码先验的图像补全方法 |
| CN113469906B (zh) * | 2021-06-24 | 2023-02-07 | 湖南大学 | 一种用于图像修复的跨层全局和局部感知网络的方法 |
| CN114612315A (zh) * | 2022-01-06 | 2022-06-10 | 东南数字经济发展研究院 | 一种基于多任务学习的高分辨率影像缺失区域重建方法 |
| CN116051936B (zh) * | 2023-03-23 | 2023-06-20 | 中国海洋大学 | 基于时空分离外部注意力的叶绿素浓度有序补全方法 |
| CN116596784A (zh) * | 2023-05-12 | 2023-08-15 | 中国海洋大学 | 基于多尺度异常的海表面温度遥感图像补全方法 |
| CN116665071A (zh) * | 2023-05-31 | 2023-08-29 | 郑州大学 | 一种基于多尺度注意力的遥感影像建筑物并行提取方法 |
| CN117710508A (zh) * | 2023-12-26 | 2024-03-15 | 成都信息工程大学 | 基于改进条件生成对抗网络的近地表温度反演方法和装置 |
-
2024
- 2024-04-03 CN CN202410396552.2A patent/CN117994172B/zh active Active
Non-Patent Citations (2)
| Title |
|---|
| Inpainting of Remote Sensing Sea Surface Temperature image with Multi-scale Physical Constraints;Qichen Wei et al.;《2023 IEEE International Conference on Multimedia and Expo (ICME)》;20231231;第492-497页 * |
| 基于条件生成对抗插补网络的双重判别器缺失值插补算法;粟佳 等;《计算机应用》;20240108;第1-7页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117994172A (zh) | 2024-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111640159A (zh) | 一种基于孪生卷积神经网络的遥感影像变化检测方法 | |
| WO2019136591A1 (zh) | 基于弱监督时空级联神经网络的显著目标检测方法及系统 | |
| Batsos et al. | Recresnet: A recurrent residual cnn architecture for disparity map enhancement | |
| CN111340738A (zh) | 一种基于多尺度渐进融合的图像去雨方法 | |
| CN112884758B (zh) | 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统 | |
| CN115272777B (zh) | 面向输电场景的半监督图像解析方法 | |
| CN114419406A (zh) | 图像变化检测方法、训练方法、装置和计算机设备 | |
| CN116543168A (zh) | 一种基于多维度图像信息融合的垃圾图像去噪方法 | |
| CN113096133A (zh) | 一种基于注意力机制的语义分割网络的构建方法 | |
| CN112785629A (zh) | 一种基于无监督深度光流网络的极光运动表征方法 | |
| CN117994172B (zh) | 基于时序依赖和边缘细化的海温图像鲁棒补全方法及系统 | |
| CN116823610A (zh) | 一种基于深度学习的水下图像超分辨率生成方法和系统 | |
| CN110942463B (zh) | 一种基于生成对抗网络的视频目标分割方法 | |
| CN113962332B (zh) | 基于自优化融合反馈的显著目标识别方法 | |
| CN115661451A (zh) | 一种深度学习单帧红外弱小目标高分辨率分割方法 | |
| CN113657403B (zh) | 图像处理方法及图像处理网络的训练方法 | |
| Ren et al. | SCGA‐Net: Skip Connections Global Attention Network for Image Restoration | |
| Xing et al. | Improved shallow-uwnet for underwater image enhancement | |
| CN113505650A (zh) | 地形特征线提取方法及装置、设备 | |
| Wang et al. | Feature decoupled autoencoder: Semi-supervised learning for image dehazing | |
| CN111899161A (zh) | 一种超分辨率重建方法 | |
| Zheng et al. | A Dual Encoder-Decoder Network for Self-supervised Monocular Depth Estimation | |
| CN117974693B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN112288738B (zh) | 基于深度学习的单幅图像去雪花方法、装置及存储介质 | |
| CN117315387A (zh) | 一种工业缺陷图像生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |