CN116051936B - 基于时空分离外部注意力的叶绿素浓度有序补全方法 - Google Patents

基于时空分离外部注意力的叶绿素浓度有序补全方法 Download PDF

Info

Publication number
CN116051936B
CN116051936B CN202310286261.3A CN202310286261A CN116051936B CN 116051936 B CN116051936 B CN 116051936B CN 202310286261 A CN202310286261 A CN 202310286261A CN 116051936 B CN116051936 B CN 116051936B
Authority
CN
China
Prior art keywords
space
time
attention
chlorophyll concentration
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310286261.3A
Other languages
English (en)
Other versions
CN116051936A (zh
Inventor
聂婕
王京禹
左子杰
温琦
魏志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202310286261.3A priority Critical patent/CN116051936B/zh
Publication of CN116051936A publication Critical patent/CN116051936A/zh
Application granted granted Critical
Publication of CN116051936B publication Critical patent/CN116051936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理技术领域，公开了基于时空分离外部注意力的叶绿素浓度有序补全方法，将来自某一时间或空间的缺失的叶绿素浓度场样本经过粗修复网络处理获得粗修复叶绿素浓度场，输入细修复网络，经过细修复网络生成最终的补全后的叶绿素浓度场图像；本发明合理利用叶绿素浓度场数据间的时间和空间关联关系，获得更加精确和有序的补全结果。

Description

基于时空分离外部注意力的叶绿素浓度有序补全方法
技术领域
本发明属于图像处理技术领域，特别涉及基于时空分离外部注意力的叶绿素浓度有序补全方法。
背景技术
叶绿素浓度数据受到传感器限制和恶劣环境的影响，常常存在大量信息缺失，降低了使用率，阻碍了后续解释。为了解决这个问题，可以将图像修复补全技术应用到叶绿素浓度场补全。
图像修复是通过利用现有的纹理预测缺失区域实现图像补全的过程。它包括两个关键过程：第一步是根据现有像素获得粗修复图像，第二步是通过优化来使得生成的像素具有良好的全局一致性和局部精细纹理。然而，现有方法面临着生成区域局部像素不连续的问题，导致产生纹理模糊和结构扭曲的内容。局部像素的不连续性主要是由于这些方法没有有效地利用上下文信息，忽略了缺失区域的语义相关性和特征连续性。
为了解决这个问题，文章Coherent Semantic Attention for Image Inpainting公开了一种保留上下文结构并融合语义相关性的生成模型，该方法的优势在于提出了一种连贯语义注意层（CSA），首先，用已知区域中最相似的特征块初始化未知区域中的每个未知特征块；然后，通过考虑与相邻特征块之间的相关关系，对每个特征块进行迭代优化。因此，第一步保证了全局语义的一致性，第二步则保持了局部特征的一致性。
但是，上述方法存在两个方面的缺陷，下面逐一展开论述：
第一，这些方法未能合理利用物理场数据间的时间和空间关联关系，忽视了叶绿素浓度数据的时空特征，无法保证时空数据补全中的时空有序性约束。在叶绿素浓度场中，数值与自然环境中叶绿素的浓度的数值一致。因此，该约束也应该体现在同一时间范围的叶绿素浓度场中、一个空间范围中的数值点与其相邻空间数值点之间的数值关系中，以及在同一空间范围的叶绿素浓度场中、一个时间范围中的数值点和其相邻时间的数值点之间的关系中。现有方法在模型训练过程中，对每个样本独立建模，因此所拟合出的模型与样本的输入顺序无关。实际上，不同时间和空间中的叶绿素浓度存在一定关联关系，在空间范围上，两个相邻的海域的叶绿素浓度间存在关联，如渤海叶绿素浓度会受到黄海叶绿素浓度的影响；在时间范围上，两个相邻时间段的叶绿素浓度间存在关联，如二月份的叶绿素浓度由一月份的叶绿素浓度演变而来，必然会受到一月份叶绿素浓度的影响，三月份的叶绿素浓度可能会受到一月份和二月份叶绿素浓度的影响。而传统的建模方法对单个样本建模，未考虑样本间的关联关系，这就导致随意打乱样本顺序也不会影响生成结果，完全忽略了时间和空间顺序上的特点，违背了时空物理特性，从而导致补全数据难以遵循时空变化规律。
第二，忽视了不同时间和空间中叶绿素浓度变化规律的差异性。叶绿素浓度在不同空间和不同时间范围内的物理规律具有差异性。例如，在某个海域，一年内在冬末春初和夏末秋初时叶绿素浓度平均浓度最高，东部海域的年平均叶绿素浓度一般高于西部海域。传统方法对所有样本统一建模，所得到的模型不具备特殊性，不能刻画不同时时间和不同空间叶绿素浓度场的具有差异性的物理规律，这导致在某些情况下无法得到令人满意的结果，例如模型训练出一套符合秋季叶绿素浓度分布物理规律的模型，而我们要对夏季叶绿素浓度进行补全。
发明内容
针对现有技术存在的不足，本发明提供基于时空分离外部注意力的叶绿素浓度有序补全网络及方法，以针对不同时间和不同空间，分别补全符合叶绿素浓度变化规律的能够保证补全数据有序性的叶绿素浓度场。具体是，（1）引入了时空注意力池，为每个空间和时间设计了独立的外部注意力存储空间，存储历史空间和时间信息；（2）利用当前样本和当前样本所归属的空间和时间注意力存储空间中的历史信息，分别计算时间和空间上拥有历史信息的当前样本的注意力特征，并用其更新对应的时空注意力池中的数据，从而保证生成的叶绿素浓度场的有序性；（3）使用显著特征交叉融合方法挖掘显著的时空有序性特征，并挖掘时空特性间的关联，以针对不同空间和时间范围的样本训练符合其时空变化规律的网络模型。因此，本发明合理利用物理场数据间的时间和空间关联关系，并对不同时间和不同空间的叶绿素浓度场进行符合其变化规律的建模，获得更加精确和有序的补全结果。
为了解决上述技术问题，本发明采用的技术方案是：
基于时空分离外部注意力的叶绿素浓度有序补全方法，包括以下步骤：
步骤S1、构建基于时空分离外部注意力的叶绿素浓度有序补全网络，并训练。
所述基于时空分离外部注意力的叶绿素浓度有序补全网络包括粗修复网络、细修复网络和判别器，粗修复网络和细修复网络构成生成器，通过生成器和判别器完成网络的训练，方法如下：
首先输入来自某一时间、某一空间的表示叶绿素浓度场的原始图像Igt，从原始图像Igt中获取来自该时间和空间的缺失的叶绿素浓度场样本Iin，作为粗修复网络的输入。
然后，所述粗修复网络将输入的来自某一时间或空间的缺失的叶绿素浓度场样本Iin处理获得粗修复叶绿素浓度场Ip，与缺失的叶绿素浓度场样本Iin一起作为细修复网络的输入。
所述细修复网络包括编码器、时空分离外部注意力模块和解码器，所述时空分离外部注意力模块包括三部分，分别是时空注意力池、GRU模块和时空有序显著性特征交叉融合模块，首先时空注意力池包括外部时间注意力池和外部空间注意力池，为每个空间和时间设计一个独立的外部注意力存储空间，存储历史空间和时间信息，然后通过GRU模块对时空注意力池中的信息进行更新，最后使用时空有序显著性特征交叉融合模块获得具有有序性的显著时空融合特征F´e；
经过细修复网络中的编码器生成嵌入特征Fe，将嵌入特征Fe输入时空分离外部注意力模块，生成特征F´e，然后将F´e输入解码器生成最终的叶绿素浓度场图像Ir；
最后，所述判别器判断生成的叶绿素浓度场图像Ir是否真实，并完成生成器和判别器的训练。
步骤S2、将缺失图像输入步骤S1训练好的基于时空分离外部注意力的叶绿素浓度有序补全网络中，首先，经过粗修复网络获得粗修复叶绿素浓度图像，然后输入细修复网络，输出补全后的叶绿素浓度图像。
进一步的，外部时间注意力池和外部空间注意力池都是通过矩阵来表示，所述时空分离外部注意力模块的工作过程如下：在细修复网络中，由编码器生成的嵌入特征Fe输入到时空分离外部注意力模块中，判断缺失的叶绿素浓度场样本Iin来源于哪一个空间和哪一个时间范围，以空间为例，若样本来源于第i个空间样本，则判断该样本是否为第i个空间中输入的第一个样本，若是，则计算其外部空间自注意力，输出空间特征Fse，并将计算自注意力过程中生成的特征Qi、Ki，Vi填入外部空间注意力池的矩阵中的对应位置；
若该样本不是第i个空间中输入的第一个样本，则通过GRU模块更新外部空间注意力池矩阵中的对应位置，并利用更新后的特征计算其外部空间自注意力，输出空间特征Fse；
时间范围与空间同理，最终生成时间特征Fte；
最后将空间特征Fse和时间特征Fte进行显著特征交叉融合，生成特征F´e。
进一步的，所述时空有序显著性特征交叉融合模块进行显著特征交叉融合时，对空间特征Fse进行像素级最大池化，并将池化后的特征与空间特征Fse中每个通道的对应元素相乘，获得空间显著特征Fses，时间特征Fte同理，获得时间显著特征Fset；
对空间显著特征Fses分别采用三个不同的1*1卷积层进行卷积操作获得特征Fsev、Fsek和Fseq；对时间显著特征Fset也分别采用三个不同的1*1卷积层进行卷积操作获得特征Ftek、Ftek和Fteq；
将Ftek的转置与Fseq进行矩阵相乘，并进行Sigmoid函数处理，获得两者间的相关性矩阵，将相关性矩阵与Ftev进行矩阵相乘获得嵌入时序变化规律的空间特征F´se；
将Fsek的转置与Fteq进行矩阵相乘，并进行Sigmoid函数处理，获得两者间的相关性矩阵，将相关性矩阵与Fsev进行矩阵相乘获得嵌入空间变化规律的时序特征F´te;
最后将F´se与F´te对应元素相加获得具有有序性的显著时空融合特征F´e。
进一步的，在网络模型训练过程，在进行参数更新时，时空分离外部注意力模块中只更新输入样本所属的空间和时间范围中的参数，而粗修复网络、细修复网络中的编码器和解码器中的参数不区分样本，每次都进行更新，损失函数公式如下：
Figure SMS_1
，
损失函数
Figure SMS_2
分为三部分，其中/>
Figure SMS_3
为重建损失，/>
Figure SMS_4
为一致性损失，/>
Figure SMS_5
为细化损失，/>
Figure SMS_6
、/>
Figure SMS_7
、/>
Figure SMS_8
均为超参数。
进一步的，在计算一致性损失
Figure SMS_9
时，使用预训练好的VGG-16网络在原始图像中提取高级特征空间，损失函数公式如下：
Figure SMS_10
其中，
Figure SMS_11
为原始图像，/>
Figure SMS_12
表示来自于第i个空间和第j个时间范围的粗修复图像和原始缺失图像的拼接结果，/>
Figure SMS_13
表示编码器中CSA层特征空间中缺失区域中第y个位置对应的元素，/>
Figure SMS_14
表示解码器中CSA层特征空间中缺失区域中第y个位置对应的元素，/>
Figure SMS_15
为通过预训练好的VGG-16网络提取出的原始图像的缺失区域中第y个位置对应的元素，M为所有的缺失区域。
与现有技术相比，本发明优点在于：
（1）传统的基于插值的时空物理场补全方法，如dineof，根据现有的时空物理场数据计算缺失数据进行补全。这种传统方法具有以下缺点：第一，它将所有数据看成一个样本，并将缺失数据一次性补全，可能会导致所补全的区域缺失样本特性；第二，dineof方法将空间中的数值点排列成一行进行计算，将二维数据转化成了一维，损失了空间结构性；第三，如果想得到精确的补全数据，则需要利用大量现有数据进行计算，而通过丰富的数据进行计算的同时，不可避免的增加了计算难度。与之不同的是，通过本发明的图像补全深度学习方法对时空物理场进行补全，将时空数据划分成大量独立样本挖掘叶绿素浓度场变化规律，并对不同空间和不同时间范围中的叶绿素浓度进行结构化建模，通过挖掘出的规律进行缺失叶绿素浓度场的补全，在保证补全精度的同时，降低了计算难度。
（2）本发明设计了外部空间注意力池和外部时间注意力池，为来同一空间和同一时间范围的样本分配各自的注意力特征空间，而不是来自不同空间和时间范围的样本统一建模，有利于训练针对不同空间和时间范围物理变化规律的叶绿素浓度场修复模型。在模型训练过程中，为每个空间和每个时间范围分配一个特征空间，对来自不同时间和不同空间的样本分别建模，以拟合符合不同空间和不同时间范围叶绿素浓度变化规律的具有差异性的修复模型，而不是对拥有不同变化规律的空间和时间范围中的叶绿素浓度统一建模。
（3）本发明引入外部注意力机制，利用来自同一空间的样本对历史空间特征进行更新，以进行样本间空间关联关系建模；类似的，利用来自同一时间范围的样本对历史时间特征进行更新，以进行样本间时间关联关系建模。通过建模样本间时空关联关系，能够训练出符合时空物理变化规律的叶绿素浓度场补全模型。
（4）运用时空有序显著特征交叉融合方法实现空间有序特征和时间有序特征的融合，以充分挖掘样本的时空变化规律。首先提取时间有序特征和空间有序显著特征，弱化无效特征，然后对显著的时间和空间有序特征进行交叉注意力建模，进一步强化了样本间的时空关联关系，提升了补全叶绿素浓度场数据的合理性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的网络结构图；
图2为本发明的时空分离外部注意力模块的数据处理流程图；
图3为基于GRU的外部空间注意力更新机制示意图；
图4为时空有序显著特征交叉融合机制示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的说明。
本实施例提供了基于时空分离外部注意力的叶绿素浓度有序补全网络，包括粗修复网络、细修复网络和判别器，粗修复网络和细修复网络构成生成器，在现有的图像补全网络中重新设计了细修复网络，增加一个时空分离外部注意力模块，该模块的创新性在于：（1）该模块中引入了一个时空注意力池，为每个空间设计一个独立的外部空间注意力存储空间，存储历史空间信息，为每个时间设计一个独立的外部时间注意力存储空间，存储历史时间信息；（2）该模块利用当前样本和当前样本所归属的空间注意力存储空间以及时间注意力存储空间中存储的历史信息，分别计算时间上和空间上的拥有历史信息的当前样本的注意力特征，并用其分别更新时间和空间注意力池中的对应数据，即针对同一空间或同一时间范围中的样本，建模了其之间的关联关系，保证了生成叶绿素浓度场的有序性；（3）最后融合更新后的时空数据，以针对来不同空间范围和时间范围的样本训练符合其时空变化规律的网络模型。其中关于生成器和判别器如何训练采用的是现有方法，通过交替训练生成器和判别器提高数据生成质量，关于训练的详细内容此处不再赘述。
作为一个优选的实施方式，下面结合图1，对基于时空分离外部注意力的叶绿素浓度有序补全网络，进行详细说明。
一、粗修复网络
本实施例的粗修复网络使用基于U-net的神经网络，粗修复网络用于将输入的来自某一时间或空间的缺失的叶绿素浓度场样本Iin处理获得粗修复叶绿素浓度场Ip，与缺失的叶绿素浓度场样本Iin一起，作为细修复网络的输入。
二、细修复网络
细修复网络包括编码器、时空分离外部注意力模块和解码器，细修复网络的编码器解码器结构采用现有技术设计的连贯语义注意层CSA (Coherent semanticattention)，CSA层嵌入编码器的第四层，CSA层考虑了生成的补丁之间的相关性，分两个阶段实现：搜索和生成，编码器解码器的工作原理可参考现有技术，此处不再过多赘述。
所述时空分离外部注意力模块包括三部分，分别是时空注意力池、GRU模块和时空有序显著性特征交叉融合模块，首先时空注意力池包括外部时间注意力池和外部空间注意力池，为每个空间和时间设计一个独立的外部注意力存储空间，存储历史空间和时间信息，然后通过GRU模块对时空注意力池中的信息进行更新，最后使用时空有序显著性特征交叉融合模块获得具有有序性的显著时空融合特征F´e。
经过细修复网络中的编码器生成嵌入特征Fe，将嵌入特征Fe输入时空分离外部注意力模块，生成特征F´e，然后将F´e输入解码器生成最终的叶绿素浓度场Ir。
在应用时，首先将来自某一时间或空间的缺失的叶绿素浓度场样本Iin输入粗修复网络获得粗修复叶绿素浓度场Ip。使用缺失叶绿素浓度场条件下的粗修复叶绿素浓度场作为细化网络的输入，经过细修复网络中的编码器生成嵌入特征Fe，其大小为h*w*c，将嵌入特征Fe输入时空分离外部注意力模块，生成特征F´e，其大小为h*w*c，然后将F´e输入解码器生成最终的叶绿素浓度场Ir。最后将Ir送入判别器，所述判别器用于判断生成的叶绿素浓度场Ir是否真实。
作为一个优选的实施方式，本实施例提供一种基于时空分离外部注意力的叶绿素浓度有序补全方法。
步骤S1、构建基于时空分离外部注意力的叶绿素浓度有序补全网络，并训练。
所述基于时空分离外部注意力的叶绿素浓度有序补全网络包括粗修复网络、细修复网络和判别器，粗修复网络和细修复网络构成生成器，通过生成器和判别器完成网络的训练，方法如下：
首先输入来自某一时间、某一空间的表示叶绿素浓度场的原始图像Igt，从原始图像Igt中获取来自该时间和空间的缺失的叶绿素浓度场样本Iin，作为粗修复网络的输入；
然后，所述粗修复网络将输入的来自某一时间或空间的缺失的叶绿素浓度场样本Iin处理获得粗修复叶绿素浓度场Ip，与缺失的叶绿素浓度场样本Iin一起作为细修复网络的输入。
所述细修复网络包括编码器、时空分离外部注意力模块和解码器，所述时空分离外部注意力模块包括三部分，分别是时空注意力池、GRU模块和时空有序显著性特征交叉融合模块，首先时空注意力池包括外部时间注意力池和外部空间注意力池，为每个空间和时间设计一个独立的外部注意力存储空间，存储历史空间和时间信息，然后通过GRU模块对时空注意力池中的信息进行更新，最后使用时空有序显著性特征交叉融合模块获得具有有序性的显著时空融合特征F´e；
经过细修复网络中的编码器生成嵌入特征Fe，将嵌入特征Fe输入时空分离外部注意力模块，生成特征F´e，然后将F´e输入解码器生成最终的叶绿素浓度场图像Ir；
最后，所述判别器判断生成的叶绿素浓度场图像Ir是否真实，并完成生成器和判别器的训练。
步骤S2、将缺失图像输入步骤S1训练好的基于时空分离外部注意力的叶绿素浓度有序补全网络中，首先，经过粗修复网络获得粗修复叶绿素浓度图像，然后输入细修复网络，输出补全后的叶绿素浓度图像。
结合图2所示，下面对时空分离外部注意力模块的具体流程进行详细介绍。
在细修复网络中，由编码器生成的嵌入特征Fe输入到时空分离外部注意力模块中，判断缺失的叶绿素浓度场样本Iin来源于哪一个空间和哪一个时间范围，以空间为例，若样本来源于第i个空间样本，则判断该样本是否为第i个空间中输入的第一个样本，若是，则计算其外部空间自注意力，输出空间特征Fse，并将计算自注意力过程中生成的特征Qi、Ki，Vi填入外部空间注意力池的矩阵中的对应位置。
若该样本不是第i个空间中输入的第一个样本，则通过GRU模块更新外部空间注意力池矩阵中的对应位置，并利用更新后的特征计算其外部空间自注意力，输出空间特征Fse。
时间范围与空间同理，最终生成时间特征Fte。
最后将空间特征Fse和时间特征Fte进行显著特征交叉融合，生成特征F’e。
下面以举例的方式分别说明时空分离外部注意力模块中的外部时间注意力池、外部空间注意力池、GRU模块和时空有序显著性特征交叉融合模块。
1、外部时间注意力池和外部空间注意力池
外部时间注意力池和外部空间注意力池都是通过矩阵来表示。若样本来自于n个空间和m个时间范围，则外部空间注意力池的大小为（n*h）*（3*w）*c，
存放着对来自每个空间范围的样本作为输入时得到的特征Fe用三个不同的1*1卷积核进行卷积操作后获得的特征，按照以空间顺序为列，以不同卷积操作为行，拼接生成的特征Qs，Ks以及Vs，其大小都为（n*h）*w*c。
外部时间注意力池的大小为（m*h）*（3*w）*c，存放着对来自每个时间范围的样本作为输入时得到的特征Fe用三个不同的1*1卷积核进行卷积操作后获得的特征，按照以时间顺序为列，以不同卷积操作为行，拼接生成的特征Qt，Kt以及Vt，其大小都为（m*h）*w*c。
若样本来源于第i个空间，并且该样本为第一个属于第i空间的样本，则将其通过三个不同的1*1卷积生成的特征Qsi，Ksi以及特征Vsi分别存放入与之对应的外部空间注意力池矩阵中的第(1,w)、(w+1,2w)、(2w+1,3w)行，第((i-1)h,ih)列。若不是第一个样本，则将更新后的特征Q´si，K´si以及特征V´si更新到与之对应的外部空间注意力池矩阵中的第(1,w)、(w+1,2w)、(2w+1,3w)行，第((i-1)h,ih)列。
若样本来源于第j个时间，并且该样本为第一个属于第j个时间范围的样本，则将其通过三个不同的1*1卷积生成的特征Qtj，Ktj以及特征Vtj存放入与之对应的外部空间注意力池矩阵中的第(1,w)、(w+1,2w)、(2w+1,3w)行，第((j-1)h,jh)列。若不是第一个样本，则将更新后的特征Q´tj，K´tj以及特征V´tj更新到与之对应的外部空间注意力池矩阵中的第(1,w)、(w+1,2w)、(2w+1,3w)行，第((j-1)h,jh)列。
2、基于GRU模块的外部空间注意力更新
为了建模叶绿素浓度场在时间上和空间上历史信息对当前的影响，本实施例引入GRU模块，对Qs，Ks，Vs以及Qt，Kt，Vt进行更新，更新方法类似；结合图3所示，以输入x为来自第i个空间的样本，更新网络生成的Qsi为例展开详细说明。
Qsi的特征值对应当前外部空间注意力矩阵中(2w+1,3w)行，((i-1)h,ih)列中的数值。Qx为输入本次来自于空间i的样本通过1*1的卷积计算所得的特征。首先，将Qsi和Qx拼接，然后对拼接后的特征同时进行两个卷积操作，并对卷积后的两个特征分别进行Sigmoid函数处理，获得特征rx和特征zx。将rx和Qsi对应元素相乘，并与Qx拼接，然后对拼接后的特征进行卷积操作，并对卷积后的特征进行Tanh函数处理，获得特征Q´x。最后将（1-zx）与Qsi对应元素相乘，并和zx与Q´x对应元素相乘的结果相加获得更新后的特征Q´si。公式表示如下所示：
Figure SMS_16
其中，
Figure SMS_17
表示Sigmoid激活函数，tanh表示Tanh激活函数；Wr、Wz、WQ’表示卷积核；“*”表示卷积操作；“·”表示对应元素相乘；“|”表示拼接操作。
3、时空有序显著性特征交叉融合
为了挖掘显著的时空有序性特征，并挖掘时空特性间的关联，本实施例设计了显著特征交叉融合方法。时空有序显著性特征交叉融合模块的输入为大小为h*w*c的空间特征Fse和大小为h*w*c的时间特征Fte。
结合图4所示，进行显著特征交叉融合时，对空间特征Fse进行像素级最大池化，并将池化后的特征与空间特征Fse中每个通道的对应元素相乘，获得空间显著特征Fses，大小为h*w*c。时间特征Fte同理，获得时间显著特征Fset，大小为h*w*c。
对空间显著特征Fses分别采用三个不同的1*1卷积层进行卷积操作获得特征Fsev、Fsek和Fseq；对时间显著特征Fset也分别采用三个不同的1*1卷积层进行卷积操作获得特征Ftek、Ftek和Fteq。
将Ftek的转置与Fseq进行矩阵相乘，并进行Sigmoid函数处理，获得两者间的相关性矩阵，将相关性矩阵与Ftev进行矩阵相乘获得嵌入时序变化规律的空间特征F´se。
将Fsek的转置与Fteq进行矩阵相乘，并进行Sigmoid函数处理，获得两者间的相关性矩阵，将相关性矩阵与Fsev进行矩阵相乘获得嵌入空间变化规律的时序特征F´te。
最后将F´se与F´te对应元素相加获得具有有序性的显著时空融合特征F´e。
需要说明的是，关于在网络模型训练过程，在进行参数更新时，时空分离外部注意力模块中只更新输入样本所属的空间和时间范围中的参数，而粗修复网络、细修复网络中的编码器和解码器中的参数不区分样本，每次都进行更新。
损失函数公式如下：
Figure SMS_18
损失函数
Figure SMS_19
分为三部分，其中/>
Figure SMS_20
为重建损失，/>
Figure SMS_21
为一致性损失，/>
Figure SMS_22
为细化损失，/>
Figure SMS_23
、/>
Figure SMS_24
、/>
Figure SMS_25
均为超参数。
其中重建损失和细化损失与现有技术方法一致，此处不再赘述。
一致性损失与现有技术不同，在计算一致性损失
Figure SMS_26
时，本实施例使用ImageNet预训练好的VGG-16网络在原始图像中提取高级特征空间（即通过VGG-16网络提取原始图像的深层特征），并将这个高级特征空间与编码器中的CSA层和其对应的解码器中的CSA层计算L2距离，以保证直接优化CSA层（其中关于编码器解码器的结构，也就是CSA层这部分内容是现有技术此处不再赘述），同时保证编码器和解码器对应层的语义一致性，损失函数公式如下：
Figure SMS_27
其中，
Figure SMS_28
为原始图像，/>
Figure SMS_29
表示来自于第i个空间和第j个时间范围的粗修复图像和原始缺失图像的拼接结果，/>
Figure SMS_30
表示编码器中CSA层特征空间中缺失区域中第y个位置对应的元素，/>
Figure SMS_31
表示解码器中CSA层特征空间中缺失区域中第y个位置对应的元素，/>
Figure SMS_32
为通过预训练好的VGG-16网络提取出的原始图像的缺失区域中第y个位置对应的元素，M为所有的缺失区域。
作为一个优选的实施方式，本实施例还提供一种基于时空分离外部注意力的叶绿素浓度有序补全方法，包括以下步骤：
步骤S1、构建如前所述的基于时空分离外部注意力的叶绿素浓度有序补全网络；
步骤S2、将缺失图像输入步骤S1构建好的补全网络中，首先，经过粗修复网络获得粗修复叶绿素浓度图像，然后输入细修复网络，输出补全后的叶绿素浓度图像。
综上所述，本发明将图像补全方法应用于叶绿素浓度场补全问题上。为来自不同时间和不同空间的样本分别建模，以拟合符合不同空间和不同时间范围叶绿素浓度变化规律的具有差异性的叶绿素浓度补全网络模型。本发明通过引入时空分离外部注意力，保证叶绿素浓度场补全过程中样本间的时空有序性约束；并运用时空有序显著特征交叉融合方法实现空间有序特征和时间有序特征的融合，以充分挖掘样本的时空变化规律。
需要说明的是，本发明的补全网络及方法不仅适用于处理叶绿素浓度场补全，还可以用于处理其他场景下的需要融合时序特征挖掘时空变化规律的的残缺数据图像。
当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。

Claims (3)

1.基于时空分离外部注意力的叶绿素浓度有序补全方法，其特征在于，包括以下步骤：
步骤S1、构建基于时空分离外部注意力的叶绿素浓度有序补全网络，并训练；
所述基于时空分离外部注意力的叶绿素浓度有序补全网络包括粗修复网络、细修复网络和判别器，粗修复网络和细修复网络构成生成器，通过生成器和判别器完成网络的训练，方法如下：
首先输入来自某一时间、某一空间的表示叶绿素浓度场的原始图像Igt，从原始图像Igt中获取该时间和空间的缺失的叶绿素浓度场样本Iin，作为粗修复网络的输入；
然后，所述粗修复网络将输入的来自某一时间或空间的缺失的叶绿素浓度场样本Iin处理获得粗修复叶绿素浓度场Ip，与缺失的叶绿素浓度场样本Iin一起作为细修复网络的输入，
所述细修复网络包括编码器、时空分离外部注意力模块和解码器，经过细修复网络中的编码器生成嵌入特征Fe，将嵌入特征Fe输入时空分离外部注意力模块，所述时空分离外部注意力模块包括三部分，分别是时空注意力池、GRU模块和时空有序显著性特征交叉融合模块，首先时空注意力池包括外部时间注意力池和外部空间注意力池，为每个空间和时间设计一个独立的外部注意力存储空间，存储历史空间和时间信息，然后通过GRU模块对时空注意力池中的信息进行更新，最后使用时空有序显著性特征交叉融合模块获得具有有序性的显著时空融合特征F′e；其中外部时间注意力池和外部空间注意力池都是通过矩阵来表示，所述时空分离外部注意力模块的工作过程如下：由编码器生成的嵌入特征Fe输入到时空分离外部注意力模块中，判断缺失的叶绿素浓度场样本Iin来源于哪一个空间和哪一个时间范围，以空间为例，若样本来源于第i个空间样本，则判断该样本是否为第i个空间中输入的第一个样本，若是，则计算其外部空间自注意力，输出空间特征Fse，并将计算自注意力过程中生成的特征Qi、Ki，Vi填入外部空间注意力池的矩阵中的对应位置；若该样本不是第i个空间中输入的第一个样本，则通过GRU模块更新外部空间注意力池矩阵中的对应位置，并利用更新后的特征计算其外部空间自注意力，输出空间特征Fse；时间范围与空间同理，最终生成时间特征Fte；然后将空间特征Fse和时间特征Fte进行显著特征交叉融合，生成具有有序性的显著时空融合特征F′e，其中所述时空有序显著性特征交叉融合模块进行显著特征交叉融合时，对空间特征Fse进行像素级最大池化，并将池化后的特征与空间特征Fse中每个通道的对应元素相乘，获得空间显著特征Fses，时间特征Fte同理，获得时间显著特征Fset；
对空间显著特征Fses分别采用三个不同的1*1卷积层进行卷积操作获得特征Fsev、Fsek和Fseq；对时间显著特征Fset也分别采用三个不同的1*1卷积层进行卷积操作获得特征Ftek、Ftek和Fteq；
将Ftek的转置与Fseq进行矩阵相乘，并进行Sigmoid函数处理，获得两者间的相关性矩阵，将相关性矩阵与Ftev进行矩阵相乘获得嵌入时序变化规律的空间特征F′se；
将Fsek的转置与Fteq进行矩阵相乘，并进行Sigmoid函数处理，获得两者间的相关性矩阵，将相关性矩阵与Fsev进行矩阵相乘获得嵌入空间变化规律的时序特征F′te；
将F′se与F′te对应元素相加获得具有有序性的显著时空融合特征F′e；将F′e输入解码器生成最终的叶绿素浓度场图像Ir；
最后，所述判别器判断生成的叶绿素浓度场图像Ir是否真实，并完成生成器和判别器的训练；步骤S2、将缺失图像输入步骤S1训练好的基于时空分离外部注意力的叶绿素浓度有序补全网络中，首先，经过粗修复网络获得粗修复叶绿素浓度图像，然后输入细修复网络，输出补全后的叶绿素浓度图像。
2.根据权利要求1所述的基于时空分离外部注意力的叶绿素浓度有序补全方法，其特征在于，在网络模型训练过程，在进行参数更新时，时空分离外部注意力模块中只更新输入样本所属的空间和时间范围中的参数，而粗修复网络、细修复网络中的编码器和解码器中的参数不区分样本，每次都进行更新，损失函数公式如下：
L总＝λrLre+λcLsc+λdDR
损失函数L总分为三部分，其中Lre为重建损失，Lsc为一致性损失，DR为细化损失，λr、λc、λd均为超参数。
3.根据权利要求2所述的基于时空分离外部注意力的叶绿素浓度有序补全方法，其特征在于，在计算一致性损失Lsc时，使用预训练好的VGG-16网络在原始图像中提取高级特征空间，损失函数公式如下：
Figure FDA0004231971900000021
其中，Igt为原始图像，Iij表示来自于第i个空间和第j个时间范围的粗修复图像和原始缺失图像的拼接结果，CSA(Iij)y表示编码器中CSA层特征空间中缺失区域中第y个位置对应的元素，CSAd(Iij)y表示解码器中CSA层特征空间中缺失区域中第y个位置对应的元素，Φn(Igt)y为通过预训练好的VGG-16网络提取出的原始图像的缺失区域中第y个位置对应的元素，M为所有的缺失区域。
CN202310286261.3A 2023-03-23 2023-03-23 基于时空分离外部注意力的叶绿素浓度有序补全方法 Active CN116051936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310286261.3A CN116051936B (zh) 2023-03-23 2023-03-23 基于时空分离外部注意力的叶绿素浓度有序补全方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310286261.3A CN116051936B (zh) 2023-03-23 2023-03-23 基于时空分离外部注意力的叶绿素浓度有序补全方法

Publications (2)

Publication Number Publication Date
CN116051936A CN116051936A (zh) 2023-05-02
CN116051936B true CN116051936B (zh) 2023-06-20

Family

ID=86133458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310286261.3A Active CN116051936B (zh) 2023-03-23 2023-03-23 基于时空分离外部注意力的叶绿素浓度有序补全方法

Country Status (1)

Country Link
CN (1) CN116051936B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117009750B (zh) * 2023-09-28 2024-01-02 北京宝隆泓瑞科技有限公司 一种用于机器学习的甲烷浓度数据补全方法、装置
CN117994172A (zh) * 2024-04-03 2024-05-07 中国海洋大学 基于时序依赖和边缘细化的海温图像鲁棒补全方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129234A (zh) * 2021-04-20 2021-07-16 河南科技学院 一种场内外特征融合的残缺图像精细修复方法
CN113962893A (zh) * 2021-10-27 2022-01-21 山西大学 基于多尺度局部自注意力生成对抗网络的人脸图像修复方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190027567A (ko) * 2017-09-07 2019-03-15 동국대학교 산학협력단 데이터마이닝과 공간분석에 기반한 하천수 클로로필-a 농도 예측 방법
CN110288537A (zh) * 2019-05-20 2019-09-27 湖南大学 基于自注意力的深度生成式对抗网络的人脸图像补全方法
CN110765941B (zh) * 2019-10-23 2022-04-26 北京建筑大学 一种基于高分遥感影像的海水污染区域识别方法和设备
CN112749627A (zh) * 2020-12-09 2021-05-04 北京星衡科技有限公司 一种基于多源遥感影像的烟草动态监测的方法和装置
CN114821285A (zh) * 2022-04-15 2022-07-29 北京工商大学 基于ACONV－LSTM与New－GANs组合的蓝藻水华预测系统及预测方法
CN115587646A (zh) * 2022-09-09 2023-01-10 中国海洋大学 基于时空特征融合的近海叶绿素a浓度预测方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129234A (zh) * 2021-04-20 2021-07-16 河南科技学院 一种场内外特征融合的残缺图像精细修复方法
CN113962893A (zh) * 2021-10-27 2022-01-21 山西大学 基于多尺度局部自注意力生成对抗网络的人脸图像修复方法

Also Published As

Publication number Publication date
CN116051936A (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN116051936B (zh) 基于时空分离外部注意力的叶绿素浓度有序补全方法
CN109271933B (zh) 基于视频流进行三维人体姿态估计的方法
CN108805015B (zh) 加权卷积自编码长短期记忆网络人群异常检测方法
CN111539887B (zh) 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法
CN108460746B (zh) 一种基于结构和纹理分层预测的图像修复方法
CN112767468A (zh) 基于协同分割与数据增强的自监督三维重建方法及系统
CN113177882A (zh) 一种基于扩散模型的单帧图像超分辨处理方法
CN112541572A (zh) 基于卷积编码器-解码器网络的剩余油分布预测方法
CN115345866B (zh) 一种遥感影像中建筑物提取方法、电子设备及存储介质
Ahn et al. EAGNet: Elementwise attentive gating network-based single image de-raining with rain simplification
CN114283120B (zh) 一种基于领域自适应的端到端多源异质遥感影像变化检测方法
CN111787187A (zh) 利用深度卷积神经网络进行视频修复的方法、系统、终端
CN114881871A (zh) 一种融合注意力单幅图像去雨方法
CN113033432A (zh) 一种基于渐进监督的遥感影像居民区提取方法
CN115471423A (zh) 一种基于生成对抗网络及自注意力机制的点云去噪方法
CN112801914A (zh) 一种基于纹理结构感知的二段式图像修复方法
CN111986105A (zh) 基于时域去噪掩码的视频时序一致性增强方法
CN114882524A (zh) 一种基于全卷积神经网络的单目三维手势估计方法
CN114048845B (zh) 点云修复方法、装置、计算机设备和存储介质
CN115272437A (zh) 一种基于全局与局部特征的图像深度估计方法及装置
CN115049556A (zh) 一种基于StyleGAN的人脸图像修复方法
CN116523985B (zh) 一种结构和纹理特征引导的双编码器图像修复方法
CN111738092B (zh) 一种基于深度学习的恢复被遮挡人体姿态序列方法
CN117496352A (zh) 基于相邻特征逐步融合的遥感变化检测方法、装置和设备
Yu et al. MagConv: Mask-guided convolution for image inpainting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant