CN118229519A - 基于多模态融合光流估计的卫星序列图像插值方法及装置 - Google Patents

基于多模态融合光流估计的卫星序列图像插值方法及装置 Download PDF

Info

Publication number
CN118229519A
CN118229519A CN202410659217.7A CN202410659217A CN118229519A CN 118229519 A CN118229519 A CN 118229519A CN 202410659217 A CN202410659217 A CN 202410659217A CN 118229519 A CN118229519 A CN 118229519A
Authority
CN
China
Prior art keywords
image
sample
optical flow
interpolated
time phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410659217.7A
Other languages
English (en)
Other versions
CN118229519B (zh
Inventor
张正
史科理
刘志强
李宏益
赵理君
唐娉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202410659217.7A priority Critical patent/CN118229519B/zh
Publication of CN118229519A publication Critical patent/CN118229519A/zh
Application granted granted Critical
Publication of CN118229519B publication Critical patent/CN118229519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种基于多模态融合光流估计的卫星序列图像插值方法及装置，涉及遥感图像处理技术领域，其中方法包括：基于样本卫星图像和样本卫星图像对应的再分析数据生成训练样本；基于训练样本对初始深度学习模型进行训练，得到深度学习模型；初始深度学习模型是通过将特征提取与融合模块、双向光流与中间图像估计模块和中间光流精炼与中间图像合成模块依次连接后构建的；其中，深度学习模型用于基于待插值图像所处的时相和待插值图像对应的再分析数据，以及待插值图像的前后时相图像和前后时相图像对应的再分析数据，合成待插值图像。本申请提供的方法和装置，可以准确预测待插值图像，提高了插值效果。

Description

基于多模态融合光流估计的卫星序列图像插值方法及装置
技术领域
本申请涉及遥感图像处理技术领域，具体而言，涉及一种基于多模态融合光流估计的卫星序列图像插值方法及装置。
背景技术
随着遥感数据的开放，遥感大数据时代为各领域研究创造了机会。遥感大数据是指地球观测卫星产生的海量信息。其中，遥感时序数据的应用非常广泛，遥感时序数据是指通过多次遥感观测获得的时间序列图像数据，这些数据记录了地面特定区域在不同时间点的变化情况。遥感时序数据可用于各种自然和人类活动现象的监测、分析和预测，包括土地利用/覆盖变化检测、湿地监测、农作物分类、灾害预警等。然而，在遥感数据的获取过程中，可能存在卫星传感器故障或者不良的大气条件等问题。这些问题往往会造成某个时相卫星图像的缺失，使其无法形成一个完整的时间序列。
因此，如何获取中间缺失的卫星图像成为业界亟待解决的技术问题。
发明内容
本申请提供一种基于多模态融合光流估计的卫星序列图像插值方法及装置，用以解决现有技术中如何获取中间缺失的卫星图像的技术问题。
第一方面，本申请提供了一种基于多模态融合光流估计的卫星序列图像插值方法，包括：
基于样本卫星图像和所述样本卫星图像对应的再分析数据生成训练样本；所述训练样本包括样本待插值图像和所述样本待插值图像对应的再分析数据，以及所述样本待插值图像的样本前后时相图像和所述样本前后时相图像对应的再分析数据；
基于所述训练样本对初始深度学习模型进行训练，得到深度学习模型；所述初始深度学习模型是通过将特征提取与融合模块、双向光流与中间图像估计模块和中间光流精炼与中间图像合成模块依次连接后构建的；
其中，所述深度学习模型用于基于待插值图像所处的时相和所述待插值图像对应的再分析数据，以及所述待插值图像的前后时相图像和所述前后时相图像对应的再分析数据，合成所述待插值图像。
在一些实施例中，所述基于样本卫星图像和所述样本卫星图像对应的再分析数据生成训练样本，包括：
基于所述样本卫星图像的图像尺寸设置所述样本卫星图像对应的再分析数据的尺寸；
基于滑动窗口法将所述样本卫星图像对应的再分析数据和所述样本卫星图像划分为多个子序列，并将各个子序列进行裁剪和组合生成所述训练样本；
其中，所述样本卫星图像对应的再分析数据包括所述样本卫星图像对应区域的表面温度、叶面积指数、表面净热辐射、地表气压、总蒸发量和总降水量。
在一些实施例中，所述将各个子序列进行裁剪和组合生成所述训练样本，包括：
将任一裁剪后子序列的中间时相图像作为所述样本待插值图像，将所述任一裁剪后子序列的第一个时相的图像和最后一个时相的图像分别作为所述样本待插值图像的样本前后时相图像；
将所述样本待插值图像和所述样本待插值图像对应的处理后的再分析数据、所述样本前后时相图像，以及所述样本前后时相图像对应的处理后的再分析数据作为一组训练样本。
在一些实施例中，所述特征提取与融合模块包括视觉特征编码器、再分析特征编码器和融合模块；所述基于所述训练样本对初始深度学习模型进行训练，包括：
基于所述视觉特征编码器对所述训练样本中的卫星图像进行编码生成多个特征空间不同的第一特征图；
基于所述再分析特征编码器对所述训练样本中的再分析数据进行编码，生成多个特征空间不同的第二特征图；
基于所述融合模块对所述第一特征图和所述第二特征图进行多层融合，生成融合特征；
基于所述融合特征对所述初始深度学习模型进行训练。
在一些实施例中，所述双向光流与中间图像估计模块包括中间特征解码器和双向光流解码器；所述基于所述融合特征对所述初始深度学习模型进行训练，包括：
将所述样本待插值图像对应的前后时相的融合特征和所述样本待插值图像的插值时相输入至所述中间特征解码器，得到所述中间特征解码器输出的所述样本前后时相图像的中间时相估计图像；
将所述样本待插值图像对应的前后时相的融合特征输入至所述双向光流解码器，得到所述双向光流解码器输出的所述样本前后时相图像的双向光流；
将所述双向光流进行双向合成得到所述样本前后时相图像的中间双向估计光流；
基于所述中间双向估计光流将所述样本前后时相图像进行扭曲，得到所述样本前后时相图像的中间扭曲图像；
基于所述中间扭曲图像对所述初始深度学习模型进行训练。
在一些实施例中，所述基于所述中间扭曲图像对所述初始深度学习模型进行训练，包括：
将所述插值时相和所述插值时相对应的再分析数据、所述样本前后时相图像、所述中间时相估计图像和所述中间扭曲图像进行拼接输入至所述中间光流精炼与中间图像合成模块中的精炼网络，得到所述精炼网络输出的所述样本前后时相图像的中间双向光流残差和遮挡掩码；
将所述中间双向光流残差和所述中间双向估计光流相加，得到所述样本前后时相图像的中间双向光流；
基于所述中间双向光流和所述遮挡掩码生成所述样本待插值图像的预测结果，基于所述预测结果对所述初始深度学习模型进行模型调优。
在一些实施例中，所述基于所述预测结果对所述初始深度学习模型进行模型调优，包括：
基于所述预测结果和所述预测结果对应的真实结果设置所述深度学习模型的重建损失和扭曲损失；
基于所述重建损失和所述扭曲损失定义所述深度学习模型的损失函数；
基于所述损失函数对所述初始深度学习模型进行模型调优。
第二方面，本申请提供了一种基于多模态融合光流估计的卫星序列图像插值装置，包括：
生成模块，用于基于样本卫星图像和所述样本卫星图像对应的再分析数据生成训练样本；所述训练样本包括样本待插值图像和所述样本待插值图像对应的再分析数据，以及所述样本待插值图像的样本前后时相图像和所述样本前后时相图像对应的再分析数据；
训练模块，用于基于所述训练样本对初始深度学习模型进行训练，得到深度学习模型；所述初始深度学习模型是通过将特征提取与融合模块、双向光流与中间图像估计模块和中间光流精炼与中间图像合成模块依次连接后构建的；
其中，所述深度学习模型用于基于待插值图像所处的时相和所述待插值图像对应的再分析数据，以及所述待插值图像的前后时相图像和所述前后时相图像对应的再分析数据，合成所述待插值图像。
第三方面，本申请提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法。
第四方面，本申请提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述程序时实现上述的方法。
本申请提供的基于多模态融合光流估计的卫星序列图像插值方法及装置，通过光流可以对待插值图像和前后时相图像的像素值之间的运动进行学习，可以捕获卫星图像复杂地物随着时间发生的变化特征，从而准确地估计待插值图像的地物分布，得到准确的待插值图像，提高插值效果；通过将待插值图像的时相作为深度学习模型的输入变量，可以获取两个时相图像中间插值的任意时相的图像，适用于各种应用场景。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的基于多模态融合光流估计的卫星序列图像插值方法的流程示意图；
图2为本申请实施例提供的构造训练样本的流程示意图；
图3为本申请实施例提供的深度学习模型的结构示意图；
图4为本申请实施例提供的特征提取与融合模块的结构示意图；
图5为本申请实施例提供的双向光流与中间图像估计模块的结构示意图；
图6为本申请实施例提供的中间光流精炼与中间图像合成模块的结构示意图；
图7为本申请实施例提供的基于多模态融合光流估计的卫星序列图像插值装置的结构示意图；
图8为本申请实施例提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
本申请实施例提供的基于多模态融合光流估计的卫星序列图像插值方法适用于终端，终端可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于服务器、智能手机、平板电脑、膝上型便携计算机和台式计算机等。
在本申请的技术方案中，所涉及的个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
图1为本申请实施例提供的基于多模态融合光流估计的卫星序列图像插值方法的流程示意图，如图1所示，该方法包括步骤110和步骤120。该方法流程步骤仅仅作为本申请一个可能的实现方式。
步骤110、基于样本卫星图像和样本卫星图像对应的再分析数据生成训练样本；训练样本包括样本待插值图像和样本待插值图像对应的再分析数据，以及样本待插值图像的样本前后时相图像和样本前后时相图像对应的再分析数据。
具体地，本申请实施例提供的基于多模态融合光流估计的卫星序列图像插值方法的执行主体为基于多模态融合光流估计的卫星序列图像插值装置，该装置可以为终端中独立设置的硬件设备，也可以为运行在终端中的软件程序。
卫星序列图像插值指的是在给定一系列卫星图像的情况下，对其中某些时刻没有观测到的图像进行估计或生成。
可以选取样本区域，获取样本区域的历史卫星图像，将该历史卫星图像作为样本卫星图像，并根据样本卫星图像的经纬度坐标和获取时间，获取样本卫星图像对应的再分析数据（ERA5-Land数据）。卫星图像、时间和再分析数据之间均是一一对应的关系。
例如，根据样本区域的经纬度范围，获取近两年内该范围所有同卫星图像序列，得到样本卫星图像。获取每景样本卫星图像/>所对应的ERA5-Land数据。其中，/>为第/>个ERA5-Land数据。/>为样本卫星图像总数。
各项ERA5-Land数据可以包括地物表面2米温度、叶面积指数/>、地物表面净热辐射/>、地表气压/>、总蒸发量/>和总降水量/>。这种多模态的ERA5-Land数据相比于单一的图像视觉模态，可以有效提高插值效果。
样本区域可以是待插值图像对应的区域。待插值图像为当前缺失的卫星图像。
每景样本卫星图像的通道数、宽和高分别为，和/>，将每项ERA5-Land数据作为一个通道，则每景卫星图像对应的ERA5-Land数据的通道数、宽和高分别为/>和/>。
将ERA5-Land数据采样至与样本卫星图像相同大小。将样本卫星图像与处理后的再分析数据组成时间序列，对每个序列进行时相标注，并裁剪为图像块，例如裁剪为256256的图像块，作为训练样本；最后将所有训练样本划分为训练集和验证集。时相即时间点。
可以在训练样本中选择样本待插值图像，根据各个卫星图像对应的时相确定样本待插值图像的样本前后时相图像，并确定各个图像对应的ERA5-Land数据。
样本待插值图像对应的样本前后时相图像为样本待插值图像对应时相的前一时相的卫星图像和样本待插值图像对应时相的后一时相的卫星图像。
步骤120、基于训练样本对初始深度学习模型进行训练，得到深度学习模型；初始深度学习模型是通过将特征提取与融合模块、双向光流与中间图像估计模块和中间光流精炼与中间图像合成模块依次连接后构建的；
其中，深度学习模型用于基于待插值图像所处的时相和待插值图像对应的再分析数据，以及待插值图像的前后时相图像和前后时相图像对应的再分析数据，合成待插值图像。
具体地，本申请实施例的初始深度学习模型为还未开始训练或训练还未结束的深度学习模型。深度学习模型为可以预测待插值图像的神经网络模型。
将特征提取与融合模块、双向光流与中间图像估计模块、中间光流精炼与中间图像合成模块依次连接组成深度学习模型的模型结构。
特征提取与融合模块用于进行卫星图像与再分析数据的特征提取以及将所提取特征在不同尺度进行融合。
双向光流与中间图像估计模块用于对待插值图像的前后时相图像的双向光流和中间时相图像进行粗略估计。双向光流用于描述在视频序列中物体或场景的运动。光流是指在连续帧之间观察到的像素级运动模式。双向光流指的是在光流估计中考虑了两个方向的运动，即考虑了从当前帧到下一帧和从当前帧到上一帧的光流信息。
中间光流精炼与中间图像合成模块用于对中间双向光流残差和遮挡掩码进行估计和合成中间时相图像，即合成缺失的待插值图像。
利用所构建的训练样本训练所搭建的初始深度学习模型，并根据模型在验证集上的插值精度调整初始深度学习模型的超参数，对初始深度学习模型进行训练迭代更新，直至训练结果符合训练条件，即可得到最终的深度学习模型。
待插值图像对应的前后时相图像为待插值图像对应时相的前一时相的卫星图像和待插值图像对应时相的后一时相的卫星图像。
例如当前卫星图像的采集频率为1秒，待插值图像为第3秒的图像，则该待插值图像对应的前后时相图像分别为该待插值图像区域的第2秒的图像和第4秒的图像。
将待插值图像对应的前后时相图像、待插值图像所处的时相和其前后时相的已有ERA5-Land数据共五项数据裁剪为256256的小块，加上待插值图像所处的时相共六项数据进行处理，将处理后的数据输入训练好的深度学习模型中，得到中间时相的图像块，将所有图像块按照原顺序拼接，得到该前后时相图像的中间时相的图像，该中间时相的图像即为待插值图像。
本申请实施例提供的基于多模态融合光流估计的卫星序列图像插值方法，通过光流可以对待插值图像和前后时相图像的像素值之间的运动进行学习，可以捕获卫星图像复杂地物随着时间发生的变化特征，从而准确地估计待插值图像的地物分布，得到准确的待插值图像，提高插值效果；通过将待插值图像的时相作为深度学习模型的输入变量，可以获取两个时相图像中间插值的任意时相的图像，适用于各种应用场景。
需要说明的是，本申请每一个实施方式可以自由组合、调换顺序或者单独执行，并不需要依靠或依赖固定的执行顺序。
在一些实施例中，步骤110包括：
基于样本卫星图像的图像尺寸设置样本卫星图像对应的再分析数据的尺寸；
基于滑动窗口法将样本卫星图像对应的再分析数据和样本卫星图像划分为多个子序列，并将各个子序列进行裁剪和组合生成训练样本；
其中，样本卫星图像对应的再分析数据包括样本卫星图像对应区域的表面温度、叶面积指数、表面净热辐射、地表气压、总蒸发量和总降水量。
将各个子序列进行裁剪和组合生成训练样本，包括：
将任一裁剪后子序列的中间时相图像作为样本待插值图像，将任一裁剪后子序列的第一个时相的图像和最后一个时相的图像分别作为样本待插值图像的样本前后时相图像；
将样本待插值图像和样本待插值图像对应的处理后的再分析数据、样本前后时相图像，以及样本前后时相图像对应的处理后的再分析数据作为一组训练样本。
具体地，可以将ERA5-Land数据由大小采样至与样本卫星图像等同大小，即/>。
将每个时相的样本卫星图像与对应的ERA5-Land数据组成一项。/>为第/>个样本卫星图像。
可以将组合后的时间序列通过步长为1的滑动窗口方法采集子序列，每个子序列可以包括连续多个时相的数据。例如包括连续11个时相的数据。
图2为本申请实施例提供的构造训练样本的流程示意图，如图2所示，对于一个子序列，采用以下步骤构造训练样本：
对该子序列中的每项数据裁剪为256256的图像块。
将裁剪后子序列的第1个时相的图像、第11个时相的图像、中间第时相的图像（），第1个时相的ERA5-Land数据、第11个时相的ERA5-Land数据、第/>个时相的ERA5-Land数据、中间时相卫星图像对应的时相/>（/>）组成一组训练样本。/>是标量。
前后时相图像包括前时相图像和后时相图像。第1个时相的图像为样本待插值图像的样本前时相图像，第11个时相的图像为样本待插值图像的样本后时相图像，两者之间时相的图像为样本待插值图像。
本申请实施例提供的基于多模态融合光流估计的卫星序列图像插值方法，通过多模态的ERA5-Land数据和构建训练样本，可以提高获取的插值图像的准确度。
在一些实施例中，特征提取与融合模块包括视觉特征编码器、再分析特征编码器和融合模块；步骤120包括：
基于视觉特征编码器对训练样本中的卫星图像进行编码生成多个特征空间不同的第一特征图；
基于再分析特征编码器对训练样本中的再分析数据进行编码，生成多个特征空间不同的第二特征图；
基于融合模块对第一特征图和第二特征图进行多层融合，生成融合特征；
基于融合特征对初始深度学习模型进行训练。
双向光流与中间图像估计模块包括中间特征解码器和双向光流解码器；基于融合特征对初始深度学习模型进行训练，包括：
将样本待插值图像对应的前后时相的融合特征和样本待插值图像的插值时相输入至中间特征解码器，得到中间特征解码器输出的样本前后时相图像的中间时相估计图像；
将样本待插值图像对应的前后时相的融合特征输入至双向光流解码器，得到双向光流解码器输出的样本前后时相图像的双向光流；
将双向光流进行双向合成得到样本前后时相图像的中间双向估计光流；
基于中间双向估计光流将样本前后时相图像进行扭曲，得到样本前后时相图像的中间扭曲图像；
基于中间扭曲图像对初始深度学习模型进行训练。
基于中间扭曲图像对初始深度学习模型进行训练，包括：
将插值时相和插值时相对应的再分析数据、样本前后时相图像、中间时相估计图像和中间扭曲图像进行拼接输入至中间光流精炼与中间图像合成模块中的精炼网络，得到精炼网络输出的样本前后时相图像的中间双向光流残差和遮挡掩码；
将中间双向光流残差和中间双向估计光流相加，得到样本前后时相图像的中间双向光流；
基于中间双向光流和遮挡掩码生成样本待插值图像的预测结果，基于预测结果对初始深度学习模型进行模型调优。
基于预测结果对初始深度学习模型进行模型调优，包括：
基于预测结果和预测结果对应的真实结果设置深度学习模型的重建损失和扭曲损失；
基于重建损失和扭曲损失定义深度学习模型的损失函数；
基于损失函数对初始深度学习模型进行模型调优。
具体地，图3为本申请实施例提供的深度学习模型的结构示意图，如图3所示，深度学习模型包括特征提取与融合模块、双向光流与中间图像估计模块、中间光流精炼与中间图像合成模块。
分别为样本待插值图像对应的样本前后时相图像，/>分别为样本待插值图像的插值时相的ERA5-Land数据和其前后时相的ERA5-Land数据，设/>的时相为0和1，/>为样本待插值图像的时相，即插值时相，/>为多维矩阵，例如二维矩阵。则深度学习模型输入的数据/>经过这三个模块最终输出预测的中间时相图像，预测结果即为预测的中间时相图像，预测的待插值图像。
深度学习模型每个模块的具体构建步骤如下：
（1）特征提取与融合模块。
图4为本申请实施例提供的特征提取与融合模块的结构示意图，如图4所示，特征提取与融合模块包括视觉特征编码器、再分析特征编码器/>和融合模块/>。融合模型可以有多个，例如3个。
视觉特征编码器对样本前后时相图像/>编码生成三个尺度（特征空间不同）的特征图/>，即生成第一特征图。
再分析特征编码器对ERA5-Land数据/>编码生成三个尺度的特征图，即生成第二特征图。视觉特征编码和再分析特征编码表达为式（1）和式（2）：
视觉特征编码器和再分析特征编码器均由三个Restormer Block组成。三个融合模块使用了Lite Transformer。
Restormer Block是一种经过改进的注意力机制模块，Lite Transformer是一种轻量级的Transformer模型。Transformer模型是一种基于自注意力机制的模型。
第一个融合模块将/>和/>融合生成融合特征/>，第二个融合模块/>将和上一个尺度的融合特征/>融合生成融合特征/>，第三个融合模块/>将和上一个尺度的融合特征/>融合生成融合特征/>，三个特征融合过程表达为式（3）、（4）和（5）：
（2）双向光流与中间图像估计模块。
图5为本申请实施例提供的双向光流与中间图像估计模块的结构示意图，如图5所示，双向光流与中间图像估计模块包括中间特征解码器和双向光流解码器/>。
中间特征解码器将样本待插值图像对应的前后时相的融合特征/>和中间时相/>三个特征解码得到中间时相估计图像/>。样本待插值图像对应的前后时相的融合特征即样本待插值图像对应的前一个时相的样本卫星图像和再分析数据的融合特征，以及样本待插值图像对应的后一个时相的样本卫星图像和再分析数据的融合特征。
双向光流解码器将融合特征/>解码得到样本前后时相图像/>之间的双向光流/>，中间特征解码和双向光流解码表达为式（6）和式（7）：
其中，为中间时相估计图像。中间特征解码器和双向光流解码器均由三个Restormer Block组成。样本前后时相图像的双向光流/>通过双向合成得到中间双向估计光流/>，双向合成表达为式（8）和式（9）：
利用中间双向估计光流将/>向后扭曲得到中间扭曲图像/>，扭曲表达为式（10）和式（11）：
其中，代表向后扭曲操作。
（3）中间光流精炼与中间图像合成模块。
图6为本申请实施例提供的中间光流精炼与中间图像合成模块的结构示意图，如图6所示，插值时相、样本待插值图像的样本前后时相图像/>、插值时相的ERA5-Land数据/>，中间时相估计图像/>、中间扭曲图像/>通过通道拼接后送入精炼网络/>，输出中间双向光流残差/>和遮挡掩码/>，该精炼过程表达为式（12）：
将中间双向估计光流与中间双向光流残差/>相加得到细化后的中间双向光流/>，该过程的表达式为式（13）和式（14）：
精炼网络使用了U-Net网络。将样本前后时相图像/>、细化后的中间双向光流、遮挡掩码/>通过式（15）合成中间时相图像/>：
其中，代表逐元素相乘。
本申请实施例的深度学习模型涉及到的所有输入、输出变量和中间变量的通道数、宽、高的数据可以如下表1所示：
表1 本申请实施例深度学习模型涉及的变量大小
其中，C为根据实际情况设置的通道数。将构建好的训练样本输入到深度学习模型中，用梯度下降法更新深度学习模型的内部权重，得到训练好的深度学习模型。
本申请实施例设置的损失函数由重建损失/>和扭曲损失/>组成，表达为式（16）：
重建损失表达为式（17）：
其中，为中间时相的真实结果（即真实图像），/>代表1-范数。
扭曲损失表达为式（18）：
通过构建的损失函数对初始深度学习模型进行模型调优，得到最终的深度学习模型。
本申请实施例提供的基于多模态融合光流估计的卫星序列图像插值方法，可以得到预测准确度高的深度学习模型，提高了中间图像的预测准确度。
下面对本申请实施例提供的基于多模态融合光流估计的卫星序列图像插值装置进行描述，下文描述的基于多模态融合光流估计的卫星序列图像插值装置与上文描述的基于多模态融合光流估计的卫星序列图像插值方法可相互对应参照。
图7为本申请实施例提供的基于多模态融合光流估计的卫星序列图像插值装置的结构示意图，如图7所示，该装置包括生成模块710和训练模块720。
生成模块，用于基于样本卫星图像和样本卫星图像对应的再分析数据生成训练样本；训练样本包括样本待插值图像和样本待插值图像对应的再分析数据，以及样本待插值图像的样本前后时相图像和样本前后时相图像对应的再分析数据；
训练模块，用于基于训练样本对初始深度学习模型进行训练，得到深度学习模型；初始深度学习模型是通过将特征提取与融合模块、双向光流与中间图像估计模块和中间光流精炼与中间图像合成模块依次连接后构建的；
其中，深度学习模型用于基于待插值图像所处的时相和待插值图像对应的再分析数据，以及待插值图像的前后时相图像和前后时相图像对应的再分析数据，合成待插值图像。
具体地，根据本申请的实施例，生成模块和训练模块中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。
或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。
根据本申请的实施例，生成模块和训练模块中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列、可编程逻辑阵列、片上系统、基板上的系统、封装上的系统、专用集成电路，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。
或者，生成模块和训练模块中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
本申请实施例提供的基于多模态融合光流估计的卫星序列图像插值装置，通过光流可以对待插值图像和前后时相图像的像素值之间的运动进行学习，可以捕获卫星图像复杂地物随着时间发生的变化特征，从而准确地估计待插值图像的地物分布，得到准确的待插值图像，提高插值效果；通过将待插值图像的时相作为深度学习模型的输入变量，可以获取两个时相图像中间插值的任意时相的图像，适用于各种应用场景。
在一些实施例中，生成模块具体用于：
基于样本卫星图像的图像尺寸设置样本卫星图像对应的再分析数据的尺寸；
基于滑动窗口法将样本卫星图像对应的再分析数据和样本卫星图像划分为多个子序列，并将各个子序列进行裁剪和组合生成训练样本；
其中，样本卫星图像对应的再分析数据包括样本卫星图像对应区域的表面温度、叶面积指数、表面净热辐射、地表气压、总蒸发量和总降水量。
在一些实施例中，将各个子序列进行裁剪和组合生成训练样本，包括：
将任一裁剪后子序列的中间时相图像作为样本待插值图像，将任一裁剪后子序列的第一个时相的图像和最后一个时相的图像分别作为样本待插值图像的样本前后时相图像；
将样本待插值图像和样本待插值图像对应的处理后的再分析数据、样本前后时相图像，以及样本前后时相图像对应的处理后的再分析数据作为一组训练样本。
在一些实施例中，特征提取与融合模块包括视觉特征编码器、再分析特征编码器和融合模块；训练模块具体用于：
基于视觉特征编码器对训练样本中的卫星图像进行编码生成多个特征空间不同的第一特征图；
基于再分析特征编码器对训练样本中的再分析数据进行编码，生成多个特征空间不同的第二特征图；
基于融合模块对第一特征图和第二特征图进行多层融合，生成融合特征；
基于融合特征对初始深度学习模型进行训练。
在一些实施例中，双向光流与中间图像估计模块包括中间特征解码器和双向光流解码器；基于融合特征对初始深度学习模型进行训练，包括：
将样本待插值图像对应的前后时相的融合特征和样本待插值图像的插值时相输入至中间特征解码器，得到中间特征解码器输出的样本前后时相图像的中间时相估计图像；
将样本待插值图像对应的前后时相的融合特征输入至双向光流解码器，得到双向光流解码器输出的样本前后时相图像的双向光流；
将双向光流进行双向合成得到样本前后时相图像的中间双向估计光流；
基于中间双向估计光流将样本前后时相图像进行扭曲，得到样本前后时相图像的中间扭曲图像；
基于中间扭曲图像对初始深度学习模型进行训练。
在一些实施例中，基于中间扭曲图像对初始深度学习模型进行训练，包括：
将插值时相和插值时相对应的再分析数据、样本前后时相图像、中间时相估计图像和中间扭曲图像进行拼接输入至中间光流精炼与中间图像合成模块中的精炼网络，得到精炼网络输出的样本前后时相图像的中间双向光流残差和遮挡掩码；
将中间双向光流残差和中间双向估计光流相加，得到样本前后时相图像的中间双向光流；
基于中间双向光流和遮挡掩码生成样本待插值图像的预测结果，基于预测结果对初始深度学习模型进行模型调优。
在一些实施例中，基于预测结果对初始深度学习模型进行模型调优，包括：
基于预测结果和预测结果对应的真实结果设置深度学习模型的重建损失和扭曲损失；
基于重建损失和扭曲损失定义深度学习模型的损失函数；
基于损失函数对初始深度学习模型进行模型调优。
在此需要说明的是，本申请实施例提供的基于多模态融合光流估计的卫星序列图像插值装置，能够实现上述基于多模态融合光流估计的卫星序列图像插值方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
图8为本申请实施例提供的电子设备的结构示意图，如图8所示，该电子设备可以包括：处理器（Processor）810、通信接口（Communications Interface）820、存储器（Memory）830和通信总线（Communications Bus）840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑命令，以执行上述方法，该方法包括：
基于样本卫星图像和样本卫星图像对应的再分析数据生成训练样本；训练样本包括样本待插值图像和样本待插值图像对应的再分析数据，以及样本待插值图像的样本前后时相图像和样本前后时相图像对应的再分析数据；
基于训练样本对初始深度学习模型进行训练，得到深度学习模型；初始深度学习模型是通过将特征提取与融合模块、双向光流与中间图像估计模块和中间光流精炼与中间图像合成模块依次连接后构建的；
其中，深度学习模型用于基于待插值图像所处的时相和待插值图像对应的再分析数据，以及待插值图像的前后时相图像和前后时相图像对应的再分析数据，合成待插值图像。
此外，上述的存储器中的逻辑命令可以通过软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器可以调用存储器中的逻辑指令，实现上述方法，其具体的实施方式与前述方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
本申请实施例还提供一种非暂态计算机可读的存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法。
其具体的实施方式与前述方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
本申请实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如上述方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于多模态融合光流估计的卫星序列图像插值方法，其特征在于，包括：
基于样本卫星图像和所述样本卫星图像对应的再分析数据生成训练样本；所述训练样本包括样本待插值图像和所述样本待插值图像对应的再分析数据，以及所述样本待插值图像的样本前后时相图像和所述样本前后时相图像对应的再分析数据；
基于所述训练样本对初始深度学习模型进行训练，得到深度学习模型；所述初始深度学习模型是通过将特征提取与融合模块、双向光流与中间图像估计模块和中间光流精炼与中间图像合成模块依次连接后构建的；
其中，所述深度学习模型用于基于待插值图像所处的时相和所述待插值图像对应的再分析数据，以及所述待插值图像的前后时相图像和所述前后时相图像对应的再分析数据，合成所述待插值图像。
2.根据权利要求1所述的基于多模态融合光流估计的卫星序列图像插值方法，其特征在于，所述基于样本卫星图像和所述样本卫星图像对应的再分析数据生成训练样本，包括：
基于所述样本卫星图像的图像尺寸设置所述样本卫星图像对应的再分析数据的尺寸；
基于滑动窗口法将所述样本卫星图像对应的再分析数据和所述样本卫星图像划分为多个子序列，并将各个子序列进行裁剪和组合生成所述训练样本；
其中，所述样本卫星图像对应的再分析数据包括所述样本卫星图像对应区域的表面温度、叶面积指数、表面净热辐射、地表气压、总蒸发量和总降水量。
3.根据权利要求2所述的基于多模态融合光流估计的卫星序列图像插值方法，其特征在于，所述将各个子序列进行裁剪和组合生成所述训练样本，包括：
将任一裁剪后子序列的中间时相图像作为所述样本待插值图像，将所述任一裁剪后子序列的第一个时相的图像和最后一个时相的图像分别作为所述样本待插值图像的样本前后时相图像；
将所述样本待插值图像和所述样本待插值图像对应的处理后的再分析数据、所述样本前后时相图像，以及所述样本前后时相图像对应的处理后的再分析数据作为一组训练样本。
4.根据权利要求3所述的基于多模态融合光流估计的卫星序列图像插值方法，其特征在于，所述特征提取与融合模块包括视觉特征编码器、再分析特征编码器和融合模块；所述基于所述训练样本对初始深度学习模型进行训练，包括：
基于所述视觉特征编码器对所述训练样本中的卫星图像进行编码生成多个特征空间不同的第一特征图；
基于所述再分析特征编码器对所述训练样本中的再分析数据进行编码，生成多个特征空间不同的第二特征图；
基于所述融合模块对所述第一特征图和所述第二特征图进行多层融合，生成融合特征；
基于所述融合特征对所述初始深度学习模型进行训练。
5.根据权利要求4所述的基于多模态融合光流估计的卫星序列图像插值方法，其特征在于，所述双向光流与中间图像估计模块包括中间特征解码器和双向光流解码器；所述基于所述融合特征对所述初始深度学习模型进行训练，包括：
将所述样本待插值图像对应的前后时相的融合特征和所述样本待插值图像的插值时相输入至所述中间特征解码器，得到所述中间特征解码器输出的所述样本前后时相图像的中间时相估计图像；
将所述样本待插值图像对应的前后时相的融合特征输入至所述双向光流解码器，得到所述双向光流解码器输出的所述样本前后时相图像的双向光流；
将所述双向光流进行双向合成得到所述样本前后时相图像的中间双向估计光流；
基于所述中间双向估计光流将所述样本前后时相图像进行扭曲，得到所述样本前后时相图像的中间扭曲图像；
基于所述中间扭曲图像对所述初始深度学习模型进行训练。
6.根据权利要求5所述的基于多模态融合光流估计的卫星序列图像插值方法，其特征在于，所述基于所述中间扭曲图像对所述初始深度学习模型进行训练，包括：
将所述插值时相和所述插值时相对应的再分析数据、所述样本前后时相图像、所述中间时相估计图像和所述中间扭曲图像进行拼接输入至所述中间光流精炼与中间图像合成模块中的精炼网络，得到所述精炼网络输出的所述样本前后时相图像的中间双向光流残差和遮挡掩码；
将所述中间双向光流残差和所述中间双向估计光流相加，得到所述样本前后时相图像的中间双向光流；
基于所述中间双向光流和所述遮挡掩码生成所述样本待插值图像的预测结果，基于所述预测结果对所述初始深度学习模型进行模型调优。
7.根据权利要求6所述的基于多模态融合光流估计的卫星序列图像插值方法，其特征在于，所述基于所述预测结果对所述初始深度学习模型进行模型调优，包括：
基于所述预测结果和所述预测结果对应的真实结果设置所述深度学习模型的重建损失和扭曲损失；
基于所述重建损失和所述扭曲损失定义所述深度学习模型的损失函数；
基于所述损失函数对所述初始深度学习模型进行模型调优。
8.一种基于多模态融合光流估计的卫星序列图像插值装置，其特征在于，包括：
生成模块，用于基于样本卫星图像和所述样本卫星图像对应的再分析数据生成训练样本；所述训练样本包括样本待插值图像和所述样本待插值图像对应的再分析数据，以及所述样本待插值图像的样本前后时相图像和所述样本前后时相图像对应的再分析数据；
训练模块，用于基于所述训练样本对初始深度学习模型进行训练，得到深度学习模型；所述初始深度学习模型是通过将特征提取与融合模块、双向光流与中间图像估计模块和中间光流精炼与中间图像合成模块依次连接后构建的；
其中，所述深度学习模型用于基于待插值图像所处的时相和所述待插值图像对应的再分析数据，以及所述待插值图像的前后时相图像和所述前后时相图像对应的再分析数据，合成所述待插值图像。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于多模态融合光流估计的卫星序列图像插值方法。
10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至7任一项所述的基于多模态融合光流估计的卫星序列图像插值方法。
CN202410659217.7A 2024-05-27 2024-05-27 基于多模态融合光流估计的卫星序列图像插值方法及装置 Active CN118229519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410659217.7A CN118229519B (zh) 2024-05-27 2024-05-27 基于多模态融合光流估计的卫星序列图像插值方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410659217.7A CN118229519B (zh) 2024-05-27 2024-05-27 基于多模态融合光流估计的卫星序列图像插值方法及装置

Publications (2)

Publication Number Publication Date
CN118229519A true CN118229519A (zh) 2024-06-21
CN118229519B CN118229519B (zh) 2024-07-30

Family

ID=91512174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410659217.7A Active CN118229519B (zh) 2024-05-27 2024-05-27 基于多模态融合光流估计的卫星序列图像插值方法及装置

Country Status (1)

Country Link
CN (1) CN118229519B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140701A (zh) * 2021-12-10 2022-03-04 广西师范大学 一种多尺度多时相遥感影像去云的方法
US20220262012A1 (en) * 2019-10-30 2022-08-18 Beijing Sensetime Technology Development Co., Ltd. Image Processing Method and Apparatus, and Storage Medium
CN115546257A (zh) * 2022-08-09 2022-12-30 南京信息工程大学 基于wgan-gp网络与光流法的卫星云图预测方法
CN115620163A (zh) * 2022-10-28 2023-01-17 西南交通大学 一种基于遥感影像的半监督学习深切河谷智能识别方法
WO2024051184A1 (zh) * 2022-09-07 2024-03-14 南京逸智网络空间技术创新研究院有限公司 一种基于光流遮罩的无监督单目深度估计方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220262012A1 (en) * 2019-10-30 2022-08-18 Beijing Sensetime Technology Development Co., Ltd. Image Processing Method and Apparatus, and Storage Medium
CN114140701A (zh) * 2021-12-10 2022-03-04 广西师范大学 一种多尺度多时相遥感影像去云的方法
CN115546257A (zh) * 2022-08-09 2022-12-30 南京信息工程大学 基于wgan-gp网络与光流法的卫星云图预测方法
WO2024051184A1 (zh) * 2022-09-07 2024-03-14 南京逸智网络空间技术创新研究院有限公司 一种基于光流遮罩的无监督单目深度估计方法
CN115620163A (zh) * 2022-10-28 2023-01-17 西南交通大学 一种基于遥感影像的半监督学习深切河谷智能识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李红 等: "基于深度支撑值学习网络的遥感图像融合", 计算机学报, no. 08, 29 February 2016 (2016-02-29) *

Also Published As

Publication number Publication date
CN118229519B (zh) 2024-07-30

Similar Documents

Publication Publication Date Title
Grönquist et al. Deep learning for post-processing ensemble weather forecasts
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
Li et al. Efficient violence detection using 3d convolutional neural networks
Chen et al. MICU: Image super-resolution via multi-level information compensation and U-net
CN110210513B (zh) 数据分类方法、装置及终端设备
CN113159143B (zh) 基于跳跃连接卷积层的红外与可见光图像融合方法和装置
CN108875931B (zh) 神经网络训练及图像处理方法、装置、系统
CN112883227B (zh) 一种基于多尺度时序特征的视频摘要生成方法和装置
CN111369557B (zh) 图像处理方法、装置、计算设备和存储介质
CN112116064A (zh) 光谱超分辨自适应加权注意力机制深层网络数据处理方法
CN115375548A (zh) 一种超分辨率的遥感图像生成方法、系统、设备和介质
CN117011859A (zh) 一种图片处理的方法以及相关装置
CN110659641B (zh) 一种文字识别的方法、装置及电子设备
CN118229519B (zh) 基于多模态融合光流估计的卫星序列图像插值方法及装置
CN115861891B (zh) 视频目标检测方法、装置、设备及介质
CN116152556A (zh) 一种高光谱图像分类方法、系统、设备及存储介质
CN115760670A (zh) 基于网络隐式先验的无监督高光谱融合方法及装置
CN113496228B (zh) 一种基于Res2Net、TransUNet和协同注意力的人体语义分割方法
Liu et al. Hyperspectral image super-resolution employing nonlocal block and hybrid multiscale three-dimensional convolution
CN111340182B (zh) 一种输入特征逼近的低复杂度cnn训练方法与装置
CN113628338A (zh) 一种采样重建方法、装置、计算机设备及存储介质
CN110569790B (zh) 基于纹理增强卷积网络的居民区要素提取方法
CN116543246A (zh) 图像去噪模型的训练方法、图像去噪方法、装置及设备
CN112329925B (zh) 模型生成方法、特征提取方法、装置及电子设备
CN118155270B (zh) 模型训练方法、人脸识别方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant