CN116645448B - 光学遥感影像的定量云自动添加方法及装置 - Google Patents

光学遥感影像的定量云自动添加方法及装置 Download PDF

Info

Publication number
CN116645448B
CN116645448B CN202310457856.0A CN202310457856A CN116645448B CN 116645448 B CN116645448 B CN 116645448B CN 202310457856 A CN202310457856 A CN 202310457856A CN 116645448 B CN116645448 B CN 116645448B
Authority
CN
China
Prior art keywords
cloud
remote sensing
sensing image
optical remote
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310457856.0A
Other languages
English (en)
Other versions
CN116645448A (zh
Inventor
符晗
谢东海
贺广均
冯鹏铭
付奕博
陈千千
金世超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Satellite Information Engineering
Original Assignee
Beijing Institute of Satellite Information Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Satellite Information Engineering filed Critical Beijing Institute of Satellite Information Engineering
Priority to CN202310457856.0A priority Critical patent/CN116645448B/zh
Publication of CN116645448A publication Critical patent/CN116645448A/zh
Application granted granted Critical
Publication of CN116645448B publication Critical patent/CN116645448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种光学遥感影像的定量云自动添加方法及装置，所述方法包括：对真实无云光学遥感影像和真实有云光学遥感影像进行预处理；构建基于循环生成对抗网络的深度神经迁移网络；利用预处理后的真实无云光学遥感影像和真实有云光学遥感影像对所述基于循环生成对抗网络的深度神经迁移网络进行训练学习，实现云量的定量添加。通过实施本发明的上述方案，可以实现自动生成包含不同比例云的高质量典型目标的光学遥感影像训练样本。

Description

光学遥感影像的定量云自动添加方法及装置
技术领域
本发明涉及计算机视觉与遥感影像处理技术领域，尤其涉及一种光学遥感影像的定量云自动添加方法及装置。
背景技术
基于深度学习的遥感图像目标检测识别是当前卫星遥感应用领域的研究热点。在光学遥感图像目标检测识别任务中，受样本不均衡和样本缺失的影响，现有目标检测识别模型在云覆盖区应用精度远远低于无云覆盖区，不能满足实际应用的需求。因此，定量化和自动化地生成高质量云覆盖区目标样本，成为制约光学遥感图像目标检测识别模型应用效能的关键。
遥感影像在成像过程中，会受到大气层中分子、气溶胶和云反射的影响，其中云的影响尤为明显，会导致典型目标(如飞机、船舶)被部分乃至完全遮挡，使得人工标注训练样本时，无法准确识别出目标的位置。因而当前研究多选择无云影像进行样本标注。但是统计标明，超过60％的遥感影像中都包含云，且实际应用场景中(如山地环境、阴雨天气等)，存在大量云遮挡条件(仅考虑薄云和部分遮挡的情况)典型目标检测的需求，而经无云样本训练出的深度学习网络无法准确识别出云遮挡条件下的典型目标。为解决这一问题，提高云遮挡条件下深度学习网络对于典型目标的检测能力，就需要制作包含不同比例云的大量典型目标样本。人工标注样本的工作量大且成本高，利用智能化影像处理技术自动生成样本数据成为新的技术途径。
生成对抗网络(GAN)是一种主要用于实现图像、音乐或文本等生成的深度神经网络模型，通过生成器(Generator)与判别器(Discriminator)不断对抗进行训练，最终使得判别器难以分辨生成器生成的数据和真实的数据，从而达到生成所需图像、音乐或文本的目的。Cycle-GAN(Cycle Generative Adversarial Network，循环生成对抗网络)和CGAN(Condition Adversarial Network，条件生成对抗网络)是针对GAN的两种功能改进，可分别用于实现生成图像保留原始输入图像的内容以及通过在对抗中添加约束条件控制生成特定的输出图像。
发明内容
为解决上述现有技术存在的技术问题，本发明的目的在于提供一种光学遥感影像的定量云自动添加方法及装置，可以实现自动生成包含不同比例云的高质量典型目标的光学遥感影像训练样本。
为实现上述发明目的，本发明的技术方案是：
本发明实施例第一方面提供一种光学遥感影像的定量云自动添加方法，包括：
对真实无云光学遥感影像和真实有云光学遥感影像进行预处理；
构建基于循环生成对抗网络的深度神经迁移网络；
利用预处理后的真实无云光学遥感影像和真实有云光学遥感影像对所述基于循环生成对抗网络的深度神经迁移网络进行训练学习，实现云量的定量添加。
根据本发明实施例的第一方面，所述对真实无云光学遥感影像和真实有云光学遥感影像进行预处理，包括：
对待添加云量的真实无云光学遥感影像进行辐射和几何校正，将其中的目标单独裁剪，并将裁剪后的目标图像缩放至固定尺寸；
对真实有云光学遥感影像进行辐射和几何校正，将其中有云覆盖的区域单独裁剪，并将裁剪后的图像缩放至与所述目标图像相同的尺寸。
根据本发明实施例的第一方面，所述构建的基于循环生成对抗网络的深度神经迁移网络，包括：
正向生成器，用于实现光学遥感影像中云量的添加；
逆向生成器，用于实现光学遥感影像中云量的去除；
判别器，用于根据所述正向生成器生成的有云光学遥感影像与所述真实有云光学遥感影像的差异判别生成的有云光学遥感影像的真伪；
约束层，包含于所述正向生成器、所述逆向生成器和所述判别器中，用于控制所述基于循环生成对抗网络的深度神经迁移网络学习待添加的云量。
根据本发明实施例的第一方面，所述正向生成器和所述逆向生成器包括编码器、解码器和残差模块，
所述编码器由一组特征提取模块(CIR)组成，用于学习和提取所述真实有云光学遥感影像的云量特征信息，所述特征提取模块由一层卷积(Convolution)操作、一层实例归一化(IN，Instance Normalization)操作和一层ReLU激活函数组成；
所述解码器由一组图像恢复模块(CTIR)组成，用于将云量特征提取结果恢复至光学遥感影像的原始大小，所述图像恢复模块由一层转置卷积(Transpose Convolution)操作、一层实例归一化操作和一层ReLU激活函数组成；
所述残差模块用于连接所述编码器和所述解码器。
根据本发明实施例的第一方面，所述判别器基于PatchGAN的结构实现，由两组并行的特征提取模块(CIL)和一层损失函数组成，
所述两组特征提取模块分别用于学习和提取生成的有云光学遥感影像和所述真实有云光学遥感影像的特征信息，由一层卷积操作、一层实例归一化操作和一层LeakyReLU激活函数组成；
所述损失函数为最小二乘损失函数(Least-squares Loss)。
根据本发明实施例的第一方面，所述约束层基于条件生成对抗网络的结构实现，
所述判别器中的约束层用于从所述真实有云光学遥感影像中学习不同的云量类别；
生成器中的约束层用于定量控制光学遥感影像中待生成的云量。
根据本发明实施例的第一方面，所述利用预处理后的真实无云光学遥感影像和真实有云光学遥感影像对所述基于循环生成对抗网络的深度神经迁移网络进行训练学习，包括：
将预处理后的真实有云光学遥感影像输入所述判别器，使所述基于循环生成对抗网络的深度神经迁移网络学习不同的云量类别；
将预处理后的真实无云光学遥感影像输入所述正向生成器，生成第一有云光学遥感影像；
将所述第一有云光学遥感影像输入所述判别器，所述判别器学习所述第一有云光学遥感影像和所述真实有云光学遥感影像之间的相似度；
通过不断优化损失函数，所述判别器对所述第一有云光学遥感影像的真伪进行判别，并保留所述判别器识别为真的第一有云光学遥感影像，删除所述判别器识别为假的第一有云光学遥感影像；
将所述判别器识别为真的第一有云光学遥感影像输入所述逆向生成器，得到对应的去除云的光学遥感影像；
对所述去除云的光学遥感影像与所述真实无云光学遥感影像进行相似度计算，保留相似度大于预设阈值的去除云的光学遥感影像所对应的第一有云光学遥感影像。
本发明实施例第二方面提供一种光学遥感影像的定量云自动添加装置，用于执行如前所述的光学遥感影像的定量云自动添加方法，包括：
预处理单元，用于对真实无云光学遥感影像和真实有云光学遥感影像进行预处理；
模型构建单元，用于构建基于循环生成对抗网络的深度神经迁移网络；
云量添加单元，用于利用预处理后的真实无云光学遥感影像和真实有云光学遥感影像对所述基于循环生成对抗网络的深度神经迁移网络进行训练学习，实现云量的定量添加。
根据本发明实施例的第二方面，所述基于循环生成对抗网络的深度神经迁移网络包括：
正向生成器，用于实现光学遥感影像中云量的添加；
逆向生成器，用于实现光学遥感影像中云量的去除；
判别器，用于根据所述正向生成器生成的有云光学遥感影像与所述真实有云光学遥感影像的差异判别生成的有云光学遥感影像的真伪；
约束层，包含于所述正向生成器、所述逆向生成器和所述判别器中，用于控制所述基于循环生成对抗网络的深度神经迁移网络学习待添加的云量。
根据本发明实施例的第二方面，所述云量添加单元包括：
模型训练单元，用于将预处理后的真实无云光学遥感影像和真实有云光学遥感影像通过不断优化损失函数对所述正向生成器、所述逆向生成器和所述判别器进行训练学习；
云量添加结果验证单元，用于利用相似度损失函数验证所述正向生成器生成的第一有云光学遥感影像分别和所述真实有云光学遥感影像、所述真实无云光学遥感影像的相似度。
与现有技术相比，本发明具有以下有益效果：
本发明实施例的方案，通过设计基于循环生成对抗网络的深度神经迁移网络实现光学遥感影像的云添加。该网络由生成器(包含正向生成器和逆向生成器)和判别器组成，训练数据包括两个集合：有云覆盖的光学遥感影像和无云覆盖的光学遥感影像。其中，正向生成器通过学习原始真实无云光学遥感影像的纹理等特征和原始真实有云光学遥感影像的云量特征添加云量，生成有云的光学遥感影像，并通过判别器与原始真实有云光学遥感影像进行真伪判断。为保证生成的有云光学遥感影像与原始真实无云光学遥感影像的纹理等特征一致，再利用逆向生成器生成无云光学遥感影像，并利用相似度损失函数保证其与原始真实无云光学遥感影像之间的相似性。
其中，构建自适应约束层可以控制生成的光学遥感影像中云的比例：从原始真实有云光学遥感影像学习识别出不同的云量，以10％云量为一个类别作为约束条件对基于循环生成对抗网络的深度神经迁移网络进行训练，从而实现光学遥感影像云添加的定量控制。
附图说明
为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性表示本发明实施例公开的一种光学遥感影像的定量云自动添加方法的流程图；
图2示意性表示本发明实施例公开的S130的流程图；
图3示意性表示本发明实施例公开的正向生成器和逆向生成器的网络结构图；
图4示意性表示本发明实施例公开的判别器的网络结构图；
图5示意性表示本发明实施例公开的正向生成器生成的有云光学遥感影像的结果示意图。
具体实施方式
此说明书实施方式的描述应与相应的附图相结合，附图应作为完整的说明书的一部分。在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中各结构的部分将以分别描述进行说明，值得注意的是，图中未示出或未通过文字进行说明的元件，为所属技术领域中的普通技术人员所知的形式。
此处实施例的描述，有关方向和方位的任何参考，均仅是为了便于描述，而不能理解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合，这些特征可能独立存在或者组合存在，本发明并不特别地限定于优选的实施方式。本发明的范围由权利要求书所界定。
为了解决人工无法准确地在有云遮挡的光学遥感影像中标注出目标的问题，本发明的光学遥感影像的定量云自动添加方法及装置的技术方案可以自动制作出用于训练深度学习网络模型的包含不同比例云的大量典型目标样本，从而能从有云遮挡的光学遥感影像中精准识别出目标。
如图1所示，针对光学遥感影像不同云量的添加需求，本实施例第一方面公开一种光学遥感影像的定量云自动添加方法，具体包括以下步骤：
S110、对真实无云光学遥感影像和真实有云光学遥感影像进行预处理。其中，真实无云光学遥感影像为待添加云量的获取到的真实样本，真实有云光学遥感影像为已有云覆盖的获取到的真实样本。
S120、构建基于循环生成对抗网络的深度神经迁移网络。
S130、利用预处理后的真实无云光学遥感影像和真实有云光学遥感影像对所述基于循环生成对抗网络的深度神经迁移网络进行训练学习，实现云量的定量添加。
其中，所述S110中对真实无云光学遥感影像和真实有云光学遥感影像进行预处理的具体实施过程，包括以下步骤：
对待添加云量的真实无云光学遥感影像进行辐射校正和几何校正，消除真实无云光学遥感影像样本在成像过程中的大气影响和传感器造成的几何畸变，将其中的目标单独裁剪，并将裁剪后的目标图像缩放至固定尺寸。例如以飞机典型目标为例，将飞机目标单独裁剪出并缩放至512*512大小。
对真实有云光学遥感影像进行辐射和几何校正，同样消除真实有云光学遥感影像样本在成像过程中的大气影响和传感器造成的几何畸变，将其中有云覆盖的区域单独裁剪，并将裁剪后的图像缩放至与所述目标图像相同的尺寸。
如图2所示，所述S120中构建的基于循环生成对抗网络的深度神经迁移网络由正向生成器、逆向生成器、判别器和约束层共同组成。正向生成器，用于实现光学遥感影像中云量的添加。逆向生成器，用于实现光学遥感影像中云量的去除。判别器，用于根据所述正向生成器生成的有云光学遥感影像与所述真实有云光学遥感影像的差异判别生成的有云光学遥感影像的真伪。约束层，包含于所述正向生成器、所述逆向生成器和所述判别器中，分别以10％云量作为一个类型对原始真实有云光学遥感影像进行训练样本分类，用于控制所述基于循环生成对抗网络的深度神经迁移网络学习待添加的云量。从而实现光学遥感影像的云量定量添加。
如图3所示，具体的，所述正向生成器和所述逆向生成器包括编码器、解码器和残差模块。其中，所述编码器由一组特征提取模块组成，用于学习和提取所述真实有云光学遥感影像的云量特征信息。该特征提取模块的数量可根据输入训练样本的影像大小进行调整。所述特征提取模块由一层卷积操作、一层实例归一化操作和一层ReLU激活函数组成。
所述解码器由一组图像恢复模块组成，用于将云量特征提取结果恢复至光学遥感影像的原始大小。该图像恢复模块的数量可根据编码器中特征提取模块的数量进行调整。所述图像恢复模块由一层转置卷积操作、一层实例归一化操作和一层ReLU激活函数组成。所述残差模块用于连接所述编码器和所述解码器，以减弱深度神经迁移网络训练过程中的梯度消失现象，该组残差模块的数量可根据输入光学遥感影像的尺寸进行调整。
如图4所示，所述判别器基于PatchGAN的结构实现，由两组并行的特征提取模块和一层损失函数组成。所述两组特征提取模块分别用于学习和提取生成的有云光学遥感影像和所述真实有云光学遥感影像的特征信息，由一层卷积操作、一层实例归一化操作和一层LeakyReLU激活函数组成；所述损失函数为最小二乘损失函数。
所述约束层基于条件生成对抗网络的结构实现，所述判别器中的约束层用于从所述真实有云光学遥感影像中学习不同的云量类别。生成器中的约束层用于定量控制光学遥感影像中待生成的云量。
如图2所示，所述S130中利用预处理后的真实无云光学遥感影像和真实有云光学遥感影像对所述基于循环生成对抗网络的深度神经迁移网络进行训练学习，包括以下步骤：
将预处理后的真实有云光学遥感影像(集合)输入所述判别器，使所述深度神经迁移网络学习不同的云量类别；
将预处理后的真实无云光学遥感影像(集合)输入所述正向生成器，生成第一有云光学遥感影像(集合)；
将所述第一有云光学遥感影像(集合)输入所述判别器，所述判别器学习所述第一有云光学遥感影像(集合)和所述真实有云光学遥感影像(集合)之间的相似度；
通过不断优化损失函数，所述判别器对所述第一有云光学遥感影像(集合)的真伪进行判别，并保留所述判别器识别为真的第一有云光学遥感影像(集合)，删除所述判别器识别为假的第一有云光学遥感影像(集合)；
将所述判别器识别为真的第一有云光学遥感影像(集合)输入所述逆向生成器，得到对应的去除云的光学遥感影像(集合)；
对所述去除云的光学遥感影像(集合)与所述真实无云光学遥感影像(集合)进行相似度计算，保留相似度大于预设阈值的去除云的光学遥感影像所对应的第一有云光学遥感影像，以保证生成的有云光学遥感影像与原始的真实无云光学遥感影像的纹理一致，从而在保留原始无云光学遥感影像纹理等特征的基础上，实现光学遥感影像的高质量定量云自动添加。本实施例中的预设阈值设为80％，可根据样本影像质量自主设置该阈值。如图5所示，展示了通过以上方法生成的有云光学遥感影像和原始的真实有云光学遥感影像与真实无云光学遥感影像的示例性结果。
本实施例第二方面公开一种光学遥感影像的定量云自动添加装置，用于执行如如上所述的光学遥感影像的定量云自动添加方法。该定量云自动添加装置主要包括：预处理单元、模型构建单元和云量添加单元。其中，预处理单元，用于对真实无云光学遥感影像和真实有云光学遥感影像进行预处理。模型构建单元，用于构建基于循环生成对抗网络的深度神经迁移网络。云量添加单元，用于利用预处理后的真实无云光学遥感影像和真实有云光学遥感影像对所述基于循环生成对抗网络的深度神经迁移网络进行训练学习，实现云量的定量添加。
其中，所述基于循环生成对抗网络的深度神经迁移网络包括：正向生成器、逆向生成器和判别器。正向生成器，用于实现光学遥感影像中云量的添加。逆向生成器，用于实现光学遥感影像中云量的去除。判别器，用于根据所述正向生成器生成的有云光学遥感影像与所述真实有云光学遥感影像的差异判别生成的有云光学遥感影像的真伪。约束层，包含于所述正向生成器、所述逆向生成器和所述判别器中，用于控制所述深度神经迁移网络学习待添加的云量。
所述云量添加单元包括：模型训练单元和云量添加结果验证单元。其中，模型训练单元，用于将预处理后的真实无云光学遥感影像和真实有云光学遥感影像通过不断优化损失函数对所述正向生成器、所述逆向生成器和所述判别器进行训练学习。云量添加结果验证单元，用于利用相似度损失函数验证所述正向生成器生成的第一有云光学遥感影像分别和所述真实有云光学遥感影像、所述真实无云光学遥感影像的相似度。以此来保证生成的有云光学遥感影像与原始的真实有云和无云光学遥感影像之间的纹理的一致性，从而保证生成结果的可信度。
本实施例中的上述光学遥感影像的定量云自动添加方法及装置，通过应用计算机视觉和遥感影像智能处理技术，主要针对有云遮挡条件下，光学遥感影像典型目标的自动检测应用。现有技术中缺乏有云遮挡的光学遥感影像训练样本，当前针对含云光学遥感影像的目标检测任务通常需要首先进行去云处理，云去除的过程极易对待检测的目标造成影响，从而影响目标检测识别的精度。本实施例公开的上述技术方案具体从原始影像着手，生成一批包含不同比例云的高质量典型目标(如飞机、船舶)光学遥感影像的训练样本，从而简化后期有云遮挡条件下典型目标的检测流程，有效助力典型光学遥感影像实时智能解译任务。
对于本发明的方法所涉及的上述各个步骤的序号并不意味着方法执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本发明的实施方式的实施过程构成任何限定。
以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (7)

1.一种光学遥感影像的定量云自动添加方法，包括：
对真实无云光学遥感影像和真实有云光学遥感影像进行预处理；具体包括：对待添加云量的真实无云光学遥感影像进行辐射和几何校正，将其中的目标单独裁剪，并将裁剪后的目标图像缩放至固定尺寸；
对进行辐射和几何校正，将其中有云覆盖的区域单独裁剪，并将裁剪后的图像缩放至与所述目标图像相同的尺寸；
构建基于循环生成对抗网络的深度神经迁移网络；其中，所述构建的基于循环生成对抗网络的深度神经迁移网络，包括：
正向生成器，用于实现光学遥感影像中云量的添加；
逆向生成器，用于实现光学遥感影像中云量的去除；
判别器，用于根据所述正向生成器生成的有云光学遥感影像与所述真实有云光学遥感影像的差异判别生成的有云光学遥感影像的真伪；
约束层，包含于所述正向生成器、所述逆向生成器和所述判别器中，用于控制所述基于循环生成对抗网络的深度神经迁移网络学习待添加的云量；
利用预处理后的真实无云光学遥感影像和真实有云光学遥感影像对所述基于循环生成对抗网络的深度神经迁移网络进行训练学习，实现云量的定量添加；
所述利用预处理后的真实无云光学遥感影像和真实有云光学遥感影像对所述基于循环生成对抗网络的深度神经迁移网络进行训练学习，包括：
将预处理后的真实有云光学遥感影像输入所述判别器，使所述基于循环生成对抗网络的深度神经迁移网络学习不同的云量类别；
将预处理后的真实无云光学遥感影像输入所述正向生成器，生成第一有云光学遥感影像；
将所述第一有云光学遥感影像输入所述判别器，所述判别器学习所述第一有云光学遥感影像和所述真实有云光学遥感影像之间的相似度；
通过不断优化损失函数，所述判别器对所述第一有云光学遥感影像的真伪进行判别，并保留所述判别器识别为真的第一有云光学遥感影像，删除所述判别器识别为假的第一有云光学遥感影像；
将所述判别器识别为真的第一有云光学遥感影像输入所述逆向生成器，得到对应的去除云的光学遥感影像；
对所述去除云的光学遥感影像与所述真实无云光学遥感影像进行相似度计算，保留相似度大于预设阈值的去除云的光学遥感影像所对应的第一有云光学遥感影像。
2.根据权利要求1所述的方法，其特征在于，所述正向生成器和所述逆向生成器包括编码器、解码器和残差模块，
所述编码器由一组特征提取模块组成，用于学习和提取所述真实有云光学遥感影像的云量特征信息，所述特征提取模块由一层卷积操作、一层实例归一化操作和一层ReLU激活函数组成；
所述解码器由一组图像恢复模块组成，用于将云量特征提取结果恢复至光学遥感影像的原始大小，所述图像恢复模块由一层转置卷积操作、一层实例归一化操作和一层ReLU激活函数组成；
所述残差模块用于连接所述编码器和所述解码器。
3.根据权利要求2所述的方法，其特征在于，所述判别器基于PatchGAN的结构实现，由两组并行的特征提取模块和一层损失函数组成，
所述两组特征提取模块分别用于学习和提取生成的有云光学遥感影像和所述真实有云光学遥感影像的特征信息，由一层卷积操作、一层实例归一化操作和一层LeakyReLU激活函数组成；
所述损失函数为最小二乘损失函数。
4.根据权利要求3所述的方法，其特征在于，所述约束层基于条件生成对抗网络的结构实现，
所述判别器中的约束层用于从所述真实有云光学遥感影像中学习不同的云量类别；
生成器中的约束层用于定量控制光学遥感影像中待生成的云量。
5.一种光学遥感影像的定量云自动添加装置，用于执行如权利要求1-4中任一项所述的光学遥感影像的定量云自动添加方法，其特征在于，包括：
预处理单元，用于对真实无云光学遥感影像和真实有云光学遥感影像进行预处理；
模型构建单元，用于构建基于循环生成对抗网络的深度神经迁移网络；
云量添加单元，用于利用预处理后的真实无云光学遥感影像和真实有云光学遥感影像对所述基于循环生成对抗网络的深度神经迁移网络进行训练学习，实现云量的定量添加。
6.根据权利要求5所述的装置，其特征在于，所述基于循环生成对抗网络的深度神经迁移网络包括：
正向生成器，用于实现光学遥感影像中云量的添加；
逆向生成器，用于实现光学遥感影像中云量的去除；
判别器，用于根据所述正向生成器生成的有云光学遥感影像与所述真实有云光学遥感影像的差异判别生成的有云光学遥感影像的真伪；
约束层，包含于所述正向生成器、所述逆向生成器和所述判别器中，用于控制所述基于循环生成对抗网络的深度神经迁移网络学习待添加的云量。
7.根据权利要求6所述的装置，其特征在于，所述云量添加单元包括：
模型训练单元，用于将预处理后的真实无云光学遥感影像和真实有云光学遥感影像通过不断优化损失函数对所述正向生成器、所述逆向生成器和所述判别器进行训练学习；
云量添加结果验证单元，用于利用相似度损失函数验证所述正向生成器生成的第一有云光学遥感影像分别和所述真实有云光学遥感影像、所述真实无云光学遥感影像的相似度。
CN202310457856.0A 2023-04-25 2023-04-25 光学遥感影像的定量云自动添加方法及装置 Active CN116645448B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310457856.0A CN116645448B (zh) 2023-04-25 2023-04-25 光学遥感影像的定量云自动添加方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310457856.0A CN116645448B (zh) 2023-04-25 2023-04-25 光学遥感影像的定量云自动添加方法及装置

Publications (2)

Publication Number Publication Date
CN116645448A CN116645448A (zh) 2023-08-25
CN116645448B true CN116645448B (zh) 2023-12-22

Family

ID=87617815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310457856.0A Active CN116645448B (zh) 2023-04-25 2023-04-25 光学遥感影像的定量云自动添加方法及装置

Country Status (1)

Country Link
CN (1) CN116645448B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599423A (zh) * 2019-09-16 2019-12-20 陕西师范大学 一种基于深度学习CycleGAN模型处理SAR图像亮度补偿方法
CN114663303A (zh) * 2022-03-15 2022-06-24 航天东方红卫星有限公司 一种基于神经网络的遥感图像云层判别及去除方法
CN114898023A (zh) * 2022-03-25 2022-08-12 武汉大学 一种顾及特征冗余性的生成对抗云仿真生成方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11501438B2 (en) * 2018-04-26 2022-11-15 Elekta, Inc. Cone-beam CT image enhancement using generative adversarial networks
US11625812B2 (en) * 2019-11-01 2023-04-11 Microsoft Technology Licensing, Llc Recovering occluded image data using machine learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599423A (zh) * 2019-09-16 2019-12-20 陕西师范大学 一种基于深度学习CycleGAN模型处理SAR图像亮度补偿方法
CN114663303A (zh) * 2022-03-15 2022-06-24 航天东方红卫星有限公司 一种基于神经网络的遥感图像云层判别及去除方法
CN114898023A (zh) * 2022-03-25 2022-08-12 武汉大学 一种顾及特征冗余性的生成对抗云仿真生成方法

Also Published As

Publication number Publication date
CN116645448A (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN109543606B (zh) 一种加入注意力机制的人脸识别方法
CN107657279B (zh) 一种基于少量样本的遥感目标检测方法
CN108427912B (zh) 基于稠密目标特征学习的光学遥感图像目标检测方法
US20230045519A1 (en) Target Detection Method and Apparatus
CN108460341B (zh) 基于集成深度卷积网络的光学遥感图像目标检测方法
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN113111947B (zh) 图像处理方法、装置和计算机可读存储介质
CN111598098A (zh) 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法
CN111259733A (zh) 一种基于点云图像的船舶识别方法及装置
CN113762269A (zh) 基于神经网络的中文字符ocr识别方法、系统、介质及应用
CN110135446A (zh) 文本检测方法及计算机存储介质
CN110599463A (zh) 一种基于轻量级联神经网络的舌像检测及定位算法
CN110400335B (zh) 基于深度学习的纹理图像质量估计方法
CN111507249A (zh) 基于目标检测的变电站鸟窝识别方法
CN109815957A (zh) 一种基于彩色图像在复杂背景下的文字识别方法
CN116645448B (zh) 光学遥感影像的定量云自动添加方法及装置
CN112507924A (zh) 一种3d手势识别方法、装置及系统
CN116994049A (zh) 全自动针织横机及其方法
CN106952287A (zh) 一种基于低秩稀疏表达的视频多目标分割方法
CN110334818A (zh) 一种管路自动识别的方法及系统
CN109376619A (zh) 一种细胞检测方法
CN115512331A (zh) 一种交通标志检测方法、装置、计算机设备及计算机可读存储介质
CN114898290A (zh) 一种海上船舶实时检测方法及系统
CN114463628A (zh) 一种基于阈值约束的深度学习遥感影像船舰目标识别方法
CN113705489B (zh) 基于先验区域知识指导的遥感影像细粒度飞机识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant