CN114792349A - 基于半监督生成对抗网络的遥感影像转换地图迁移方法 - Google Patents

基于半监督生成对抗网络的遥感影像转换地图迁移方法 Download PDF

Info

Publication number
CN114792349A
CN114792349A CN202210735253.8A CN202210735253A CN114792349A CN 114792349 A CN114792349 A CN 114792349A CN 202210735253 A CN202210735253 A CN 202210735253A CN 114792349 A CN114792349 A CN 114792349A
Authority
CN
China
Prior art keywords
training
generator
loss
map
expansion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210735253.8A
Other languages
English (en)
Other versions
CN114792349B (zh
Inventor
陈浩
宋洁琼
杜春
熊伟
彭双
伍江江
吴烨
李军
贾庆仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202210735253.8A priority Critical patent/CN114792349B/zh
Publication of CN114792349A publication Critical patent/CN114792349A/zh
Application granted granted Critical
Publication of CN114792349B publication Critical patent/CN114792349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于半监督生成对抗网络的遥感影像转换地图迁移方法。所述方法包括：构建半监督地图生成模型；根据配对训练数据集和预先设置的损失函数对生成器和判别器进行监督训练，在预训练生成器中添加变换一致性正则化损失，再对预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练，得到扩展生成器；利用预训练判别器的权值初始化无监督判别器，根据预先设置的无监督对抗损失对训练后的扩展生成器、无监督判别器、预训练生成器和预训练判别器进行对抗性训练，根据训练好的半监督地图生成模型对输入的遥感影像进行地图转换。采用本方法能够提高遥感影像生成地图的几何精度和视觉质量。

Description

基于半监督生成对抗网络的遥感影像转换地图迁移方法
技术领域
本申请涉及数据处理技术领域，特别是涉及一种基于半监督生成对抗网络的遥感影像转换地图迁移方法、装置、计算机设备和存储介质。
背景技术
随着信息技术和多媒体技术在地图学领域的迅速渗透，高精度在线地图服务已成为人们日常生活中不可缺少的一部分。由于遥感影像的适应性强、成本低，基于遥感影像的在线地图生成得到了广泛的应用。在深度学习快速发展之前，传统的制图方法需要手工获取矢量数据，然后针对制图规范进行编写，这是一项非常费力的工作，需要大量的人工参与和专家经验。由于从传统的遥感影像到地图的制作过程复杂而漫长，在线地图服务所发布的地图信息相对过时。在一些极端情况下，如地震、洪水等自然灾害，传统的制图方法可能影响救援效率。因此，直接从遥感影像中自动生成地图成为一种可行的解决方案，可以在一定程度上降低地图制作的时间成本，提高工作效率。基于遥感影像的地图生成技术通常分为判别模式和生成模式，判别式方法通过训练大量标记良好的样本，从遥感影像中提取地理元素。由于缺乏高质量的标注数据，这种方法仍然需要大量的人工干预，智能化水平并不高。生成模式采用基于生成对抗网络GAN的图像到图像的转换方法，将遥感图像和对应的地图看作两个不同的域，旨在将遥感图像域直接转换为地图图像域。该方法不需要对数据进行人工标注，自动化程度高，适用范围广。
然而，目前的基于GAN的图像到图像技术在地图生成方面存在一些缺陷。第一，配对的遥感影像和地图样本比较难以获取，由于从遥感影像到在线地图的制作过程复杂而漫长，在线地图服务发布的地图信息与及时更新的遥感影像相比相对落后。另一方面，其他方法获取的地图样本可能没有相应的遥感影像。然而，在没有监督信息约束的情况下，仅使用未配对的样本可能会导致一些问题，如训练不足，生成的地图精度低等，第二，一些研究人员使用条件生成对抗网络（cGAN）和L1距离学习从输入到生成图像的映射函数，为遥感影像到地图的转换提供了一个可使用的框架。但是，仅使用简单的损失函数约束针对与地图生成的模型，其训练结果往往存在地图元素畸变、几何失真、细节模糊等问题。通用的图像到图像的转换模型不适用于遥感影像到地图的生成任务，存在数据采集的压力大、遥感影像生成地图的几何精度和视觉质量低等问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高遥感影像生成地图的几何精度和视觉质量的基于半监督生成对抗网络的遥感影像转换地图迁移方法、装置、计算机设备和存储介质。
一种基于半监督生成对抗网络的遥感影像转换地图迁移方法，所述方法包括：
获取配对训练数据集和非配对数据集；配对训练数据集为配对的遥感影像和地图；
构建半监督地图生成模型；半监督地图生成模型包括生成器和判别器；
根据配对训练数据集和预先设置的损失函数对生成器和判别器进行监督训练，得到预训练生成器和预训练判别器；
在预训练生成器中添加变换一致性正则化损失，对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练，得到扩展生成器；
根据非配对数据集对扩展生成器进行无监督训练，得到训练后的扩展生成器；
利用预训练判别器的权值初始化无监督判别器，根据预先设置的无监督对抗损失对训练后的扩展生成器、无监督判别器、预训练生成器和预训练判别器进行对抗性训练，得到训练好的半监督地图生成模型；
根据训练好的半监督地图生成模型对输入的遥感影像进行地图转换。
在其中一个实施例中，预先设置的损失函数包括对抗损失和重建损失；
所述对抗损失的损失函数为
Figure 100002_DEST_PATH_IMAGE001
所述重建损失的损失函数为
Figure 100002_DEST_PATH_IMAGE002
其中，
Figure 100002_DEST_PATH_IMAGE003
表示遥感影像，
Figure 100002_DEST_PATH_IMAGE004
表示地图，
Figure 100002_DEST_PATH_IMAGE005
表示预训练判别器，
Figure 100002_DEST_PATH_IMAGE006
表示预训练生成器。
在其中一个实施例中，变换一致性正则化损失为
Figure 100002_DEST_PATH_IMAGE007
，其中，
Figure 100002_DEST_PATH_IMAGE008
是一系列的几何变换，K表示配对训练数据集中的配对的遥感影像和地图样本的总对数；
在其中一个实施例中，对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练，得到扩展生成器，包括：
将添加变换一致性正则化损失后的预训练生成器中的卷积层的每个通道乘以通道扩展因子，再添加扩展损失和通道损失进行训练，得到扩展生成器。
在其中一个实施例中，扩展损失包括结构相似性损失和特征损失；
所述结构相似性损失为
Figure 100002_DEST_PATH_IMAGE009
，其中
Figure 100002_DEST_PATH_IMAGE010
表示预训练生成器输出的图像的平均亮度，
Figure 100002_DEST_PATH_IMAGE011
表示扩展生成器输出的图像的平均亮度，
Figure 100002_DEST_PATH_IMAGE012
表示预训练生成器输出的图像的对比度，
Figure 100002_DEST_PATH_IMAGE013
表示扩展生成器输出的图像的对比度，
Figure 100002_DEST_PATH_IMAGE014
表示预训练生成器输出的图像和扩展生成器输出的图像的对比相似度，
Figure 100002_DEST_PATH_IMAGE015
和
Figure 100002_DEST_PATH_IMAGE016
表示正值常数，用于防止公式出现除0异常；
所述特征损失为
Figure 100002_DEST_PATH_IMAGE017
，其中n表示非配对数据集中不配对的遥感影像和地图样本的总对数，
Figure 100002_DEST_PATH_IMAGE018
表示预训练判别器的前四层，GU表示扩展生成器。
在其中一个实施例中，通道损失为
Figure 100002_DEST_PATH_IMAGE019
其中，
Figure 100002_DEST_PATH_IMAGE020
表示扩展生成器中第i个特征图的第j个通道的注意力权值，
Figure 100002_DEST_PATH_IMAGE021
表示预训练生成器中第i个特征图的第j个通道的注意力权值，c为特征图的通道个数。
在其中一个实施例中，预先设置的无监督对抗损失为
Figure 100002_DEST_PATH_IMAGE022
Figure 100002_DEST_PATH_IMAGE023
其中，DU表示无监督判别器，
Figure 100002_DEST_PATH_IMAGE024
表示遥感影像，
Figure 100002_DEST_PATH_IMAGE025
表示地图。
一种基于半监督生成对抗网络的遥感影像转换地图迁移装置，所述装置包括：
模型构建模块，用于获取配对训练数据集和非配对数据集；配对训练数据集为配对的遥感影像和地图；构建半监督地图生成模型；半监督地图生成模型包括生成器和判别器；
预训练模块，用于根据配对训练数据集和预先设置的损失函数对生成器和判别器进行监督训练，得到预训练生成器和预训练判别器；
生成器扩展模块，用于在预训练生成器中添加变换一致性正则化损失，对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练，得到扩展生成器；
对抗性训练模块，用于根据非配对数据集对扩展生成器进行无监督训练，得到训练后的扩展生成器；利用预训练判别器的权值初始化无监督判别器，根据预先设置的无监督对抗损失对训练后的扩展生成器、无监督判别器、预训练生成器和预训练判别器进行对抗性训练，得到训练好的半监督地图生成模型；
遥感影像转换模块，用于根据训练好的半监督地图生成模型对输入的遥感影像进行地图转换。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取配对训练数据集和非配对数据集；配对训练数据集为配对的遥感影像和地图；
构建半监督地图生成模型；半监督地图生成模型包括生成器和判别器；
根据配对训练数据集和预先设置的损失函数对生成器和判别器进行监督训练，得到预训练生成器和预训练判别器；
在预训练生成器中添加变换一致性正则化损失，对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练，得到扩展生成器；
根据非配对数据集对扩展生成器进行无监督训练，得到训练后的扩展生成器；
利用预训练判别器的权值初始化无监督判别器，根据预先设置的无监督对抗损失对训练后的扩展生成器、无监督判别器、预训练生成器和预训练判别器进行对抗性训练，得到训练好的半监督地图生成模型；
根据训练好的半监督地图生成模型对输入的遥感影像进行地图转换。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取配对训练数据集和非配对数据集；配对训练数据集为配对的遥感影像和地图；
构建半监督地图生成模型；半监督地图生成模型包括生成器和判别器；
根据配对训练数据集和预先设置的损失函数对生成器和判别器进行监督训练，得到预训练生成器和预训练判别器；
在预训练生成器中添加变换一致性正则化损失，对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练，得到扩展生成器；
根据非配对数据集对扩展生成器进行无监督训练，得到训练后的扩展生成器；
利用预训练判别器的权值初始化无监督判别器，根据预先设置的无监督对抗损失对训练后的扩展生成器、无监督判别器、预训练生成器和预训练判别器进行对抗性训练，得到训练好的半监督地图生成模型；
根据训练好的半监督地图生成模型对输入的遥感影像进行地图转换。
上述基于半监督生成对抗网络的遥感影像转换地图迁移方法、装置、计算机设备和存储介质，首先获取配对训练数据集和非配对数据集；配对训练数据集为配对的遥感影像和地图；构建半监督地图生成模型；半监督地图生成模型包括生成器和判别器，根据配对训练数据集和预先设置的损失函数对生成器和判别器进行监督训练，可以得到更加接近真实地图的地图，在预训练生成器中添加变换一致性正则化损失以提高学习到的映射函数准确性，使得后续利用非配对数据集对扩展生成器进行训练时，提高训练结果的准确性，对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练，得到扩展生成器，扩展生成器的目的是直接从预训练生成器学习概念，并模仿预训练生成器的训练过程进行渐进学习，有助于捕获更多的图像低层信息线索，提高地图生成性能，在训练扩展生成器的过程中添加扩展损失和通道损失，扩展损失可以使得扩展生成器生成的图像的几何精度更高，提高人类视觉感受，并使得图像特征更加明显，清晰度更高，提高了视觉质量，通道损失可以将注意力信息从预训练生成器转移到扩展生成器上，提高半监督地图生成模型的可靠性，使得模型学习到每个通道的权值，然后将权值乘回原始通道，增强了重要通道的特征，弱化了非重要通道的特征，从而提取到更多的有方向性的特征，模型预测效果更好。根据预先设置的无监督对抗损失对训练后的扩展生成器、无监督判别器、预训练生成器和预训练判别器进行对抗性训练，根据训练好的半监督地图生成模型对输入的遥感影像进行地图转换，本申请通过预训练生成器指导扩展生成器如何逐步学习信息，并通过最小化预训练生成器和扩展生成器输出之间的扩展损失，逐步指导优化方向，同时通过通道损失从两个生成器的中间层挖掘知识概念，从不同维度提供全面的概念来提高视觉保真度。
附图说明
图1为一个实施例中一种基于半监督生成对抗网络的遥感影像转换地图迁移方法的流程示意图；
图2为一个实施例中基于半监督生成对抗网络的遥感影像转换地图迁移方法的框架示意图；
图3为一个实施例中无监督模块的示意图；
图4为一个实施例中一种基于半监督生成对抗网络的遥感影像转换地图迁移装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于半监督生成对抗网络的遥感影像转换地图迁移方法，包括以下步骤：
步骤102，获取配对训练数据集和非配对数据集；配对训练数据集为配对的遥感影像和地图；构建半监督地图生成模型；半监督地图生成模型包括生成器和判别器。
非配对训练数据集为不是配对的遥感影像和地图，半监督地图生成模型分为监督学习模块和无监督学习模块；
步骤104，根据配对训练数据集和预先设置的损失函数对生成器和判别器进行监督训练，得到预训练生成器和预训练判别器。
在监督学习模块中利用配对训练数据集对生成器和判别器进行监督训练，使得生成器可以通过遥感图像生成地图，通过训练判别器区别生成的地图的真伪，预先设置的损失函数包括对抗损失和重建损失，利用对抗损失和重建损失对生成器和判别器进行训练，可以得到更加接近真实地图的地图影像。
步骤106，在预训练生成器中添加变换一致性正则化损失，对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练，得到扩展生成器。
如图2所示，在无监督学习模块，引入变换一致性正则化损失，通过旋转和翻转等操作对非配对样本进行一系列几何变换，以提高学习到的映射函数准确性，使得利用非配对数据集对扩展生成器进行训练时，提高训练结果的准确性。
对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展，得到初始的扩展生成器，扩展生成器的目的是直接从预训练生成器学习概念，并模仿预训练生成器的训练过程进行渐进学习，有助于捕获更多的图像低层信息线索，提高地图生成性能，在训练扩展生成器的过程中添加扩展损失和通道损失，扩展损失包括结构相似度损失和特征损失，结构相似度损失可以使得扩展生成器生成的图像的几何精度更高，提高人类视觉感受，特征损失可以使得图像特征更加明显，清晰度更高，提高了视觉质量。
通道损失可以将注意力信息从预训练生成器转移到扩展生成器上，提高半监督地图生成模型的可靠性，使得模型学习到每个通道的权值，然后将权值乘回原始通道，增强了重要通道的特征，弱化了非重要通道的特征，从而提取到更多的有方向性的特征，模型预测效果更好。
步骤108，根据非配对数据集对扩展生成器进行无监督训练，得到训练后的扩展生成器；利用预训练判别器的权值初始化无监督判别器，根据预先设置的无监督对抗损失对训练后的扩展生成器、无监督判别器、预训练生成器和预训练判别器进行对抗性训练，得到训练好的半监督地图生成模型。
步骤110，根据训练好的半监督地图生成模型对输入的遥感影像进行地图转换。
根据预先设置的无监督对抗损失对训练后的扩展生成器、无监督判别器、预训练生成器和预训练判别器进行对抗性训练，预训练生成器指导扩展生成器如何逐步学习信息，并通过最小化预训练生成器和扩展生成器输出之间的扩展损失，逐步指导优化方向，同时通过通道损失从两个生成器的中间层挖掘知识概念，从不同维度提供全面的概念来提高视觉保真度。
上述基于半监督生成对抗网络的遥感影像转换地图迁移方法中，首先获取配对训练数据集和非配对数据集；配对训练数据集为配对的遥感影像和地图；构建半监督地图生成模型；半监督地图生成模型包括生成器和判别器，根据配对训练数据集和预先设置的损失函数对生成器和判别器进行监督训练，可以得到更加接近真实地图的地图，在预训练生成器中添加变换一致性正则化损失以提高学习到的映射函数准确性，使得后续利用非配对数据集对扩展生成器进行训练时，提高训练结果的准确性，对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练，得到扩展生成器，扩展生成器的目的是直接从预训练生成器学习概念，并模仿预训练生成器的训练过程进行渐进学习，有助于捕获更多的图像低层信息线索，提高地图生成性能，在训练扩展生成器的过程中添加扩展损失和通道损失，扩展损失可以使得扩展生成器生成的图像的几何精度更高，提高人类视觉感受，并使得图像特征更加明显，清晰度更高，提高了视觉质量，通道损失可以将注意力信息从预训练生成器转移到扩展生成器上，提高半监督地图生成模型的可靠性，使得模型学习到每个通道的权值，然后将权值乘回原始通道，增强了重要通道的特征，弱化了非重要通道的特征，从而提取到更多的有方向性的特征，模型预测效果更好。根据预先设置的无监督对抗损失对训练后的扩展生成器、无监督判别器、预训练生成器和预训练判别器进行对抗性训练，根据训练好的半监督地图生成模型对输入的遥感影像进行地图转换，本申请通过预训练生成器指导扩展生成器如何逐步学习信息，并通过最小化预训练生成器和扩展生成器输出之间的扩展损失，逐步指导优化方向，同时通过通道损失从两个生成器的中间层挖掘知识概念，从不同维度提供全面的概念来提高视觉保真度。
在其中一个实施例中，预先设置的损失函数包括对抗损失和重建损失；
所述对抗损失的损失函数为
Figure DEST_PATH_IMAGE026
所述重建损失的损失函数为
Figure DEST_PATH_IMAGE027
其中，
Figure DEST_PATH_IMAGE028
表示遥感影像，
Figure DEST_PATH_IMAGE029
表示地图，
Figure DEST_PATH_IMAGE030
表示预训练判别器，
Figure DEST_PATH_IMAGE031
表示预训练生成器。
在具体实施例中，在配对样本上训练pix2pix[10]模型，从而初始化监督生成器GS和鉴别器DS的权值。GS的目标是学习从遥感影像域X到地图域Y的映射。表示遥感影像域X中的训练样本为{x1,x2,...,xk}及Y中对应的地图样本为{y1,y2,...,yk}。训练生成器GS学习从xi到yi的映射(GS: X→Y)，而判别器DS试图区分生成的地图yi是假地图还是真实地图。在有监督训练阶段，仅考虑GAN的对抗损失，损失函数表示为：
Figure DEST_PATH_IMAGE032
为了使得生成器产生接近真实地图的地图图像。本申请在GS引入一个重建损失，以促进输出GS(x)更接近真实地图y。使用L1范数来减少模糊:
Figure DEST_PATH_IMAGE033
在监督学习阶段的整个目标函数是：
Figure DEST_PATH_IMAGE034
。
在其中一个实施例中，变换一致性正则化损失为
Figure DEST_PATH_IMAGE035
，其中，
Figure DEST_PATH_IMAGE036
是一系列的几何变换，K表示配对训练数据集中的配对的遥感影像和地图样本的总对数；
在具体实施例中，应用变换一致性正则化的正则项(TCR)，它确保模型对图像样本的几何变换的预测与模型对该图像的重建的几何变换一致。在非配对的遥感影像和地图样本上使用TCR可以有效地重建更精确、更吸引人的地图。具体来说，给定K对成对的遥感影像和地图样本的集合
Figure DEST_PATH_IMAGE037
中，
Figure DEST_PATH_IMAGE038
采样于遥感影像样本分布
Figure DEST_PATH_IMAGE039
，
Figure DEST_PATH_IMAGE040
采样于地图样本分布
Figure DEST_PATH_IMAGE041
。给定一组非配对的遥感影像和地图样本的集合
Figure DEST_PATH_IMAGE042
，其中
Figure DEST_PATH_IMAGE043
是半监督训练中每批使用的非配对样本与配对样本的比例。应用于预训练生成器GS上的变换一致性正则化损失为：
Figure DEST_PATH_IMAGE044
其中
Figure DEST_PATH_IMAGE045
是一系列的几何变换，如旋转、翻转等，TCR的损失函数利用非配对数据来帮助生成器在各种几何变换形式下的预测保持一致，进而在后续利用非配对训练数据集对扩展生成器进行训练时，可以提高训练结果的准确性。
在其中一个实施例中，对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练，得到扩展生成器，包括：
将添加变换一致性正则化损失后的预训练生成器中的卷积层的每个通道乘以通道扩展因子，再添加扩展损失和通道损失进行训练，得到扩展生成器。
在其中一个实施例中，扩展损失包括结构相似性损失和特征损失；
所述结构相似性损失为
Figure DEST_PATH_IMAGE046
，其中
Figure DEST_PATH_IMAGE047
表示预训练生成器输出的图像的平均亮度，
Figure DEST_PATH_IMAGE048
表示扩展生成器输出的图像的平均亮度，
Figure DEST_PATH_IMAGE049
表示预训练生成器输出的图像的对比度，
Figure DEST_PATH_IMAGE050
表示扩展生成器输出的图像的对比度，
Figure DEST_PATH_IMAGE051
表示预训练生成器输出的图像和扩展生成器输出的图像的对比相似度，
Figure DEST_PATH_IMAGE052
和
Figure DEST_PATH_IMAGE053
表示正值常数，用于防止公式出现除0异常；
所述特征损失为
Figure DEST_PATH_IMAGE054
，其中n表示非配对数据集中不配对的遥感影像和地图样本的总对数，
Figure DEST_PATH_IMAGE055
表示预训练判别器的前四层，GU表示扩展生成器。
在其中一个实施例中，通道损失为
Figure DEST_PATH_IMAGE056
其中，
Figure DEST_PATH_IMAGE057
表示扩展生成器中第i个特征图的第j个通道的注意力权值，
Figure 996890DEST_PATH_IMAGE021
表示预训练生成器中第i个特征图的第j个通道的注意力权值，c为特征图的通道个数。
在具体实施例中，如图3所示，将预训练生成器GS的卷积层的每个通道乘以一个通道扩展因子η，得到一个扩展的生成器GU。扩展生成器GU的目的是直接从预先训练的监督生成器GS学习概念，并模仿GS的训练过程进行渐进学习。预训练生成器在更新自己的参数时，也会指导扩展生成器优化的方向。优化知识的直接方法是最小化两个生成器生成的地图之间的欧氏距离。GU的优化不需要ground truth，只学习具有相似结构的GS的输出。为了使GU模拟GS的训练过程，在每个迭代步骤中，在两个生成器的输出之间反向传播扩展损失(EPloss)。扩展损失包括结构相似性损失（SSIM loss）和特征损失（feature loss），分别描述如下:
（1）结构相似性损失（SSIM loss）
结构相似度(SSIM)可以度量两幅图像的失真度和相似度，是一个感知模型，更符合人类视觉系统的直观感受。SSIM主要考虑图像的三个方面：亮度、对比度和结构。具体实施中，将GS和GU的输出记为GS(x)和GU(x)。如果输出的图像GS(x)有N个像素点，每个像素点的像素值为si，则计算图像的平均亮度为：
Figure DEST_PATH_IMAGE058
GU输出的平均亮度µu的计算方法与此相同，两者的亮度相似度输为：
Figure DEST_PATH_IMAGE059
对比度衡量图像明暗变化的强度，即像素值的标准偏差。GS(x)的对比度公式为：
Figure DEST_PATH_IMAGE060
用同样的方法计算GU输出的对比
Figure DEST_PATH_IMAGE061
。GS和GU输出的对比相似度为：
Figure DEST_PATH_IMAGE062
GS和GU输出的余弦相似度为：
Figure DEST_PATH_IMAGE063
由此可得GS(x)和GU(x)的结构相似度为：
Figure DEST_PATH_IMAGE064
使C3=C2/2，最终GS(x)和GU(x)的结构相似度损失（SSIM loss）为：
Figure DEST_PATH_IMAGE065
其中，
Figure DEST_PATH_IMAGE066
和
Figure DEST_PATH_IMAGE067
表示正值常数，用于防止公式出现除0异常，
Figure DEST_PATH_IMAGE068
=（K1*L）*（K1*L），
Figure DEST_PATH_IMAGE069
=（K2*L）*（K2*L），默认K1=0.01，K2=0.03，L=2B-1，B是比特深度，目前常用的是8bit，所以L值一般是255。这个SSIM计算是已有的通用方法。
（2）特征损失（feature loss）
然而，仅考虑结构相似度的优化问题会导致图像纹理过于平滑。本申请使用判别器DS从GU和GS的输出图像中提取特征，并引入判别器引导的特征损失函数来训练GS和GU，公式如下：
Figure DEST_PATH_IMAGE070
其中n表示非配对数据集中不配对的遥感影像和地图样本的总对数，
Figure DEST_PATH_IMAGE071
是监督判别器DS的前四层。DS可以捕获地图域的多种信息，因为监督判别器DS是用成对的遥感影像和地图样本进行训练的。上述特征损失函数不直接匹配无监督模块中两个生成器产生的输出，对经过预训练的生成器GS的知识迁移更加灵活。将上述两个损失函数结合起来称为扩展损失，使扩展生成器和预训练生成器相互学习低级和高级信息。因此，无监督训练阶段的扩展损失为：
Figure DEST_PATH_IMAGE072
其中λ是超参数，以平衡LSSIM和LFeature损失。
（3）通道损失
扩展生成器GU是将预训练生成器GS卷积层的每个通道与通道扩展因子η相乘得到的，这有助于捕获更多的图像低层信息线索，提高地图生成性能。本申请将通道粒度信息作为额外的监督信息传递给扩展生成器，提高无监督网络的可靠性进而提高半监督地图生成模型的可靠性。通道级的注意力可以使模型学习到每个通道的权值，然后将权值乘回原始通道。增强了重要通道的特征，弱化了非重要通道的特征，从而提取到更多的有方向性的特征，模型预测效果更好。基于通道的注意权值来衡量特征图中每个通道的重要性定义每个通道的注意权值为：
Figure DEST_PATH_IMAGE073
其中，H,W为特征图的空间维数，
Figure DEST_PATH_IMAGE074
为激活函数，
Figure DEST_PATH_IMAGE075
为第c个通道的权重。特征图的每个通道对应一个视觉模式，但视觉模式的重要性在每个通道中有所不同。由于GS是在监督设置下进行的预训练，因此视觉模式更准确。本申请根据每个通道的特征图计算预先训练的生成器和扩展生成器的注意力信息。如果两个网络的通道数不匹配，本申请采用FitNets中的方法通过1×1卷积对维度进行扩展。将GS的特征图升级到与GU相同的通道数后，利用中间的通道损失将注意力信息从预先训练的生成器转移到扩展生成器上。信道损失公式定义为:
Figure DEST_PATH_IMAGE076
其中，
Figure DEST_PATH_IMAGE077
表示扩展生成器中第i个特征图的第j个通道的注意力权值，
Figure DEST_PATH_IMAGE078
表示预训练生成器中第i个特征图的第j个通道的注意力权值，c为特征图的通道个数。
在其中一个实施例中，预先设置的无监督对抗损失为
Figure DEST_PATH_IMAGE079
Figure DEST_PATH_IMAGE080
其中，DU表示无监督判别器，
Figure DEST_PATH_IMAGE081
表示遥感影像，
Figure DEST_PATH_IMAGE082
表示地图。
在一个实施例中，从谷歌地图中获取三个城市的地图数据集用于对比实验，分别是被广泛使用的纽约市数据集（通用数据集），以及洛杉矶和多伦多的遥感影像和相应的地图数据集：①纽约数据集；纽约数据集的层级（缩放级别）为16级，其中包含2194对遥感影像及其对应的地图。所有样本都覆盖了纽约市及其周边地区。图像尺寸为256 × 256。②洛杉矶数据集；洛杉矶数据集为收集了4791对美国洛杉矶（LA）市区的遥感影像和地图，缩放级别为17，空间分辨率为每像素2.15米。③多伦多数据集；多伦多数据集的缩放级别为17，空间分辨率为每像素2.15米，包含4828幅配对遥感影像和地图，大小为256 × 256。
在对比实验中，本申请使用四种图像质量评价指标来比较本申请的半监督地图生成模型（Semi-MapGen）与其他模型。表1、表2、表3列出了使用每种方法训练纽约市数据集、洛杉矶数据集和多伦多数据集的定量结果，最高分用粗体表示，第二用下划线表示，可以知道用半监督策略训练的模型得到了比其他基于半监督和无监督学习的方法更好的结果，证明了本文提出的半监督策略的有效性。半监督方法利用配对数据为训练提供更可靠的信息。面向知识扩展的训练方案使预先训练的和扩展的生成器能够逐步学习更有效的信息。
首先，对于纽约数据集，本申请在SSIM上得分最高，在其他三个评估指标中，除了pix2pix，本申请优于其他方法。其次，本申请在多伦多数据集的RMSE、PSNR和ACC指标上取得了最好的性能，在SSIM指标上略低于pix2pix。第三，对于洛杉矶的数据集，可以知道Semi-MapGen在SSIM和ACC评估中优于其他方法，特别是在ACC中达到56%。
表1
Figure DEST_PATH_IMAGE083
表2
Figure DEST_PATH_IMAGE084
表3
Figure DEST_PATH_IMAGE085
总体上，Semi-MapGen在识别绿地的颜色以及生成的道路和建筑物的规整性方面略逊于pix2pix。但是，与其他4种半监督和无监督方法相比，Semi-MapGen在区分不同特征和填充颜色方面做得更好。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种基于半监督生成对抗网络的遥感影像转换地图迁移装置，包括：模型构建模块402、预训练模块404、生成器扩展模块406、对抗性训练模块408和遥感影像转换模块410，其中：
模型构建模块402，用于获取配对训练数据集和非配对数据集；配对训练数据集为配对的遥感影像和地图；构建半监督地图生成模型；半监督地图生成模型包括生成器和判别器；
预训练模块404，用于根据配对训练数据集和预先设置的损失函数对生成器和判别器进行监督训练，得到预训练生成器和预训练判别器；
生成器扩展模块406，用于在预训练生成器中添加变换一致性正则化损失，对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练，得到扩展生成器；
对抗性训练模块408，用于根据非配对数据集对扩展生成器进行无监督训练，得到训练后的扩展生成器；利用预训练判别器的权值初始化无监督判别器，根据预先设置的无监督对抗损失对训练后的扩展生成器、无监督判别器、预训练生成器和预训练判别器进行对抗性训练，得到训练好的半监督地图生成模型；
遥感影像转换模块410，用于根据训练好的半监督地图生成模型对输入的遥感影像进行地图转换。
在其中一个实施例中，预先设置的损失函数包括对抗损失和重建损失；
所述对抗损失的损失函数为
Figure DEST_PATH_IMAGE086
所述重建损失的损失函数为
Figure DEST_PATH_IMAGE087
其中，
Figure DEST_PATH_IMAGE088
表示遥感影像，
Figure DEST_PATH_IMAGE089
表示地图，
Figure DEST_PATH_IMAGE090
表示预训练判别器，
Figure DEST_PATH_IMAGE091
表示预训练生成器。
在其中一个实施例中，变换一致性正则化损失为
Figure DEST_PATH_IMAGE092
，其中，
Figure DEST_PATH_IMAGE093
是一系列的几何变换，K表示配对训练数据集中的配对的遥感影像和地图样本的总对数；
在其中一个实施例中，生成器扩展模块406还用于对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练，得到扩展生成器，包括：
将添加变换一致性正则化损失后的预训练生成器中的卷积层的每个通道乘以通道扩展因子，再添加扩展损失和通道损失进行训练，得到扩展生成器。
在其中一个实施例中，扩展损失包括结构相似性损失和特征损失；
所述结构相似性损失为
Figure DEST_PATH_IMAGE094
，其中
Figure DEST_PATH_IMAGE095
表示预训练生成器输出的图像的平均亮度，
Figure DEST_PATH_IMAGE096
表示扩展生成器输出的图像的平均亮度，
Figure DEST_PATH_IMAGE097
表示预训练生成器输出的图像的对比度，
Figure DEST_PATH_IMAGE098
表示扩展生成器输出的图像的对比度，
Figure DEST_PATH_IMAGE099
表示预训练生成器输出的图像和扩展生成器输出的图像的对比相似度，
Figure DEST_PATH_IMAGE100
和
Figure DEST_PATH_IMAGE101
表示正值常数，用于防止公式出现除0异常；
所述特征损失为
Figure DEST_PATH_IMAGE102
，其中n表示非配对数据集中不配对的遥感影像和地图样本的总对数，
Figure DEST_PATH_IMAGE103
表示预训练判别器的前四层，GU表示扩展生成器。
在其中一个实施例中，通道损失为
Figure DEST_PATH_IMAGE104
其中，
Figure DEST_PATH_IMAGE105
表示扩展生成器中第i个特征图的第j个通道的注意力权值，
Figure DEST_PATH_IMAGE106
表示预训练生成器中第i个特征图的第j个通道的注意力权值，c为特征图的通道个数。
在其中一个实施例中，预先设置的无监督对抗损失为
Figure DEST_PATH_IMAGE107
Figure DEST_PATH_IMAGE108
其中，DU表示无监督判别器，
Figure DEST_PATH_IMAGE109
表示遥感影像，
Figure DEST_PATH_IMAGE110
表示地图。
关于基于半监督生成对抗网络的遥感影像转换地图迁移装置的具体限定可以参见上文中对于基于半监督生成对抗网络的遥感影像转换地图迁移方法的限定，在此不再赘述。上述基于半监督生成对抗网络的遥感影像转换地图迁移装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于半监督生成对抗网络的遥感影像转换地图迁移方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中，提供了一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于半监督生成对抗网络的遥感影像转换地图迁移方法，其特征在于，所述方法包括：
获取配对训练数据集和非配对数据集；所述配对训练数据集为配对的遥感影像和地图；
构建半监督地图生成模型；所述半监督地图生成模型包括生成器和判别器；
根据所述配对训练数据集和预先设置的损失函数对所述生成器和判别器进行监督训练，得到预训练生成器和预训练判别器；
在所述预训练生成器中添加变换一致性正则化损失，对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练，得到扩展生成器；
根据所述非配对数据集对所述扩展生成器进行无监督训练，得到训练后的扩展生成器；
利用所述预训练判别器的权值初始化无监督判别器，根据预先设置的无监督对抗损失对所述训练后的扩展生成器、无监督判别器、预训练生成器和预训练判别器进行对抗性训练，得到训练好的半监督地图生成模型；
根据所述训练好的半监督地图生成模型对输入的遥感影像进行地图转换。
2.根据权利要求1所述的方法，其特征在于，所述预先设置的损失函数包括对抗损失和重建损失；
所述对抗损失的损失函数为
Figure DEST_PATH_IMAGE001
所述重建损失的损失函数为
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE003
表示遥感影像，
Figure DEST_PATH_IMAGE004
表示地图，
Figure DEST_PATH_IMAGE005
表示预训练判别器，
Figure DEST_PATH_IMAGE006
表示预训练生成器。
3.根据权利要求1所述的方法，其特征在于，所述变换一致性正则化损失为
Figure DEST_PATH_IMAGE007
，其中，
Figure DEST_PATH_IMAGE008
是一系列的几何变换，K表示配对训练数据集中的配对的遥感影像和地图样本的总对数。
4.根据权利要求1至3任意一项所述的方法，其特征在于，对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练，得到扩展生成器，包括：
将添加变换一致性正则化损失后的预训练生成器中的卷积层的每个通道乘以通道扩展因子，再添加扩展损失和通道损失进行训练，得到扩展生成器。
5.根据权利要求4所述的方法，其特征在于，所述扩展损失包括结构相似性损失和特征损失；
所述结构相似性损失为
Figure DEST_PATH_IMAGE009
，其中
Figure DEST_PATH_IMAGE010
表示预训练生成器输出的图像的平均亮度，
Figure DEST_PATH_IMAGE011
表示扩展生成器输出的图像的平均亮度，
Figure DEST_PATH_IMAGE012
表示预训练生成器输出的图像的对比度，
Figure DEST_PATH_IMAGE013
表示扩展生成器输出的图像的对比度，
Figure DEST_PATH_IMAGE014
表示预训练生成器输出的图像和扩展生成器输出的图像的对比相似度，
Figure DEST_PATH_IMAGE015
和
Figure DEST_PATH_IMAGE016
表示正值常数，用于防止公式出现除0异常；
所述特征损失为
Figure DEST_PATH_IMAGE017
，其中n表示非配对数据集中不配对的遥感影像和地图样本的总对数，
Figure DEST_PATH_IMAGE018
表示预训练判别器的前四层，GU表示扩展生成器。
6.根据权利要求5所述的方法，其特征在于，所述通道损失为
Figure DEST_PATH_IMAGE019
其中，
Figure DEST_PATH_IMAGE020
表示扩展生成器中第i个特征图的第j个通道的注意力权值，
Figure DEST_PATH_IMAGE021
表示预训练生成器中第i个特征图的第j个通道的注意力权值，c为特征图的通道个数。
7.根据权利要求6所述的方法，其特征在于，所述预先设置的无监督对抗损失为
Figure DEST_PATH_IMAGE022
Figure DEST_PATH_IMAGE023
其中，DU表示无监督判别器，
Figure DEST_PATH_IMAGE024
表示遥感影像，
Figure DEST_PATH_IMAGE025
表示地图。
CN202210735253.8A 2022-06-27 2022-06-27 基于半监督生成对抗网络的遥感影像转换地图迁移方法 Active CN114792349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210735253.8A CN114792349B (zh) 2022-06-27 2022-06-27 基于半监督生成对抗网络的遥感影像转换地图迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210735253.8A CN114792349B (zh) 2022-06-27 2022-06-27 基于半监督生成对抗网络的遥感影像转换地图迁移方法

Publications (2)

Publication Number Publication Date
CN114792349A true CN114792349A (zh) 2022-07-26
CN114792349B CN114792349B (zh) 2022-09-06

Family

ID=82463846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210735253.8A Active CN114792349B (zh) 2022-06-27 2022-06-27 基于半监督生成对抗网络的遥感影像转换地图迁移方法

Country Status (1)

Country Link
CN (1) CN114792349B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422787A (zh) * 2023-12-18 2024-01-19 中国人民解放军国防科技大学 一种融合判别式和生成式模型的遥感影像转换地图方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689086A (zh) * 2019-10-08 2020-01-14 郑州轻工业学院 基于生成式对抗网络的半监督高分遥感图像场景分类方法
US20210158109A1 (en) * 2019-11-25 2021-05-27 Jacob Daniel Brumleve Audio-visual simulation-generating neural network system
CN113076806A (zh) * 2021-03-10 2021-07-06 湖北星地智链科技有限公司 一种结构增强的半监督在线地图生成方法
CN113378736A (zh) * 2021-06-18 2021-09-10 武汉大学 一种基于变换一致性正则化的遥感影像深度网络半监督语义分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689086A (zh) * 2019-10-08 2020-01-14 郑州轻工业学院 基于生成式对抗网络的半监督高分遥感图像场景分类方法
US20210158109A1 (en) * 2019-11-25 2021-05-27 Jacob Daniel Brumleve Audio-visual simulation-generating neural network system
CN113076806A (zh) * 2021-03-10 2021-07-06 湖北星地智链科技有限公司 一种结构增强的半监督在线地图生成方法
CN113378736A (zh) * 2021-06-18 2021-09-10 武汉大学 一种基于变换一致性正则化的遥感影像深度网络半监督语义分割方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JIEQIONG SONG ET AL.: ""MapGen-GAN: A Fast Translator for Remote Sensing Image to Map Via Unsupervised Adversarial Learning"", 《 IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 *
刘雨溪等: "基于生成式对抗网络的遥感图像半监督语义分割", 《红外与毫米波学报》 *
杜泽星等: "基于半监督学习的遥感飞机图像检测方法", 《激光与光电子学进展》 *
王玉龙等: "基于生成对抗网络的地面新增建筑检测", 《计算机应用》 *
范宝杰等: "基于卷积对抗网络的多通道图像修复方法", 《计算机应用与软件》 *
谢源等: "基于半监督深度卷积生成对抗网络的注塑瓶表面缺陷检测模型", 《计算机科学》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422787A (zh) * 2023-12-18 2024-01-19 中国人民解放军国防科技大学 一种融合判别式和生成式模型的遥感影像转换地图方法
CN117422787B (zh) * 2023-12-18 2024-03-08 中国人民解放军国防科技大学 一种融合判别式和生成式模型的遥感影像转换地图方法

Also Published As

Publication number Publication date
CN114792349B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN112766244B (zh) 目标对象检测方法、装置、计算机设备和存储介质
US11468262B2 (en) Deep network embedding with adversarial regularization
CN114299380A (zh) 对比一致性学习的遥感图像语义分割模型训练方法及装置
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
CN113065060B (zh) 基于深度学习的教育平台课程推荐方法及系统
CN114169442B (zh) 基于双原型网络的遥感图像小样本场景分类方法
Tian et al. Drought prediction based on feature-based transfer learning and time series imaging
CN114792349B (zh) 基于半监督生成对抗网络的遥感影像转换地图迁移方法
CN114419351A (zh) 图文预训练模型训练、图文预测模型训练方法和装置
CN111310623B (zh) 基于遥感数据与机器学习对泥石流敏感性地图分析的方法
Mu et al. A climate downscaling deep learning model considering the multiscale spatial correlations and chaos of meteorological events
CN113888399B (zh) 一种基于风格融合与域选结构的人脸年龄合成方法
CN115660041A (zh) 海浪高度预测及模型训练方法、电子设备及存储介质
CN112967227B (zh) 基于病灶感知建模的糖尿病视网膜病变自动评估系统
CN115953330B (zh) 虚拟场景图像的纹理优化方法、装置、设备和存储介质
CN117079276B (zh) 一种基于知识蒸馏的语义分割方法、系统、设备及介质
CN110866866B (zh) 图像仿色处理方法、装置、电子设备及存储介质
CN113052121A (zh) 一种基于遥感影像的多层级网络地图智能生成方法
CN110532868B (zh) 一种预测自由空间语义边界的方法
CN116823782A (zh) 一种基于图卷积和多尺度特征的无参考图像质量评价方法
CN113962332B (zh) 基于自优化融合反馈的显著目标识别方法
CN115861930A (zh) 一种基于层级差异特征聚合的人群计数网络建模方法
Bosma et al. Estimating solar and wind power production using computer vision deep learning techniques on weather maps
CN114283051A (zh) 人脸图像处理方法、装置、计算机设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant