CN117422787A - 一种融合判别式和生成式模型的遥感影像转换地图方法 - Google Patents

一种融合判别式和生成式模型的遥感影像转换地图方法 Download PDF

Info

Publication number
CN117422787A
CN117422787A CN202311742448.6A CN202311742448A CN117422787A CN 117422787 A CN117422787 A CN 117422787A CN 202311742448 A CN202311742448 A CN 202311742448A CN 117422787 A CN117422787 A CN 117422787A
Authority
CN
China
Prior art keywords
remote sensing
representing
sensing image
generator
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311742448.6A
Other languages
English (en)
Other versions
CN117422787B (zh
Inventor
伍江江
宋洁琼
陈浩
陈荦
杜春
彭双
李军
熊伟
钟志农
贾庆仁
杨岸然
景宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202311742448.6A priority Critical patent/CN117422787B/zh
Publication of CN117422787A publication Critical patent/CN117422787A/zh
Application granted granted Critical
Publication of CN117422787B publication Critical patent/CN117422787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种融合判别式和生成式模型的遥感影像转换地图方法。所述方法包括：将增强后的遥感影像和预测掩码分别输入训练好的第一生成器的两个编码器中进行联合学习后进行解码，生成数字地图；利用训练好的第一判别器对生成的数字地图进行判断，利用循环一致性的思想将判断为真的数字地图输入到训练好的第二生成器中对重构的遥感影像进行判断，再利用训练好的语义分割网络从判断为真的重构的遥感影像中提取真实语义分割掩码；将真实语义分割掩码和增强后的遥感影像输入训练好的第一生成器中，得到最终的数字地图。采用本方法能够提高遥感影像转换地图质量。

Description

一种融合判别式和生成式模型的遥感影像转换地图方法
技术领域
本申请涉及图像生成技术领域，特别是涉及一种融合判别式和生成式模型的遥感影像转换地图方法。
背景技术
地图的生成方式之一是依赖于遥感影像制图。遥感影像具有高空间分辨率、高清晰度、信息量丰富等优点，通过遥感影像进行地图生成与更新的研究已经成为当前地理信息（GIS）领域的重要研究方向。在深度学习方法取得快速发展之前，传统的基于遥感影像生成地图的方法需利用遥感影像中的颜色、明暗、边界等低层信息进行人工获取矢量数据，并参照制图规范进行地图制图。传统的制图方法虽然可以精确的绘制，但依赖于人工和专家经验，工序复杂，时间消耗较大，更新周期长。此外，传统方法较难应对地震、洪水和泥石流等突发的自然灾害，难以适应应急地理信息保障任务。
近年来，深度学习已经成为研究热点，为遥感图像处理开辟了新的研究方向。其可以挖掘图像中的高层次语义特征，提高遥感影像处理任务的有效性。遥感影像自动转换成数字地图也成为了一项重要而具有挑战性的任务，在实际中得到了广泛的应用。现有的研究大都将其看作是一个判别式的语义分割以及地理要素提取问题或者生成式的图像到图像的翻译问题。
判别式的智能化制图方法是将深度学习技术应用在地图制图流程中的影像地理要素自动化提取中，通过训练大量标注好的样本集，对遥感影像中的地理要素进行自动化提取，再根据提取的矢量要素制作网络地图。该类方法虽然一定程度上实现了网络地图制图流程中的智能化，但是由于缺乏高质量的各类地物标签样本，仍需要大量人工干预，自动化水平不高。
生成式的智能化制图方法是将遥感影像生成网络地图的问题视作一个带有条件（遥感影像）的图像生成问题，旨在使用深度学习方法如域映射、生成对抗网络、自编码器等学习从源图像域到目标图像域的直接表示，从而自动地生成网络地图管目前在计算机视觉领域已有大量的智能化图像生成方法，但遥感图像与一般图像相比，其包含的内容远比普通图像多，具有这波段多、范围广、变形较大等特点。将遥感影像或航拍图像生成数字地图，除了要求生成的地图图像“像”一幅地图以外，还需要生成的地图是精确的，这就需要生成模型需要将不同的地理元素渲染成正确的颜色，为了视觉美感，需要学会对齐一些色块的边界，这就要求模型对图像有更高的语义理解。而大多数深度生成模型缺乏辨别能力，无法清楚地理解遥感影像中的内容。
目前，现有的根据遥感影像自动化生成对应空间和样式的数字地图的研究主要基于两类方法，一种是将该任务视为判别式的遥感影像语义分割任务，另一种是视其为生成式的基于带有条件（遥感影像）的图像转换问题。基于图像转换的地图自动化生成方法可以直接将遥感影像转换为目标样式的数字地图，且具有较真实的视觉质量和风格，但存在语义错误。基于语义分割的地图自动化生成方法将遥感影像中的每个像素划分为一个类标签，可以生成相对准确的地图，但视觉质量并不高。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高遥感影像转换地图质量的融合判别式和生成式模型的遥感影像转换地图方法、装置、计算机设备和存储介质。
一种融合判别式和生成式模型的遥感影像转换地图方法，所述方法包括：
获取待转换的遥感影像和训练数据集；训练数据集包括多个配对的遥感影像和地图；构建数字场地图生成模型；数字场地图生成模型包括第一生成器、第二生成器、第一判别器、第二判别器和语义分割网络；
对训练数据集中的遥感影像进行数据增强操作和边缘轮廓的提取，得到边缘图像；利用像素聚类的方法为训练数据集中的每个遥感图像制作对应的语义标签，根据语义标签和边缘图像对语义分割网络进行训练，得到训练好的语义分割网络；
将边缘图像和训练数据集中的遥感影像结合后输入到训练好的语义分割网络中生成预测掩码；根据预测掩码和预先设置的对抗损失对第一生成器、第二生成器、第一判别器和第二判别器进行训练，得到训练好的第一生成器、第二生成器、第一判别器和第二判别器；
对待转换的遥感影像进行数据增强，将增强后的遥感影像和预测掩码分别输入训练好的第一生成器的两个编码器中进行联合学习后使用解码器将学到的深层次特征进行解码，生成数字地图；
利用训练好的第一判别器对生成的数字地图进行判断，利用循环一致性的思想将判断为真的数字地图输入到训练好的第二生成器中，得到重构的遥感影像，利用训练好的第二判别器对重构的遥感影像进行判断，再利用训练好的语义分割网络从判断为真的重构的遥感影像中提取真实语义分割掩码；
将真实语义分割掩码和增强后的遥感影像输入训练好的第一生成器中，得到最终的数字地图。
在其中一个实施例中，对训练集中的遥感影像进行数据增强操作和边缘轮廓的提取，得到边缘图像，包括：
对训练集中的遥感影像进行数据增强操作，得到增强后的遥感影像；
根据sobel滤波器从增强后的遥感影像中提取边缘图像。
在其中一个实施例中，根据语义标签和边缘图像对语义分割网络进行训练，得到训练好的语义分割网络，包括：
根据语义标签和边缘图像构建语义损失和边缘损失，利用语义损失和边缘损失对语义分割网络进行训练，得到训练好的语义分割网络。
在其中一个实施例中，语义损失为
；
其中，和/>分别表示真实值和预测概率，C表示语义标签类别的总数，/>表示语义标签的序号。
在其中一个实施例中，边缘损失为
；
其中，和/>为从原始影像和地图中提取的边缘图，/>和/>为从相应生成的图像中提取的边缘图。
在其中一个实施例中，预先设置的对抗损失包括最小二乘损失、判别器的目标函数损失、循环一致性损失和一致性损失；预先设置的对抗损失为
=/>；
其中，表示最小二乘损失、/>表示第一判别器的目标函数损失，/>表示第二判别器的目标函数损失，/>表示循环一致性损失、/>表示一致性损失，/>为一致性损失的权重。
在其中一个实施例中，最小二乘损失为
；
其中，表示第一判别器，/>表示第一生成器，/>表示第二判别器，/>表示第二生成器，/>表示原始遥感影像。
在其中一个实施例中，判别器的目标函数损失为
；
；
其中，表示第一判别器，/>表示第一生成器，/>表示第二判别器，/>表示第二生成器，/>表示原始遥感影像，/>表示数字地图。
在其中一个实施例中，循环一致性损失为
；
其中，表示第一生成器，/>表示第二生成器，/>表示原始遥感影像。
在其中一个实施例中，一致性损失为
；
其中，表示数字地图。
上述一种融合判别式和生成式模型的遥感影像转换地图方法，本申请采用了循环一致性的思想，首先对遥感影像进行了数据增强操作，增强了影像中光照不足区域的亮度，以获取更丰富的结构和纹理信息，然后利用现有的数字地图利用像素聚类的方法，制作对应的语义标签由于遥感影像与其配对的数字地图所包含的地理空间要素是一致的，并设计了基于语义先验的生成器结构，采用了联合编码器结构，分别接收遥感影像和对应的语义掩码。这种联合判别和生成模式的网络结构，可以将额外的高级语义标签带到任务中，以便更好地规范生成器的语义理解，使生成的数字地图结果在视觉上更加醒目和逼真；同时，为了充分利用原始输入中的细节信息，还通过构建了一个语义分割网络对生成器施加语义约束，并采用边缘信息辅助的语义分割网络进行训练，可以使得训练后的语义分割网络能够预测原始遥感影像的语义掩码。对遥感影像预测出语义分割掩码后，将数据增强后的遥感影像和预测的语义掩码分别输入到两个编码器中，学习每个类别的影像的纹理和结构特征，从而降低了生成错误语义纹理的风险，再通过设置语义损失函数来训练语义分割网络来使得后续生成的地图与原始遥感影像输入保持一致的语义信息，进而提高生成数字地图的质量，利用高级语义信息进行附加监督，可以有效防止生成的数字地图的语义发生变化和减少影像到地图转换中的语义混乱，进一步提升自动化地图生成的视觉质量和精准度。
附图说明
图1为一个实施例中一种融合判别式和生成式模型的遥感影像转换地图方法的流程示意图；
图2为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种融合判别式和生成式模型的遥感影像转换地图方法，包括以下步骤：
步骤102，获取待转换的遥感影像和训练数据集；训练数据集包括多个配对的遥感影像和地图；构建数字场地图生成模型；数字场地图生成模型包括第一生成器、第二生成器、第一判别器、第二判别器和语义分割网络。
本申请提出的数字地图生成模型包括两个生成器GA和GB，两个判别器DA和DB，以及遥感影像语义分割网络MS。生成器GA目标是学习遥感影像域A到数字地图域B的映射：，而生成器GB的目标是学习数字地图域B到遥感影像域A的逆映射：/>。判别器DA和DB的作用是区分图像是来自生成器生成的假图像还是来自数据集的真实图像。
由于受到天气、光照、云雾等现实因素的影响，部分影像存在失去高层次的语义信息的现象。由于神经网络很难分辨出这些分辨率较低的区域中隐含着什么物体信息，因此会产生不正确的纹理和结构。
为了缓解上述问题，本申请提出的遥感影像转换数字地图方法构建了一个语义分割网络，对生成器施加语义约束。语义分割网络MS将提取循环生成的重构影像与原始影像之间的语义映射。
有监督语义分割方法利用高级语义信息进行附加监督，可以有效防止生成的数字地图的语义发生变化。语义监督网络MS使用逐像素损失函数直接监督生成图像中每个类别的语义正确性。
步骤104，对训练数据集中的遥感影像进行数据增强操作和边缘轮廓的提取，得到边缘图像；利用像素聚类的方法为训练数据集中的每个遥感图像制作对应的语义标签，根据语义标签和边缘图像对语义分割网络进行训练，得到训练好的语义分割网络。
在将遥感影像输入给生成器GA之前对其进行数据增强操作，生成增强后的遥感影像/>，这使得生成器可以捕获更多的结构和纹理信息。然后对遥感影像进行边缘轮廓的提取。不同于简单的图像，遥感图像有更复杂的细节需要关注。此外，遥感图像由于光照条件差异导致强度分布不均匀，只考虑图像表面的风格特征是不足以生成精度高的数字地图，因此，模型需要理解影像包含的深层次的语义特征信息，故为每张遥感图像提供相应的语义分割标签。通过无监督聚类，从对应的数字地图图像中获得语义分割标签，包括背景、道路、水、植被和建筑物五类。这五种语义标签基本可以覆盖数字地图所表达的信息，制作好语义标签后，为了融合语义先验知识，采用边缘信息辅助的语义分割网络进行训练，可以使得训练后的语义分割网络能够预测原始遥感影像的语义掩码。对遥感影像预测出语义分割掩码后，将数据增强后的遥感影像和预测的语义掩码分别输入到两个编码器中，学习每个类别的影像的纹理和结构特征，从而降低了生成错误语义纹理的风险。
由于一般的生成器难以提取到受外界因素影响的遥感影像的细节，在遥感影像到数字地图的翻译中，边缘信息可以帮助提高生成数字地图的质量。本申请利用原始影像和生成数字地图的边缘信息作为额外的监督信息来训练模型，并通过设置语义损失函数与原始遥感影像输入保持一致的语义信息，进而提高生成数字地图的质量。
步骤106，将边缘图像和训练数据集中的遥感影像结合后输入到训练好的语义分割网络中生成预测掩码；根据预测掩码和预先设置的对抗损失对第一生成器、第二生成器、第一判别器和第二判别器进行训练，得到训练好的第一生成器、第二生成器、第一判别器和第二判别器。
本申请通过根据预测掩码和预先设置的对抗损失对第一生成器、第二生成器、第一判别器和第二判别器进行训练来约束生成器生成的图像更接近于真实的图像。
步骤108，对待转换的遥感影像进行数据增强，将增强后的遥感影像和预测掩码分别输入训练好的第一生成器的两个编码器中进行联合学习后使用解码器将学到的深层次特征进行解码，生成数字地图。
为了进一步提高遥感影像到数字地图的翻译性能，本申请对基于语义先验生成器GA，，即训练训练好的结构进行了双编码设计，使生成的数字地图结果在视觉上更加醒目和逼真。将增强后的遥感影像和预测掩码/>分别输入生成器GA的两个编码器中进行联合学习，再使用解码器将学到的深层次特征进行解码，生成数字地图。基于语义先验生成器GA可以将真实的遥感影像/>转换为数字地图/>，相比普通的生成器可以保留更一致的语义信息。
步骤110，利用训练好的第一判别器对生成的数字地图进行判断，利用循环一致性的思想将判断为真的数字地图输入到训练好的第二生成器中，得到重构的遥感影像，利用训练好的第二判别器对重构的遥感影像进行判断，再利用训练好的语义分割网络从判断为真的重构的遥感影像中提取真实语义分割掩码。
利用循环一致性的思想，将生成的数字地图输入到普通的生成器GB中，将数字地图转换为重构的遥感影像/>，再利用语义分割网络MS提取重构后的真实语义分割掩码/>，来保证域转换中语义预测的一致性。
步骤112，将真实语义分割掩码和增强后的遥感影像输入训练好的第一生成器中，得到最终的数字地图。
上述一种融合判别式和生成式模型的遥感影像转换地图方法中，本申请采用了循环一致性的思想，首先对遥感影像进行了数据增强操作，增强了影像中光照不足区域的亮度，以获取更丰富的结构和纹理信息，然后利用现有的数字地图利用像素聚类的方法，制作对应的语义标签由于遥感影像与其配对的数字地图所包含的地理空间要素是一致的，并设计了基于语义先验的生成器结构，采用了联合编码器结构，分别接收遥感影像和对应的语义掩码。这种联合判别和生成模式的网络结构，可以将额外的高级语义标签带到任务中，以便更好地规范生成器的语义理解，使生成的数字地图结果在视觉上更加醒目和逼真；同时，为了充分利用原始输入中的细节信息，还通过构建了一个语义分割网络对生成器施加语义约束，并采用边缘信息辅助的语义分割网络进行训练，可以使得训练后的语义分割网络能够预测原始遥感影像的语义掩码。对遥感影像预测出语义分割掩码后，将数据增强后的遥感影像和预测的语义掩码分别输入到两个编码器中，学习每个类别的影像的纹理和结构特征，从而降低了生成错误语义纹理的风险，再通过设置语义损失函数来训练语义分割网络来使得后续生成的地图与原始遥感影像输入保持一致的语义信息，进而提高生成数字地图的质量，利用高级语义信息进行附加监督，可以有效防止生成的数字地图的语义发生变化和减少影像到地图转换中的语义混乱，进一步提升自动化地图生成的视觉质量和精准度。
在其中一个实施例中，对训练数据集中的遥感影像进行数据增强操作和边缘轮廓的提取，得到边缘图像，包括：
对训练数据集中的遥感影像进行数据增强操作，得到增强后的遥感影像；
根据sobel滤波器从增强后的遥感影像中提取边缘图像。
在其中一个实施例中，根据语义标签和边缘图像对语义分割网络进行训练，得到训练好的语义分割网络，包括：
根据语义标签和边缘图像构建语义损失和边缘损失，利用语义损失和边缘损失对语义分割网络进行训练，得到训练好的语义分割网络。
在其中一个实施例中，语义损失为
；
其中，和/>分别表示真实值和预测概率，C表示语义标签类别的总数，/>表示语义标签的序号。
在其中一个实施例中，边缘损失为
；
其中，和/>为从原始影像和地图中提取的边缘图，/>和/>为从相应生成的图像中提取的边缘图。
在其中一个实施例中，预先设置的对抗损失包括最小二乘损失、判别器的目标函数损失、循环一致性损失和一致性损失；预先设置的对抗损失为
=/>；
其中，表示最小二乘损失、/>表示第一判别器的目标函数损失，/>表示第二判别器的目标函数损失，/>表示循环一致性损失、/>表示一致性损失，/>为一致性损失的权重。
在其中一个实施例中，最小二乘损失为
；
其中，表示第一判别器，/>表示第一生成器，/>表示第二判别器，/>表示第二生成器，/>表示原始遥感影像。
在其中一个实施例中，判别器的目标函数损失为
；
；
其中，表示第一判别器，/>表示第一生成器，/>表示第二判别器，/>表示第二生成器，/>表示原始遥感影像，/>表示数字地图。
在其中一个实施例中，循环一致性损失为
；
其中，表示第一生成器，/>表示第二生成器，/>表示原始遥感影像。
在其中一个实施例中，一致性损失为
；
其中，表示数字地图。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图2所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种融合判别式和生成式模型的遥感影像转换地图方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种融合判别式和生成式模型的遥感影像转换地图方法，其特征在于，所述方法包括：
获取待转换的遥感影像和训练数据集；所述训练数据集包括多个配对的遥感影像和地图；构建数字场地图生成模型；所述数字场地图生成模型包括第一生成器、第二生成器、第一判别器、第二判别器和语义分割网络；
对所述训练数据集中的遥感影像进行数据增强操作和边缘轮廓的提取，得到边缘图像；利用像素聚类的方法为所述训练数据集中的每个遥感图像制作对应的语义标签，根据所述语义标签和边缘图像对所述语义分割网络进行训练，得到训练好的语义分割网络；
将所述边缘图像和训练数据集中的遥感影像结合后输入到训练好的语义分割网络中生成预测掩码；根据所述预测掩码和预先设置的对抗损失对第一生成器、第二生成器、第一判别器和第二判别器进行训练，得到训练好的第一生成器、第二生成器、第一判别器和第二判别器；
对所述待转换的遥感影像进行数据增强，将增强后的遥感影像和所述预测掩码分别输入训练好的第一生成器的两个编码器中进行联合学习后使用解码器将学到的深层次特征进行解码，生成数字地图；
利用训练好的第一判别器对生成的数字地图进行判断，利用循环一致性的思想将判断为真的数字地图输入到训练好的第二生成器中，得到重构的遥感影像，利用训练好的第二判别器对重构的遥感影像进行判断，再利用训练好的语义分割网络从判断为真的重构的遥感影像中提取真实语义分割掩码；
将所述真实语义分割掩码和增强后的遥感影像输入训练好的第一生成器中，得到最终的数字地图。
2.根据权利要求1所述的方法，其特征在于，对所述训练数据集中的遥感影像进行数据增强操作和边缘轮廓的提取，得到边缘图像，包括：
对所述训练数据集中的遥感影像进行数据增强操作，得到增强后的遥感影像；
根据sobel滤波器从所述增强后的遥感影像中提取边缘图像。
3.根据权利要求1所述的方法，其特征在于，根据所述语义标签和边缘图像对所述语义分割网络进行训练，得到训练好的语义分割网络，包括：
根据所述语义标签和边缘图像构建语义损失和边缘损失，利用所述语义损失和边缘损失对所述语义分割网络进行训练，得到训练好的语义分割网络。
4.根据权利要求3所述的方法，其特征在于，所述语义损失为
；
其中，和/>分别表示真实值和预测概率，C表示语义标签类别的总数，/>表示语义标签的序号。
5.根据权利要求3所述的方法，其特征在于，所述边缘损失为
；
其中，和/>为从原始影像和地图中提取的边缘图，/>和/>为从相应生成的图像中提取的边缘图。
6.根据权利要求1所述的方法，其特征在于，所述预先设置的对抗损失包括最小二乘损失、判别器的目标函数损失、循环一致性损失和一致性损失；所述预先设置的对抗损失为
=/>；
其中，表示最小二乘损失、/>表示第一判别器的目标函数损失，/>表示第二判别器的目标函数损失，/>表示循环一致性损失、/>表示一致性损失，/>为一致性损失的权重。
7.根据权利要求6所述的方法，其特征在于，所述最小二乘损失为
；
其中，表示第一判别器，/>表示第一生成器，/>表示第二判别器，/>表示第二生成器，/>表示原始遥感影像。
8.根据权利要求6所述的方法，其特征在于，所述判别器的目标函数损失为
；
；
其中，表示第一判别器，/>表示第一生成器，/>表示第二判别器，/>表示第二生成器，/>表示原始遥感影像，/>表示数字地图。
9.根据权利要求6所述的方法，其特征在于，所述循环一致性损失为
；
其中，表示第一生成器，/>表示第二生成器，/>表示原始遥感影像。
10.根据权利要求9所述的方法，其特征在于，所述一致性损失为
；
其中，表示数字地图。
CN202311742448.6A 2023-12-18 2023-12-18 一种融合判别式和生成式模型的遥感影像转换地图方法 Active CN117422787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311742448.6A CN117422787B (zh) 2023-12-18 2023-12-18 一种融合判别式和生成式模型的遥感影像转换地图方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311742448.6A CN117422787B (zh) 2023-12-18 2023-12-18 一种融合判别式和生成式模型的遥感影像转换地图方法

Publications (2)

Publication Number Publication Date
CN117422787A true CN117422787A (zh) 2024-01-19
CN117422787B CN117422787B (zh) 2024-03-08

Family

ID=89526999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311742448.6A Active CN117422787B (zh) 2023-12-18 2023-12-18 一种融合判别式和生成式模型的遥感影像转换地图方法

Country Status (1)

Country Link
CN (1) CN117422787B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785542A (zh) * 2021-02-07 2021-05-11 中国人民解放军国防科技大学 遥感影像转换网络地图方法、装置、计算机设备和介质
CN112950780A (zh) * 2021-03-12 2021-06-11 北京理工大学 一种基于遥感影像的网络地图智能生成方法及系统
CN113076806A (zh) * 2021-03-10 2021-07-06 湖北星地智链科技有限公司 一种结构增强的半监督在线地图生成方法
CN113704372A (zh) * 2021-08-18 2021-11-26 中国人民解放军国防科技大学 基于深度对抗网络的遥感影像转换地图迁移方法和装置
CN113850824A (zh) * 2021-09-27 2021-12-28 太原理工大学 一种基于多尺度特征融合的遥感图像路网提取方法
CN114792349A (zh) * 2022-06-27 2022-07-26 中国人民解放军国防科技大学 基于半监督生成对抗网络的遥感影像转换地图迁移方法
CN114882139A (zh) * 2022-04-12 2022-08-09 北京理工大学 一种多层级地图的端到端智能生成方法及系统
CN116310646A (zh) * 2023-03-22 2023-06-23 浙江华云电力工程设计咨询有限公司 基于gan的遥感地图图像图域迁移方法、系统及计算机设备
CN116385716A (zh) * 2022-12-23 2023-07-04 中国船舶集团有限公司系统工程研究院 一种基于遥感图的三维地图地物数据自动化生产方法
WO2023216251A1 (zh) * 2022-05-13 2023-11-16 华为技术有限公司 地图生成方法、模型训练方法、可读介质和电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785542A (zh) * 2021-02-07 2021-05-11 中国人民解放军国防科技大学 遥感影像转换网络地图方法、装置、计算机设备和介质
CN113076806A (zh) * 2021-03-10 2021-07-06 湖北星地智链科技有限公司 一种结构增强的半监督在线地图生成方法
CN112950780A (zh) * 2021-03-12 2021-06-11 北京理工大学 一种基于遥感影像的网络地图智能生成方法及系统
CN113704372A (zh) * 2021-08-18 2021-11-26 中国人民解放军国防科技大学 基于深度对抗网络的遥感影像转换地图迁移方法和装置
CN113850824A (zh) * 2021-09-27 2021-12-28 太原理工大学 一种基于多尺度特征融合的遥感图像路网提取方法
CN114882139A (zh) * 2022-04-12 2022-08-09 北京理工大学 一种多层级地图的端到端智能生成方法及系统
WO2023216251A1 (zh) * 2022-05-13 2023-11-16 华为技术有限公司 地图生成方法、模型训练方法、可读介质和电子设备
CN114792349A (zh) * 2022-06-27 2022-07-26 中国人民解放军国防科技大学 基于半监督生成对抗网络的遥感影像转换地图迁移方法
CN116385716A (zh) * 2022-12-23 2023-07-04 中国船舶集团有限公司系统工程研究院 一种基于遥感图的三维地图地物数据自动化生产方法
CN116310646A (zh) * 2023-03-22 2023-06-23 浙江华云电力工程设计咨询有限公司 基于gan的遥感地图图像图域迁移方法、系统及计算机设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIEQIONG SONG, ETC: "MapGen-GAN: A Fast Translator for Remote Sensing Image to Map Via Unsupervised Adversarial Learning", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》, 8 January 2021 (2021-01-08), pages 2341, XP011839422, DOI: 10.1109/JSTARS.2021.3049905 *
PENGFEI LIU, ETC: "Survey of Road Extraction Methods in Remote Sensing Images Based on Deep Learning", 《 JOURNAL OF PHOTOGRAMMETRY, REMOTE SENSING AND GEOINFORMATION SCIENCE》, 15 February 2022 (2022-02-15), pages 135 *
吴目宇: "多尺度特征融合的高分辨率遥感影像建筑物自动提取", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, 15 September 2022 (2022-09-15), pages 028 - 51 *

Also Published As

Publication number Publication date
CN117422787B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN111080628B (zh) 图像篡改检测方法、装置、计算机设备和存储介质
CN111986099B (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及系统
Sun et al. BAS $^{4} $ Net: Boundary-aware semi-supervised semantic segmentation network for very high resolution remote sensing images
US10643320B2 (en) Adversarial learning of photorealistic post-processing of simulation with privileged information
Zhou et al. BOMSC-Net: Boundary optimization and multi-scale context awareness based building extraction from high-resolution remote sensing imagery
CN113780296B (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
Chen et al. MANet: A multi-level aggregation network for semantic segmentation of high-resolution remote sensing images
Abdollahi et al. Improving road semantic segmentation using generative adversarial network
CN113449594B (zh) 一种多层网络组合的遥感影像地类语义分割与面积计算方法
CN111369581A (zh) 图像处理方法、装置、设备及存储介质
CN113111716B (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN113065551A (zh) 利用深度神经网络模型执行图像分割的方法
CN115761222B (zh) 图像分割方法、遥感图像分割方法以及装置
CN114612732A (zh) 样本数据增强方法及系统及装置及介质及目标分类方法
CN114943876A (zh) 一种多级语义融合的云和云影检测方法、设备及存储介质
CN114283285A (zh) 交叉一致性自训练遥感图像语义分割网络训练方法及装置
CN111079807B (zh) 一种地物分类方法及装置
CN117217368A (zh) 预测模型的训练方法、装置、设备、介质及程序产品
CN115577768A (zh) 半监督模型训练方法和装置
Zhu et al. CDANet: Contextual detail-aware network for high-spatial-resolution remote-sensing imagery shadow detection
Huang et al. A correlation context-driven method for sea fog detection in meteorological satellite imagery
CN113657393A (zh) 一种形状先验缺失的图像半监督分割方法及系统
CN113628180A (zh) 一种基于语义分割网络的遥感建筑物检测方法及系统
Tejeswari et al. Building footprint extraction from space-borne imagery using deep neural networks
CN117422787B (zh) 一种融合判别式和生成式模型的遥感影像转换地图方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant