CN113704372B - 基于深度对抗网络的遥感影像转换地图迁移方法和装置 - Google Patents
基于深度对抗网络的遥感影像转换地图迁移方法和装置 Download PDFInfo
- Publication number
- CN113704372B CN113704372B CN202110950271.3A CN202110950271A CN113704372B CN 113704372 B CN113704372 B CN 113704372B CN 202110950271 A CN202110950271 A CN 202110950271A CN 113704372 B CN113704372 B CN 113704372B
- Authority
- CN
- China
- Prior art keywords
- map
- remote sensing
- sensing image
- category
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 31
- 230000005012 migration Effects 0.000 title claims abstract description 29
- 238000013508 migration Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 18
- 239000013598 vector Substances 0.000 claims description 58
- 238000012545 processing Methods 0.000 claims description 37
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 35
- 230000009466 transformation Effects 0.000 claims description 18
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 11
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000004913 activation Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于深度对抗网络的遥感影像转换地图迁移方法和装置。所述方法包括：首先，采用深度对抗网络为基础，在进行网络训练时，选择了两个部分的数据集，包括：遥感图像和多个类别的地图；然后通过内容编码器和类别编码器分别进行内容层次上的深层编码和类别上的深层编码，从而挖掘到内容上隐藏的特征以及类别的特点，然后通过解码器进行解码，可以得到预测地图，采用上述方法，由于采用了多个类别的地图作为数据集，从而在进行场景迁移时，还可以准确的进行地图生成。
Description
技术领域
本申请涉及遥感地图处理技术领域，特别是涉及一种基于深度对抗网络的遥感影像转换地图迁移方法和装置。
背景技术
利用遥感影像生成地图，可以使人们充分了解不同地区的文化活动和自然要素。此外，在地震、火灾或海啸等紧急情况下，生成和更新地图也至关重要。在这种情况下，在灾难性的力量摧毁了人造基础设施之后，原始地图往往变得毫无用处。新生成的地图涵盖了被摧毁的道路和建筑物的信息，可以在一定程度上为救援团队提供帮助。
目前，地图转换模型建立在同源训练数据集和测试数据集的基础之上下，但是无法在先验知识的基础上进行新类别的泛化。如果同时使用不同类别的地图数据集作为训练集，模型可能会因为混合输入而混淆，从而导致地图生成无法进行迁移。
发明内容
基于此，有必要针对上述技术问题，提供一种地图生成模型可以迁移的基于深度对抗网络的遥感影像转换地图迁移方法和装置。
一种基于深度对抗网络的遥感影像转换地图迁移方法，所述方法包括：
将遥感图像样本和多个类别的地图输入深度对抗网络的生成器；其中，所述生成器包括：内容编码器、类别编码器和解码器；所述遥感图像样本输入至所述内容编码器，所述多个类别的地图输入所述类别编码器；
通过所述内容编码器对所述遥感图像进行处理，得到潜在内容特征；
通过所述类别编码器对所述多个类别的地图进行处理，得到潜在类别向量；
将所述潜在类别向量和所述潜在内容特征输入所述解码器，根据所述潜在类别向量得到均值方差向量，将所述均值方差向量作为仿射变换参数，根据所述仿射变换参数对所述潜在内容特征进行缩放处理，得到预测地图；
根据所述遥感图像样本对应的地图和所述预测地图，通过深度对抗网络的判别器进行判别，得到判别结果，根据判别结果和预先设置的损失函数进行反向训练，得到训练好的深度对抗网络；
通过训练好的深度对抗网络完成任意场景遥感影像的地图转换。
在其中一个实施例中，所述判别器包括：注意力模块；还包括：将所述遥感图像样本对应的地图输入所述注意力模块，得到空间注意力特征图；通过所述内容编码器的卷积层对所述遥感图像进行处理，得到遥感图像特征图；将所述空间注意力特征图和所述遥感图像特征图做像素乘积，得到注意力遥感图像特征图；通过所述内容编码器对所述注意力遥感图像特征图进行处理，得到潜在内容特征。
在其中一个实施例中，所述注意力模块包括多个残差块；还包括：将所述遥感图像样本对应的地图输入多个残差块，以使所述遥感图像样本对应的地图在各个残差块中每个空间位置的激活映射，通过求和方式，得到残差块注意力图；对所述残差块注意力图进行求和后归一化，得到空间注意力特征图。
在其中一个实施例中，还包括：通过所述类别编码器对所述多个类别的地图进行卷积处理，得到多个类别的地图对应的类别特征图，对所述类别特征图进行均值操作，得到潜在类别向量。
在其中一个实施例中，所述损失函数包括：深度对抗网络损失、特征图损失和一致性损失；其中，所述深度对抗网络损失为生成器和判别器对抗对应的损失，所述特征图损失为从遥感图像样本对应的地图到空间注意力特征图的损失，所述一致性损失为深度对抗网络输入为地图时，输出也为地图的损失。
在其中一个实施例中，所述内容编码器包含4层卷积网络和两个残差块；所述类别编码器包括5层卷积网络和一个均值计算模块。
在其中一个实施例中，所述解码器包括：内容编码通道和类别编码通道，所述内容编码通道包括两个自适应残差块，所述类别编码通道包括两个全连接层；其中，所述类别编码通道的两个全连接层将所述潜在类别向量转化均值方差向量，所述均值方差向量包括均值和方差，将所述均值作为偏差，所述方差作为缩放因子，进行所述潜在内容特征的处理以生成地图。
一种基于深度对抗网络的遥感影像转换地图迁移装置，所述装置包括：
输入模块，用于将遥感图像样本和多个类别的地图输入深度对抗网络的生成器；其中，所述生成器包括：内容编码器、类别编码器和解码器；所述遥感图像样本输入至所述内容编码器，所述多个类别的地图输入所述类别编码器；
预测模块，用于通过所述内容编码器对所述遥感图像进行处理，得到潜在内容特征；通过所述类别编码器对所述多个类别的地图进行处理，得到潜在类别向量；将所述潜在类别向量和所述潜在内容特征输入所述解码器，根据所述潜在类别向量得到均值方差向量，将所述均值方差向量作为仿射变换参数，根据所述仿射变换参数对所述潜在内容特征进行缩放处理，得到预测地图；
训练模块，用于根据所述遥感图像样本对应的地图和所述预测地图，通过深度对抗网络的判别器进行判别，得到判别结果，根据判别结果和预先设置的损失函数进行反向训练，得到训练好的深度对抗网络；
迁移模块，用于通过训练好的深度对抗网络完成任意场景遥感影像的地图转换。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
将遥感图像样本和多个类别的地图输入深度对抗网络的生成器；其中，所述生成器包括：内容编码器、类别编码器和解码器；所述遥感图像样本输入至所述内容编码器，所述多个类别的地图输入所述类别编码器；
通过所述内容编码器对所述遥感图像进行处理，得到潜在内容特征；
通过所述类别编码器对所述多个类别的地图进行处理，得到潜在类别向量；
将所述潜在类别向量和所述潜在内容特征输入所述解码器，根据所述潜在类别向量得到均值方差向量，将所述均值方差向量作为仿射变换参数，根据所述仿射变换参数对所述潜在内容特征进行缩放处理，得到预测地图；
根据所述遥感图像样本对应的地图和所述预测地图，通过深度对抗网络的判别器进行判别，得到判别结果，根据判别结果和预先设置的损失函数进行反向训练，得到训练好的深度对抗网络；
通过训练好的深度对抗网络完成任意场景遥感影像的地图转换。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
将遥感图像样本和多个类别的地图输入深度对抗网络的生成器；其中，所述生成器包括：内容编码器、类别编码器和解码器；所述遥感图像样本输入至所述内容编码器，所述多个类别的地图输入所述类别编码器；
通过所述内容编码器对所述遥感图像进行处理，得到潜在内容特征；
通过所述类别编码器对所述多个类别的地图进行处理，得到潜在类别向量；
将所述潜在类别向量和所述潜在内容特征输入所述解码器，根据所述潜在类别向量得到均值方差向量，将所述均值方差向量作为仿射变换参数，根据所述仿射变换参数对所述潜在内容特征进行缩放处理，得到预测地图；
根据所述遥感图像样本对应的地图和所述预测地图，通过深度对抗网络的判别器进行判别，得到判别结果，根据判别结果和预先设置的损失函数进行反向训练，得到训练好的深度对抗网络；
通过训练好的深度对抗网络完成任意场景遥感影像的地图转换。
上述基于深度对抗网络的遥感影像转换地图迁移方法、装置、计算机设备和存储介质，首先，采用深度对抗网络为基础，在进行网络训练时，选择了两个部分的数据集，包括：遥感图像和多个类别的地图；然后通过内容编码器和类别编码器分别进行内容层次上的深层编码和类别上的深层编码，从而挖掘到内容上隐藏的特征以及类别的特点，然后通过解码器进行解码，可以得到预测地图，采用上述方法，由于采用了多个类别的地图作为数据集，从而在进行场景迁移时，还可以准确的进行地图生成。
附图说明
图1为一个实施例中基于深度对抗网络的遥感影像转换地图迁移方法的流程示意图；
图2为一个实施例中基于深度对抗网络的遥感影像转换地图迁移装置的结构框图；
图3为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于深度对抗网络的遥感影像转换地图迁移方法，包括以下步骤：
步骤102，将遥感图像样本和多个类别的地图输入深度对抗网络的生成器。
其中，生成器包括：内容编码器、类别编码器和解码器；遥感图像样本输入至内容编码器，多个类别的地图输入类别编码器。
步骤104，通过内容编码器对遥感图像进行处理，得到潜在内容特征。
步骤106，通过类别编码器对多个类别的地图进行处理，得到潜在类别向量。
步骤108，将潜在类别向量和潜在内容特征输入所述解码器，根据潜在类别向量得到均值方差向量，将均值方差向量作为仿射变换参数，根据仿射变换参数对潜在内容特征进行缩放处理，得到预测地图。
步骤110，根据遥感图像样本对应的地图和预测地图，通过深度对抗网络的判别器进行判别，得到判别结果，根据判别结果和预先设置的损失函数进行反向训练，得到训练好的深度对抗网络。
步骤112，通过训练好的深度对抗网络完成任意场景遥感影像的地图转换。
上述基于深度对抗网络的遥感影像转换地图迁移方法中，首先，采用深度对抗网络为基础，在进行网络训练时，选择了两个部分的数据集，包括：遥感图像和多个类别的地图；然后通过内容编码器和类别编码器分别进行内容层次上的深层编码和类别上的深层编码，从而挖掘到内容上隐藏的特征以及类别的特点，然后通过解码器进行解码，可以得到预测地图，采用上述方法，由于采用了多个类别的地图作为数据集，从而在进行场景迁移时，还可以准确的进行地图生成。
在其中一个实施例中，判别器包括：注意力模块；通过引入注意力模块，可以关注感兴趣的区域，并使用判别器生成空间注意力特征图并输出到生成器来生成更逼真的图像。具体的，将遥感图像样本对应的地图输入注意力模块，得到空间注意力特征图；通过内容编码器的卷积层对遥感图像进行处理，得到遥感图像特征图；将空间注意力特征图和遥感图像特征图做像素乘积，得到注意力遥感图像特征图；通过内容编码器对注意力遥感图像特征图进行处理，得到潜在内容特征。
在其中一个实施例中，注意力模块包括多个残差块，将遥感图像样本对应的地图输入多个残差块，以使遥感图像样本对应的地图在各个残差块中每个空间位置的激活映射，通过求和方式，得到残差块注意力图；对残差块注意力图进行求和后归一化，得到空间注意力特征图。
在其中一个实施例中，通过类别编码器对多个类别的地图进行卷积处理，得到多个类别的地图对应的类别特征图，对类别特征图进行均值操作，得到潜在类别向量。
具体的，生成器包含一个内容编码器Et、一个类别编码器Es和一个解码器Fts。内容编码器包含4层卷积网络和两个残差块，从输入的遥感影像x中提取特征图，并与判别器生成的空间注意力特征图做像素乘积⊙。内容编码器Et的设计是为输入图像x编码感兴趣的区域，并生成特征映射Zx(内容潜在代码)。类别编码器Es将K张地图{y1，y2，...yK}映射到一个中间向量，经过5层卷积后进行均值操作以获得向量Zy(类别潜代码)。解码器Fts由两个自适应实例归一化残差块组成，AdaIN作为归一化层，首先规范化每个通道中的内容潜在代码Zx。同时，经过两个全连接层，解码器Fts将类别编码器生成的类别潜码Zy计算为均值和方差向量(μ，σ2)。随后使用向量(μ，σ2)作为自适应实例归一化残差块中的仿射变换参数来缩放激活，其中μ是偏差，σ2是缩放因子。参数(μ，σ2)应用于解码器的每个残差块以获得全局外观信息。对于内容编码器Et、类别编码器Es和解码器Fts，输出映射可以描述为：
在对抗生成网络(GAN模型)中引入注意学习可以使遥感影像到地图的翻译任务更加逼真。从判别器到生成器，利用空间注意机制来转移知识。本模型的判别器不仅可以将地图分为真假，还可以生成注意特征图并反馈给生成器。注意力特征图表示判别器的识别区域，使其能够正确识别输入图像。将注意力特征图引入到生成器的网络中，使其对具有明显区分度的区域赋予更高的权重，可以在更大程度上保留域的某些特定特征。细节如下，通过向判别器提供一个地图y，以获得空间注意力特征图其大小与输入的遥感影像x相同。/>)表示残差块中每个空间位置的激活映射的绝对值之和，可以描述为：
其中，Aj为每一个残差块的第j个特征平面，C为每个残差块输出的通道，N(·)为归一化操作，将输入归一化到区间[0，1]之间并且对输入进行上采样，以匹配原始图像的大小。判别器有5个残差块，考虑到判别器网络不同层对特征的关注不同，因此从潜在空间的不同层提取L个残差块的注意图。因此，判别器获取的空间注意力特征图可以表示为：
在其中一个实施例中，损失函数包括：深度对抗网络损失、特征图损失和一致性损失；其中，深度对抗网络损失为生成器和判别器对抗对应的损失，特征图损失为从遥感图像样本对应的地图到空间注意力特征图的损失，一致性损失为深度对抗网络输入为地图时，输出也为地图的损失。
具体的，通过求解极小极大优化问题来训练RSMT框架：
LGAN(G，D)+λFMLFM(D)+λIdLId(G)
其中，LGAN(G，D)表示GAN损失，LFM(D)为特征图损失，LId(G)为一致性损失。
1)对抗损失
RSMT的目标是学习从X(遥感影像)到Y(地图)的映射，此映射对应生成对抗网络GAN中的生成器G。对于生成的地图，还需要判别器D判别真假。生成器G的目标是最小化目标函数来对抗判别器D，而判别器则试图最大化目标。因此对抗损失函数为：
2)特征图损失
RSMT利用注意机制引导的判别器架构，并为判别器产生的空间注意特征图引入额外的特征图损失。空间注意力特征表示判别器的辨别区域，使其能够正确识别输入图像。判别器需要对相似区域进行分类，而特征图损失会引导判别器注意真实地图y和生成地图中的不同位置。因此，基于注意力机制的特征图损失计算如下：
其中从判别器中获取空间注意力特征图，||·||1为L1正则化标准。通过L1正则化处理得到的图像特征通常有较好的效果。
3)一致性损失
地图一致性损失有助于增强模型的翻译能力。当把目标类的真实地图样本作为生成器的输入时，生成器以学到的模式同样会生成地图。具体来说，在训练过程中，内容编码器Ec输入一张地图，在类别编码器Es中同时也输入一张地图。生成器G用于生成地图样式的图像。当地图输入到生成器G中时，仍然应该生成一张地图，这可以证明生成器具有地图翻译的能力。因此，将一致性损失定义为：
LId(G)＝Ey～P(y)[||y-G(y，{y})||1]
在其中一个实施例中，内容编码器包含4层卷积网络和两个残差块；类别编码器包括5层卷积网络和一个均值计算模块。
在其中一个实施例中，解码器包括：内容编码通道和类别编码通道，内容编码通道包括两个自适应残差块，类别编码通道包括两个全连接层；其中，类别编码通道的两个全连接层将潜在类别向量转化均值方差向量，均值方差向量包括均值和方差，将均值作为偏差，方差作为缩放因子，进行潜在内容特征的处理以生成地图。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图2所示，提供了一种基于深度对抗网络的遥感影像转换地图迁移装置，包括：输入模块202、预测模块204、训练模块206和迁移模块208，其中：
输入模块202，用于将遥感图像样本和多个类别的地图输入深度对抗网络的生成器；其中，所述生成器包括：内容编码器、类别编码器和解码器；所述遥感图像样本输入至所述内容编码器，所述多个类别的地图输入所述类别编码器；
预测模块204，用于通过所述内容编码器对所述遥感图像进行处理，得到潜在内容特征；通过所述类别编码器对所述多个类别的地图进行处理，得到潜在类别向量；将所述潜在类别向量和所述潜在内容特征输入所述解码器，根据所述潜在类别向量得到均值方差向量，将所述均值方差向量作为仿射变换参数，根据所述仿射变换参数对所述潜在内容特征进行缩放处理，得到预测地图；
训练模块206，用于根据所述遥感图像样本对应的地图和所述预测地图，通过深度对抗网络的判别器进行判别，得到判别结果，根据判别结果和预先设置的损失函数进行反向训练，得到训练好的深度对抗网络；
迁移模块208，用于通过训练好的深度对抗网络完成任意场景遥感影像的地图转换。
在其中一个实施例中，判别器包括：注意力模块；预测模块204还用于将所述遥感图像样本对应的地图输入所述注意力模块，得到空间注意力特征图；通过所述内容编码器的卷积层对所述遥感图像进行处理，得到遥感图像特征图；将所述空间注意力特征图和所述遥感图像特征图做像素乘积，得到注意力遥感图像特征图；通过所述内容编码器对所述注意力遥感图像特征图进行处理，得到潜在内容特征。
在其中一个实施例中，注意力模块包括多个残差块；预测模块204还用于将所述遥感图像样本对应的地图输入多个残差块，以使所述遥感图像样本对应的地图在各个残差块中每个空间位置的激活映射，通过求和方式，得到残差块注意力图；对所述残差块注意力图进行求和后归一化，得到空间注意力特征图。
在其中一个实施例中，预测模块204还用于通过所述类别编码器对所述多个类别的地图进行卷积处理，得到多个类别的地图对应的类别特征图，对所述类别特征图进行均值操作，得到潜在类别向量。
在其中一个实施例中，损失函数包括：深度对抗网络损失、特征图损失和一致性损失；其中，所述深度对抗网络损失为生成器和判别器对抗对应的损失，所述特征图损失为从遥感图像样本对应的地图到空间注意力特征图的损失，所述一致性损失为深度对抗网络输入为地图时，输出也为地图的损失。
在其中一个实施例中，内容编码器包含4层卷积网络和两个残差块；类别编码器包括5层卷积网络和一个均值计算模块。
在其中一个实施例中，解码器包括：内容编码通道和类别编码通道，所述内容编码通道包括两个自适应残差块，类别编码通道包括两个全连接层；其中，类别编码通道的两个全连接层将潜在类别向量转化均值方差向量，所述均值方差向量包括均值和方差，将所述均值作为偏差，所述方差作为缩放因子，进行所述潜在内容特征的处理以生成地图。
关于基于深度对抗网络的遥感影像转换地图迁移装置的具体限定可以参见上文中对于基于深度对抗网络的遥感影像转换地图迁移方法的限定，在此不再赘述。上述基于深度对抗网络的遥感影像转换地图迁移装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于深度对抗网络的遥感影像转换地图迁移方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种基于深度对抗网络的遥感影像转换地图迁移方法，其特征在于，所述方法包括：
将遥感图像样本对应的地图输入深度对抗网络的判别器，所述判别器包括注意力模块，所述注意力模块根据所述遥感图像样本对应的地图生成空间注意力特征图；
将所述空间注意力特征图、所述遥感图像样本和多个类别的地图输入深度对抗网络的生成器；其中，所述生成器包括：内容编码器、类别编码器和解码器；所述遥感图像样本输入至所述内容编码器，所述多个类别的地图输入所述类别编码器；
通过所述内容编码器的卷积层对所述遥感图像样本进行处理，得到遥感图像特征图，将所述空间注意力特征图和所述遥感图像特征图做像素乘积，得到注意力遥感图像特征图；
通过所述内容编码器对所述注意力遥感图像特征图进行处理，得到潜在内容特征；
通过所述类别编码器对所述多个类别的地图进行处理，得到潜在类别向量；
将所述潜在类别向量和所述潜在内容特征输入所述解码器，根据所述潜在类别向量得到均值方差向量，将所述均值方差向量作为仿射变换参数，根据所述仿射变换参数对所述潜在内容特征进行缩放处理，得到预测地图；
根据所述遥感图像样本对应的地图和所述预测地图，通过所述判别器进行判别，得到判别结果，根据判别结果和预先设置的损失函数进行反向训练，得到训练好的深度对抗网络；
通过训练好的深度对抗网络完成任意场景遥感影像的地图转换。
2.根据权利要求1所述的方法，其特征在于，所述注意力模块包括多个残差块；
将所述遥感图像样本对应的地图输入所述注意力模块，得到空间注意力特征图，包括：
将所述遥感图像样本对应的地图输入多个残差块，以使所述遥感图像样本对应的地图在各个残差块中每个空间位置激活映射，通过求和方式，得到残差块注意力图；
对所述残差块注意力图进行求和后归一化，得到空间注意力特征图。
3.根据权利要求1所述的方法，其特征在于，所述通过所述类别编码器对所述多个类别的地图进行处理，得到潜在类别向量，包括：
通过所述类别编码器对所述多个类别的地图进行卷积处理，得到多个类别的地图对应的类别特征图，对所述类别特征图进行均值操作，得到潜在类别向量。
4.根据权利要求1或2所述的方法，其特征在于，所述损失函数包括：深度对抗网络损失、特征图损失和一致性损失；其中，所述深度对抗网络损失为生成器和判别器对抗对应的损失，所述特征图损失为从遥感图像样本对应的地图到空间注意力特征图的损失，所述一致性损失为深度对抗网络输入为地图时，输出也为地图的损失。
5.根据权利要求1至3任一项所述的方法，其特征在于，所述内容编码器包含4层卷积网络和两个残差块；所述类别编码器包括5层卷积网络和一个均值计算模块。
6.根据权利要求1至3任一项所述的方法，其特征在于，所述解码器包括：内容解码通道和类别解码通道，所述内容解码通道包括两个自适应残差块，所述类别解码通道包括两个全连接层；其中，所述类别解码通道的两个全连接层将所述潜在类别向量转化为均值方差向量，所述均值方差向量包括均值和方差，将所述均值作为偏差，所述方差作为缩放因子，进行所述潜在内容特征的处理以生成地图。
7.一种基于深度对抗网络的遥感影像转换地图迁移装置，其特征在于，所述装置包括：
输入模块，用于将遥感图像样本对应的地图输入深度对抗网络的判别器，所述判别器包括注意力模块，所述注意力模块根据所述遥感图像样本对应的地图生成空间注意力特征图；将所述空间注意力特征图、所述遥感图像样本和多个类别的地图输入深度对抗网络的生成器；其中，所述生成器包括：内容编码器、类别编码器和解码器；所述遥感图像样本输入至所述内容编码器，所述多个类别的地图输入所述类别编码器；通过所述内容编码器的卷积层对所述遥感图像样本进行处理，得到遥感图像特征图，将所述空间注意力特征图和所述遥感图像特征图做像素乘积，得到注意力遥感图像特征图；
预测模块，用于通过所述内容编码器对所述注意力遥感图像特征图进行处理，得到潜在内容特征；通过所述类别编码器对所述多个类别的地图进行处理，得到潜在类别向量；将所述潜在类别向量和所述潜在内容特征输入所述解码器，根据所述潜在类别向量得到均值方差向量，将所述均值方差向量作为仿射变换参数，根据所述仿射变换参数对所述潜在内容特征进行缩放处理，得到预测地图；
训练模块，用于根据所述遥感图像样本对应的地图和所述预测地图，通过所述判别器进行判别，得到判别结果，根据判别结果和预先设置的损失函数进行反向训练，得到训练好的深度对抗网络；
迁移模块，用于通过训练好的深度对抗网络完成任意场景遥感影像的地图转换。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110950271.3A CN113704372B (zh) | 2021-08-18 | 2021-08-18 | 基于深度对抗网络的遥感影像转换地图迁移方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110950271.3A CN113704372B (zh) | 2021-08-18 | 2021-08-18 | 基于深度对抗网络的遥感影像转换地图迁移方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113704372A CN113704372A (zh) | 2021-11-26 |
| CN113704372B true CN113704372B (zh) | 2024-02-06 |
Family
ID=78653350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110950271.3A Active CN113704372B (zh) | 2021-08-18 | 2021-08-18 | 基于深度对抗网络的遥感影像转换地图迁移方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113704372B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114418005B (zh) * | 2022-01-21 | 2022-09-20 | 杭州碧游信息技术有限公司 | 基于gan网络的游戏地图自动生成方法、装置、介质及设备 |
| CN117422787B (zh) * | 2023-12-18 | 2024-03-08 | 中国人民解放军国防科技大学 | 一种融合判别式和生成式模型的遥感影像转换地图方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102819829A (zh) * | 2012-07-17 | 2012-12-12 | 中国科学院地理科学与资源研究所 | 基于分形的超分辨率遥感影像的重建算法 |
| CN112561838A (zh) * | 2020-12-02 | 2021-03-26 | 西安电子科技大学 | 基于残差自注意力和生成对抗网络的图像增强方法 |
| CN112785542A (zh) * | 2021-02-07 | 2021-05-11 | 中国人民解放军国防科技大学 | 遥感影像转换网络地图方法、装置、计算机设备和介质 |
| CN112837210A (zh) * | 2021-01-28 | 2021-05-25 | 南京大学 | 一种基于特征图分块的多形变风格人脸漫画自动生成方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112487999A (zh) * | 2020-12-02 | 2021-03-12 | 西安邮电大学 | 一种基于CycleGAN的遥感图像鲁棒特征提取方法 |
| CN112950780B (zh) * | 2021-03-12 | 2022-09-06 | 北京理工大学 | 一种基于遥感影像的网络地图智能生成方法及系统 |
-
2021
- 2021-08-18 CN CN202110950271.3A patent/CN113704372B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102819829A (zh) * | 2012-07-17 | 2012-12-12 | 中国科学院地理科学与资源研究所 | 基于分形的超分辨率遥感影像的重建算法 |
| CN112561838A (zh) * | 2020-12-02 | 2021-03-26 | 西安电子科技大学 | 基于残差自注意力和生成对抗网络的图像增强方法 |
| CN112837210A (zh) * | 2021-01-28 | 2021-05-25 | 南京大学 | 一种基于特征图分块的多形变风格人脸漫画自动生成方法 |
| CN112785542A (zh) * | 2021-02-07 | 2021-05-11 | 中国人民解放军国防科技大学 | 遥感影像转换网络地图方法、装置、计算机设备和介质 |
Non-Patent Citations (1)
| Title |
|---|
| MapGen-GAN: A Fast Translator for Remote Sensing Image to Map Via Unsupervised Adversarial Learning;Jieqiong Song , Jun Li, Hao Chen , and Jiangjiang Wu;IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING;第14卷;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113704372A (zh) | 2021-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110136103B (zh) | 医学影像解释方法、装置、计算机设备及存储介质 | |
| Arietta et al. | City forensics: Using visual elements to predict non-visual city attributes | |
| US10503978B2 (en) | Spatio-temporal interaction network for learning object interactions | |
| Gong et al. | Superpixel-based difference representation learning for change detection in multispectral remote sensing images | |
| CN111738231B (zh) | 目标对象检测方法、装置、计算机设备和存储介质 | |
| CN111723732B (zh) | 一种光学遥感图像变化检测方法、存储介质及计算设备 | |
| CN113704372B (zh) | 基于深度对抗网络的遥感影像转换地图迁移方法和装置 | |
| CN111782840B (zh) | 图像问答方法、装置、计算机设备和介质 | |
| CN112785542B (zh) | 遥感影像转换网络地图方法、装置、计算机设备和介质 | |
| CN111738074B (zh) | 基于弱监督学习的行人属性识别方法、系统及装置 | |
| CN115050064A (zh) | 人脸活体检测方法、装置、设备及介质 | |
| Chang et al. | Multi-vertebrae segmentation from arbitrary spine MR images under global view | |
| CN112115860A (zh) | 人脸关键点定位方法、装置、计算机设备和存储介质 | |
| Sun et al. | Two-stage deep regression enhanced depth estimation from a single RGB image | |
| CN114707589A (zh) | 对抗样本的生成方法、装置、存储介质、设备及程序产品 | |
| CN112949628B (zh) | 一种基于嵌入-混合的轨迹数据增强及轨迹识别方法 | |
| Bao et al. | Multiple agents’ spatiotemporal data generation based on recurrent regression dual discriminator GAN | |
| CN113609900A (zh) | 局部生成人脸定位方法、装置、计算机设备和存储介质 | |
| Mikhaylenko et al. | Analysis of the predicting neural network person recognition system by picture image | |
| CN116740570A (zh) | 基于掩码图像建模的遥感图像道路提取方法、装置及设备 | |
| CN113516182B (zh) | 视觉问答模型训练、视觉问答方法和装置 | |
| CN115115910A (zh) | 图像处理模型的训练方法、使用方法、装置、设备及介质 | |
| CN113762053A (zh) | 一种图像处理方法、装置、计算机及可读存储介质 | |
| CN117576248B (zh) | 基于姿态引导的图像生成方法和装置 | |
| CN117853678B (zh) | 基于多源遥感进行地理空间数据三维实体化改造的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |