CN114549992A - 一种跨分辨率的建筑物影像提取方法及装置 - Google Patents
一种跨分辨率的建筑物影像提取方法及装置 Download PDFInfo
- Publication number
- CN114549992A CN114549992A CN202210182051.5A CN202210182051A CN114549992A CN 114549992 A CN114549992 A CN 114549992A CN 202210182051 A CN202210182051 A CN 202210182051A CN 114549992 A CN114549992 A CN 114549992A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- sensing image
- resolution
- building
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000012549 training Methods 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 24
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种跨分辨率的建筑物影像提取方法及装置。该方法包括：获取低分辨率遥感影像，低分辨率遥感影像中包含建筑物；利用生成式对抗网络中的生成器对低分辨率遥感影像进行超分辨率重建，确定超分辨率遥感影像和建筑物的边缘特征；根据边缘特征，利用提取模型在超分辨率遥感影像中提取建筑物的影像。该方法可以实现跨分辨率建筑物影像提取，即在只有低分辨率遥感影像条件下，提取到相对高分辨率的建筑物影像。
Description
技术领域
本申请涉及测绘技术领域以及遥感影像处理技术领域，尤其涉及一种跨分辨率的建筑物影像提取方法及装置。
背景技术
快速获取大范围的建筑物分布信息是测绘与遥感领域中最重要的实际生产任务之一。伴随着遥感技术的飞速发展，基于相对高分辨率的遥感影像的地形图勾绘逐渐在快速大范围的中小比例尺测绘中显示出其无可比拟的效率优势。
然而，在进行建筑物影像提取时，遥感影像的选取对建筑物影像提取的结果会产生重要影响。在实际测绘生产过程中，遥感影像的选取通常从两个方面考虑：影像质量和获取成本。衡量遥感影像质量一般从遥感影像的物理特征和时间特征出发，包括影像的色调色差、清晰程度、细节表现、空间分辨率和时间分辨率。而获取成本一般主要关注获取影像所花费的时间成本、人力成本和资金成本。虽然对同一套提取算法而言，影像质量越高通常可以带来更好的建筑物提取结果，但是更高质量的影像也会不可避免的需要付出更高的获取成本作为代价。
发明内容
本申请提供了一种跨分辨率的建筑物影像提取方法及装置，基于相对低分辨率的遥感影像提取到满足预期的高分辨率要求的建筑物影像。
第一方面，本申请提供了一种建筑物影像提取方法。该方法包括：获取低分辨率遥感影像，所述低分辨率遥感影像中包含建筑物；利用生成式对抗网络中的生成器对所述低分辨率遥感影像进行超分辨率重建，确定超分辨率遥感影像和所述建筑物的边缘特征；根据所述边缘特征，利用提取模型在所述超分辨率遥感影像中提取所述建筑物的影像。
上述方案通过预先训练的生成器对低分辨率遥感影像进行超分，以获得满足一定超分倍率的高分辨率的遥感影像，从而可以使用预先训练的提取模型在高分辨率的遥感影像中提取到高分辨率的建筑物影像，在满足实际的高质量提取需求的情况下，可以避免增加获取遥感影像的成本。并且，在提取建筑物时，考虑建筑物在超分辨率影像中的边缘特征，可以使提取模型更准确的提取到建筑物影像。
在一种可能的实施方式中，所述生成器包括第一网络和第二网络，所述确定超分辨率遥感影像和所述建筑物的边缘特征包括：将所述低分辨率遥感影像输入所述第一网络，根据所述第一网络的输出确定所述超分辨率遥感影像；根据所述建筑物的先验信息，利用所述第二网络在所述超分辨率遥感影像的梯度图中确定所述边缘特征。
上述方案通过设计的两阶段的生成器实现对低分辨率遥感影像的超分计算，以获得高分辨率的遥感影像，以及从获得的超分辨率遥感影像的梯度图中提取到建筑物的边缘特征。
在一种可能的实施方式中，所述生成式对抗网络通过如下步骤获得：根据超分倍率，对所述低分辨率遥感影像做降采样处理获得第一遥感影像样本，所述第一遥感影像样本的分辨率小于所述低分辨率遥感影像；根据所述第一遥感影像样本和所述低分辨率遥感影像，更新所述生成式对抗网络中生成器和判别器的参数。
其中，超分倍率决定了生成器获得的超分辨率遥感影像的分辨率与低分倍率遥感影像的分辨率的倍数关系。
上述方案中使用待提取建筑物影像的低分辨率遥感影像获得的训练样本训练对抗网络的训练样本，一方面可以节省网络的训练成本，另一方面可以避免大量外部数据训练的网络对低分辨率遥感影像不适用，导致生成的高分影像不符合实际情况的问题。
在一种可能的实施方式中，在所述根据所述边缘特征，利用提取模型在所述超分辨率遥感影像中提取所述建筑物的影像之前，所述方法还包括：根据所述边缘特征增强所述超分辨率遥感影像中的所述建筑物的边缘区域。
在一种可能的实施方式中，所述根据所述边缘特征，利用提取模型在所述超分辨率遥感影像中提取所述建筑物的影像包括：将所述边缘特征和所述超分辨率遥感影像输入所述提取模型，根据所述提取模型的输出，确定所述建筑物的影像。
在一种可能的实施方式中，所述提取模型通过如下步骤训练获得：获取第二遥感影像样本以及所述第二遥感影像样本的梯度图；根据所述第二遥感影像样本、所述第二遥感影像样本的梯度图、以及所述第二遥感影像样本对应的建筑物标签，更新所述提取模型的参数。
在一种可能的实施方式中，所述第二遥感影像样本以及所述第二遥感影像样本的梯度图通过所述生成器获得。
第二方面，本申请还提供一种建筑物影像提取装置。该装置包括：获取模块、超分模块和提取模块。
其中，获取模块用于获取低分辨率遥感影像，所述低分辨率遥感影像中包含建筑物。
其中，超分模块用于利用生成式对抗网络中的生成器对所述低分辨率遥感影像进行超分辨率重建，确定超分辨率遥感影像和所述建筑物的边缘特征。
其中，提取模块用于根据所述边缘特征，利用提取模型在所述超分辨率遥感影像中提取所述建筑物的影像。
在一种可能的实施方式中，所述生成器包括第一网络和第二网络，所述超分模块具体用于：将所述低分辨率遥感影像输入所述第一网络，根据所述第一网络的输出确定所述超分辨率遥感影像；根据所述建筑物的先验信息，利用所述第二网络在所述超分辨率遥感影像的梯度图中确定所述边缘特征。
在一种可能的实施方式中，所述超分模块还用于通过如下步骤获得生成式对抗网络：根据超分倍率，对所述低分辨率遥感影像做降采样处理获得第一遥感影像样本，所述第一遥感影像样本的分辨率小于所述低分辨率遥感影像；根据所述第一遥感影像样本和所述低分辨率遥感影像，更新所述生成式对抗网络中生成器和判别器的参数。
在一种可能的实施方式中，所述超分模块还用于：根据所述边缘特征增强所述超分辨率遥感影像中的所述建筑物的边缘区域。
在一种可能的实施方式中，所述提取模块具体用于：将所述边缘特征和所述超分辨率遥感影像输入所述提取模型，根据所述提取模型的输出，确定所述建筑物的影像。
在一种可能的实施方式中，所述提取模块还通过如下步骤训练获得提取模型：获取第二遥感影像样本以及所述第二遥感影像样本的梯度图；根据所述第二遥感影像样本、所述第二遥感影像样本的梯度图、以及所述第二遥感影像样本对应的建筑物标签，更新所述提取模型的参数。
在一种可能的实施方式中，所述第二遥感影像样本以及所述第二遥感影像样本的梯度图通过所述生成器获得。
第三方面，本申请还提供一种计算设备。包括：处理器和存储器，所述处理器用于执行存储于所述存储器内的计算机程序以实现前述第一方面或第一方面的任意一种可能的实现方式所提供的提取方法。
第四方面，本申请还提供一种计算机可读存储介质。包括指令，当所述指令在计算设备上运行时，使得所述计算设备执行如前述第一方面或第一方面的任意一种可能的实现方式所提供的提取方法。
第五方面，本申请还提供计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面的任意一种可能的实现方式所提供的提取方法。
上述提供的任一种装置或计算机存储介质或计算机程序产品，均用于执行上文所提供的方法，因此，其所能达到的有益效果可参考上文提供的对应方法中的对应方案的有益效果，此处不再赘述。
附图说明
图1是本申请实施例提供的一种提取建筑物的整体流程图；
图2是本申请实施例提供的一种建筑物提取方法的流程图；
图3是本申请实施例提供的一种生成式对抗网络的结构示意图；
图4是本申请实施例提供的一种生成式对抗网络的训练方法的流程图；
图5是本申请实施例提供的一种获取生成式对抗网络的训练样本的示意图；
图6是本申请实施例提供的一种提取模型的训练方法的流程图；
图7是本申请实施例提供的一种建筑物提取装置的结构示意图；
图8是本申请实施例提供的一种提取设备的结构示意图。
具体实施方式
为了使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图，对本申请实施例中的技术方案进行描述。
在本申请实施例的描述中，“示例性的”、“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”、“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”、“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中，术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B这三种情况。另外，除非另有说明，术语“多个”的含义是指两个或两个以上。例如，多个系统是指两个或两个以上的系统，多个屏幕终端是指两个或两个以上的屏幕终端。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
在实际的测绘应用中，如背景技术的介绍，从遥感影像中提取建筑物影像时，需要考虑建筑物影像的质量需求与遥感影像的获取成本之前的关系。
同一种建筑物，在不同分辨率的遥感影像中所呈现出的颜色、纹理特征、边缘细节乃至特征数量都存在巨大的差异。为了满足建筑物影像的高质量需求，可以使用提取模型从高分辨率遥感影像中提取建筑物影像，但获取原始的高分辨率遥感影像会耗费较大的成本。
如果使用提取模型从低分辨率遥感影像中提取建筑物影像，虽然可以避免获取高分辨率遥感影像导致的成本过大问题，但是，该方案获取的建筑物影像中建筑物的边缘轮廓和范围细节较差，无法满足高质量提取需求。
鉴于此，本申请实施例提供一种跨分辨率的建筑物影像提取方法。如图1所示的建筑物提取的整体流程图，该方法包括超分阶段和分割阶段。
在超分阶段，基于包含建筑物的低分辨率遥感影像(Low resolution images，LRimages或者Ilow)，使用数据集制作模块(IPG)获得超分辨率增强模块(EASR)的训练样本并进行训练。其中，EASR采用生成式对抗网络的结构。EASR训练结束之后，使用训练好的生成式对抗网络对低分辨率遥感影像进行超分辨率重建，获得的超分辨率遥感影像(Superresolution images or super resolved images，SR images或者ISR)以及建筑物的边缘特征
在分割阶段，将边缘特征作为参考，将其与ISR输入提取模型中，以提取建筑物的影像。其中，提取模型即为训练后的分割网络(DES)。
该方法基于低分辨率遥感影像实现高质量的建筑物影像提取，不仅满足了建筑物影像的高质量需求，还可以避免增大遥感影像的获取成本。并且，在提取时，结合建筑物的边缘特征还可以提高提取建筑物影像的准确度。
下面结合附图2，对本申请实施例的建筑物影像提取方法做具体介绍。
图2是本申请实施例提供的一种跨分辨率的建筑物影像提取方法的流程图。该方法可以应用于提取设备中。该提取设备可以实现建筑物影像提取。
如图2所示，该方法包括如下的步骤S201-步骤S203。
在步骤S201中，获取低分辨率遥感影像。
在进行地形图勾绘时，提取设备可以从数据库中获取已有的包含建筑物的低分辨率遥感影像。其中，低分辨率遥感影像可以是由卫星采集获得的影像。
在步骤S202中，利用生成式对抗网络中的生成器对该低分辨率遥感影像进行超分辨率重建，获得超分辨率遥感影像以及建筑物的边缘特征。该超分辨率遥感影像相当于该低分辨率遥感影像指示的区域的高分辨率遥感影像。
生成式对抗网络包括生成器和判别器。该生成式对抗网络根据低分辨率遥感影像训练获得。如图1所示，使用IPG模块处理低分辨率遥感影像，获得生成式对抗网络的训练样本。在生成式对抗网络训练结束之后，其中的生成器即为EASR。
提取设备可以将低分辨率遥感影像输入训练好的生成器中，根据生成器的输出确定超分辨率遥感影像和建筑物的边缘特征。生成器对输入的影像进行分层特征提取和编码，获得底层到高层的语义特征，从而构建出具备更好的细节表现的高分辨率的遥感影像。在这一过程中，生成器先对输入的数据逐层级进行编码，随后对获得的高级语义信息进行解码，从而重构出分辨率更高的影像。此外，为了增强生成器对边缘细节的关注，还让生成器使用影像的梯度信息指导边缘细节的纹理恢复，而不是保守的抑制掉大部分边缘细节特征，从而增强生成器的鲁棒性。
具体地，参阅图3所示的生成式对抗网络的结构示意图，生成器(Generator)可以包括第一网络和第二网络。继续参阅图3，提取设备可以使用第一网络对低分辨率遥感影像进行超分辨率重建为超分辨率遥感影像。提取设备根据建筑物的先验信息，使用第二网络从超分辨率遥感影像的梯度图中提取增强的高频信息(Enhanced high frequencyinformation)，即建筑物的边缘特征。
生成式对抗网络的具体结构以及训练过程将在后文中结合附图3做具体介绍，此处不再赘述。
在一个示例中，为了提高提取建筑物的准确性，可以使用前述获得的建筑物的边缘特征对超分辨率遥感影像进行增强处理，以增强建筑物在超分辨率遥感影像中建筑物的边缘部分。如图3所示，可以在初始获得的超分辨率遥感影像(SR base images)中去除该超分辨率遥感影像的梯度图(Grad of SR base images)之后，添加建筑物的边缘特征，获得增强后的超分辨率遥感影像(SR images)。
在步骤S203中，根据边缘特征，利用提取模型在高分辨率遥感影像中提取建筑物的影像。
提取设备在获得超分辨率遥感影像之后，如图1所示，可以将该超分辨率遥感影像和建筑物的边缘特征输入提取模型，获得提取模型对输入数据进行特征编码、融合和解码后的输出，根据提取模型的输出确定建筑物的影像。
其中，提取模型采用双路分割网络的结构。双路主要指的是影像和边缘特征将分别通过不同的特征提取器进行从低层到高层的特征提取，针对提取到的双路特征，经由特征融合之后建筑物的边缘区域将得到特定的特征增强，其对应的语义信息等得到相应的放大，并抑制掉建筑物周围无关和冗余的信息，从而获得相对高分辨率的建筑物提取结果。提取模型的具体结构介绍以及训练过程将在后文中结合附图进行详细介绍，此处不再赘述。
在一个示例中，提取设备在将该超分辨率遥感影像输入提取模型时，还可以使用建筑物的边缘特征对超分辨率遥感影像进行特征增强处理，以增强建筑物在超分辨率遥感影像中的边缘部分。
上述方法实施例，一方面使用生成器对低分辨率遥感影像进行超分，获得相对高的高分辨率遥感影像，可以在不增加遥感影像的获取成本的情况下，由低分辨率遥感影像提取到高分辨率的建筑物影像，满足实际高质量的提取需求。另一方面，在提取建筑物影像时，融合高分影像和建筑物的边缘特征，可以提高建筑物提取结果的边界准确性和抑制建筑物周边的冗余信息。
基于上述图2所示的建筑物影像的提取方法实施例，本申请实施例提供一种生成式对抗网络的训练方法。
该生成式对抗网络包括生成器和判别器。该生成器用于对低分辨率遥感影像进行超分辨率重建，以获得高分辨率遥感影像。参阅图2所示的生成式对抗网络的结构示意图，该生成器具体可以包括第一网络和第二网络。第一网络可以采用残差神经网络，包括卷积层(Conv layer)、激活层(LeakyRelu layer)、残差模块和解码层(Decoder)，残差模块(Residual block)采用残差链接(Skip connection)结构。第二网络可以采用包括卷积层(Conv layer)、激活层(LeakyRelu layer)、两个分支(Frame branch和Mask branch)的神经网络结构。该判别器为包括多个卷积层、多个激活层、多个归一化层(BatchNormalization layer)和全连接层(Dense)的神经网络。
图4是本申请实施例提供的一种生成式对抗网络的训练方法的流程图。该方法可以应用于上述的提取设备。
如图4所示，该方法包括如下的步骤S401和步骤S402。
在步骤S401中，根据低分辨率遥感影像确定训练样本。
训练样本包括低分辨率遥感影像对应的初始影像切片库、第一遥感影像样本对应的初始影像配对库和低分辨率遥感影像对应的建筑物的边缘特征标签。第一遥感影像样本的分辨率小于低分辨率遥感影像的分辨率。
其中，第一遥感影像样本可以按照预设的超分倍率，通过IPG模块挖掘低分辨率遥感影像内部的自相关性，对低分辨率遥感影像做降采样处理，获得与低分辨率遥感影像采样尺度不同的第一遥感影像样本。
以常见的4倍超分辨率重建为例，如图5所示，将采样尺度为2m的低分辨率遥感影像Ilow(2m)裁切(crop&split)为若干小图，构成初始影像切片库。
然后，按照4倍的超分倍率构建初始影像切片库中每个小图对应的更小分辨率的影像，获得初始影像配对库。
其中，初始影像配对库中的各个影像的分辨率为8m，并且，初始影像配对库中的影像与初始影像切片库中影像一一对应。
初始影像切片库中的各个影像作为训练阶段的高分影像数据(HR trainingdataset ILR)。初始影像配对库中的各个影像即为训练阶段的低分影像数据(LR trainingdataset ILLR)。由此训练获得的生成器可以由低分辨率遥感影像Ilow获得超分后的高分影像IHR。如图5所示，当Ilow为2m的分辨率时，可以利用生成器获得0.5m分辨率的IHR。
在一个示例中，在训练网络之前，还可以使用随机水平旋转、随机角度顺时针旋转、随机比例缩放、添加随机噪声、添加随机模糊、随机裁切等多个数据增强方法处理前述的初始影像切片库和初始影像配对库中的影像数据。
低分辨率遥感影像对应的建筑物的边缘特征标签可以通过人工对低分辨率遥感影像标注获得。
该步骤通过挖掘低分辨率影像内部的自相关性构建对抗网络的训练样本，而不引入大量外部数据，一方面可以减少计算量和获取遥感影像的成本，另一方面可以提高对抗网络对低分辨率影像超分重建的准确性。其中，对抗网络训练过程依赖于训练数据所提供的先验信息，而从大量外部数据中所获得的先验信息很可能并不适用于待处理的低分辨率遥感影像。遥感影像内部在低尺度特征的自相关性，对于影像重建能提供更有价值的先验信息。
在步骤S402中，根据训练样本更新生成式对抗网络中生成器和判别器的参数。
在确定训练样本之后，对生成式对抗网络进行训练。在训练过程中，生成器不断学习如何重建出更真实的高分辨率的遥感图像以期迷惑鉴别器。而鉴别器则不断学习，努力判断出输入的影像是否为真实的高分辨率遥感影像。生成器和鉴别器相互博弈，从而使生成器可以重建出更高质量、更接近真实高分辨率遥感图像的超分辨率遥感影像的目的。
具体的训练过程包括如下步骤：
S4021.将指示第一遥感影像样本的初始影像配对库中的影像确定输入生成器中第一网络。其中，第一网络的各个层和模块对其进行特征编码和解码，输出超分辨率遥感影像(SR images)。超分辨率遥感影像即为输入的低分辨率遥感影像的预测结果。
S4022.将超分辨率遥感影像的梯度图输入生成器中第二网络。其中，第二网络的卷积层和激活层对其进行特征编码获得纹理信息，第二网络的frame branch纹理信息中提取出高频信息，第二网络的mask branch根据低分辨率遥感影像对应的建筑物的先验信息，在纹理信息中获得建筑物区域的信息，第二网络的解码层对frame branch获得的高频信息和mask branch获得的建筑物区域的信息进行融合解码，输出超分辨率遥感影像的增强后的梯度图(enhanced high frequency information)，该增强后的梯度图指示低分辨率遥感影像对应的建筑物的预测的边缘特征。其中，两个分支输出的信息结合起来再解码而不是分别直接解码，可以有助于过滤掉冗余的高频信息。
S4023.将超分辨率遥感影像和超分辨率遥感影像的增强后的梯度图输入判别器，获得判别器的输出。如图3所示，判别器通过先提取出输入影像的低层到高层语义信息，经过一个全连接层Dense(01024)重组后得到1024维特征，随后经由全连接层Dense(1)获得一个一维数组，该数组即指征了判别器认为输入影像更趋向于真实的高分辨率遥感影像还是重建后的假的高分辨率遥感影像。
S4024.将第一网络的输出、第二网络的输出和判别器的输出代入损失函数，计算损失值，根据损失值更新生成器和判别器的参数。损失函数根据基于影像的像素级损失函数、感知损失函数(公式2所示的特征距离函数)、对抗损失函数(公式3所示)以及基于影像梯度的像素级损失函数(公式4所示)和对抗损失函数加权求和确定。
由于受到一范式损失函数的影响，第一网络为了获得更低的一范式损失得分，整体重建结果会在细节表现上倾向于更平滑，从而损失了我们需要的高频细节。因此，采用第二网络输出的边缘特征对第一网络输出的超分辨率遥感影像进行特征增强。如图3所示，将第一网络输出的影像中去除该影像的梯度图之后，添加第二网络输出的增强的高频信息(即建筑物的边缘特征，从而获得特征增强后的超分辨率遥感影像。
基于影像的像素级损失函数如公式(1)所示，该函数用于计算第一遥感影像样本的超分辨率遥感影像和高分辨率遥感影像之间像素的L1距离Lpix。
公式(1)中，yi表示第一遥感影像样本的高分辨率遥感影像(即低分辨率遥感影像)中的第i个像素，
表示第一遥感影像样本的超分辨率遥感影像中的第i个像素，
表示
的范数。
基于影像的感知损失函数如公式(2)所示，该函数用于测量第一遥感影像样本的超分辨率遥感影像和高分辨率遥感影像在特征空间的距离。其中，使用预先训练的19层VGG网络(用φ函数表示)提取两个影像的特征图，代入公式(2)计算损失值Lg_pix。
基于影像的对抗损失函数如公式3所示，该函数鼓励生成器生成感官上更加真实的图像。
公式(3)中，
表示判别器输出第一遥感影像样本的超分辨率遥感影像中的第i个像素的概率值。
基于影像梯度的像素级损失函数如公式(4)所示，该函数用于计算第一遥感影像样本的超分辨率遥感影像和高分辨率遥感影像之间梯度的L1距离Lpix。
公式(4)中，
表示第一遥感影像样本的超分辨率遥感影像中的第i个像素的梯度，F(yi)表示第一遥感影像样本的高分辨率遥感影像中的第i个像素的梯度。
基于影像梯度的对抗损失函数如公式(5)所示，该函数鼓励生成器生成感官上更加真实的梯度。
基于上述图2所示的建筑物影像的提取方法实施例，本申请实施例还提供一种提取模型的训练方法。
参阅图2，该提取模型采用双路的结构，充分利用上一阶段生成的超分辨率遥感影像和增强的建筑物的边缘特征，以高效、准确的提取出高分辨率的建筑物影像。其中，一路用于对超分辨率遥感影像进行特征编码，从低层到高层逐层提取语义信息。另一路用于对建筑物边缘特征进行特征编码。由于本申请的目的是更好的提取建筑物，直观来说，建筑物的边缘特征对于重建建筑物的边缘和抑制建筑物周边的冗余信息具有重要意义。并且，单独设立并行的一路进行特征提取，而不是采用串行或其他方式，主要是为了更好的强化边缘特征对提取结果的引导作用。而经由双路并行的编码结构之后得到的两路编码特征，在维度和权重上具有相同的重要性，这对于进一步经由特征提取编码结果进行重建具有更好的引导价值。
在编码结束后，提取模型中的融合层和解码层对两路的编码特征进行融合后进行解码，以获得建筑物的提取结果。其中，设计融合层主要是为了允许模型更好地对提取到的双路特征进行多层级的组合，从而让解码层可以轻易地从提取到的特征里重建出建筑物。
图6是本申请实施例提供的一种提取模型的训练方法的流程图。该方法可以应用于上述的提取设备。如图6所示，该方法包括如下的步骤S601-S602。
在步骤S601中，获取训练样本，训练样本包括：第二遥感影像样本、第二遥感影像样本对应的建筑物的边缘特征以及第二遥感影像样本对应的建筑物影像样本。
其中，第二遥感影像样本对应的建筑物的边缘特征可以使用前述生成器中的第二网络处理第二遥感影像样本的梯度图获得。第二遥感影像样本对应的建筑物标签可以通过人工确定。
在步骤S602中，根据训练样本更新提取模型的参数。
将第二遥感影像样本和第二遥感影像样本对应的建筑物的边缘特征输入提取模型，在提取模型对经过特征编码、融合和解码之后，获得提取模型输出的建筑物影像。
使用损失函数确定建筑物影像样本和提取模型输出的建筑物影像之间像素的L1距离，其中，损失函数如公式(6)所示。
公式(6)中，
表示提取模型输出的建筑物影像中第i个像素，si表示建筑物影像样本中第i个像素。
在一个示例中，可以对前述的各个损失函数加权求和，获得总损失函数，根据该总损失函数更新生成式对抗网络和提取模型的参数。
基于上述图2所示的方法实施例，本申请实施例还提供一种跨分辨率的建筑物影像提取装置。该提取装置用于实现上述图2所述的方法实施例。如图7所示，该提取装置700包括：获取模块701、超分模块702和提取模块703。
其中，获取模块701用于获取低分辨率遥感影像，所述低分辨率遥感影像中包含建筑物。
其中，超分模块702用于利用生成式对抗网络中的生成器对所述低分辨率遥感影像进行超分辨率重建，确定超分辨率遥感影像和所述建筑物的边缘特征。
其中，提取模块703用于根据所述边缘特征，利用提取模型在所述超分辨率遥感影像中提取所述建筑物的影像。
需要说明的是，图7所示实施例提供的提取装置700在执行提取方法时，仅以上述各功能模块的划分举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的提取装置与图2所示的提取方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图8是本申请实施例提供一种提取设备800的硬件结构示意图。
该提取设备800可以用于实现上述的建筑物的提取方法、生成式对抗网络的训练方法和提取模型的训练方法。参见图8，该提取设备800包括处理器820、存储器820、通信接口840和总线840，处理器820、存储器820和通信接口840通过总线840彼此连接。处理器820、存储器820和通信接口840也可以采用除了总线840之外的其他连接方式连接。
其中，存储器820可以是各种类型的存储介质，例如随机存取存储器(randomaccess memory，RAM)、只读存储器(read-only memory，ROM)、非易失性RAM(non-volatileRAM，NVRAM)、可编程ROM(programmable ROM，PROM)、可擦除PROM(erasable PROM，EPROM)、电可擦除PROM(electrically erasable PROM，EEPROM)、闪存、光存储器、硬盘等。
其中，处理器820可以是通用处理器，通用处理器可以是通过读取并执行存储器(例如存储器820)中存储的内容来执行特定步骤和/或操作的处理器。例如，通用处理器可以是中央处理器(central processing unit，CPU)。处理器820可以包括至少一个电路，以执行图2、图4或者图6所示实施例提供的方法的全部或部分步骤。
其中，通信接口840包括输入/输出(input/output，I/O)接口、物理接口和逻辑接口等用于实现提取设备800内部的器件互连的接口，以及用于实现提取设备800与其他设备(例如其他提取设备或用户设备)互连的接口。物理接口可以是以太网接口，光纤接口，ATM接口等。
其中，总线840可以是任何类型的，用于实现处理器820、存储器820和通信接口840互连的通信总线，例如系统总线。
上述器件可以分别设置在彼此独立的芯片上，也可以至少部分的或者全部的设置在同一块芯片上。将各个器件独立设置在不同的芯片上，还是整合设置在一个或者多个芯片上，往往取决于产品设计的需要。本申请实施例对上述器件的具体实现形式不做限定。
图8所示的提取设备800仅仅是示例性的，在实现过程中，提取设备800还可以包括其他组件，本文不再一一列举。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，固态硬盘(solid state disk,SSD))等。
可以理解的是，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。应理解，在本申请实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，不应对本申请实施例的实施过程构成任何限定。
以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。
Claims (10)
1.一种建筑物影像提取方法，其特征在于，包括：
获取低分辨率遥感影像，所述低分辨率遥感影像中包含建筑物；
利用生成式对抗网络中的生成器对所述低分辨率遥感影像进行超分辨率重建，确定超分辨率遥感影像和所述建筑物的边缘特征；
根据所述边缘特征，利用提取模型在所述超分辨率遥感影像中提取所述建筑物的影像。
2.根据权利要求1所述的方法，其特征在于，所述生成器包括第一网络和第二网络，所述确定超分辨率遥感影像和所述建筑物的边缘特征包括：
将所述低分辨率遥感影像输入所述第一网络，根据所述第一网络的输出确定所述超分辨率遥感影像；
根据所述建筑物的先验信息，利用所述第二网络在所述超分辨率遥感影像的梯度图中确定所述边缘特征。
3.根据权利要求1所述的方法，其特征在于，所述生成式对抗网络通过如下步骤获得：
根据超分倍率，对所述低分辨率遥感影像做降采样处理获得第一遥感影像样本，所述第一遥感影像样本的分辨率小于所述低分辨率遥感影像；
根据所述第一遥感影像样本和所述低分辨率遥感影像，更新所述生成式对抗网络中生成器和判别器的参数。
4.根据权利要求1所述的方法，其特征在于，在所述根据所述边缘特征，利用提取模型在所述超分辨率遥感影像中提取所述建筑物的影像之前，所述方法还包括：
根据所述边缘特征增强所述超分辨率遥感影像中的所述建筑物的边缘区域。
5.根据权利要求1所述的方法，其特征在于，所述根据所述边缘特征，利用提取模型在所述超分辨率遥感影像中提取所述建筑物的影像包括：
将所述边缘特征和所述超分辨率遥感影像输入所述提取模型，根据所述提取模型的输出，确定所述建筑物的影像。
6.根据权利要求1所述的方法，其特征在于，所述提取模型通过如下步骤训练获得：
获取第二遥感影像样本以及所述第二遥感影像样本的梯度图；
根据所述第二遥感影像样本、所述第二遥感影像样本的梯度图、以及所述第二遥感影像样本对应的建筑物标签，更新所述提取模型的参数。
7.根据权利要求6所述的方法，其特征在于，所述第二遥感影像样本以及所述第二遥感影像样本的梯度图通过所述生成器获得。
8.一种建筑物影像提取装置，其特征在于，包括：
获取模块，用于获取低分辨率遥感影像，所述低分辨率遥感影像中包含建筑物；
超分模块，用于利用生成式对抗网络中的生成器对所述低分辨率遥感影像进行超分辨率重建，确定超分辨率遥感影像和所述建筑物的边缘特征；
提取模块，用于根据所述边缘特征，利用提取模型在所述超分辨率遥感影像中提取所述建筑物的影像。
9.一种计算设备，其特征在于，包括：处理器和存储器，所述处理器用于执行存储于所述存储器内的计算机程序以实现权利要求1至7任一所述的方法。
10.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在计算设备上运行时，使得所述计算设备执行如权利要求1至7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210182051.5A CN114549992A (zh) | 2022-02-25 | 2022-02-25 | 一种跨分辨率的建筑物影像提取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210182051.5A CN114549992A (zh) | 2022-02-25 | 2022-02-25 | 一种跨分辨率的建筑物影像提取方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114549992A true CN114549992A (zh) | 2022-05-27 |
Family
ID=81678583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210182051.5A Pending CN114549992A (zh) | 2022-02-25 | 2022-02-25 | 一种跨分辨率的建筑物影像提取方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114549992A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7429482B1 (ja) | 2023-10-27 | 2024-02-08 | マイクロベース株式会社 | 建物変化検出装置、方法およびプログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111899168A (zh) * | 2020-07-02 | 2020-11-06 | 中国地质大学（武汉） | 一种基于特征增强的遥感影像超分辨率重建方法和系统 |
| WO2021056969A1 (zh) * | 2019-09-29 | 2021-04-01 | 中国科学院长春光学精密机械与物理研究所 | 超分辨率图像重构方法和装置 |
| CN112734638A (zh) * | 2020-12-24 | 2021-04-30 | 桂林理工大学 | 一种遥感影像超分辨重建方法、装置及存储介质 |
-
2022
- 2022-02-25 CN CN202210182051.5A patent/CN114549992A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021056969A1 (zh) * | 2019-09-29 | 2021-04-01 | 中国科学院长春光学精密机械与物理研究所 | 超分辨率图像重构方法和装置 |
| CN111899168A (zh) * | 2020-07-02 | 2020-11-06 | 中国地质大学（武汉） | 一种基于特征增强的遥感影像超分辨率重建方法和系统 |
| CN112734638A (zh) * | 2020-12-24 | 2021-04-30 | 桂林理工大学 | 一种遥感影像超分辨重建方法、装置及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| LIXIAN ZHANG等: "Making Low-Resolution Satellite Images Reborn: A Deep Learning Approach for Super-Resolution Building Extraction", REMOTE SENSING, 22 July 2021 (2021-07-22), pages 3 - 4 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7429482B1 (ja) | 2023-10-27 | 2024-02-08 | マイクロベース株式会社 | 建物変化検出装置、方法およびプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11551333B2 (en) | Image reconstruction method and device | |
| EP3961484B1 (en) | Medical image segmentation method and device, electronic device and storage medium | |
| CN111047516B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN112001914B (zh) | 深度图像补全的方法和装置 | |
| CN109508681B (zh) | 生成人体关键点检测模型的方法和装置 | |
| CN112132959B (zh) | 数字岩心图像处理方法、装置、计算机设备及存储介质 | |
| WO2021164534A1 (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN113159143B (zh) | 基于跳跃连接卷积层的红外与可见光图像融合方法和装置 | |
| CN112396605B (zh) | 网络训练方法及装置、图像识别方法和电子设备 | |
| CN111667459B (zh) | 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质 | |
| CN114298997B (zh) | 一种伪造图片检测方法、装置及存储介质 | |
| Zhou et al. | Mining joint intraimage and interimage context for remote sensing change detection | |
| CN110533663B (zh) | 一种图像视差确定方法、装置、设备及系统 | |
| US20230351558A1 (en) | Generating an inpainted image from a masked image using a patch-based encoder | |
| CN113569855A (zh) | 一种舌象分割方法、设备及存储介质 | |
| CN117671432B (zh) | 变化分析模型训练方法、装置、电子设备及存储介质 | |
| CN111192320A (zh) | 一种位置信息确定方法、装置、设备和存储介质 | |
| KR20210063116A (ko) | 인공신경망을 이용한 핵 영역 검출 방법 및 그 장치 | |
| CN113408540B (zh) | 一种合成孔径雷达图像叠掩区提取方法及存储介质 | |
| CN114549992A (zh) | 一种跨分辨率的建筑物影像提取方法及装置 | |
| CN117953341A (zh) | 一种病理图像分割网络模型、方法、装置及介质 | |
| CN112884702A (zh) | 一种基于内窥镜图像的息肉识别系统和方法 | |
| CN117634556A (zh) | 一种基于水面数据的语义分割神经网络的训练方法及装置 | |
| CN117197462A (zh) | 基于多尺度特征融合和对齐的轻量地基云分割方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |