CN114565833A - 基于轮廓引导和结构注意的全卷积网络建筑物提取方法 - Google Patents

基于轮廓引导和结构注意的全卷积网络建筑物提取方法 Download PDF

Info

Publication number
CN114565833A
CN114565833A CN202111610703.2A CN202111610703A CN114565833A CN 114565833 A CN114565833 A CN 114565833A CN 202111610703 A CN202111610703 A CN 202111610703A CN 114565833 A CN114565833 A CN 114565833A
Authority
CN
China
Prior art keywords
building
image
loss function
contour
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111610703.2A
Other languages
English (en)
Inventor
史文中
陈善雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Polyu Base Shenzhen Ltd
Original Assignee
Polyu Base Shenzhen Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Polyu Base Shenzhen Ltd filed Critical Polyu Base Shenzhen Ltd
Priority to CN202111610703.2A priority Critical patent/CN114565833A/zh
Publication of CN114565833A publication Critical patent/CN114565833A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于轮廓引导和结构注意的全卷积网络建筑物提取方法，所述方法包括：获取遥感图像；将所述遥感图像输入已训练的基于轮廓引导和结构注意的全卷积网络，通过基于轮廓引导和结构注意的全卷积网络输出建筑物强度图；基于阈值算法，提取所述建筑物强度图的二值图像，得到建筑物提取结果。本发明实施例的基于轮廓引导和结构注意的全卷积网络通过轮廓引导和结构注意可以更好的关注建筑物的边缘信息，从而能够提高建筑物提取边缘精度，并且具有较好的鲁棒性和实用性。

Description

基于轮廓引导和结构注意的全卷积网络建筑物提取方法
技术领域
本发明涉及遥感技术领域，尤其涉及的是基于轮廓引导和结构注意的全卷积网络建筑物提取方法。
背景技术
建筑物是地球上主要的人造物体之一。从遥感数据中自动准确地提取建筑物在地籍测绘、城市监测、灾害管理和许多其他地理空间应用中具有重要意义。遥感技术使用户能够高效地、可重复地收集覆盖大区域的数据。此外，随着遥感技术的进步，可以获得超高分辨率(VHR)遥感数据，从而可以改善提取的建筑物边界的质量。然而，在实际应用中，从遥感数据中自动提取建筑物仍然具有挑战性。建筑物的形状、大小、高度、位置和材料各不相同，导致类内差异大、类间差异小。因此，开发用于从VHR遥感数据中提取建筑物的自动且稳健的算法在遥感社区是一项重要且有意义的任务。区分建筑物与非建筑物的关键是提取有效的特征。因此，现有的建筑物提取算法可以大致分为基于人为设计特征的方法和基于深度学习(DL)的方法。但是基于人为设计的特征的建筑物提取方法通常只有有限的泛化能力，基于深度学习的方法忽略了建筑物形状先验或编码器层中丰富的空间信息。
因此，现有技术还有待改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于轮廓引导和结构注意的全卷积网络建筑物提取方法，旨在解决现有技术中建筑物提取算法基于人为设计的特征的建筑物提取方法通常只有有限的泛化能力，基于深度学习的方法忽略了建筑物形状先验或编码器层中丰富的空间信息的问题。
本发明解决问题所采用的技术方案如下：
第一方面，本发明实施例提供一种基于轮廓引导和结构注意的全卷积网络建筑物提取方法，其中，所述所述方法包括：
获取遥感图像；
将所述遥感图像输入已训练的基于轮廓引导和结构注意的全卷积网络，通过基于轮廓引导和结构注意的全卷积网络输出建筑物强度图；
基于阈值算法，提取所述建筑物强度图的二值图像，得到建筑物提取结果。
在一种实现方式中，所述基于轮廓引导和结构注意的全卷积网络包括编码器、轮廓引导模块和解码器组成，其中，所述编码器通过对CNN分类模型进行改进而得到；所述轮廓引导模块包括若干残差模块；所述解码器是根据所述编码器构建的对称模块。
在一种实现方式中，所述将所述遥感图像输入已训练的基于轮廓引导和结构注意的全卷积网络，通过基于轮廓引导和结构注意的全卷积网络输出建筑物强度图包括：
将所述遥感图像输入所述编码器，通过所述编码器输出多尺度特征影像；
将所述多尺度特征影像输入所述轮廓引导模块，通过所述轮廓引导模块输出轮廓特征影像；
将所述轮廓特征影像与所述多尺度特征影像输入所述解码器，通过所述解码器输出建筑物强度图。
在一种实现方式中，所述基于轮廓引导和结构注意的全卷积网络的训练过程为：
获取训练样本集，其中，所述训练样本集包括若干训练样本，所述训练样本包括训练影像数据、所述训练影像数据对应的至少一个真值图像标签；
将所述训练影像数据输入预设的初始网络模型，通过所述初始网络模型输出预测建筑物强度图像；
根据所述预测建筑物强度图像和所述真值图像标签，得到总损失函数；
基于所述总损失函数，对所述初始网络模型进行训练，以得到基于轮廓引导和结构注意的全卷积网络。
在一种实现方式中，所述根据所述预测建筑物强度图像和所述真值图像标签，得到总损失函数包括：
通过所述预测建筑物强度图像和所述真值图像标签获取权值矩阵；
基于所述权值矩阵，构建加权二值交叉熵损失函数；其中，所述加权二值交叉熵损失函数用于反映建筑物边界的损失函数；
基于所述权值矩阵，构建加权交并比损失函数；其中，所述加权交并比损失函数用于反映建筑物之间的重合度的损失函数；
根据所述预测建筑物强度图像和所述真值图像标签，得到结构相似性损失函数，其中，所述结构相似性损失函数用于表征建筑物结构的相似性；
将所述加权二值交叉熵损失函数、所述加权交并比损失函数和所述结构相似性损失函数相加，得到若干区域损失函数和边缘损失函数，并将若干所述区域损失函数和所述边缘损失函数进行加权求和，得到总损失函数。
在一种实现方式中，所述根据所述预测建筑物强度图像和所述真值图像标签得到权值矩阵包括：
基于邻域感知技术获取所述预测建筑物强度图像的每个像素点的邻域；
根据每个像素点的邻域和所述真值图像标签中每个像素点的真值，得到权值矩阵。
在一种实现方式中，所述根据所述预测建筑物强度图像和所述真值图像标签，得到结构相似性损失函数包括：
获取所述预测建筑物强度图像对应的掩膜图像；
分别从所述掩膜图像和所述真值图像标签中相应的位置截取相同大小的像素块；其中，所述像素块由预设长度和预设宽度围成的像素点组成；
基于所述像素块中的像素值获取结构相似性损失函数。
在一种实现方式中，所述基于阈值算法，提取所述建筑物强度图的二值图像，得到建筑物提取结果包括：
基于阈值算法，对所述建筑物强度图的二值图像进行分类，得到建筑物提取结果。
第二方面，本发明实施例还提供一种基于轮廓引导和结构注意的全卷积网络建筑物提取装置，其中，所述装置包括：
遥感图像获取模块，用于获取遥感图像；
建筑物强度图获取模块，用于将所述遥感图像输入已训练的基于轮廓引导和结构注意的全卷积网络，通过基于轮廓引导和结构注意的全卷积网络输出建筑物强度图；
建筑物提取结果得到模块，用于基于阈值算法，提取所述建筑物强度图的二值图像，得到建筑物提取结果。
第三方面，本发明实施例还提供一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如上述任意一项所述的基于轮廓引导和结构注意的全卷积网络建筑物提取方法。
第四方面，本发明实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述中任意一项所述的基于轮廓引导和结构注意的全卷积网络建筑物提取方法。
本发明的有益效果：本发明实施例首先获取遥感图像；然后将所述遥感图像输入已训练的基于轮廓引导和结构注意的全卷积网络，通过基于轮廓引导和结构注意的全卷积网络输出建筑物强度图；最后基于阈值算法，提取所述建筑物强度图的二值图像，得到建筑物提取结果；可见，本发明实施例中基于轮廓引导和结构注意的全卷积网络通过轮廓引导和结构注意可以更好的关注建筑物的边缘信息，从而能够提高建筑物提取边缘精度，并且具有较好的鲁棒性和使用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于轮廓引导和结构注意的全卷积网络建筑物提取方法流程示意图。
图2为本发明实施例提供的基于轮廓引导和局部结构感知的编码器-解码器网络(CGSABENet)的建筑物提取方法的总框架示意图。
图3为本发明实施例提供的遥感影像建筑物提取方法中轮廓引导模块的具体结构示意图。
图4为本发明实施例提供的是本发明实施例提供的遥感影像建筑物提取方法中对称编码器和深监督的具体结构示意图。
图5为本发明实施例提供的训练样本中遥感影像的示意图。
图6为本发明实施例提供的训练样本中建筑物区域真值的示意图。
图7为本发明实施例提供的训练样本中建筑物轮廓真值的示意图。
图8为本发明实施例提供的建筑物提取方法与其他对比方法在数据集A的结果的定性对比示意图。
图9为本发明实施例提供的建筑物提取方法与其他对比方法在数据集B的结果的定性对比示意图。
图10为本发明实施例提供的建筑物提取方法的实验流程图。
图11为本发明实施例提供的基于轮廓引导和结构注意的全卷积网络建筑物提取装置的原理框图。
图12为本发明实施例提供的智能终端的内部结构原理框图。
具体实施方式
本发明公开了基于轮廓引导和结构注意的全卷积网络建筑物提取方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
由于现有技术中，现有的建筑物提取算法可以大致分为基于人为设计特征的方法和基于深度学习(DL)的方法。基于人为设计的特征的建筑物提取方法主要依靠专家根据建筑物的隐含或固有特征设计的低/中级特征，例如几何特征(例如，角点、边缘、直线和轮廓)、空谱特征(例如，形态学建筑物指数(MBI))、上下文特征(例如阴影)、形状特征和结构特征或对象级特征。这些方法可以在特定任务中一定程度的提取建筑物，但它们无法提取高级语义信息，导致在复杂场景下性能不佳，而VHR遥感图像中背景尤其复杂，因此，基于人为设计的特征的建筑物提取方法通常只有有限的泛化能力。最近的基于深度学习的方法已经表现出很强的特征学习和分类性能，并推动了新一轮的自动建筑物提取研究。
基于深度学习的建筑物提取方法自动从训练数据中学习判别特征，无需依赖人为特征设计。这种方法得益于卷积神经网络(CNN)理论的发展。全卷积网络(FullyConvolutional Network,FCN)是建筑物提取中最流行的CNN结构。FCN通过用全卷积层替换全连接层来扩展原始CNN结构，以实现高效的像素到像素密集预测。尽管具有优越的性能，但传统的FCN有两个固有的局限性。首先，重复的下采样过程和粗略的上采样层会丢失空间细节信息，导致边界定位精度低。其次，FCN的感受野随着网络深度的增加呈线性增长。缓慢的增长仍然无法捕获全局上下文信息，这会导致对多尺度对象的错误分类。许多研究致力于解决这两个问题，解决方案包括U型网络(U-Net)和利用空洞卷积增加感受野的DeepLab系列。U-Net采用编码器解码器架构，通过跳跃连接将低层特征级联到高层特征，有助于恢复下采样造成的空间信息丢失。DeepLab系列通过扩张卷积减少下采样，并引入了多孔空间金字塔池(ASPP)模块来融合多尺度上下文信息。这些方法在一定程度上缓解了这两个问题，并且已经成为典型且广泛使用的FCN架构。然而，在应用这些经典的语义分割方法从VHR遥感图像中提取建筑物时仍然存在问题。一方面，与自然图像中的物体相比，VHR遥感图像中的建筑物具有多样的外观、复杂的外围和更大的尺度差异。另一方面，建筑物是典型的人造物体，具有丰富的形态特征，空间细节信息的丢失导致建筑物边缘不精确限制了其实际应用的潜力。因此，在保留VHR遥感数据的空间细节的同时有效提取特征以获得准确的建筑物边界是遥感社区的研究前沿。
已经提出了许多方法来提高提取的建筑物边界质量。最直接的是添加后处理步骤，例如概率图模型和经验规则。虽然通过后处理步骤可以优化提取结果，但它们通常是多阶段方法，流程较为复杂。一些研究使用语义边缘检测网络来提高提取的边界质量。它们取得了高质量的结果，但建筑物具有高度结构化的形状和边界，而不是对象的所有边缘。因此，这些做法增加了模型的计算量，而没有达到最佳结果。高度结构化的建筑形状先验可以通过建筑轮廓学习编码到模型中。然而，在轮廓学习中存在严重的样本不平衡问题，因为轮廓像素只占所有样本像素的很小一部分。因此，轮廓学习在保留建筑物的结构特性的同时必须克服这个问题。然而，最常用的二值交叉熵损失函数只关注像素级的相似性，导致建筑物结构信息的丢失和对样本不平衡问题的敏感性。受这两个观察结果的启发，研究者提出了将多任务学习框架与总损失函数相结合的方法，以同时学习建筑区域和轮廓以改进建筑提取结果。但是现有方法只监督解码器最后一层的建筑物边缘，这仍然会受到编码器中详细空间信息丢失的影响。实际上，编码器层具有关于原始图像的更精细细节。综上所述，这些方法在一定程度上提高了提取的建筑物边界质量，但仍然忽略了建筑物形状先验或编码器层中丰富的空间信息。
为了解决现有技术的问题，本实施例提供了基于轮廓引导和结构注意的全卷积网络建筑物提取方法，通过基于轮廓引导和结构注意的全卷积网络通过轮廓引导和结构注意可以更好的关注建筑物的边缘信息，从而能够提高建筑物提取边缘精度，并且具有较好的鲁棒性和使用性。具体实施时，先获取遥感图像；然后将所述遥感图像输入已训练的基于轮廓引导和结构注意的全卷积网络，通过基于轮廓引导和结构注意的全卷积网络输出建筑物强度图；最后基于阈值算法，提取所述建筑物强度图的二值图像，得到建筑物提取结果。
示例性方法
本实施例提供基于轮廓引导和结构注意的全卷积网络建筑物提取方法，该方法可以应用于遥感的智能终端。具体如图1-2所示，所述方法包括：
步骤S100、获取遥感图像；
具体地，遥感图像可以通过国内外数据库公开的遥感卫星数据中下载，如美国航空航天局NASA、欧洲航天局ESA等。遥感图像是为后面得到建筑物强度图做准备。
得到遥感影像数据后，就可以执行如图1-2所示的如下步骤：S200、将所述遥感图像输入已训练的基于轮廓引导和结构注意的全卷积网络，通过基于轮廓引导和结构注意的全卷积网络输出建筑物强度图；
在本实施例中，基于轮廓引导和结构注意的全卷积网络包括编码器、轮廓引导模块和解码器组成，其中，所述编码器通过对CNN分类模型进行改进而得到，编码器可以学习不同遥感影像的多尺度特征，用于生成后续的边缘注意特征和建筑物提取过程；在一种实现方式中，CNN分类模型为ResNet模型，如表1所示，所述编码器通过对CNN分类模型进行改进而得到具体为将ResNet模型中前面的降采样卷积和降采样池化替换为普通卷积块，这样，编码器只需对输入影像降采样三次，提高了模型的空间信息保持能力。所述轮廓引导模块包括若干残差模块；如图3所示，所述轮廓引导模块用于优化编码器特征的轮廓或边缘表达能力，特征图像通过所述轮廓引导模块可以生成多个不同尺度、相同深度、代表不同特征的影像。如图4所示，所述解码器是根据所述编码器构建的对称模块。
表1编码器(改进的ResNet模型)
名称 输入 输出 操作 核 填充 步长
Input H*W*3 H*W*64 Conv+BN+ReLU 3 1 1
E0 H*W*64 H*W*64 ResNetBasicBlock*3 3 1 1
E1 H*W*64 H/2*W/2*64 ResNetBasicBlock*4 3 1 2
E2 H/2*W/2*64 H/4*W/4*128 ResNetBasicBlock*6 3 1 2
E3 H/4*W/4*128 H/8*W/8*256 ResNetBasicBlock*3 3 1 2
为了得到建筑物强度图，步骤S200包括如下步骤：
S201、将所述遥感图像输入所述编码器，通过所述编码器输出多尺度特征影像；
S202、将所述多尺度特征影像输入所述轮廓引导模块，通过所述轮廓引导模块输出轮廓特征影像；
S203、将所述轮廓特征影像与所述多尺度特征影像输入所述解码器，通过所述解码器输出建筑物强度图。
具体地，将所述遥感图像输入所述编码器后就可以得到多尺度特征影像，但此时的多尺度影像的轮廓或边缘表达能力还欠缺，故将所述多尺度特征影像输入到轮廓引导模块，此时输出的轮廓特征影像可以生成多个不同尺度、相同深度、代表不同特征的轮廓特征影像，可以克服低级空间信息的丢失和建筑物形状先验的忽视。然后将所述轮廓特征影像与所述多尺度特征影像输入所述解码器，输出建筑物强度图，强度图的大小与输入图像一直，值域为[0,1]，值越大，则表明为建筑物的可能性越高。一般会成两极分化状态，属于建筑物的像素远大于0.5，如0.9左右；不属于建筑物的像素远小于0.5，如0.1左右。
在一种实现方式中，所述基于轮廓引导和结构注意的全卷积网络的训练过程为如下步骤：获取训练样本集，其中，所述训练样本集包括若干训练样本，所述训练样本包括训练影像数据、所述训练影像数据对应的至少一个真值图像标签；将所述训练影像数据输入预设的初始网络模型，通过所述初始网络模型输出预测建筑物强度图像；根据所述预测建筑物强度图像和所述真值图像标签，得到总损失函数；基于所述总损失函数，对所述初始网络模型进行训练，以得到基于轮廓引导和结构注意的全卷积网络。
在本实施例中，获取训练数据集C按照一定比例分为训练样本集和验证样本集，默认80％的数据作为训练样本集，20％的数据作为验证样本集。其中，所述训练样本集包括若干训练样本，所述训练样本包括训练影像数据、所述训练影像数据对应的至少一个真值图像标签；在本实施例中，真值图像标签可以为建筑物真值图像，也可以为建筑物轮廓真值图像，还可以为建筑物真值图像和建筑物轮廓真值图像。实际中，根据建筑物真值图像，利用边缘提取算法，就可以自动生成建筑物轮廓真值图像，如果先有建筑物轮廓真值图像，也可以利用形态学填充算法自动生成建筑物真值图像，也即建筑物区域真值图像。图5表示遥感图像，图6表示对应的建筑物区域真值图像，图7表示对应的建筑物轮廓真值图像。遥感图像包括R，G，B三个波段，建筑物区域真值图像为二值图像，用255表示建筑物，0表示非建筑物。建筑物轮廓真值图像为二值图像，用255表示建筑物边缘，0表示非建筑物边缘。训练数据集C未做增广。最终得到的每个训练数据集由512×512像素大小的三波段遥感图像和对应的512×512像素大小建筑物区域真值图像，建筑物轮廓真值图像组成。然后将所述训练影像数据输入预设的初始网络模型，通过所述初始网络模型输出预测建筑物强度图像；接着根据所述预测建筑物强度图像和所述真值图像标签，得到总损失函数；相应的，所述根据所述预测建筑物强度图像和所述真值图像标签，得到总损失函数包括如下步骤：通过所述预测建筑物强度图像和所述真值图像标签获取权值矩阵；基于所述权值矩阵，构建加权二值交叉熵损失函数；其中，所述加权二值交叉熵损失函数用于反映建筑物边界的损失函数；基于所述权值矩阵，构建加权交并比损失函数；其中，所述加权交并比损失函数用于反映建筑物之间的重合度的损失函数；根据所述预测建筑物强度图像和所述真值图像标签，得到结构相似性损失函数，其中，所述结构相似性损失函数用于表征建筑物结构的相似性；将所述加权二值交叉熵损失函数、所述加权交并比损失函数和所述结构相似性损失函数相加，得到若干区域损失函数和边缘损失函数，并将若干所述区域损失函数和所述边缘损失函数进行加权求和，得到总损失函数。
具体地，通过所述预测建筑物强度图像和所述真值图像标签获取权值矩阵，权值矩阵W的公式为：
Figure BDA0003435373300000121
式中，abs表示绝对值操作；Nrc表示预测建筑物强度图像的像素点(r,c)的邻域；gij表示像素点(i,j)处的真值图像标签，grc表示像素点(r,c)处的真值图像标签。由上式可知，对于任意的像素点，wrc的值域为[0,1]。wrc的值越大，表明像素点(r,c)与它的邻域的差异越大。然后，基于所述权值矩阵，构建加权二值交叉熵损失函数；其中，所述加权二值交叉熵损失函数用于反映建筑物边界的损失函数；加权二值交叉熵损失函数LwBCE通过如下的公式构建：
Figure BDA0003435373300000122
式中，r,c表示影像的行和列；H,W表示影像的高和宽；γ表示调整难分类像素(即为处于分类边界的像素)比例的超参数；wrc表示分配给每个像素的权值；I(.)是指示函数；l∈{0,1}表示非建筑物和建筑物；gr,c和pr,c表示在像素点(r,c)处的真值图像标签和预测建筑物强度图像。Prob(pr,c＝＝l|ω)表示预测概率。接着，基于所述权值矩阵，构建加权交并比损失函数；其中，所述加权交并比损失函数用于反映建筑物之间的重合度的损失函数；加权交并比损失函数通过如下公式构建：
Figure BDA0003435373300000131
式中，r,c表示影像的行和列；H,W表示影像的高和宽；γ表示调整难分类像素(即为处于分类边界的像素)比例的超参数；wrc表示分配给每个像素的权值；gr,c和pr,c表示在像素点(r,c)处的真值图像标签和预测建筑物强度图像。
得到加权交并比损失函数后，根据所述预测建筑物强度图像和所述真值图像标签，得到结构相似性损失函数，其中，所述结构相似性损失函数用于表征建筑物结构的相似性；相应的，所述根据所述预测建筑物强度图像和所述真值图像标签，得到结构相似性损失函数包括如下步骤：获取所述预测建筑物强度图像对应的掩膜图像；分别从所述掩膜图像和所述真值图像标签中相应的位置截取相同大小的像素块；其中，所述像素块由预设长度和预设宽度围成的像素点组成；基于所述像素块中的像素值获取结构相似性损失函数。
具体地，先获取所述预测建筑物强度图像对应的掩膜图像；然后分别从所述掩膜图像和所述真值图像标签中相应的位置截取相同大小的像素块；其中，所述像素块由预设长度和预设宽度围成的像素点组成；如p＝{pi,i＝1,…,N2}和g＝{gi,i＝1,…,N2}是从预测建筑物强度图像对应的掩膜图像和真值图像标签中截取的两个对应块的像素值，最后基于所述像素块中的像素值获取结构相似性损失函数，结构相似性损失函数的公式如下：
Figure BDA0003435373300000132
式中，σp,σg和μp,μg分别表示p和g的标准差和均值；σpg是他们之间的协方差；C1＝0.012和C2＝0.032是两个防止除零的常数。所有截取的正方形块的LSSIM的平均值表示整个预测建筑物强度图像的总结构相似性损失函数(SSIM损失)。
得到所述加权二值交叉熵损失函数、所述加权交并比损失函数和所述结构相似性损失函数后，将上述损失函数进行相加，得到若干区域损失函数，每个区域损失函数Li的表达式如下：
Li＝LwBCE+LSSIM+LwIoU
边缘损失函数
Figure BDA0003435373300000141
的表达式如下：
Figure BDA0003435373300000142
再将若干所述区域损失函数和所述边缘损失函数进行加权求和，得到总损失函数。总损失函数Ltotal的表达式为：
Figure BDA0003435373300000143
式中，wi是多尺度区域输出的权重。
Figure BDA0003435373300000144
表示四个区域输出的区域损失函数，
Figure BDA0003435373300000145
表示只有一个边缘损失函数。本发明实施例中的总损失函数混合计算了四个区域输出的区域损失函数和边缘损失函数，指导基于轮廓引导和结构注意的全卷积网络从像素级相似性、局部结构相似性和全局相似性中学习参数，使得基于轮廓引导和结构注意的全卷积网络能够取得较优的建筑物提取结果。得到总损失函数后，就可以基于所述总损失函数，对所述初始网络模型进行训练，以得到基于轮廓引导和结构注意的全卷积网络。在本实施例中，利用总损失函数和Adam优化器训练初始网络，当总损失函数值不再下降或验证集精度不再上升时停止训练，也就是说，通过训练数据集C进行初始网络的权重学习，通过学习训练样本中多种类型建筑物的先验知识，初始网络能够有效的选取和组合深度特征，生成建筑物强度图像，当初始网络能够正确区分各种建筑物类型时，表示初始网络学习到了所有训练样本中的建筑物情况，此时损失函数达到最小值或在验证集的精度达到最大值，即停止训练过程，这样就得到基于轮廓引导和结构注意的全卷积网络。
得到建筑物强度图后就可以执行如图1-2所示的如下步骤：S300、基于阈值算法，提取所述建筑物强度图的二值图像，得到建筑物提取结果。
具体地，建筑物强度图中的二值图像的值域为[0,1],将分类阈值设为0.5，将大于分类阈值的值域对应为建筑物，将小于分类阈值的值域对应为非建筑物，从而得到建筑物提取结果：建筑物还是非建筑物。
通过图8和图9在不同数据集上的建筑物提取结果，可以发现本发明实施例得到了最接近真实情况的建筑物提取结果。
为了定量分析本发明实施例的最终建筑物结果，选择召回率(Recall)，精确率(Precision)，交并比(IoU)和边缘F1分数(BF-Score)四个指标作为建筑物提取的结果评价指标。假设TP表示真值为建筑物检测为建筑物的像素个数；FP表示真值为非建筑物检测为建筑物的像素个数，即误报的像素个数；FN表示真值为建筑物而检测为非建筑物的像素个数，即漏检掉的像素个数。则有：
Recall＝TP/(TP+FN)×100％
Precision＝TP/(TP+FP)×100％
IoU＝TP/(TP+FP+FN)×100％
F1＝2*Recall*Precision/(Recall+Precision)×100％
边缘F1分数BF-Score是计算对象边界区域指定缓冲内的F1分数，以衡量预测边界上的点是否与真实边界匹配。
表2进一步给出了上述四种建筑物提取结果的定量分析指标。其中实验数据为公开的建筑物数据集WHU aerial building dataset和INRIA dataset,分别记为训练数据集A和训练数据集B，其中训练数据集A中的影像包含18,700建筑物对象，分为三部分：训练集(4736张，130,500建筑物)、验证集(1036张，14,500建筑物)和测试集(2416张，42,000建筑物)。每张图像为512*512像素大小，分辨率0.3米。训练数据集B公开了真值的部分包括覆盖五个城市的180张图像，每个城市36张图像。每张图像的空间分辨率为0.3m，大小为5000×5000像素。该数据集涵盖了高度不同且具有代表性的地形、地貌和建筑物类型。训练数据集B的标注质量低于训练数据集A。每个城市的前五张大图被设置为测试集，其余用于训练和验证。为方便处理，每张大图像被切分成512*512像素的图块。总共生成了12555张用于训练和验证的图块，以及2025张用于测试的图块。每个数据集包括遥感影像和对应的建筑物真值。训练数据集A参阅图5-7，其中,图5表示遥感影像；图6表示建筑物区域真值图像；图7为建筑物轮廓真值图像。为保证公平性，所有算法的训练策略一致。方法U-Net的实验结果对应图8(b)；方法DeepLabv3+的实验结果对应图8(c)；方法MC-FCN表示多约束全卷积建筑物轮廓提取方法，实验结果对应图8(d)；方法BR-Net表示边界调节的精确建筑物屋顶分割和轮廓提取方法，实验结果对应图8(e)；方法Proposed表示本发明提出的基于轮廓引导和结构注意的建筑物提取方法CGSABENet，在实验结果对应图8(f)。训练数据集B参阅图9，方法排序与图8一致。在本实施例中，训练及应用框架如图10所示。
从表2的比对中可得，本发明实施例提供的基于轮廓引导和结构注意的全卷积网络建筑物提取方法CGSABENet明显优于其他方法的建筑物提取结果。通过实验发现，CGSABENet方法在两个训练数据集A和B上的建筑物提取结果中，Recall和IoU,BF-Score始终高于对比方法。因此，本发明实施例提供的基于轮廓引导和结构注意的编码器解码器卷积神经网络的建筑物提取方法能够取得较优的建筑物结果，尤其是建筑物边缘的改善较大，并且具有较强的泛化能力和鲁棒性。
表2建筑物提取结果定量分析
Figure BDA0003435373300000161
Figure BDA0003435373300000171
示例性设备
如图11中所示，本发明实施例提供一种基于轮廓引导和结构注意的全卷积网络建筑物提取装置，该装置包括遥感图像获取模块401、建筑物强度图获取模块402和建筑物提取结果得到模块403：遥感图像获取模块401，用于获取遥感图像；
建筑物强度图获取模块402，用于将所述遥感图像输入已训练的基于轮廓引导和结构注意的全卷积网络，通过基于轮廓引导和结构注意的全卷积网络输出建筑物强度图；
建筑物提取结果得到模块403，用于基于阈值算法，提取所述建筑物强度图的二值图像，得到建筑物提取结果。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图12所示。该智能终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于轮廓引导和结构注意的全卷积网络建筑物提取方法。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该智能终端的温度传感器是预先在智能终端内部设置，用于检测内部设备的运行温度。
本领域技术人员可以理解，图12中的原理图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
获取遥感图像；
将所述遥感图像输入已训练的基于轮廓引导和结构注意的全卷积网络，通过基于轮廓引导和结构注意的全卷积网络输出建筑物强度图；
基于阈值算法，提取所述建筑物强度图的二值图像，得到建筑物提取结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明公开了基于轮廓引导和结构注意的全卷积网络建筑物提取方法，所述方法包括：获取遥感图像；将所述遥感图像输入已训练的基于轮廓引导和结构注意的全卷积网络，通过基于轮廓引导和结构注意的全卷积网络输出建筑物强度图；基于阈值算法，提取所述建筑物强度图的二值图像，得到建筑物提取结果。本发明实施例的基于轮廓引导和结构注意的全卷积网络通过轮廓引导和结构注意可以更好的关注建筑物的边缘信息，从而能够提高建筑物提取边缘精度，并且具有较好的鲁棒性和使用性。
基于上述实施例，本发明公开了一种基于轮廓引导和结构注意的全卷积网络建筑物提取方法，应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于轮廓引导和结构注意的全卷积网络建筑物提取方法，其特征在于，所述方法包括：
获取遥感图像；
将所述遥感图像输入已训练的基于轮廓引导和结构注意的全卷积网络，通过基于轮廓引导和结构注意的全卷积网络输出建筑物强度图；
基于阈值算法，提取所述建筑物强度图的二值图像，得到建筑物提取结果。
2.根据权利要求1所述的基于轮廓引导和结构注意的全卷积网络建筑物提取方法，其特征在于，所述基于轮廓引导和结构注意的全卷积网络包括编码器、轮廓引导模块和解码器组成，其中，所述编码器通过对CNN分类模型进行改进而得到；所述轮廓引导模块包括若干残差模块；所述解码器是根据所述编码器构建的对称模块。
3.根据权利要求2所述的基于轮廓引导和结构注意的全卷积网络建筑物提取方法，其特征在于，所述将所述遥感图像输入已训练的基于轮廓引导和结构注意的全卷积网络，通过基于轮廓引导和结构注意的全卷积网络输出建筑物强度图包括：
将所述遥感图像输入所述编码器，通过所述编码器输出多尺度特征影像；
将所述多尺度特征影像输入所述轮廓引导模块，通过所述轮廓引导模块输出轮廓特征影像；
将所述轮廓特征影像与所述多尺度特征影像输入所述解码器，通过所述解码器输出建筑物强度图。
4.根据权利要求3所述的基于轮廓引导和结构注意的全卷积网络建筑物提取方法，其特征在于，所述基于轮廓引导和结构注意的全卷积网络的训练过程为：
获取训练样本集，其中，所述训练样本集包括若干训练样本，所述训练样本包括训练影像数据、所述训练影像数据对应的至少一个真值图像标签；
将所述训练影像数据输入预设的初始网络模型，通过所述初始网络模型输出预测建筑物强度图像；
根据所述预测建筑物强度图像和所述真值图像标签，得到总损失函数；
基于所述总损失函数，对所述初始网络模型进行训练，以得到基于轮廓引导和结构注意的全卷积网络。
5.根据权利要求4所述的基于轮廓引导和结构注意的全卷积网络建筑物提取方法，其特征在于，所述根据所述预测建筑物强度图像和所述真值图像标签，得到总损失函数包括：
通过所述预测建筑物强度图像和所述真值图像标签获取权值矩阵；
基于所述权值矩阵，构建加权二值交叉熵损失函数；其中，所述加权二值交叉熵损失函数用于反映建筑物边界的损失函数；
基于所述权值矩阵，构建加权交并比损失函数；其中，所述加权交并比损失函数用于反映建筑物之间的重合度的损失函数；
根据所述预测建筑物强度图像和所述真值图像标签，得到结构相似性损失函数，其中，所述结构相似性损失函数用于表征建筑物结构的相似性；
将所述加权二值交叉熵损失函数、所述加权交并比损失函数和所述结构相似性损失函数相加，得到若干区域损失函数和边缘损失函数，并将若干所述区域损失函数和所述边缘损失函数进行加权求和，得到总损失函数。
6.根据权利要求5所述的基于轮廓引导和结构注意的全卷积网络建筑物提取方法，其特征在于，所述根据所述预测建筑物强度图像和所述真值图像标签得到权值矩阵包括：
基于邻域感知技术获取所述预测建筑物强度图像的每个像素点的邻域；
根据每个像素点的邻域和所述真值图像标签中每个像素点的真值，得到权值矩阵。
7.根据权利要求5所述的基于轮廓引导和结构注意的全卷积网络建筑物提取方法，其特征在于，所述根据所述预测建筑物强度图像和所述真值图像标签，得到结构相似性损失函数包括：
获取所述预测建筑物强度图像对应的掩膜图像；
分别从所述掩膜图像和所述真值图像标签中相应的位置截取相同大小的像素块；其中，所述像素块由预设长度和预设宽度围成的像素点组成；
基于所述像素块中的像素值获取结构相似性损失函数。
8.根据权利要求1所述的基于轮廓引导和结构注意的全卷积网络建筑物提取方法，其特征在于，所述基于阈值算法，提取所述建筑物强度图的二值图像，得到建筑物提取结果包括：
基于阈值算法，对所述建筑物强度图的二值图像进行分类，得到建筑物提取结果。
9.一种智能终端，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如权利要求1-8中任意一项所述的方法。
10.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-8中任意一项所述的方法。
CN202111610703.2A 2021-12-27 2021-12-27 基于轮廓引导和结构注意的全卷积网络建筑物提取方法 Pending CN114565833A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111610703.2A CN114565833A (zh) 2021-12-27 2021-12-27 基于轮廓引导和结构注意的全卷积网络建筑物提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111610703.2A CN114565833A (zh) 2021-12-27 2021-12-27 基于轮廓引导和结构注意的全卷积网络建筑物提取方法

Publications (1)

Publication Number Publication Date
CN114565833A true CN114565833A (zh) 2022-05-31

Family

ID=81711285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111610703.2A Pending CN114565833A (zh) 2021-12-27 2021-12-27 基于轮廓引导和结构注意的全卷积网络建筑物提取方法

Country Status (1)

Country Link
CN (1) CN114565833A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117216039A (zh) * 2023-10-31 2023-12-12 重庆市规划和自然资源信息中心 基于三维地籍数据库进行建筑物三维底座建设工作方法
CN118015237A (zh) * 2024-04-09 2024-05-10 松立控股集团股份有限公司 基于全局相似性最佳接缝的多视角图像拼接方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117216039A (zh) * 2023-10-31 2023-12-12 重庆市规划和自然资源信息中心 基于三维地籍数据库进行建筑物三维底座建设工作方法
CN117216039B (zh) * 2023-10-31 2024-04-09 重庆市规划和自然资源信息中心 基于三维地籍数据库进行建筑物三维底座构建方法
CN118015237A (zh) * 2024-04-09 2024-05-10 松立控股集团股份有限公司 基于全局相似性最佳接缝的多视角图像拼接方法及系统

Similar Documents

Publication Publication Date Title
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
CN108447057B (zh) 基于显著性和深度卷积网络的sar图像变化检测方法
CN114565833A (zh) 基于轮廓引导和结构注意的全卷积网络建筑物提取方法
CN112949550B (zh) 一种基于深度学习的水体识别方法、系统和介质
CN106295613A (zh) 一种无人机目标定位方法及系统
CN112232371B (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN112419202B (zh) 基于大数据及深度学习的野生动物图像自动识别系统
CN116012364B (zh) Sar图像变化检测方法和装置
CN116524369B (zh) 遥感影像分割模型构建方法、装置及遥感影像解译方法
CN106780503A (zh) 基于后验概率信息熵的遥感图像最优分割尺度确定方法
Yue et al. Texture extraction for object-oriented classification of high spatial resolution remotely sensed images using a semivariogram
CN112784869B (zh) 一种基于注意力感知与对抗学习的细粒度图像识别方法
CN109034213B (zh) 基于相关熵原则的高光谱图像分类方法和系统
CN112784884A (zh) 一种医学图像分类方法、系统、介质及电子终端
CN113111716A (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN116824585A (zh) 一种基于多级上下文特征融合网络的航空激光点云语义分割方法与装置
CN112733736A (zh) 基于增强过采样的类别不平衡高光谱图像分类方法
CN113762251A (zh) 一种基于注意力机制的目标分类方法及系统
CN113435479A (zh) 基于区域特征表达约束的特征点匹配方法与系统
CN110533118B (zh) 基于多核学习的遥感图像稀疏表达分类方法
CN112084941A (zh) 一种基于遥感图像的目标检测与识别方法
CN116778339A (zh) 局部视图辅助判别高光谱波段选择方法及系统
CN116524352A (zh) 一种遥感图像水体提取方法及装置
CN108154107B (zh) 一种确定遥感图像归属的场景类别的方法
CN115953371A (zh) 一种绝缘子缺陷检测方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination