CN113920148B - 基于多边形的建筑物边界提取方法、设备及存储介质 - Google Patents

基于多边形的建筑物边界提取方法、设备及存储介质 Download PDF

Info

Publication number
CN113920148B
CN113920148B CN202111523154.5A CN202111523154A CN113920148B CN 113920148 B CN113920148 B CN 113920148B CN 202111523154 A CN202111523154 A CN 202111523154A CN 113920148 B CN113920148 B CN 113920148B
Authority
CN
China
Prior art keywords
building
initial
vertex
point
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111523154.5A
Other languages
English (en)
Other versions
CN113920148A (zh
Inventor
陈欢欢
黄恩兴
朱云慧
江贻芳
黄不了
于娜
高健
李建平
王力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stargis Tianjin Technology Development Co ltd
University of Science and Technology of China USTC
Original Assignee
Stargis Tianjin Technology Development Co ltd
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stargis Tianjin Technology Development Co ltd, University of Science and Technology of China USTC filed Critical Stargis Tianjin Technology Development Co ltd
Priority to CN202111523154.5A priority Critical patent/CN113920148B/zh
Publication of CN113920148A publication Critical patent/CN113920148A/zh
Application granted granted Critical
Publication of CN113920148B publication Critical patent/CN113920148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于多边形的建筑物边界提取方法、设备及存储介质，该方法包括：为遥感影像中的建筑物实例生成检测框，根据检测框构建建筑物实例的初始轮廓；从初始轮廓中选取用于构建建筑物多边形的初始点集合，并预测初始点集合中每一初始点是真实建筑顶点的概率以及该初始点距离真实建筑顶点的偏移量；根据预测结果从初始点集合中选择候选建筑物顶点，并依次连接选择出的候选建筑物顶点以生成建筑物边界。本发明基于建筑物独特的几何特性从初始轮廓预测出建筑物顶点，通过生成一个由建筑物顶点组成的多边形来表示建筑物边界，使提取的建筑物轮廓更规则，也更贴合建筑物的几何形状。

Description

基于多边形的建筑物边界提取方法、设备及存储介质
技术领域
本发明涉及遥感影像处理技术领域，尤其涉及一种基于多边形的建筑物边界提取方法、设备及存储介质。
背景技术
精确的建筑物提取在许多应用中起着至关重要的作用，例如建筑物重建、测绘、人口估计和违法建筑物监测等，而使用 ArcGIS 等工具手动描绘单个建筑物会消耗大量时间和精力。 随着遥感技术的发展，高分辨率影像得到广泛应用，使得建筑物的自动提取成为可能。 然而，由于建筑物的背景信息复杂、分布密集、外观多样，使得开发一种有效的建筑物自动提取方法成为挑战。
传统的建筑物提取方法旨在利用形状、颜色、纹理、阴影等人工设计的特征来识别建筑物区域。例如，Cui等人利用建筑物的几何特征和颜色特征提取粗糙的建筑物区域，再根据建筑物通常具有规则轮廓的特点，利用霍夫变换检测直线从而更精细地提取建筑物轮廓。Sirmacek等人通过结合SIFT与图论工具，将建筑物检测问题转化为多个子图匹配问题。Ok等人利用建筑物和阴影之间的空间关系识别建筑物区域。然而，由于这些经验设计的特征仅在特定情况下对特定类型的建筑物有效，因此这些方法自动提取建筑物区域的能力会受到限制。
随着深度学习技术的成熟发展，在建筑物提取领域，当前对深度学习技术的研究，致力于精心设计卷积神经网络（CNN）结构，为输入的遥感图像生成像素级预测。例如，Paisitkriangkrai等人对经过放缩后不同尺寸的遥感影像训练卷积神经网络提取其特征，并用手工设计的特征对神经网络提取的特征加以补充，以进一步提高建筑物区域识别的准确性。Kampffmeyer等人提出一种用中值类别频率加权的损失来代替全卷积神经网络（FCN）中的损失，以实现对小对象的精确分割。Hamaguchi等人基于卷积神经网络构建了一个多任务模型以解决建筑物实例面积变化较大的问题，该模型对不同尺寸的建筑物加以区分，将建筑物提取按照建筑物尺寸划分为不同的任务来处理，并利用道路信息辅助建筑物的识别。Hamaguchi 提出可以通过逐步递减的空洞卷积来聚集局部信息，从而提高对小型的、密集的建筑物实例的分割性能。Yuan提出利用像素点到建筑物边界的距离表示提高建筑物边界处的性能。
可见，尽管与传统的建筑物提取方法相比，现有基于深度学习的遥感影像建筑物提取方法已经取得了很大的进步，但是这种逐像素预测的方式很难对建筑物的几何特性进行推理，无法产生准确的轮廓和规则的形状，从而可能导致块状的分割以及在建筑物边界处的分割性能较差。由于规则的、精确的建筑物边界对建筑物的自动提取至关重要，因此，如何准确地实现建筑物边界提取对遥感影像建筑物提取具有重要意义。
发明内容
本发明提出了一种基于多边形的建筑物边界提取方法、设备及存储介质，以基于建筑物独特的几何特性从初始轮廓演化出建筑物多边形，实现建筑物边界精确提取。
本发明的一个方面，提供了一种基于多边形的建筑物边界提取方法，所述方法包括：
为遥感影像中的建筑物实例生成检测框，根据所述检测框构建建筑物实例的初始轮廓；
从所述初始轮廓中选取用于构建建筑物多边形的初始点集合，并预测初始点集合中每一初始点是真实建筑顶点的概率以及该初始点距离真实建筑顶点的偏移量；
根据预测结果从初始点集合中选择候选建筑物顶点，并依次连接选择出的候选建筑物顶点以生成建筑物边界。
可选地，所述为遥感影像中的建筑物实例生成检测框，根据所述检测框构建建筑物实例的初始轮廓，包括：
连接检测框的四条边界的中心点构成菱形轮廓，根据菱形轮廓的顶点确定目标极点；
以每一目标极点为中心分别向目标极点所在检测框边界两端延伸预设长度，得到四条目标边界；
依次连接得到的目标边界的端点，得到建筑物实例的初始轮廓。
可选地，所述根据菱形轮廓的顶点确定目标极点，包括：
预测菱形轮廓的顶点与目标极点的目标偏移量，根据目标偏移量对菱形轮廓的顶点进行调整，将调整后的顶点作为目标极点。
可选地，所述预测初始点集合中每一初始点是真实建筑顶点的概率以及该初始点距离真实建筑顶点的偏移量包括：
构建初始点的输入特征
Figure 380070DEST_PATH_IMAGE001
，具体如下：
Figure 851502DEST_PATH_IMAGE002
，
其中，
Figure 109308DEST_PATH_IMAGE003
表示初始点集合中的第i个初始点，符号○表示连接操作，
Figure 273573DEST_PATH_IMAGE004
表示根据初始点
Figure 498887DEST_PATH_IMAGE005
的点位置从预设的特征映射中提取的该位置的图像特征
Figure 508431DEST_PATH_IMAGE006
将每一初始点的输入特征
Figure 886323DEST_PATH_IMAGE007
输入预设的联合预测网络模型，预测出初始点集合的初始顶点热图和初始点偏移，所述初始顶点热图表示每一初始点是真实建筑顶点的概率，所述初始点偏移表示各初始点距离真实建筑顶点的偏移量。
可选地，所述方法还包括：
预先构建联合预测网络模型；
基于有监督的学习策略对所述联合预测网络模型进行优化，得到优化后的联合预测网络模型。
可选地，所述基于有监督的学习策略对所述联合预测网络模型进行优化，包括：
在遥感影像中沿建筑物边缘选取目标点集合，并确定真实的建筑物顶点在目标点集合中的目标索引集合，所述目标点集合中包含任意一个真实的建筑物顶点；
将初始顶点热图中索引属于所述目标索引集合的初始点确认为正样本，并将其在顶点热图中的概率设置为1，将初始顶点热图中除正样本以外的初始点的概率根据以正样本的索引为中心的二维高斯分布确定；
将初始顶点热图中概率大于预设高值的初始点对应的偏移量的权重标签设置为1，将初始顶点热图中概率小于预设高值的初始点对应的偏移量的权重标签设置为预设值，所述预设值小于1。
可选地，所述在遥感影像中沿建筑物边缘选取目标点集合，包括：
根据初始点集合中初始点的数量，在遥感影像中沿建筑物边缘均匀采样相同数量的目标点，得到目标点集合。
可选地，所述基于有监督的学习策略对所述联合预测网络模型进行优化，还包括：
采用Focal 损失函数构建顶点热图对应的第一损失函数，基于所述第一损失函数对所述联合预测网络模型进行优化，第一损失函数定义为：
Figure 955910DEST_PATH_IMAGE008
，
其中，α=2，β=4，M为目标点集合中真实的建筑物顶点个数，N为初始点集合中初始点的个数，
Figure 419253DEST_PATH_IMAGE009
为第i个初始点是真实建筑顶点的概率，
Figure 232488DEST_PATH_IMAGE010
为第i个目标点是真实建筑顶点的概率。
可选地，所述基于有监督的学习策略对所述联合预测网络模型进行优化，还包括：
采用smoothL1 损失函数构建点偏移对应的第二损失函数，基于所述第二损失函数对所述联合预测网络模型进行优化，第二损失函数定义为：
Figure 464886DEST_PATH_IMAGE011
，
其中，N为初始点集合中初始点的个数，
Figure 970954DEST_PATH_IMAGE012
用于缩放第i个初始点的损失，根据第i个初始点是否是真实建筑顶点的索引将其设置为对应的权重标签，
Figure 908210DEST_PATH_IMAGE013
是第i个目标点，
Figure 525136DEST_PATH_IMAGE014
是第i个初始点，
Figure 612041DEST_PATH_IMAGE015
为第i个初始点距离对应的真实建筑顶点的偏移量。
可选地，在依次连接选择出的候选建筑物顶点以生成建筑物边界之后，所述方法还包括：
以所述建筑物边界作为初始多边形，从初始多边形中选取用于构建建筑物边界的第二初始点集合，并预测第二初始点集合中每一第二初始点是真实建筑顶点的概率以及该第二初始点距离真实建筑顶点的偏移量；
根据预测结果从第二初始点集合中选择新的候选建筑物顶点，依次连接选择出的候选建筑物顶点以生成新的建筑物边界，并以新生成的建筑物边界作为初始多边形迭代进行上述候选建筑物顶点的预测操作，直到迭代次数到达预设阈值；
根据迭代步骤中得到的新的候选建筑物顶点对首次生成的建筑物边界进行缺失顶点恢复。
可选地，所述预测第二初始点集合中每一第二初始点是真实建筑顶点的概率以及该第二初始点距离真实建筑顶点的偏移量包括：
构建第二初始点的输入特征
Figure 289010DEST_PATH_IMAGE016
，具体如下：
Figure 461366DEST_PATH_IMAGE017
，
其中，
Figure 616403DEST_PATH_IMAGE018
表示第二初始点集合中的第i个第二初始点，符号○表示连接操作，
Figure 823394DEST_PATH_IMAGE019
表示根据第二初始点
Figure 671264DEST_PATH_IMAGE020
的点位置从预设的特征映射中提取的该位置的图像特征，
Figure 580183DEST_PATH_IMAGE021
取一个二进制值，表示第二初始点
Figure 538912DEST_PATH_IMAGE020
是否为初始多边形的顶点；
将每一第二初始点的输入特征
Figure 334830DEST_PATH_IMAGE022
输入预设的缺失顶点预测网络模型，预测出第二初始点集合的第二初始顶点热图和第二点偏移，所述第二初始顶点热图表示每一第二初始点是真实建筑顶点的概率，所述第二点偏移表示各第二初始点距离真实建筑顶点的偏移量。
可选地，所述方法还包括：
预先构建缺失顶点预测网络模型；
基于有监督的学习策略对所述缺失顶点预测网络模型进行优化，得到优化后的缺失顶点预测网络模型。
可选地，所述基于有监督的学习策略对所述缺失顶点预测网络模型进行优化包括：
采用动态时间规整算法计算第一序列中各个点与第二序列中各个点之间的欧几里得距离，第一序列由初始多边形顶点组成，第二序列由真实的建筑物顶点组成；
查找第二序列中与第一序列中各个多边形顶点的欧几里得距离最小的目标建筑物顶点，实现初始多边形顶点与目标建筑物顶点的匹配；
在遥感影像中沿各个目标建筑物顶点选取第二目标点集合，并确定真实的建筑物顶点在第二目标点集合中的第二目标索引集合，所述第二目标点集合中包含任意一个不与第一序列中各个多边形顶点相连的真实建筑物顶点；
将第二初始顶点热图中索引属于所述第二目标索引集合的初始点确认为正样本，并将其在第二初始顶点热图中的概率设置为1，将第二初始顶点热图中除正样本以外的第二初始点的概率根据以正样本的索引为中心的二维高斯分布确定。
可选地，所述基于有监督的学习策略对所述缺失顶点预测网络模型进行优化包括：
采用Focal 损失函数构建第二初始顶点热图对应的第三损失函数，基于所述第三损失函数对所述缺失顶点预测网络模型进行优化，第三损失函数定义为：
Figure 353601DEST_PATH_IMAGE023
，
其中，α=2，β=4，N为第二初始点集合中第二初始点的个数，
Figure 500549DEST_PATH_IMAGE024
为第i个第二初始点是真实建筑顶点的概率，
Figure 262968DEST_PATH_IMAGE025
为第i个第二目标点是真实建筑顶点的概率，
Figure 178972DEST_PATH_IMAGE026
取一个二进制值，当第i个第二目标点靠近索引属于第二目标索引集合的顶点时，
Figure 368645DEST_PATH_IMAGE027
取值为0，否则为1，L是服从于
Figure 2888DEST_PATH_IMAGE028
的顶点个数，t是当前缺失顶点恢复过程的迭代次数。
可选地，所述基于有监督的学习策略对所述缺失顶点预测网络模型进行优化包括：
第 t次迭代过程中，在采用smoothL1 损失函数构建第二点偏移对应的第四损失函数，基于所述第四损失函数对所述缺失顶点预测网络模型进行优化，第四损失函数定义为：
Figure 552687DEST_PATH_IMAGE029
，
其中，N为第二初始点集合中第二初始点的个数，
Figure 588776DEST_PATH_IMAGE030
用于缩放第i个第二初始点的损失，根据第i个第二初始点是否是真实建筑顶点的索引将其设置为对应的权重标签，
Figure 683771DEST_PATH_IMAGE031
是第i个第二目标点，
Figure 805311DEST_PATH_IMAGE032
是第i个第二初始点，
Figure 909533DEST_PATH_IMAGE033
为第i个第二初始点距离对应的真实建筑顶点的偏移量。
此外，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述方法的步骤。
此外，本发明还提供了一种基于多边形的建筑物边界提取设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
本发明实施例提供的基于多边形的建筑物边界提取方法、设备及存储介质，基于建筑物独特的几何特性从初始轮廓预测出建筑物顶点，通过生成一个由建筑物顶点组成的多边形来表示建筑物边界，使提取的建筑物边界更规则，也更贴合建筑物的几何形状。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例提供的一种基于多边形的建筑物边界提取方法的流程示意图；
图2为本发明实施例提供的一种基于多边形的建筑物边界提取方法中步骤S11的具体流程示意图；
图3为本发明实施例提供的一种基于多边形的建筑物边界提取方法中步骤S12的具体流程示意图；
图4为本发明实施例提供的生成初始顶点热图和初始偏移值的标签值的流程示意图；
图5为采用本发明提供基于多边形的建筑物边界提取方法生成的初始建筑物多边形示意图；
图6为采用本发明提供的迭代计算方式实现缺失顶点恢复的效果示意图；
图7为本发明实施例提供的一种基于多边形的建筑物边界提取方法中对缺失顶点进行恢复的流程示意图；
图8为本发明实施例提供的生成第二顶点热图标签值的流程示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语），具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。
图1示意性示出了本发明实施例的基于多边形的建筑物边界提取方法的流程图。参照图1，本发明实施例提出的基于多边形的建筑物边界提取方法具体包括步骤S11~ S13，如下所示：
S11、为遥感影像中的建筑物实例生成检测框，根据所述检测框构建建筑物实例的初始轮廓。
本实施例中，对于给定的遥感影像输入图像，通过对象检测器提取图像特征，并根据图像特征生成一组建筑物实例检测框。
S12、从所述初始轮廓中选取用于构建建筑物多边形的初始点集合，并预测初始点集合中每一初始点是真实建筑顶点的概率以及该初始点距离真实建筑顶点的偏移量。
S13、根据预测结果从初始点集合中选择候选建筑物顶点，并依次连接选择出的候选建筑物顶点以生成建筑物边界。
本发明实施例，将建筑物的几何特性融入到一般的多边形形变算法，以提升建筑物提取精度。考虑到建筑物实例可以表示为由相邻建筑物顶点组成的多边形，因此自适应地选择一部分初始点作为候选建筑物顶点并依次连接以生成建筑物边界。
本发明实施例提供的基于多边形的建筑物边界提取方法、设备及存储介质，基于建筑物独特的几何特性从初始轮廓预测出建筑物顶点，通过生成一个由建筑物顶点组成的多边形来表示建筑物边界，使提取的建筑物边界更规则，也更贴合建筑物的几何形状。
本实施例中，对于每个建筑物实例，多边形变形过程包括两个阶段：初始多边形生成和缺失顶点恢复。在第一阶段，首先从检测框构建由 N个点组成的初始轮廓。之后，通过预设的顶点和偏移量联合预测网络模型以初始轮廓和对应图像特征作为输入，输出顶点热图和点偏移量，生成初始的建筑物多边形。对于第二阶段，将预测的建筑物多边形和对应图像特征作为输入，迭代地预测缺失的建筑物顶点，以构建最终的建筑物边界。
初始建筑物多边形生成过程为：从检测框构造初始轮廓，然后预测初始轮廓上建筑物顶点所在的位置以及建筑物顶点的偏移量以趋向真实值，最终通过连接预测的顶点得到初始的建筑物多边形。具体的，如图2所示，步骤S11中的为遥感影像中的建筑物实例生成检测框，根据所述检测框构建建筑物实例的初始轮廓的实现步骤如下：
S111、连接检测框的四条边界的中心点构成菱形轮廓，根据菱形轮廓的顶点确定目标极点。其中，所述根据菱形轮廓的顶点确定目标极点具体包括：预测菱形轮廓的顶点与目标极点的目标偏移量，根据目标偏移量对菱形轮廓的顶点进行调整，将调整后的顶点作为目标极点。
S112、以每一目标极点为中心分别向目标极点所在检测框边界两端延伸预设长度，得到四条目标边界。
S113、依次连接得到的目标边界的端点，得到建筑物实例的初始轮廓。
由于从建筑物四个极值点（即最上面、最左边、最下面和最右边的点）延伸的八角形轮廓可以紧紧地包围建筑实例，为此本发明将这种八角形作为初始轮廓。为了获得四个极值点的位置，在利用物体检测算法为每个建筑物实例生成检测框之后，连接检测框的四条边界的中心点构成菱形轮廓，将菱形轮廓作为输入，通过预设的极值点预测网络模型预测菱形顶点与极值点的偏移量，以对菱形轮廓的顶点进行调整，将调整后的顶点作为目标极点。得到目标极点后，对于最上面和最下面的目标极点，以该点为中心水平向两端延伸检测框水平边边长的预设长度，对于最左和最右的极点，垂直向两端延伸检测框垂直边边长的预设长度。若延伸得到的线段超出检测框边界则截断，连接得到的4条线段的端点得到八边形轮廓，即建筑物实例的初始轮廓。极值点预测网络模型的网络结构包括8个卷积核大小为9 的循环卷积（CirConv）层和一个卷积核大小为1的标准一维卷积层，将生成的特征图连接为通道数为1280的特征，再用1个卷积核为1 的一维卷积预测点偏移。其中，预设长度可以为1/5~1/2，优选为1/4。
本发明实施例中，如图3所示，步骤S12中的预测初始点集合中每一初始点是真实建筑顶点的概率以及该初始点距离真实建筑顶点的偏移量具体包括如下步骤：
S121、构建初始点的输入特征
Figure 800129DEST_PATH_IMAGE034
，具体如下：
Figure 331604DEST_PATH_IMAGE035
，
其中，
Figure 674861DEST_PATH_IMAGE036
表示初始点集合中的第i个初始点，符号○表示连接操作，
Figure 582774DEST_PATH_IMAGE037
表示根据初始点
Figure 577144DEST_PATH_IMAGE038
的点位置从预设的特征映射中提取的该位置的图像特征；
Figure 279521DEST_PATH_IMAGE039
，即CNN特征提取网络从遥感影像捕获的图像特征。
S122、将每一初始点的输入特征
Figure 110073DEST_PATH_IMAGE040
输入预设的联合预测网络模型，预测出初始点集合的初始顶点热图和初始点偏移，所述初始顶点热图表示每一初始点是真实建筑顶点的概率，所述初始点偏移表示各初始点距离真实建筑顶点的偏移量。其中，联合预测网络模型的结构依次为循环卷积层、标准一维卷积层和两个并列设置的一维卷积层。
本实施例中，构建初始轮廓后，沿初始轮廓统一采样N=128个初始点
Figure 556098DEST_PATH_IMAGE041
，R2 表示二维实数向量。然后利用顶点和偏移量联合预测网络模型联合预测初始顶点热图
Figure 554709DEST_PATH_IMAGE042
和初始点偏移
Figure 427987DEST_PATH_IMAGE043
。前者表示每个初始点作为真实建筑多边形顶点的概率，后者表示从初始点到真实建筑顶点的偏移量。首先构造任意初始点
Figure 745836DEST_PATH_IMAGE005
的输入特征
Figure 729972DEST_PATH_IMAGE007
，之后输入特征经过8个卷积核大小为9 的循环卷积（CirConv）层和一个卷积核大小为1的标准一维卷积层，将生成的特征图连接为通道数为1280的特征。再分别利用两个卷积核为1 的一维卷积预测初始顶点热图和初始点偏移。
本发明通过生成一个由建筑物顶点组成的多边形来表示建筑物实例，可以使提取的建筑物轮廓更规则，也更贴合建筑物的几何形状。而且将建筑物的独特几何特性融入到一般的多边形形变流程中，使多边形形变的过程更可靠，从而提升多边形预测的性能。
本发明实施例，需要预先构建联合预测网络模型。为了引导特征提取网络学习有效的特征表示，基于有监督的学习策略对所述联合预测网络模型进行优化，首先生成初始顶点热图和初始偏移值的标签值，再确定网络优化的损失函数，最终得到优化后的联合预测网络模型。
本实施例中，基于有监督的学习策略对所述联合预测网络模型进行优化，包括生成顶点热图和偏移值的标签值，如图4所示，具体实现如下：
S31、在遥感影像中沿建筑物边缘选取目标点集合，并确定真实的建筑物顶点在目标点集合中的目标索引集合，所述目标点集合中包含任意一个真实的建筑物顶点。具体可根据初始点集合中初始点的数量，在遥感影像中沿建筑物边缘均匀采样相同数量的目标点，得到目标点集合。
S32、将初始顶点热图中索引属于所述目标索引集合的初始点确认为正样本，将其在顶点热图中的概率设置为1，将初始顶点热图中除正样本以外的初始点的概率根据以正样本的索引为中心的二维高斯分布确定。本实施例中，初始点和目标点维度一致，都是128个点，若K为真实建筑物点在目标点中的索引。则希望初始点与目标点尽量接近，即认定初始点中索引属于K的点为正样本，使其能预测一个较高的概率。
在训练过程中，为确保目标边缘点中包含任意一个真实的建筑物顶点，沿建筑物边缘均匀采样N=128个目标点集合
Figure 449667DEST_PATH_IMAGE044
，其中每条边上的目标点数根据边长分配。令
Figure 743114DEST_PATH_IMAGE045
，M=14，M为目标点中真实建筑物顶点的个数，K为真实建筑物顶点的索引。对于目标顶点热图
Figure 548259DEST_PATH_IMAGE046
，任意索引属于K的初始点被认为是正例，设置为1。同时，考虑到靠近建筑物顶点的目标点也可以形成形状相似的多边形，对于初始点
Figure 336086DEST_PATH_IMAGE047
若其索引i靠近任意
Figure 175866DEST_PATH_IMAGE048
，则
Figure 390947DEST_PATH_IMAGE049
不是直接设置为0而是由以
Figure 417809DEST_PATH_IMAGE048
为中心的二维高斯给出。
S33、将初始顶点热图中概率大于预设高值的初始点对应的偏移量的权重标签设置为1，将初始顶点热图中概率小于预设高值的初始点对应的偏移量的权重标签设置为预设值，所述预设值小于1。其中，预设值可选为0.1。偏移量预测的目标是将顶点热图上具有高值的初始点移向真实建筑顶点。这意味着其他初始点不会直接参与构建最终建筑物多边形，也不需要参与点回归过程。然而，由于这些点分布密集，可以提供更多的上下文特征来促进学习过程，因此仍然给这些点一个较低的权重0.1，而不是直接设为0来优化它们的位置。值得注意的是，由于这些点仅期望提供上下文信息而不是形成建筑物多边形，因此不需要这些点保持高回归精度。
本实施例中，基于有监督的学习策略对所述联合预测网络模型进行优化，还包括确定网络优化的损失函数，具体实现如下：
采用Focal 损失函数构建顶点热图对应的第一损失函数，基于所述第一损失函数对所述联合预测网络模型进行优化，第一损失函数定义为：
Figure 9327DEST_PATH_IMAGE050
，
其中，α=2，β=4，M为目标点集合中真实的建筑物顶点个数，N为初始点集合中初始点的个数，
Figure 438034DEST_PATH_IMAGE051
为第i个初始点是真实建筑顶点的概率，
Figure 824016DEST_PATH_IMAGE052
为第i个目标点是真实建筑顶点的概率。
采用smoothL1 损失函数构建点偏移对应的第二损失函数，基于所述第二损失函数对所述联合预测网络模型进行优化，第二损失函数定义为：
Figure 853021DEST_PATH_IMAGE053
，
其中，N为初始点集合中初始点的个数，
Figure 982651DEST_PATH_IMAGE054
用于缩放第i个初始点的损失，根据第i个初始点是否是真实建筑顶点的索引将其设置为对应的权重标签，1 或 0.1，
Figure 531444DEST_PATH_IMAGE055
是第i个目标点，
Figure 353907DEST_PATH_IMAGE056
是第i个初始点，
Figure 355361DEST_PATH_IMAGE057
为第i个初始点距离对应的真实建筑顶点的偏移量。
使用预测的顶点热图和指向建筑物顶点的偏移量，可以生成初始的建筑物边界，如图5所示。然而，由于只选择了一些初始点作为多边形顶点，而不是使用所有初始点来构建多边形边界，如果缺失一些建筑物顶点，算法的性能可能会下降。为此，本发明提出了一种缺失顶点恢复策略，由于很难在一次遍历中恢复所有丢失的顶点，因此采用一种迭代计算方式实现，如图6所示，为采用迭代计算方式实现缺失顶点恢复的效果示意图。
本实施例中，在依次连接选择出的候选建筑物顶点以生成建筑物边界之后，所述方法还包括对缺失顶点进行恢复的步骤，如图7所示，缺失顶点恢复具体包括如下步骤：
S131’、以所述建筑物边界作为初始多边形，从初始多边形中选取用于构建建筑物边界的第二初始点集合，并预测第二初始点集合中每一第二初始点是真实建筑顶点的概率以及该第二初始点距离真实建筑顶点的偏移量；
S132’、根据预测结果从第二初始点集合中选择新的候选建筑物顶点，依次连接选择出的候选建筑物顶点以生成新的建筑物边界，并以新生成的建筑物边界作为初始多边形迭代进行上述候选建筑物顶点的预测操作，直到迭代次数到达预设阈值；
S133’、根据迭代步骤中得到的新的候选建筑物顶点对首次生成的建筑物边界进行缺失顶点恢复。
其中，步骤S131’中的预测第二初始点集合中每一第二初始点是真实建筑顶点的概率以及该第二初始点距离真实建筑顶点的偏移量具体包括如下步骤：
构建第二初始点的输入特征
Figure 288682DEST_PATH_IMAGE058
，具体如下：
Figure 426402DEST_PATH_IMAGE059
，
其中，
Figure 419766DEST_PATH_IMAGE060
表示第二初始点集合中的第i个第二初始点，符号○表示连接操作，
Figure 908516DEST_PATH_IMAGE061
表示根据第二初始点
Figure 645528DEST_PATH_IMAGE020
的点位置从预设的特征映射中提取的该位置的图像特征，即CNN特征提取网络从遥感影像捕获的图像特征，
Figure 152601DEST_PATH_IMAGE062
取一个二进制值，表示第二初始点
Figure 316866DEST_PATH_IMAGE020
是否为初始多边形的顶点；
将每一第二初始点的输入特征
Figure 27333DEST_PATH_IMAGE022
输入预设的缺失顶点预测网络模型，预测出第二初始点集合的第二初始顶点热图和第二点偏移，所述第二初始顶点热图表示每一第二初始点是真实建筑顶点的概率，所述第二点偏移表示各第二初始点距离真实建筑顶点的偏移量。其中，缺失顶点预测网络模型的结构与联合预测网络模型类似，此外还包括一个额外的输入来指示每个原始多边形顶点的位置。
本实施例中，在恢复策略的第t次迭代中，将前一阶段生成的建筑多边形作为当前阶段的初始多边形。为了恢复初始多边形缺失的顶点，首先沿多边形轮廓采样N=128 个点
Figure 302457DEST_PATH_IMAGE063
，并选择其中一些作为新的多边形顶点，为下一阶段构建新的建筑物多边形。为此，以N=128个采样点的特征为输入，采用多个卷积层共同学习新的顶点热图
Figure 680349DEST_PATH_IMAGE064
和点偏移
Figure 749936DEST_PATH_IMAGE065
，其中前者表示任意采样点成为新多边形顶点的概率，后者表示任意采样点成为新多边形顶点的偏移量，用于调整多边形顶点的位置。
本发明实施例，需要预先构建缺失顶点预测网络模型，基于有监督的学习策略对所述缺失顶点预测网络模型进行优化，首先生成第二初始顶点热图标签值，再确定网络优化的损失函数，得到优化后的缺失顶点预测网络模型。
本实施例中，基于有监督的学习策略对所述缺失顶点预测网络模型进行优化包括生成第二初始顶点热图标签值，如图8所示，具体实现如下：
S41、采用动态时间规整算法计算第一序列中各个点与第二序列中各个点之间的欧几里得距离，第一序列由初始多边形顶点组成，第二序列由真实的建筑物顶点组成；
S42、查找第二序列中与第一序列中各个多边形顶点的欧几里得距离最小的目标建筑物顶点，实现初始多边形顶点与目标建筑物顶点的匹配；
S43、在遥感影像中沿各个目标建筑物顶点选取第二目标点集合，并确定真实的建筑物顶点在第二目标点集合中的第二目标索引集合，所述第二目标点集合中包含任意一个不与第一序列中各个多边形顶点相连的真实建筑物顶点；
S44、将第二初始顶点热图中索引属于所述第二目标索引集合的初始点确认为正样本，并将其在第二初始顶点热图中的概率设置为1，将第二初始顶点热图中除正样本以外的第二初始点的概率根据以正样本的索引为中心的二维高斯分布确定。
本实施例中，为了给
Figure 478857DEST_PATH_IMAGE066
和
Figure 292093DEST_PATH_IMAGE067
生成可靠的目标，第一步是将当前迭代过程中初始多边形的每个顶点与真实建筑顶点匹配。考虑到多边形顶点之间的依赖性，本发明采用变体的动态时间规整 (DTW) 算法来实现顶点匹配过程。对于具有Q=9 个顶点的初始多边形和具有 M=14个顶点的建筑实例，它们的顶点序列表示为第一序列
Figure 524491DEST_PATH_IMAGE068
和第二序列
Figure 17177DEST_PATH_IMAGE069
，其中
Figure 967815DEST_PATH_IMAGE070
和
Figure 584741DEST_PATH_IMAGE071
之间的欧几里得距离在由任何
Figure 671646DEST_PATH_IMAGE072
和任何
Figure 348615DEST_PATH_IMAGE073
组成的顶点对中最小。使用DTW算法计算第一序列A和第二序列B之间的最小距离，任何
Figure 786549DEST_PATH_IMAGE074
和任何
Figure 941587DEST_PATH_IMAGE075
都可以分别匹配序列B和序列A中的一个或多个连续顶点。然而，由于初始多边形的一个顶点只能匹配一个真实的建筑顶点，采用如下规则来为任何
Figure 148578DEST_PATH_IMAGE074
选择唯一的目标顶点
Figure 730869DEST_PATH_IMAGE075
。具体包括：首先考虑A中不与其他顶点相连的目标顶点，然后根据顶点及其相邻两个顶点所包围区域的面积对每个目标顶点进行加权，最终只有具有最大权重的
Figure 639788DEST_PATH_IMAGE075
被选中。
匹配两个顶点序列后，采样N=128个建筑物顶点，得到第二目标点集合
Figure 598516DEST_PATH_IMAGE076
。具体而言，对于初始多边形的任意边
Figure 660013DEST_PATH_IMAGE077
，首先确定与
Figure 678785DEST_PATH_IMAGE078
匹配的目标顶点
Figure 825733DEST_PATH_IMAGE079
，
Figure 322573DEST_PATH_IMAGE080
和
Figure 238576DEST_PATH_IMAGE081
之间的目标点数固定为
Figure 428249DEST_PATH_IMAGE082
。如果
Figure 328072DEST_PATH_IMAGE080
和
Figure 877871DEST_PATH_IMAGE081
之间存在任意真实建筑物顶点，则根据边长分配每条建筑物边上的采样点数。设
Figure 648381DEST_PATH_IMAGE083
,
Figure 8955DEST_PATH_IMAGE084
，
Figure 130495DEST_PATH_IMAGE085
为第二目标点集合中不与任意
Figure 969138DEST_PATH_IMAGE086
相连的真实建筑物顶点的个数，
Figure 859734DEST_PATH_IMAGE087
为第t次迭代中
Figure 391209DEST_PATH_IMAGE088
个不与任意
Figure 734466DEST_PATH_IMAGE074
相连的真实建筑顶点的索引。对于目标顶点热图
Figure 891646DEST_PATH_IMAGE089
，如果索引i属于
Figure 636748DEST_PATH_IMAGE087
，则
Figure 339125DEST_PATH_IMAGE090
被认为是正例，设置为1。同时，考虑到靠近建筑物顶点的目标点也可以形成形状相似的多边形，对于第二初始点若其索引i靠近任意
Figure 169678DEST_PATH_IMAGE091
，则
Figure 350124DEST_PATH_IMAGE090
不是直接设置为0而是由以
Figure 215311DEST_PATH_IMAGE091
为中心的二维高斯给出。
本实施例中，基于有监督的学习策略对所述缺失顶点预测网络模型进行优化包括确定网络优化的损失函数，具体实现如下：
采用Focal 损失函数构建第二初始顶点热图对应的第三损失函数，基于所述第三损失函数对所述缺失顶点预测网络模型进行优化，第三损失函数定义为：
Figure 88590DEST_PATH_IMAGE092
，
其中，α=2，β=4，N为第二初始点集合中第二初始点的个数，
Figure 406438DEST_PATH_IMAGE093
为第i个第二初始点是真实建筑顶点的概率，
Figure 636913DEST_PATH_IMAGE094
为第i个第二目标点是真实建筑顶点的概率，
Figure 356607DEST_PATH_IMAGE095
取一个二进制值，当第i个第二目标点靠近索引属于第二目标索引集合的顶点时，
Figure 400787DEST_PATH_IMAGE095
取值为0，否则为1，L是服从于
Figure 205931DEST_PATH_IMAGE028
的顶点个数，t是当前缺失顶点恢复过程的迭代次数。
第 t次迭代过程中，在采用smoothL1 损失函数构建第二点偏移对应的第四损失函数，基于所述第四损失函数对所述缺失顶点预测网络模型进行优化，第四损失函数定义为：
Figure 259338DEST_PATH_IMAGE096
，
其中，N为第二初始点集合中第二初始点的个数，
Figure 833539DEST_PATH_IMAGE097
用于缩放第i个第二初始点的损失，根据第i个第二初始点是否是真实建筑顶点的索引将其设置为对应的权重标签，
Figure 48620DEST_PATH_IMAGE098
是第i个第二目标点，
Figure 75481DEST_PATH_IMAGE099
是第i个第二初始点，
Figure 667000DEST_PATH_IMAGE100
为第i个第二初始点距离对应的真实建筑顶点的偏移量。
本实施例中，缺失顶点恢复策略的总的损失函数定义为：
Figure 344975DEST_PATH_IMAGE101
，
其中T是总的迭代次数，T可选为3。
本发明提出的缺失顶点恢复方式，迭代地恢复和细化多边形顶点，使算法对不准确的预测和复杂的建筑形状更加鲁棒。需要说明的是，该方式也可以适用于其他基于轮廓的方法，以提高多边形预测能力，对此本发明不作具体限定。
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述基于多边形的建筑物边界提取方法的步骤。
本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本实施例在具体实现过程中，可以参考前述实施例，具有相应的技术效果。
此外，本发明实施例还提供一种基于多边形的建筑物边界提取设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各个基于多边形的建筑物边界提取方法实施例中的步骤，例如图1所示的S11~S13。
本实施例在具体实现过程中，可以参考前述实施例，具有相应的技术效果。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述基于多边形的建筑物边界提取装置中的执行过程。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于多边形的建筑物边界提取设备的控制中心，利用各种接口和线路连接整个基于多边形的建筑物边界提取设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于多边形的建筑物边界提取设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，本申请所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (15)

1.一种基于多边形的建筑物边界提取方法，其特征在于，所述方法包括：
为遥感影像中的建筑物实例生成检测框，根据所述检测框构建建筑物实例的初始轮廓；
从所述初始轮廓中选取用于构建建筑物多边形的初始点集合，并预测初始点集合中每一初始点是真实建筑顶点的概率以及该初始点距离真实建筑顶点的偏移量；
根据预测结果从初始点集合中选择候选建筑物顶点，并依次连接选择出的候选建筑物顶点以生成建筑物边界；
以所述建筑物边界作为初始多边形，从初始多边形中选取用于构建建筑物边界的第二初始点集合，并预测第二初始点集合中每一第二初始点是真实建筑顶点的概率以及该第二初始点距离真实建筑顶点的偏移量；
根据预测结果从第二初始点集合中选择新的候选建筑物顶点，依次连接选择出的候选建筑物顶点以生成新的建筑物边界，并以新生成的建筑物边界作为初始多边形迭代进行上述候选建筑物顶点的预测操作，直到迭代次数到达预设阈值；
根据迭代步骤中得到的新的候选建筑物顶点对首次生成的建筑物边界进行缺失顶点恢复；
其中，所述预测第二初始点集合中每一第二初始点是真实建筑顶点的概率以及该第二初始点距离真实建筑顶点的偏移量包括：
构建第二初始点的输入特征
Figure 248189DEST_PATH_IMAGE001
，具体如下：
Figure 870800DEST_PATH_IMAGE002
，
其中，
Figure 111289DEST_PATH_IMAGE003
表示第二初始点集合中的第i个第二初始点，符号○表示连接操作，
Figure 389823DEST_PATH_IMAGE004
表示根据第二初始点
Figure 741170DEST_PATH_IMAGE005
的点位置从预设的特征映射中提取的该位置的图像特征，
Figure 923015DEST_PATH_IMAGE006
取一个二进制值，表示第二初始点
Figure 193460DEST_PATH_IMAGE007
是否为初始多边形的顶点；
将每一第二初始点的输入特征
Figure 959290DEST_PATH_IMAGE008
输入预设的缺失顶点预测网络模型，预测出第二初始点集合的第二初始顶点热图和第二点偏移，所述第二初始顶点热图表示每一第二初始点是真实建筑顶点的概率，所述第二点偏移表示各第二初始点距离真实建筑顶点的偏移量。
2.根据权利要求1所述的方法，其特征在于，所述为遥感影像中的建筑物实例生成检测框，根据所述检测框构建建筑物实例的初始轮廓，包括：
连接检测框的四条边界的中心点构成菱形轮廓，根据菱形轮廓的顶点确定目标极点；
以每一目标极点为中心分别向目标极点所在检测框边界两端延伸预设长度，得到四条目标边界；
依次连接得到的目标边界的端点，得到建筑物实例的初始轮廓。
3.根据权利要求2所述的方法，其特征在于，所述根据菱形轮廓的顶点确定目标极点，包括：
预测菱形轮廓的顶点与目标极点的目标偏移量，根据目标偏移量对菱形轮廓的顶点进行调整，将调整后的顶点作为目标极点。
4.根据权利要求1所述的方法，其特征在于，所述预测初始点集合中每一初始点是真实建筑顶点的概率以及该初始点距离真实建筑顶点的偏移量包括：
构建初始点的输入特征
Figure 848749DEST_PATH_IMAGE009
，具体如下：
Figure 383635DEST_PATH_IMAGE010
，
其中，
Figure 326446DEST_PATH_IMAGE011
表示初始点集合中的第i个初始点，符号○表示连接操作，
Figure 720518DEST_PATH_IMAGE012
表示根据初始点
Figure 272722DEST_PATH_IMAGE011
的点位置从预设的特征映射中提取的该位置的图像特征；
将每一初始点的输入特征
Figure 662115DEST_PATH_IMAGE009
输入预设的联合预测网络模型，预测出初始点集合的初始顶点热图和初始点偏移，所述初始顶点热图表示每一初始点是真实建筑顶点的概率，所述初始点偏移表示各初始点距离真实建筑顶点的偏移量。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
预先构建联合预测网络模型；
基于有监督的学习策略对所述联合预测网络模型进行优化，得到优化后的联合预测网络模型。
6.根据权利要求5所述的方法，其特征在于，所述基于有监督的学习策略对所述联合预测网络模型进行优化，包括：
在遥感影像中沿建筑物边缘选取目标点集合，并确定真实的建筑物顶点在目标点集合中的目标索引集合，所述目标点集合中包含任意一个真实的建筑物顶点；
将初始顶点热图中索引属于所述目标索引集合的初始点确认为正样本，并将其在顶点热图中的概率设置为1，将初始顶点热图中除正样本以外的初始点的概率根据以正样本的索引为中心的二维高斯分布确定；
将初始顶点热图中概率大于预设高值的初始点对应的偏移量的权重标签设置为1，将初始顶点热图中概率小于预设高值的初始点对应的偏移量的权重标签设置为预设值，所述预设值小于1。
7.根据权利要求6所述的方法，其特征在于，所述在遥感影像中沿建筑物边缘选取目标点集合，包括：
根据初始点集合中初始点的数量，在遥感影像中沿建筑物边缘均匀采样相同数量的目标点，得到目标点集合。
8.根据权利要求5所述的方法，其特征在于，所述基于有监督的学习策略对所述联合预测网络模型进行优化，还包括：
采用Focal 损失函数构建顶点热图对应的第一损失函数，基于所述第一损失函数对所述联合预测网络模型进行优化，第一损失函数定义为：
Figure 274362DEST_PATH_IMAGE013
，
其中，α=2，β=4，M为目标点集合中真实的建筑物顶点个数，N为初始点集合中初始点的个数，
Figure 890151DEST_PATH_IMAGE014
为第i个初始点是真实建筑顶点的概率，
Figure 741652DEST_PATH_IMAGE015
为第i个目标点是真实建筑顶点的概率。
9.根据权利要求5所述的方法，其特征在于，所述基于有监督的学习策略对所述联合预测网络模型进行优化，还包括：
采用smooth L1 损失函数构建点偏移对应的第二损失函数，基于所述第二损失函数对所述联合预测网络模型进行优化，第二损失函数定义为：
Figure 516710DEST_PATH_IMAGE016
，
其中，N为初始点集合中初始点的个数，
Figure 909645DEST_PATH_IMAGE017
用于缩放第i个初始点的损失，根据第i个初始点是否是真实建筑顶点的索引将其设置为对应的权重标签，
Figure 402943DEST_PATH_IMAGE018
是第i个目标点，
Figure 31371DEST_PATH_IMAGE019
是第i个初始点，
Figure 162400DEST_PATH_IMAGE020
为第i个初始点距离对应的真实建筑顶点的偏移量。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
预先构建缺失顶点预测网络模型；
基于有监督的学习策略对所述缺失顶点预测网络模型进行优化，得到优化后的缺失顶点预测网络模型。
11.根据权利要求10所述的方法，其特征在于，所述基于有监督的学习策略对所述缺失顶点预测网络模型进行优化包括：
采用动态时间规整算法计算第一序列中各个点与第二序列中各个点之间的欧几里得距离，第一序列由初始多边形顶点组成，第二序列由真实的建筑物顶点组成；
查找第二序列中与第一序列中各个多边形顶点的欧几里得距离最小的目标建筑物顶点，实现初始多边形顶点与目标建筑物顶点的匹配；
在遥感影像中沿各个目标建筑物顶点选取第二目标点集合，并确定真实的建筑物顶点在第二目标点集合中的第二目标索引集合，所述第二目标点集合中包含任意一个不与第一序列中各个多边形顶点相连的真实建筑物顶点；
将第二初始顶点热图中索引属于所述第二目标索引集合的初始点确认为正样本，并将其在第二初始顶点热图中的概率设置为1，将第二初始顶点热图中除正样本以外的第二初始点的概率根据以正样本的索引为中心的二维高斯分布确定。
12.根据权利要求11所述的方法，其特征在于，所述基于有监督的学习策略对所述缺失顶点预测网络模型进行优化包括：
采用Focal 损失函数构建第二初始顶点热图对应的第三损失函数，基于所述第三损失函数对所述缺失顶点预测网络模型进行优化，第三损失函数定义为：
Figure 726236DEST_PATH_IMAGE021
，
其中，α=2，β=4，N为第二初始点集合中第二初始点的个数
Figure 441252DEST_PATH_IMAGE022
为第i个第二初始点是真实建筑顶点的概率，
Figure 138949DEST_PATH_IMAGE023
为第i个第二目标点是真实建筑顶点的概率，
Figure 498386DEST_PATH_IMAGE024
取一个二进制值，当第i个第二目标点靠近索引属于第二目标索引集合的顶点时，
Figure 623337DEST_PATH_IMAGE024
取值为0，否则为1，L是服从于
Figure 61534DEST_PATH_IMAGE025
=1的顶点个数，t是当前缺失顶点恢复过程的迭代次数。
13.根据权利要求12所述的方法，其特征在于，所述基于有监督的学习策略对所述缺失顶点预测网络模型进行优化包括：
第 t次迭代过程中，在采用smooth L1 损失函数构建第二点偏移对应的第四损失函数，基于所述第四损失函数对所述缺失顶点预测网络模型进行优化，第四损失函数定义为：
Figure 562922DEST_PATH_IMAGE026
，
其中，N为第二初始点集合中第二初始点的个数，
Figure 776866DEST_PATH_IMAGE027
用于缩放第i个第二初始点的损失，根据第i个第二初始点是否是真实建筑顶点的索引将其设置为对应的权重标签，
Figure 72718DEST_PATH_IMAGE028
是第i个第二目标点，
Figure 762326DEST_PATH_IMAGE029
是第i个第二初始点，
Figure 677192DEST_PATH_IMAGE030
为第i个第二初始点距离对应的真实建筑顶点的偏移量。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-13任一项所述方法的步骤。
15.一种基于多边形的建筑物边界提取设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-13任一项所述方法的步骤。
CN202111523154.5A 2021-12-14 2021-12-14 基于多边形的建筑物边界提取方法、设备及存储介质 Active CN113920148B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111523154.5A CN113920148B (zh) 2021-12-14 2021-12-14 基于多边形的建筑物边界提取方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111523154.5A CN113920148B (zh) 2021-12-14 2021-12-14 基于多边形的建筑物边界提取方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113920148A CN113920148A (zh) 2022-01-11
CN113920148B true CN113920148B (zh) 2022-03-04

Family

ID=79249103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111523154.5A Active CN113920148B (zh) 2021-12-14 2021-12-14 基于多边形的建筑物边界提取方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113920148B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114529552A (zh) * 2022-03-03 2022-05-24 北京航空航天大学 一种基于几何轮廓顶点预测的遥感影像建筑物分割方法
CN114898119B (zh) * 2022-07-08 2022-11-01 浙江大华技术股份有限公司 一种建筑物轮廓绘制方法、装置、设备及介质
CN115953593B (zh) * 2023-01-10 2023-11-21 广州市易鸿智能装备有限公司 工业零件的轮廓识别方法、装置、设备和计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930540A (zh) * 2012-10-26 2013-02-13 中国地质大学（武汉） 城市建筑物轮廓检测的方法及系统
CN110197147A (zh) * 2019-05-23 2019-09-03 星际空间（天津）科技发展有限公司 遥感影像的建筑物实例提取方法、装置、存储介质及设备
CN111652250A (zh) * 2020-06-09 2020-09-11 星际空间（天津）科技发展有限公司 基于多边形的遥感影像建筑物提取方法、装置及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7218770B2 (en) * 2003-03-04 2007-05-15 Siemens Corporate Research, Inc. Ball grid array modeling for inspecting surface mounted devices
CN102840837A (zh) * 2012-08-28 2012-12-26 天津市亚安科技股份有限公司 自动实时监测建筑物、地貌变形的方法及装置
US10964201B1 (en) * 2019-09-27 2021-03-30 The Travelers Indemnity Company Wildfire defender
CN112281861A (zh) * 2020-10-12 2021-01-29 广州地铁设计研究院股份有限公司 城市轨道交通换乘站换乘节点处支护系统及施工方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930540A (zh) * 2012-10-26 2013-02-13 中国地质大学（武汉） 城市建筑物轮廓检测的方法及系统
CN110197147A (zh) * 2019-05-23 2019-09-03 星际空间（天津）科技发展有限公司 遥感影像的建筑物实例提取方法、装置、存储介质及设备
CN111652250A (zh) * 2020-06-09 2020-09-11 星际空间（天津）科技发展有限公司 基于多边形的遥感影像建筑物提取方法、装置及存储介质

Also Published As

Publication number Publication date
CN113920148A (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
CN113920148B (zh) 基于多边形的建筑物边界提取方法、设备及存储介质
JP7236545B2 (ja) ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム
CN110245659B (zh) 基于前背景相互关系的图像显著对象分割方法及装置
CN108470354B (zh) 视频目标跟踪方法、装置和实现装置
Rouhani et al. Semantic segmentation of 3D textured meshes for urban scene analysis
CN108629286B (zh) 一种基于主观感知显著模型的遥感机场目标检测方法
Xu et al. Weakly supervised deep semantic segmentation using CNN and ELM with semantic candidate regions
JP2008217706A (ja) ラベリング装置、ラベリング方法及びプログラム
CN113111716B (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN113065594A (zh) 一种基于北斗数据与遥感影像融合的路网提取方法及装置
CN109785356B (zh) 一种视频图像的背景建模方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
EP3857449A1 (en) Apparatus and method for three-dimensional object recognition
Li et al. Unsupervised road extraction via a Gaussian mixture model with object-based features
Dong et al. Learning regional purity for instance segmentation on 3d point clouds
CN113920147B (zh) 基于深度学习的遥感影像建筑物提取方法及设备
Li et al. One model is enough: Toward multiclass weakly supervised remote sensing image semantic segmentation
Chen et al. Image segmentation based on mathematical morphological operator
CN110570450B (zh) 一种基于级联的上下文感知框架的目标跟踪方法
Yang et al. ESVC-based extraction and segmentation of texture features
CN116630610A (zh) 基于语义分割模型和条件随机场的roi区域提取方法
CN116246161A (zh) 领域知识引导下的遥感图像目标精细类型识别方法及装置
Chen et al. Illumination-invariant video cut-out using octagon sensitive optimization
Li et al. Anomaly detection based on superpixels in videos
CN116129280B (zh) 一种遥感影像雪检测的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant