CN111652251B - 遥感影像建筑物特征提取模型构建方法、装置及存储介质 - Google Patents

遥感影像建筑物特征提取模型构建方法、装置及存储介质 Download PDF

Info

Publication number
CN111652251B
CN111652251B CN202010517563.3A CN202010517563A CN111652251B CN 111652251 B CN111652251 B CN 111652251B CN 202010517563 A CN202010517563 A CN 202010517563A CN 111652251 B CN111652251 B CN 111652251B
Authority
CN
China
Prior art keywords
network
vertex
feature extraction
loss function
building
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010517563.3A
Other languages
English (en)
Other versions
CN111652251A (zh
Inventor
朱云慧
江贻芳
陈欢欢
黄恩兴
黄不了
于娜
高健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stargis Tianjin Technology Development Co ltd
University of Science and Technology of China USTC
Original Assignee
Stargis Tianjin Technology Development Co ltd
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stargis Tianjin Technology Development Co ltd, University of Science and Technology of China USTC filed Critical Stargis Tianjin Technology Development Co ltd
Priority to CN202010517563.3A priority Critical patent/CN111652251B/zh
Publication of CN111652251A publication Critical patent/CN111652251A/zh
Application granted granted Critical
Publication of CN111652251B publication Critical patent/CN111652251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提供了一种遥感影像建筑物特征提取模型构建方法、装置、存储介质及电子设备，所述方法包括：采用具有编码器/解码器结构的基于RESNET‑18的U‑NET网络构建特征提取网络，所述特征提取网络用于对遥感影像中目标建筑物的顶点图和方向图进行预测；构建顶点图对应的第一损失函数以及方向图对应的第二损失函数；基于第一损失函数和第二损失函数对特征提取网络进行有监督的学习训练，得到优化后的特征提取网络模型。本发明提出的遥感影像建筑物特征提取模型的构建方法，能够准确地提取出建筑物的顶点图和方向图特征，并基于顶点图和方向图组成的自适应多边形来表示建筑物实例，提高建筑物覆盖率和几何相似性，进一步地提高遥感影像建筑物提取精度。

Description

遥感影像建筑物特征提取模型构建方法、装置及存储介质
技术领域
本发明涉及遥感影像处理技术领域，尤其涉及一种遥感影像建筑物特征提取模型构建方法、装置、存储介质及电子设备。
背景技术
遥感影像的建筑物实例提取对于城市管理和规划、灾后救援、人口研究等多项工作都具有重要意义，然而，由于建筑物的密集分布和多样性，手工描绘大量遥感影像的建筑物实例会耗费大量的时间与精力，因此迫切需要自动化地提取建筑物实例。
在过去的几十年里，传统的方法试图通过纹理、线条、阴影和更复杂的经验设计特征来识别建筑物，但由于遥感影像中建筑物间的差异性较大，这类方法无法适用于复杂的场景，也无法达到自动化的应用。近年来，深度学习方法的发展推动了新一轮的研究。目前大多数基于深度学习的建筑物实例提取的方法可以分为三类，分别是逐像素的分割，逐建筑物的分割，以及结构化轮廓的描绘。然而已有的方法缺少有效地方式对建筑物的整体轮廓特征的提取以及推理，从而难以准确地提取建筑物实例。
发明内容
本发明提出了一种遥感影像建筑物特征提取模型构建方法、装置、存储介质及电子设备，能够准确地提取出建筑物的顶点图和方向图特征，以基于顶点图和方向图组成的自适应多边形来表示建筑物实例，提高遥感影像建筑物提取精度。
本发明的一个方面，提供了一种遥感影像建筑物特征提取模型构建方法，所述方法包括：
采用具有编码器/解码器结构的基于RESNET-18的U-NET网络构建特征提取网络，所述特征提取网络用于对遥感影像中目标建筑物的顶点图和方向图进行预测；
构建顶点图对应的第一损失函数以及方向图对应的第二损失函数；
基于所述第一损失函数和第二损失函数对特征提取网络进行有监督的学习训练，得到优化后的特征提取网络模型。
可选地，所述构建顶点图对应的第一损失函数，包括：
根据顶点图预测值中的预测顶点成为真实顶点的置信度构建顶点图对应的第一损失函数。
可选地，所述构建方向图对应的第二损失函数，包括：
根据方向图预测值与方向图标签值之间的误差构建方向图对应的第二损失函数。
可选地，所述采用具有编码器/解码器结构的基于Resnet-18的U-NET网络构建特征提取网络，包括：
采用Resnet-18中的conv1～5blocks构建特征提取网络的编码器网络；
根据编码器网络的对称网络结构构建特征提取网络的解码器网络。
可选地，所述方法还包括：
构建网络回归模型，利用所述网络回归模型对顶点图中的每一预测顶点进行回归计算，所述网络回归模型包括两个网络分支和一个卷积层，每一分支均由两个1024的完全连接层组成；
根据预设大小分别从特征提取网络模型的编码器部分和解码器部分对每个预测顶点对应的局部块进行分别裁剪，将对应的两个裁剪区域分别作为网络回归模型的两个网络分支的输入；
利用网络回归模型对通过两个网络分支生成的两个具有1024通道的向量进行求和，得到融合向量，并通过网络回归模型卷积层对融合向量进行处理得到预测顶点对应的预测回归向量。
可选地，所述构建网络回归模型之后，所述方法还包括：
根据目标建筑物顶点的坐标值、预测的建筑物顶点的坐标值以及预测顶点对应的局部块区域的边长为预测的顶点图中每一预测顶点生成对应的目标回归向量；
根据预测回归向量和目标回归向量利用Fast R-CNN中的SmoothL1损失函数优化训练所述网络回归模型。
本发明的另一个方面，提供了一种遥感影像建筑物特征提取模型构建装置，所述装置包括：
提取网络构建单元，用于采用具有编码器/解码器结构的基于RESNET-18的U-NET网络构建特征提取网络，所述特征提取网络用于对遥感影像中目标建筑物的顶点图和方向图进行预测；
损失函数构建单元，用于构建顶点图对应的第一损失函数以及方向图对应的第二损失函数；
网络优化单元，用于基于所述第一损失函数和第二损失函数对特征提取网络进行有监督的学习训练，得到优化后的特征提取网络模型。
可选地，所述损失函数构建单元，具体用于根据顶点图预测值中的预测顶点成为真实顶点的置信度构建顶点图对应的第一损失函数；
可选地，所述损失函数构建单元，具体还用于根据方向图预测值与方向图标签值之间的误差构建方向图对应的第二损失函数。
可选地，所述提取网络构建单元，包括：
编码器构建子单元，用于采用Resnet-18中的conv1～5blocks构建特征提取网络的编码器网络；
解码器构建子单元，用于根据编码器网络的对称网络结构构建特征提取网络的解码器网络。
可选地，所述装置还包括：
回归模型构建单元，用于构建网络回归模型，利用所述网络回归模型对顶点图中的每一预测顶点进行回归计算，所述网络回归模型包括两个网络分支和一个卷积层，每一分支均由两个1024的完全连接层组成；
配置处理单元，用于根据预设大小分别从特征提取网络模型的编码器部分和解码器部分对每个预测顶点对应的局部块进行分别裁剪，将对应的两个裁剪区域分别作为网络回归模型的两个网络分支的输入；
回归计算单元，用于利用网络回归模型对通过两个网络分支生成的两个具有1024通道的向量进行求和，得到融合向量，并通过网络回归模型卷积层对融合向量进行处理得到预测顶点对应的预测回归向量。
可选地，所述装置还包括：
生成单元，用于在构建所述网络回归模型之后，根据目标建筑物顶点的坐标值、预测的建筑物顶点的坐标值以及预测顶点对应的局部块区域的边长为预测的顶点图中每一预测顶点生成对应的目标回归向量；
回归模型优化单元，用于根据预测回归向量和目标回归向量利用Fast R-CNN中的SmoothL1损失函数优化训练所述网络回归模型。
此外，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法的步骤。
此外，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述方法的步骤。
本发明实施例提供的遥感影像建筑物特征提取模型构建方法、装置、存储介质及电子设备，能够准确地提取出建筑物的顶点图和方向图特征，并基于顶点图和方向图组成的自适应多边形来表示建筑物实例，提高建筑物覆盖率和几何相似性，进一步地提高遥感影像建筑物提取精度。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例的一种遥感影像建筑物特征提取模型构建方法的流程示意图；
图2为本发明实施例的一种遥感影像建筑物特征提取模型构建方法中步骤S11的实现流程示意图；
图3为本发明实施例的一种遥感影像建筑物特征提取模型构建装置的结构示意图；
图4为本发明实施例的一种遥感影像建筑物特征提取模型构建装置中提取网络构建单元的内部结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。
图1示意性示出了本发明一个实施例的遥感影像建筑物特征提取模型构建方法的流程图。参照图1所示，本发明实施例提出的遥感影像建筑物特征提取模型构建方法具体包括步骤S11～S13，如下所示：
S11、采用具有编码器/解码器结构的基于RESNET-18的U-NET网络构建特征提取网络，所述特征提取网络用于对遥感影像中目标建筑物的顶点图和方向图进行预测。
S12、构建顶点图对应的第一损失函数以及方向图对应的第二损失函数。
S13、基于所述第一损失函数和第二损失函数对特征提取网络进行有监督的学习训练，得到优化后的特征提取网络模型。
本发明实施例提供的遥感影像建筑物特征提取模型的构建方法，能够准确地提取出建筑物的顶点图和方向图特征，并基于顶点图和方向图组成的自适应多边形来表示建筑物实例，提高建筑物覆盖率和几何相似性，进一步地提高遥感影像建筑物提取精度。
本实施例中，如图2所示，步骤S11中的采用具有编码器/解码器结构的基于Resnet-18的U-NET网络构建特征提取网络，具体包括以下步骤：
S111、采用Resnet-18中的conv1～5blocks构建特征提取网络的编码器网络；
S112、根据编码器网络的对称网络结构构建特征提取网络的解码器网络。
实际应用中，对一个包含6个建筑物顶点的建筑物实例，首先将该实例表示为由6个有序的建筑物顶点组成的多边形，任意两个相邻的建筑物顶点(包括第一个顶点和最后一个顶点)之间存在一条连接，即建筑物边缘。因此，建筑物实例提取转化为寻找该建筑物多边形的任务。在一个具体示例中，该任务可以分解为两个步骤，即定位建筑物顶点以及有序连接这些顶点。为此，首先预测建筑物实例的顶点图和方向图，前者显示建筑物顶点可能的位置，后者帮助判断顶点间有无连接。
为了精确定位顶点和识别建筑对象，需要具有高分辨率的低层次特征和具有强语义性的高层次特征。因此，引入了一种U形网络结构，将高分辨率与强语义特征结合起来。具有编码器解码器结构的基于RESNET-18的U-NET网络被用作特征提取器，具体包括：
构建编码器网络。Resnet-18中的conv1～5blocks组成编码器网络，最终编码器网络输出的特征图分辨率为原图像的十六分之一，即112*112/16＝7*7。
构建解码器网络。将编码器的对称网络结构作为解码器的一部分。此时，输出的特征图分辨率与原图像一致为112*112。随后，四个重复的3×3卷积层输出的特征图作为共享特征，分为两个分支，一个分支由一个1×1卷积层输出方向图，另一个分支由一个3×3卷积层以及一个1×1卷积层输出顶点图。输出的顶点图和方向图的分辨率都为112*112。
为了引导特征提取网络学习有效的特征表示，本实施例中基于有监督的学习策略对所述特征提取网络进行优化，具体实现包括以下步骤：根据顶点图预测值中的预测顶点成为真实顶点的置信度构建顶点图对应的第一损失函数，基于所述第一损失函数对所述特征提取网络进行优化；以及根据方向图预测值与方向图标签值之间的误差构建方向图对应的第二损失函数，基于所述第二损失函数对所述特征提取网络进行优化。
预测的顶点图表示每个像素成为建筑顶点的概率。为了实现准确的定位，网络应该预测在6个建筑物顶点处取高值和其他区域取低值。同时，由于正样本(即建筑顶点)的数量6远小于负样本数量112*112-6，需要损失函数用来克服极不平衡的正/负类问题，其中，顶点图的第一损失函数LMv具体为：
Figure GDA0004132575610000071
其中，MV是预测的顶点图，p表示顶点图中的任何像素，pv属于真实的建筑物顶点集，Nmin代表最小顶点数，γ是单个标量，它可以影响预测数，真实的建筑物顶点数表示为
Figure GDA0004132575610000072
具体的，Nmin设置为3*10，γ设为10。
给定多边形顶点集，即6个建筑物顶点所在位置，通过按不同的顺序连接这些顶点可能生成不同的多边形。若要选择最符合建筑物形状的多边形，方向图应能测量任意两个多边形顶点之间是否存在边。方向图编码了建筑物边界的位置和方向。建筑物边界区域可表示为：
Figure GDA0004132575610000081
Figure GDA0004132575610000082
A表示的是建筑物边界对应的区域；
方向图的第二损失函数LMD具体为：
Figure GDA0004132575610000083
本发明利用方向图标签值与预测值之间的L2损失来训练网络，其中，MD表示预测的方向图，MD(p)表示P像素对应的方向图预测值，p为方向图上的任意像素，MD*(p)表示P像素对应的方向图标签值；
Figure GDA0004132575610000084
其中，
Figure GDA0004132575610000085
表示为从/>
Figure GDA0004132575610000086
到/>
Figure GDA0004132575610000087
的线段方向的单位向量，边缘eij对应于建筑物顶点
Figure GDA0004132575610000088
和/>
Figure GDA0004132575610000089
之间厚度为三像素的线段。
低阶特征对于准确定位建筑物顶点至关重要。然而，为了预测顶点图，还需要语义特征来区分建筑实例和背景，这可能会影响低阶特征的学习，进而影响定位精度。为了进一步提升建筑物顶点的预测精度，对每个预测的建筑物顶点(预测定点数量约6*10＝60)进行回归。
本发明的一个实施例中，所述方法还包括，利用网络回归模型对顶点图中的每一预测顶点进行回归计算的步骤，具体包括：
构建所述网络回归模型，利用所述网络回归模型对顶点图中的每一预测顶点进行回归计算，所述网络回归模型包括两个网络分支和一个卷积层，每一分支均由两个1024的完全连接层组成。本实施例中，网络回归模型即顶点回归器需要考虑顶点周围更详细的特征，此外，同时引入特征提取器学习到的高级特征，以筛选出详细特征中的干扰信息。具体地说，顶点回归器中有两个兄弟分支，它们分别以从编码器中裁剪的低级特征和从解码器中裁剪的高级特征作为输入。
根据预设大小分别从特征提取网络模型的编码器部分和解码器部分对每个预测顶点对应的局部块进行分别裁剪，将对应的两个裁剪区域分别作为网络回归模型的两个网络分支的输入；
利用网络回归模型对通过两个网络分支生成的两个具有1024通道的向量进行求和，得到融合向量，并通过网络回归模型卷积层对融合向量进行处理得到预测顶点对应的预测回归向量R＝(Rx,Ry)。
本实施例中，裁剪区域对应于每个预测顶点周围的28*28的局部块。输入首先分别通过两个分支，每个分支由两个1024的完全连接层组成。然后，通过对生成的两个具有1024通道的向量进行求和，得到一个融合向量，随后附加一个1×1的卷积层，得到一个2维的回归向量。
进一步地，所述在构建所述网络回归模型之后，基于有监督的学习策略对所述网络回归模型进行优化，得到优化后的网络回归模型。
具体的，基于有监督的学习策略对所述网络回归模型进行优化，包括以下实现流程：
为预测的顶点图中每一预测顶点生成对应的目标回归向量，以此作为预测顶点的标签数据，具体计算公式如下：
目标回归向量
Figure GDA0004132575610000091
其中：
Figure GDA0004132575610000092
Figure GDA0004132575610000093
其中，
Figure GDA0004132575610000101
和/>
Figure GDA0004132575610000102
分别是目标建筑物顶点的x,y坐标，Tx和Ty是预测的建筑物顶点的坐标，S表示预测顶点对应的局部块区域的边长，取28。
利用Fast R-CNN中的SmoothL1损失函数优化训练所述网络回归模型，其中，定义在预测回归向量R＝(Rx,Ry)和目标回归向量上的损失函数如下：
Figure GDA0004132575610000103
其中，k表示预测顶点的索引，R(k)和R*(k)分别表示第k个预测顶点的回归向量的预测值与真实值。
本发明实施例中，采用遥感影像建筑物特征提取模型的构建方法得到的优化后的特征提取网络对遥感影像进行预测，得到遥感影像中目标建筑物的顶点图和方向图的预测结果，然后还可以根据顶点图和方向图的预测结果生成与目标建筑物对应的矢量多边形，并基于所述矢量多边形提取所述遥感影像中目标建筑物实例。
为了构造多边形，应该提供顶点的位置和排列。利用顶点图和回归向量，可以确定建筑顶点的候选位置，对预测的约60个候选顶点在其3*3的邻域内进行非极大值抑制，最终得到6个候选顶点。任意可能的排列都能得到一个多边形，之后，将从所有候选多边形中选择与建筑边界最相似的，作为最终的建筑物多边形。
首先，根据所述候选顶点和预测的方向图构造有向图集合G：G＝(V,E)；
其中，V＝{vi}i＝1,…,，是6个候选顶点的集合，
Figure GDA0004132575610000104
是任意两个顶点之间的有向边集，vi为第i个预测顶点，vj为第j个预测顶点；
任意两个顶点之间的连接都是一条边，那么边的权重即衡量存在边的置信度。因此，得到G之后，计算G中任意两个顶点连接成的边对应的权重，具体如下：
Figure GDA0004132575610000111
其中，Pij是属于从vi到vj的线段上的像素；
最后，选取G中各个边对应的权重之和最大的多边形作为与目标建筑物对应的矢量多边形。
其中，选取G中各个边对应的权重之和最大的多边形，具体实现方式如下：将G中每条边按权重降序排列；构建新的有向图集合G′，其中G′存在至少由3个顶点组成的环路；选取G′中平均权重最大的多边形。
本发明实施例中，一个与建筑边界最相似的多边形，即构成该多边形的所有边的平均置信度最高。因此，选择最相似多边形的问题被重新定义为在图G中寻找一个具有最大权重的环。为此，本发明将G中每条边按权重降序排列，逐步重新构建一个新的G′，直到G′存在至少由3个顶点组成的环路。最后，在G′中平均权重最大的环就是最终预测的建筑多边形。
本发明通过生成一个由建筑物顶点组成的自适应多边形来表示建筑物实例，这种多边形输出自然遵循建筑物的几何形状。因此，可以提高建筑物覆盖率和几何相似性。
本发明通过对应的标签数据对预测建筑物顶点的位置和排列进行监督，使得图像特征的学习可以被直接优化，进一步提升模型的特征表示性能。
本发明通过调整每个预测顶点的位置，可以在顶点周围引入详细的结构来补偿由联合学习建筑物识别和边界定位引起的低级特征的损失。因此，可以进一步地提高建筑物多边形的预测精度。
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本邻域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本邻域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
图3示意性示出了本发明一个实施例的遥感影像建筑物特征提取模型构建装置的结构示意图。参照图3，本发明实施例的遥感影像建筑物特征提取模型构建装置具体包括提取网络构建单元201、损失函数构建单元202以及网络优化单元203，其中：
提取网络构建单元201，用于采用具有编码器/解码器结构的基于RESNET-18的U-NET网络构建特征提取网络，所述特征提取网络用于对遥感影像中目标建筑物的顶点图和方向图进行预测；
损失函数构建单元202，用于构建顶点图对应的第一损失函数以及方向图对应的第二损失函数；
网络优化单元203，用于基于所述第一损失函数和第二损失函数对特征提取网络进行有监督的学习训练，得到优化后的特征提取网络模型。
本发明实施例中，所述损失函数构建单元202，具体用于根据顶点图预测值中的预测顶点成为真实顶点的置信度构建顶点图对应的第一损失函数。
进一步地，所述损失函数构建单元202，具体还用于根据方向图预测值与方向图标签值之间的误差构建方向图对应的第二损失函数。
本发明实施例中，如图4所示，所述提取网络构建单元201，包括：编码器构建子单元2011和解码器构建子单元2012，其中：
编码器构建子单元2011，用于采用Resnet-18中的conv1～5blocks构建特征提取网络的编码器网络；
解码器构建子单元2012，用于根据编码器网络的对称网络结构构建特征提取网络的解码器网络。
本发明实施例中，所述装置还包括附图中未示出的回归模型构建单元、配置处理单元以及回归计算单元，其中：
回归模型构建单元，用于构建所述网络回归模型，利用所述网络回归模型对顶点图中的每一预测顶点进行回归计算，所述网络回归模型包括两个网络分支和一个卷积层，每一分支均由两个1024的完全连接层组成；
配置处理单元，用于根据预设大小分别从特征提取网络模型的编码器部分和解码器部分对每个预测顶点对应的局部块进行分别裁剪，将对应的两个裁剪区域分别作为网络回归模型的两个网络分支的输入；
回归计算单元，用于利用网络回归模型对通过两个网络分支生成的两个具有1024通道的向量进行求和，得到融合向量，并通过网络回归模型卷积层对融合向量进行处理得到预测顶点对应的预测回归向量R＝(Rx,Ry)。
本发明实施例中，所述装置还包括附图中未示出的生成单元和回归模型优化单元，其中：
生成单元，用于在构建所述网络回归模型之后，根据目标建筑物顶点的坐标值、预测的建筑物顶点的坐标值以及预测顶点对应的局部块区域的边长为预测的顶点图中每一预测顶点生成对应的目标回归向量，具体计算公式如下：
目标回归向量
Figure GDA0004132575610000131
其中：
Figure GDA0004132575610000132
Figure GDA0004132575610000133
其中，
Figure GDA0004132575610000134
和/>
Figure GDA0004132575610000135
分别是目标建筑物顶点的x,y坐标，Tx和Ty是预测的建筑物顶点的坐标，S表示预测顶点对应的局部块区域的边长；
回归模型优化单元，用于根据预测回归向量和目标回归向量利用Fast R-CNN中的SmoothL1损失函数优化训练所述网络回归模型。
其中，定义在预测回归向量R＝(Rx,Ry)和目标回归向量上的损失函数如下：
Figure GDA0004132575610000136
其中，k表示预测顶点的索引，R(k)和R*(k)分别表示第k个预测顶点的回归向量的预测值与真实值。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
本发明实施例提供的遥感影像建筑物特征提取模型的构建方法，能够准确地提取出建筑物的顶点图和方向图特征，并基于顶点图和方向图组成的自适应多边形来表示建筑物实例，提高建筑物覆盖率和几何相似性，进一步地提高遥感影像建筑物提取精度。
此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法的步骤。
本实施例中，所述遥感影像建筑物特征提取模型的构建装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本发明实施例提供的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各个遥感影像建筑物特征提取模型的构建方法实施例中的步骤，例如图1所示的S11～S13。或者，所述处理器执行所述计算机程序时实现上述各遥感影像建筑物特征提取模型的构建装置实施例中各模块/单元的功能，例如图3所示的提取网络构建单元201、损失函数构建单元202以及网络优化单元203。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述遥感影像建筑物特征提取模型的构建装置中的执行过程。例如，所述计算机程序可以被分割成提取网络构建单元201、损失函数构建单元202以及网络优化单元203。
所述电子设备可以是移动型计算机、笔记本、掌上电脑及手机等设备。所述电子设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，本实施例中的电子设备可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述电子设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

1.一种遥感影像建筑物特征提取模型构建方法，其特征在于，所述方法包括：
采用具有编码器/解码器结构的基于RESNET-18的U-NET网络构建特征提取网络，所述特征提取网络用于对遥感影像中目标建筑物的顶点图和方向图进行预测；
构建顶点图对应的第一损失函数以及方向图对应的第二损失函数；
基于所述第一损失函数和第二损失函数对特征提取网络进行有监督的学习训练，得到优化后的特征提取网络模型。
2.根据权利要求1所述的方法，其特征在于，所述构建顶点图对应的第一损失函数，包括：
根据顶点图预测值中的预测顶点成为真实顶点的置信度构建顶点图对应的第一损失函数。
3.根据权利要求1所述的方法，其特征在于，构建方向图对应的第二损失函数，包括：
根据方向图预测值与方向图标签值之间的误差构建方向图对应的第二损失函数。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述采用具有编码器/解码器结构的基于Resnet-18的U-NET网络构建特征提取网络，包括：
采用Resnet-18中的conv1～5blocks构建特征提取网络的编码器网络；
根据编码器网络的对称网络结构构建特征提取网络的解码器网络。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
构建网络回归模型，利用所述网络回归模型对顶点图中的每一预测顶点进行回归计算，所述网络回归模型包括两个网络分支和一个卷积层，每一分支均由两个1024的完全连接层组成；
根据预设大小分别从特征提取网络模型的编码器部分和解码器部分对每个预测顶点对应的局部块进行分别裁剪，将对应的两个裁剪区域分别作为网络回归模型的两个网络分支的输入；
利用网络回归模型对通过两个网络分支生成的两个具有1024通道的向量进行求和，得到融合向量，并通过网络回归模型卷积层对融合向量进行处理得到预测顶点对应的预测回归向量。
6.根据权利要求5所述的方法，其特征在于，所述构建网络回归模型之后，所述方法还包括：
根据目标建筑物顶点的坐标值、预测的建筑物顶点的坐标值以及预测顶点对应的局部块区域的边长为预测的顶点图中每一预测顶点生成对应的目标回归向量；
根据预测回归向量和目标回归向量利用Fast R-CNN中的SmoothL1损失函数优化训练所述网络回归模型。
7.一种遥感影像建筑物特征提取模型构建装置，其特征在于，所述装置包括：
提取网络构建单元，用于采用具有编码器/解码器结构的基于RESNET-18的U-NET网络构建特征提取网络，所述特征提取网络用于对遥感影像中目标建筑物的顶点图和方向图进行预测；
损失函数构建单元，用于构建顶点图对应的第一损失函数以及方向图对应的第二损失函数；
网络优化单元，用于基于所述第一损失函数和第二损失函数对特征提取网络进行有监督的学习训练，得到优化后的特征提取网络模型。
8.根据权利要求7所述的装置，其特征在于，所述损失函数构建单元，具体用于根据顶点图预测值中的预测顶点成为真实顶点的置信度构建顶点图对应的第一损失函数；
所述损失函数构建单元，具体还用于根据方向图预测值与方向图标签值之间的误差构建方向图对应的第二损失函数。
9.根据权利要求7或8所述的装置，其特征在于，所述提取网络构建单元，包括：
编码器构建子单元，用于采用Resnet-18中的conv1～5blocks构建特征提取网络的编码器网络；
解码器构建子单元，用于根据编码器网络的对称网络结构构建特征提取网络的解码器网络。
10.根据权利要求7所述的装置，其特征在于，所述装置还包括：
回归模型构建单元，用于构建网络回归模型，利用所述网络回归模型对顶点图中的每一预测顶点进行回归计算，所述网络回归模型包括两个网络分支和一个卷积层，每一分支均由两个1024的完全连接层组成；
配置处理单元，用于根据预设大小分别从特征提取网络模型的编码器部分和解码器部分对每个预测顶点对应的局部块进行分别裁剪，将对应的两个裁剪区域分别作为网络回归模型的两个网络分支的输入；
回归计算单元，用于利用网络回归模型对通过两个网络分支生成的两个具有1024通道的向量进行求和，得到融合向量，并通过网络回归模型卷积层对融合向量进行处理得到预测顶点对应的预测回归向量。
11.根据权利要求10所述的装置，其特征在于，所述装置还包括：
生成单元，用于在构建所述网络回归模型之后，根据目标建筑物顶点的坐标值、预测的建筑物顶点的坐标值以及预测顶点对应的局部块区域的边长为预测的顶点图中每一预测顶点生成对应的目标回归向量；
回归模型优化单元，用于根据预测回归向量和目标回归向量利用Fast R-CNN中的SmoothL1损失函数优化训练所述网络回归模型。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一项所述方法的步骤。
13.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述方法的步骤。
CN202010517563.3A 2020-06-09 2020-06-09 遥感影像建筑物特征提取模型构建方法、装置及存储介质 Active CN111652251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010517563.3A CN111652251B (zh) 2020-06-09 2020-06-09 遥感影像建筑物特征提取模型构建方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010517563.3A CN111652251B (zh) 2020-06-09 2020-06-09 遥感影像建筑物特征提取模型构建方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111652251A CN111652251A (zh) 2020-09-11
CN111652251B true CN111652251B (zh) 2023-06-27

Family

ID=72347281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010517563.3A Active CN111652251B (zh) 2020-06-09 2020-06-09 遥感影像建筑物特征提取模型构建方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111652251B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780736A (zh) * 2017-01-09 2017-05-31 网易（杭州）网络有限公司 地图数据处理方法及装置、三维地图生成方法及装置
CN109002841A (zh) * 2018-06-27 2018-12-14 淮阴工学院 一种基于Faster-RCNN模型的建筑构件提取方法
CN109446992A (zh) * 2018-10-30 2019-03-08 苏州中科天启遥感科技有限公司 基于深度学习的遥感影像建筑物提取方法及系统、存储介质、电子设备
CN109697441A (zh) * 2017-10-23 2019-04-30 杭州海康威视数字技术股份有限公司 一种目标检测方法、装置及计算机设备
CN109903304A (zh) * 2019-02-25 2019-06-18 武汉大学 一种基于卷积神经元网络和多边形规则化的建筑物轮廓自动提取算法
CN110197147A (zh) * 2019-05-23 2019-09-03 星际空间（天津）科技发展有限公司 遥感影像的建筑物实例提取方法、装置、存储介质及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780736A (zh) * 2017-01-09 2017-05-31 网易（杭州）网络有限公司 地图数据处理方法及装置、三维地图生成方法及装置
CN109697441A (zh) * 2017-10-23 2019-04-30 杭州海康威视数字技术股份有限公司 一种目标检测方法、装置及计算机设备
CN109002841A (zh) * 2018-06-27 2018-12-14 淮阴工学院 一种基于Faster-RCNN模型的建筑构件提取方法
CN109446992A (zh) * 2018-10-30 2019-03-08 苏州中科天启遥感科技有限公司 基于深度学习的遥感影像建筑物提取方法及系统、存储介质、电子设备
CN109903304A (zh) * 2019-02-25 2019-06-18 武汉大学 一种基于卷积神经元网络和多边形规则化的建筑物轮廓自动提取算法
CN110197147A (zh) * 2019-05-23 2019-09-03 星际空间（天津）科技发展有限公司 遥感影像的建筑物实例提取方法、装置、存储介质及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Leonid Ivanovsky et.al.."Building Detection on Aerial Images Using U-NET Neural Networks".《THE 24TH CONFERENCE OF FRUCT ASSOCIATION》.2019,全文. *

Also Published As

Publication number Publication date
CN111652251A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN111652250B (zh) 基于多边形的遥感影像建筑物提取方法、装置及存储介质
Wu et al. Object detection based on RGC mask R‐CNN
CN110020620B (zh) 一种大姿态下的人脸识别方法、装置及设备
WO2022213879A1 (zh) 目标对象检测方法、装置、计算机设备和存储介质
CN109117831B (zh) 物体检测网络的训练方法和装置
Yi et al. ASSD: Attentive single shot multibox detector
CN106204522B (zh) 对单个图像的联合深度估计和语义标注
CN108256479B (zh) 人脸跟踪方法和装置
US9349076B1 (en) Template-based target object detection in an image
CN103026385A (zh) 使用模板切换和特征适配提供对象跟踪的方法、装置和计算机程序产品
CN111125283B (zh) 电子地图构建方法、装置、计算机设备和存储介质
CN110163205A (zh) 图像处理方法、装置、介质和计算设备
CN111311485A (zh) 图像处理方法及相关装置
CN112336342A (zh) 手部关键点检测方法、装置及终端设备
CN112070037B (zh) 基于遥感影像的道路提取方法、装置、介质及设备
CN109829431B (zh) 用于生成信息的方法和装置
CN110019952B (zh) 视频描述方法、系统及装置
CN112364916B (zh) 基于迁移学习的图像分类方法、相关设备及存储介质
CN110728359B (zh) 搜索模型结构的方法、装置、设备和存储介质
CN111312224B (zh) 语音分割模型的训练方法、装置和电子设备
CN110717405B (zh) 人脸特征点定位方法、装置、介质及电子设备
CN111652251B (zh) 遥感影像建筑物特征提取模型构建方法、装置及存储介质
CN113139617B (zh) 一种输电线路自主定位方法、装置及终端设备
CN113450764B (zh) 文本语音识别方法、装置、设备及存储介质
CN113723515B (zh) 基于图像识别的摩尔纹识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant