CN111652892A - 一种基于深度学习的遥感影像建筑物矢量提取及优化方法 - Google Patents
一种基于深度学习的遥感影像建筑物矢量提取及优化方法 Download PDFInfo
- Publication number
- CN111652892A CN111652892A CN202010369473.4A CN202010369473A CN111652892A CN 111652892 A CN111652892 A CN 111652892A CN 202010369473 A CN202010369473 A CN 202010369473A CN 111652892 A CN111652892 A CN 111652892A
- Authority
- CN
- China
- Prior art keywords
- building
- contour
- node
- outline
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000013598 vector Substances 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000005457 optimization Methods 0.000 title claims abstract description 34
- 238000000605 extraction Methods 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000003709 image segmentation Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims abstract description 8
- 230000011218 segmentation Effects 0.000 claims description 44
- 238000005070 sampling Methods 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 5
- 230000001502 supplementing effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 5
- 238000013527 convolutional neural network Methods 0.000 abstract description 3
- 238000013507 mapping Methods 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的遥感影像建筑物矢量提取及优化方法，包括采用全卷积形式的图像分割模型从遥感影像生成建筑物目标概率图，经由二值化、聚类和边缘轮廓跟踪处理生成建筑物初始矢量轮廓；还包括改变卷积核尺寸和应用递归填充方法对PointNet模型改进，进行建筑物轮廓几何形状优化；还包括提供一种新的损失函数进行PointNet模型训练，可对节点个数相差较大的两个多边形进行相似度估计。本发明利用卷积神经网络对遥感影像中建筑物矢量的形状先验知识进行特征学习，实现了数据驱动的建筑物矢量形状优化，提高了建筑物矢量的几何精度和简化效果，提升了遥感影像建筑物自动测图结果的质量和应用价值。
Description
技术领域
本发明属于测量与地图学领域，具体涉及一种基于深度学习的遥感影像建筑物矢量提取方法、及优化方法。
背景技术
高时效、高精度的矢量地图不仅在城市规划、变化检测和灾害管理等应用中发挥重要作用，同时也是众多基于位置的商业服务的重要基础数据产品之一。高分辨率遥感影像是高精度矢量地图生产的主要数据源之一，而在矢量地图生产过程中，建筑物是地理数据库中最容易增加和发生变化的因素，也是最需要更新的部分。由于建筑物对于城市建设、GIS系统更新、数字化城市以及军事侦察等方面的重要性，快速提取的建筑物信息技术和进行建筑物变化的检测有着良好的应用前景。
然而，建筑物目标由于分布广泛且体量庞大，其识别和标注往往成为一项过程繁琐而又成本高昂的工作。目前以卷积神经网络和全卷积网络为代表的深度学习技术已经大幅度提高了遥感影像建筑物自动检测的精度，但是一方面由于现有建筑物检测方法在某些场景中的有限识别能力和有限的迁移应用能力，另一方面即使对于大部分成功识别的建筑物，其轮廓边缘处仍可能无法避免发生微小的漏检和错检，在这种情况下应用多边形简化算法对建筑物轮廓进行处理，很容易导致生成不精确和不规则的矢量结果。
另外，在将深度学习方法的应用于遥感影像建筑物分割时，虽然能够很好地受益于数据驱动的特征学习，但相比之下，建筑物轮廓优化技术，尤其是以生成高质量矢量结果为目标的相关技术，仍普遍依赖于手工设计特征和人工干预，其中以直线、角点等低级图像特征和一系列人为定义的规则集的应用为典型。由于这些依赖人工设计的建筑物矢量轮廓优化方法忽视了从大量训练样本中学习建筑物形状先验知识的机会，近几年，在建筑物轮廓提取或优化过程嵌入至一个深度学习框架成为一种新趋势。
目前现有的方法有的选择直接将影像中建筑物的边缘像素作为卷积神经网络的训练真值和预测目标；有的选择则通过显式地将轮廓边缘作为监督信息，将建筑物分割和轮廓提取编码为多任务学习框架以同时提升二者性能；然而这些方法仍停留在将轮廓生成问题置于像素分类框架中解决，而未能将其看作为一个形状优化问题进行处理，因此上述现有的方法往往难以得到规则的建筑物轮廓结果。
发明内容
本发明要解决的技术问题在于，针对现有技术难以得到规则的建筑物轮廓结果以及很容易导致生成不精确和不规则的矢量结果的缺陷，提供一种基于深度学习的遥感影像建筑物矢量提取方法，在基于遥感影像进行建筑物轮廓提取时，包括：建筑物分割步骤和建筑物矢量提取步骤，其中：
建筑物分割步骤包括：
将高分遥感影像输入到预训练好的图像分割模型，进行建筑物目标概率图提取，并经由二值化处理得到建筑物分割二值化图像；
建筑物矢量提取步骤包括：
对所得的建筑物分割二值化图像进行聚类和边缘轮廓跟踪处理，生成建筑物初始矢量轮廓。
本发明提供的一种基于深度学习的遥感影像建筑物矢量提取方法，其相对于现有技术的改进点，采用聚类和边缘轮廓跟踪方法对建筑物分割二值化图像进行处理，进一步保证了建筑物初始矢量轮廓的完整性。
本发明提供的一种基于深度学习的遥感影像建筑物矢量优化方法，采用上述的遥感影像建筑物矢量提取方法，进行遥感影像建筑物矢量优化处理，其中，在对矢量轮廓进行形状优化处理时，包括以下步骤：
对跟踪得到的建筑物初始矢量轮廓进行均匀采样，得到建筑物轮廓的节点像素坐标；其中，使用Douglas-Peucker算法对所述建筑物初始矢量轮廓进行多边形简化处理，并判断简化后多边形每条边的长度是否大于指定阈值，针对长度超过指定阈值的边，通过补充采样轮廓节点的方式对所述超过指定阈值的边进行加密；
基于均匀采样后的建筑物轮廓的节点像素坐标，对图像分割模型中的特征图层进行池化处理，获取每个建筑物轮廓节点所对应的图像特征向量；
将建筑物轮廓各个节点的二维像素坐标及节点所对应的图像特征向量进行级联，将所得的各个轮廓节点的级联特征输入到PointNet模型中进行特征编码，其中，将PointNet模型输出的各个轮廓节点的坐标修正值与所述基于均匀采样后的建筑物轮廓的节点像素坐标相加，得到精化后的轮廓节点坐标；
采用Douglas-Peucker算法对所述精化后的轮廓节点坐标进行简化，得到最终的建筑物矢量优化结果。
本发明提供的一种基于深度学习的遥感影像建筑物矢量优化方法，其相对于现有技术的改进点为：一方面为：在对跟踪得到的建筑物初始矢量轮廓进行均匀采样时，提出了一种先简化后加密的轮廓节点采样方法，进一步生成几何信号保存完好的均匀采样轮廓，所述均匀采样轮廓用于形状先验知识学习。另一方面将全卷积形式的建筑物分割模型和用于形状优化的改进PointNet模型进行整合，实现了整体端对端的训练。
本发明解决其技术问题所采用的技术方案是：构造一种基于深度学习的遥感影像建筑物矢量提取及优化方法，能够提高遥感影像自动生成的建筑物矢量的几何精度和简化效果，有益于提升遥感影像建筑物自动测图结果的质量和应用价值。
实施本发明的一种基于深度学习的遥感影像建筑物矢量提取及优化方法，具有以下有益效果：
1、本发明提供的一种深度学习模型框架，将全卷积形式的建筑物分割模型和用于形状优化的改进PointNet模型进行整合，实现了整体端对端的训练；
2、本发明提供的一种“先简化后加密”的轮廓节点采样方法，可生成几何信号保存完好的均匀采样轮廓用于形状先验知识学习；
3、本发明提供的一种改变卷积核尺寸和应用递归填充方法的PointNet模型的改进措施，能够更好地提取轮廓的局部和全局几何特征用于建筑物形状优化；
4、本发明提供的用于改进PointNet模型训练的损失函数，能够对节点个数相差较大的两个多边形进行有效的相似度估计。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为实施例1-2公开的形状建模深度学习框架结构图；
图2是实施例3公开的对现有PointNet模型改进后的模型结构示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
实施例1：
请参考图1，其为本实施例1提供的结合全卷积形式的建筑物分割模型和改进PointNet模型，用于遥感影像建筑物矢量生成的形状建模深度学习框架的结构和流程示意图。针对一种基于深度学习的遥感影像建筑物矢量提取方法，在基于遥感影像进行建筑物轮廓提取时，包括：建筑物分割步骤和建筑物矢量提取步骤，其中：
a1、建筑物分割步骤包括：
将高分遥感影像输入到预训练好的图像分割模型，进行建筑物目标概率图提取，并经由二值化处理，得到建筑物分割二值化图像；具体的，在实际处理的时候：
1)上述的所述图像分割模型可采用PSPNet模型、特征金字塔等在内的主流卷积网络作为骨架结构；其中，PSPNet模型是在FCN模型上的改进，通过引入更多的上下文信息，当分割层有更多全局信息时，降低误分割的概率，这种思想目前在许多图像领域都有所应用。
2)所述图像分割模型的末端采用全卷积方式，针对所得的特征图直接生成建筑物目标分割概率图；
3)在模型训练方面，所述图像分割模型训练可基于计算分割概率图与真值标签图像之间的交叉熵损失完成。
以上便是，在建筑物分割步骤中，针对图像分割模型，在实际处理的时候，模型可选用的类型，模型的卷积方式以及模型的训练方式。
为了进一步对上述步骤进行详细说明，所述经由二值化处理，得到建筑物分割二值化图像的具体过程为：
取0.5作为建筑物目标概率图的二值化阈值，在进行二值化处理后得到建筑物分割二值化图像；其中，图像二值化就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程。在数字图像处理中，对图像的二值化处理，可以使得图像中数据量大为减少，从而能凸显出目标的轮廓。
a2、建筑物矢量提取步骤包括：
对所得的建筑物分割二值化图像进行聚类和边缘轮廓跟踪处理，生成建筑物初始矢量轮廓，具体的，在实际处理的时候：
首先，在聚类的过程中，通过区域生长方法将所述建筑物分割二值化图像中具有相似性质的像素点合并到一起，得到聚类后的建筑物分割二值化图像，其中，针对所述聚类后的建筑物分割二值化图像还包括应用数学形态学方法，进一步去除图像中的分类噪声和小型非建筑结构；由于，数学形态学方法利用一个称作结构元素的“探针”收集图像的信息，当探针在图像中不断移动时，便可考察图像各个部分之间的相互关系，从而了解图像的结构特征；该方法是由一组形态学的代数运算子组成的，它的基本运算有4个：膨胀(或扩张)、腐蚀(或侵蚀)、开启和闭合，基于这些基本运算可以进行图像形状和结构的分析及处理，包括图像分割、特征抽取、边缘检测、图像滤波、图像增强和恢复等。因此，当前实施例下，基于用数学形态学方法对聚类后的建筑物分割二值化图像进行分析及处理，并从图像中去除噪声以及无用的信息。
其次，在边缘轮廓跟踪处理中，针对所述聚类后的建筑物分割二值化图像，采用摩尔邻域边界追踪算法生成建筑物初始矢量轮廓。
以上便是本实施例1提供的一种基于深度学习的遥感影像建筑物矢量提取方法实施过程，总的来说，在进行建筑物矢量提取的时候，本实施例1采用聚类和边缘轮廓跟踪方法，对建筑物分割二值化图像进行处理，进一步保证了建筑物初始矢量轮廓的完整性。
实施例2：
请参考图1，基于形状建模深度学习框架结构图，在利用实施例1提供的一种基于深度学习的遥感影像建筑物矢量提取方法，进行遥感影像建筑物矢量优化处理时，具体包括以下步骤：
首先，对跟踪得到的建筑物初始矢量轮廓进行均匀采样，得到建筑物轮廓的节点像素坐标；其中，使用Douglas-Peucker算法对所述建筑物初始矢量轮廓进行多边形简化处理，并判断简化后多边形每条边的长度是否大于指定阈值，针对长度超过指定阈值的边，通过补充采样轮廓节点的方式对该边进行加密；
当前步骤下，所述指定阈值设置为10像素，判断简化后多边形每条边的长度是否大于10像素，针对长度超过10像素的边，通过补充采样轮廓节点的方式对该边进行加密，所述加密方式具体为将超过10像素的边做进一步等分处理，使得等分后的每一段边均小于10像素，直至多边形的每条边的长度均满足指定阈值要求；综上所述，本实施例2通过上述的“先简化后加密”的策略，进一步生成几何信号保存完好的均匀采样轮廓。
其次，基于均匀采样后的建筑物轮廓的节点像素坐标，对图像分割模型中的特征图层进行池化处理，获取每个建筑物轮廓节点所对应的图像特征向量；
当前步骤下，选用图像分割模型在进入建筑物矢量提取之前所生成的最后一层特征图进行池化操作；该层特征图分辨率为输入图像的1/2，因此，需要将建筑物轮廓的节点坐标按该层特征图分辨率进行等比例缩小，然后将特征图中缩小节点坐标对应位置的特征向量取出以实现特征池化。
其次，将建筑物轮廓各个节点的二维像素坐标及节点所对应的图像特征向量进行级联，将所得的各个轮廓节点的级联特征输入到PointNet模型中进行特征编码，在将全局特征与每个节点的局部特征进行级联后，这些局部与全局的融合特征经过卷积操作，从而生成最终的点特征，然而，这些点特征将被用于对每个轮廓节点的坐标修正值进行预测，其中，将PointNet模型输出的各个轮廓节点的坐标修正值与所述基于均匀采样后的建筑物轮廓的节点像素坐标相加，得到精化后的轮廓节点坐标；例如，PointNet模型将为每个轮廓节点输出一个二维向量，分别表示节点左边在x和y方向上的坐标修正值，将修正值与输入坐标值相加可得到精化后的轮廓节点坐标，考虑到该坐标为原始图像1/2分辨率下算得，因此需要将其等比例放大至图像原始分辨率以生成最终精化轮廓结果。
最后，采用Douglas-Peucker算法对所述精化后的轮廓节点坐标进行简化，得到最终的建筑物矢量提取结果。其中，应用Douglas-Peucker算法采用的距离阈值设置为1像素，以尽可能保留最终生成建筑物矢量轮廓中的几何细节。
本实施例2提供的一种基于深度学习的遥感影像建筑物矢量优化方法，一方面将全卷积形式的建筑物分割模型和用于形状优化的PointNet模型进行整合，实现了整体端对端的训练，从而更好地提取轮廓的局部和全局几何特征，提高建筑物形状优化效率；另一方面，在对跟踪得到的建筑物初始矢量轮廓进行均匀采样的时候，本实施例2提供了一种“先简化后加密”的轮廓节点采样方法，可生成几何信号保存完好的均匀采样轮廓用于形状先验知识学习。
实施例3：
请参考图2，其为本实施例2对现有PointNet模型改进后的模型结构示意图，本实施例提供的一种基于深度学习的遥感影像建筑物矢量优化方法，采用如实施例1-2所述的遥感影像建筑物矢量提取、优化方法，在进行遥感影像建筑物矢量优化处理时，还包括对PointNet模型的改进，具体包括：
b1、将PointNet模型中应用的卷积核尺寸由原先的1×1更改为n×1，以实现对轮廓节点邻域局部几何信号的特征学习，其中，n＞1对应于卷积操作所作用的轮廓节点的邻域范围；本实施例下，n可取到的值为3、5或7，以卷积核尺寸为3×1为例，如图2所示，输入的级联特征首先经过两层3×1卷积操作以生成每个节点的局部特征并构成张量[f1，f2，…，fn]，后续几个卷积层则逐步提高特征维度，并通过最大值池化操作生成全局特征G，再将该全局特征与每个节点的局部特征进行级联后，这些局部与全局的融合特征将经历三层卷积操作以生成最终的点特征，而这些点特征将被用于对每个轮廓节点的坐标修正值进行预测。
b2、将PointNet模型中的常规卷积操作，由在输入数据边缘处采用的零值填充方法改进为递归填充方法，即将输入轮廓节点序列考虑为一个封闭的环，在对序列的首、尾节点进行卷积操作时，首、尾节点相对一端节点的数据被用于填充，确保每个节点的邻域几何信息均被用于形状先验信息的学习，且，使得模型训练结果对轮廓节点输入顺序保持不变性。
另外，在改进PointNet模型时，本实施例采用损失函数Loss来对PointNet模型进行训练；该损失函数Loss可适应模型输出的建筑物精化轮廓的节点个数明显多于矢量真值轮廓的情形，来对精化轮廓与真值轮廓的多边形相似度进行有效估计；另外该损失函数Loss通过额外增加采样点的方式，将精化轮廓与真值轮廓节点个数调整为一致，即首先为真值轮廓中的每一个节点在精化轮廓节点中找到一个距其最近的点进行配对，构成配对点集S1，然后将精化轮廓中尚未完成配对的节点至真值轮廓最近的边的垂足采样为其配对点，构成补充配对点集S2，在完成精化轮廓和真值轮廓节点的一一配对关系之后，进一步确定二者边与边的配对集合SL。所述损失函数Loss的表达式为：
Loss＝Lpoint+Lline；
式中，Lpoint表示精化轮廓节点和真值轮廓节点位置偏差造成的损失，Lline表示精化轮廓和真值轮廓边与边的角度偏差造成的损失；N为精化轮廓的节点总个数，
为从配对点集合S1中遍历出的配对点，
为从补充配对点集合S2中遍历出的配对点，
为从边与边的配对集合SL中遍历出的配对边；||*||2表示欧几里得范数；其中：基于真值轮廓、精化轮廓中的每一个节点之间的距离，以及精化轮廓和真值轮廓边与边的比较结果，完成配对点集合S1、S2，以及边与边的配对集合SL的构建。
在实施实施例1-3时，本领域技术人员可采用计算机软件技术实现以上处理步骤的自动运行。
基于实施例1-3，本发明提供的形状建模深度学习框架整合了一个全卷积形式的建筑物分割模型和一个用于形状优化的改进PointNet模型，该学习框架可实现整体端对端训练；本发明提供的“先简化后加密”的轮廓节点采样方法，可生成几何信号保存完好的均匀采样轮廓用于形状先验知识学习；本发明提供的改变卷积核尺寸和应用递归填充方法的PointNet模型改进措施，能够更好地提取轮廓的局部和全局几何特征用于建筑物形状优化；本发明提供的用于改进PointNet模型训练的损失函数，能够对节点个数相差较大的两个多边形进行有效的相似度估计。整体上，本发明所提供的深度学习框架能够提高遥感影像自动生成的建筑物矢量的几何精度和简化效果，有益于提升遥感影像建筑物自动测图结果的质量和应用价值。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (9)
1.一种基于深度学习的遥感影像建筑物矢量提取方法，其特征在于，在基于遥感影像进行建筑物轮廓提取时，包括：建筑物分割步骤和建筑物矢量提取步骤，其中：
建筑物分割步骤包括：
将高分遥感影像输入到预训练好的图像分割模型，进行建筑物目标概率图提取，并经由二值化处理得到建筑物分割二值化图像；
建筑物矢量提取步骤包括：
对所得的建筑物分割二值化图像进行聚类和边缘轮廓跟踪处理，生成建筑物初始矢量轮廓。
2.根据权利要求1所述的遥感影像建筑物矢量提取方法，其特征在于，建筑物分割步骤中，所述图像分割模型包括PSPNet模型和特征金字塔模型；
所述图像分割模型的输出端采用全卷积方式，基于所得的特征图生成建筑物目标分割概率图；
基于目标分割概率图与真值标签图像之间的交叉熵损失进行图像分割模型的训练。
3.根据权利要求2所述的遥感影像建筑物矢量提取方法，其特征在于，建筑物分割步骤中，所述经由二值化处理得到建筑物分割二值化图像，具体为：
取0.5作为建筑物目标概率图的二值化阈值，在进行二值化处理后，得到建筑物分割二值化图像。
4.根据权利要求3所述的遥感影像建筑物矢量提取方法，其特征在于，建筑物矢量提取步骤中，所述对所得的建筑物分割二值化图像进行聚类和边缘轮廓跟踪处理，具体为：
聚类处理，即通过区域生长方法将建筑物分割二值化图像中具有相同性质的像素点合并到一起，得到聚类后的建筑物分割二值化图像，其中，针对所述聚类后的建筑物分割二值化图像的处理还包括应用数学形态学方法，进一步去除图像中的分类噪声和小型非建筑结构；
边缘轮廓跟踪处理，即针对所述聚类后的建筑物分割二值化图像，采用摩尔邻域边界追踪算法生成建筑物初始矢量轮廓。
5.一种基于深度学习的遥感影像建筑物矢量优化方法，采用如权利要求1-4所述的任一遥感影像建筑物矢量提取方法，进行遥感影像建筑物矢量优化处理，其特征在于，在对矢量轮廓进行形状优化处理时，包括以下步骤：
对跟踪得到的建筑物初始矢量轮廓进行均匀采样，得到建筑物轮廓的节点像素坐标；其中，使用Douglas-Peucker算法对所述建筑物初始矢量轮廓进行多边形简化处理，并判断简化后多边形每条边的长度是否大于指定阈值，针对长度超过指定阈值的边，通过补充采样轮廓节点的方式对所述超过指定阈值的边进行加密；
基于均匀采样后的建筑物轮廓的节点像素坐标，对图像分割模型中的特征图层进行池化处理，获取每个建筑物轮廓节点所对应的图像特征向量；
将建筑物轮廓各个节点的二维像素坐标及节点所对应的图像特征向量进行级联，将所得的各个轮廓节点的级联特征输入到PointNet模型中进行特征编码，其中，将PointNet模型输出的各个轮廓节点的坐标修正值与所述基于均匀采样后的建筑物轮廓的节点像素坐标相加，得到精化后的轮廓节点坐标；
采用Douglas-Peucker算法对所述精化后的轮廓节点坐标进行简化，得到最终的建筑物矢量优化结果。
6.根据权利要求5所述的遥感影像建筑物矢量优化方法，其特征在于，为保留最终生成建筑物矢量轮廓中的几何细节，在采用Douglas-Peucker算法对所述精化后的轮廓节点坐标进行简化时，Douglas-Peucker算法的距离阈值设置为1像素；在进行均匀采样判断简化后多边形每条边的长度是否大于指定阈值时，所述指定阈值设置为10像素。
7.根据权利要求5所述的遥感影像建筑物矢量优化方法，其特征在于，在对矢量轮廓进行形状优化处理时，还包括对PointNet模型的改进，具体包括：
将PointNet模型中应用的卷积核尺寸由原先的1×1更改为n×1，以实现对轮廓节点邻域局部几何信号的特征学习，其中，n>1对应于卷积操作所作用的轮廓节点的邻域范围；
针对PointNet模型中的常规卷积操作，由在输入数据边缘处采用的零值填充方法改进为递归填充方法，即将输入轮廓节点序列考虑为一个封闭的环，在对序列的首、尾节点进行卷积操作时，首、尾节点相对一端节点的数据被用于填充，确保每个节点的邻域几何信息均被用于形状先验信息的学习，且，使得模型训练结果对轮廓节点输入顺序保持不变性。
8.根据权利要求7所述的遥感影像建筑物矢量优化方法，其特征在于，在改进PointNet模型时，采用损失函数Loss来对PointNet模型进行训练；所述损失函数Loss的表达式为：
Loss＝Lpoint+Lline；
式中，Lpoint表示精化轮廓节点和真值轮廓节点位置偏差造成的损失，Lline表示精化轮廓和真值轮廓边与边的角度偏差造成的损失；N为精化轮廓的节点总个数，
为从第一配对点集合S1中遍历出的配对点，
为从第二配对点集合S2中遍历出的配对点，
为从边与边的配对集合SL中遍历出的配对边；‖*‖2表示欧几里得范数；其中：
基于真值轮廓、精化轮廓中的每一个节点之间的距离，以及精化轮廓和真值轮廓边与边的比较结果，完成第一、二配对点集合S1、S2，以及边与边的配对集合SL的构建。
9.根据权利要求8所述的遥感影像建筑物矢量优化方法，其特征在于，第一配对点集合S1的构成方式为：为真值轮廓中的每一个节点在精化轮廓节点中找到一个距其最近的点进行配对，构成配对点集S1；
第二配对点集合S2的构成方式为：在构建好第一配对点集合S1的情况下，针对精化轮廓中尚未完成配对的节点，在进行节点匹配的时候，将每个节点到距离真值轮廓最近的边的垂足进行采样，构成第二配对点集合S2；
边与边的配对集合SL的构成方式为：在完成精化轮廓和真值轮廓节点的一一配对关系之后，进一步确定精化轮廓和真值轮廓边与边的配对集合SL。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010369473.4A CN111652892A (zh) | 2020-05-02 | 2020-05-02 | 一种基于深度学习的遥感影像建筑物矢量提取及优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010369473.4A CN111652892A (zh) | 2020-05-02 | 2020-05-02 | 一种基于深度学习的遥感影像建筑物矢量提取及优化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111652892A true CN111652892A (zh) | 2020-09-11 |
Family
ID=72346639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010369473.4A Pending CN111652892A (zh) | 2020-05-02 | 2020-05-02 | 一种基于深度学习的遥感影像建筑物矢量提取及优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111652892A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132006A (zh) * | 2020-09-21 | 2020-12-25 | 西南交通大学 | 一种面向耕地保护的林地和建筑物智能提取方法 |
| CN112598692A (zh) * | 2020-12-21 | 2021-04-02 | 陕西土豆数据科技有限公司 | 基于标记像素矩阵的遥感影像分割后处理算法 |
| CN112651896A (zh) * | 2020-12-30 | 2021-04-13 | 成都星时代宇航科技有限公司 | 有效矢量范围确定方法、装置、电子设备及可读存储介质 |
| CN113139453A (zh) * | 2021-04-19 | 2021-07-20 | 中国地质大学（武汉） | 一种基于深度学习的正射影像高层建筑基底矢量提取方法 |
| CN113326759A (zh) * | 2021-05-26 | 2021-08-31 | 中国地质大学（武汉） | 一种遥感影像建筑物识别模型的不确定性估计方法 |
| CN113378731A (zh) * | 2021-06-17 | 2021-09-10 | 武汉大学 | 基于卷积神经网络及边缘能量约束优化的绿地水系矢量提取方法 |
| CN113744144A (zh) * | 2021-08-20 | 2021-12-03 | 长江大学 | 遥感影像建筑物边界优化方法、系统、设备及存储介质 |
| CN113920147A (zh) * | 2021-12-14 | 2022-01-11 | 星际空间（天津）科技发展有限公司 | 基于深度学习的遥感影像建筑物提取方法及设备 |
| CN114511586A (zh) * | 2022-04-20 | 2022-05-17 | 三一筑工科技股份有限公司 | 一种对象表面轮廓的确定方法、装置、设备及存储介质 |
| CN115620169A (zh) * | 2022-12-15 | 2023-01-17 | 北京数慧时空信息技术有限公司 | 基于区域一致性的建筑物主角度修正方法 |
| CN116152458A (zh) * | 2023-03-14 | 2023-05-23 | 南京宇天智云仿真技术有限公司 | 一种基于影像的三维仿真建筑生成方法 |
| CN116434071A (zh) * | 2023-06-07 | 2023-07-14 | 浙江国遥地理信息技术有限公司 | 一种规整化建筑掩膜的确定方法、确定装置、设备及介质 |
| CN117456144A (zh) * | 2023-11-10 | 2024-01-26 | 中国人民解放军海军航空大学 | 基于可见光遥感图像的目标建筑物三维模型优化方法 |
| CN117454495A (zh) * | 2023-12-25 | 2024-01-26 | 北京飞渡科技股份有限公司 | 一种基于建筑草图轮廓序列的cad矢量模型生成方法及装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101126813A (zh) * | 2007-09-29 | 2008-02-20 | 北京交通大学 | 一种高分辨率卫星遥感影像中构筑物轮廓提取方法 |
| CN101655993A (zh) * | 2008-08-20 | 2010-02-24 | 武汉大学 | 复杂建筑物三维模型多分辨率建模方法 |
| CN101726255A (zh) * | 2008-10-24 | 2010-06-09 | 中国科学院光电研究院 | 从三维激光点云数据中提取感兴趣建筑物的方法 |
| CN102930540A (zh) * | 2012-10-26 | 2013-02-13 | 中国地质大学（武汉） | 城市建筑物轮廓检测的方法及系统 |
| CN103699900A (zh) * | 2014-01-03 | 2014-04-02 | 西北工业大学 | 卫星影像中建筑物水平矢量轮廓自动批量提取方法 |
| CN105528596A (zh) * | 2016-02-03 | 2016-04-27 | 长江大学 | 利用阴影的高分辨率遥感影像建筑物自动提取方法及系统 |
| US20170153116A1 (en) * | 2015-05-14 | 2017-06-01 | Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences | Navigation technology in three-dimensional scenes |
| CN109493360A (zh) * | 2018-10-10 | 2019-03-19 | 东南大学 | 一种人工地物散乱形状点自动生成建筑物轮廓的方法 |
| CN109903304A (zh) * | 2019-02-25 | 2019-06-18 | 武汉大学 | 一种基于卷积神经元网络和多边形规则化的建筑物轮廓自动提取算法 |
| CN109934110A (zh) * | 2019-02-02 | 2019-06-25 | 广州中科云图智能科技有限公司 | 一种河道附近违建房屋识别方法 |
| US20190261024A1 (en) * | 2015-11-17 | 2019-08-22 | Evernote Corporation | Coordinated piecewise bezier vectorization |
-
2020
- 2020-05-02 CN CN202010369473.4A patent/CN111652892A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101126813A (zh) * | 2007-09-29 | 2008-02-20 | 北京交通大学 | 一种高分辨率卫星遥感影像中构筑物轮廓提取方法 |
| CN101655993A (zh) * | 2008-08-20 | 2010-02-24 | 武汉大学 | 复杂建筑物三维模型多分辨率建模方法 |
| CN101726255A (zh) * | 2008-10-24 | 2010-06-09 | 中国科学院光电研究院 | 从三维激光点云数据中提取感兴趣建筑物的方法 |
| CN102930540A (zh) * | 2012-10-26 | 2013-02-13 | 中国地质大学（武汉） | 城市建筑物轮廓检测的方法及系统 |
| CN103699900A (zh) * | 2014-01-03 | 2014-04-02 | 西北工业大学 | 卫星影像中建筑物水平矢量轮廓自动批量提取方法 |
| US20170153116A1 (en) * | 2015-05-14 | 2017-06-01 | Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences | Navigation technology in three-dimensional scenes |
| US20190261024A1 (en) * | 2015-11-17 | 2019-08-22 | Evernote Corporation | Coordinated piecewise bezier vectorization |
| CN105528596A (zh) * | 2016-02-03 | 2016-04-27 | 长江大学 | 利用阴影的高分辨率遥感影像建筑物自动提取方法及系统 |
| CN109493360A (zh) * | 2018-10-10 | 2019-03-19 | 东南大学 | 一种人工地物散乱形状点自动生成建筑物轮廓的方法 |
| CN109934110A (zh) * | 2019-02-02 | 2019-06-25 | 广州中科云图智能科技有限公司 | 一种河道附近违建房屋识别方法 |
| CN109903304A (zh) * | 2019-02-25 | 2019-06-18 | 武汉大学 | 一种基于卷积神经元网络和多边形规则化的建筑物轮廓自动提取算法 |
Non-Patent Citations (4)
| Title |
|---|
| JUNLIANG LI 等: "Proposal-Driven Segmentation for Videos" * |
| LEI WANG 等: "Aerial Imagery for Roof Segmentation: A Large-Scale Dataset towards Automatic Mapping of Buildings" * |
| 胡晋山 等: "一种八邻域图像边界追踪改进算法" * |
| 陈嘉伟: "基于多模态信息的固废对象分割" * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132006A (zh) * | 2020-09-21 | 2020-12-25 | 西南交通大学 | 一种面向耕地保护的林地和建筑物智能提取方法 |
| CN112598692A (zh) * | 2020-12-21 | 2021-04-02 | 陕西土豆数据科技有限公司 | 基于标记像素矩阵的遥感影像分割后处理算法 |
| CN112651896A (zh) * | 2020-12-30 | 2021-04-13 | 成都星时代宇航科技有限公司 | 有效矢量范围确定方法、装置、电子设备及可读存储介质 |
| CN113139453A (zh) * | 2021-04-19 | 2021-07-20 | 中国地质大学（武汉） | 一种基于深度学习的正射影像高层建筑基底矢量提取方法 |
| CN113326759A (zh) * | 2021-05-26 | 2021-08-31 | 中国地质大学（武汉） | 一种遥感影像建筑物识别模型的不确定性估计方法 |
| CN113378731A (zh) * | 2021-06-17 | 2021-09-10 | 武汉大学 | 基于卷积神经网络及边缘能量约束优化的绿地水系矢量提取方法 |
| CN113744144A (zh) * | 2021-08-20 | 2021-12-03 | 长江大学 | 遥感影像建筑物边界优化方法、系统、设备及存储介质 |
| CN113744144B (zh) * | 2021-08-20 | 2023-09-26 | 长江大学 | 遥感影像建筑物边界优化方法、系统、设备及存储介质 |
| CN113920147A (zh) * | 2021-12-14 | 2022-01-11 | 星际空间（天津）科技发展有限公司 | 基于深度学习的遥感影像建筑物提取方法及设备 |
| CN113920147B (zh) * | 2021-12-14 | 2022-03-01 | 星际空间（天津）科技发展有限公司 | 基于深度学习的遥感影像建筑物提取方法及设备 |
| CN114511586B (zh) * | 2022-04-20 | 2022-08-23 | 三一筑工科技股份有限公司 | 一种对象表面轮廓的确定方法、装置、设备及存储介质 |
| CN114511586A (zh) * | 2022-04-20 | 2022-05-17 | 三一筑工科技股份有限公司 | 一种对象表面轮廓的确定方法、装置、设备及存储介质 |
| CN115620169A (zh) * | 2022-12-15 | 2023-01-17 | 北京数慧时空信息技术有限公司 | 基于区域一致性的建筑物主角度修正方法 |
| CN115620169B (zh) * | 2022-12-15 | 2023-04-07 | 北京数慧时空信息技术有限公司 | 基于区域一致性的建筑物主角度修正方法 |
| CN116152458A (zh) * | 2023-03-14 | 2023-05-23 | 南京宇天智云仿真技术有限公司 | 一种基于影像的三维仿真建筑生成方法 |
| CN116434071A (zh) * | 2023-06-07 | 2023-07-14 | 浙江国遥地理信息技术有限公司 | 一种规整化建筑掩膜的确定方法、确定装置、设备及介质 |
| CN116434071B (zh) * | 2023-06-07 | 2023-09-12 | 浙江国遥地理信息技术有限公司 | 一种规整化建筑掩膜的确定方法、确定装置、设备及介质 |
| CN117456144A (zh) * | 2023-11-10 | 2024-01-26 | 中国人民解放军海军航空大学 | 基于可见光遥感图像的目标建筑物三维模型优化方法 |
| CN117456144B (zh) * | 2023-11-10 | 2024-05-07 | 中国人民解放军海军航空大学 | 基于可见光遥感图像的目标建筑物三维模型优化方法 |
| CN117454495A (zh) * | 2023-12-25 | 2024-01-26 | 北京飞渡科技股份有限公司 | 一种基于建筑草图轮廓序列的cad矢量模型生成方法及装置 |
| CN117454495B (zh) * | 2023-12-25 | 2024-03-15 | 北京飞渡科技股份有限公司 | 一种基于建筑草图轮廓序列的cad矢量模型生成方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111652892A (zh) | 一种基于深度学习的遥感影像建筑物矢量提取及优化方法 | |
| WO2024077812A1 (zh) | 基于点云语义分割与结构拟合的单体建筑三维重建方法 | |
| CN109840471B (zh) | 一种基于改进Unet网络模型的可行道路分割方法 | |
| CN110136154B (zh) | 基于全卷积网络与形态学处理的遥感图像语义分割方法 | |
| CN111640159B (zh) | 一种基于孪生卷积神经网络的遥感影像变化检测方法 | |
| CN114120102A (zh) | 边界优化的遥感图像语义分割方法、装置、设备及介质 | |
| CN109815859B (zh) | 一种低等级道路自动提取及变化分析方法 | |
| CN110163213B (zh) | 基于视差图和多尺度深度网络模型的遥感图像分割方法 | |
| CN111460936A (zh) | 基于U-Net网络的遥感影像建筑物提取方法、系统、电子设备 | |
| CN112347970B (zh) | 一种基于图卷积神经网络的遥感影像地物识别方法 | |
| CN110197505B (zh) | 基于深度网络及语义信息的遥感图像双目立体匹配方法 | |
| CN109446894B (zh) | 基于概率分割及高斯混合聚类的多光谱图像变化检测方法 | |
| Pan et al. | A generic FCN-based approach for the road-network extraction from VHR remote sensing images–using openstreetmap as benchmarks | |
| CN114332348B (zh) | 一种融合激光雷达与图像数据的轨道三维重建方法 | |
| CN113065594A (zh) | 一种基于北斗数据与遥感影像融合的路网提取方法及装置 | |
| CN112837320B (zh) | 一种基于并行空洞卷积的遥感影像语义分割方法 | |
| Zhu et al. | Change detection based on the combination of improved SegNet neural network and morphology | |
| CN113033432A (zh) | 一种基于渐进监督的遥感影像居民区提取方法 | |
| CN114283162A (zh) | 基于对比自监督学习的现实场景图像分割方法 | |
| CN114492619A (zh) | 一种基于统计和凹凸性的点云数据集构建方法及装置 | |
| CN113837134A (zh) | 一种基于面向对象的深度学习模型和迁移学习的湿地植被识别方法 | |
| CN116310128A (zh) | 基于实例分割与三维重建的动态环境单目多物体slam方法 | |
| CN116310098A (zh) | 一种基于注意力机制与可变卷积深度网络的多视图三维重建方法 | |
| CN116310095A (zh) | 一种基于深度学习的多视图三维重建方法 | |
| CN114119690A (zh) | 一种基于神经网络重建高斯混合模型的点云配准方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240112 |
|
| AD01 | Patent right deemed abandoned |