CN113689445B - 结合语义分割与边缘检测的高分辨率遥感建筑物提取方法 - Google Patents
结合语义分割与边缘检测的高分辨率遥感建筑物提取方法 Download PDFInfo
- Publication number
- CN113689445B CN113689445B CN202110787385.0A CN202110787385A CN113689445B CN 113689445 B CN113689445 B CN 113689445B CN 202110787385 A CN202110787385 A CN 202110787385A CN 113689445 B CN113689445 B CN 113689445B
- Authority
- CN
- China
- Prior art keywords
- building
- edge
- map
- graph
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 59
- 238000000605 extraction Methods 0.000 title claims abstract description 39
- 238000003708 edge detection Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000010586 diagram Methods 0.000 claims abstract description 14
- 229910052717 sulfur Inorganic materials 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 16
- 238000011160 research Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 10
- 239000003550 marker Substances 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 229910052760 oxygen Inorganic materials 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 4
- 238000010845 search algorithm Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 abstract description 14
- 230000000717 retained effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 1
- 101150083127 brox gene Proteins 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
结合语义分割与边缘检测的高分辨率遥感建筑物提取方法，属于遥感影像目标提取技术领域。首先，采用语义分割网络和深度边缘检测网络分别预测建筑物屋顶面和边缘图；然后，对建筑物边缘图进行去噪、骨架提取；在此基础上，结合建筑物屋顶面预测图，对建筑物边缘图进行去毛刺和断线修补处理；最后，对建筑物边缘图进行矢量化，由此获得建筑物屋顶轮廓提取结果。本发明能够克服深度卷积神经网络模型预测图中建筑物边缘不连续、不封闭等问题，提高了高分辨率遥感影像建筑物边缘的提取精度，且在不同类型建筑物屋顶形态的提取中均表现良好，适用性广泛。
Description
技术领域
本发明属于遥感影像目标提取技术领域，具体涉及一种高分辨率遥感建筑物提取方法。
背景技术
基于遥感影像的建筑物提取为城乡规划、动态监测、灾害评估、土地利用分析、地图更新等提供了重要的数据支撑。随着遥感技术的不断发展，人们可以获取的遥感影像空间分辨率越来越高。建筑物在高空间分辨率遥感影像(以下简称高分辨率遥感影像)上呈现了更丰富的空间及几何特征，建筑物屋顶内部的细节也清晰可见，这给建筑物提取任务同时带来了机遇与挑战。
传统的建筑物提取方法通常需要人工构建提取特征。常用的方法有：(1)利用建筑物在高分辨率遥感影像上的形状、光谱、纹理等单个或多个特征提取建筑物；(2)采用Canny算子、Sobel算子、Laplace算子等定位高分辨率遥感影像上建筑物的边缘区域；(3)利用阴影、高程等辅助信息提取建筑物。这些依赖人工构建特征的建筑物提取方法通常适合解决小范围研究区的建筑物提取问题。然而，对于大区域范围的建筑物提取任务，这类方法往往无法获得满足实际应用的精度。
近十几年来，能够自动计算特征的深度卷积神经网络被引入了建筑物提取研究中。根据建筑物屋顶预测结果图的形式，可以将基于深度卷积神经网络的建筑物提取方法分为两类：建筑物屋顶面提取方法和建筑物屋顶边缘提取方法。建筑物屋顶面提取方法主要采用图像语义分割网络，如U-Net(Ronneberger O,Fischer P,Brox T.U-net:Convolutional networks for biomedical image segmentation[C]//InternationalConference on Medical image computing and computer-assistedintervention.Springer,Cham,2015:234-241.)等，这类网络大多为编码-解码结构，在很大程度上缓解了初代卷积神经网络(Convolutional neural network,CNN)因卷积造成的空间细节丢失等问题。然而，从提取结果分析，采用语义分割方法提取的建筑物普遍还存在提取边界与实际地物边缘贴合程度不高，提取面有残缺、空洞等问题。建筑物屋顶边缘提取方法主要采用深度边缘检测网络，目前基于深度卷积神经网络的边缘检测实现方法有BDCN(He J,Zhang S,Yang M,et al.Bi-directional cascade network for perceptual edgedetection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision andPattern Recognition.IEEE,2019:3828-3837.)等。这些网络大多是基于CNN、VGG16等做出了一些改进，避免了在特征提取过程中有用边缘信息的丢失。边缘检测网络中损失函数的作用举足轻重，如果设定不当，易出现梯度消失和大量边缘信息丢失的情况，从而导致建筑物边缘提取结果不连续、不封闭等问题。
发明内容
本发明要克服现有建筑物提取技术中存在的边缘不连续、不封闭的问题，提出了一种结合语义分割与边缘检测的高分辨率遥感建筑物提取方法。
本发明采用深度卷积神经网络模型自动获取高分辨率遥感影像上的建筑物屋顶面和边缘，在此基础上，对建筑物边缘进行去噪、骨架提取，由此可获得单像素宽度的建筑物边缘；然后结合建筑物面对单像素宽度的建筑物边缘进行去毛刺和断线修补处理；最后对建筑物边缘图矢量化，获得建筑物的矢量结果。
本发明的技术方案是一种结合语义分割与边缘检测的高分辨率遥感建筑物提取方法，包含以下步骤：
步骤1、构建建筑物样本库：根据研究区域的地理位置，获取覆盖整个研究区域的高分辨率遥感影像；采用人工目视解译的方法标注研究区域内高分辨率遥感影像上对应的建筑物屋顶，获得建筑物屋顶的面标签和线标签；对研究区域内高分辨率遥感影像和对应的标签图进行裁剪，尺寸为h×w，由此构建建筑物样本库；按照3:1:1的比例将样本库分为训练集、验证集和测试集；
步骤2、建筑物模型训练，包括以下过程：
(21)选用端到端的语义分割网络，把由步骤1所得训练集和验证集输入语义分割网络进行训练，得到建筑物语义分割模型SM；
(22)选用端到端的边缘检测网络，把由步骤1所得训练集和验证集输入边缘检测网络进行训练，得到建筑物边缘检测模型BM；
步骤3、获取研究区域建筑物提取的语义分割预测图和边缘提取预测图，包括以下过程：
(31)任意选取由步骤1所得测试集中的一张高分辨率遥感影像作为测试图I；
(32)把步骤(31)中所述测试图I输入由步骤2训练所得的建筑物语义分割模型SM和边缘检测模型BM，从而获取关于测试图I的语义分割预测图S和建筑物边缘预测图B；
步骤4、结合由步骤(32)所得的建筑物语义分割图S，处理由步骤(32)获得的建筑物边缘预测图B，生成单像素宽度的建筑物边缘图，包括以下过程：
(41)对由步骤(32)中获得的语义分割预测图S进行二值化处理，规则如下：
其中，S(b)表示语义分割预测图S的二值化结果，PSi表示语义分割预测图S中的第i个像素点，τ1表示阈值；
(42)对由步骤(41)所得二值图S(b)进行膨胀处理，由此获得了扩张后的语义分割预测图S(d)；
(43)对步骤(32)中获得的建筑物边缘预测图B进行二值化处理得到二值图B(b)，二值化处理规则如下：
其中，B(b)表示建筑物边缘预测图B的二值化结果，PBi表示建筑物边缘预测图B中第i个像素点，τ2表示阈值；
(44)对由步骤(43)中生成的二值边缘图B(b)进行骨架提取，获得建筑物边缘图B(b,s)，该图仅保留了图B(b)中建筑物边缘的中轴线，宽度为单像素；
(45)在保留断线建筑物边缘的前提下，去除由步骤(44)所得的单像素建筑物边缘图B(b,s)中的“毛刺”特征线，流程如下：
(45a)使用连通域分析法检测由步骤(44)所得单像素建筑物边缘图B(b,s)中的端点，端点判断方法如下：对于边缘图B(b,s)中值为255的像素点xi，如果点xi的八邻域内像素值为255的点只有1个或者点xi的八邻域内有两个值为255的相邻像素点，则把点xi加入端点集，由此可获得边缘图B(b,s)的所有端点集合Dp＝{zi|i＝1,2,...T}，其中，zi表示第i个端点，T为B(b,s)中端点的总数；
(45b)去除由步骤(44)所得的单像素建筑物边缘图B(b,s)中的“毛刺”特征线，任取由步骤(45a)所得端点集Dp＝{zi|i＝1,2,..T.}中的一个端点，记该端点位于由步骤(44)所得边缘图B(b,s)的第i行，第j列，若由步骤(42)所得语义分割预测图S(d)中第i行，第j列的像素值为0，那么把由步骤(44)所得边缘图B(b,s)的第i行，第j列的像素值赋为0；按照上述方法处理边缘图B(b,s)，直到遍历完由步骤(45a)所得端点集Dp＝{zi|i＝1,2,...T}中的所有端点，由此可得包含未闭合的和完整闭合的单像素宽度的建筑物边缘图B(b,s,e)；
步骤5、结合步骤(42)所得语义分割预测图S(d)，对由步骤(45b)所得建筑物边缘图B(b,s,e)中未闭合的建筑物边缘进行连接修复，包括以下过程：
(51)结合步骤(42)所得语义分割预测图S(d)，获取由步骤(45b)所得建筑物边缘图B(b,s,e)中可连接的建筑物边缘端点，流程如下：
(51a)计算步骤(45b)所得建筑物边缘图B(b,s,e)和步骤(42)所得语义分割预测图S(d)的叠加图BS；
(51b)建立建筑物内外域标记矩阵
(51c)任意选取由步骤(51a)所得叠加图BS中像素值为0的点P，遍历点P的邻域，记点P的某一邻域点Pb位于叠加图BS的第i行，第j列，如果满足以下条件之一：(1)由步骤(45b)所得建筑物边缘图B(b,s,e)第i行，第j列的像素值为0，(2)图B(b,s,e)第i行，第j列的像素值为255，且点Pb位于图像的边界处(即i为1或h或者j为1或w)，且M1(i,j)＝0，则把M1(i,j)赋为255，且把点Pb加入待检测点集Q；按照上述方法更新矩阵M1，直到Q中的点全部检测完毕；
(51d)重复步骤(51c)，直到叠加图BS中所有像素值为0的点都遍历完成，最终由标记完成的M1获得建筑物内外域图B(I,O)；
(51e)采用步骤(45a)的端点检测规则，检测由步骤(45b)生成的建筑物边缘图B(b,s,e)中的端点，如果端点位于由步骤(51d)生成的图B(I,O)中的外部区域，则存入待连接端点集其中，/>和/>分别表示建筑物边缘图B(b,s,e)中第i个可以连接的点的横坐标和纵坐标，S表示可被连接的端点总数；
(52)对由步骤(51a)获得的叠加图BS进行连通域标记，流程如下：
(52a)建立连通域标记矩阵
(52b)通过连通域分析算法和搜索算法确定叠加图BS中的n(n为正整数)个连通域，对第k(1≤k≤n)个连通域标记规则如下：当M2(i,j)＝0且BS(i,j)＝255时，将M2(i,j)置为k，按照相同规则遍历叠加图BS中第i行，第j列像素点的八邻域，直到没有满足条件的点为止；
(52c)按照步骤(52b)规则遍历叠加图BS，由此获得了标有n个连通域的标记图B(C,N)；
(53)对步骤(51e)所得端点集中的端点进行连线，流程如下：
(53a)任取端点集中的两个端点p,q，若p,q属于由步骤(52c)所得连通域标记图B(C,N)中的同一连通域，则计算p,q两点连线穿过连通域的像素个数count，计算公式如下：count＝Num(P(x,y))-Num(P(x,y)＝0)，其中，Num(P(x,y))表示p,q连线上像素点的总数，Num(P(x,y)＝0)表示p,q连线上像素值为0的点的总数；
(53b)计算步骤(53a)中两个端点p,q间的欧式距离L，具体计算公式如下：其中，/>和/>分别表示p对应由步骤(51a)获得的叠加图BS中的横坐标和纵坐标，/>和/>分别表示q对应由步骤(51a)获得的叠加图BS中的横坐标和纵坐标；
(53c)结合步骤(53a)中的count和(53b)中的L，连接由步骤(51e)所得端点集Cb中的端点，具体规则如下：任意选取Cb中的两个端点Pm、Pn，如果这两个端点位于由步骤(52c)所得连通域标记图B(C,N)中的同一连通域，那么进行以下判断：当(count＞β1)∧(L＜β2)，并且Pm,Pn连线上任意点的像素值都不为255，则连接端点Pm和Pn，其中，β1表示两点连线经过连通域标记图B(C,N)中像素值为255的点的数目阈值，β2表示两点之间的距离阈值；
(53d)重复步骤(53a)至(53c)，直到由步骤(51e)所得端点集中任意选取的两个端点都被处理完毕，由此获得了断线连接图B(b,s,e,c)；
步骤6、去除由步骤(53d)获得的图B(b,s,e,c)中剩余的断线和冗余的“毛刺”特征线，具体过程如下：
(61)使用步骤(45a)中的端点检测规则对图B(b,s,e,c)进行端点检测，并将检测到的端点在图B(b,s,e,c)中对应位置的像素值置0；
(62)重复步骤(61)，直到没有端点被检测到为止，由此获得了最终的建筑物边缘栅格图B(b,s,e,c,r)。
优选地，在所述步骤6之后还包括：步骤7、对由步骤(62)生成的建筑物边缘栅格图B(b,s,e,c,r)进行矢量化，生成建筑物面矢量文件。
本发明的优点是：
1)本发明通过深度卷积神经网络预测建筑物屋顶的面和边缘，结合预测出的建筑物面对预测出的建筑边缘进行断线修补，能够克服深度卷积神经网络模型预测建筑物边缘结果不连续、不封闭等问题，提高了高分辨率遥感影像建筑物边缘提取的精度；
2)本发明针对高分辨率遥感影像，运用深度卷积神经网络获得建筑物初始边缘，并结合深度卷积神经网络获得的建筑物面对初始边缘置信度低的部分进行断线修补，对不同类型建筑物均能获得较好的修复结果，适用性广泛。
附图说明
图1是结合语义分割与边缘检测的高分辨率遥感建筑物提取方法的流程图。
图2(a)、图2(d)、图2(g)是本发明实施例中高分辨率遥感影像建筑物样本库选取的三幅原始影像图，图2(b)、图2(e)、图2(h)分别是图2(a)、图2(d)、图2(g)对应的建筑物面标签图，图2(c)、图2(f)、图2(i)分别是图2(a)、图2(d)、图2(g)对应的建筑物线标签图，其中黑色表示建筑物面和边缘，白色表示背景。
图3是本发明实施例中的测试影像I，大小为512*512。
图4(a)是本发明实施例中U-Net模型预测图3的结果，图4(b)是本发明实例中BDCN模型预测图3的结果，其中黑色表示建筑物面和边缘，白色表示背景。
图5为对图4(b)进行二值化和骨架提取后的建筑物边缘图，其中黑色表示建筑物的边缘，白色表示背景。
图6为本发明实例中对图5进行有保留的去毛刺之后的建筑物边缘图，其中，黑色表示可能的建筑物边缘，白色表示背景。
图7为本发明实例中建筑物面和边缘的叠加图，其中，黑色为建筑物面和边缘，白色为背景。
图8为图6中建筑物内外域标记图，其中，白色为建筑物外部区域，黑色为建筑物内部区域。
图9为本发明实例中对图6中保留的断连建筑物边缘进行修复连接的结果图，黑色表示建筑物边缘，白色表示背景。
图10为对图9进行无保留去毛刺之后的建筑物边缘图，黑色表示建筑物边缘，白色表示背景。
图11为本发明实施例中图3和建筑物边缘矢量结果的叠加图，其中，黑色为建筑物边缘矢量线。
具体实施方式
下面通过实施例，结合附图进一步说明本发明。
本发明的技术方案是结合语义分割与边缘检测的高分辨率遥感建筑物提取方法，包含以下步骤：
步骤1、构建建筑物样本库：根据研究区地理位置，获取覆盖整个研究区域的高分辨率遥感影像；采用人工目视解译的方法标注研究区域内高分辨率遥感影像上的建筑物屋顶，获得建筑物面标签和线标签。对研究区域内高分辨率遥感影像和对应的标签图进行裁剪，尺寸为h×w，本发明实施例中采用无重叠裁剪，裁剪后影像和标签的尺寸为512×512，由此构建建筑物样本库；如图2所示，图2(a)、图2(d)、图2(g)是在本发明实施例中高分辨率遥感影像建筑物样本库中选取的三幅原始影像图，图2(b)、图2(e)、图2(h)分别是图2(a)、图2(d)、图2(g)对应的建筑物面标签图，图2(c)、图2(f)、图2(i)分别是图2(a)、图2(d)、图2(g)对应的建筑物线标签图，其中黑色表示建筑物面和边缘，白色表示背景；按照3:1:1的比例将样本库分为训练集、验证集和测试集。
步骤2、建筑物模型训练，包括以下过程：
(21)选用端到端的语义分割网络，本发明实施例中采用了U-Net模型，把由步骤1所得训练集和验证集输入U-Net模型进行训练，得到建筑物语义分割模型SM；
(22)选用端到端的边缘检测网络，本发明实施例中采用了BDCN模型，把由步骤1所得训练集和验证集输入BDCN模型进行训练，得到建筑物边缘检测模型BM。
步骤3、获取研究区域建筑物提取的语义分割预测图和边缘提取预测图，包括以下过程：
(31)选取步骤1中测试集里的一张高分辨率遥感影像作为测试图I，图3为本发明实例中的测试图；
(32)把步骤(31)中所述测试图I输入由步骤2训练所得的建筑物语义分割模型SM和边缘检测模型BM，从而获取关于测试图I的语义分割预测图S和建筑物边缘预测图B，图4(a)是本发明实施例中U-Net模型预测图3的结果，图4(b)是本发明实例中BDCN模型预测图3的结果，其中黑色表示建筑物面和边缘，白色表示背景。
步骤4、结合由步骤(32)得到的建筑物语义分割图S，处理由步骤(32)得到的建筑物边缘预测图B，生成单像素宽度的建筑物边缘图，包括以下过程：
(41)对步骤(32)中获得的语义分割预测图S进行二值化处理，二值化处理规则如下：
其中，S(b)表示语义分割预测图S的二值化结果，PSi为语义分割预测图S中的第i个像素点，τ1为阈值，本发明实例中τ1设为100；
(42)对由步骤(41)所得的二值图S(b)进行膨胀，本发明实施例采用了3×3大小的结构元进行膨胀，由此获得了扩张后的语义分割预测图S(d)；
(43)对步骤(32)中获得的边缘图B进行二值化处理，二值化处理规则如下：
其中，B(b)表示边缘图B的二值化结果，PBi为边缘图B中第i个像素点，τ2为阈值，本发明实例中τ2设为100；
(44)对由步骤(43)中生成的二值边缘图B(b)进行骨架提取，获得建筑物边缘图B(b,s)，该图仅保留了图B(b)中建筑物边缘的中轴线，宽度为单像素；图5为对图4(b)进行二值化和骨架提取后获得的单像素宽度的建筑物边缘图，其中黑色表示建筑物边缘，白色表示背景；
(45)在保留断线建筑物边缘的前提下，去除由步骤(44)所得的单像素建筑物边缘图B(b,s)中的“毛刺”特征线，流程如下：
(45a)使用连通域分析法检测由步骤(44)所得单像素建筑物边缘图B(b,s)中的端点，端点判断方法如下：对于边缘图B(b,s)中值为255的像素点xi，如果点xi的八邻域内像素值为255的点只有1个或者点xi的八邻域内有两个值为255的相邻像素点，则把点xi加入端点集，由此可获得边缘图B(b,s)的所有端点集合Dp＝{zi|i＝1,2,...T}，其中，zi表示第i个端点，T为B(b,s)中端点的总数；
(45b)去除由步骤(44)所得的单像素建筑物边缘图B(b,s)中的“毛刺”特征线，任取由步骤(45a)所得端点集Dp＝{zi|i＝1,2,...T}中的一个端点，记该端点位于由步骤(44)所得边缘图B(b,s)的第i行，第j列，若由步骤(42)所得语义分割预测图S(d)中第i行，第j列的像素值为0，那么把由步骤(44)所得边缘图B(b,s)的第i行，第j列的像素值赋为0；按照上述方法处理边缘图B(b,s)，直到遍历完由步骤(45a)所得端点集Dp＝{zi|i＝1,2,...T}中的所有端点，由此可得包含未闭合的和完整闭合的单像素宽度的建筑物边缘图B(b,s,e)；图6为本发明实例中对图5进行有保留的去毛刺之后的单像素的建筑物边缘图，其中，黑色表示可能的建筑物边缘，白色表示背景。
步骤5、结合步骤(42)所得语义分割预测图S(d)，对由步骤(45b)所得建筑物边缘图B(b,s,e)中未闭合的建筑物边缘进行连接修复，包括以下过程：
(51)结合步骤(42)所得语义分割预测图S(d)，获取由步骤(45b)所得建筑物边缘图B(b,s,e)中可连接的建筑物边缘端点，流程如下：
(51a)计算步骤(45b)所得建筑物边缘图B(b,s,e)和步骤(42)所得语义分割预测图S(d)的叠加图BS，图7为本发明实施例中建筑物面和边缘的叠加图，其中，黑色表示建筑物面和边缘，白色表示背景；
(51b)建立建筑物内外域标记矩阵
(51c)任意选取由步骤(51a)所得叠加图BS中像素值为0的点P，遍历点P的邻域，记点P的某一邻域点Pb位于叠加图BS的第i行，第j列，如果满足以下条件之一：(1)由步骤(45b)所得建筑物边缘图B(b,s,e)第i行，第j列的像素值为0，(2)图B(b,s,e)第i行，第j列的像素值为255，且点Pb位于图像的边界处(即i为1或h或者j为1或w)，且M1(i,j)＝0，则把M1(i,j)赋为255，且把点Pb加入待检测点集Q；按照上述方法更新矩阵M1，直到Q中的点全部检测完毕；
(51d)重复步骤(51c)，直到叠加图BS中所有像素值为0的点都遍历完成，最终由标记完成的M1获得建筑物内外域图B(I,O)，图8为图6中建筑物内外域标记图，其中，白色为建筑物外部区域，黑色为建筑物内部区域；
(51e)采用步骤(45a)的端点检测规则，检测由步骤(45b)生成的建筑物边缘图B(b,s,e)中的端点，如果端点位于由步骤(51d)生成的图B(I,O)中的外部区域，则存入待连接端点集其中，/>和/>分别表示建筑物边缘图B(b,s,e)中第i个可以连接的点的横坐标和纵坐标，S表示可被连接的端点总数；
(52)对由步骤(51a)获得的叠加图BS进行连通域标记，流程如下：
(52a)建立连通域标记矩阵
(52b)通过连通域分析算法和搜索算法确定叠加图BS中的n(n为正整数)个连通域，对第k(1≤k≤n)个连通域标记规则如下：当M2(i,j)＝0且BS(i,j)＝255时，将M2(i,j)置为k，按照相同规则遍历叠加图BS中第i行，第j列像素点的八邻域，直到没有满足条件的点为止；
(52c)按照步骤(52b)规则遍历叠加图BS，由此获得了标有n个连通域的标记图B(C,N)；
(53)对步骤(51e)所得端点集中的端点进行连线，流程如下：
(53a)任取端点集中的两个端点p,q，若p,q属于由步骤(52c)所得连通域标记图B(C,N)中的同一连通域，则计算p,q两点连线穿过连通域的像素个数count，计算公式如下：count＝Num(P(x,y))-Num(P(x,y)＝0)，其中，Num(P(x,y))表示p,q连线上像素点的总数，Num(P(x,y)＝0)表示p,q连线上像素值为0的点的总数；
(53b)计算步骤(53a)中两个端点p,q间的欧式距离L，具体计算公式如下：其中，/>和/>分别表示p对应由步骤(51a)获得的叠加图BS中的横坐标和纵坐标，/>和/>分别表示q对应由步骤(51a)获得的叠加图BS中的横坐标和纵坐标；
(53c)结合步骤(53a)中的count和(53b)中的L，连接由步骤(51e)所得端点集Cb中的端点，具体规则如下：任意选取Cb中的两个端点Pm、Pn，如果这两个端点位于由步骤(52c)所得连通域标记图B(C,N)中的同一连通域，那么进行以下判断：当(count＞β1)∧(L＜β2)，并且Pm,Pn连线上任意点的像素值都不为255，则连接端点Pm和Pn，其中，β1表示两点连线经过连通域标记图B(C,N)中像素值为255的点的数目阈值，本发明实施例中设为5，β2表示两点之间的距离阈值，本发明实施例中设为80；
(53d)重复步骤(53a)至(53c)，直到由步骤(51e)所得端点集中任意选取的两个端点都被处理完毕，由此获得了断线连接图B(b,s,e,c)，图9为本发明实例中对图6中保留的断连建筑物边缘进行修复连接的图，其中，黑色表示建筑物边缘，白色表示背景。
步骤6、去除由步骤(53d)获得的图B(b,s,e,c)中剩余的断线和冗余的“毛刺”特征线，图B(b,s,e,c)中出现剩余的断线是因为在断线区域，建筑物边缘被提取出来，而语义分割模型的预测面过于狭小，导致其在步骤(53c)中不满足断线连接的条件；图B(b,s,e,c)中出现冗余的毛刺特征线则是由于结合由步骤(42)所得图S(d)进行去毛刺时，虽极大程度上保留了完整的建筑边缘和包含断线的建筑物边缘，但同时也保留了部分超出建筑物边缘的毛刺以及建筑物内部的毛刺；所以在断线连接工作完成后，要对剩余的断线以及冗余的毛刺特征线予以去除，具体过程如下：
(61)使用步骤(45a)中的端点检测规则对图B(b,s,e,c)进行端点检测，并将检测到的端点在图B(b,s,e,c)中对应位置的像素值置0；
(62)重复步骤(61)，直到没有端点被检测到为止，由此获得了最终的建筑物边缘栅格图B(b,s,e,c,r)，图10为对图9进行无保留去毛刺之后的建筑物边缘图，其中，黑色为建筑物边缘，白色为背景。
步骤7、对由步骤(62)生成的建筑物边缘栅格图B(b,s,e,c,r)进行矢量化，生成建筑物面矢量文件，图11为本发明实施例中图3和建筑物边缘矢量结果的叠加图，其中，黑色为建筑物边缘矢量线。
本发明通过深度卷积神经网络预测建筑物面和边缘，结合预测出的建筑物面对预测出的建筑边缘进行断线修补，能够克服深度卷积神经网络模型预测建筑物边缘结果不连续、不封闭等问题，提高了高分辨率遥感影像建筑物边缘的精度；另一方面，结合深度卷积神经网络获得的建筑物面对初始边缘置信度低的部分进行断线修补，不易出现多幢建筑物之间乱连、错连等问题，且在不同类型的建筑物中均能获得较好的修复效果，适用性广泛。
以上仅是对本发明实施例的描述，但本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (2)
1.结合语义分割与边缘检测的高分辨率遥感建筑物提取方法，其特征在于，包含以下步骤：
步骤1、构建建筑物样本库：根据研究区域的地理位置，获取覆盖整个研究区域的高分辨率遥感影像；采用人工目视解译的方法标注研究区域内高分辨率遥感影像上对应的建筑物屋顶，获得建筑物屋顶的面标签和线标签；对研究区域内高分辨率遥感影像和对应的标签图进行裁剪，尺寸为h×w，由此构建建筑物样本库；按照3:1:1的比例将样本库分为训练集、验证集和测试集；
步骤2、建筑物模型训练，包括以下过程：
(21)选用端到端的语义分割网络，把由步骤1所得训练集和验证集输入语义分割网络进行训练，得到建筑物语义分割模型SM；
(22)选用端到端的边缘检测网络，把由步骤1所得训练集和验证集输入边缘检测网络进行训练，得到建筑物边缘检测模型BM；
步骤3、获取研究区域建筑物提取的语义分割预测图和边缘提取预测图，包括以下过程：
(31)任意选取由步骤1所得测试集中的一张高分辨率遥感影像作为测试图I；
(32)把步骤(31)中所述测试图I输入由步骤2训练所得的建筑物语义分割模型SM和边缘检测模型BM，从而获取关于测试图I的语义分割预测图S和建筑物边缘预测图B；
步骤4、结合由步骤(32)所得的建筑物语义分割图S，处理由步骤(32)获得的建筑物边缘预测图B，生成单像素宽度的建筑物边缘图，包括以下过程：
(41)对由步骤(32)中获得的语义分割预测图S进行二值化处理，规则如下：
其中，S(b)表示语义分割预测图S的二值化结果，PSi表示语义分割预测图S中的第i个像素点，τ1表示阈值；
(42)对由步骤(41)所得二值图S(b)进行膨胀处理，由此获得了扩张后的语义分割预测图S(d)；
(43)对步骤(32)中获得的建筑物边缘预测图B进行二值化处理得到二值图B(b)，二值化处理规则如下：
其中，B(b)表示建筑物边缘预测图B的二值化结果，PBi表示建筑物边缘预测图B中第i个像素点，τ2表示阈值；
(44)对由步骤(43)中生成的二值边缘图B(b)进行骨架提取，获得建筑物边缘图B(b,s)，该图仅保留了图B(b)中建筑物边缘的中轴线，宽度为单像素；
(45)在保留断线建筑物边缘的前提下，去除由步骤(44)所得的单像素建筑物边缘图B(b,s)中的“毛刺”特征线，流程如下：
(45a)使用连通域分析法检测由步骤(44)所得单像素建筑物边缘图B(b,s)中的端点，端点判断方法如下：对于边缘图B(b,s)中值为255的像素点xi，如果点xi的八邻域内像素值为255的点只有1个或者点xi的八邻域内有两个值为255的相邻像素点，则把点xi加入端点集，由此可获得边缘图B(b,s)的所有端点集合Dp＝{zi|i＝1,2,...T}，其中，zi表示第i个端点，T为B(b,s)中端点的总数；
(45b)去除由步骤(44)所得的单像素建筑物边缘图B(b,s)中的“毛刺”特征线，任取由步骤(45a)所得端点集Dp＝{zi|i＝1,2,...T}中的一个端点，记该端点位于由步骤(44)所得边缘图B(b,s)的第i行，第j列，若由步骤(42)所得语义分割预测图S(d)中第i行，第j列的像素值为0，那么把由步骤(44)所得边缘图B(b,s)的第i行，第j列的像素值赋为0；按照上述方法处理边缘图B(b,s)，直到遍历完由步骤(45a)所得端点集Dp＝{zi|i＝1,2,...T}中的所有端点，由此可得包含未闭合的和完整闭合的单像素宽度的建筑物边缘图B(b,s,e)；
步骤5、结合步骤(42)所得语义分割预测图S(d)，对由步骤(45b)所得建筑物边缘图B(b,s,e)中未闭合的建筑物边缘进行连接修复，包括以下过程：
(51)结合步骤(42)所得语义分割预测图S(d)，获取由步骤(45b)所得建筑物边缘图B(b,s,e)中可连接的建筑物边缘端点，流程如下：
(51a)计算步骤(45b)所得建筑物边缘图B(b,s,e)和步骤(42)所得语义分割预测图S(d)的叠加图BS；
(51b)建立建筑物内外域标记矩阵
(51c)任意选取由步骤(51a)所得叠加图BS中像素值为0的点P，遍历点P的邻域，记点P的某一邻域点Pb位于叠加图BS的第i行，第j列，如果满足以下条件之一：(1)由步骤(45b)所得建筑物边缘图B(b,s,e)第i行，第j列的像素值为0，(2)图B(b,s,e)第i行，第j列的像素值为255，且点Pb位于图像的边界处(即i为1或h或者j为1或w)，且M1(i,j)＝0，则把M1(i,j)赋为255，且把点Pb加入待检测点集Q；按照上述方法更新矩阵M1，直到Q中的点全部检测完毕；
(51d)重复步骤(51c)，直到叠加图BS中所有像素值为0的点都遍历完成，最终由标记完成的M1获得建筑物内外域图B(I,O)；
(51e)采用步骤(45a)的端点检测规则，检测由步骤(45b)生成的建筑物边缘图B(b,s,e)中的端点，如果端点位于由步骤(51d)生成的图B(I,O)中的外部区域，则存入待连接端点集其中，/>和/>分别表示建筑物边缘图B(b,s,e)中第i个可以连接的点的横坐标和纵坐标，S表示可被连接的端点总数；
(52)对由步骤(51a)获得的叠加图BS进行连通域标记，流程如下：
(52a)建立连通域标记矩阵
(52b)通过连通域分析算法和搜索算法确定叠加图BS中的n(n为正整数)个连通域，对第k(1≤k≤n)个连通域标记规则如下：当M2(i,j)＝0且BS(i,j)＝255时，将M2(i,j)置为k，按照相同规则遍历叠加图BS中第i行，第j列像素点的八邻域，直到没有满足条件的点为止；
(52c)按照步骤(52b)规则遍历叠加图BS，由此获得了标有n个连通域的标记图B(C,N)；
(53)对步骤(51e)所得端点集中的端点进行连线，流程如下：
(53a)任取端点集中的两个端点p,q，若p,q属于由步骤(52c)所得连通域标记图B(C,N)中的同一连通域，则计算p,q两点连线穿过连通域的像素个数count，计算公式如下：count＝Num(P(x,y))-Num(P(x,y)＝0)，其中，Num(P(x,y))表示p,q连线上像素点的总数，Num(P(x,y)＝0)表示p,q连线上像素值为0的点的总数；
(53b)计算步骤(53a)中两个端点p,q间的欧式距离L，具体计算公式如下：其中，/>和/>分别表示p对应由步骤(51a)获得的叠加图BS中的横坐标和纵坐标，/>和/>分别表示q对应由步骤(51a)获得的叠加图BS中的横坐标和纵坐标；
(53c)结合步骤(53a)中的count和(53b)中的L，连接由步骤(51e)所得端点集Cb中的端点，具体规则如下：任意选取Cb中的两个端点Pm、Pn，如果这两个端点位于由步骤(52c)所得连通域标记图B(C,N)中的同一连通域，那么进行以下判断：当(count＞β1)∧(L＜β2)，并且Pm,Pn连线上任意点的像素值都不为255，则连接端点Pm和Pn，其中，β1表示两点连线经过连通域标记图B(C,N)中像素值为255的点的数目阈值，β2表示两点之间的距离阈值；
(53d)重复步骤(53a)至(53c)，直到由步骤(51e)所得端点集中任意选取的两个端点都被处理完毕，由此获得了断线连接图B(b,s,e,c)；
步骤6、去除由步骤(53d)获得的图B(b,s,e,c)中剩余的断线和冗余的“毛刺”特征线，具体过程如下：
(61)使用步骤(45a)中的端点检测规则对图B(b,s,e,c)进行端点检测，并将检测到的端点在图B(b,s,e,c)中对应位置的像素值置0；
(62)重复步骤(61)，直到没有端点被检测到为止，由此获得了最终的建筑物边缘栅格图B(b,s,e,c,r)。
2.根据权利要求1所述的结合语义分割与边缘检测的高分辨率遥感建筑物提取方法，其特征在于，在所述步骤6之后还包括：步骤7、对由步骤(62)生成的建筑物边缘栅格图B(b,s,e,c,r)进行矢量化，生成建筑物面矢量文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110787385.0A CN113689445B (zh) | 2021-07-13 | 2021-07-13 | 结合语义分割与边缘检测的高分辨率遥感建筑物提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110787385.0A CN113689445B (zh) | 2021-07-13 | 2021-07-13 | 结合语义分割与边缘检测的高分辨率遥感建筑物提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113689445A CN113689445A (zh) | 2021-11-23 |
| CN113689445B true CN113689445B (zh) | 2024-02-13 |
Family
ID=78577005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110787385.0A Active CN113689445B (zh) | 2021-07-13 | 2021-07-13 | 结合语义分割与边缘检测的高分辨率遥感建筑物提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113689445B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114820668B (zh) * | 2022-03-09 | 2024-08-06 | 武汉大学 | 一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法 |
| CN114998612B (zh) * | 2022-06-02 | 2024-08-30 | 长光卫星技术股份有限公司 | 基于边缘检测的建筑物语义分割后处理方法、系统以及设备 |
| CN115049936B (zh) * | 2022-08-12 | 2022-11-22 | 深圳市规划和自然资源数据管理中心(深圳市空间地理信息中心) | 一种面向高分遥感影像的边界增强型语义分割方法 |
| CN116434071B (zh) * | 2023-06-07 | 2023-09-12 | 浙江国遥地理信息技术有限公司 | 一种规整化建筑掩膜的确定方法、确定装置、设备及介质 |
| CN116758107B (zh) * | 2023-08-07 | 2024-03-12 | 深圳市瑞沃德生命科技有限公司 | 一种细胞边界修补方法及其装置 |
| CN117576416B (zh) * | 2024-01-15 | 2024-05-14 | 北京阿丘机器人科技有限公司 | 工件边缘区域的检测方法、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019134252A1 (zh) * | 2018-01-03 | 2019-07-11 | 东南大学 | 结构裂缝自动化描绘及宽度精准测量方法与设备 |
| CN112084872A (zh) * | 2020-08-10 | 2020-12-15 | 浙江工业大学 | 一种融合语义分割与边缘的高分遥感目标精准检测方法 |
| CN112837290A (zh) * | 2021-02-03 | 2021-05-25 | 中南大学 | 一种基于种子填充算法的裂缝图像自动识别方法 |
-
2021
- 2021-07-13 CN CN202110787385.0A patent/CN113689445B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019134252A1 (zh) * | 2018-01-03 | 2019-07-11 | 东南大学 | 结构裂缝自动化描绘及宽度精准测量方法与设备 |
| CN112084872A (zh) * | 2020-08-10 | 2020-12-15 | 浙江工业大学 | 一种融合语义分割与边缘的高分遥感目标精准检测方法 |
| CN112837290A (zh) * | 2021-02-03 | 2021-05-25 | 中南大学 | 一种基于种子填充算法的裂缝图像自动识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 《Superpixel-Based Difference Representation Learning for Change Detection in Multispectral Remote Sensing Images》;Maoguo Gong 等;《IEEE Transactions on Geoscience and Remote Sensing》;第55卷(第5期);第2658 - 2673页 * |
| 《基于语义分割和实例分割的高分辨率遥感影像建筑物提取方法研究》;于志文;《中国优秀硕士学位论文全文数据库》;第1-67页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113689445A (zh) | 2021-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113689445B (zh) | 结合语义分割与边缘检测的高分辨率遥感建筑物提取方法 | |
| CN109615611B (zh) | 一种基于巡检影像的绝缘子自爆缺陷检测方法 | |
| CN109859171B (zh) | 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法 | |
| CN110599537A (zh) | 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统 | |
| CN108665487B (zh) | 基于红外和可见光融合的变电站作业对象和目标定位方法 | |
| CN107480649B (zh) | 一种基于全卷积神经网络的指纹汗孔提取方法 | |
| CN110197153B (zh) | 一种户型图中墙体自动识别方法 | |
| CN111652892A (zh) | 一种基于深度学习的遥感影像建筑物矢量提取及优化方法 | |
| CN106373128B (zh) | 一种嘴唇精确定位的方法和系统 | |
| CN106570874A (zh) | 一种结合图像局部约束与对象全局约束的图像标记方法 | |
| CN112801075B (zh) | 基于航摄影像的农村道路边界线的自动提取方法 | |
| CN102682428A (zh) | 一种基于方向场的指纹图像计算机自动化修补方法 | |
| CN105740844A (zh) | 基于图像识别技术的绝缘子炸裂故障检测方法 | |
| CN112733711A (zh) | 基于多尺度场景变化检测的遥感影像损毁建筑物提取方法 | |
| CN104966054A (zh) | 无人机可见光图像中的弱小目标检测方法 | |
| Yang et al. | Superpixel image segmentation-based particle size distribution analysis of fragmented rock | |
| CN117541652A (zh) | 一种基于深度lk光流法与d-prosac采样策略的动态slam方法 | |
| CN109558801B (zh) | 道路网络提取方法、介质、计算机设备及系统 | |
| CN118379621A (zh) | 一种基于无人机的大坝表面病害识别方法及系统 | |
| WO2024125434A1 (zh) | 基于区域一致性的建筑物主角度修正方法 | |
| CN114332644A (zh) | 一种基于视频卫星数据的大视场交通密度获取方法 | |
| CN111325724B (zh) | 隧道裂纹区域检测方法和装置 | |
| CN113298808A (zh) | 一种面向倾斜遥感图像中建筑物遮挡信息的修复方法 | |
| CN116452604B (zh) | 一种复杂变电站场景分割方法、设备及存储介质 | |
| CN109697418B (zh) | 用于场景复原的针对遥感影像路网提取图像的后处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |