CN114820668A - 一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法 - Google Patents

一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法 Download PDF

Info

Publication number
CN114820668A
CN114820668A CN202210221888.6A CN202210221888A CN114820668A CN 114820668 A CN114820668 A CN 114820668A CN 202210221888 A CN202210221888 A CN 202210221888A CN 114820668 A CN114820668 A CN 114820668A
Authority
CN
China
Prior art keywords
building
edge
convolution
concentric ring
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210221888.6A
Other languages
English (en)
Inventor
季顺平
魏世清
张韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210221888.6A priority Critical patent/CN114820668A/zh
Publication of CN114820668A publication Critical patent/CN114820668A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法，包括：构建样本库；构建基于同心环卷积的建筑物规则轮廓提取网络，包括建筑物特征编码模块、建筑物边缘初始化模块、基于同心环卷积的建筑物边缘调整模块、建筑物边缘去冗余模块；利用样本库和深度学习平台环境训练构建的深度学习网络模型，不同的任务模块分别采用对应的损失函数对网络进行监督；加载训练好的网络模型权重对新的遥感影像进行预测，并对预测的建筑物矢量边缘进行规则化，实现遥感影像上建筑物规则轮廓的提取。本发明对密集地物要素的区分能力更强，可以适应多种情况下的建筑物矢量边缘提取，极大程度的减少人工绘制建筑物边缘的工作量。

Description

一种端到端的基于同心环卷积的建筑物规则轮廓自动提取 方法
技术领域
本发明属于遥感影像处理领域，涉及一种用于卫星遥感影像的基于同心环卷积的建筑物规则轮廓端到端提取方法，可用于遥感影像建筑物提取、建筑物规则矢量边缘生成、建筑物变化检测等。
背景技术
以深度学习为代表的语义分割、目标检测等技术快速发展，在多个行业中展现出了巨大的潜力和优势。卫星遥感实时性强、覆盖范围广、信息量丰富，人工智能技术与卫星遥感影像相结合，实现数据全球化、处理实时化、服务智能化是国际研究前沿和热点。社会信息化与“智慧城市”的发展，无人驾驶对高精地图的渴求，测绘行业自动化发展的需要，使得基于卫星遥感影像的制图级建筑物轮廓提取成为一项多行业关注的技术。由于遥感成像机理、目标地物本身辐射特性和动态变化、背景环境的复杂性等原因，从遥感影像中自动提取高质量的规则建筑物矢量边缘一直是遥感领域的关键挑战之一，迄今尚无普适性的实用算法或系统出现。
目前主流的卫星遥感影像建筑物轮廓提取方法首先利用基于深度学习的语义分割方法，对遥感影像的每个像素进行密集预测，获取地表要素分割图；然后根据地物要素分割图的连通域进行目标单体矢量化。这种方案存在栅格分割图锯齿现象严重、栅格分割图转矢量的过程繁杂、边缘精度损失严重、对于建筑物等目标在密集区域难以准确区分单体等问题，导致建筑物矢量提取结果与人工绘制的矢量轮廓差异较大。此外，对于建筑物这种规则的目标，为了获取规则边缘，需要额外设计基于人工经验的规则化算法对矢量化后的边缘进行后处理，过程繁琐，难以全自动化。
发明内容
建筑物的轮廓可以用一系列环状节点来表示，通过调整边缘点的坐标位置可以直接得到建筑物的矢量边缘。因而，研究和实现一种端到端的基于同心环卷积的建筑物规则轮廓自动提取算法，对于完善基于制图级建筑物轮廓提取技术具有重要意义。
本发明针对现有技术的不足，提供了一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法。输入卫星遥感影像，该方法可以直接得到高质量的规则建筑物多边形。
实现本发明目的采用的技术方案包括如下步骤：
步骤1，根据已有的影像及建筑物覆盖矢量文件构建样本库；
步骤2，构建基于同心环卷积的建筑物规则轮廓提取网络，该网络用于学习遥感影像上建筑物目标的特征信息，并建立学习到的特征与目标输出间的映射关系；
步骤3，利用样本库和深度学习平台环境训练网络模型，并利用分别采用对应的损失函数对网络进行监督。
步骤4，通过加载训练好的网络模型权重对新的遥感影像进行预测，并对预测的建筑物矢量边缘进行规则化，可实现遥感影像上建筑物规则轮廓的提取。
进一步的，步骤1中样本库的构建，首先将原始大幅影像裁剪成瓦片(如512*512)，然后根据瓦片的坐标对矢量文件进行裁剪，获得一一对应的图像和矢量文件。最后将图像信息和矢量标注信息转换成程序可读取的格式，如json格式。
进一步的，步骤2中所述的基于同心环卷积的建筑物规则轮廓提取网络(Concentric loop convolutional neural network,CLP-CNN)结构包括：建筑物特征编码模块、建筑物边缘初始化模块、基于同心环卷积的建筑物边缘调整模块、建筑物边缘去冗余模块。其中，边缘调整模块利用动态匹配损失函数进行监督。特征提取部分的基础网络可使用当前流行的残差网络、堆叠沙漏网络、深层聚合网络等。
进一步的，步骤2中所述建筑物边缘初始化模块包括两个子模块：建筑物中心点热力图预测子模块和建筑物初始边缘预测子模块。建筑物中心点热力图预测子模块包括两个串联的卷积层，用于将特征编码模块得到的大小为H×W×C的特征图映射为大小为H×W×1的建筑物中心点热力图，H、W、C分别为特征图高、宽、通道数。第一层为一个卷积核大小为3×3的2维卷积(conv2d)和一个修正线性单元(Rectified Linear Unit,ReLU)，第二层为一个卷积核大小为1×1的2维卷积。建筑物初始边缘预测子模块包括两个串联的卷积层，用于将特征编码模块得到的大小为H×W×C的特征图映射为大小为H×W×(N×2)的建筑物初始边缘，其中N为预测边缘节点数目。取中心点热力图上的前K个峰值点，作为建筑物中心点位置。根据建筑物中心坐标，获取对应建筑物的边缘预测结果。将建筑物中心点坐标与边缘预测结果相加，得到建筑物初始边缘。
进一步的，步骤2中所述的基于同心环卷积的建筑物边缘调整模块，利用同心环卷积(Concentric loop convolution,CLP-Conv)结构来实现，其具体实现如下：获取建筑物初始边缘和中心点(当前轮廓的质心)坐标，基于中心点和相应的轮廓点生成一个s(s＝3)层的等距同心环，然后展开成网格。同心环点和中心点的坐标将在轮廓线更新时重新计算。根据网格点坐标，获取每个格网点在特征编码模块得到的特征图上对应的特征。具有N个顶点的建筑物边缘，其边缘点的特征表示可以看作周期性的离散信号。其中，每个顶点对应的一维特征可以表示为信号f，将单环扩展为s层的同心环，可以得到一个二维的周期性特征。同心环卷积结构被设计用来处理二维特征，即一个顶点区域的全部可用信息，以更准确的预测每个顶点的偏移。同心环卷积结构使用标准的二维卷积层来学习顶点的调整信息。为了为卷积操作创建一个周期性条件，需要将起始顶点的特征复制，并与最后一个顶点的末端串联。同心环卷积的具体结构包括5层残差卷积结构，其中每个残差卷积结构包括一个大小为3×5的二维卷积、一个修正线性单元，一个批量归一化处理操作；将残差结构得到的所有特征串联，输入到一个1×1二维卷积和最大值池化层，得到边缘点显著特征，并与残差结构得到的特征串联；最后通过2层1×1二维卷积和一层一维卷积得到最终的预测结果。同心环卷积结构的输出是一个坐标偏移，然后将之前轮廓边缘坐标相加，得到调整后的坐标。
进一步的，步骤2中所述的建筑物边缘去冗余模块，利用同心环卷积结构(Circular convolution,CIR-Conv)来实现，其具体实现方式如下。利用建筑物边缘调整模块对建筑物边缘进行两次调整之后，将调整后的边缘坐标和特征编码模块得到的特征图输到边缘去冗余模块。如果一个顶点与真实建筑角落的距离小于P(如P＝3)像素，则认为该顶点是有效顶点的。模块输出每个顶点的分类结果，输出时只保留类别为有效的建筑物顶点，作为网络最终的输出。建筑物边缘去冗余模块的具体结构包括5层残差卷积结构，其中每个残差卷积结构包括一个大小为3的一维卷积、一个修正线性单元，一个批量归一化处理操作；将残差结构得到的所有特征串联，输入到一个大小为1的一维卷积和最大值池化层，得到边缘点显著特征，并与残差结构得到的特征串联；最后通过3层大小为1的一维卷积和一个sigmoid激活层，得到最终的预测结果。
进一步的步骤3中，利用样本库和深度学习平台环境对网络模型进行训练时，对于不同的任务模块，需要利用不同的损失函数对进行监督。其中，建筑物边缘初始化模块中的建筑物中心点热力图预测子模块利用focal loss进行监督、建筑物初始边缘预测子模块利用smooth-l1进行监督，建筑物边缘去冗余模块利用focal loss进行监督，基于同心环卷积的建筑物边缘调整模块利用动态匹配损失(Dynamic matching loss)进行监督。
进一步的步骤3中动态匹配损失的具体实现方式如下：首先，对于每个预测边缘的节点，根据调整前的位置动态的寻找其与建筑物最近的真实边缘线的垂直交叉点。为了简化这个计算过程，首先对采样后的建筑物真实边缘进行十倍密集插值，然后为每个预测边缘节点为寻找最近的插值后的真实边缘节点。利用匹配的节点之间的距离来计算边界的损失：
ind_gti＝argmin(||pred_ini-gt_interpolationx||2) (1)
Figure BDA0003537789920000041
其中，pred_ini为调整前的第i个预测节点坐标，gt_interpolationx为十倍插值后的真值边缘的第x个节点，ind_gti为预测节点坐标匹配到的真值边缘节点索引，pred_outi为调整后的第i个预测节点坐标，n_pred为预测节点的数目，pred为预测边缘，gt为建筑物真实边缘。
其次，为了最大程度的保证边缘的细节质量，需要动态的为真实边缘的关键节点(未作任何插值采样操作的原始建筑物边缘节点)匹配最近的预测节点。利用匹配的节点之间的距离来计算边界的损失：
ind_predi＝argmin(||pred_inx-gt_simplificationi||2) (3)
Figure BDA0003537789920000042
其中gt_simplification为未作任何插值采样操作的原始建筑物边缘节点，ind_predi为真值边缘节点匹配到的预测节点坐标索引，n_gt_simplification为原始建筑物边缘节点数目。
将以上两项损失函数加权平均得到最终的损失：
Figure BDA0003537789920000043
利用损失函数对网络模型进行迭代训练，直到模型最优。对于不同的任务模块，利用不同的损失函数对进行监督，其中，建筑物边缘初始化模块中的建筑物中心点热力图预测子模块利用focal loss进行监督、建筑物初始边缘预测子模块利用smooth-l1进行监督，建筑物边缘去冗余模块利用focal loss进行监督，基于同心环卷积的建筑物边缘调整模块利用动态匹配损失进行监督。
模型训练完成后，将待预测的遥感影像切割为与训练样本大小一致的影像块，利用训练好的模型对影像块进行建筑物边缘提取，即可得到遥感影像建筑物高质量边缘提取结果。最后将所有影像块的预测结果拼接，便可得到完整影像的建筑物边缘提取结果。
与现有技术相比，本发明的优点和有益效果如下：
1、主流的基于语义分割方法进行建筑物边缘提取，其存在栅格分割图锯齿现象严重、栅格分割图转矢量过程繁杂、对于建筑物密集区域的难以准确区分单体等问题。相比基于语义分割方法进行建筑物边缘提取，基于边缘的端到端建筑物轮廓自动提取算法模型更加轻量，可以直接得到建筑物矢量边缘，无需繁杂的后处理，且密集区域的建筑物的单体区分能力更强。
2、目前主流的边缘初始化方法一般都有人为的设定目标的初始形状，如目标外包框初始化、椭圆初始化以及八边形初始化等。人为地设定目标初始边缘的形状，无法应对复杂多样的建筑物类型情况。本方法提出的边缘初始化模块可以充分发挥神经网络的学习能力，适应各种复杂的建筑物形状类型，可以极大降低后续边缘调整的难度。
3、目前主流的边缘调整方法均采用局部的信息交互来进行边缘调整，限制了网络获取实例目标全局信息的能力，导致网络无法获取正确的实例目标导向信息，影响地物要素边缘提取精度。边缘点包含丰富的边缘局部细节信息，而目标中心部分包含丰富的实例整体信息。本方法提出的基于同心环卷积的建筑物边缘调整模块，可以充分聚合实例内部的全局信息与边缘部分的细节信息，进而提升边缘定位的精度。
4、目前已有的方法均使用固定的节点匹配关系，来计算网络损失。这种方式计算方便，但是弊端明显。固定的节点匹配关系无法使预测边缘节点沿最短的路径向真实边缘移动，且无法根据调整后的建筑物边缘情况进行调整，极大提升了网络训练的难度，降低了网络的精度。本方法提出的动态匹配损失可以根据预测节点位置动态匹配标签节点，为每个预测节点寻找最近的真实边缘点方向，降低了边缘调整的难度。同时，通过预测点到真值点、真值点到预测点的双向匹配策略，可以在最大程度上保证边缘调整的细节表现。
附图说明
图1是本发明的神经网络结构示意图。
图2是本发明同心环卷积结构示意图。
图3是本发明建筑物边缘调整模块和去冗余模块的流程图。
图4是本发明基于同心环卷积的建筑物边缘调整模块的具体网络结构参数图。
图5是本发明建筑物边缘去冗余模块的具体网络结构参数图。
图6是本发明的实施例结果示意图。其中(a)(b)(c)分别为Christchurch、Kitsap和Tyrol地区数据结果。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
本发明提供的一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法，包括：
步骤1，首先将原始影像及其对应的建筑物覆盖矢量文件裁剪成瓦片，并将矢量文件转换为算法便于读取的json格式，构建训练样本库；
步骤2，构建发明提出的基于同心环卷积的建筑物规则轮廓提取网络；
步骤3，基于样本库和深度学习平台，利用本发明中提到的损失函数对网络进行监督训练，学习遥感影像中建筑物的特征；
步骤4，网络模型训练结束后，利用训练好网络模型对遥感影像进行预测，并对预测的建筑物矢量边缘进行规则化，得到高质量的遥感影像建筑物规则矢量轮廓。
进一步的，步骤1中样本库的构建，首先将原始大幅影像裁剪成瓦片(如512*512)，然后根据瓦片的坐标对矢量文件进行裁剪，获得一一对应的图像和矢量文件。最后将图像信息和矢量标注信息转换成程序可读取的格式，如json格式。
进一步的，步骤2中所述的基于同心环卷积的建筑物规则轮廓提取网络(Concentric loop convolutional neural network,CLP-CNN)结构，如图1所示，包括：建筑物特征编码模块、建筑物边缘初始化模块、基于同心环卷积的建筑物边缘调整模块、建筑物边缘去冗余模块。其中，边缘调整模块利用动态匹配损失函数进行监督。特征提取部分的基础网络可使用当前流行的残差网络、堆叠沙漏网络、深层聚合网络等。
进一步的，步骤2中所述建筑物边缘初始化模块包括两个子模块：建筑物中心点热力图预测子模块和建筑物初始边缘预测子模块。建筑物中心点热力图预测子模块包括两个串联的卷积层，用于将特征编码模块得到的大小为H×W×C的特征图映射为大小为H×W×1的建筑物中心点热力图，H、W、C分别为特征图高、宽、通道数。第一层为一个卷积核大小为3×3的2维卷积(conv2d)和一个修正线性单元(Rectified Linear Unit,ReLU)，第二层为一个卷积核大小为1×1的2维卷积。建筑物初始边缘预测子模块包括两个串联的卷积层，用于将特征编码模块得到的大小为H×W×C的特征图映射为大小为H×W×(N×2)的建筑物初始边缘，其中N为预测边缘节点数目。取中心点热力图上的前K个峰值点，作为建筑物中心点位置。根据建筑物中心坐标，获取对应建筑物的边缘预测结果。将建筑物中心点坐标与边缘预测结果相加，得到建筑物初始边缘。
进一步的，步骤2中所述的基于同心环卷积的建筑物边缘调整模块，利用同心环卷积(Concentric loop convolution,CLP-Conv)结构来实现，其具体实现如下：获取建筑物初始边缘和中心点(当前轮廓的质心)坐标，基于中心点和相应的轮廓点生成一个s(s＝3)层的等距同心环，然后展开成网格(如图2所示)。同心环点和中心点的坐标将在轮廓线更新时重新计算。根据网格点坐标，获取每个格网点在特征编码模块得到的特征图上对应的特征。具有N个顶点的建筑物边缘，其边缘点的特征表示可以看作周期性的离散信号。其中，每个顶点对应的一维特征可以表示为信号f。将单环扩展为s层的同心环，可以得到一个二维的周期性特征。同心环卷积结构被设计用来处理二维特征，即一个顶点区域的全部可用信息，以更准确的预测每个顶点的偏移。同心环卷积结构使用标准的二维卷积层来学习顶点的调整信息。为了为卷积操作创建一个周期性条件，需要将起始顶点的特征复制，并与最后一个顶点的末端串联。同心环卷积的具体结构包括5层残差卷积结构，其中每个残差卷积结构包括一个大小为3×5的二维卷积、一个修正线性单元，一个批量归一化处理操作；将残差结构得到的所有特征串联，输入到一个1×1二维卷积和最大值池化层，得到边缘点显著特征，并与残差结构得到的特征串联；最后通过2层1×1二维卷积和一层一维卷积得到最终的预测结果。同心环卷积结构的输出是一个坐标偏移，然后将之前轮廓边缘坐标相加，得到调整后的坐标。进一步的，步骤2中所述的建筑物边缘去冗余模块，利用同心环卷积结构(Circular convolution,CIR-Conv)来实现，其具体实现方式如下。利用建筑物边缘调整模块对建筑物边缘进行两次调整之后，将调整后的边缘坐标和特征编码模块得到的特征图输到边缘去冗余模块。如果一个顶点与真实建筑角落的距离小于P(如P＝3)像素，则认为该顶点是有效顶点的。模块输出每个顶点的分类结果，输出时只保留类别为有效的建筑物顶点，作为网络最终的输出。建筑物边缘去冗余模块的具体结构如图5所示，包括5层残差卷积结构，其中每个残差卷积结构包括一个大小为3的一维卷积、一个修正线性单元，一个批量归一化处理操作；将残差结构得到的所有特征串联，输入到一个大小为1的一维卷积和最大值池化层，得到边缘点显著特征，并与残差结构得到的特征串联；最后通过3层大小为1的一维卷积和一个sigmoid激活层，得到最终的预测结果。图3展示了建筑物边缘调整模块和边缘去冗余模块的总体流程。
进一步的步骤3中，利用样本库和深度学习平台环境对网络模型进行训练时，对于不同的任务模块，需要利用不同的损失函数对进行监督。其中，建筑物边缘初始化模块中的建筑物中心点热力图预测子模块利用focal loss进行监督、建筑物初始边缘预测子模块利用smooth-l1进行监督，建筑物边缘去冗余模块利用focal loss进行监督，基于同心环卷积的建筑物边缘调整模块利用动态匹配损失(Dynamic matching loss)进行监督。
进一步的步骤3中动态匹配损失的具体实现方式如下：首先，对于每个预测边缘的节点，根据调整前的位置动态的寻找其与建筑物最近的真实边缘线的垂直交叉点。为了简化这个计算过程，首先对采样后的建筑物真实边缘进行十倍密集插值，然后为每个预测边缘节点为寻找最近的插值后的真实边缘节点。利用匹配的节点之间的距离来计算边界的损失：
ind_gti＝argmin(||pred_ini-gt_interpolationx||2) (1)
Figure BDA0003537789920000081
其中，pred_ini为调整前的第i个预测节点坐标，gt_interpolationx为十倍插值后的真值边缘的第x个节点，ind_gti为预测节点坐标匹配到的真值边缘节点索引，pred_outi为调整后的第i个预测节点坐标，n_pred为预测节点的数目，pred为预测边缘，gt为建筑物真实边缘。
其次，为了最大程度的保证边缘的细节质量，需要动态的为真实边缘的关键节点(未作任何插值采样操作的原始建筑物边缘节点)匹配最近的预测节点。利用匹配的节点之间的距离来计算边界的损失：
ind_predi＝argmin(||pred_inx-gt_simplificationi||2) (3)
Figure BDA0003537789920000082
其中gt_simplification为未作任何插值采样操作的原始建筑物边缘节点，ind_predi为真值边缘节点匹配到的预测节点坐标索引，n_gt_simplification为原始建筑物边缘节点数目。
将以上两项损失函数加权平均得到最终的损失：
Figure BDA0003537789920000083
利用损失函数对网络模型进行迭代训练，直到模型最优。对于不同的任务模块，利用不同的损失函数对进行监督，其中，建筑物边缘初始化模块中的建筑物中心点热力图预测子模块利用focal loss进行监督、建筑物初始边缘预测子模块利用smooth-l1进行监督，建筑物边缘去冗余模块利用focal loss进行监督，基于同心环卷积的建筑物边缘调整模块利用动态匹配损失进行监督。模型训练完成后，将待预测的遥感影像切割为与训练样本大小一致的影像块，利用训练好的模型对影像块进行建筑物边缘提取，即可得到遥感影像建筑物高质量边缘提取结果。最后将所有影像块的预测结果拼接，并利用规则化算法进行优化，便可得到完整影像的建筑物边缘提取结果。
实施例：
参见图1，本发明一种端到端的基于同心环卷积的建筑物规则轮廓自动提取算法学习高分辨率遥感影像中的建筑物特征，然后对遥感影像建筑物矢量轮廓进行预测。按照图1，构建同心环卷积神经网络。为了训练神经网络模型，首先构建训练样本库。首先对遥感影像及其对应的建筑物矢量覆盖问你件进行裁剪，得到大小适当的瓦片(如256×256像素，或512×512像素)。然后将矢量文件处理成便于程序读取的json格式。
获得训练数据后，对神经网络进行迭代训练，直到模型最优。模型训练完成后，将待预测的遥感影像切割为与训练样本大小一致的影像块，利用训练好的模型对影像块进行建筑物边缘提取，即可得到遥感影像建筑物高质量边缘提取结果。最后将所有影像块的预测结果拼接，并利用规则化算法进行优化，便可得到完整影像的建筑物边缘提取结果。附图6为最后的结果示例。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法，其特征在于，包括如下步骤：
步骤1，根据已有的影像及建筑物覆盖矢量文件构建样本库；
步骤2，构建基于同心环卷积的建筑物规则轮廓提取网络；
所述网络包括建筑物特征编码模块、建筑物边缘初始化模块、基于同心环卷积的建筑物边缘调整模块、建筑物边缘去冗余模块；
其中，建筑物特征编码模块用于对原始遥感影像进行特征编码；
建筑物边缘初始化模块利用多个卷积层来实现，用于获得建筑物初始边缘；
基于同心环卷积的建筑物边缘调整模块利用同心环卷积结构来实现，用于对建筑物初始边缘进行调整；
建筑物边缘去冗余模块利用同心环卷积结构来实现，将建筑物边缘调整模块调整后的边缘坐标和特征编码模块得到的特征图输到边缘去冗余模块，以获得最终的建筑物轮廓预测结果；
步骤3，利用样本库和深度学习平台环境训练步骤2构建的网络，对于不同的任务模块分别采用对应的损失函数对网络进行监督；
步骤4，加载训练好的网络模型权重对新的遥感影像进行预测，并对预测的建筑物矢量边缘进行规则化，实现遥感影像上建筑物规则轮廓的提取。
2.如权利要求1所述的一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法，其特征在于：步骤1的具体实现方式如下；
首先将原始大幅影像裁剪成瓦片，然后根据瓦片的坐标对矢量文件进行裁剪，获得一一对应的图像和矢量文件，最后将图像信息和矢量标注信息转换成程序可读取的格式。
3.如权利要求1所述的一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法，其特征在于：建筑物特征编码模块使用当前流行的残差网络或堆叠沙漏网络或深层聚合网络。
4.如权利要求1所述的一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法，其特征在于：步骤2中所述建筑物边缘初始化模块包括两个子模块：建筑物中心点热力图预测子模块和建筑物初始边缘预测子模块；其中建筑物中心点热力图预测子模块包括两个串联的卷积层，用于将特征编码模块得到的大小为H×W×C的特征图映射为大小为H×W×1的建筑物中心点热力图，H、W、C分别为特征图高、宽、通道数，第一层为一个卷积核大小为3×3的2维卷积和一个修正线性单元，第二层为一个卷积核大小为1×1的2维卷积；建筑物初始边缘预测子模块包括两个串联的卷积层，用于将特征编码模块得到的大小为H×W×C的特征图映射为大小为H×W×(N×2)的建筑物初始边缘，其中N为预测边缘节点数目；取中心点热力图上的前K个峰值点，作为建筑物中心点位置，根据建筑物中心坐标，获取对应建筑物的边缘预测结果，将建筑物中心点坐标与边缘预测结果相加，得到建筑物初始边缘。
5.如权利要求1所述的一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法，其特征在于：基于同心环卷积的建筑物边缘调整模块中同心环卷积的具体结构包括5层残差卷积结构，其中每个残差卷积结构包括一个大小为3×5的二维卷积、一个修正线性单元，一个批量归一化处理操作；将残差结构得到的所有特征串联，输入到一个1×1二维卷积和最大值池化层，得到边缘点显著特征，并与残差结构得到的特征串联；最后通过2层1×1二维卷积和一层一维卷积得到最终的预测结果，同心环卷积结构的输出是一个坐标偏移，然后将之前轮廓边缘坐标相加，得到调整后的坐标。
6.如权利要求1所述的一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法，其特征在于：步骤2中所述的基于同心环卷积的建筑物边缘调整模块的具体处理如下；
获取建筑物初始边缘和中心点坐标，基于中心点和相应的轮廓点生成一个s层的等距同心环，然后展开成网格，同心环点和中心点的坐标将在轮廓线更新时重新计算；根据网格点坐标，获取每个格网点在特征编码模块得到的特征图上对应的特征，具有N个顶点的建筑物边缘，其边缘点的特征表示可以看作周期性的离散信号；其中，每个顶点对应的一维特征可以表示为信号f，将单环扩展为s层的同心环，可以得到一个二维的周期性特征。
7.如权利要求1所述的一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法，其特征在于：步骤2中所述的建筑物边缘去冗余模块，利用同心环卷积结构来实现，其具体实现方式如下；
利用建筑物边缘调整模块对建筑物边缘进行两次调整之后，将调整后的边缘坐标和特征编码模块得到的特征图输到建筑物边缘去冗余模块；如果一个顶点与真实建筑角落的距离小于P像素，则认为该顶点是有效顶点的；模块输出每个顶点的分类结果，输出时只保留类别为有效的建筑物顶点，作为网络最终的输出；建筑物边缘去冗余模块的具体结构包括5层残差卷积结构，其中每个残差卷积结构包括一个大小为3的一维卷积、一个修正线性单元，一个批量归一化处理操作；将残差结构得到的所有特征串联，输入到一个大小为1的一维卷积和最大值池化层，得到边缘点显著特征，并与残差结构得到的特征串联；最后通过3层大小为1的一维卷积和一个sigmoid激活层，得到最终的预测结果。
8.如权利要求1所述的一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法，其特征在于：步骤3中利用样本库和深度学习平台环境对网络模型进行训练时，对于不同的任务模块，利用不同的损失函数对进行监督，其中，建筑物边缘初始化模块中的建筑物中心点热力图预测子模块利用focal loss进行监督、建筑物初始边缘预测子模块利用smooth-l1进行监督，建筑物边缘去冗余模块利用focal loss进行监督，基于同心环卷积的建筑物边缘调整模块利用动态匹配损失进行监督。
9.如权利要求8所述的一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法，其特征在于：动态匹配损失的具体实现方式如下；
首先，对于每个预测边缘的节点，根据调整前的位置动态的寻找其与建筑物最近的真实边缘线的垂直交叉点；为了简化这个计算过程，首先对采样后的建筑物真实边缘进行十倍密集插值，然后为每个预测边缘节点为寻找最近的插值后的真实边缘节点，利用匹配的节点之间的距离来计算边界的损失：
ind_gti＝argmin(||pred_ini-gt_interpolationx||2) (1)
Figure FDA0003537789910000031
其中，pred_ini为调整前的第i个预测节点坐标，gt_interpolationx为十倍插值后的真值边缘的第x个节点，ind_gti为预测节点坐标匹配到的真值边缘节点索引，pred_outi为调整后的第i个预测节点坐标，n_pred为预测节点的数目，pred为预测边缘，gt为建筑物真实边缘；
其次，为了最大程度的保证边缘的细节质量，需要动态的为真实边缘的关键节点匹配最近的预测节点，所述关键节点为未作任何插值采样操作的原始建筑物边缘节点，利用匹配的节点之间的距离来计算边界的损失：
ind_predi＝argmin(||pred_inx-gt_simplificationi||2) (3)
Figure FDA0003537789910000032
其中gt_simplification为未作任何插值采样操作的原始建筑物边缘节点，ind_predi为真值边缘节点匹配到的预测节点坐标索引，n_gt_simplification为原始建筑物边缘节点数目；
将以上两项损失函数加权平均得到最终的损失：
Figure FDA0003537789910000033
利用损失函数对网络模型进行迭代训练，直到模型最优。
10.如权利要求1所述的一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法，其特征在于：步骤4中，将待预测的遥感影像切割为与训练样本大小一致的影像块，利用训练好的模型对影像块进行建筑物边缘提取，即可得到遥感影像建筑物高质量边缘提取结果，最后将所有影像块的预测结果拼接，得到完整影像的建筑物边缘提取结果。
CN202210221888.6A 2022-03-09 2022-03-09 一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法 Pending CN114820668A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210221888.6A CN114820668A (zh) 2022-03-09 2022-03-09 一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210221888.6A CN114820668A (zh) 2022-03-09 2022-03-09 一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法

Publications (1)

Publication Number Publication Date
CN114820668A true CN114820668A (zh) 2022-07-29

Family

ID=82529173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210221888.6A Pending CN114820668A (zh) 2022-03-09 2022-03-09 一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法

Country Status (1)

Country Link
CN (1) CN114820668A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116434009A (zh) * 2023-04-19 2023-07-14 应急管理部国家减灾中心(应急管理部卫星减灾应用中心) 一种损毁建筑物深度学习样本集的构建方法及系统
CN117333677A (zh) * 2023-12-01 2024-01-02 吉奥时空信息技术股份有限公司 一种建筑物矢量轮廓提取方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116434009A (zh) * 2023-04-19 2023-07-14 应急管理部国家减灾中心(应急管理部卫星减灾应用中心) 一种损毁建筑物深度学习样本集的构建方法及系统
CN116434009B (zh) * 2023-04-19 2023-10-24 应急管理部国家减灾中心(应急管理部卫星减灾应用中心) 一种损毁建筑物深度学习样本集的构建方法及系统
CN117333677A (zh) * 2023-12-01 2024-01-02 吉奥时空信息技术股份有限公司 一种建筑物矢量轮廓提取方法
CN117333677B (zh) * 2023-12-01 2024-04-16 吉奥时空信息技术股份有限公司 一种建筑物矢量轮廓提取方法

Similar Documents

Publication Publication Date Title
US20210390329A1 (en) Image processing method, device, movable platform, unmanned aerial vehicle, and storage medium
CN110245709B (zh) 基于深度学习和自注意力的3d点云数据语义分割方法
CN112149547B (zh) 基于图像金字塔引导和像素对匹配的遥感影像水体识别方法
CN111985376A (zh) 一种基于深度学习的遥感影像舰船轮廓提取方法
CN113657388B (zh) 一种融合图像超分辨率重建的图像语义分割方法
CN108428220B (zh) 静止轨道卫星序列遥感影像海岛礁区域自动几何校正方法
CN114820668A (zh) 一种端到端的基于同心环卷积的建筑物规则轮廓自动提取方法
CN109063549B (zh) 基于深度神经网络的高分辨率航拍视频运动目标检测方法
CN109712071B (zh) 基于航迹约束的无人机图像拼接与定位方法
KR102507501B1 (ko) 인공지능 기반 수계오염원 모니터링 시스템 및 방법
Crommelinck et al. Interactive cadastral boundary delineation from UAV data
CN115032648B (zh) 一种基于激光雷达密集点云的三维目标识别与定位方法
Liu et al. Building footprint extraction from unmanned aerial vehicle images via PRU-Net: Application to change detection
CN115497002A (zh) 一种多尺度特征融合的激光雷达遥感分类方法
US20230401837A1 (en) Method for training neural network model and method for generating image
CN111435086B (zh) 基于拼接图的导航方法和装置
KR102449031B1 (ko) 딥러닝을 이용한 실내 위치 측위 방법
CN114821192A (zh) 一种结合语义信息的遥感影像高程预测方法
JP7347696B2 (ja) 訓練装置、制御方法、及びプログラム
CN111127474B (zh) 机载LiDAR点云辅助的正射影像镶嵌线自动选取方法及系统
CN111435537B (zh) 模型训练方法、装置及基于拼接图的位姿优化方法、装置
CN112418344A (zh) 一种训练方法、目标检测方法、介质及电子设备
CN113724278A (zh) 基于边缘检测的交通道路图像分割方法、系统及计算机可读存储介质
Hu et al. Cascaded deep neural networks for predicting biases between building polygons in vector maps and new remote sensing images
CN117237623B (zh) 一种无人机遥感图像语义分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination