CN113139453A - 一种基于深度学习的正射影像高层建筑基底矢量提取方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的正射影像高层建筑基底矢量提取方法，首先采用一个卷积神经网络从遥感影像中提取建筑物的深度特征，并将候选区域生成网络模型确定的建筑物整体目标的框选范围进行抽取和重采样，生成特征图；采用Faster‑RCNN模型，对候选区特征图进行全连接，对候选区内建筑物的存在概率及其外包矩形参数进行预测；对候选区特征图进行全卷积处理，生成屋顶轮廓矢量；最后根据三类分割结果进行特征池化，对建筑物投影差偏移向量进行预测，并基于偏移向量估计值将屋顶矢量移动至建筑基底区域。本发明能够自适应地对正射影像中高层建筑屋顶轮廓和基底矢量之间存在的投影差进行补偿，进而提升高层建筑物单像自动测图结果的精度与应用价值。

Description

一种基于深度学习的正射影像高层建筑基底矢量提取方法

技术领域

本发明涉及测绘科学与技术领域，具体涉及一种基于深度学习的正射影像高层建筑基底矢量提取方法。

背景技术

在自动立体测图相关关键技术尚未取得明显突破的情况下，现有基于深度学习的建筑物检测方法主要专注于从单幅影像中识别屋顶，将其轮廓作为目标位置的近似表示；然而因为投影差的存在，正射影像中建筑物基底相比屋顶轮廓更能精确表示其位置，二者之间的偏差往往在高层建筑中表现得尤为明显。虽然采用无投影差的真正射影像理论上可解决该问题，但前提是获取到高质量数字表面模型用于真正射制作，目前这对于许多应用场景(尤其是在处理卫星影像数据时)仍十分困难。考虑到高层建筑在中国等国家的普遍存在，有必要在现有深度学习方案中纳入对投影差的考量，明确以建筑物基底矢量为提取目标，进而改善正射影像单像测图应用中大投影差高层建筑的矢量提取精度。

目前大多数遥感影像建筑物检测深度学习方案之所以专注于屋顶像元或轮廓的提取，其中一个重要原因在于机器视觉系统难以直接识别建筑物基底。由于存在遮挡，即使是人类也很难跳过屋顶轮廓的测量直接标绘其基底矢量；当直接采用基底矢量作为参考样本对模型进行训练时，模型的预测结果通常无法精确还原矢量轮廓细节。相较而言，可行性更高的方式则是首先提取屋顶轮廓，然后再通过偏移校正的方式对可能存在的投影差进行补偿。近年来部分研究在基于CNN影像特征的建筑物矢量偏移校正方面已取得较好的效果，但这些研究的主要目的是提高开源矢量数据与影像中屋顶(而非基底)矢量的配准精度，如何在深度学习框架中解决投影差导致的屋顶/基底偏移问题目前尚无明确解决方案。

发明内容

本发明要解决的技术问题在于，针对现有技术忽略正射影像中的投影差以及难以得到精确的高层建筑物基底轮廓矢量结果的缺陷，提供一种基于深度学习的正射影像高层建筑基底矢量提取方法，具体包括以下步骤：

S1、构建遥感影像建筑物样本集；

S2、利用建筑物样本集，以ResNet为骨架构建多任务CNN模型，输入正射影像和范围一致的建筑物屋顶和墙面标签影像、建筑物整体外接矩形坐标以及投影差偏移向量，通过一系列的卷积、池化操作，提取遥感影像中建筑物的特征；

S3、使用候选区域生成网络RPN模块确定建筑物包括屋顶和墙面的整体目标框选范围，得到建筑物整体外接矩形参数，并基于RPN模型预测的候选区域，对全卷积网络骨架的输出特征进行抽取和重采样，为每个候选区生成特征图；

S4、采用Faster-RCNN模型结构，对候选区特征图进行全连接加密，并对候选区内建筑物的存在概率进行预测；

S5、对建筑物存在概率高的候选区特征图进行全卷积处理，生成区域内建筑物屋顶、墙面、背景三个类别的语义分割结果，并对屋顶的分割结果进行轮廓提取与规则化处理，生成屋顶轮廓矢量；

S6、根据三类分割结果进行特征池化，将三类特征图级联，进行多次卷积和全连接操作，对建筑物投影差偏移向量进行预测，并基于偏移向量估计值将屋顶轮廓矢量移动至建筑基底区域。

进一步地，所述感影像建筑物样本集中包括多张高分遥感影像；其中，针对每张高分遥感影像，所述建筑样本集还包括与高分遥感影像范围一致的建筑物屋顶和墙面矢量、建筑物整体外接矩形范围以及投影差偏移向量实际计算值。

进一步地，所述遥感影像建筑物样本的制作，具体包括以下步骤：

S11、进行数据准备，构建筑物样本，所述建筑样本需标绘建筑屋顶轮廓矢量，再将其拷贝并移动至基底位置，并计算移动的距离，该距离以投影坐标为计算，在矢量栅格化后转化为影像坐标的距离；

S12、基于屋顶和基底矢量节点的对应关系，连接所有同名点，则每两个相邻同名点对即构成一个建筑立面，将所有建筑立面融合并减去屋顶矢量，进而得到墙面矢量，随后，将建筑物屋顶和墙面矢量栅格化后形成标签图像；

S13、将屋顶标签与建筑立面融合得到建筑物整体标签，进而获取建筑物整体外接矩形坐标；

S14、投影差偏移向量直接以标绘时的矢量移动距离为真值，对于无明显投影差和墙面标签的低矮建筑，设定其偏移向量为0。

进一步地，所述RPN模型在每个遍历窗口实施预测前均生成k个模板窗口，模板的个数和尺寸大小可根据建筑物的一般特点设置，因此在每个遍历位置，模型均输出k长度的存在概率向量和4k长度的矩形参数向量；前者表示每个模板窗口内存在建筑物对象的可能性，后者表示各个模板窗口的位置修正参数。

进一步地，所述多任务CNN模型的输出项包括建筑物屋顶和墙面矢量、建筑物整体外接矩形范围、投影差预测偏移向量以及建筑物基底矢量。

进一步地，根据所述输出项，利用损失函数计算所述多任务CNN模型的损失值Loss，具体的数学公式为：

L_sample＝L_cls+L_box+L_mask+L_offset

其中，L_cls为预测类别与地表真实类别差异的损失，具体的数学公式为：

其中，i表示样本序号，p_i表示目标框是否为建筑物整体的预测概率，

表示与其对应的真值，存在建筑物为1，不存在建筑物为0,；

L_box为预测框与样本真值框之间位置偏差的损失函数，具体的数学公式为：

t_x＝(x-x_a)/w_a,t_y＝(y-y_a)/h_a,t_w＝log(w/w_a),t_h＝log(h/h_a),

其中，t_i表示当前矩形位置的4个改正参数预测值，

表示该矩形为正样本时的改正参数真值，x、y、w和h分别表示矩形的起点坐标以及宽和高；x、x_a和x^*分别表示预测矩形、矩形模板以及矩形真值的x坐标，y、w和h同理；

L_mask为模型预测像素标签与真值标签差异的损失函数，由于对目标框进行一次三类别语义分割，其计算方法为逐像素求多分类交叉熵，具体的数学公式为：

其中，K为像素分割类别总数，K＝3；y_i为该像素的是否为第i类别的预测概率值，

对应其真值，属于第i类别为1，不属于第i类别为0；

L_offset为模型预测投影差偏移向量与实际偏移向量之间差异的损失函数，计算方式与L_box相似，即：

其中x和y表示投影差偏移向量的预测值，x₀和y₀表示投影差偏移向量的参考值，x_min、y_min、x_max和y_max表示投影差偏移向量的最小/最大值，具体值根据屋顶轮廓移动过程中不能超出目标检测外接矩形框范围这一条件推算。

进一步地，对损失函数应用梯度下降算法，当损失值Loss趋近于收敛时，所述多任务CNN模型训练完毕，并将其应用于后续的执行步骤中，此外，训练过程中还需根据试验情况对包括正负样本比例、学习率、批次大小以及权值衰减系数超参数进行调试。

进一步地，所述S5中，在对屋顶的分割结果进行轮廓提取与规则化处理时，需要同时满足以下约束条件：

(1)建筑物的任意一条边需要大于一定长度，否则该条边需要被合并至相邻的较长的边；

(2)建筑物的连续两条边有较大可能形成90度夹角，因此需将矢量多边形中非常接近于90度的夹角修正为90度；

(3)建筑物连续的两条边不会形成太尖锐的夹角，因此设定矢量多边形的内角需小于一定值；

(4)考虑对称性，建筑物的内角中会存在少数几个主导角度θ_d，意味着建筑物的任一内角θ可依据公式θ＝θ_d±nπ/2进行角度修正。

本发明提供的技术方案带来的有益效果是：(1)本发明能够在完成遥感正射影像中建筑物目标检测、语义分割以及屋顶轮廓矢量提取的同时，自适应地对高层建筑物的屋顶轮廓和基底矢量之间可能存在的投影差进行补偿，进而提升高层建筑物单像自动测图结果的精度与应用价值；

(2)本发明提供的针对所提出多任务CNN学习框架的样本制作，可较为便利地获取训练所提出学习框架所需的屋顶和墙面样本；针对所提出多任务CNN学习框架的模型训练方法，可实现模型的端对端训练和预测；有益于提升当前深度学习模型对中国等国家普遍存在的高层建筑的单像矢量自动测图精度。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明一种基于深度学习的正射影像高层建筑基底矢量提取方法中多任务深度学习框架结构图；

图2是本发明一种基于深度学习的正射影像高层建筑基底矢量提取方法中建筑物基底矢量提取方法流程图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

请参考图1，本发明公开的一种基于深度学习的正射影像高层建筑基底矢量提取方法，步骤包括：

S1、构建遥感影像建筑物样本集；所述样本集中包括若干张高分遥感影像；其中，针对每张高分遥感影像，所述建筑样本集还包括与高分遥感影像范围一致的建筑物屋顶和墙面矢量、建筑物整体外接矩形范围以及投影差实际偏移向量；

请参考图2，构建遥感影像建筑物样本集包括以下步骤：

S11、标绘建筑屋顶轮廓矢量，再将其拷贝并移动至基底位置，并计算移动的距离，该距离以投影坐标为计算，在矢量栅格化后转化为影像坐标的距离；

S12、基于屋顶和基底矢量节点的对应关系，连接所有同名点，则每两个相邻同名点对即构成一个建筑立面，将所有建筑立面融合并减去屋顶矢量，进而得到墙面矢量，随后，将建筑物屋顶和墙面矢量栅格化后形成标签图像；

S13、将屋顶标签与建筑立面融合可得到建筑物整体标签，进而可获取建筑物整体外接矩形坐标；

建筑物样本集构建完成后，可按照一定的比例将样本集划分为训练集与测试集，训练集与测试集比例可设置为7：3，70％的数据用于训练，30％的数据用于考察模型的性能。

S2、利用建筑物样本集，将每项配准建筑物矢量栅格化为标签图像，并以所得的标签图像作为参考真值，输入训练FCN网络为骨架模型。

以ResNet为骨架构建多任务CNN模型，输入正射影像和范围一致的建筑物屋顶和墙面标签影像、建筑物整体外接矩形坐标以及投影差偏移向量，通过一系列的卷积、池化操作，提取遥感影像中建筑物的特征；

本实施例中，用于提取遥感影像建筑物特征的全卷积网络通过一系列的卷积、池化，以及包括一个金字塔场景解析网络(Pyramid Scene Parsing Network,PSPNet)模块，提取并融合遥感影像中建筑物高维度的复杂特征与低维度的浅层特征，生成遥感影像建筑物特征图；

所述多任务CNN模型的输出项包括建筑物屋顶和墙面矢量、建筑物整体外接矩形范围、投影差预测偏移向量以及建筑物基底矢量。

根据所述输出项，利用损失函数计算所述多任务CNN模型的损失值Loss，具体的数学公式为：

L_xample＝L_cls+L_box+L_mask+L_offset

其中，L_cls为预测类别与地表真实类别差异的损失，具体的数学公式为：

其中，i表示样本序号，p_i表示目标框是否为建筑物整体的预测概率，

表示与其对应的真值(存在建筑物为1，不存在建筑物为0)；

L_box为预测框与样本真值框之间位置偏差的损失函数，具体的数学公式为：

t_x＝(x-x_a)/w_a,t_y＝(y-y_a)/h_a,t_w＝log(w/w_a),t_h＝log(h/h_a),

其中，t_i表示当前矩形位置的4个改正参数预测值，

表示该矩形为正样本时的改正参数真值，x、y、w和h分别表示矩形的起点坐标以及宽和高；x、x_a和x^*分别表示预测矩形、矩形模板以及矩形真值的x坐标(y、w和h同理)；

L_mask为模型预测像素标签与真值标签差异的损失函数，由于会对目标框进行一次三类别语义分割(屋顶、墙面、背景)，其计算方法为逐像素求多分类交叉熵，具体的数学公式为：

其中，K为判断类别的总数(该任务中为3)；y_i为该像素的是否为第i类别的预测概率值，

对应其真值(属于第i类别为1，不属于第i类别为0)；

L_offset为模型预测投影差偏移量与实际偏移向量之间差异的损失函数，计算方式与L_box相似，也采用对粗差相对不敏感的方式以防止梯度爆炸效应，即：

其中x和y表示投影差偏移向量的预测值，x₀和y₀表示投影差偏移向量的参考值，x_min、y_min、x_max和y_max表示投影差偏移向量的最小/最大值(具体值根据屋顶轮廓移动过程中不能超出目标检测外接矩形框范围这一条件推算)。

对损失函数应用梯度下降算法，当损失值Loss趋近于收敛时，所述多任务CNN模型训练完毕，并将其应用于后续的执行步骤中，此外，训练过程中还需根据试验情况对正负样本比例、学习率、批次大小以及权值衰减系数等超参数进行调试。

S3、使用候选区域生成网络模块确定建筑物整体(包括屋顶和墙面)目标的框选范围，基于RPN模型预测的候选区域，对FCN骨架的输出特征进行抽取和重采样，为每个候选区生成特征图；

S4、采用Faster-RCNN模型结构，对候选区特征图进行全连接加密，并对候选区内建筑物的存在概率进行预测；

具体的，RPN在每个遍历窗口实施预测前均会生成k个模板窗口，模板的个数和尺寸大小可根据建筑物的一般特点设置；因此在每个遍历位置，模型均会输出k长度的存在概率向量(经由Sigmoid激活函数计算)和4k长度的矩形参数向量；前者表示每个模板窗口内存在建筑物对象的可能性，后者表示各个模板窗口的位置修正参数；

S5、对建筑物存在概率高的候选区特征图进行全卷积处理，生成区域内建筑物屋顶/墙面/背景三个类别的语义分割结果，并将屋顶的分割结果进行轮廓提取与规则化转换为矢量；

所述S5中，在对屋顶的分割结果进行轮廓提取与规则化处理时，需要同时满足以下约束条件：

(1)建筑物的任意一条边需要大于一定长度，否则该条边需要被合并至相邻的较长的边；

(2)建筑物的连续两条边有较大可能形成90度夹角，因此需将矢量多边形中非常接近于90度的夹角修正为90度；

(3)建筑物连续的两条边不会形成太尖锐的夹角，因此设定矢量多边形的内角需小于一定值；

(4)考虑对称性，建筑物的内角中会存在少数几个主导角度θ_d，意味着建筑物的任一内角θ可依据公式θ＝θ_d±nπ/2进行角度修正。

S6、对三类分割结果级联，并进行若干卷积、池化和全连接操作，对建筑物投影差偏移进行预测，将屋顶轮廓矢量结果移动投影差偏移量至建筑基底区域。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (8)

1.一种基于深度学习的正射影像高层建筑基底矢量提取方法，其特征在于，包括以下步骤：

S1、构建遥感影像建筑物样本集；

S2、利用建筑物样本集，以ResNet为骨架构建多任务CNN模型，输入正射影像和范围一致的建筑物屋顶和墙面标签影像、建筑物整体外接矩形坐标以及投影差偏移向量，通过一系列的卷积、池化操作，提取遥感影像中建筑物的特征；

S3、使用候选区域生成网络RPN模块确定建筑物包括屋顶和墙面的整体目标框选范围，得到建筑物整体外接矩形参数，并基于RPN模型预测的候选区域，对全卷积网络骨架的输出特征进行抽取和重采样，为每个候选区生成特征图；

S4、采用Faster-RCNN模型结构，对候选区特征图进行全连接加密，并对候选区内建筑物的存在概率进行预测；

S5、对建筑物存在概率高的候选区特征图进行全卷积处理，生成区域内建筑物屋顶、墙面、背景三个类别的语义分割结果，并对屋顶的分割结果进行轮廓提取与规则化处理，生成屋顶轮廓矢量；

S6、根据三类分割结果进行特征池化，将三类特征图级联，进行多次卷积和全连接操作，对建筑物投影差偏移向量进行预测，并基于偏移向量估计值将屋顶轮廓矢量移动至建筑基底区域。

2.根据权利要求1所述的一种一种基于深度学习的正射影像高层建筑基底矢量提取方法，其特征在于，所述感影像建筑物样本集中包括多张高分遥感影像；其中，针对每张高分遥感影像，所述建筑样本集还包括与高分遥感影像范围一致的建筑物屋顶和墙面矢量、建筑物整体外接矩形范围以及投影差偏移向量实际计算值。

3.根据权利要求1所述的一种基于深度学习的正射影像高层建筑基底矢量提取方法，其特征在于，所述遥感影像建筑物样本的制作，具体包括以下步骤：

S11、进行数据准备，构建筑物样本，所述建筑样本需标绘建筑屋顶轮廓矢量，再将其拷贝并移动至基底位置，并计算移动的距离，该距离以投影坐标为计算，在矢量栅格化后转化为影像坐标的距离；

S12、基于屋顶和基底矢量节点的对应关系，连接所有同名点，则每两个相邻同名点对即构成一个建筑立面，将所有建筑立面融合并减去屋顶矢量，进而得到墙面矢量，随后，将建筑物屋顶和墙面矢量栅格化后形成标签图像；

S13、将屋顶标签与建筑立面融合得到建筑物整体标签，进而获取建筑物整体外接矩形坐标；

S14、投影差偏移向量直接以标绘时的矢量移动距离为真值，对于无明显投影差和墙面标签的低矮建筑，设定其偏移向量为0。

4.根据权利要求1所述的一种基于深度学习的正射影像高层建筑基底矢量提取方法，其特征在于，所述RPN模型在每个遍历窗口实施预测前均生成k个模板窗口，模板的个数和尺寸大小可根据建筑物的一般特点设置，因此在每个遍历位置，模型均输出k长度的存在概率向量和4k长度的矩形参数向量；前者表示每个模板窗口内存在建筑物对象的可能性，后者表示各个模板窗口的位置修正参数。

5.根据权利要求1所述的一种基于深度学习的正射影像高层建筑基底矢量提取方法，其特征在于，所述多任务CNN模型的输出项包括建筑物屋顶和墙面矢量、建筑物整体外接矩形范围、投影差预测偏移向量以及建筑物基底矢量。

6.根据权利要求5所述的一种基于深度学习的正射影像高层建筑基底矢量提取方法，其特征在于，根据所述输出项，利用损失函数计算所述多任务CNN模型的损失值Loss，具体的数学公式为：

L_sample＝L_cls+L_box+L_mask+L_offset

其中，L_cls为预测类别与地表真实类别差异的损失，具体的数学公式为：

其中，i表示样本序号，p_i表示目标框是否为建筑物整体的预测概率，

表示与其对应的真值，存在建筑物为1，不存在建筑物为0,；

L_box为预测框与样本真值框之间位置偏差的损失函数，具体的数学公式为：

t_x＝(x-x_a)/w_a,t_y＝(y-y_a)/h_a,tw＝log(w/w_a),t_h＝log(h/h_a),

其中，t_i表示当前矩形位置的4个改正参数预测值，

表示该矩形为正样本时的改正参数真值，x、y、w和h分别表示矩形的起点坐标以及宽和高；x、x_a和x^*分别表示预测矩形、矩形模板以及矩形真值的x坐标，y、w和h同理；

L_mask为模型预测像素标签与真值标签差异的损失函数，由于对目标框进行一次三类别语义分割，其计算方法为逐像素求多分类交叉熵，具体的数学公式为：

其中，K为像素分割类别总数，K＝3；y_i为该像素的是否为第i类别的预测概率值，

对应其真值，属于第i类别为1，不属于第i类别为0；

L_offset为模型预测投影差偏移向量与实际偏移向量之间差异的损失函数，计算方式与L_box相似，即：

其中x和y表示投影差偏移向量的预测值，x₀和y₀表示投影差偏移向量的参考值，x_min、y_min、x_max和y_max表示投影差偏移向量的最小/最大值，具体值根据屋顶轮廓移动过程中不能超出目标检测外接矩形框范围这一条件推算。

7.根据权利要求6所述的一种基于深度学习的正射影像高层建筑基底矢量提取方法，其特征在于，对损失函数应用梯度下降算法，当损失值Loss趋近于收敛时，所述多任务CNN模型训练完毕，并将其应用于后续的执行步骤中，此外，训练过程中还需根据试验情况对包括正负样本比例、学习率、批次大小以及权值衰减系数超参数进行调试。

8.根据权利要求1所述的一种基于深度学习的正射影像高层建筑基底矢量提取方法，其特征在于，所述S5中，在对屋顶的分割结果进行轮廓提取与规则化处理时，需要同时满足以下约束条件：

(1)建筑物的任意一条边需要大于一定长度，否则该条边需要被合并至相邻的较长的边；

(2)建筑物的连续两条边有较大可能形成90度夹角，因此需将矢量多边形中非常接近于90度的夹角修正为90度；

(3)建筑物连续的两条边不会形成太尖锐的夹角，因此设定矢量多边形的内角需小于一定值；

(4)考虑对称性，建筑物的内角中会存在少数几个主导角度θ_d，意味着建筑物的任一内角θ可依据公式θ＝θ_d±nπ/2进行角度修正。

Images