CN115100652A

CN115100652A - 基于高分遥感图像的电子地图自动化生成方法

Info

Publication number: CN115100652A
Application number: CN202210921803.5A
Authority: CN
Inventors: 冯鹏铭; 贺广均; 原皓天; 金世超; 张鹏; 符晗; 常江; 刘世烁; 张拯宁; 王剑; 梁银川
Original assignee: Beijing Institute of Satellite Information Engineering
Current assignee: Beijing Institute of Satellite Information Engineering
Priority date: 2022-08-02
Filing date: 2022-08-02
Publication date: 2022-09-23

Abstract

本发明涉及一种基于高分遥感图像的电子地图自动化生成方法，包括：建立全景分割模型，利用全景分割模型提取遥感图像的特征，生成遥感图像特征图；利用全景分割模型的实例分割分支对遥感图像特征图的目标进行实例标注，利用全景分割模型的语义分割分支对遥感图像特征图的地物要素进行语义标注，获得实例标签和语义标签；对实例标签和语义标签进行空间层级排序，获取每个标签的像素排序得分；利用像素排序得分为基准生成全景分割图像；利用边缘优化算法对全景分割图像进行优化；利用位图矢量化成图方法对优化后的全景分割图像生成电子地图。本发明可由高分辨率遥感影像生成电子地图，提升对目标实例分割和地物要素边缘的提取和优化能力。

Description

基于高分遥感图像的电子地图自动化生成方法

技术领域

本发明涉及遥感图像处理与应用技术领域，尤其涉及一种基于高分遥感图像的电子地图自动化生成方法。

背景技术

在遥感应用服务链中，在图像中提取关注的信息并形成具备知识的地图是遥感数据到知识转化的关键技术。天基遥感图像提取地表细节信息多采用手工勾绘的人工方式或人机交互的半自动方式，自动化程度低，严重制约了空间信息数据的利用水平。利用全景分割技术从海量遥感图像中提取特定场景和感兴趣的目标信息，并形成具有从信息转化成知识的地图，具有极其重要的理论和实际应用价值。基于高分遥感图像的地图智能化生成技术即通过对高分遥感图像中的目标提取、像素级的分割，获取图像中的目标和场景信息，并利用位图矢量化和高性能自动成图技术获取带有知识的电子地图，从而在获取专注的目标的同时达到对整幅遥感图像中每个像素点进行分类提取的目的，为智能化地图生成提供了核心技术。现有技术还没有实现基于高分遥感图像的电子地图生成方法。

发明内容

为解决上述现有技术存在的技术问题，本发明的目的在于提供一种基于高分遥感图像的电子地图自动化生成方法。

为实现上述发明目的，本发明的技术方案是：

本发明提供一种基于高分遥感图像的电子地图自动化生成方法，包括：

建立全景分割模型，利用所述全景分割模型提取遥感图像的特征，生成遥感图像特征图；

利用所述全景分割模型的实例分割分支对所述遥感图像特征图的目标进行实例标注，利用所述全景分割模型的语义分割分支对所述遥感图像特征图的地物要素进行语义标注，获得实例标签和语义标签；

对所述实例标签和所述语义标签进行空间层级排序，获取每个标签的像素排序得分；

利用所述像素排序得分为基准生成全景分割图像；

利用边缘优化算法对所述全景分割图像进行优化；

利用位图矢量化成图方法对优化后的全景分割图像生成电子地图。

根据本发明的一个方面，利用所述全景分割模型提取遥感图像的特征，生成遥感图像特征图，包括：

利用所述全景分割模型的稠密连接卷积神经网络作为基准网络框架提取所述遥感图像的特征；

在所述稠密连接卷积神经网络的特征提取主干网络中使用空洞卷积，形成空洞特征金字塔，并利用密集级联的方式将所述特征进行级联融合；

设置不同大小的空洞率，获取代表不同感受野的相同尺度的遥感图像特征图。

根据本发明的一个方面，利用所述全景分割模型的实例分割分支对所述遥感图像特征图的目标进行实例标注，获得实例标签，包括：

利用目标候选框提取网络在所述遥感图像特征图上生成多个目标候选区域；

提取所述多个目标候选区域的原始特征图，并对所述原始特征图进行调整，生成大小统一的特征图；

利用全卷积网络对每个大小统一的特征图逐像素进行类别预测，获得所述目标的实例标签。

根据本发明的一个方面，利用所述全景分割模型的语义分割分支对所述遥感图像特征图的地物要素进行语义标注，获得语义标签，包括：

在获取所述目标的实例标签的同时，在所述遥感图像特征图中建立语义分割分支网络，提取所述遥感图像中地物要素的语义信息。

根据本发明的一个方面，对所述实例标签和所述语义标签进行空间层级排序，获取每个标签的像素排序得分，包括：

将所述实例标签和所述语义标签投影到原始的遥感图像特征图中，其中不同类别的实例标签和语义标签被映射到不同通道中，特征图初始化时取值为0，被映射的像素点取值为1；

利用卷积层对映射后的特征图进行变换，输出类别排序得分预测图；

利用以下公式计算某个实例目标和语义要素的所有像素点的平均得分，得到所述实例目标和所述语义要素的预测排序得分，

其中，

表示在像素点（i，j）、类别为cls的目标排序得分，并使用softmax函数归一化得到，

表示前后背景的预测结果，如果像素点属于实例目标或语义要素的前景，则

取值为１。

根据本发明的一个方面，利用所述像素排序得分为基准生成全景分割图像，包括：

将语义分割分支得到的语义标签中所有属于目标类别的像素点，在全景分割结果对应的类别通道中设置为背景类，在全景分割结果对应的实例通道中，设置实例识别号为1，填充物类别的像素点保持不变；

对所述实例标签，按照每个实例的得分从大到小进行排序，并依次将每个实例目标掩膜

对应的像素点的类别通道值设为

，实例通道值设置为i，如果排序靠后的实例目标像素点位置已经被排序靠前的实例目标占用，则丢弃这些像素点。

根据本发明的一个方面，利用边缘优化算法对所述全景分割图像进行优化，包括：

将所述全景分割模型的所有网络输出图像的像素点都划分为边缘像素点，不同像素点的边缘排序R不同，对于上、下、左、右存在不属于该类别的最外围像素点，其边缘排序为R=1；

将所述最外围像素点设置为背景类，并使用相同的策略处理剩下的像素点，得到边缘排序为

，

，…，

的像素点；

按照如下公式定义某一像素点的权重图，

所述权重图的大小为H×W，即原图大小，权重图每个像素点的值为

，其中，ｋ表示该像素点在边缘像素点的排序位置；

基于以上定义，定义如下公式的边缘友好型度量标准，

所述度量标准输入真实标注、预测结果，以及像素点权重图定义得到的权重图；

在实际算法实现中，为了节省存储空间，对于权重图只存储边缘像素点的权重值，即

；对于误检的像素点，将p从真实标注中提取出非该类别区域，并与该类别的预测结果做交集，得到误检的像素点，并在计算过程中将其权重置为１。

根据本发明的一个方面，利用位图矢量化成图方法对优化后的全景分割图像生成电子地图，包括：

将优化后的全景分割图像转换成相应的栅格数据，并对所述栅格数据的格网或格网集合所构成的区域边缘进行勾绘，以矢量坐标点构成折线段的方式进行记录，再经拓扑数据结构处理，生成面状矢量数据结构；

采用栅格数据矢量化，提取具有相同属性信息的栅格集合的矢量边界及获得边界与边界之间的拓扑关系；

所述栅格数据矢量化转换为矢量图后，从空间数据库中抽取数据，分层组织使矢量图形成矢量图层集合，将地图符号库中的地图符号对应的插入矢量图层中，完成矢量图层中各要素的符号化；

通过线扫描法将符号化后各图层中的地图符号转化为由游程单元构成的游程集合；

将处于同一地图栅格行上的游程单元中位于上层图层的游程单元覆盖下层图层的游程单元后，由上层图层游程单元和下层图层游程单元的未覆盖部分形成叠合后游程集合，最终获得一副由叠合后游程集合表示的地图，对叠合后游程集合解码完成电子地图的输出。

根据本发明的一个方面，采用栅格数据矢量化，提取具有相同属性信息的栅格集合的矢量边界及获得边界与边界之间的拓扑关系，包括：

采用高通滤波将栅格图像二值化或以特殊值标识边界点；

由边界上的一个节点向另一个节点搜索；

判断各个矢量边界弧段的空间关系，形成完整的拓扑结构；

除去冗余的点记录，并使用差补算法对线段进行光滑处理。

与现有技术相比，本发明具有如下优点：

根据本发明的方案，基于全景分割模型，通过特征提取主干网络，获取高分辨率遥感图像的特征图，通过在共享特征图上构建实例分割分支和语义分割分支，构建全景分割网络，同时获取目标实例信息和地物要素的语义信息，利用特征共享的方法完成高分辨率遥感图像中目标的实例分割和地物要素的语义分割。相比于传统的地物要素语义分割和目标实例分割，本发明通过特征共享的方式减小了计算量，同时通过损失函数的构建和场景知识的融入，提升了对典型场景的分割精度。

根据本发明的一个方案，利用面向像素的空间层级排序的方法，对获取的实例分割结果和语义分割结果进行空间层级排序，通过定义结果的优先级，设计损失函数，实现自动成图过程中对目标及地物要素的准确提取，以及对全景分割结果的边缘优化。相比于传统方法，本发明通过构建像素级结果的空间层级排布权重，将目标实例边界与地物要素像素按优先级排布，提升了对目标实例分割和地物要素边缘的提取和优化能力。

该方法基于全景分割技术，可端到端地由高分辨率遥感影像生成电子地图，可直接应用于基础空间信息获取、应急事件处理、环境污染监视、灾害预警评估、智慧城市建设、防灾减灾等领域。

附图说明

为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性表示本发明实施例公开的一种基于高分遥感图像的电子地图自动化生成方法的实现流程图；

图2示意性表示本发明实施例公开的全景分割模型的结构图。

具体实施方式

此说明书实施方式的描述应与相应的附图相结合，附图应作为完整的说明书的一部分。在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中各结构的部分将以分别描述进行说明，值得注意的是，图中未示出或未通过文字进行说明的元件，为所属技术领域中的普通技术人员所知的形式。

此处实施例的描述，有关方向和方位的任何参考，均仅是为了便于描述，而不能理解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合，这些特征可能独立存在或者组合存在，本发明并不特别地限定于优选的实施方式。本发明的范围由权利要求书所界定。

根据本发明的构思，本发明实施例公开的一种基于高分遥感图像的电子地图自动化生成方法，首先利用经过设计的全景分割模型获得语义标签和实例标签，再通过空间排序得到全景分割结果并对图像边缘进行优化，最后通过矢量化成图技术生成电子地图。参见图1，该方法具体包括以下步骤：

步骤S101，建立全景分割模型，利用所述全景分割模型提取遥感图像的特征，生成遥感图像特征图。

在一个实施例中，步骤S101中建立全景分割模型的过程需要利用以下的损失函数对该全景分割模型进行训练，从而提升模型的全景分割能力。对全景分割模型的预测值和真实值进行分类损失函数的计算，这里定义损失函数为：

其中，

是一次最小批中锚框的索引，

是第

个锚框为目标的预测概率。如果锚框为正，则其标注

就是1，如果锚框为负，则其标注

就是0。

是一个向量，表示预测的外接框的4个参数化坐标，（

是与正锚框对应的真实标注外接矩形的坐标向量。

对于分类损失函数，是物体类别（包括背景）的对数损失函数，计算如公式所示：

对于回归损失函数，如公式所示：

其中

函数由公式定义：

表示只有预测为正的锚框才会有回归损失，其他情况损失函数的梯度不会回传。对于回归损失中的输入，采用以下变量代替原始的平面坐标：

其中，

分别指的是边界框中心坐标

以及宽、高。变量：

分别表示预测的边界框、锚框的边界框、标注的外接框的ｘ坐标（

同理）。

在一个实施例中，步骤S101中利用所述全景分割模型提取遥感图像的特征，生成遥感图像特征图的具体实施流程包括：

首先，利用所述全景分割模型的稠密连接卷积神经网络作为基准网络框架提取所述遥感图像的特征。

示例性的，设

为第

层卷积，

层所接收到的输入为所有的前序卷积层的特征，即

，因此可得

层的输出

为：

其中，

表示

层中特征的拼接操作，

表示一系列非线性变化的组合，包括批规范化（Batch Normalization，BN），ReLU激活、池化层或者卷积层。

其次，在所述稠密连接卷积神经网络的特征提取主干网络中使用空洞卷积，形成空洞特征金字塔，并利用密集级联（Dense Connection，DC）的方式将所述特征进行级联融合。需要解释的是，将空洞卷积应用到特征提取主干网络中替代传统的FPN（FeaturePyramid Networks，特征金字塔）。

最后，设置不同大小的空洞率（Dilation Ratios），获取代表不同感受野的相同尺度的遥感图像特征图。

示例性的，针对特征图

，其中W和H是特征图的尺寸，C为特征图的通道数。设置空洞卷积率为

，利用大小为

卷积核进行卷积，则特征图上对应的感受野

为：

在获取感受野为

的特征图后，通过密集级联的方式，连接得到每层特征图

：

其中，

为特征传递函数。

本实施例通过稠密连接卷积神经网络对遥感图像进行特征提取并融合，同时为实例分割分支和语义分割分支提供了共享的特征图，使两个分支生成各自的中间预测结果。利用稠密连接卷积神经网络和空洞特征金字塔进行特征提取，有效避免了由于目标和地物要素特征尺度跨度大带来的漏检和虚警。

步骤S102，利用所述全景分割模型的实例分割分支对所述遥感图像特征图的目标进行实例标注，利用所述全景分割模型的语义分割分支对所述遥感图像特征图的地物要素进行语义标注，获得实例标签和语义标签。

在一个实施例中，参见图2，步骤S102中利用所述全景分割模型的实例分割分支对所述遥感图像特征图的目标进行实例标注，获得实例标签的具体实施流程包括：

首先，利用目标候选框提取网络在所述遥感图像特征图上生成多个目标候选区域。需要解释的是，目标指的是飞机或舰船等物体。

示例性的，在步骤S101中卷积得到的特征图上，使用一个

的卷积窗口在特征图上进行滚动，在每个滑动窗口的位置上，物体候选框提取网络均基于k个固定长宽比的锚框生成多个候选区域。该候选区域由物体（目标）类别分类分数和4个边界框坐标组成。

其次，提取所述多个目标候选区域的原始特征图，并对所述原始特征图进行调整，生成大小统一的特征图。该步骤的具体实施过程包括：a、遍历每个目标候选区域，所述目标候选区域的边界用浮点数坐标表示。b、将所述每个目标候选区域分割成

个单元，每个单元的边界为浮点数格式。c、在所述每个单元中设定四个固定位置，并均匀分布在单元方格内，所述四个固定位置映射到所述原始特征图中，利用双线性内插的方法获得所述四个固定位置的值，再对获得的四个值进行最大池化操作，得到所述每个单元的插值响应值。

最后，利用全卷积网络对每个大小统一的特征图逐像素进行类别预测，获得所述目标的实例标签。示例性的，网络使用4层

卷积进行高层语义特征提取，并使用一层

的反卷积提高输出特征图的分辨率，最后使用

的卷积对每个像素点进行类别预测，得到

的预测得分图。最后，使用二分类对实例掩膜进行预测。

在一个实施例中，参见图2，步骤S102中利用所述全景分割模型的语义分割分支对所述遥感图像特征图的地物要素进行语义标注，获得语义标签的具体实施流程包括：

示例性的，在步骤S101获取的图像特征图

上，利用反卷积（Deconvolution）的方式对特征图进行上采样，根据前述

层设置的空洞卷积率

和大小为

卷积核，设置反卷积中的填充padding=

和滑动步长strides=

，获取与输入遥感图像尺寸相同的像素级预测图

，通过基于Focal Loss的函数计算语义分割分支在训练中的损失

：

其中，

为语义分割预测图中像素（i，j）对应的语义分割类别，

为像素（i，j）的样本标签。

对于实例分割分支和语义分割分支两个子任务训练时梯度的平衡问题，使用梯度权重再平衡的方式，如以下公式所示：

其中，实例识别号预测分支包含５个损失函数，

表示候选框提取网络的物体／非物体的分类损失函数，

表示候选框提取网络的检测框坐标回归损失函数，

表示第二阶段的候选框类别分类损失函数，

表示第二阶段的候选框坐标回归损失函数，

表示第二阶段的候选框内前景／背景分割损失函数；对于语义类别预测网络，

表示语义分割的逐像素的类别分类损失函数。

步骤S103，对所述实例标签和所述语义标签进行空间层级排序，获取每个标签的像素排序得分。本实施例基于空间层级排序的方法，通过对目标和地物要素预测结果（分别对应实例标签和语义标签）的层级排布和优化，提高预测精度。

在一个实施例中，步骤S103中对实例标签和语义标签进行空间层级排序，获取每个标签的像素排序得分的具体实施流程包括：

其中，

表示前后背景的预测结果，如果像素点属于实例目标或语义要素（指的是地物要素）的前景，则

取值为１。

步骤S104，利用像素排序得分为基准生成全景分割图像。

在一个实施例中，步骤S104中利用像素排序得分为基准生成全景分割图像的具体实施流程包括：

将语义分割分支得到的预测结果（语义标签）中所有属于目标（物体）类别的像素点，在全景分割结果对应的类别通道中设置为背景类，在全景分割结果对应的实例通道中，设置实例识别号为1，填充物类别的像素点保持不变；

对实例预测结果（实例标签），按照每个实例的得分从大到小进行排序，并依次将每个实例目标（物体）掩膜

对应的像素点的类别通道值设为

，实例通道值设置为i，如果排序靠后的实例目标（物体）像素点位置已经被排序靠前的实例目标（物体）占用，则丢弃这些像素点。

步骤S105，利用边缘优化算法对步骤S104中的全景分割图像进行优化。

在一个实施例中，步骤S105中利用边缘优化算法对步骤S104中的全景分割图像进行优化的具体实施流程包括：

，

，…，

的像素点；

基于以上假设，按如下公式定义某一张像素点的权重图，

权重图的大小为H×W，即原图大小，权重图每个像素点的值为

，其中，ｋ表示该像素点在边缘像素点的排序位置；

基于以上定义，定义如下公式的边缘友好型度量标准，

所述度量标准需要输入真实标注、预测结果，以及像素点权重图定义得到的权重图。

。对于误检的像素点，将p从真实标注中提取出非该类别区域，并与该类别的预测结果做交集，得到误检的像素点，并在计算过程中将其权重置为１。本实施例基于真实标注定义一张新的权重图，通过按类别给予不同像素点不同的权重，从而使结果能够更好反映边缘的优劣。

步骤S106，利用位图矢量化成图方法对优化后的全景分割图像生成电子地图。本实施例位图矢量化成图的电子图像便于快速标记和计算距离，可以实时缩放，传递速度快。

在一个实施例中，步骤S106中利用位图矢量化成图方法对优化后的全景分割图像生成电子地图的具体实施流程包括：

将优化后的全景分割图像转换成相应的栅格数据，并对所述栅格数据的格网或格网集合所构成的区域边缘进行勾绘，并以矢量坐标点构成折线段，即弧段的方式进行记录，再经拓扑数据结构处理，生成面状矢量数据结构。

采用栅格数据矢量化，提取具有相同属性信息的栅格集合的矢量边界及获得边界与边界之间拓扑关系。该步骤具体过程的处理步骤如下：

1）边界提取：采用高通滤波将栅格图像二值化或以特殊值标识边界点；

2）边界跟踪：由边界上的一个节点向另一个节点搜索；

3）生成拓扑关系：判断各个矢量边界弧段的空间关系，形成完整的拓扑结构；

4）去噪：除去冗余的点记录，并使用一定的差补算法进行线段光滑处理。

栅格数据矢量化转换为矢量图后，从空间数据库中抽取数据，分层组织使矢量图形成矢量图层集合。将地图符号库中的地图符号对应的插入矢量图层中，完成矢量图层中各要素的符号化。之后通过线扫描法将符号化后各图层中的地图符号转化为由游程单元构成的游程集合。接下来将处于同一地图栅格行上的游程单元中位于上层图层的游程单元覆盖下层图层的游程单元后，由上层图层游程单元和下层图层游程单元的未覆盖部分形成叠合后游程集合，最终获得一副由叠合后游程集合表示的地图，对叠合后游程集合解码完成电子地图的输出。

对于本发明的方法所涉及的上述各个步骤的序号并不意味着方法执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本发明的实施方式的实施过程构成任何限定。

以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。