CN110555857A - 一种语义边缘主导的高分遥感影像分割方法 - Google Patents

Abstract

一种语义边缘主导的高分遥感影像分割方法，包括获取数据、设计网络、准备模型、生产边缘、形态学后处理、矢量化的步骤。本发明利用卷积神经网络的特征学习能力以及池化操作形成多尺度融合，从遥感影像中提取符合视觉特征的地物对象边缘；本发明可以采用预训练边缘模型或基于局部人工勾绘成果重新训练模型，分别对应分割任务中的非监督和监督方法；通过对边缘细化及延长连接形成相对精准及完整的地物边界，将边界矢量化形成分割所需地物多边形。由此方法生成的地物多边形能基本吻合地物在影像上的视觉边界，克服传统分割对象中大部分过分割与欠分割现象，为地物精细形态确定、类型识别、大规模信息提取提供有效支持。

Description

一种语义边缘主导的高分遥感影像分割方法

技术领域

本发明涉及遥感影像处理技术及遥感影像信息提取方法，具体地说，涉及遥感影像的地物对象分割及其面向深度语义边缘的实现方法，本发明可适用于多种高分遥感影像的监督或非监督分割。

背景技术

随着遥感影像空间分辨率的不断提高，特别是近年来无人机等航空影像的普及，空间地物被巨细无遗的反映在影像上，如何快速精准地从这些数据中划分出有地学意义的对象一直是遥感生产应用人员重点关注的问题。在历次全国性土地调查、国情普查中，图斑勾画也一直是最繁重的内业工作，影像分割作为解决方案一直是研究热点，特别是在面向对象分析流程中，分割作为对象生成的主要方法是不可或缺的步骤，尽管多年研究已有较大进步，但遥感影像反映的地物目标越来越复杂，应用要求的精度越来越高，包括eCognition等商业软件在内的分割方案仍难以真正满足实际需求。本发明受最新机器学习及计算机视觉方法所启发，尝试利用深度学习技术从高分遥感影像中主动学习地物边缘视觉特征，模拟目视解译过程构建地物多边形，从而快速稳健生产符合视觉习惯的分割结果，支撑目标识别、地物分类、变化检测等各类信息提取应用。

传统影像分割方法主要分为基于线划分和基于面聚合两大类方法，其中尤以后者更为普及，前者受制于边缘线提取技术的不足，断线、冗余等现象难以克服，很难自适应用于大量高分影像。随着FNEA、MeanShift、分水岭等多尺度分割方法的推广，以区域生长合并为主要流程的方法也逐渐占据研究主流，遥感影像的光谱、纹理、形态等特征被设计探讨用于区域合并依据，对象最优尺度参数也被研究作为迭代合并的终止条件，超像素等方法被引入用于初始待合并区域的生成等。这些方法从精度上有所改进，但从流程上始终将影像局部数字信息作为计算依据，难以考虑地物不同类型间的整体差异，因此计算结果无法避免地会出现大量过分割与欠分割现象，与目视勾画结果差异巨大。

随着深度学习在计算机视觉中的广泛应用，语义分割、实例分割、全景分割等新概念与方法的提出为遥感影像分割方鞌带来了全新的视角。这些分割方法大多基于深度卷积神经网络实现，通过为影像中每一个像素赋予类型标签而实现目标划分，从FCN开始，U-Net、Deeplab、PSPNet、Mask-RCNN等各类网络方法层出不穷，在Cityscapes、COCO等公开数据集上取得了越来越高的精度。然而这些方法多为针对自然图像而设计，其面向的自然目标多为图像聚焦信息，神经网络中卷积过程会丢弃大量细节信息，而且以交并比作为评价指标也难以凸显目标边界的重要性，因此将这些方法直接用于高分遥感影像分割，尽管能取得一定效果，但从地物分割边界角度来看往往具有较大偏差，难以直接应用。

实际上深度学习的发展也改进了传统边缘提取方法，神经网络在卷积过程中不断扩大感受野，主动学习从细到粗的多尺度视觉特征，可以从根本上改变过去设计特征并计算边缘的过程，因此HED、RCF等边缘提取方法无论在边缘完整度还是平均精度上都有长足进步。但从目前可见专利/文献来看，还未有真正基于这种改进的边缘去做实用影像分割的方法，而这正是本发明希望重点实现并推广的。

发明内容

本发明克服现有技术的上述缺点，提供一种针对高分遥感影像的分割方法，具体是通过卷积神经网络主动学习影像多尺度边缘特征，将多尺度特征合并输出为符合视觉判断的语义边缘并以此主导地物对象多边形的构建，从而可以部分甚至完全取代目视勾画图斑的繁重工作。

为实现上述目标，本发明提出的技术方案包括深度边缘模型设计、训练、应用及地物边界的提取、多边形构建等过程，一种语义边缘主导的高分遥感影像分割方法，包括以下步骤：

步骤1：获取数据：根据生产区域获取或重新采集可见光-近红外多光谱卫星影像数据或真彩色航空影像数据，确定数据类型、影像波段数、数值范围等参数；

步骤2：设计网络：根据步骤1的数据参数调整或重新设计深度边缘神经网络，参考HED模型结构确定卷积过程、多层次合成、损失值计算等具体方法；

步骤3：准备模型：根据步骤1生产区域、数据类型及步骤2神经网络结构可确定采用非监督或监督两种方案准备具体边缘模型：非监督方案直接选用前期类似数据上相同网络结构的已训练模型，监督方案利用生产数据重新制作边缘样本，按网络结构调整训练参数，得到适合当前生产任务的边缘模型；

步骤4：生产边缘：利用步骤3所准备模型对生产数据计算后可得到边缘强度预测图，不同于一般边缘检测的二值结果，在此输出边缘强度信息指示当前位置是边缘的可能程度；

步骤5：形态学后处理：将步骤4所得边缘图进行形态学后处理(骨架提取或开闭操作)获取细化边界，包括但不限于将部分断线区域参考边缘强度在中断位置进行自动延伸连接，将线合围区域较小部分主动将其截断，将剩余未闭合的冗余边界线直接删除；

步骤6：矢量化：将步骤5所得边界线转化为分割所需多边形面矢量，为避免多边形拓扑错误，先通过跟踪线节点形成线矢量再合围相邻线构建多边形面。

根据上述技术方案，进一步的，通过控制步骤3中的边缘样本，选择面向所有地物目标或某类专门地物两类分割任务，前者获取影像所包含所有对象多边形且相互不重叠无缝隙，后者获取影像内包含所有专门对象(如建筑、耕地等)多边形且相互不重叠。根据不同任务目标所设计的网络结构和准备的边缘模型有所差别体。

所述步骤2中，所采用深度边缘神经网络需要有效学习地物多尺度边缘特征，由于一般图像中边缘与非边缘像素间极不平衡，用于损失值计算的loss函数应尽量克服这种非平衡性，可引入边缘比例参数β进行计算：

L＝-β∑logPr(y_j＝1)-(1-β)∑logPr(y_j＝0)

所述步骤5中，为得到精准边界具体可参考如下方法实施：首先设定阈值将边缘图处理成二值图，然后对其进行形态学操作得到细化至单像素宽度的边缘线(一般细化、骨架提取甚至腐蚀操作都能实现)，至此大部分所需边界线以基本识别到，但由于影像模糊或地物本身边界难以分辨无法避免会出现局部错误，主要包括冗余线与断线等，对这些错误的具体处理采用如下算法：

步骤5.1：断线延伸：将边界线与边缘强度图对照，所有边界断线所在位置的边缘强度大于一定阈值即可主动延展，直至与现有边界相接或延展位置边缘强度较低不可能再作为边界，至此可保证大部分边界闭合；

步骤5.2：小图斑剔除：对于上述闭合边界所围区域如果面积太小需主动删除，此时仅需从此小区域的边界线上找到强度最小位置将其断开；

步骤5.3：冗余线删除：余下所有未闭合边界线直接利用形态学方法删除(邻域判断即可实现)。

所述步骤6中，为生成分割所需多边形面矢量，具体可参考如下方法实施：首先跟踪边界线生成矢量线图层，为使结果相对美观可将所有接点之间的线进行一定简化或平滑，若为单类地物甚至可根据地物特点(如大多数建筑为平直边界)专门优化，然后将上述闭合且相邻多边形线直接合围构成多边形面，杜绝边界缝隙及重叠等拓扑错误。

本发明提供一种深度边缘主导的高分遥感影像分割方法，主要针对米级亚米级遥感卫星影像信息提取，特别是面向对象分析过程中必不可少的图斑对象生成或分割方法。该方法建立在深度边缘提取的基础上，利用卷积神经网络的特征学习能力以及池化操作形成多尺度融合，从遥感影像中提取符合视觉特征的地物对象边缘；根据深度神经网络和影像边缘的特点，本方法可以采用预训练边缘模型或基于局部人工勾绘成果重新训练模型，分别对应分割任务中的非监督和监督方法；通过对边缘细化及延长连接形成相对精准及完整的地物边界，将边界矢量化形成分割所需地物多边形。由此方法生成的地物多边形能基本吻合地物在影像上的视觉边界，克服传统分割对象中大部分过分割与欠分割现象，为地物精细形态确定、类型识别、大规模信息提取提供有效支持。

本发明的优点是：充分利用深度神经网络特征学习能力可以提取分割所需地物边界，根据不同任务要求甚至可以单独提取某类地物边界，通过线平滑等后处理所构建多边形能媲美人工勾画结果，可以部分取代或辅助人工生产；本发明所涉及边缘提取神经网络为一大类模型，不仅可采用现有基于VGG的HED等网络结构，随着算力增强也可升级为基于ResNet的更复杂网络结构。

附图说明

图1是本发明的边缘主导的高分遥感影像分割方法示意图。

图2是本发明的基于Resnet结构的典型边缘模型网络图。

图3是本发明的卫星影像全地物边缘训练模型样本示例图。

图4是本发明的航空影像单地物边缘训练模型样本示例图。

图5是本发明的卫星影像及对应地物边缘预测结果示例图。

图6是本发明的航空影像及对应建筑边缘预测结果示例图。

图7是本发明的卫星影像叠加地物分割多边形结果比较示例图。

图8是本发明的航空影像叠加建筑分割多边形结果比较示例图。

具体实施方式

图1是边缘主导的高分遥感影像分割方法示意图，其中围绕边缘强度图的生成分为前后两个部分。前面部分为数据模型准备，采用深度学习方法准备边缘模型，根据数据和任务要求可直接采用预训练模型或准备样本重新训练，包括数据准备、网络设计、模型准备三个步骤。然后由准备的数据模型对生产数据计算后可得到边缘强度预测图。后面部分为分割结果生成，根据分割要求生成边界精准、拓扑正确的地物多边形矢量图，包括细化边界、延伸边界和边界线矢量化的过程。

一种语义边缘主导的高分遥感影像分割方法，包括以下步骤：

步骤1：获取数据：根据生产区域获取或重新采集可见光-近红外多光谱卫星影像数据或真彩色航空影像数据，确定数据类型、影像波段数、数值范围等参数；

步骤2：设计网络：根据步骤1的数据参数调整或重新设计深度边缘神经网络，参考HED模型结构确定卷积过程、多层次合成、损失值计算等具体方法；

步骤3：准备模型：根据步骤1生产区域、数据类型及步骤2神经网络结构可确定采用非监督或监督两种方案准备具体边缘模型：非监督方案直接选用前期类似数据上相同网络结构的已训练模型，监督方案利用生产数据重新制作边缘样本，按网络结构调整训练参数，得到适合当前生产任务的边缘模型；

步骤4：生产边缘：利用步骤3所准备模型对生产数据计算后可得到边缘强度预测图，不同于一般边缘检测的二值结果，在此输出边缘强度信息指示当前位置是边缘的可能程度；

步骤5：形态学后处理：将步骤4所得边缘图进行形态学后处理(骨架提取或开闭操作)获取细化边界，包括但不限于将部分断线区域参考边缘强度在中断位置进行自动延伸连接，将线合围区域较小部分主动将其截断，将剩余未闭合的冗余边界线直接删除；

步骤6：矢量化：将步骤5所得边界线转化为分割所需多边形面矢量，为避免多边形拓扑错误，先通过跟踪线节点形成线矢量再合围相邻线构建多边形面。

根据上述实施例，所述步骤1中，针对生产区域确定所采用数据，针对可见光-近红外多光谱卫星影像数据或真彩色航空影像数据，需确定波段数、数值范围、针对所有地物或某类地物分割等；

根据上述实施例，所述步骤2中，图2所示为本实施例所具体采用的边缘模型结构，基于Resnet结构整体构成类HED网络，可有效学习地物多尺度边缘特征。由于一般图像中边缘与非边缘像素间极不平衡，loss函数应尽量克服这种非平衡性，可引入边缘比例参数β进行计算：

L＝-β∑logPr(y_j＝1)-(1-β)∑logPr(y_j＝0)

其他具体参数可根据步骤1所准备数据及任务目标相应调整(如输入波段数、数值范围等)；

根据上述实施例，所述步骤3中，采用非监督或监督两种方案的详细步骤如下：

步骤3.1：非监督方案直接利用前期训练好的边缘模型，当然前提为此预训练模型为基于类似格式的数据集所得并面向同类分割任务；

步骤3.2：监督方案针对当前数据及任务重新训练边缘模型，因此需要准备样本，一般包括如下步骤：

步骤3.2.1：在当前数据区域裁剪样本数据，大小由模型具体确定，本实施例采用448*448，当数据不够典型或量较小时可用其他类似数据补充，一般训练要求100张以上(此参数比较灵活，可按任务目标具体调整)；

步骤3.2.2：采用GIS软件标注地物边缘，然后将标注矢量线栅格化(也可直接采用画图软件在新图层上画边缘)，配套样本如图3与图4所示，根据分割目标可标注所有地物边缘(如图3)，也可重点标注某类地物边缘(如图4只针对建筑)；

步骤3.2.3：以上述样本集为输入训练边缘模型直至收敛。

根据上述实施例，优选地，所述步骤4中，边缘强度预测图如图5及图6所示，右侧预测结果能指示影像相应位置是边缘的可能性，可见预测所得边缘基本吻合样本准备时对边缘的定义，根据不同分割任务如图5得到的是所有地物的边缘，而图6得到的仅是建筑这一类地物的边缘。但由于卷积神经网络的固有特性，此边缘无法直接作为地物边界处理，因此还需进一步对边缘图进行后处理以生成地物多边形分割结果。

根据上述实施例，优选地，所述步骤5中，设定阈值将边缘图处理成二值图，然后对其进行形态学操作得到细化至单边缘宽度的边缘线(一般细化、骨架提取甚至腐蚀操作都能实现)，至此大部分所需边界线以基本识别到，但由于影像模糊或地物本身边界难以分辨无法避免会出现局部错误，主要包括冗余线与断线等，对这些错误的具体处理采用如下算法：

步骤5.1：断线延伸：将边界线与边缘强度图对照，所有边界断线所在位置的边缘强度大于一定阈值即可主动延展，直至与现有边界相接或延展位置边缘强度较低不可能再作为边界，至此可保证大部分边界闭合；

步骤5.2：小图斑剔除：对于上述闭合边界所围区域如果面积太小需主动删除，此时仅需从此小区域的边界线上找到强度最小位置将其断开；

步骤5.3：冗余线删除：余下所有未闭合边界线直接利用形态学方法删除(邻域判断即可实现)。

根据上述实施例，优选地，所述步骤6中，将步骤5所得栅格边界线矢量化成多边形面，具体如下：

步骤6.1：跟踪边界线生成矢量线图层，为使结果相对美观可将所有接点之间的线进行一定简化或平滑，若为单类地物甚至可根据地物特点(如大多数建筑为平直边界)专门优化；

步骤6.2：将上述闭合多边形线直接构成多边形面，杜绝边界缝隙及重叠等拓扑错误。

经上述步骤可得到如图7-A及图8-A所示的地物分割结果，在卫星影像的全地物分割上大部分边界线明确且具有地学意义，若在后处理步骤2中引入简单的人工检验与修改，则后续结果可直接代替一般的图斑生产，大大节省工作量。在航空影像的建筑物分割上边界线简单准确，可替代一般的目标检测与分类结果。通过与传统区域合并类方法所生成的分割结果(图7-B与图8-B)相比可明显看出本发明更符合视觉判别习惯，生产精度上具有巨大优势。

本发明的实例在配备GPU的PC平台上实现(若不考虑深度学习部分的计算性能也可不采用GPU设备)，经实验证明，本发明能够得到较为理想的分割结果，明显优于传统基于区域合并方法的分割结果，局部区域达到媲美目视勾画效果，效果不佳区域也仅需少量人工修改，可大大提高遥感内业图斑生产效率。本发明中所提及方法可广泛应用于高分辨率遥感影像面向对象的影像处理、分析、分类、识别等过程中，如全国土地资源调查、全国农业普查等大型应用。

Claims (2)

1.一种语义边缘主导的高分遥感影像分割方法，包括以下几个步骤：

步骤1：获取数据：根据生产区域获取或重新采集可见光-近红外多光谱卫星影像数据或真彩色航空影像数据，确定数据类型、影像波段数、数值范围的参数；

步骤2：设计网络：根据步骤1的数据参数调整或重新设计深度边缘神经网络，参考HED模型结构确定卷积过程、多层次合成、损失值计算等具体方法；

所采用深度边缘神经网络有效学习地物多尺度边缘特征，由于一般图像中边缘与非边缘像素间极不平衡，用于损失值计算的loss函数应尽量克服这种非平衡性，引入边缘比例参数β进行计算：

L＝-β∑logPr(y_j＝1)-(1-β)∑logPr(y_j＝0)；

步骤3：准备模型：根据步骤1生产区域、数据类型及步骤2神经网络结构可确定采用非监督或监督两种方案准备具体边缘模型：非监督方案直接选用前期类似数据上相同网络结构的已训练模型，监督方案利用生产数据重新制作边缘样本，按网络结构调整训练参数，得到适合当前生产任务的边缘模型；采用非监督或监督两种方案的详细步骤如下：

步骤3.1：非监督方案直接利用前期训练好的边缘模型，当然前提为此预训练模型为基于类似格式的数据集所得并面向同类分割任务；

步骤3.2：监督方案针对当前数据及任务重新训练边缘模型，因此需要准备样本，包括如下步骤：

步骤3.2.1：在当前数据区域裁剪样本数据，大小由模型具体确定；

步骤3.2.2：采用GIS软件标注地物边缘，然后将标注矢量线栅格化，根据分割目标可标注所有地物边缘，也可重点标注某类地物边缘；

步骤3.2.3：以上述样本集为输入训练边缘模型直至收敛。

步骤4：生产边缘：利用步骤3所准备模型对生产数据计算后可得到边缘强度预测图，不同于一般边缘检测的二值结果，在此输出边缘强度信息指示当前位置是边缘的可能程度；

步骤5：形态学后处理：将步骤4所得边缘图进行形态学后处理(骨架提取或开闭操作)获取精准边界，包括但不限于将部分断线区域参考边缘强度在中断位置进行自动延伸连接，将线合围区域较小部分主动将其截断，将剩余未闭合的冗余边界线直接删除；

为得到精准边界具体采用如下方法实施：首先设定阈值将边缘图处理成二值图，然后对其进行形态学操作得到细化至单像素宽度的边缘线(一般细化、骨架提取甚至腐蚀操作都能实现)，至此大部分所需边界线以基本识别到，但由于影像模糊或地物本身边界难以分辨无法避免会出现局部错误，主要包括冗余线与断线等，对这些错误的具体处理采用如下算法：

步骤5.1：断线延伸：将边界线与边缘强度图对照，所有边界断线所在位置的边缘强度大于一定阈值即可主动延展，直至与现有边界相接或延展位置边缘强度较低不可能再作为边界，至此可保证大部分边界闭合；

步骤5.2：小图斑剔除：对于上述闭合边界所围区域如果面积太小需主动删除，此时仅需从此小区域的边界线上找到强度最小位置将其断开；

步骤5.3：冗余线删除：余下所有未闭合边界线直接利用形态学方法删除(邻域判断即可实现)；

步骤6：矢量化：将步骤5所得边界线转化为分割所需多边形面矢量，为避免多边形拓扑错误，先通过跟踪线节点形成线矢量再合围相邻线构建多边形面；为生成分割所需多边形面矢量，具体采用如下方法实施：首先跟踪边界线生成矢量线图层，为使结果相对美观可将所有接点之间的线进行一定简化或平滑，若为单类地物甚至可根据地物特点专门优化，然后将上述闭合且相邻多边形线直接合围构成多边形面，杜绝边界缝隙及重叠的拓扑错误。

2.根据权利要求1所述的一种语义边缘主导的高分遥感影像分割方法，其特征在于：通过控制步骤3中的边缘样本，选择分割任务针对所有地物目标或某类专门地物，前者获取影像所包含所有对象多边形且相互不重叠无缝隙，后者获取影像内包含所有专门对象多边形且相互不重叠。