CN110570440A - 一种基于深度学习边缘检测的图像自动分割方法及装置 - Google Patents

Abstract

本发明提出一种基于深度学习边缘检测的图像自动分割方法及装置，所述方法包括：根据高分辨率遥感影像绘制一定数量的训练样本；通过所述训练样本训练HED边缘检测模型；使用训练好的HED边缘检测模型对待分割遥感影像进行边缘检测，生成边缘概率图；对所述边缘概率图进行后处理，生成矢量多边形；对所述矢量多边形进行简化处理，得到所述待分割遥感影像的图像分割结果。本发明提出的图像分割方法无须调节参数，分割准确率更高，且可自动化运行，图像分割效率高。

Description

一种基于深度学习边缘检测的图像自动分割方法及装置

技术领域

本发明属于遥感图像分割技术领域，具体涉及一种基于深度学习边缘检测的图像自动分割方法及装置。

背景技术

随着国内外高分辨率遥感数据源的日益丰富，尤其是一些国产亚米级卫星传感器的增多，如高分二号、高分九号卫星等，大幅降低了高分辨率遥感影像的价格，高分遥感数据越来越多地被用到国土资源普查、作物分类、灾害监测等领域。高分辨率影像在提供了丰富的地物纹理和细节的同时，也给影像分割算法带来了巨大的挑战。由于像素间的“同物异谱，异物同谱”现象比低分辨率图像更加严重，使得传统的基于像素图像分割手段如SIFT、分水岭和SVM分类等准确率较低。受制于图像“椒盐”噪声的影像，分割后图像会出现大量的细碎斑点，后处理难度极大且精度仍然较低。

目前，面向对象分割是最常用和较为有效的高分辨率遥感图像分割方式。该类方法以图像对象为分割的基本单元，避免了图像“椒盐”噪声的影像。首先以超像素的方式对图像进行超分割或过分割，然后基于一定规则对过分割后的图斑进行合并。常用的遥感图像处理软件如易康、ENVI和Erdas等都集成了面向对象分割的模块，大大推广了面向对象分割方法在行业中的应用。然而尺度因子的设置对面向对象分割的效果有至关重要的影响，不合理尺度因子容易导致影像过分割或欠分割。目前还没有鲁棒的模型能够自动确定最优分割尺度因子，其受到用户经验的影响很大，大多需要靠用户的反复试错确定。同时，每种地物的最佳分割尺度不尽相同，对于地物类型复杂的遥感图像，单一的尺度因子难以满足不同地物分割的需求。

随着近几年深度学习技术的快速发展，涌现了很多优秀的基于深度学习的语义分割算法如FCN、Deeplab和SegNet等。基于深度学习的分割方法自动确定较优的分割特征，将图像分割成一个个语义对象，避免了面向对象分类的尺度设置问题，同时受到图像“椒盐”噪声的影响较小，在很多应用场景里面效果优于面向对象的分割算法，成为了近些年研究的热点。在高分辨率图像地物复杂程度较低时，深度学习算法分割效果较好，但当地物类型复杂和较多时，深度语义分割算法精度就会下降，尤其是图像对象的边界精度变差。尽管一些深度分割模型通过下采样和上采样的方式不断优化和提升对象边缘检测效果，如Deeplabv3+引入了多孔金字塔池化(ASPP)模块，但仍然无法满足高精度遥感图像分割的需要。深度边缘检测模型可以用来解决语义分割模型结果中边缘模糊问题，也有一些研究将深度边缘检测模型集成到语义分割模型中以提高分割对象的边缘精度，但针对深度边缘检测模型生成的边缘概率图的后处理是一项难题，这个方面的研究仍然是一项空白。

发明内容

本发明提出一种基于深度学习边缘检测的图像自动分割方法及装置，用于解决面向对象分割出现的“过分割”或“欠分割”以及深度语义分割模型出现的地物边界模糊造成的边界大量缺失、田块锯齿严重的问题。

本发明第一方面，提出一种基于深度学习边缘检测的图像自动分割方法，所述方法包括：

S1、根据高分辨率遥感影像绘制一定数量的边缘训练样本；

S2、通过所述边缘训练样本训练HED边缘检测模型；

S3、使用训练好的HED边缘检测模型对待分割遥感影像进行边缘检测，生成边缘概率图；

S4、对所述边缘概率图进行后处理，所述后处理包括二值化、骨架提取和导出矢量多边形；

S5、采用Douglas-Peucker算法对所述矢量多边形进行简化处理，去除矢量空洞、拓扑不一致问题，得到所述待分割遥感影像的边缘分割结果。

可选的，所述步骤S1的具体过程为：

S11、勾绘出所述高分辨率遥感影像内每个目标对象的边界，并将结果保存为矢量数据格式；

S12、将所述矢量数据进行栅格化后转换为边缘图像，根据原图像和所述边缘图像按固定尺寸制作边缘训练样本。

可选的，所述步骤S2中，所述HED边缘检测模型的优化器选择Adam，代价函数选择加权sigmoid函数，其权重参数设置为背景像素数和边缘像素数的比值。

可选的，所述步骤S2中，训练所述HED边缘检测模型时，学习率采用按照全局训练轮数逐渐递减的策略，从1×10^-3线性递减为1×10^-7，训练所述HED边缘检测模型直到所述代价函数收敛。

可选的，所述步骤S3中，在对待分割遥感影像进行边缘检测之前先将待分割遥感影像分成影像块，将各个影像块输入所述训练好的HED边缘检测模型进行边缘检测，将各个影像块的边缘检测结果拼接形成一个完整的边缘概率图；所述边缘概率图中，每个像元值表示该位置是边缘的概率。

可选的，所述步骤S4的具体过程为：

S41、预设二值化阈值，对所述边缘概率图进行二值化处理，大于等于所述阈值的像元值变为1，小于所述阈值的像元值变为0；

S42、采用骨架提取算法提取步骤S41中二值化处理后的轮廓中线，将边缘二值化后的轮廓精简为单个像素邻域连接的细线，得到骨架图像；

S43、采用Rasterize函数将所述骨架图像转化为矢量多边形。

本发明第二方面，提出一种基于深度学习边缘检测的图像分割装置，所述装置包括：

样本制作模块：用于勾绘出高分辨率遥感影像内每个目标对象的边界，并将成果保存为矢量数据格式；将所述矢量数据进行栅格化后转换为边缘图像，根据原图像和所述边缘图像制作边缘训练样本；

模型训练模块：用于通过所述边缘训练样本训练HED边缘检测模型；

边缘检测模块：用于使用训练好的HED边缘检测模型对待分割遥感影像进行边缘检测，生成边缘概率图；

后处理模块：用于对所述边缘概率图进行后处理，所述后处理包括二值化、骨架提取和导出矢量多边形；采用Douglas-Peucker算法对所述矢量多边形进行简化处理，去除矢量空洞、拓扑不一致问题，得到所述待分割遥感影像的图像分割结果。

可选的，所述模型训练模块中，所述HED边缘检测模型的优化器选择Adam，代价函数选择加权sigmoid函数，其权重参数设置为背景像素数和边缘像素数的比值；训练所述HED边缘检测模型时，学习率按照全局训练步骤逐渐递减。

可选的，所述后处理模块具体包括：

二值化单元：预设二值化阈值，对所述边缘概率图进行二值化处理，大于等于所述阈值的像元值变为1，小于所述阈值的像元值变为0；

骨架提取单元：采用骨架提取算法将边缘二值化后的轮廓精简为单个像素邻域连接的骨架；采用Rasterize函数将所述骨架图像转化为矢量多边形。

简化单元：移除所述矢量多边形中的空洞和细碎多边形，采用Douglas-Peucker算法简化所述矢量多边形。

本发明的有益效果是：

1)无须调节参数。HED边缘检测模型训练好后，在使用时不用设置任何参数，而且对于模型计算结果数据的后处理过程中需要的个别参数也可以通过图像特征自动化计算。使用时仅需要指定待分割影像和输出的分割矢量路径即可，大大简化了使用的难度。

2)分割准确率更高。相比于面向对象和深度分割模型，本发明地物分割效果更好，分割尺度更精细，边界更加准确。

3)自动化运行。算法运行过程中无须任何人工干预，仅需在运行前指定输入和输出后即可运行得到结果，因此可实现无人值守的自动化运行，提高生产效率。

4)效率高。训练的模型可以在GPU下运行，其并行计算效率明显高于CPU，相对于仅使用CPU的面向对象影像分割算法，可以大幅度提升图像分割效率。

附图说明

为了更清楚地说明本发明的技术方案，下面将对本发明技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的图像自动分割方法流程示意图；

图2为本发明边缘概率图(左)和后处理结果(右)图；

图3为本发明提供的图像分割结果对比图；

图4为本发明提供的图像分割装置结构示意图。

具体实施方式

本发明提出一种基于深度学习边缘检测的图像自动分割方法及装置，从深度边缘检测算法出发，用训练的HED边缘检测模型对遥感图像进行边缘检测，并通过一系列的后处理操作如二值化、边缘提取和简化等，得到精确的图像分割结果。该方法既不需要调节分割参数，又能较为准确地确定分割对象的边界。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，本发明提出一种基于深度学习边缘检测的图像自动分割方法，首先制作边缘训练样本，然后进行HED边缘检测模型训练，之后应用该模型进行边缘检测，最后进行一系列后处理，得到最终处理结果；本发明所述方法具体步骤为：

S1、根据高分辨率遥感影像绘制一定数量的边缘训练样本；

进一步的，所述步骤S1的具体过程为：

S11、勾绘出所述高分辨率遥感影像内每个目标对象的边界，并将结果保存为矢量数据格式；

S12、将所述矢量数据进行栅格化后转换为边缘图像，根据原图像和所述边缘图像按固定尺寸制作边缘训练样本。

具体的，获取高分辨率遥感影像后需要对图像做标注，可以在常见的GIS软件内如ArcGIS或QGIS内对高分辨率遥感影像进行勾绘，操作时应勾绘出图像内每个目标对象的边界，并将成果保存为矢量格式。勾绘的矢量进行栅格化后可以转换为边缘图像，根据原图像和矢量化后的边缘图像制作一定数量的训练样本。可将训练样本影像尺寸统一设置为1024×1024，具体大小可以根据机器的GPU显存大小进行调节。

S2、通过所述边缘训练样本训练HED边缘检测模型；

进一步的，所述步骤S2中，所述HED边缘检测模型的优化器选择Adam，代价函数选择加权sigmoid函数，其权重参数设置为背景像素数和边缘像素数的比值。训练所述HED边缘检测模型时，学习率采用按照全局训练轮数逐渐递减的策略，从1×10^-3线性递减为1×10^-7，训练所述HED边缘检测模型直到所述代价函数收敛。

具体的，HED(Holistically-Nested Edge Detection，整体嵌套边缘检测算法)边缘检测模型是一种高精度的深度边缘检测网络，该网络通过在VGG 16模型每个卷积层加上side layer反卷积层，共5个采样层，并将这些反卷积层串联到一起进行卷积操作生成边缘概率图。该模型具有边缘检测精度高和速度快的特点。在训练之前，也可将步骤S1制作的训练样本作为数据集，事先按照8:2的比例分成训练集和测试集，训练集用于模型训练，测试集用于模型验证。建议在Linux环境下进行训练，效率更高。

S3、使用训练好的HED边缘检测模型对待分割遥感影像进行边缘检测，生成边缘概率图；

进一步的，所述步骤S3中，由于高分辨率影像一般尺寸很大，在对待分割遥感影像进行边缘检测之前先将待分割遥感影像分成尺寸较小的影像块，避免因计算机资源不足而报错。将各个影像块输入所述训练好的HED边缘检测模型进行边缘检测，将各个影像块的边缘检测结果拼接形成一个完整的边缘概率图；所述边缘概率图中，每个像元值表示该位置是边缘的概率，值越大，表明是边缘的概率越高。

S4、对所述边缘概率图进行后处理，所述后处理包括二值化、骨架提取和导出矢量多边形；

进一步的，所述步骤S4的具体过程为：

S41、预设二值化阈值，对所述边缘概率图进行二值化处理，大于等于所述阈值的像元值变为1，小于所述阈值的像元值变为0；二值化时阈值可固定为0.4。

S42、采用骨架提取算法提取步骤S41中二值化处理后的轮廓中线，将边缘二值化后的轮廓精简为单个像素邻域连接的细线，得到骨架图像；

具体可使用Zicheng Guo和Richard W.Hall提出的并行细化算法(“Parallelthinning with two-subiteration algorithms”)作为骨架提取算法，该并行细化方法以及Zhang-Suen方法都是经典的细化算法，都是采用逻辑算术的方法进行删除判断，细化后都能得到较平滑的骨架线。

S43、采用开源栅格空间数据转换库GDAL(Geospatial Data AbstractionLibrary)提供的Rasterize函数将所述骨架图像转化为矢量多边形。

S5、采用Douglas-Peucker算法对所述矢量多边形进行简化处理，去除矢量空洞、拓扑不一致等问题，得到所述待分割遥感影像的图像分割结果。

具体的，矢量多边形简化包括消除多边形边界锯齿、细碎多边形和空洞，使其具有更好的视觉效果。先采用面积阈值法消除细碎多边形，设定一个阈值，删除面积小于该阈值的多边形。消除空洞应先读取矢量每个多边形的几何点，仅保留最外环几何点，并抛弃内部的几何点。简化矢量多边形可采用Douglas-Peucker算法，该算法将曲线近似表示为一系列点，并减少点的数量的。它的优点是具有平移和旋转不变性，给定曲线与阈值后，抽样结果一定。算法阈值根据实际需求设置，值不应过大，避免多边形变形。

上述步骤S1～S3为样本制作、模型训练、边缘检测的过程，步骤S4～S5均为后处理过程。

请参阅图2，图2为边缘概率图(左)和后处理结果(右)，由图2可知HED模型输出的边缘概率图经一些列后处理之后得到边界清晰的边缘图像。

请参阅图3，图3为图像分割结果对比图，图3中，图(a)为原始图像、图(b)为面向对象分割结果图、图(c)为FCN深度学习分割结果图，图(d)为使用本发明提出的方法分割结果图。分别采用本发明提出的方法与其他现有技术对同一张原始图像的分割结果对比，由图3可知，相较于常见的面向对象分割方法、FCN深度学习分割方法，本发明提出的方法地物分割更精细，边界清晰，分割效果较好，即便在地物类型复杂和较多时仍然能保障地物分割精度，满足高精度遥感图像分割的需要。

请参阅图4，图4位本发明提出的一种基于深度学习边缘检测的图像分割装置结构示意图，所述装置包括：

样本制作模块410：用于勾绘出高分辨率遥感影像内每个目标对象的边界，并将成果保存为矢量数据格式；将所述矢量数据进行栅格化后转换为边缘图像，根据原图像和所述边缘图像制作边缘训练样本；

模型训练模块420：用于通过所述边缘训练样本训练HED边缘检测模型；

进一步的，所述训练模块中，所述HED边缘检测模型的优化器选择Adam，代价函数选择加权sigmoid，其权重参数设置为背景像素数和边缘像素数的比值；训练所述HED边缘检测模型时，学习率按照全局训练步骤逐渐递减。

边缘检测模块430：用于使用训练好的HED边缘检测模型对待分割遥感影像进行边缘检测，生成边缘概率图；

后处理模块440：用于对所述边缘概率图进行后处理，所述后处理包括二值化、骨架提取和导出矢量多边形；采用Douglas-Peucker算法对所述矢量多边形进行简化处理，去除矢量空洞、拓扑不一致问题，得到所述待分割遥感影像的图像分割结果。

进一步的，所述后处理模块440具体包括：

二值化单元：预设二值化阈值，对所述边缘概率图进行二值化处理，大于等于所述阈值的像元值变为1，小于所述阈值的像元值变为0；

骨架提取单元：采用骨架提取算法将边缘二值化后的轮廓精简为单个像素邻域连接的骨架；采用Rasterize函数将所述骨架图像转化为矢量多边形；

简化单元：移除所述矢量多边形中的空洞和细碎多边形，采用Douglas-Peucker算法简化所述矢量多边形。

本发明从深度边缘检测算法出发，用训练的边缘检测模型对遥感图像进行边缘检测，并通过一系列的后处理操作如二值化、边缘提取和简化等，得到精确的图像分割结果。该方法既不需要调节分割参数，又能较为准确地确定分割对象的边界。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于深度学习边缘检测的图像自动分割方法，其特征在于，所述方法包括：

S1、根据高分辨率遥感影像绘制一定数量的边缘训练样本；

S2、通过所述边缘训练样本训练HED边缘检测模型；

S3、使用训练好的HED边缘检测模型对待分割遥感影像进行边缘检测，生成边缘概率图；

S4、对所述边缘概率图进行后处理，所述后处理包括二值化、骨架提取和导出矢量多边形；

S5、采用Douglas-Peucker算法对所述矢量多边形进行简化处理，去除矢量空洞、拓扑不一致问题，得到所述待分割遥感影像的边缘分割结果。

2.根据权利要求1所述基于深度学习边缘检测的图像自动分割方法，其特征在于，所述步骤S1的具体过程为：

S11、勾绘出所述高分辨率遥感影像内每个目标对象的边界，并将结果保存为矢量数据格式；

S12、将所述矢量数据进行栅格化后转换为边缘图像，根据原图像和所述边缘图像按固定尺寸制作边缘训练样本。

3.根据权利要求1所述基于深度学习边缘检测的图像自动分割方法，其特征在于，所述步骤S2中，所述HED边缘检测模型的优化器选择Adam，代价函数选择加权sigmoid，其权重参数设置为背景像素数和边缘像素数的比值。

4.根据权利要求3所述基于深度学习边缘检测的图像自动分割方法，其特征在于，所述步骤S2中，训练所述HED边缘检测模型时，学习率采用按照全局训练轮数逐渐递减的策略，从1×10^-3线性递减为1×10^-7，训练所述HED边缘检测模型直到所述代价函数收敛。

5.根据权利要求1所述基于深度学习边缘检测的图像自动分割方法，其特征在于，所述步骤S3中，在对待分割遥感影像进行边缘检测之前先将待分割遥感影像分成影像块，将各个影像块输入所述训练好的HED边缘检测模型进行边缘检测，将各个影像块的边缘检测结果拼接形成一个完整的边缘概率图；所述边缘概率图中，每个像元值表示该位置是边缘的概率。

6.根据权利要求1所述基于深度学习边缘检测的图像自动分割方法，其特征在于，所述步骤S4的具体包括：

S41、预设二值化阈值，对所述边缘概率图进行二值化处理，大于等于所述阈值的像元值变为1，小于所述阈值的像元值变为0；

S42、采用骨架提取算法提取步骤S41中二值化处理后的轮廓中线，将边缘二值化后的轮廓精简为单个像素邻域连接的细线，得到骨架图像；

S43、采用Rasterize函数将所述骨架图像转化为矢量多边形。

7.一种基于深度学习边缘检测的图像自动分割装置，其特征在于，所述装置包括：

样本制作模块：用于勾绘出高分辨率遥感影像内每个目标对象的边界，并将成果保存为矢量数据格式；将所述矢量数据进行栅格化后转换为边缘图像，根据原图像和所述边缘图像制作边缘训练样本；

模型训练模块：用于通过所述边缘训练样本训练HED边缘检测模型；

边缘检测模块：用于使用训练好的HED边缘检测模型对待分割遥感影像进行边缘检测，生成边缘概率图；

后处理模块：用于对所述边缘概率图进行后处理，所述后处理包括二值化、骨架提取和导出矢量多边形；采用Douglas-Peucker算法对所述矢量多边形进行简化处理，去除矢量空洞、拓扑不一致问题，得到所述待分割遥感影像的边缘分割结果。

8.根据权利要求7所述基于深度学习边缘检测的图像自动分割装置，其特征在于，所述模型训练模块中，所述HED边缘检测模型的优化器选择Adam，代价函数选择加权sigmoid，其权重参数设置为背景像素数和边缘像素数的比值；训练所述HED边缘检测模型时，学习率按照全局训练步骤逐渐递减。

9.根据权利要求7所述基于深度学习边缘检测的图像自动分割装置，其特征在于，所述后处理模块具体包括：

二值化单元：预设二值化阈值，对所述边缘概率图进行二值化处理，大于等于所述阈值的像元值变为1，小于所述阈值的像元值变为0；

骨架提取单元：采用骨架提取算法将边缘二值化后的轮廓精简为单个像素邻域连接的骨架，得到骨架图像；采用Rasterize函数将所述骨架图像转化为矢量多边形；

简化单元：移除所述矢量多边形中的空洞和细碎多边形，采用Douglas-Peucker算法简化所述矢量多边形。