CN111340826A - 基于超像素与拓扑特征的航拍图像单株树冠分割算法 - Google Patents

Abstract

本发明公开了基于超像素与拓扑特征的航拍图像单株树冠分割算法，包括：对原始航拍图像进行SLIC超像素分割，同时利用HED网络获取图像的冠状边界；计算出相邻两个超像素之间的三个相似性测量指标，即相邻两个超像素的RGB平均值的差值、相邻两个超像素区域的相交像素个数和与从HED网络中得到的边界像素相交的个数，并用它们构造相邻两个超像素区域之间的相似度权重；基于每个超像素的中心点构造超像素邻域连通图，从超像素邻域连通图中提取最小生成树生成航拍图像的连通树，并根据相似度权重将超像素进行合并，实现单株树冠的分割。本发明将超像素分割和拓扑图方法相结合，能够准确有效地将单株树冠从航空图像分离，分割精度高。

Description

基于超像素与拓扑特征的航拍图像单株树冠分割算法

技术领域

本发明涉及林木检测技术领域，具体涉及一种基于超像素与拓扑特征的航拍图像单株树冠分割算法。

背景技术

森林作为整个生态循环的关键环节之一，具有环境效益和经济效益。林木个体信息的获取是森林资源分析的基础。在单株树木尺度上分析树木的结构和特征，有利于森林的清查和管理规划。单株树木分割方便地描述了森林植被分布并为树种,为树干材积、生物量和碳存储计算提供有力支持。

传统的实地调查是费时、昂贵且劳力密集的，不利于大规模的复杂的林业监测。随着遥感技术的迅速发展，利用遥感技术获取数据源已成为传统野外测量的有效替代方法，例如通过机载激光雷达获取点云数据，通过无人机(UAV)获得航拍图像。近年来，无人机获取的高分辨率航空图像已广泛应用于林业和农业测绘领域，主要有相关机构提供。与卫星图像相比，航空图像受天气影响较小，它能够获取详细的树木信息。此外，与传统飞机相比，无人机在获取数据时显得更加安全、方便、快捷，花费的成本也更低。因此，无人机已经成为研究人员在高海拔或偏远地区等多种环境下获取遥感数据的优先选择之一。随着航拍图像的应用和发展，研究趋势逐渐由简单的人工林向复杂的混交林或天然林转变。

航拍图像的单株树冠分割通常采用典型的图像处理算法，如基于标记的分水岭算法、区域生长算法和局部极大值滤波算法。标记控制分水岭算法能够减少传统分水岭算法中存在的大量过度分割现象。该算法的核心目标是根据先验知识对图像进行标记和分水岭分割。区域生长算法可以直接从原始激光雷达数据中提取树冠，这是一种常用的分割三维点云的方法，但这种方法只能有限地识别物体的空间分布。局部最大过滤算法是认为每个树冠都有一个单一的“亮点”，树冠之间的区域比树冠的太阳照射部分要暗。然而，图像中的噪声很容易导致过度分割。基于灰度阈值和边缘检测的图像分割方法是传统的图像分割方法。超像素的概念最早是由Ren等人在2003年提出的。超像素是由一系列具有相似特征的像素组成的区域，它保留了有效的信息，便于进一步的图像分割。并且在正常情况下不会破坏图像中物体的边界信息。在2012年,Achanta等人提出了简单线性迭代聚类(SLIC)超像素算法，该算法在机器视觉和图像处理中得到了广泛的应用。它是一种基于k-均值聚类的超像素分割算法。此外，SLIC易于使用和理解，比现有的方法更快和内存效率更高，并具有最先进的图像边界依附性。上述ITC分割算法虽然在一些研究中取得了成功，但在树冠连续重叠、树冠大小不一、树木倾斜生长等复杂环境下分割效果较差。相邻树冠的重叠使得树冠的边界不清晰，树高较小、树冠宽度较小的且被其他较大树遮挡的树常被忽略。这些因素可能导致树冠的欠分割。在以往的研究中，大部分研究区域只包含少量的树种多样性，但不同树种在不同环境下的树冠分割结果差异较大。此外，现有的树冠分割研究大多选择针叶林作为研究对象，主要是因为针叶林冠层结构相对规则，森林冠层中心更容易被检测和识别。

除了传统的图像处理算法，机器学习方法和拓扑特征可以用于单独的树冠分割。例如，Xie(2017)首次提出了基于全卷积神经网络(FCN)和深度监督网络的全嵌套边缘检测(HED)。此外，HED网络在深度监控的指导下，自动学习多层表示，逐步生成细化的边缘映射，以实现更好的边缘检测。作为一种基于图的方法，最小生成树(MST)具有拓扑结构，在图像分割中得到了广泛的应用。除了传统的图像处理算法，机器学习方法和拓扑特征可以用于单独的树冠分割。例如，Xie(2017)首次提出了基于全卷积神经网络(FCN)和深度监督网络的全嵌套边缘检测(HED)。此外，HED网络在深度监控的指导下，自动学习多层表示，逐步生成细化的边缘映射，以实现更好的边缘检测。作为一种基于图的方法，最小生成树(MST)具有拓扑结构，在图像分割中得到了广泛的应用。

一些现有的单株树冠分离方法，如结合了canny边缘检测方法和多尺度滤波与分割(MSF)方法的圆形霍夫变换。该方法用canny边缘检测算法从相同树种中提取冠层边界，并应用圆形霍夫变换算法获取图像中的圆形形状，以便对单个树冠进行识别。MFS方法通过多尺度分析生成。图像的多尺度表示，然后利用分水岭分割方法生成多尺度的分割图，获得准确的森林冠层分割边界，有效减少过度分割现象。然而，圆形霍夫变换方法仅限于形状规则的树种(如柑橘)该方法仅在造林方式相同、树冠表型特征相似，即树木排列整齐，种植间距固定(林分密度低)的人工林上才有良好的效果，树冠形状大致呈圆形，这不适用于由不规则树冠形状的各种树种组成的天然林分。MFS方法的分割结果在固定天顶角的太阳辐射照射下容易受到阴影的干扰，由于在多尺度滤波过程中对滤波后的图像分割边界进行了细化，使得MFS方法的计算复杂度较高。此外，较大的树的多个斜侧分支可能被错误地认为是小树冠。

基于航拍图像的单株树冠分割算法是了解树木生长、树种竞争和生物量评估的先决条件，针对不同类型的森林，如何提供一种新的单株树冠分割算法来提高分割精度是目前仍需解决的问题。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足提供一种基于超像素与拓扑特征的航拍图像单株树冠分割算法，本基于超像素与拓扑特征的航拍图像单株树冠分割算法将超像素分割和拓扑图方法相结合，能够准确有效地将单株树冠从航空图像分离，分割精度高。

为实现上述技术目的，本发明采取的技术方案为：

基于超像素与拓扑特征的航拍图像单株树冠分割算法，包括以下步骤：

(1)对原始航拍图像进行SLIC超像素分割，同时利用HED网络获取图像的冠状边界；

(2)计算出相邻两个超像素之间的三个相似性测量指标，即相邻两个超像素的RGB平均值的差值、相邻两个超像素区域的相交像素个数以及从HED网络中得到的边界像素的个数，并用它们构造相邻两个超像素区域之间的相似度权重；

(3)基于每个超像素的中心点构造超像素邻域连通图，从超像素邻域连通图中提取最小生成树(MST)来生成航拍图像的连通树，并根据计算得到的相似度权重将超像素进行合并，实现单株树冠分离。

作为本发明进一步改进的技术方案，所述步骤(1)还包括：

采用CCD相机和光学相机对研究区域进行航拍图像采集。

作为本发明进一步改进的技术方案，所述的步骤(2)包括：

基于每个超像素的中心点构造超像素邻域连通图G＝(V，B)，结点v_i∈V对应于一个超像素区域，b(v_i，v_j)∈B是连接两个相邻的超像素的通路，w_b(v_i，v_j)的权重表示由通路b(v_i，v_j)连接的两个相邻超像素区域v_i和v_j之间相似度权重，相似度权重表达式为：

其中α，β，γ是权重系数，

分别是相邻超像素之间的三个相似性度量指标；

其中

表示两个相邻超像素v_i和v_j的RGB平均值的差值的相似性测量，每个超像素区域的颜色平均值记作对应超像素的颜色值，超像素区域v_i的颜色值记为

超像素区域v_j的颜色值记为

的计算公式如下：

其中

表示两个相邻的超像素区域v_i和v_j的相交像素个数的相似度测量，

的计算公式如下：

其中

表示在两个相邻的超像素v_i和v_j的相交区域中，由HED网络生成的树冠边缘的相似度测量，

的计算公式如下：

其中Edge(v_i，v_j)表示两个相邻超像素区域v_i和v_j的相交边界，E_I表示由HED网络定义的两个相邻超像素区域在其相交区域内的边界像素个数。

作为本发明进一步改进的技术方案，所述的步骤(3)包括：

将局部最小生成树的最大加权通路定义为最小生成树单个超像素区域最大权重，表达式为：

其中MST(V，B)表示由单个超像素区域内的通路集合所组成的最小生成树；

将两个相邻的超像素区域v_i，v_j之间的类内差异定义为：

当两个相邻的超像素区域v_i，v_j的差值Dif(v_i，v_j)小于MInt(v_i，v_j)，则合并两个超像素，否则不合并超像素，即：

其中MInt(v_i，v_j)＝min{Int(v_i)+τ(v_i)，Int(v_j)+τ(v_j)}是类内差异的最小值；τ(v_i)是阈值函数，表达式为

m是恒定参数。

本发明的有益效果为：本发明提出了一种结合SLIC超像素分割算法、HED网络和拓扑学中MST方法的单株树冠分割方法，能够准确有效地分割航拍遥感图像中的森林冠层。首先，利用基于颜色测算的超像素对航拍遥感图像进行分割，并利用HED网络获取冠状边界；同时，用三个指标，即RGB颜色值、相交像素个数、交切区域内HED网络定义的边界像素个数的差值来衡量相邻两个超级像素之间的相似度权重。最后，利用最小生成树(MST)方法生成超像素尺度下的航拍图像的连通树，并根据计算得到的相似度权重对超像素进行融合，实现单株树冠分割，分割准确性高。本发明提出的方法对于森林航拍图像的单株树冠分割具有很好的应用前景，为适应不同类型的森林提供了一种基于图像处理技术的新概念。

附图说明

图1为无人机从广西高峰林场获取的三个相应的研究点航拍图像。

图1(a)为森林地块A1主要为枯萎或落叶状态的杉木的航拍图像。

图1(b)为森林地块A2主要为马尾松的航拍图像。

图1(c)为由桉树组成的森林地块A3受到不均匀的太阳光照的影响的航拍图像。

图2为图1的灰度图。

图2(a)为图1(a)的灰度图。

图2(b)为图1(b)的灰度图。

图2(c)为图1(c)的灰度图。

图3为VGG16网络架构(a)和HED网络架构(b)的架构图。

图4为图3的灰度图。

图5为利用HED网络和直方图均衡化方法对三个实验点的航空图像进行边缘检测的结果图。

图5(a)为对森林地块A1的航空图像进行边缘检测的结果图。

图5(b)为对森林地块A2的航空图像进行边缘检测的结果图。

图5(c)为对森林地块A3的航空图像进行边缘检测的结果图。

图6为最小生成树算法结果说明图。

图6(a)为基于超像素中心点构建超像素邻域连通图G。

图6(b)为从图G中提取最小生成树示意图。

图7为图6的灰度图。

图7(a)为图6(a)的灰度图。

图7(b)为图6(b)的灰度图。

图8为使用SLIC超像素算法对三个研究地点的航拍遥感图像进行超像素分割的结果图。

图8(a)为使用SLIC超像素算法对森林地块A1的航拍遥感图像进行超像素分割的结果图。

图8(b)为使用SLIC超像素算法对森林地块A2的航拍遥感图像进行超像素分割的结果图。

图8(c)为使用SLIC超像素算法对森林地块A3的航拍遥感图像进行超像素分割的结果图。

图9为图8的灰度图。

图9(a)为图8(a)的灰度图。

图9(b)为图8(b)的灰度图。

图9(c)为图8(c)的灰度图。

图10为从超像素尺度的连通图G中提取出来的MSTs示意图。

图10(a)为从森林地块A1的超像素尺度的连通图G中提取出来的MSTs示意图。

图10(b)为从森林地块A2的超像素尺度的连通图G中提取出来的MSTs示意图。

图10(c)为从森林地块A3的超像素尺度的连通图G中提取出来的MSTs示意图。

图11为图10的灰度图。

图11(a)为图10(a)的灰度图。

图11(b)为图10(b)的灰度图。

图11(c)为图10(c)的灰度图。

图12为基于MST结果的超像素合并后的单株树冠分割的最终结果示意图。

图12(a)为对森林地块A1图像的单株树冠分割结果示意图。

图12(b)为对森林地块A2图像的单株树冠分割结果示意图。

图12(c)为对森林地块A3图像的单株树冠分割结果示意图。

图13为图12的灰度图。

图13(a)为图12(a)的灰度图。

图13(b)为图12(b)的灰度图。

图13(c)为图12(c)的灰度图。

具体实施方式

下面根据附图对本发明的具体实施方式作出进一步说明：

本发明提供一种基于超像素与拓扑特征的航拍图像单株树冠分割算法，将超像素分割和拓扑图方法相结合，有效地将单株树冠从航空图像分离：首先，采用简单超像素线性迭代聚类算法对无人机拍摄的森林地块航拍图像进行分割，并利用Holistically-NestedEdge Detection(HED)网络的深度学习概念，得到了航拍图像的树冠边缘。其次，用相交区域内的颜色值、相交像素个数和HED网络定义的边界像素个数的差值这三个指标测量相邻超像素相似度权重。最后，采用拓扑方法的最小生成树生成超像素的航拍图像连通树，并根据计算得到的相似度权重对超像素进行融合，实现单株树冠分割。

具体详情如下：

一、研究区域和图像采集；

(1.1)研究区域；

本实施例的研究是在广西高峰林场进行的(北纬22°49′-23°5′,东经108°7′-108°38′)。高峰林场总用地面积593.34km²，其中内部面积320km²，外部绿化面积273.34km²。它位于南回归线南侧，广西南宁盆地北缘，属于大明山山脉。地形以丘陵为主，呈现东高西低的特征，其中丘陵占55.5％，山地占38.7％。中部地区分水岭的海拔高度(高于海平面平均高度)约450米，相对高度100～200米。分水岭两侧林地平均海拔在300米以下。本研究区属热带北缘气候，雨量充足。年平均气温在21℃左右，极端最低和极端最高气温分别为-2℃和40℃，在下山上部有冰。年积温约7500℃，年降雨量1200～1500mm，主要集中在每年6～9月。气候热又潮湿。在本实施例中，选择了三个具有代表性的林场作为研究区域。这些数据是通过航空遥感和野外调查获得的。森林地块A1、森林地块A2、森林地块A3三个研究林地面积分别为1433.45m²、1300m²、925.93m²，分别由杉木、马尾松、桉树组成。

(1.2)航拍图像；

采用高分辨率电荷耦合器件(CCD)相机和光学相机对研究区域进行航拍图像采集。研究中使用的CCD相机的视场为70°，焦距为50mm。在数据采集过程中，飞行速度和飞行高度分别设置为18m/s和55m(高于起飞位置的高度)。图1显示了三个研究森林地块的遥感数字航拍图像。图2为图1的灰度图。

二、研究方法；

(2.1)超像素分割；

在本实施例中，使用SLIC超像素算法生成紧凑且近似一致的超像素，以便对树冠遥感图像进行超像素分割。该算法在图像上选择多个聚类中心，利用像素与聚类中心的相似性，将像素划分为最相似的聚类范围。

SLIC算法首先将图像从RGB颜色空间转换为CIE-Lab颜色空间。每个像素对应的颜色值(L,a,b)和坐标(x,y)构成一个5维向量[L,a,b,x,y]，两个像素的相似度可以通过它们的向量距离来测量。距离越大，相似度越小。

SLIC分割的具体实现过程如下：(1)初始化聚类中心：根据设置的超像素数量，将聚类中心(种子点)，即划分区域的中心，均匀分布在图像中。本实施例可以假设图像的N个像素总数，并预先分割成K个具有相同大小的超像素。每个超像素的大小是N/K,两个相邻种子点的距离近似为S＝sqrt(N/K)；(2)重新选择原始种子点n*n方阵中的种子点(一般选择n＝3)。具体方法为：计算种子点邻域内所有像素点的梯度值，将种子点移动到邻域内梯度最小的点；(3)为每个种子点周围的每个像素分配一个类标签(即种子点属于哪个簇中心)。与k-均值搜索整幅图像的标准不同，SLIC对像素的搜索范围限制在2S*2S以内，可以加速算法的收敛；(4)距离测量：包括颜色距离(L,a,b)和空间距离(x,y)。对于每个搜索到的像素，需要分别计算它到种子点的距离，然后选择最小值对应的种子点作为像素的聚类中心。聚类中心不断迭代和更新，直到聚类中心不再有明显的变化。利用SLIC超像素算法将特征相似的像素在分割后的航拍图像上划分为相同的超像素区域。将图像像素集I转换为超像素集V:I→V。

(2.2)森林地块航拍图像的全嵌套边缘检测(HED)网络；

HED网络是一种利用VGG16卷积神经网络(CNN)和深度监督技术实现的多尺度、多层次、多融合的网络结构，通过深度学习模型进行图像到图像的预测，检测到的边缘更连贯，内部噪声点更少。HED网络是基于VGG16网络的改进。VGG16网络由13个卷积层和3个全连接层组成，另外还有5个池化层和1个softmax层。VGG16的网络架构分为6个阶段，如图3(a)所示。如图3所示(图4为图3的灰度图)，在VGG16网络基础上，HED网络消除了最后阶段(第五池化层，三个完全连接层和softmax层)，并在每个阶段的最后一层卷积后增加边缘输出层用来输出继承，逐步细化不同尺度的边缘映射。HED网络只需要提取图像的特征，因此保留了之前的卷积和池化层。HED网络的具体架构如图3(b)所示。此外，由于池化层的影响，从第二阶段开始，每个阶段的输入图像的长度和宽度都是前一阶段输入图像的一半(即多尺度描述)。因此，每一阶段得到的图像需要使用转置卷积进行重新计算，相当于将第二阶段到第五阶段提取的图像的长度和宽度分别扩大2倍、4倍、8倍和16倍(即，步长分别设置为1、2、4、8、16)，使得每个尺度下获得的图像大小相同。最后，将每个阶段的输出连接起来，以获得最终的结果。这里使用OpenCV的DNN模块来转换预先训练好的HED模型进行边缘检测。HED网络的卷积核大小选择3*3，池化类型为均值池化。利用上述参数进行边缘检测，为后期相似度测算的计算做准备。

因此，本实施例利用HED网络进行了有效的图像边缘检测。本实施例采用SLIC超像素算法对原始航空遥感图像进行分割，通过HED网络定义相交区域内相邻超像素之间的边界像素个数，记为E_I。灰度值较大的边界线(图中较亮的边界线)表示冠层区域之间的边界较强(见图5)。

同时，需要适当调整输入图像的大小，使整个图像的边缘轮廓能够连贯地显示出来。适当增大图像的大小，有利于显示图像内部的暗淡边缘轮廓。因此，将输入图像的长度I分别调整为200、400、600、800、1000、1200和1400进行边缘检测(见图5)，并根据原始图像的长宽比计算出七幅图像的宽度。检测到的7幅图像分别表示为边缘图像

然后将上述七幅图像的边缘检测结果进行叠加。此外，采用直方图均衡化方法对叠加图像进行处理，以增加不同边界灰度值的偏差，提高灰度图像的对比度，得到轮廓特征更加突出的最终边缘检测结果。这一结果定义为

其中H表示对叠加图像进行直方图均衡化的过程，

表示直方图均衡化后的最终结果。图5给出了三个研究点使用HED网络和直方图均衡化方法的航拍图像边缘检测结果。图5(a)、图5(b)、图5(c)分别展示三个研究森林地块A1、A2和A3的最后结果。即：首先，调整了输入航拍图像，长度分别设置为200、400、600、800、1000、1200和1400用以执行边缘检测。其次，对检测后的图像进行叠加，提取冠层区域之间的边界，利用直方图均衡化方法对获得的HED边界图进行非线性拉伸，提高图像的对比度。灰度值较大的边界(图中较亮的边界线)表明冠层区域之间的边界较强。

(2.3)超像素之间相似度权重的计算；

首先，将SLIC分割算法用于图像分割，用以产生超像素作为计算单元，并对图像进行局部聚类，这在一定程度上弱化了图像的纹理细节，在模糊图像的同时又保留了重要的边缘。分割后得到超像素集，并基于每个超像素的中心点构造超像素邻域连通图G＝(V，B)。结点v_i∈V对应于一个超像素区域，b(v_i，v_j)∈B是连接两个相邻的超像素的通路。w_b(v_i，v_j)的权重表示由通路b(v_i，v_j)连接的两个相邻超像素区域v_i和v_j之间相似度权重，表达式为：

这里的α，β，γ是权重系数，

分别是相邻超像素的三个相似性度量指标。

是两个相邻的超像素v_i和v_j的RGB平均值的差值的度量。图像中的每个像素都有自己的颜色空间，可以用0到255之间的RGB值表示。在分割前的图像中，每个分割后的超像素区域包含一定数量的像素。每个超像素区域的颜色平均值可以记做该超像素的颜色值，记为

所以，

的计算公式如下：

值越小，两个超像素区域的颜色相似度越高，因此这两个区域应该属于同一树冠。

表示两个相邻的超像素区域v_i和v_j的相交像素个数的相似度测量。本实施例将两个相邻超像素的面积扩大一个像素，并统计两个相邻区域在扩大后重叠部分的像素个数。由

表示相似度测量，记为：

值越大，两个超像素区域相交像素的个数越大，两个区域属于同一树冠的概率越大。

是在相邻的两个超像素v_i和v_j的相交区域中，由HED网络生成的树冠边缘的相似度测量。本实施例计算了相邻两个超像素相交边界之间的相交像素个数，通过对应的HED网络计算树冠边缘，得到

的值，具体如下：

其中Edge(v_i，v_j)表示相邻超像素v_i和v_j的相交边界。E_I表示由HED网络定义的相邻两个超像素区域在其相交区域内的边界像素个数。

值越小，两个超像素之间树冠区域的边缘越弱，两个超像素被归类到同一树冠区域的概率越大。

此外，为了确保公式(1)中相邻超像素的三个相似度测量指标(即

和

)对分割结果有足够大的影响，应设置相应的权重系数以达到实现平衡目的。根据三个相似度测量指标确定了三个权重系数。例如，如果

和

在某一操作设置为(3，2，0.003)，第三部分的权重(γ)需要被放大，而第一和第二部分的权重适当地减少，也就是说，推荐三个权重系数α，β，γ可以设置为(1，1，1000)。

(2.4)最小生成树和超像素合并；

在2.3节中，利用从超像素邻域连通图G＝(V，B)中提取的最小生成树(MST)来生成航拍图像的连通树。这种拓扑方法考虑了图像的所有超像素，以便从全局角度分割图像。然后根据上述计算得到的相似度权重，将超像素进行合并，实现单株树冠分割。根据区域间的邻接关系和属性差异，在超像素尺度上生成并连接航拍图像各超像素区域的MSTs。

综上所诉，确定了权重系数α，β，γ，能计算出w_b。结果表明，w_b越小，相邻两个超像素之间的相似度越高，这两个区域更有可能被划分为同一树冠。然后根据权值(相邻超像素的相似度或差值的大小)对MST的通路集合B进行非降阶排序。最后依次判断两个超像素区域是否具有合并条件。

(2.4.1)超像素内的类差异；

在本节中，在初始化条件下，指定一个超像素代表一个区域。类内差异由局部最小生成树的最大加权通路所刻画，定义为最小生成树(MST)单个区域最大权重。表达式为：

MST(V，B)，是由单个区域内的通路集合所组成的MST。例如，如图6所示(图7为图6的灰度图)，构造了一个超像素邻域连通图G(图6(a))，并从图G中提取了MST(图6(b))。图6(a)为基于超像素中心点构建超像素邻域连通图G，其中中心点用圈圈(红圈)表示，两个超像素中心点之间的通路用线条(蓝线)表示；图6(b)从图G中提取最小生成树，其中MST的通路由线条(黄线)描述，每条边的权值由数字(蓝色的数字)标记。

(2.4.2)基于类内差异的超像素合并；

将两个相邻的超像素区域v_i，v_j之间的类内差异定义为：

对于分割前的图像区域是否合并，可以通过以下标准进行判断。结果表明，当两个区域相似且满足合并条件时，即两个超像素区域Dif(v_i，v_j)的差值小于MInt(v_i，v_j)，则合并，否则不合并。

其中MInt(v_i，v_j)＝min{Int(v_i)+τ(v_i)，Int(v_j)+τ(v_j)}是类内差异的最小值。τ(v_i)是阈值函数，表达式为

m是个恒定参数。当m接近于0时，会导致图像过度分割；当m接近无穷大时，图像将被合并成一个大区域。因此，常数m的大小决定了图像分割子区域的大小。m越大，次区域越大，反之亦然。|v_i|表示超像素区域v_i中包含的像素总数。τ(v_i)设置为合并分割过程中出现的较小区域。此外，由于森林的航拍图像含有大量像素，当单个超像素区域较大时，即，单个超像素区域内有很多像素，τ(v_i)的影响可以忽略不计。因此，该方法合并的航拍图像包含相对均匀的超像素区域。

三、结果；

3个森林研究地块区的航拍遥感图像超像素分割结果如图8所示(图9为图8的灰度图)。图8显示了使用SLIC超像素算法对三个研究地点的航拍遥感图像进行超像素分割的结果，其中超像素区域由天蓝色的线条分隔。图8(a)、图8(b)和图8(c)分别展示了森林地块A1、A2和A3图像的分割结果。通过这一步，简化了得到的森林地块航拍遥感图像的表达形式，即超像素区域的每个亚像素都具有相似的颜色和亮度特征。然后，定义了两个相邻超像素之间的三个相似度测量指标，分别是RGB颜色值的差值、相交像素的个数和由HED网络定义的相交区域的边界像素个数，并根据这三个标准计算相似度权重。此外，MSTs是从超像素尺度的连通图G中提取出来的(见图10，图11为图10的灰度图)。图10显示了基于超像素分割结果，从连通图G中提取出MSTs，其中超像素区域中心由圆圈(红色圆圈)标出，MSTs通路由线条(黄线)表示，用数字(粉红数字)表示每条通路权重。图10(a)、图10(b)和图10(c)分别展示了森林地块A1、A2和A3的MSTs。最后，经过超像素合并后的单株树冠分割的最终结果如图12所示(图13为图12的灰度图)。图12为采用基于MST结果的超像素合并算法的单株树冠分割结果，其中线条(黄线)分割出每个树冠区域。图12(a)、图12(b)、图12(c)分别给出了森林地块A1、A2、A3图像的分割结果。

下列表1为本实施例算法在不同森林地块航拍图像中选取的三个重要参数■即图像大小、预先分割的超像素个数和阈值常数)。此外，实验结果的定量评价如表2所示，其中TP(true positive)是正确检测的树的数量，FN(false negative)是未被检测到的树的数量(遗漏错误)，FP(false positive)是区域中不存在却错误添加的树的数量(错分误差)。r(recall)是树的检出率，p(precision)是被检测树的正确率，f是被检测树的总体精度。F是树检出率和被检测树正确率的调和平均数，它结合并平衡了r和p这两个指标。最终测得森林地块A1、A2、A3的单株树冠分割整体准确率分别为86％，92％和87％。结果表明，该方法对三幅航拍图像具有较高的精度。

表1、算法对3个森林地块航拍图像选取的3个参数：

森林地块编号	图像大小	超像素预先分割的数目	m
				A1	960*719	500	1000
A2	425*319	500	500
				A3	370*240	500	300

表2、三个森林地块研究点树木分割准确率评价：

四、与现有方法的比较；

本实施例的方法新颖之处在于结合了SLIC超像素算法，HED网络和采用拓扑方法的MST对航拍图像进行单个树冠分割，它不同于一些现有的单株树冠分割方法，如结合了canny边缘检测方法和多尺度滤波与分割(MSF)方法的圆形霍夫变换。该方法使用canny边缘检测算法从相同树种中提取冠层边界，并应用圆形霍夫变换算法获取图像中的圆形形状，以便对单个树冠进行识别。MFS方法通过多尺度分析生成。图像的多尺度表示，然后利用分水岭分割方法生成多尺度的分割图，获得准确的森林冠层分割边界，有效减少过度分割现象。然而，圆形霍夫变换方法仅限于形状规则的树种(如柑橘)该方法仅在造林方式相同、树冠表型特征相似，即树木排列整齐，种植间距固定(林分密度低)的人工林上才有良好的效果，树冠形状大致呈圆形，这不适用于由不规则树冠形状的各种树种组成的天然林分。MFS方法的分割结果在固定天顶角的太阳辐射照射下容易受到阴影的干扰，由于在多尺度滤波过程中对滤波后的图像分割边界进行了细化，使得MFS方法的计算复杂度较高。此外，较大的树的多个斜侧分支可能被错误地认为是小树冠。本实施例分别采用圆形霍夫变换算法、MFS方法和本技术提出的方法，对同样森林地块A1、A2、A3三个研究点的航拍图像进行了测试，三种单株树冠分割方法的精度如表3所示。由于航拍角度的不同和树冠本身的生物学特性的限制，使得圆形霍夫变换方法的整体分割精度较低。由于树冠纹理随太阳光照不均匀、遮挡阴影和不同拍摄角度的变化而变化，使得MFS方法的精度有所下降，缺乏有效的树冠各部分融合策略。相比之下，本技术方法对三个森林地块的航拍图像的分割精度总体上得到了提高。

表3为利用圆形霍夫变换方法、多尺度滤波与分割(MFS)方法和本技术方法对A1、A2、A3三个森林地块研究点的航拍图像进行单株树冠分割的精度比较：

其中TP:正确检测到的树的数量。FP:区域中不存在的额外树的数量(错分误差).FN:未被检测到的树的数量(遗漏错误)。r:树木检出率。p:被检出树的正确性。f:被检出树的总体精度。

该方法将像素转化为超像素，并结合HED网络对分割边界进行增强，可以简单有效地提高分割精度。具体来说，SLIC是目前最优的超像素分割方法之一，它在生成超像素时有很好的灵活性、紧凑性和良好的抗噪性，提高了单株树冠分割算法的分割速度和性能。此外，SLIC算法可以人为地控制生成的超像素的数量，并将像素转换为超像素进行处理，从而在保持树冠轮廓的同时，更快、更有效地分割单株树冠。HED网络是目前最先进的边缘检测方法之一。该方法解决了物体边界的获取问题和模糊问题，获得了明显优于其他边缘检测方法，如基于robert算子、sobel算子、prewitt算子、log算子、canny算子的边缘检测方法的检测结果。将HED网络应用到林冠分割中可以提取出清晰连贯的冠层边界，这为更准确的单株树冠分割做准备。同时，本技术借鉴了高效的基于图的图像分割算法(EGBIS)以便利用MST方法进一步合并超像素。MST方法不仅通过降低超像素融合的频率提高了森林地块航测图像树冠分割效率，还解决了典型的图像分割方法难以确定合适的图像分割尺度的问题。总之，本技术提出的方法对具有规则分布和清晰边界的林分结构特征具有最优分割效果，并且被检测树的总体精度可达92％。

如果想应用本技术方法，需要考虑以下参数的选择：

首先，SLIC算法能够生成紧凑的、统一的超像素，并且因为它只需要确定预先分割的超像素的个数，而这些超像素的个数通常取决于航拍图像中树冠的个数和像素的个数，所以使用起来很方便。如果设置的超像素数量过小，图像分割可能不够充分、不均匀；如果参数设置太大，图像可能会被过度分割。本技术根据实地测算，三个林地的树木数量分别为258棵、195棵和125棵。本实施例希望每个大树冠被分割成3-4个超像素；每个小树冠被分割成2-3个超像素。三个森林地块的每幅航拍图像平均包含超过80000个像素，超过100棵树，因此根据上述准则，本实施例将预先分割的超像素个数K设置在500个左右。结果表明，该树冠分割方法是可取的，明显减少了过度分割现象。

其次，利用相似度权重进行超像素融合时，关键问题是根据航拍图像的分辨率和大小设置合适的阈值参数。阈值函数τ(v_i)中m的值与相邻超像素的区域合并高度相关。合并区域的大小随着m值的增大而增大。因此，为了准确识别森林冠层，可以通过选择合适的m值来减少欠分割和过度分割。在低分辨率(100*100)的图像中，m的取值范围通常为100到200；在高分辨率(300*300)的图像中，m的范围通常为200到300；在分辨率较高(900*900)的图像中，一般选择m＝1000或其他近似值。其中，图1中森林地块A1、A2、A3航拍图像尺寸分别为960*719(高分辨率)、425*319、370*240，因此，本实施例设置m＝1000,m＝500和m＝300进行超像素合并。

另外，表2从树木检出率，被检出树的正确率，被检出树的总体精度这三个方面对森林地块A1、A2、A3的单株树冠分割结果进行了分析。结果发现，单一树种的森林地块A2和A3的整体分割精度高于混交林的森林地块A1。该算法检测到的三个森林地块的树木数量分别为301棵、208棵和138棵，而实地测算得到的相应树木数量分别为258棵、195棵和125棵。结果表明，该算法对森林地块A2的分割效果最佳，整体准确率达92％。森林地块A2是人工管理的马尾松林，树种相同，树冠大小相似。分布均匀的马尾松具有明显的树冠特征和规则的林分结构特征，易于实现单株树冠识别和分割。森林地块A3树冠尺寸不一，受右上角太阳光照的影响，增加了本实施例算法单株树冠分割的难度。因此，对森林地块A3的单株树冠分割精度仅为87％。枯树与健康树在森林地块A1混合生长。枯树和落叶树的颜色和纹理特征难以区分，落叶树的侧枝常被误认为单个树冠，容易造成过度分割。因此，森林地块A1的林分结构特征使得单株树冠分割的过程变得复杂，准确率仅为86％。在此，本实施例建议可以根据树种或形态结构特征对相对复杂的混交林进行适当的参数调整，以增加本技术方法的适用性。

总之，本实施例提出的方法对于森林航拍图像的单株树冠分割具有很好的应用前景，为适应不同类型的森林提供了一种基于图像处理技术的新概念。

综上所述，本实施例提出了一种结合SLIC超像素分割算法、HED网络和拓扑学中MST方法的单株树冠分割方法，能够准确有效地分割航拍遥感图像中的森林冠层。首先，利用基于颜色测算的超像素对航拍遥感图像进行分割，并利用HED网络获取冠状边界；同时，用三个指标，即RGB颜色值、相交像素个数、交切区域内HED网络定义的边界像素个数的差值来衡量相邻两个超级像素之间的相似度权重。最后，利用MST方法生成超像素尺度下的航拍图像的连通树，并根据计算得到的相似度权重对超像素进行融合，实现单株树冠分割。

研究结果表明，该方法具有良好的应用前景，实验结果令人鼓舞，三个森林林地块的整体分割正确率分别为86％、92％和87％。与圆形霍夫变换方法和多尺度滤波分割方法相比，该方法的检测精度提高了7％-17％，检测误差降低了3％-10％。本技术的方法得到的树木特性为各种森林应用提供了全面和必要的信息。

本发明的保护范围包括但不限于以上实施方式，本发明的保护范围以权利要求书为准，任何对本技术做出的本领域的技术人员容易想到的替换、变形、改进均落入本发明的保护范围。

Claims (4)

1.基于超像素与拓扑特征的航拍图像单株树冠分割算法，其特征在于：包括以下步骤：

(1)对原始航拍图像进行SLIC超像素分割，同时利用HED网络获取图像的树冠边界；

(2)计算出相邻两个超像素之间的三个相似性测量指标，即相邻两个超像素的RGB平均值的差值、相邻两个超像素区域的相交像素个数以及从HED网络中得到的边界像素的个数，并用它们构造相邻两个超像素区域之间的相似度权重；

(3)基于每个超像素的中心点构造超像素邻域连通图，从超像素邻域连通图中提取最小生成树来生成航拍图像的连通树，并根据计算得到的相似度权重将超像素进行合并，实现单株树冠的分割。

2.根据权利要求1所述的基于超像素与拓扑特征的航拍图像单株树冠分割算法，其特征在于：所述步骤(1)还包括：

采用CCD相机和光学相机对研究区域进行航拍图像采集。

3.根据权利要求1所述的基于超像素与拓扑特征的航拍图像单株树冠分割算法，其特征在于：所述的步骤(2)包括：

基于每个超像素的中心点构造超像素邻域连通图G＝(V,B)，结点v_i∈V对应于一个超像素区域,b(v_i,v_j)∈B是连接两个相邻的超像素的通路，w_b(v_i,v_j)的权重表示由通路b(v_i,v_j)连接的两个相邻超像素区域v_i和v_j之间相似度权重，相似度权重表达式为：

其中α,β,γ是权重系数，

分别是相邻超像素之间的三个相似性度量指标；

其中

表示两个相邻超像素v_i和v_j的RGB平均值的差值的相似性测量，每个超像素区域的颜色平均值记作对应超像素的颜色值，超像素区域v_i的颜色值记为

超像素区域v_j的颜色值记为

的计算公式如下：

其中

表示两个相邻的超像素区域v_i和v_j的相交像素个数的相似度测量，

的计算公式如下：

其中

表示在两个相邻的超像素v_i和v_j的相交区域中，由HED网络生成的树冠边缘的相似度测量，

的计算公式如下：

其中Edge(v_i，v_j)表示两个相邻超像素区域v_i和v_j的相交边界，E_I表示由HED网络定义的两个相邻超像素区域在其相交区域内的边界像素个数。

4.根据权利要求1所述的基于超像素与拓扑特征的航拍图像单株树冠分割算法，其特征在于：所述的步骤(3)包括：

将局部最小生成树的最大加权通路定义为最小生成树单个超像素区域最大权重，表达式为：

其中MST(V，B)表示由单个超像素区域内的通路集合所组成的最小生成树；

将两个相邻的超像素区域v_i，v_j之间的类内差异定义为：

当两个相邻的超像素区域v_i，v_j的差值Dif(v_i，v_j)小于MInt(v_i，v_j)，则合并两个超像素，否则不合并超像素，即：

其中MInt(v_i，v_j)＝min{Int(v_i)+τ(v_i)，Int(v_j)+τ(v_j)}是类内差异的最小值；τ(v_i)是阈值函数，表达式为

m是恒定参数。

Images