CN110717496A - 基于神经网络的复杂场景树木检测方法 - Google Patents

Abstract

基于神经网络复杂场景树木检测方法，包括如下步骤：步骤1，构建树冠高度模型；步骤2，生成待检测样本；步骤3，神经网络树木检测。本发明针对现有森林遥感技术大多针对纯森林场景下而在复杂场景下树木分割精度受影响的情况，引入基于PointCNN的神经网络模型来检测包含建筑等事物的复杂场景下树木信息，提高该场景下树木检测精度，该方法能够获得较好的结果。

Description

基于神经网络的复杂场景树木检测方法

技术领域

本发明涉及复杂场景下森林遥感技术的自动化单树提取方法。

背景技术

森林作为一个生态系统，是地球表面生态系统的主体，具有生态防护的作用。同时森林资源作为地球上最为宝贵的自然资源之一，是林业生存、发展的物质基础，保护和发展森林资源的林业一切工作的出发和落脚点。现阶段，随着人们逐渐意识到森林保护的重要性，开始加强对森林资源信息进行系统性的收集、整理和分析，从而对森林资源进行动态监管和可靠预测。目前在森林资源信息统计方法中主要是通过使用遥感数据获取森林信息，特别是通过主动遥感技术光探测和测距雷达(light detection and ranging，LiDAR)自动化提取单木信息，并且基于Lidar数据的三维森林结构分析已被广泛应用在提取树木高度、树冠体积和生物量估计。

近十年来，研究人员相继提出了许多不同的方法从LiDAR数据中获取树木信息。这些方法主要分为三类：基于栅格化数据的方法；基于点云数据的方法；结合栅格化数据和点云数据的方法。但是使用这些方法在一些复杂场景中而不是纯森林场景下，树木信息提取的准确度会受到各种建筑等非树木事物的影响，为了解决这种场景下树木信息提取所遇到的准确性问题，提出了一种通过LiDAR点云数据结合神经网络分割树木的方法。

发明内容

本发明要克服现有技术的上述缺点，提供一种基于神经网络的树木分割方法。

本发明的目的在于设计一种复杂场景下树木分割的方法，首先需要对LiDAR点云数据进行处理生成树冠高度模型(Canpoy Height Model,CHM)。然后通过动态窗口局部最大值方法应用于CHM，得到待检测样本种子点。然后在点云数据俯视图的基础上，以种子点为圆心，从不同半径大小的圆形区域获取带检测样本点云数据，实验中分别以0.3m，0.5m，0.7m作为间隔，结果发现当采用0.5m时效果较好。根据以上方法获得的待检测样本中获取足够数量的正负样本作为下一步神经网络模型的训练数据。最后通过基于PointCNN的神经网络分割出样本中的完整的单木数据。

基于神经网络的树木分割方法，包括如下步骤：

1、构建树冠高度模型；

在生成神经网络检测样本之前，需要对LiDAR点云数据进行处理，构建出树冠高度模型；具体步骤如下：

11)对LiDAR点云数据进行高度归一化操作。初始的LiDAR点云数据可以被分为地面点和非地面点，进行高度归一化操作后，将会改变点云数据的高度值，使地面点的高度值为0，非地面点也会随着地面点而改变。

12)构建数字地面模型(Digital Ground Model,DTM)；使用高度归一化后的点云数据将所有的地面点构建并生成数字地面模型DTM；

13)构建局部树冠高程模型；使用高度归一化后的点云数据来构建不同高度的局部CHM，局部CHM是过滤掉特定高度值以下的点云数据生成的CHM，每隔5米并且通过步骤14)中的方法构建DSM的方法来构建相应局部无尖峰CHM；

14)构建数字表面模型DSM；考虑所有的Lidar返回，从最高点开始使用增量Delaunay算法构造三角化网格(Triangulated Irregular Network,TIN)，根据本实验数据所得的冻结距离为1米，然后冻结高度值小于1米的小三角形来防止Delaunay TIN中生成向下的尖峰，也就是在光栅化的DSM中会变成”凹坑”；

15)将多个无尖峰CHM合并为一个CHM，将所有不同高度值的局部CHM进行叠加，在每个像素位置上去最高值，最终获得无凹坑无尖峰的树冠高程模型；

2、获取待检测样本；

传统CNN(Convolutional Neural Networks)网络中滑动窗口进行识别，但这种方法会产生大量冗余数据降低检测效率，通过种子点生成带检测样本可以减少大量无效的样本。待检测样本生成的具体步骤如下：

21)动态窗口确定；树冠模型通常呈圆形，所以窗口形状使用圆形；

通常树木高度和树冠大小存在联系，当树木越高时，树冠面积就越大，因此可以设计出树冠大小与树木高度之间的关系，阔叶林中可以用公式(1)表示：

CW＝3.09632+0.00895H² (1)

其中，CW代表树冠直径，H为树木高度。针叶林环境中可以用公式(2)表示：

CW＝3.75105-0.17919H+0.01241H² (2)

而针叶林与阔叶林混合的场景中可以用公式(3)表示：

CW＝2.51503+0.00901H² (3)

根据以上公式，能够通过通过数据的高度值来自动调整窗口大小；

22)种子点确定；在确定的动态窗口中，利用树木大多存在树中心最高，而且树冠高度会随着离树中心的距离越远而降低的特点来将局部最高点作为树冠中心并作为种子点；

23)在点云数据俯视图基础上，以种子点为中心，提取出不同半径的圆形区域作为待检测样本，样本包含点云数据的位置信息和强度信息；

3、神经网络树木检测；

待检测样本训练前需要对数据进行预处理，以满足网络训练时输入要求，用标定好的正负样本来训练基于PointCNN的神经网络模型，最后训练好的模型用于树木检测，具体步骤如下：

31)数据预处理；对带检测样本进行零均值归一化，归一化样本重采样，采样方法使用最远点随机采样，随机选取一个起始点为起点，迭代计算并添加最远点直至达到指定数目要求的点数；

32)网络训练；通过标定拥有完整单木结构信息的正样本和包含建筑地面、不完整单木、两颗或多棵树木粘连、树木与建筑粘连的负样本来作为网络模型训练的输入，使用基于PointCNN的神经网络进行训练，在进行卷积操作之前通过将前一层的候选点输入多层感知机(Multi-Layer Perceptron,MLP)学习获得一个K×K大小的变换矩阵，即X变换，如公式(4)所示：

X＝MLP(p₁,p₂,…,p_k) (4)

其中p₁,p₂,…,p_k为候选点，将X变换后的矩阵对前一层的特征进行变换后再进行卷积操作，卷积结果可以通过公式(5)表示：

f_i＝Conv(K,X_i×[f_a,f_b,f_c,f_d]^T),

f_ii＝Conv(K,X_ii×[f_a,f_b,f_c,f_d]^T), (5)

f_iii＝Conv(K,X_iii×[f_a,f_b,f_c,f_d]^T)

其中，X_i，X_ii，X_iii是从不同形状中学习得到的变换矩阵，Conv为卷积操作，f_i，f_ii，f_iii为卷积结果。

PointCNN网络结构于附图图2所示：

其中(x₁,y₁,z₁,i₁),…(x_n,y_n,z_n,i_n)是n个点云数据坐标和强度信息，X-Conv是使用X变换的卷积操作，N,C,K,D是X变换层维度信息，FCs是全连接层，Loss是模型损失值。

33)树木检测；基于PointCNN的神经网络训练完成后，将步骤3生成的待检测样本输入网络模型中，将分类为树木且属于同一个种子点的样本中选取概率最高的样本作为最终的检测结果。

本发明的优点是：构建了高精度的树木高程模型；通过种子点提取样本的方法大大减少了构建网络分类模型所需的数据量，提高分类效率；能够在复杂场景中准确地检测树木，排除建筑物等非树木因素的干扰，检测精度提升。

附图说明

图1是本发明方法的流程图。

图2是PointCNN的网络结构图。

具体实施方式：

下面结合附图进一步说明本发明的技术方案。

基于神经网络的树木分割方法，包括如下步骤：

1、构建树冠高度模型；

在生成神经网络检测样本之前，需要对LiDAR点云数据进行处理，构建出树冠高度模型；具体步骤如下：

11)对LiDAR点云数据进行高度归一化操作。初始的LiDAR点云数据可以被分为地面点和非地面点，进行高度归一化操作后，将会改变点云数据的高度值，使地面点的高度值为0，非地面点也会随着地面点而改变。

12)构建数字地面模型(Digital Ground Model,DTM)；使用高度归一化后的点云数据将所有的地面点构建并生成数字地面模型DTM；

13)构建局部树冠高程模型；使用高度归一化后的点云数据来构建不同高度的局部CHM，局部CHM是过滤掉特定高度值以下的点云数据生成的CHM，每隔5米并且通过步骤14)中的方法构建DSM的方法来构建相应局部无尖峰CHM；

14)构建数字表面模型DSM；考虑所有的Lidar返回，从最高点开始使用增量Delaunay算法构造三角化网格(Triangulated Irregular Network,TIN)，根据本实验数据所得的冻结距离为1米，然后冻结高度值小于1米的小三角形来防止Delaunay TIN中生成向下的尖峰，也就是在光栅化的DSM中会变成”凹坑”；

15)将多个无尖峰CHM合并为一个CHM，将所有不同高度值的局部CHM进行叠加，在每个像素位置上去最高值，最终获得无凹坑无尖峰的树冠高程模型；

2、获取待检测样本；

传统CNN(Convolutional Neural Networks)网络中滑动窗口进行识别，但这种方法会产生大量冗余数据降低检测效率，通过种子点生成带检测样本可以减少大量无效的样本。待检测样本生成的具体步骤如下：

21)动态窗口确定；树冠模型通常呈圆形，所以窗口形状使用圆形；

通常树木高度和树冠大小存在联系，当树木越高时，树冠面积就越大，因此可以设计出树冠大小与树木高度之间的关系，阔叶林中可以用公式(1)表示：

CW＝3.09632+0.00895H² (1)

其中，CW代表树冠直径，H为树木高度。针叶林环境中可以用公式(2)表示：

CW＝3.75105-0.17919H+0.01241H² (2)

而针叶林与阔叶林混合的场景中可以用公式(3)表示：

CW＝2.51503+0.00901H² (3)

根据以上公式，能够通过通过数据的高度值来自动调整窗口大小；

22)种子点确定；在确定的动态窗口中，利用树木大多存在树中心最高，而且树冠高度会随着离树中心的距离越远而降低的特点来将局部最高点作为树冠中心并作为种子点；

23)在点云数据俯视图基础上，以种子点为中心，提取出不同半径的圆形区域作为待检测样本，样本包含点云数据的位置信息和强度信息；

3、神经网络树木检测；

待检测样本训练前需要对数据进行预处理，以满足网络训练时输入要求，用标定好的正负样本来训练基于PointCNN的神经网络模型，最后训练好的模型用于树木检测，具体步骤如下：

31)数据预处理；对带检测样本进行零均值归一化，归一化样本重采样，采样方法使用最远点随机采样，随机选取一个起始点为起点，迭代计算并添加最远点直至达到指定数目要求的点数；

32)网络训练；通过标定拥有完整单木结构信息的正样本和包含建筑地面、不完整单木、两颗或多棵树木粘连、树木与建筑粘连的负样本来作为网络模型训练的输入，使用基于PointCNN的神经网络进行训练，在进行卷积操作之前通过将前一层的候选点输入多层感知机(Multi-Layer Perceptron,MLP)学习获得一个K×K大小的变换矩阵，即X变换，如公式(4)所示：

X＝MLP(p₁,p₂,…,p_k) (4)

其中p₁,p₂,…,p_k为候选点，将X变换后的矩阵对前一层的特征进行变换后再进行卷积操作，卷积结果可以通过公式(5)表示：

f_i＝Conv(K,X_i×[f_a,f_b,f_c,f_d]^T),

f_ii＝Conv(K,X_ii×[f_a,f_b,f_c,f_d]^T), (5)

f_iii＝Conv(K,X_iii×[f_a,f_b,f_c,f_d]^T)

其中，X_i，X_ii，X_iii是从不同形状中学习得到的变换矩阵，Conv为卷积操作，f_i，f_ii，f_iii为卷积结果。

PointCNN网络结构于附图图2所示：

其中(x₁,y₁,z₁,i₁),…(x_n,y_n,z_n,i_n)是n个点云数据坐标和强度信息，X-Conv是使用X变换的卷积操作，N,C,K是X变换层维度信息，D是网络层深度序号，FCs是全连接层，Loss是模型损失值。

33)树木检测；基于PointCNN的神经网络训练完成后，将步骤3生成的待检测样本输入网络模型中，将分类为树木且属于同一个种子点的样本中选取概率最高的样本作为最终的检测结果。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.基于神经网络复杂场景的树木检测方法，包括如下步骤：

步骤1，构建树冠高度模型；

在生成神经网络检测样本之前，需要对LiDAR点云数据进行处理，构建出树冠高度模型；具体步骤如下：

11)对LiDAR点云数据进行高度归一化操作；初始的LiDAR点云数据可以被分为地面点和非地面点，进行高度归一化操作后，将会改变点云数据的高度值，使地面点的高度值为0，非地面点也会随着地面点而改变；

12)构建数字地面模型(Digital Ground Model,DTM)；使用高度归一化后的点云数据将所有的地面点构建并生成数字地面模型DTM；

13)构建局部树冠高程模型；使用高度归一化后的点云数据来构建不同高度的局部CHM，局部CHM是过滤掉特定高度值以下的点云数据生成的CHM，每隔5米并且通过步骤14)中的方法构建DSM的方法来构建相应局部无尖峰CHM；

14)构建数字表面模型DSM；考虑所有的Lidar返回，从最高点开始使用增量Delaunay算法构造三角化网格(Triangulated Irregular Network,TIN)，根据本实验数据所得的冻结距离为1米，然后冻结高度值小于1米的小三角形来防止Delaunay TIN中生成向下的尖峰，也就是在光栅化的DSM中会变成”凹坑”；

15)将多个无尖峰CHM合并为一个CHM，将所有不同高度值的局部CHM进行叠加，在每个像素位置上去最高值，最终获得无凹坑无尖峰的树冠高程模型；

步骤2，种子点生成，待检测样本生成；

21)动态窗口确定；树冠模型通常呈圆形，所以窗口形状使用圆形；通常树木高度和树冠大小存在联系，当树木越高时，树冠面积就越大，因此可以设计出树冠大小与树木高度之间的关系，阔叶林中可以用公式(1)表示：

CW＝3.09632+0.00895H² (1)

其中，CW代表树冠直径，H为树木高度；针叶林环境中可以用公式(2)表示：

CW＝3.75105-0.17919H+0.01241H² (2)

而针叶林与阔叶林混合的场景中可以用公式(3)表示：

CW＝2.51503+0.00901H² (3)

根据以上公式，能够通过通过数据的高度值来自动调整窗口大小；

22)种子点确定；在确定的动态窗口中，利用树木大多存在树中心最高，而且树冠高度会随着离树中心的距离越远而降低的特点来将局部最高点作为树冠中心并作为种子点；

23)在点云数据俯视图基础上，以种子点为中心，提取出不同半径的圆形区域作为待检测样本，样本包含点云数据的位置信息和强度信息；

步骤3，神经网络树木检测；

31)数据预处理；对带检测样本进行零均值归一化，归一化样本重采样，采样方法使用最远点随机采样，随机选取一个起始点为起点，迭代计算并添加最远点直至达到指定数目要求的点数；

32)网络训练；通过标定拥有完整单木结构信息的正样本和包含建筑地面、不完整单木、两颗或多棵树木粘连、树木与建筑粘连的负样本来作为网络模型训练的输入，使用基于PointCNN的神经网络进行训练，在进行卷积操作之前通过将前一层的候选点输入多层感知机(Multi-Layer Perceptron,MLP)学习获得一个K×K大小的变换矩阵，即X变换，如公式(4)所示：

X＝MLP(p₁,p₂,…,p_k) (4)

其中p₁,p₂,…,p_k为候选点，将X变换后的矩阵对前一层的特征进行变换后再进行卷积操作，卷积结果可以通过公式(5)表示：

其中，X_i，X_ii，X_iii是从不同形状中学习得到的变换矩阵，Conv为卷积操作，f_i，f_ii，f_iii为卷积结果；

PointCNN网络结构于附图图2所示：

其中(x₁,y₁,z₁,i₁),…(x_n,y_n,z_n,i_n)是n个点云数据坐标和强度信息，X-Conv是使用X变换的卷积操作，N,C,K是X变换层维度信息，D是网络层深度序号，FCs是全连接层，Loss是模型损失值；

33)树木检测；基于PointCNN的神经网络训练完成后，将步骤3生成的待检测样本输入网络模型中，将分类为树木且属于同一个种子点的样本中选取概率最高的样本作为最终的检测结果。

Images