CN111898688A - 一种基于三维深度学习的机载LiDAR数据树种分类方法 - Google Patents
一种基于三维深度学习的机载LiDAR数据树种分类方法 Download PDFInfo
- Publication number
- CN111898688A CN111898688A CN202010770652.9A CN202010770652A CN111898688A CN 111898688 A CN111898688 A CN 111898688A CN 202010770652 A CN202010770652 A CN 202010770652A CN 111898688 A CN111898688 A CN 111898688A
- Authority
- CN
- China
- Prior art keywords
- tree
- point
- data
- point cloud
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000013135 deep learning Methods 0.000 title claims abstract description 28
- 230000011218 segmentation Effects 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000001914 filtration Methods 0.000 claims abstract description 19
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 239000002023 wood Substances 0.000 claims abstract description 11
- 241000894007 species Species 0.000 claims description 49
- 239000011159 matrix material Substances 0.000 claims description 29
- 238000013507 mapping Methods 0.000 claims description 15
- 241000218652 Larix Species 0.000 claims description 13
- 238000007477 logistic regression Methods 0.000 claims description 13
- 235000005590 Larix decidua Nutrition 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 9
- 238000011160 research Methods 0.000 claims description 9
- 235000018185 Betula X alpestris Nutrition 0.000 claims description 7
- 235000018212 Betula X uliginosa Nutrition 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 244000274847 Betula papyrifera Species 0.000 description 7
- 235000009113 Betula papyrifera Nutrition 0.000 description 7
- 235000009109 Betula pendula Nutrition 0.000 description 7
- 235000010928 Betula populifolia Nutrition 0.000 description 7
- 235000002992 Betula pubescens Nutrition 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 235000009499 Vanilla fragrans Nutrition 0.000 description 2
- 244000263375 Vanilla tahitensis Species 0.000 description 2
- 235000012036 Vanilla tahitensis Nutrition 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Biomedical Technology (AREA)
- Image Analysis (AREA)
Abstract
一种基于三维深度学习的机载LiDAR数据树种分类方法，属于机载激光LiDAR点云数据分类技术领域。包括：加载机载LiDAR数据；去除机载LiDAR数据的噪声点，并滤除地面点；分别通过分水岭分割算法和基于点云距离的分割算法进行单木分割形成单木点云数据；对分割后得到的单木点云数据制作深度学习样本数据集，并将数据集分为训练集和测试集；利用深度学习网络对训练集进行特征抽象并完成训练；利用训练后的网络模型分类测试集树种。该方法简单高效，且无需将点云做体素分割或多视图投影。
Description
技术领域
本发明属于机载激光LiDAR点云数据分类技术领域，特别是涉及一种基于三维深度学习的机载LiDAR数据树种分类方法。
背景技术
树种分类是生态环境、林业测量、遥感等众多行业和领域的重点研究课题，因为树种识别对于生态系统评估、生物多样性监测和森林资源利用起着至关重要的作用。传统的树种分类方法通常是利用高光谱遥感技术，通过树木的光谱信息区分不同的树种。然而，高光谱数据冗余度大，且存在着“同谱异物”和“同物异谱”的现象，忽略了树木的三维结构信息。激光雷达(Light Detecting and Ranging,LiDAR)是一种先进的主动遥感技术，它能够快速获取地表目标高精度的高度信息和三维结构信息，且具有抗干扰能力强、低空探测性能好等优点。随着无人机技术的快速发展，无人机激光雷达为快速、准确的植被精细分类提供了有力的技术支撑。
近年来，深度学习技术在三维数据上取得了很好的发展，根据输入网络的表达方式可以概括为以下三种：(1)基于体素的方法一般是将三维模型划分为三维网格后再进行3D卷积，代表模型有VoxNet、3DShapeNets、O-CNN等；(2)基于多视图的方法是先将三维模型通过投影等方法得到二维图像，再利用图像领域的方法进行处理，代表模型有MVCNN、FPNN、DeepPano等；(3)基于点的方法是网络能够适应三维数据的特点，直接对点云进行处理，代表模型有PointNet、PointNet++、PointCNN等。
由于深度学习在特征提取上的优势，近年来有学者将该技术运用到基于LiDAR数据的树种识别课题上。Guan等基于体素实现了滤波和单木分割，然后将树的点密度用波形表示，再利用深度玻尔兹曼机(Deep Boltzmann Machine，DBM)实现了对城市树种的分类；Zou等利用栅格化的方法在样本空间中划分体素，将每个体素格网中的点云数累积，投影到包含树木轮廓的二维图像上，每30°重复投影，并用一个深度信念网络(Deep BeliefNetwork，DBN)来生成高级特征，从而进行树种分类；Hamid Hamraz等将点云转化为DSM和2D视图，再利用深度卷积神经网络(Convolutional Neural Networks,CNN)对针叶树和落叶树分类。
然而，这些研究都是先将点云转进行规则化处理，例如转换成体素或二维图像，没有直接利用三维数据进行特征提取或分类。体素划分不仅会呈指数级地增加计算成本，还会受到分辨率的限制，存在局部信息丢失的现象。多视图投影的方法不能充分利用点云的三维结构信息，在点分类和场景理解等3D任务上具有较大的局限性。
发明内容
针对上述存在的现有树种分类方法的局限性，本发明提供一种基于三维深度学习的机载LiDAR数据树种分类方法，根据点云无序性、置换不变性，以及多视角变换的特性，利用深度学习网络直接学习点云的三维结构特性，通过数据处理与变换，基于PointNet神经网络模型实现无人机LiDAR数据的特征提取，并基于logistic回归模型实现白桦树和落叶松两个树种的分类。
本发明的目的是通过以下技术方案来实现的：
一种基于三维深度学习的机载LiDAR数据树种分类方法，包括以下步骤：
步骤S1，加载机载LiDAR数据；
步骤S2，去除机载LiDAR数据的噪声点，并滤除地面点；
步骤S3，分别通过分水岭分割算法和基于点云距离的分割算法进行单木分割形成单木点云数据；
步骤S4，对分割后得到的单木点云数据制作深度学习样本数据集，并将数据集分为训练集和测试集；
步骤S5，利用深度学习网络对训练集进行特征抽象并完成训练；
步骤S6，利用训练后的网络模型分类测试集树种。
进一步地：所述步骤S2包括以下步骤：
(21)对每一个点搜索相同个数的邻域点，并计算该点到邻域点的距离平均值Dmean及其中值m和标准差σ，计算最大距离Dmax：
Dmax＝m+K*σ其中K为标准差倍数，设置为5，若Dmean大于Dmax，则认为该点为噪点，将其去除；
(22)对LiDAR数据以1m的尺寸划分网格，取每个网格的最低点进行光栅化，再利用形态学开操作选取潜在地面种子点Gpotential；
(23)利用平移平面拟合法滤除潜在地面种子点Gpotential中的非地面点，进而获得准确基地面种子点Gseeds；
(24)对地面种子点Gseeds建立TIN模型，执行先向下再向上的迭代加密，得到地面点Gresult并滤除。
进一步地：所述步骤S3包括以下步骤：
(31)从经过预处理后的LiDAR数据生成数字表面模型和数字高程模型，得到冠层高度模型；
(32)测量树高和树冠大小，通过可变的窗口大小过滤冠层高度模型得到树冠顶点模型(CMM)；
(33)利用高斯滤波平滑树冠顶点模型，检测可变窗口尺寸的最大值并标记出树顶；
(34)利用分水岭算法对步骤S2得到的LiDAR数据单木分割；
(35)利用基于点云距离的分割方法对步骤S2得到的LiDAR数据按点的顺序从高到低进行分类，间距大于指定阈值的点排除在目标树之外，间距小于阈值的点根据最小间距规则进行分类，完成另一次单木分割。
进一步地：所述步骤S4包括以下步骤：
(41)对两次单木分割后得到的单木进行人工筛选，删除过分割、欠分割以及粘连严重的树，仅保留高质量树作为实验数据；
(42)对所有单木均匀采样2048个点，并将每棵树零均值归一化至单位球内；
(43)向每棵树添加标签，其中白桦树记为0，落叶松记为1；
(44)从不同的研究区空间中划分数据，将整个数据集按照8:2的比例随机分成训练集和测试集；
(45)将步骤S41得到的包含(x,y,z)坐标的的点云数据、步骤S42得到的归一化数据和步骤S43标记的标签值转换成HDF5格式。
进一步地：所述步骤S5包括以下步骤：
(51)构建三维深度学习网络模型，网络模型分为特征映射模块、最大池化模块和logistic回归模块，其中特征映射模块对单个点进行高维特征抽象；最大池模块聚合点云的全局特征；logistic回归模块利用全局特征进行树种分类，得到每棵树的种类预测概率；
(52)在特征映射模块中，输入是n×3的矩阵，由一个T-Net生成一个3×3的变换矩阵与输入矩阵相乘，得到n×3的点对齐矩阵；经过两层权重共享的MLP将每个点映射到64维空间后，用另一个T-Net生成一个64×64的变换矩阵与之相乘，得到n×64的特征对齐矩阵；通过三层权重共享的MLP将每个点映射到1024维，得到n×1024的特征矩阵；
(53)在最大池化模块，对通过对称函数对特征映射模块得到的特征矩阵进行最大池操作，得到1×1024维的全局特征；
(54)在logistic回归模块，以全局特征作为输入，通过logistic回归模型得到两个树种的分类概率。
本发明的有益效果为：
1.本发明基于森林样区内获取的无人机激光雷达点云数据，将无序的点云数据作为神经网络的输入，直接利用其三维信息进行特征提取，实现白桦树和落叶松两个树种的分类。
2.本发明提出一种利用直接学习点云三维结构特征的深度学习网络来进行树种分类的方法，该方法简单高效，且无需将点云做体素分割或多视图投影。在包含白桦树和落叶松两个树种的数据集上实现了86.7％的总体精度和0.73的kappa系数，并通过实验验证在该数据集中，对每棵树取2048个点，每个点取1024维特征时，模型的分类效果最好。
3.本发明创造性的将剔除噪声点、地面滤波、单木分割、数据集准备、深度学习训练、深度学习分类五个步骤结合起来，形成了一套完整的基于三维深度学习的机载LiDAR数据树种分类的技术流程，为森林树种的全自动分类提供了新思路。
4.通过与人工选定树木特征、将点云数据转化成二维投影图像、提取点云二维波形数据的方法相比，该方法能够更全面地利用树木的三维结构信息，获得了更高的分类精度。
附图说明
图1为基于无人机LiDAR系统的点云样本示例，1(a)为白桦，图1(b)为落叶松。
图2为本发明的方法流程图。
图3(a)为无人机LiDAR原始数据图
图3(b)为滤波后效果图
图4为基于分水岭分割的单木分割结果图。
图5为基于点云距离的单木分割结果图。
图6为本发明使用的神经网络模型图。
图7为T-Net网络结构图。
图8为PointNet(vanilla)网络结构图。
图9为特征维度对分类准确率的影响分析图。
图10为点密度对分类准确率的影响分析图。
图11为方法一中碎片提取过程示意图。
图12(a)为方法三中白桦树样本及其波形图。
图12(b)为方法三中落叶松样本及其波形图。
具体实施方式
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
实施例：针对基于机载激光雷达数据树种分类的需要，本发明提供了一种基于三维深度学习的机载LiDAR数据树种分类方法，通过结合一种直接对点云做三维特征抽象的神经网络来区分树的种类，解决了目前基于机载LiDAR数据的树种分类任务需要将三维点云做二维变换的问题。
如图2所示流程图，针对利用机载激光雷达数据树种分类的需要，本发明提供一种基于三维深度学习的机载LiDAR数据树种分类方法，包括以下步骤：
步骤S1，加载机载LiDAR点云数据；
步骤S2，去除机载LiDAR数据的噪声点，并滤除地面点；
步骤S3，分别通过分水岭分割算法和基于点云距离的分割算法进行单木分割；
步骤S4，对分割后得到的单木点云数据制作深度学习样本数据集，并将数据集分为训练集和测试集
步骤S5，利用深度学习网络对训练集进行特征抽象并完成训练；
步骤S6，利用训练后的网络模型分类测试集树种。
所述步骤S2具体包括以下步骤：
(21)由于森林环境的复杂性，获取无人机LiDAR数据的过程中会产生粗差，因此必须先对原始点云数据去噪。对每一个点搜索相同个数(设置为10)的邻域点，并计算该点到邻域点的距离平均值Dmean及其中值m和标准差σ。计算最大距离Dmax:
Dmax＝m+K*σ
其中K为标准差倍数，设置为5。若Dmean大于Dmax，则认为该点为噪点，将其去除；
去噪是地面滤波前的必要步骤，因为大部分滤波算法会选取局部最低点为初始地面点。如果选取的点为噪声点，则会直接影响滤波效果。常见的噪声包括高位粗差和低位粗差，高位粗差通常是因为机载LiDAR系统在采集数据的过程中受到低飞的飞行物(比如鸟类或者飞机)的影响，误将这些物体反射回来的信号当作被测目标的反射信号记录下来。低位粗差则是由于测量过程中的多路径误差或者激光测距仪的误差导致产生的极低点。通过算法移除噪点，可以提高数据质量。
(22)首先对LiDAR点云以1m的尺寸划分网格，取每个网格的最低点进行光栅化。利用形态学开操作对地形表面粗略逼近，再根据绝对高度差确定潜在地面种子点Gpotential；
(23)遍历潜在种子点中的每一个点，在三维空间中使用kd-tree方法搜索每个点的k个临近点，再利用特征值法获得局部拟合平面。利用平移平面拟合法滤除Gpotential中的非地面点，进而获得准确的地面种子点Gseeds；
(24)对地面种子点Gseeds建立TIN模型，执行先向下再向上的迭代加密。在向上密集迭代的过程中，有两个迭代参数：角度阈值θ和距离阈值s。当θ和s小于阈值时，将未分类的点记为地面点Gresult，完成地面滤波。
所述步骤S3具体包括以下步骤：
(31)从预处理后的LiDAR数据生成数字表面模型(DSM)和数字高程模型(DEM)，得到冠层高度模型(CHM)；
(32)测量树高和树冠大小，通过可变的窗口大小过滤CHM得到树冠顶点模型(CMM)；
(33)利用高斯滤波平滑CMM，检测可变窗口尺寸的最大值并标记出树顶；
(34)利用分水岭算法对步骤S2得到的LiDAR数据单木分割；
(35)利用基于点云距离的分割方法对步骤S2得到的LiDAR数据按点的顺序从高到低进行分类，间距大于指定阈值的点排除在目标树之外，间距小于阈值的点根据最小间距规则进行分类，完成另一次单木分割。
所述步骤S4具体包括以下步骤：
(41)对两次单木分割后得到的单木进行人工筛选，删除过分割、欠分割以及粘连严重的树，仅保留高质量树作为实验数据；
(42)对所有单木均匀下采样至2048个点，并将每棵树零均值归一化至单位球内；
(43)向每棵树添加标签，其中白桦树记为0，落叶松记为1；
(44)从不同的研究区空间中划分数据，将整个数据集按照8:2的比例随机分成训练集和测试集；
(45)将步骤S41得到的包含(x,y,z)坐标的的点云数据、步骤S42得到的归一化数据和步骤S43标记的标签值转换成HDF5格式。。
所述步骤S5具体包括以下步骤：
(51)构建三维深度学习网络模型，如图6所示，网络模型分为特征映射模块、最大池化模块和logistic回归模块，其中特征映射模块对单个点进行高维特征抽象；最大池模块聚合点云的全局特征；logistic回归模块利用全局特征进行树种分类，得到每棵树的种类预测概率；
(52)在特征映射模块中，输入是n×3的矩阵，由一个T-Net(如图7所示)生成一个3×3的变换矩阵与输入矩阵相乘，得到n×3的点对齐矩阵。经过两层权重共享的MLP将每个点映射到64维空间后，用另一个T-Net生成一个64×64的变换矩阵与之相乘，得到n×64的特征对齐矩阵。通过三层权重共享的MLP将每个点映射到1024维，得到n×1024的特征矩阵；
(53)在最大池化模块，通过对称函数(Max pooling)得到1×1024维的全局特征；
点云是一个无序点的集合，而点的顺序不会影响这个集合本身。如果把点云表示为一个N行D列的二维矩阵，其中N代表点的个数，D代表点的维度，则对该矩阵做行变换一共有N！种变换方式，而这N！种置换代表的是同一点集，因此网络需要拥有对点云的置换不变性。
对称函数能够很好的解决这个问题，例如对某一点的集合X(x1,x2,...,xn)，取该集合的最大值、最小值、平均值都与点的顺序无关。但是，直接对每个点做对称操作，例如取最大值，会得到整个点集的最远点值；取平均值，会得到这个点集的重心，这样会损失点集有意义几何信息。因此，在PointNet(vanilla)中，首先利用MLP对每个点做相同的高维映射，通过高维空间中信息的冗余性避免对称操作导致的信息丢失，如图8所示。该结构实质上是h、g、γ的函数组合：
f(x1，x2，...，xn)＝γ°g(h(x1)，h(x2)，...，h(xn))
其中h代表高维映射，g代表对称函数，γ代表MLP整合信息。
(54)在logistic回归模块，以全局特征作为输入，通过logistic回归模型得到两个树种的分类概率；
为了验证上述树种分类方法的性能，以某单位提供的实测无人机LiDAR数据作为实验数据，通过实验验证三位深度学习法做树种分类的可行性。
本发明选取塞罕坝国家森林公园(42°24′N，117°19′E)的一部分作为研究区，该研究地点位于中国河北省承德围场满族蒙古族自治区，与乌兰布统大草原和御道口草原相接，总占地面积达950.7km2，研究区海拔高度为1500m—2067m，植被覆盖度约为80％。研究区包括白桦和落叶松两类树种共计约1790棵，两类树主要以一条较宽的土路为分隔，其中白桦树主要分布在路的西北部，约870棵；落叶松分布在路的东南部，约920棵。实验数据由大疆无人机搭载的Riegl公司miniVUX 1UAV激光雷达扫描仪于2019年8月24日获取，航线间距40m，航高50m，飞行速度5m/s，激光雷达扫描角90°-270°，扫描线速度100m/s。基于该无人机激光雷达系统获得的两类树种点云样例数据如图1所示，其中1(a)为白桦，图1(b)为落叶松，样区内各树种的结构特征见表1。
表1样本树木结构特征统计表
通过上述去噪和滤波实验得到了非地面点，无人机LiDAR原始数据与滤波后效果对比如图3(a)和图3(b)所示。为了制作深度学习的数据集，向每棵树添加代表树种的标签，需要对原始的森林数据进行单木分割。单木提取存在一定的错误率，例如欠分割、多树粘连等情况，所以使用单一方法分割得到的高质量单木数量较少。因不同分割方法得到的单木三维形状有所差异，可作为数据增强的一种方法，故本实验分别采取分水岭分割算法和基于点云距离的分割方法对原始的森林点云数据进行分割，以筛选出数量足够多的高质量单木点云。根据上述单木分割步骤，共分割出单木3598棵，经人工筛选，删除过分割、欠分割以及粘连严重的树，保留1200棵高质量树作为实验数据，分水岭分割算法的结果如图4所示，基于点云距离的分割方法的结果如图5所示。
为了避免因种植区域相同，而导致分类器可能过于适合研究地点的情况，我们从不同的空间中划分数据。将整个数据集按照8:2的比例随机分成训练集和测试集，其中训练数据取自研究区西侧，测试数据选取研究区的东侧树，详见表2。
表2训练集与测试集
实验使用NVIDIA Tesla V100-PCIE-16GB，在Ubuntu 18.4系统下搭配cuda10.0框架和cuDNN 7.4.1加速库。模型使用Adam优化器更新网络参数，初始学习率为0.001，最小学习率设定为0.00001，通过指数衰减的方式实现学习率衰减，衰减率0.7，动量0.9，共训练200个epoch，训练时长18分钟。在训练过程中，通过沿上轴随机旋转物体来动态地增强点云，并通过均值为零和标准偏差为0.02的高斯噪声来抖动每个点的位置，以更好地提高模型的泛化能力。
为了避免点云数据几何信息的损失，本文在对称操作之前，通过参数共享的MLP将每个点映射到一个高维空间。为了探究点的特征维度对分类结果的影响，本研究对使用128、256、512、1024、2048维特征的分类准确度进行了比较(如图9所示)。结果表明，随着特征维度的增加，总体分类准确度提高，点云的几何信息得到了更好的保留。当特征维度达到约1K时，分类性能达到最好。当特征维度超过1K以后，分类性能无明显提升。
本研究对原始数据分别进行五次均匀下采样，如图10所示，当每棵树的采样点数量超过约2K时，网络的分类性能趋于饱和,采样点个数从128增加至2048的过程中，分类准确度提升了13.1％。点密度的增加导致分类效果大幅提升的原因主要是白桦和落叶松两个树种相似度较高，增加点密度能够保留更多的几何结构信息，使得深度神经网络能够更好地学习。而当点密度增加到一定数值时，网络能学到的信息趋于饱和，过大的点密度只会增加信息的冗余程度而很难提升分类性能。
实验分类结果如表3所示，树种分类的总体准确率为86.7％，kappa系数为0.73。生产者精度(Producer's accuracy，PA)高于85.5％，用户精度(User accuracy，UA)高于85.0％。造成分类错误的原因主要是白桦和落叶松两个树种在结构形态上具有相似性，同时试验区内的树木比较密集，单木分割的效果会直接影响最后的分类结果。
表3树种分类混淆矩阵
注:PA,生产者精度；UA,用户精度；OA,总体精度。
为了证明本实验方法的优越性，本实验与以下三种方法进行比较。
方法1—参考Tomohiro Mizoguchi等提出方法，如图11所示，在单木分割以后，首先对每棵树干做n×n像素的碎片提取，本文将n设置为256；然后通过在x-y平面上投影的方法，基于RANSAC的圆配件识别枝叶；再将一个双三次多项式曲面拟合到不包括枝叶的主干点上，并通过计算每个主干点到x-y平面的距离来创建深度图像；最后使用CNN网络对创建的深度图像进行树种分类。该双三次多项式为：
f(u，v)＝a0u3+a1u2v+a2uv2+a3v3+a4u2+a5uv+a6v2+a7u+a8v+a9
方法2—参考Y.Lin等提出的方法，计算点云数据的9个点分布特征参数(PD)、13个冠内结构参数(CI)、11个树外结构参数(TE)，共计33个特征参数输入到logistic回归模型中进行树种分类。
方法3—参考Guan等提出的方法，如图12(a)和(b)所示，取预定义的波形维数n为50，对分割得到的单木进行n个剖面的垂直剖分，将每个剖面的点统计值归一化至0-1内，以生成波形图。将得到的波形图输入至一个两层的DBM模型中生成高级特征，进行树种分类。
分类结果如表4所示，其中方法1的分类精度最低，总体精度为76.7％，kappa值为0.53，这是由于该方法受树皮纹理影响较大，当点云数据是由无人机获取时，由于树冠遮挡等原因，树干的点云数会明显减少甚至有缺失，导致深度图像质量较差，影响分类精度。方法2的总体准确度为81.7％，kappa值为0.63，优于方法1，这是因为该方法所选参数覆盖到整个树的三维结构信息，而没有过多地依赖树干点云数据。方法3的总体精度为84.2％，kappa值为0.68，优于前两个方法，相较于方法2以有限个参数作为分类依据而言，该方法生成的波形数据更好地表示了不同树种独特的几何结构，减少了人工解译的错误，同时通过DBM模型生成高级特征，提高了分类精度。实验表明，本文方法优于以上三种方法，其原因可能是(1)基于点云数据的深度学习特征提取方法，有效保留了树木的三维结构信息，减少了其他转化形式的信息丢失；
(2)基于PointNet模型生成的高维特征抽象有助于提高分类器的分类精度。
表4四种方法的分类精度比较结果
通过上述全部实验得到以下结论：
(1)本发明在包含白桦树和落叶松两个树种的数据集上实现了86.7％的总体精度和0.73的kappa系数。
(2)在该数据集中，对每棵树取2048个点，每个点取1024维特征时，模型的分类效果最好。
(3)通过与将点云数据转化成二维投影图像以获取低级特征的方法相比，该算法获得了更高的分类精度，为森林树种的全自动分类提供了新思路。
Claims (5)
1.一种基于三维深度学习的机载LiDAR数据树种分类方法，其特征在于：包括以下步骤：
步骤S1，加载机载LiDAR数据；
步骤S2，去除机载LiDAR数据的噪声点，并滤除地面点；
步骤S3，分别通过分水岭分割算法和基于点云距离的分割算法进行单木分割形成单木点云数据；
步骤S4，对分割后得到的单木点云数据制作深度学习样本数据集，并将数据集分为训练集和测试集；
步骤S5，利用深度学习网络对训练集进行特征抽象并完成训练；
步骤S6，利用训练后的网络模型分类测试集树种。
2.按照权利要求1所述的树种分类方法，其特征在于：所述步骤S2包括以下步骤：
(21)对每一个点搜索相同个数的邻域点，并计算该点到邻域点的距离平均值Dmean及其中值m和标准差σ，计算最大距离Dmax：
Dmax＝m+K*σ
其中K为标准差倍数，设置为5，若Dmean大于Dmax，则认为该点为噪点，将其去除；
(22)对LiDAR数据以1m的尺寸划分网格，取每个网格的最低点进行光栅化，再利用形态学开操作选取潜在地面种子点Gpotential；
(23)利用平移平面拟合法滤除潜在地面种子点Gpotential中的非地面点，进而获得准确基地面种子点Gseeds；
(24)对地面种子点Gseeds建立TIN模型，执行先向下再向上的迭代加密，得到地面点Gresult并滤除。
3.按照权利要求1所述的树种分类方法，其特征在于：所述步骤S3包括以下步骤：
(31)从经过预处理后的LiDAR数据生成数字表面模型和数字高程模型，得到冠层高度模型；
(32)测量树高和树冠大小，通过可变的窗口大小过滤冠层高度模型得到树冠顶点模型；
(33)利用高斯滤波平滑树冠顶点模型，检测可变窗口尺寸的最大值并标记出树顶；
(34)利用分水岭算法对步骤S2得到的LiDAR数据单木分割；
(35)利用基于点云距离的分割方法对步骤S2得到的LiDAR数据按点的顺序从高到低进行分类，间距大于指定阈值的点排除在目标树之外，间距小于阈值的点根据最小间距规则进行分类，完成另一次单木分割。
4.按照权利要求1所述的树种分类方法，其特征在于：所述步骤S4包括以下步骤：
(41)对两次单木分割后得到的单木进行人工筛选，删除过分割、欠分割以及粘连严重的树，仅保留高质量树作为实验数据；
(42)对所有单木均匀采样2048个点，并将每棵树零均值归一化至单位球内；
(43)向每棵树添加标签，其中白桦树记为0，落叶松记为1；
(44)从不同的研究区空间中划分数据，将整个数据集按照8:2的比例随机分成训练集和测试集；
(45)将步骤S41得到的包含(x,y,z)坐标的的点云数据、步骤S42得到的归一化数据和步骤S43标记的标签值转换成HDF5格式。
5.按照权利要求1所述的树种分类方法，其特征在于：所述步骤S5包括以下步骤：
(51)构建三维深度学习网络模型，网络模型分为特征映射模块、最大池化模块和logistic回归模块，其中特征映射模块对单个点进行高维特征抽象；最大池模块聚合点云的全局特征；logistic回归模块利用全局特征进行树种分类，得到每棵树的种类预测概率；
(52)在特征映射模块中，输入是n×3的矩阵，由一个T-Net生成一个3×3的变换矩阵与输入矩阵相乘，得到n×3的点对齐矩阵；经过两层权重共享的MLP将每个点映射到64维空间后，用另一个T-Net生成一个64×64的变换矩阵与之相乘，得到n×64的特征对齐矩阵；通过三层权重共享的MLP将每个点映射到1024维，得到n×1024的特征矩阵；
(53)在最大池化模块，对通过对称函数对特征映射模块得到的特征矩阵进行最大池操作，得到1×1024维的全局特征；
(54)在logistic回归模块，以全局特征作为输入，通过logistic回归模型得到两个树种的分类概率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010770652.9A CN111898688B (zh) | 2020-08-04 | 2020-08-04 | 一种基于三维深度学习的机载LiDAR数据树种分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010770652.9A CN111898688B (zh) | 2020-08-04 | 2020-08-04 | 一种基于三维深度学习的机载LiDAR数据树种分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111898688A true CN111898688A (zh) | 2020-11-06 |
| CN111898688B CN111898688B (zh) | 2023-12-05 |
Family
ID=73183361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010770652.9A Active CN111898688B (zh) | 2020-08-04 | 2020-08-04 | 一种基于三维深度学习的机载LiDAR数据树种分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111898688B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112435329A (zh) * | 2020-12-01 | 2021-03-02 | 山东鲁能软件技术有限公司 | 一种基于激光点云数据的输电设备程序化建模方法及装置 |
| CN112818925A (zh) * | 2021-02-26 | 2021-05-18 | 清华大学 | 一种城市建筑和树冠识别方法 |
| CN112819830A (zh) * | 2021-01-24 | 2021-05-18 | 南京林业大学 | 基于深度学习与机载激光点云的单株树冠分割方法 |
| CN112907520A (zh) * | 2021-02-05 | 2021-06-04 | 南京林业大学 | 基于端到端深度学习方法的单株树冠检测方法 |
| CN113591766A (zh) * | 2021-08-09 | 2021-11-02 | 中国林业科学研究院资源信息研究所 | 一种无人机多源遥感的树种识别方法 |
| CN113705478A (zh) * | 2021-08-31 | 2021-11-26 | 中国林业科学研究院资源信息研究所 | 一种基于改进YOLOv5的红树林单木目标检测方法 |
| CN114219958A (zh) * | 2021-11-18 | 2022-03-22 | 中铁第四勘察设计院集团有限公司 | 一种多视角遥感影像的分类方法、装置、设备和存储介质 |
| CN114494586A (zh) * | 2022-01-10 | 2022-05-13 | 南京林业大学 | 晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法 |
| CN114596494A (zh) * | 2022-03-16 | 2022-06-07 | 北京爱科农科技有限公司 | 一种基于果园的果树监测方法及装置 |
| CN114862872A (zh) * | 2022-05-10 | 2022-08-05 | 桂林理工大学 | 一种基于Faster R-CNN的红树林单木分割方法 |
| CN115063470A (zh) * | 2022-06-14 | 2022-09-16 | 滁州学院 | 一种保持地形结构线不变的dem地形简化方法 |
| WO2023085996A1 (en) * | 2021-11-09 | 2023-05-19 | Saab Ab | Method, system and computer program product for forming a digital surface model based on treetops |
| CN116597199A (zh) * | 2023-04-14 | 2023-08-15 | 山东科技大学 | 基于机载LiDAR的点云树种分类方法及系统 |
| CN116893428A (zh) * | 2023-09-11 | 2023-10-17 | 山东省地质测绘院 | 基于激光点云的森林资源调查与监测方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110119438A (zh) * | 2019-04-23 | 2019-08-13 | 东华理工大学 | 基于主动学习的机载LiDAR点云滤波方法 |
| CN110378909A (zh) * | 2019-06-24 | 2019-10-25 | 南京林业大学 | 基于Faster R-CNN的面向激光点云的单木分割方法 |
| CN110428438A (zh) * | 2019-07-11 | 2019-11-08 | 广州启量信息科技有限公司 | 一种单木建模方法、装置和存储介质 |
| CN110717496A (zh) * | 2019-08-29 | 2020-01-21 | 浙江工业大学 | 基于神经网络的复杂场景树木检测方法 |
| CN110728197A (zh) * | 2019-09-19 | 2020-01-24 | 中山大学 | 基于深度学习的单木级树种识别方法 |
| CN110781927A (zh) * | 2019-10-11 | 2020-02-11 | 苏州大学 | 车路协同下基于深度学习的目标检测与分类方法 |
-
2020
- 2020-08-04 CN CN202010770652.9A patent/CN111898688B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110119438A (zh) * | 2019-04-23 | 2019-08-13 | 东华理工大学 | 基于主动学习的机载LiDAR点云滤波方法 |
| CN110378909A (zh) * | 2019-06-24 | 2019-10-25 | 南京林业大学 | 基于Faster R-CNN的面向激光点云的单木分割方法 |
| CN110428438A (zh) * | 2019-07-11 | 2019-11-08 | 广州启量信息科技有限公司 | 一种单木建模方法、装置和存储介质 |
| CN110717496A (zh) * | 2019-08-29 | 2020-01-21 | 浙江工业大学 | 基于神经网络的复杂场景树木检测方法 |
| CN110728197A (zh) * | 2019-09-19 | 2020-01-24 | 中山大学 | 基于深度学习的单木级树种识别方法 |
| CN110781927A (zh) * | 2019-10-11 | 2020-02-11 | 苏州大学 | 车路协同下基于深度学习的目标检测与分类方法 |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112435329A (zh) * | 2020-12-01 | 2021-03-02 | 山东鲁能软件技术有限公司 | 一种基于激光点云数据的输电设备程序化建模方法及装置 |
| CN112819830A (zh) * | 2021-01-24 | 2021-05-18 | 南京林业大学 | 基于深度学习与机载激光点云的单株树冠分割方法 |
| CN112819830B (zh) * | 2021-01-24 | 2024-09-06 | 南京林业大学 | 基于深度学习与机载激光点云的单株树冠分割方法 |
| CN112907520A (zh) * | 2021-02-05 | 2021-06-04 | 南京林业大学 | 基于端到端深度学习方法的单株树冠检测方法 |
| CN112907520B (zh) * | 2021-02-05 | 2024-09-17 | 南京林业大学 | 基于端到端深度学习方法的单株树冠检测方法 |
| CN112818925A (zh) * | 2021-02-26 | 2021-05-18 | 清华大学 | 一种城市建筑和树冠识别方法 |
| CN113591766A (zh) * | 2021-08-09 | 2021-11-02 | 中国林业科学研究院资源信息研究所 | 一种无人机多源遥感的树种识别方法 |
| CN113705478A (zh) * | 2021-08-31 | 2021-11-26 | 中国林业科学研究院资源信息研究所 | 一种基于改进YOLOv5的红树林单木目标检测方法 |
| CN113705478B (zh) * | 2021-08-31 | 2024-02-27 | 中国林业科学研究院资源信息研究所 | 一种基于改进YOLOv5的红树林单木目标检测方法 |
| WO2023085996A1 (en) * | 2021-11-09 | 2023-05-19 | Saab Ab | Method, system and computer program product for forming a digital surface model based on treetops |
| CN114219958A (zh) * | 2021-11-18 | 2022-03-22 | 中铁第四勘察设计院集团有限公司 | 一种多视角遥感影像的分类方法、装置、设备和存储介质 |
| CN114219958B (zh) * | 2021-11-18 | 2024-07-09 | 中铁第四勘察设计院集团有限公司 | 一种多视角遥感影像的分类方法、装置、设备和存储介质 |
| CN114494586A (zh) * | 2022-01-10 | 2022-05-13 | 南京林业大学 | 晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法 |
| CN114494586B (zh) * | 2022-01-10 | 2024-03-19 | 南京林业大学 | 晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法 |
| CN114596494A (zh) * | 2022-03-16 | 2022-06-07 | 北京爱科农科技有限公司 | 一种基于果园的果树监测方法及装置 |
| CN114596494B (zh) * | 2022-03-16 | 2023-10-24 | 北京爱科农科技有限公司 | 一种基于果园的果树监测方法及装置 |
| CN114862872A (zh) * | 2022-05-10 | 2022-08-05 | 桂林理工大学 | 一种基于Faster R-CNN的红树林单木分割方法 |
| CN114862872B (zh) * | 2022-05-10 | 2024-05-07 | 桂林理工大学 | 一种基于Faster R-CNN的红树林单木分割方法 |
| CN115063470A (zh) * | 2022-06-14 | 2022-09-16 | 滁州学院 | 一种保持地形结构线不变的dem地形简化方法 |
| CN115063470B (zh) * | 2022-06-14 | 2024-08-13 | 滁州学院 | 一种保持地形结构线不变的dem地形简化方法 |
| CN116597199A (zh) * | 2023-04-14 | 2023-08-15 | 山东科技大学 | 基于机载LiDAR的点云树种分类方法及系统 |
| CN116893428B (zh) * | 2023-09-11 | 2023-12-08 | 山东省地质测绘院 | 基于激光点云的森林资源调查与监测方法及系统 |
| CN116893428A (zh) * | 2023-09-11 | 2023-10-17 | 山东省地质测绘院 | 基于激光点云的森林资源调查与监测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111898688B (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111898688B (zh) | 一种基于三维深度学习的机载LiDAR数据树种分类方法 | |
| CN108573276B (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
| CN109146889B (zh) | 一种基于高分辨率遥感图像的农田边界提取方法 | |
| CN113591766B (zh) | 一种无人机多源遥感的树种识别方法 | |
| CN108898065B (zh) | 候选区快速筛选与尺度自适应的深度网络舰船目标检测方法 | |
| CN112101271A (zh) | 一种高光谱遥感影像分类方法及装置 | |
| CN110222767B (zh) | 基于嵌套神经网络和栅格地图的三维点云分类方法 | |
| CN114463403A (zh) | 一种基于点云数据和图像识别技术的树木碳汇量计算方法 | |
| CN114764871B (zh) | 一种基于机载激光点云的城市建筑物属性提取方法 | |
| CN115880487A (zh) | 基于深度学习方法的林木激光点云枝叶分离方法 | |
| Chen et al. | Object-based multi-modal convolution neural networks for building extraction using panchromatic and multispectral imagery | |
| CN112001293A (zh) | 结合多尺度信息和编解码网络的遥感影像地物分类方法 | |
| CN114494586B (zh) | 晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法 | |
| Albrecht et al. | Autogeolabel: Automated label generation for geospatial machine learning | |
| CN117392382A (zh) | 一种基于多尺度密集实例检测的单木果树分割方法与系统 | |
| CN113989685B (zh) | 基于超级体元的机载多光谱LiDAR数据土地覆盖分类的方法 | |
| Gupta et al. | Tree annotations in LiDAR data using point densities and convolutional neural networks | |
| CN107705344A (zh) | 激光扫描环境点云数据中树冠模型提取方法 | |
| CN108509835B (zh) | 基于DFIC超像素的PolSAR图像地物分类方法 | |
| CN116994029A (zh) | 一种用于多源数据的融合分类方法及系统 | |
| Wang et al. | Information extraction of the vehicle from high-resolution remote sensing image based on convolution neural network | |
| CN116543300A (zh) | 一种基于语义分割的云-气溶胶层次分类方法 | |
| CN113408370B (zh) | 基于自适应参数遗传算法的森林变化遥感检测方法 | |
| Widyaningrum et al. | Skeleton-based automatic road network extraction from an orthophoto colored point cloud | |
| CN112949726A (zh) | 基于fy-4a卫星的isccp云分类方法、系统、介质及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240909 Address after: 114000 No.44, 219 Road, Tiedong District, Anshan City, Liaoning Province Patentee after: Anshan Urban and rural planning and Design Institute Co.,Ltd. Country or region after: China Address before: No.25, middle Hunnan Road, Hunnan New District, Hunnan District, Shenyang City, Liaoning Province Patentee before: SHENYANG JIANZHU University Country or region before: China |
|
| TR01 | Transfer of patent right |