CN114494586B - 晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法 - Google Patents
晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法 Download PDFInfo
- Publication number
- CN114494586B CN114494586B CN202210021725.3A CN202210021725A CN114494586B CN 114494586 B CN114494586 B CN 114494586B CN 202210021725 A CN202210021725 A CN 202210021725A CN 114494586 B CN114494586 B CN 114494586B
- Authority
- CN
- China
- Prior art keywords
- branch
- lattice
- point cloud
- point
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000000926 separation method Methods 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000001035 drying Methods 0.000 claims abstract description 10
- 238000010801 machine learning Methods 0.000 claims abstract description 8
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 27
- 230000005484 gravity Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 239000002245 particle Substances 0.000 claims description 2
- OFHCOWSQAMBJIW-AVJTYSNKSA-N alfacalcidol Chemical compound C1(/[C@@H]2CC[C@@H]([C@]2(CCC1)C)[C@H](C)CCCC(C)C)=C\C=C1\C[C@@H](O)C[C@H](O)C1=C OFHCOWSQAMBJIW-AVJTYSNKSA-N 0.000 claims 1
- 244000043261 Hevea brasiliensis Species 0.000 description 32
- 238000010586 diagram Methods 0.000 description 18
- 238000000605 extraction Methods 0.000 description 9
- 240000004144 Acer rubrum Species 0.000 description 8
- 235000011772 Acer rubrum var tomentosum Nutrition 0.000 description 8
- 235000009057 Acer rubrum var tridens Nutrition 0.000 description 8
- 241000723346 Cinnamomum camphora Species 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 238000011160 research Methods 0.000 description 6
- 241000894007 species Species 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 241000196324 Embryophyta Species 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000167854 Bourreria succulenta Species 0.000 description 1
- 241000345822 Cylindera <genus> Species 0.000 description 1
- 244000245214 Mentha canadensis Species 0.000 description 1
- 235000016278 Mentha canadensis Nutrition 0.000 description 1
- 241000596603 Virgilia oroboides Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 235000019693 cherries Nutrition 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012625 in-situ measurement Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004544 sputter deposition Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法，包括对获取的树木三维点云数据去燥处理；将去燥后的多颗树木三维点云数据作为数据集，采用机器学习算法以及人工标注对数据集进行枝叶分离操作；将数据集带入晶格投影的深度学习网络中训练，得到训练好的晶格投影深度学习网络模型；根据晶格投影深度学习网络模型分割后的枝干的垂直高度自下而上切分整棵枝干；对每一个高度层中的枝干点云数据进行空间聚类；求取每类的中心点；根据聚类中心点并采用带有空间方向性的圆柱体拟合枝干骨架。本发明运用晶格投影策略的深度学习网络，实现复杂林木点云的枝叶分类操作，开展精准的枝叶分离并重建树木空间枝干的三维模型。
Description
技术领域
本发明涉及林业技术领域，具体涉及基于晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法。
背景技术
树木骨架空间模型的精准重建在研究林木资源信息化和表型结构特征反演中发挥着至关重要的作用。近些年，针对树木模型重建的技术大致可以分为两类，分别是基于图像与激光点云的树木重建。这两种技术在数据获取上存在着差异性，但提取树木空间特征的方式上又具有一定的相似性。
基于图像的树木枝干重建方法通常采用双目视觉、多目视觉及深度相机的方法捕获树木的纹理与景深信息，结合曲率约束实现树木枝干重建，或利用多目视觉的多张图像通过交互式编辑重建树木枝干。基于图像的树干重建方法虽然简单易行，但提取的树木枝干停留在二维层面，很难直观反映树木的三维几何形态，且提取结果会被多样的环境背景、复杂的树干空间拓扑结构、立体匹配、误差、视角遮挡等多方面因素干扰。
激光扫描具有高精度、稠密度等特性，同时，可结合计算机图形学、机器视觉等理论算法开展林木三维点云的处理分析，如：利用图论将采集到的点云数据存储为八叉树结构，采用结合点法线的PROSAC算法建模提取林分树干；或使用空间填补的三角面片构造枝干表面来建立树木冠层模型；或通过建立方向场引导并结合图连通算法从激光点云重建树木骨架；其它还有利用提取枝干特征点构建模型的方式，主要有：采用水平切片、超体素分割、基于矢量的枝干轴线提取模型和基于拉普拉斯的骨架收缩方法，从稠密的扫描点云中找寻局部的方向性、结构性、与不同的空间特征也是树木枝干重建的要点。与基于二维图像的树木枝干重建方式相比，基于激光点云数据的树木建模得到的树木几何精度高，普遍能够较好地呈现出树木的空间真实状态。但也存在一些问题，如：树木具有多个一级二级分枝，冠层内部拓扑结构复杂，不能精准分类叶子和树木枝干点云，分类精度不高等，这些因素对树木骨架后期重建会产生较多干扰。
近年来，面向点云处理分析的深度学习网络逐渐被学者关注，如PointNet，VoxelNetVOX，PointCNN，分层K-d树ContextNet和SPLATNet。前几种网络目前主要应用于工业中产品和规则几何物体的检测，以及车辆自动驾驶道路上目标识别，而应用于复杂拓扑结构的林木点云中的器官识别并不多见。同时，目前深度学习算法处理复杂点云还有很多未解决的问题，主要集中在三方面。
(1)深度学习既需要考虑识别物体的全局特征，又需要融入物体的局部特征，这涉及到局部邻域基团的特征计算与对象整体特征表达在深度学习网络中融合的问题。
(2)空间点云由排列散乱且无序的点构成，难以进行规则的卷积运算。如何面向空间点云开展有效的卷积运算并且提取特征，是待研究的问题。
(3)多尺度分解可以整合目标对象的整体与细节特征，如何有效地将多尺度分解应用到点云的处理分析中是研究的方向。
鉴于以上种种因素，需要研究一种运用新的深度学习网络与计算机图形学算法，处理地面激光树木点云数据，进而实现复杂林木点云的枝叶分类操作，提高枝叶分类精度，并重建树木空间枝干的三维模型。
发明内容
本发明所要解决的技术问题是针对现有技术的不足提供基于晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法，本基于晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法运用晶格投影策略的深度学习网络与计算机图形学算法，处理地面激光树木点云数据，实现复杂林木点云的枝叶分类操作，开展精准的枝叶分离并重建树木空间枝干的三维模型。
为实现上述技术目的，本发明采取的技术方案为：
基于晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法，包括：
步骤1：获取树木三维点云数据；
步骤2：对采集的树木三维点云数据进行去燥处理；
步骤3：将去燥处理后的多颗树木三维点云数据作为数据集，采用机器学习算法以及人工标注对数据集进行枝叶分离操作，将属于枝干的点云数据的标签标记为枝干点云，将属于叶子的点云数据的标签标记为叶子点云；
步骤4：将标记好枝干点云和叶子点云的数据集带入晶格投影的深度学习网络中训练，得到训练好的晶格投影深度学习网络模型；
步骤5：采集待测树木三维点云数据并进行去燥处理，将去燥处理后的点云数据输入到训练好的晶格投影深度学习网络模型中，以实现树木三维点云数据的枝叶分离；
步骤6：根据晶格投影深度学习网络模型分割后的枝干的垂直高度，按高度间隔自下而上的切分整棵枝干，进而切分为不同的高度层；对每一个高度层中的枝干点云数据按照欧式距离进行空间聚类，即设定距离阈值，将每一个高度层内的枝干点云数据之间距离少于距离阈值的点云集归属为一类；求取每类的中心点，即每一个高度层的局部枝干的聚类中心点；
步骤7：遍历每一个高度层的聚类中心点，根据聚类中心点并采用带有空间方向性的圆柱体拟合枝干骨架，从而实现树木骨架的重建。
作为本发明进一步改进的技术方案，所述晶格投影的深度学习网络的计算过程为：
将点云基团输入旋转不变性模块，旋转不变性模块对输入网络的局部三维点云数据进行点云位姿统一，旋转后的点云数据分别作晶格尺度为10、5和3的晶格投影；然后分别进行重心插值，再分别使用不同的多层感知机进行卷积操作，接着链接三组输出数据并进行累加，再使用全局池化操作、多层感知机的卷积操作与非线性激活函数，得到每个点的枝与叶的置信度值。
作为本发明进一步改进的技术方案，所述的旋转不变性模块的计算过程为：
构建三个旋转矩阵：
其中Rx,Ry,Rz分别为绕X,Y,Z轴的旋转矩阵，α,β,γ分别为绕X,Y,Z轴的旋转角度，输入以pi为中心点，直径为0.1米呈立方体领域的点云基团，点云基团中的点云坐标为n×3的矩阵pj(xj,yj,zj)，其中j＝1,2…n，矩阵pj经旋转变换后得到新坐标矩阵：
p′j＝pj·RX·RY·RZ (1)；
其中新坐标矩阵为p′j(x′j,y′j,z′j)，按照的步长遍历α,β,γ，并分别计算每次变换后x′j,y′j,z′j的方差，记输入的点云数据在Z轴上得到的方差为var(z′)，在Y轴上得到的方差为var(y′)，寻找一个α,β,γ，其对应的var(z′)为最大值，当有多组不同的α,β,γ对应的var(z′)都为最大值时，取var(y′)最小的一组α,β,γ为寻找结果，将寻找到的α,β,γ代入公式(1)计算得到的新坐标矩阵作为旋转不变性模块的最终计算结果。
作为本发明进一步改进的技术方案，所述的旋转后的点云数据分别作晶格尺度为10、5和3的晶格投影具体为：
步骤(a1)、对旋转后的点云数据作晶格尺度为σ的晶格投影，具体为：
将旋转后的树木局部点云p′j作为输入置于一个立方体之中，该立方体的XOY平面、XOZ平面和YOZ平面上都排布有晶格顶点，单个平面上的顶点有共σ2个，呈σ×σ二维矩阵状规则排列，其中σ为晶格尺度；
将p′j(x′j,y′j,z′j)分别投影到立方体的XOY平面、XOZ平面和YOZ平面上，投影到XOY平面上的点坐标记为/>投影到XOZ平面上的点/>坐标记为/>投影到YOZ平面上的点/>坐标记为/>
分别求取距离每个投影点最近的四个晶格顶点坐标；
步骤(a2)、按照步骤(a1)的方法对旋转后的点云数据分别作晶格尺度σ为10、5和3的晶格投影。
作为本发明进一步改进的技术方案，所述的重心插值具体为：
步骤(b1)、距离投影点最近的四个晶格顶点坐标记为v0(v0,x,v0,y)、v1(v1,x,v1,y)、v2(v2,x,v2,y)、v3(v3,x,v3,y)；分别计算投影点/>与v0、v1、v2和v3的距离，从四个晶格顶点v0、v1、v2和v3中选取与/>距离最短的三个晶格顶点为重心插值的顶点，记三个重心插值的顶点为/>并记/>在这三个重心插值的顶点上的插值系数分别为bj,0、bj,1、bj,2；
插值系数如下为：
步骤(b2)、将所有投影点在同一个平面上生成的重心插值系数存储在同一个重心插值矩阵内，因为投影到XOY平面、XOZ平面和YOZ平面的三个平面内，所以共有三个重心插值矩阵M1,0，M1,1和M1,2，每个重心插值矩阵记为：
三个重心插值矩阵M1,0，M1,1和M1,2，共记3×n×3的数据，该数据为重心插值的最终输出数据。
作为本发明进一步改进的技术方案，所述的再分别使用不同的多层感知机进行卷积操作，接着链接三组输出数据并进行累加，具体为：
晶格尺度σ为10时，得到的3×n×3的输出数据全部输入第一多层感知机MLP中，卷积后得到3×n×16的输出数据；晶格尺度σ为5时，得到的3×n×3的输出数据全部输入第二多层感知机MLP中，卷积后得到3×n×32的输出数据；晶格尺度为3时，得到的3×n×3的输出数据全部输入第三多层感知机MLP中；卷积后得到3×n×64的输出数据；链接3×n×16的输出数据、3×n×32的输出数据和3×n×64的输出数据，得到3×n×112的特征，累加，得到n×336个特征。
作为本发明进一步改进的技术方案，所述的非线性激活函数采用Sigmoid函数。
作为本发明进一步改进的技术方案，所述的根据聚类中心点并采用带有空间方向性的圆柱体拟合枝干骨架，具体为：
步骤(c1)、遍历每一高度层的聚类中心点按照空间近邻的原则，找寻当前高度layer层的中心点与下一高度layer-1层的中心点距离最近的点，找寻的点即为当前中心点的父结点/>
步骤(c2)、所有聚类中心点连接到下一高度layer-1层时只有唯一一个父结点根结点/>没有父结点，根据上述聚类中心点与其父节点的连接性，整个枝干骨架被分成若干段，每段枝干骨架用一个带有空间方向性的圆柱体/>进行拟合，r代表圆柱体的半径，/>代表圆柱体的顶面中心点；/>代表圆柱体的底面中心点；
其中圆柱体的半径r的计算方法为：
步骤(c21)、首先计算出某段枝干所有点云的中心坐标
步骤(c22)、在该段枝干所有点云内随机采样2点pi,pj并组成向量结合/>构成空间点法式直线方程L1：
步骤(c23)、按照式(5)计算该段枝干所有点云pi到拟合直线L1的平均最短距离其中，q1,q2分别为拟合直线L1上的任意2个点，||||2代表2范数；
步骤(c24)、重复步骤(c22)和步骤(c23)，得到多个不断优化得到/>的最小值，直至/>值不再变化；则最小值/>对应的向量/>为该段枝干最优的拟合直线L1的方向向量；
步骤(c25)、将步骤(c24)计算出的最优的拟合直线L1的平均最短距离作为圆柱体的半径r。
本发明的有益效果为：
本发明面向激光点云提出了一种基于晶格投影的深度学习网络，以及面向提取的枝干点云的树木模型骨架重建的方法。该深度学习网络包括旋转不变性模块、晶格投影模块与重心插值模块，多尺度变换与卷积操作层，通过将旋转变换后的点云晶格投影到三个坐标平面上再分别重心插值获得变换系数，解决了三维点云因排列无序而造成空间卷积困难的问题。
本发明创新地设计了晶格投影策略的深度学习网络，并融入了点云局部基团特征、旋转不变模块与多尺度晶格投影等模块，解决了局部特征提取、空间点云卷积和多尺度特征融合等问题。
本发明运用晶格投影策略的深度学习网络与计算机图形学算法,处理地面激光树木点云数据。该深度学习网络构造了点云邻域基团，通过旋转不变模块与多尺度晶格投影得到该点在不同尺度下的二维特征，以便于卷积运算，并结合深度学习的池化与多层感知机操作，自动实现复杂林木点云的枝叶分类操作。
本发明面向地面激光雷达数据开展多类阔叶树骨架形态的建模，通过面向枝叶点云分类的深度学习模型设计、空间链表结构的主枝干与一级枝干查找、参数自适应调整的圆柱体拟合，精准且智能的重建了林木的枝干骨架结构。
附图说明
图1中(a)为晶格投影的深度学习网络整体结构示意图。
图1中(b)为晶格尺度分别为10、5和3的三层晶格投影变换模块示意图。
图2中(a)为树叶局部点云图。
图2中(b)为枝干局部点云图。
图2中(a1)为树叶局部点云在σ＝10的投影结果图。
图2中(b1)为枝干局部点云在σ＝10的投影结果图。
图2中(a2)为树叶局部点云在σ＝5的投影结果图。
图2中(b2)为枝干局部点云在σ＝5的投影结果图。
图2中(a3)为树叶局部点云在σ＝3的投影结果图。
图2中(b3)为枝干局部点云在σ＝3的投影结果图。
图3为部分枝叶分离后的训练集示意图。
图4中(a)为以橡胶树1中间的三层为例分层结果和每类的聚类中心点结果示意图。
图4中(b)为以橡胶树2中间的三层为例分层结果和每类的聚类中心点结果示意图。
图5中(a)为根据连通性计算后橡胶树1树木骨架边缘结点与分枝结点的求取结果示意图。
图5中(b)为根据连通性计算后橡胶树2树木骨架边缘结点与分枝结点的求取结果示意图。
图6为根据生长角度变化最小准则确立主枝干链表示意图。
图7中(a)为自适应半径计算的圆柱体分段枝干点云拟合示意图一。
图7中(b)为自适应半径计算的圆柱体分段枝干点云拟合示意图二。
图8中(a)为深度学习网络具体训练过程中的准确率变化曲线图。
图8中(b)为深度学习网络具体训练过程中的损失函数值变化曲线图。
图9中(a)为橡胶树品种CATAS 7-20-59通过晶格投影的深度学习网络的枝叶分割结果图。
图9中(b)为橡胶树品种PR 107通过晶格投影的深度学习网络的枝叶分割结果图。
图9中(c)为红枫树通过晶格投影的深度学习网络的枝叶分割结果图。
图9中(d)为香樟树通过晶格投影的深度学习网络的枝叶分割结果图。
图10中(a)为橡胶树品种CATAS 7-20-59进行圆柱体分段拟合的树木骨架重建结果图。
图10中(b)为橡胶树品种PR 107进行圆柱体分段拟合的树木骨架重建结果图。
图10中(c)为红枫树进行圆柱体分段拟合的树木骨架重建结果图。
图10中(d)为香樟树进行圆柱体分段拟合的树木骨架重建结果图。
图11中(a)为橡胶树品种CATAS 7-20-59运用本文方法提取的不同树木一级枝干提取结果图。
图11中(b)为橡胶树品种PR 107运用本文方法提取的不同树木一级枝干提取结果图。
图11中(c)为红枫树运用本文方法提取的不同树木一级枝干提取结果图。
图11中(d)为香樟树运用本文方法提取的不同树木一级枝干提取结果图。
图12中(a)为橡胶树品种CATAS 7-20-59一级分枝对应的叶团簇分割结果图。
图12中(b)为橡胶树品种PR 107一级分枝对应的叶团簇分割结果图。
图12中(c)为红枫树一级分枝对应的叶团簇分割结果图。
图12中(d)为香樟树一级分枝对应的叶团簇分割结果图。
图13中(a)为PR 107基因型橡胶树和CATAS 7-20-59基因型橡胶树一级枝干直径的计算值与实地测量值的比较结果图。
图13中(b)为PR 107基因型橡胶树和CATAS 7-20-59基因型橡胶树主枝干与一级枝干夹角的计算值与实地测量值比对结果图。
图13中(c)为PR 107基因型橡胶树和CATAS 7-20-59基因型橡胶树一级枝干直径和对应的叶团簇体积的计算结果图。
具体实施方式
下面根据附图对本发明的具体实施方式作出进一步说明：
本实施例提供基于晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法，具体步骤阐述如下。
1、激光点云数据获取与预处理：
1.1、研究区与样本概况：
研究区位于海南省海口市海南大学校园(北纬20°3′，东经110°20′)与儋州市橡胶种植园(北纬19°32′，东经109°28′)，试验地地理位置在低纬度热带北缘，属于热带海洋气候，春季温暖少雨多旱，夏季高温多雨，秋季多台风暴雨，全年日照时间长，辐射能量大，年平均气温23.8℃，最高平均气温28℃左右，最低平均气温18℃左右，年平均降水量1664毫米。本实施例选取研究区内多株不同树种作为实验对象，如橡胶树(品种为PR107和CATAS7-20-59)、香樟树、红枫树、樱花树等。
1.2、数据获取与预处理：
点云数据的获取使用Leica Scanstation C10型号三维激光扫描仪，其扫描角度为360°×270°，扫描速率为5万点/秒，各类树木的数据采集时间为2019年8月15日。考虑到树木的冠层内部结构复杂、树叶相互遮挡，为了获取完整的树木三维点云数据，本实施例以每棵树冠为中心，分别对其进行对称的2站扫描，每站扫描仪距扫描树冠的中心3米远，扫描精度设置为中等精度，具体扫描参数为：角度精度(水平/垂直)：中等0.057°/0.057°、视场角(水平/垂直)：360°/270°、扫描点间距：距离3m时最小<3mm、标靶扫描精度：3～5mm。接着采用Cyclone软件结合标靶数据对原始两站点云进行了手动拼接，从而得到完整的目标树叶子与枝干点云数据，扫描的点云密度平均为12000点/m2。由于获取到的树木三维点云数据中含有噪点，采用现有方法对采集的点云进行了去噪处理，接着把标记好枝叶信息的点云数据带入晶格投影的深度学习网络中训练。
2、实验方法：
2.1、晶格投影的深度学习网络实现树木枝叶分离：
本实施例的深度学习网络是一个三层架构的神经网络，网络整体结构如图1中(a)所示。首先提取半径为0.05米的邻域基团带入本实施例设计的一个旋转不变性模块，对输入网络的局部三维点云数据进行点云位姿统一，旋转后的点云数据分别作晶格尺度为10、5和3的晶格投影，如图1中(b)所示。然后分别进行重心插值，再分别使用不同的多层感知器(multi-layer perceptron，MLP)进行卷积操作。接着链接三组输出数据并进行累加，再结合全局池化操作与非线性激活函数，得到每个点枝与叶的置信度值。
2.1.1、旋转不变性模块：
构造的旋转不变性模块的具体如下：首先将点云数据看作一个整体，分步骤旋转，运用三个旋转矩阵：
其中Rx,Ry,Rz分别为绕X,Y,Z轴的旋转矩阵，α,β,γ分别为绕各自轴的旋转角度，输入以pi为中心点，直径为0.1米呈立方体领域的点云基团，该点云的坐标为n×3的矩阵pj(xj,yj,zj)，j＝1,2…n，矩阵pj经旋转变换后得到新坐标矩阵：
p′j＝pj·RX·RY·RZ (1)；
其中新坐标矩阵为p′j(x′j,y′j,z′j)，这里本实施例按照的步长遍历α,β,γ，并分别计算每次变换后x′j,y′j,z′j的方差。记输入的点云数据在Z轴上得到的方差为var(z′)，在Y轴上得到的方差为var(y′)。寻找这样一组α,β,γ，其对应的var(z′)为最大值。当有多组不同的α,β,γ对应的var(z′)都为最大值时，取var(y′)最小的一组α,β,γ为结果。将对应的新坐标矩阵作为旋转变换结果。
旋转变换结果如图1中(a)内阐述的旋转不变性模块的输出结果所示，一个不规则放置的局部枝干和叶子经旋转变换后，枝干的轴向几乎与Z轴平行(即直立)，且叶子平行于XOZ平面。
2.1.2、晶格投影与重心插值：
接着，本实施例将旋转后的树木局部点云p′j作为输入置于一个立方体之中。该立方体的XOY平面、XOZ平面和YOZ平面上都排布有晶格顶点，单个平面上的顶点有共σ2个，呈σ×σ二维矩阵状规则排列。这里σ为晶格尺度，它是一个常数，且三层晶格投影模块的σ不相同，是逐步减小的。本实施例定义第一层的σ为10，那么第二层的σ为第三层的σ为如图1中(b)所示。/>指向上取整。晶格的大小是通过晶格尺度σ来控制的，σ的变化会改变晶格顶点之间的距离，可以类比为对晶格进行等比例放大的操作。σ越大，晶格尺寸越大，点云细节表现更多。
然后，将p′j(x′j,y′j,z′j)分别投影到立方体的XOY平面、XOZ平面和YOZ平面上。XOY坐标平面的晶格投影操作具体为移除Z轴坐标，生成的点为以此类推，投影到XOZ平面上的点为/>投影到YOZ平面上的点为/>投影到三个平面后，和/>的后续操作基本一致，下文都以/>为例。记距离投影点/>最近的四个晶格顶点为v0(v0,x,v0,y)、v1(v1,x,v1,y)、v2(v2,x,v2,y)、v3(v3,x,v3,y)，这四个顶点的坐标，可以通过对点/>的x′j,y′j坐标使用下列公式获得，具体如下：
其中，mod为求余操作，括号内左边为被除数，右边为除数。指向上取整，/>指向下取整。
晶格投影完成后，本实施例使用重心插值将对投影生成的点进行溅射操作，将一个点的数据散开至最近的三个晶格顶点处。重心插值操作具体如下：根据上面的公式，分别计算与v0、v1、v2和v3的距离，其中与/>距离最短的3个点为重心插值的顶点，记它们为并记/>在这三个顶点上的插值系数分别为bj,0、bj,1、bj,2。根据重心插值定义，求解插值系数的方程组可具体列出，如下式所示：
解得插值系数如下为：
这里以一个局部枝干和一片局部树叶为例，上述操作结束后能够得到如图2所示结果。图2中(a)与图2中(b)是使用到的树叶点云图与枝干点云图，图2中(a1)至图2中(a3)是树叶点云在不同晶格尺度与不同平面的晶格投影与重心插值结果，图2中(b1)至图2中(b3)是枝干点云在不同晶格尺度与不同平面的晶格投影与重心插值结果。各图像对应的晶格尺度σ已标注在分图中，对应的投影平面已标注在各图像左上方。三条颜色条分别对应10，5和3这三种晶格尺度下，晶格投影与重心插值结束后，晶格点所累加的插值系数大小。
本实施例将所有点在同一个平面上生成的重心插值系数存储在同一个矩阵内，因为投影到三个平面，所以共有三个这样的矩阵，每个矩阵记为：
在一个晶格尺度上投影结束后，一共生成了M1,0，M1,1和M1,2三个矩阵，共记3×n×3的输出数据(即3组，每组n×3个数据)，如图1中(a)所示。至此，空间中不规则排列的输入点云全部转化至平面内规则排列的所有晶格顶点对应的参数值。
2.1.3、激活函数与数据集：
上一节生成的输出数据根据使用到的晶格尺度的不同，对应使用不同的多层感知器进行卷积。具体来说：晶格尺度为10时，得到的3×n×3的输出数据全部输入卷积模板为MLP(3，16)的多层感知机(即第一多层感知机MLP，MLP(3，16)中的3表示中间层参数，16表示输出层参数)中，卷积后得到3×n×16的数据(即3组，每组n×16个数据)。晶格尺度为5时，得到的3×n×3的输出数据全部输入卷积模板为MLP(3，32)的多层感知机(即第二多层感知机MLP，MLP(3，32)中的3表示中间层参数，32表示输出层参数)中，卷积后得到3×n×32的数据(即3组，每组n×32个数据)。晶格尺度为3时，得到的3×n×3的输出数据全部输入卷积模板为MLP(3，64)的多层感知机(即第三多层感知机MLP，MLP(3，64)中的3表示中间层参数，64表示输出层参数)中，卷积后得到3×n×64的数据(即3组，每组n×64个数据)。接着链接三组输出数据，得到一个3×n×112的特征，进行累加，得到n×336个特征。再使用全局池化操作，形成一个336的向量，最后使用多层感知机MLP(64，32，2)与激活函数，得到2*1的枝和叶置信度值。MLP(64，32，2)中，64和32分别表示两个中间层参数，2表示输出层参数。
枝叶分类问题是一个二分类问题，为了处理该问题，本实施例的深度学习网络在最后使用sigmoid作为激活函数，公式如下：
Sigmoid函数将一个标量转化至0、1之间，若大于0.5，则认为是属于树叶，否则属于枝干。
数据集由四种树木组成，分别是橡胶树(CATAS 7-20-59)、橡胶树(PR 107)、香樟树和红枫树。橡胶树是热带树种，具有很大的经济价值，CATAS 7-20-59与PR 107相比，较为低矮。香樟树是亚热带树种，树形高大，多用作绿化与美化景观。红枫是亚热带树种，树形优美，多用作观赏植物。数据集树木参数见表1。
表1为深度学习数据集树木参数：
本实施例使用机器学习，辅助人工标注对数据集进行了枝叶分离，给每个点标好标签以便深度学习网络训练时使用。部分枝叶分离后的训练集如图3所示，图3中黑色代表分割后的枝干点云，灰色代表分割后的叶子点云。
2.2、树木骨架重建：
2.2.1、树干高度分层与中心点求取：
根据深度学习网络分割后树干的垂直高度，按高度间隔h自下而上的切分整棵树干，接着对每一层数据按照欧式距离进行空间聚类，即对于每一个高度层内点云数据之间距离少于设定阈值dist的点云，将其聚为一类。然后求取每层局部枝干的聚类中心点根据这些中心点反演不同层次的枝干分布形态，即为整株树干的枝干雏形。以橡胶树1、橡胶树2中间的三层为例，分层结果和每类的聚类中心点结果如图4中(a)和图4中(b)所示。
2.2.2、枝干链表确立及圆柱体拟合：
按照植物生长规律，所有聚类中心点连接到下一层高度层(layer-1层)时只有唯一一个父结点/>(根结点/>没有父结点)，因此，遍历每一层的聚类中心点/>按照空间近邻的原则，找寻当前高度层(layer层)的中心点与下一高度层(layer-1层)的中心点中距离最近的点，即当前中心点的父结点/>对于具有上层多个儿子结点/>的中心点，则被认为是分枝结点/>而对于边缘结点，其没有儿子结点，以橡胶树1、橡胶树2为例，根据连通性计算后，具体枝干边缘结点与分枝结点的求取结果如图5中(a)和图5中(b)所示。
为了确定主枝干链，遵循角度变化最小的判别方法。首先，从根结点开始，将与根结点/>相互连通的每个高度层结点存储进队列中，直到遇到边缘结点终止。对于上层有多个中心点(和/>)的主枝干链上的分枝结点/>将计算夹角/>和夹角/>最后，选择θ1和θ2的较小值来确定哪个中心点属于主枝干的链表，角度比较公式如式(6)和图6所示：
直到该链表遇到边缘结点时，从根结点开始的链的中心点被分类为主枝干结点。同时，在主枝干链上延伸的分枝结点称为一级分枝结点，进而定位整个树干的其它一级分枝。
由于整个树木枝干按高度已分成若干段，每段枝干用两端的中心点和一个带有方向性与自适应半径的圆柱体进行拟合，r代表圆柱体的半径，/>代表圆柱体的顶面中心点；/>代表圆柱体的底面中心点。圆柱体的中心轴线按照对应分段的枝干扫描点云pi,i＝1,2,...n采用了RANSAC空间直线拟合算法而成。具体步骤如下：首先计算出该段枝干所有点云的中心坐标/>接着，在该段枝干扫描点内随机采样2点pi,pj组成向量/>结合/>构成空间点法式直线方程L1：
其中t是因变量；
然后，按照式(8)计算该段枝干所有点云pi到拟合直线L1的平均最短距离其中，q1,q2分别为拟合直线L1上的任意2个点，||||2代表2范数。
重复上述过程，即从当前枝干段上随机采样两个点，并不断优化得到的最小值，直至/>值不再变化。则对应的向量/>为该段枝干最优的拟合直线L1的方向向量。
最后，按照式(8)计算该枝干段每个点云pi到最优拟合直线L1的平均距离将其作为拟合圆柱体的半径。2个拟合的圆柱体如图7中(a)和图7中(b)所示。
2.2.3、一级枝干对应叶团簇分割：
最后，以分离的主枝干和各一级分枝扫描点云为聚类中心，根据空间分水岭聚类算法，实现不同枝干所对应的叶子点云分类，并运用Alphashape算法，实现不同枝干所对应的叶子点云分类，并运用Alphashape算法计算单株树不同分类点云对应的空间叶团簇的体积。
3、结果与分析：
3.1、枝叶分离与骨架重建：
深度学习网络运算在英特尔i7-7700 CPU@2.80GHz处理器和16GB内存的windows10 64位PC上执行，在PyCharm和Matlab软件平台上执行了晶格投影策略的深度学习网络和树木重建程序，同时使用NVIDIA RTX 2080Ti GPU代替CPU来减少训练时间。在晶格投影策略的深度学习网络模型中，学习率为0.0001，批量大小设置为16，迭代次数为300。设置的总训练时间约为80小时。
具体训练过程中的准确率和损失函数值如图8中(a)和图8中(b)所示，随着学习迭代次数的不断增加，训练样本的分类准确率呈上升趋势，而损失函数呈下降趋势，这表明所使用的深度学习模型参数满足全局优化且收敛。同时，训练期间神经元网络在每个批次中遇到了一些复杂的样本，例如点云存在局部遮挡和数据缺失、一些叶片扫描不全呈现枝干形态而被当前的深度网络权值进行误判等，进而导致回归损失函数值的局部波动。
在经历了100个Epoch之后，准确性和损失函数值分别到达0.90和0.05，表明模型参数较优。不同树木通过晶格投影的深度学习网络的分割结果如图9中(a)至图9中(d)所示。
深度学习方法与传统机器视觉算法枝叶分类性能对比如表2所示，分别在分类精度、IOU与分类时间三个参量上阐述算法的优劣。其中IOU定义如下：
上式中和/>分别代表每个点云所对应的真实标签与算法识别的类别标号，＝＝代表如果相等，则返回“True”，如果不相等，即≠，则记为“False”。式(9)的表示分类正确和分类错误的点云数量的比值。表2显示了深度学习方法在IOU值上比机器学习的算法高出7～13％，分类准确率高于机器学习算法8％左右，但需要更多的训练时间。
表2为机器学习与深度学习的点云枝叶分类性能表：
面向不同树种枝干数据，根据每层高度的中心点与枝干扫描点云进行圆柱体拟合以构造树木骨架模型，部分结果如图10中(a)至图10中(d)所示。
3.2、不同分枝与叶团簇提取：
面向不同树种，运用本文方法提取的不同分枝及对应的叶团簇如图11中(a)至图11中(d)以及图12中(a)至图12中(d)所示。如图11中(a)至图11中(d)所示，提取的不同一级枝干显示为不同颜色；如图12中(a)至图12中(d)所示，用不同颜色的最小凸包来展示相应分割的叶团簇。
3.3、树木参数反演结果比较：
表3罗列了单株红枫树和香樟树以及不同品种的多棵橡胶树的生长参数实际测量值和本文方法的计算值，其中包括树高、冠积、叶团簇体积、胸径、一级枝干、二级枝干直径和主枝干与一级枝干之间夹角，同时，把实地测量值与本算法计算值进行对比验证，定量化表达本文方法的有效性。
表3为本文方法获得的林分参数与实地测量值对比：
注：O代表本实施例的方法，F代表实地测量值。
图13给出了研究的橡胶树运用本文方法与实地验证的比较结果。图13(a)显示了四棵PR107基因型和四棵CATAS 7-20-59基因型橡胶树计算的一级枝干直径与实测值的比较结果，具体为CATAS 7-20-59(R2＝0.93，RMSE＝0.77cm，rRMSE＝5.75％)，PR 107(R2＝0.92，RMSE＝0.51cm，rRMSE＝7.21％)。图13(b)显示PR107基因型和CATAS 7-20-59基因型橡胶树主枝干与一级枝干夹角的计算与测量比对结果，可以看出PR107型橡胶树具有较大的分枝角，与实测值比对为(R2＝0.92，RMSE＝4.86°，rRMSE＝7.56％)；而CATAS 7-20-59型橡胶树的分枝角相对较小，反演结果为(R2＝0.91，RMSE＝1.77°，rRMSE＝8.06％)。实验整体结果表明算法在树木枝干直径与分枝角度估算上具有较高的精度。图13(c)显示了两种橡胶树一级枝干直径和对应的叶团簇体积呈现正相关性，其中PR107型橡胶树具有更多的一级枝干和对应的叶团簇，整体树冠结构为发散形，而CATAS 7-20-59具有较少的一级枝干，树冠结构为倒花瓶形。同时，图13(c)表明较粗的枝干可以支撑起较大的叶团簇，这与更多叶花果等器官需要更粗的枝干进行营养传输和重力支撑的原理相吻合。
4、结论
基于激光雷达(Light Detection And Ranging,LiDAR)数据重建树体三维模型并精准获取林木空间枝干结构参数是精准林业发展的必然趋势。本实施例面向激光点云提出了一种基于晶格投影的深度学习网络，以及面向提取的枝干点云的树木模型骨架重建的方法。该深度学习网络包括旋转不变性模块、晶格投影与重心插值模块，多尺度变换与卷积操作层，通过将旋转变换后的点云晶格投影到三个坐标平面上再分别重心插值获得变换系数，解决了三维点云因排列无序而造成空间卷积困难的问题。以海南多类树木为研究对象，首先，把带枝叶标签的林木点云基团带入构造的深度学习网络中训练网络参数，实现测试样本中的林木数据的枝叶分离。其次，对分类后的树木枝干点云垂直分层并空间聚类，获取每层的聚类中心点并按相邻层中心点距离最小原则实现骨架链表构造，同时设计自适应RANSAC半径计算的圆柱体拟合方法，以重建树木的各级枝干。最后，根据中心点连通的链表结构以及角度变化最小准则自动识别树木中的主枝干和各个一级分枝。通过与实测数据比对验证表明，深度学习枝叶分类准确率为91.31％，高于传统的机器学习分类方法7％左右。本实施例设计了深度学习网络与计算机图形学的算法快速精准从地基点云中重建树木的骨架模型，精度吻合实际测量值，具有推广价值。
树木骨架的精准重建对于分析树木的表型结构、树体自身的物理特性、地理环境因子的影响都起到了信息支撑的作用。本实施例面向地面激光雷达数据开展多类阔叶树骨架形态的建模，通过面向枝叶点云分类的深度学习模型设计、空间链表结构的主枝干与一级枝干查找、参数自适应调整的圆柱体拟合、空间分水岭分类的叶团簇提取，精准且智能的重建了林木的枝干骨架结构与参数获取。
本实施例创新地设计了晶格投影策略的深度学习网络，并融入了点云局部基团特征、旋转不变模块与多尺度晶格投影等模块，解决了局部特征提取、空间点云卷积和多尺度特征融合等问题。
虽然本实施例的深度学习网络枝叶分类准确率达到91.31％，但导致准确率降低的因素主要有：实际扫描中枝叶互相遮挡，造成数据缺失；叶子和枝干点云点云紧密贴合，特征混淆而难以分离；点云训练集与测试集中存在噪声，影响了深度学习网络最终分割性能，这些都是本实施例下一步主要提升的方向。
本发明的保护范围包括但不限于以上实施方式，本发明的保护范围以权利要求书为准，任何对本技术做出的本领域的技术人员容易想到的替换、变形、改进均落入本发明的保护范围。
Claims (8)
1.基于晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法，其特征在于，包括：
步骤1：获取树木三维点云数据；
步骤2：对采集的树木三维点云数据进行去燥处理；
步骤3：将去燥处理后的多颗树木三维点云数据作为数据集，采用机器学习算法以及人工标注对数据集进行枝叶分离操作，将属于枝干的点云数据的标签标记为枝干点云，将属于叶子的点云数据的标签标记为叶子点云；
步骤4：将标记好枝干点云和叶子点云的数据集带入晶格投影的深度学习网络中训练，得到训练好的晶格投影深度学习网络模型；
步骤5：采集待测树木三维点云数据并进行去燥处理，将去燥处理后的点云数据输入到训练好的晶格投影深度学习网络模型中，以实现树木三维点云数据的枝叶分离；
步骤6：根据晶格投影深度学习网络模型分割后的枝干的垂直高度，按高度间隔自下而上的切分整棵枝干，进而切分为不同的高度层；对每一个高度层中的枝干点云数据按照欧式距离进行空间聚类，即设定距离阈值，将每一个高度层内的枝干点云数据之间距离少于距离阈值的点云集归属为一类；求取每类的中心点，即每一个高度层的局部枝干的聚类中心点；
步骤7：遍历每一个高度层的聚类中心点，根据聚类中心点并采用带有空间方向性的圆柱体拟合枝干骨架，从而实现树木骨架的重建。
2.根据权利要求1所述的基于晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法，其特征在于，所述晶格投影的深度学习网络的计算过程为：
将点云基团输入旋转不变性模块，旋转不变性模块对输入网络的局部三维点云数据进行点云位姿统一，旋转后的点云数据分别作晶格尺度为10、5和3的晶格投影；然后分别进行重心插值，再分别使用不同的多层感知机进行卷积操作，接着链接三组输出数据并进行累加，再使用全局池化操作、多层感知机的卷积操作与非线性激活函数，得到每个点的枝与叶的置信度值。
3.根据权利要求2所述的基于晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法，其特征在于，所述的旋转不变性模块的计算过程为：
构建三个旋转矩阵：
其中Rx,Ry,Rz分别为绕X,Y,Z轴的旋转矩阵，α,β,γ分别为绕X,Y,Z轴的旋转角度，输入以pi为中心点，直径为0.1米呈立方体领域的点云基团，点云基团中的点云坐标为n×3的矩阵pj(xj,yj,zj)，其中j＝1,2…n，矩阵pj经旋转变换后得到新坐标矩阵：
p′j＝pj·RX·RY·RZ (1)；
其中新坐标矩阵为p′j(x′j,y′j,z′j)，按照的步长遍历α,β,γ，并分别计算每次变换后x′j,y′j,z′j的方差，记输入的点云数据在Z轴上得到的方差为var(z′)，在Y轴上得到的方差为var(y′)，寻找一个α,β,γ，其对应的var(z′)为最大值，当有多组不同的α,β,γ对应的var(z′)都为最大值时，取var(y′)最小的一组α,β,γ为寻找结果，将寻找到的α,β,γ代入公式(1)计算得到的新坐标矩阵作为旋转不变性模块的最终计算结果。
4.根据权利要求3所述的基于晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法，其特征在于，所述的旋转后的点云数据分别作晶格尺度为10、5和3的晶格投影具体为：
步骤(a1)、对旋转后的点云数据作晶格尺度为σ的晶格投影，具体为：
将旋转后的树木局部点云p′j作为输入置于一个立方体之中，该立方体的XOY平面、XOZ平面和YOZ平面上都排布有晶格顶点，单个平面上的顶点有共σ2个，呈σ×σ二维矩阵状规则排列，其中σ为晶格尺度；
将p′j(x′j，y′j,z′j)分别投影到立方体的XOY平面、XOZ平面和YOZ平面上，投影到XOY平面上的点坐标记为/>投影到XOZ平面上的点/>坐标记为/>投影到YOZ平面上的点/>坐标记为/>
分别求取距离每个投影点最近的四个晶格顶点坐标；
步骤(a2)、按照步骤(a1)的方法对旋转后的点云数据分别作晶格尺度σ为10、5和3的晶格投影。
5.根据权利要求4所述的基于晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法，其特征在于，所述的重心插值具体为：
步骤(b1)、距离投影点最近的四个晶格顶点坐标记为v0(v0,x,v0,y)、v1(v1,x,v1,y)、v2(v2,x,v2,y)、v3(v3,x,v3,y)；分别计算投影点/>与v0、v1、v2和v3的距离，从四个晶格顶点v0、v1、v2和v3中选取与/>距离最短的三个晶格顶点为重心插值的顶点，记三个重心插值的顶点为/>并记/>在这三个重心插值的顶点上的插值系数分别为bj,0、bj,1、bj,2；
插值系数如下为：
步骤(b2)、将所有投影点在同一个平面上生成的重心插值系数存储在同一个重心插值矩阵内，因为投影到XOY平面、XOZ平面和YOZ平面的三个平面内，所以共有三个重心插值矩阵M1,0，M1,1和M1,2，每个重心插值矩阵记为：
三个重心插值矩阵M1,0，M1,1和M1,2，共记3×n×3的数据，该数据为重心插值的最终输出数据。
6.根据权利要求5所述的基于晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法，其特征在于，所述的再分别使用不同的多层感知机进行卷积操作，接着链接三组输出数据并进行累加，具体为：
晶格尺度σ为10时，得到的3×n×3的输出数据全部输入第一多层感知机MLP中，卷积后得到3×n×16的输出数据；晶格尺度σ为5时，得到的3×n×3的输出数据全部输入第二多层感知机MLP中，卷积后得到3×n×32的输出数据；晶格尺度为3时，得到的3×n×3的输出数据全部输入第三多层感知机MLP中；卷积后得到3×n×64的输出数据；链接3×n×16的输出数据、3×n×32的输出数据和3×n×64的输出数据，得到3×n×112的特征，累加，得到n×336个特征。
7.根据权利要求1所述的基于晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法，其特征在于，所述的非线性激活函数采用Sigmoid函数。
8.根据权利要求1所述的基于晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法，其特征在于，所述的根据聚类中心点并采用带有空间方向性的圆柱体拟合枝干骨架，具体为：
步骤(c1)、遍历每一高度层的聚类中心点按照空间近邻的原则，找寻当前高度layer层的中心点与下一高度layer-1层的中心点距离最近的点，找寻的点即为当前中心点的父结点/>
步骤(c2)、所有聚类中心点连接到下一高度layer-1层时只有唯一一个父结点根结点/>没有父结点，根据上述聚类中心点与其父节点的连接性，整个枝干骨架被分成若干段，每段枝干骨架用一个带有空间方向性的圆柱体/>进行拟合，r代表圆柱体的半径，/>代表圆柱体的顶面中心点；/>代表圆柱体的底面中心点；
其中圆柱体的半径r的计算方法为：
步骤(c21)、首先计算出某段枝干所有点云的中心坐标
步骤(c22)、在该段枝干所有点云内随机采样2点pi,pj并组成向量结合/>构成空间点法式直线方程L1：
步骤(c23)、按照式(5)计算该段枝干所有点云pi到拟合直线L1的平均最短距离其中，q1,q2分别为拟合直线L1上的任意2个点，||||2代表2范数；
步骤(c24)、重复步骤(c22)和步骤(c23)，得到多个不断优化得到/>的最小值，直至/>值不再变化；则最小值/>对应的向量/>为该段枝干最优的拟合直线L1的方向向量；
步骤(c25)、将步骤(c24)计算出的最优的拟合直线L1的平均最短距离作为圆柱体的半径r。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210021725.3A CN114494586B (zh) | 2022-01-10 | 2022-01-10 | 晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210021725.3A CN114494586B (zh) | 2022-01-10 | 2022-01-10 | 晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114494586A CN114494586A (zh) | 2022-05-13 |
| CN114494586B true CN114494586B (zh) | 2024-03-19 |
Family
ID=81509932
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210021725.3A Active CN114494586B (zh) | 2022-01-10 | 2022-01-10 | 晶格投影的深度学习网络阔叶树枝叶分离与骨架重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114494586B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942838A (zh) * | 2014-05-13 | 2014-07-23 | 福州大学 | 基于点云数据的单树三维建模与形态参数提取的方法 |
| WO2015149302A1 (zh) * | 2014-04-02 | 2015-10-08 | 中国科学院自动化研究所 | 基于点云与数据驱动的树木模型重建方法 |
| CN109446691A (zh) * | 2018-11-08 | 2019-03-08 | 南京林业大学 | 基于激光点云与空气动力学的活立木抗风性能分析方法 |
| CN110378909A (zh) * | 2019-06-24 | 2019-10-25 | 南京林业大学 | 基于Faster R-CNN的面向激光点云的单木分割方法 |
| CN111898688A (zh) * | 2020-08-04 | 2020-11-06 | 沈阳建筑大学 | 一种基于三维深度学习的机载LiDAR数据树种分类方法 |
| AU2020103131A4 (en) * | 2020-10-30 | 2021-01-07 | Nanjing Forestry University | Leaf surface reconstruction and physically based deformation simulation based on the point cloud data |
| CN112257597A (zh) * | 2020-10-22 | 2021-01-22 | 中国人民解放军战略支援部队信息工程大学 | 一种点云数据的语义分割方法 |
| WO2021179593A1 (zh) * | 2020-03-10 | 2021-09-16 | 山东大学 | 基于深度学习的管道三维重建方法、系统、介质及设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005218693A (ja) * | 2004-02-06 | 2005-08-18 | Ge Medical Systems Global Technology Co Llc | 画像再構成方法およびｘ線ｃｔ装置 |
| CN108717723B (zh) * | 2018-04-19 | 2019-06-11 | 浙江大学 | 一种基于草图实现形状保持的树木变形动画方法 |
-
2022
- 2022-01-10 CN CN202210021725.3A patent/CN114494586B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015149302A1 (zh) * | 2014-04-02 | 2015-10-08 | 中国科学院自动化研究所 | 基于点云与数据驱动的树木模型重建方法 |
| CN103942838A (zh) * | 2014-05-13 | 2014-07-23 | 福州大学 | 基于点云数据的单树三维建模与形态参数提取的方法 |
| CN109446691A (zh) * | 2018-11-08 | 2019-03-08 | 南京林业大学 | 基于激光点云与空气动力学的活立木抗风性能分析方法 |
| CN110378909A (zh) * | 2019-06-24 | 2019-10-25 | 南京林业大学 | 基于Faster R-CNN的面向激光点云的单木分割方法 |
| WO2021179593A1 (zh) * | 2020-03-10 | 2021-09-16 | 山东大学 | 基于深度学习的管道三维重建方法、系统、介质及设备 |
| CN111898688A (zh) * | 2020-08-04 | 2020-11-06 | 沈阳建筑大学 | 一种基于三维深度学习的机载LiDAR数据树种分类方法 |
| CN112257597A (zh) * | 2020-10-22 | 2021-01-22 | 中国人民解放军战略支援部队信息工程大学 | 一种点云数据的语义分割方法 |
| AU2020103131A4 (en) * | 2020-10-30 | 2021-01-07 | Nanjing Forestry University | Leaf surface reconstruction and physically based deformation simulation based on the point cloud data |
Non-Patent Citations (2)
| Title |
|---|
| 一种稀疏点云环境下的单株树骨架提取算法;李巍岳;刘春;吴杭彬;孙伟伟;;遥感信息;20141215(06);全文 * |
| 基于点云数据的树木三维重建方法改进;唐丽玉;张浩;黄洪宇;陈崇成;;农业机械学报;20170225(02);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114494586A (zh) | 2022-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Automatic organ-level point cloud segmentation of maize shoots by integrating high-throughput data acquisition and deep learning | |
| Yang et al. | An individual tree segmentation method based on watershed algorithm and three-dimensional spatial distribution analysis from airborne LiDAR point clouds | |
| Zhang et al. | Deep learning-based classification and reconstruction of residential scenes from large-scale point clouds | |
| CN111898688B (zh) | 一种基于三维深度学习的机载LiDAR数据树种分类方法 | |
| Koukoulas et al. | Mapping individual tree location, height and species in broadleaved deciduous forest using airborne LIDAR and multi‐spectral remotely sensed data | |
| Yang et al. | Automated extraction of building outlines from airborne laser scanning point clouds | |
| CN109410321A (zh) | 基于卷积神经网络的三维重建方法 | |
| CN109146948A (zh) | 基于视觉的作物长势表型参数量化与产量相关性分析方法 | |
| CN110992473B (zh) | 一种基于车载激光扫描点云的树木枝干建模方法及系统 | |
| CN112819830A (zh) | 基于深度学习与机载激光点云的单株树冠分割方法 | |
| CN111652193A (zh) | 基于多源影像的湿地分类方法 | |
| CN113705580B (zh) | 基于深度迁移学习的高光谱图像分类方法 | |
| Gleason et al. | A fusion approach for tree crown delineation from lidar data. | |
| CN113988147B (zh) | 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置 | |
| Xu et al. | A new clustering-based framework to the stem estimation and growth fitting of street trees from mobile laser scanning data | |
| Özdemir et al. | Automatic extraction of trees by using multiple return properties of the lidar point cloud | |
| CN114004938A (zh) | 一种基于海量数据的城市场景重建方法及装置 | |
| CN111754618A (zh) | 一种面向对象的实景三维模型多层次解译方法及系统 | |
| CN115880487A (zh) | 基于深度学习方法的林木激光点云枝叶分离方法 | |
| CN104463962B (zh) | 基于gps信息视频的三维场景重建方法 | |
| Fan et al. | UAV image crop classification based on deep learning with spatial and spectral features | |
| CN107481243A (zh) | 基于羊只俯视图的羊只体尺检测方法 | |
| Guo et al. | Automatic segmentation for plant leaves via multiview stereo reconstruction | |
| CN114663880A (zh) | 基于多层级跨模态自注意力机制的三维目标检测方法 | |
| Gupta et al. | Tree annotations in LiDAR data using point densities and convolutional neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |