CN103871100B - 基于点云与数据驱动的树木模型重建方法 - Google Patents
基于点云与数据驱动的树木模型重建方法 Download PDFInfo
- Publication number
- CN103871100B CN103871100B CN201410131203.4A CN201410131203A CN103871100B CN 103871100 B CN103871100 B CN 103871100B CN 201410131203 A CN201410131203 A CN 201410131203A CN 103871100 B CN103871100 B CN 103871100B
- Authority
- CN
- China
- Prior art keywords
- point
- tree
- cylinder
- branch
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 239000000284 extract Substances 0.000 claims abstract description 14
- 239000002245 particle Substances 0.000 claims description 35
- 241001640034 Heteropterys Species 0.000 claims description 24
- 230000004907 flux Effects 0.000 claims description 13
- 230000033001 locomotion Effects 0.000 claims description 9
- 210000000988 bone and bone Anatomy 0.000 claims description 5
- 230000005484 gravity Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 241000196324 Embryophyta Species 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000007716 flux method Methods 0.000 description 3
- 241000208367 Euonymus Species 0.000 description 2
- 241001236247 Pinus bungeana Species 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004071 biological effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009313 farming Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 210000001215 vagina Anatomy 0.000 description 1
- 235000001459 whitebark Nutrition 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于点云与数据驱动的树木模型重建方法，该方法包括以下步骤：获取树木点云数据，对其进行预处理，并定义树木模型的分级表示；提出移动圆柱体方法并用于从所述树木点云数据中提取得到主枝骨架点，并进行枝叶分离处理；从所述树木点云数据中提取得到树冠特征点；提出分级离子流方法并用于对主枝骨架点和树冠特征点进行结构化；根据已经结构化的所有树枝的骨架点和半径，重建得到完整的树木模型。本发明为从三维点云数据中重建出完整的树木模型提供了解决方案，获取的重建模型与原始点云具有很高的吻合度，而且对遮挡严重、形态复杂的模型都能获得较好的重建结果。
Description
技术领域
本发明属于植物建模和计算机图形处理的交叉技术领域，涉及利用三维激光扫描仪进行实物测量得到树木点云数据，特别涉及一种从扫描的三维点云数据中重建出完整的三维树木模型的方法。
背景技术
植物在我们日常生活中起着重要的作用，既可以调节生态平衡，也可以绿化环境，清新空气。植物模型的准确重建可以应用于许多领域，如指导农业林业的生产，保护濒危的古树，或者在数字电影和娱乐游戏中提供虚拟的环境。目前植物建模的技术大体上可以分为四类：基于规则的方法，基于几何解析表达的方法，基于草绘的方法以及基于树木数字化的方法。
近年来由于数字化手段的快速发展，基于树木数字化的重建方法在植物重建中获得越来越多的重视，该方法目前主要以树木数字化手段获得的树木照片、点云等作为输入数据，利用一些先验知识和规则，获得与输入数据相似的植物模型。除了获得较好的视觉效果外，重建模型的准确性也逐渐成为重建的目标之一。其中，基于照片的重建方法具有数据采集方便，重建模型视觉效果好的特点，但是准备工作多，手工交互工作量大，重建模型与真实模型只能保持在某一个或某几个角度相似，并不能反映出植物的真实形态。基于三维扫描点云的方法以树的三维扫描数据作为输入，几何信息丰富，精度高，可以获得较照片精度高得多的模型。Cheng2007（Z.Cheng,X.Zhang and B.Chen,“Simple Reconstruction of Tree Branches Froma Single Range Image,”Journal of Computer Science and Technology,vol.22,no.6,pp.846C858,2007）提出的树木点云数据的重建方法中，通过手工分割的方法将树冠部分与树干部分实现分离，对于树干部分，首先通过扫描图像的深度检测实现枝干之间的分离，再利用圆柱拟合获得骨架点以及骨架点对应的半径，该方法可以获得相对准确的骨架位置和树枝半径，但是无法对细枝以及树冠进行重建。Neubert2007（Neubert,T.Franken and O.Deussen,Approximate Image Based Tree-Modeling Using Particle Flows,ACM Transactions on Graphics(TOG).ACM,26(3):88,2007.）将粒子流的方法用于数据驱动的树木建模中，他们首先从两张正交拍摄的树木图片中提取出方向场，然后沿方向场采用粒子流方法将树冠与主枝进行连接，从而使得重建的模型与输入的照片相吻合。但是该方法使用的是单层粒子流的运动，因此只适用于二级结构。本发明将该方法进行了扩展，使用分级的粒子流方法来提取树木的多级结构，而且本发明是从点云数据中重建模型。Livny2010（Y.Livny,F.Yan,M.Olson,B.Chen,H.Zhang and J.El-Sana,“Automatic Reconstruction of Tree Skeletal Structures from Point Clouds,”ACM Trans.Graph.vol.29,no.151,pp.1C8,2010.）提出了一种基于全局拟合优化的方法提取点云数据的骨架结构，该方法更加鲁棒，但在遮挡严重的情况下仍然无法准确地重构出主枝和树冠的骨架。Livny2011（Y.Livny,S.Pirk,Z.Cheng,F.Yan,O.Deussen,D.Cohen-Or and B.Chen.Texture-lobesfor Tree Modelling,ACM Transactions on Graphics(Proceedings ofSIGGRAPH2011),vol.30,no.4,2011.）提出了一种基于裂片的树木表示方法，该方法可以用于树木的重建，也可以对现有的树木模型进行重新表示，本发明对该方法进行了扩展，同时考虑了树冠和可见主枝的信息，并采用分级粒子流的方法对树冠和主枝进行填充。
发明内容
本发明提供一种基于点云与数据驱动的树木模型重建方法，以解决现有的树木重建方法准确性不高，且只能处理较为简单的模型，对于遮挡严重、形态复杂的模型难以获得较好重建结果的缺点。
为实现上述目的，本发明提供一种基于点云与数据驱动的树木模型重建方法，该方法包括以下步骤：
步骤S1、获取树木点云数据，对其进行预处理，并定义树木模型的分级表示；
步骤S2、从所述树木点云数据中提取得到主枝骨架点及其半径，并进行枝叶分离处理；
步骤S3、从所述树木点云数据中提取得到树冠特征点；
步骤S4、对于主枝骨架点进行结构化；
步骤S5、对于树冠特征点进行结构化并计算得到各个小枝的半径；
步骤S6、根据已经结构化的所有树枝的骨架点和半径，重建得到完整的树木模型。
本发明采用计算机图形处理的技术，从扫描的三维树木点云数据中重建出完整的树木模型，本发明通过对点云局部几何量和空间位置关系的综合分析，既自动准确地在复杂点云数据中计算出主枝的骨架点并获得准确的半径，又完整地恢复了树冠形状，符合生物学特征地模拟出大量细枝，使重建模型在准确的基础上获得了较高的真实感。
附图说明
图1是本发明点云与数据驱动的树木模型重建方法的流程图；
图2是根据本发明一实施例获取的白皮松树扫描点云数据；
图3是根据本发明一实施例的树木分级表示示意图；
图4是根据本发明一实施例中圆柱体搜索空间的示意图；
图5是根据本发明一实施例圆柱体移动搜索方法流程图；
图6是根据本发明一实施例用分级离子流提取的主枝骨架点；
图7是根据本发明一实施例得到的枝叶分离结果示意图；
图8是根据本发明一实施例提取得到的树冠特征点的结果示意图；
图9是根据本发明一实施例结构化的主枝和树冠细枝示意图；
图10是根据本发明一实施例重建出的完整白皮松树模型；
图11是输入点云数据遮挡严重情况下本发明与现有技术的结果对比图；
图12是利用本发明对扫描的树林点云进行重建得到的结果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
图1是本发明点云与数据驱动的树木模型重建方法的流程图，如图1所示，本发明方法包括以下步骤：S1、树木点云数据的获取及预处理，并定义树木模型的分级表示；S2、主枝骨架点提取及枝叶分离；S3、树冠特征点提取；S4、主枝骨架点的结构化；S5、树冠特征点的结构化；S6、完整模型的重建。
下面对上述每个步骤进行更加详细的说明。
步骤S1、获取树木点云数据，对其进行预处理，并定义树木模型的分级表示；
要实现真实的植物三维建模首先要获得植物的原始模型，目前获取植物原始模型的方法主要有两种，分别为依靠照相机获取图像模型和依靠激光扫描仪获取三维点云模型。本发明利用三维激光扫描仪（如Cyrax）、视觉照相等工具获取树木点云数据，基于点云分析技术保留需要重建的单个和多个树木上的点云，去掉其它对象的点，即预处理。图2是根据本发明一实施例获取的白皮松树扫描点云数据。
另外，根据植物学的知识，本发明将树木的形状进行分级表示：主枝、细枝和树叶，其中主枝包含2到4级枝，细枝包含2-5级枝，具体的级数与树种、树龄有关，一般来说，树龄大的分级数也多，主枝分级数记为NL，细枝分级数记为NS，细枝和树叶合起来构成树冠。图3是根据本发明一实施例的树木分级表示示意图，以5级为例，其中，图3A显示了树木的主要结构，图3B显示了5级分级的元素，图3C显示了5级的树木模型。
步骤S2、从所述树木点云数据中提取得到主枝骨架点及其半径，并进行枝叶分离处理；
该步骤首先从所述树木点云数据中提取出主枝骨架点，并利用提取得到的主枝骨架点实现枝叶分离，然后在后续的步骤中完成主枝和树冠的结构化。
所述步骤S2包括以下步骤：
步骤S2.1、计算点云各个点p处的局部几何量；
所述点云各个点p处的局部几何量包括法方向主曲率k1(p)和k2(p)(k1(p)≤k2(p)），以及主曲率对应的主方向和
所述步骤S2.1进一步包括以下步骤：
步骤S2.1.1、建立整个点云数据的kd树；
在计算几何中，kd树是已经被证明的查找近邻的最快捷的数据结构之一，kd树的建立方法在此不作赘述。
步骤S2.1.2、对于点云数据中的每一个点p，利用kd树查找其多个，比如15个或30个近邻点，假设这些近邻点来自于同一个平面，利用最小二乘方法拟合出这个平面，以这个平面的法向量作为点p的法方向
步骤S2.1.3、在点p处建立局部坐标系，并拟合出一个二次曲面h(u,v)=c0u2+2c1uv+c2v2，其中（u,v,h(u,v))是表示空间中的一点，c0，c1，c2是曲面系数。求得二次曲面的系数后，利用该二次曲面计算出点p处的主曲率k1(p)和k2(p)以及主方向和
步骤S2.1.4、定义p点处的曲率圆半径为r(p)=1/k2(p)，曲率圆心为用近似表示p处树枝的轴向，r(p)近似的表示该点处的树枝半径，b(p)估计为该点处的树干轴线的位置，也称为树枝骨架点。
步骤S2.2、基于点云各个点p处的局部几何量来定义一个拟合p点枝干形状的圆柱，利用圆柱体的移动来搜索潜在的枝干（即移动圆柱体方法），从而提取得到主枝骨架点及其半径；
如图4所示，一个点p处的圆柱体定义为其中，
为所述步骤S2.1计算得到的局部几何量：曲率圆心、曲率半径和主方向，b代表s的底面圆心，r为底面圆半径，为轴向，H代表高度并且是一个定值。s的扩展圆柱体记为其中，λ1设为一定值，比如1.3，T(S)定义了寻找潜在主枝骨架点的搜索空间，将所有位于T(S)中的扫描数据点记为集合
图5是根据本发明一实施例圆柱体移动搜索方法流程图，如图5所示，所述圆柱体移动搜索方法包括以下步骤：
步骤S2.2.1、构造初始圆柱体：从点云数据中任选一点p0，构造初始圆柱体其中，b(1)表示初始圆柱体S(1)的底面圆心，r(1)为初始圆柱体S(1)的底面圆半径，代表初始圆柱体S(1)的轴向，H(1)代表初始圆柱体S(1)的高度，初始圆柱体S(1)的拓展圆柱体为T(S(1))， 代表T(S(1))中的所有点；
步骤S2.2.2、首先判断集合中的任意一点q是否是有效的，即如果圆柱体S(p0)和S(q)满足：1）b(q)∈S(p0)； 和之间的夹角较小，其中，b(q)表示圆柱体S(q)的曲率圆心，r(q)表示圆柱体S(q)的曲率半径，r(p0)表示圆柱体S(p0)的曲率半径，表示圆柱体S(q)的轴向，表示圆柱体S(p0)的轴向，则点q称为一个有效的点；如果集合中有效点的数目大于第一阈值N1（在本发明一实施例中设为6），则初始圆柱体S(1)的后继圆柱体S(2)存在，且其参数b(2),r(2),分别是集合中所有点的曲率圆心、曲率半径和主方向的平均值，然后将S(1)中的所有点都标记为已处理，且在后续步骤中不再被访问；
步骤S2.2.3、注意初始圆柱体S(1)有一个轴向相反的伴生圆柱体S(1)与S(-1)的轴向相反，因此从S(-1)出发按照步骤S2.2.2的方法寻找后继圆柱体S(-2)；
步骤S2.2.4、在S(2)或S(-2)的基础上继续执行搜索直到没有找到任何后继圆柱体，如果找到的圆柱体的数目大于第二阈值N2（在本发明一实施例中设为6），则这些圆柱体构成一个主枝片段，并记录其圆心作为主枝骨架点；
步骤S2.2.5、在点云数据中重新选择一个未被处理的点并重复执行上述四个步骤，直到所有点都被标记为已处理，此时得到一个有序的圆柱序列，这就是移动圆柱的序列，同时也得到一个有序骨架点序列1,…,nj}，其中每个代表一段主枝，j表示第j段主枝，nj表示第j段主枝包含骨架点的数目。
图6是根据本发明一实施例提取的主枝骨架点示意图，图6中，这些骨架点并不是完全连在一起的，每个骨架点用其对应的圆柱（包括中心和半径）表示。
步骤S2.3、利用提取得到的主枝骨架点，将所述点云数据分为主枝上的点云和树冠上的点云两部分，实现枝叶分离；
该步骤中，将点云数据分为主枝上的点云和树冠上的点云位于圆柱搜索区域内的点云认为是位于主枝上的点云，其它点云被认为是位于树冠上的点云。由于圆柱搜索区域的搜索半径为λ1r(p)，其中r(p)为圆柱体的半径，被认为是该位置主枝的半径，在本发明一实施例中，λ1取1.3，所以圆柱搜索区域比真实的树枝范围大，在保证主枝上的点云全部位于搜索区域中的同时，也会有一部分树冠上的点云被包络进去。但是这不会对最终结果的准确性造成不良影响，因为主枝与树冠点云分离的结果使我们更关注位于树冠上的那部分点云，少量的缺失不会对树冠点云的形状和外围轮廓造成影响。图7展示了根据本发明一实施例的白皮松枝叶分离之后的结果，图7中，将主枝上的点云（灰度深的部分）记为树冠上的点云（灰度亮的部分）记为
步骤S3、从所述树木点云数据中提取得到树冠特征点；
在本发明一实施例中，构建多尺度的方法提取所述树木模型中的树冠特征点，该方法中，每一尺度对应树木的一级表示，即划分NS个尺度Ω1、Ω2、…、ΩNS分别对应树木的NS级的细枝表示，并且Ω1＞Ω2＞ ＞ΩNS。对于每一尺度Ωj，将树冠点云的包围盒划分为若干均匀且等尺寸（大小为Ωj）的立方体{Vi}，当一个立方体Vi满足下列两个条件的时候，称Vi是有效的，即Vi的重心bi为树冠在尺度Ωj上的一个特征点：1)Vi中属于的点的数量不能小于第三阈值N3，在本发明一实施例中，N3设为5；2)Vi中没有属于的点。对应于尺度Ωj的有效立方体的列表为V(Ωj)={V1,V2,…}。计算每一个尺度Ωj下中所有Vi的重心bi被计算出来，则所有的重心bi被认为是树冠在尺度Ωj上的所有特征点。图8是根据发明一实施例提取得到的树冠特征点的结果示意图，图中，灰度较亮的点（用小球显示）为特征点，这些特征点在空间中均匀分布，且能较好地表示出树冠的形状。
步骤S4、对于主枝骨架点进行结构化；
由前述步骤得到的主枝骨架点并没有完整的连接关系，即获取的每段主枝内部的骨架点具有连接关系，但是主枝与主枝之间没有任何连接信息，同时树冠的三个尺度的特征点也完全是离散的，因此，在本发明一实施例中，采用三维分级粒子流运动的方法将这些骨架点进行有效而准确地结构化，构建分级枝干。
对于主枝部分，首先设置一个根节点G（可以选择树木模型靠近地面的位置）来引导粒子流运动，然后对已经得到的有序骨架点列表中的每一个枝干以其下端点qj作为粒子的初始位置放置粒子Pj，最后用剩余的主枝骨架点作为吸引，引导粒子在空间中运行，寻找合适的可连接点，用粒子的轨迹作为主枝的补充连接各个分散的枝干，实现所有主枝骨架点的结构化。其中，每一个粒子在寻找可连接点的运行过程中，在没有找到属于自己的可连接点之前，都不断进行锥状分级搜索，锥状分级搜索的目的在于寻找可以连接的枝干，具体过程如下：设代表粒子在i步骤的速度方向，记录pj在i步骤的位置，也就是粒子运行的轨迹点，对于位于位置的粒子pj，以为顶点，以为轴，以h0为高，以θ0为母线与轴线的夹角，建立一个圆锥F0，如果在这个圆锥内存在除了以外的其他枝干骨架点，则选择在这个区域内这些骨架点中与夹角最小的点作为pj的“可连接点”，如果在圆锥内没有搜索到可连接点，再同样以为顶点，以为轴，以hI=hup+h0为高，以θI=θup+θ0为母线与轴线的夹角，其中hup为高度的增加量，θ0为夹角的增加量，之后建立一个新圆锥FI，在其中重新寻找可连接点，如果仍然没有找到并且hI＜hmax,θI＜θmax，就进一步扩大高度和夹角，反复上面的搜索过程，其中hmax和θmax为高度和夹角的最大值。当pj搜索到可连接点Qattach之后，在后面的运动过程中将不再进行锥状区域搜索，把Qattach记录作为pj的吸引点。
步骤S5、对于树冠特征点进行结构化并计算得到各个小枝的半径；
在将主枝骨架点全面连接起来之后，该步骤中，将对应的树木第一级树冠特征点作为粒子流的起点运动到主枝骨架点上，粒子运行的轨迹作为该级细枝的骨架点；将树木其它级别对应的树冠特征点作为粒子流的起点运动到上一级主枝骨架点上，粒子运行的轨迹仍然作为该级的骨架点，从而实现所有特征点的结构化；最后根据主枝的半径估计得到各个小枝的半径。
树冠特征点的结构化与主枝骨架点的结构化有很大的相似之处，首先设置树冠吸引点X（例如可以选择根节点G正上方三分之一树高处），然后分别以NS个尺度的树冠特征点为粒子流的起点撒下粒子，NS个尺度的粒子分为NS批先后在主枝骨架点和吸引点X的引导作用下向主枝骨架点方向运动，寻找合适的可连接点，最后全部运行到主枝骨架点上，粒子运行的轨迹作为细枝的骨架点。Ω1尺度下的粒子全部运行到主枝骨架点之后形成第(NL+1)级分枝，Ω2尺度下的粒子全部运行到第(NL+1)级分枝骨架点之后形成(NL+2)级分枝，依次类推，最后ΩNS尺度下的粒子全部运行形成细枝。这个过程完成了树冠特征点与主枝骨架点的完整结构化。图9是根据本发明一实施例的主枝和树冠各级细枝结构化的结果示意图。
由于树木重建效果的主要因素在于主枝可见部分的树干的半径，细枝的半径对模型的应用没有大的影响，因此本发明将细枝根部的半径设定为其父枝干半径的固定倍数，比如0.7倍，并且设定细枝的末端半径为固定的σ，在本发明一实施例中，σ被设为0.2cm。细枝中间骨架点的半径通过线性拟合获得。
步骤S6、根据已经结构化的所有树枝的骨架点和半径，重建得到完整的树木模型。
该步骤中，首先利用已经结构化的所有树枝的骨架结构和半径，使用不同半径的圆柱体（三角网格模型）对树枝进行拟合，重建得到树木的三维网格模型；然后采用纹理合成的方法在网格模型上添加合适的纹理（纹理添加方法属于现有技术中常用的纹理处理方法，在此不作赘述），然后根据输入点云数据的规模和树叶的种类（阔叶或者针叶），利用统计估计的方法决定所需树叶的数量、树叶的长度和宽度等树叶信息，并将不同的树叶添加到所述三维网格模型细枝的末端，从而实现树木三维模型的完整重建。
图10是采用本发明的方法从扫描的白皮树点云数据中重建出的完整三维树木模型，其包含了主枝、树冠以及树叶。从图10中可以看到，重建的树木模型与输入的点云形状非常一致，这体现在两方面：1）主枝上的点云与重建的模型实现了很好的吻合，这说明了本发明的主枝重建无论是骨架点位置还是半径都是准确的；2）树冠部分完整的填充了整个树冠空间，准确的还原了树冠的凹凸特征。另外，对于图11A显示的被遮挡的点云数据，Livny2010的方法（如图11B所示）提取的树枝受到输入点云密度的影响，对于树叶较密的区域，枝的生长方向容易沿着树冠表面爬行，而采用本发明方法（如图11C所示）能够准确地计算出主枝和树冠特征点的位置，且计算树枝半径的准确性更高，最后的结果也具有很好的美观性。
此外，本发明的方法也可以很容易地应用到树林的模型重建方面。树林点云数据的模型重建方法与单棵树木的重建方法区别之处在于要首先设置根节点G和树冠吸引点X，其余步骤相似。本发明在空间中距离地平面1/4和1/3树林高位置平行于地平面建立两个截平面，处在截平面间的骨架点被称为备选点吸引点。在进行特征点结构化的粒子流运动时，每个点在运动过程中自动的从备选吸引点中寻找与自己欧氏距离最近的点作为自己的吸引点，以自己吸引点在地平面的上投影点作为自己的根节点。当根节点和吸引点的搜索方法确定后，通过粒子流运动实现特征点的结构化。图12A是输入的树林点云数据，图12B是利用本发明方法重建后得到的树林模型。
本发明方法通过对点云局部几何量和空间位置关系的综合分析，自动准确地在复杂树木点云模型中计算出树枝的骨架点并获得准确的半径，改变了以往树干提取算法中手工交互过多，工作量大，结果不够准确的状况；同时，采用分级粒子流运动的方法自动实现了主枝骨架点的连接和树冠特征点与树枝骨架点的全面特征化，既完整的恢复了树冠形状，又符合生物学特征的模拟出大量细枝，使重建模型在准确的基础上获得了较高的真实感。
上述实验结果和基于点云与数据驱动的树木模型重建的方法，可以用于农林业测量、树木保护、数字娱乐及虚拟场景模拟等应用领域，具有较高的实际应用价值。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (11)
1.一种点云与数据驱动的树木模型重建方法，其特征在于，该方法包括以下步骤：
步骤S1、获取树木点云数据，对其进行预处理，并定义树木模型的分级表示；
步骤S2从所述树木点云数据中提取得到主枝骨架点及其半径，并进行枝叶分离处理；
步骤S3、从所述树木点云数据中提取得到树冠特征点；
步骤S4、对主枝骨架点进行结构化；
步骤S5、对树冠特征点进行结构化并计算得到各个小枝的半径；
步骤S6、根据已经结构化的所有树枝的骨架点和半径，重建得到完整的树木模型；
其中，所述步骤S4和步骤S5中，采用三维分级粒子流运动方法对主枝骨架点和树冠特征点进行结构化，即：
1)将主枝骨架点全面连接起来；
2)将对应的树木第一级树冠特征点作为粒子流的起点运动到主枝骨架点上，粒子运行的轨迹作为该级细枝的骨架点；
3)将树木其它级别对应的树冠特征点作为粒子流的起点运动到上一级主枝骨架点上，粒子运行的轨迹仍然作为该级的骨架点；
4)最后根据主枝的半径估计得到各个小枝的半径。
2.根据权利要求1所述的方法，其特征在于，所述步骤S1中，利用三维激光扫描仪、视觉照相工具获取所述树木点云数据，基于点云分析技术保留需要重建的单个和多个树木上的点云，去掉其它对象的点。
3.根据权利要求1所述的方法，其特征在于，所述步骤S1中，树木的形状分为主枝、细枝和树叶，其中，主枝的分级数记为NL，细枝的分级数记为NS，细枝和树叶构成树冠。
4.根据权利要求1所述的方法，其特征在于，所述步骤S2中利用移动圆柱体方法从所述树木点云数据中提取得到主枝骨架点及其半径，所述步骤S2进一步包括以下步骤：
步骤S2.1、计算点云各个点p处的局部几何量：法方向主曲率k1(p)和k2(p)，其中k1(p)≤k2(p)，以及主曲率对应的主方向和
步骤S2.2、基于点云各个点p处的局部几何量来定义一个拟合p点枝干形状的圆柱，利用圆柱体的移动来搜索潜在的枝干，从而提取得到主枝骨架点及其半径；
步骤S2.3、利用提取得到的主枝骨架点，将所述点云数据分为主枝上的点云和树冠上的点云实现枝叶分离。
5.根据权利要求4所述的方法，其特征在于，所述步骤S2.1进一步包括以下步骤：
步骤S2.1.1、建立整个点云数据的kd树；
步骤S2.1.2、对于点云数据中的每一个点p，利用kd树查找其多个近邻点，假设这些近邻点来自于同一个平面，利用最小二乘方法拟合得到该平面，以该平面的法向量作为点p的法方向
步骤S2.1.3、在点p处建立局部坐标系，并拟合得到一个二次曲面，利用该二次曲面计算得到点p处的主曲率k1(p)和k2(p)以及主曲率对应的主方向和
步骤S2.1.4、定义p点处的曲率圆半径为r(p)＝1/k2(p)，曲率圆心为r(p)表示该点处的树枝半径，b(p)表示该点处的树干轴线的位置，即树枝骨架点。
6.根据权利要求4所述的方法，其特征在于，所述步骤S2.2进一步包括以下步骤：
步骤S2.2.1、从点云数据中任选一点p0，构造初始圆柱体 其中，b(1)表示初始圆柱体S(1)的底面圆心，r(1)表示初始圆柱体S(1)的底面圆半径，表示p0点处的主曲率对应的主方向，H(1)表示初始圆柱体S(1)的高度，将初始圆柱体S(1)的拓展圆柱体记为T(S(1))，其中，λ1为一定值，集合代表T(S(1))中的所有点；
步骤S2.2.2、判断集合中的任意一点q是否是有效的，如果集合中有效点的数目大于第一阈值N1，则认为初始圆柱体S(1)的后继圆柱体S(2)存在，且其参数b(2)，r(2)，分别是集合中所有点的曲率圆心、曲率半径和主方向的平均值，并将初始圆柱体S(1)中的所有点标记为已处理；
步骤S2.2.3、从与初始圆柱体S(1)的轴向相反的伴生圆柱体出发按照步骤S2.2.2寻找后继圆柱体S(-2)；
步骤S2.2.4、在后继圆柱体S(2)或其伴生圆柱体S(-2)的基础上继续执行搜索直到没有找到任何后继圆柱体，如果找到的圆柱体的数目大于第二阈值N2，则这些圆柱体构成一个主枝片段，其圆心作为主枝骨架点；
步骤S2.2.5、在点云数据中重新选择一个未被处理的点并重复执行上面四个步骤，直到所有点都被标记为已处理，此时得到一个有序的圆柱序列以及一个有序骨架点序列其中每个代表一段主枝，j表示第j段主枝，nj表示第j段主枝包含骨架点的数目。
7.根据权利要求6所述的方法，其特征在于，所述步骤S2.2.2中，如果圆柱体S(p0)和S(q)满足：1)b(q)∈S(p0)；2)r(q)/r(p0)≈1.0；3)和之间的夹角较小，其中，S(q)表示点q处的圆柱体，b(q)表示圆柱体S(q)的曲率圆心，r(q)表示圆柱体S(q)的曲率半径，r(p0)表示圆柱体S(p0)的曲率半径，表示圆柱体S(q)在q点的主曲率对应的主方向，表示圆柱体S(p0)在p0点的主曲率对应的主方向，则点q为一个有效的点。
8.根据权利要求4所述的方法，其特征在于，所述步骤2.3中，位于圆柱搜索区域内的点云认为是位于主枝上的点云，其它点云认为是位于树冠上的点云。
9.根据权利要求1所述的方法，其特征在于，所述步骤S3中，利用多尺度方法提取所述树冠特征点，其中，每一尺度对应树木的一级表示，NS个尺度Ω1、Ω2、…、ΩNS分别对应树木的NS级细枝表示，并且Ω1＞Ω2＞…＞ΩNS；对于每一尺度Ωj，将树冠点云的包围盒划分为若干均匀且等尺寸的立方体{Vi}，有效Vi的重心bi认为是树冠在尺度Ωj上的一个特征点；计算每一尺度Ωj下所有有效Vi的重心bi，得到树冠在尺度Ωj上的所有特征点。
10.根据权利要求9所述的方法，其特征在于，当一个立方体voxelVi满足下列两个条件的时候，称Vi是有效的：
1)Vi中属于的点的数量不小于第三阈值N3；
2)Vi中没有属于的点。
11.根据权利要求1所述的方法，其特征在于，所述步骤S6中，首先利用已经结构化的所有树枝的结构和半径，使用不同半径的三角网格模型的圆柱体对树枝进行拟合，重建得到树木的三维网格模型；然后在网格模型上添加合适的纹理；最后根据输入点云数据的规模和树叶的种类，决定所需树叶的信息，并将不同的树叶添加到所述三维网格模型细枝的末端，最终实现树木三维模型的完整重建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410131203.4A CN103871100B (zh) | 2014-04-02 | 2014-04-02 | 基于点云与数据驱动的树木模型重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410131203.4A CN103871100B (zh) | 2014-04-02 | 2014-04-02 | 基于点云与数据驱动的树木模型重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103871100A CN103871100A (zh) | 2014-06-18 |
| CN103871100B true CN103871100B (zh) | 2016-09-21 |
Family
ID=50909604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410131203.4A Active CN103871100B (zh) | 2014-04-02 | 2014-04-02 | 基于点云与数据驱动的树木模型重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103871100B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106774146B (zh) * | 2016-12-30 | 2019-05-07 | 天津天堰科技股份有限公司 | 点在三角形网格模型表面上的判定方法 |
| CN108229502B (zh) * | 2017-12-20 | 2020-08-04 | 中国农业大学 | 一种树冠层的三维点云数据中叶片基点提取方法 |
| CN108663029B (zh) * | 2018-02-01 | 2021-04-06 | 深圳市建设综合勘察设计院有限公司 | 一种获取水下圆柱形基桩信息的方法、存储介质及终端 |
| CN108765584B (zh) * | 2018-05-31 | 2023-07-14 | 深圳市易成自动驾驶技术有限公司 | 激光点云数据集增广方法、装置及可读存储介质 |
| CN109444937B (zh) * | 2018-08-08 | 2021-04-02 | 北京木业邦科技有限公司 | 树木建模及抚育方法、装置、电子设备及存储介质 |
| CN109712229A (zh) * | 2018-11-26 | 2019-05-03 | 漳州通正勘测设计院有限公司 | 一种单株树木骨架点提取方法、装置、设备及存储介质 |
| CN109816643A (zh) * | 2019-01-16 | 2019-05-28 | 云南电网有限责任公司昭通供电局 | 一种基于线路缺陷识别的树线距离智能分析方法 |
| CN111260683B (zh) * | 2020-01-09 | 2023-08-08 | 合肥工业大学 | 一种三维点云数据的目标检测与跟踪方法及其装置 |
| CN112039705A (zh) * | 2020-09-01 | 2020-12-04 | 物卡智能科技(深圳)有限公司 | 一种基于复杂业务数据的自动化建模式处理系统 |
| CN112372633B (zh) * | 2020-10-09 | 2022-02-15 | 江苏大学 | 机器人的果园树形架型自主推理与场景理解方法 |
| CN112450527B (zh) * | 2020-11-24 | 2023-08-11 | 上海市建工设计研究总院有限公司 | 外包装树树枝结构的建立方法 |
| CN112712509B (zh) * | 2020-12-31 | 2023-09-01 | 重庆大学 | 基于点云的树木参数获取方法、生长评估方法、装置及系统 |
| CN112967333B (zh) * | 2021-02-04 | 2024-02-09 | 重庆大学 | 基于等级划分的复杂点云骨架提取方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101763652A (zh) * | 2009-06-03 | 2010-06-30 | 中国科学院自动化研究所 | 一种基于分叉特征的三维骨架快速提取方法 |
| CN101783016A (zh) * | 2009-12-16 | 2010-07-21 | 中国科学院自动化研究所 | 一种基于形状分析的树冠外形提取方法 |
| CN101887596A (zh) * | 2010-06-01 | 2010-11-17 | 中国科学院自动化研究所 | 树木点云数据基于分割和自动生长的三维模型重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9245382B2 (en) * | 2008-10-04 | 2016-01-26 | Microsoft Technology Licensing, Llc | User-guided surface reconstruction |
-
2014
- 2014-04-02 CN CN201410131203.4A patent/CN103871100B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101763652A (zh) * | 2009-06-03 | 2010-06-30 | 中国科学院自动化研究所 | 一种基于分叉特征的三维骨架快速提取方法 |
| CN101783016A (zh) * | 2009-12-16 | 2010-07-21 | 中国科学院自动化研究所 | 一种基于形状分析的树冠外形提取方法 |
| CN101887596A (zh) * | 2010-06-01 | 2010-11-17 | 中国科学院自动化研究所 | 树木点云数据基于分割和自动生长的三维模型重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| Automatic Reconstruction of Tree Skeletal Structures from Point Clouds;Y Livny et al.;《ACM Transactions on Graphics(TOG)》;20101231;846-858 * |
| Image-based Tree Modeling;P Tan et al.;《ACM Transactions on Graphics》;20070731;1-8 * |
| Simple Reconstruction of Tree Branches from a Single Range image;XP Zhang et al.;《Journal of Computer Science and Technology》;20071130;1-8 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103871100A (zh) | 2014-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103871100B (zh) | 基于点云与数据驱动的树木模型重建方法 | |
| Jin et al. | Deep learning: individual maize segmentation from terrestrial lidar data using faster R-CNN and regional growth algorithms | |
| Guo et al. | Realistic procedural plant modeling from multiple view images | |
| WO2015149302A1 (zh) | 基于点云与数据驱动的树木模型重建方法 | |
| CN101887596B (zh) | 树木点云数据基于分割和自动生长的三维模型重建方法 | |
| CN110992473B (zh) | 一种基于车载激光扫描点云的树木枝干建模方法及系统 | |
| Zhang et al. | Data-driven synthetic modeling of trees | |
| CN101783016B (zh) | 一种基于形状分析的树冠外形提取方法 | |
| CN111681274A (zh) | 基于深度相机点云数据的3d人体骨骼识别和提取方法 | |
| CN110210431B (zh) | 一种基于点云语义标注和优化的点云分类方法 | |
| CN103942838A (zh) | 基于点云数据的单树三维建模与形态参数提取的方法 | |
| CN112819830A (zh) | 基于深度学习与机载激光点云的单株树冠分割方法 | |
| Chen et al. | The mixed kernel function SVM-based point cloud classification | |
| CN101944239A (zh) | 三维模型分割方法、装置以及包含该装置的图像处理系统 | |
| CN111612896B (zh) | 一种基于机载激光雷达树点云重建三维树模型的方法 | |
| CN108053483A (zh) | 一种基于gpu加速的维诺图三维网格重构方法 | |
| CN110322497A (zh) | 一种基于三维可视化的交互式点云对象提取方法 | |
| Polewski et al. | Instance segmentation of fallen trees in aerial color infrared imagery using active multi-contour evolution with fully convolutional network-based intensity priors | |
| Hu et al. | Leaf and wood separation of poplar seedlings combining locally convex connected patches and K-means++ clustering from terrestrial laser scanning data | |
| Zhang et al. | Virtual reality design and realization of interactive garden landscape | |
| CN115018982A (zh) | 一种基于地基激光雷达点云的树木数字孪生方法 | |
| Yang et al. | A surface graph based deep learning framework for large-scale urban mesh semantic segmentation | |
| Guo et al. | MCTNet: Multiscale Cross-attention based Transformer Network for Semantic Segmentation of Large-scale Point Cloud | |
| Huang et al. | A 3D individual tree modeling technique based on terrestrial LiDAR point cloud data | |
| Cárdenas-Donoso et al. | Modeling of the 3D tree skeleton using real-world data: A survey |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |