CN102163342B - 基于多尺度测量数据的果树形态结构三维重建方法 - Google Patents

Abstract

本发明公开了一种基于多尺度测量数据的果树形态结构三维重建方法，属于计算机图形技术领域，包括以下步骤：S1、从三维扫描仪获取的果树的原始三维点云数据中提取果树枝干的骨架，并从该骨架重建果树主干的三维模型；S2、通过抽样获取果树幼枝的形态特征信息，建立若干条幼枝的三维模型；S3、采用三维扫描仪抽样获取若干个果树叶片的三维点云数据，重建若干叶片的三维模型，作为果树形态结构三维模型重建中的叶子模板库；S4、根据测量得到的果树冠层枝叶的形态特征信息，建立果树冠层不同类型枝条和叶子的空间分布模型；S5、利用步骤S1～S4的结果重建果树整体形态结构三维模型。本发明的方法简便、快速、精确。

Description

基于多尺度测量数据的果树形态结构三维重建方法

技术领域

本发明涉及计算机图形技术领域，尤其涉及一种基于多尺度测量数据的果树形态结构三维重建方法。

背景技术

近年来，随着农学研究、游戏制作、广告宣传、景观展示等应用对植物细节和精度要求的不断提高，以及三维信息采集设备的日趋成熟和普及，特别是三维数字化仪和激光扫描仪的不断完善，测量速度和精度越来越高，因此果树越来越多地被用于植物形态信息的采集并进而实现植物形态结构的三维重建。与大田作物、花卉等其他植物相比，果树不仅外形高大，同时具有更复杂的冠层枝叶结构，这给果树形态结构的信息采集和三维重建带来了很大的挑战。

文献[Sinoquet 1997]采用3Space Fastrak三维数字化仪获取胡桃树的空间信息，包括枝条、树叶的空间位置、方向、大小等，并基于这些采集信息重建果树的三维模型，以便利用果树的三维模型进行冠层空间特征的分析，由于胡桃树高大，因此该方法需要花费大量的人力和时间进行数据采集(Sinoquet H，Rivet P，Godin C.“Assessment ofthe three-dimensional architecture of walnut trees using digitizing”.SilvaFennica.1997，31：265-273.)。方法[Sonohat 2006]用数字化仪采集桃树冠层叶片的位置、方向和大小信息，并重建桃树冠层树叶的三维模型，在重建的三维冠层上进行果树冠层光分布特性分析，该方法忽略果树的枝干，因此不能实现果树形态结构的完整重建(Sonohat G，SinoquetH，Kulandaivelu V，et al.“Three-dimensional reconstruction of partially3D digitised peach tree canopies”.Tree Physiology 2006，26：337-351)。

文献[Xu 2007]提出了一种基于点云数据的树木三维重建方法，首先利用大型三维激光扫描仪获得树木的空间数据点(一般称为三维点云)，然后采用自相似原理从这些数据点云中重建树冠层的树枝，同时利用植物学原理估计枝干半径，该方法没有充分利用扫描数据的精确性，因此重建模型的精确度不高(Xu K，Gossett N，Chen B.“Knowledge and heuristic-based modeling of laser-scanned trees”.ACMTransaction on Graphics 2007，26(4)：19：2-13)。文献[Cheng 2007]基于激光扫描的树木点云数据，通过计算树枝各点处的曲率及连续性进行枝条的分解，并将每个树枝在轴向上划分成小段，最后重建得到树木枝干的整体骨架，基于此骨架及对应的半径可以生成树的主要枝干结构的三维模型(Cheng Z，Zhang X，Chen B.“Simple reconstruction oftree branches from a single range image”，Journal of Computer Scienceand Technology，2007，22(6)：846-858.)。文献[马伟2009]针对大部分植物的叶片具有尖锐特征的特点，实现了一种基于三维点云数据的小型植物三维重建方法，该方法从三维点云数据上通过尖锐特征检测算法来获取叶片顶端的位置，然后将一个平整的通用叶片模型粘贴在每个叶尖位置上，从而实现植物冠层的三维重建。由于叶片的遮挡，扫描时植物冠层中的大部分枝条被遮挡而无法获取，而且整个冠层重复使用一个平整的叶片模型，因此该方法重建的植物模型只是视觉上的相似，准确性不高(马伟，项波，查红彬等.“基于测量数据的植物建模”.中国科学F辑：信息科学，2009，39(1)：134-144)。文献[Livny2010]实现了一种从三维扫描点云数据中自动重建多棵树木的方法，该方法首先从树木的点云数据中自动提取树木主要枝干的骨架和半径，基于该骨架和半径信息重建树木枝干的三维模型，然后采用L-系统方法在树干模型上生成细枝和树叶(Livny Y，Yan F，Olson M，et al.Automatic econstruction of tree skeletal structures from point clouds.ACM Transactions on Graphics，2010，29(5))。

综合而言，虽然目前关于基于三维数字化测量数据的果树形态重建方面有了-些方法，但由于果树形态结构特有的复杂性，特别是枝叶之间的遮挡影响，这些方法在实现果树形态结构的快速、精确三维重建时仍然存在不足，具体表现如下：目前的方法仅采用单一的一种三维数字化测量设备进行数据采集，因此存在数据测量工作量大或者三维模型重建精度不高等问题。

在文献[Sinoquet 1997]和[Sonohat 2006]中，采用三维数字化仪采集果树的空间信息，虽然能够较好地实现果树形态结构的三维重构，但由于果树的形态结构非常复杂，果树枝干、叶子等器官的空间信息的获取是一件极耗费时间的工作，数据采集往往需要耗费几个人数天的时间；此外，由于数字化仪仅能够获取植物器官表面少量的特征点，基于这些点重建的三维模型的精度受到影响，特别是叶子的空间形态难以仅仅通过少量几个空间点进行重建，因此如何提高重建模型的精度也是一个问题。

在文献[Xu 2007]、[Cheng 2007]和[Livny 2010]的方法中，利用大型三维激光扫描仪获取树木的点云数据，并进而进行树木形态的三维重建。这些方法都存在一个共同的缺点：由于树木冠层枝叶较多，细枝和叶子往往难以直接从扫描数据中重建，所以这些方法都是通过应用某种随机规则生成细枝和叶子，从而实现视觉上“真实”的重建，但这样的重建并没有达到真正意义上“基于测量数据的重建”，重建得到的三维树木冠层结构与真实树木还存在较大的差别，特别是树叶的密度、空间朝向、叶面积等都可能与实际存在较大的误差，难以应用于进行树木冠层光分布特性、枝叶空间分布、株型特征等的研究和分析。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何提供一种基于多尺度测量数据的带叶状态果树形态结构的简便、快速、精确三维重建方法。

(二)技术方案

为解决上述技术问题，本发明提供了一种基于多尺度测量数据的果树形态结构三维重建方法，包括以下步骤：

S1、从三维扫描仪获取的果树的原始三维点云数据中提取果树枝干的骨架，并从该骨架重建果树主干的三维模型；

S2、通过抽样获取果树幼枝的形态特征信息，建立若干条幼枝的三维模型；

S3、采用三维扫描仪抽样获取若干个果树叶片的三维点云数据，重建被抽样叶片的三维模型，作为果树形态结构三维模型重建中的叶子模板库；

S4、根据测量得到的果树冠层枝叶的形态特征信息，建立果树冠层不同类型枝条和叶子的空间分布模型；

S5、利用步骤S1～S4的结果重建果树整体形态结构三维模型。

其中，步骤S1具体包括：

S11、获取带叶状态下果树的原始三维点云数据；

S12、剔除S11步骤获取的三维点云数据中的细枝和叶子信息，得到去掉细枝和叶子信息的果树枝干的点云数据；

S13、得到果树枝干的骨架结构图；

S14、获取冠层幼枝的位置和方向信息；

S15、根据步骤S14获取的幼枝位置和方向信息，对步骤S13得到的果树枝干的骨架结构图进行修补；

S16、根据步骤S15得到的骨架结构图生成果树主干的三维网格模型。

其中，步骤S2具体包括：

S21、抽样获取果树若干条幼枝的形态特征信息；

S22、对步骤S21获取的幼枝形态特征信息，用枝条主轴的空间特征点作为控制点，采用B样条曲线表示每条枝条的主轴线，并作为该枝条的骨架；

S23、基于步骤S22建立的枝条骨架，结合步骤S21测量得到的对应枝条的形态特征信息，生成枝条的三维网格曲面模型。

其中，步骤S3具体包括：

S31、对步骤S21选取的果树幼枝，从这些枝条上选取若干片叶子，利用三维扫描仪获取叶子的三维点云信息；

S32、对步骤S31获取的每个叶子的三维点云数据，生成该叶子的三维网格曲面模型。

其中，步骤S4具体包括：

S41、获取果树幼枝和叶子的形态特征信息；

S42、对步骤S41得到的幼枝和叶子数据，分别建立不同类型幼枝在果树冠层中的空间分布模型，以及不同类型枝条上叶子的分布模型。

其中，步骤S12中采用基于最少邻居的评判法则剔除所述三维点云数据中的细枝和叶子信息。

其中，步骤S12具体为：对于三维点云数据中的每个数据点，统计距离该点最近且距离不超过d的邻居数，若邻居数小于m，则删除该点，d为实数，m为正整数。

其中，步骤S13具体为：采用约束Laplace平滑方法对步骤S12得到的点云数据进行点云收缩，并利用自适应采样方法获取果树主干结构的代表性节点，基于这些代表性节点建立果树主干结构的骨架模型作为所述果树枝干的骨架结构。

其中，步骤S15具体为：对于采集到的每个幼枝的位置，如果主干骨架中没有一根枝条经过该位置，则根据果树的分枝特性和修剪规则以及该幼枝的方向，从果树主干骨架上选取一个点，从这个点到该幼枝的位置建立一根枝条，并将该枝条加入果树的主干骨架中。

其中，步骤S16具体为：根据步骤S15得到的骨架结构图，采用隐式曲面进行网格化，生成果树主干的三维网格模型。

(三)有益效果

本发明在果树形态信息采集阶段，通过应用多种三维数字化设备从多层次进行果树形态数据的采集：通过使用激光三维扫描仪获取果树外形的点云数据以提取果树主要枝干的骨架结构，同时获取果树冠层每根幼枝的位置和方向信息；然后结合果树的分枝特性和形态学知识对果树枝干骨架进行修补，避免了现有基于三维点云的树木三维重建方法通常由于冠层树叶过密而导致扫描的点云数据中部分枝条缺失而引起重建的三维树木冠层幼枝的准确性不高的问题；同时，结合从真实果树测量数据建立起来的果树冠层幼枝和叶子空间分布模型，重建果树整体形态结构三维模型，使重建的果树三维模型具有更高的准确性和精度。

附图说明

图1是本发明的方法流程图；

图2是果树的三维点云数据图像；

图3是剔除细枝和叶片后的果树点云数据图像；

图4是提取得到的果树主要枝干骨架结构图像；

图5是包括幼枝的果树枝干三维网格模型图；

图6是重建得到的包括叶子的果树整体三维模型图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明针对开展果树修剪、树型改造、优质高效型树冠形态结构分析与数字化设计等农学研究对三维果树模型重建精度高，以及田间原位、无损测量等的实际需求，结合现有各种三维数字化设备的特点与优势，实现了一种基于多尺度测量数据的带叶状态果树形态结构的快速、精确三维重建方法，降低了利用三维数字化设备进行果树三维重建的数据采集复杂度，并提高了重建模型的准确性和精度。

如图1所示，本发明包括以下五个步骤：

S1)重建果树主干的三维模型。该步骤的主要作用是从激光三维扫描仪获取的果树点云数据中提取果树主要枝干的骨架，并从该骨架重建果树主干的三维模型，具体实施过程包括如下5个处理步骤：

S11：获取带叶状态下果树的三维点云数据。在果园选取1棵成年果树，在秋季树叶尚未脱落时进行数据获取，对于每棵果树，利用激光三维扫描仪获取树木的三维点云数据(见图2)。

S12.剔除树叶和细枝。对于S11步骤获取的果树三维点云数据，采用基于最少邻居的评判法则剔除点云数据中零散的细枝和叶子信息，具体为：对于点云中的每个数据点，统计距离该点最近且距离不超过d的邻居数，若邻居数小于m，则删除该点；对于剔除后的点云数据，通过连通性检测，加上关于果树枝条最短长度的先验知识，将上一步无法剔除的较密的树叶和细枝信息剔除，得到去掉树叶和细枝信息的果树主要枝干的点云数据(见图3)。

S13.提取果树主要枝干的骨架结构。采用约束Laplace平滑方法(约束Laplace平滑方法可参考文献[Canann S.A.，Tristano J.R.，Staten M.L.“An approach to combined Laplacian andoptimization-based smoothing for triangular，quadrilateral，andquad-dominant meshes”，In Processings 7th International MeshingRoundtable，1998.])进行点云收缩，并利用自适应采样方法获取代表性节点，基于这些代表性节点初步建立果树主干结构的骨架模型(见图4)。同时，采用最小二乘法对果树主干骨架进行光滑处理，然后基于果树的原始点云数据提取骨架中每根条枝的半径。基于以上建立的果树主干骨架和枝条半径信息，用分枝结构图表示果树的主干骨架，该分枝结构图定义了每根枝条的位置、枝条长度、根部半径、末梢半径、以及枝条之间的连接关系。

S14.获取冠层幼枝的位置和方向信息：对步骤S11选取的果树，用三维数字化仪采集树上所有1-2年生幼枝的位置信息，包括枝条起始点和顶端位置。

S15.修补果树枝干骨架。根据步骤S14获取的幼枝位置和方向信息，结合果树的分枝特性和修剪规则，对步骤S13.提取的果树枝干骨架结构进行修补。即对于采集到的每个幼枝的位置，如果主干骨架中没有一根枝条经过该位置，则结合果树的分枝特性和修剪规则以及该幼枝的方向，从果树主干骨架上选取一个点，从这个点到该幼枝的位置建立一根枝条，并将该枝条加入果树的主干骨架中。

S16.生成果树主干的三维网格模型。对S13步骤生成并经步骤S15完善的果树主干骨架的分枝结构图，采用隐式曲面进行网格化，生成果树主干的三维网格模型。隐式曲面是一种常用的三维造型表示方法，其定义可参见文献[Bloomenthal J.Introduction to implicitsurfaces.Morgan Kaufmann，ISBN 1-55860-233-X，1997.]。即对果树主干骨架分枝结构图中的每根枝条，以该枝条的位置以及长度所确定的线段为骨架线，以根部半径和末梢半径为曲面半径生成枝条的隐式曲面模型，从而生成果树主干的三维网格模型。

S2)重建幼枝三维模型。该步骤的作用是通过抽样获取果树幼枝的形态特征信息，建立若干条幼枝的三维网格模型。具体实施包括如下几个处理步骤：

S21.抽样获取幼枝形态征信息：从步骤S11选取的果树的冠层中，选取树龄为1-2年的幼枝(长枝、中枝、短枝各2根)，采用三维数字化仪进行枝条和叶子空间信息的采集，包括枝条主轴的空间特征点、叶子着生位置、叶尖位置等数据，同时用游标卡尺记录枝条的半径。

S22.重建幼枝骨架结构：对步骤S21获取的幼枝形态征信息，用枝条主轴的空间特征点作为控制点，采用B样条曲线表示每条枝条的主轴线，并作为该枝条的骨架。

S23.生成幼枝三维网格模型：基于步骤S22建立的枝条骨架，结合步骤S21测量得到的对应枝条的半径信息，生成枝条的三维网格曲面模型。

S3)重建叶片三维模型。该步骤的作用是采用高精度三维扫描仪抽样获取若干个果树叶片的三维点云数据，重建被抽样叶片的三维网格模型，作为果树整体三维模型重建中的叶子模板库。具体实施过程包括如下2个处理步骤：

S31.抽样获取叶片三维点云数据：对步骤S21选取果树幼枝，从这些枝条上选取6-8片叶子，利用高精度三维扫描仪获取叶子的三维点云信息。

S32.重建叶片曲面网格模型：对步骤S31获取的每个叶子的三维点云数据，采用Delaunay三角剖分法生成该叶子的三维网格曲面模型。

S4)建立枝条和叶片的空间分布模型。该步骤的作用是通过实测得到的关于果树冠层枝叶的形态特征信息，建立果树冠层不同类型枝条和叶子的空间分布模型。具体实施过程包括如下2步：

S41.获取果树幼枝、叶子形态特征信息：在果园选取5-8棵成年果树，在每棵树上选取长枝、中枝、短枝等三种类型的1-2年生幼枝各5根，通过直尺、圆规、量角器等工具，手工测量枝条上的叶子数目、叶夹角、叶倾角、叶长、叶宽等数据。

S42.建立枝条和叶子的空间分布模型：对步骤S41测量得到的幼枝和叶子数据，通过应用统计分析方法，分别建立不同类型幼枝在果树冠层中的空间分布模型，以及不同类型枝条上叶子的分布模型。

S5)重建果树整体形态结构三维模型。基于步骤S14获取的果树冠层幼枝的位置和方向信息，根据步骤S42获取的果树长枝、中枝、短枝三种幼枝在冠层中的空间分布模型(包括着生概率、方向和长度等信息)，确定在各个测量得到的幼枝位置上放置哪种类型的幼枝，再将步骤S23生成的对应类型的幼枝三维网格模型放置到步骤S16生成的果树主干三维网格模型上，并调整新放置的幼枝的方向，从而生成果树枝干的三维网格模型(见图5)。然后，对新放置的每根幼枝，结合步骤S42建立的对应枝条类型的叶子空间分布模型，选取若干个由步骤S32重建的叶片曲面网格模型，并放置到该枝条上并调整其方向，从而实现果树整体形态结构的三维重建(见图6)。

由以上实施例可以看出，与现有技术相比，本发明提出的技术方案中，通过采用激光扫描仪获取果树外形的点云数据以提取果树主要枝干的骨架结构，利用数字化仪抽样获取幼枝的空间信息并重建不同类型幼枝的三维模型，通过小型高精度三维扫描仪抽样获取叶片的三维网格模型，结合果树冠层幼枝和叶子空间分布模型实现果树整体形态结构的三维重建，较好地满足了对带叶状态的果树进行三维重建中减轻数据采集工作量并提高三维模型重建精度的要求。用苹果树进行了试验(重建结果见图6)，结果表明，本发明能够较好地实现带叶状态成年果树形态结构的三维重建，数据采集工作量相对较小，每棵果树的数据采集方便。本发明操作容易、实现简单，达到了应用的要求。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (10)

1.一种基于多尺度测量数据的果树形态结构三维重建方法，其特征在于，包括以下步骤：

S1、从三维扫描仪获取的果树的原始三维点云数据中提取果树枝干的骨架，并从该骨架重建果树主干的三维模型；

S2、通过抽样获取果树幼枝的形态特征信息，建立若干条幼枝的三维模型；

S3、采用三维扫描仪抽样获取若干个果树叶片的三维点云数据，重建这些被抽样的叶片的三维模型，作为果树形态结构三维模型重建中的叶子模板库；

S4、根据测量得到的果树冠层枝叶的形态特征信息，建立果树冠层不同类型枝条和叶子的空间分布模型；

S5、利用步骤S1～S4的结果重建果树整体形态结构三维模型。

2.如权利要求1所述的方法，其特征在于，步骤S1具体包括：

S11、获取带叶状态下果树的原始三维点云数据；

S12、剔除S11步骤获取的三维点云数据中的细枝和叶子信息，得到去掉细枝和叶子信息的果树枝干的点云数据；

S13、得到果树枝干的骨架结构图；

S14、获取冠层幼枝的位置和方向信息；

S15、根据步骤S14获取的幼枝位置和方向信息，对步骤S13得到的果树枝干的骨架结构图进行修补；

S16、根据步骤S15得到的骨架结构图生成果树主干的三维网格模型。

3.如权利要求1所述的方法，其特征在于，步骤S2具体包括：

S21、抽样获取果树若干条幼枝的形态特征信息；

S22、对步骤S21获取的幼枝形态特征信息，用枝条主轴的空间特征点作为控制点，采用B样条曲线表示每条枝条的主轴线，并作为该枝条的骨架；

S23、基于步骤S22建立的枝条骨架，结合步骤S21测量得到的对应枝条的形态特征信息，生成枝条的三维网格曲面模型。

4.如权利要求1所述的方法，其特征在于，步骤S3具体包括：

S31、对步骤S21选取的果树幼枝，从这些枝条上选取若干片叶子，利用三维扫描仪获取叶子的三维点云信息；

S32、对步骤S31获取的每个叶子的三维点云数据，生成该叶子的三维网格曲面模型。

5.如权利要求1所述的方法，其特征在于，步骤S4具体包括：

S41、获取果树幼枝和叶子的形态特征信息；

S42、对步骤S41得到的幼枝和叶子数据，分别建立不同类型幼枝在果树冠层中的空间分布模型，以及不同类型枝条上叶子的分布模型。

6.如权利要求2所述的方法，其特征在于，步骤S12中采用基于最少邻居的评判法则剔除所述三维点云数据中的枝叶信息。

7.如权利要求6所述的方法，其特征在于，步骤S12具体为：对于三维点云数据中的每个数据点，统计距离该点最近且距离不超过d的邻居数，若邻居数小于m，则删除该点，d为实数，m为正整数。

8.如权利要求7所述的方法，其特征在于，步骤S13具体为：采用约束Laplace平滑方法对步骤S12得到的点云数据进行点云收缩，并利用自适应采样方法获取果树主干结构的代表性节点，基于这些代表性节点建立果树主干结构的骨架模型作为所述果树枝干的骨架结构。

9.如权利要求8所述的方法，其特征在于，步骤S15具体为：对于采集到的每个幼枝的位置，如果主干骨架中没有一根枝条经过该位置，则根据果树的分枝特性和修剪规则以及该幼枝的方向，从果树主干骨架上选取一个点，从这个点到该幼枝的位置建立一根枝条，并将该枝条加入果树的主干骨架中。

10.如权利要求9所述的方法，其特征在于，步骤S16具体为：根据步骤S15得到的骨架结构图，采用隐式曲面进行网格化，生成果树主干的三维网格模型。

Images