CN104484873A - 植株三维点云的叶杆分离方法 - Google Patents

Abstract

本发明公开了一种植株三维点云的叶杆分离方法，包括：(1)获取待分离植株的叶片样本的三维点云，经降噪处理后确定若干个叶片样本关键点；(2)计算各个叶片样本关键点的三维特征描述矢量；(3)获取待分离植株的三维点云，经降噪处理后确定若干个植株关键点，并采用三维区域增长算法将植株关键点划分至若干个独立区域；(4)针对每一个独立区域，根据各叶片样本关键点的三维特征描述矢量对当前独立区域进行霍夫投票，并根据投票结果判断当前独立区域是否为叶片，进而完成植株三维点云的叶杆分离。本发明解决了茎杆远小于叶片宽度、且叶片的平均法向量变化小于叶柄处法向量变化的植株的叶杆分离，且分离过程简洁、速度快、易于实现。

Description

植株三维点云的叶杆分离方法

技术领域

本发明涉及三维点云分割技术领域，尤其涉及一种植株三维点云的叶杆分离方法。

背景技术

几个世纪以来，作物育种的目的一直是培育出产量更高、更适合抵抗各种不利环境条件、营养价值更高的品种并且能利用现有耕地满足全世界对更多和更好粮食品种的需求。在作物育种过程中，无论采用什么样的育种技术，生物学家们都需要观测作物的表型。而一直以来，作物表型的观察与测量是一个费时费力的高成本工作。很多育种工作为了完成作物表型的观测任务，往往将本应贯穿在整个作物生长过程中全过程观测简化为最后的产出比对。可见，作物生长信息的精确快速测量已成为作物育种工作的一个重要的瓶颈。随着三维技术的发展，我们已有可能采用三维技术，获取作物的三维点云数据并建立三维作物模型，在三维作物模型上自动完成所需的表型观测。

当我们获取作物的三维点云数据后，通常我们需要把作物叶片和作物的茎杆分开处理。作物叶片和茎杆的分离在常规的三维点云处理中，属于三维点云自动分割领域。Douillard在2011年，针对三维LIDAR数据，首先提取数据的地面信息，通过地面信息的提取，将位于一个地平面上的不同物体分离开来。Jan Knopp在2011年，采用隐含形态模型(ImplicitShape Modle,ISM)与最小割算法(Min-Cut)相结合的方法，将嵌入一个场景复杂某个特定物体分离出来。上述研究中，或是只侧重于物体的分离，无需识别。或是侧重于将同一物体从不同场景中的分离出来。而植株体的叶杆分离的不同点在于：植物的叶与茎杆有明显的形态差异，同一植株的不同的叶子之间和茎杆之间都只是相似，而不是完全相同；我们最终希望能够从三维植株点云中识别并分离出叶子。

本发明提出了一种简易的叶杆分离方法，即三维区域增长与三维霍夫投票相结合的方法完成叶杆分离。

发明内容

针对现有技术的不足，本发明提供了一种植株三维点云的叶杆分离方法。

一种植株三维点云的叶杆分离方法，包括：

(1)获取待分离植株的叶片样本的三维点云，经降噪处理后确定若干个叶片样本关键点；

(2)计算各个叶片样本关键点的三维特征描述矢量；

(3)获取待分离植株的三维点云，经降噪处理后确定若干个植株关键点，并采用三维区域增长算法将植株关键点划分至若干个独立区域；

(4)针对每一个独立区域，根据各叶片样本关键点的三维特征描述矢量对当前独立区域进行霍夫投票，并根据投票结果判断当前独立区域是否为叶片，进而完成植株三维点云的叶杆分离。

本发明中给的叶杆分离是指将叶子从杆茎上分离下来。

本发明的叶杆分离方法适用于细杆植株，即植株的茎杆直径相对于叶片的宽度来说要小很多，而且植株茎杆和叶片没有明显的颜色差异，如茶树苗期、辣椒、番茄等，无法采用颜色作为叶杆分离的指标。

本发明中选取植株点云的关键点作为识别基础，首先采用区域增长算法将植株关键点划分至独立区域，然后以独立区域为单位进行识别，确定各个独立区域为叶片或杆茎，大大提高了叶杆分离的效率。

所述步骤(1)、(3)中进行降噪处理时，均采用统计异常点去除法去掉相应的离散点。使叶片更平滑并使杆茎部分更加稀疏，有利于三维区域增长分离植株部件更加准确。

采用三维体元网格过滤法确定叶片样本关键点或植株关键点。可以在叶片出现因配准而引起的多层叶片问题时，有效去除或避免多层叶片所引起的识别错误的问题。

所述步骤(2)中通过如下步骤计算叶片样本关键点的三维特征描述矢量：

(2-1)计算各叶片样本关键点的三维快速点特征直方图描述矢量，并根据得到的三维快速点特征直方图描述矢量计算叶片样本的矢量描述中心；

(2-2)计算当前叶片样本关键点的三维快速点特征直方图描述矢量与矢量描述中心的相对位置关系矢量，并将该相对位置关系矢量转换到局部参考坐标系下作为当前叶片样本关键点的三维特征描述矢量；

所述的局部参考坐标系由当前叶片样本关键点与其邻域点的距离加权协方差矩阵的三个特征向量构建。

局部参考坐标系的构建具体参见如下文献：Federico Tombari,SamueleSalti,and Luigi Di Stefano，Unique Signatures of Histograms forLocal urfaceDescription.ECCV 2010。Part III,LNCS 6313,pp.356–369,2010。

其中，各叶片样本关键点的三维快速点特征直方图描述矢量以及矢量描述中心均采用现有方法计算得到。

所述步骤(3)通过如下方法将植株关键点划分至独立区域：

(3-1)计算各个植株关键点的曲率和法向量，将各个植株关键点按照曲率大小排序；

(3-2)初始化一个独立区域，在未进行划分的植株关键点中选取曲率最小的移动至独立区域，并以该曲率最小的植株关键点作为种子；

(3-3)在预设邻域内确定与该种子几何距离最近、且未进行划分的植株关键点作为邻域点，并计算该邻域点与种子的法向量的夹角；

(3-4)将所述的夹角与预设的角度阈值进行比较，并根据比较结果进行如下操作：

若夹角小于预定的角度阈值，则认为该邻域点与种子是同一区域，将该邻域点划分至独立区域中，并进行如下操作：

(a)若该邻域点的曲率小于或等于预设的曲率阈值，则以该邻域点作为种子，返回步骤(3-3)；

(b)若该邻域点的曲率大于预设的曲率阈值，则返回步骤(3-2)；

否则，直接返回步骤(3-2)。

每次返回步骤(3-2)时都会重新初始化一个独立区域，通过若干次循环将所有的植株关键点均划分至相应的区域中。实际上初始化得到的独立区域并不能确定该独立区域的最终包含的植株关键点，需要不断将满足夹角满足条件的关键点划分至该独立区域，完成增长。未进行划分的植株关键点指没有被划分至相应的独立区域的植株关键点。

对于每个独立区域，增长时均从未进行划分的植株关键点中曲率最小的植株关键点作为增长的起点，进而使增长时从点云中最平的点开始，有利于把成片的较平整的独立区域连在一起。

采用三维区域增长算法进行区域增长后，可能出现因采样噪声等引起的个别植株关键点的所属区域与周围点有明显不同。为避免该情况，在区域增长结束后，还采用三维均值滤波法对三维点云进行降噪。

邻域大小阈值可根据叶片的实际大小和叶片表面的实际平滑程度来选取。作为优选，所述的邻域为直径为0.5cm～1cm的圆形区域，所述圆形区域以种子为圆心。

具体实现时，首先计算所选邻域内任意两个相邻的植株关键点的法向量的角度差，然后再求和后除以相邻的植株关键点的对数，即得到角度差的平均值。

在采用三维区域增长算法时，至少需要一个相邻的法向量变化角度域值(即角度域值)。由于不同数据获取方法所获取的点云密度不一，所述的角度阈值根据所选邻域内，相邻植株关键点的法向量之间的夹角设定，作为优选，为所选邻域内，所有相邻的植株关键点的法向量的夹角的平均值的0.9～1.1倍。因此，本方法适用于叶柄处的法向量变化角度大于叶片平均法向量角度变化的植株。

所述的曲率阈值根据所选邻域范围内，相邻的植株关键点的曲率变化量设定，作为优选，所述的曲率阈值为所选邻域范围内，相邻的植株关键点的曲率变化量的平均值的2～3倍。

不同类型的植物及不同的数据获取方法，有不一样的点云数据的特点。因此，对于由特定一种方法得到的特定生长期的某类植株点云，需要通过实验，选择一个较好的阈值系数。以相邻空间点的平均几何参数变化为系数选择的基准点，有利于尽快找到较理想的域值。

所述步骤(4)中针对每一个独立区域：

(4-1)计算当前独立区域中各个植株关键点的三维特征描述矢量；

(4-2)针对当前独立区域中的每个植株关键点，进行如下操作：

(4-21)确定所有叶片样本关键点的三维特征描述矢量与当前植株关键点的三维特征描述矢量的距离，以距离最近的叶片样本关键点的三维特征描述矢量作为标准矢量；

(4-22)根据该标准矢量反推出当前独立区域的中心位置，即由标准矢量，可得到该标准矢量相对于原叶片中心的位置关系V，由该位置关系V可计算出相对于当前三维特征描述矢量所对应的独立区域的叶片中心位置，并在该中心位置上的权重加1；

(4-3)统计各个中心位置的权重作为该中心位置的投票结果，若存在投票结果大于预设的投票阈值的中心位置，则认为当前独立区域为叶片；

否则，认为当前独立区域为杆茎。

本发明中针对每一个关键点(包括叶片样本关键点或植株关键点)可以理解为对应的一系列原始点云的特征表示。因此，当一个独立区域为叶片，即认为该独立区域中所有植株关键点对应的三维点云均为叶片。

本发明中为杆茎的独立区域可能是杆茎也可能是叶片，若是叶片，则为误判，误判的概率直接影响到该方法的分离率。

本发明中定义分离率为所分离叶片数量占植株上所有面积大于1CM的叶片数量的比例。太小的叶片没有完全展开的叶片不在本算法的考虑范围内。例如，一个植物有10片叶子，10片都分离出来了，则分离率为100％。如果只分离出9.5片，则分离率为95％。

投票阈值可根据实际分离的植株的种类进行调整，通常通过计算待分离植株的典型叶片的投票值而得到，即可事先针对比较特殊的叶片(如采样效果不是太好的叶片)，计算一次投票值，作为投票阈值。

本发明的有益效果：

(1)本发明解决了在叶柄部有显著法向量变化，柄部法向量变化大于叶片平均法向量变化的叶杆分离问题。

(2)本发明不需要采用点云的颜色信息即可完成植株点云数据的叶杆分离，可适用于大部分的三维扫描仪数据。

具体实施方式

下面将结合具体实施例以及对比例对本发明的植株三维点云的叶杆分离方法进行详细说明。

选取辣椒苗、茶树各1株为例来说明实施方式不同的植株作为待分离植株，采集三维点云数据。这2株待分离植株的三维点云的数量分别为：18576、18655个。

实施例1

本实施例的植株三维点云的叶杆分离方法包括如下步骤：

(1)获取待分离植株的叶片样本的三维点云，采用统计异常点去除法去掉相应的离散点，以对获取的三维点云进行降噪处理，经降噪处理后采用三维体元网格过滤法确定若干个叶片样本关键点。

采用统计异常点去除法去掉叶片表面的离散噪声点，使叶片更平滑；叶柄在使用了统计异常点去除法后，会使叶柄处的点更少，使之在形态上更细，有利于三维区域增长分离作物部件更加准确。

采用三维体元网格过滤法确定若干个叶片样本关键点，之后以关键点作为判定依据，可以有效减小甚至去除多层叶片引起的误判问题。

(2)计算各个叶片样本关键点的三维特征描述矢量，具体如下：

(2-1)计算各叶片样本关键点的三维快速点特征直方图描述矢量，并根据得到的三维快速点特征直方图描述矢量计算叶片样本的矢量描述中心；

(2-2)计算当前叶片样本关键点的三维快速点特征直方图描述矢量与矢量描述中心的相对位置关系矢量，并将该相对位置关系矢量转换到局部参考坐标系下作为当前叶片样本关键点的三维特征描述矢量；

本实施例中局部参考坐标系由当前叶片样本关键点与其邻域点的距离加权协方差矩阵的三个特征向量构建。

(3)获取待分离植株的三维点云，并采用与步骤(1)相同的方法进行降噪处理并确定若干个植株关键点；然后采用三维区域增长算法将植株关键点划分至若干个独立区域。

通过如下操作进行划分：

(3-1)计算各个植株关键点的曲率和法向量，将各个植株关键点按照曲率大小排序；

(3-2)初始化一个独立区域，在未进行划分的植株关键点中选取曲率最小的移动至独立区域，并以该曲率最小的植株关键点作为种子；

(3-3)在预设邻域内确定与该种子几何距离最近、且未进行划分的植株关键点作为邻域点，并计算该邻域点与种子的法向量的夹角；

(3-4)将所述的夹角与预设的角度阈值进行比较，并根据比较结果进行如下操作：

若夹角小于预定的角度阈值，则认为该邻域点与种子是同一区域，将该邻域点划分至独立区域中，并进行如下操作：

(a)若该邻域点的曲率小于或等于预设的曲率阈值，则以该邻域点作为种子，返回步骤(3-3)；

(b)若该邻域点的曲率大于预设的曲率阈值，则返回步骤(3-2)；

否则，直接返回步骤(3-2)。

通过区域增长算法进行区域划分后，大部分的叶片已完整的分离开了。但仍无法知道每个分离的区域是叶还是杆，因此还需要进一步判定。

(4)针对每一个独立区域，根据各叶片样本关键点的三维特征描述矢量对当前独立区域进行霍夫投票，并根据投票结果判断当前独立区域是否为叶片，进而完成植株三维点云的叶杆分离。具体通过如下步骤实现：

(4-1)计算当前独立区域中各个植株关键点的三维特征描述矢量；

(4-2)针对当前独立区域中的每个植株关键点，进行如下操作：

(4-21)确定所有叶片样本关键点的三维特征描述矢量与当前植株关键点的三维特征描述矢量的距离，以距离最近的叶片样本关键点的三维特征描述矢量作为标准矢量；

(4-22)根据该标准矢量反推出当前独立区域的中心位置，并在该中心位置上的权重加1；

(4-3)统计各个中心位置的权重作为该中心位置的投票结果，若存在投票结果大于预设的投票阈值的中心位置，则认为当前独立区域为叶片。

本实施例中采用最不典型叶片的投票值作为三维霍夫投票的投票阈值。

其中，预设邻域、角度阈值、曲率阈值和投票阈值与待分离植株的叶片宽度与茎秆直径的比有关。

本实施例中当待分离植株为辣椒苗时，邻域为25mm²(直径)，角度阈值为0.20，曲率阈值为0.08，投票阈值为45。

本实施例中当待分离植株为茶树时，邻域为25mm²(直径)角度阈值为0.10，曲率阈值为0.03，投票阈值为40。

本实施例中对于不同植株的分离率和分离时间(完成分离所用的时间)如表1所示。表1还列出了采用其他方法时，对应的分离率和分离时间。

表1

	辣椒苗	茶树苗
			分离率	90％	95％
分离时间(s)	23s	22s

由表1可知，大部分叶片被识别并分离出来，其中，辣椒苗有二个叶片被分离出一半，而茶树苗有一个叶片的一小部分没有分离出。表中的分离时间只包含了区域增长部分的时间。

对比例1

采用一种最直接的叶杆分离方法作为对比，即每个邻域点的柱面拟合法。由于我们所关注的植株都是细杆作物，植株的杆茎相对于叶片的宽度来说要小很多。因此，一个最直接叶杆的分离方法是对植株的每个点及其邻域做柱面拟合。如果拟合得到的柱面半径很小，则说明是杆子，而叶片所在的柱面理论上是较大的。采用上述思路的叶杆分离时，植株茎杆和叶片的柱面拟合并没有显著的差异，很难找到一个适合的阈值作为茎杆分离的临界阈值半径。

本对比例中对于不同植株的分离率和分离时间(完成分离所用的时间)如表2所示。

由表2中可知，分离率为0是因为所有的叶片都被碎片化了，无法分辩哪里是叶片哪里不是叶片。

表2

	辣椒苗	茶树苗
			分离率	0	0
分离时间	1444s	1343s

对比例2

单独采用三维霍夫投票方法(即不先进行区域划分)完成以上2株植株的三维点云的叶杆分离。

本对比例中对于不同植株的分离率和分离时间(完成分离所用的时间)如表3所示。可以看出，采用三维霍夫投票方法可以识别出大部分的叶片。但是很难判定叶片与杆分界限，仍然需要采用其它方法进一步将叶片与杆子分离开。另外，在单独使用三维霍夫投票时，三维霍夫投票的投票阈值很难确定，部分杆子仍会被误判为叶子。

表3

	辣椒苗	茶树苗
			分离率/识别率	0/70％	0/80％
分离时间	24	26

由表3可知，辣椒苗和茶树苗中均存在被误认为叶片的杆茎及没有识别出的叶片。而且叶子只是被识别出来，仍需要其它算法将叶子与杆子分离开来，因此，此算法可以做到较高的识别率，但分离率为0。

通过对比表1、表2和表3，可见邻域点柱面拟合法(对比例1)的时间远高于三维霍夫投票或三维区域增长。本实施例的叶杆分离方法可以得到较好的叶杆分离效果，且分离时间与仅利用三维霍夫投票方法进行叶杆分离时间相当。

以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种植株三维点云的叶杆分离方法，其特征在于，包括：

(1)获取待分离植株的叶片样本的三维点云，经降噪处理后确定若干个叶片样本关键点；

(2)计算各个叶片样本关键点的三维特征描述矢量；

(3)获取待分离植株的三维点云，经降噪处理后确定若干个植株关键点，并采用三维区域增长算法将植株关键点划分至若干个独立区域；

(4)针对每一个独立区域，根据各叶片样本关键点的三维特征描述矢量对当前独立区域进行霍夫投票，并根据投票结果判断当前独立区域是否为叶片，进而完成植株三维点云的叶杆分离。

2.如权利要求1所述的植株三维点云的叶杆分离方法，其特征在于，所述步骤(1)、(3)中进行降噪处理时均采用统计异常点去除法去掉相应的离散点。

3.如权利要求2所述的植株三维点云的叶杆分离方法，其特征在于，采用三维体元网格过滤法确定叶片样本关键点或植株关键点。

4.如权利要求3所述的植株三维点云的叶杆分离方法，其特征在于，所述步骤(2)中通过如下步骤计算叶片样本关键点的三维特征描述矢量：

(2-1)计算各叶片样本关键点的三维快速点特征直方图描述矢量，并根据得到的三维快速点特征直方图描述矢量计算叶片样本的矢量描述中心；

(2-2)计算当前叶片样本关键点的三维快速点特征直方图描述矢量与矢量描述中心的相对位置关系矢量，并将该相对位置关系矢量转换到局部参考坐标系下作为当前叶片样本关键点的三维特征描述矢量；

所述的局部参考坐标系由当前叶片样本关键点与其邻域点的距离加权协方差矩阵的三个特征向量构建。

5.如权利要求1～4中任意一项权利要求所述的植株三维点云的叶杆分离方法，其特征在于，所述步骤(3)通过如下方法将植株关键点划分至独立区域：

(3-1)计算各个植株关键点的曲率和法向量，将各个植株关键点按照曲率大小排序；

(3-2)初始化一个独立区域，在未进行划分的植株关键点中选取曲率最小的移动至独立区域，并以该曲率最小的植株关键点作为种子；

(3-3)在预设邻域内确定与该种子几何距离最近、且未进行划分的植株关键点作为邻域点，并计算该邻域点与种子的法向量的夹角；

(3-4)将所述的夹角与预设的角度阈值进行比较，并根据比较结果进行如下操作：

若夹角小于预定的角度阈值，则认为该邻域点与种子是同一区域，将该邻域点划分至独立区域中，并进行如下操作：

(a)若该邻域点的曲率小于或等于预设的曲率阈值，则以该邻域点作为种子，返回步骤(3-3)；

(b)若该邻域点的曲率大于预设的曲率阈值，则返回步骤(3-2)；

否则，直接返回步骤(3-2)。

6.如权利要求5所述的植株三维点云的叶杆分离方法，其特征在于，所述的邻域大小阈值根据叶片的实际大小和叶片表面的实际平滑程度设定。

7.如权利要求6所述的植株三维点云的叶杆分离方法，其特征在于，所述的角度阈值为所选邻域内，相邻的植株关键点的法向量的角度差的平均值的0.9～1.1倍。

8.如权利要求7所述的植株三维点云的叶杆分离方法，其特征在于，所述的曲率阈值为所选邻域范围内，相邻的植株关键点的曲率变化量的平均值的2～3倍。

9.如权利要求8所述的植株三维点云的叶杆分离方法，其特征在于，所述步骤(4)中针对每一个独立区域：

(4-1)计算当前独立区域中各个植株关键点的三维特征描述矢量；

(4-2)针对当前独立区域中的每个植株关键点，进行如下操作：

(4-21)确定所有叶片样本关键点的三维特征描述矢量与当前植株关键点的三维特征描述矢量的距离，以距离最近的叶片样本关键点的三维特征描述矢量作为标准矢量；

(4-22)根据该标准矢量反推出当前独立区域的中心位置，并在该中心位置上的权重加1；

(4-3)统计各个中心位置的权重作为该中心位置的投票结果，若存在投票结果大于预设的投票阈值的中心位置，则认为当前独立区域为叶片；

否则，认为当前独立区域为杆茎。