CN115995010B - 一种基于植株群体点云的株高提取方法及系统 - Google Patents

Abstract

本发明涉及三维点云信息处理技术领域，提出一种基于植株群体点云的株高提取方法及系统，其中包括：采集植株在不同角度的图像序列；对所述图像序列通过运动恢复结构算法和多立体视觉算法进行三维点云重建，得到植株三维稠密点云模型；提取所述植株三维稠密点云模型中的水平感兴趣区域；对水平感兴趣区域进行地面分割，得到作物三维点云和地面三维点云；对所述作物三维点云进行预处理后，对其进行点云分割，确定作物单株所在的点云信息；根据作物单株所在的点云信息，对作物单株进行株高提取，得到株高测量结果。本发明将图像遥感技术与基于多视角几何三维重建相结合，基于柱体空间近似算法分割算法实现对田间尺度下的植株群体株高的提取测量。

Description

一种基于植株群体点云的株高提取方法及系统

技术领域

本发明涉及三维点云信息处理技术领域，更具体地，涉及一种基于植株群体点云的株高提取方法及系统。

背景技术

智慧农业己经成为我国农业发展的一个重要趋势。智慧农业不但可以将农业作物数字化，而且还能够为科研者提供方便的交互性操作与观察等，对于推动农业发展有着巨大的作用。在作物选育和田间生产管理过程中，作物表型是必不可少的信息。作物的表型特征不仅可以直接反映其产量，在优势品种的筛选中起到重要作用，而且可以指导田间管理，如施肥灌溉、杀虫除草等。但传统测量通常是基于大量人工测量的方法，对地块采样使用标尺进行估计，耗费大量人力，而且属于劳动密集型的，吞吐量低，在采样、标尺调整、读数和记录数据方面容易出错。会阻碍作物基因型研究的进程，造成育种程序中的瓶颈。株高参数作为表征作物表型信息的最重要指标之一，不仅体现了作物的长势、活力，并且对于作物品种选育、预测产量有着非常重要的意义。

目前有提出结合三维点云进行植株高度测量的技术，通过提取特定范围内的点云数据，找到感兴趣区域并计算株高。然而该方法在确认感兴趣区域时仅经过颜色滤波，将保留下的点的集合作为感兴趣区域，仅由此确认的感兴趣区域存在一定误差，进而影响株高计算结果的准确率。

发明内容

本发明为克服上述现有技术所述的株高测量方法中存在测量结果准确率低、存在一定局限性的缺陷，提供一种基于植株群体点云的株高提取方法及系统。

为解决上述技术问题，本发明的技术方案如下：

一种基于植株群体点云的株高提取方法，包括以下步骤：

S1、采集植株在不同角度的图像序列；

S2、对所述图像序列通过运动恢复结构算法和多视图立体视觉算法进行三维点云重建，得到植株三维稠密点云模型；

S3、提取所述植株三维稠密点云模型中的水平感兴趣区域；

S4、对水平感兴趣区域进行地面分割，得到作物三维点云和地面三维点云；

S5、对所述作物三维点云进行预处理后，对其进行点云分割，确定作物单株所在的点云信息；

S6、根据作物单株所在的点云信息，对作物单株进行株高提取，得到株高测量结果。

进一步地，本发明还提出一种基于植株群体点云的株高提取系统，应用本发明提出的株高提取方法。其中包括：

图像采集模块，用于采集植株在不同角度的图像序列；

三维点云重建模块，用于对所述图像序列通过运动恢复结构算法和多视图立体视觉算法进行三维点云重建，得到植株三维稠密点云模型；

感兴趣区域提取模块，用于提取所述植株三维稠密点云模型中的水平感兴趣区域；

地面分割模块，用于对水平感兴趣区域进行地面分割，得到作物三维点云和地面三维点云；

作物单株提取模块，用于对所述作物三维点云进行预处理后，对其进行点云分割，确定作物单株所在的点云信息；

株高提取模块，用于根据作物单株所在的点云信息，对作物单株进行株高提取，得到株高测量结果。

与现有技术相比，本发明技术方案的有益效果是：本发明将图像遥感技术与基于多视角几何三维重建相结合，通过设置AABB包围盒，基于柱体空间近似算法分割算法解决了田间尺度下的植株群体点云的分割，实现对田间尺度下的植株群体株高的提取测量，在确保株高测量准确率的同时，能够有效降低测量成本。

附图说明

图1为实施例1的基于植株群体点云的株高提取方法的流程图。

图2为实施例2的植株三维稠密点云模型示意图。

图3为试验a的估计高度直方图。

图4为试验b的估计高度直方图。

图5为试验c的估计高度直方图。

图6为试验d的估计高度直方图。

图7为试验e的估计高度直方图。

图8为实施例3的基于植株群体点云的株高提取系统的架构图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

对于本领域技术人员来说，附图中某些说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

本实施例提出一种基于植株群体点云的株高提取方法，如图1所示，为本实施例的基于植株群体点云的株高提取方法的流程图。

本实施例提出的基于植株群体点云的株高提取方法中，包括以下步骤：

S1、采集植株在不同角度的图像序列；

S2、对所述图像序列通过运动恢复结构算法和多视图立体视觉算法进行三维点云重建，得到植株三维稠密点云模型；

S3、提取所述植株三维稠密点云模型中的水平感兴趣区域；

S4、对水平感兴趣区域进行地面分割，得到作物三维点云和地面三维点云；

S5、对所述作物三维点云进行预处理后，对其进行点云分割，确定作物单株所在的点云信息；

S6、根据作物单株所在的点云信息，对作物单株进行株高提取，得到株高测量结果。

本实施例中，将图像遥感技术与基于多视角几何三维重建相结合，实现对田间尺度下的植株群体株高的提取测量，能够有效提高测量结果准确率。

在一可选实施例中，采用无人机采集植株在不同角度的图像序列。相较于昂贵的采集设备和有破坏性的采集方式，本实施例实现低成本且无损的植株点云获取。

进一步地，在一可选实施例中，S2步骤中，对所述图像序列通过运动恢复结构算法和多视图立体视觉算法进行三维点云重建的步骤包括：

S201、采用SIFT算子在所述图像序列的像素点中提取多对特征点并进行匹配。

S202、根据完成匹配的多对特征点坐标计算变换到世界坐标系下的旋转矩阵R和平移矩阵T。

S203、通过所述旋转矩阵R和平移矩阵T计算出所述图像序列中每一个像素点在世界坐标系下的坐标。

S204、根据每个像素点在世界坐标系下的坐标，基于多视图立体视觉算法得到植株三维稠密点云模型。

本实施例中，完成匹配的特征点坐标点集A与特征点坐标点集B中元素数目相同且一一对应，为了寻找这两个点集之间的旋转矩阵R和转移矩阵T，问题转换为求解公式B=R×A+T。

进一步地，在一可选实施例中，S202步骤中根据完成匹配的多对特征点坐标计算变换到世界坐标系下的旋转矩阵R和平移矩阵T的步骤包括：

对于完成匹配的特征点坐标点集A与特征点坐标点集B，计算点集A与点集B的中心点：

其中，完成匹配的点集A与点集B的元素数相同且一一对应；

、

分别表示点集A、点集B中的第i个坐标点，

、

分别表示点集A、点集B的中心点。N为相应点集中坐标点的总数量。

将点集A和点集B重新中心化，得到新点集A'和新点集B'：

其中，

、

分别表示新点集A'、新点集B'中的第i个坐标点。

计算新点集A'和新点集B'之间的协方差矩阵H：

；

通过SVD方法获得协方差矩阵H的奇异值向量U、S 和V，进一步计算得到点集A和点集B之间的旋转矩阵R和转移矩阵T：

。

进一步地，在一可选实施例中，S203步骤中通过所述旋转矩阵R和平移矩阵T计算出所述图像序列中每一个像素点在世界坐标系下的坐标中，其表达式如下：

其中，M为相机内参数矩阵，X为世界坐标系下的X轴坐标，Y为世界坐标系下的Y轴坐标，Z _const为世界坐标系下的高度，s[·]表示世界坐标转换比例系数。

上述表达式基于像素坐标与世界坐标转换公式得到，其中：

其中，等式右侧第一个矩阵为相机内参数矩阵，第二个矩阵为相机外参数矩阵。假设图像坐标已知，同时相机内参数矩阵通过标定已获取，则转换公式可简化为：

其中M为相机内参数矩阵，R为旋转矩阵，T为平移矩阵，Z _const为世界坐标系高度，可设置为0.

通过矩阵变换可得：

由此求解出旋转矩阵和平移矩阵即得到比例系数s。

在一可选实施例中，本实施例步骤S2中采用基于体素的多视图立体视觉算法将稀疏点云模型转化为稠密点云模型。

在一可选实施例中，本实施例步骤S4中采用CSF算法对水平感兴趣区域进行地面分割，获得作物三维点云和地面三维点云。

在一可选实施例中，本实施例步骤S5中对所述作物三维点云进行预处理的步骤包括：

S511、基于点云统计滤波去除噪声：通过对所述作物三维点云中的相邻点进行统计分析，得到各相邻点之间的平均距离及其高斯分布，将平均距离位于均值和标准差定义的区间之外的点作为离群点进行滤除。

其中，通过对相邻点进行统计分析，求出各相邻点之间的平均距离，假设得到的分布为高斯分布，就可以得到均值和标准差，而平均距离在由均值和标准差定义的区间之外的点被认为是离群点。

S512、基于点云下采样对经过去除噪声的所述作物三维点云进行再取样。

其中，点云下取样是按特定取样原则对点云进行再取样，其目标是在保持点云总体几何特性不变的前提下，减少点云密度，从而减少相关处理的计算量和算法复杂度。

S513、对经过再取样的作物三维点云进行点云数据标准化处理，使各点云处于同一数量级。

其中，基于点云标准化统一标准化处理，能够消除点云之间的量纲单位影响，使各点云处于同一数量级，得到标准的植株群体点云数据。

进一步地，在一可选实施例中，对经过预处理的作物三维点云进行点云分割的步骤包括：

S521、计算植株群体点云数据的法向量与水平方向的夹角；

S522、设置角度阈值γ，提取作物三维点云中的叶片点云，得到作物群体茎秆点云数据集；

S523、设置包围盒长宽，将作物群体茎秆点云拆成若干块，并绘制各个块AABB包围盒，将所述包围盒近似作物单株。

其中，本实施例中所述植株三维稠密点云模型中的点云数据包括N个点云的数据矩阵[N,(x,y,z)]，其中(x,y,z)为点云点在三个空间维度上的点云坐标值。

进一步可选地，计算植株群体点云数据的法向量与水平方向的夹角的步骤包括：通过点云分割对所述数据矩阵中的每一个点云点计算法向量。

其中，对点云数据集的每个点的法线估计，可以看作是对表面法线的近似推断。确定表面一点法线的问题近似于是估计表面的一个相切面法线的问题，因此，转换过来后就变成了一个最小二乘法平面拟合的估计问题。假定平面方程为：

、

、

为平面上点(x,y,z) 处法向量的方向余弦，p为原点到平面的距离。求平面方程即转化为求a,b,c,d四个参数。求解过程有四个步骤：

（1）待拟合平面点集(x _i,y _i,z _i),i= 1,2,…,n，n为待拟合平面上点的总数量。

其中，待拟合的平面方程为：ax+by+cz=d(d≥0),a ²+b ²+c ²= 1；

任意点到平面的距离：d _i=|ax _i+by _i+cz _i-d|。

（2）要获得最佳拟合平面，则需要满足：

；

其中

为所有点到平面距离和。

因此，转换为求解极值问题：

。

其中

为辅助函数，用于求

极值。

（3）分别对d,a,b,c求偏导：

其中

为偏导数符号；将d带入任意点到平面的距离公式：

即

；

表示待拟合平面所有点分别在x轴、y轴、z轴坐标的均值。

对a求偏导：

令

，

，

，其中Δx _i表示待拟合平面中任意点i在x轴坐标与均值

的差值，Δy _i表示待拟合平面中任意点i在y轴坐标与均值

的差值，Δz _i表示待拟合平面中任意点i在z轴坐标与均值

的差值；则：

，

同理，

，

，

将上述公式合并：

，得到Ax=λx；

即转化到求解矩阵A的特征值与特征向量的问题，矩阵A即为n个点的协方差矩阵。(a,b,c)^T即为该矩阵的一个特征向量，λ为权重参数，一般为常数。

（4）求最小特征向量

由a ²+b ²+c ²= 1转换为内积形式(x,x)=1；

，

，

由

可知，

因此，最小特增至对应的特征向量即为法向量。

进一步可选地，将法向量与水平方向计算获得夹角θ，其表达式为：

其中，v ₁表示法向量，v ₂表示水平法线；||v ₁||为法向量v ₁的长度，||v ₂||为水平法线v ₂的长度；夹角θ的取值范围为[0,π]。

进一步可选地，设置的角度阈值γ的取值范围为[1,2]，用于提取作物群体点云中的叶片点云，获得作物群体茎秆点云。

本实施例通过设置包围盒长x和宽y，将作物群体茎秆点云近似分割成作物单株点云；则通过统计包围盒的高度h即为作物株高提取目标。

本实施例中，通过设置AABB包围盒，基于柱体空间近似算法分割算法解决了田间尺度下的植株群体点云的分割，在确保株高测量准确率的同时，能够有效降低测量成本。

实施例2

本实施例应用实施例1提出的基于植株群体点云的株高提取方法进行株高提取试验。

本实施例对田间尺度下的玉米群体植株进行试验，得到如图2所示的植株三维稠密点云模型示意图，图2的（a）为法向量点云，图2的（b）为茎秆点云，图2的（c）为柱体空间近似分割示意图。由图可知，每个图是柱体空间近似分割算法步骤的示例图，实现对田间尺度下的植株群体的单株提取。

本实施例对对田间尺度下的玉米群体植株进行试验，试验组分布情况如下表1所示，并得到如图3~7所示的试验a、b、c、d、e的估计高度直方图。

表1 试验组分布情况

根据试验a、b、c、d、e的估计高度直方图可得到各玉米植株的估算高度，再通过基于大量实验数据构建的真实高度与估算高度的线性模型，得到相应玉米植株的真实高度。由图可知，试验能够很好地实现对田间尺度下的植株群体株高的提取。

实施例3

本实施例提出一种基于植株群体点云的株高提取系统，应用实施例1提出的基于植株群体点云的株高提取方法。如图8所示，为本实施例的株高提取系统的架构图。

本实施例提出的株高提取系统中，包括：

图像采集模块，用于采集植株在不同角度的图像序列；

三维点云重建模块，用于对所述图像序列通过运动恢复结构算法和多视图立体视觉算法进行三维点云重建，得到植株三维稠密点云模型；

感兴趣区域提取模块，用于提取所述植株三维稠密点云模型中的水平感兴趣区域；

地面分割模块，用于对水平感兴趣区域进行地面分割，得到作物三维点云和地面三维点云；

作物单株提取模块，用于对所述作物三维点云进行预处理后，对其进行点云分割，确定作物单株所在的点云信息；

株高提取模块，用于根据作物单株所在的点云信息，对作物单株进行株高提取，得到株高测量结果。

其中，在一可选实施例中，所述图像采集模块配合无人机使用，用于采集田间尺度下植株在不同角度的图像序列。

在一可选实施例中，所述三维点云重建模块用SIFT算子在所述图像序列的像素点中提取多对特征点并进行匹配，根据完成匹配的多对特征点坐标计算变换到世界坐标系下的旋转矩阵R和平移矩阵T，进一步通过所述旋转矩阵R和平移矩阵T计算出所述图像序列中每一个像素点在世界坐标系下的坐标，再根据每个像素点在世界坐标系下的坐标，基于多视图立体视觉算法得到植株三维稠密点云模型。

在一可选实施例中，所述三维点云重建模块采用基于体素的多视图立体视觉算法将稀疏点云模型转化为稠密点云模型。

在一可选实施例中，所述地面分割模块采用CSF算法对水平感兴趣区域进行地面分割，获得作物三维点云和地面三维点云。

在一可选实施例中，所述作物单株提取模块基于点云统计滤波去除噪声，基于点云下采样对经过去除噪声的所述作物三维点云进行再取样，以及对经过再取样的作物三维点云进行点云数据标准化处理，使各点云处于同一数量级，得到标准的植株群体点云数据。

进一步地，所述作物单株提取模块对经过预处理的作物三维点云进行点云分割时，通过计算植株群体点云数据的法向量与水平方向的夹角，然后设置角度阈值γ，提取作物三维点云中的叶片点云，得到作物群体茎秆点云数据集；进一步设置包围盒长宽，将作物群体茎秆点云拆成若干块，并绘制各个块AABB包围盒，将所述包围盒近似作物单株。

本实施例中，通过设置AABB包围盒，基于柱体空间近似算法分割算法解决了田间尺度下的植株群体点云的分割，在确保株高测量准确率的同时，能够有效降低测量成本。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种基于植株群体点云的株高提取方法，其特征在于，包括以下步骤：

S1、采集植株在不同角度的图像序列；

S2、对所述图像序列通过运动恢复结构算法和多视图立体视觉算法进行三维点云重建，得到植株三维稠密点云模型；其中，对所述图像序列通过运动恢复结构算法和多视图立体视觉算法进行三维点云重建的步骤包括：

S201、采用SIFT算子在所述图像序列的像素点中提取多对特征点并进行匹配；

S202、根据完成匹配的多对特征点坐标计算变换到世界坐标系下的旋转矩阵R和平移矩阵T；其具体步骤包括：

对于完成匹配的特征点坐标点集A与特征点坐标点集B，计算点集A与点集B的中心点：

其中，完成匹配的点集A与点集B的元素数相同且一一对应；

、

分别表示点集A、点集B中的第i个坐标点，

、

分别表示点集A、点集B的中心点；N为相应点集中坐标点的总数量；

将点集A和点集B重新中心化，得到新点集A'和新点集B'：

其中，

、

分别表示新点集A'、新点集B'中的第i个坐标点；

计算新点集A'和新点集B'之间的协方差矩阵H：

；

通过SVD方法获得协方差矩阵H的奇异值向量U、S 和V，进一步计算得到点集A和点集B之间的旋转矩阵R和转移矩阵T：

；

S203、通过所述旋转矩阵R和平移矩阵T计算出所述图像序列中每一个像素点在世界坐标系下的坐标；其表达式如下：

其中，M为相机内参数矩阵，X为世界坐标系下的X轴坐标，Y为世界坐标系下的Y轴坐标，Z _const为世界坐标系下的高度，s[·]表示世界坐标转换比例系数；

S204、根据每个像素点在世界坐标系下的坐标，基于多视图立体视觉算法得到植株三维稠密点云模型；

S3、提取所述植株三维稠密点云模型中的水平感兴趣区域；

S4、对水平感兴趣区域进行地面分割，得到作物三维点云和地面三维点云；

S5、对所述作物三维点云进行预处理后，对其进行点云分割，确定作物单株所在的点云信息；对经过预处理的作物三维点云进行点云分割的步骤包括：

S521、计算植株群体点云数据的法向量与水平方向的夹角；

S522、设置角度阈值γ，提取作物三维点云中的叶片点云，得到作物群体茎秆点云数据集；

S523、设置包围盒长宽，将作物群体茎秆点云拆成若干块，并绘制各个块AABB包围盒，将所述包围盒近似作物单株；

其中，所述植株三维稠密点云模型中的点云数据包括N个点云的数据矩阵[N,(x,y,z)]，其中(x,y,z)为点云点在三个空间维度上的点云坐标值；则计算植株群体点云数据的法向量与水平方向的夹角的步骤包括：通过点云分割对所述数据矩阵中的每一个点云点计算法向量；

将法向量与水平方向计算获得夹角θ，其表达式为：

其中，v ₁表示法向量，v ₂表示水平法线；||v ₁||为法向量v ₁的长度，||v ₂||为水平法线v ₂的长度；夹角θ的取值范围为[0,π]；

S6、根据作物单株所在的点云信息，对作物单株进行株高提取，得到株高测量结果。

2.根据权利要求1所述的基于植株群体点云的株高提取方法，其特征在于，所述S4步骤中，采用CSF算法对水平感兴趣区域进行地面分割，获得作物三维点云和地面三维点云。

3.根据权利要求1所述的基于植株群体点云的株高提取方法，其特征在于，所述S5步骤中，对所述作物三维点云进行预处理的步骤包括：

S511、通过对所述作物三维点云中的相邻点进行统计分析，得到各相邻点之间的平均距离及其高斯分布，将平均距离位于均值和标准差定义的区间之外的点作为离群点进行滤除；

S512、基于点云下采样对经过去除噪声的所述作物三维点云进行再取样；

S513、对经过再取样的作物三维点云进行点云数据标准化处理，使各点云处于同一数量级，得到标准的植株群体点云数据。

4.根据权利要求1所述的基于植株群体点云的株高提取方法，其特征在于，所述角度阈值γ的取值范围为[1,2]。

5.一种基于植株群体点云的株高提取系统，应用于权利要求1~4任一项所述的基于植株群体点云的株高提取方法，其特征在于，包括：

图像采集模块，用于采集植株在不同角度的图像序列；

三维点云重建模块，用于对所述图像序列通过运动恢复结构算法和多视图立体视觉算法进行三维点云重建，得到植株三维稠密点云模型；

感兴趣区域提取模块，用于提取所述植株三维稠密点云模型中的水平感兴趣区域；

地面分割模块，用于对水平感兴趣区域进行地面分割，得到作物三维点云和地面三维点云；

作物单株提取模块，用于对所述作物三维点云进行预处理后，对其进行点云分割，确定作物单株所在的点云信息；

株高提取模块，用于根据作物单株所在的点云信息，对作物单株进行株高提取，得到株高测量结果。

Images