CN115937151B - 一种作物叶片卷曲程度的判定方法 - Google Patents

Abstract

本发明一种作物叶片卷曲程度的判定方法，涉及图像分析技术领域，利用运动恢复结构将采集的叶片图像重建，且预处理后得到完整的点云文件；通过基于生长法的贪婪投影三角化算法，控制投影点的搜索领域大小获取三角面片化的叶片模型；叶片模型包括若干个三角面片；根据每个三角面片索引的原始点云的坐标信息，计算每个三角面片的面积与周长，获得叶片面积；计算每个处于边界三角面片的边长度并且累积求和，获取叶片周长；通过PCL点云库对投影后的点云文件处理，获得叶片投影面积；对完整的点云文件进行叶片表型信息处理，进而计算叶片卷曲度LAR，从预处理到表型提取均具有一定的精度，能够满足作物三维表型提取和分析。

Description

一种作物叶片卷曲程度的判定方法

技术领域

本发明涉及一种作物叶片卷曲程度的判定方法技术领域，尤其涉及一种作物叶片卷曲程度的判定方法。

背景技术

叶片卷曲程度是有重要生理意义的叶片表型之一，其影响着作物的光能利用效率以及水分利用效率。当前，针对叶片卷曲程度的研究多集中于玉米、水稻、小麦等对称规则叶片，叶片卷曲度(LRI)的定义也较简单，即LRI＝[(Lw-Ln)/Lw]×100，其中Lw为最大叶片宽度，Ln为叶片边缘的自然距离。此定义中，Lw和Ln均通过手工测量，受实验者主观判断的影响，且仅通过狭长叶片的单一位置来计算LRI的定义存在不可靠性。

然而，针对棉花等不规则作物的叶片，无法准确的找到其合理的Lw和Ln位置，且发生卷曲的位置也不完全对称，无法再用上述定义量化叶片卷曲，尤其是针对于不规则叶片的作物，无法准确判定作物叶片卷曲程度。

发明内容

为了克服上述现有技术的缺点，本发明的主要目的在于提供一种作物叶片卷曲程度的判定方法。

为达到上述目的，本发明采用以下技术方案，一种作物叶片卷曲程度的判定方法，包括以下步骤：

采集作物叶片图像，利用运动恢复结构重建图像，获得点云文件；

通过Meshleb软件对所述点云文件进行网格化处理，网格化处理后的点云文件通过PCL点云库进行预处理，得到完整的点云文件；

通过基于生长法的贪婪投影三角化算法，控制投影点的搜索领域大小获取三角面片化的叶片模型，所述叶片模型包括若干个三角面片；

根据每个所述三角面片索引的原始点云的坐标信息，计算每个所述三角面片的面积与周长，进而获得叶片面积；

计算每个处于边界三角的边长度并且累积求和，获取叶片周长；

通过PCL点云库的随机采样一致性算法寻找叶片点云最大拟合平面，输出，将叶片点云投影到叶片点云最大拟合面，获得投影后的点云文件，通过贪婪投影三角化算法对投影后的点云文件进行三角化处理，获得叶片投影面积；

对完整的点云文件进行叶片表型信息处理，获得面片化的叶片周长、叶片面积、叶片投影面积；进而计算叶片卷曲度LAR，计算公式为：

其中，AP为叶片在最大拟合平面上的投影面积，S为叶面积。

具体的，所述预处理包括：

点云分割算法对网格化处理后的点云文件进行优化，得到优化后的模型参数的局内点与局外点；

下采样滤波算法对优化后的点云文件进行过滤，得到过滤后的点云文件，降低点云数量并维持点云几何结构保持不变；

上采样滤波算法对过滤后的点云文件进行表面重建，获得完整的点云文件。

具体的，所述点云分割算法通过RANSAC算法对棉花幼苗分割的点云类蔟进行线性拟合估计，提取优化模型参数的局内点与局外点，判断作物叶片与茎秆，若局外点大于局内点，则此点云类蔟判定为叶片，若局外点小于局内点，则此点云类蔟判定为茎秆。

具体的，所述预处理还包括平滑处理，通过移动最小二乘法对完整的点云文件进行平滑处理，获得表面更加光滑的点云文件。

具体的，所述叶面积S的计算包括以下步骤：

通过三角化面片中包含的点云索引信息，获取每个所述三角化面片的三维信息；

通过海伦公式，计算每个三角化面片的叶面积S_ti，对所有三角化叶片累积求和，得到叶面积S，所述叶面积S的计算公式为：

其中：p_i—面片化三角形周长的一半，a_i、b_i、c_i—三角形各边长，n—总面片数，i—面片索引序号。

具体的，获得所述叶片点云最大拟合平面，输出平面方程：ax+by+cz+d＝0，得到叶片点云最大拟合平面的a、b、c、d系数值，其中x、y、z分别代表坐标系中的横轴、纵轴、竖轴。

具体的，所述重建图像包括以下步骤：

通过尺度不变特征转换算法，进行特征点检测与匹配；

稀疏重建，将匹配的特征点还原到三维空间中，通过多张作物图片重建得到作物稀疏的点云文件；

稠密点云重建，利用CMVS将作物的影像分块成多个小块，减少MVS算法的资源峰值，删除多余影像。

与现有技术相比较，本发明的有益效果为：从预处理到表型提取均具有一定的精度，能够满足作物三维表型提取和分析的要求，可以有效补全作物点云信息，降低表型提取偏差，尤其是对不规则叶片的卷曲程度进行有效、准确的判定。

附图说明

图1是本发明中流程图。

具体实施方式

下面结合附图和实施方式对本发明作进一步说明。

实施例：

参阅图1，一种作物叶片卷曲程度的判定方法，包括以下步骤：

采集作物叶片图像，利用运动恢复结构重建图像，获得点云文件；

通过Meshleb软件对所述点云文件进行网格化处理，网格化处理后的点云文件通过PCL点云库进行预处理，得到完整的点云文件；

通过基于生长法的贪婪投影三角化算法，控制投影点的搜索领域大小获取三角面片化效果；

对面片化的叶片模型由若干个三角面片组成，每个所述三角面片通过原始点云的坐标信息，计算每个所述三角面片的面积与周长，进而获得叶片面积；

创建以叶片点云数量为行列数的零矩阵，基于叶片点云三角面片中顶点对应的点云索引序号，令矩阵中行列数为该点云索引序号的元素值加1，且以包含1的行列信息为叶片边界点的索引，对所有边界点按索引连线，包含点最多的边界为叶片的边界，计算每个处于边界三角面片的边长度并且累积求和，获取叶片周长；

通过PCL点云库的随机采样一致性算法寻找叶片点云最大拟合平面，输出，将叶片点云投影到叶片点云最大拟合面，获得投影后的点云文件，通过贪婪投影三角化算法对投影后的点云文件进行三角化处理，获得叶片投影面积；

对完整的点云文件进行叶片表型信息处理，获得面片化的叶片周长、叶片面积、叶片投影面积；进而计算叶片卷曲度LAR，计算公式为：

其中，AP为叶片在最大拟合平面上的投影面积，S为叶面积。

预处理包括：点云分割算法对网格化处理后的点云文件进行优化，得到优化后的模型参数的局内点与局外点；下采样滤波算法对优化后的点云文件进行过滤，得到过滤后的点云文件，降低点云数量并维持点云几何结构保持不变；上采样滤波算法对过滤后的点云文件进行表面重建，获得完整的点云文件。

具体的，点云分割算法通过RANSAC算法对棉花幼苗分割的点云类蔟进行线性拟合估计，提取优化模型参数的局内点与局外点，判断作物叶片与茎秆，若局外点大于局内点，则此点云类蔟判定为叶片，若局外点小于局内点，则此点云类蔟判定为茎秆。

具体的，预处理还包括平滑处理，通过移动最小二乘法对完整的点云文件进行平滑处理，获得表面更加光滑的点云文件。

具体的，叶面积S的计算包括以下步骤：通过三角化面片中包含的点云索引信息，获取每个所述三角化面片的三维信息；通过海伦公式，计算每个三角化面片的叶面积S_ti，对所有三角化叶片累积求和，得到叶面积S，所述叶面积S的计算公式为：

其中：p_i—面片化三角形周长的一半，a_i、b_i、c_i—三角形各边长，n—总面片数，i—面片索引序号。

具体的，获得所述叶片点云最大拟合平面，输出平面方程：ax+by+cz+d＝0，得到叶片点云最大拟合平面的a、b、c、d系数值，其中x、y、z分别代表坐标系中的横轴、纵轴、竖轴。

具体的，所述重建图像包括以下步骤：通过尺度不变特征转换算法，进行特征点检测与匹配；稀疏重建，将匹配的特征点还原到三维空间中，通过多张作物图片重建得到作物稀疏的点云文件；稠密点云重建，利用CMVS将作物的影像分块成多个小块，减少MVS算法的资源峰值，删除多余影像。

实施例2

基于实施例1的基础上，设计本方案，研究叶片为不规则形状的作为，具体了过程包括硬件设计、图像采集、三维重建、点云预处理、表型提取、精度验证步骤。

硬件部分包括3m*3m*2.5m暗室、可调高度、距离、角度的转台、尺寸及颜色标定板、数码相机、顶部补光大灯、棉花盆栽，棉花作物的叶片为不规则叶片。图像采集的主要操作是围绕盆栽360°多视角多高度拍摄多张照片。

进行三维重建和表型提取的步骤：

步骤一、利用多张多视角的照片进行运动恢复结构(SFM)重建，得到点云文件，按照需求选取像素较高的照片进行重建，细节部分的照片可以多选：

特征点检测与匹配：利用SIFT算法，又称尺度不变特征转换，进行特征点检测与匹配。SIFT特征是一种局部特征，它在旋转、尺度以及亮度上都有很好的不变性，且在视角变化，仿射变换和噪声等方面，都能具有较好的鲁棒性。

稀疏重建：实质上是将匹配的特征点还原到三维空间中，通过多张图片重建得到稀疏的棉花植株点云文件。

CMVS稠密点云重建：SFM中重构的点是通过特征检测和匹配得到的，特征点所具有的特点使其是天生不密集的，所以通过SFM过程最后得到的是稀疏的点云模型。为得到稠密的棉花植株点云模型，需要利用CMVS进行计算。CMVS可以对浩大的影像分块成多个小块，减少MVS算法的资源峰值，删除多余影像，保证点云完整性和质量。

步骤二、在MeshLab软件中利用其提供的泊松表面重建算法进行点云优化：得到ply格式的点云文件：

为了能够更好的表现实体模型的性质，往往要对其进行网格化处理，对得到的点云在MeshLab中进行一系列的后处理过程，包括清除杂点、网格化、恢复流行边缘、参数化、投影纹理等过程，得到一个更为形象的三维棉花植株模型。

首先要检测相机载入是否正确，因可视化相机的尺寸比网格尺寸大得多，所以需调整相机的缩放因子，直到相机位置清晰可见。加载稠密点云文件，清理杂点。利用泊松表面重建算法由稠密点云生成多边形网格表面，得到了严密无孔洞的模型。通过八叉树深度控制网格的细节丰富程度，同时可以移除多余的面。后续的纹理处理要求网格化的模型必须是流形(MANIFOLD)的，因此需删除非流形边(由多面共享的边)。根据相机投影关系创建纹理映射，在光滑表面上增加纹理信息与颜色信息等。

步骤三、利用PCL点云库设计算法，进行预处理操作，包括点云分割算法、下采样滤波算法、上采样滤波算法、平滑处理算法。

点云分割算法：基于PCL点云库的RANSAC算法对棉花幼苗分割的点云类蔟进行线性拟合估计，并提取最优模型参数的局内点与局外点，比较其点云数量差别，若局外点显著大于局内点，则此点云类蔟判定为叶片，反之，为茎秆。依靠此算法实现棉花叶片点云和茎秆点云的分割。

下采样滤波算法：基于PCL点云库的下采样滤波(Downsampling)算法能有效的降低点云数量并保证点云原有几何结构基本不变，以加快后续点云处理速度。本方案采用体素栅格法对原始点云数据进行下采样，通过设置体素的大小可以控制下采样的程度，即设置的体素越大，滤波后得到的点云越稀疏。该方法能最大限度的保留点云原有的几何结构信息。

上采样滤波算法：此时得到的棉花叶片点云文件会有部分细节缺失，上采样滤波是一种表面重建方法，可以使叶片点云恢复原有表面，得到完整、无孔洞缺失的叶片点云文件。

平滑处理算法：利用PCL点云库中的移动最小二乘法(MLS)函数对点云进行平滑处理，使下采样后的相邻点间的位置与法向量变化具有更好的规律性，进而使点云表面更加光顺平滑。

步骤四、利用PCL点云库设计算法，提取叶片表型信息，包括贪婪投影三角化算法、叶片周长算法、叶面积算法、叶片投影面积算法、叶片卷曲程度算法。

贪婪投影三角化算法：贪婪投影三角化(GreedyProjectionTriangulation)算法是基于生长法的贪婪算法，在处理问题时，并不从整体考虑最优解，而是仅选取当前情况下的最优解。虽然贪婪算法不一定能获取整体最优解，但在求解范围广泛的问题时，通过每一步的局部最优解处理，达到整体最优解的近似解。由于贪婪算法不考虑整体的各种情况，仅根据优化要求作出每一步情况下的最优处理，而不是用穷举方式找出所有结果再选取最优解，因此可以节省很多处理时间，可以实现无序点云的快速三角化。贪婪投影三角化算法基于kd-tree搜索对点云数据进行法向量估计，法向量计算完成后将点云数据与法向量估计值进行合并拼接，形成新的带有法向量信息的点云数据结构。将此数据结构的点云作为三角面片化的输入，三角化的方式按上述贪婪原则从局部开始，将输入的有向点云中的一点及其k领域内的点，投影到该点的切平面上。在该平面上将投影点根据delaunay三角剖分算法进行三角化，将不满足要求的三角形去除(最大边长，最大、小角等)，根据空间拓扑关系，将投影点的连接关系映射至三维点云。然后依据贪婪原则对三角网格化的边界点进行拓展延伸，重复上述过程，直至所有点云处理完毕。贪婪投影三角化算法处理点云数据时，设置相关函数的参数，控制投影点的搜索领域大小，三角化后的最大、小角和最大可能边长等，以获取较理想的三角面片化效果。

叶面积算法：面片化后的叶片模型由若干个三角面片组成，每个三角面片中包含对原始点云的索引，通过三角面片索引到原始点坐标信息，进而计算每个小三角形的面积与周长。计算叶面积时，遍历叶片中所有三角面片，通过三角面片中包含的点云索引信息，获取每个三角面片顶点的三维信息，通过海伦公式，计算每个三角面片的面积Sti，将叶片中所有三角面片累加求和，即得到叶片面积S。

其中：p_i—面片化三角形周长的一半，a_i、b_i、c_i—三角形各边长，n—总面片数，i—面片索引序号。

叶周长算法：面片化后的叶片模型由若干个三角面片组成，每个三角面片中包含对原始点云的索引，通过三角面片索引到原始点坐标信息，进而计算每个小三角形的面积与周长。计算叶周长时，创建一个行列数均为叶片点云数量的零矩阵，基于叶片点云三角面片中顶点对应的点云索引序号，令矩阵中行列数为该点云索引序号的元素值加1。遍历所有三角面片，对该矩阵赋值，处于点云边界的三角面片的三角边仅会被记录一次，故搜索矩阵中值为1的元素，其行列信息即为叶片边界点的索引，对所有边界点按其索引连线，包含点最多的边界即为叶片的边界，计算每个处于边界三角边的长度并求和即可得到叶片周长。

叶片投影面积算法：叶片投影面积是指将叶片点云投影在叶片点云的最大拟合平面上，首先要通过PCL点云库的随机采样一致性算法(RANSAC)寻找叶片点云最大拟合平面，输出平面方程：ax+by+cz+d＝0，得到叶片点云最大拟合平面的a、b、c、d系数值。然后利用PCL算法，将叶片点云投影到上边得到最大拟合平面模型：ax+by+cz+d＝0上，得到投影后的点云文件。最后利用贪婪投影三角化(GreedyProjectionTriangulation)算法投影后的点云文件进行三角化，进而计算该投影文件的叶面积AP。

叶片卷曲度LAR定义为：

式中，AP为叶片在最大拟合平面上的投影面积，S为叶面积。

该定义通过点云面积比量化叶片卷曲程度，可对棉花等不规则叶片的卷曲程度有更精确量化。

步骤五、精度验证，验证时，人工剪取部分棉花叶片，通过拍照，利用ImageJ软件手动计算叶片周长和叶面积值，与平台提取的叶片周长和叶面积值进行统计分析，以验证平台提取叶片表型精度(R2)。

人工选取部分棉花叶片，铺平放置在60cm*60cm的红框白板内，之后用透明玻璃压实，保证叶片不收缩不遮挡。用智能手机在白板垂直上方拍照，拍照时保证镜头与叶片平行，且红款与叶片均在相机视野内。

ImageJ是一个基于java的公共的图像处理软件，除了基本的图像操作，比如缩放，旋转，扭曲，平滑处理外，ImageJ还能进行图片的区域和像素统计，间距，角度计算，能创建柱状图和剖面图，进行傅里叶变换。将上一步得到的棉花叶片照片导入ImageJ软件中，选点后可直接获得棉花叶片的叶面积值和叶周长值。

将三维测量得到的叶面积和叶周长分别与人工测量得到的叶面积和叶周长对比，进行精度验证。制作1比1线图反映精度，同时使用平均绝对百分比误差(MAPE)、均方根误差(RMSE)、决定系数(R2)作为精度反映指标，公式为：

式中，MAPE为平均绝对百分比误差，RMSE为均方根误差，n为样本数，xai为三维测量结果，xmi为人工测量结果。

需要说明的是，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

以上实施例仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (6)

1.一种作物叶片卷曲程度的判定方法，其特征在于，包括以下步骤：

采集作物叶片图像，利用运动恢复结构重建图像，获得点云文件；

通过Meshleb软件对所述点云文件进行网格化处理，网格化处理后的点云文件通过PCL点云库进行预处理，得到完整的点云文件；

通过基于生长法的贪婪投影三角化算法，控制投影点的搜索领域大小获取三角面片化的叶片模型；所述叶片模型包括若干个三角面片；

根据每个所述三角面片索引的原始点云的坐标信息，计算每个所述三角面片的面积与周长，进而获得叶面积；

计算每个处于边界三角面片的边长度并且累积求和，获取叶片周长；

通过PCL点云库的随机采样一致性算法寻找叶片点云最大拟合平面，将叶片点云投影到叶片点云最大拟合面，获得投影后的点云文件，通过贪婪投影三角化算法对投影后的点云文件进行三角化处理，获得叶片投影面积；

对完整的点云文件进行叶片表型信息处理，获得面片化的叶片周长、叶面积、叶片投影面积；进而计算叶片卷曲度LAR，计算公式为：

其中，AP为叶片在最大拟合平面上的投影面积，S为叶面积；

所述预处理包括：

点云分割算法对网格化处理后的点云文件进行优化，得到优化后的模型参数的局内点与局外点；

下采样滤波算法对优化后的点云文件进行过滤，得到过滤后的点云文件，降低点云数量并维持点云几何结构保持不变；

上采样滤波算法对过滤后的点云文件进行表面重建，获得完整的点云文件；

所述点云分割算法通过RANSAC算法对棉花幼苗分割的点云类蔟进行线性拟合估计，提取优化模型参数的局内点与局外点，判断作物叶片与茎秆，若局外点大于局内点，则此点云类蔟判定为叶片，若局外点小于局内点，则此点云类蔟判定为茎秆。

2.根据权利要求1所述一种作物叶片卷曲程度的判定方法，其特征在于，所述预处理还包括平滑处理，通过移动最小二乘法对完整的点云文件进行平滑处理，获得表面更加光滑的点云文件。

3.根据权利要求1所述一种作物叶片卷曲程度的判定方法，其特征在于，所述面片化的叶片周长计算包括以下步骤：

创建以叶片点云数量为行列数的零矩阵；

基于叶片点云三角面片中顶点对应的点云索引序号，令矩阵中行列数为该点云索引序号的元素值加1；

以包含1的行列信息为叶片边界点的索引，对所有边界点按索引连线，包含点最多的边界为叶片的边界，

计算每个处于边界三角面片的边长度并且求和，获取叶片周长。

4.根据权利要求1所述一种作物叶片卷曲程度的判定方法，其特征在于，所述叶面积S的计算包括以下步骤：

通过三角化面片中包含的点云索引信息，获取每个所述三角化面片的三维信息；

通过海伦公式，计算每个三角化面片的叶面积S_ti，对所有三角化叶片累积求和，得到叶面积S，所述叶面积S的计算公式为：

其中：p_i—面片化三角形周长的一半，a_i、b_i、c_i—三角形各边长，n—总面片数，i—面片索引序号。

5.根据权利要求1所述一种作物叶片卷曲程度的判定方法，其特征在于，获得所述叶片点云最大拟合平面，输出平面方程为：ax+by+cz+d＝0，得到叶片点云最大拟合平面的a、b、c、d系数值，其中x、y、z分别代表坐标系中的横轴、纵轴、竖轴。

6.根据权利要求1所述一种作物叶片卷曲程度的判定方法，其特征在于，所述重建图像包括以下步骤：

通过尺度不变特征转换算法，进行特征点检测与匹配；

稀疏重建，将匹配的特征点还原到三维空间中，通过多张作物图片重建得到作物稀疏的点云文件；

稠密点云重建，利用CMVS将作物的影像分块成多个小块，减少MVS算法的资源峰值，删除多余影像。