CN112435239A - 基于MRE-PointNet和自编码器模型的绿萝叶片外形参数估测方法 - Google Patents

Abstract

本发明公开了一种基于MRE‑PointNet和自编码器模型的绿萝叶片外形参数估测方法，通过Kinect V2相机对绿萝从单一角度拍摄获取点云数据，采用直通滤波、分割、点云精简算法对数据做预处理，采用参数方程构建绿萝叶片几何模型，并计算几何模型的叶长、叶宽、叶面积。将几何模型离散的点云数据输入多分辨率点云深度学习网络得到预训练模型，我们通过以几何模型离散的点云数据作为输入经过编码‑解码运算得到自编码器的预训练模型，通过自编码器的预训练模型来对输入点云数据进行二次处理降噪，其次，用测得的绿萝叶片外形参数标签对预训练模型进行参数微调，从而完成对输入绿萝叶片点云数据的外形参数估测。

Description

基于MRE-PointNet和自编码器模型的绿萝叶片外形参数估测 方法

技术领域

本发明涉及参数方程建模、深度学习领域、尤其是植物表型参数估测分析与预训练模型构建，具体是一种基于MRE-PointNet和自编码器模型的绿萝叶片外形参数估测方法。

背景技术

植物表型是指受基因和环境决定或影响的复杂植物性状，包括生长、发育、耐性、抗性、生理、结构、产量等。植物叶片是植物外在形态的重要组成部分，同时也是植物进行生理功能运作的主要器官。叶片几何参数不仅是植物生长发育、产量形成和品种特性的重要指标，也是对作物进行合理栽培管理以及病虫害发生检测的重要数据支撑，因此准确的测量叶片的长、宽、叶面积等几何参数，对了解作物生长状况及指导作物育种、栽培等方面具有重要的意义。

传统的接触式手工测量方法存在操作繁琐、效率低、误差较大的缺点，伴随着硬件技术的不断突破，非接触式测量方法的研究得到快速的发展，其中基于图像的表型特征提取方法和基于点云的三维建模和测量方法吸引了越来越多的人的研究。

文献《基于机器视觉的温室大枣表型特征测量》([J].江苏农业科学,2018,46(6):182-184.DOI:10.15889/j.issn.1002-1302.2018.06.047)采用非接触式的视觉图像处理技术对大枣的表型参数进行提取。

文献《基于计算机视觉的玉米果穗三维重建方法》([J].农业机械学报,2014,45(9):274-279,253.DOI:10.6041/j.issn.1000-1298.2014.09.044)采用双目立体视觉技术，以图像方法重建玉米果穗三维造型并进行可视化输出，并对果穗三维形态进行测量比较，但人工进行相机的标定比较复杂。

文献《基于多视角立体视觉的植株三维重建与精度评估》([J].农业工程学报,2015(11):209-214.DOI:10.11975/j.issn.1002-6819.2015.11.030)采用运动恢复结构(Structure From Motion，SFM)方法和多视角立体视觉(Multiple View Stereo，MVS)方法的结合，基于多角度图像序列对生长前期的植株进行三维重建，对植株叶片进行建模分析并进行三维测量，该方法根据图像序列之间的约束关系建立物体点三维坐标、摄像机参数、图像匹配点之间的大型非线性系统，虽然能够进行相机的自动标定，但是进行迭代求解时需要较大的计算量。

文献《一种基于图像处理技术的植物形态表型参数获取方法》([J].林业工程学报,1-9[2020-09-20])采用图像分割方法实现簸箕柳与背景环境的分割，结合运动恢复结构算法对分割的二维图像生成三维点云，并利用棋盘格进行坐标系间的距离转换，从而提取簸箕柳的株高、基径、叶面积、分枝数等表型参数。

文献《基于三维点云的甜菜根表型参数提取与根型判别》([J].农业工程学报,2020,36(10):181-188.DOI:10.11975/j.issn.1002-6819.2020.10.022)采用三维重建的方法对甜菜根型进行表型数字化处理，并根据提取的表型参数使用支持向量机、决策树、随机森林等预测模型进行根系分类。

尽管以上的方法可以对植株的外部表型参数进行较为准确的估测，但是无论是相机标定还是迭代计算，亦或是多角度拍摄都需要耗费巨大的时间精力或计算能力。因此更加高效、自动化的植株表型参数获取方法亟需被提出。

发明内容

鉴于以上的问题，本文以长藤绿叶绿萝为研究对象，通过Kinect V2相机对绿萝从单一角度拍摄获取点云数据，采用直通滤波、分割、点云精简算法对数据做预处理，采用参数方程构建绿萝叶片几何模型，并计算几何模型的叶长、叶宽、叶面积。将几何模型离散的点云数据输入多分辨率点云深度学习网络(MRE-PointNet)得到预训练模型，针对叶片遮挡噪声问题，我们通过以几何模型离散的点云数据作为输入经过编码-解码运算得到自编码器的预训练模型，通过自编码器的预训练模型来对输入点云数据进行二次处理降噪，其次，用测得的绿萝叶片外形参数标签对预训练模型(MRE-PointNet)进行参数微调，从而完成对输入绿萝叶片点云数据的外形参数估测。

技术方案：

一种基于MRE-PointNet和自编码器模型的绿萝叶片外形参数估测方法，它基于预测模型进行叶片外形参数的估测，所述预测模型的建立包括以下步骤：

S1、获取绿萝叶片的点云数据以及绿萝叶片的真实数据；

S2、点云数据预处理；

S3、绿萝叶片几何模型的构建及几何模型的外部表型参数测量；

S4、基于自编码模型的点云数据补全；

S5、基于多分辨率编码点云深度学习网络MRE-PointNet预训练模型进行叶片外形参数的估测；

S6、基于真实数据对MRE-PointNet预训练模型做模型迁移的参数微调，获得最终的预测模型。

优选的，S1中使用Kinect V2相机对绿萝从单一角度拍摄，获取叶片的点云数据。

具体的，以垂直实验台姿态固定为75cm的高度对绿萝冠层表面进行拍摄，获取点云数据，然后将冠层表面叶片离体进行外部表型参数真实值数据的采集，并准备进行下一层绿萝叶片的数据采集。

优选的，数据预处理包括：

S2-1、采用直通滤波法去除背景数据；

S2-2、采用区域增长分割算法对绿萝冠层表面分割成单片叶片；

S2-3、分割的单片叶片点云采用包围盒算法和迭代最远点采样算法进行精简。

具体的，基于曲面参数方程进行绿萝叶片几何模型的构建，叶片外形的参数方程Q(u,v)为：

(-0.5≤u≤0.5，0≤v≤1)

式中，x_Q：X方向上的参数方程，y_Q：Y方向上的参数方程，z_Q：Z方向上的参数方程；

t_x1为一个X方向上的叶形干扰函数，t_y1，t_y2，t_y3为3个Y方向上的叶基、叶尖干扰函数，t_y1为Y方向上叶基的正弦变形函数，t_y2与t_y3为Y轴方向上对叶尖两侧的线性变形函数；

式中：h、b、a_x、d_y、a_t、a_b、u_t、u_b、x_b、y_b为参数方程的10个内部模型参数；h：长度系数，b：宽度系数，a_x：叶形变形指数，对叶片的外形主要是叶宽造成影响，d_y：比例造型指数，影响叶片最宽点的位置，a_t：叶尖变形指数，控制叶尖部分的长度变化，a_b：叶基变形指数，控制叶基部分的长度变化，u_t：叶尖造型指数，控制叶尖部分的宽高比，u_b：叶基造型指数，控制叶基部分的宽高比，x_b：叶片沿X方向在Z轴的弯曲幅度，y_b：叶片沿Y方向在Z轴的弯曲幅度，u、v：自变量参数。

具体的，几何模型的外部表型参数测量具体步骤为：

固定10个模型参数值，改变u,v两个系统参数值，-0.5≤u≤0.5，0≤v≤1；找到Y轴方向上的最高点L1与最低点L2，这两点在Y轴方向上的差值即为叶长L；

固定10个模型参数值，改变u,v两个系统参数值，-0.5≤u≤0.5，0≤v≤1；找到X轴方向上的最高点W1与最低点W2，这两点在X轴方向上的差值即为叶宽W；

固定10个模型参数值，按0.05的步长改变u，v两个系统参数值，-0.5≤u≤0.5，0≤v≤1；得到400个单位矩形顶点，三角网格化之后，通过海伦公式来计算每个小三角形的面积，累加得到叶面积S。

具体的，S4中，自编码器模型包括编码器和解码器，其中：

编码器：将输入的点云(N×3)编码成(128)的全局特征向量GFV，进行特征的有效提取；

解码器：将编码之后的GFV恢复为与原来输入维度相同的点云数据；

选择倒角距离作为自编码器网络训练的损失函数，倒角距离函数如下：

式中，P1和P2分别代表输入点云和解码器解码出来的点云中的点的数目，a、b分别代表点云P1和P2中的点，dCH值能够衡量解码之后的点云形状与输入点云形状之间的差异，数值越小，表示两个点云之间的相似程度越高，其中dCH的单位为cm²；

选择几何模型点云数据作为训练集和验证集，得到用于叶片点云补全的自编码器预训练模型。

具体的，S5中，基于多分辨率编码点云深度学习网络MRE-PointNet获得用于几何模型叶片外形参数估测的MRE-PointNet预训练模型，多分辨率编码点云深度学习网络包括：

-输入旋转模块，对输入点云(N×3)输入可训练的空间转换网络T-Net(3×3)，将输入点云经T-Net网络训练得到的空间转换矩阵进行坐标对齐，得到点云(N×3)；

-多层感知机MLP，通过多层感知机MLP将点云升维至(N×64)，对升维之后的数据(N×64)输入可训练的空间转换网络T-Net(64×64)，对升维数据经T-Net网络训练得到的空间转换矩阵进行特征对齐得到数据(N×64)；再通过多层感知机MLP升维至1024维(N×1024)，做全局特征池化(1024)；以获得不同层次的深度特征；

-多分辨率特征提取网络编码器MRE，用IFPS采样64、128、256个点，分别进行点云数据特征编码；

-多层深度特征融合结构CMLP(N×1216)，将不同层次的深度特征进行融合；

Concat＝[64,128,1024]

通过多分辨率特征提取和多维度特征融合目的主要是为了更好的对局部特征的提取；

选择几何模型点云数据作为训练集和验证集，得到用于几何模型叶片外形参数估测的MRE-PointNet预训练模型。

具体的，S6中，它还包括基于真实数据对MRE-PointNet预训练模型做模型迁移的参数微调。

S6-1、将MRE-PointNet预训练模型特征提取层进行参数固定，对最后3层全连接层参数不进行固定；

S6-2、将试验采集并经过预处理得到的绿萝叶片点云数据经过预训练的自编码器模型补全，输出补全点云数据；

S6-3、将补全的点云数据输入预训练模型MRE-PointNet模型进行训练，对不固定的后3层参数进行参数微调，获得经过参数微调的预训练模型MRE-PointNet-Finetune。

本发明的有益效果

(1)本申请提出的基于MRE-PointNet和自编码器模型算法估测的100片绿萝叶片外形指标结果与真实值具有较高的相关性，其线性回归分析的R2均在0.90之上，叶长RMSE为0.41，叶宽RMSE为0.31，叶面积RMSE为3.88。估测结果误差较小，在允许的误差范围内，表明我们的算法准确率较高，具有一定的实用性。

(2)通过曲面参数方程构建绿萝叶片几何模型库，为网络对数据的要求提供了支撑，试验通过多组网络模型的对比试验，表明MRE-PointNet网络具有更强的特征提取能力和更加准确的叶片外形参数估测能力。在试验中我们还进行了遮挡问题的模拟残缺试验，进行网络的鲁棒性分析，试验表明基于MRE-PointNet和自编码器模型的网络结构对一定程度遮挡叶片的外形参数估测具有较强的鲁棒性。

(3)与目前主流的三维重建测量方法相比，我们的方法更加高效自动化。通过本申请所提算法，为高通量植物表型精确测量提供了新的思路和技术手段，具有一定的实用价值。

附图说明

图1为实施例中点云数据分割与处理结果示意图

图2为叶片几何模型不同角度查看示意图

图3为基于MRE-PointNet和自编码器模型算法的绿萝叶片外形参数估测流程图

图4为迁移学习模型微调流程图

图5a为绿萝叶片叶长(L)估测结果

图5b为绿萝叶片叶宽(W)估测结果

图5c为绿萝叶片叶面积(S)估测结果

图6a为绿萝叶片几何模型叶长(L)R-squared变化曲线

图6b为绿萝叶片几何模型叶宽(W)R-squared变化曲线

图6c为绿萝叶片几何模型叶面积(S)R-squared变化曲线

图6d为绿萝叶片几何模型叶长(L)RMSE变化曲线

图6e为绿萝叶片几何模型叶宽(W)RMSE变化曲线

图6f为绿萝叶片几何模型叶面积(S)RMSE变化曲线

图7为open3d可视化示意图

具体实施方式

下面结合实施例对本发明作进一步说明，但本发明的保护范围不限于此：

1材料与方法

1.1试验材料

绿萝是阴性植物，喜湿热环境，在温度高于10℃的环境下适宜生长。试验绿萝品种为长藤大叶绿萝，选取在本地培育4个月且生长状况良好的10盆大叶绿萝作为试验对象。植株冠层直径在28～32cm，冠层高度8～12cm，冠层内叶片数量相近，均长势良好。为了减少冠层表面叶片对下层叶片的遮挡影响，我们根据冠层高度平均划分为上中下三个区间层进行叶片数据采集，每一层采集8-12片数据，总共300片绿萝叶片数据。

1.2数据采集

试验数据的采集主要分为两个方面，一方面是先对绿萝进行无损点云数据的采集，然后再对叶片进行离体有损的外部表型参数真实值采集。Kinect V2是微软公司推出的二代Kinect相机，精度为2mm-4mm，分辨率为512x424，使用Kinect V2相机对绿萝进行拍摄，将相机倒挂于装有横臂、水平仪的三脚架上，以垂直实验台姿态固定为75cm的高度对绿萝冠层表面进行拍摄，获取点云数据，然后将冠层表面叶片离体进行外部表型参数真实值数据的采集，并准备进行下一层绿萝叶片的数据采集。

点云数据的获取：通过微软发布的Kinect for Windows SDK 2.0,使用其中的Kinect Fusion Explorer进行点云数据采集，保存为ply格式文件。使用Matlab工具箱中提供的calibration工具对数据进行标定，通过获取镜头畸变参数得到校正矩阵。

叶片外部表型参数数据的采集：将从每一次冠层表面离体的叶片平铺于A4白纸上，借助游标卡尺测量叶长和叶宽，测量精度为0.01mm，采用Kinect V2相机从75cm高度获取叶片彩色图像并进行标定与校正，并通过图像分割提取叶片区域与A4纸区域的二值图像进行像素点统计，按照比例来求取绿萝叶片的叶面积。

1.3点云数据预处理

通过Kinect V2相机获取绿萝叶片点云数据，如图1(a)所示，点云数据包含空间坐标X、Y、Z位置信息和与之对应的RGB颜色信息，点云数据的三维坐标系以Kinect深度相机为原点，单位是m，精确度是0.001m，原始获得的绿萝点云数据包括背景台等冗余信息，采用直通滤波法去除背景数据，得到绿萝冠层的表面叶片数据，如图1(b)所示。并采用区域增长分割算法对绿萝冠层表面分割成单片叶片，如图1(c)所示。对分割的单片叶片点云采用包围盒算法和迭代最远点采样算法(IFPS)进行精简，如图1(d)所示。

1.4绿萝叶片几何模型的构建及几何模型的外部表型参数测量

1.4.1基于曲面参数方程的绿萝叶片几何模型构建

绿萝叶片的造型只包含一个曲面，形状较规则，可以采用相应参数曲面方程变形来进行构造，用参数方程表示有较好的稳定性。绿萝叶片的外形呈上窄下宽的卵圆形，根据果实造型和植物叶片的造型研究，叶片外形由叶形、叶尖、叶基和叶缘的边界轮廓组成。由于叶片厚度较小，构建几何模型时可以忽略不计，采用参数曲面方程Q(u,v)构建一个长方形平面，然后添加合适的干扰函数将长方形平面变形为叶片外形造型，最终叶片外形的参数方程Q(u,v)为：

(-0.5≤u≤0.5，0≤v≤1) (1)

其中t_x1为一个X方向上的叶形干扰函数，t_y1，t_y2，t_y3为3个Y方向上的叶基、叶尖干扰函数，t_y1为Y方向上叶基的正弦变形函数，t_y2与t_y3为Y轴方向上对叶尖两侧的线性变形函数。

式中：x_Q——X方向上的参数方程

y_Q——Y方向上的参数方程

z_Q——Z方向上的参数方程

其中：h、b、a_x、d_y、a_t、a_b、u_t、u_b、x_b、y_b为参数方程的10个内部模型参数。

h——长度系数

b——宽度系数

a_x——叶形变形指数，对叶片的外形主要是叶宽造成影响

d_y——比例造型指数，影响叶片最宽点的位置

a_t——叶尖变形指数，控制叶尖部分的长度变化

a_b——叶基变形指数，控制叶基部分的长度变化

u_t——叶尖造型指数，控制叶尖部分的宽高比

u_b——叶基造型指数，控制叶基部分的宽高比

x_b——叶片沿X方向在Z轴的弯曲幅度

y_b——叶片沿Y方向在Z轴的弯曲幅度

u、v——自变量参数。

根据该参数方程构建的叶片模型从不同的角度查看如图2中(a)和(b)所示。并通过控制参数方程的自变量参数取值得到包括12743个模型数据的模型库。

1.4.2几何模型的外部表型参数测量

参数方程构建的绿萝叶片模型，通过固定10个模型参数值，改变u,v两个系统参数值(-0.5≤u≤0.5，0≤v≤1)，找到Y轴方向上的最高点L1与最低点L2，这两点在Y轴方向上的差值即为叶长L。固定10个模型参数值，改变u,v两个系统参数值(-0.5≤u≤0.5，0≤v≤1)，找到X轴方向上的最高点W1与最低点W2，这两点在X轴方向上的差值即为叶宽W。固定10个模型参数值，按0.05的步长改变u，v两个系统参数值(-0.5≤u≤0.5，0≤v≤1)，得到400个单位矩形顶点，三角网格化之后，通过海伦公式来计算每个小三角形的面积，累加得到叶面积S。

1.5基于MRE-PointNet和自编码器模型的叶片外形参数估测算法

通过Kinect相机从单一角度获取的叶片点云数据存在残缺和噪声问题，通过预训练好的自动编码器模型对预处理的点云数据进行二次处理降噪。通过多分辨率点云深度学习网络对输入的叶片点云数据进行特征捕捉，输出叶片的外部表型参数。为了更准确的输出叶片外部表型参数，通过基于真实值的模型参数微调，提升网络对真实叶片外部表型参数估测的准确率。基于MRE-PointNet和自编码器模型算法的绿萝叶片外形参数估测流程如图3所示。

1.5.1基于几何模型点云数据训练的MRE-PointNet模型

多分辨率编码点云深度学习网络(MRE-PointNet)是基于PointNet特征最大池化结构并结合多分辨率采样特征提取融合的叶片外形指标估测回归网络，该网络的主要目的是通过数据的训练得到可以直接用于几何模型叶片外形参数估测的预训练模型。在网络前面的特征提取模块，我们借鉴PointNet对点云数据特征提取的思想，对输入点云(N×3)输入可训练的空间转换网络(Transfer Net，T-Net)(3×3)，将输入点云经T-Net网络训练得到的空间转换矩阵进行坐标对齐，得到点云(N×3)，目的是为了旋转出一个更好进行特征提取的角度，从而更利于最终外形参数估测的准确。然后再通过多层感知机(Multi-LayerPerceptron，MLP)^[18]对点云进行升维至(N×64)，对升维之后的数据(N×64)输入可训练的空间转换网络T-Net(64×64)，对升维数据经(Transfer Net，T-Net)网络训练得到的空间转换矩阵进行特征对齐得到数据(N×64)，即在特征层面上对点云进行矩阵变换，目的是对升维特征进行对齐，更好的进行特征的提取。然后再通过MLP升维至1024维(N×1024)，做全局特征池化(1024)，从而解决了点云的空间无序性问题，但是特征的最大池化也忽略了点云的局部信息，因此为了更好的捕捉到点云数据的局部特征，我们提出了多分辨率特征提取网络编码器(Multi-Resolution Encoder，MRE)，用IFPS采样64、128、256个点，分别进行点云数据特征编码。同时相比于原网络结构的单层MLP(N×1024)，我们提出了多层深度特征融合结构(Concat Multi-Layer Perceptron，CMLP)(N×1216)，通过不同层次的深度特征进行融合，从而更好的进行叶片点云局部特征的捕捉。MRE-PointNet网络是基于叶片外部参数估测的回归网络，我们采用均方差(Mean Square Error，MSE)损失函数度量真实值和估测值的误差。最后我们通过将11467条几何模型点云数据作为训练集，1276条几何模型点云数据作为验证集，得到几何模型外部参数指标估测的预训练模型。

1.5.2基于几何模型点云数据训练的自编码器模型

基于点云数据训练的自编码器(Auto Encoder，AE)网络是一种将点云数据进行低维编码并通过解码器解码成与输入点云相同维度的无监督神经网络。它主要有两部分构成：

编码器：主要将输入的点云(N×3)编码成(128)的全局特征向量(Grobal FeatureVector，GFV)，进行特征的有效提取。

解码器：主要将编码之后的GFV恢复为与原来输入维度相同的点云数据。通过自动编码器不仅能够很好的对输入点云数据进行去噪，还能对一定程度的残缺点云数据进行有效的补全，具有一定的鲁棒性。

在结果分析中，我们将结合自编码器模型进行数据残缺的鲁棒性结果分析。训练AE时，采用反向传播法减少输入和输出点云之间的距离，可以用地球移动距离(EarthMovers Distance,EMD)或倒角距离(Chamfer Distance,CD)做为对输入点云和输出点云之间的误差衡量，在这里我们采用更加有效的倒角距离作为自编码器网络训练的损失函数。倒角距离函数如下：

式子中，P1和P2分别代表输入点云和解码器解码出来的点云中的点的数目，a、b分别代表点云P1和P2中的点，dCH值能够衡量解码之后的点云形状与输入点云形状之间的差异，数值越小，表示两个点云之间的相似程度越高，其中dCH的单位为cm²。

最后我们通过将11467条几何模型点云数据作为自编码器网络的训练集，1276条几何模型点云数据作为验证集，得到自编码器的预训练模型。

1.5.3基于真实数据对MRE-PointNet预训练模型做模型迁移的参数微调

预训练模型能很好的对几何模型绿萝叶片外形参数进行很好的估测，但是从单一角度得到的真实叶片点云数据存在遮挡的情况。尽管我们可以通过自编码器模型(AutoEncoder，AE)对预处理的点云数据进行二次降噪和点云补全，从而减缓一些异常点和被遮挡数据的影响，但是经过自编码器模型二次处理之后的真实点云数据还是会和几何模型离散的点云数据存在较小的差异性。因此我们通过模型迁移(Model Transfer)的方法，并对MRE-PointNet预训练模型的特征提取层参数进行固定，对最后3层多层感知机(MLP)做参数微调，训练得到适用于真实叶片外形参数估测的模型。模型微调如图4所示。

试验中我们将采集得到的300片绿萝叶片点云数据按照2:1比例进行划分，其中200片数据作为对模型微调的训练集，剩下的100片数据做为测试集，评估模型对绿萝叶片外形参数估测的能力。

2.试验结果分析

2.1叶片外部表型参数实际测量结果分布

试验共采集了300片绿叶长藤绿萝的点云数据，并测得对应叶片的叶长、叶宽、叶面积外形参数。其中200片叶片数据作为模型微调的训练集，剩下的100片数据作为测试集，评估模型对绿萝叶片外形参数估测的能力。因此我们这里以测试集的100片绿萝叶片点云数据作为试验结果分析对象。表1为测试集的100片绿萝叶片外部表型参数实测结果统计表，经过统计可知，绿萝叶片的叶长、叶宽、叶面积分布范围分别为6.86-13.93cm、4.03-10.1cm、19.67-96.7cm²，试验所用的绿萝叶片外形参数分布范围较广，避免了样本数据分布的单一性，试验结果具有可靠性。

表1绿萝叶片实测参数统计表

2.2基于MRE-PointNet和自编码器模型算法的叶片外形参数估测结果与分析

试验将测试集的100片绿萝叶片点云数据经过预处理之后作为输入，分别估测其对应的绿萝叶片外形参数指标(叶长L、叶宽W、叶面积S)。并将其估测值和实际测得值进行线性回归分析，如图5(a)-图5(c)所示。图中横轴真实值为人工测量的绿萝叶片外形参数值，纵轴估测值为基于MRE-PointNet和自编码器模型算法估测的叶片外形参数指标；R²表示回归直线对观测值的拟合程度，最大值为1，其值越接近1，代表拟合程度越好；RMSE表示均方根方差，反映估测值同真实值之间的偏差。分析图5(a)-图5(c)可知，通过该算法估测的绿萝叶片外形参数值和真实测得值具有较高的相关性，其线性回归拟合的R²均高于0.90，RMSE均在误差允许范围内，证明该方法在对从单一角度获取的点云数据进行外形参数估测时，具有较高的精确度，并具有一定的高效性和稳定性。

2.3基于不同网络模型对几何模型叶片外形参数估测结果与分析

本节试验主要是对比多分辨率特征编码网络(MRE-PointNet-cmlp)、单层特征编码网络(Single-PointNet-mlp)、多层特征融合的单层编码网络(Single-PointNet-cmlp)、边卷积(EdgeConv)操作的动态图卷积神经网络(Dynamic Graph Cnn，DGCNN)对几何模型叶片外形参数估测的能力，试验以DGCNN作为参照对比试验。通过控制几何模型参数方程的自变量取值获得包含12743个模型数据的模型库，并将其离散成点云数据，将其中的11467条数据作为训练集，1276条数据作为验证集，并分析4种网络模型对叶片几何模型外形参数估测的结果。图6(a)-图6(f)为训练集数据的决定系数R²及均方误差RMSE变化图，其中横轴代表训练迭代次数epoch，纵轴代表R²和RMSE，学习率为0.01，BatchSize为30，迭代步数为101步。分析图6(a)-图6(f)可知，在设置相同的超参数训练情况下，4组对比网络模型都具有较快的收敛性，表明4组网络模型结构都能很好的提取到叶片点云特征。从模型训练过程中叶长、叶宽、叶面积的决定系数R²和RMSE的变化曲线来看，Single-PointNet(cmlp)训练的误差值RMSE略低于Single-PointNet(mlp)，决定系数R²略高于Single-PointNet(mlp)，MRE-PointNet网络模型和DGCNN网络模型训练误差相比于另两种模型下降曲线更加稳定，决定系数R²的值更高且上升趋势比较稳定，但是MRE-PointNet网络的RMSE的值更低，adjust R2明显更接近于1，所以性能更优，。试验证明MRE-PointNet网络能更好的捕捉叶片点云特征从而更好的估测叶片外形参数。

2.4基于MRE-PointNet和自编码器模型的鲁棒性分析

本节试验主要是对比分析MRE-PointNet结合自编码器模型针对几何模型点云数据不同残缺比例下的外形参数估测结果。试验以验证集的1276条几何模型点云数据作为试验对象，分别按照比例20％、30％、40％进行对点云数据做随机残缺，并分析网络在残缺多少的时候外形参数估测性能下降最快。残缺效果可通过open3d进行可视化如图7所示，并分别通过自动编码器(Auto Encoder，AE)去噪补全之后输入多分辨率点云深度学习网络(MRE-PointNet)得到几何模型叶片外形指标估测值，并将其估测值和几何模型真实值进行回归分析，得到叶长、叶宽、叶面积的R²和RMSE，如表2所示。根据表2可知，在叶片模型点云数据残缺20％时，我们的叶长、叶宽、叶面积的R²分别为0.87、0.92、0.94，RMSE分别为1.00、0.35、4.04；在叶片模型点云数据残缺30％时，我们的叶长、叶宽、叶面积的R²分别为0.77、0.85、0.90，RMSE分别为1.35、0.50、5.46；在叶片模型点云数据残缺40％时，我们的叶长、叶宽、叶面积的R²分别为0.64、0.74、0.83，RMSE分别为1.71、0.65、7.30。从整体结果来看，我们叶面积和叶宽的估测结果相比较于叶长的估测结果更好，原因主要是在拍摄过程中绿萝叶片存在一定的弯曲姿态，影响了叶长的估测结果。通过试验可知，数据在残缺20％的情况下，外形参数估测的性能和完整情况下估测的差距不大。而在40％的情况下，外形参数估测的性能比较差，相比较于30％的情况下的估测性能，下降趋势更加明显。试验表明，即使在我们的点云数据存在一定残缺的情况下，我们的网络依然能有较好的估测结果，证明我们的网络在叶片遮挡情况下具有一定的鲁棒性。

表2叶片几何模型参数估测鲁棒性结果分析统计表

2.5基于模型迁移前后叶片外形参数估测结果与分析

本节试验主要是对比模型迁移前后的绿萝叶片外形参数估测效果。以实拍的200片绿萝叶片点云数据作为训练集对模型进行微调，剩下的100片绿萝叶片点云数据作为测试集，并记录测试数据输入模型微调前后得到的决定系数R²和均方误差RMSE的值，如表3所示。从表3可知，在模型迁移前，基于MRE-PointNet和自编码器模型对100片绿萝叶片估测的叶长、叶宽、叶面积的R²分别为0.74、0.77、0.82，RMSE分别为0.76、0.67、6.81。在模型迁移之后，我们的网络模型对测试集绿萝叶片估测的叶长、叶宽、叶面积的R²分别为0.90、0.91、0.94，RMSE分别为0.41、0.31、3.88。试验结果说明基于真实数据做模型迁移能有效的提高估测的精度，叶长、叶宽、叶面积其线性回归估测R²提高值均超过了10％，其误差RMSE的值均有明显的下降，证明了基于真实数据做模型迁移的必要性和有效性。

表3模型迁移前后叶片参数估测效果对比统计表

3结论与讨论

(1)本文提出的基于MRE-PointNet和自编码器模型算法估测的100片绿萝叶片外形指标结果与真实值具有较高的相关性，其线性回归分析的R²均在0.90之上，叶长RMSE为0.41，叶宽RMSE为0.31，叶面积RMSE为3.88。估测结果误差较小，在允许的误差范围内，表明我们的算法准确率较高，具有一定的实用性。

(2)通过曲面参数方程构建绿萝叶片几何模型库，为网络对数据的要求提供了支撑，试验通过多组网络模型的对比试验，表明MRE-PointNet网络具有更强的特征提取能力和更加准确的叶片外形参数估测能力。在试验中我们还进行了遮挡问题的模拟残缺试验，进行网络的鲁棒性分析，试验表明基于MRE-PointNet和自编码器模型的网络结构对一定程度遮挡叶片的外形参数估测具有较强的鲁棒性。

(3)与目前主流的三维重建测量方法相比，我们的方法更加高效自动化。通过本文所提算法，为高通量植物表型精确测量提供了新的思路和技术手段，具有一定的实用价值。

本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.一种基于MRE-PointNet和自编码器模型的绿萝叶片外形参数估测方法，其特征在于它基于预测模型进行叶片外形参数的估测，所述预测模型的建立包括以下步骤：

S1、获取绿萝叶片的点云数据以及绿萝叶片的真实数据；

S2、点云数据预处理；

S3、绿萝叶片几何模型的构建及几何模型的外部表型参数测量；

S4、基于自编码模型的点云数据补全；

S5、基于多分辨率编码点云深度学习网络MRE-PointNet预训练模型进行叶片外形参数的估测；

S6、基于真实数据对MRE-PointNet预训练模型做模型迁移的参数微调，获得最终的预测模型。

2.根据权利要求1所述的方法，其特征在于S1中使用Kinect V2相机对绿萝从单一角度拍摄，获取叶片的点云数据。

3.根据权利要求2所述的方法，其特征在于以垂直实验台姿态固定为75cm的高度对绿萝冠层表面进行拍摄，获取点云数据，然后将冠层表面叶片离体进行外部表型参数真实值数据的采集，并准备进行下一层绿萝叶片的数据采集。

4.根据权利要求1所述的方法，其特征在于数据预处理包括：

S2-1、采用直通滤波法去除背景数据；

S2-2、采用区域增长分割算法对绿萝冠层表面分割成单片叶片；

S2-3、分割的单片叶片点云采用包围盒算法和迭代最远点采样算法进行精简。

5.根据权利要求1所述的方法，其特征在于基于曲面参数方程进行绿萝叶片几何模型的构建，叶片外形的参数方程Q(u,v)为：

式中，x_Q：X方向上的参数方程，y_Q：Y方向上的参数方程，z_Q：Z方向上的参数方程；

t_x1为一个X方向上的叶形干扰函数，t_y1，t_y2，t_y3为3个Y方向上的叶基、叶尖干扰函数，t_y1为Y方向上叶基的正弦变形函数，t_y2与t_y3为Y轴方向上对叶尖两侧的线性变形函数；

式中：h、b、a_x、d_y、a_t、a_b、u_t、u_b、x_b、y_b为参数方程的10个内部模型参数；h：长度系数，b：宽度系数，a_x：叶形变形指数，对叶片的外形主要是叶宽造成影响，d_y：比例造型指数，影响叶片最宽点的位置，a_t：叶尖变形指数，控制叶尖部分的长度变化，a_b：叶基变形指数，控制叶基部分的长度变化，u_t：叶尖造型指数，控制叶尖部分的宽高比，u_b：叶基造型指数，控制叶基部分的宽高比，x_b：叶片沿X方向在Z轴的弯曲幅度，y_b：叶片沿Y方向在Z轴的弯曲幅度，u、v：自变量参数。

6.根据权利要求5所述的方法，其特征在于几何模型的外部表型参数测量具体步骤为：

固定10个模型参数值，改变u,v两个系统参数值，-0.5≤u≤0.5，0≤v≤1；找到Y轴方向上的最高点L1与最低点L2，这两点在Y轴方向上的差值即为叶长L；

固定10个模型参数值，改变u,v两个系统参数值，-0.5≤u≤0.5，0≤v≤1；找到X轴方向上的最高点W1与最低点W2，这两点在X轴方向上的差值即为叶宽W；

固定10个模型参数值，按0.05的步长改变u，v两个系统参数值，-0.5≤u≤0.5，0≤v≤1；得到400个单位矩形顶点，三角网格化之后，通过海伦公式来计算每个小三角形的面积，累加得到叶面积S。

7.根据权利要求1所述的方法，其特征在于S4中，自编码器模型包括编码器和解码器，其中：

编码器：将输入的点云(N×3)编码成(128)的全局特征向量GFV，进行特征的有效提取；

解码器：将编码之后的GFV恢复为与原来输入维度相同的点云数据；

选择倒角距离作为自编码器网络训练的损失函数，倒角距离函数如下：

式中，P1和P2分别代表输入点云和解码器解码出来的点云中的点的数目，a、b分别代表点云P1和P2中的点，dCH值能够衡量解码之后的点云形状与输入点云形状之间的差异，数值越小，表示两个点云之间的相似程度越高，其中dCH的单位为cm²；

选择几何模型点云数据作为训练集和验证集，得到用于叶片点云补全的自编码器预训练模型。

8.根据权利要求1所述的方法，其特征在于S5中，基于多分辨率编码点云深度学习网络MRE-PointNet获得用于几何模型叶片外形参数估测的MRE-PointNet预训练模型，多分辨率编码点云深度学习网络包括：

-输入旋转模块，对输入点云(N×3)输入可训练的空间转换网络T-Net(3×3)，将输入点云经T-Net网络训练得到的空间转换矩阵进行坐标对齐，得到点云(N×3)；

-多层感知机MLP，通过多层感知机MLP将点云升维至(N×64)，对升维之后的数据(N×64)输入可训练的空间转换网络T-Net(64×64)，对升维数据经T-Net网络训练得到的空间转换矩阵进行特征对齐得到数据(N×64)；再通过多层感知机MLP升维至1024维(N×1024)，做全局特征池化(1024)；以获得不同层次的深度特征；

-多分辨率特征提取网络编码器MRE，用IFPS采样64、128、256个点，分别进行点云数据特征编码；

-多层深度特征融合结构CMLP(N×1216)，将不同层次的深度特征进行融合；

Concat＝[64,128,1024]

通过多分辨率特征提取和多维度特征融合目的主要是为了更好的对局部特征的提取；

选择几何模型点云数据作为训练集和验证集，得到用于几何模型叶片外形参数估测的MRE-PointNet预训练模型。

9.根据权利要求1所述的方法，其特征在于S6中，它还包括基于真实数据对MRE-PointNet预训练模型做模型迁移的参数微调。

S6-1、将MRE-PointNet预训练模型特征提取层进行参数固定，对最后3层全连接层参数不进行固定；

S6-2、将试验采集并经过预处理得到的绿萝叶片点云数据经过预训练的自编码器模型补全，输出补全点云数据；

S6-3、将补全的点云数据输入预训练模型MRE-PointNet模型进行训练，对不固定的后3层参数进行参数微调，获得经过参数微调的预训练模型MRE-PointNet-Finetune。

Images