CN111583328A - 基于几何模型的绿萝叶片外部表型参数的三维估测方法 - Google Patents
基于几何模型的绿萝叶片外部表型参数的三维估测方法 Download PDFInfo
- Publication number
- CN111583328A CN111583328A CN202010370531.5A CN202010370531A CN111583328A CN 111583328 A CN111583328 A CN 111583328A CN 202010370531 A CN202010370531 A CN 202010370531A CN 111583328 A CN111583328 A CN 111583328A
- Authority
- CN
- China
- Prior art keywords
- leaf
- geometric model
- model
- parameters
- blade
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Physiology (AREA)
- Genetics & Genomics (AREA)
- Probability & Statistics with Applications (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于几何模型的绿萝叶片外部表型参数的三维估测方法,包括以下步骤:S1建立绿萝叶片的几何模型数据库;S2固定RGB‑D相机角度与高度对绿萝进行一次拍摄,获得绿萝叶片的局部点云数据;S3将S2获得的局部点云数据与S1中的几何模型数据库进行空间匹配与参数寻优,获得最接近的几何模型;S4计算该几何模型的叶片外部表型参数,作为估测结果。本发明的估测方法,植物叶片无需离体,拍摄仪器也无需改变角度,仅通过一次拍摄即能对其外部表型参数进行估测。估测结果的误差范围较小,且非常稳定。
Description
技术领域
本发明涉及植株生长状态的估测领域,具体是一种基于几何模型的绿萝叶片外部表型参数的三维估测方法。
背景技术
绿萝属天南星科,腾芋属,原产于热带地域,生命力较旺盛,对环境要求低,易于培养,在土壤中与水中均能存活。绿萝作为我国室内外最广泛的观叶类植物之一,四季常绿,生命力强,可塑性高,具有一定观赏价值。并且可以净化空气,吸收空气中的甲醛、苯、甲苯和尼古丁等有害物质,有“空气净化器”之称,近几年还有研究证明了绿萝可以净化水体,治理水域环境,是一种性价比高,栽培广泛的重要观赏植物,深受消费者喜爱。由于人们生活水平不断提高,用绿萝来对室内外进行装饰和净化的需求也在不断上升。目前,我国各省市都有栽培绿萝,国内规模最大、种类最多的盆栽绿萝生产基地位于南部沿海地区,已经形成了绿萝培育的产业化,具有一定规模和生产流程,正致力于实现标准化生产。由于其观赏价值与净化空气的作用,所以依然有很大的市场上升空间。
叶片对于观叶植物的生长与生理活动起着决定性的作用。叶片作为植物蒸腾、光合作用与呼吸作用的主要器官,是观叶植物合成生长所需有机物、进行生理生化活动的场所。从叶片的生理状态和健康状况可以看出绿萝植株的生长发育状态,其中叶面积指标能极大地指示绿萝叶片的健康程度。叶面积即叶片的平铺面积,是研究植物与外界物质循环与能量转化的必需参数,对于光能吸收、水分蒸腾、有机物积累、收获量及经济效益有显著影响,也能直观地反映绿萝所处的生理周期。目前对于叶面积测量的方法很多,但均具有缺陷性,基础测量方法均为人工测量,费时费力,成本过高;较为智能的方法往往需要在叶片离体状态下进行测量,对植株造成伤害。
植物生长状态,尤其是叶面积的测量亟需高效精确无损的检测方式。人工测量的方式不仅成本高,也伴随着一定的误差,随着计算机技术的发展,植物外形参数的自动检测技术开始出现。早期的估测方法往往需要借助特定软件与空间标定物,文献《数字图像处理技术在蔬菜叶面积测量中的应用》(农业工程学报,2002(04))利用平台扫描仪对油菜和空心菜叶片采集图像,借助Photoshop图像处理软件,按固定缩放比例对图片进行缩放,选取叶片轮廓来统计像素个数得到叶片面积。文献《.基于支持向量机模型和图像处理技术的甜椒叶面积测定》(农业工程学报,2011,27(03))提出了使用数码相机来快速采集叶片彩色图像,经过预处理和色彩空间转换,从而实现叶片部分的图像分割与边缘提取,通过公式法来计算叶面积。文献《基于像素参照无损测定魔芋叶面积的研究》(湖北民族学院学报(自然科学版),2018,36(03))提出了一种对魔芋叶面积进行在体测量的方法,该方法通过扫描仪采集魔芋叶片与规则矩形图形,通过对矩形图形的标定来检测标样位置对面积的影响,来确定标样的位置,从而计算魔芋叶面积,达到了2.0%以内的测定误差。文献《Non-destructive Measurement of Vegetable Seedling Leaf Area Using EllipticalHough Transform》提出了一种基于椭圆霍夫变换的图像处理方法,对生长中的植物幼苗进行拍摄与图像分析。这种方法能在叶片无损状态下对叶片进行测量,并且可以识别被遮挡叶片的轮廓,从而估测出更准确的叶面积。
近来,基于三维点云的三维建模和三维测量技术发展逐渐完善,为农业作物外形的测量提供了新的方法。国外,文献《Automatic morphological trait characterizationfor corn plants via 3D holographic reconstruction》利用Xtion传感器来采集图像,以欧几里德聚类方法来分割点云,用体素化网格对点云进行采样并用贪婪三角形算法进行网格化,利用叶片表面网格计算了叶片面积。文献[12]利用飞行时间(TOF)深度相机对生长过程中的玉米植株进行点云数据获取,分割茎叶点云来提取玉米的茎高、叶长、叶宽、叶倾角和叶面积等参数,并重建了三维模型并实现了可视化。文献《使用Kinect传感器的油菜叶片面积测量方法》(中国油料作物学报,2017,39(01))利用三维扫描仪获取了大麦植株的三维点云,提取了植株高度、茎高和叶面积等参数。国内,文献《基于三维数字化的玉米株型参数提取方法研究》(中国农业科学,2018,51(06))使用Kinect传感器对活体油菜的叶面积进行了测量,该方法利用RGB图像的绿色分量分割出叶片点云,映射深度信息获得点云,经过预处理后使用插值方法对叶片点云进行网格化,以海伦公式求取每个三角网格的面积来估测油菜叶的面积,该方法能够直接准确地获取叶面积参数。文献《基于三维点云的叶面积估算方法》(农业机械学报:1-11[2020-01-10])对玉米进行三维数字化来提取其株型参数,文章直接用三维数字化仪来提取植株骨架,识别出植株的各部分,最终实现了对株高、叶长、叶宽、叶倾角等参数的测量,能够一次性提取玉米的多个株型参数,但是成本较高。
综上所述,目前对于农作物植株的三维测量技术已经比较成熟,能够达到一定的速度与精度,可以得到作物的常见外形参数。但是,在数据获取过程中需要进行多视角的数据采集与配准,但无论改变植株位置或相机位置都较为麻烦,耗费人力物力。并且点云配准部分仍亟需快速精准的方法。
发明内容
本发明针对背景技术中存在的问题,提出了一种基于几何模型的绿萝叶片外部表型参数的三维估测方法。
技术方案:
一种基于几何模型的绿萝叶片外部表型参数的三维估测方法,它包括以下步骤:
S1建立绿萝叶片的几何模型数据库;
S2固定RGB-D相机角度与高度对绿萝进行一次拍摄,获得绿萝叶片的局部点云数据;
S3将S2获得的局部点云数据与S1中的几何模型数据库进行空间匹配与参数寻优,获得最接近的几何模型;
S4计算该几何模型的叶片外部表型参数,作为估测结果;
其中:叶片外部表型参数包括叶长、叶宽、叶面积,叶长为叶尖到叶基的平铺距离,在几何模型中将y方向上的最高点与最低点间的差值作为模型的叶长L;叶宽为叶子两侧最宽点间的平铺距离,在几何模型中将x方向上的最高点与最低点间的差值作为模型的叶宽W;叶面积指叶片的平铺面积,在几何模型中通过累加计算曲面网格面积作为叶面积S。
具体的,所述绿萝叶片几何模型为:
式中,w,h,ax,dy,at,ab,ut,ub,xb,yb为影响模型尺寸的10个模型内部参数,通过大量试验与畸形判断,确定10个内部模型参数的取值范围和步长,根据不同的参数组合获得大量模型数据组,构建绿萝叶片的几何模型数据库。
优选的,采用SAE稀疏自编码神经网络来对模型参数进行预测,实现数据的降维。以标签化之后的的3个模型外部表型参数为输入,分别以10个模型内部参数为输出,级联设置两个编码器隐含层,节点数分别为4,3。取10000条数据作为训练集,100条数据作为测试集进行反演。
具体的,S3的匹配过程中,使用粒子群优化算法进行空间匹配,使用遗传算法对几何模型数据库进行遍历。
具体的,所述遗传算法遍历的起点通过以下步骤获得:
S3-1-1、基于S2中绿萝叶片的局部点云数据,通过OBB包围盒估算出叶长、叶宽和叶片高度数据;
S3-1-2将S3-1的结果作为预测输入,反演获得的绿萝叶片几何模型内部参数,建立该几何模型作为遗传算法遍历的起点。
具体的,S3中,选取匹配度F最小作为局部点云数据与几何模型数据库的评价指标:
S3-2-1输入深度相机获取的局部点云数据记为点集P={mi}(i=1,2,......,n),离散叶片几何模型点集为Q={nj}(j=1,2,......,k);
S3-2-2计算新位置下的点集Q’:Q'(nj')=H[nj;1],其中,H为欧氏空间变换矩阵;
具体的,欧氏空间变换矩阵H为:
其中,R为正交旋转矩阵:
α,β,γ为空间变换匹配过程中围绕x,y,z坐标轴的旋转角度;
T为平移矩阵:
T=[tx;ty;tz]
tx,ty,tz为空间变换匹配过程中x,y,z三个坐标轴方向的平移距离。
具体的,遗传算法中,以10个模型内部参数以浮点编码作为染色体,以PSO算法的匹配度F作为适应度函数,以0.75的单点交叉概率与0.05的变异概率进行遗传操作,得出的适应性最佳个体解码获得几何模型并对其外部表型参数进行测量。
本发明的有益效果
本发明的估测方法,植物叶片无需离体,拍摄仪器也无需改变角度,仅通过一次拍摄即能对其外部表型参数进行估测。估测结果的误差范围较小,且非常稳定。本发明可以用于室内外作物全生育期叶片外部表型参数的快速估测,对作物生长状态的评估及作物产量的预测有着重要作用。
附图说明
图1为处理后的单片点云图像
图2为所构建的绿萝叶片曲面方程模型俯视图
图3为所构建的绿萝叶片曲面方程模型侧视图
图4为绿萝参数曲面方程的叶长叶宽示意图
图5为绿萝参数曲面方程的叶高示意图
图6为本发明的整体流程图
图7为实施例中绿萝叶片叶长实测数据分布图
图8为实施例中绿萝叶片叶宽实测数据分布图
图9为实施例中绿萝叶片叶面积实测数据分布图
图10为实施例中基于几何模型的绿萝叶片叶长估测结果图
图11为实施例中基于几何模型的绿萝叶片叶宽估测结果图
图12为实施例中基于几何模型的绿萝叶片叶面积估测结果图
图13为实施例中基于点云重构的绿萝叶片叶长估测结果图
图14为实施例中基于点云重构的绿萝叶片叶宽估测结果图
图15为实施例中基于点云重构的绿萝叶片叶面积估测结果图
具体实施方式
下面结合实施例对本发明作进一步说明,但本发明的保护范围不限于此:
本发明以绿萝为研究对象,通过消费级RGB-D相机对绿萝进行拍摄,获取绿萝单一角度下的局部点云,对点云数据进行处理后,与预先建立的绿萝叶片几何模型进行匹配寻优,提出了一种根据局部点云获取绿萝叶片尺寸、叶面积的方法。
1实验材料与方法
1.1实验材料
实验选取生长状态良好的长藤大叶绿萝10盆,植株冠层直径约在30-35cm之间,冠层高度在10-15cm之间。实验均匀采集了不同位置的叶片150片,作为研究对象,采集其叶长、叶宽、叶面积3个指标作为叶片外部表型参数信息。
1.2实验数据采集
1.2.1叶片外部表型参数的测定
对于待测叶片,将叶片紧贴叶基剪下,平铺贴于A4大小(210mm*297mm)白纸上,借助游标卡尺测量叶长与叶宽,测量精度为0.01mm。实验采用Kinect V2相机从80cm高度获取叶片彩色图像并进行平面标定与校正,而后通过图像分割提取叶片区域与A4纸区域的二值图像,通过像素点统计,按照与A4纸面积的比例来求取叶面积作为实际测量数据。
1.2.2点云数据采集与处理
1.2.2.1点云数据采集
实验采用微软公司推出的Kinect V2相机借助三脚架、水准仪和伸缩横臂从垂直位姿对绿萝植株进行拍摄,获取绿萝叶片的局部点云。拍摄高度按照误差分析结果固定于80cm,拍摄过程中始终保持相机镜头中轴线垂直于实验台,并保证绿萝植株位于相机正下方,以任意角度放置,每次对绿萝冠层表面进行一次拍摄,获取此刻植株冠层表面的叶片的点云数据,然后进行实际测量并剪去表面叶片,进行下一次拍摄。
数据获取方式采用微软发布的Kinect for Windows SDK 2.0,使用其中的KinectFusion Explorer进行点云数据采集,采取颜色纹理贴图的方式,保存ply格式的点云数据文件,开发软件使用Matlab R2016a,使用Matlab工具箱中提供的calibration工具对数据进行标定,获取镜头畸变参数,生成校正矩阵。
1.2.2.2点云数据处理
Kinect V2相机获取到的初始点云为包含实验台背景的绿萝冠层表面的点云数据。点云数据包含空间点的位置坐标信息和相对应的RGB颜色信息,点云数据的三维坐标系原点以Kinect深度摄像头所在位置,长度单位为m,精度精确到0.001m。
在对绿萝单个叶片进行分割之前,为了提高处理效率,采用最简单有效的直通滤波的方法去除冗余的背景数据与易产生干扰的噪声点,只保留绿萝植株的冠层部分。单个叶片点云的分割主要是通过手动结合K-means算法的算法,将植株冠层表面可见的k个叶片点云进行聚类,对应叶片编号保存为单独的点云文件。分割得到单个叶片的局部点云之后,叶片所包含的点云数据量依然偏大,所以对叶片的局部点云数据进行了精简,只保留了点云的外形轮廓。比较之后采取了包围盒精简算法对叶片局部点云进行精简压缩。由于包围盒算法是对整个点云生成一个包围盒,然后按照给定邻域范围划分为大小相等的小包围盒,以包围盒中心点的坐标来代替。这种算法与随机采样精简相比,不会造成某区域数据点缺失现象,不会导致局部点云外形参数测量结果改变的情况。处理后的单个叶片点云数据如图1所示。
1.3绿萝叶片几何模型的构建与反演
1.3.1基于参数曲面方程的绿萝叶片模型构建
由参考资料可知,叶片外形由叶形、叶尖、叶基和叶缘的边界轮廓形状组成,绿萝叶片呈上窄下宽的卵圆形,叶尖形状急尖,叶基为钝圆形,少数为心形,叶缘为平滑全缘,无锯齿或波浪。叶片自然生长中会在主脉方向与其垂直方向自然弯曲。由于叶片厚度较小,在模拟过程中忽略不计,故采用参数曲面方程来对叶片的外形进行模拟。主要通过参数方程Q(u,v)构建一个长方形平面,然后在x方向上添加一个干扰函数tx1,在y方向上添加三个干扰函数ty1,ty2和ty3生成叶尖与叶基形状,在z方向上添加两个干扰函数得到叶片的弯曲姿态。
这就形成了最基础的长方形平面
为叶片添加干扰函数:
得到最终曲面方程:
根据该方程所构建的绿萝叶片曲面方程模型如图2和图3所示。
由式(3)可知,在绿萝参数曲面方程中,包含h,w,ut,ub,ax,dy,at,ab,xb,yb 10个影响模型尺寸的外形参数,为了更好地观察与对照估测精度,对每个曲面模型的长、宽、高等外形参数进行测量,将模型y方向上的最高点与最低点间的差值作为模型的叶长(记为L),将x方向上的最高点与最低点间的差值作为模型的叶宽(记为W),将z方向上的最高点与最低点间的差值作为模型的高度(记为H),并通过对曲面方程进行插值得到栅格计算出曲面模型的表面积作为叶面积(记为S)。各外形指标示意图如图4和图5所示。
在对10个模型参数进行了敏感性分析与多次试验之后,确定了10个模型参数的取值范围和步长,如表1所示。根据这些参数组合得到7500000组参数方程,对其中的畸形模型进行排除之后,得到15000组模型数据,作为参数反演的训练集与遗传算法遍历的数据库。
1.3.2绿萝叶片外形参数向模型参数的反演
由于模型参数个数较多,步长较小,模型库范围很大,对于后续模型匹配算法的精度和效率都造成了负面影响,所以实验采取SAE稀疏自编码神经网络(SparseAutoEncoder,SAE)来对模型参数进行预测,来缩小在模型库中的遍历范围,提高算法精度与效率。SAE稀疏自编码神经网络是一种无监督的学习方法,它使用反向传播算法来训练权重值,通过自编码器计算出的权重值可以使结果更快地收敛,适合于处理输入数据维数较高的情况,其思路是:将输入数据X映射为一个新的表达Y,输入节点等于输出节点,隐含层的节点数量较小,目的是使输入X经过非线性变换后将特征输入到节点数量较少的隐含层中,通过对样本的训练得到一组权值系数,输入数据借助该权值系数实现高维向低维的映射,实现数据的降维。
本实验以5000条模型外形参数数据作为训练集,建立模型外形参数到内部模型参数之间的关系,以100条外形参数数据做测试,得到对每个内部参数的预测精度如表1最后一列所示。
表1模型参数取值范围与取值步长以及反演精度
在后续的空间匹配开始前,将实测的局部点云数据通过OBB包围盒计算出的叶长、叶宽和叶片高度作为预测数据输入,反演得到10个模型参数,作为遗传算法开始遍历的起点。
1.4绿萝叶片外形指标的估测
本发明目的在于通过固定角度的深度相机对拍摄对象进行一次拍摄即能对其外部表型参数进行估测,所采集到的点云信息并不完整,无法直接从中获取全部的外形参数。本实验采取将局部点云与预先建立的绿萝叶片几何模型库中的模型进行匹配,将曲面方程按照合适的步长进行离散化,得到叶片几何模型的曲面点集,寻找一个与局部点云外形最为接近的叶片几何模型,以其外形参数作为估测得到的叶片外形参数。为了寻找到这个最优匹配模型,需要对几何模型进行空间变换与参数寻优。
1.4.1局部点云与曲面模型离散点集的空间匹配
点云数据在空间三维坐标系中以x,y,z三个坐标轴的位置信息来表示,在曲面模型点集向叶片局部点云进行空间变换匹配的过程中,点集的空间变换系数包括x,y,z三个坐标轴方向的平移距离tx,ty,tz和围绕x,y,z坐标轴的旋转角度α,β,γ。即代表着PSO粒子群优化算法[23]中问题解具有6个自由度。本实验设输入的绿萝叶片局部点云为点集P={mi}(i=1,2,......,n),离散叶片几何模型点集为Q={nj}(j=1,2,......,k)。两点集之间的空间匹配通过一个欧氏空间变换来进行,对曲面模型点集Q乘上一个欧氏空间变换矩阵得到新位置下的点集Q’,计算点与点之间的欧式距离和作为模型之间的匹配度F,设定种群粒子数N=20,最大迭代次数T=300。迭代寻找匹配度最佳的点云位置,实现点集P与点集Q之间的距离最小。空间变换公式如下:
Q'(nj')=H[mi;1] (4)
其中
T=[tx;ty;tz] (7)
式中H为欧式变换矩阵,R为正交旋转矩阵,T为平移矩阵。
匹配度计算公式为
式中di为mi'与nj间的距离
根据以下公式更新粒子的速度和位置,进行迭代
其中:
c1——自我学习因子=1.8
c2——群体学习因子=2.0
rand()——[0,1]之间生成的随机数
pBest——局部最优解,gBest——全局最优解
按照以上公式,可以对输入的局部点云进行距离与角度上的变换,得到与几何模型离散点集最贴合的空间位置。并输出相应的点云和全局最优解。
1.4.2基于参数反演和遗传算法的叶片几何模型寻优
通过粒子群算法,实现了绿萝叶片几何点云和离散化叶片几何模型点集的空间匹配,并得到了衡量空间匹配效果的指标最小距离和F。由于绿萝叶片模型具有w,h,ax,dy,at,ab,ut,ub,xb,yb为影响模型尺寸的10个模型内部参数,这10个参数分别影响着L,W,H,A,S五个外形参数中的一个或多个参数,不同参数的取值都会或多或少地对一个或多个外形参数产生影响,这一点与生物学中的基因与个体表现型的关系十分类似。所以本发明采取遗传算法(Genetic Algorithm,GA)来寻找匹配效果最优的参数组合,对局部点云P生成OBB包围盒,计算其叶长、叶宽和叶高,作为SAE神经网络的预测值输入,分别反演得到该尺寸参数所对应的10个模型参数。实验设定种群规模N=15,最大迭代次数T=5,由于10个模型参数的取值范围都较小,采取实数编码的方式对每个个体生成10位的染色体编码,采取轮盘赌法进行选择,交叉概率为0.75,变异概率为0.05。通过粒子群算法计算其与局部点云间的匹配度得到与叶片局部点云匹配效果最优的模型,迭代后输出匹配度最佳的个体bestindividual和其匹配度bestfitness,解算出几何模型及尺寸参数,从而保证估测精确度。
以上为结合了模型参数反演,粒子群算法与遗传算法的绿萝叶片局部点云估测叶片外部表型参数的方法,总流程图如图6所示。
下面以具体实验论证本发明方案的效果
实验选取了150片长藤大叶种绿萝叶片作为实验样本,利用游标卡尺和Kinect彩色相机对叶片的叶长、叶宽、叶面积进行了测量。表2为绿萝叶片外形参数实测结果统计表,经过统计可知,绿萝叶片的叶长与叶宽分布范围分别为6.86-13.93cm与4.03-10.1cm之间,叶面积的大小分布在19.67-96.7cm2之间。总体来看外形参数分布范围较广,覆盖了绿萝的各生长阶段,避免了样本单一的状况出现,说明实验具有一定的稳定性和普适性。
表2绿萝叶片实测参数统计表
2.2基于几何模型的绿萝叶片外部表型参数估测结果与分析
实验采取了150片绿萝叶片在80cm高度下以垂直位姿获得的150组点云数据作为输入,通过所提出的估测方法得到了相对应的150组外形参数(绿萝叶片的叶长L,叶宽W,叶面积S),估测数据分布如图7-9与表3所示。将这150组外形参数与实测数据进行数学与统计线性回归分析,分析算法估测精度。作为对照,实验通过获取的绿萝叶片多角度局部点云进行重构,生成OBB包围盒得到的尺寸参数,并进行网格化来得到的叶面积数据与估测结果进行对比,分析算法的精确度与性能。
表3基于几何模型的绿萝叶片估测误差统计表
表4基于点云重构的绿萝叶片估测误差统计表
如图10-12所示,横轴为叶片参数的人工实测值,纵轴为基于几何模型的估测值,圆圈表示同一个观测对象的实测值和估测值的位置,以其分布位置拟合一条直线,所得R2表示回归直线对观测值的拟合程度,R2的最大值为1,R2越接近1,说明回归直线对观测值的拟合程度越高,说明估测的精确度与普适性更好;RMSE即为均方根误差,反映真实值与估测值之间的偏差,RMSE的值与数据本身的取值范围和数据量均有一定的影响。
可知:
(1)实验所用的150片叶片大小不一,形态各异,覆盖了绿萝的每个生长周期,数据分布范围较广,如表3所示,该方法对于各叶片的估测中,叶长误差0.01-1.31cm,叶宽误差范围0-1.24cm,叶面积误差0.05-17.41cm2,各个参数的误差均均匀分布,说明方法具有一定的普适性。
(2)由图10-12所示,横轴为本发明提出的基于几何模型的叶片各尺寸的实测值,纵轴为叶片各尺寸的估测值,其线性回归拟合的R2均高于0.85,表明拟合效果较好。RMSE均在允许的偏差范围内,说明本发明提出的方法对于叶片各个外形参数估测的相关较为理想,具有实用性。
(3)如图13-15与表4所示,基于点云重构的估测方法对于叶长估测的误差范围0.02-4.39cm,叶宽估测的误差范围0.01-3.27,叶面积估测效果较差,在0.03-20.24cm2之间,横轴为重构叶片点云各外形参数的实测值,纵轴为估测值,其线性回归拟合的R2均在0.6-0.8之间,略低于本发明提出的估测方法。但其RMSE也在允许的偏差范围内。
(4)横观图10-12与表5,可看出3个外形参数中,本发明方法对于叶面积的估测效果最好,平均误差仅有3.42cm2,R2为0.95;对于叶长的估测效果最不理想,但其平均误差也仅有0.46cm,R2为0.88均在允许范围内。总的来看,本发明方法对于绿萝叶片的外部表型参数的估测效果较好,有一定的稳定性与精确度。
表5两种方法的绿萝叶片参数估测效果
(5)结合表5与表6,3个外形参数中,叶长、叶宽与叶面积参数通过本发明的方法估测的效果好于直接拼接点云估测的结果,叶面积参数的估测明显优于直接拼接点云的效果。
表6两种方法的绿萝叶片参数估测平均误差统计表
3结论
本发明针对观叶植物叶片外部表型参数的测量过程复杂,会对植株造成伤害的问题,以绿萝为研究对象,提出了一种基于几何模型和粒子群算法结合遗传算法的叶片外部表型参数的三维估测方法,通过对150片绿萝叶片进行实验与结果分析后,得到以下结论。
(1)通过曲面参数方程建立了绿萝叶片外形仿真的几何模型库,通过深度学习的方法实现了局部外形参数到内部模型参数的反演,反演结果输入粒子群算法结合遗传算法,实现了局部点云与几何模型的空间匹配,遍历寻优找到了与局部点云最贴合的几何模型。
(2)本发明所提出的估测方法所得的绿萝叶片外部表型参数与真实测量值有较高的相关性,线性回归的R2均在0.85以上,RMSE均在允许范围内,在对于叶长、叶宽与叶面积三个参数的估测中,对叶长估测的平均误差为0.46cm,对叶宽估测的平均误差为0.41cm,对叶面积估测的平均误差为3.42cm2,估测结果的误差范围较小,且非常稳定,说明算法具有一定实用性。
(3)本发明方法优势在于植物叶片不需离体,拍摄仪器也不需要改变角度,为植物培育过程中对植物生长状态进行实时观测提供了方法与可能。
本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (8)
1.一种基于几何模型的绿萝叶片外部表型参数的三维估测方法,其特征在于它包括以下步骤:
S1建立绿萝叶片的几何模型数据库;
S2固定RGB-D相机角度与高度对绿萝进行一次拍摄,获得绿萝叶片的局部点云数据;
S3将S2获得的局部点云数据与S1中的几何模型数据库进行空间匹配与参数寻优,获得最接近的几何模型;
S4计算该几何模型的叶片外部表型参数,作为估测结果;
其中:叶片外部表型参数包括叶长、叶宽、叶面积,叶长为叶尖到叶基的平铺距离,在几何模型中将y方向上的最高点与最低点间的差值作为模型的叶长L;叶宽为叶子两侧最宽点间的平铺距离,在几何模型中将x方向上的最高点与最低点间的差值作为模型的叶宽W;叶面积指叶片的平铺面积,在几何模型中通过累加计算曲面网格面积作为叶面积S。
3.根据权利要求2所述的方法,其特征在于采用SAE稀疏自编码神经网络来对模型参数进行预测,实现数据的降维。
4.根据权利要求1所述的方法,其特征在于S3的匹配过程中,使用粒子群优化算法进行空间匹配,使用遗传算法对几何模型数据库进行遍历。
5.根据权利要求4所述的方法,其特征在于所述遗传算法遍历的起点通过以下步骤获得:
S3-1-1、基于S2中绿萝叶片的局部点云数据,通过OBB包围盒估算出叶长、叶宽和叶片高度数据;
S3-1-2将S3-1的结果作为预测输入,反演获得的绿萝叶片几何模型内部参数,建立该几何模型作为遗传算法遍历的起点。
8.根据权利要求6所述的方法,其特征在于遗传算法中,以10个模型内部参数以浮点编码作为染色体,以匹配度F作为适应度函数,以0.75的单点交叉概率与0.05的变异概率进行遗传操作,得出的适应性最佳个体解码获得几何模型并对其外部表型参数进行测量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010370531.5A CN111583328B (zh) | 2020-05-06 | 2020-05-06 | 基于几何模型的绿萝叶片外部表型参数的三维估测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010370531.5A CN111583328B (zh) | 2020-05-06 | 2020-05-06 | 基于几何模型的绿萝叶片外部表型参数的三维估测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111583328A true CN111583328A (zh) | 2020-08-25 |
CN111583328B CN111583328B (zh) | 2021-10-22 |
Family
ID=72111973
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010370531.5A Expired - Fee Related CN111583328B (zh) | 2020-05-06 | 2020-05-06 | 基于几何模型的绿萝叶片外部表型参数的三维估测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111583328B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112116710A (zh) * | 2020-09-23 | 2020-12-22 | 电子科技大学 | 基于趋势约束的曲面重建方法 |
CN112435239A (zh) * | 2020-11-25 | 2021-03-02 | 南京农业大学 | 基于MRE-PointNet和自编码器模型的绿萝叶片外形参数估测方法 |
CN113409265A (zh) * | 2021-06-11 | 2021-09-17 | 华中农业大学 | 全生育期番茄3d表型动态获取和分析方法及系统 |
WO2022041437A1 (zh) * | 2020-08-31 | 2022-03-03 | 深圳大学 | 植物模型生成方法、装置、计算机设备和存储介质 |
CN114399545A (zh) * | 2022-02-11 | 2022-04-26 | 三峡大学 | 采用最小二乘法拟合参数的叶面积分类计算方法 |
CN114626426A (zh) * | 2020-12-11 | 2022-06-14 | 中国科学院沈阳自动化研究所 | 基于K-means优化算法的工业设备行为检测方法 |
CN116704497A (zh) * | 2023-05-24 | 2023-09-05 | 东北农业大学 | 一种基于三维点云的油菜表型参数提取方法及系统 |
Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101639946A (zh) * | 2009-08-26 | 2010-02-03 | 北京农业信息技术研究中心 | 植物叶片三维模型几何描述和曲面重建方法及系统 |
CN101980303A (zh) * | 2010-10-09 | 2011-02-23 | 北京农业信息技术研究中心 | 植物花朵建模方法 |
CN102289846A (zh) * | 2011-09-08 | 2011-12-21 | 北京林业大学 | 一种基于广义参数化建模的树木模拟方法 |
CN103164870A (zh) * | 2013-04-15 | 2013-06-19 | 王曦 | 一种由生物体点云构建网格面的方法 |
CN103398957A (zh) * | 2013-08-12 | 2013-11-20 | 河海大学 | 基于高光谱与激光雷达提取叶面积垂直分布的方法 |
CN103559736A (zh) * | 2013-11-11 | 2014-02-05 | 程志全 | 表演者的无标记点三维实时捕获系统 |
US20150035942A1 (en) * | 2013-08-02 | 2015-02-05 | Varian Medical Systems, Inc. | Camera systems and methods for use in one or more areas in a medical facility |
US9142056B1 (en) * | 2011-05-18 | 2015-09-22 | Disney Enterprises, Inc. | Mixed-order compositing for images having three-dimensional painting effects |
CN105241377A (zh) * | 2015-09-16 | 2016-01-13 | 中国农业大学 | 基于云镜摄系统参数和视频帧的植物三维测量方法和系统 |
CN105608743A (zh) * | 2015-12-24 | 2016-05-25 | 北京农业信息技术研究中心 | 一种植物掌状叶片多尺度建模方法 |
US9609307B1 (en) * | 2015-09-17 | 2017-03-28 | Legend3D, Inc. | Method of converting 2D video to 3D video using machine learning |
CN107016725A (zh) * | 2017-02-27 | 2017-08-04 | 电子科技大学 | 一种顾及LiDAR点云数据分布差异的植被三维实景建模方法 |
CN107369206A (zh) * | 2017-06-08 | 2017-11-21 | 北京农业信息技术研究中心 | 一种玉米群体三维模型构建方法及系统 |
CN107402001A (zh) * | 2017-06-30 | 2017-11-28 | 上海建工集团股份有限公司 | 基于3d扫描的超高层建筑施工偏差数字化检验系统及方法 |
US20180342176A1 (en) * | 2016-10-23 | 2018-11-29 | Eurica Califorrniaa | Self-scrolling Braille |
CN109003516A (zh) * | 2018-07-27 | 2018-12-14 | 国家电网有限公司 | 一种特高压交流变压器工艺质量管控仿真培训系统 |
CN109945845A (zh) * | 2019-02-02 | 2019-06-28 | 南京林业大学 | 一种私家园林空间数字化测绘和三维可视化方法 |
CN110136246A (zh) * | 2019-05-15 | 2019-08-16 | 南京林业大学 | 基于类主干点的三维树木几何模型重建方法 |
CN110335234A (zh) * | 2019-04-28 | 2019-10-15 | 武汉大学 | 一种基于古文物LiDAR点云的三维变化检测方法 |
CN110443840A (zh) * | 2019-08-07 | 2019-11-12 | 山东理工大学 | 实物表面采样点集初始配准的优化求解方法 |
CN110769240A (zh) * | 2019-08-23 | 2020-02-07 | 上海亦我信息技术有限公司 | 基于拍照的3d建模系统及方法、自动3d建模装置及方法 |
CN111062988A (zh) * | 2019-11-29 | 2020-04-24 | 佛山科学技术学院 | 一种基于局部点云的葡萄位姿估计方法 |
-
2020
- 2020-05-06 CN CN202010370531.5A patent/CN111583328B/zh not_active Expired - Fee Related
Patent Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101639946A (zh) * | 2009-08-26 | 2010-02-03 | 北京农业信息技术研究中心 | 植物叶片三维模型几何描述和曲面重建方法及系统 |
CN101980303A (zh) * | 2010-10-09 | 2011-02-23 | 北京农业信息技术研究中心 | 植物花朵建模方法 |
US9142056B1 (en) * | 2011-05-18 | 2015-09-22 | Disney Enterprises, Inc. | Mixed-order compositing for images having three-dimensional painting effects |
CN102289846A (zh) * | 2011-09-08 | 2011-12-21 | 北京林业大学 | 一种基于广义参数化建模的树木模拟方法 |
CN103164870A (zh) * | 2013-04-15 | 2013-06-19 | 王曦 | 一种由生物体点云构建网格面的方法 |
US20150035942A1 (en) * | 2013-08-02 | 2015-02-05 | Varian Medical Systems, Inc. | Camera systems and methods for use in one or more areas in a medical facility |
CN103398957A (zh) * | 2013-08-12 | 2013-11-20 | 河海大学 | 基于高光谱与激光雷达提取叶面积垂直分布的方法 |
CN103559736A (zh) * | 2013-11-11 | 2014-02-05 | 程志全 | 表演者的无标记点三维实时捕获系统 |
CN105241377A (zh) * | 2015-09-16 | 2016-01-13 | 中国农业大学 | 基于云镜摄系统参数和视频帧的植物三维测量方法和系统 |
US9609307B1 (en) * | 2015-09-17 | 2017-03-28 | Legend3D, Inc. | Method of converting 2D video to 3D video using machine learning |
CN105608743A (zh) * | 2015-12-24 | 2016-05-25 | 北京农业信息技术研究中心 | 一种植物掌状叶片多尺度建模方法 |
US20180342176A1 (en) * | 2016-10-23 | 2018-11-29 | Eurica Califorrniaa | Self-scrolling Braille |
CN107016725A (zh) * | 2017-02-27 | 2017-08-04 | 电子科技大学 | 一种顾及LiDAR点云数据分布差异的植被三维实景建模方法 |
CN107369206A (zh) * | 2017-06-08 | 2017-11-21 | 北京农业信息技术研究中心 | 一种玉米群体三维模型构建方法及系统 |
CN107402001A (zh) * | 2017-06-30 | 2017-11-28 | 上海建工集团股份有限公司 | 基于3d扫描的超高层建筑施工偏差数字化检验系统及方法 |
CN109003516A (zh) * | 2018-07-27 | 2018-12-14 | 国家电网有限公司 | 一种特高压交流变压器工艺质量管控仿真培训系统 |
CN109945845A (zh) * | 2019-02-02 | 2019-06-28 | 南京林业大学 | 一种私家园林空间数字化测绘和三维可视化方法 |
CN110335234A (zh) * | 2019-04-28 | 2019-10-15 | 武汉大学 | 一种基于古文物LiDAR点云的三维变化检测方法 |
CN110136246A (zh) * | 2019-05-15 | 2019-08-16 | 南京林业大学 | 基于类主干点的三维树木几何模型重建方法 |
CN110443840A (zh) * | 2019-08-07 | 2019-11-12 | 山东理工大学 | 实物表面采样点集初始配准的优化求解方法 |
CN110769240A (zh) * | 2019-08-23 | 2020-02-07 | 上海亦我信息技术有限公司 | 基于拍照的3d建模系统及方法、自动3d建模装置及方法 |
CN111062988A (zh) * | 2019-11-29 | 2020-04-24 | 佛山科学技术学院 | 一种基于局部点云的葡萄位姿估计方法 |
Non-Patent Citations (3)
Title |
---|
WEN WEILIANG等: "The parametric geometric modeling method for lettuce based-template", 《CHINESE AGRICULTURAL SCIENCE BULLETIN》 * |
周南: "基于变形的三维植物叶片可视化造型研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
袁晓敏等: "番茄植株三维形态精确重构研究", 《农业机械学报》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022041437A1 (zh) * | 2020-08-31 | 2022-03-03 | 深圳大学 | 植物模型生成方法、装置、计算机设备和存储介质 |
CN112116710A (zh) * | 2020-09-23 | 2020-12-22 | 电子科技大学 | 基于趋势约束的曲面重建方法 |
CN112435239A (zh) * | 2020-11-25 | 2021-03-02 | 南京农业大学 | 基于MRE-PointNet和自编码器模型的绿萝叶片外形参数估测方法 |
CN112435239B (zh) * | 2020-11-25 | 2024-02-23 | 南京农业大学 | 基于MRE-PointNet和自编码器模型的绿萝叶片外形参数估测方法 |
CN114626426A (zh) * | 2020-12-11 | 2022-06-14 | 中国科学院沈阳自动化研究所 | 基于K-means优化算法的工业设备行为检测方法 |
CN113409265A (zh) * | 2021-06-11 | 2021-09-17 | 华中农业大学 | 全生育期番茄3d表型动态获取和分析方法及系统 |
CN113409265B (zh) * | 2021-06-11 | 2022-04-12 | 华中农业大学 | 全生育期番茄3d表型动态获取和分析方法及系统 |
CN114399545A (zh) * | 2022-02-11 | 2022-04-26 | 三峡大学 | 采用最小二乘法拟合参数的叶面积分类计算方法 |
CN114399545B (zh) * | 2022-02-11 | 2024-04-26 | 三峡大学 | 采用最小二乘法拟合参数的叶面积分类计算方法 |
CN116704497A (zh) * | 2023-05-24 | 2023-09-05 | 东北农业大学 | 一种基于三维点云的油菜表型参数提取方法及系统 |
CN116704497B (zh) * | 2023-05-24 | 2024-03-26 | 东北农业大学 | 一种基于三维点云的油菜表型参数提取方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111583328B (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111583328B (zh) | 基于几何模型的绿萝叶片外部表型参数的三维估测方法 | |
CN107832681B (zh) | 联合LiDAR点云和同步遥感影像的森林单木树高估算方法 | |
Jin et al. | Stem–leaf segmentation and phenotypic trait extraction of individual maize using terrestrial LiDAR data | |
Wu et al. | MVS-Pheno: a portable and low-cost phenotyping platform for maize shoots using multiview stereo 3D reconstruction | |
CN102314546B (zh) | 基于虚拟植物的植物生长生物量变化估算方法 | |
CN102903145B (zh) | 植物群体形态结构三维重建方法 | |
CN113920106B (zh) | 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法 | |
Xiao et al. | Image-based dynamic quantification of aboveground structure of sugar beet in field | |
Bohn Reckziegel et al. | Modelling and comparing shading effects of 3D tree structures with virtual leaves | |
Teng et al. | Three-dimensional reconstruction method of rapeseed plants in the whole growth period using RGB-D camera | |
CN110610438B (zh) | 一种农作物冠层叶柄夹角计算方法及系统 | |
Wu et al. | Plant 3D reconstruction based on LiDAR and multi-view sequence images | |
CN109191519A (zh) | 一种树木树干体积估算模型构建方法、体积估算方法及系统 | |
Li et al. | Three-dimensional reconstruction and phenotype measurement of maize seedlings based on multi-view image sequences | |
Liu et al. | Canopy parameter estimation of citrus grandis var. Longanyou based on Lidar 3d point clouds | |
Zhu et al. | A calculation method of phenotypic traits based on three-dimensional reconstruction of tomato canopy | |
CN102930596B (zh) | 一种藤蔓类植物的三维模型建立方法 | |
CN107292957B (zh) | 一种作物冠层三维重建方法及装置 | |
Ma et al. | A method for calculating and simulating phenotype of soybean based on 3D reconstruction | |
Song et al. | Dynamic detection of three-dimensional crop phenotypes based on a consumer-grade RGB-D camera | |
Li et al. | A technique system for the measurement, reconstruction and character extraction of rice plant architecture | |
Bao et al. | Field-based robotic phenotyping for sorghum biomass yield component traits characterization using stereo vision | |
CN107369206B (zh) | 一种玉米群体三维模型构建方法及系统 | |
CN113487728B (zh) | 一种鱼体模型确定方法及系统 | |
Hou et al. | Simplification of leaf surfaces from scanned data: effects of two algorithms on leaf morphology |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211022 |