CN111724433B - 一种基于多目视觉的作物表型参数提取方法及系统 - Google Patents
一种基于多目视觉的作物表型参数提取方法及系统 Download PDFInfo
- Publication number
- CN111724433B CN111724433B CN202010587367.3A CN202010587367A CN111724433B CN 111724433 B CN111724433 B CN 111724433B CN 202010587367 A CN202010587367 A CN 202010587367A CN 111724433 B CN111724433 B CN 111724433B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- crop
- dimensional point
- plant
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000007781 pre-processing Methods 0.000 claims abstract description 25
- 238000001914 filtration Methods 0.000 claims abstract description 23
- 244000038559 crop plants Species 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000005070 sampling Methods 0.000 claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 6
- 210000000056 organ Anatomy 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 230000012010 growth Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000009792 diffusion process Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 4
- 241000196324 Embryophyta Species 0.000 description 53
- 238000005516 engineering process Methods 0.000 description 5
- 240000008067 Cucumis sativus Species 0.000 description 4
- 230000001066 destructive effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 235000010799 Cucumis sativus var sativus Nutrition 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000009395 breeding Methods 0.000 description 3
- 230000001488 breeding effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 240000002024 Gossypium herbaceum Species 0.000 description 2
- 235000004341 Gossypium herbaceum Nutrition 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 235000013305 food Nutrition 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000012247 phenotypical assay Methods 0.000 description 1
- 230000008635 plant growth Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多目视觉的作物表型参数提取方法及系统,通过MVS方法重建得到作物群体的三维点云,通过降采样滤波、统计去噪预处理方法减少三维点云中的点数量并去除离群点,通过RANSAC去除地面点云并参考地面提取出株高信息,通过欧式聚类算法及区域增长算法提取出植株个体以及单个叶片的点云,最后通过Delaunay三角剖分算法进行点云表面重建并进行叶长和叶宽表型参数的计算;本发明仅需要一台数码相机,相较于双目立体视觉方法,重建准确稠密三维点云的计算代价更低,不需要复杂的校准过程;重建效果良好,具有真实作物的纹理与色彩信息;无接触式地无损测量作物植株的表型参数;为MVS提供快速重建三维模型,低成本测量植株表型参数提供了可行性方案。
Description
技术领域
本发明涉及作物表型参数提取,具体是一种基于多目视觉的作物表型参数提取方法及系统。
背景技术
在农业领域中,为了应对于植物基因型组学分析技术的发展,植物表型分析技术的发展得到迫切需要。育种科学家们需要结合基因序列信息和对应的作物表型信息才可以筛选出高产量、高质量的优质基因,从而满足未来粮食产量的增长需求。因此,滞后的表型测量技术会制约育种科学家挖掘出对调控作物性状的基因信息。植物的高通量,高精度,无损和无损表型测量已成为农业领域的关键问题。研究人员对植物表型分析技术进行了许多探索,例如,部分研究者使用L系统根据主干骨骼和外部轮廓数据模拟出形状相似的树;部分研究者提出了一种通过结合图像序列和L系统来测量植物三维形态特征的方法,并建立了植物生长时间序列的生长方程和视觉模型。这些方法对植物表型的无损监测有很好的效果,但是专业化程度过高,需要对植物结构有一定的了解才能很好地使用。
在现代农业中,随着传感器技术的发展,有部分设备已被用于通过获取植物的三维点云模型来获取植物表型参数,例如激光雷达和lidar扫描。其中,三维激光扫描技术是一种先进的自动化高精度三维扫描技术,具有效率高,无损,实时性强,数据采集全面,精度高的优点。基于数字图像的植物表型测量方法也受到越来越多的关注,其中有通过二维图像获得植物表型信息。例如有研究者通过单个摄像机获得棉花植株图像,并在二维图像空间中获得棉花植株的株高表型信息。还有研究人员通过深度图像重建了植物的三维信息以测量表型参数。
传统的植物表型信息获取通常是通过手工使用直尺、卷尺等测量工具直接接触农作物来进行测量,手工测量的数据往往具有主观因素的误差,不仅效率低下,还会破坏植物以造成不可逆转的影响。为此,现代农业育种领域需要一种高通量、高精度、无接触的表型测定技术以满足高产量的粮食需求。
围绕植物表型测量的问题,由于植物器官之间的遮挡,通过单一图像获取的二维信息往往难以完整反应出农作物的真实空间形态,具有一定的局限性,因此具有深度信息的三维特征提取在近些年得到研究人员更多的关注。
基于机器视觉的三维信息获取方式有主动式和被动式。主动式获取如lidar扫描技术,但是其价格通常较为昂贵,而且受限于在一定的环境下才能使用。而被动式获取方式有双目立体视觉,通过两个间隔一定距离的摄像头对目标物体进行成像,通过匹配两张图像的特征点计算出视差,从而得到深度信息进而对目标物体进行三维成像。而立体视觉重建的效果一般需要较高的计算代价,对环境的光照较为敏感,并且一样会受到植株器官本身遮挡的影响。因此,基于多视角图像的机器视觉可以解决立体视觉中匹配多义性的问题,从而突破双目视觉的局限性。
发明内容
本发明的目的在于针对农业领域作物表型测量的需要,而提供一种基于多目视觉的作物表型参数提取方法及系统,通过数码相机获取作物群体的多视角图像,重建出作物群体的三维点云模型,通过数据预处理、特征提取、参数计算等步骤提取出作物植株的表型参数如株高、叶长和叶宽,是一种成本较低、适用性强的作物表型三维测量方法。
实现本发明目的的技术方案是:
一种基于多目视觉的作物表型参数提取方法,包括如下步骤:
S1、用数码相机从多个角度拍摄作物群体的图像;
S2、将作物群体的图像输入到VisualSFM软件中,采用运动恢复结构(Structurefrom Motion,SFM)自动重建作物群体的稀疏点云,然后使用多视图系统(Multi ViewSystem,MVS)生成密集的作物群体三维点云;
S3、对作物群体三维点云进行降采样、去噪预处理操作;
S4、对经过预处理后的作物群体三维点云通过地面三维点云提取作物植株的株高信息;
S5、去除地面三维点云,生成仅包含作物群体的三维点云;
S6、使用欧式聚类分割从仅包含作物群体的三维点云中提取单株作物的三维点云;
S7、使用区域生长算法从单株作物三维点云中提取叶片三维点云;
S8、使用Delaunay三角剖分算法重建作物叶片的三角形网格,然后采用表面投影的方法进行表型参数的测量,得到作物表型参数。
步骤1)中,所述的多个角度拍摄作物群体的图像,需要在拍摄前将作物移植到圆形栽培盆中,每株作物使用一个栽培盆,相邻栽培盆保持一定的距离,且使用相同内圆直径Inner_diameter和盆高度Basin_height栽培盆,内圆直径Inner_diameter和盆高度Basin_height作为点云尺寸和作物无力尺寸的参考标准;拍摄的方式是围绕作物群体一周,以半球形形状分布的方式进行拍摄,相邻摄像头位置之间垂直和水平的夹角为20-30°,还拍摄植株顶部位置,使获得图像涵盖植株群体大部分视角。
步骤2)中,所述的作物群体三维点云,生成方式包括如下步骤:
2-1)使用SIFT点特征检测算法提取和描述图像中的特征,并使用RANSAC算法进行过滤排除错误匹配;
2-2)使用SFM方法迭代求解相机参数和三维点坐标,即重建作物的三维稀疏点云;
2-3)使用CMVS方法对图像进行聚类以减少密集重建的数据量,然后在局部光度一致性的约束下使用基于稀疏点云的PMVS匹配,扩散和过滤后生成全局色彩,以生成真实色彩的密集点云。
步骤3)中,所述的降采样、去噪预处理操作,包括如下步骤:
3-1)对步骤2)获得的密集的作物群体三维点云,使用CloudCompare软件手动删除一些来自背景的冗余点云,并保留作物三维点云和部分地面三维点云;
3-2)使用体素滤波算法对三维点云进行降采样,减少三维点云的数量而不改变点云的形状和结构,从而可以加快后续计算的处理速度;
所述的体素滤波算法,该算法设置的滤波体素网格的大小为0.02m。
3-3)采用统计滤波法去除离群值,对每一个点,计算该点到其所有临近点的平均距离,将得到的结果假设为高斯分布,平均距离在设定的阈值范围之外的点即为离群点,将其去除,降低后续测量的误差;
所述的统计滤波法,该算法中设置的临近点数量为50,判断是否为离群点的阈值为1.0。
步骤4)中,所述株高信息,是使用CloudCompare对点云进行平移或旋转变换,使得地面三维点云与xoy平面平行,经过变换后的点云的z轴字段值即为点云的高度特征,从而得到植株三维点云中作物的株高信息,变换公式为下述的公式(1)、公式(2)、公式(3)和公式(4):
公式(1)中,x、y、z是点云的原始空间坐标,x'、y'、z'是经过平移变换后的空间坐标,tx、ty、tz分别是在x、y、z坐标方向上移动的距离;
公式(2)、(3)(4)是输入点云分别为按x轴旋转、y轴旋转、z轴旋转的公式,x、y、z是点云的原始空间坐标,x'、y'、z'是经过旋转变换后的空间坐标,θ为指定的旋转角。
步骤5)中,所述的去除地面三维点云,是使用RANSAC方法估计平面模型系数,提取出地面三维点云并将其去除,最终得到的点云具有少量噪声的作物和盆,即生成仅包含作物群体的三维点云;
所述的RANSAC方法,该算法设置限制局内点到模型的距离阈值为0.05m。
步骤6)中,所述的提取单株作物的三维点云,是使用欧式聚类方法来分离每棵作物,在该方法中,设置近邻搜索的半径为0.12m,设置一个聚类需要的最少点数目为3500,设置一个聚类需要的最大点数目为50000。
步骤7)中,所述的提取叶片三维点云,是通过区域增长算法分离叶片的三维点云,从而进一步提取单株作物上的叶片器官;区域增长算法的输出是一组点云群集,每个群集包含一组点,同一组中的点具有相同的特性,并被视为同一光滑表面的一部分。区域增长算法的步骤是先根据每个点的曲率值对所有点进行排序,然后以最小曲率值的点作为生长起点开始区域的增长,在设置的邻域中,根据平滑度和曲率的约束准则将相似的点合并,从而生长区域,直到没有满足条件的点被合并为止。在该区域增长算法中,设置一个聚类需要的最少点数目为120,设置一个聚类需要的最大点数目为30000,设置平滑度阈值大小为设置曲率阈值大小为2.2,设置邻域搜索数量为30。
步骤8)中,所述的表型参数的测量,是测量作物叶片的叶片长度和宽度,使用Delaunay三角剖分算法将叶片点云的表面重建为三角形网格,通过选择叶尖叶基点,计算投影在重建表面的路径以计算叶片长度和叶片宽度,根据步骤1)获得的内圆直径Inner_diameter或盆高度Basin_height对点云尺寸进行校正,从而在点云空间中获得植株的真实尺寸,校正参数公式为:
公式(5)中,c为校正系数,dreal为内圆直径或盆高度真实尺寸的数值,destimate为点云重建后对应的估计值。
一种基于多目视觉的作物表型参数提取系统,包括图像预处理模块、作物群体点云生成与预处理模块、植株高度提取模块、植株个体提取模块、叶片分割模块和计算叶长叶宽模块,其中:
所述的图像预处理模块,用于对利用数码相机获取的作物群体多角度图像进行基本的预处理并输入到作物群体点云生成与预处理模块中;
所述的作物群体点云生成与预处理模块,用于对图像预处理模输入的作物群体多角度图像进一步处理,基于VisualSFM软件提供的函数实现作物群体三维点云的生成和降采样、去噪处理;
所述的植株高度提取模块,用于对通过作物群体点云生成与预处理模块处理得到的作物群体三维点云计算出作物植株的高度;
所述的植株个体提取模块,用于从作物群体点云生成与预处理模块处理得到的作物群体三维点云中,将群体中的每个作物植株进行分割,得到单棵作物的三维点云;
所述的叶片分割模块,用于对植株个体提取模块分割得到的每个作物植株的三维点云,从点云中将植株上的每片叶子分割出来;
所述的计算叶长叶宽模块,用于对叶片分割模块分割得到的每片叶子的三维点云中,计算出叶片的长度和宽度。
本发明提供的一种基于多目视觉的作物表型参数提取方法及系统,通过MVS方法重建得到作物群体的三维点云,通过降采样滤波、统计去噪等预处理方法减少三维点云中的点数量并去除离群点,再通过RANSAC去除地面点云并参考地面提取出株高信息,通过欧式聚类算法及区域增长算法提取出植株个体以及单个叶片的点云,最后通过Delaunay三角剖分算法进行点云表面重建并进行叶长和叶宽等表型参数的计算。与现有技术相比,具有如下优点:
1)相较于其他传感器设备,本发明使用的成本较低,仅需要一台数码相机,相较于双目立体视觉方法,重建准确稠密三维点云的计算代价更低,不需要复杂的校准过程;
2)重建效果良好,如图2所示,具有真实作物的纹理与色彩信息;
3)无接触式地无损测量作物植株的表型参数,如株高,叶长和叶宽;
4)为MVS提供快速重建三维模型,低成本测量植株表型参数提供了可行性方案;
5)本发明可以应用于高度不超过3米的各种单叶植物。
附图说明
图1为一种基于多目视觉的作物表型参数提取方法的流程图;
图2为实施例中重建生成的黄瓜群体三维点云;
图3为实施例中根据地面三维点云提取出的株高信息;
图4为实施例中取出地面三维点云的示意图;
图5为实施例中从群体中提取出的植株个体示意图;
图6为提取的植株叶片器官示意图;
图7为叶片点云表面重建及叶宽计算过程示意图;
图8为一种基于多目视觉的作物表型参数提取系统的结构框图。
具体实施方式
下面结合附图和实施例对本发明内容做进一步阐述,但不是对本发明的限定。
实施例:
本实施例使用黄瓜植株作为作物群体,对黄瓜的表型参数进行提取,具体如下:
如图1所示,一种基于多目视觉的作物表型参数提取方法,包括如下步骤:
S1、用数码相机从多个角度拍摄作物群体的图像;在拍摄前将作物移植到圆形栽培盆中,每株作物使用一个栽培盆,相邻栽培盆保持一定的距离,且使用相同内圆直径Inner_diameter和盆高度Basin_height栽培盆,内圆直径Inner_diameter和盆高度Basin_height作为点云尺寸和作物无力尺寸的参考标准;拍摄的方式是围绕作物群体一周,以半球形形状分布的方式进行拍摄,相邻摄像头位置之间垂直和水平间距为20-30°,还拍摄植株顶部位置,使获得图像涵盖植株群体大部分视角。
S2、将作物群体的图像输入到VisualSFM软件中,采用运动恢复结构(Structurefrom Motion,SFM)自动重建作物群体的稀疏点云,然后使用多视图系统(Multi ViewSystem,MVS)生成密集的作物群体三维点云,生成方式包括如下步骤:
2-1)使用SIFT点特征检测算法提取和描述图像中的特征,并使用RANSAC算法进行过滤排除错误匹配;
2-2)使用SFM方法迭代求解相机参数和三维点坐标,即重建作物的三维稀疏点云;
2-3)使用CMVS方法对图像进行聚类以减少密集重建的数据量,然后在局部光度一致性的约束下使用基于稀疏点云的PMVS匹配,扩散和过滤后生成全局色彩,以生成真实色彩的密集点云;得到的黄瓜作物群体三维点云如图2所示。
S3、对作物群体三维点云进行降采样、去噪预处理操作,包括如下步骤:
3-1)对步骤2)获得的密集的作物群体三维点云,使用CloudCompare软件手动删除一些来自背景的冗余点云,并保留作物三维点云和部分地面三维点云;
3-2)使用体素滤波算法对三维点云进行降采样,减少三维点云的数量而不改变点云的形状和结构,从而可以加快后续计算的处理速度;
所述的体素滤波算法,该算法设置的滤波体素网格的大小为0.02m。
3-3)采用统计滤波法去除离群值,对每一个点,计算该点到其所有临近点的平均距离,将得到的结果假设为高斯分布,平均距离在设定的阈值范围之外的点即为离群点,将其去除,降低后续测量的误差;
所述的统计滤波法,该算法中设置的临近点数量为50,判断是否为离群点的阈值为1.0。
S4、对经过预处理后的作物群体三维点云通过地面三维点云提取作物植株的株高信息;具体是使用CloudCompare对点云进行平移或旋转变换,使得地面三维点云与xoy平面平行,经过变换后的点云的z轴字段值即为点云的高度特征,从而得到植株三维点云中作物的株高信息,如图3所示,变换公式为下述的公式(1)、公式(2)、公式(3)和公式(4):
公式(1)中,x、y、z是点云的原始空间坐标,x'、y'、z'是经过平移变换后的空间坐标,tx、ty、tz分别是在x、y、z坐标方向上移动的距离;
公式(2)、(3)(4)是输入点云分别为按x轴旋转、y轴旋转、z轴旋转的公式,x、y、z是点云的原始空间坐标,x'、y'、z'是经过旋转变换后的空间坐标,θ为指定的旋转角。
S5、去除地面三维点云,生成仅包含作物群体的三维点云;具体是使用RANSAC方法估计平面模型系数,提取出地面三维点云并将其去除,最终得到的点云具有少量噪声的作物和盆,即生成仅包含作物群体的三维点云,如图4所示;
所述的RANSAC方法,该算法设置限制局内点到模型的距离阈值为0.05m。
S6、使用欧式聚类分割从仅包含作物群体的三维点云中提取单株作物的三维点云,具体是使用欧式聚类方法来分离每棵作物,在该方法中,设置近邻搜索的半径为0.12m,设置一个聚类需要的最少点数目为3500,设置一个聚类需要的最大点数目为50000,类聚结果如图5所示。
S7、使用区域生长算法从单株作物三维点云中提取叶片三维点云;是通过区域增长算法分离叶片的三维点云,从而进一步提取单株作物上的叶片器官;区域增长分割的目标是根据点云平滑度约束聚集特征足够相近的点,从而可以分割具有相同特征的连接区域。区域增长算法的输出是一组点云群集,每个群集包含一组点,同一组中的点具有相同的特性,并被视为同一光滑表面的一部分;首先,它根据每个点的曲率值对其进行排序;然后,算法以最小曲率值的点开始区域的增长;在该区域增长算法中,设置一个聚类需要的最少点数目为120,设置一个聚类需要的最大点数目为30000,设置平滑度阈值大小为设置曲率阈值大小为2.2,设置邻域搜索数量为30,分割结果如图6所示。
S8、使用Delaunay三角剖分算法重建作物叶片的三角形网格,然后采用表面投影的方法进行表型参数的测量,得到作物表型参数;型参数的测量,是测量作物叶片的叶片长度和宽度,使用Delaunay三角剖分算法将叶片点云的表面重建为三角形网格,通过选择叶尖叶基点,计算投影在重建表面的路径以计算叶片长度和叶片宽度,如图7所示,根据步骤1)获得的内圆直径Inner_diameter或盆高度Basin_height对点云尺寸进行校正,从而在点云空间中获得植株的真实尺寸,校正参数公式为:
公式(5)中,c为校正系数,dreal为内圆直径或盆高度真实尺寸的数值,destimate为点云重建后对应的估计值。
一种基于多目视觉的作物表型参数提取系统,如图8所示,包括图像预处理模块1、作物群体点云生成与预处理模块2、植株高度提取模块3、植株个体提取模块4、叶片分割模块5和计算叶长叶宽模块6,其中:
所述的图像预处理模块1,用于对利用数码相机获取的作物群体多角度图像进行基本的预处理并输入到作物群体点云生成与预处理模块2中;
所述的作物群体点云生成与预处理模块2,用于对图像预处理模块1输入的作物群体多角度图像进一步处理,基于VisualSFM软件提供的函数实现作物群体三维点云的生成和降采样、去噪处理;
所述的植株高度提取模块3,用于对通过作物群体点云生成与预处理模块2处理得到的作物群体三维点云计算出作物植株的高度;
所述的植株个体提取模块4,用于从作物群体点云生成与预处理模块2处理得到的作物群体三维点云中,将群体中的每个作物植株进行分割,得到单棵作物的三维点云;
所述的叶片分割模块5,用于对植株个体提取模块4分割得到的每个作物植株的三维点云,从点云中将植株上的每片叶子分割出来;
所述的计算叶长叶宽模块6,用于对叶片分割模块5分割得到的每片叶子的三维点云中,计算出叶片的长度和宽度。
Claims (9)
1.一种基于多目视觉的作物表型参数提取方法,其特征在于,包括如下步骤:
S1、用数码相机从多个角度拍摄作物群体的图像;
S2、将作物群体的图像输入到VisualSFM软件中,采用运动恢复结构SFM自动重建作物群体的稀疏点云,然后使用多视图系统MVS生成密集的作物群体三维点云;
S3、对作物群体三维点云进行降采样、去噪预处理操作;
S4、对经过预处理后的作物群体三维点云通过地面三维点云提取作物植株的株高信息;
所述株高信息,是使用CloudCompare对点云进行平移或旋转变换,使得地面三维点云与xoy平面平行,经过变换后的点云的z轴字段值即为点云的高度特征,从而得到植株三维点云中作物的株高信息,变换公式为下述的公式(1)、公式(2)、公式(3)和公式(4):
公式(1)中,x、y、z是点云的原始空间坐标,x′、y′、z′是经过平移变换后的空间坐标,tx、ty、tz分别是在x、y、z坐标方向上移动的距离;
公式(2)、(3)(4)是输入点云分别为按x轴旋转、y轴旋转、z轴旋转的公式,x、y、z是点云的原始空间坐标,x′、y′、z′是经过旋转变换后的空间坐标,θ为指定的旋转角;
S5、去除地面三维点云,生成仅包含作物群体的三维点云;
S6、使用欧式聚类分割从仅包含作物群体的三维点云中提取单株作物的三维点云;
S7、使用区域生长算法从单株作物三维点云中提取叶片三维点云;
S8、使用Delaunay三角剖分算法重建作物叶片的三角形网格,然后采用表面投影的方法进行表型参数的测量,得到作物表型参数。
2.根据权利要求1所述的一种基于多目视觉的作物表型参数提取方法,其特征在于,步骤1)中,所述的多个角度拍摄作物群体的图像,需要在拍摄前将作物移植到圆形栽培盆中,每株作物使用一个栽培盆,相邻栽培盆保持一定的距离,且使用相同内圆直径Inner_diameter和盆高度Basin_height栽培盆,内圆直径Inner_diameter和盆高度Basin_height作为点云尺寸和作物无力尺寸的参考标准;拍摄的方式是围绕作物群体一周,以半球形形状分布的方式进行拍摄,相邻摄像头位置之间垂直和水平的夹角为20-30°,还拍摄植株顶部位置,使获得图像涵盖植株群体大部分视角。
3.根据权利要求1所述的一种基于多目视觉的作物表型参数提取方法,其特征在于,步骤2)中,所述的作物群体三维点云,生成方式包括如下步骤:
2-1)使用SIFT点特征检测算法提取和描述图像中的特征,并使用RANSAC算法进行过滤排除错误匹配;
2-2)使用SFM方法迭代求解相机参数和三维点坐标,即重建作物的三维稀疏点云;
2-3)使用CMVS方法对图像进行聚类以减少密集重建的数据量,然后在局部光度一致性的约束下使用基于稀疏点云的PMVS匹配,扩散和过滤后生成全局色彩,以生成真实色彩的密集点云。
4.根据权利要求1所述的一种基于多目视觉的作物表型参数提取方法,其特征在于,步骤3)中,所述的降采样、去噪预处理操作,包括如下步骤:
3-1)对步骤2)获得的密集的作物群体三维点云,使用CloudCompare软件手动删除一些来自背景的冗余点云,并保留作物三维点云和部分地面三维点云;
3-2)使用体素滤波算法对三维点云进行降采样,减少三维点云的数量而不改变点云的形状和结构,从而可以加快后续计算的处理速度;
所述的体素滤波算法,该算法设置的滤波体素网格的大小为0.02m;
3-3)采用统计滤波法去除离群值,对每一个点,计算该点到其所有临近点的平均距离,将得到的结果假设为高斯分布,平均距离在设定的阈值范围之外的点即为离群点,将其去除,降低后续测量的误差;
所述的统计滤波法,该算法中设置的临近点数量为50,判断是否为离群点的阈值为1.0。
5.根据权利要求1所述的一种基于多目视觉的作物表型参数提取方法,其特征在于,步骤5)中,所述的去除地面三维点云,是使用RANSAC方法估计平面模型系数,提取出地面三维点云并将其去除,最终得到的点云具有少量噪声的作物和盆,即生成仅包含作物群体的三维点云;
所述的RANSAC方法,该算法设置限制局内点到模型的距离阈值为0.05m。
6.根据权利要求1所述的一种基于多目视觉的作物表型参数提取方法,其特征在于,步骤6)中,所述的提取单株作物的三维点云,是使用欧式聚类方法来分离每棵作物,在该方法中,设置近邻搜索的半径为0.12m,设置一个聚类需要的最少点数目为3500,设置一个聚类需要的最大点数目为50000。
7.根据权利要求1所述的一种基于多目视觉的作物表型参数提取方法,其特征在于,步骤7)中,所述的提取叶片三维点云,是通过区域增长算法分离叶片的三维点云,从而进一步提取单株作物上的叶片器官;区域增长算法的输出是一组点云群集,每个群集包含一组点,同一组中的点具有相同的特性,并被视为同一光滑表面的一部分,区域增长算法的步骤是先根据每个点的曲率值对所有点进行排序,然后最小曲率值的点作为生长起点开始区域的增长,在设置的邻域中,根据平滑度和曲率的约束准则将相似的点合并,从而生长区域,直到没有满足条件的点被合并为止,在该区域增长算法中,设置一个聚类需要的最少点数目为120,设置一个聚类需要的最大点数目为30000,设置平滑度阈值大小为设置曲率阈值大小为2.2,设置邻域搜索数量为30。
9.一种基于多目视觉的作物表型参数提取系统,其特征在于,包括图像预处理模块、作物群体点云生成与预处理模块、植株高度提取模块、植株个体提取模块、叶片分割模块和计算叶长叶宽模块,其中:
所述的图像预处理模块,用于对利用数码相机获取的作物群体多角度图像进行预处理并输入到作物群体点云生成与预处理模块中;
所述的作物群体点云生成与预处理模块,用于对图像预处理模输入的作物群体多角度图像进一步处理,基于VisualSFM软件提供的函数实现作物群体三维点云的生成和降采样、去噪处理;
所述的植株高度提取模块,用于对通过作物群体点云生成与预处理模块处理得到的作物群体三维点云计算出作物植株的高度;具体是:是使用CloudCompare对点云进行平移或旋转变换,使得地面三维点云与xoy平面平行,经过变换后的点云的z轴字段值即为点云的高度特征,从而得到植株三维点云中作物的株高信息,变换公式为下述的公式(1)、公式(2)、公式(3)和公式(4):
公式(1)中,x、y、z是点云的原始空间坐标,x′、y′、z′是经过平移变换后的空间坐标,tx、ty、tz分别是在x、y、z坐标方向上移动的距离;
公式(2)、(3)(4)是输入点云分别为按x轴旋转、y轴旋转、z轴旋转的公式,x、y、z是点云的原始空间坐标,x′、y′、z′是经过旋转变换后的空间坐标,θ为指定的旋转角;
所述的植株个体提取模块,用于从作物群体点云生成与预处理模块处理得到的作物群体三维点云中,将群体中的每个作物植株进行分割,得到单棵作物的三维点云;
所述的叶片分割模块,用于对植株个体提取模块分割得到的每个作物植株的三维点云,从点云中将植株上的每片叶子分割出来;
所述的计算叶长叶宽模块,用于对叶片分割模块分割得到的每片叶子的三维点云中,计算出叶片的长度和宽度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010587367.3A CN111724433B (zh) | 2020-06-24 | 2020-06-24 | 一种基于多目视觉的作物表型参数提取方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010587367.3A CN111724433B (zh) | 2020-06-24 | 2020-06-24 | 一种基于多目视觉的作物表型参数提取方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111724433A CN111724433A (zh) | 2020-09-29 |
CN111724433B true CN111724433B (zh) | 2022-10-28 |
Family
ID=72568717
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010587367.3A Expired - Fee Related CN111724433B (zh) | 2020-06-24 | 2020-06-24 | 一种基于多目视觉的作物表型参数提取方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111724433B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112509145B (zh) * | 2020-12-22 | 2023-12-08 | 珠海格力智能装备有限公司 | 基于三维视觉的物料分拣方法和装置 |
CN113096027B (zh) * | 2021-03-02 | 2024-01-23 | 吉林农业大学 | 一种基于点云的农田土壤层水平校正及去除方法 |
CN113409265B (zh) * | 2021-06-11 | 2022-04-12 | 华中农业大学 | 全生育期番茄3d表型动态获取和分析方法及系统 |
CN113538560B (zh) * | 2021-07-09 | 2023-05-30 | 电子科技大学 | 基于三维重建的叶面积指数提取方法 |
CN113538666B (zh) * | 2021-07-22 | 2022-04-19 | 河北农业大学 | 一种植物植株三维模型快速重建方法 |
CN114240866B (zh) * | 2021-12-09 | 2022-07-08 | 广东省农业科学院环境园艺研究所 | 基于二维图像与三维生长信息的组培苗分级方法及装置 |
CN115420753A (zh) * | 2022-08-25 | 2022-12-02 | 哈尔滨工业大学 | 基于路面纹理测量的污染物分布状况测量方法 |
CN115326805A (zh) * | 2022-10-12 | 2022-11-11 | 云南瀚哲科技有限公司 | 图像采集装置与基于ibmr的烟叶作物长势分析方法 |
CN115326656B (zh) * | 2022-10-14 | 2022-12-23 | 西南交通大学 | 交通土建用颗粒材料松铺层颗粒粒径及级配无损测量方法 |
CN116704497B (zh) * | 2023-05-24 | 2024-03-26 | 东北农业大学 | 一种基于三维点云的油菜表型参数提取方法及系统 |
CN117333400B (zh) * | 2023-11-06 | 2024-04-30 | 华中农业大学 | 一种根盒培养作物根系图像断根修复及表型提取方法 |
CN117315002B (zh) * | 2023-11-28 | 2024-01-26 | 浙江托普云农科技股份有限公司 | 待测物体三维表型测量方法、系统及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102081039A (zh) * | 2010-08-17 | 2011-06-01 | 江苏大学 | 一种环境可控的作物营养水分高光谱图像检测装置 |
CN102200433A (zh) * | 2011-02-25 | 2011-09-28 | 北京农业信息技术研究中心 | 一种基于计算机视觉的叶片面积测量装置和方法 |
CN105547152A (zh) * | 2016-01-06 | 2016-05-04 | 上海交通大学 | 农作物表型田间高通量主动测量装置与方法 |
CN108198230A (zh) * | 2018-02-05 | 2018-06-22 | 西北农林科技大学 | 一种基于散乱图像的作物果实三维点云提取系统 |
CN109146948A (zh) * | 2018-07-27 | 2019-01-04 | 内蒙古大学 | 基于视觉的作物长势表型参数量化与产量相关性分析方法 |
CN109738442A (zh) * | 2019-01-05 | 2019-05-10 | 华中农业大学 | 一种基于大视野x射线可见光配准成像的水稻稻穗性状全自动提取系统 |
CN110853044A (zh) * | 2019-04-25 | 2020-02-28 | 华中农业大学 | 基于条件欧式聚类的盆栽玉米点云快速分割方法 |
CN110866975A (zh) * | 2019-04-25 | 2020-03-06 | 华中农业大学 | 基于多目视觉的油菜图像获取装置及三维特征提取方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140147343A (ko) * | 2013-06-19 | 2014-12-30 | 한국전자통신연구원 | 온실 작물의 생육 정보 수집 시스템 |
WO2015006675A2 (en) * | 2013-07-11 | 2015-01-15 | Blue River Technology, Inc. | Method for automatic phenotype measurement and selection |
-
2020
- 2020-06-24 CN CN202010587367.3A patent/CN111724433B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102081039A (zh) * | 2010-08-17 | 2011-06-01 | 江苏大学 | 一种环境可控的作物营养水分高光谱图像检测装置 |
CN102200433A (zh) * | 2011-02-25 | 2011-09-28 | 北京农业信息技术研究中心 | 一种基于计算机视觉的叶片面积测量装置和方法 |
CN105547152A (zh) * | 2016-01-06 | 2016-05-04 | 上海交通大学 | 农作物表型田间高通量主动测量装置与方法 |
CN108198230A (zh) * | 2018-02-05 | 2018-06-22 | 西北农林科技大学 | 一种基于散乱图像的作物果实三维点云提取系统 |
CN109146948A (zh) * | 2018-07-27 | 2019-01-04 | 内蒙古大学 | 基于视觉的作物长势表型参数量化与产量相关性分析方法 |
CN109738442A (zh) * | 2019-01-05 | 2019-05-10 | 华中农业大学 | 一种基于大视野x射线可见光配准成像的水稻稻穗性状全自动提取系统 |
CN110853044A (zh) * | 2019-04-25 | 2020-02-28 | 华中农业大学 | 基于条件欧式聚类的盆栽玉米点云快速分割方法 |
CN110866975A (zh) * | 2019-04-25 | 2020-03-06 | 华中农业大学 | 基于多目视觉的油菜图像获取装置及三维特征提取方法 |
Non-Patent Citations (2)
Title |
---|
Extracting Wood Point Cloud of Individual Trees Based on Geometric Features;Zhonghua Su等;《IEEE》;20190225;第1294-1298页 * |
基于运动恢复结构的玉米植株三维重建与性状提取;梁秀英等;《农业机械学报》;20200413;第209-219页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111724433A (zh) | 2020-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111724433B (zh) | 一种基于多目视觉的作物表型参数提取方法及系统 | |
CN109146948B (zh) | 基于视觉的作物长势表型参数量化与产量相关性分析方法 | |
CN109816664B (zh) | 一种三维点云分割方法及装置 | |
Gibbs et al. | Plant phenotyping: an active vision cell for three-dimensional plant shoot reconstruction | |
CN112435239B (zh) | 基于MRE-PointNet和自编码器模型的绿萝叶片外形参数估测方法 | |
Gélard et al. | Model-based segmentation of 3D point clouds for phenotyping sunflower plants | |
Li et al. | An overlapping-free leaf segmentation method for plant point clouds | |
CN111667529A (zh) | 一种植物点云叶片分割与表型特征测量方法 | |
CN112200854B (zh) | 一种基于视频图像的叶类蔬菜三维表型测量方法 | |
Karkee et al. | A method for three-dimensional reconstruction of apple trees for automated pruning | |
Lou et al. | Accurate multi-view stereo 3D reconstruction for cost-effective plant phenotyping | |
CN111127613B (zh) | 基于扫描电子显微镜的图像序列三维重构方法及系统 | |
CN115375842A (zh) | 一种植株三维重建方法、终端及存储介质 | |
CN110853044A (zh) | 基于条件欧式聚类的盆栽玉米点云快速分割方法 | |
CN109859099A (zh) | 基于sfm点云深度的盆栽玉米杂草快速去除方法 | |
CN116523898A (zh) | 一种基于三维点云的烟草表型性状提取方法 | |
Meyer et al. | CherryPicker: Semantic skeletonization and topological reconstruction of cherry trees | |
CN115393418A (zh) | 一种基于三维点云图像的马尾松部分表型参数自动测量方法 | |
CN113409332B (zh) | 一种基于三维点云的建筑物平面分割方法 | |
Song et al. | Dynamic detection of three-dimensional crop phenotypes based on a consumer-grade RGB-D camera | |
CN115937151B (zh) | 一种作物叶片卷曲程度的判定方法 | |
Bao et al. | Field-based robotic phenotyping for sorghum biomass yield component traits characterization using stereo vision | |
CN116883480A (zh) | 基于双目影像与地基雷达融合点云的玉米株高检测方法 | |
CN113763280B (zh) | 用于点云去噪的基于空间层次拓扑关系的区域生长方法 | |
Sun et al. | Three-dimensional cotton plant shoot architecture segmentation and phenotypic trait characterization using terrestrial LiDAR point cloud data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20221028 |