CN109859099A - 基于sfm点云深度的盆栽玉米杂草快速去除方法 - Google Patents

基于sfm点云深度的盆栽玉米杂草快速去除方法 Download PDF

Info

Publication number
CN109859099A
CN109859099A CN201910094708.0A CN201910094708A CN109859099A CN 109859099 A CN109859099 A CN 109859099A CN 201910094708 A CN201910094708 A CN 201910094708A CN 109859099 A CN109859099 A CN 109859099A
Authority
CN
China
Prior art keywords
point cloud
weeds
corn
dimensional
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910094708.0A
Other languages
English (en)
Inventor
梁秀英
周风燃
杨万能
陈欢
卢少志
王康
吴迪
张天浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong Agricultural University
Original Assignee
Huazhong Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong Agricultural University filed Critical Huazhong Agricultural University
Priority to CN201910094708.0A priority Critical patent/CN109859099A/zh
Publication of CN109859099A publication Critical patent/CN109859099A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于SFM点云深度的盆栽玉米杂草快速去除方法。该方法编写了基于SFM点云深度的盆栽玉米杂草快速去除方法的算法。待分割的混有杂草盆栽玉米图像首先经过运动恢复结构(SFM)三维重建生成三维点云数据，然后进行相关点云预处理，根据盆栽玉米植株和杂草三维点云深度方向的差异，用Point Cloud Library(PCL)设置深度阈值将杂草去除，最后将去除杂草后的三维点云数据进行投影，得到二维去除杂草后的玉米植株图片。该方法能克服目标植株与其它背景因颜色差别不大或者有连通的传统图像处理方法不好分割或者分割效果不好的缺点。可推广运用于所有具有深度差异的前景与背景的分割，相比传统图像处理技术而言，具备分割效果好、适用性强的技术优势。

Description

基于SFM点云深度的盆栽玉米杂草快速去除方法
技术领域
本发明属于农业自动化领域，具体涉及玉米表型参数自动化测量，尤其涉及一种基于SFM点云深度的盆栽玉米杂草快速去除方法。
背景技术
玉米是我国第一大粮食作物。高产一直是玉米育种与栽培的重要目标之一。玉米的株高、茎粗和投影面积跟玉米的产量有着密切的关系，而传统的基于二维图像处理的测量玉米株高、茎粗和投影面积在有杂草的情况下会导致测量的偏差，因此，杂草的精确去除，是提取玉米特征性状，实现玉米表型自动化测量的关键步骤。不同栽培环境下的杂草的颜色、大小、形状、姿态、纹理等存在较大差异，视图图片中玉米植株与杂草间互相遮挡，两者的RGB颜色信息非常接近，光照不均匀且不断变化，这些因素使得在盆栽玉米中精确的去除杂草完整的分割出玉米植株成为一个非常困难的问题。
耿蕊等(2018)通过基于MATLAB的图像理解和图像分析，根据杂草的特征(形状、光谱特征、纹理)识别杂草和作物，该方法虽然有效的能识别农作物间的杂草进行去除，但会出现过去除和欠去除杂草的情况，造成误差。颜秉忠(2018)通过一种基于机器视觉的玉米苗期杂草识别方法，采集的图片经过畸变矫正、HSI颜色空间转换和阈值分割后，根据形状和颜色特征提取并识别杂草，该方法对双子叶杂草较为有效，对单子叶杂草存在一定程度的误判。纪寿文等(2001)人采用双峰法滤除土壤背景，根据叶长、叶宽和投影面积识别了玉米苗期田间杂草，并根据杂草投影面积确定了杂草密度，研究结果表明，该方法可以有效地识别出玉米苗期田间单子叶杂草。王路军等(2016)提出了从整体植株来提取特征并用BP神经网络进行识别杂草的算法，实验结果表明该算法的杂草识别精度很高，不足之处是前期所要做训练测试时间较长。
运动恢复结构(SFM)是基于图像序列的三维重建方法的一种，它能通过一系列图像系列真实的、比较精确的重建出当时的场景，为相关研究人员提供了与真实情况一样的三维点云模型，方便后期性状的提取与研究。
发明内容
(一)要解决的技术问题
为了解决传统二维图像处理很难非常好的从连通有玉米植株和绿色杂草中把玉米植株完整的分割出来这一问题，本发明提供了一种基于SFM点云深度的盆栽玉米杂草快速去除方法，从而实现在复杂杂草环境下的玉米植株多品种全生育期的完整分割。
(二)技术方案
本发明为了解决其技术问题所采用的技术方案，提供了一种基于SFM点云深度的盆栽玉米杂草快速去除方法，该方法的总体技术流程见图1。
一种基于SFM点云深度的盆栽玉米杂草快速去除方法，其特征在于，包括：
步骤A，将获取的盆栽玉米的二维顶视图像导入到VisualSFM软件中，重建出玉米植株的三维点云数据；
步骤B，将重建出来的玉米点云数据进行体素栅格下采样，统计学去噪，坐标变换和尺度校正等预处理，以便于后续三维点云的处理；
步骤C，基于三维深度的算法对点云数据进行杂草快速分割并去除；
步骤D，将分割后的去草三维玉米点云往地面进行投影，获得二维图片；
更具体地，步骤B中玉米三维点云的预处理，具体流程包括4个步骤：
(1)用PCL中的VoxelGrid类对重建出来的玉米点云数据进行下采样，下采样的原理是用体素的质心来代表体素中的所有点，下采样的体素大小为0.035m；
(2)用PCL中的统计学滤波来进行三维点云的噪声点去除，统计学滤波的原理是算出每个点到它所有领域的距离，假设结果服从高斯分布，把点的距离不在设定均值和标准差区间的点视为噪声点进行去除。
(3)将重建出来的原始三维点云数据导入到CloudCompare软件进行相应的平移和旋转变换，变换之后的玉米点云数据的株高生长的方向为Z轴的正方向，地面为oxy平面。
(4)由于重建出来的玉米点云植株与真实玉米植株不一样大，往往存在一个确定的比例关系，故需进行相关的尺度校正处理，校正的参照物为种植玉米植株的盆子，校正比例见公式(1)：
式中，s-校正比例，dreal-种植玉米植株盆子的实际高度为19.2cm，dreconstructed-种植玉米植株盆子的三维重建高度。
更具体地，步骤C的基于三维深度的算法去除杂草的具体流程为，首先遍历整个点云数据，设置深度阈值，该算法的深度阈值为种植玉米植株盆子的实际高度19.2cm，当点云的Z坐标值大于该深度阈值时，就默认该点云为非杂草点云，直到整个点云数据被遍历完才退出循环，最后保存非杂草点云从而达到去除杂草的功能。
上述所述的基于SFM点云深度的盆栽玉米杂草快速去除方法，该方法能克服目标植株与其它背景因颜色差别不大或者有连通的传统图像处理方法不好分割或者分割效果不好的缺点，可推广运用于所有具有深度差异的前景与背景的分割。
(三)有益效果
本发明基于发明人在本领域的技术积累和研发，提供了一种复杂盆栽环境下的不同生育期多品种玉米杂草的快速分割去除方法，该方法能克服目标植株与其它背景因颜色差别不大或者有连通的传统图像处理方法不好分割或者分割效果不好的缺点。可推广运用于所有具有深度差异的前景与背景的分割，相比传统图像处理技术而言，具备分割效果好、适用性强的技术优势。
附图说明
图1为本发明的总体技术方案图。
图2为本发明提出的分割算法与其他分割算法效果比较。
具体实施方式
本发明为了解决其技术问题所采用的技术方案，提供了一种基于SFM点云深度的盆栽玉米杂草快速去除方法，该方法的总体技术流程见图1。
一种基于SFM点云深度的盆栽玉米杂草快速去除方法，其特征在于，包括：
步骤A，将获取的盆栽玉米的二维顶视图像导入到VisualSFM软件中，重建出玉米植株的三维点云数据；
步骤B，将重建出来的玉米点云数据进行体素栅格下采样，统计学去噪，坐标变换和尺度校正等预处理，以便于后续三维点云的处理；
步骤C，基于三维深度的算法对点云数据进行杂草快速分割并去除；
步骤D，将分割后的去草三维玉米点云往地面进行投影，获得二维图片；
更具体地，步骤A中导入到VisualSFM软件的顶视图像大小为4000x 6000，即宽度4000像素，高度6000像素，运动恢复结构(SfM)重建玉米植株三维点云的基本原理是利用大量重叠度较高的像片通过SFM算法重建物体三维模型，具体流程包括以下3个步骤。
(1)特征点提取与匹配：通过尺度不变特征变换SIFT(Scale-invariant featuretransform)局部特征描述子去提取图像特征，用K维空间二叉树kd-tree模型去计算两张图片特征点之间的欧氏距离来进行特征点的立体匹配。
(2)稀疏点云重建：用集束调整BA(Bundle Adjustment)算法来减少因图像的增多而累计的误差，并估计每一幅图片的相机参数，生成稀疏点云。
(3)稠密点云重建：先用CMVS(cluster multi view stereo)算法对图像集进行聚簇，以减少重建过程的数据量，提高运算速度和重建精度，然后用PMVS(patch-based multiview stereo)算法通过匹配、膨胀、过滤三个步骤，在局部光度一致性和全局可见性约束下完成稠密点云的重建。
更具体地，步骤B中玉米三维点云的预处理，具体流程包括4个步骤：
(1)用PCL中的VoxelGrid类对重建出来的玉米点云数据进行下采样，下采样的原理是用体素的质心来代表体素中的所有点，下采样的体素大小为0.035m；
(2)用PCL中的统计学滤波来进行三维点云的噪声点去除，统计学滤波的原理是算出每个点到它所有领域的距离，假设结果服从高斯分布，把点的距离不在设定均值和标准差区间的点视为噪声点进行去除。
(3)将重建出来的原始三维点云数据导入到CloudCompare软件进行相应的平移和旋转变换，变换之后的玉米点云数据的株高生长的方向为Z轴的正方向，地面为oxy平面。
(4)由于重建出来的玉米点云植株与真实玉米植株不一样大，往往存在一个确定的比例关系，故需进行相关的尺度校正处理，校正的参照物为种植玉米植株的盆子，校正比例见公式(1)：
式中，s-校正比例，dreal-种植玉米植株盆子的实际高度为19.2cm，dreconstructed-种植玉米植株盆子的三维重建高度。
更具体地，步骤C的基于三维深度的算法去除杂草的原理为，首先遍历整个点云数据，设置深度阈值，该算法的深度阈值为种植玉米植株盆子的实际高度19.2cm，当点云的Z坐标值大于该深度阈值时，就默认该点云为非杂草点云，直到整个点云数据被遍历完才退出循环，最后保存非杂草点云从而达到去除杂草的功能。
本专利的算法处理主要是基于美国微软公司的Microsoft Visual Studio软件，ROS(Robot Operating System)下的大型跨平台开源C++编程库PCL(Point CloudLibrary)，三维重建开源软件VisualSFM和三维点云处理开源软件CloudCompare。首先通过VisualSFM软件完成玉米植株的三维重建，然后利用Microsoft Visual Studio+PCL和CloudCompare软件来实现玉米植株的下采样、去噪、坐标变换和尺度校正等预处理，最后利用基于三维深度的相关算法实现玉米杂草的快速分割与去除。
该方法也能够应用于盆栽的其他作物，例如小麦、油菜、水稻、棉花等作物的杂草分割与去除。
本申请中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例作各种修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.一种基于SFM点云深度的盆栽玉米杂草快速去除方法，其特征在于，包括：
步骤A，将获取的盆栽玉米的二维顶视图像导入到VisualSFM软件中，重建出玉米植株的三维点云数据；
步骤B，将重建出来的玉米点云数据进行体素栅格下采样，统计学去噪，坐标变换和尺度校正等预处理，以便于后续三维点云的处理；
步骤C，基于三维深度的算法对点云数据进行杂草快速分割并去除；
步骤D，将分割后的去草三维玉米点云往地面进行投影，获得二维图片。
2.根据权利要求1所述的基于SFM点云深度的盆栽玉米杂草快速去除方法，其特征在于，所述步骤B中玉米三维点云的预处理，具体流程包括4个步骤：
(1)用PCL中的VoxelGrid类对重建出来的玉米点云数据进行下采样，下采样的原理是用体素的质心来代表体素中的所有点，下采样的体素大小为0.035m；
(2)用PCL中的统计学滤波来进行三维点云的噪声点去除，统计学滤波的原理是算出每个点到它所有领域的距离，假设结果服从高斯分布，把点的距离不在设定均值和标准差区间的点视为噪声点进行去除。
(3)将重建出来的原始三维点云数据导入到CloudCompare软件进行相应的平移和旋转变换，变换之后的玉米点云数据的株高生长的方向为Z轴的正方向，地面为oxy平面。
(4)由于重建出来的玉米点云植株与真实玉米植株不一样大，往往存在一个确定的比例关系，故需进行相关的尺度校正处理，校正的参照物为种植玉米植株的盆子，校正比例见公式(1)：
式中，s-校正比例，dreal-种植玉米植株盆子的实际高度为19.2cm，dreconstructed-种植玉米植株盆子的三维重建高度。
3.根据权利要求1所述的基于SFM点云深度的盆栽玉米杂草快速去除方法，其特征在于，所述步骤C的基于三维深度的算法去除杂草的具体流程为，首先遍历整个点云数据，设置深度阈值，该算法的深度阈值为种植玉米植株盆子的实际高度19.2cm，当点云的Z坐标值大于该深度阈值时，就默认该点云为非杂草点云，直到整个点云数据被遍历完才退出循环，最后保存非杂草点云从而达到去除杂草的功能。
4.根据权利要求1所述的基于SFM点云深度的盆栽玉米杂草快速去除方法，该方法能克服目标植株与其它背景因颜色差别不大或者有连通的传统图像处理方法不好分割或者分割效果不好的缺点，可推广运用于所有具有深度差异的前景与背景的分割。
CN201910094708.0A 2019-01-22 2019-01-22 基于sfm点云深度的盆栽玉米杂草快速去除方法 Pending CN109859099A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910094708.0A CN109859099A (zh) 2019-01-22 2019-01-22 基于sfm点云深度的盆栽玉米杂草快速去除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910094708.0A CN109859099A (zh) 2019-01-22 2019-01-22 基于sfm点云深度的盆栽玉米杂草快速去除方法

Publications (1)

Publication Number Publication Date
CN109859099A true CN109859099A (zh) 2019-06-07

Family

ID=66897030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910094708.0A Pending CN109859099A (zh) 2019-01-22 2019-01-22 基于sfm点云深度的盆栽玉米杂草快速去除方法

Country Status (1)

Country Link
CN (1) CN109859099A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110880229A (zh) * 2019-12-02 2020-03-13 北京深测科技有限公司 一种地质灾害监测预警方法和系统
CN111487646A (zh) * 2020-03-31 2020-08-04 安徽农业大学 一种玉米植株形态在线检测方法
CN112837267A (zh) * 2021-01-11 2021-05-25 浙江大学 一种预测转基因玉米抗药性的数字检测方法及系统
CN113096027A (zh) * 2021-03-02 2021-07-09 吉林农业大学 一种基于点云的农田土壤层水平校正及去除方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846334A (zh) * 2017-01-19 2017-06-13 江南大学 基于支持向量数据描述的田间玉米植株识别方法
US20170206415A1 (en) * 2016-01-15 2017-07-20 Blue River Technology Inc. Plant feature detection using captured images
CN107123163A (zh) * 2017-04-25 2017-09-01 无锡中科智能农业发展有限责任公司 一种基于多视角立体视觉的植株三维重建系统
US20180276885A1 (en) * 2017-03-27 2018-09-27 3Dflow Srl Method for 3D modelling based on structure from motion processing of sparse 2D images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170206415A1 (en) * 2016-01-15 2017-07-20 Blue River Technology Inc. Plant feature detection using captured images
CN106846334A (zh) * 2017-01-19 2017-06-13 江南大学 基于支持向量数据描述的田间玉米植株识别方法
US20180276885A1 (en) * 2017-03-27 2018-09-27 3Dflow Srl Method for 3D modelling based on structure from motion processing of sparse 2D images
CN107123163A (zh) * 2017-04-25 2017-09-01 无锡中科智能农业发展有限责任公司 一种基于多视角立体视觉的植株三维重建系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张艳超等: "《基于运动恢复结构算法的油菜NDVI三维分布》", 《农业工程学报》 *
方慧等: "《基于可视化类库的植株三维形态配准方法及点云可视化》", 《农业工程学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110880229A (zh) * 2019-12-02 2020-03-13 北京深测科技有限公司 一种地质灾害监测预警方法和系统
CN111487646A (zh) * 2020-03-31 2020-08-04 安徽农业大学 一种玉米植株形态在线检测方法
CN112837267A (zh) * 2021-01-11 2021-05-25 浙江大学 一种预测转基因玉米抗药性的数字检测方法及系统
CN112837267B (zh) * 2021-01-11 2023-12-26 浙江大学 一种预测转基因玉米抗药性的数字检测方法及系统
CN113096027A (zh) * 2021-03-02 2021-07-09 吉林农业大学 一种基于点云的农田土壤层水平校正及去除方法
CN113096027B (zh) * 2021-03-02 2024-01-23 吉林农业大学 一种基于点云的农田土壤层水平校正及去除方法

Similar Documents

Publication Publication Date Title
CN111724433B (zh) 一种基于多目视觉的作物表型参数提取方法及系统
CN109146948B (zh) 基于视觉的作物长势表型参数量化与产量相关性分析方法
CN109859099A (zh) 基于sfm点云深度的盆栽玉米杂草快速去除方法
Pound et al. Automated recovery of three-dimensional models of plant shoots from multiple color images
Medeiros et al. Modeling dormant fruit trees for agricultural automation
US9741128B2 (en) Method and system for characterizing plan phenotype
CN109285217B (zh) 基于多视角图像的过程式植物模型重建方法
Yin et al. Fruit detection and pose estimation for grape cluster–harvesting robot using binocular imagery based on deep neural networks
Karkee et al. A method for three-dimensional reconstruction of apple trees for automated pruning
Masuda Leaf area estimation by semantic segmentation of point cloud of tomato plants
Zhu et al. A calculation method of phenotypic traits based on three-dimensional reconstruction of tomato canopy
CN110853044A (zh) 基于条件欧式聚类的盆栽玉米点云快速分割方法
Meyer et al. CherryPicker: Semantic skeletonization and topological reconstruction of cherry trees
Li et al. Multi-source data fusion improves time-series phenotype accuracy in maize under a field high-throughput phenotyping platform
Hu et al. High-fidelity 3D reconstruction of plants using Neural Radiance Fields
Kang et al. Image-based modeling of plants and trees
Li et al. Nondestructive Detection of Key Phenotypes for the Canopy of the Watermelon Plug Seedlings Based on Deep Learning
Xiao et al. The importance of using realistic 3D canopy models to calculate light interception in the field
CN116883480A (zh) 基于双目影像与地基雷达融合点云的玉米株高检测方法
Akhtar et al. Unlocking plant secrets: A systematic review of 3D imaging in plant phenotyping techniques
Chen et al. A method for multi-target segmentation of bud-stage apple trees based on improved YOLOv8
CN109934837B (zh) 一种3d植物叶片轮廓的提取方法、装置及系统
Lopez et al. Robust image-based 3-d modeling of root architecture
Ju et al. Three-Dimensional Reconstruction of Maize Plants and Extraction of Phenotypic Parameters Based on Laser Point Cloud Data
Ye et al. Three-dimensional Reconstruction of Tomato Fruit based on Multi-view Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190607

WD01 Invention patent application deemed withdrawn after publication