CN113112504A - 一种植物点云数据分割方法及系统 - Google Patents

一种植物点云数据分割方法及系统 Download PDF

Info

Publication number
CN113112504A
CN113112504A CN202110378189.8A CN202110378189A CN113112504A CN 113112504 A CN113112504 A CN 113112504A CN 202110378189 A CN202110378189 A CN 202110378189A CN 113112504 A CN113112504 A CN 113112504A
Authority
CN
China
Prior art keywords
plant
point cloud
cloud data
image
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110378189.8A
Other languages
English (en)
Other versions
CN113112504B (zh
Inventor
谢鹏尧
岑海燕
麻志宏
平安
刘羽飞
何勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110378189.8A priority Critical patent/CN113112504B/zh
Publication of CN113112504A publication Critical patent/CN113112504A/zh
Application granted granted Critical
Publication of CN113112504B publication Critical patent/CN113112504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明涉及一种植物点云数据分割方法及系统。该方法包括：获取植物周围不同随机点位的RGB图像；对各所述RGB图像中的植物进行实例标注，得到RGB输入图像；将所述RGB输入图像输入至Mask‑RCNN模型进行训练，得到深度学习输出模型；获取植物周围采样点位对应点位的植物RGB图像和深度图像；将所述植物RGB图像输入至所述深度学习输出模型，得到植物各部分的掩膜；根据所述掩膜、所述深度图像和所述植物RGB图像进行粗配准，得到粗配准点云数据；对所述粗配准点云数据进行去噪和配准处理，得到植物点云分割数据。本发明能够利用基于深度学习的实例分割算法并结合深度相机的特点，实现更精确更鲁棒的点云分割。

Description

一种植物点云数据分割方法及系统
技术领域
本发明涉及植物点云数据分割领域，特别是涉及一种植物点云数据分割方法及系统。
背景技术
植物表型是植物基因与环境相互作用后在时空中的三维表达，是植物基因在与环境的相互作用中其遗传信息被选择性地表征，并形成的一个动态的生活史。了解在不断变化的环境中跨越植物生命周期的过程，对于推进植物基础科学及其转化为包括育种和作物管理在内的应用技术至关重要。因此，植物研究界面临着准确测量越来越多的植物的各种性状的需要，以帮助植物适应资源有限的环境和低投入的农业。然而，植物表型信息的获取面临诸多困难和挑战。由于植物种类繁多，种植规模数量较大，生长周期长短不一，单一的依靠人工进行植物表型信息获取费时费力，且植物表型组所包含的信息量和复杂程度已远远超出人们的预估，采用高通量的植物表型测量方法势在必行。
植物的三维形态是植物表型中最直观的性状之一，能够直接反映植物在三维空间的生长状况、提供生长阶段和病虫害发生的判断依据，进而及时给予育种学家以反馈信息，改善种子的优良性状，提高经济效益。常见的植物三维形态获取方法是对植物进行三维重建，构建出植株的三维模型，在此基础上获取植物的形态学参数。
可通过三维重建获取的植物表型信息包括植物的形态特征和尺寸参数等。这些形态特征和尺寸参数对于了解植物的生长情况和监视作物收益有着重大帮助。对于叶菜类植物，叶面积和叶面积指数等反映叶片大小的指标能够反映出叶菜类植物的生长状况和衡量其经济效益；对于茎秆类植物，其茎秆的高度和粗细等指标能够反映出茎秆类植物的生长状况和衡量其经济效益；对于景观类植物，其生物量、植被体积、形状尺寸等指标能够反映出景观类植物的生长状况和衡量其经济效益；对于特定的一些植物，其基因表达会反映在其形态学特征上，通过获取形态学指标可以预测其生长趋势。以上这些信息都是可以通过植物三维重建技术获取的，植物三维重建是植物表型研究的新型强力工具。
上述许多三维特征不仅需要利用植物整体的模型，还有一些需要植物各个部分的模型，例如某些实际应用需要对植物的某些部位进行检测，或者是对某些器官进行评估，因此植物点云分割是植物三维表型信息提取中十分重要的流程。由于植物的不规则特性以及非结构化特征，当前众多基于统计和浅层机器学习的点云分割技术在植物点云的分割上表现不理想，算法对于类内差异的鲁棒性较差，泛化能力弱，解决类间异质性更加困难。
发明内容
本发明的目的是提供一种植物点云数据分割方法及系统，能够利用基于深度学习的实例分割算法并结合深度相机的特点，实现更精确更鲁棒的点云分割。
为实现上述目的，本发明提供了如下方案：
一种植物点云数据分割方法包括：
获取植物周围不同随机点位的RGB图像；
对各所述RGB图像中的植物进行实例标注，得到RGB输入图像；
将所述RGB输入图像输入至Mask-RCNN模型进行训练，得到深度学习输出模型；
获取植物周围采样点位对应点位的植物RGB图像和深度图像；
将所述植物RGB图像输入至所述深度学习输出模型，得到植物各部分的掩膜；
根据所述掩膜、所述深度图像和所述植物RGB图像进行粗配准，得到粗配准点云数据；
对所述粗配准点云数据进行去噪和配准处理，得到植物点云分割数据。
可选地，所述实例标注采用labelme中的多边形标注方法。
可选地，所述根据所述掩膜、所述深度图像和所述植物RGB图像进行粗配准，得到粗配准点云数据，具体包括：
获取采样点位的位姿信息；
将所述掩膜、所述深度图像和所述植物RGB图像配准到同一像素坐标系，生成点云信息；
根据所述位姿信息和所述点云信息，将不同点位的点云融合至同一空间坐标系下，得到粗配准点云数据。
可选地，所述对所述粗配准点云数据进行去噪和配准处理，得到植物点云分割数据，具体包括：
对所述粗配准点云数据利用离群点去除、迭代最近点算法进行去噪和配准处理，得到植物点云分割数据。
一种植物点云数据分割系统包括：
第一获取模块，用于获取植物周围不同随机点位的RGB图像；
RGB输入图像确定模块，用于对各所述RGB图像中的植物进行实例标注，得到RGB输入图像；
训练模块，用于将所述RGB输入图像输入至Mask-RCNN模型进行训练，得到深度学习输出模型；
第二获取模块，用于获取植物周围采样点位对应点位的植物RGB图像和深度图像；
掩膜确定模块，用于将所述植物RGB图像输入至所述深度学习输出模型，得到植物各部分的掩膜；
粗配准点云数据确定模块，用于根据所述掩膜、所述深度图像和所述植物RGB图像进行粗配准，得到粗配准点云数据；
植物点云分割数据确定模块，用于对所述粗配准点云数据进行去噪和配准处理，得到植物点云分割数据。
可选地，所述实例标注采用labelme中的多边形标注方法。
可选地，所述粗配准点云数据确定模块具体包括：
位姿信息获取单元，用于获取采样点位的位姿信息；
配准单元，用于将所述掩膜、所述深度图像和所述植物RGB图像配准到同一像素坐标系，生成点云信息；
粗配准点云数据确定单元，用于根据所述位姿信息和所述点云信息，将不同点位的点云融合至同一空间坐标系下，得到粗配准点云数据。
可选地，所述植物点云分割数据确定模块，具体包括：
植物点云分割数据确定单元，用于对所述粗配准点云数据利用离群点去除、迭代最近点算法进行去噪和配准处理，得到植物点云分割数据。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明涉及一种植物点云数据分割方法及系统。该方法包括：获取植物周围不同随机点位的RGB图像；对各所述RGB图像中的植物进行实例标注，得到RGB输入图像；将所述RGB输入图像输入至Mask-RCNN模型进行训练，得到深度学习输出模型；获取植物周围采样点位对应点位的植物RGB图像和深度图像；将所述植物RGB图像输入至所述深度学习输出模型，得到植物各部分的掩膜；根据所述掩膜、所述深度图像和所述植物RGB图像进行粗配准，得到粗配准点云数据；对所述粗配准点云数据进行去噪和配准处理，得到植物点云分割数据。本发明能够利用基于深度学习的实例分割算法并结合深度相机的特点，实现更精确更鲁棒的点云分割。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明植物点云数据分割方法流程图；
图2为植物点云数据分割装置示意图；
图3为位置关系和采样点位示意图；
图4为多点位采样示意图；
图5为整株辣椒植株效果示意图；
图6为各参考系相对位置关系示意图；
图7为像素坐标系与图像坐标系示意图；
图8为不同模式下的相机参考系示意图；
图9为TCP和机械臂基座坐标系示意图；
图10为本发明植物点云数据分割系统结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种植物点云数据分割方法及系统，能够利用基于深度学习的实例分割算法并结合深度相机的特点，实现更精确更鲁棒的点云分割。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实现农业自动化离不开农业信息技术手段提供的数据支持，然而获取植物表型数据本身也是一个费时费力的工作。无论是果实采摘收获还是农田植物信息采集，这些农业劳动都属于劳动密集型，采用人工的方法不仅效率低下，而且可能会产生很多的人为误差，造成信息的有效性下降。因此在农业信息获取方面，需要将人工数据采集的工作交给机器，将农民从繁杂的农业生产工作中解放出来，也就是要实现农业信息化和农业自动化的结合。
图1为本发明植物点云数据分割方法流程图。如图1所示，一种植物点云数据分割方法包括：
步骤101：获取植物周围不同随机点位的RGB图像。
按照装置示意图(图2)连接好实物装置，搭建植物三维重建平台。其中计算机和控制箱在不侵占机械臂工作空间的情况下，无具体摆放要求，机械臂固定在光学平台上，其工作空间是以基座坐标为球心的球体空间，在光学平台平面上的投影为半径0.85m，机械臂工具端的有效活动半径是0.71m，植物放置位置距离机械臂基座约为0.3m，深度相机的有效成像距离需要大于0.3m，因此选择多个距离植物0.45m的位置作为采样点位，具体如图3所示。
计算机通过SDK向机械臂控制箱以及Kinect DK相机发送命令，驱动机械臂连同相机运动到植物周围的不同随机点位采集多张植物的RGB图像，作为实例分割数据集来源。随机点位位于和步骤101中1～4号采样位点相同的圆上(在保证能够采样的同时可以有一定的水平偏差或垂直偏差)，控制前预先设定机械臂运动轨迹，并随机选择位点和偏差，在到达位点后，机械臂发送反馈信息给计算机，通过相机的SDK激活采样程序，采集RGB图像，图像存储于计算机本地目录。图4为示意图，每次到达随机位点采样完毕后，机械臂被设定为回到初始位置(图4中的第1个子图)，等待接收下次控制指令，循环反复直至完成采样。
步骤102：对各所述RGB图像中的植物进行实例标注，得到RGB输入图像；所述实例标注采用labelme中的多边形标注方法。
利用labelme图像标注工具对RGB图像中的植物整体和部分重要器官(叶片)进行实例标注，制作数据集。标注采用labelme中的多边形标注方法，对拟分割的植物部分进行标注，如分割植物整体，则用多边形框选植物整体并设置标签，分割植物叶片，则用多边形框选植物叶片，并设置标签，标签和多边形具有对应关系，以此类推。将标注完成的RGB图像和标签用labelme的SDK转换成具有原图像、标注信息的JSON文件、掩膜(Mask)图像的数据集，存储于计算机本地路径下。
步骤103：将所述RGB输入图像输入至Mask-RCNN模型进行训练，得到深度学习输出模型。
将数据集按照8：1：1分成训练集、验证集、测试集，采用Mask-RCNN训练，并进行训练效果评估，神经网络模型经过充分训练后，能够就Kinect DK相机获取到的RGB图像生成掩膜(Mask)，不同的掩膜(Mask)和植物不同的部位具有对应关系。训练时，将原图像、掩膜(Mask)和对应的JSON文件输入Mask-RCNN神经网络中，超参数可以根据计算机显卡性能调整，以单块型号为GTX 1080Ti的GPU上进行模型训练为例，设置Resize大小为960×960，epoch设置为200，Validationper epoch设置为10，Step per epoch设置为10，batch size设置为2，backbone设置为ResNet 101，当数据集大小为100时，训练时长为72小时。Mask-RCNN是Kaiming He等在2017年提出的目标检测算法，该算法基于Faster-RCNN并在其基础上将原来的RoIPooling改为了RoIAlign，以及增加了全卷积网络(Fully ConvolutionalNetwork,FCN)。Mask-RCNN将分类预测和掩膜(mask)预测拆分为网络的两个分支，分类预测分支与Faster-RCNN相同，对兴趣区域给出预测，产生类别标签以及矩形框坐标输出；而掩膜预测分支为每个类别产生独立的二值掩膜，避开了类间的竞争。ROIAlign中，xi*(r,j)是前向传播时计算出来的采样点位置的浮点数，在池化前的特征图中，每一个与xi*(r,j)横纵坐标均小于1的点都应该接受与此对应的点yrj回传的梯度，故ROIAlign的反向传播公式如下:
Figure BDA0003012117820000071
损失函数计算采用：
L＝Lcls+Lbox+Lmask
其中类别和预测框的损失函数的计算参照Faster-RCNN，掩膜部分损失函数的计算采用对每一个像素计算二值sigmoid交叉熵损失，将每个类别对应一个掩膜可以有效避免类间竞争，使得不同类别的掩膜不贡献Loss。
初始权重使用的是在COCO数据集上预训练好的权重，采用迁移学习的方式在数据集上进行全层级训练。每一个epoch的训练集和验证集的Loss用Tensorboard记录并绘图，监测训练情况，直到训练集和验证集的Loss曲线收敛完好，完成训练。最后在测试集上测试训练好的模型，评估IoU、查准度-查全度曲线(Precision-Recall Curve)、曲线下方面积AP、平均值mAP是否满足要求。一般而言，IoU需要在50％，AP和mAP的计算基于50％的IoU，合适的mAP值大致为0.6以上。训练好的模型权重将被导出用于预测。
以整株辣椒植株为例，含有背景的多点位采集的RGB图像输入到模型中，将输出的Mask和原图像融合，形成不含有背景像素的纯植株RGB图像，效果示意图如图5。
步骤104：获取植物周围采样点位对应点位的植物RGB图像和深度图像。
计算机通过SDK向机械臂控制箱以及Kinect DK相机发送命令，驱动机械臂连同相机运动到植物周围的采样点位采集对应点位的植物的RGB-D图像。同时通过计算，获取相机的位姿和内部参数。
步骤105：将所述植物RGB图像输入至所述深度学习输出模型，得到植物各部分的掩膜。
步骤106：根据所述掩膜、所述深度图像和所述植物RGB图像进行粗配准，得到粗配准点云数据。
粗配准使用到的图像是多视角采样得到的，粗配准是指将多视角下获取到的上述图像等在同一坐标系下对齐。
步骤106具体包括
步骤1061：获取采样点位的位姿信息；
步骤1062：将所述掩膜、所述深度图像和所述植物RGB图像配准到同一像素坐标系，生成点云信息；
步骤1063：根据所述位姿信息和所述点云信息，将不同点位的点云融合至同一空间坐标系下，得到粗配准点云数据。
将各个点位获取到的RGB图像作为Mask-RCNN的输入，获得植物各部分(自定义)的掩膜(Mask)，叠加原RGB图像获得分割好的植物各部分的RGB图像，利用Kinect DK自带的SDK中的变换函数，将深度图像和分割好的植物各部分的RGB图像配准到同一像素坐标系，并生成点云。结合各个点位的位姿信息和点云信息，将不同点位的点云融合至同一空间坐标系下(机械臂基座坐标系)，实现粗配准。
原始图像获取：
当搭载相机的机械臂到达指定采样点位进行采样时，深度相机获取到的数据是深度图像。深度图像是包含与场景对象表面的距离有关的信息的图像或图像通道，类似于灰度图像，只不过其各个像素值是传感器距离物体的实际距离。由深度图像生成点云的过程中，需要获取深度图像中各个像素点所对应的实际三维坐标，也即需要将深度图像转化成一种新的数据格式。Kinect DK工具包中定义这种数据格式为图像格式，并命名为XYZ图像，该图像的各个像素包含其在相机坐标系下的XYZ三轴坐标值。转换的具体过程如下：
在不考虑相机图像平面上实际所成的像与理想成像之间存在畸变的情况下，相机成像模型可视为理想透视模型——针孔成像模型。在此模型之下，物体的实际空间坐标和图像坐标之间是线性变换关系。模型中各个参考系定义如下：
①世界坐标系：客观三位世界中的绝对坐标系，用(Xw,Yw,Zw)表示其坐标值；
②相机坐标系：以相机的光心为坐标原点，X轴和Y轴分别平行于图像坐标系的X轴Y轴，相机的光轴Z轴，用(Xc,Yc,Zc)表示其坐标值；
③图像坐标系：以CCD图像平面的中心为坐标原点，X轴和Y轴分别平行于图像平面的两条垂直边，用(x,y)表示其坐标值；
④像素坐标系：以CCD图像平面的左上角顶点为原点，X轴和Y轴分别平行于图像坐标系的X轴和Y轴，用(u,v)表示其坐标值，D表示(u,v)点的像素值。
各个参考系的相对位置关系示意图和像素坐标系与图像坐标系的关系如图3和图4所示，图像坐标系和像素坐标系之间的转换关系为：
Figure BDA0003012117820000091
其中，u0和v0是图像坐标系原点在像素坐标系中的坐标值，dx和dy分别是每个像素在图像平面x和y方向上的物理尺寸。
图像坐标系与相机坐标系的转换为：
Figure BDA0003012117820000092
由此可得像素坐标系和相机坐标系的变换关系：
Figure BDA0003012117820000101
其中：
Figure BDA0003012117820000102
(图像水平轴尺度因子)
Figure BDA0003012117820000103
(图像垂直轴尺度因子)
Figure BDA0003012117820000104
(相机内部参数矩阵)
Figure BDA0003012117820000105
(深度图像的缩放因子)
K4AdotNet提供了transformation.DepthImageToPointCloud函数用于将获取到的深度图像转化成XYZ图像。对于不同的图像类型，由于使用到的传感器不尽相同，其对应的相机内部参数矩阵之间存在差异，因此在调用图像转换函数时需要设定传感器类型，以确定当前情况下的相机内部参数矩阵K。图6为各参考系相对位置关系示意图。图7为像素坐标系与图像坐标系示意图。
点云坐标读取：
对于已经获取到的XYZ图像，使用循环结构遍历XYZ图像中的每一个像素，并分别用三个大小等同于XYZ图像(设大小为M×N)的矩阵变量存储每个像素记录的X、Y、Z坐标值：
Figure BDA0003012117820000106
Figure BDA0003012117820000111
Figure BDA0003012117820000112
重组之后可得每个点在相机参考系下的坐标，用4×1的向量表示，并存放于链表中：
Figure BDA0003012117820000113
List＝{CAREMAP11,CAREMAP12,…,CAREMAPmn} (8)
由于着色的点云便于可视化观察，因此需要将每个点所对应的原有像素的RGB信息赋给点云，将点云信息的特征维度从XYZ三维扩充至XYZRGB六维。具体做法是将同一时间获取到的RGB图像用transformation.ColorImageToDepthImage函数转换到深度相机的坐标系下，再用数组以color32数据的形式获取各个像素的RGB值，类型为float。将这些包含颜色信息的数据用3×1的向量表示，存于链表中：
Figure BDA0003012117820000114
List＝{CAREMAC11,CAREMAC12,…,CAREMACmn} (10)
将每张RGB图像CAREMAC输入到业已训练完全的Mask-RCNN中，获得植物各个部分(自定义分割)的、具有相同大小的掩膜(Mask)，记作CAREMAM，用transformation.ColorImageToDepthImage函数转换到深度相机的坐标系下，由于自定义分割的植物部分有多个(例如多个叶片)，则对应于植物不同部分的掩膜记作CAREMAMi，i为分割部分的数量，分别和原XYZ图像点乘得到各部分的XYZ图像：
CAREMAP·CAMERAMi＝CAREMAPi (11)
对于上述每个部分形成的XYZ图像，可逐像素存入新的链表中，以下计算流程仅描述针对某一部分的点云处理，其他部分类似处理。
点云配准
由于植物的三维重建需要获取不同视角的深度图像，而不同视角下相机参考系的位姿是不相同的，因此要使得相机在不同视角下获取的点云数据具有相同的坐标基准，就需要将相机坐标系中的点云转化到某一个拥有绝对位姿的世界坐标系中。考虑到机械臂能够提供工具输出端相对于基座的位姿信息，因此选取机械臂基座参考系为世界坐标系，在基座坐标系下的点的坐标为(Xw,Yw,Zw)。
一个坐标系相对于另一个坐标系的位置表示通常使用的是坐标原点之间的相对位置，UR5机械臂使用待转换坐标系的原点在目标坐标系中的坐标表示相对位置关系。而两个坐标系之间的相对姿态的表示方法有很多种，比如：X-Y-Z固定角、Z-Y-X欧拉角、RPY角、四元数等，UR5机械臂使用的是旋转矢量法。调用TCP位姿信息接收函数后，UR5机械臂返回给上位机包含TCP位姿信息的六元向量：
Figure BDA0003012117820000121
将六元向量中的旋转矢量R＝[Rx Ry Rz]T变换成等效轴角坐标系表示法中的单位向量
Figure BDA0003012117820000122
有如下变换关系：
Figure BDA0003012117820000123
Figure BDA0003012117820000131
由旋转矢量求旋转矩阵有如下变换关系：
Figure BDA0003012117820000132
由此可得TCP参考系到基座参考系的坐标变换矩阵：
Figure BDA0003012117820000133
通过实际测量可得工具端和TCP之间的尺寸关系，如图所示。由TCP参考系变换到相机参考系的过程可看作是先经过平移使两参考系原点重合，再将TCP参考系绕X轴正向(顺时针)旋转γ角度。
相机的深度传感器光心在TCP参考系中的坐标为：
Figure BDA0003012117820000134
相机选择不同模式时，光心的位置以及坐标系姿态不相同。如图5所示为KinectDK上的深度相机和彩色相机的三维坐标系。原点位于相机的焦点处，坐标系的方向是正X轴向右，正Y轴向下，正Z轴向上。深度相机的坐标系相对于彩色相机向下倾斜6度，在窄视场(NFOV)模式下使用的照明器与深度相机的用例相符，照明器不倾斜。在宽视场(WFOV)模式下使用的照明器相对于深度相机向下额外倾斜1.3度。因此，对于不同的视场模式，γ的值也不相同。图8为不同模式下的相机参考系示意图。
宽视场模式下：
Figure BDA0003012117820000135
窄视场模式下：
Figure BDA0003012117820000141
此外，这两种情况下，α和β的值均是确定值，分别为正135度和0度，由此可利用X-Y-Z欧拉角法写出各自的旋转矩阵：
Figure BDA0003012117820000142
Figure BDA0003012117820000143
相机参考系到TCP参考系的坐标变换矩阵：
Figure BDA0003012117820000144
(R取决于深度相机视场模式)(22)综合可得相机参考系到基座参考系的坐标变换矩阵：
BASETCAREMA＝BASETTCP TCPTCAREMA (23)
利用该坐标变换矩阵，可以将相机坐标系下的点云坐标转化成为机械臂基座参考系下的点云坐标，按像素坐标索引遍历所有由像素生成的点云，左乘坐标转换矩阵，得到基座参考系下点云的坐标，存于链表中：
BASEPij＝BASETCAREMA CAREMAPij(0＜i≤m,0＜j≤n) (24)
List＝{BASEP11,BASEP12,…,BASEPij,…,BASEPmn} (25)
步骤107：对所述粗配准点云数据进行去噪和配准处理，得到植物点云分割数据，具体包括：
对所述粗配准点云数据利用离群点去除、迭代最近点算法进行去噪和配准处理，得到植物点云分割数据。
利用离群点去除、迭代最近点算法(ICP)等实现去噪和精配准，生成分割好的植物各部分点云模型。采用Matlab点云库中的pcdenoise滤波器实现粗配准点云的离群点的剔除，该滤波器会遍历点云，并对每一个点的邻域进行统计分析，计算它到所有临近点的平均距离。假设得到的结果是一个高斯分布，其形状是由均值和标准差决定，那么平均距离在标准范围(由全局距离平均值和方差定义)之外的点，可以被定义为离群点并从数据中剔除。对于给定的点云数据集P，首先通过给MeanK赋值设定要检测的每个点的邻域点数k，并计算得出该点到这k个点的距离和标准差：
Figure BDA0003012117820000151
再次遍历点云数据，计算出P中的所有点云的距离的平均值和标准差：
Figure BDA0003012117820000152
则离群点阈值可表示为：
Dt＝D+tσ (28)
其中t为比例系数，通过Threshold赋值。
最后，再次遍历点云，剔除与k个邻居点的平均距离大于Dt的点，输出点云集合如下：
Pout＝{Pij|Dij≤Dt} (29)
在去噪点云的基础上，调用Matlab中的ICP函数，实现来自不同点位的点云之间的精配准。具体步骤如下：
将位点1和位点2上生成的点云输入到ICP函数中，得到平移矩阵T和旋转矩阵R，利用T和R将位点2的点云精配准到1处；
将1和2的融合点云降采样至原来个点位采集的点云密度，形成新的1；
将3～5点位的点云依次重复上述流程精配准置1处；
获得植物某一部分的精配准点云模型。图9为TCP和机械臂基座坐标系示意图；
重复上述流程，直到处理完所有待精配准的植物各部分的点云模型。
图10为本发明植物点云数据分割系统结构图。如图10所示，一种植物点云数据分割系统包括：
第一获取模块201，用于获取植物周围不同随机点位的RGB图像；
RGB输入图像确定模块202，用于对各所述RGB图像中的植物进行实例标注，得到RGB输入图像，所述实例标注采用labelme中的多边形标注方法。
训练模块203，用于将所述RGB输入图像输入至Mask-RCNN模型进行训练，得到深度学习输出模型；
第二获取模块204，用于获取植物周围采样点位对应点位的植物RGB图像和深度图像；
掩膜确定模块205，用于将所述植物RGB图像输入至所述深度学习输出模型，得到植物各部分的掩膜；
粗配准点云数据确定模块206，用于根据所述掩膜、所述深度图像和所述植物RGB图像进行粗配准，得到粗配准点云数据；
植物点云分割数据确定模块207，用于对所述粗配准点云数据进行去噪和配准处理，得到植物点云分割数据。
所述粗配准点云数据确定模块206具体包括：
位姿信息获取单元，用于获取采样点位的位姿信息；
配准单元，用于将所述掩膜、所述深度图像和所述植物RGB图像配准到同一像素坐标系，生成点云信息；
粗配准点云数据确定单元，用于根据所述位姿信息和所述点云信息，将不同点位的点云融合至同一空间坐标系下，得到粗配准点云数据。
所述植物点云分割数据确定模块207，具体包括：
植物点云分割数据确定单元，用于对所述粗配准点云数据利用离群点去除、迭代最近点算法进行去噪和配准处理，得到植物点云分割数据。
本发明与现有技术相比，具有如下优点：
1.当前现有的植物三维重建装置多为基于转台的平台，需要控制转台旋转预设的角度实现多点位多视角采样，本产品采用机械臂连接Kinect DK相机作为点云数据获取平台，由于拥有比转台更多的自由度(6自由度)，可以在空间中选取更多的采样位点，并且相对于转台能够更容易地获取相机的位姿信息，且工业机械臂拥有较高的精度，获取的位姿信息更加精确，在此基础上有潜力实现以更复杂的路径进行采样。
2.开发了协同控制机械臂和相机的上位机软件，能够实现采样流程的自动化和数据的可视化，相比于其它手动化的重建模式更加方便，具有可重复性。
3.当前的植物点云分割技术分为两类，一类是在重建好的植物点云基础上进行点云分割，点云分割的方法从原理上分为两种，第一种方法使用纯数学模型和几何推理技术，如区域增长或模型拟合，将线性和非线性模型拟合到点云数据。这种方法允许快速运行时间能实现良好的结果。这种方法的局限性在于在拟合物体时难以选择模型的大小，对噪声敏感并且在复杂场景中不能很好地工作。第二种方法使用特征描述子的方法从点云数据中提取3D特征，并使用机器学习技术来学习不同类别的对象类型，然后使用结果模型对所获取的数据进行分类。在复杂场景中，机器学习技术将优于纯粹基于几何推理的技术。原因是由于噪声，密度不均匀，点云数据中的遮挡，很难找到并将复杂的几何图元拟合到物体上。虽然机器学习技术可以提供更好的结果，但它们通常很慢并且依赖于特征提取过程的结果。另外一类是基于二维图像的分割，之后映射到三维空间，生成点云。基于二维图像分割生成点云的方法目前采用的图像算法多为灰度直方图阈值分割、像素直方图统计、无监督聚类等，这些方法往往鲁棒性较差，分割效果不理想。基于语义分割和实例分割的二维图像转化成三维点云的方法尚未见诸报道，该方法在数据集范围内显示出很高的像素级分割精度，并且具有较高的鲁棒性，只要采用的相应的数据集，对于植物的种间差异也有很好的效果。语义分割算法中，Mask-RCNN是一种非常优秀的算法，在COCO数据集上有很好的表现，具有良好的迁移学习效果。
4.语义分割或者实例分割需要获取植物的RGB图像作为数据集，而现有的植物图像可能不足以支持模型的训练。通常获取深度学习数据集的方法需要利用爬虫软件网上搜集，或者手动相机拍摄，整个获取过程费时费力。本产品设计的装置可实现数据集的自动获取，机械臂的可编程控制特性支持其搭载相机在操作空间中进行自动化的多点位的拍摄，由于是多点位多视角拍摄，数据之间具有差异性和可学习性，在此基础上进行模型的训练将具有可收敛性。
5.设备利用率高，上述两个流程均可以利用原设备进行，不需要增加其它设备，成本控制更为合理。
本发明中数据集的训练是基于Mask-RCNN实例分割算法，从而获取植物部分的掩膜(Mask)，当前业已开发出新的实例分割算法，能够实现更加高效率高精度的实例分割，从而获取到更加精确的植物点云模型，此流程可以采用替代的算法。或者根据实际应用的需要，因为Mask-RCNN的实时性较差，从而不能快速地给出掩膜预测，在一些对于实时性有着较高需求的应用场景中，可以采用更加快速的算法，当然可能会牺牲部分的精确性。
本发明采用了基于机械臂的多自由度三维点云获取装置，实际上可以采用架设导轨和旋转电机的方式实现多自由度采样。这在一些高度结构化的植物生长环境中会更加有潜力，例如实验室环境或者受控程度很高的植物工厂中，但是额外的设施会提高产品成本，且由于是固定设施，不具备在不同的场景之间进行切换。
实验中的设备均可采用同类性能相近的产品替换。
同样作为数据驱动的深度学习方法，基于三维点云的深度学习的点云分割方法也具有较大潜力，相比于点云和图像领域的浅层机器学习或统计方法具有更高的精度、泛化能力和鲁棒性。
本发明拟通过将机械臂和深度相机连接，实现基于深度相机的植物三维数据采集的自动化，探究植物表型数据采集的自动化的可行性。再通过设计上位机程序集成植物三维重建数据采集、数据处理、数据存储和三维图像可视化等功能，构建一个植物三维表型平台。该植物表型平台能够快速获取目标植物的三维数据，并进行数据处理，最后将植物的表型信息以可视化的形式显示给使用者，从而不需要研究人员手动采集植物表型数据，只需要打开上位机软件进行一些简单的鼠标点击操作，就可以获得比人工采集精度更高的数据信息。对于植物的正常生命活动来说，本发明采用的是非侵入式的、非破坏性的信息采集，能够确保在采集数据的同时，植物本身不会受到任何的侵害，从而保证植物正常生命活动的正常进行。在采集效率方面，本发明所设计的三维重建平台结合了转台式多视角采样的高效率的优点，又利用机械臂提供的定位信息，以及基于二维RGB图像的深度学习实例分割的方法重建点云，方便实现点云配准、融合和分割，结合了现有三维信息采集方法的优点。在商业推广方面，本文所研究的植物自动化表型平台能够提供植物的表型数据的快速获取，为农业研究者提供便利，或者可以经过改装后安装在田间或室内移动设施上，实现高通量的植物表型信息获取，为农业工作者提供便利。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种植物点云数据分割方法，其特征在于，包括：
获取植物周围不同随机点位的RGB图像；
对各所述RGB图像中的植物进行实例标注，得到RGB输入图像；
将所述RGB输入图像输入至Mask-RCNN模型进行训练，得到深度学习输出模型；
获取植物周围采样点位对应点位的植物RGB图像和深度图像；
将所述植物RGB图像输入至所述深度学习输出模型，得到植物各部分的掩膜；
根据所述掩膜、所述深度图像和所述植物RGB图像进行粗配准，得到粗配准点云数据；
对所述粗配准点云数据进行去噪和配准处理，得到植物点云分割数据。
2.根据权利要求1所述的植物点云数据分割方法，其特征在于，所述实例标注采用labelme中的多边形标注方法。
3.根据权利要求1所述的植物点云数据分割方法，其特征在于，所述根据所述掩膜、所述深度图像和所述植物RGB图像进行粗配准，得到粗配准点云数据，具体包括：
获取采样点位的位姿信息；
将所述掩膜、所述深度图像和所述植物RGB图像配准到同一像素坐标系，生成点云信息；
根据所述位姿信息和所述点云信息，将不同点位的点云融合至同一空间坐标系下，得到粗配准点云数据。
4.根据权利要求1所述的植物点云数据分割方法，其特征在于，所述对所述粗配准点云数据进行去噪和配准处理，得到植物点云分割数据，具体包括：
对所述粗配准点云数据利用离群点去除、迭代最近点算法进行去噪和配准处理，得到植物点云分割数据。
5.一种植物点云数据分割系统，其特征在于，包括：
第一获取模块，用于获取植物周围不同随机点位的RGB图像；
RGB输入图像确定模块，用于对各所述RGB图像中的植物进行实例标注，得到RGB输入图像；
训练模块，用于将所述RGB输入图像输入至Mask-RCNN模型进行训练，得到深度学习输出模型；
第二获取模块，用于获取植物周围采样点位对应点位的植物RGB图像和深度图像；
掩膜确定模块，用于将所述植物RGB图像输入至所述深度学习输出模型，得到植物各部分的掩膜；
粗配准点云数据确定模块，用于根据所述掩膜、所述深度图像和所述植物RGB图像进行粗配准，得到粗配准点云数据；
植物点云分割数据确定模块，用于对所述粗配准点云数据进行去噪和配准处理，得到植物点云分割数据。
6.根据权利要求5所述的植物点云数据分割系统，其特征在于，所述实例标注采用labelme中的多边形标注方法。
7.根据权利要求5所述的植物点云数据分割系统，其特征在于，所述粗配准点云数据确定模块具体包括：
位姿信息获取单元，用于获取采样点位的位姿信息；
配准单元，用于将所述掩膜、所述深度图像和所述植物RGB图像配准到同一像素坐标系，生成点云信息；
粗配准点云数据确定单元，用于根据所述位姿信息和所述点云信息，将不同点位的点云融合至同一空间坐标系下，得到粗配准点云数据。
8.根据权利要求5所述的植物点云数据分割系统，其特征在于，所述植物点云分割数据确定模块，具体包括：
植物点云分割数据确定单元，用于对所述粗配准点云数据利用离群点去除、迭代最近点算法进行去噪和配准处理，得到植物点云分割数据。
CN202110378189.8A 2021-04-08 2021-04-08 一种植物点云数据分割方法及系统 Active CN113112504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110378189.8A CN113112504B (zh) 2021-04-08 2021-04-08 一种植物点云数据分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110378189.8A CN113112504B (zh) 2021-04-08 2021-04-08 一种植物点云数据分割方法及系统

Publications (2)

Publication Number Publication Date
CN113112504A true CN113112504A (zh) 2021-07-13
CN113112504B CN113112504B (zh) 2023-11-03

Family

ID=76715383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110378189.8A Active CN113112504B (zh) 2021-04-08 2021-04-08 一种植物点云数据分割方法及系统

Country Status (1)

Country Link
CN (1) CN113112504B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113607659A (zh) * 2021-08-26 2021-11-05 广东省农业科学院设施农业研究所 一种传送带式作物表型获取方法、系统及装置
CN113674402A (zh) * 2021-08-23 2021-11-19 浙江大学 植物三维高光谱点云模型生成方法、校正方法及其装置
CN114240866A (zh) * 2021-12-09 2022-03-25 广东省农业科学院环境园艺研究所 基于二维图像与三维生长信息的组培苗分级方法及装置
CN114431005A (zh) * 2022-02-11 2022-05-06 苏州书农科技有限公司 智能化农业果实采摘识别与定位方法、系统及装置
CN114754822A (zh) * 2022-04-29 2022-07-15 南京农业大学 一种基于智慧农业的多重信息智能融合采集研判决策机器人及其使用方法
CN115082559A (zh) * 2022-07-20 2022-09-20 广东工业大学 一种柔性件的多目标智能分拣方法、系统及存储介质
CN115408544A (zh) * 2022-08-19 2022-11-29 梅卡曼德（北京）机器人科技有限公司 图像数据库构建方法、装置、设备、存储介质及产品
CN116740703A (zh) * 2023-06-16 2023-09-12 安徽农业大学 一种基于点云信息的小麦表型参数变化率估测方法和装置
CN117333400A (zh) * 2023-11-06 2024-01-02 华中农业大学 一种根盒培养作物根系图像断根修复及表型提取方法
WO2024008081A1 (zh) * 2022-07-04 2024-01-11 梅卡曼德（北京）机器人科技有限公司 图像生成方法和模型训练方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060013482A1 (en) * 2004-06-23 2006-01-19 Vanderbilt University System and methods of organ segmentation and applications of same
CN102227972A (zh) * 2011-04-28 2011-11-02 北京农业智能装备技术研究中心 高架栽培果实智能采收设备及采收方法
CN108830272A (zh) * 2018-08-03 2018-11-16 中国农业大学 基于rgb-d相机的马铃薯图像采集装置及芽眼识别和定位方法
CN108898610A (zh) * 2018-07-20 2018-11-27 电子科技大学 一种基于mask-RCNN的物体轮廓提取方法
CN109255813A (zh) * 2018-09-06 2019-01-22 大连理工大学 一种面向人机协作的手持物体位姿实时检测方法
CN109887020A (zh) * 2019-02-25 2019-06-14 中国农业科学院农业信息研究所 一种植株器官分离方法及系统
CN110148146A (zh) * 2019-05-24 2019-08-20 重庆大学 一种利用合成数据的植物叶片分割方法及系统
CN211867832U (zh) * 2020-04-02 2020-11-06 南京佳和牙科技术有限公司 一种基于机器视觉的齿科物料识别及拾取装置
CN112184789A (zh) * 2020-08-31 2021-01-05 深圳大学 植物模型生成方法、装置、计算机设备和存储介质
CN112171661A (zh) * 2020-08-25 2021-01-05 广西大学 一种基于视觉信息融合的机械臂抓取目标物体方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060013482A1 (en) * 2004-06-23 2006-01-19 Vanderbilt University System and methods of organ segmentation and applications of same
CN102227972A (zh) * 2011-04-28 2011-11-02 北京农业智能装备技术研究中心 高架栽培果实智能采收设备及采收方法
CN108898610A (zh) * 2018-07-20 2018-11-27 电子科技大学 一种基于mask-RCNN的物体轮廓提取方法
CN108830272A (zh) * 2018-08-03 2018-11-16 中国农业大学 基于rgb-d相机的马铃薯图像采集装置及芽眼识别和定位方法
CN109255813A (zh) * 2018-09-06 2019-01-22 大连理工大学 一种面向人机协作的手持物体位姿实时检测方法
CN109887020A (zh) * 2019-02-25 2019-06-14 中国农业科学院农业信息研究所 一种植株器官分离方法及系统
CN110148146A (zh) * 2019-05-24 2019-08-20 重庆大学 一种利用合成数据的植物叶片分割方法及系统
CN211867832U (zh) * 2020-04-02 2020-11-06 南京佳和牙科技术有限公司 一种基于机器视觉的齿科物料识别及拾取装置
CN112171661A (zh) * 2020-08-25 2021-01-05 广西大学 一种基于视觉信息融合的机械臂抓取目标物体方法
CN112184789A (zh) * 2020-08-31 2021-01-05 深圳大学 植物模型生成方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIU X等: "Automatic segmentation of overlapped poplar seedling leaves combining Mask R-CNN and DBSCAN", 《 COMPUTERS AND ELECTRONICS IN AGRICULTURE》, vol. 178, pages 1 - 15 *
孟祥爽;林沂;: "基于移动Kinect的低成本植物三维结构表型分析", 光谱学与光谱分析, no. 08, pages 2352 - 2357 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674402B (zh) * 2021-08-23 2023-10-31 浙江大学 植物三维高光谱点云模型生成方法、校正方法及其装置
CN113674402A (zh) * 2021-08-23 2021-11-19 浙江大学 植物三维高光谱点云模型生成方法、校正方法及其装置
CN113607659B (zh) * 2021-08-26 2022-06-28 广东省农业科学院设施农业研究所 一种传送带式作物表型获取方法、系统及装置
CN113607659A (zh) * 2021-08-26 2021-11-05 广东省农业科学院设施农业研究所 一种传送带式作物表型获取方法、系统及装置
CN114240866A (zh) * 2021-12-09 2022-03-25 广东省农业科学院环境园艺研究所 基于二维图像与三维生长信息的组培苗分级方法及装置
CN114240866B (zh) * 2021-12-09 2022-07-08 广东省农业科学院环境园艺研究所 基于二维图像与三维生长信息的组培苗分级方法及装置
CN114431005A (zh) * 2022-02-11 2022-05-06 苏州书农科技有限公司 智能化农业果实采摘识别与定位方法、系统及装置
CN114754822A (zh) * 2022-04-29 2022-07-15 南京农业大学 一种基于智慧农业的多重信息智能融合采集研判决策机器人及其使用方法
WO2024008081A1 (zh) * 2022-07-04 2024-01-11 梅卡曼德（北京）机器人科技有限公司 图像生成方法和模型训练方法
CN115082559A (zh) * 2022-07-20 2022-09-20 广东工业大学 一种柔性件的多目标智能分拣方法、系统及存储介质
CN115408544A (zh) * 2022-08-19 2022-11-29 梅卡曼德（北京）机器人科技有限公司 图像数据库构建方法、装置、设备、存储介质及产品
CN116740703A (zh) * 2023-06-16 2023-09-12 安徽农业大学 一种基于点云信息的小麦表型参数变化率估测方法和装置
CN116740703B (zh) * 2023-06-16 2023-11-24 安徽农业大学 一种基于点云信息的小麦表型参数变化率估测方法和装置
CN117333400A (zh) * 2023-11-06 2024-01-02 华中农业大学 一种根盒培养作物根系图像断根修复及表型提取方法
CN117333400B (zh) * 2023-11-06 2024-04-30 华中农业大学 一种根盒培养作物根系图像断根修复及表型提取方法

Also Published As

Publication number Publication date
CN113112504B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN113112504B (zh) 一种植物点云数据分割方法及系统
Gibbs et al. Approaches to three-dimensional reconstruction of plant shoot topology and geometry
Gibbs et al. Plant phenotyping: an active vision cell for three-dimensional plant shoot reconstruction
Santos et al. Image-based 3D digitizing for plant architecture analysis and phenotyping.
Li et al. An overlapping-free leaf segmentation method for plant point clouds
CN108198230A (zh) 一种基于散乱图像的作物果实三维点云提取系统
Santos et al. 3D plant modeling: localization, mapping and segmentation for plant phenotyping using a single hand-held camera
CN111724433A (zh) 一种基于多目视觉的作物表型参数提取方法及系统
Lou et al. Accurate multi-view stereo 3D reconstruction for cost-effective plant phenotyping
Masuda Leaf area estimation by semantic segmentation of point cloud of tomato plants
Pound et al. A patch-based approach to 3D plant shoot phenotyping
Zhu et al. Analysing the phenotype development of soybean plants using low-cost 3D reconstruction
CN112200854B (zh) 一种基于视频图像的叶类蔬菜三维表型测量方法
CN116862955A (zh) 一种植物图像的三维配准方法、系统及设备
CN114689038A (zh) 基于机器视觉的果实检测定位与果园地图构建方法
Guo et al. Improved 3D point cloud segmentation for accurate phenotypic analysis of cabbage plants using deep learning and clustering algorithms
Wang et al. Pursuing 3-D scene structures with optical satellite images from affine reconstruction to Euclidean reconstruction
Golla et al. Temporal upsampling of point cloud sequences by optimal transport for plant growth visualization
Zhang et al. TPMv2: An end-to-end tomato pose method based on 3D key points detection
Patel et al. Deep Learning-Based Plant Organ Segmentation and Phenotyping of Sorghum Plants Using LiDAR Point Cloud
Zou et al. Density estimation method of mature wheat based on point cloud segmentation and clustering
CN116311218A (zh) 基于自注意力特征融合的带噪植株点云语义分割方法及系统
Saeed et al. Cotton plant part 3D segmentation and architectural trait extraction using point voxel convolutional neural networks
Dong et al. Three-dimensional quantification of apple phenotypic traits based on deep learning instance segmentation
Zhang et al. Three-dimensional branch segmentation and phenotype extraction of maize tassel based on deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant