CN115496804A - 基于三维点云深度学习网络的机械化茶叶采摘方法 - Google Patents

基于三维点云深度学习网络的机械化茶叶采摘方法 Download PDF

Info

Publication number
CN115496804A
CN115496804A CN202211135294.XA CN202211135294A CN115496804A CN 115496804 A CN115496804 A CN 115496804A CN 202211135294 A CN202211135294 A CN 202211135294A CN 115496804 A CN115496804 A CN 115496804A
Authority
CN
China
Prior art keywords
tea
point cloud
current moment
picking
picking blade
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211135294.XA
Other languages
English (en)
Inventor
俞焘杰
范国帅
陈建能
赵润茂
贾江鸣
武传宇
贺磊盈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sci Tech University ZSTU
Original Assignee
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sci Tech University ZSTU filed Critical Zhejiang Sci Tech University ZSTU
Priority to CN202211135294.XA priority Critical patent/CN115496804A/zh
Publication of CN115496804A publication Critical patent/CN115496804A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/04—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs of tea
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D91/00—Methods for harvesting agricultural products
    • A01D91/04—Products growing above the soil
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Abstract

本发明公开了基于三维点云深度学习网络的机械化茶叶采摘方法，先对三维点云数据进行滤波，采用三维点云深度学习网络模型对滤波后的点云数据进行点云语义分割，将点云数据中分割成顶端鲜叶点云、当前时刻采茶刀片点云和茶叶枝干点云三个分类，并形成每个鲜叶点云数据的长度语义标签；然后将不在鲜叶合理长度范围内的鲜叶点云数据从顶端鲜叶点云中筛除；接着，计算鲜叶剪切距离，调整采茶刀片角度，计算当前时刻采茶刀片与茶陇蓬面的高度差，计算当前时刻最佳深入距离；最后对最佳深入距离进行实时反馈调节。本发明极大地提高了采摘的鲜叶质量。

Description

基于三维点云深度学习网络的机械化茶叶采摘方法
技术领域
本发明属于采摘技术领域，具体涉及一种基于三维点云深度学习网络的机械化茶叶采摘方法。
背景技术
茶叶是世界三大饮料之一，深受世界各国人民的喜爱。茶叶文化更是我国的优秀传统文化之一。茶叶不仅具有提神清心、清热解暑、消食化痰、去腻减肥、清心除烦、解毒醒酒、生津止渴、降火明目、止痢除湿等药理作用，还对现代疾病，如辐射病、心脑血管病、癌症等疾病，有一定的药理功效。
随着科技发展，人们逐渐在茶叶采摘中引入了一些机械化手段。例如在大宗茶采摘中发展出了单人手提式采茶机、双人式弧形采茶机以及乘坐式采茶机等。这些机器都是通过不同的方式驱动，使得采茶刀片在茶陇蓬面上往复运动并采摘下鲜叶。单人手提式采茶机与双人式弧形采茶机都为人工式手提采茶机，采茶刀片深入茶陇蓬面的距离仅能由人工大致估计，不确定性非常大；乘坐式采茶机中，有些机器的采茶刀片高度为预设的固定高度，无法根据采摘中途的茶陇蓬面变化进行高度更改；有些机器的采茶刀片具备一定的调节能力，如超声波测距反馈等，但是依旧存在着反应速度过慢、精度受环境影响大等问题。因此现存的茶叶采摘机械大多在采摘过程中对于采茶刀片深入茶陇蓬面的距离存在不可控因素。而采茶刀片深入茶陇蓬面的距离直接决定了采摘下来的茶叶鲜叶质量，进一步影响了茶叶质量与茶叶产量。
因此，急需一种可用于各类大宗茶、深入茶陇蓬面距离更稳定的茶叶采摘机器及采摘方法。
发明内容
本发明的目的是针对现有技术的不足，提供一种基于三维点云深度学习网络的机械化茶叶采摘方法，利用三维激光雷达实时提取采茶刀片与茶陇蓬面实时位置以及茶陇蓬面三维点云，利用三维点云深度学习网络实时语义分割采集到的茶陇蓬面三维点云，进行顶端鲜叶点云识别，保证采茶刀片以最佳深入距离深入茶陇蓬面进行采摘，从而保证采摘的茶叶鲜叶质量。
为了达到上述目的，本发明采用的技术方案如下：
本发明包括如下步骤：
步骤1、在采茶刀片尾部粘贴反光条。反光条的长度等于采茶刀片尾部的长度，且反光条有部分高于采茶刀片尾部设置。
步骤2、将采茶刀片和三维激光雷达均置于茶陇蓬面上方，且采茶刀片位于三维激光雷达沿X轴正向上，采茶刀片尾部朝向三维激光雷达。三维激光雷达与沟槽的距离保持不变，且采茶刀片和三维激光雷达的前后运动完全同步。其中，以竖直向上为Z轴正向，采茶刀片前进方向为X轴正向，Y轴正向与Z轴正向和X轴正向符合笛卡尔空间直角坐标系。启动三维激光雷达。
步骤3、三维激光雷达将采集的三维点云数据传至边缘计算平台，边缘计算平台对三维点云数据依次进行条件滤波处理和体素滤波处理，然后采用边缘计算平台部署的三维点云深度学习网络模型对处理后的点云数据进行点云语义分割，将点云数据分割成顶端鲜叶点云、当前时刻采茶刀片点云和茶叶枝干点云三个分类，并形成每个鲜叶点云数据的长度语义标签。
步骤4、将长度语义标签记录的长度不在鲜叶合理长度范围内的鲜叶点云数据从顶端鲜叶点云中筛除，鲜叶合理长度范围为0.9l1～1.1l2，l1为设定的最小鲜叶长度，l2为设定的最大鲜叶长度。
步骤5、鲜叶剪切距离计算：对步骤4筛选得到的顶端鲜叶点云中位于当前时刻采茶刀片点云正下方的点云进行Z轴上的投影，并将投影长度均值再与最大鲜叶长度l2取平均作为当前时刻茶陇蓬面点云的鲜叶剪切距离。
步骤6、调整采茶刀片角度，具体过程如下：
6.1确定当前时刻采茶刀片采摘线：从当前时刻采茶刀片点云中选取当前时刻反光条最底部边沿点云；将当前时刻反光条最底部边沿点云中各点的X轴坐标加上采茶刀片的宽度，得到的点云作为当前时刻采茶刀片采摘线，将反光条的俯仰角作为采茶刀片的俯仰角。
6.2确定当前时刻茶陇蓬面点云：选取步骤3处理后的点云数据中X轴坐标与当前时刻采茶刀片刀尖X轴坐标相等的各点，得到当前时刻茶陇蓬面点云。
6.3对当前时刻茶陇蓬面点云利用聚类算法进行曲线拟合，得到当前时刻茶陇蓬面线。
6.4调整采茶刀片角度：变换采茶刀片角度，针对每个采茶刀片角度，计算当前时刻采茶刀片采摘线上所有点到当前时刻茶陇蓬面线垂直距离的方差；将采茶刀片角度调整到方差最小对应的角度。
步骤7、计算当前时刻采茶刀片与茶陇蓬面的高度差：将当前时刻采茶刀片采摘线与当前时刻茶陇蓬面线上Y轴坐标相等的各点进行Z轴坐标相减，并对相减所得的各个值取均值作为当前时刻采茶刀片与茶陇蓬面的高度差。
步骤8、若当前时刻采茶刀片与茶陇蓬面的高度差小于0，且当前时刻采茶刀片与茶陇蓬面的高度差和当前时刻茶陇蓬面点云的鲜叶剪切距离之和小于0，则将当前时刻采茶刀片与茶陇蓬面的高度差和当前时刻茶陇蓬面点云的鲜叶剪切距离之和取绝对值后作为采茶刀片的当前时刻最佳深入距离，采茶刀片上升当前时刻最佳深入距离；否则，将当前时刻采茶刀片与茶陇蓬面的高度差和当前时刻茶陇蓬面点云的鲜叶剪切距离之和作为采茶刀片的当前时刻最佳深入距离，采茶刀片下降当前时刻最佳深入距离；然后采茶刀片和三维激光雷达做同步前进运动，采茶刀片对当前时刻茶陇蓬面上的茶叶进行采摘。
步骤9、采茶刀片和三维激光雷达同步前进过程中，不断重复步骤3至步骤8，直到采摘结束，采茶刀片和三维激光雷达停止前进。
优选地，条件滤波处理中，以初始时刻三维激光雷达拍摄到的整个茶陇中横截面的最大宽度d乘以1.2作为保留宽度D，以初始时刻三维激光雷达拍摄到的整个茶陇最大高度乘以1.2作为保留高度H，以行进方向速度乘以10作为保留长度L，以三维激光雷达位置为零点，向下延伸H，向左右两边各延伸0.5D，向前延伸L，形成一个长方体区域作为条件滤波中三维点云的保留范围。
优选地，所述的体素滤波处理如下：对条件滤波处理后剩余的三维点云数据进行下采样，保留点云形状特征前提下，创建一个三维体素栅格，每个体素用该体素中所有点的重心来显示。
优选地，所述的三维点云深度学习网络模型采用PointNet++网络模型，该模型将点云的每个点先映射到一个冗余的高维空间后，再进行对称函数操作，减少了大量损失特征，可以将输入点云中的单个点云打上语义标签，完成对三维点云的语义分割。
优选地，三维点云深度学习网络模型预先经过训练和验证，训练时采用训练集数据，验证时采用验证集数据。
更优选地，数据集中90％的数据归为训练集，10％的数据归为验证集；数据集是预先采用三维激光雷达对茶陇进行扫描并对采集的三维点云数据依次进行条件滤波处理和体素滤波处理，再对处理后的三维点云数据标注出顶端鲜叶点云、当前时刻采茶刀片点云和茶叶枝干点云三个分类而得到的。
优选地，所述的聚类算法为K-means聚类。
本发明的有益效果如下：
1、本发明将三维激光雷达获取的点云信息经条件滤波处理和体素滤波处理后，采用三维点云深度学习网络模型对处理后的点云数据进行点云语义分割，并得到当前被采摘的鲜叶长度，然后通过合理计算后实时反馈采茶刀片深入茶陇蓬面的最佳深入距离，使采茶刀片始终以最佳深入距离深入茶陇蓬面进行采摘，极大地提高了鲜叶质量。
2、本发明的三维点云深度学习网络模型采用PointNet++网络模型，能基于三维点云语义分割算法实现顶端鲜叶点云、当前时刻采茶刀片点云和茶叶枝干点云的三分类语义分割，准确分类点云信息，直观地采集与反馈茶陇蓬面状态和采茶刀片相对位姿信息。且该模型将点云的每个点先映射到一个冗余的高维空间后，再进行对称函数操作，减少了大量损失特征，并可以将输入点云中的单个点云打上语义标签。
3、本发明采用的三维激光雷达获取点云信息，相较于红外线测距、超声波测距以及二维雷达测距等，精准度更高、抗干扰性更强、不受光线和温度影响，更加适用于室外茶园环境。
4、本发明可广泛应用于使用采茶刀片进行茶叶采摘的装置，适合推广使用。
附图说明
图1是本发明的流程图。
图2为本发明的采茶刀片加装反光条的示意图。
图3为本发明的采茶刀片与当前时刻采茶刀片下方的茶陇蓬面示意图。
图4为本发明中采茶刀片和三维激光雷达的布置示意图。
具体实施方式
以下结合附图对本发明作进一步说明。
如图1所示，基于三维点云深度学习网络的机械化茶叶采摘方法，包括如下步骤(为描述方便，本实施例以竖直向上为Z轴正向，采茶刀片前进方向为X轴正向，而Y轴正向与Z轴正向和X轴正向符合笛卡尔空间直角坐标系)：
步骤1、如图2所示，在采茶刀片2尾部粘贴反光条1。反光条1的长度等于采茶刀片2尾部的长度，且反光条1有部分高于采茶刀片2尾部设置，保证其充分反映采茶刀片2与茶陇蓬面接触时的剪切线，且保证采茶刀片2采摘茶叶时反光条1仍有部分露出茶陇蓬面外，便于三维激光雷达采集数据。
步骤2、如图3和图4所示，将采茶刀片和三维激光雷达均置于茶陇蓬面上方，且采茶刀片位于三维激光雷达沿X轴正向上，采茶刀片尾部朝向三维激光雷达。采茶刀片可上下运动、摆动(调整采茶刀片角度的运动)和前后运动，而三维激光雷达只可前后运动，与沟槽的距离保持不变(不可上下运动)，且采茶刀片和三维激光雷达的前后运动完全同步。启动三维激光雷达。
步骤3、三维激光雷达将采集的三维点云数据传至边缘计算平台，边缘计算平台对三维点云数据进行预处理，并采用边缘计算平台部署的PointNet++网络模型(是一种三维点云深度学习网络模型)对预处理后的点云数据进行点云语义分割，将点云数据分割成顶端鲜叶点云、当前时刻采茶刀片点云和茶叶枝干点云三个分类，并形成每个鲜叶点云数据的长度语义标签。
点云数据预处理的过程具体如下：
①条件滤波处理：由于三维激光雷达照射范围可达到几百米，大概率会有远处茶陇以及采茶刀片附近的一些冗余点云被一同采集，因此，边缘计算平台首先采用条件滤波对三维点云进行处理，其中，以初始时刻三维激光雷达拍摄到的整个茶陇中横截面的最大宽度d乘以1.2作为保留宽度D，以初始时刻三维激光雷达拍摄到的整个茶陇最大高度h乘以1.2作为保留高度H，以行进方向速度V(单位m/s)乘以10作为保留长度L，以三维激光雷达位置为零点，向下延伸H，向左右两边各延伸0.5D，向前延伸L，形成一个长方体区域作为条件滤波中三维点云的保留范围。
②体素滤波处理：对条件滤波处理后剩余的三维点云数据进行下采样，保留点云形状特征前提下，创建一个三维体素栅格，每个体素用该体素中所有点的重心来显示，以此减少点云数量，降低后续运算成本。
其中，PointNet++网络模型预先经过训练和验证，训练时采用训练集数据，验证时采用验证集数据；数据集中90％的数据归为训练集，10％的数据归为验证集；数据集是预先采用三维激光雷达对茶陇进行扫描并对采集的三维点云数据进行预处理，再对预处理后的三维点云数据标注出顶端鲜叶点云、当前时刻采茶刀片点云和茶叶枝干点云三个分类而得到的。
步骤4、将长度语义标签记录的长度不在鲜叶合理长度范围内的鲜叶点云数据从顶端鲜叶点云中筛除，鲜叶合理长度范围为0.9l1～1.1l2，l1为设定的最小鲜叶长度，l2为设定的最大鲜叶长度；其中，l1和l2可以通过采集同品种的、符合制作要求的茶叶鲜叶进行统计得到，为留有一定余量，对鲜叶合理长度范围相比l1～l2进行了扩大。
步骤5、鲜叶剪切距离计算：对步骤4筛选得到的顶端鲜叶点云中位于当前时刻采茶刀片点云正下方的点云进行Z轴上的投影，并将投影长度均值再与最大鲜叶长度l2取平均作为当前时刻茶陇蓬面点云的鲜叶剪切距离。
步骤6、调整采茶刀片角度，具体过程如下：
6.1确定当前时刻采茶刀片采摘线：从当前时刻采茶刀片点云中选取当前时刻反光条最底部边沿点云；将当前时刻反光条最底部边沿点云中各点的X轴坐标加上采茶刀片的宽度，得到的点云作为当前时刻采茶刀片采摘线，将反光条的俯仰角作为采茶刀片的俯仰角。
6.2确定当前时刻茶陇蓬面点云：选取步骤3预处理后的点云数据中X轴坐标与当前时刻采茶刀片刀尖X轴坐标相等的各点，得到当前时刻茶陇蓬面点云。
6.3对当前时刻茶陇蓬面点云利用K-Means聚类进行曲线拟合，得到当前时刻茶陇蓬面线。
6.4调整采茶刀片角度：变换采茶刀片角度，针对每个采茶刀片角度，计算当前时刻采茶刀片采摘线上所有点到当前时刻茶陇蓬面线垂直距离的方差；将采茶刀片角度调整到方差最小对应的角度，从而使采茶刀片尽量贴合茶陇蓬面。
步骤7、计算当前时刻采茶刀片与茶陇蓬面的高度差：将当前时刻采茶刀片采摘线与当前时刻茶陇蓬面线上Y轴坐标相等的各点进行Z轴坐标相减，并对相减所得的各个值取均值作为当前时刻采茶刀片与茶陇蓬面的高度差。
步骤8、若当前时刻采茶刀片与茶陇蓬面的高度差小于0，且当前时刻采茶刀片与茶陇蓬面的高度差和当前时刻茶陇蓬面点云的鲜叶剪切距离之和小于0，则将当前时刻采茶刀片与茶陇蓬面的高度差和当前时刻茶陇蓬面点云的鲜叶剪切距离之和取绝对值后作为采茶刀片的当前时刻最佳深入距离，采茶刀片上升当前时刻最佳深入距离；否则，将当前时刻采茶刀片与茶陇蓬面的高度差和当前时刻茶陇蓬面点云的鲜叶剪切距离之和作为采茶刀片的当前时刻最佳深入距离，采茶刀片下降当前时刻最佳深入距离；然后采茶刀片和三维激光雷达做同步前进运动，采茶刀片对当前时刻茶陇蓬面上的茶叶进行采摘。
步骤9、采茶刀片和三维激光雷达同步前进过程中，不断重复步骤3至步骤8，直到采摘结束，采茶刀片和三维激光雷达停止前进。

Claims (7)

1.基于三维点云深度学习网络的机械化茶叶采摘方法，其特征在于：包括如下步骤：
步骤1、在采茶刀片尾部粘贴反光条；反光条的长度等于采茶刀片尾部的长度，且反光条有部分高于采茶刀片尾部设置；
步骤2、将采茶刀片和三维激光雷达均置于茶陇蓬面上方，且采茶刀片位于三维激光雷达沿X轴正向上，采茶刀片尾部朝向三维激光雷达；三维激光雷达与沟槽的距离保持不变，且采茶刀片和三维激光雷达的前后运动完全同步；其中，以竖直向上为Z轴正向，采茶刀片前进方向为X轴正向，Y轴正向与Z轴正向和X轴正向符合笛卡尔空间直角坐标系；启动三维激光雷达；
步骤3、三维激光雷达将采集的三维点云数据传至边缘计算平台，边缘计算平台对三维点云数据依次进行条件滤波处理和体素滤波处理，然后采用边缘计算平台部署的三维点云深度学习网络模型对处理后的点云数据进行点云语义分割，将点云数据分割成顶端鲜叶点云、当前时刻采茶刀片点云和茶叶枝干点云三个分类，并形成每个鲜叶点云数据的长度语义标签；
步骤4、将长度语义标签记录的长度不在鲜叶合理长度范围内的鲜叶点云数据从顶端鲜叶点云中筛除，鲜叶合理长度范围为0.9l1～1.1l2，l1为设定的最小鲜叶长度，l2为设定的最大鲜叶长度；
步骤5、鲜叶剪切距离计算：对步骤4筛选得到的顶端鲜叶点云中位于当前时刻采茶刀片点云正下方的点云进行Z轴上的投影，并将投影长度均值再与最大鲜叶长度l2取平均作为当前时刻茶陇蓬面点云的鲜叶剪切距离；
步骤6、调整采茶刀片角度，具体过程如下：
6.1确定当前时刻采茶刀片采摘线：从当前时刻采茶刀片点云中选取当前时刻反光条最底部边沿点云；将当前时刻反光条最底部边沿点云中各点的X轴坐标加上采茶刀片的宽度，得到的点云作为当前时刻采茶刀片采摘线，将反光条的俯仰角作为采茶刀片的俯仰角；
6.2确定当前时刻茶陇蓬面点云：选取步骤3处理后的点云数据中X轴坐标与当前时刻采茶刀片刀尖X轴坐标相等的各点，得到当前时刻茶陇蓬面点云；
6.3对当前时刻茶陇蓬面点云利用聚类算法进行曲线拟合，得到当前时刻茶陇蓬面线；
6.4调整采茶刀片角度：变换采茶刀片角度，针对每个采茶刀片角度，计算当前时刻采茶刀片采摘线上所有点到当前时刻茶陇蓬面线垂直距离的方差；将采茶刀片角度调整到方差最小对应的角度；
步骤7、计算当前时刻采茶刀片与茶陇蓬面的高度差：将当前时刻采茶刀片采摘线与当前时刻茶陇蓬面线上Y轴坐标相等的各点进行Z轴坐标相减，并对相减所得的各个值取均值作为当前时刻采茶刀片与茶陇蓬面的高度差；
步骤8、若当前时刻采茶刀片与茶陇蓬面的高度差小于0，且当前时刻采茶刀片与茶陇蓬面的高度差和当前时刻茶陇蓬面点云的鲜叶剪切距离之和小于0，则将当前时刻采茶刀片与茶陇蓬面的高度差和当前时刻茶陇蓬面点云的鲜叶剪切距离之和取绝对值后作为采茶刀片的当前时刻最佳深入距离，采茶刀片上升当前时刻最佳深入距离；否则，将当前时刻采茶刀片与茶陇蓬面的高度差和当前时刻茶陇蓬面点云的鲜叶剪切距离之和作为采茶刀片的当前时刻最佳深入距离，采茶刀片下降当前时刻最佳深入距离；然后采茶刀片和三维激光雷达做同步前进运动，采茶刀片对当前时刻茶陇蓬面上的茶叶进行采摘；
步骤9、采茶刀片和三维激光雷达同步前进过程中，不断重复步骤3至步骤8，直到采摘结束，采茶刀片和三维激光雷达停止前进。
2.根据权利要求1所述基于三维点云深度学习网络的机械化茶叶采摘方法，其特征在于：条件滤波处理中，以初始时刻三维激光雷达拍摄到的整个茶陇中横截面的最大宽度d乘以1.2作为保留宽度D，以初始时刻三维激光雷达拍摄到的整个茶陇最大高度乘以1.2作为保留高度H，以行进方向速度乘以10作为保留长度L，以三维激光雷达位置为零点，向下延伸H，向左右两边各延伸0.5D，向前延伸L，形成一个长方体区域作为条件滤波中三维点云的保留范围。
3.根据权利要求1所述基于三维点云深度学习网络的机械化茶叶采摘方法，其特征在于：所述的体素滤波处理如下：对条件滤波处理后剩余的三维点云数据进行下采样，保留点云形状特征前提下，创建一个三维体素栅格，每个体素用该体素中所有点的重心来显示。
4.根据权利要求1所述基于三维点云深度学习网络的机械化茶叶采摘方法，其特征在于：所述的三维点云深度学习网络模型采用PointNet++网络模型。
5.根据权利要求1所述基于三维点云深度学习网络的机械化茶叶采摘方法，其特征在于：三维点云深度学习网络模型预先经过训练和验证，训练时采用训练集数据，验证时采用验证集数据。
6.根据权利要求5所述基于三维点云深度学习网络的机械化茶叶采摘方法，其特征在于：数据集中90％的数据归为训练集，10％的数据归为验证集；数据集是预先采用三维激光雷达对茶陇进行扫描并对采集的三维点云数据依次进行条件滤波处理和体素滤波处理，再对处理后的三维点云数据标注出顶端鲜叶点云、当前时刻采茶刀片点云和茶叶枝干点云三个分类而得到的。
7.根据权利要求1所述基于三维点云深度学习网络的机械化茶叶采摘方法，其特征在于：所述的聚类算法为K-means聚类。
CN202211135294.XA 2022-09-19 2022-09-19 基于三维点云深度学习网络的机械化茶叶采摘方法 Pending CN115496804A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211135294.XA CN115496804A (zh) 2022-09-19 2022-09-19 基于三维点云深度学习网络的机械化茶叶采摘方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211135294.XA CN115496804A (zh) 2022-09-19 2022-09-19 基于三维点云深度学习网络的机械化茶叶采摘方法

Publications (1)

Publication Number Publication Date
CN115496804A true CN115496804A (zh) 2022-12-20

Family

ID=84470252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211135294.XA Pending CN115496804A (zh) 2022-09-19 2022-09-19 基于三维点云深度学习网络的机械化茶叶采摘方法

Country Status (1)

Country Link
CN (1) CN115496804A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115943809A (zh) * 2023-03-09 2023-04-11 四川省农业机械研究设计院 一种基于质量评价的采茶优化方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115943809A (zh) * 2023-03-09 2023-04-11 四川省农业机械研究设计院 一种基于质量评价的采茶优化方法和系统

Similar Documents

Publication Publication Date Title
CN109785337A (zh) 一种基于实例分割算法的栏内哺乳动物清点方法
CN111428712B (zh) 基于人工智能识别的名优茶采摘机及采摘机用识别方法
CN107610223B (zh) 基于LiDAR点云的电力塔三维重建方法
CN106296742B (zh) 一种结合特征点匹配的在线目标跟踪方法
CN101356877B (zh) 一种温室环境下黄瓜采摘机器人系统及采摘方法
CN112052853B (zh) 一种基于深度学习的手写气象档案资料的文本定位方法
CN105572687B (zh) 一种基于车载激光雷达点云制作建筑物数字线划图的方法
CN110232736A (zh) 一种井下综采工作面三维场景快速构建方法
CN104400265B (zh) 一种激光视觉引导的焊接机器人角接焊缝特征的提取方法
CN115496804A (zh) 基于三维点云深度学习网络的机械化茶叶采摘方法
CN102184008A (zh) 互动投影系统及方法
CN109241983A (zh) 一种图像处理与神经网络结合的条烟图像识别方法
CN109272524A (zh) 一种基于阈值分割的小尺度点云噪声去噪方法
CN112651969B (zh) 结合多信息融合网络和区域增长的气管树分级提取方法
CN112825791B (zh) 一种基于深度学习与点云凸包化特征的奶牛体况评分方法
CN107392954A (zh) 一种基于序列图像的粗大误差点剔除方法
CN106841214A (zh) 一种非接触式风电叶片风沙侵蚀程度检测方法
CN106327528A (zh) 无人机运动目标跟踪方法及无人机的工作方法
CN113985438A (zh) 一种植物三维模型重建系统及方法
CN109411080B (zh) 一种基于超声数据的人机协同结节风险评级系统
CN113902792A (zh) 基于改进RetinaNet网络的建筑物高度检测方法、系统和电子设备
CN114627074A (zh) 一种基于深度学习的地面拍摄风机叶片实时监测方法
CN110348344A (zh) 一种基于二维和三维融合的特殊人脸表情识别的方法
CN102360451A (zh) 人工鱼群粒子滤波方法
CN106570877B (zh) 基于采煤机虚拟样机与真实图像配准的采煤机位姿定位系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination