CN116138036B - 一种用于名优茶嫩芽采摘的二次定位方法 - Google Patents
一种用于名优茶嫩芽采摘的二次定位方法 Download PDFInfo
- Publication number
- CN116138036B CN116138036B CN202310295643.2A CN202310295643A CN116138036B CN 116138036 B CN116138036 B CN 116138036B CN 202310295643 A CN202310295643 A CN 202310295643A CN 116138036 B CN116138036 B CN 116138036B
- Authority
- CN
- China
- Prior art keywords
- picking
- tender
- tea
- buds
- bud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 241001122767 Theaceae Species 0.000 title claims 15
- 239000012636 effector Substances 0.000 claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 238000012847 principal component analysis method Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims 1
- 244000269722 Thea sinensis Species 0.000 abstract description 70
- 235000009024 Ceanothus sanguineus Nutrition 0.000 abstract description 8
- 240000003553 Leptospermum scoparium Species 0.000 abstract description 8
- 235000015459 Lycium barbarum Nutrition 0.000 abstract description 8
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 239000003795 chemical substances by application Substances 0.000 description 6
- 238000005070 sampling Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000007664 blowing Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 241000540325 Prays epsilon Species 0.000 description 1
- 235000006468 Thea sinensis Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
- A01D46/04—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs of tea
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种用于名优茶嫩芽采摘的二次定位方法，包括：嫩芽初定位方法、嫩芽采摘点和采摘角度获取方法、以及嫩芽二次定位方法；采摘机器人包括固定安装在支架上的第一相机与固定安装在末端执行器上的第二相机。该方法能够极大提高对于名优茶嫩芽采摘点的定位精度、以实现对于名优茶嫩芽的采摘，避免现有采摘机器人由于环境因素的干扰而出现错采、漏采以及对茶叶、茶树造成损伤的问题。
Description
技术领域
本发明涉及采茶机器人技术领域，具体涉及一种用于名优茶嫩芽采摘的二次定位方法。
背景技术
茶叶采摘的好坏，不仅直接关系到茶叶的质量、产量与经济收益，还关系到茶树的生长发育与寿命长短、直接影响单株茶树的产茶量；可见，茶叶采摘具有极为重要的意义。
传统的人工手工采摘，需要实行提手采、分朵采的标准，其标准统一、容易掌握，同时不会对茶叶、茶树造成较大的机械损伤，但手工采摘需要大量的劳动力、增加人力成本，且手工采摘耗时长、效率慢，难以做到及时、高效采摘。
近年来，基于视觉的自动采摘机器人已逐渐应用于名优茶的采摘过程中，与传统的人工手工采摘相比，基于视觉的自动采摘机器人采摘效率高、人力成本低，能够进行及时、高效的名优茶采摘。然而，名优茶质量轻、风吹或采摘机器人移动均会引起茶叶的摆动；同时，茶树与茶叶之间、茶叶之间的相互遮挡均会导致自动采摘机器人对于名优茶嫩芽的识别、定位出现偏差，甚至无法进行有效识别、定位，进而出现错采、漏采以及损伤茶叶、茶树的问题。可见，对于名优茶嫩芽采摘点的精准定位、识别，避免外界环境干扰，成为基于视觉的采摘机器人应用于名优茶采摘领域的重点与难点。
发明内容
针对以上现有技术存在的问题，本发明的目的在于提供一种用于名优茶嫩芽采摘的二次定位方法，该方法能够极大提高对于名优茶嫩芽采摘点的定位精度、以实现对于名优茶嫩芽的采摘，避免现有采摘机器人由于环境因素的干扰而出现错采、漏采以及对茶叶、茶树造成损伤的问题。
本发明的目的通过以下技术方案实现：
一种用于名优茶嫩芽采摘的二次定位方法，其特征在于：
包括：嫩芽初定位方法、嫩芽采摘点和采摘角度获取方法、以及嫩芽二次定位方法；
采摘机器人包括固定安装在支架上的第一相机与固定安装在末端执行器上的第二相机；
嫩芽初定位方法包括：通过预先训练完成的神经网络对第一相机中的图像进行识别、处理，获取嫩芽三维点云；然后利用嫩芽三维点云完成嫩芽的初步定位；
嫩芽采摘点和采摘角度获取方法包括：利用嫩芽的初步定位，并按照嫩芽的生长态势，依次获取嫩芽的采摘点与采摘角度；
嫩芽二次定位包括：首先，通过嫩芽采摘点与采摘角度将末端执行器移动至采摘位置；然后，以第二相机为基准对嫩芽进行采摘点和采摘角度的获取；最后，采用坐标系转换将以第二相机为基准获取的采摘点和采摘角度转换到第一相机为基准的坐标系中，完成嫩芽二次定位。
优选的，所述第一相机与第二相机均采用RGB-D相机。
作进一步优化，所述嫩芽初定位方法具体为：
S101、建立图像数据集：首先，在自然光照条件下，采用第一相机采集茶叶嫩芽图像数据，获取茶叶嫩芽的彩色图像与深度图像；然后，利用标记工具对彩色图像进行标注、并存储，获得图像数据集；
S102、嫩芽检测识别：建立FCOS(Fully Convolutional One-Stage ObjectDetection)卷积神经网络模型，对符合制作名优茶标准的茶叶嫩芽进行检测识别；
S103、获取嫩芽三维点云：首先，根据FCOS卷积神经网络模型的检测结果、得到检测框坐标，生成彩色图像与对应深度图像的感兴趣区域(Region of Interest，ROI)；然后，根据深度图像像素坐标与彩色图像像素坐标的映射关系，通过深度图像的坐标值、像素值和记录距离，得到对应的映射彩色图像坐标，再通过彩色图像与深度图像的坐标融合，获得茶叶三维点云；
由于生成的茶叶三维点云包括茶叶嫩芽与其背景点云，因此，通过计算获得茶叶三维点云的平均值，并将该平均值作为距离阈值，将大于距离阈值的背景点云进行过滤，得到初步分割的三维点云；再采用DBSCAN密度聚类算法，通过设置参数半径Eps和邻域中要求含有的最低样本个数Mp，将初步分割的三维点云聚为一类，筛选出嫩芽三维点云；
S104、茶叶嫩芽定位：采用主成分分析法(Principal Component Analysis，PCA)筛选出嫩芽三维点云的三个坐标轴方向，即嫩芽三维点云x、y、x的方向，获得嫩芽最小外接长方体，完成茶叶嫩芽定位。
优选的，所述步骤S101中第一相机采集茶叶嫩芽图像数据时的拍摄角度为30～60°、拍摄距离为30～50cm。
优选的，所述步骤S102中FCOS卷积神经网络模型包括骨干网络、特征金字塔与检测模块。
作进一步优化，所述嫩芽采摘点的获取方法具体为：根据嫩芽初定位方法中获取的嫩芽最小外接长方体，按照茶叶嫩芽的生长态势，选取嫩芽最小外接长方体在次主轴上最小的四个顶点坐标(即嫩芽最小外接长方体底面的四个顶点)，即：(xi,yi,zi)，其中：i＝1,2,3,4；
其中，次主轴为嫩芽初定位方法中，主成分分析法分析嫩芽三维点云时，第二大特征值对应的特征向量的方向(主成分分析法分析嫩芽三维点云中，最大特征值对应的特征向量的方向为嫩芽最小外接长方体的主轴方向)；
嫩芽采摘点为嫩芽最小外接长方体的底面中心，具体为：
作进一步优化，所述嫩芽采摘角度的获取方法具体为：
首先，获得嫩芽最小外接长方体底面的表达式，即：
Ax+By+Cz+D＝0；
然后，利用次主轴上最小的四个顶点坐标建立方程式，获得表达式系数A、B、C、D；
之后，计算原点(0,0,0)在嫩芽最小外接长方体底面上的投影点(x0,y0,z0)，具体如下：
最后，获得嫩芽采摘角度(xd,yd,zd)：
(xd,yd,zd)＝(xp,yp,zp)-(x0,y0,z0)＝(xp-x0,yp-y0,zp-z0)。
作进一步优化，所述嫩芽二次定位方法中，采摘点和采摘角度的获取方法与第一相机为基准的坐标系一致，即通过建立图像数据集-嫩芽检测识别-获取嫩芽三维点云-茶叶嫩芽定位-嫩芽采摘点获取-嫩芽采摘角度获取，获得以第二相机为基准的坐标系的嫩芽采摘点(x′p2,y′p2,z′p2)与采摘角度(x′d2,y′d2,z′d2)；
坐标系转换具体为：采用标定矩阵与向量变化矩阵对获取得到的嫩芽采摘点(x′p2,y′p2,z′p2)与采摘角度(x′d2,y′d2,z′d2)进行转换；
其中，标定矩阵为末端执行器初始状态时，第二相机的图像坐标系转换为第一相机坐标系的矩阵，标定矩阵通过实验过程中标定测试获得；向量变换矩阵由采摘机器人驱动末端执行器移动到达第一相机的图像定位的嫩芽采摘点和采摘角度位置，返回的向量变换矩阵，向量变换矩阵通过末端执行器的移动路径获得；
最终，获得映射后(即坐标系转换后)的嫩芽采摘点(xp2,yp2,zp2)与采摘角度(xd2,yd2,zd2)，具体为：
式中：Mb表示标定矩，Mx表示向量变换矩阵。
作进一步优化，所述嫩芽二次定位方法中，在茶叶嫩芽采摘前，持续进行多次二次定位，获取移动误差Δe、并且预设移动误差门限值elim，具体为：
式中：表示第i次二次定位的嫩芽采摘点，/>第i次二次定位的嫩芽采摘角度；
当Δe＜elim时，满足茶叶嫩芽采摘误差，进行嫩芽采摘；反之，则报警，重新进行定位采摘。
本发明具有如下技术效果：
本申请首先通过安装在采摘机器人支架上的第一相机对茶叶嫩芽进行初定位，完成对末端执行器的移动；同时，利用末端执行器上的第二相机对茶叶嫩芽进行二次定位，通过不断靠近嫩芽采摘点的第二相机实现持续、多次的二次定位，利用不断逼近目标(即茶叶嫩芽)的近景图像信息完成嫩芽识别以及嫩芽采摘点和采摘角度的调整，同时配合坐标系转换与移动误差的换算，获得嫩芽与机械臂的相对位置，从而有效避免风吹或机械臂移动等外界环境因素造成的嫩芽晃动、摇摆等问题，也能有效避免嫩芽与老芽等重叠造成识别不精确的问题，进而避免采摘名优茶过程中出现漏采、错采、损伤茶叶或茶树的问题，确保采摘效率与采摘得到的茶叶质量。
具体实施方式
以下通过实施例的形式对本发明的上述内容再作进一步的详细说明，但本发明并不局限于以下实施例。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例1：
一种用于名优茶嫩芽采摘的二次定位方法，其特征在于：
包括：嫩芽初定位方法、嫩芽采摘点和采摘角度获取方法、以及嫩芽二次定位方法；
采摘机器人包括固定安装在支架上的第一相机与固定安装在末端执行器上的第二相机；第一相机与第二相机均采用RGB-D相机。
嫩芽初定位方法包括：通过预先训练完成的神经网络对第一相机中的图像进行识别、处理，获取嫩芽三维点云；然后利用嫩芽三维点云完成嫩芽的初步定位；
具体为：
S101、建立图像数据集：首先，在自然光照条件下，采用第一相机采集茶叶嫩芽图像数据，拍摄角度为30～60°(优选45°)、拍摄距离为30～50cm(优选40cm)，获取茶叶嫩芽的彩色图像与深度图像；然后，利用标记工具(如Labelimg标注工具)对彩色图像进行标注、并以XML格式存储，获得图像数据集；
S102、嫩芽检测识别：建立FCOS(Fully Convolutional One-Stage ObjectDetection)卷积神经网络模型，对符合制作名优茶标准的茶叶嫩芽进行检测识别。FCOS网络是一种基于全卷积的一阶目标检测算法，是一种无需锚框(Anchor box free)的算法，其将原有的锚盒分类回归变为锚点分类回归；与锚盒分类回归(Anchor-based)的模式相比，锚点分类回归(Anchor-free)不需要计算IoU，从而节省大量计算能力和内存、更有利于部署到移动终端。
FCOS卷积神经网络模型包括骨干网络、特征金字塔与检测模块；
骨干网络采用FPN结构对输入图像进行特征提取，得到三层特征图，发送到特征金字塔进行特征融合，获得的P3层、P4层、P5层、P6层和P7层特征图，依次被送入检测模块进行逐像素点回归，得到识别结果和定位结果。其中，由骨干网络的特征图C3经过1x1卷积核卷积、得到P3层，由骨干网络的特征图C4经过1x1卷积核卷积、得到P4层，由骨干网络的特征图C5经过1x1卷积核卷积、得到P5层，然后在P5层的输出结果使用一个卷积核大小为3x3、步长为2的卷积层，得到P6；最后，在P6层的输出结果使用一个卷积核大小为3x3、步长为2的卷积层得到P7。
在检测模块中，每个特征图有分类和回归两个分支，分别通过卷积运算，输出预测分类结果、中心度和回归结果。其中，分类分支(即Classification分支)用于预测类别；回归分支和中心性预测分支是同一分支上的两个不同的小分支，回归分支(即Regression分支)用于回归位置，预测锚点到检测框上、下、左、右四条边界的距离，包括到目标的左侧距离l*、上侧距离t*、右侧距离r*及下侧距离b*。
中心性预测分支(即Center-ness)抑制了一些偏离目标中心的锚点预测的低质量检测框，降低了远离目标中心的识别框的权重；中心性预测分支表示位置(x,y)与预测目标中心之间的距离，这个距离用来表示位置是否为目标中心的置信度，中心性预测分支越接近1，表示该位置是物体中心的概率就越大；中心性预测分支具体为：
损失函数由分类损失、定位损失和中心性预测损失组成。分类损失采用BCE Loss+Focal Loss，计算损失时所有样本(正样本和负样本)都会参与计算；定位损失采用GIoULoss，计算损失时只有正样本参与计算；中心性预测损失采用BCE Loss，计算损失时只有正样本参与计算。
S103、获取嫩芽三维点云：首先，根据FCOS卷积神经网络模型的检测结果、得到检测框坐标，其中，左上角坐标是(xmin,ymin)、右下角坐标是(xmax,ymax)，生成彩色图像与对应深度图像的感兴趣区域(Region of Interest，ROI)；然后，根据深度图像像素坐标与彩色图像像素坐标的映射关系，通过深度图像的坐标值、像素值和记录距离，得到对应的映射彩色图像坐标，再通过彩色图像与深度图像的坐标融合，获得茶叶三维点云；具体为：
式中，表示三维点云的坐标系；/>表示彩色图像的坐标系；D表示深度值、通过深度图像获得；fx、fy表示相机焦距；
由于生成的茶叶三维点云包括茶叶嫩芽与其背景点云，因此，通过计算获得茶叶三维点云的平均值，并将该平均值作为距离阈值，将大于距离阈值的背景点云进行过滤，得到初步分割的三维点云；再采用DBSCAN密度聚类算法，通过设置参数半径Eps和邻域中要求含有的最低样本个数Mp，将初步分割的三维点云聚为一类，筛选出嫩芽三维点云；
其中，DBSCAN聚类算法是在空间中随机选择一个数据样本，并通过确定分布在其邻域半径Eps中样本数量是否大于等于最低样本个数Mp阈值个数来确定其是否是核心对象：
若是，则可以将邻域中的所有点划分到同一个簇组中，同时在上面的簇组基础上，通过广度优先搜索可以找到所有的密度可达的样本，划分到该簇组中；
若该数据样本是非核心对象，则将其标记成噪声点去除；
该公式具体为：
NEps(p)＝{q∈D|dist(p,q)≤Eps}；
式中，D表示点云样本集；p、q分别表示样本集汇总的样本点；
对于任意p∈D，若它的Eps所对应的|NEps(p)|至少包含Mp个样本，则p是核心对象；若q在p的Eps内，并且p是核心对象，则成为q由p密度可达；
S104、茶叶嫩芽定位：采用主成分分析法(Principal Component Analysis，PCA)筛选出嫩芽三维点云的三个坐标轴方向，即嫩芽三维点云x、y、x的方向，获得嫩芽最小外接长方体，完成茶叶嫩芽定位；
具体为：
采用主成分分析法筛选出茶叶嫩芽三维点云的三个主方向，即x、y、z方向，并计算质心、协方差，得到协方差矩阵；具体为：
式中，Pc表示三维点云的质心坐标；n表示三维点云的数目(即点的数量)；(xi,yi,zi)表示第i个点的三维坐标；
式中，Cp表示三维点云的协方差矩阵；
然后，对协方差矩阵进行奇异值分解，获得特征值与特征向量，具体公式为：
式中，Up表示协方差矩阵CpCp T的特征向量矩阵；Dp表示一个对角线上的非0值是CpCp T的非0特征值的平方根的对角阵；表示一个Cp TCp的特征向量矩阵；
其中，最大特征值对应的特征向量的方向即为长方体的主轴方向；
之后，将坐标点投影到方向向量上，通过计算每个顶点位置坐标Pi与坐标点单位向量的内积获得在每个方向上的最大值与最小值，令a、b、c分别为x、y、z上最大值与最小值的平均值，获得长方体的中心点O与长度L，生成茶叶嫩芽最合适且紧凑的长方体；
具体公式为：
O＝ax+by+cz；
式中，X为坐标点在x方向上的单位向量；Y为坐标点在y方向上的单位向量；Z为坐标点在z方向上的单位向量；Lx、Ly、Lz分别为长方体在x方向、y方向、z方向的长度。
嫩芽采摘点和采摘角度获取方法包括：利用嫩芽的初步定位，并按照嫩芽的生长态势，依次获取嫩芽的采摘点与采摘角度；
嫩芽采摘点的获取方法具体为：根据嫩芽初定位方法中获取的嫩芽最小外接长方体，按照茶叶嫩芽的生长态势，选取嫩芽最小外接长方体在次主轴上最小的四个顶点坐标(即嫩芽最小外接长方体底面的四个顶点)，即：(xi,yi,zi)，其中：i＝1,2,3,4；
其中，次主轴为嫩芽初定位方法中，主成分分析法分析嫩芽三维点云时，第二大特征值对应的特征向量的方向(主成分分析法分析嫩芽三维点云中，最大特征值对应的特征向量的方向为嫩芽最小外接长方体的主轴方向)；
嫩芽采摘点为嫩芽最小外接长方体的底面中心，具体为：
嫩芽采摘角度的获取方法具体为：
首先，获得嫩芽最小外接长方体底面的表达式，即：
Ax+By+Cz+D＝0；
然后，利用次主轴上最小的四个顶点坐标建立方程式，获得表达式系数A、B、C、D；
之后，计算原点(0,0,0)在嫩芽最小外接长方体底面上的投影点(x0,y0,z0)，具体如下：
最后，获得嫩芽采摘角度(xd,yd,zd)：
(xd,yd,zd)＝(xp,yp,zp)-(x0,y0,z0)＝(xp-x0,yp-y0,zp-z0)。
嫩芽二次定位包括：首先，通过嫩芽采摘点与采摘角度将末端执行器移动至采摘位置；然后，以第二相机为基准对嫩芽进行采摘点和采摘角度的获取；最后，采用坐标系转换将以第二相机为基准获取的采摘点和采摘角度转换到第一相机为基准的坐标系中，完成嫩芽二次定位。
嫩芽二次定位方法中，采摘点和采摘角度的获取方法与第一相机为基准的坐标系一致，即通过建立图像数据集-嫩芽检测识别-获取嫩芽三维点云-茶叶嫩芽定位-嫩芽采摘点获取-嫩芽采摘角度获取(即与上述步骤方法一致，不同点在于：上述方法为以第一相机为基准建立坐标系，二次定位方法中是以第二相机为基准建立坐标系)，获得以第二相机为基准的坐标系的嫩芽采摘点(x′p2,y′p2,z′p2)与采摘角度(x′d2,y′d2,z′d2)；
坐标系转换具体为：采用标定矩阵与向量变化矩阵对获取得到的嫩芽采摘点(x′p2,y′p2,z′p2)与采摘角度(x′d2,y′d2,z′d2)进行转换；
其中，标定矩阵为末端执行器初始状态时，第二相机的图像坐标系转换为第一相机坐标系的矩阵，标定矩阵通过实验过程中标定测试获得；向量变换矩阵由采摘机器人驱动末端执行器移动到达第一相机的图像定位的嫩芽采摘点和采摘角度位置，返回的向量变换矩阵，向量变换矩阵通过末端执行器的移动路径获得；
最终，获得映射后(即坐标系转换后)的嫩芽采摘点(xp2,yp2,zp2)与采摘角度(xd2,yd2,zd2)，具体为：
式中：Mb表示标定矩，Mx表示向量变换矩阵。
实施例2：
作为对本申请方案的进一步优化，在实施例1方案的基础上，在嫩芽二次定位方法中，在茶叶嫩芽采摘前，持续进行多次二次定位，获取移动误差Δe、并且预设移动误差门限值elim(移动误差门限值通过实验统计获得)，具体为：
式中：表示第i次二次定位的嫩芽采摘点，/>第i次二次定位的嫩芽采摘角度；
当Δe＜elim时，满足茶叶嫩芽采摘误差，进行嫩芽采摘；反之，则报警，重新进行定位采摘。
其中，第零次二次定位的嫩芽采摘点和茶叶嫩芽采摘角度为第一相机对检测到的茶叶嫩芽、按照嫩芽采摘点和采摘角度获取方法获得的采摘点和采摘角度。
实施例3：
作为对本申请方案的进一步优化，在实施例1方案的基础上，步骤S101中获得图像数据集后，为了增加数据的多样性，防止神经网络训练过程中的过拟合线性，同时为了模拟茶叶在自然环境中的生长状态，采用水平翻转、改变明亮度和高斯噪声等图像数据增强方法对图像数据集进行部分变换(需要说明的是：水平翻转、改变明亮度和高斯噪声均采用本领域的常规技术，本领域技术人员能够理解)，然后对整个图像数据集进行扩展，最后在NVIDIA GPU上进行训练，得到了目标检测的模型权重。
实施例4：
作为对本申请方案的进一步优化，在实施例1方案的基础上，末端执行器的移动采用路径规划方法进行移动路径的设定，具体为：
首先，建立采摘机器人的马尔科夫决策(MDP)深度强化学习模型；马尔科夫决策(MDP)过程用五元组(S,A,P,R,γ)来描述，其中，S表示状态集、A表示动作集、P表示状态转移概率(其取值为0～1)、R为奖励函数、γ为奖励折扣因子(其取值为0～1，它用于计算智能体与环境相互作用所获得的累积报酬奖励)。其中，智能体为采摘机器人、环境为室外茶园；该状态集包括茶树高度、嫩芽采摘点坐标信息距离采摘机器人的机械臂坐标原点的距离、嫩芽采摘点坐标信息在采摘机器人的机械臂各关节中的位置以及嫩芽采摘点坐标信息在末端执行器坐标系中的位置四个部分；该奖励函数包括：采摘机器人的机械臂各关节运行平稳性的奖励，以及嫩芽与末端执行器的距离奖励。
之后，采用近端策略优化算法(Proximal Policy Optimization，PPO)训练深度神经网络；其中，近端策略优化算法提出的新目标函数可以在多个训练步骤中实现小批量更新，在一定程度上解决了样本利用率低的问题。近端策略优化算法采用一种近似的采样方法，即重要性采样(Importce Sampling)。近端策略优化算法将Policy Gradient中同策略(On-policy)的训练过程转化为异策略(Off-policy)，即从在线学习转化为离线学习。如果要学习的智能体和与环境交互的智能体不是相同的，则称之为异策略。
然后，使用Gym创建环境，定义近端策略优化算法网络、智能体函数以及训练参数。其中，近端策略优化算法包括两个神经网络：一个是策略网络、另一个是价值网络。策略网络是两个全连接层，输入是当前时刻的状St、输出为经过softmax函数处理的动作At，然后根据环境模型的概率P(St+1|St，At)进入一个新的状态St+1、并获得奖励Rt+1，策略模型再接受状态St+1和Rt+1，继续生成并执行采摘机器人的控制指令；价值网络也是两个全连接层，输入状态St，输出是维度为1的状态值state-value，表示“价值”；将状态St输入智能体函数中、输出随机动作At，记录状态(state)的价值(value)以及动作(action)的对数。在此过程中，根据最大化获得奖励对策略模型进行优化和调整，直到满足一定条件，智能体与环境交互结束。
再之后，使用仿真器搭建包含野外茶园和机器人的仿真环境，将光照强度、相机方位、茶叶嫩芽位姿和颜色等物理量作为虚拟环境的参数，在训练中，逐渐增加仿真环境的随机性，通过机器人与环境交互采集获取学习难度不断增加的数据，并对这些数据进行采样。
最后，使用保存的网络参数初始化一个新的策略网络，并在环境中试验新的策略网络；经过反复的更新和迭代，得到采摘机器人训练模型的最优策略；通过输入最新的状态数据，可以预测输出最优动作，并输出机械臂的控制指令，达到路径规划的目的。
需要说明的是，上述各技术特征继续相互组合，形成未在上面列举的各种实施例，均视为本发明说明书记载的范围；并且，对本领域普通技术人员来说，对以上实施例所作的任何简单的修改、等同替换与改进等，均属于本发明技术方案的保护范围之内。
Claims (3)
1.一种用于名优茶嫩芽采摘的二次定位方法，其特征在于：
包括：嫩芽初定位方法、嫩芽采摘点和采摘角度获取方法、以及嫩芽二次定位方法；
采摘机器人包括固定安装在支架上的第一相机与固定安装在末端执行器上的第二相机；
嫩芽初定位方法包括：通过预先训练完成的神经网络对第一相机中的图像进行识别、处理，获取嫩芽三维点云；然后利用嫩芽三维点云完成嫩芽的初步定位；具体为：
S101、建立图像数据集：首先，在自然光照条件下，采用第一相机采集茶叶嫩芽图像数据，获取茶叶嫩芽的彩色图像与深度图像；然后，利用标记工具对彩色图像进行标注、并存储，获得图像数据集；
S102、嫩芽检测识别：建立FCOS卷积神经网络模型，对符合制作名优茶标准的茶叶嫩芽进行检测识别；
S103、获取嫩芽三维点云：首先，根据FCOS卷积神经网络模型的检测结果、得到检测框坐标，生成彩色图像与对应深度图像的感兴趣区域；然后，根据深度图像像素坐标与彩色图像像素坐标的映射关系，通过深度图像的坐标值、像素值和记录距离，得到对应的映射彩色图像坐标，再通过彩色图像与深度图像的坐标融合，获得茶叶三维点云；
通过计算获得茶叶三维点云的平均值，并将该平均值作为距离阈值，将大于距离阈值的背景点云进行过滤，得到初步分割的三维点云；再采用DBSCAN密度聚类算法，通过设置参数半径Eps和邻域中要求含有的最低样本个数M p，将初步分割的三维点云聚为一类，筛选出嫩芽三维点云；
S104、茶叶嫩芽定位：采用主成分分析法筛选出嫩芽三维点云的三个坐标轴方向，即嫩芽三维点云x、y、x的方向，获得嫩芽最小外接长方体，完成茶叶嫩芽定位；
嫩芽采摘点和采摘角度获取方法包括：利用嫩芽的初步定位，并按照嫩芽的生长态势，依次获取嫩芽的采摘点与采摘角度；
嫩芽采摘点的获取方法具体为：根据嫩芽初定位方法中获取的嫩芽最小外接长方体，按照茶叶嫩芽的生长态势，选取嫩芽最小外接长方体在次主轴上最小的四个顶点坐标，即：，其中：i=1,2,3,4；
其中，次主轴为嫩芽初定位方法中，主成分分析法分析嫩芽三维点云时，第二大特征值对应的特征向量的方向；
嫩芽采摘点为嫩芽最小外接长方体的底面中心，具体为：
；
嫩芽采摘角度的获取方法具体为：
首先，获得嫩芽最小外接长方体底面的表达式，即：
；
然后，利用次主轴上最小的四个顶点坐标建立方程式，获得表达式系数A、B、C、D；
之后，计算原点（0,0,0）在嫩芽最小外接长方体底面上的投影点，具体如下：
；
最后，获得嫩芽采摘角度：
；
嫩芽二次定位包括：首先，通过嫩芽采摘点与采摘角度将末端执行器移动至采摘位置；然后，以第二相机为基准对嫩芽进行采摘点和采摘角度的获取；最后，采用坐标系转换将以第二相机为基准获取的采摘点和采摘角度转换到第一相机为基准的坐标系中，完成嫩芽二次定位；
嫩芽二次定位方法中，采摘点和采摘角度的获取方法与第一相机为基准的坐标系一致，获得以第二相机为基准的坐标系的嫩芽采摘点与采摘角度/>；
坐标系转换具体为：采用标定矩阵与向量变化矩阵对获取得到的嫩芽采摘点与采摘角度/>进行转换；
其中，标定矩阵为末端执行器初始状态时，第二相机的图像坐标系转换为第一相机坐标系的矩阵，标定矩阵通过实验过程中标定测试获得；向量变换矩阵由采摘机器人驱动末端执行器移动到达第一相机的图像定位的嫩芽采摘点和采摘角度位置，返回的向量变换矩阵，向量变换矩阵通过末端执行器的移动路径获得；
最终，获得映射后的嫩芽采摘点与采摘角度/>，具体为：
；
式中：M b表示标定矩，M x表示向量变换矩阵。
2.根据权利要求1所述的一种用于名优茶嫩芽采摘的二次定位方法，其特征在于：所述第一相机与第二相机均采用RGB-D相机。
3.根据权利要求1所述的一种用于名优茶嫩芽采摘的二次定位方法，其特征在于：所述嫩芽二次定位方法中，在茶叶嫩芽采摘前，持续进行多次二次定位，获取移动误差、并且预设移动误差门限值e lim，具体为：
；
式中：表示第i次二次定位的嫩芽采摘点，/>第i次二次定位的嫩芽采摘角度；
当时，满足茶叶嫩芽采摘误差，进行嫩芽采摘；反之，则报警，重新进行定位采摘。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310295643.2A CN116138036B (zh) | 2023-03-24 | 2023-03-24 | 一种用于名优茶嫩芽采摘的二次定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310295643.2A CN116138036B (zh) | 2023-03-24 | 2023-03-24 | 一种用于名优茶嫩芽采摘的二次定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116138036A CN116138036A (zh) | 2023-05-23 |
| CN116138036B true CN116138036B (zh) | 2024-04-02 |
Family
ID=86361968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310295643.2A Active CN116138036B (zh) | 2023-03-24 | 2023-03-24 | 一种用于名优茶嫩芽采摘的二次定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116138036B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117616999A (zh) * | 2024-01-08 | 2024-03-01 | 华南农业大学 | 一种智能茶叶采摘执行器、装置及方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109863874A (zh) * | 2019-01-30 | 2019-06-11 | 深圳大学 | 一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质 |
| CN113508686A (zh) * | 2021-05-27 | 2021-10-19 | 中国农业大学 | 一种串番茄采摘末端执行器、机器人及其采摘方法 |
| CN114080905A (zh) * | 2021-11-25 | 2022-02-25 | 杭州乔戈里科技有限公司 | 基于数字双胞胎的采摘方法及云采摘机器人系统 |
| CN115082815A (zh) * | 2022-07-22 | 2022-09-20 | 山东大学 | 基于机器视觉的茶芽采摘点定位方法、装置及采摘系统 |
| CN115119613A (zh) * | 2022-07-29 | 2022-09-30 | 南京农业大学 | 一种基于机器视觉的绿芦笋采收机器人及采收方法 |
| CN115187803A (zh) * | 2022-08-12 | 2022-10-14 | 仲恺农业工程学院 | 一种用于名优茶嫩芽采摘过程的定位方法 |
| CN115272791A (zh) * | 2022-07-22 | 2022-11-01 | 仲恺农业工程学院 | 一种基于YoloV5的茶叶用多目标检测定位方法 |
-
2023
- 2023-03-24 CN CN202310295643.2A patent/CN116138036B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109863874A (zh) * | 2019-01-30 | 2019-06-11 | 深圳大学 | 一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质 |
| CN113508686A (zh) * | 2021-05-27 | 2021-10-19 | 中国农业大学 | 一种串番茄采摘末端执行器、机器人及其采摘方法 |
| CN114080905A (zh) * | 2021-11-25 | 2022-02-25 | 杭州乔戈里科技有限公司 | 基于数字双胞胎的采摘方法及云采摘机器人系统 |
| CN115082815A (zh) * | 2022-07-22 | 2022-09-20 | 山东大学 | 基于机器视觉的茶芽采摘点定位方法、装置及采摘系统 |
| CN115272791A (zh) * | 2022-07-22 | 2022-11-01 | 仲恺农业工程学院 | 一种基于YoloV5的茶叶用多目标检测定位方法 |
| CN115119613A (zh) * | 2022-07-29 | 2022-09-30 | 南京农业大学 | 一种基于机器视觉的绿芦笋采收机器人及采收方法 |
| CN115187803A (zh) * | 2022-08-12 | 2022-10-14 | 仲恺农业工程学院 | 一种用于名优茶嫩芽采摘过程的定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116138036A (zh) | 2023-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108656107B (zh) | 一种基于图像处理的机械臂抓取系统及方法 | |
| CN111602517A (zh) | 一种串型水果分布式视觉主动感知方法及其应用 | |
| CN116138036B (zh) | 一种用于名优茶嫩芽采摘的二次定位方法 | |
| CN114119574B (zh) | 一种基于机器视觉的采摘点检测模型构建方法及采摘点定位方法 | |
| CN115990891B (zh) | 一种基于视觉示教和虚实迁移的机器人强化学习装配的方法 | |
| CN115167442A (zh) | 一种输电线路巡检路径规划方法及系统 | |
| CN115271200B (zh) | 一种用于名优茶的智能连贯采摘系统 | |
| CN115082815A (zh) | 基于机器视觉的茶芽采摘点定位方法、装置及采摘系统 | |
| CN111062988B (zh) | 一种基于局部点云的葡萄位姿估计方法 | |
| CN115272791A (zh) | 一种基于YoloV5的茶叶用多目标检测定位方法 | |
| CN113400303B (zh) | 基于rrt*算法的六轴机器人果蔬采摘路径规划方法 | |
| Wang et al. | Apple rapid recognition and processing method based on an improved version of YOLOv5 | |
| Zhong et al. | Identification and depth localization of clustered pod pepper based on improved Faster R-CNN | |
| CN112857379B (zh) | 一种基于改进的Gmapping-SLAM地图更新方法及系统 | |
| CN114397894A (zh) | 一种模仿人类记忆的移动机器人目标搜索方法 | |
| WO2024178904A1 (zh) | 作物水肥胁迫的决策方法、装置及手机终端 | |
| Zhang et al. | Multi-scale feature adaptive fusion model for real-time detection in complex citrus orchard environments | |
| CN117565065B (zh) | 一种名优茶采摘机器人 | |
| CN114782455B (zh) | 一种用于农机嵌入式设备的棉花行中心线图像提取方法 | |
| CN114612899A (zh) | 基于改进YOLOv3的麦苗行中心线检测方法 | |
| CN115810188A (zh) | 基于单张二维图像的树上果实三维位姿识别方法及系统 | |
| TWI744020B (zh) | 智慧型果實套袋系統 | |
| CN115439744A (zh) | 基于目标检测的复杂环境下茶叶嫩芽轻量化检测方法 | |
| Wang et al. | Continuous picking of yellow peaches with recognition and collision-free path | |
| CN113361465A (zh) | 一种基于深度学习的高分辨率遥感影像农业大棚提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |