CN117565065B - 一种名优茶采摘机器人 - Google Patents
一种名优茶采摘机器人 Download PDFInfo
- Publication number
- CN117565065B CN117565065B CN202310310681.0A CN202310310681A CN117565065B CN 117565065 B CN117565065 B CN 117565065B CN 202310310681 A CN202310310681 A CN 202310310681A CN 117565065 B CN117565065 B CN 117565065B
- Authority
- CN
- China
- Prior art keywords
- picking
- tea
- camera
- positioning
- end effector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241001122767 Theaceae Species 0.000 title claims 29
- 239000012636 effector Substances 0.000 claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000008569 process Effects 0.000 claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 238000012847 principal component analysis method Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims 1
- 244000269722 Thea sinensis Species 0.000 abstract description 96
- 240000003553 Leptospermum scoparium Species 0.000 abstract description 12
- 235000009024 Ceanothus sanguineus Nutrition 0.000 abstract description 11
- 235000015459 Lycium barbarum Nutrition 0.000 abstract description 11
- 235000006468 Thea sinensis Nutrition 0.000 abstract description 4
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 238000005457 optimization Methods 0.000 description 14
- 238000012549 training Methods 0.000 description 12
- 230000009471 action Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 239000003795 chemical substances by application Substances 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 239000002994 raw material Substances 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003712 anti-aging effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 235000013619 trace mineral Nutrition 0.000 description 1
- 239000011573 trace mineral Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
- A01D46/04—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs of tea
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J15/00—Gripping heads and other end effectors
- B25J15/08—Gripping heads and other end effectors having finger members
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Manipulator (AREA)
Abstract
本发明提供一种名优茶采摘机器人，包括移动车架、第一相机、机械臂、末端执行器、第二相机与中控设备；第一相机固定设置在移动车架上，机械臂固定设置在移动车架上；末端执行器固定设置在机械臂远离移动车架的一端，第二相机设置在末端执行器上，中控设备设置在移动车架上，并分别与第一相机、第二相机、机械臂控制器、末端执行器控制器连接。该采摘机器人能够对名优茶嫩芽进行识别、采摘，且采摘过程中通过二次定位、有效解决茶树或茶叶由于环境因素的影响而出现的移动、重叠、遮挡等问题，进而确保采摘嫩芽的品质、以及单株茶树可采摘嫩芽的产量。
Description
技术领域
本发明涉及农业机械技术领域，具体涉及一种名优茶采摘机器人。
背景技术
随着城市经济的发展、居民生活水平的提高，人们越来越重视对于绿色话饮食越来越重视；茶，作为一种天然绿色饮品，在我国有着悠久的历史文化传承，其能够起到众多微量元素摄入及抗衰老的作用。
名优茶是具有优质品质、造型独特和广泛知名度的一类特殊茶叶的总称，其通常以一芽一叶或一芽两叶为原料制得，对于制茶原料、即茶树嫩芽的采摘具有严格的要求。随着时代的发展，采茶技术也逐步由人工采摘过度到机械化采摘；相对于人工采摘而言，机械化采摘的效率高、耗时短，能够有效节省人力成本、保证采摘的及时性；然而，目前的机械化采摘通常基于视觉识别与检测、以切割树梢末端的方式进行采摘，其溶液造成对茶树本身的伤害、导致单株茶树的产量降低，同时也会影响茶叶的品质。此外，茶树或茶叶会受到茶园内部自身气流、或是采摘机器人移动的影响，出现摆动，从而导致茶叶与茶叶之间、茶叶与茶树之间相互移位、遮挡、重叠，导致定位偏差，进而出现错采、漏采或直接损伤茶树、茶叶的问题，进一步影响单株茶树的产量以及采摘后茶叶的品质。
发明内容
针对以上现有技术存在的问题，本发明的目的在于提供一种名优茶采摘机器人，该采摘机器人能够对名优茶嫩芽进行识别、采摘，且采摘过程中通过二次定位、有效解决茶树或茶叶由于环境因素的影响而出现的移动、重叠、遮挡等问题，进而确保采摘嫩芽的品质、以及单株茶树可采摘嫩芽的产量。
本发明的目的通过以下技术方案实现：
一种名优茶采摘机器人，其特征在于：包括移动车架、第一相机、机械臂、末端执行器、第二相机与中控设备；
第一相机固定设置在移动车架上，用于对茶园进行图像拍摄、进而完成茶叶嫩芽的初步识别定位；
机械臂固定设置在移动车架上，用于控制末端执行器运动至初步识别定位的茶叶嫩芽点；
末端执行器固定设置在机械臂远离移动车架的一端，用于对茶叶嫩芽进行切断；
第二相机设置在末端执行器上，用于对茶叶嫩芽进行二次定位；
中控设备设置在移动车架上，并分别与第一相机、第二相机、机械臂控制器、末端执行器控制器连接，用于进行茶叶嫩芽初步定位、末端执行器路径规划、茶叶嫩芽二次定位、以及控制末端执行器进行剪切。
优选的，所述第一相机与第二相机均采用RGB-D相机。
优选的，所述机械臂采用六轴协作型机械臂。
作进一步优化，所述末端执行器包括收集箱、固定架、转轴、翻转架、定位座、传动组件、左夹指组件、右夹指组件与舵机组件；收集箱固定设置在机械臂远离移动车架的一端端部且收集箱远离机械臂的一侧侧面开设收集口；收集箱位于收集口下侧的侧面设置两个固定架且两个固定架远离收集箱的一端被同一根转轴贯穿，转轴与两个固定架分别转动连接；两个固定架相互远离的一侧侧面分别转动设置翻转架且翻转架套接在转轴外壁，翻转架相互远离的一端固定连接同一定位座，定位座中间开设滑动定位孔且定位座左、右两侧分别设置左夹指组件与右夹指组件；传动组件包括摇臂、连接杆、滑动杆与定位块，摇臂固定套接在转轴位于两个固定架之间的外壁且摇臂远离转轴的一端与连接杆转动连接，连接杆远离摇臂的一端与滑动杆固定连接，滑动杆贯穿滑动定位孔、与滑动定位孔内壁滑动连接，滑动杆远离连接杆的一端固定设置定位块且定位块分别与左夹指组件与右夹指组件连接；舵机组件对应转轴固定设置在收集箱侧壁。
优选的，所述舵机组件包括电机固定座、舵机与齿轮机构，舵机通过电机固定座固定设置在收集箱侧面且舵机输出轴与转轴连接，用于控制转轴转动，齿轮机构对应翻转架设置在转轴外壁，用于通过舵机驱动翻转架转动。
优选的，所述齿轮机构包括不完全齿轮、中间齿轮与齿环，不完全齿轮对应翻转架固定套接在转轴外壁，齿环卡接在翻转架内壁且不完全齿轮与齿环之间设置中间齿轮。
优选的，所述左夹指组件与右夹指组件均包括转动支架、夹持板、第一连接架与第二连接架，转动支架一端与定位座转动连接、另一端与夹持板转动连接，且夹持板卡接在转动支架内；夹持板通过第一连接架与定位块连接且第一连接架分别与夹持板、定位块转动连接；转动支架通过第二连接架与定位块连接且第二连接架分别与转动支架、定位块转动连接；右夹指组件的夹持板底面设置切割刀片。
作进一步优化，所述中控设备进行茶叶嫩芽初步定位的具体步骤为：
首先，在自然光照条件下，采用第一相机采集茶叶嫩芽图像数据，获取茶叶嫩芽的彩色图像与深度图像；然后，利用标记工具对彩色图像进行标注、并存储，获得图像数据集；
之后，建立FCOS(Fully Convolutional One-Stage Object Detection)卷积神经网络模型，对符合制作名优茶标准的茶叶嫩芽进行检测识别；
再之后，根据FCOS卷积神经网络模型的检测结果、得到检测框坐标，生成彩色图像与对应深度图像的感兴趣区域(Region of Interest，ROI)；根据深度图像像素坐标与彩色图像像素坐标的映射关系，通过深度图像的坐标值、像素值和记录距离，得到对应的映射彩色图像坐标，再通过彩色图像与深度图像的坐标融合，获得茶叶三维点云；
由于生成的茶叶三维点云包括茶叶嫩芽与其背景点云，因此，通过计算获得茶叶三维点云的平均值，并将该平均值作为距离阈值，将大于距离阈值的背景点云进行过滤，得到初步分割的三维点云；再采用DBSCAN密度聚类算法，通过设置参数半径Eps和邻域中要求含有的最低样本个数Mp，将初步分割的三维点云聚为一类，筛选出嫩芽三维点云；
采用主成分分析法(Principal Component Analysis，PCA)筛选出嫩芽三维点云的三个坐标轴方向，即嫩芽三维点云x、y、x的方向，获得嫩芽最小外接长方体；
根据嫩芽最小外接长方体，按照茶叶嫩芽的生长态势，选取嫩芽最小外接长方体在次主轴上最小的四个顶点坐标(即嫩芽最小外接长方体底面的四个顶点)，即：(xi,yi,zi)，其中：i＝1,2,3,4；
其中，次主轴为嫩芽初定位方法中，主成分分析法分析嫩芽三维点云时，第二大特征值对应的特征向量的方向(主成分分析法分析嫩芽三维点云中，最大特征值对应的特征向量的方向为嫩芽最小外接长方体的主轴方向)；
嫩芽采摘点为嫩芽最小外接长方体的底面中心，具体为：
即实现茶叶嫩芽的初步定位。
优选的，所述中控设备在完成茶叶嫩芽的初步定位后、还要进行嫩芽采摘角度的计算，从而获得末端执行器的运动点位；
嫩芽采摘角度的计算具体为：
首先，获得嫩芽最小外接长方体底面的表达式，即：
Ax+By+Cz+D＝0；
然后，利用次主轴上最小的四个顶点坐标建立方程式，获得表达式系数A、B、C、D；
之后，计算原点(0,0,0)在嫩芽最小外接长方体底面上的投影点(x0,y0,z0)，具体如下：
最后，获得嫩芽采摘角度(xd,yd,zd)：
(xd,yd,zd)＝(xp,yp,zp)-(x0,y0,z0)＝(xp-x0,yp-y0,zp-z0)。
作进一步优化，所述中控设备进行末端执行器路径规划的具体步骤为：
首先，建立采摘机器人的马尔科夫决策(MDP)深度强化学习模型；马尔科夫决策(MDP)过程用五元组(S,A,P,R,γ)来描述，其中，S表示状态集、A表示动作集、P表示状态转移概率(其取值为0～1)、R为奖励函数、γ为奖励折扣因子(其取值为0～1，它用于计算智能体与环境相互作用所获得的累积报酬奖励)；
其中，智能体为采摘机器人、环境为室外茶园；该状态集包括茶树高度、嫩芽采摘点坐标信息距离采摘机器人的机械臂坐标原点的距离、嫩芽采摘点坐标信息在采摘机器人的机械臂各关节中的位置以及嫩芽采摘点坐标信息在末端执行器坐标系中的位置四个部分；该奖励函数包括：采摘机器人的机械臂各关节运行平稳性的奖励，以及嫩芽与末端执行器的距离奖励。
之后，采用近端策略优化算法(Proximal Policy Optimization，PPO)训练深度神经网络；
然后，使用Gym创建环境，定义近端策略优化算法网络、智能体函数以及训练参数；其中，近端策略优化算法包括两个神经网络：一个是策略网络、另一个是价值网络；
再之后，使用仿真器搭建包含野外茶园和机器人的仿真环境，将光照强度、相机方位、茶叶嫩芽位姿和颜色等物理量作为虚拟环境的参数，在训练中，逐渐增加仿真环境的随机性，通过机器人与环境交互采集获取学习难度不断增加的数据，并对这些数据进行采样；
最后，使用保存的网络参数初始化一个新的策略网络，并在环境中试验新的策略网络；经过反复的更新和迭代，得到采摘机器人训练模型的最优策略；通过输入最新的状态数据，可以预测输出最优动作，并输出机械臂的控制指令，完成末端执行器路径规划。
作进一步优化，所述中控设备进行茶叶嫩芽二次定位的具体步骤为：
在末端执行器沿规划的路径移动过程中，利用第二相机进行茶叶嫩芽采摘点与采摘角度的获取，获得以第二相机为基准的坐标系的嫩芽采摘点(x′p2,y′p2,z′p2)与采摘角度(x′d2,y′d2,z′d2)；其中，第二相机获取茶叶嫩芽采摘点与采摘角度的方法与第一相机获取茶叶嫩芽采摘点与采摘角度的方法一致；
然后，利用标定矩阵与向量变化矩阵对第二相机获取的嫩芽采摘点(x′p2,y′p2,z′p2)与采摘角度(x′d2,y′d2,z′d2)进行坐标系转换，将其转换为以第一相机为基准的坐标系；
其中，标定矩阵为末端执行器初始状态时，第二相机的图像坐标系转换为第一相机坐标系的矩阵，标定矩阵通过实验过程中标定测试获得；向量变换矩阵由采摘机器人驱动末端执行器移动到达第一相机的图像定位的嫩芽采摘点和采摘角度位置，返回的向量变换矩阵，向量变换矩阵通过末端执行器的移动路径获得；
最终，获得映射后(即坐标系转换后)的嫩芽采摘点(xp2,yp2,zp2)与采摘角度(xd2,yd2,zd2)，具体为：
式中：Mb表示标定矩，Mx表示向量变换矩阵。
作进一步优化，所述中控设备在末端执行器沿路径规划过程中、在进行茶叶嫩芽采摘前，持续进行多次茶叶嫩芽二次定位获取移动误差Δe、并且预设移动误差门限值elim，具体为：
式中：表示第i次二次定位的嫩芽采摘点，/>第i次二次定位的嫩芽采摘角度；
当Δe＜elim时，满足茶叶嫩芽采摘误差，进行嫩芽采摘；反之，则报警，重新进行定位采摘。
本发明具有如下技术效果：
本申请通过设置第一相机与机械臂，实现末端执行器的初步定位及采摘路径规划、同时实现末端执行器的移动；由于茶叶嫩芽在以第一相机为基准的图像中像素点较少，因此，通过设置在第二相机上的末端执行器，一是能够从近距离的角度准确的识别茶叶嫩芽，二是在末端执行器的移动过程中、进行茶叶嫩芽的二次定位，从而提高茶叶嫩芽的定位准确性、避免由于末端执行器移动或茶园环境(如风吹)而导致的茶叶重叠、遮挡等问题，能够保证目标茶叶嫩芽与末端执行器的相对问题，避免环境因素干扰，避免采摘过程中出现错采、漏采、损坏茶叶或茶树的问题。
此外，本申请末端执行器利用平面四杆机构的轨迹特性，模拟人工采摘过程，实现茶叶嫩芽的采收动作，确保对茶叶嫩芽的采收动作的稳定性、快速性及连贯性，避免采摘过程中对茶叶或茶树枝条造成损伤，从而确保采摘后茶叶的品质以及茶树的可再生性。
附图说明
图1为本申请实施例中末端执行器的轴二侧(左侧)结构示意图。
图2为本申请实施例中末端执行器的轴二侧(右侧)结构示意图。
图3为本申请实施例中末端执行器的转轴处的剖视图。
图4为图3的A-A向剖视图。
其中，10、收集箱；11、收集口；20、固定架；30、转轴；40、翻转架；50、定位座；51、滑动定位孔；61、摇臂；62、连接杆；63、滑动杆；64、定位块；70、左夹指组件；71、转动支架；72、夹持板；73、第一连接架；74、第二连接架；75、切割刀片；80、右夹指组件；91、电机固定座；92、舵机；931、不完全齿轮；932、中间齿轮；933、齿环。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1～4所示：一种名优茶采摘机器人，其特征在于：包括移动车架、第一相机、机械臂、末端执行器、第二相机与中控设备；
第一相机固定设置在移动车架上，用于对茶园进行图像拍摄、进而完成茶叶嫩芽的初步识别定位；
机械臂固定设置在移动车架上，用于控制末端执行器运动至初步识别定位的茶叶嫩芽点；
末端执行器固定设置在机械臂远离移动车架的一端，用于对茶叶嫩芽进行切断；
第二相机设置在末端执行器上，用于对茶叶嫩芽进行二次定位；
中控设备设置在移动车架上，并分别与第一相机、第二相机、机械臂控制器、末端执行器控制器连接，用于进行茶叶嫩芽初步定位、末端执行器路径规划、茶叶嫩芽二次定位、以及控制末端执行器进行剪切。
第一相机与第二相机均采用RGB-D相机，机械臂采用六轴协作型机械臂。
末端执行器包括收集箱10、固定架20、转轴30、翻转架40、定位座50、传动组件、左夹指组件70、右夹指组件80与舵机组件；收集箱10固定设置在机械臂远离移动车架的一端端部且收集箱10远离机械臂的一侧侧面开设收集口11(如图1、图2所示)；收集箱10位于收集口11下侧的侧面(固定)设置两个固定架20且两个固定架20远离收集箱10的一端被同一根转轴30贯穿，转轴30与两个固定架20分别通过滚珠轴承转动连接；两个固定架20相互远离的一侧侧面分别转动设置翻转架40且翻转架40套接在转轴30外壁(如图3所示，固定架20侧壁且对应翻转架40开设环形滑槽，翻转架40靠近固定架20一侧侧面且绕转轴30轴线均匀设置多个定位杆，定位杆卡接在对应环形滑槽内且滑动连接)，翻转架40相互远离的一端固定连接同一定位座50，定位座50中间开设滑动定位孔51且定位座50左、右两侧分别设置左夹指组件70与右夹指组件80；传动组件包括摇臂61、连接杆62、滑动杆63与定位块64，摇臂61固定套接在转轴30位于两个固定架20之间的外壁且摇臂61远离转轴30的一端与连接杆62转动连接，连接杆62远离摇臂61的一端与滑动杆63固定连接，滑动杆63贯穿滑动定位孔51、与滑动定位孔51内壁滑动连接，滑动杆63远离连接杆62的一端固定设置定位块64且定位块64分别与左夹指组件70与右夹指组件80连接；舵机组件对应转轴30固定设置在收集箱10侧壁，舵机组件包括电机固定座91、舵机92与齿轮机构，舵机92通过电机固定座91固定设置在收集箱10侧面且舵机92输出轴与转轴30(对应端端部)连接，用于控制转轴30转动，齿轮机构对应翻转架40设置在转轴30外壁，用于通过舵机92驱动翻转架40转动；齿轮机构包括不完全齿轮931、中间齿轮932与齿环933，不完全齿轮31对应翻转架40固定套接在转轴30外壁，齿环933卡接在翻转架40内壁且不完全齿轮931与齿环933之间设置中间齿轮932(如图3、图4所示，中间齿轮932通过齿轮杆设置在固定架20侧壁，即齿轮杆与固定架20侧壁转动连接、中奖齿轮932固定套接在齿轮杆外壁)，不完全齿轮931能与中间齿轮932啮合，中间齿轮932与对应齿环933啮合。
左夹指组件70与右夹指组件80均包括转动支架71、夹持板72、第一连接架73与第二连接架74，转动支架71一端与定位座50转动连接、另一端与夹持板72转动连接，且夹持板72卡接在转动支架71内；夹持板72通过第一连接架73与定位块64连接且第一连接架73分别与夹持板72、定位块64转动连接；转动支架71通过第二连接架74与定位块64连接且第二连接架74分别与转动支架71、定位块64转动连接，如图1、图2所示：第二连接架74与转动支架71连接点、夹持板72与转动支架71连接点共轴线；右夹指组件80的夹持板72底面设置切割刀片75。
中控设备进行茶叶嫩芽初步定位的具体步骤为：
首先，在自然光照条件下，采用第一相机采集茶叶嫩芽图像数据，第一相机的拍摄角度为30～60°(优选45°)、拍摄距离为30～50cm(优选40cm)，获取茶叶嫩芽的彩色图像与深度图像；然后，利用标记工具(如Labelimg标注工具)对彩色图像进行标注、并以XML格式存储，获得图像数据集；
之后，建立FCOS(Fully Convolutional One-Stage Object Detection)卷积神经网络模型，对符合制作名优茶标准的茶叶嫩芽进行检测识别；FCOS网络是一种基于全卷积的一阶目标检测算法，是一种无需锚框(Anchor box free)的算法，其将原有的锚盒分类回归变为锚点分类回归；与锚盒分类回归(Anchor-based)的模式相比，锚点分类回归(Anchor-free)不需要计算IoU，从而节省大量计算能力和内存、更有利于部署到移动终端。
FCOS卷积神经网络模型包括骨干网络、特征金字塔与检测模块；骨干网络采用FPN结构对输入图像进行特征提取，得到三层特征图，发送到特征金字塔进行特征融合，获得的P3层、P4层、P5层、P6层和P7层特征图，依次被送入检测模块进行逐像素点回归，得到识别结果和定位结果。其中，由骨干网络的特征图C3经过1x1卷积核卷积、得到P3层，由骨干网络的特征图C4经过1x1卷积核卷积、得到P4层，由骨干网络的特征图C5经过1x1卷积核卷积、得到P5层，然后在P5层的输出结果使用一个卷积核大小为3x3、步长为2的卷积层，得到P6；最后，在P6层的输出结果使用一个卷积核大小为3x3、步长为2的卷积层得到P7。在检测模块中，每个特征图有分类和回归两个分支，分别通过卷积运算，输出预测分类结果、中心度和回归结果。其中，分类分支(即Classification分支)用于预测类别；回归分支和中心性预测分支是同一分支上的两个不同的小分支，回归分支(即Regression分支)用于回归位置，预测锚点到检测框上、下、左、右四条边界的距离，包括到目标的左侧距离l*、上侧距离t*、右侧距离r*及下侧距离b*。中心性预测分支(即Center-ness)抑制了一些偏离目标中心的锚点预测的低质量检测框，降低了远离目标中心的识别框的权重；中心性预测分支表示位置(x,y)与预测目标中心之间的距离，这个距离用来表示位置是否为目标中心的置信度，中心性预测分支越接近1，表示该位置是物体中心的概率就越大；中心性预测分支具体为：
损失函数由分类损失、定位损失和中心性预测损失组成。分类损失采用BCE Loss+Focal Loss，计算损失时所有样本(正样本和负样本)都会参与计算；定位损失采用GIoULoss，计算损失时只有正样本参与计算；中心性预测损失采用BCE Loss，计算损失时只有正样本参与计算。
再之后，根据FCOS卷积神经网络模型的检测结果、得到检测框坐标，生成彩色图像与对应深度图像的感兴趣区域(Region of Interest，ROI)；根据深度图像像素坐标与彩色图像像素坐标的映射关系，通过深度图像的坐标值、像素值和记录距离，得到对应的映射彩色图像坐标，再通过彩色图像与深度图像的坐标融合，获得茶叶三维点云；具体为：
式中，表示三维点云的坐标系；/>表示彩色图像的坐标系；D表示深度值、通过深度图像获得；fx、fy表示相机焦距；
由于生成的茶叶三维点云包括茶叶嫩芽与其背景点云，因此，通过计算获得茶叶三维点云的平均值，并将该平均值作为距离阈值，将大于距离阈值的背景点云进行过滤，得到初步分割的三维点云；再采用DBSCAN密度聚类算法，通过设置参数半径Eps和邻域中要求含有的最低样本个数Mp，将初步分割的三维点云聚为一类，筛选出嫩芽三维点云；
其中，DBSCAN聚类算法是在空间中随机选择一个数据样本，并通过确定分布在其邻域半径Eps中样本数量是否大于等于最低样本个数Mp阈值个数来确定其是否是核心对象：
若是，则可以将邻域中的所有点划分到同一个簇组中，同时在上面的簇组基础上，通过广度优先搜索可以找到所有的密度可达的样本，划分到该簇组中；
若该数据样本是非核心对象，则将其标记成噪声点去除；
该公式具体为：
NEps(p)＝{q∈D|dist(p,q)≤Eps}；
式中，D表示点云样本集；p、q分别表示样本集汇总的样本点；
对于任意p∈D，若它的Eps所对应的|NEps(p)|至少包含Mp个样本，则p是核心对象；若q在p的Eps内，并且p是核心对象，则成为q由p密度可达；
采用主成分分析法(Principal Component Analysis，PCA)筛选出嫩芽三维点云的三个坐标轴方向，即嫩芽三维点云x、y、x的方向，获得嫩芽最小外接长方体；具体为：
采用主成分分析法筛选出茶叶嫩芽三维点云的三个主方向，即x、y、z方向，并计算质心、协方差，得到协方差矩阵；具体为：
式中，Pc表示三维点云的质心坐标；n表示三维点云的数目(即点的数量)；(xi,yi,zi)表示第i个点的三维坐标；
式中，Cp表示三维点云的协方差矩阵；
然后，对协方差矩阵进行奇异值分解，获得特征值与特征向量，具体公式为：
式中，Up表示协方差矩阵CpCp T的特征向量矩阵；Dp表示一个对角线上的非0值是CpCp T的非0特征值的平方根的对角阵；表示一个Cp TCp的特征向量矩阵；
其中，最大特征值对应的特征向量的方向即为长方体的主轴方向；
之后，将坐标点投影到方向向量上，通过计算每个顶点位置坐标Pi与坐标点单位向量的内积获得在每个方向上的最大值与最小值，令a、b、c分别为x、y、z上最大值与最小值的平均值，获得长方体的中心点O与长度L，生成茶叶嫩芽最合适且紧凑的长方体；
具体公式为：
O＝ax+by+cz；
式中，X为坐标点在x方向上的单位向量；Y为坐标点在y方向上的单位向量；Z为坐标点在z方向上的单位向量；Lx、Ly、Lz分别为长方体在x方向、y方向、z方向的长度。
根据嫩芽最小外接长方体，按照茶叶嫩芽的生长态势，选取嫩芽最小外接长方体在次主轴上最小的四个顶点坐标(即嫩芽最小外接长方体底面的四个顶点)，即：(xi,yi,zi)，其中：i＝1,2,3,4；
其中，次主轴为嫩芽初定位方法中，主成分分析法分析嫩芽三维点云时，第二大特征值对应的特征向量的方向(主成分分析法分析嫩芽三维点云中，最大特征值对应的特征向量的方向为嫩芽最小外接长方体的主轴方向)；
嫩芽采摘点为嫩芽最小外接长方体的底面中心，具体为：
即实现茶叶嫩芽的初步定位。
中控设备在完成茶叶嫩芽的初步定位后、还要进行嫩芽采摘角度的计算，从而获得末端执行器的运动点位；
嫩芽采摘角度的计算具体为：
首先，获得嫩芽最小外接长方体底面的表达式，即：
Ax+By+Cz+D＝0；
然后，利用次主轴上最小的四个顶点坐标建立方程式，获得表达式系数A、B、C、D；
之后，计算原点(0,0,0)在嫩芽最小外接长方体底面上的投影点(x0,y0,z0)，具体如下：
最后，获得嫩芽采摘角度(xd,yd,zd)：
(xd,yd,zd)＝(xp,yp,zp)-(x0,y0,z0)＝(xp-x0,yp-y0,zp-z0)。
中控设备进行末端执行器路径规划的具体步骤为：
首先，建立采摘机器人的马尔科夫决策(MDP)深度强化学习模型；马尔科夫决策(MDP)过程用五元组(S,A,P,R,γ)来描述，其中，S表示状态集、A表示动作集、P表示状态转移概率(其取值为0～1)、R为奖励函数、γ为奖励折扣因子(其取值为0～1，它用于计算智能体与环境相互作用所获得的累积报酬奖励)；
其中，智能体为采摘机器人、环境为室外茶园；该状态集包括茶树高度、嫩芽采摘点坐标信息距离采摘机器人的机械臂坐标原点的距离、嫩芽采摘点坐标信息在采摘机器人的机械臂各关节中的位置以及嫩芽采摘点坐标信息在末端执行器坐标系中的位置四个部分；该奖励函数包括：采摘机器人的机械臂各关节运行平稳性的奖励，以及嫩芽与末端执行器的距离奖励。
之后，采用近端策略优化算法(Proximal Policy Optimization，PPO)训练深度神经网络；其中，近端策略优化算法提出的新目标函数可以在多个训练步骤中实现小批量更新，在一定程度上解决了样本利用率低的问题。近端策略优化算法采用一种近似的采样方法，即重要性采样(Importce Sampling)。近端策略优化算法将Policy Gradient中同策略(On-policy)的训练过程转化为异策略(Off-policy)，即从在线学习转化为离线学习。如果要学习的智能体和与环境交互的智能体不是相同的，则称之为异策略。
然后，使用Gym创建环境，定义近端策略优化算法网络、智能体函数以及训练参数；其中，近端策略优化算法包括两个神经网络：一个是策略网络、另一个是价值网络；策略网络是两个全连接层，输入是当前时刻的状St、输出为经过softmax函数处理的动作At，然后根据环境模型的概率P(St+1|St，At)进入一个新的状态St+1、并获得奖励Rt+1，策略模型再接受状态St+1和Rt+1，继续生成并执行采摘机器人的控制指令；价值网络也是两个全连接层，输入状态St，输出是维度为1的状态值state-value，表示“价值”；将状态St输入智能体函数中、输出随机动作At，记录状态(state)的价值(value)以及动作(action)的对数。在此过程中，根据最大化获得奖励对策略模型进行优化和调整，直到满足一定条件，智能体与环境交互结束。
再之后，使用仿真器搭建包含野外茶园和机器人的仿真环境，将光照强度、相机方位、茶叶嫩芽位姿和颜色等物理量作为虚拟环境的参数，在训练中，逐渐增加仿真环境的随机性，通过机器人与环境交互采集获取学习难度不断增加的数据，并对这些数据进行采样；
最后，使用保存的网络参数初始化一个新的策略网络，并在环境中试验新的策略网络；经过反复的更新和迭代，得到采摘机器人训练模型的最优策略；通过输入最新的状态数据，可以预测输出最优动作，并输出机械臂的控制指令，完成末端执行器路径规划。
中控设备进行茶叶嫩芽二次定位的具体步骤为：
在末端执行器沿规划的路径移动过程中，利用第二相机进行茶叶嫩芽采摘点与采摘角度的获取，获得以第二相机为基准的坐标系的嫩芽采摘点(x′p2,y′p2,z′p2)与采摘角度(x′d2,y′d2,z′d2)；其中，第二相机获取茶叶嫩芽采摘点与采摘角度的方法与第一相机获取茶叶嫩芽采摘点与采摘角度的方法一致；
然后，利用标定矩阵与向量变化矩阵对第二相机获取的嫩芽采摘点(x′p2,y′p2,z′p2)与采摘角度(x′d2,y′d2,z′d2)进行坐标系转换，将其转换为以第一相机为基准的坐标系；
其中，标定矩阵为末端执行器初始状态时，第二相机的图像坐标系转换为第一相机坐标系的矩阵，标定矩阵通过实验过程中标定测试获得；向量变换矩阵由采摘机器人驱动末端执行器移动到达第一相机的图像定位的嫩芽采摘点和采摘角度位置，返回的向量变换矩阵，向量变换矩阵通过末端执行器的移动路径获得；
最终，获得映射后(即坐标系转换后)的嫩芽采摘点(xp2,yp2,zp2)与采摘角度(xd2,yd2,zd2)，具体为：
式中：Mb表示标定矩，Mx表示向量变换矩阵。
中控设备在末端执行器沿路径规划过程中、在进行茶叶嫩芽采摘前，持续进行多次茶叶嫩芽二次定位获取移动误差Δe、并且预设移动误差门限值elim，具体为：
式中：表示第i次二次定位的嫩芽采摘点，/>第i次二次定位的嫩芽采摘角度；
当Δe＜elim时，满足茶叶嫩芽采摘误差，进行嫩芽采摘；反之，则报警，重新进行定位采摘。
实施例2：
作为对本申请方案的进一步优化，在实施例1方案的基础上，固定架20位于翻转架30的侧壁设置限位块，用于对翻转架30的水平进行支撑、对翻转角度进行限位。
末端执行器进行剪切的具体过程为：
当末端执行器运动至采摘点后，启动舵机92带动转轴30转动，转轴30分别带动不完全齿轮931与摇臂61转动(此时，不完全齿轮931光滑段与中间齿轮932对应，因此翻转架40不转动)，摇臂61通过连接杆62拉动滑动杆63向靠近摇臂61的一端滑动、进而带动定位块64滑动，定位块64通过第一连接架73与第二连接架74使得两个夹持板72相互靠近、进而利用切割刀片75对茶叶嫩芽进行剪断；之后，随着转轴30的继续转动，两个夹持板72对剪断后的嫩芽进行夹持且不完全齿轮931的齿段与中间齿轮932啮合，从而带动翻转架40向靠近收集箱10一侧转动，当翻转架40转动110°后，舵机92反转、进而推动两个夹持板72相互远离，松开茶叶嫩芽使得其落入收集箱10中，之后翻转架40回到初始位置，进行下一次采摘。
实施例3：
作为对本申请方案的进一步优化，在实施例1方案的基础上，上述第一相机或第二相机获得图像数据集后，为了增加数据的多样性，防止神经网络训练过程中的过拟合线性，同时为了模拟茶叶在自然环境中的生长状态，采用水平翻转、改变明亮度和高斯噪声等图像数据增强方法对图像数据集进行部分变换(需要说明的是：水平翻转、改变明亮度和高斯噪声均采用本领域的常规技术，本领域技术人员能够理解)，然后对整个图像数据集进行扩展，最后在NVIDIA GPU上进行训练，得到了目标检测的模型权重。
实施例4：
作为对本申请方案的进一步优化，在实施例1方案的基础上，定位块64长度大于滑动定位孔51长度，从而实现对定位块64滑动进行硬限位。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (4)
1.一种名优茶采摘机器人，其特征在于：包括移动车架、第一相机、机械臂、末端执行器、第二相机与中控设备；
第一相机固定设置在移动车架上，用于对茶园进行图像拍摄、进而完成茶叶嫩芽的初步识别定位；
机械臂固定设置在移动车架上，用于控制末端执行器运动至初步识别定位的茶叶嫩芽点；
末端执行器固定设置在机械臂远离移动车架的一端，用于对茶叶嫩芽进行切断；
第二相机设置在末端执行器上，用于对茶叶嫩芽进行二次定位；
中控设备设置在移动车架上，并分别与第一相机、第二相机、机械臂控制器、末端执行器控制器连接，用于进行茶叶嫩芽初步定位、末端执行器路径规划、茶叶嫩芽二次定位、以及控制末端执行器进行剪切；
所述末端执行器包括收集箱、固定架、转轴、翻转架、定位座、传动组件、左夹指组件、右夹指组件与舵机组件；收集箱固定设置在机械臂远离移动车架的一端端部且收集箱远离机械臂的一侧侧面开设收集口；收集箱位于收集口下侧的侧面设置两个固定架且两个固定架远离收集箱的一端被同一根转轴贯穿，转轴与两个固定架分别转动连接；两个固定架相互远离的一侧侧面分别转动设置翻转架且翻转架套接在转轴外壁，翻转架相互远离的一端固定连接同一定位座，定位座中间开设滑动定位孔且定位座左、右两侧分别设置左夹指组件与右夹指组件；传动组件包括摇臂、连接杆、滑动杆与定位块，摇臂固定套接在转轴位于两个固定架之间的外壁且摇臂远离转轴的一端与连接杆转动连接，连接杆远离摇臂的一端与滑动杆固定连接，滑动杆贯穿滑动定位孔、与滑动定位孔内壁滑动连接，滑动杆远离连接杆的一端固定设置定位块且定位块分别与左夹指组件与右夹指组件连接；舵机组件对应转轴固定设置在收集箱侧壁；
所述中控设备进行茶叶嫩芽初步定位的具体步骤为：
首先，在自然光照条件下，采用第一相机采集茶叶嫩芽图像数据，获取茶叶嫩芽的彩色图像与深度图像；然后，利用标记工具对彩色图像进行标注、并存储，获得图像数据集；
之后，建立FCOS卷积神经网络模型，对符合制作名优茶标准的茶叶嫩芽进行检测识别；
再之后，根据FCOS卷积神经网络模型的检测结果、得到检测框坐标，生成彩色图像与对应深度图像的感兴趣区域；根据深度图像像素坐标与彩色图像像素坐标的映射关系，通过深度图像的坐标值、像素值和记录距离，得到对应的映射彩色图像坐标，再通过彩色图像与深度图像的坐标融合，获得茶叶三维点云；
通过计算获得茶叶三维点云的平均值，并将该平均值作为距离阈值，将大于距离阈值的背景点云进行过滤，得到初步分割的三维点云；再采用DBSCAN密度聚类算法，通过设置参数半径Eps和邻域中要求含有的最低样本个数M p，将初步分割的三维点云聚为一类，筛选出嫩芽三维点云；
采用主成分分析法筛选出嫩芽三维点云的三个坐标轴方向，即嫩芽三维点云x、y、x的方向，获得嫩芽最小外接长方体；
根据嫩芽最小外接长方体，按照茶叶嫩芽的生长态势，选取嫩芽最小外接长方体在次主轴上最小的四个顶点坐标，即：，其中：i=1,2,3,4；
其中，次主轴为嫩芽初定位方法中，主成分分析法分析嫩芽三维点云时，第二大特征值对应的特征向量的方向；
嫩芽采摘点为嫩芽最小外接长方体的底面中心，具体为：
；
即实现茶叶嫩芽的初步定位；
所述中控设备在完成茶叶嫩芽的初步定位后、还要进行嫩芽采摘角度的计算，从而获得末端执行器的运动点位；
嫩芽采摘角度的计算具体为：
首先，获得嫩芽最小外接长方体底面的表达式，即：
；
然后，利用次主轴上最小的四个顶点坐标建立方程式，获得表达式系数A、B、C、D；
之后，计算原点（0,0,0）在嫩芽最小外接长方体底面上的投影点，具体如下：
；
最后，获得嫩芽采摘角度：
；
所述中控设备进行茶叶嫩芽二次定位的具体步骤为：
在末端执行器沿规划的路径移动过程中，利用第二相机进行茶叶嫩芽采摘点与采摘角度的获取，获得以第二相机为基准的坐标系的嫩芽采摘点与采摘角度；其中，第二相机获取茶叶嫩芽采摘点与采摘角度的方法与第一相机获取茶叶嫩芽采摘点与采摘角度的方法一致；
然后，利用标定矩阵与向量变化矩阵对第二相机获取的嫩芽采摘点与采摘角度/>进行坐标系转换 ，将其转换为以第一相机为基准的坐标系；
其中，标定矩阵为末端执行器初始状态时，第二相机的图像坐标系转换为第一相机坐标系的矩阵，标定矩阵通过实验过程中标定测试获得；向量变换矩阵由采摘机器人驱动末端执行器移动到达第一相机的图像定位的嫩芽采摘点和采摘角度位置，返回的向量变换矩阵，向量变换矩阵通过末端执行器的移动路径获得；
最终，获得映射后的嫩芽采摘点与采摘角度/>，具体为：
；
式中：M b表示标定矩，M x表示向量变换矩阵；
所述中控设备在末端执行器沿路径规划过程中、在进行茶叶嫩芽采摘前，持续进行多次茶叶嫩芽二次定位获取移动误差、并且预设移动误差门限值e lim，具体为：
；
式中：表示第i次二次定位的嫩芽采摘点，/>第i次二次定位的嫩芽采摘角度；
当时，满足茶叶嫩芽采摘误差，进行嫩芽采摘；反之，则报警，重新进行定位采摘。
2.根据权利要求1所述的一种名优茶采摘机器人，其特征在于：所述舵机组件包括电机固定座、舵机与齿轮机构，舵机通过电机固定座固定设置在收集箱侧面且舵机输出轴与转轴连接，齿轮机构对应翻转架设置在转轴外壁。
3.根据权利要求2所述的一种名优茶采摘机器人，其特征在于：所述齿轮机构包括不完全齿轮、中间齿轮与齿环，不完全齿轮对应翻转架固定套接在转轴外壁，齿环卡接在翻转架内壁且不完全齿轮与齿环之间设置中间齿轮。
4.根据权利要求2或3所述的一种名优茶采摘机器人，其特征在于：所述左夹指组件与右夹指组件均包括转动支架、夹持板、第一连接架与第二连接架，转动支架一端与定位座转动连接、另一端与夹持板转动连接，且夹持板卡接在转动支架内；夹持板通过第一连接架与定位块连接且第一连接架分别与夹持板、定位块转动连接；转动支架通过第二连接架与定位块连接且第二连接架分别与转动支架、定位块转动连接；右夹指组件的夹持板底面设置切割刀片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310310681.0A CN117565065B (zh) | 2023-03-28 | 2023-03-28 | 一种名优茶采摘机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310310681.0A CN117565065B (zh) | 2023-03-28 | 2023-03-28 | 一种名优茶采摘机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117565065A CN117565065A (zh) | 2024-02-20 |
| CN117565065B true CN117565065B (zh) | 2024-04-19 |
Family
ID=89888687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310310681.0A Active CN117565065B (zh) | 2023-03-28 | 2023-03-28 | 一种名优茶采摘机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117565065B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101412216A (zh) * | 2008-11-20 | 2009-04-22 | 中国农业大学 | 一种通用的果树机械手 |
| CN102124866A (zh) * | 2011-01-19 | 2011-07-20 | 南京农业大学 | 一种轮式移动水果采摘机器人及水果采摘方法 |
| CN103252790A (zh) * | 2013-05-23 | 2013-08-21 | 四川农业大学 | 西瓜采摘机械手的控制系统 |
| CN107309876A (zh) * | 2017-07-14 | 2017-11-03 | 广西师范大学 | 机械手采摘的控制方法 |
| CN108074009A (zh) * | 2016-11-11 | 2018-05-25 | 菜鸟智能物流控股有限公司 | 一种运动路线的生成方法、装置、移动终端和服务器 |
| CN108171796A (zh) * | 2017-12-25 | 2018-06-15 | 燕山大学 | 一种基于三维点云的巡检机器人视觉系统及控制方法 |
| AU2017357645A1 (en) * | 2016-11-08 | 2019-05-23 | Dogtooth Technologies Limited | A robotic fruit picking system |
-
2023
- 2023-03-28 CN CN202310310681.0A patent/CN117565065B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101412216A (zh) * | 2008-11-20 | 2009-04-22 | 中国农业大学 | 一种通用的果树机械手 |
| CN102124866A (zh) * | 2011-01-19 | 2011-07-20 | 南京农业大学 | 一种轮式移动水果采摘机器人及水果采摘方法 |
| CN103252790A (zh) * | 2013-05-23 | 2013-08-21 | 四川农业大学 | 西瓜采摘机械手的控制系统 |
| AU2017357645A1 (en) * | 2016-11-08 | 2019-05-23 | Dogtooth Technologies Limited | A robotic fruit picking system |
| CN108074009A (zh) * | 2016-11-11 | 2018-05-25 | 菜鸟智能物流控股有限公司 | 一种运动路线的生成方法、装置、移动终端和服务器 |
| CN107309876A (zh) * | 2017-07-14 | 2017-11-03 | 广西师范大学 | 机械手采摘的控制方法 |
| CN108171796A (zh) * | 2017-12-25 | 2018-06-15 | 燕山大学 | 一种基于三维点云的巡检机器人视觉系统及控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117565065A (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Montoya-Cavero et al. | Vision systems for harvesting robots: Produce detection and localization | |
| CN111602517A (zh) | 一种串型水果分布式视觉主动感知方法及其应用 | |
| CN112464766B (zh) | 一种农田地头自动识别方法及系统 | |
| Rong et al. | A peduncle detection method of tomato for autonomous harvesting | |
| CN114119574B (zh) | 一种基于机器视觉的采摘点检测模型构建方法及采摘点定位方法 | |
| CN115376125A (zh) | 一种基于多模态数据融合的目标检测方法以及基于目标检测模型的在体果实采摘方法 | |
| CN114565864A (zh) | 一种基于深度学习的果实识别方法 | |
| CN104408760A (zh) | 一种基于双目视觉的高精度虚拟装配系统算法 | |
| CN116138036B (zh) | 一种用于名优茶嫩芽采摘的二次定位方法 | |
| CN115990891A (zh) | 一种基于视觉示教和虚实迁移的机器人强化学习装配的方法 | |
| CN115271200A (zh) | 一种用于名优茶的智能连贯采摘系统 | |
| CN115909110A (zh) | 一种基于Siamese网络的轻量级红外无人机目标跟踪方法 | |
| Yang et al. | Vision based fruit recognition and positioning technology for harvesting robots | |
| Zhong et al. | Identification and depth localization of clustered pod pepper based on improved Faster R-CNN | |
| Wang et al. | Apple rapid recognition and processing method based on an improved version of YOLOv5 | |
| CN117565065B (zh) | 一种名优茶采摘机器人 | |
| CN114782455B (zh) | 一种用于农机嵌入式设备的棉花行中心线图像提取方法 | |
| Yan et al. | Identification and Location Method of Cherry Tomato Picking Point Based on Si-YOLO | |
| CN114612899A (zh) | 基于改进YOLOv3的麦苗行中心线检测方法 | |
| CN115810188A (zh) | 基于单张二维图像的树上果实三维位姿识别方法及系统 | |
| TWI744020B (zh) | 智慧型果實套袋系統 | |
| CN113361465A (zh) | 一种基于深度学习的高分辨率遥感影像农业大棚提取方法 | |
| Yang et al. | Autonomous navigation method based on RGB‐D camera for a crop phenotyping robot | |
| Adebola et al. | Automated Pruning and Irrigation of Polyculture Plants | |
| Zhang et al. | Method for Detection of Ripe Navel Orange Fruit on Trees in Various Weather |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |