CN116508493B - 一种龙门履带式茶叶采摘机器人及其采摘方法 - Google Patents
一种龙门履带式茶叶采摘机器人及其采摘方法 Download PDFInfo
- Publication number
- CN116508493B CN116508493B CN202310469545.6A CN202310469545A CN116508493B CN 116508493 B CN116508493 B CN 116508493B CN 202310469545 A CN202310469545 A CN 202310469545A CN 116508493 B CN116508493 B CN 116508493B
- Authority
- CN
- China
- Prior art keywords
- picking
- coordinate system
- tea
- crawler
- mechanical arm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 241001122767 Theaceae Species 0.000 title claims description 92
- 239000012636 effector Substances 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 108090000623 proteins and genes Proteins 0.000 claims description 56
- 230000007246 mechanism Effects 0.000 claims description 51
- 239000011159 matrix material Substances 0.000 claims description 22
- 210000000349 chromosome Anatomy 0.000 claims description 17
- 230000035772 mutation Effects 0.000 claims description 15
- 238000013519 translation Methods 0.000 claims description 14
- 206010064571 Gene mutation Diseases 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 8
- 230000000903 blocking effect Effects 0.000 claims description 7
- 239000012634 fragment Substances 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000007667 floating Methods 0.000 claims description 3
- 230000007614 genetic variation Effects 0.000 claims description 3
- 230000008439 repair process Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 235000009024 Ceanothus sanguineus Nutrition 0.000 abstract description 6
- 240000003553 Leptospermum scoparium Species 0.000 abstract description 6
- 235000015459 Lycium barbarum Nutrition 0.000 abstract description 6
- 230000008569 process Effects 0.000 abstract description 5
- 244000269722 Thea sinensis Species 0.000 abstract 3
- 238000007789 sealing Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000010008 shearing Methods 0.000 description 2
- 235000013311 vegetables Nutrition 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
- A01D46/30—Robotic devices for individually picking crops
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P60/00—Technologies relating to agriculture, livestock or agroalimentary industries
- Y02P60/12—Technologies relating to agriculture, livestock or agroalimentary industries using renewable energies, e.g. solar water pumping
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
Abstract
本发明提供一种龙门履带式茶叶采摘机器人，包括履带式底盘（10）、龙门架（20）、采摘机械臂（30）、末端执行器（40）、检测定位系统与采摘控制系统；履带式底盘（10）为两个且龙门架（20）固定安装在履带式底盘（10）上侧，采摘机械臂（30）设置在龙门架（20）上且采摘机械臂（30）末端设置末端执行器（40）；检测定位系统包括视觉控制系统与深度相机。该采摘机器人有效适用于高地隙的山区、丘陵等地形，使用范围广；同时，该采摘机器人能够规划最短的采摘顺序、实现茶叶嫩芽的精确定位，能够有效避免采摘过程中对茶叶嫩芽或茶树造成的损伤。
Description
技术领域
本发明涉及茶叶采摘技术领域，具体涉及一种龙门履带式茶叶采摘机器人及其采摘方法。
背景技术
目前，茶叶采摘大多仍以传统的人工采摘或人工手持采摘机为主，人工采摘劳动强度大、效率低，采摘成本高，无法满足市场需求；且在目前农业青壮年劳动力短缺的影响下，茶叶采摘的人工成本持续上升。
设计与研发茶叶采摘机器人、使其替代传统的人工采摘，一是能够有效减少劳动力的使用、解决目前农业青壮年劳动力短缺的问题，二是符合数字农村农业的发展需求，能够有效提高我国的农村数字化建设。
中国专利文献CN109220227A公开了一种名优茶采摘机器人，其通过采摘机器人的自动化实现茶叶的采摘，进而替代人力采摘，减少采摘所需要消耗的人力成本，提高采摘效率。然而，上述的采摘机器人主要通过移动轮进行移动、实现茶叶的采摘，对于高地隙的山区，其移动十分不方便、进而影响茶叶的采摘效率；同时，该采摘机器人利用设置于机械臂上的两指夹手对茶叶进行采摘，采摘过程中极易对茶树或茶叶嫩芽造成损伤，进而影响茶叶嫩芽的品质或茶树的再次生长，降低茶叶或茶树的经济效率。
发明内容
针对以上现有技术存在的问题，本发明的目的在于提供一种龙门履带式茶叶采摘机器人，该采摘机器人使用履带底盘进行行走，穿过性与爬坡能力腔，从而有效适用于高地隙的山区、丘陵等地形，使用范围广；同时，该采摘机器人能够规划最短的采摘顺序、实现茶叶嫩芽的精确定位，结合末端执行器完成茶叶的采摘，有效避免采摘过程中对茶叶嫩芽或茶树造成的损伤，进而确保茶叶的品质与茶树的再生性。
本发明的另一个目的在于提供一种上述龙门履带式茶叶采摘机器人的采摘方法，进而进行精确、有效的茶叶采摘，提供采摘效率以及确保采摘后茶叶的品质。
本发明的目的通过以下技术方案实现：
一种龙门履带式茶叶采摘机器人，其特征在于：包括履带式底盘、龙门架、采摘机械臂、末端执行器、检测定位系统与采摘控制系统；履带式底盘为两个且龙门架固定安装在履带式底盘上侧，采摘机械臂设置在龙门架上且采摘机械臂末端设置末端执行器；检测定位系统包括视觉控制系统与深度相机，深度相机安装在龙门架上且相对于采摘机械臂静止，视觉控制系统与采摘控制系统均集成在中控设备内且中控设备分别与履带式底盘、采摘机械臂、末端执行器、深度相机电连接。
作进一步优化，所述履带式底盘包括底盘支架、履带、箱体、主动轮组、从动轮组与支重轮组，底盘支架固定设置在龙门架底部且底盘支架下侧分别设置履带与箱体，箱体设置在履带内部、作为连接全部零件的桥梁；箱体一端且位于履带内侧设置主动轮组，箱体另一端(即与主动轮组相对的一端)且位于履带内侧设置从动轮组，箱体下侧且位于履带内侧均匀设置支重轮组。
作进一步优化，所述主动轮组包括主动电机、主动链轮、链条、从动链轮、主动轮与主动轮托板，主动电机设置在箱体与底盘支架之间的连接杆上且其输出端固定套接主动链轮，主动轮托板固定设置在箱体的一端且主动轮转动设置在主动轮托板上，主动轮外圈与履带内圈啮合，从动链轮与主动轮同轴设置且从动链轮与主动链轮之间通过链条连接；从动轮组包括叉子与从动轮，叉子固定设置在箱体的另一端(即与主动轮组相对的一端)且叉子内转动设置从动轮，从动轮外圈与履带内圈啮合；支重轮组包括轴承座、支重轮轴与支重轮，轴承座固定设置在箱体下侧且轴承座内转动设置支重轮轴，支重轮轴两端分别固定套接支重轮且支重轮外圈与履带内圈啮合。
作进一步优化，所述采摘机械臂为三自由度机械臂，包括纵向直线导轨机构、横向直线导轨机构与垂直直线导轨机构，横向直线导轨机构固定设置在龙门架上，纵向直线导轨机构设置在横向直线导轨机构上，垂直直线导轨机构设置在纵向直线导轨机构上且垂直直线导轨机构端部设置末端执行器。
作进一步优化，所述末端执行器包括茶叶收集抽屉、弧形防漏槽与平面五杆机构，茶叶收集抽屉固定设置在采摘机械臂(即垂直直线导轨机构)端部且茶叶收集抽屉顶端设置弧形防漏槽，茶叶收集抽屉一侧侧面固定设置平面五杆机构且弧形防漏槽对应侧面开设收集口；平面五杆机构包括安装座、转动支架、舵机、阶梯轴、刀架盒、切断刀座、封闭板及阻挡杆，安装座固定设置在茶叶收集抽屉的一侧侧面且安装座远离茶叶收集抽屉的一侧侧面设置两块平行的转动支架，舵机通过“L”形支架固定设置在安装座对应侧侧面且舵机输出轴固定连接阶梯轴，阶梯轴远离舵机的一端依次贯穿两块转动支架且转动连接，阶梯轴位于两块转动支架相互远离的一侧侧面的外壁套接刀架盒且刀架盒远离阶梯轴的一端底部固定设置切断刀座，刀架盒中部转动设置封闭板且封闭板远离切断刀座的一侧侧面上端设置曲柄连杆机构，曲柄连杆机构远离封闭板的一端固定套接在阶梯轴的外壁，刀架盒位于封闭板远离切断刀座的一侧侧面设置用于封闭板转动限位的阻挡杆。
作进一步优化，所述阶梯轴通过套接转动盘与转动支架转动连接，转动盘相互远离的一侧侧面设置限位块且刀架盒对应限位块设置支耳，限位块两侧侧面设置缓冲弹簧。
作进一步优化，所述深度相机采用RealSenseD435i深度相机。
一种龙门履带式茶叶采摘机器人的采摘方法，采用上述采摘机器人，其特征在于：包括检测定位系统(具体为视觉控制系统)进行茶叶识别、采摘控制系统进行采摘顺序规划；
检测定位系统进行茶叶识别为：首先，使用深度相机分别采集RGB图像和深度图像；然后利用相机外参数，对RGB图像和深度图像进行配准，使两者分辨率一致；之后，应用深度神经网络YOLOv7检测出RGB图像中的茶叶嫩芽，再结合深度图像，将检测出来的茶叶嫩芽区域转化为三维点云；再利用统计滤波器，将茶叶嫩芽区域的噪声(即背景等)剔除，计算三维点云的平均值作为采摘点；最后，通过手眼标定得到相机坐标系与机械臂坐标系之间的旋转、平移矩阵，进而将采摘点的位置从相机坐标系转换到机械臂坐标系上。
作进一步优化，所述通过手眼标定得到相机坐标系与机械臂坐标系之间的旋转、平移矩阵，进而将采摘点的位置从相机坐标系转换到机械臂坐标系上具体为：
首先，在棋盘格标定板上取三个距离足够大的正交点建立辅助坐标系，将采摘机械臂基坐标系视为基坐标系；然后，通过手动控制采摘机械臂依次触碰三个点，记为P1、P2、P3，并分别获取三个点在基坐标系的坐标，即P1＝(X1 P,Y1 P,Z1 P)、P2＝(X2 P,Y2 P,Z2 P)、P3＝(X3 P,Y3 P,Z3 P)；之后，获得辅助坐标系相对于基坐标系的三个正交基ex P、ey P与ez P：
对于基坐标系任一给出的一点QBCS，其在辅助坐标系上的坐标QACS＝[X,Y,Z]T,则
式中：T1表示辅助坐标系与基坐标系之间的平移矩阵；R1表示辅助坐标系与基坐标系之间的旋转矩阵；
在相机坐标系中，手动获取相机坐标系中的三个点，分别为Q1＝(X1 C,Y1 C,Z1 C)、Q2＝(X2 C,Y2 C,Z2 C)、Q3＝(X3 C,Y3 C,Z3 C)，并获得辅助坐标系相对于相机坐标系的三个正交基ex C、ey C与ez C：
对于基坐标系任一给出的一点QCCS，其在辅助坐标系上的坐标QACS＝[X,Y,Z]T,则
式中：T2表示辅助坐标系与相机坐标系之间的平移矩阵；R2表示辅助坐标系与相机坐标系之间的旋转矩阵；
即：
式中：T表示基坐标系与相机坐标系之间的平移矩阵；R表示基标系与相机坐标系之间的旋转矩阵；
从而通过使用一块棋盘格标定板将深度相机坐标系的坐标转换到机械臂坐标系。
作进一步优化，所述采摘控制系统进行采摘顺序规划具体为：
首先，进行种群初始化并进行适应度计算：设置种群中个体数为n，将视觉控制系统中识别获得的全部茶叶嫩芽的三维采摘点随机打乱坐标顺序n次，每次打乱的坐标点的排列顺序作为初代个体的基因，同时通过函数d获得每次打乱坐标顺序后各个坐标点之间的距离，并以此作为该个体基因的适应度；
其中，函数d为：
经过n次操作后，获得一个具有n个个体的初代种群；之后，进行迭代操作：将初代种群进行交叉操作、变异操作与选择操作，并完成多次迭代，每次迭代后均计算其适应度，并按照一定概率保留适应度较好的个体基因形成新种群；
最后，得出最优路径的新种群：经过预定的迭代次数后，选取最后一代中路线总长度最短的个体作为最优路径的采摘顺序。
作进一步优化，所述交叉操作具体为：首先将每一代种群个体进行打乱，并以步长为2进行随机抽取，随机抽取两个染色体个体、记为c和d，其中c、d为对应的茶叶坐标点路径；然后随机选择c与d之间的两个交叉点a和b、确定交叉位置，其中b＞a(即b的所取基因段的位置要在a的所取基因段位置之后)，同时，a和b之间的距离取值范围为不超过c或d的基因片段长度，记录初始基因对应片段的位置；
在执行交叉后，一般会得到两个无效染色体，个别基因会出现重复的情况，为了修复染色体，可以在交叉区域内建立每个染色体的匹配关系，然后在交叉区域外对重复基因应用此匹配关系就可以消除冲突；具体为：首先，随机选择一对染色体(即父代)中的几个基因的起止位置(两个染色体被选位置相同)；之后，交换这两组基因的位置；然后，做冲突检测，根据交换的两组基因建立映射关系；最后，确保所有冲突的基因都会经过映射，从而形成无冲突的新一代子基因。
作进一步优化，所述变异操作具体为：预先设定基因变异的概率G，其中0＜G＜1，通过随机生成一个0～1范围内的浮点数T：若T≥G，则不执行基因突变；若T＜G，则执行基因突变；
在基因突变中，首先随机选取两个基因段的位置u和v，其中v＞u；然后将选中的基因段取出来，并将其逆序排列作为该段基因的变异；最后将变异后和变异前的两代基因进行合并，再进行下一步的适应度计算和淘汰。
作进一步优化，所述选择操作具体为：首先确定每一代保留的个体N，将总个体分成M个小组，每个小组中具有S个个体、S＞N，则每一次迭代每个小组中选取适应度最好的个，当选择完N个时、则进入下一次迭代。
本发明具有如下技术效果：
本申请通过履带式底盘与龙门架，使得整个采摘机器人能够在高地隙的山地或丘陵环境下进行移动，从而确保采摘机器人的移动方便，保证采摘效率；通过三自由臂采摘机器人的设置，从而稳固控制末端执行器的移动，避免剪切、采摘茶叶嫩芽的过程中，末端执行器晃动而造成茶叶或茶树的损伤；通过末端执行器的设置，利用刀架盒完成对茶叶嫩芽的罩住后、利用封闭板与切断刀座的配合实现嫩芽茎部的剪断，从而有效避免两夹持指进行茶叶嫩芽采摘过程中损伤嫩芽或茶树的问题，同时也有效完成茶叶嫩芽剪断后的收集工作，避免采摘后茶叶嫩芽掉落的问题。
此外，本申请通过检测定位系统，能够精确有效的完成茶叶嫩芽的识别、定位，检测精度高、定位效果好；同时通过采摘控制系统对茶叶嫩芽的采摘路径进行规划，使得采摘机械臂以最短的运动路径进行茶叶嫩芽的采摘，一是有效确保采摘效率、节省采摘时间，二是有效避免采摘过程中采摘机器人对于未采摘的茶叶嫩芽的损伤、造成茶叶嫩芽品质或产量的降低；与传统的路径规划方法相比，本申请采摘控制系统的路径规划方法精度高、计算时间少、响应迅速，进一步提高茶叶的采摘效率。
附图说明
图1为本申请实施例中采摘机器人的整体结构示意图。
图2为本申请实施例中采摘机器人的履带式底盘的结构示意图。
图3为本申请实施例中采摘机器人的主动轮组的结构示意图。
图4为本申请实施例中采摘机器人的从动轮组的结构示意图。
图5为本申请实施例中采摘机器人的支重轮组的结构示意图。
图6为本申请实施例中采摘机器人的末端执行器的结构示意图。
图7为本申请实施例中采摘机器人的平面五杆机构的结构示意图。
图8为本申请实施例中采摘机器人采摘控制系统的采摘顺序规划路线效果图。
图9为本申请实施例中采摘机器人检测定位系统的定位效果图。
图10为本申请实施例中采摘机器人采摘控制系统进行交叉操作的示意图。
图11为本申请实施例中采摘机器人采摘控制系统的采摘顺序规划的流程图。
其中，10、履带式底盘；11、底盘支架；12、履带；13、箱体；14、主动轮组；141、主动电机；142、主动链轮；143、链条；144、从动链轮；145、主动轮；146、主动轮托板；15、从动轮组；151、叉子；152、从动轮；16、支重轮组；161、轴承座；162、支重轮轴；163、支重轮；20、龙门架；30、采摘机械臂；31、纵向直线导轨机构；32、横向直线导轨机构；33、垂直直线导轨机构；40、末端执行器；41、茶叶收集抽屉；42、弧形防漏槽；43、平面五杆机构；431、安装座；432、转动支架；4320、限位块；433、舵机；4330、“L”形支架；434、阶梯轴；4340、曲柄连杆机构；435、刀架盒；4350、支耳；436、切断刀座；437、封闭板；438、阻挡杆。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例1：
如图1～7所示：一种龙门履带式茶叶采摘机器人，其特征在于：包括履带式底盘10、龙门架20、采摘机械臂30、末端执行器40、检测定位系统与采摘控制系统；履带式底盘10为两个且龙门架20固定安装在履带式底盘10上侧，履带式底盘10包括底盘支架11、履带12、箱体13、主动轮组14、从动轮组15与支重轮组16，底盘支架11固定设置在龙门架20底部且底盘支架11下侧分别设置履带12与箱体13，箱体13设置在履带12内部(且与底盘支架11通过连接杆固定连接)、作为连接全部零件的桥梁；箱体13一端(即图2所示左端)且位于履带12内侧设置主动轮组14，主动轮组14包括主动电机141、主动链轮142、链条143、从动链轮144、主动轮145与主动轮托板146，主动电机141设置在箱体13与底盘支架11之间的连接杆上且其输出端固定套接主动链轮142，主动轮托板146固定设置在箱体13的一端(即图2所示左端)且主动轮145通过转轴转动设置在主动轮托板146上，主动轮145外圈与履带12内圈啮合，从动链轮144与主动轮145同轴设置(即从动链轮144也套接在转轴上，从动链轮144直径小于主动轮145直径)且从动链轮144与主动链轮142之间通过链条143连接；箱体13另一端(即与主动轮组14相对的一端、图2所示右端)且位于履带12内侧设置从动轮组15，从动轮组15包括叉子151与从动轮152，叉子151固定设置在箱体13的另一端(即与主动轮组14相对的一端、图2所示右端)且叉子151内转动设置从动轮152(即从动轮152能够在叉子151内自由转动、如图4所示)，从动轮152外圈与履带12内圈啮合；箱体13下侧且位于履带12内侧均匀设置支重轮组16(支重轮组16的数量根据实际情况进行确定，本实施例中支重轮组16采用3组，如图2所示)，支重轮组16包括轴承座161、支重轮轴162与支重轮163，轴承座161固定设置在箱体13下侧且轴承座161内转动设置支重轮轴162，支重轮轴162两端分别固定套接支重轮163且支重轮163外圈与履带12内圈啮合。
采摘机械臂30设置在龙门架20上且采摘机械臂30末端设置末端执行器40；采摘机械臂30为三自由度机械臂，包括纵向直线导轨机构31、横向直线导轨机构32与垂直直线导轨机构33，如图1所示：横向直线导轨机构32固定设置在龙门架20上，纵向直线导轨机构31设置在横向直线导轨机构32上，垂直直线导轨机构33设置在纵向直线导轨机构32上且垂直直线导轨机构33端部设置末端执行器40。末端执行器40包括茶叶收集抽屉41、弧形防漏槽42与平面五杆机构43，茶叶收集抽屉41固定设置在采摘机械臂30(即垂直直线导轨机构33)端部且茶叶收集抽屉41顶端设置弧形防漏槽42(如图6所示)，茶叶收集抽屉41一侧侧面固定设置平面五杆机构43且弧形防漏槽42对应侧面开设收集口；平面五杆机构43包括安装座431、转动支架432、舵机433、阶梯轴434、刀架盒435、切断刀座436、封闭板437及阻挡杆438，安装座431固定设置在茶叶收集抽屉41的一侧侧面且安装座431远离茶叶收集抽屉41的一侧侧面设置两块平行的转动支架432，舵机433通过“L”形支架4330固定设置在安装座431对应侧侧面(如图7所示)且舵机433输出通过联轴器轴固定连接阶梯轴434，阶梯轴434远离舵机433的一端依次贯穿两块转动支架432且通过滚珠轴承转动连接，阶梯轴434位于两块转动支架432相互远离的一侧侧面的外壁套接刀架盒435且刀架盒435远离阶梯轴434的一端底部固定设置切断刀座436，切断刀座436上设置有用于切断茶树茎部的刀片，刀架盒435中部转动设置封闭板437且封闭板437远离切断刀座436的一侧侧面上端设置曲柄连杆机构4340，曲柄连杆机构4340远离封闭板437的一端固定套接在阶梯轴434的外壁(即通过阶梯轴434的转动控制曲柄连杆结构4340运行)，刀架盒435位于封闭板437远离切断刀座436的一侧侧面设置用于封闭板437转动限位的阻挡杆438。如图7所示：阶梯轴434通过套接转动盘与转动支架432转动连接(即阶梯轴434外壁对应转动支架432固定套接转动盘，转动盘卡在对应的转动支架432内且转动盘外壁与转动支架432内壁转动连接)，转动盘相互远离的一侧侧面设置限位块4320且刀架盒435对应限位块4320设置支耳4350，限位块4320两侧侧面(对应支耳4350)设置缓冲弹簧。
检测定位系统包括视觉控制系统与深度相机，深度相机安装在龙门架20上且相对于采摘机械臂30静止，深度相机采用RealSenseD435i深度相机；视觉控制系统与采摘控制系统均集成在中控设备内且中控设备分别与履带式底盘10、采摘机械臂30、末端执行器40、深度相机电连接。
末端执行器40控制系统采用STC89C52单片机作为主控芯片，采用LM2596作为稳压芯片；当12V电池接入时，通过两处变压电路对电压进行调整，一处是通过降压芯片LM2596的降压作用，降为5V电压输入给单片机，另外一处是通过可变调压电路，通过调整可变电阻的电阻值，将12V电压降为适合舵机433的电压，为舵机433供电。主控芯片通过定时器调整出适合的PWM波形供给舵机433、作为舵机433的控制信号，进而驱动平面五杆机构43运动。另外，末端执行器40控制系统有两种控制模式，一种是使用物理按键使末端执行器40进行茶嫩芽剪切和后抛；另一种是通过蓝牙技术使上位机能够控制末端执行器40进行茶嫩芽剪切和后抛；上述两种系统局均采用采用成熟的技术，本领域技术人员能够理解，因此本实施例中不做过多论述。
实施例2：
一种龙门履带式茶叶采摘机器人的采摘方法，采用实施例1所述的采摘机器人，其特征在于：包括检测定位系统(具体为视觉控制系统)进行茶叶识别、采摘控制系统进行采摘顺序规划；
检测定位系统进行茶叶识别为：首先，使用深度相机分别采集RGB图像和深度图像；然后利用相机外参数，对RGB图像和深度图像进行配准，使两者分辨率一致；
之后，应用深度神经网络YOLOv7检测出RGB图像中的茶叶嫩芽，再结合深度图像，将检测出来的茶叶嫩芽区域转化为三维点云，具体为：
式中：(xi,yi,zi)表示像素点i的三维点云坐标；(ui,vi)表示茶叶嫩芽区域中像素点i的图像坐标；(u0,v0)表示即深度相机的光心位置，通过前期图像标定获得；(fx,fy)表示即深度相机的焦距，通过前期图像标定获得；Id表示获得的深度图像。
再利用统计滤波器，将茶叶嫩芽区域的噪声(即背景等)剔除，计算三维点云的平均值作为采摘点；
最后，通过手眼标定得到相机坐标系与机械臂坐标系之间的旋转、平移矩阵，进而将采摘点的位置从相机坐标系转换到机械臂坐标系上，具体为：
首先，在棋盘格标定板上取三个距离足够大的正交点建立辅助坐标系，将采摘机械臂基坐标系视为基坐标系；然后，通过手动控制采摘机械臂依次触碰三个点，记为P1、P2、P3，并分别获取三个点在基坐标系的坐标，即P1＝(X1 P,Y1 P,Z1 P)、P2＝(X2 P,Y2 P,Z2 P)、P3＝(X3 P,Y3 P,Z3 P)；之后，获得辅助坐标系相对于基坐标系的三个正交基ex P、ey P与ez P：
对于基坐标系任一给出的一点QBCS，其在辅助坐标系上的坐标QACS＝[X,Y,Z]T,则
式中：T1表示辅助坐标系与基坐标系之间的平移矩阵；R1表示辅助坐标系与基坐标系之间的旋转矩阵；
在相机坐标系中，手动获取相机坐标系中的三个点，分别为Q1＝(X1 C,Y1 C,Z1 C)、Q2＝(X2 C,Y2 C,Z2 C)、Q3＝(X3 C,Y3 C,Z3 C)，并获得辅助坐标系相对于相机坐标系的三个正交基ex C、ey C与ez C：
对于基坐标系任一给出的一点QCCS，其在辅助坐标系上的坐标QACS＝[X,Y,Z]T,则
式中：T2表示辅助坐标系与相机坐标系之间的平移矩阵；R2表示辅助坐标系与相机坐标系之间的旋转矩阵；
即：
式中：T表示基坐标系与相机坐标系之间的平移矩阵；R表示基标系与相机坐标系之间的旋转矩阵；
从而通过使用一块棋盘格标定板将深度相机坐标系的坐标转换到机械臂坐标系。
采摘控制系统进行采摘顺序规划具体为：
首先，进行种群初始化并进行适应度计算：设置种群中个体数为n，将视觉控制系统中识别获得的全部茶叶嫩芽的三维采摘点随机打乱坐标顺序n次，每次打乱的坐标点的排列顺序作为初代个体的基因，同时通过函数d获得每次打乱坐标顺序后各个坐标点之间的距离，并以此作为该个体基因的适应度；
其中，函数d为：
经过n次操作后，获得一个具有n个个体的初代种群；之后，进行迭代操作：将初代种群进行交叉操作、变异操作与选择操作，并完成多次迭代，每次迭代后均计算其适应度，并按照一定概率保留适应度较好的个体基因形成新种群；
其中，交叉操作具体为：首先将每一代种群个体进行打乱，并以步长为2进行随机抽取，随机抽取两个染色体个体、记为c和d，其中c、d为对应的茶叶坐标点路径；然后随机选择c与d之间的两个交叉点a和b、确定交叉位置，其中b＞a(即b的所取基因段的位置要在a的所取基因段位置之后)，同时，a和b之间的距离取值范围为不超过c或d的基因片段长度，记录初始基因对应片段的位置；
在执行交叉后，一般会得到两个无效染色体，个别基因会出现重复的情况，为了修复染色体，可以在交叉区域内建立每个染色体的匹配关系，然后在交叉区域外对重复基因应用此匹配关系就可以消除冲突；具体为：首先，随机选择一对染色体(即父代)中的几个基因的起止位置(两个染色体被选位置相同)；之后，交换这两组基因的位置；然后，做冲突检测，根据交换的两组基因建立映射关系，映射关系如图10所示：以7-5-2这一映射关系为例，可以看到在交换两组基因位置的结果中，子代1的基因7交换成基因5后存在冲突，这时将其通过映射关系转变为基因2，以此类推至没有冲突为止；最后，确保所有冲突的基因都会经过映射，从而形成无冲突的新一代子基因。
变异操作具体为：预先设定基因变异的概率G，其中0＜G＜1，通过随机生成一个0～1范围内的浮点数T：若T≥G，则不执行基因突变；若T＜G，则执行基因突变；
在基因突变中，首先随机选取两个基因段的位置u和v，其中v＞u；然后将选中的基因段取出来，并将其逆序排列作为该段基因的变异；最后将变异后和变异前的两代基因进行合并，再进行下一步的适应度计算和淘汰；
选择操作具体为：首先确定每一代保留的个体N，将总个体分成M个小组，每个小组中具有S个个体、S＞N，则每一次迭代每个小组中选取适应度最好的个，当选择完N个时、则进入下一次迭代。
最后，得出最优路径的新种群：经过预定的迭代次数后，选取最后一代中路线总长度最短的个体作为最优路径的采摘顺序。
获得采摘顺序后，控制系统通过串口通信将茶叶嫩芽位置坐标发送给三自由度的采摘机械臂30，从而控制采摘机械臂30的横向直线导轨机构32、纵向直线导轨机构31、垂向直线导轨机构33移动，使得末端执行器40移动到采摘点坐标，然后通过蓝牙传输模块控制末端执行器40进行采摘与收集，之后，末端执行器40复位进行下一次工作。
采摘机器人进行采摘步骤为：
首先视觉检测定位系统对采摘点坐标进行确定，控制履带式底盘10到移动到某一采摘位置，然后控制采摘机械臂30将末端执行器40移动到采摘位置；到达采摘位置后，控制系统启动舵机433运行，带动阶梯轴434转动，从而带动曲柄连杆机构4340转动，拉动封闭板437进行转动、打到阻挡杆438上，进而实现刀架盒435的打开，最后平面五杆机构43的下端剪切口到达采摘点后，舵机433反向转动，通过封闭板437的转动以及切断刀座436上刀片4064的剪切力实现对茶叶嫩芽的采摘以及刀架盒435绕阶梯轴434转动，进而将采摘后的菜叶嫩芽通过弧形防漏槽42的开口投入茶叶收集抽屉41内，随着舵机433继续反向转动复位，刀架盒435绕阶梯轴434转动，进而将采摘后的菜叶嫩芽通过弧形防漏槽42的开口投入茶叶收集抽屉41内，如此循环。
Claims (4)
1.一种龙门履带式茶叶采摘机器人进行茶叶采摘的方法，其特征在于：采摘机器人包括履带式底盘、龙门架、采摘机械臂、末端执行器、检测定位系统与采摘控制系统；履带式底盘为两个且龙门架固定安装在履带式底盘上侧，采摘机械臂设置在龙门架上且采摘机械臂末端设置末端执行器；检测定位系统包括视觉控制系统与深度相机，深度相机安装在龙门架上且相对于采摘机械臂静止，视觉控制系统与采摘控制系统均集成在中控设备内且中控设备分别与履带式底盘、采摘机械臂、末端执行器、深度相机电连接；
该采摘机器人进行茶叶采摘的方法包括：检测定位系统进行茶叶识别、采摘控制系统进行采摘顺序规划；
所述检测定位系统进行茶叶识别为：首先，使用深度相机分别采集RGB图像和深度图像；然后利用相机外参数，对RGB图像和深度图像进行配准，使两者分辨率一致；之后，应用深度神经网络YOLOv7检测出RGB图像中的茶叶嫩芽，再结合深度图像，将检测出来的茶叶嫩芽区域转化为三维点云；再利用统计滤波器，将茶叶嫩芽区域的噪声剔除，计算三维点云的平均值作为采摘点；最后，通过手眼标定得到相机坐标系与机械臂坐标系之间的旋转、平移矩阵，进而将采摘点的位置从相机坐标系转换到机械臂坐标系上；
通过手眼标定得到相机坐标系与机械臂坐标系之间的旋转、平移矩阵，进而将采摘点的位置从相机坐标系转换到机械臂坐标系上具体为：
首先，在棋盘格标定板上取三个距离足够大的正交点建立辅助坐标系，将采摘机械臂基坐标系视为基坐标系；然后，通过手动控制采摘机械臂依次触碰三个点，记为P 1 、P 2 、P 3，并分别获取三个点在基坐标系的坐标，即、/>、；之后，获得辅助坐标系相对于基坐标系的三个正交基/>、/>与/>：
对于基坐标系任一给出的一点Q BCS，其在辅助坐标系上的坐标,则；
式中：T 1表示辅助坐标系与基坐标系之间的平移矩阵；R 1表示辅助坐标系与基坐标系之间的旋转矩阵；
在相机坐标系中，手动获取相机坐标系中的三个点，分别为、、/>，并获得辅助坐标系相对于相机坐标系的三个正交基/>、/>与/>：
对于基坐标系任一给出的一点Q CCS，其在辅助坐标系上的坐标,则；
式中：T 2表示辅助坐标系与相机坐标系之间的平移矩阵；R 2表示辅助坐标系与相机坐标系之间的旋转矩阵；
即：；
式中：T表示基坐标系与相机坐标系之间的平移矩阵；R表示基标系与相机坐标系之间的旋转矩阵；
从而通过使用一块棋盘格标定板将深度相机坐标系的坐标转换到机械臂坐标系；
所述采摘控制系统进行采摘顺序规划具体为：
首先，进行种群初始化并进行适应度计算：设置种群中个体数为n，将视觉控制系统中识别获得的全部茶叶嫩芽的三维采摘点随机打乱坐标顺序n次，每次打乱的坐标点的排列顺序作为初代个体的基因，同时通过函数d获得每次打乱坐标顺序后各个坐标点之间的距离，并以此作为该个体基因的适应度；
其中，函数d为：；
经过n次操作后，获得一个具有n个个体的初代种群；之后，进行迭代操作：将初代种群进行交叉操作、变异操作与选择操作，并完成多次迭代，每次迭代后均计算其适应度，并按照一定概率保留适应度较好的个体基因形成新种群；
交叉操作具体为：首先将每一代种群个体进行打乱，并以步长为2进行随机抽取，随机抽取两个染色体个体、记为c和d，其中c、d为对应的茶叶坐标点路径；然后随机选择c与d之间的两个交叉点a和b、确定交叉位置，其中b＞a，同时，a和b之间的距离取值范围为不超过c或d的基因片段长度，记录初始基因对应片段的位置；在执行交叉后，一般会得到两个无效染色体，个别基因会出现重复的情况，为了修复染色体，在交叉区域内建立每个染色体的匹配关系，然后在交叉区域外对重复基因应用此匹配关系消除冲突；具体为：首先，随机选择一对染色体中的几个基因的起止位置；之后，交换这两组基因的位置；然后，做冲突检测，根据交换的两组基因建立映射关系；最后，确保所有冲突的基因都会经过映射，从而形成无冲突的新一代子基因；
变异操作具体为：预先设定基因变异的概率G，其中0＜G＜1，通过随机生成一个0～1范围内的浮点数T：若T≥G，则不执行基因突变；若T＜G，则执行基因突变；在基因突变中，首先随机选取两个基因段的位置u和v，其中v＞u；然后将选中的基因段取出来，并将其逆序排列作为该段基因的变异；最后将变异后和变异前的两代基因进行合并，再进行下一步的适应度计算和淘汰；
选择操作具体为：首先确定每一代保留的个体N，将总个体分成M个小组，每个小组中具有S个个体、S＞N，则每一次迭代每个小组中选取适应度最好的个，当选择完N个时、则进入下一次迭代；
最后，得出最优路径的新种群：经过预定的迭代次数后，选取最后一代中路线总长度最短的个体作为最优路径的采摘顺序。
2.根据权利要求1所述的一种龙门履带式茶叶采摘机器人进行茶叶采摘的方法，其特征在于：所述履带式底盘包括底盘支架、履带、箱体、主动轮组、从动轮组与支重轮组，底盘支架固定设置在龙门架底部且底盘支架下侧分别设置履带与箱体，箱体设置在履带内部、作为连接全部零件的桥梁；箱体一端且位于履带内侧设置主动轮组，箱体另一端且位于履带内侧设置从动轮组，箱体下侧且位于履带内侧均匀设置支重轮组。
3.根据权利要求1或2所述的一种龙门履带式茶叶采摘机器人进行茶叶采摘的方法，其特征在于：所述采摘机械臂为三自由度机械臂，包括纵向直线导轨机构、横向直线导轨机构与垂直直线导轨机构，横向直线导轨机构固定设置在龙门架上，纵向直线导轨机构设置在横向直线导轨机构上，垂直直线导轨机构设置在纵向直线导轨机构上且垂直直线导轨机构端部设置末端执行器。
4.根据权利要求3所述的一种龙门履带式茶叶采摘机器人进行茶叶采摘的方法，其特征在于：所述末端执行器包括茶叶收集抽屉、弧形防漏槽与平面五杆机构，茶叶收集抽屉固定设置在采摘机械臂端部且茶叶收集抽屉顶端设置弧形防漏槽，茶叶收集抽屉一侧侧面固定设置平面五杆机构且弧形防漏槽对应侧面开设收集口；平面五杆机构包括安装座、转动支架、舵机、阶梯轴、刀架盒、切断刀座、封闭板及阻挡杆，安装座固定设置在茶叶收集抽屉的一侧侧面且安装座远离茶叶收集抽屉的一侧侧面设置两块平行的转动支架，舵机通过“L”形支架固定设置在安装座对应侧侧面且舵机输出轴固定连接阶梯轴，阶梯轴远离舵机的一端依次贯穿两块转动支架且转动连接，阶梯轴位于两块转动支架相互远离的一侧侧面的外壁套接刀架盒且刀架盒远离阶梯轴的一端底部固定设置切断刀座，刀架盒中部转动设置封闭板且封闭板远离切断刀座的一侧侧面上端设置曲柄连杆机构，曲柄连杆机构远离封闭板的一端固定套接在阶梯轴的外壁，刀架盒位于封闭板远离切断刀座的一侧侧面设置用于封闭板转动限位的阻挡杆。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310469545.6A CN116508493B (zh) | 2023-04-27 | 2023-04-27 | 一种龙门履带式茶叶采摘机器人及其采摘方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310469545.6A CN116508493B (zh) | 2023-04-27 | 2023-04-27 | 一种龙门履带式茶叶采摘机器人及其采摘方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116508493A CN116508493A (zh) | 2023-08-01 |
| CN116508493B true CN116508493B (zh) | 2024-04-05 |
Family
ID=87404170
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310469545.6A Active CN116508493B (zh) | 2023-04-27 | 2023-04-27 | 一种龙门履带式茶叶采摘机器人及其采摘方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116508493B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117765085B (zh) * | 2024-02-22 | 2024-06-07 | 华南农业大学 | 一种茶芽叶采摘远近交替定位方法 |
| CN118120473B (zh) * | 2024-05-06 | 2024-07-30 | 安徽农业大学 | 一种用于茶叶的采摘装置及其采摘方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109220227A (zh) * | 2018-11-01 | 2019-01-18 | 江苏集萃智能制造技术研究所有限公司 | 一种名优茶采摘机器人 |
| CN210100020U (zh) * | 2019-06-12 | 2020-02-21 | 南京林业大学 | 履带式采茶机器人 |
| CN111602517A (zh) * | 2020-05-28 | 2020-09-01 | 华南农业大学 | 一种串型水果分布式视觉主动感知方法及其应用 |
| CN216392163U (zh) * | 2021-12-10 | 2022-04-29 | 山东大学 | 一种茶叶采摘装置 |
| CN114731840A (zh) * | 2022-04-07 | 2022-07-12 | 仲恺农业工程学院 | 基于机器视觉的双机械臂茶叶采摘机器人 |
| CN115529938A (zh) * | 2022-10-18 | 2022-12-30 | 浙江工业大学台州研究院 | 一种西瓜智能采摘机器人 |
| CN115553132A (zh) * | 2022-10-20 | 2023-01-03 | 佛山市中科农业机器人与智慧农业创新研究院 | 一种基于视觉算法的荔枝识别方法和仿生荔枝采摘机器人 |
| JP2023043885A (ja) * | 2021-09-16 | 2023-03-29 | 中国農業科学院都市農業研究所 | 摘採ロボットの作業に適する茶の木の壁状栽培方法及び装置 |
-
2023
- 2023-04-27 CN CN202310469545.6A patent/CN116508493B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109220227A (zh) * | 2018-11-01 | 2019-01-18 | 江苏集萃智能制造技术研究所有限公司 | 一种名优茶采摘机器人 |
| CN210100020U (zh) * | 2019-06-12 | 2020-02-21 | 南京林业大学 | 履带式采茶机器人 |
| CN111602517A (zh) * | 2020-05-28 | 2020-09-01 | 华南农业大学 | 一种串型水果分布式视觉主动感知方法及其应用 |
| JP2023043885A (ja) * | 2021-09-16 | 2023-03-29 | 中国農業科学院都市農業研究所 | 摘採ロボットの作業に適する茶の木の壁状栽培方法及び装置 |
| CN216392163U (zh) * | 2021-12-10 | 2022-04-29 | 山东大学 | 一种茶叶采摘装置 |
| CN114731840A (zh) * | 2022-04-07 | 2022-07-12 | 仲恺农业工程学院 | 基于机器视觉的双机械臂茶叶采摘机器人 |
| CN115529938A (zh) * | 2022-10-18 | 2022-12-30 | 浙江工业大学台州研究院 | 一种西瓜智能采摘机器人 |
| CN115553132A (zh) * | 2022-10-20 | 2023-01-03 | 佛山市中科农业机器人与智慧农业创新研究院 | 一种基于视觉算法的荔枝识别方法和仿生荔枝采摘机器人 |
Non-Patent Citations (1)
| Title |
|---|
| 朱平、刘钊、宋周洲、许灿、张涵寓、徐蔚云.先进设计理论与方法.机械工业出版社,2023,第16-21页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116508493A (zh) | 2023-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116508493B (zh) | 一种龙门履带式茶叶采摘机器人及其采摘方法 | |
| Sarig | Robotics of fruit harvesting: A state-of-the-art review | |
| JP6737535B2 (ja) | 植物有機体を自動処理するためのロボット車両及びロボットを使用する方法 | |
| Reed et al. | AE—Automation and emerging technologies: Automatic mushroom harvester development | |
| CN109729835B (zh) | 一种基于双目视觉的油茶果采摘系统及控制方法 | |
| CN109460029A (zh) | 畜禽养殖场所巡检移动平台及其控制方法 | |
| CN111758397B (zh) | 一种基于视觉识别的花椒智能采摘装置 | |
| CN109392462A (zh) | 采摘黄花菜的机器人及方法 | |
| CN212520049U (zh) | 一种基于Delta并联机构的导轨式名优茶采摘机 | |
| CN109220227A (zh) | 一种名优茶采摘机器人 | |
| CN108633482A (zh) | 一种水果采摘飞行器 | |
| CN113812262B (zh) | 一种基于机器视觉的油茶果采摘机器人 | |
| CN108811766A (zh) | 一种人机交互式温室果蔬采收机器人系统及其采收方法 | |
| CN114830915B (zh) | 基于激光雷达导航的荔枝视觉采摘机器人及其实现方法 | |
| CN116686545B (zh) | 基于机器视觉控制的荔枝采摘机器人除遮方法 | |
| CN111684924A (zh) | 一种基于树莓派的草莓采摘机器人 | |
| CN114793633B (zh) | 一种适用于多层高架种植农艺的多工况温室草莓精准采摘机器人及采摘方法 | |
| CN209787899U (zh) | 一种园林式水果采摘机器人 | |
| CN108718704B (zh) | 一种人机交互式野外果蔬采收机器人系统及其采收方法 | |
| CN111328554B (zh) | 一种草莓自动采摘机器人 | |
| CN214125980U (zh) | 一种竞赛用穴盘苗移栽机器人 | |
| CN111567331A (zh) | 一种基于深度卷积神经网络的草地垃圾自动清理机及方法 | |
| CN211020054U (zh) | 果蔬采摘装置 | |
| CN117413685A (zh) | 基于双目视觉识别的咖啡鲜果采摘装置及采摘方法 | |
| CN114600641B (zh) | 基于图像识别技术的草莓采摘机及其采摘方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |