CN114872007B - 一种基于双目视觉的菠萝采摘机器人 - Google Patents

一种基于双目视觉的菠萝采摘机器人 Download PDF

Info

Publication number
CN114872007B
CN114872007B CN202210384020.8A CN202210384020A CN114872007B CN 114872007 B CN114872007 B CN 114872007B CN 202210384020 A CN202210384020 A CN 202210384020A CN 114872007 B CN114872007 B CN 114872007B
Authority
CN
China
Prior art keywords
pineapple
inclined baffle
motor
dimensional
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210384020.8A
Other languages
English (en)
Other versions
CN114872007A (zh
Inventor
林桂潮
吴志铭
严茂森
张有柳
姚佳炎
吴天骏
梁仁杰
严富威
吴遥禺
邓广坤
林帆
黄彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongkai University of Agriculture and Engineering
Original Assignee
Zhongkai University of Agriculture and Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongkai University of Agriculture and Engineering filed Critical Zhongkai University of Agriculture and Engineering
Priority to CN202210384020.8A priority Critical patent/CN114872007B/zh
Publication of CN114872007A publication Critical patent/CN114872007A/zh
Application granted granted Critical
Publication of CN114872007B publication Critical patent/CN114872007B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D45/00—Harvesting of standing crops
    • A01D45/002—Harvesting of standing crops of pineapples
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/22—Baskets or bags attachable to the picker
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P60/00—Technologies relating to agriculture, livestock or agroalimentary industries
    • Y02P60/20—Reduction of greenhouse gas [GHG] emissions in agriculture, e.g. CO2
    • Y02P60/21—Dinitrogen oxide [N2O], e.g. using aquaponics, hydroponics or efficiency measures

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种基于双目视觉的菠萝采摘机器人，包括移动车本体（100），移动车本体（100）下端设置行走轮（10）、两侧分别设置菠萝收集槽（20），移动车本体（100）前端设置视觉检测装置（30）、中部设置多组两自由度移动机构（40）；两自由度移动机构（40）上设置末端执行器（50）；末端执行器（50）包括连接角件（51）、支撑杆（52）、托板（53）、倾斜挡板（54）、切割刀片（55）、旋转斜挡板（56）及固定斜挡板（57）。该采摘机器人能够自动定位识别菠萝，从而完成自动化、机械化采摘菠萝，操作方便、采摘效率高、采摘成本低，有效节省劳动生产力，实现菠萝的智能化采摘。

Description

一种基于双目视觉的菠萝采摘机器人
技术领域
本发明涉及果实采摘设备技术领域，具体涉及一种基于双目视觉的菠萝采摘机器人。
背景技术
由于市场偏好，当前菠萝的销售大多以鲜果为主；因此，菠萝成熟后需在短时间内采摘完成、并且售出，以保证其新鲜程度。然而，由于菠萝独特的体积与外形，使其采摘难度较大；并且，菠萝生长位置杂乱无章，在同一笼地中、呈现不规则的分布，采摘过程中无法有效识别菠萝果实的位置、需要人工肉眼判断。上述问题造成目前依然无法实现机械化、系统化、自动化的采摘菠萝；仍主要依靠人工进行菠萝的采摘，导致采摘菠萝劳动强度大、采摘效率低、采摘成本高，同时人工肉眼在长时间工作后易出现酸痛问题、导致判断精度下降，从而极大的浪费人力物力、提高菠萝的生产成本，甚至影响菠萝错过最佳销售时节、导致菠萝滞销。
发明内容
针对以上现有技术存在的问题，本发明的目的在于提供一种基于双目视觉的菠萝采摘机器人，该采摘机器人能够自动定位识别菠萝，从而完成自动化、机械化采摘菠萝，操作方便、采摘效率高、采摘成本低，有效节省劳动生产力，实现菠萝的智能化采摘。
本发明的目的通过以下技术方案实现：
一种基于双目视觉的菠萝采摘机器人，其特征在于：包括移动车本体，所述移动车本体下端设置行走轮、用于移动；所述移动车本体两侧分别设置菠萝收集槽，用于收集采摘后的菠萝；所述移动车本体前端设置视觉检测装置，用于识别、判断菠萝的位置；所述移动车本体中部设置多组两自由度移动机构，用于移动末端执行器；所述两自由度移动机构上设置末端执行器，用于实现菠萝的采摘，且所述两自由度移动机构与视觉检测装置通过远程传输模块交互；
所述末端执行器包括连接角件、支撑杆、托板、倾斜挡板、切割刀片、旋转斜挡板以及固定斜挡板；所述连接角件固定设置在两自由度移动机构上且连接角件下端与支撑杆固定连接；所述支撑杆远离连接角件一端的两侧分别通过固定角件与一托板固定连接且两块所述托板组成“Y”形口结构、即两块托板之间的距离由靠近支撑杆端向远离支撑杆端逐渐增大；两块所述托板的上端面且位于支撑杆靠近“Y”形口结构的一侧依次固定设置倾斜挡板与切割刀片且所述倾斜挡板与支撑杆固定连接、所述切割刀片位于倾斜挡板远离支撑杆的一侧，倾斜挡板由靠近支撑杆向远离支撑杆的一侧倾斜；靠近所述菠萝收集槽的托板底端固定设置一翻转舵机，所述翻转舵机输出端固定连接旋转斜挡板且所述旋转斜挡板位于对应托板远离“Y”形口结构的一侧侧面；远离所述菠萝收集槽的托板固定设置一固定斜挡板且所述固定斜挡板位于对应托板远离“Y”形口结构的一侧侧面；所述旋转斜挡板与固定斜挡板之间的距离由靠近支撑杆到远离逐渐增大。
作进一步优化，所述移动车本体后端固定设置推动把手，用于人力辅助推动移动车本体运动。
作进一步优化，所述两自由度移动机构包括水平移动模块与竖直移动模块；
所述水平移动模块包括水平滑轨、第一电机、同步带轮、传动带、连接板以及压板；所述水平滑轨设置在所述移动车本体上且水平滑轨上侧两端分别通过第一电机座固定设置第一电机、通过第一轴承座固定设置同步带轮；所述第一电机输出轴与同步带轮通过传动带连接；所述水平滑轨上侧且位于第一电机与同步带轮之间设置连接板，所述连接板与水平滑轨滑动连接；所述连接板上侧通过设置压板与传动带连接；
所述竖直移动模块包括丝杠座、竖直滑轨、第二轴承座、第二电机、丝杠以及滑块；所述丝杠座上端面与连接板下端面固定连接且丝杠座底面一侧固定设置竖直滑轨、水平滑轨中部对应丝杠座与竖直滑轨设置一通槽；所述竖直滑轨远离丝杠座的一端通过第二电机座固定设置第二电机；所述第二电机座上侧设置第二轴承座且第二轴承座与竖直滑轨固定连接，所述第二电机输出轴贯穿第二电机座且固定连接一丝杠，所述丝杠远离第二电机的一端贯穿第二轴承座且与丝杠座转动连接、丝杠与第二轴承座转动连接；所述滑块套接在所述丝杠外壁且滑块与丝杠螺纹连接、滑块与竖直滑轨滑动连接。
作进一步优化，所述切割刀片下端面与远离菠萝收集槽的托板上端面之间设置垫块，从而在切割刀片上表面形成靠近菠萝收集槽一侧低于远离菠萝收集槽一侧的斜面结构、便于菠萝的滚动。
作进一步优化，所述旋转斜挡板与固定斜挡板相对面对应设置横截面为三角形的橡胶条，且所述橡胶条的斜面部分位于远离倾斜挡板的一侧。
作进一步优化，所述视觉检测装置包括双目立体相机与控制系统，其获得菠萝果实位置的具体步骤为：
首先通过双目立体相机实时采集菠萝种植田内的图像；然后，控制系统通过深度神经网络YOLOv5从采集图像中检测菠萝果实，并利用双目立体视觉方法获得菠萝果实的三维点云；随后，控制系统通过基于随机抽一致性的三维球体拟合算法将菠萝果实的三维点云拟合为一个球体、以球体中心作为相机坐标系下菠萝果实的三维位置；最后，控制系统通过手眼标定算法将相机坐标系下菠萝果实的三维位置转换为机械坐标(即采摘机器人基坐标系下菠萝果实的三维位置)，即菠萝果实在水平、竖直、前后方向上相对于末端执行器的数据，并通过远程传输模块传递给行走轮的控制电机、第一电机以及第二电机，控制末端执行器的位置运行、实现菠萝果实的采摘。
作进一步优化，所述利用双目立体视觉方法获得菠萝果实的三维点云具体步骤为：
首先，使用立体标定算法求解双目立体相机左、右侧摄像机的内外参数，进而建立严格对齐的立体相机(此步骤可以预先进行)；然后，采用基于归一化互相关系统的立体匹配算法，搜索左图像在右图像上的匹配点，获得两个对应匹配点(即右图像与左图像的对应点)在水平方向上的差值、即视差值，拟合所有视差值从而获得稠密视差图I(x,y)，稠密视差图I(x,y)上记录了左图像各像素点的视差值；最后，将通过稠密视差图获得菠萝果实的三维点云，具体为：
Figure BDA0003593995660000041
式中，b表示左、右相机的基线距离，根据实际采用的双目立体相机获得； (xi,yi)表示左图像上任意一点像素点的坐标(其中，i＝1,2，……，n-1，n)； d表示像素点(xi,yi)的视差值(通过稠密视差图获得)；f表示双目立体相机的物理焦距，根据实际采用的双目立体相机获得；(xc,yc,zc)表示像素点 (xi,yi)在双目立体相机的左相机坐标系上的三维坐标；
拟合所有左图像上像素点(xi,yi)的三维坐标，即得三维点云。
作进一步优化，所述通过基于随机抽一致性的三维球体拟合算法将菠萝果实的三维点云拟合为一个球体、以球体中心作为相机坐标系下菠萝果实的三维位置具体步骤为：
S001、在获得菠萝果实的三维点云中随机抽取四个点，并将四个点代入球面方程(x-a)2+(y-b)2+(z-c)2＝r2中，计算获得球心坐标(a,b,c)以及球体半径r；
S002、计算三维点云中每个点到球心坐标(a,b,c)的距离、记为hi(其中， i＝1,2，……，n-1，n)，同时选取阈值hd；
若|hi-r|≤hd；则该hi对应的三维点云的点为模型内点；
若|hi-r|＞hd；则该hi对应的三维点云的点为模型外点；
记录模型内点的个数、记为N；
S003、预设模型迭代次数k，上述步骤S001～S002为一次迭代，重复以上步骤k次，选取模型内点N数量最多的球体对应的模型参数为最佳拟合参数；
S004、输出最佳拟合参数的球心坐标(a0,b0,c0)以及半径r0作为菠萝果实的三维拟合结果。
作进一步优化，所述手眼标定算法将相机坐标系下菠萝果实的三维位置转换为机械坐标为预先标定后输入控制系统中，具体步骤为：
首先，在双目立体相机的左相机下方设置一块棋盘格标定板，并使用 Opencv的findChessboardCorners函数提取棋盘格标定板角点；然后，采用 solvePnP函数获得左相机坐标系与棋盘格标定板坐标系之间的旋转矩阵R1和平移矩阵T1；随后手动移动采摘机器人，使得末端执行器中心点移动到棋盘格标定板坐标系的原点、x轴方向上任一项以及y轴方向上的任一点，并分别记录这三点在采摘机器人基坐标系上的读数，记为P1、P2、P3；再通过 P1、P2、P3计算采摘机器人基坐标系与棋盘格标定板坐标系之间的旋转矩阵 R2和平移矩阵T2，具体为：
Figure BDA0003593995660000061
T2＝P1；
最后，将相机坐标系下菠萝果实的三维位置P转换为采摘机器人基坐标系下菠萝果实的三维位置Q，具体为：
Figure BDA0003593995660000062
本发明具有如下技术效果：
本申请通过连接角件、支撑杆、托板、倾斜挡板、切割刀片、旋转斜挡板以及固定斜挡板的配合，实现移动式、机械化采摘菠萝果实，从而减轻人力采摘的工作强度；通过移动车本体与行走轮结构的配合，使得运动平稳、有效克服田地的地形障碍；通过双目立体相机与控制系统的配合，能够有效识别菠萝果实的位置，避免菠萝田地内其他因素的干扰，同时避免肉眼长久辨别后由于疲劳而导致的精度降低、从而在采摘过程中对菠萝果实造成损伤的问题，达到定位准确、采摘精度高的效果；通过移动车本体、末端执行器与菠萝收集槽的配合，能够有效实现菠萝采摘后的收集，实现最简化利用重力收集，有效提高采摘效率。
本申请利用立体标定算法、随机抽一致性的三维球体拟合算法、手眼标定算法，通过双目立体相机识别菠萝图像后，有效将其转换为末端执行器的三维坐标，从而能够与末端执行器无缝配合，实现对菠萝果实的精准、高效采摘；避免对菠萝果实的损伤，以及出现误采摘、错采摘的问题。
本申请采摘机器人采摘一体化机构，工作效率高、精度高，实用性强，能够有效的降低人工采摘的劳动强度。
附图说明
图1为本发明实施例中采摘机器人的整体结构示意图。
图2为本发明实施例中采摘机器人的两自由度移动机构的结构示意图。
图3为本发明实施例中采摘机器人的两自由度移动机构的竖直移动模块的结构示意图。
图4为本发明实施例中采摘机器人的末端执行器的整体结构示意图。
图5为本发明实施例中采摘机器人的末端执行器的正向视图。
图6为本发明实施例中采摘机器人的末端执行器的仰视图。
其中，100、移动车本体；10、行走轮；20、菠萝收集槽；30、视觉检测装置；40、两自由度移动机构；41、水平移动模块；411、水平滑轨；412、第一电机；4120、第一电机座；413、同步带轮；4130、第一轴承座；414、传动带；415、连接板；416、压板；42、竖直移动模块；421、丝杠座；422、竖直滑轨；423、第二轴承座；424、第二电机；4240、第二电机座；425、丝杠；426、滑块；50、末端执行器；51、连接角件；52、支撑杆；520、固定角件；53、托板；530、翻转舵机；54、倾斜挡板；55、切割刀片；550、垫块；56、旋转斜挡板；560、橡胶条；57、固定斜挡板；60、推动把手。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例：
如图1～6所示，一种基于双目视觉的菠萝采摘机器人，其特征在于：包括移动车本体100，移动车本体100下端设置行走轮10、用于移动；移动车本体100两侧分别设置菠萝收集槽20，用于收集采摘后的菠萝；移动车本体 100前端设置视觉检测装置30，用于识别、判断菠萝的位置；移动车本体100 中部设置多组两自由度移动机构40，用于移动末端执行器50；两自由度移动机构100上设置末端执行器50，用于实现菠萝的采摘，且两自由度移动机构 40与视觉检测装置30通过远程传输模块交互；移动车本体100后端固定设置推动把手60，用于人力辅助推动移动车本体100运动。
两自由度移动机构40包括水平移动模块41与竖直移动模块42；水平移动模块42包括水平滑轨411、第一电机412、同步带轮413、传动带414、连接板415以及压板416；水平滑轨411设置在移动车本体100上且水平滑轨 411上侧两端分别通过第一电机座4120固定设置第一电机412、通过第一轴承座4130固定设置同步带轮413(如图1、图2所示，移动车本体100上设置多组水平滑轨411)；第一电机412输出轴与同步带轮413通过传动带414 连接；水平滑轨411上侧且位于第一电机412与同步带轮413之间设置连接板415，连接板415与水平滑轨411滑动连接；连接板415上侧通过设置压板 416与传动带414连接(如图2所示，压板416将一段传动带414压在连接板 415上，从而实现传动带414传动时、连接板415在第一电机412与同步带轮 413之间的水平滑轨411上滑动)；竖直移动模块42包括丝杠座421、竖直滑轨422、第二轴承座423、第二电机424、丝杠425以及滑块426；丝杠座 421上端面与连接板415下端面固定连接且丝杠座421底面一侧固定设置竖直滑轨422、水平滑轨411中部对应丝杠座421与竖直滑轨422设置一通槽(如图2所示，从而确保丝杠座421与竖直滑轨422跟随连接板415一同运动)；竖直滑轨422远离丝杠座421的一端通过第二电机座4240固定设置第二电机 424；第二电机座424上侧设置第二轴承座423且第二轴承座423与竖直滑轨 422固定连接，第二电机424输出轴贯穿第二电机座4240且固定连接一丝杠 425，丝杠425远离第二电机424的一端贯穿第二轴承座423且与丝杠座421 转动连接、丝杠425与第二轴承座423转动连接；滑块426套接在丝杠425 外壁且滑块426与丝杠425螺纹连接、滑块426与竖直滑轨422滑动连接(保证滑块426能在竖直滑轨422上进行上下滑动)。
末端执行器50包括连接角件51、支撑杆52、托板53、倾斜挡板54、切割刀片55、旋转斜挡板56以及固定斜挡板57；连接角件51固定设置在两自由度移动机构40上(具体为滑块426远离竖直滑轨422一侧侧面与连接角件 51固定连接)且连接角件51下端与支撑杆52固定连接；支撑杆52远离连接角件51一端的两侧分别通过固定角件520与一托板53固定连接且两块托板 53组成“Y”形口结构(如图4、图6所示)、即两块托板53之间的距离由靠近支撑杆52端向远离支撑杆52端逐渐增大；两块托板53的上端面且位于支撑杆52靠近“Y”形口结构的一侧依次固定设置倾斜挡板54与切割刀片 55且倾斜挡板54与支撑杆52固定连接、切割刀片55位于倾斜挡板54远离支撑杆52的一侧(如图4、图6所示)，倾斜挡板54由靠近支撑杆52向远离支撑杆52的一侧倾斜(即倾斜挡板54靠近支撑杆52的一侧高于远离支撑杆52的一侧)；靠近菠萝收集槽20的托板53底端固定设置一翻转舵机530，翻转舵机530输出端固定连接旋转斜挡板56且旋转斜挡板56位于对应托板 53远离“Y”形口结构的一侧侧面；远离菠萝收集槽20的托板53固定设置一固定斜挡板57且固定斜挡板57位于对应托板53远离“Y”形口结构的一侧侧面(如图4、图5、图6所示)；旋转斜挡板56与固定斜挡板57之间的距离由靠近支撑杆52到远离逐渐增大。切割刀片55下端面与远离菠萝收集槽20的托板53上端面之间设置垫块550(如图4、图5所示)，从而在切割刀片55上表面形成靠近菠萝收集槽20一侧低于远离菠萝收集槽20一侧的斜面结构、便于菠萝的滚动。旋转斜挡板56与固定斜挡板57相对面(即位于靠近“Y”形口结构的侧面)对应设置横截面为三角形的橡胶条560(如图6 所示)，且橡胶条560的斜面部分位于远离倾斜挡板54的一侧(如图6所示)。
视觉检测装置30包括双目立体相机与控制系统，其获得菠萝果实位置的具体步骤为：
A1：首先通过双目立体相机实时采集菠萝种植田内的图像；
A2：然后，控制系统通过深度神经网络YOLOv5从采集图像中检测菠萝果实，并利用双目立体视觉方法获得菠萝果实的三维点云，具体步骤为：
首先，使用立体标定算法求解双目立体相机左、右侧摄像机的内外参数，进而建立严格对齐的立体相机(此步骤可以预先进行)；然后，采用基于归一化互相关系统的立体匹配算法，搜索左图像在右图像上的匹配点，获得两个对应匹配点(即右图像与左图像的对应点)在水平方向上的差值、即视差值，拟合所有视差值从而获得稠密视差图I(x,y)，稠密视差图I(x,y)上记录了左图像各像素点的视差值；最后，将通过稠密视差图获得菠萝果实的三维点云，具体为：
Figure BDA0003593995660000101
式中，b表示左、右相机的基线距离，根据实际采用的双目立体相机获得； (xi,yi)表示左图像上任意一点像素点的坐标(其中，i＝1,2，……，n-1，n)； d表示像素点(xi,yi)的视差值(通过稠密视差图获得)；f表示双目立体相机的物理焦距，根据实际采用的双目立体相机获得；(xc,yc,zc)表示像素点 (xi,yi)在双目立体相机的左相机坐标系上的三维坐标；
拟合所有左图像上像素点(xi,yi)的三维坐标，即得三维点云。
A3：随后，控制系统通过基于随机抽一致性的三维球体拟合算法将菠萝果实的三维点云拟合为一个球体、以球体中心作为相机坐标系下菠萝果实的三维位置，具体步骤为：
S001、在获得菠萝果实的三维点云中随机抽取四个点，并将四个点代入球面方程(x-a)2+(y-b)2+(z-c)2＝r2中，计算获得球心坐标(a,b,c)以及球体半径r；
S002、计算三维点云中每个点到球心坐标(a,b,c)的距离、记为hi(其中， i＝1,2，……，n-1，n)，同时选取阈值hd(阈值hd通过经验法获取；其若太大、会导致模型精度差，若大小、会导致迭代周期长，一般为15mm)；
若|hi-r|≤hd；则该hi对应的三维点云的点为模型内点；
若|hi-r|＞hd；则该hi对应的三维点云的点为模型外点；
记录模型内点的个数、记为N；
S003、预设模型迭代次数k，上述步骤S001～S002为一次迭代，重复以上步骤k次，选取模型内点N数量最多的球体对应的模型参数为最佳拟合参数；
S004、输出最佳拟合参数的球心坐标(a0,b0,c0)以及半径r0作为菠萝果实的三维拟合结果。
A4：最后，控制系统通过手眼标定算法将相机坐标系下菠萝果实的三维位置转换为机械坐标(即采摘机器人基坐标系下菠萝果实的三维位置)，即菠萝果实在水平、竖直、前后方向上相对于末端执行器50的数据；手眼标定算法将相机坐标系下菠萝果实的三维位置转换为机械坐标为预先标定后输入控制系统中，具体步骤为：
首先，在双目立体相机的左相机下方设置一块棋盘格标定板，并使用 Opencv的findChessboardCorners函数提取棋盘格标定板角点；然后，采用 solvePnP函数获得左相机坐标系与棋盘格标定板坐标系之间的旋转矩阵R1和平移矩阵T1；随后手动移动采摘机器人，使得末端执行器50中心点移动到棋盘格标定板坐标系的原点、x轴方向上任一项以及y轴方向上的任一点，并分别记录这三点在采摘机器人基坐标系上的读数，记为P1、P2、P3；再通过 P1、P2、P3计算采摘机器人基坐标系与棋盘格标定板坐标系之间的旋转矩阵R2和平移矩阵T2，具体为：
Figure BDA0003593995660000121
T2＝P1；
最后，将相机坐标系下菠萝果实的三维位置P转换为采摘机器人基坐标系下菠萝果实的三维位置Q，具体为：
Figure BDA0003593995660000122
A5：控制系统通过远程传输模块传递给行走轮10的控制电机、第一电机 412以及第二电机424，控制末端执行器50的位置运行、实现菠萝果实的采摘，具体步骤为：
首先，整个菠萝采摘机器人由行走轮10驱动、向前移动到某一采摘位置，同时控制系统对末端执行器50进行位置初始化，即末端执行器50三维空间坐标的初始化(此点在上述步骤A1～A4之前进行)；然后，进行步骤A1～ A4，获得菠萝果实在水平、竖直、前后方向上相对于末端执行器50(初始化位置)的数据；之后，控制系统根据菠萝果实在水平方向上相对于末端执行器50的距离数据、获得末端执行器50在水平方向上需要移动的距离，从而控制水平移动模块41移动对应的末端执行器50(具体为：启动第一电机412、第一电机412转动带动传动带414与同步带轮413转动，从而带动连接板415 在水平滑轨411上滑动)；控制系统根据菠萝果实在竖直方向上相对于末端执行器50的距离数据、获得末端执行器50在竖直方向上需要移动的距离，从而控制竖直移动模块42移动对应的末端执行器50(具体为：启动第二电机424，第二电机424转动带动丝杠425转动，实现滑块426在竖直滑轨422上下滑动)；经过水平与竖直的调整，末端执行器50到达一定的采摘位置、即使得菠萝果实位于末端执行器50的两块托板53、倾斜挡板54、旋转斜挡板 56与固定斜挡板57所组成的托举空间；控制系统在控制行走轮10向菠萝果实的方向前进，菠萝果实进行到托举空间内，两个托板53所组成的“Y”形口结构对菠萝果实的茎秆进行限位、扶正，直至菠萝茎秆逐步与位于“Y”形口结构末端的切割刀片55接触；此时菠萝果实受橡胶条560限位，不跟随末端执行器50移动，从而利于切割刀片55将菠萝果实的茎秆切断，切割完成后，菠萝果实落在托举空间内，实现菠萝的采摘；采摘完成后，水平移动模块41与竖直移动模块将末端执行器50移动到菠萝收集槽20斜上方(此处由于最终的位置是确定的，因此控制可通过限位传感器实现、也可通过距离控制实现，为本领域的常规技术，本申请具体实施方式不做过多论述)，启动翻转舵机530，从而使旋转斜挡板56旋转、不再对菠萝果实形成支撑，菠萝果实由于切割刀片55表面的倾斜而落入菠萝收集槽20，实现菠萝果实的收集。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (4)

1.一种基于双目视觉的菠萝采摘机器人，其特征在于：包括移动车本体(100)，所述移动车本体(100)下端设置行走轮(10)；所述移动车本体(100)两侧分别设置菠萝收集槽(20)；所述移动车本体(100)前端设置视觉检测装置(30)；所述移动车本体(100)中部设置多组两自由度移动机构(40)；所述两自由度移动机构(40)上设置末端执行器(50)，且所述两自由度移动机构(40)与视觉检测装置(30)通过远程传输模块交互；
所述末端执行器(50)包括连接角件(51)、支撑杆(52)、托板(53)、倾斜挡板(54)、切割刀片(55)、旋转斜挡板(56)以及固定斜挡板(57)；所述连接角件(51)固定设置在两自由度移动机构(40)上且连接角件(51)下端与支撑杆(52)固定连接；所述支撑杆(52)远离连接角件(51)一端的两侧分别通过固定角件(520)与一托板(53)固定连接且两块所述托板(53)组成“Y”形口结构、即两块托板(53)之间的距离由靠近支撑杆(52)端向远离支撑杆(52)端逐渐增大；两块所述托板(53)的上端面且位于支撑杆(52)靠近“Y”形口结构的一侧依次固定设置倾斜挡板(54)与切割刀片(55)且所述倾斜挡板(54)与支撑杆(52)固定连接、所述切割刀片(55)位于倾斜挡板(54)远离支撑杆(52)的一侧，倾斜挡板(54)由靠近支撑杆(52)向远离支撑杆(52)的一侧倾斜；靠近所述菠萝收集槽(20)的托板底端固定设置一翻转舵机(530)，所述翻转舵机(530)输出端固定连接旋转斜挡板(56)且所述旋转斜挡板(56)位于对应托板(53)远离“Y”形口结构的一侧侧面；远离所述菠萝收集槽(20)的托板(53)固定设置一固定斜挡板(57)且所述固定斜挡板(57)位于对应托板(53)远离“Y”形口结构的一侧侧面；所述旋转斜挡板(56)与固定斜挡板(57)之间的距离由靠近支撑杆(52)到远离逐渐增大；
所述两自由度移动机构(40)包括水平移动模块(41)与竖直移动模块(42)；
所述水平移动模块(41)包括水平滑轨(411)、第一电机(412)、同步带轮(413)、传动带(414)、连接板(415)以及压板(416)；所述水平滑轨(411)设置在所述移动车本体(100)上且水平滑轨(411)上侧两端分别通过第一电机座(4120)固定设置第一电机(412)、通过第一轴承座(4130)固定设置同步带轮(413)；所述第一电机(412)输出轴与同步带轮(413)通过传动带(414)连接；所述水平滑轨(411)上侧且位于第一电机(412)与同步带轮(413)之间设置连接板(415)，所述连接板(415)与水平滑轨(411)滑动连接；所述连接板(415)上侧通过设置压板(416)与传动带(414)连接；
所述竖直移动模块(42)包括丝杠座(421)、竖直滑轨(422)、第二轴承座(423)、第二电机(424)、丝杠(425)以及滑块(426)；所述丝杠座(421)上端面与连接板(415)下端面固定连接且丝杠座(421)底面一侧固定设置竖直滑轨(422)、水平滑轨(411)中部对应丝杠座(421)与竖直滑轨(422)设置一通槽；所述竖直滑轨(422)远离丝杠座(421)的一端通过第二电机座(4240)固定设置第二电机(424)；所述第二电机座(4240)上侧设置第二轴承座(423)且第二轴承座(423)与竖直滑轨(422)固定连接，所述第二电机(424)输出轴贯穿第二电机座(4240)且固定连接一丝杠(425)，所述丝杠(425)远离第二电机(424)的一端贯穿第二轴承座(423)且与丝杠座(421)转动连接、丝杠(425)与第二轴承座(423)转动连接；所述滑块(426)套接在所述丝杠(425)外壁且滑块(426)与丝杠(425)螺纹连接、滑块(426)与竖直滑轨(422)滑动连接；
所述视觉检测装置(30)包括双目立体相机与控制系统，其获得菠萝果实位置的具体步骤为：
首先通过双目立体相机实时采集菠萝种植田内的图像；然后，控制系统通过深度神经网络YOLOv5从采集图像中检测菠萝果实，并利用双目立体视觉方法获得菠萝果实的三维点云；随后，控制系统通过基于随机抽一致性的三维球体拟合算法将菠萝果实的三维点云拟合为一个球体、以球体中心作为相机坐标系下菠萝果实的三维位置；最后，控制系统通过手眼标定算法将相机坐标系下菠萝果实的三维位置转换为机械坐标，即菠萝果实在水平、竖直、前后方向上相对于末端执行器(50)的数据，并通过远程传输模块传递给行走轮(10)的控制电机、第一电机(412)以及第二电机(424)，控制末端执行器(50)的位置运行、实现菠萝果实的采摘；
所述利用双目立体视觉方法获得菠萝果实的三维点云具体步骤为：
首先，使用立体标定算法求解双目立体相机左、右侧摄像机的内外参数，进而建立严格对齐的立体相机；然后，采用基于归一化互相关系统的立体匹配算法，搜索左图像在右图像上的匹配点，获得两个对应匹配点在水平方向上的差值、即视差值，拟合所有视差值从而获得稠密视差图I(x,y)，稠密视差图I(x,y)上记录了左图像各像素点的视差值；最后，将通过稠密视差图获得菠萝果实的三维点云，具体为：
Figure FDA0004129366790000031
式中，b表示左、右相机的基线距离，根据实际采用的双目立体相机获得；(xi,yi)表示左图像上任意一点像素点的坐标，其中，i＝1、2、……、n-1、n；d表示像素点(xi,yi)的视差值；f表示双目立体相机的物理焦距，根据实际采用的双目立体相机获得；(xc,yc,zc)表示像素点(xi,yi)在双目立体相机的左相机坐标系上的三维坐标；
拟合所有左图像上像素点(xi,yi)的三维坐标，即得三维点云。
2.根据权利要求1所述的一种基于双目视觉的菠萝采摘机器人，其特征在于：所述旋转斜挡板(46)与固定斜挡板(47)相对面对应设置横截面为三角形的橡胶条(460)，且所述橡胶条(460)的斜面部分位于远离倾斜挡板(54)的一侧。
3.根据权利要求1所述的一种基于双目视觉的菠萝采摘机器人，其特征在于：所述通过基于随机抽一致性的三维球体拟合算法将菠萝果实的三维点云拟合为一个球体、以球体中心作为相机坐标系下菠萝果实的三维位置具体步骤为：
S001、在获得菠萝果实的三维点云中随机抽取四个点，并将四个点代入球面方程(x-a)2+(y-b)2+(z-c)2＝r2中，计算获得球心坐标(a,b,c)以及球体半径r；
S002、计算三维点云中每个点到球心坐标(a,b,c)的距离、记为hi，其中，i＝1、2、……、n-1、n，同时选取阈值hd；
若hi-r≤hd；则该hi对应的三维点云的点为模型内点；
若hi-r＞hd；则该hi对应的三维点云的点为模型外点；
记录模型内点的个数、记为N；
S003、预设模型迭代次数k，上述步骤S001～S002为一次迭代，重复以上步骤k次，选取模型内点N数量最多的球体对应的模型参数为最佳拟合参数；
S004、输出最佳拟合参数的球心坐标(a0,b0,c0)以及半径r0作为菠萝果实的三维拟合结果。
4.根据权利要求3所述的一种基于双目视觉的菠萝采摘机器人，其特征在于：所述手眼标定算法将相机坐标系下菠萝果实的三维位置转换为机械坐标为预先标定后输入控制系统中，具体步骤为：
首先，在双目立体相机的左相机下方设置一块棋盘格标定板，并使用Opencv的findChessboardCorners函数提取棋盘格标定板角点；然后，采用solvePnP函数获得左相机坐标系与棋盘格标定板坐标系之间的旋转矩阵R1和平移矩阵T1；随后手动移动采摘机器人，使得末端执行器(50)中心点移动到棋盘格标定板坐标系的原点、x轴方向上任一项以及y轴方向上的任一点，并分别记录这三点在采摘机器人基坐标系上的读数，记为P1、P2、P3；再通过P1、P2、P3计算采摘机器人基坐标系与棋盘格标定板坐标系之间的旋转矩阵R2和平移矩阵T2，具体为：
Figure FDA0004129366790000051
T2＝P1；
最后，将相机坐标系下菠萝果实的三维位置P转换为采摘机器人基坐标系下菠萝果实的三维位置Q，具体为：
Figure FDA0004129366790000052
CN202210384020.8A 2022-04-13 2022-04-13 一种基于双目视觉的菠萝采摘机器人 Active CN114872007B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210384020.8A CN114872007B (zh) 2022-04-13 2022-04-13 一种基于双目视觉的菠萝采摘机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210384020.8A CN114872007B (zh) 2022-04-13 2022-04-13 一种基于双目视觉的菠萝采摘机器人

Publications (2)

Publication Number Publication Date
CN114872007A CN114872007A (zh) 2022-08-09
CN114872007B true CN114872007B (zh) 2023-04-18

Family

ID=82668802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210384020.8A Active CN114872007B (zh) 2022-04-13 2022-04-13 一种基于双目视觉的菠萝采摘机器人

Country Status (1)

Country Link
CN (1) CN114872007B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006034257A (ja) * 2004-07-30 2006-02-09 Si Seiko Co Ltd 作物収穫装置
ES2257170A1 (es) * 2004-08-26 2006-07-16 Ruritecno, S.L. Cosechadora de platanos.
CN107750626A (zh) * 2017-10-17 2018-03-06 汕头大学 一种菠萝采收智能小车
CN107980339A (zh) * 2017-12-25 2018-05-04 华侨大学 一种具有切口低感染的菠萝采摘器
CN107980341A (zh) * 2017-12-29 2018-05-04 河南科技大学 一种省力型人工菠萝收获机械
CN207543641U (zh) * 2017-10-23 2018-06-29 深圳职业技术学院 菠萝采摘器
CN108271510A (zh) * 2018-02-11 2018-07-13 广西科技大学 一种菠萝采摘装置
CN108307795A (zh) * 2018-03-08 2018-07-24 湖北工业大学 一种跨越式菠萝采摘车
CN108353622A (zh) * 2018-03-15 2018-08-03 广东工业大学 一种全自动菠萝采摘方法
CN108617240A (zh) * 2018-05-11 2018-10-09 重庆交通大学 可拓展式采集一体菠萝采摘装置
CN108834576A (zh) * 2018-06-07 2018-11-20 华南农业大学 一种基于双目视觉的柑橘采摘机器人及其实现方法
CN110972694A (zh) * 2019-12-17 2020-04-10 辽宁科技学院 一种双行式菠萝收割机
CN111684924A (zh) * 2020-06-23 2020-09-22 王孟超 一种基于树莓派的草莓采摘机器人
CN113366973A (zh) * 2021-07-13 2021-09-10 华南农业大学 一种保裔芽的菠萝自动采摘机器人及其应用

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006034257A (ja) * 2004-07-30 2006-02-09 Si Seiko Co Ltd 作物収穫装置
ES2257170A1 (es) * 2004-08-26 2006-07-16 Ruritecno, S.L. Cosechadora de platanos.
CN107750626A (zh) * 2017-10-17 2018-03-06 汕头大学 一种菠萝采收智能小车
CN207543641U (zh) * 2017-10-23 2018-06-29 深圳职业技术学院 菠萝采摘器
CN107980339A (zh) * 2017-12-25 2018-05-04 华侨大学 一种具有切口低感染的菠萝采摘器
CN107980341A (zh) * 2017-12-29 2018-05-04 河南科技大学 一种省力型人工菠萝收获机械
CN108271510A (zh) * 2018-02-11 2018-07-13 广西科技大学 一种菠萝采摘装置
CN108307795A (zh) * 2018-03-08 2018-07-24 湖北工业大学 一种跨越式菠萝采摘车
CN108353622A (zh) * 2018-03-15 2018-08-03 广东工业大学 一种全自动菠萝采摘方法
CN108617240A (zh) * 2018-05-11 2018-10-09 重庆交通大学 可拓展式采集一体菠萝采摘装置
CN108834576A (zh) * 2018-06-07 2018-11-20 华南农业大学 一种基于双目视觉的柑橘采摘机器人及其实现方法
CN110972694A (zh) * 2019-12-17 2020-04-10 辽宁科技学院 一种双行式菠萝收割机
CN111684924A (zh) * 2020-06-23 2020-09-22 王孟超 一种基于树莓派的草莓采摘机器人
CN113366973A (zh) * 2021-07-13 2021-09-10 华南农业大学 一种保裔芽的菠萝自动采摘机器人及其应用

Also Published As

Publication number Publication date
CN114872007A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN109197160B (zh) 一种番石榴采摘机器人及其实现方法
CN111428712B (zh) 基于人工智能识别的名优茶采摘机及采摘机用识别方法
CN107667670B (zh) 一种篱壁式鲜食葡萄的无损智能分级收获机及其控制方法
CN109729829B (zh) 一种基于双目识别的智能山楂采摘机器人
CN109392462A (zh) 采摘黄花菜的机器人及方法
CN111460903B (zh) 基于深度学习的田间西兰花长势监测系统及方法
CN116439018B (zh) 一种七自由度水果采摘机器人及其采摘方法
CN116686545B (zh) 基于机器视觉控制的荔枝采摘机器人除遮方法
CN109699300A (zh) 一种智能柑橘采摘机的控制系统及其控制方法
CN116508493B (zh) 一种龙门履带式茶叶采摘机器人及其采摘方法
CN114731840A (zh) 基于机器视觉的双机械臂茶叶采摘机器人
CN113812262B (zh) 一种基于机器视觉的油茶果采摘机器人
CN111011003A (zh) 一种草莓采摘系统
CN114872007B (zh) 一种基于双目视觉的菠萝采摘机器人
CN111587665A (zh) 一种四自由度的多目视觉旋飞式采摘机器人及其采摘方法
CN110181365B (zh) 一种基于视觉的鞋底打磨系统及打磨方法
CN115316129A (zh) 基于双目视觉识别的自适应仿生采摘装置及串果采摘方法
CN106886758A (zh) 基于三维姿态估计的昆虫识别装置及方法
CN111579271B (zh) 一种果实模拟采摘、转运智能小车组
CN109612389B (zh) 双目视觉蜂王浆产量及蜂群健康状况评估装置与方法
CN116945126A (zh) 一种适用精密机械加工的双目主动视觉监测装置
CN110136248B (zh) 一种基于双目立体视觉的变速器壳体三维重建装置及方法
CN111328554A (zh) 一种草莓自动采摘机器人
CN114600641A (zh) 基于图像识别技术的草莓采摘机及其采摘方法
CN107802058B (zh) 一种硫化鞋围条自动贴附方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant