CN107139182B - 一种柑橘采摘机器人系统及其控制方法 - Google Patents
一种柑橘采摘机器人系统及其控制方法 Download PDFInfo
- Publication number
- CN107139182B CN107139182B CN201710412684.XA CN201710412684A CN107139182B CN 107139182 B CN107139182 B CN 107139182B CN 201710412684 A CN201710412684 A CN 201710412684A CN 107139182 B CN107139182 B CN 107139182B
- Authority
- CN
- China
- Prior art keywords
- picking
- fruit
- mechanical arm
- robot
- central processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241000207199 Citrus Species 0.000 title claims abstract description 24
- 235000020971 citrus fruits Nutrition 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 16
- 235000013399 edible fruits Nutrition 0.000 claims abstract description 102
- 238000012545 processing Methods 0.000 claims abstract description 82
- 230000007246 mechanism Effects 0.000 claims abstract description 50
- 230000033001 locomotion Effects 0.000 claims description 22
- 239000002420 orchard Substances 0.000 claims description 15
- 238000005520 cutting process Methods 0.000 claims description 8
- 238000009795 derivation Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010191 image analysis Methods 0.000 claims description 3
- 238000010008 shearing Methods 0.000 claims description 3
- 235000012055 fruits and vegetables Nutrition 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012271 agricultural production Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 241001672694 Citrus reticulata Species 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 235000001674 Agaricus brunnescens Nutrition 0.000 description 1
- 240000008067 Cucumis sativus Species 0.000 description 1
- 235000010799 Cucumis sativus var sativus Nutrition 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 235000016623 Fragaria vesca Nutrition 0.000 description 1
- 240000009088 Fragaria x ananassa Species 0.000 description 1
- 235000011363 Fragaria x ananassa Nutrition 0.000 description 1
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
- A01D46/30—Robotic devices for individually picking crops
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
- G05D1/0022—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the communication link
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D3/00—Control of position or direction
- G05D3/12—Control of position or direction using feedback
Abstract
本发明提供了一种柑橘采摘机器人系统及其控制方法，采摘机器人系统包括采摘机器人和控制系统，采摘机器人包括履带式移动平台、壳体、机械臂安装平台、机械臂、双目镜头、单目镜头和采摘机构；控制系统包括中央处理器，以及分别与中央处理器控制连接的图像处理模块、移动平台控制模块、机械臂驱动控制模和采摘机构驱动控制模。由中央处理器预先规划采摘轨迹，通过逆运动学算法来精确控制采摘，采摘精度高，采摘效率高；采摘机器人根据预设路径执行采摘，采摘机器人的导航性能好，可以解决采摘耗时的问题；通过在每一个采摘点循环判断采摘任务是否完成，可以避免果实采摘遗漏的问题，无需人工二次采摘。
Description
技术领域
本发明属于农业采摘机器人技术领域，具体涉及一种柑橘采摘机器人系统及其控制方法。
背景技术
随着新型农业生产模式和自动化控制技术的快速发展，农业机器人将成为农业生产链中最重要的组成部分之一。其中，果实蔬菜是农业生产中不可或缺的，果蔬采集机器人在农业机器人中具有很大的发展潜力。果蔬的采摘是农业生产链中最耗时、费力的一个环节，具有采摘季节性强、劳动强度大、费用高等特点，通过降低采摘作业成本是农业增收的重要途径；目前，国内大多数果蔬采摘均采用人工完成，采摘费用占成本的50%-70%，研究和开发果蔬采摘机器人对于解放劳动力、提高生产效率、降低生产成本和保证果蔬的品质具有重要的意义。
在世界范围内，已经出现了多种果蔬采摘机器人，例如，西红柿采摘机器人、黄瓜采摘机器人、蘑菇采摘机器人、草莓采摘机器人和柑橘采摘机器人等。不同果蔬有不同的采摘特性，目前，柑橘采摘机器人存在以下不足：1、采摘机器人的导航性差；2、采摘不精确，耗时长；3、采摘不完全，需人工进行二次采摘。
发明内容
针对现有技术存在的上述不足，本发明的目的是提供一种柑橘采摘机器人系统及其控制方法，解决果园内柑橘采摘机器人导航性差、采摘耗时长和采摘不完全等问题，具有良好的导航性、不遗漏采摘等优点。
为解决上述技术问题，本发明采用了如下的技术方案：
一种柑橘采摘机器人系统，包括采摘机器人和控制系统；采摘机器人包括履带式移动平台和固定设置在履带式移动平台上方的壳体；壳体上方固定设置有机械臂安装平台，机械臂安装平台上安装有机械臂；壳体上还设置有用于识别定位果实的双目镜头和用于识别导航路径的单目镜头；机械臂的采摘端设置有采摘机构，采摘机构包括剪切机构和夹持机构；壳体内设置有果篮放置腔；控制系统包括用于处理双目镜头和单目镜头拍摄图像的图像处理模块、用于控制履带式移动平台的移动平台控制模块、用于控制机械臂各关节的机械臂驱动控制模块、用于控制机械臂采摘机构的采摘机构驱动控制模块和中央处理器，中央处理器分别与图像处理模块、移动平台控制模块、机械臂驱动控制模块和采摘机构驱动控制模块控制连接。
上述柑橘采摘机器人系统中，果篮放置腔中放置有果篮，当采摘机器人启动后，中央处理器将第一控制信号传输到移动平台控制模块，移动平台控制模块控制履带式移动平台进行移动，实现采摘机器人的移动；双目镜头会实时采集果实图像信息，并将采集的果实图像信息传输到图像处理模块，图像处理模块将处理后的果实图像信息传输到中央处理器进行分析，可以分析出果实的数量、果实的位置等信息；中央处理器将第二控制信号传输到机械臂驱动控制模块，机械臂驱动控制模块控制机械臂进行移动；中央处理器将第三控制信号传输到采摘机构，控制剪切机构剪切果实，控制夹持机构将果实夹持住并控制机械臂移动，将果实放入果篮中；完成果实的采摘；最后控制采摘机器人返回停靠基地；该采摘机器人的整体操作简单，可精确采摘果实，采摘效率高。
上述柑橘采摘机器人系统的控制方法，包括以下步骤：
S1：首先，制作果园的导航地图，根据果园内果树栽种分布在导航地图内预设导航路径，在导航路径上设置连续的若干采摘点。作为优选方案，该步骤中导航路径的预设步骤如下：
S11：根据果园内果树栽种位置和导航地图确定可规划路径；
S12：根据可规划路径的道路宽度、道路长度、道路坡度和道路转角确定导航路径；
S13：根据采摘机器人机械臂的运动范围确定采摘范围，并依据采摘范围在导航路径上设置若干连续的采摘点；
导航地图为果园的栽种分布图，包括果树栽种区域和各栽种区域间的路径；根据路径情况来规划采摘机器人采摘时的导航路径；导航路径上各采摘点的采摘范围一般为圆形区域范围，以机械臂和外壳间的连接处为中心点，在中心点半径D范围即为采摘范围；实际设计中，根据机械臂的长度和大小尺寸设置采摘范围，采摘半径D一般在2~5米。
S2：启动采摘机器人，中央处理器将控制信号传输到移动平台控制模块，移动平台控制模块控制履带式移动平台开始移动；采摘机器人进入导航路径，并进入采摘点；采摘机器人到达采摘点后，履带式移动平台即停止移动，在该采摘点执行采摘作业。
S3：采摘机器人到达该采摘点后，通过双目镜头实时拍摄采摘点附近的待采摘图像信息，由图像处理模块对待采摘图像进行处理，并根据处理后的待采摘图像分析果实的位置，判断并统计处于采摘范围内的果实。作为优选方案，该步骤中，果实位置的判断步骤如下：
S31：通过双目镜头实时拍摄采摘点附近的待采摘图像信息，并将待采摘图像信息传输到图像处理模块；
S32：图像处理模块对待采摘图像信息进行处理，图像处理包括对图像滤波、增强、去噪、边缘处理等；
S33：中央处理器对处理后的待采摘图像信息进行分析，通过采摘机器人的拍摄位置、图像中果实的大小、图像中果实与树叶的位置关系来确定果实的位置，并判断果实是否处于该采摘点的采摘范围内。
S4：中央处理器针对处于采摘范围内的果实建立采摘任务表，并根据果实的位置规划执行每一个采摘任务时机械臂的采摘轨迹。
S5：在该采摘点，根据逆运动学算法，通过规划的采摘轨迹反推导出机械臂的运动轨迹；中央处理器将控制信号传输到机械臂驱动控制模块，机械臂驱动控制模块驱动机械臂按照推导的运动轨迹进行运动并完成果实的采摘。作为优选方案，该步骤中，果实采摘的具体步骤如下：
S51：中央处理器根据规划的果实采摘轨迹，用逆运动学算法反推导出机械臂的运动轨迹；
S52：中央处理器将控制信号传输到机械臂驱动控制模块，机械臂驱动控制模块驱动机械臂按照推导的运动轨迹进行运动，并判断采摘机构是否到达采摘位置，若采摘机构已到达采摘位置，则执行步骤S53；若采摘机构未到达采摘位置，则继续执行步骤S52完成修正；判断采摘机构是否达到采摘位置是以预先规划的采摘轨迹为基准，同时由中央处理器分析双目镜头实时拍摄的图像信息来配合修正机械臂的运动，确保采摘机构精确到达果实待采摘位置；
S53：中央处理器将控制信号传输到采摘机构驱动控制模块，采摘机构驱动控制模块驱动剪切机构执行剪切动作完成果实剪切，并控制夹持机构将果实放至果篮中。
S6：采摘该采摘点范围内的果实；中央处理器根据双目镜头的实时拍摄信息判断该采摘点的采摘任务是否完成，若该采摘点的采摘任务完成，执行步骤S7；若该采摘点的采摘任务未完成，则返回执行步骤S5；当拍摄的图像信息中没有检测到果实，则判定果实采摘任务已经完成。
S7：通过单目镜头拍摄该采摘点的路径信息，中央处理器根据路径信息和采摘机器人的定位信息确定采摘机器人在导航地图中的位置；将采摘机器人在导航地图中的位置与预设导航路径分析对比，判断采摘机器人是否走完导航路径；若采摘机器人还未走完导航路径，则执行步骤S8；若采摘机器人走完导航路径，则执行步骤S9。
S8：中央处理器控制采摘机器人进入下一个采摘点，返回执行步骤S3。
S9：控制采摘机器人返回停靠基地。
本发明提供的柑橘采摘机器人系统操作简单，由中央处理器预先规划采摘轨迹，通过逆运动学算法来精确控制采摘，采摘精度高，采摘效率高；提供的柑橘采摘机器人系统的控制方法，采摘机器人根据预设路径执行采摘，采摘机器人的导航性能好，可以解决采摘耗时的问题；通过在每一个采摘点处判断采摘任务是否完成，可以避免果实采摘遗漏，解决采摘不完全，需人工二次采摘的问题。
附图说明
图1为本发明柑橘采摘机器人系统及其控制方法的控制流程图；
图2为本发明柑橘采摘机器人系统及其控制方法的系统控制框图；
图3为图1步骤S1中导航路径的预设流程图；
图4为图1步骤S3中果实位置判断的判断流程图；
图5为图1步骤S5中果实采摘的具体采摘流程图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。
实施例1：
一种柑橘采摘机器人系统，包括采摘机器人和控制系统；采摘机器人包括履带式移动平台和固定设置在履带式移动平台上方的壳体；壳体上方固定设置有机械臂安装平台，机械臂安装平台上安装有机械臂；壳体上还设置有用于识别定位果实的双目镜头和用于识别导航路径的单目镜头；机械臂的采摘端设置有采摘机构，采摘机构包括剪切机构和夹持机构；壳体内设置有果篮放置腔；控制系统包括用于处理双目镜头和单目镜头拍摄图像的图像处理模块、用于控制履带式移动平台的移动平台控制模块、用于控制机械臂各关节的机械臂驱动控制模块、用于控制机械臂采摘机构的采摘机构驱动控制模块和中央处理器，中央处理器分别与图像处理模块、移动平台控制模块、机械臂驱动控制模块和采摘机构驱动控制模块控制连接。
上述柑橘采摘机器人系统中，果篮放置腔中放置有果篮，当采摘机器人启动后，中央处理器将第一控制信号传输到移动平台控制模块，移动平台控制模块控制履带式移动平台进行移动，实现采摘机器人的移动；双目镜头会实时采集果实图像信息，并将采集的果实图像信息传输到图像处理模块，图像处理模块将处理后的果实图像信息传输到中央处理器进行分析，可以分析出果实的数量、果实的位置等信息；中央处理器将第二控制信号传输到机械臂驱动控制模块，机械臂驱动控制模块控制机械臂进行移动；中央处理器将第三控制信号传输到采摘机构，控制剪切机构剪切果实，控制夹持机构将果实夹持住并控制机械臂移动，将果实放入果篮中；完成果实的采摘；最后控制采摘机器人返回停靠基地；该采摘机器人的整体操作简单，可精确采摘果实，采摘效率高；履带式移动平台和移动平台控制模块、机械臂各关节和机械臂驱动控制模块、机械臂采摘机构和采摘机构驱动控制模块间的连接方式均采用CAN总线。
在实际应用中，用做信息采集的双目镜头和单目镜头可以归纳为信息采集模块，信息采集模块还包括3D相机、RGB相机和各种传感器；双目镜头、单目镜头、3D相机和RGB相机作为图像信息采集模块；图像信息采集模块也可以用工业相机，工业相机通过VB设计中采集软件来完成图像的采集，图像信息采集模块为单帧采集，软触发模式，当系统完成上次图像处理并发出采集命令后，该模块才发生采集事件，将采集的图像固定存储在计算机中，并可供图像处理模块调用；图像处理模块的图像处理功能可以在MATLAB编写的.DLL文件中实现，包括一些传统的图像处理算法，可以提取图像中的果园道路特征，根据果园道路特征和果园导航地图可以预设导航路径，通过VB/MATLAB混合编程接口将导航路径信息发送给中央处理器。
本实施例中，传感器包括测距传感器，通过测距传感器可以测量采摘机器人与周围环境中障碍物间的距离，障碍物可以是果树、大型杂草等，测距传感器可以设置在采摘机器人的前方和后方，也可以设置在机器人的两侧，并根据实时测量的距离对采摘机器人的移动方向和速度做调整；若将测距传感器设置在采摘机器人两侧，也可以通过测量采摘机器人与预设导航路径图像信息判断是否沿规划路径行驶，并及时作出修正调整，让采摘机器人保持在规划路径上行驶；测距传感器采用US-100超声波测距模块，并通过串口RS-232传输距离信息给中央处理模块。
本实施例中，采摘机器人系统还包括无线收发模块和运动决策模块。无线收发模块采用广泛应用于航模遥控的信号收发装置，控制端输出控制信号，由无线发射模块将控制信号发射到采摘机器人的无线接收模块，无线接收模块将控制信号转换为脉宽信号，并通过中央处理器控制图像处理模块、移动平台控制模块、机械臂驱动控制模块和采摘机构驱动控制模块，从而控制采摘机器人的移动、机械臂运动和采摘等。
上述运动决策模块的控制模式包括手动遥控模式、自动导航模式和跟随模式；手动遥控模式可以直接通过无线收发模块控制采摘机器人的移动、方向、速度等；自动导航模式，通过双目镜头和单目镜头采集采摘机器人附近的图像，并将图像信息发送到中央处理器，中央处理器提取图像中的道路特征信息，将道路特征信息和预设导航路径分析对比，实时调整修正采摘机器人的运动，确保采摘机器人在导航路径上行驶；跟随模式，在采摘机器人的前端安装设置超声波测距传感器，将人或物体作为跟随目标，实时检测与人或物体间的距离，并将检测信息通过串口发送到中央处理模块，保持与跟随目标的间距，使得采摘机器人在跟随目标后行驶；运动决策模块即为上位机，可以对采摘机器人进行控制。
实施例2：
一种柑橘采摘机器人系统的控制方法，包括以下步骤：
S1：首先，制作果园的导航地图，根据果园内果树栽种分布在导航地图内预设导航路径，在导航路径上设置连续的若干采摘点。该步骤中，导航路径的预设步骤如下：
S11：根据果园内果树栽种位置和导航地图确定可规划路径；
S12：根据可规划路径的道路宽度、道路长度、道路坡度和道路转角确定导航路径；
S13：根据采摘机器人机械臂的运动范围确定采摘范围，并依据采摘范围在导航路径上设置若干连续的采摘点。
导航地图为果园的栽种分布图，包括果树栽种区域和各栽种区域间的路径；根据路径情况来规划采摘机器人采摘时的导航路径；导航路径上各采摘点的采摘范围一般为圆形区域范围，以机械臂和外壳间的连接处为中心点，在中心点半径D范围即为采摘范围；实际设计中，根据机械臂的长度和大小尺寸设置采摘范围，采摘半径D一般在2~5米。
S2：启动采摘机器人，中央处理器将控制信号传输到移动平台控制模块，移动平台控制模块控制履带式移动平台开始移动；采摘机器人进入导航路径，并进入采摘点；采摘机器人到达采摘点后，履带式移动平台即停止移动，在该采摘点执行采摘作业。
S3：采摘机器人到达该采摘点后，通过双目镜头实时拍摄采摘点附近的待采摘图像信息，由图像处理模块对待采摘图像进行处理，并根据处理后的待采摘图像分析果实的位置，判断并统计处于采摘范围内的果实。其中，果实位置的判断步骤如下：
S31：通过双目镜头实时拍摄采摘点附近的待采摘图像信息，并将待采摘图像信息传输到图像处理模块；
S32：图像处理模块对待采摘图像信息进行处理，图像处理包括对图像滤波、增强、去噪、边缘处理等；
S33：中央处理器对处理后的待采摘图像信息进行分析，通过采摘机器人的拍摄位置、图像中果实的大小、图像中果实与树叶的位置关系来确定果实的位置，并判断果实是否处于该采摘点的采摘范围内。
S4：中央处理器针对处于采摘范围内的果实建立采摘任务表，并根据果实的位置规划执行每一个采摘任务时机械臂的采摘轨迹。
S5：在该采摘点，根据逆运动学算法，通过规划的采摘轨迹反推导出机械臂的运动轨迹；中央处理器将控制信号传输到机械臂驱动控制模块，机械臂驱动控制模块驱动机械臂按照推导的运动轨迹进行运动并完成果实的采摘。该步骤中，果实采摘的具体步骤如下：
S51：中央处理器根据规划的果实采摘轨迹，用逆运动学算法反推导出机械臂的运动轨迹；
S52：中央处理器将控制信号传输到机械臂驱动控制模块，机械臂驱动控制模块驱动机械臂按照推导的运动轨迹进行运动，并判断采摘机构是否到达采摘位置，若采摘机构已到达采摘位置，则执行步骤S53；若采摘机构未到达采摘位置，则继续执行步骤S52完成修正；判断采摘机构是否达到采摘位置是以预先规划的采摘轨迹为基准，同时由中央处理器分析双目镜头实时拍摄的图像信息来配合修正机械臂的运动，确保采摘机构精确到达果实待采摘位置；
S53：中央处理器将控制信号传输到采摘机构驱动控制模块，采摘机构驱动控制模块驱动剪切机构执行剪切动作完成果实剪切，并控制夹持机构将果实放至果篮中。
S6：采摘该采摘点范围内的果实；中央处理器根据双目镜头的实时拍摄信息判断该采摘点的采摘任务是否完成，若该采摘点的采摘任务完成，执行步骤S7；若该采摘点的采摘任务未完成，则返回执行步骤S5；当拍摄的图像信息中没有检测到果实，则判定果实采摘任务已经完成。
S7：通过单目镜头拍摄该采摘点的路径信息，中央处理器根据路径信息和采摘机器人的定位信息确定采摘机器人在导航地图中的位置；将采摘机器人在导航地图中的位置与预设导航路径分析对比，判断采摘机器人是否走完导航路径；若采摘机器人还未走完导航路径，则执行步骤S8；若采摘机器人走完导航路径，则执行步骤S9。
S8：中央处理器控制采摘机器人进入下一个采摘点，返回执行步骤S3。
S9：控制采摘机器人返回停靠基地。
本实施例中，通过单目镜头来识别导航路径信息，通过将检测的导航路径信息与预设导航路径进行分析对比，实时调整采摘机器人的移动，来确保采摘机器人沿预设导航路径行驶；导航路径识别还可以采用其他方式：由单目镜头采集导航路径图像信息；对拍摄的导航路径图像进行分割、去噪；获取道路最大连通区域；获取导航离散点；获取导航路径信息，并传输到中央处理器。
本发明提供的柑橘采摘机器人系统操作简单，采摘精度高，采摘效率高；提供的柑橘采摘机器人系统的控制方法，采摘机器人根据预设路径执行采摘，采摘导航性能好；通过在每一采摘点循环判断采摘任务是否完成，可以避免果实采摘遗漏的问题。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明当中。
Claims (4)
1.一种柑橘采摘机器人系统的控制方法，其特征在于，包括以下步骤：
S1：获取柑橘采摘机器人系统，包括采摘机器人和控制系统；采摘机器人包括履带式移动平台和固定设置在履带式移动平台上方的壳体；壳体上方固定设置有机械臂安装平台，机械臂安装平台上安装有机械臂；壳体上还设置有用于识别定位果实的双目镜头和用于识别导航路径的单目镜头；机械臂的采摘端设置有采摘机构，采摘机构包括剪切机构和夹持机构；壳体内设置有果篮放置腔；
控制系统包括用于处理双目镜头和单目镜头拍摄图像的图像处理模块、用于控制履带式移动平台的移动平台控制模块、用于控制机械臂各关节的机械臂驱动控制模块、用于控制机械臂采摘机构的采摘机构驱动控制模块和中央处理器，中央处理器分别与图像处理模块、移动平台控制模块、机械臂驱动控制模块和采摘机构驱动控制模块控制连接；
S2：制作果园的导航地图，根据果园内果树栽种分布在导航地图内预设导航路径，在导航路径上设置连续的若干采摘点；
S3：启动采摘机器人，中央处理器将控制信号传输到移动平台控制模块，移动平台控制模块控制履带式移动平台开始移动；采摘机器人进入导航路径，并进入采摘点；
S4：采摘机器人到达该采摘点后，通过双目镜头实时拍摄采摘点附近的待采摘图像信息，由图像处理模块对待采摘图像进行处理，并根据处理后的待采摘图像分析果实的位置，判断并统计处于采摘范围内的果实；
S5：中央处理器针对处于采摘范围内的果实建立采摘任务表，并根据果实的位置规划执行每一个采摘任务时机械臂的采摘轨迹；
S6：在该采摘点，根据逆运动学算法，通过规划的采摘轨迹反推导出机械臂的运动轨迹；中央处理器将控制信号传输到机械臂驱动控制模块，机械臂驱动控制模块驱动机械臂按照推导的运动轨迹进行运动并完成果实的采摘；
S7：采摘该采摘点范围内的果实；中央处理器根据双目镜头的实时拍摄信息判断该采摘点的采摘任务是否完成，若该采摘点的采摘任务完成，执行步骤S8；若该采摘点的采摘任务未完成，则返回执行步骤S6；
S8：通过单目镜头拍摄该采摘点的路径信息，中央处理器根据路径信息和采摘机器人的定位信息确定采摘机器人在导航地图中的位置；将采摘机器人在导航地图中的位置与预设导航路径分析对比，判断采摘机器人是否走完导航路径；若采摘机器人还未走完导航路径，则执行步骤S9；若采摘机器人走完导航路径，则执行步骤S10；
S9：中央处理器控制采摘机器人进入下一个采摘点，返回执行步骤S4；
S10：控制采摘机器人返回停靠基地。
2.根据权利要求1所述的柑橘采摘机器人系统的控制方法，其特征在于，步骤S2中，导航路径的预设步骤如下：
S21：根据果园内果树栽种位置和导航地图确定可规划路径；
S22：根据可规划路径的道路宽度、道路长度、道路坡度和道路转角确定导航路径；
S23：根据采摘机器人机械臂的运动范围确定采摘范围，并依据采摘范围在导航路径上设置若干连续的采摘点。
3.根据权利要求1所述的柑橘采摘机器人系统的控制方法，其特征在于，所述步骤S4中，果实位置判断步骤如下：
S41：通过双目镜头实时拍摄采摘点附近的待采摘图像信息，并将待采摘图像信息传输到图像处理模块；
S42：图像处理模块对待采摘图像信息进行处理，图像处理包括对图像滤波、增强、去噪、边缘处理；
S43：中央处理器对处理后的待采摘图像信息进行分析，通过采摘机器人的拍摄位置、图像中果实的大小、图像中果实与树叶的位置关系来确定果实的位置，并判断果实是否处于该采摘点的采摘范围内；建立该采摘点的果实采摘任务表。
4.根据权利要求1所述的柑橘采摘机器人系统的控制方法，其特征在于，所述步骤S6中，果实的采摘步骤如下：
S61：中央处理器根据规划的果实采摘轨迹，用逆运动学算法反推导出机械臂的运动轨迹；
S62：中央处理器将控制信号传输到机械臂驱动控制模块，机械臂驱动控制模块驱动机械臂按照推导的运动轨迹进行运动，并判断采摘机构是否到达采摘位置，若采摘机构已到达采摘位置，则执行步骤S63；若采摘机构未到达采摘位置，则继续执行步骤S62完成修正；
S63：中央处理器将控制信号传输到采摘机构驱动控制模块，采摘机构驱动控制模块驱动剪切机构执行剪切动作完成果实剪切，并控制夹持机构将果实放至果篮中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710412684.XA CN107139182B (zh) | 2017-06-05 | 2017-06-05 | 一种柑橘采摘机器人系统及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710412684.XA CN107139182B (zh) | 2017-06-05 | 2017-06-05 | 一种柑橘采摘机器人系统及其控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107139182A CN107139182A (zh) | 2017-09-08 |
| CN107139182B true CN107139182B (zh) | 2019-05-03 |
Family
ID=59780472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710412684.XA Active CN107139182B (zh) | 2017-06-05 | 2017-06-05 | 一种柑橘采摘机器人系统及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107139182B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107490967B (zh) * | 2017-09-18 | 2020-07-24 | 河南科技学院 | 适应光照度突变的采摘机器人目标自主识别系统及其方法 |
| CN107862253B (zh) * | 2017-10-20 | 2021-07-16 | 武汉科技大学 | 一种枸杞采摘效果评估方法 |
| CN107966944B (zh) * | 2017-11-30 | 2020-12-08 | 贵州财经大学 | 智慧大棚分区控制系统及分区采摘方法 |
| CN108656110B (zh) * | 2018-05-14 | 2020-07-28 | 北京禾泽方圆智能科技有限公司 | 基于有限状态自动机架构的采摘机器人控制器及架构方法 |
| CN108805924A (zh) * | 2018-05-22 | 2018-11-13 | 湘潭大学 | 一种百合花采摘点定位方法及系统 |
| CN108789386A (zh) * | 2018-05-31 | 2018-11-13 | 华南农业大学 | 基于单目视觉的双关节复合机构及柔性并联抓取机构的机械手 |
| CN108901366B (zh) * | 2018-06-19 | 2021-03-02 | 华中农业大学 | 一种天地一体化柑橘采摘方法 |
| CN109176490A (zh) * | 2018-10-05 | 2019-01-11 | 西北农林科技大学 | 一种采摘机器人控制系统 |
| CN109392462B (zh) * | 2018-12-18 | 2023-11-17 | 北方民族大学 | 采摘黄花菜的机器人及方法 |
| CN109605375A (zh) * | 2019-01-08 | 2019-04-12 | 太原工业学院 | 一种智能番茄采摘机器人的控制方法 |
| CN109739133A (zh) * | 2019-01-08 | 2019-05-10 | 太原工业学院 | 基于雷达定位的番茄采摘机器人系统及其控制方法 |
| CN109699300B (zh) * | 2019-02-22 | 2022-02-15 | 四川农业大学 | 一种智能柑橘采摘机的控制系统及其控制方法 |
| CN109947105B (zh) * | 2019-03-27 | 2022-11-25 | 科大智能机器人技术有限公司 | 一种自动牵引车的调速方法和调速装置 |
| CN110692352B (zh) * | 2019-09-19 | 2021-12-07 | 北京农业智能装备技术研究中心 | 一种智能农业机器人及其控制方法 |
| CN111587666A (zh) * | 2020-06-20 | 2020-08-28 | 青岛农业大学 | 一种具有植保、采摘功能一体的农业协作机器人 |
| CN111673755B (zh) * | 2020-06-24 | 2023-02-03 | 西北农林科技大学 | 一种基于视觉伺服的采摘机器人控制系统及控制方法 |
| CN113021378A (zh) * | 2021-04-02 | 2021-06-25 | 一度智能科技(深圳)有限公司 | 一种智慧农业用采摘机器人控制系统及方法 |
| CN113228938A (zh) * | 2021-05-31 | 2021-08-10 | 广东若铂智能机器人有限公司 | 采摘机器人slam激光视觉导航方法 |
| CN113099848B (zh) * | 2021-06-04 | 2022-08-02 | 山东农业大学 | 一种采摘机器人高效采放运综合平台及使用方法 |
| CN115509221A (zh) * | 2021-06-22 | 2022-12-23 | 中联农业机械股份有限公司 | 用于果园作业机械的控制方法、装置、控制器及设备 |
| CN114847005B (zh) * | 2022-04-27 | 2023-04-07 | 赵继安 | 一种果实采摘系统及其作业方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110047951A1 (en) * | 2009-08-25 | 2011-03-03 | Francis Wilson Moore | Fruit tree pruner and harvesting machine |
| CN104663134B (zh) * | 2015-03-27 | 2016-07-13 | 重庆理工大学 | 自行式采茶机 |
| CN106105566B (zh) * | 2016-07-25 | 2018-07-06 | 柳州铁道职业技术学院 | 智能柑橘采摘机器人及柑橘采摘方法 |
| CN205865161U (zh) * | 2016-07-25 | 2017-01-11 | 柳州铁道职业技术学院 | 智能柑橘采摘机器人 |
-
2017
- 2017-06-05 CN CN201710412684.XA patent/CN107139182B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN107139182A (zh) | 2017-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107139182B (zh) | 一种柑橘采摘机器人系统及其控制方法 | |
| US11397174B2 (en) | Suspension slide rail platform-based greenhouse information automatic monitoring method | |
| CN102368158B (zh) | 一种果园机械导航定位方法 | |
| CN110614638B (zh) | 一种变电站巡检机器人自主采集方法及系统 | |
| CN106017477B (zh) | 一种果园机器人的视觉导航系统 | |
| CN109725233B (zh) | 一种变电站智能巡检系统及其巡检方法 | |
| CN203691948U (zh) | 智能割草机器人 | |
| CN109374069B (zh) | 畜禽养殖场即时环境信息的空间分布监测系统及监测方法 | |
| CN109571403B (zh) | 一种磁轨迹线导航智能巡检机器人及其导航方法 | |
| CN109571404B (zh) | 一种越障机构、越障智能巡检机器人及其变电站越障方法 | |
| AU2021326883A1 (en) | Amphibious exploration and examination device, system and method | |
| CN109571402B (zh) | 一种爬坡机构、爬坡智能巡检机器人及其变电站爬坡方法 | |
| CN109773788A (zh) | 一种果蔬采摘机器人及其控制方法 | |
| CN101356877A (zh) | 一种温室环境下黄瓜采摘机器人系统及采摘方法 | |
| CN205843680U (zh) | 一种果园机器人的视觉导航系统 | |
| RU2763327C1 (ru) | Система управления маршрутом и способ управления им | |
| CN216058333U (zh) | 一种智能移动水果采摘机器人 | |
| CN114080905B (zh) | 基于数字双胞胎的采摘方法及云采摘机器人系统 | |
| CN109572842B (zh) | 一种爬杆机构、爬杆智能巡检机器人及其变电站爬杆方法 | |
| CN113625707A (zh) | 一种多传感器融合的温室自动跟随平台及其控制方法 | |
| CN113778137A (zh) | 输电线路的无人机自主巡检方法 | |
| You et al. | An autonomous robot for pruning modern, planar fruit trees | |
| CN107504970A (zh) | 一种新型基于多信息融合的郁闭型果园导航策略 | |
| Kim et al. | P-AgBot: In-Row & Under-Canopy Agricultural Robot for Monitoring and Physical Sampling | |
| CN109964675A (zh) | 葡萄树剪枝机器人装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |