CN117546681A - 引导机器人采摘和运送水果的协同作业方法、系统及平台 - Google Patents
引导机器人采摘和运送水果的协同作业方法、系统及平台 Download PDFInfo
- Publication number
- CN117546681A CN117546681A CN202311512772.9A CN202311512772A CN117546681A CN 117546681 A CN117546681 A CN 117546681A CN 202311512772 A CN202311512772 A CN 202311512772A CN 117546681 A CN117546681 A CN 117546681A
- Authority
- CN
- China
- Prior art keywords
- picking
- robot
- fruit
- orchard
- robots
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims abstract description 33
- 239000002420 orchard Substances 0.000 claims abstract description 56
- 238000012544 monitoring process Methods 0.000 claims abstract description 21
- 238000004891 communication Methods 0.000 claims description 26
- 238000005516 engineering process Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 9
- 238000013145 classification model Methods 0.000 claims description 8
- 230000007613 environmental effect Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000005265 energy consumption Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000012417 linear regression Methods 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000012636 effector Substances 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241001629511 Litchi Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009418 agronomic effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
- A01D46/30—Robotic devices for individually picking crops
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明属于智慧农业技术领域,本发明公开了引导机器人采摘和运送水果的协同作业方法、系统及平台。该技术方案对果园中的果树进行图像采集和三维点云扫描,便于引导采摘机器人进行采摘定位;中心服务器通过监测得到的数据,对无人机、采摘机器人和运送机器人进行任务分配,运送机器人将水果运送入保鲜库,采摘机器人等待新的运送机器人到达才继续采摘直到任务完成。本发明实现了水果采摘和运送的智能化、高效化作业,以解决传统果园生产作业中人工采摘劳动强度大、效率低下、成本高等问题,从而提高果园生产作业效率和质量。
Description
技术领域
本发明涉及智慧农业技术领域,尤其涉及引导机器人采摘和运送水果的协同作业方法、系统及平台。
背景技术
近年来,随着人工智能技术的发展,机器人技术已经被广泛应用于各个领域。其中,农业领域的机器人应用也得到了越来越多的关注。在农业领域中,机器人可以用于自动化水果采摘和运输等工作,以减少劳动力成本,无人机通过空中监测,对果园环境及果树生长状态进行判定,引导采摘机器人和运送机器人精准定位,以提高采摘效率。
针对无人机引导水果采摘机器人和运送水果机器人的协同作业,需要集中调度决策中心进行多机协同控制,5G云控平台传输信号稳定,具有集中决策、定位可靠、多机协同调度控制功能。GPS(全球定位系统)是一种常用的定位技术,但是在室内或复杂环境下,其精度会受到限制。激光雷达是另一种常用的定位技术,可以提供高精度的位置信息,但是其成本较高。INS(惯性导航系统)使用加速度计和陀螺仪等传感器来测量和跟踪物体的加速度和角速度,通过积分这些测量值,可以推导出物体的位置和姿态,但是导航信息经过积分而产生,定位误差随时间而增大,长期使用精度会变差。
因此,一种基于GPS、激光雷达与INS关联定位的水果采摘机器人和运送水果机器人的协同作业方法被提出。
发明内容
有鉴于此,本发明通过结合5G通信、无人机技术、机器人路径规划和协同作业等关键技术,实现了水果采摘和运送的智能化、高效化作业,以解决传统果园生产作业中人工采摘劳动强度大、效率低下、成本高等问题,从而提高果园生产作业效率和质量。
为了达到上述目的,本发明采用如下技术方案:
引导机器人采摘和运送水果的协同作业方法,包括:无人机、采摘机器人、运送机器人、激光雷达、视觉传感器、5G通信模组;
所述无人机用于引导采摘水果的机器人,需要具备一定导航和定位能力、遥感和监测能力、路径规划和避障能力等一系列技术和特点,并且将高视角监测发送给5G云控平台,以实现高效、精准的水果采摘任务引导;
所述采摘机器人用于采摘水果的机器人,移动底盘需要具备一定自主导航和定位能力,采摘机械臂和末端执行器具备一定的柔软性和精准度,能够根据水果大小和形状进行自适应抓取,同时还需要具备一定的力控能力,避免对水果造成损伤;
所述运送机器人用于运送水果的机器人,需要具备定位与导航、协同通信、动态路径规划、避障能力、速度调节和同步运动控制等一系列能力,以确保能够与采摘机器人保持同步协同的相对位置,顺利完成水果的运送任务;
所述激光雷达用于机器人的定位和环境感知,能够实时获取周围环境的三维数据,提供给机器人进行路径规划和避障操作;
所述视觉传感器用于机器人的目标检测和识别,能够识别水果的种类、大小和位置信息,从而进行精准抓取;
所述5G通信模组在无人机、采摘机器人臂和运送机器人上均有安装,用于将三者接入网络;
具体的,无人机、采摘机器人和运送机器人通过中心服务器进行任务分配。每一台采摘机器人对应分配一架无人机和一台运送机器人,直到水果采摘重量达到一定时,采摘机器人停止采摘,运送机器人将水果运送入保鲜库,采摘机器人等待新的运送机器人到达才继续采摘直到任务完成。在中心服务器中建立任务分配情况,给每台采摘机器人分配一块采摘区域,根据采摘情况分配运送机器人。中心服务器通过5G通信模组与采摘机器人进行通信并实时监测采摘情况反馈给用户端查看,根据采摘情况系统可以更好的调度运送机器人,对采摘数量进行估算,以便指导后续销售规划。
无人机进行果园监测时,搭载5G通信模组、激光雷达和工业相机对果园中的果树进行图像采集和三维点云扫描,收集果园中的图像数据,并对图像中的果实进行标记,标记果实的位置和类别,建立一个包含图像路径、坐标框和类别标签的数据集。对收集的图像数据进行预处理,使用标记的果实图像数据集对所选的YOLO模型进行训练。训练过程将模型调整到可以检测和定位果实的状态。使用训练好的YOLO模型来检测和定位果实,通过图像处理算法对果树上的果实进行估算,并调用训练好的果实成熟度分类网络进行成熟度识别,检测当前点云中的果实的成熟度,以便于引导采摘机器人进行采摘定位。将检测到的果实数量与成熟度相结合以估算整个果园的荔枝产量建立一个产量估算模型,使用线性回归算法对数据进行清洗和预处理,包括处理缺失值、异常值和数据标准化等,确保数据的准确性和一致性。
具体的,采摘机器人由山地履带车、计算机、激光雷达、工业相机、5G通信模组以及GPS定位模块构成。为保证计算机的算力足够且体积够小,计算机选用具有超高性能和低功耗的计算机模块NVIDIAJetson TX2。激光雷达配合工业相机用于3维果园地图构建以及山地履带车在果园的自主路径规划和避障;另外的当GPS定位模块用于机器人的定位,能够提供机器人当前的经纬度和高度信息,以便于进行室外导航和定位。
进一步的,所述无人机、采摘机器人与运送机器人定位方法包括如下步骤:GPS定位模块利用接收到的卫星数据包解算出采摘机器人的绝对位置,激光雷达扫描环境特征点可以得出机器人在果园地图上的相对位置,INS(惯性导航系统)使用加速度计和陀螺仪等传感器来测量和跟踪物体的加速度和角速度,通过积分这些测量值,可以推导出机器人的位置和姿态。然后用卡尔曼滤波算法过滤噪声,最后用数据融合算法融合三者的数据进行相对定位,得出机器人的准确位置。
进一步的,所述果实成熟度分类模型的建立包括以下步骤:获取果实不同成熟期的图像,根据成熟期的不同对图像分类;利用机器学习库Pytorch构建起分类网络,将分类好的果实成熟度图像送入网络中训练,得到果实成熟度分类模型。
具体的,5G通信模组、温湿度传感器、环境水分传感器与嵌入式板卡的I/O口相连接,嵌入式板卡接收到传感器的数据并处理,通过无人机的5G通信模组反馈至5G云控平台,在采摘过程中监测到下雨时应该立刻命令所有机器人回到充电区。太阳能电池给所有机器人供电,整个果园将划分成几个区域,每个区域的无人机都需要具有环境采集功能,以便于观察水果生长情况和引导采摘机器人采摘。
本发明的第二个目的可以通过以下技术方案达成:
一种水果采摘和运送的协同路径规划的调度系统,部署在5G云控平台运行,所述系统包括协同路径规划、数据库、任务分配三个模块。三个模块共同工作,实现无人机、采摘机器人和运送机器人自主地在果园协同作业。
具体的,所述任务分配模块,用于将果园划分为若干个采摘区域,并综合采摘机器人的电量、位置等因素给每辆采摘机器人分配采摘区域;所述路径规划模块,根据各采摘机器人的所在位置及其所要负责的区域,规划出一条采摘路线,并指导采摘机器人和运送机器人按照规划好的路径行驶;所述数据库模块,用于存储采摘机器人和运送机器人的果园二维地图信息、采摘路线、电量、位置、速度等信息。
进一步的,数据库模块留有程序接口,方便外部系统或设备调用数据库信息。需要确定水果采摘点和入库点的位置和数量。根据果园的布局和果树的分布,确定采摘点的位置,并根据市场需求确定入库的数量。通过无人机的传感器和图像识别收集果园中果树的位置信息和水果的成熟度等数据,将收集到的数据进行处理和整理,以便后续的路径规划和调度。
具体的,路径规划算法和速度控制:无人机为前导机器人,负责引导采摘机器人和导航,运送机器人则跟随采摘机器人前面保持一定距离。使用主从协同的控制算法,该算法包含状态反馈和扰动前馈的PD控制逻辑,用于调整系统的响应速度和稳定性,构建了主从移动机器人导航系统。采用速度一致性决策分量为PD控制,可以避免两移动机器人速度差异导致的问题。由于两移动机器人在协同行驶过程中,驱动系统具有一定的延时和非线性特点,所以在控制的过程中设置死区以提高稳定性,纵向偏差处于死区范围内时速度需要保持相对稳定。采摘机器人与运送机器人进行通信系统共享速度信息和控制命令,并通过反馈机制对速度差异进行修正,以确保两移动机器人保持适当的间距和相对位置。选择Dijkstra算法或A*算法来计算采摘和运送的最优路径,通过找到最优路径,可以实现机器人的高效行走和任务分配。
进一步的,5G云控平台对机器人进行调度策略和实时监控与控制。考虑采摘机器人和运送机器人的续航能力、实时位置等因素,并根据任务的紧急程度和距离等因素进行调度。建立实时监控系统,对机器人的位置、状态和任务执行情况进行监测和控制。使用传感器、摄像头等设备实时获取机器人的信息,并通过无线通信技术将数据传输到5G云控平台。根据监控数据,及时调整、优化路径规划和调度。
本发明的第三个目的可以通过以下技术方案达成:
一种监控果园多机器人协同调度的5G云控平台,所述平台能够实现对果园中多个机器人的监控、协同调度和任务管理。该平台能够提高果园的采摘和运送效率,减少人力资源的投入,并为果园管理者提供实时的运行状态和数据分析,以支持决策和优化。
具体的,在5G云控平台设立一个监控中心作为平台的核心部分,负责监控果园中的机器人运行状态、位置信息和任务执行情况。每个机器人都配备一个节点,用于采集机器人的传感器数据、位置信息和执行任务的指令。监控中心通过与机器人节点的通信,定期获取机器人的状态更新。这包括机器人的位置、传感器数据(如视觉、距离传感器等)以及任务执行进度。监控中心使用实时图像传输技术,接收机器人传感器获取的图像数据,以监控果园中的情况。监控中心根据果园的需求和机器人的状态信息,进行任务调度和协同。根据果园中的采摘需求和运送需求,将任务分配给可用的机器人。监控中心使用路径规划算法Dijkstra算法或A*算法,计算出机器人的最优路径,避开障碍物,考虑任务优先级、能量消耗等因素,以实现高效的任务执行。监控中心通过实时监测机器人的状态和传感器数据,可以及时发现异常情况,如机器人故障、任务延误等,并发出警报或通知相应的维护人员进行处理。监控中心可以设置预警机制,通过监测果园的环境数据和水果成熟度等信息,提前预测采摘和运送需求,以优化调度策略。
具体的,每个机器人与监控中心相互通信成混合式架构的多机器人系统,机器人之间也可以相互通信,进行信息交换和协同工作。制定合适的通信机制和协同策略以确保机器人之间的协作无缝进行,共享任务状态、位置信息和传感器数据等。机器人相互协作,共同完成任务,并通过合理的协同策略和通信机制实现高效的工作流程。
本发明利用GPS提供的大范围定位信息、激光雷达提供的高精度定位信息和INS提供的机器人姿态三者相结合,实现机器人的精确定位。具体来说,机器人通过GPS获取自身的粗略位置信息,然后使用激光雷达获取更精确的位置信息,最后移动过程中通过INS测量将三者结合起来计算出机器人的准确位置。
该协同作业方法还需要依靠无人机与5G云平台的通信获取采摘机器人和运送水果机器人的定位信息。无人机检测到果园环境和果树的成熟状态,将成熟果树的空间位置传送到5G云平台,该位置信息通过GPS对采摘机器人进行粗定位后,融合机器人底盘上的激光雷达和INS信息,对采摘机器人进行精确定位,实现无人机引导下的机器人高效采摘。当采摘机器人采摘完成后,需要将采摘完成的信息传输给运送机器人,运送机器人根据该信息将水果载入保鲜库。在运输过程中,运送机器人需要实时更新自身位置信息,并通过通信与采摘机器人保持联系,以确保水果能够及时送达目的地。
总之,基于5G云控平台无人机引导水果采摘机器人和运送水果机器人的协同作业方法可以实现无人机监测引导下,采摘机器人与运送机器人的高效协作和准确定位,为果园无人化作业提供可行的方案。
经由上述的技术方案可知,与现有技术相比,本发明有益效果如下:
1.本发明采用5G通信技术、自主导航、边缘计算、云计算等技术,种植户可以远程实施对果园采摘的任务监控,无人机不仅能根据拍摄的果树画面识别果实处于不同生长期,还能将未成熟的果实反馈至用户终端,帮助种植户了解水果适时采收,此外,云端服务器可以对大量数据进行处理和分析,如果园的地形、水果的成熟度、机器人的运行状态等,从而制定最优的任务分配和路径规划策略。这样,机器人可以智能地选择最优的行动路径,避开障碍物,降低能耗,提高作业效率。
2.本发明采用移动机器人自主导航技术、多机协同作业技术以及多传感器关联定位技术,通过融合GPS、激光雷达和INS数据进行相对定位,多个采摘机器人能够在规范化种植的果园内自主地、有序地移动,相比大规模铺设固定摄像头的方案,本发明能够实现只用几个采摘机器人即可采摘完整片果园,即便今后果园扩建,也只需重新规划采摘区域即可,无需额外增加硬件,降低果园建设成本的同时也降低了维护果园设备的难度。
3.本发明采用无人机监测辅助多个移动机器人协同作业技术,水果采摘和水果运送机器人具有特定的功能,协同完成果园采摘任务。不同功能的机器人通过协同工作,实现高效的果园采摘和运送作业管理
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例的整体结构框图。
图2为本发明实施例的采摘机器人结构框图。
图3为本发明实施例的采摘机器人定位方法的结构框图。
图4为本发明实施例的果园采摘过程示意图。
图5为本发明实施例的协同控制平台工作流程图。
图6为本发明实施例的监控中心模型图。
图7为本发明实施例的建立果实成熟度分类模型的流程图。
图8为本发明实施例的监控果园多机器人协同控制平台系统结构图。
图9为本发明实施例的采摘机器人流程图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本实施案例提供一种基于5G云控平台无人机引导水果采摘机器人和运送水果机器人的协同作业方法,可用于水果生长情况监控和水果采摘及保鲜储存,其包括:无人机、采摘机器人、运送机器人、5G云控平台、5G通信模组、GPS定位模块。无人机、采摘机器人和运送机器人分别通过5G通信模组与5G云控平台通信,无人机对环境信息的采集上传至5G云控平台,5G云控平台实现对三机的任务分配和监控控制。5G云控平台由用户终端和云服务器两部分组成。
云服务器的应用包括以下步骤:
(1)运行调度系统并向无人机、采摘机器人和运送机器人输出决策结果;
(2)存储从无人机对环境信息采集的数据、画面,储存采摘机器人的采摘数量;
(3)对无人机、采摘机器人和运送机器人进行任务分配,使之形成三机协同作业;
(4)应用果园大数据技术对存储的数据进行分析,根据分析结果向用户终端提供精准农艺方面的建议。
用户终端包括移动端APP和PC端网页,负责将云服务器的数据、决策结果、任务分配和农艺管理建议呈现给种植户。移动端APP和PC端网页均包含交互组件,种植户可以通过交互组件查看、下载历史数据、图片等。
如图2所示,采摘机器人以山地履带车为载体,其上安装有激光雷达、计算机、工业相机、加速度计、陀螺仪、5G通信模组和GPS定位模块,为了节省安装空间的同时还能保证计算机的高性能,计算机采用高性能、低功耗的计算机模块NVIDIA Jetson TX2,激光雷达、工业相机、5G通信模组、加速度计、陀螺仪、GPS定位模块均与NVIDIA Jetson TX2连接。为了使采摘机器人能够在果园自主导航,在采摘机器人首次投入果园使用之前,要对其进行初试化,具体过程为:无人机搭载GPS定位模块、激光雷达、工业相机等传感器,利用激光雷达和工业相机对果园环境和果树生长状态进行监测。无人机飞过果树上方时,工业相机开始拍摄果树画面,NVIDIA Jetson TX2运行事先训练好的果实成熟度分类模型分析果树画面,并将果实成熟度反馈给5G云控平台。特别地,若当果实成熟超过百分之五十,NVIDIA JetsonTX2则将所成孰的需要技术采摘的果树位置信息,通过5G通信模组反馈至5G云控平台,再由调度系统分发位置信息给采摘机器人和运送机器人,至此,采摘机器人和运送机器人的目标位置初始化完成。
进一步的,如图3所示,GPS定位模块、激光雷达、INS三者的数据经卡尔曼滤波算法、数据融合算法处理之后,机器人能够协同移动到目标果树的位置。当采摘机器人具备获取自身准确位置的能力之后,便各自移动到调度系统事先分配好的采摘区域,然后采摘机器人的路径规划算法会在此采摘区域规划出一条采摘路径,此时激光雷达运行的目的是实时监测采摘机器人周围的动态障碍物,实现实时避障。如图4所示,无人机对果树进行图像采集后,无人机对图像进行边缘化处理通过5G通信模块上传云端服务器,云端通过GPS将水果定位传给对应的采摘机器人,采摘机器人收到定位后开始路径规划到对应果树进行采摘。
如图5所示,协同控制平台工作的流程图,平台进行任务分配给每组机器人发布分配好的采摘区域。如果执行任务时遇到环境变化应该先通过5G通信模组向平台求助,平台进行任务重分配后继续执行任务。
如图6所示,监控中心通过监控各组机器人采摘情况做出判断是否存在可报警事件,报警中心会将情况上报给用户端和5G云控平台,平台将多种处理方式交给用户端决定如何处理。
为了能够得到果实成熟度分类模型,如图7所示,所述模型的构建过程包括:搜集果实不同生长时期的图像,接着用标注工具将图像中的水果一个个框选出来并标注其成熟度,构建数据集,并将数据集划分为训练集和验证集,再将训练集送入神经网络进行训练,得到水果成熟度神经网络模型。最后用验证集输入水果成熟度神经网络模型,选出效果最佳的模型所对应的参数,即用来调整模型参数。
如图8所示,机器人与控制中心相互通信成混合式架构的多机器人系统。混合式架构的优点是多机之间可以进行相互通信,无人机将拍到的成熟水果传送给采摘机器人,采摘机器人与运送机器人之间保持一定距离也需要紧密的相互通信。
如图9所示,是采摘机器人进行水果采摘的流程图。采摘机器人收到控制中心的任务时从充电区出发,每个水果采摘完都要判断是否还有目标,每棵树采摘完都要判断采摘区域是否还要没有采摘的果树,直至完成采摘任务回到充电区进行充电等待下一次任务。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.引导机器人采摘和运送水果的协同作业方法,其特征在于,包括以下步骤:
果园监测时,对果园中的果树进行图像采集和三维点云扫描,通过图像处理算法对果树上的果实进行估算,并调用训练好的果实成熟度分类网络进行成熟度识别,检测当前点云中的果实的成熟度,建立果实成熟度分类模型,便于引导采摘机器人进行采摘定位;
任务分配,中心服务器通过监测得到的数据,对无人机、采摘机器人和运送机器人进行任务分配,每一台采摘机器人对应分配一架无人机和一台运送机器人,直到水果采摘重量达到一定时,采摘机器人停止采摘,运送机器人将水果运送入保鲜库,采摘机器人等待新的运送机器人到达才继续采摘直到任务完成。
2.根据权利要求1所述的引导机器人采摘和运送水果的协同作业方法,其特征在于,采摘过程中,中心服务器通过5G通信模组与采摘机器人进行通信并实时监测采摘情况反馈给用户端查看,根据采摘情况调度运送机器人,对采摘数量进行估算,以便指导后续销售规划。
3.根据权利要求1所述的引导机器人采摘和运送水果的协同作业方法,其特征在于,果园监测时,将检测到的果实数量与成熟度相结合以估算整个果园的产量建立一个产量估算模型,使用线性回归算法对数据进行清洗和预处理,包括处理缺失值、异常值和数据标准化,确保数据的准确性和一致性。
4.根据权利要求3所述的引导机器人采摘和运送水果的协同作业方法,其特征在于,所述果实成熟度分类模型的建立包括以下步骤:获取果实不同成熟期的图像,根据成熟期的不同对图像分类;利用机器学习库Pytorch构建起分类网络,将分类好的果实成熟度图像送入网络中训练,得到果实成熟度分类模型。
5.根据权利要求3所述的引导机器人采摘和运送水果的协同作业方法,其特征在于,所述无人机、采摘机器人与运送机器人采摘定位方法包括如下步骤:GPS定位模块利用接收到的卫星数据包解算出采摘机器人的绝对位置,激光雷达扫描环境特征点得出机器人在果园地图上的相对位置,INS使用加速度计和陀螺仪传感器来测量和跟踪物体的加速度和角速度,推导出机器人的位置和姿态,然后用卡尔曼滤波算法过滤噪声,最后用数据融合算法融合三者的数据进行相对定位,得出机器人的准确位置。
6.引导机器人采摘和运送水果的协同作业系统,其特征在于,采用权利要求1-5任一项所述的方法,所述系统部署在5G云控平台运行,包括协同路径规划模块、数据库模块、任务分配模块,实现无人机、采摘机器人和运送机器人自主地在果园协同作业。
7.根据权利要求6所述的引导机器人采摘和运送水果的协同作业系统,其特征在于,所述任务分配模块,用于将果园划分为若干个采摘区域,并综合采摘机器人的电量、位置因素给每辆采摘机器人分配采摘区域;
所述路径规划模块,根据各采摘机器人的所在位置及其所要负责的区域,规划出一条采摘路线,并指导采摘机器人和运送机器人按照规划好的路径行驶;
所述数据库模块,用于存储采摘机器人和运送机器人的果园二维地图信息、采摘路线、电量、位置、速度信息。
8.根据权利要求7所述的引导机器人采摘和运送水果的协同作业系统,其特征在于,数据库模块留有程序接口,方便外部系统或设备调用数据库信息;需要确定水果采摘点和入库点的位置和数量;根据果园的布局和果树的分布,确定采摘点的位置,并根据市场需求确定入库的数量;通过无人机的传感器和图像识别收集果园中果树的位置信息和水果的成熟度数据,将收集到的数据进行处理和整理,以便后续的路径规划和调度。
9.根据权利要求7所述的引导机器人采摘和运送水果的协同作业系统,其特征在于,路径规划模块:无人机为前导机器人,负责引导采摘机器人和导航,运送机器人则跟随采摘机器人前面保持一定距离;使用主从协同的控制算法,该算法包含状态反馈和扰动前馈的PD控制逻辑,用于调整系统的响应速度和稳定性,构建了主从移动机器人导航系统;选择Dijkstra算法或A*算法来计算采摘和运送的最优路径,通过找到最优路径,实现机器人的高效行走和任务分配。
10.引导机器人采摘和运送水果的协同作业平台,其特征在于,部署所述权利要求6的作业系统,在平台设立一个监控中心作为平台的核心部分,负责监控果园中的机器人运行状态、位置信息和任务执行情况;每个机器人都配备一个节点,用于采集机器人的传感器数据、位置信息和执行任务的指令;监控中心通过与机器人节点的通信,定期获取机器人的状态更新;这包括机器人的位置、传感器数据以及任务执行进度,监控中心使用实时图像传输技术,接收机器人传感器获取的图像数据,以监控果园中的情况,监控中心根据果园的需求和机器人的状态信息,进行任务调度和协同,根据果园中的采摘需求和运送需求,将任务分配给可用的机器人,监控中心使用路径规划算法Dijkstra算法或A*算法,计算出机器人的最优路径,避开障碍物,考虑任务优先级、能量消耗因素,以实现高效的任务执行,监控中心设置预警机制,通过监测果园的环境数据和水果成熟度信息,提前预测采摘和运送需求,以优化调度策略。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311512772.9A CN117546681A (zh) | 2023-11-14 | 2023-11-14 | 引导机器人采摘和运送水果的协同作业方法、系统及平台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311512772.9A CN117546681A (zh) | 2023-11-14 | 2023-11-14 | 引导机器人采摘和运送水果的协同作业方法、系统及平台 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117546681A true CN117546681A (zh) | 2024-02-13 |
Family
ID=89816017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311512772.9A Pending CN117546681A (zh) | 2023-11-14 | 2023-11-14 | 引导机器人采摘和运送水果的协同作业方法、系统及平台 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117546681A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118092290A (zh) * | 2024-04-22 | 2024-05-28 | 同济大学 | 基于路径规划的多种植车辆协同控制系统 |
-
2023
- 2023-11-14 CN CN202311512772.9A patent/CN117546681A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118092290A (zh) * | 2024-04-22 | 2024-05-28 | 同济大学 | 基于路径规划的多种植车辆协同控制系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11753039B2 (en) | Collaborative autonomous ground vehicle | |
JP6717974B2 (ja) | 車両のためのセンサ軌道計画 | |
CN110162103A (zh) | 一种无人机与智能车组自主协同运输系统及方法 | |
US11656624B2 (en) | Horticulture aided by autonomous systems | |
CN109445438A (zh) | 基于地图分享的巡航装置的巡航控制方法及系统 | |
CN117546681A (zh) | 引导机器人采摘和运送水果的协同作业方法、系统及平台 | |
CN112015200B (zh) | 一种农业无人机群协同作业系统、协同作业方法及无人机 | |
CN108801269A (zh) | 一种室内云机器人导航系统及方法 | |
CN106647738A (zh) | 一种无人搬运车的对接路径确定方法及系统及无人搬运车 | |
US20210298244A1 (en) | Horticulture aided by autonomous systems | |
US20230259878A1 (en) | System and method for managing a plurality of mobile robots for preparing orders for products stored in a warehouse | |
CN113960997A (zh) | 移动机器人列队行驶系统及其控制方法 | |
CN117891261B (zh) | 基于智慧农业多机协同的自主种植系统、设备及存储介质 | |
CN117670198A (zh) | 一种智慧仓储运维方法和系统 | |
Shangguan et al. | Motion planning for autonomous grain carts | |
JP7308482B2 (ja) | 収穫ロボットシステム | |
Lee et al. | Cyber Physical Autonomous Mobile Robot (CPAMR) framework in the context of industry 4.0 | |
CN115589845A (zh) | 一种智能采棉机器人及其采棉作业路径规划方法 | |
CN113741425A (zh) | 一种全覆盖路径规划方法及导航系统 | |
CN109029416B (zh) | 自动导引运输车自主导航方法及自动导引运输车 | |
Ankit et al. | Multi-Agent Collaborative Framework for Automated Agriculture | |
Komáromi et al. | Possibilities of using driverless handling robots in intralogistics | |
Kasurinen | Mobile robots in indoor logistics | |
CN216982615U (zh) | 一种番茄采摘机器人 | |
Peng | Predictive Scheduling of Collaborative Mobile Robots for Improved Crop-transport Logistics of Manually Harvested Crops |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |