CN114847005B - 一种果实采摘系统及其作业方法 - Google Patents

一种果实采摘系统及其作业方法 Download PDF

Info

Publication number
CN114847005B
CN114847005B CN202210450797.XA CN202210450797A CN114847005B CN 114847005 B CN114847005 B CN 114847005B CN 202210450797 A CN202210450797 A CN 202210450797A CN 114847005 B CN114847005 B CN 114847005B
Authority
CN
China
Prior art keywords
picking
task
fruit
data
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210450797.XA
Other languages
English (en)
Other versions
CN114847005A (zh
Inventor
赵继安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202210450797.XA priority Critical patent/CN114847005B/zh
Publication of CN114847005A publication Critical patent/CN114847005A/zh
Application granted granted Critical
Publication of CN114847005B publication Critical patent/CN114847005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D46/00Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30Robotic devices for individually picking crops
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D45/00Harvesting of standing crops
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/20Administration of product repair or maintenance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0645Rental transactions; Leasing transactions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02Agriculture; Fishing; Forestry; Mining
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q2209/00Arrangements in telecontrol or telemetry systems
    • H04Q2209/40Arrangements in telecontrol or telemetry systems using a wireless architecture

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Environmental Sciences (AREA)
  • Multimedia (AREA)
  • Finance (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mining & Mineral Resources (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Robotics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Animal Husbandry (AREA)
  • Agronomy & Crop Science (AREA)
  • Development Economics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种果实采摘系统及其作业方法,该系统包括采摘设备、监控设备、作业系统及客户端;采摘设备包括必选的采摘器,可选的收集器、运输器、缓冲器,以及配备于采摘设备上或独立使用的容器;作业系统、客户端用于提供多机协同的智能化采摘方案,执行大规模自动化作业;作业系统包括数据服务模块,GIS服务模块、AI与算法引擎、系统管理模块及任务管理模块;客户端用于:提供访问作业系统任务管理功能的用户界面,包括设置/调整任务参数,开始/停止/暂停/恢复/取消采摘任务,显示设备状态、任务状态及外部业务状态;提供访问作业系统管理功能、GIS服务功能的用户界面。本发明提供通用的、多机协同的智能化采摘方案,支持大规模自动化作业。

Description

一种果实采摘系统及其作业方法
技术领域
本发明涉及智慧采摘技术领域,尤其涉及一种果实采摘系统及其作业方法。
背景技术
现有自动化采摘相关技术主要针对以下领域:
1、在单台水果采摘设备领域,针对不同品种水果的特点,提供不同的方案及实现方式,通常配备可行驶底盘、采摘机械臂、末端执行器、水果收纳箱等主要部件;
2、在水果采摘末端执行器领域,根据不同品种水果的形状、尺寸、质地等特征,有针对性地提供优化的设计方案,例如夹具式、爪式、切割式、吸气管式等。
大多数自动化采摘相关技术主要针对单台采摘设备,或针对特定品种水果采摘所需的末端执行器,缺乏多机协同的系统级采摘方案。
发明内容
本发明的目的是提供一种果实采摘系统及其作业方法及其作业方法,采用多种采摘设备,包括采摘器、收集器、运输器等,通过客户端软件、作业系统软件、GIS技术、AI技术、网络技术的系统集成,提供通用的、多机协同的智能化采摘方案,支持大规模自动化作业。
本发明提供了一种果实采摘系统,包括采摘设备、监控设备、作业系统及客户端;所述采摘设备包括必选的采摘器,可选的收集器、运输器、缓冲器,以及配备于采摘设备上或独立使用的容器;
其中,所述采摘器,
配备有轮式、履带式、导轨式或吊轨式运动底盘,用于实现运动功能;
配备一个或多个机械臂,用于实现采摘果实所需的三维空间运动;
在机械臂上配备一个或多个末端执行器,用于实现采摘果实功能;
在机械臂、末端执行器或采摘器的其它合适位置上配备一个或多个摄像头,用于实现采摘果实所需的感知功能;
配备一个或多个控制器模块,用于实现运动、SLAM自主导航、采摘果实所需的计算与控制功能;
配备一个或多个位置传感器或定位装置,用于获取设备本身的位置信息;
配备一个或多个网络接口,用于采摘器对外通信;所述网络为WiFi、蜂窝通信网、ZigBee或蓝牙;
所述监控设备,
配备一个或多个摄像头或传感器,用于采集与果园/果树/果实、采摘设备、集中区相关的视频/图像数据,实时或准实时地上传至作业系统;所述摄像头或传感器相对固定地安装在果园内部或果园周边,或安装在可移动设备上,所述可移动设备包括便携终端/手机、无人机,巡检机器人;
配备一个或多个网络接口,用于监控设备对外通信;所述网络为WiFi、蜂窝通信网、ZigBee或蓝牙;
所述监控设备提供的数据用于支持采摘系统的内部功能,包括制订任务、调整任务、采摘作业、收集作业及运输作业;也用于通过AI与算法引擎及数据服务支持外部业务;也用于采摘器、收集器、运输器运动与作业所需的辅助感知功能;
所述作业系统、客户端用于提供多机协同的智能化采摘方案,以执行大规模自动化作业;其中,
所述作业系统包括数据服务模块,GIS服务模块、AI与算法引擎、系统管理模块及任务管理模块;各模块单独部署为独立的模块或服务,或采用基于公有云的模块或服务;
所述数据服务模块用于提供作业系统相关基础数据的存储与管理服务,并为外部业务提供数据服务接口,包括:
基础数据的存储:相关的基础数据包括采摘设备提供的设备状态数据、作业状态数据;监控设备采集并上传的与果园/果树/果实、采摘设备、集中区相关的视频/图像数据或其它监控数据;
基础数据的管理:为基础数据建立多元索引;在基础数据更新时,维护索引的一致性;为客户端、以及作业系统的任务管理模块、系统管理模块、AI与算法引擎、GIS服务模块提供基础数据的查询、读取、修改、删除功能;
外部业务接口:提供支持外部业务的数据服务接口;所述的外部业务包括生产型应用与商业型应用;针对生产型应用,提供果树/果实病虫害分析、果树/果实营养状态分析、果树/果实长势分析、果实产量估计、果实品质估计等数据服务接口;针对商业型应用,支持电子商务、供应链、期货交易等数据服务接口;
所述GIS服务模块用于提供GIS系统所需的基础功能,包括:数据采集/数据导入/数据导出、数据处理与存储管理、空间查询与空间分析、地图显示;并在此基础上提供面向果园/果树/果实及采摘作业管理的数字地图服务,包括:
GIS数据管理:静态GIS数据,包括:果园的地理边界与地理范围数据;果树的地理位置与地理范围数据;集中区的地理位置与地理范围数据;动态GIS数据,包括:由采摘设备上传的实时地理位置数据;
数字地图服务:支持3D或2D数字地图服务;地图要素包括集中区、果园/果树/果实、采摘设备、监控设备的实体数据;
所述AI与算法引擎用于基于传统机器学习的算法与模型、基于深度学习的算法与模型、以及人工智能算法与模型、内容搜索算法与模型,为任务管理、资源分配、采摘设备作业及外部业务提供所需的智能分析功能,包括:
基于监控设备提供的与果园/果树/果实、采摘设备、集中区相关的监控数据,基于采摘设备上传的设备状态与作业状态数据,基于采摘系统积累的历史数据,通过AI分析获得的定量化或定性化数据,用于支持采摘系统的内部功能,包括制订任务、调整任务、采摘作业、收集作业及运输作业;以及用于支持外部业务;
资源分配算法:提供{任务参数;任务工期;可用采摘设备资源}的多维参数约束模型;针对给定的任务参数及要求的任务工期,估计完成任务所需的采摘设备资源;或针对给定的任务参数及可用的采摘设备资源,估计完成任务所需的工期;
所述系统管理模块用于用户管理、资产管理与设备管理,包括:
用户管理:提供用户帐号创建/维护/更新/删除的基础管理功能;提供用户身份认证功能;提供权限管理功能;
资产管理:提供果园/果树/集中区数字化资产的创建/维护/更新/删除/转移基础管理功能;提供对第三方果园/果树/果实资源在承接临时采摘工作期内可访问性的管理功能;
设备管理:提供采摘设备基本信息的存储、管理与维护功能;基本信息包括设备编号、设备种类、设备能力、设备功耗信息、维修信息等;提供对第三方租赁采摘设备临时可用性的管理功能;在采摘任务执行的过程中,实时或准实时维护采摘设备的状态信息,通过数据服务或GIS服务提供给客户端;
所述任务管理模块用于采摘任务管理,包括:
制订任务:与客户端、数据服务、GIS服务、AI与算法引擎相配合,设置任务参数;
修改任务:与客户端、数据服务、GIS服务、AI与算法引擎相配合,修改或重新设置任务参数;
分配任务:与AI与算法引擎、系统管理、采摘设备相配合,完成资源分配并将任务参数下发至采摘设备;
执行任务:与客户端及采摘设备相配合,启动并控制任务执行的功能;包括开始/停止任务;暂停/恢复/取消任务;对正在作业的任务,实时或准实时维护任务的状态信息,通过数据服务或GIS服务提供给客户端;
所述客户端用于:提供访问作业系统任务管理功能的用户界面,包括设置/调整任务参数,开始/停止/暂停/恢复/取消采摘任务,显示设备状态、任务状态及外部业务状态;提供访问作业系统的系统管理功能、GIS服务功能的用户界面。
进一步地,所述采摘器还包括下述中的至少一项:
配备一个或多个避障传感器,用于实现运动过程中的避障功能;
配备一个或多个碰撞传感器,用于实现运动过程中的防碰撞功能;
配备一个或多个摄像头,用于实现基于视觉SLAM的自主导航;
配备一个或多个激光雷达,用于实现基于激光雷达SLAM的自主导航;
配备一个或多个容器,用于临时存放采摘的果实。
进一步地,所述收集器,
配备有轮式、履带式、导轨式或吊轨式运动底盘,用于实现运动功能;
配备一个或多个机械臂,用于实现收集果实所需的三维空间运动;
在机械臂上配备一个或多个末端执行器,用于实现收集果实功能;
配备一个或多个控制器模块,用于实现运动、SLAM自主导航、收集果实等所需的计算与控制功能;
配备一个或多个位置传感器或定位装置,用于获取设备本身的位置信息;
配备一个或多个网络接口,用于收集器对外通信;所述网络为WiFi、蜂窝通信网、ZigBee或蓝牙。
进一步地,所述收集器还包括下述中的至少一项:
配备一个或多个避障传感器,用于实现运动过程中的避障功能;
配备一个或多个碰撞传感器,用于实现运动过程中的防碰撞功能;
配备一个或多个摄像头,用于实现基于视觉SLAM的自主导航;
配备一个或多个激光雷达,用于实现基于激光雷达SLAM的自主导航;
在机械臂、末端执行器或收集器的其它合适位置上配备一个或多个摄像头,用于实现收集果实所需的感知功能;
配备一个或多个容器,用于临时存放采摘或收集的果实。
进一步地,所述运输器,
配备有轮式、履带式、导轨式或吊轨式运动底盘,用于实现运动功能;
配备一个或多个执行机构,用于实现将容器从采摘器、收集器、或作业区转移至运输器载具,以及为采摘器、收集器、或作业区补充容器;
配备一个或多个控制器模块,用于实现运动、SLAM自主导航、转移容器与补充容器等所需的计算与控制功能;
配备一个或多个位置传感器或定位装置,用于获取设备本身的位置信息;
配备一个或多个网络接口,用于收集器对外通信;所述网络为WiFi、蜂窝通信网、ZigBee或蓝牙。
进一步地,所述运输器还包括下述中的至少一项:
配备一个或多个避障传感器,用于实现运动过程中的避障功能;
配备一个或多个碰撞传感器,用于实现运动过程中的防碰撞功能;
配备一个或多个摄像头,用于实现基于视觉SLAM的自主导航;
配备一个或多个激光雷达,用于实现基于激光雷达SLAM的自主导航;
在执行机构或收集器的其它合适位置上配备一个或多个摄像头,用于实现转移容器与补充容器所需的感知功能;
配备一个或多个容器,用于临时存放采摘或收集的果实。
进一步地,所述静态GIS数据还包括:粒度细化到一个单位果实或多个单位果实的地理位置数据;移动监控设备上传的地理位置数据及对应监控区的地理范围数据;固定监控设备的地理位置及对应监控区的地理范围数据;
所述地图要素还包括:采摘设备的运动/导航/作业所需的路径数据;采摘系统所需的其它辅助性元数据。
本发明还提供了上述果实采摘系统的作业方法,包括:
客户端发起采摘任务的作业方法:
M1-1,客户端发起采摘任务请求;
M1-2,作业系统与客户端配合,任务管理模块完成制订任务;
M1-3,作业系统通过AI与算法引擎完成资源分配,然后通过任务管理模块并向采摘设备发送分配任务消息;完成任务分配之后,作业系统任务管理模块向采摘设备发送启动任务消息,以启动采摘作业/收集作业/运输作业;
M1-4,作业完成后,采摘设备向作业系统发送任务完成消息;作业系统任务管理模块收到任务完成消息后,向客户端发送任务结束消息;可选地,作业系统通过数据管理模块外部业务接口,将外部业务相关的数据发送至外部业务系统;
M1-5,客户端收到任务结束消息,更新任务状态,更新用户界面,刷新设备状态及作业状态;
外部业务电子商务/订单触发采摘任务的作业方法:
M2-1,外部业务电子商务/订单系统发起订单请求;
M2-2,作业系统数据服务模块收到订单请求;
M2-3,作业系统任务管理模块根据订单请求发起采摘任务请求,与GIS服务、AI与算法引擎、系统管理相配合,完成制订任务;可选地,步骤M2-3需要经过客户端确认;
M2-4,作业系统通过AI与算法引擎完成资源分配,然后通过任务管理模块并向采摘设备发送分配任务消息;完成任务分配之后,作业系统任务管理模块向采摘设备发送启动任务消息,以启动采摘作业/收集作业/运输作业;
M2-5,作业完成后,采摘设备向作业系统发送任务完成消息;作业系统收到任务完成消息后,向客户端发送任务结束消息;可选地,作业系统通过数据管理模块外部业务接口,将外部业务相关的数据发送至外部业务系统;
M2-6,客户端收到任务结束消息,更新任务状态,更新用户界面,刷新设备状态、作业状态及外部业务状态;
监控数据触发采摘任务的作业方法:
M3-1,监控设备将果园/果树的监控数据上传至作业系统;
M3-2,作业系统数据服务模块收到果园/果树的相关监控数据;
M3-3,作业系统AI与算法引擎对果园/果树的相关监控数据及系统中积累的历史数据与业务数据等进行分析;
M3-4,作业系统任务管理模块根据分析结果发起采摘任务请求,与GIS服务、AI与算法引擎、系统管理相配合,完成制订任务;可选地,步骤M3-4需要经过客户端确认;
M3-5,作业系统通过AI与算法引擎完成资源分配,然后通过任务管理模块并向采摘设备发送分配任务消息;完成任务分配之后,作业系统任务管理模块向采摘设备发送启动任务消息,以启动采摘作业/收集作业/运输作业;
M3-6,作业完成后,采摘设备向作业系统发送任务完成消息;作业系统收到任务完成消息后,向客户端发送任务结束消息;可选地,作业系统通过数据管理模块外部业务接口,将外部业务相关的数据发送至外部业务系统;
M3-7,客户端收到任务结束消息,更新任务状态,更新用户界面,刷新设备状态、作业状态及外部业务状态;
AI推荐触发采摘任务的作业方法:
M4-1,作业系统AI与算法引擎对采摘系统的监控数据、积累的历史数据与业务数据进行分析;
考察基于{存在业务需求;存在果实可采摘;存在可用采摘设备资源}的多维约束条件,包括:分析是否存在外部业务(电子商务、供应链、期货系统等)导致的采摘需求,分析果实是否成熟,是否达到满足可采摘条件,分析是否有空闲可用的采摘设备;所述多维约束条件分析在系统的同一个用户帐号之间进行,或在系统的不同用户帐号之间进行;
M4-2,作业系统任务管理模块根据分析结果发起推荐性采摘任务请求,与GIS服务、AI与算法引擎、系统管理相配合,完成制订任务;可选地,步骤M4-2需要经过一个或多个用户帐号客户端确认;
M4-3,作业系统通过AI与算法引擎完成资源分配,然后通过任务管理模块并向采摘设备发送分配任务消息;完成任务分配之后,作业系统任务管理模块向采摘设备发送启动任务消息,以启动采摘作业/收集作业/运输作业;
M4-4,作业完成后,采摘设备向作业系统发送任务完成消息;作业系统收到任务完成消息后,向客户端发送任务结束消息;可选地,作业系统通过数据管理模块外部业务接口,将外部业务相关的数据发送至外部业务系统;
M4-5,客户端收到任务结束消息,更新任务状态,更新用户界面,刷新设备状态、作业状态及外部业务状态;
客户端租赁采摘设备的作业方法:
M5-1,甲方客户端设置采摘设备为可用状态;
M5-2,乙方客户端发起搜索可用的采摘设备请求;
M5-3,作业系统通过AI与算法引擎,对系统中可用的采摘设备资源进行搜索;所述的资源搜索在系统的一个或多个用户帐号之间进行;作业系统将搜索结果返回给乙方客户端,下一步转M5-4;可选地,作业系统根据搜索结果自动选择合适的采摘设备资源,发起租赁采摘设备请求,所述的租赁请求针对系统的一个或多个用户帐号,下一步转M5-5;
M5-4,乙方客户端在搜索结果中选择合适的采摘设备资源,发起租赁采摘设备请求,所述的租赁请求针对系统的一个或多个用户帐号;
M5-5,甲方客户端确认同意租赁采摘设备请求;可选地,作业系统自动为甲方客户端确认同意租赁采摘设备请求;所述的确认同意租赁涉及租赁请求相关的一个或多个用户帐号;
M5-6,作业系统通过系统管理模块,将租赁涉及的第三方采摘设备,在甲方客户端所属的用户帐号内设置为租赁期内临时可用;
M5-7,采用所述发起采摘任务的作业方法,包括:M1-1至M1-5;M2-1至M2-6;M3-1至M3-7;M4-1至M4-5中的任一作业方法;启动采摘作业;
客户端寻找临时采摘工作的作业方法:
M6-1,甲方客户端设置果园/果树/果实状态可对外查询;
M6-2,乙方客户端发起寻找临时采摘工作请求;
M6-3,作业系统通过AI与算法引擎,对系统中可对外查询的果园/果树/果实资源进行搜索;所述的资源搜索在系统的一个或多个用户帐号之间进行;作业系统将搜索结果返回给乙方客户端,下一步转M6-4;可选地,作业系统根据搜索结果自动选择合适的待采摘资源,发起承接临时采摘工作请求,所述的临时采摘工作请求针对系统的一个或多个用户帐号,下一步转M6-5;
M6-4,乙方客户端在搜索结果中选择合适的待采摘资源,发起承接临时采摘工作请求,所述的临时采摘工作请求针对系统的一个或多个用户帐号;
M6-5,甲方客户端确认同意临时采摘工作请求;可选地,作业系统自动为甲方客户端确认同意临时采摘工作请求;所述的确认同意临时采摘工作请求涉及相关的一个或多个用户帐号;
M6-6,作业系统通过系统管理模块,将临时采摘工作请求涉及的第三方果园/果树/果实资源,在甲方客户端所属的用户帐号内设置为承接临时采摘工作期内可访问;
M6-7,采用所述发起采摘任务的作业方法,包括:M1-1至M1-5;M2-1至M2-6;M3-1至M3-7;M4-1至M4-5中的任一作业方法;启动采摘作业。
进一步地,所述客户端设置任务参数的方法包括:
通过指定待采摘区域定义采摘任务的作业范围:
a)客户端向作业系统请求GIS服务,打开果园的数字地图;展示果园中的待采摘区域;
b)通过客户端的数字地图,选出包含待采摘果树的一个或多个采摘区
Figure GDA0003728282090000091
其中
Figure GDA0003728282090000092
为待采摘区编号,M为待采摘区数目,1≤M≤g,g为采摘区的总数目,k与ik均为序号;
c)作业系统按照
Figure GDA0003728282090000101
定义采摘任务的作业范围;
通过指定待采摘果树定义采摘任务的作业范围:
a)客户端向作业系统请求GIS服务,打开果园的数字地图,展示果园中的待采摘果树;
b)通过客户端的数字地图,选出一棵或多棵待采摘果树
Figure GDA0003728282090000102
Figure GDA0003728282090000103
其中
Figure GDA0003728282090000104
为待采摘果树编号,N为待采摘果树数目,1≤N≤m,m为果树的总数目,k与ik均为序号;
c)作业系统按照
Figure GDA0003728282090000105
定义采摘任务的作业范围;
通过指定待采摘区域的线索或指示定义采摘任务的作业范围:
a)客户端向作业系统提供包含1≤M≤g个采摘区编号信息的线索/指示;
b)作业系统通过分析获得所述线索/指示隐含的M个采摘区的编号信息
Figure GDA0003728282090000106
M为待采摘区数目,g为采摘区的总数目,k与ik均为序号;
c)作业系统按照
Figure GDA0003728282090000107
定义采摘任务的作业范围;
通过指定待采摘果树的线索/指示定义采摘任务的作业范围:
a)客户端向作业系统提供包含1≤N≤m棵待采摘果树编号信息的线索/指示;
b)作业系统通过分析获得所述线索/指示隐含的N棵待采摘果树的编号信息
Figure GDA0003728282090000108
N为待采摘果树数目,m为果树的总数目,k与ik均为序号;
c)作业系统按照
Figure GDA0003728282090000109
定义采摘任务的作业范围;
通过指定待采摘果实的具体数量要求或线索/指示定义采摘任务的作业范围:
a)客户端向作业系统提供采摘n≥1个单位果实的具体数量要求或线索/指示;
b)作业系统通过分析获得所述具体数量要求或线索/指示隐含的采摘区的编号信息、与/或待采摘果树的编号信息、与/或待采摘果树的水果数量/编号信息;
c)作业系统据此定义采摘n≥1个单位果实的作业范围。
进一步地,所述采摘器的作业方法包括:
1)根据当前任务,自主导航至需要采摘器的作业区;
2)在待采摘果树上搜索可采摘的果实;
3)从待采摘果树上采摘一个或多个单位的果实;
4)将采摘下来的果实,放置在地面、容器、或其它可能的暂存处;包括:利用缓冲器对果实进行保护;
5)上报状态:上报当前设备状态;上报当前作业状态;上报当前作业的统计数据;
所述收集器的作业方法包括:
1)根据当前任务需求,自主导航至需要收集器的作业区;
2)搜索地面、容器、或其它可能的暂存处已采摘的果实;
3)将地面、容器、或其它可能的暂存处已采摘的果实,放置到采摘器、收集器或运输器配备的容器或独立容器中;利用缓冲器对果实进行保护;
4)上报状态:上报当前设备状态;上报当前作业状态;上报当前作业的统计数据;
所述运输器的作业方法包括:
1)根据当前任务需求,自主导航至需要运输器的作业区;
2)选择采摘或收集好的,装有果实的容器,转移至运输器载具上;
3)为被转移的容器补充替换的容器;
4)将装有果实的容器,运输至集中区;
5)到达集中区后,根据作业要求,将装有果实的容器转移至目标位置或后续工序位置;将完成采摘的果实转移至电子商务或供应链的相应环节;
6)上报状态:上报当前设备状态;上报当前作业状态;上报当前作业的统计数据。
借由上述方案,通过果实采摘系统及其作业方法,具有如下技术效果:
1)采用多元异构系统设计,将果实采摘工作细分为采摘、收集、运输三种关键的作业环节,在系统中采用采摘器、收集器、运输器三种关键的采摘设备或其组合,可以有针对性地优化每种采摘设备,从性能与成本的角度,实现最佳的系统设计。
2)功能强大,通用性强:许多果实的采摘、收集、运输环节存在相似或雷同,只有作业环节差异性大的情况下才需要设计新的采摘设备;因此本发明所述的果实采摘系统通用性强,设备可重用性高,可以较少的设备型号完成大多数常见果实的采摘,包括:
a)常见的水果,例如瓜果类(西瓜、香瓜、哈密瓜、白兰瓜等)、柑橘类(桔、柑、橙、柚、柠檬等)、浆果类(葡萄、草莓、树莓、猕猴桃、桑葚、无花果、柿子、香蕉、杨桃、龙眼、荔枝等)、仁果类(苹果、梨、山楂、海棠、枇杷等)、核果类(桃、杏、李、枣、樱桃、橄榄、梅子等)、坚果(核桃、杏仁、榛子、松子、开心果、板栗等);
b)常见的蔬菜类果实,例如西红柿、茄子、葫芦、瓠子、南瓜、黄瓜、丝瓜、辣椒、青椒、豆角等;
c)常见的根茎类果实,例如萝卜、薯类、芋头、人参、土豆、莴笋、甘蔗、荸荠、藕、姜、蒜等。
3)协同作业,采摘效率高:多台采摘器、收集器、运输器无缝配合,能开展大规模协同作业,实现全自动规模化采摘,在优化算法支持的情况下,可以实现最优化的作业效率。
4)可视化作业:用户在客户端通过GIS系统,直观、方便地制订采摘任务、启动采摘任务;监控设备持续地采集与果园/果树/果实、采摘设备、集中区相关的监控数据,并上传给作业系统;在作业过程中,采摘设备上报设备状态及作业状态信息给作业系统;客户端从作业系统获取监控数据、设备状态信息、作业状态信息及外部业务状态信息,可以实时或准实时地刷新用户界面,实现可视化作业。
5)远程作业控制:用户可以通过客户端开始/停止采摘任务,可以通过客户端调整采摘任务(即修改或重新设置任务参数),可以通过客户端暂停/恢复/取消采摘任务,实现采摘作业的远程控制。
6)与外部业务无缝集成:提供支持外部业务的数据服务接口,实现采摘系统与生产系统、电子商务系统、供应链系统、期货交易系统的无缝集成;针对生产型应用,提供果树/果实病虫害分析、果树/果实营养状态分析、果树/果实长势分析(例如结果率/果实尺寸/果实营养成分等)、果实产量估计、果实品质估计等数据服务接口;针对商业型应用,支持电子商务(例如在线订单)、供应链(例如商品配送)、期货交易等数据服务接口。
7)与监控设备无缝集成:监控设备采集的数据,可以用于实现采摘设备运动与作业所需的辅助感知功能,提升了采摘设备的感知能力与作业效率;通过AI与算法引擎进行多维约束条件分析可以发起推荐性采摘任务,或对监控设备采集的数据,通过AI与算法引擎的分析,可以触发采摘任务,实现与电子商务、供应链、期货交易等外部业务的无缝集成。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,并可依照说明书的内容予以实施,以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
图1是本发明一实施例中果树采摘系统组成示意图;
图2是本发明作业系统组成示意图;
图3是本发明客户端发起采摘任务的作业方法;
图4是本发明外部业务电子商务/订单触发采摘任务的作业方法;
图5是本发明监控数据触发采摘任务的作业方法;
图6是本发明AI推荐触发采摘任务的作业方法;
图7是本发明客户端租赁采摘设备的作业方法;
图8是本发明客户端寻找临时采摘工作的作业方法。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
参图1所示,本实施例提供了一种果实采摘系统,其组成如下:
集中区:果实采摘完成之后的集中存放区;假设集中区有1..a个,编号为A1..Aa;集中区可能设置在同一个区域,也可能分布在多个不同的区域。
果园:假设果园中的果树可以划分为1..g个采摘区,编号为R1..Rg;假设果园中待采摘的果树有1..m棵,编号为T1..Tm;可以认为,此处的编号与能唯一标识果树的身份信息(identification或id)相对应,因此本实施例假设果树编号与果树身份信息是相等价的;可以假设每个采摘区至少包含1棵待采摘果树;可选地,假设果树Tk上的果实有1..nk个单位(1≤k≤m),编号为
Figure GDA0003728282090000141
此处的单位是指果实的采摘单位,不同果实的采摘单位可能不同,例如一个苹果、一根黄瓜、一串葡萄等。
监控设备:优选设备(1..c个),配备摄像头或其它类型的传感器,用于采集并上传与果园/果树/果实、采摘设备、集中区相关的视频/图像数据或其它监控数据。
采摘设备:包括必选的采摘器1..x个,编号为P1..Px;可选的收集器1..y个,编号为C1..Cy;可选的运输器1..z个,编号为V1..Vz;;必选的容器1..b个,编号为B1..Bb;其中:
采摘器:必选设备,用于将果实从果树上采摘下来,并放置在地面、容器、或其它可能的暂存处;此处的容器可以是采摘器配备的容器,也可以是收集器配备的容器,还可以是运输器配备的容器,或者是独立使用的容器;此处的暂存处,可以是天然或人工设置的适合临时存放果实的位置,例如天然的地面、人工铺设的弹性网、缓冲垫等,此处不再逐一介绍;可选地,采摘器可以配备一个或多个容器,用于临时存放采摘的果实;可选地,采摘器可以配备一个或多个缓冲器,用于保护采摘的果实;可选地,采摘器提供收集器的能力,可以承担收集器的任务;可选地,采摘器提供运输器的能力,可以承担运输器的任务。
收集器:可选设备,用于将采摘下来的果实,从地面、容器、或其它可能的暂存处,放置在配备或指定的容器中;可选地,收集器可以配备一个或多个容器,用于临时存放采摘或收集的果实;可选地,收集器可以配备一个或多个缓冲器,用于保护采摘或收集的果实;可选地,收集器提供运输器的能力,可以承担运输器的任务。
运输器:可选设备,用于将采摘下来的、放置在容器中的果实,从一个位置运送至另外一个位置;尤其是用于将采摘下来的、放置在容器中的果实,从作业区运送至集中区;必选地,运输器可以配备一个或多个载具,用于放置运输果实的容器;可选地,运输器可以配备一个或多个容器,用于临时存放采摘或收集的果实;可选地,运输器提供将容器从采摘器、收集器、或作业区转移至运输器载具的能力;可选地,运输器提供为采摘器、收集器、或作业区补充容器的能力;可选地,运输器可以配备一个或多个缓冲器,用于保护采摘、收集或运输的果实。
容器:用于存放果实;容器可以配备在采摘器、收集器、运输器等采摘设备上;也可以独立使用,例如安排在作业区合适的位置,供采摘器、收集器或运输器作业时使用。
缓冲器:可选器材或设备,在采摘、收集、运输果实过程中,用于为果实提供保护的天然或人工器材,例如弹性网、缓冲垫、阻尼滑道等,此处不再逐一介绍。
软件系统:用于支持采摘系统所需的任务制订、系统管理、任务分配、任务管理、面向果园/果树/果实及采摘作业管理的GIS服务、AI分析、外部业务集成等功能的软件;包括:
客户端:面向用户操作的客户端软件,提供用于访问作业系统任务管理功能的用户界面,包括设置/调整任务参数,开始/停止/暂停/恢复/取消采摘任务等,显示设备状态、任务状态及外部业务状态等;提供用于访问作业系统的系统管理功能、GIS服务功能的用户界面等;
作业系统:采摘系统的后台管理软件,提供数据服务、GIS服务、AI与算法引擎、系统管理与任务管理等功能模块;其中,数据服务提供包括作业系统相关基础数据的存储与管理,并为外部业务提供数据服务接口;GIS服务提供GIS服务与应用系统所需的基础功能,包括数据采集/数据导入/数据导出、数据处理与存储管理、空间查询与空间分析、地图显示等,并在此基础上提供面向果园/果树/果实及采摘作业管理的数字地图服务;AI与算法引擎提供包括基于传统机器学习的算法与模型、基于深度学习的算法与模型、以及其它人工智能算法与模型、内容搜索算法与模型,为任务管理、资源分配、采摘设备作业及外部业务提供所需的智能分析;系统管理提供用户管理、资产管理与设备管理相关功能;任务管理提供采摘任务管理相关功能。
本实施例所述的采摘器设备,具有以下特征:
必选地,配备有轮式、履带式、导轨式或吊轨式运动底盘,用于实现运动功能;
优选地,配备有一个或多个避障传感器,用于实现运动过程中的避障功能;
优选地,配备有一个或多个碰撞传感器,用于实现运动过程中的防碰撞功能;
优选地,配备一个或多个摄像头,用于实现基于视觉SLAM(SimultaneousLocalization and Mapping,即时定位与导航)的自主导航;
可选地,配备一个或多个激光雷达,用于实现基于激光雷达SLAM的自主导航;
必选地,配备一个或多个机械臂,用于实现采摘果实所需的三维空间运动;
必选地,在机械臂上配备一个或多个末端执行器,用于实现采摘果实功能;
必选地,在机械臂、末端执行器或采摘器的其它合适位置上配备一个或多个摄像头,用于实现采摘果实所需的感知功能;
可选地,配备一个或多个容器,用于临时存放采摘的果实;
必选地,配备一个或多个控制器模块,用于实现运动、SLAM自主导航、采摘果实等所需的计算与控制功能;
必选地,配备一个或多个位置传感器或定位装置,用于获取设备本身的位置信息;
必选地,配备一个或多个网络接口,用于采摘器对外通信;所述的网络,可以是WiFi、蜂窝通信网(2G/3G/4G/5G)、ZigBee、蓝牙等类型;
可选地,本实施例所述的监控设备提供的数据,可用于实现采摘器运动与作业所需的辅助感知功能。
本实施例所述的收集器设备,具有以下特征:
必选地,配备有轮式、履带式、导轨式或吊轨式运动底盘,用于实现运动功能;
优选地,配备有一个或多个避障传感器,用于实现运动过程中的避障功能;
优选地,配备有一个或多个碰撞传感器,用于实现运动过程中的防碰撞功能;
优选地,配备一个或多个摄像头,用于实现基于视觉SLAM的自主导航;
可选地,配备一个或多个激光雷达,用于实现基于激光雷达SLAM的自主导航;
必选地,配备一个或多个机械臂,用于实现收集果实所需的三维空间运动;
必选地,在机械臂上配备一个或多个末端执行器,用于实现收集果实功能;
优选地,在机械臂、末端执行器或收集器的其它合适位置上配备一个或多个摄像头,用于实现收集果实所需的感知功能;
可选地,配备一个或多个容器,用于临时存放采摘或收集的果实;
必选地,配备一个或多个控制器模块,用于实现运动、SLAM自主导航、收集果实等所需的计算与控制功能;
必选地,配备一个或多个位置传感器或定位装置,用于获取设备本身的位置信息;
必选地,配备一个或多个网络接口,用于收集器对外通信;所述的网络,可以是WiFi、蜂窝通信网(2G/3G/4G/5G)、ZigBee、蓝牙等类型;
可选地,本实施例所述的监控设备提供的数据,可用于实现收集器运动与作业所需的辅助感知功能。
本实施例所述的运输器设备,具有以下特征:
必选地,配备有轮式、履带式、导轨式或吊轨式运动底盘,用于实现运动功能;
优选地,配备有一个或多个避障传感器,用于实现运动过程中的避障功能;
优选地,配备有一个或多个碰撞传感器,用于实现运动过程中的防碰撞功能;
优选地,配备一个或多个摄像头,用于实现基于视觉SLAM的自主导航;
可选地,配备一个或多个激光雷达,用于实现基于激光雷达SLAM的自主导航;
必选地,配备一个或多个执行机构,用于实现将容器从采摘器、收集器、或作业区转移至运输器载具,以及为采摘器、收集器、或作业区补充容器等功能;
优选地,在执行机构或收集器的其它合适位置上配备一个或多个摄像头,用于实现转移容器与补充容器所需的感知功能;
可选地,配备一个或多个容器,用于临时存放采摘或收集的果实;
必选地,配备一个或多个控制器模块,用于实现运动、SLAM自主导航、转移容器与补充容器等所需的计算与控制功能;
必选地,配备一个或多个位置传感器或定位装置,用于获取设备本身的位置信息;
必选地,配备一个或多个网络接口,用于收集器对外通信;所述的网络,可以是WiFi、蜂窝通信网(2G/3G/4G/5G)、ZigBee、蓝牙等类型;
可选地,本发明所述的监控设备提供的数据,可用于实现运输器运动与作业所需的辅助感知功能。
需要说明的是,在其它示例中,采摘设备也可以是集成有采摘器、收集器、运输器,采摘器、收集器、运输器、缓冲器,或采摘器、收集器、运输器、缓冲器、容器的一体化设备。
本实施例所述的监控设备,具有以下特征:
优选地,配备一个或多个摄像头,用于采集与果园/果树/果实、采摘设备、集中区相关的视频/图像数据,实时或准实时地上传至作业系统;所述的摄像头,可以相对固定地安装在果园内部或果园周边,即固定监控设备,便于重点监控相对固定的区域;也可以安装在可移动设备上,即移动监控设备,例如便携终端/手机、无人机,巡检机器人,便于360度全方位监控各个不同的区域;
可选地,配备一个或多个其它类型的传感器,用于采集与果园/果树/果实、采摘设备、集中区相关的其它监控数据,实时或准实时地上传至作业系统;所述的传感器,可以相对固定地安装在果园内部或果园周边,即固定监控设备,便于重点监控相对固定的区域;也可以安装在可移动设备上,即移动监控设备,例如便携终端/手机、无人机,巡检机器人,便于360度全方位监控各个不同的区域;
必选地,配备一个或多个网络接口,用于监控设备对外通信;所述的网络,可以是WiFi、蜂窝通信网(2G/3G/4G/5G)、ZigBee、蓝牙等类型。
参图2所示,是本发明作业系统组成示意图,包括虚线框内所示的数据服务模块、GIS服务模块、AI与算法引擎、任务管理模块、系统管理模块;图2还列出了本发明作业系统与外部子系统及外部业务之间存在的数据接口;包括与客户端的接口;与采摘设备的接口;与监控设备的接口;与外部业务的接口等;具体介绍如下:
1.数据服务模块:提供作业系统相关基础数据的存储与管理功能,并为外部业务提供数据服务接口,包括:
a)基础数据的存储:相关的基础数据包括采摘设备提供的设备状态数据、作业状态数据;监控设备采集并上传的与果园/果树/果实、采摘设备、集中区相关的视频/图像数据或其它监控数据;
b)基础数据的管理:为基础数据建立多元索引;在基础数据更新时,维护索引的一致性;为客户端、以及作业系统其它模块(任务管理、系统管理、AI与算法引擎、GIS服务)提供基础数据的查询、读取、修改、删除等功能;
c)外部业务接口:提供支持外部业务的数据服务接口;所述的外部业务包括生产型应用与商业型应用;针对生产型应用,提供果树/果实病虫害分析、果树/果实营养状态分析、果树/果实长势分析(例如结果率/果实尺寸/果实营养成分等)、果实产量估计、果实品质估计等数据服务接口;针对商业型应用,支持电子商务(例如在线订单)、供应链(例如商品配送)、期货交易等数据服务接口;
2.GIS服务模块:提供GIS系统所需的基础功能,包括:数据采集/数据导入/数据导出、数据处理与存储管理、空间查询与空间分析、地图显示等功能;并在此基础上提供面向果园/果树/果实及采摘作业管理的数字地图服务,包括:
a)GIS数据管理:静态GIS数据,包括:必选的,果园的地理边界与地理范围数据;必选的,果树的地理位置与地理范围数据;可选的,粒度细化到一个单位果实或多个单位果实的地理位置数据;必选的,集中区的地理位置与地理范围数据;可选的,固定监控设备的地理位置及对应监控区的地理范围数据等;动态GIS数据,包括:由采摘设备上传的实时地理位置数据;可选地,移动监控设备上传的地理位置数据及对应监控区的地理范围数据等;
b)数字地图服务:优选地,支持3D数字地图服务;必选地,支持2D数字地图服务;地图要素包括集中区、果园/果树/果实、采摘设备、监控设备(及对应监控区的地理范围)等实体数据;可选地,地图要素还包括采摘设备的运动/导航/作业所需的路径数据;可选地,地图要素还包括采摘系统所需的其它辅助性元数据,例如天气数据、生产/作业历史数据、相关行业数据等;
3.AI与算法引擎:提供基于传统机器学习的算法与模型、基于深度学习的算法与模型、以及其它人工智能算法与模型、内容搜索算法与模型,为任务管理、资源分配、采摘设备作业及外部业务提供所需的智能分析功能,包括:
a)资源分配算法:提供{任务参数;任务工期;可用采摘设备资源}这样的多维参数约束模型;针对给定的任务参数及要求的任务工期,能估计完成任务所需的采摘设备资源;或针对给定的任务参数及可用的采摘设备资源,能估计完成任务所需的工期等;
b)基于监控设备提供的与果园/果树/果实、采摘设备、集中区相关的监控数据,通过AI分析获得的定量化或定性化数据,用于支持采摘系统的内部功能,包括制订任务、调整任务、采摘作业、收集作业及运输作业;以及用于支持外部业务(通过数据服务的外部业务接口);
c)基于采摘设备上传的设备状态与作业状态数据,通过AI分析获得的定量化或定性化数据,用于支持采摘系统的内部功能,包括制订任务、调整任务、采摘作业、收集作业及运输作业;以及用于支持外部业务(通过数据服务的外部业务接口);
d)基于采摘系统积累的历史数据,通过AI分析获得的定量化或定性化数据,用于支持采摘系统的内部功能,包括制订任务、调整任务、采摘作业、收集作业及运输作业;以及用于支持外部业务(通过数据服务的外部业务接口);
4.系统管理模块:提供用户管理、资产管理与设备管理等功能,包括:
a)用户管理:提供用户帐号创建/维护/更新/删除等基础管理功能;提供用户身份认证功能;提供权限管理功能;
b)资产管理:提供果园/果树/集中区等数字化资产的创建/维护/更新/删除/转移等基础管理功能;提供对第三方果园/果树/果实资源在承接临时采摘工作期内可访问性的管理功能;
c)设备管理:提供采摘设备基本信息的存储、管理与维护功能;基本信息包括设备编号、设备种类、设备能力(例如与生产率相关的能力指标)、设备功耗信息、维修信息等;提供对第三方租赁采摘设备临时可用性的管理功能;在采摘任务执行的过程中,实时或准实时维护采摘设备的状态信息,可通过数据服务或GIS服务提供给客户端;
5.任务管理模块:提供采摘任务管理相关功能,包括:
a)制订任务:提供与客户端、数据服务、GIS服务、AI与算法引擎相配合,设置任务参数的功能;
b)修改任务:提供与客户端、数据服务、GIS服务、AI与算法引擎相配合,修改或重新设置任务参数的功能;
c)分配任务:提供与AI与算法引擎、系统管理、采摘设备相配合,完成资源分配并将任务参数下发至采摘设备的功能;
d)执行任务:提供与客户端及采摘设备相配合,启动并控制任务执行的功能;包括开始/停止任务;暂停/恢复/取消任务;对正在作业(执行中)的任务,实时或准实时维护任务的状态信息,可通过数据服务或GIS服务提供给客户端。
6.部署方式:
a)GIS服务部署方式:本实施例所述的GIS服务,属于常规GIS服务与应用系统,可以单独部署为独立的GIS系统,或采用基于公有云的GIS服务;无论采用哪种部署方式,本发明都将GIS服务视为作业系统的一部分;
b)AI与算法引擎部署方式:本发明所述的AI与算法引擎,提供采摘系统AI分析所需的硬件算力与软件接口,可以单独部署为独立的AI服务,或采用基于公有云的AI服务;无论采用哪种部署方式,本发明都将AI与算法引擎视为作业系统的一部分;
c)其它模块部署方式:本发明所述的数据服务、系统管理、与任务管理,可以单独部署为独立的模块或服务,或采用基于公有云的模块或服务;无论采用哪种部署方式,本发明都将其视为作业系统的一部分;
d)模块组合或切分:本发明所述的GIS服务、AI与算法引擎、数据服务、系统管理、与任务管理,可以以独立的模块或服务来实现,或者对上述模块进行组合或切分,以更少或更多的模块或服务来实现;无论采用哪种方式实现,本发明都将其视为作业系统的一部分,提供与独立实现方式相等价的逻辑功能。
参图3所示,客户端发起采摘任务的作业方法,包括:
M1-1,客户端发起采摘任务请求;
M1-2,作业系统与客户端配合,任务管理模块完成制订任务;
M1-3,作业系统通过AI与算法引擎模块完成资源分配,然后通过任务管理模块并向采摘设备发送分配任务消息;完成任务分配之后,作业系统任务管理模块向采摘设备发送启动任务消息,以启动采摘作业/收集作业/运输作业;
M1-4,作业完成后,采摘设备向作业系统发送任务完成消息;作业系统任务管理模块收到任务完成消息后,向客户端发送任务结束消息;可选地,作业系统通过数据管理模块电子商务订单外部业务接口,将订单相关的数据发送至外部业务电子商务系统;
M1-5,客户端收到任务结束消息,更新任务状态,更新用户界面,刷新设备状态及作业状态。
参图4所示,外部业务电子商务/订单触发采摘任务的作业方法,包括:
M2-1,外部业务电子商务/订单系统发起订单请求;
M2-2,作业系统数据服务模块收到订单请求;
M2-3,作业系统任务管理模块根据订单请求发起采摘任务请求,与GIS服务、AI与算法引擎、系统管理相配合,完成制订任务;可选地,步骤M2-3需要经过客户端确认;
M2-4,作业系统通过AI与算法引擎模块完成资源分配,然后通过任务管理模块并向采摘设备发送分配任务消息;完成任务分配之后,作业系统任务管理模块向采摘设备发送启动任务消息,以启动采摘作业/收集作业/运输作业(同M1-3);
M2-5,作业完成后,采摘设备向作业系统发送任务完成消息;作业系统收到任务完成消息后,向客户端发送任务结束消息(同M1-4);可选地,作业系统通过数据管理模块电子商务订单外部业务接口,将订单相关的数据发送至外部业务电子商务系统;
M2-6,客户端收到任务结束消息,更新任务状态,更新用户界面,刷新设备状态、作业状态及外部业务状态(同M1-5)。
参图5所示,监控数据触发采摘任务的作业方法,包括:
M3-1,监控设备将果园/果树的监控数据上传至作业系统;
M3-2,作业系统数据服务模块收到果园/果树的相关监控数据;
M3-3,作业系统AI与算法引擎对果园/果树的相关监控数据及系统中积累的历史数据与业务数据等进行分析;例如分析是否存在外部业务(电子商务、供应链、期货系统等)导致的采摘需求,分析果实是否成熟,是否达到满足可采摘条件等;
M3-4,作业系统任务管理模块根据分析结果发起采摘任务请求,与GIS服务、AI与算法引擎、系统管理相配合,完成制订任务;可选地,步骤M3-4需要经过客户端确认;
M3-5,作业系统通过AI与算法引擎模块完成资源分配,然后通过任务管理模块并向采摘设备发送分配任务消息;完成任务分配之后,作业系统任务管理模块向采摘设备发送启动任务消息,以启动采摘作业/收集作业/运输作业(同M1-3);
M3-6,作业完成后,采摘设备向作业系统发送任务完成消息;作业系统收到任务完成消息后,向客户端发送任务结束消息(同M1-4);可选地,作业系统通过数据管理模块电子商务订单外部业务接口,将订单相关的数据发送至外部业务电子商务系统(同M2-5);可选地,作业系统通过数据管理模块供应链外部业务接口,将供应链相关的数据发送至外部业务供应链系统;
M3-7,客户端收到任务结束消息,更新任务状态,更新用户界面,刷新设备状态、作业状态及外部业务状态(同M1-5)。
参图6所示,AI推荐触发采摘任务的作业方法,包括:
M4-1,作业系统AI与算法引擎对采摘系统的监控数据、积累的历史数据与业务数据等进行分析;
考察基于{存在业务需求;存在果实可采摘;存在可用采摘设备资源}的多维约束条件,例如分析是否存在外部业务(电子商务、供应链、期货系统等)导致的采摘需求,分析果实是否成熟,是否达到满足可采摘条件,分析是否有空闲可用的采摘设备等;这种多维约束条件分析可以在系统的同一个用户帐号之间进行,也可以在系统的不同用户帐号之间进行;
M4-2,作业系统任务管理模块根据分析结果发起推荐性采摘任务请求,与GIS服务、AI与算法引擎、系统管理相配合,完成制订任务;可选地,步骤M4-2需要经过一个或多个用户帐号客户端确认;
M4-3,作业系统通过AI与算法引擎模块完成资源分配,然后通过任务管理模块并向采摘设备发送分配任务消息;完成任务分配之后,作业系统任务管理模块向采摘设备发送启动任务消息,以启动采摘作业/收集作业/运输作业(同M1-3);
M4-4,作业完成后,采摘设备向作业系统发送任务完成消息;作业系统收到任务完成消息后,向客户端发送任务结束消息(同M1-4);可选地,作业系统通过数据管理模块电子商务订单外部业务接口,将订单相关的数据发送至外部业务电子商务系统(同M2-5);可选地,作业系统通过数据管理模块供应链外部业务接口,将供应链相关的数据发送至外部业务供应链系统(同M3-6);
M4-5,客户端收到任务结束消息,更新任务状态,更新用户界面,刷新设备状态、作业状态及外部业务状态(同M1-5)。
本实施例采摘任务的特征:
1、包含1≤M≤g个采摘区的编号信息,即定义
Figure GDA0003728282090000241
Figure GDA0003728282090000242
此处g为采摘区的总数目;采摘器在收到采摘任务后,能直接根据采摘区的编号信息进行采摘作业;或采摘器在收到采摘任务后,通过分析获得任务规定的待采摘果树的编号信息(即身份信息),并据此进行采摘作业;
2、或者,包含1≤N≤m棵待采摘果树的编号信息,即定义
Figure GDA0003728282090000243
Figure GDA0003728282090000244
此处m为果树的总数目;采摘器在收到采摘任务后,能直接根据待采摘果树的编号信息进行采摘作业;
3、或者,包含采摘n≥1个单位果实的采摘区的编号信息、与/或待采摘果树的编号信息、与/或待采摘果树的水果数量/编号信息;采摘器在收到采摘任务后,能据此进行n≥1个单位果实的采摘作业;
4、可选地,可能包含其它辅助信息,例如采摘任务的时间要求、数量要求、重量要求、品质要求等,此处不再逐一介绍。
本实施例中,设置任务参数流程包括:
1.通过指定待采摘区域定义采摘任务的作业范围
a)客户端向作业系统请求GIS服务,打开果园的数字地图;展示果园中的待采摘区域;
b)通过客户端的数字地图,选出包含待采摘果树的一个或多个采摘区
Figure GDA0003728282090000251
其中
Figure GDA0003728282090000252
为待采摘区编号,M为待采摘区数目,1≤M≤g,g为采摘区的总数目;
c)作业系统按照
Figure GDA0003728282090000253
定义采摘任务的作业范围;
2.通过指定待采摘果树定义采摘任务的作业范围
a)客户端向作业系统请求GIS服务,打开果园的数字地图,展示果园中的待采摘果树;
b)通过客户端的数字地图,选出一棵或多棵待采摘果树
Figure GDA0003728282090000254
Figure GDA0003728282090000255
其中
Figure GDA0003728282090000256
为待采摘果树编号,N为待采摘果树数目,1≤N≤m,m为果树的总数目;
c)作业系统按照
Figure GDA0003728282090000257
定义采摘任务的作业范围;
3.通过指定待采摘区域的线索(hint)或指示(indication)定义采摘任务的作业范围
a)客户端向作业系统提供包含1≤M≤g个采摘区编号信息的线索/指示;
b)作业系统通过分析获得所述线索/指示隐含的(implicated)M个采摘区的编号信息
Figure GDA0003728282090000258
其中
Figure GDA0003728282090000259
为待采摘区编号,M为待采摘区数目,1≤M≤g,g为采摘区的总数目;
c)作业系统按照
Figure GDA00037282820900002510
定义采摘任务的作业范围;
4.通过指定待采摘果树的线索/指示定义采摘任务的作业范围
a)客户端向作业系统提供包含1≤N≤m棵待采摘果树编号信息的线索/指示;
b)作业系统通过分析获得所述线索/指示隐含的N棵待采摘果树的编号信息
Figure GDA0003728282090000261
其中
Figure GDA0003728282090000262
为待采摘果树编号,N为待采摘果树数目,1≤N≤m,m为果树的总数目;
c)作业系统按照
Figure GDA0003728282090000263
定义采摘任务的作业范围;
5.通过指定待采摘果实的具体数量要求或线索/指示定义采摘任务的作业范围
a)客户端向作业系统提供采摘n≥1个单位果实的具体数量要求或线索/指示;
b)作业系统通过分析获得所述具体数量要求或线索/指示隐含的采摘区的编号信息、与/或待采摘果树的编号信息、与/或待采摘果树的水果数量/编号信息;
c)作业系统据此定义采摘n≥1个单位果实的作业范围。
本实施例中采摘设备的作业流程如下:
采摘器作业:
1)根据当前任务,自主导航至需要采摘器的作业区(例如下一棵待采摘果树位置);
2)在待采摘果树上搜索可采摘的果实;
3)从待采摘果树上采摘一个或多个单位的果实;
4)将采摘下来的果实,放置在地面、容器(采摘器、收集器或运输器配备的容器或独立容器)、或其它可能的暂存处;这个环节中可以利用缓冲器对果实进行保护;
5)上报状态:上报当前设备状态;上报当前作业状态;上报当前作业的统计数据(例如所采摘果实的数量与品质等)。
收集器作业:
1)根据当前任务需求,自主导航至需要收集器的作业区;
2)搜索地面、容器、或其它可能的暂存处已采摘的果实;
3)将地面、容器、或其它可能的暂存处已采摘的果实,放置到采摘器、收集器或运输器配备的容器或独立容器中;这个环节中可以利用缓冲器对果实进行保护;
4)上报状态:上报当前设备状态;上报当前作业状态;上报当前作业的统计数据(例如所收集果实的数量与品质等)。
运输器作业:
1)根据当前任务需求,自主导航至需要运输器的作业区;
2)选择采摘或收集好的,装有果实的容器,转移至运输器载具上;
3)可选地,为被转移的容器补充替换的容器;
4)将装有果实的容器,运输至集中区;
5)可选地,到达集中区后,根据作业要求,将装有果实的容器转移至目标位置或后续工序位置;可选地,将完成采摘的果实转移至电子商务或供应链的相应环节;
6)上报状态:上报当前设备状态;上报当前作业状态;上报当前作业的统计数据(例如所运输果实的数量、重量与品质等)。
参图7所示,客户端租赁采摘设备的作业方法,包括:
M5-1,客户端(甲方)设置采摘设备为可用状态;
M5-2,客户端(乙方)发起搜索可用的采摘设备请求;
M5-3,作业系统通过AI与算法引擎,对系统中可用的采摘设备资源进行搜索;所述的资源搜索可以在系统的一个或多个用户帐号之间进行;作业系统将搜索结果(可用的采摘设备资源列表)返回给客户端(乙方),下一步转M5-4;可选地,作业系统根据搜索结果自动选择合适的采摘设备资源,发起租赁采摘设备请求,所述的租赁请求可以针对系统的一个或多个用户帐号,下一步转M5-5;
M5-4,客户端(乙方)在搜索结果中选择合适的采摘设备资源,发起租赁采摘设备请求,所述的租赁请求可以针对系统的一个或多个用户帐号;
M5-5,客户端(甲方)确认同意租赁采摘设备请求;可选地,作业系统自动为客户端(甲方)确认同意租赁采摘设备请求;所述的确认同意租赁可以涉及租赁请求相关的一个或多个用户帐号;
M5-6,作业系统通过系统管理模块,将租赁涉及的第三方采摘设备,在客户端(甲方)所属的用户帐号内设置为租赁期内临时可用;
M5-7,采用本发明所述的发起采摘任务的作业方法,例如:M1-1至M1-5;M2-1至M2-6;M3-1至M3-7;M4-1至M4-5;启动采摘作业。
参图8所示,客户端寻找临时采摘工作的作业方法,包括:
M6-1,客户端(甲方)设置果园/果树/果实状态可对外查询;
M6-2,客户端(乙方)发起寻找临时采摘工作请求;
M6-3,作业系统通过AI与算法引擎,对系统中可对外查询的果园/果树/果实资源进行搜索;所述的资源搜索可以在系统的一个或多个用户帐号之间进行;作业系统将搜索结果(可用的待采摘资源列表)返回给客户端(乙方),下一步转M6-4;可选地,作业系统根据搜索结果自动选择合适的待采摘资源,发起承接临时采摘工作请求,所述的临时采摘工作请求可以针对系统的一个或多个用户帐号,下一步转M6-5;
M6-4,客户端(乙方)在搜索结果中选择合适的待采摘资源,发起承接临时采摘工作请求,所述的临时采摘工作请求可以针对系统的一个或多个用户帐号;
M6-5,客户端(甲方)确认同意临时采摘工作请求;可选地,作业系统自动为客户端(甲方)确认同意临时采摘工作请求;所述的确认同意临时采摘工作请求可以涉及相关的一个或多个用户帐号;
M6-6,作业系统通过系统管理模块,将临时采摘工作请求涉及的第三方果园/果树/果实资源,在客户端(甲方)所属的用户帐号内设置为承接临时采摘工作期内可访问;
M6-7,采用本发明所述的发起采摘任务的作业方法,例如:M1-1至M1-5;M2-1至M2-6;M3-1至M3-7;M4-1至M4-5;启动采摘作业。
该果实采摘系统,具有如下技术效果:
1)采用多元异构系统设计,将果实采摘工作细分为采摘、收集、运输三种关键的作业环节,在系统中采用采摘器、收集器、运输器三种关键的采摘设备或其组合,可以有针对性地优化每种采摘设备,从性能与成本的角度,实现最佳的系统设计;很明显,虽然采摘设备通常都配备有运动底盘、机械臂、末端执行器等主要部件,但由于作业性质、作业类型甚至作业对象(即果实品种)不同,这些主要部件的尺寸、重量、承力强度、移动速度、关节活动频度、空间运动范围等物理参数要求也不同,只有通过有针对性地优化每种采摘设备的系统设计,才能实现最佳效果;采用单一的采摘设备同时实现采摘、收集、运输三种功能,通常只能实现次优效果。
2)功能强大,通用性强:许多果实的采摘、收集、运输环节存在相似或雷同,只有作业环节差异性大的情况下才需要设计新的采摘设备;因此本发明所述的果实采摘系统通用性强,设备可重用性高,可以较少的设备型号完成大多数常见果实的采摘,包括:
a)常见的水果,例如瓜果类(西瓜、香瓜、哈密瓜、白兰瓜等)、柑橘类(桔、柑、橙、柚、柠檬等)、浆果类(葡萄、草莓、树莓、猕猴桃、桑葚、无花果、柿子、香蕉、杨桃、龙眼、荔枝等)、仁果类(苹果、梨、山楂、海棠、枇杷等)、核果类(桃、杏、李、枣、樱桃、橄榄、梅子等)、坚果(核桃、杏仁、榛子、松子、开心果、板栗等);
b)常见的蔬菜类果实,例如西红柿、茄子、葫芦、瓠子、南瓜、黄瓜、丝瓜、辣椒、青椒、豆角等;
c)常见的根茎类果实,例如萝卜、薯类、芋头、人参、土豆、莴笋、甘蔗、荸荠、藕、姜、蒜等。
3)协同作业,采摘效率高:通过多台采摘器、收集器、运输器无缝配合,能开展大规模协同作业,实现全自动规模化采摘,在优化算法支持的情况下,可以实现最优化的作业效率。
4)可视化作业:用户在客户端通过GIS系统,直观、方便地制订采摘任务、启动采摘任务;监控设备持续地采集与果园/果树/果实、采摘设备、集中区相关的监控数据,并上传给作业系统;在作业过程中,采摘设备上报设备状态及作业状态信息给作业系统;客户端从作业系统获取监控数据、设备状态信息、作业状态信息及外部业务状态信息,可以实时或准实时地刷新用户界面,实现可视化作业。
5)远程作业控制:用户可以通过客户端开始/停止采摘任务,可以通过客户端调整采摘任务(即修改或重新设置任务参数),可以通过客户端暂停/恢复/取消采摘任务,实现采摘作业的远程控制。
6)与外部业务无缝集成:提供支持外部业务的数据服务接口,实现采摘系统与生产系统、电子商务系统、供应链系统、期货交易系统的无缝集成;针对生产型应用,可以提供果树/果实病虫害分析、果树/果实营养状态分析、果树/果实长势分析(例如结果率/果实尺寸/果实营养成分等)、果实产量估计、果实品质估计等数据服务接口;针对商业型应用,可以支持电子商务(例如在线订单)、供应链(例如商品配送)、期货交易等数据服务接口。
7)与监控设备无缝集成:监控设备采集的数据,可以用于实现采摘设备运动与作业所需的辅助感知功能,提升了采摘设备的感知能力与作业效率;通过AI与算法引擎进行多维约束条件分析可以发起推荐性采摘任务,或对监控设备采集的数据,通过AI与算法引擎的分析,可以触发采摘任务,实现与电子商务、供应链、期货交易等外部业务的无缝集成。
8)支持为一个或多个用户帐号之间,将系统中的果园/果树/果实待采摘资源与可用的采摘设备之间进行双向匹配,以支持在线租赁采摘设备的业务,以及在线寻找临时采摘工作的业务。
以上所述仅是本发明的优选实施方式,并不用于限制本发明,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变型,这些改进和变型也应视为本发明的保护范围。

Claims (10)

1.一种果实采摘系统,其特征在于,包括采摘设备、监控设备、作业系统及客户端;所述采摘设备包括必选的采摘器,以及收集器、运输器、缓冲器中的一种或多种,配备于采摘设备上或独立使用的容器;
其中,所述采摘器,
配备有轮式、履带式、导轨式或吊轨式运动底盘,用于实现运动功能;
配备一个或多个机械臂,用于实现采摘果实所需的三维空间运动;
在机械臂上配备一个或多个末端执行器,用于实现采摘果实功能;
在机械臂、末端执行器或采摘器的其它合适位置上配备一个或多个摄像头,用于实现采摘果实所需的感知功能;
配备一个或多个控制器模块,用于实现运动、SLAM自主导航、采摘果实所需的计算与控制功能;
配备一个或多个位置传感器或定位装置,用于获取设备本身的位置信息;
配备一个或多个网络接口,用于采摘器对外通信;所述网络为WiFi、蜂窝通信网、ZigBee或蓝牙;
所述监控设备,
配备一个或多个摄像头或传感器,用于采集与果园/果树/果实、采摘设备、集中区相关的视频/图像数据,实时或准实时地上传至作业系统;所述摄像头或传感器相对固定地安装在果园内部或果园周边,或安装在可移动设备上,所述可移动设备包括便携终端/手机、无人机,巡检机器人;
配备一个或多个网络接口,用于监控设备对外通信;所述网络为WiFi、蜂窝通信网、ZigBee或蓝牙;
所述监控设备提供的数据用于支持采摘系统的内部功能,包括制订任务、调整任务、采摘作业、收集作业及运输作业;也用于通过AI与算法引擎及数据服务支持外部业务;也用于采摘器、收集器、运输器运动与作业所需的辅助感知功能;
所述作业系统、客户端用于提供多机协同的智能化采摘方案,以执行大规模自动化作业;其中,
所述作业系统包括数据服务模块,GIS服务模块、AI与算法引擎、系统管理模块及任务管理模块;各模块单独部署为独立的模块或服务,或采用基于公有云的模块或服务;
所述数据服务模块用于提供作业系统相关基础数据的存储与管理服务,并为外部业务提供数据服务接口,包括:
基础数据的存储:相关的基础数据包括采摘设备提供的设备状态数据、作业状态数据;监控设备采集并上传的与果园/果树/果实、采摘设备、集中区相关的视频/图像数据或其它监控数据;
基础数据的管理:为基础数据建立多元索引;在基础数据更新时,维护索引的一致性;为客户端、以及作业系统的任务管理模块、系统管理模块、AI与算法引擎、GIS服务模块提供基础数据的查询、读取、修改、删除功能;
外部业务接口:提供支持外部业务的数据服务接口;所述的外部业务包括生产型应用与商业型应用;针对生产型应用,提供果树/果实病虫害分析、果树/果实营养状态分析、果树/果实长势分析、果实产量估计、果实品质估计数据服务接口;针对商业型应用,支持电子商务、供应链、期货交易数据服务接口;
所述GIS服务模块用于提供GIS系统所需的基础功能,包括:数据采集/数据导入/数据导出、数据处理与存储管理、空间查询与空间分析、地图显示;并在此基础上提供面向果园/果树/果实及采摘作业管理的数字地图服务,包括:
GIS数据管理:静态GIS数据,包括:果园的地理边界与地理范围数据;果树的地理位置与地理范围数据;集中区的地理位置与地理范围数据;动态GIS数据,包括:由采摘设备上传的实时地理位置数据;
数字地图服务:支持3D或2D数字地图服务;地图要素包括集中区、果园/果树/果实、采摘设备、监控设备的实体数据;
所述AI与算法引擎用于基于传统机器学习的算法与模型、基于深度学习的算法与模型、以及人工智能算法与模型、内容搜索算法与模型,为任务管理、资源分配、采摘设备作业及外部业务提供所需的智能分析功能,包括:
基于监控设备提供的与果园/果树/果实、采摘设备、集中区相关的监控数据,基于采摘设备上传的设备状态与作业状态数据,基于采摘系统积累的历史数据,通过AI分析获得的定量化或定性化数据,用于支持采摘系统的内部功能,包括制订任务、调整任务、采摘作业、收集作业及运输作业;以及用于支持外部业务;
资源分配算法:提供由任务参数、任务工期、可用采摘设备资源构成的多维参数约束模型;针对给定的任务参数及要求的任务工期,估计完成任务所需的采摘设备资源;或针对给定的任务参数及可用的采摘设备资源,估计完成任务所需的工期;
所述系统管理模块用于用户管理、资产管理与设备管理,包括:
用户管理:提供用户帐号创建/维护/更新/删除的基础管理功能;提供用户身份认证功能;提供权限管理功能;
资产管理:提供果园/果树/集中区数字化资产的创建/维护/更新/删除/转移的基础管理功能;提供对第三方果园/果树/果实资源在承接临时采摘工作期内可访问性的管理功能;
设备管理:提供采摘设备基本信息的存储、管理与维护功能;基本信息包括设备编号、设备种类、设备能力、设备功耗信息、维修信息;提供对第三方租赁采摘设备临时可用性的管理功能;在采摘任务执行的过程中,实时或准实时维护采摘设备的状态信息,通过数据服务或GIS服务提供给客户端;
所述任务管理模块用于采摘任务管理,包括:
制订任务:与客户端、数据服务、GIS服务、AI与算法引擎相配合,设置任务参数;
修改任务:与客户端、数据服务、GIS服务、AI与算法引擎相配合,修改或重新设置任务参数;
分配任务:与AI与算法引擎、系统管理模块、采摘设备相配合,完成资源分配并将任务参数下发至采摘设备;
执行任务:与客户端及采摘设备相配合,启动并控制任务执行的功能;包括开始/停止任务;暂停/恢复/取消任务;对正在作业的任务,实时或准实时维护任务的状态信息,通过数据服务或GIS服务提供给客户端;
所述客户端用于:提供访问作业系统任务管理功能的用户界面,包括设置/调整任务参数,开始/停止/暂停/恢复/取消采摘任务,显示设备状态、任务状态及外部业务状态;提供访问作业系统的系统管理功能、GIS服务功能的用户界面。
2.根据权利要求1所述的果实采摘系统,其特征在于,所述采摘器还包括下述中的至少一项:
配备一个或多个避障传感器,用于实现运动过程中的避障功能;
配备一个或多个碰撞传感器,用于实现运动过程中的防碰撞功能;
配备一个或多个摄像头,用于实现基于视觉SLAM的自主导航;
配备一个或多个激光雷达,用于实现基于激光雷达SLAM的自主导航;
配备一个或多个容器,用于临时存放采摘的果实。
3.根据权利要求1所述的果实采摘系统,其特征在于,所述收集器,
配备有轮式、履带式、导轨式或吊轨式运动底盘,用于实现运动功能;
配备一个或多个机械臂,用于实现收集果实所需的三维空间运动;
在机械臂上配备一个或多个末端执行器,用于实现收集果实功能;
配备一个或多个控制器模块,用于实现运动、SLAM自主导航、收集果实所需的计算与控制功能;
配备一个或多个位置传感器或定位装置,用于获取设备本身的位置信息;
配备一个或多个网络接口,用于收集器对外通信;所述网络为WiFi、蜂窝通信网、ZigBee或蓝牙。
4.根据权利要求3所述的果实采摘系统,其特征在于,所述收集器还包括下述中的至少一项:
配备一个或多个避障传感器,用于实现运动过程中的避障功能;
配备一个或多个碰撞传感器,用于实现运动过程中的防碰撞功能;
配备一个或多个摄像头,用于实现基于视觉SLAM的自主导航;
配备一个或多个激光雷达,用于实现基于激光雷达SLAM的自主导航;
在机械臂、末端执行器或收集器的其它合适位置上配备一个或多个摄像头,用于实现收集果实所需的感知功能;
配备一个或多个容器,用于临时存放采摘或收集的果实。
5.根据权利要求1所述的果实采摘系统,其特征在于,所述运输器,
配备有轮式、履带式、导轨式或吊轨式运动底盘,用于实现运动功能;
配备一个或多个执行机构,用于实现将容器从采摘器、收集器、或作业区转移至运输器载具,以及为采摘器、收集器、或作业区补充容器;
配备一个或多个控制器模块,用于实现运动、SLAM自主导航、转移容器与补充容器所需的计算与控制功能;
配备一个或多个位置传感器或定位装置,用于获取设备本身的位置信息;
配备一个或多个网络接口,用于运输器对外通信;所述网络为WiFi、蜂窝通信网、ZigBee或蓝牙。
6.根据权利要求5所述的果实采摘系统,其特征在于,所述运输器还包括下述中的至少一项:
配备一个或多个避障传感器,用于实现运动过程中的避障功能;
配备一个或多个碰撞传感器,用于实现运动过程中的防碰撞功能;
配备一个或多个摄像头,用于实现基于视觉SLAM的自主导航;
配备一个或多个激光雷达,用于实现基于激光雷达SLAM的自主导航;
在执行机构或收集器的其它合适位置上配备一个或多个摄像头,用于实现转移容器与补充容器所需的感知功能;
配备一个或多个容器,用于临时存放采摘或收集的果实。
7.根据权利要求1所述的果实采摘系统,其特征在于,所述静态GIS数据还包括:粒度细化到一个单位果实或多个单位果实的地理位置数据;移动监控设备上传的地理位置数据及对应监控区的地理范围数据;固定监控设备的地理位置及对应监控区的地理范围数据;
所述地图要素还包括:采摘设备的运动/导航/作业所需的路径数据;采摘系统所需的其它辅助性元数据。
8.一种权利要求1-7任一项所述的果实采摘系统的作业方法,其特征在于,包括:
客户端发起采摘任务的作业方法:
M1-1,客户端发起采摘任务请求;
M1-2,作业系统与客户端配合,任务管理模块完成制订任务;
M1-3,作业系统通过AI与算法引擎完成资源分配,然后通过任务管理模块并向采摘设备发送分配任务消息;完成任务分配之后,作业系统任务管理模块向采摘设备发送启动任务消息,以启动采摘作业/收集作业/运输作业;
M1-4,作业完成后,采摘设备向作业系统发送任务完成消息;作业系统任务管理模块收到任务完成消息后,向客户端发送任务结束消息;作业系统通过数据管理模块外部业务接口,将外部业务相关的数据发送至外部业务系统;
M1-5,客户端收到任务结束消息,更新任务状态,更新用户界面,刷新设备状态及作业状态;
外部业务电子商务/订单触发采摘任务的作业方法:
M2-1,外部业务电子商务/订单系统发起订单请求;
M2-2,作业系统数据服务模块收到订单请求;
M2-3,作业系统任务管理模块根据订单请求发起采摘任务请求,与GIS服务、AI与算法引擎、系统管理相配合,完成制订任务;步骤M2-3需要经过客户端确认;
M2-4,作业系统通过AI与算法引擎完成资源分配,然后通过任务管理模块并向采摘设备发送分配任务消息;完成任务分配之后,作业系统任务管理模块向采摘设备发送启动任务消息,以启动采摘作业/收集作业/运输作业;
M2-5,作业完成后,采摘设备向作业系统发送任务完成消息;作业系统收到任务完成消息后,向客户端发送任务结束消息;作业系统通过数据管理模块外部业务接口,将外部业务相关的数据发送至外部业务系统;
M2-6,客户端收到任务结束消息,更新任务状态,更新用户界面,刷新设备状态、作业状态及外部业务状态;
监控数据触发采摘任务的作业方法:
M3-1,监控设备将果园/果树的监控数据上传至作业系统;
M3-2,作业系统数据服务模块收到果园/果树的相关监控数据;
M3-3,作业系统AI与算法引擎对果园/果树的相关监控数据及系统中积累的历史数据与业务数据进行分析;
M3-4,作业系统任务管理模块根据分析结果发起采摘任务请求,与GIS服务、AI与算法引擎、系统管理相配合,完成制订任务;步骤M3-4需要经过客户端确认;
M3-5,作业系统通过AI与算法引擎完成资源分配,然后通过任务管理模块并向采摘设备发送分配任务消息;完成任务分配之后,作业系统任务管理模块向采摘设备发送启动任务消息,以启动采摘作业/收集作业/运输作业;
M3-6,作业完成后,采摘设备向作业系统发送任务完成消息;作业系统收到任务完成消息后,向客户端发送任务结束消息;作业系统通过数据管理模块外部业务接口,将外部业务相关的数据发送至外部业务系统;
M3-7,客户端收到任务结束消息,更新任务状态,更新用户界面,刷新设备状态、作业状态及外部业务状态;
AI推荐触发采摘任务的作业方法:
M4-1,作业系统AI与算法引擎对采摘系统的监控数据、积累的历史数据与业务数据进行分析;
考察基于由存在业务需求、存在果实可采摘、存在可用采摘设备资源构成的多维约束条件,包括:分析是否存在外部业务导致的采摘需求,分析果实是否成熟,是否达到满足可采摘条件,分析是否有空闲可用的采摘设备;所述多维约束条件分析在系统的同一个用户帐号之间进行,或在系统的不同用户帐号之间进行;
M4-2,作业系统任务管理模块根据分析结果发起推荐性采摘任务请求,与GIS服务、AI与算法引擎、系统管理相配合,完成制订任务;步骤M4-2需要经过一个或多个用户帐号客户端确认;
M4-3,作业系统通过AI与算法引擎完成资源分配,然后通过任务管理模块并向采摘设备发送分配任务消息;完成任务分配之后,作业系统任务管理模块向采摘设备发送启动任务消息,以启动采摘作业/收集作业/运输作业;
M4-4,作业完成后,采摘设备向作业系统发送任务完成消息;作业系统收到任务完成消息后,向客户端发送任务结束消息;作业系统通过数据管理模块外部业务接口,将外部业务相关的数据发送至外部业务系统;
M4-5,客户端收到任务结束消息,更新任务状态,更新用户界面,刷新设备状态、作业状态及外部业务状态;
客户端租赁采摘设备的作业方法:
M5-1,甲方客户端设置采摘设备为可用状态;
M5-2,乙方客户端发起搜索可用的采摘设备请求;
M5-3,作业系统通过AI与算法引擎,对系统中可用的采摘设备资源进行搜索;所述的资源搜索在系统的一个或多个用户帐号之间进行;作业系统将搜索结果返回给乙方客户端,下一步转M5-4;作业系统根据搜索结果自动选择合适的采摘设备资源,发起租赁采摘设备请求,所述的租赁请求针对系统的一个或多个用户帐号,下一步转M5-5;
M5-4,乙方客户端在搜索结果中选择合适的采摘设备资源,发起租赁采摘设备请求,所述的租赁请求针对系统的一个或多个用户帐号;
M5-5,甲方客户端确认同意租赁采摘设备请求;作业系统自动为甲方客户端确认同意租赁采摘设备请求;所述的确认同意租赁涉及租赁请求相关的一个或多个用户帐号;
M5-6,作业系统通过系统管理模块,将租赁涉及的第三方采摘设备,在甲方客户端所属的用户帐号内设置为租赁期内临时可用;
M5-7,采用所述发起采摘任务的作业方法,包括:M1-1至M1-5;M2-1至M2-6;M3-1至M3-7;M4-1至M4-5中的任一作业方法;启动作业;
客户端寻找临时采摘工作的作业方法:
M6-1,甲方客户端设置果园/果树/果实状态可对外查询;
M6-2,乙方客户端发起寻找临时采摘工作请求;
M6-3,作业系统通过AI与算法引擎,对系统中可对外查询的果园/果树/果实资源进行搜索;所述的资源搜索在系统的一个或多个用户帐号之间进行;作业系统将搜索结果返回给乙方客户端,下一步转M6-4;作业系统根据搜索结果自动选择合适的待采摘资源,发起承接临时采摘工作请求,所述的临时采摘工作请求针对系统的一个或多个用户帐号,下一步转M6-5;
M6-4,乙方客户端在搜索结果中选择合适的待采摘资源,发起承接临时采摘工作请求,所述的临时采摘工作请求针对系统的一个或多个用户帐号;
M6-5,甲方客户端确认同意临时采摘工作请求;作业系统自动为甲方客户端确认同意临时采摘工作请求;所述的确认同意临时采摘工作请求涉及相关的一个或多个用户帐号;
M6-6,作业系统通过系统管理模块,将临时采摘工作请求涉及的第三方果园/果树/果实资源,在甲方客户端所属的用户帐号内设置为承接临时采摘工作期内可访问;
M6-7,采用所述发起采摘任务的作业方法,包括:M1-1至M1-5;M2-1至M2-6;M3-1至M3-7;M4-1至M4-5中的任一作业方法;启动作业。
9.根据权利要求8所述的果实采摘系统的作业方法,其特征在于,所述客户端设置任务参数的方法包括:
通过指定待采摘区域定义采摘任务的作业范围:
a)客户端向作业系统请求GIS服务,打开果园的数字地图;展示果园中的待采摘区域;
b)通过客户端的数字地图,选出包含待采摘果树的一个或多个采摘区
Figure FDA0004051536380000091
其中
Figure FDA0004051536380000092
为待采摘区编号,M为待采摘区数目,1≤M≤g,g为采摘区的总数目,k与ik均为序号;
c)作业系统按照
Figure FDA0004051536380000093
定义采摘任务的作业范围;
通过指定待采摘果树定义采摘任务的作业范围:
a)客户端向作业系统请求GIS服务,打开果园的数字地图,展示果园中的待采摘果树;
b)通过客户端的数字地图,选出一棵或多棵待采摘果树
Figure FDA0004051536380000094
Figure FDA0004051536380000095
其中
Figure FDA0004051536380000096
为待采摘果树编号,N为待采摘果树数目,1≤N≤m,m为果树的总数目,k与ik均为序号;
c)作业系统按照
Figure FDA0004051536380000097
定义采摘任务的作业范围;
通过指定待采摘区域的线索或指示定义采摘任务的作业范围:
a)客户端向作业系统提供包含1≤M≤g个采摘区编号信息的线索/指示;
b)作业系统通过分析获得所述线索/指示隐含的M个采摘区的编号信息
Figure FDA0004051536380000098
M为待采摘区数目,g为采摘区的总数目,k与ik均为序号;
c)作业系统按照
Figure FDA0004051536380000099
定义采摘任务的作业范围;
通过指定待采摘果树的线索/指示定义采摘任务的作业范围:
a)客户端向作业系统提供包含1≤N≤m棵待采摘果树编号信息的线索/指示;
b)作业系统通过分析获得所述线索/指示隐含的N棵待采摘果树的编号信息
Figure FDA0004051536380000101
N为待采摘果树数目,m为果树的总数目,k与ik均为序号;
c)作业系统按照
Figure FDA0004051536380000102
定义采摘任务的作业范围;
通过指定待采摘果实的具体数量要求或线索/指示定义采摘任务的作业范围:
a)客户端向作业系统提供采摘n≥1个单位果实的具体数量要求或线索/指示;
b)作业系统通过分析获得所述具体数量要求或线索/指示隐含的采摘区的编号信息、与/或待采摘果树的编号信息、与/或待采摘果树的水果数量/编号信息;
c)作业系统据此定义采摘n≥1个单位果实的作业范围。
10.根据权利要求9所述的果实采摘系统的作业方法,其特征在于,所述采摘器的作业方法包括:
1)根据当前任务,自主导航至需要采摘器的作业区;
2)在待采摘果树上搜索可采摘的果实;
3)从待采摘果树上采摘一个或多个单位的果实;
4)将采摘下来的果实,放置在地面、容器、或其它可能的暂存处;包括:利用缓冲器对果实进行保护;
5)上报状态:上报当前设备状态;上报当前作业状态;上报当前作业的统计数据;
所述收集器的作业方法包括:
1)根据当前任务需求,自主导航至需要收集器的作业区;
2)搜索地面、容器、或其它可能的暂存处已采摘的果实;
3)将地面、容器、或其它可能的暂存处已采摘的果实,放置到采摘器、收集器或运输器配备的容器或独立容器中;利用缓冲器对果实进行保护;
4)上报状态:上报当前设备状态;上报当前作业状态;上报当前作业的统计数据;
所述运输器的作业方法包括:
1)根据当前任务需求,自主导航至需要运输器的作业区;
2)选择采摘或收集好的,装有果实的容器,转移至运输器载具上;
3)为被转移的容器补充替换的容器;
4)将装有果实的容器,运输至集中区;
5)到达集中区后,根据作业要求,将装有果实的容器转移至目标位置或后续工序位置;将完成采摘的果实转移至电子商务或供应链的相应环节;
6)上报状态:上报当前设备状态;上报当前作业状态;上报当前作业的统计数据。
CN202210450797.XA 2022-04-27 2022-04-27 一种果实采摘系统及其作业方法 Active CN114847005B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210450797.XA CN114847005B (zh) 2022-04-27 2022-04-27 一种果实采摘系统及其作业方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210450797.XA CN114847005B (zh) 2022-04-27 2022-04-27 一种果实采摘系统及其作业方法

Publications (2)

Publication Number Publication Date
CN114847005A CN114847005A (zh) 2022-08-05
CN114847005B true CN114847005B (zh) 2023-04-07

Family

ID=82633173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210450797.XA Active CN114847005B (zh) 2022-04-27 2022-04-27 一种果实采摘系统及其作业方法

Country Status (1)

Country Link
CN (1) CN114847005B (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2529610A1 (en) * 2011-05-30 2012-12-05 Agri-Esprit SAS Method for harvest monitoring
CN103163858B (zh) * 2012-12-11 2015-04-22 江苏大学 温室果蔬的机器人采摘-接运协同作业系统与控制方法
CN103749094A (zh) * 2013-12-16 2014-04-30 西北农林科技大学 一种猕猴桃果实采摘机器人及采摘方法
EP3537867B1 (en) * 2016-11-08 2023-08-02 Dogtooth Technologies Limited A robotic fruit picking system
CN107139182B (zh) * 2017-06-05 2019-05-03 重庆理工大学 一种柑橘采摘机器人系统及其控制方法
CN209861627U (zh) * 2018-09-30 2019-12-31 广东机电职业技术学院 一种果实采摘及分类系统
CN111673755B (zh) * 2020-06-24 2023-02-03 西北农林科技大学 一种基于视觉伺服的采摘机器人控制系统及控制方法
CN111833154A (zh) * 2020-07-22 2020-10-27 玉环睿升自动化技术有限公司 农作物的产销一体系统
CN113487233A (zh) * 2021-07-29 2021-10-08 秦皇岛领思科技有限公司 一种山地果树采摘智能管理系统及运行方法

Also Published As

Publication number Publication date
CN114847005A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
US20170278047A1 (en) Dynamic task interleaving in robot assisted order-fulfillment operations
JP2019528216A5 (zh)
CN109862778A (zh) 用于收割和稀释的无人机群管理的系统和方法
CN108945912A (zh) 一种智能补货系统及方法
US11724395B2 (en) Robot congestion management
CN106453551A (zh) 一种办公室内物品递送机器人任务规划与执行装置及方法
US20190217478A1 (en) Robot gamification for improvement of operator performance
US20200037522A1 (en) Robotic watering device for maintaining live plants
US11645614B2 (en) System and method for automated fulfillment of orders in a facility
JP2022523506A (ja) 倉庫注文履行動作における通い箱誘導
US20230157227A1 (en) System for watering live plants on a maneuverable rack
WO2021194894A1 (en) Horticulture aided by autonomous systems
CN207182078U (zh) 一种运粮调度系统及运粮车监控装置
FR3112414A1 (fr) Système et procede de gestion d’une pluralite de robots mobiles pour la preparation de commandes de produits stockes dans un entrepot
JP7018464B2 (ja) 情報処理装置及びプログラム
CN114847005B (zh) 一种果实采摘系统及其作业方法
JP7308482B2 (ja) 収穫ロボットシステム
Mokrane et al. UAV coverage path planning for supporting autonomous fruit counting systems
WO2022055851A1 (en) Sequence adjustment for executing functions on items in an order
CN106926254A (zh) 基于rtk技术的高精度定位自动导航农业机器人
CN113811903A (zh) 工作场所装备路径规划
CA3127331C (en) Robot gamification for improvement of operator performance
Kaya et al. The Use of Collaborative Robots as an Internal Logistics Solution and the Effect of These Robots on Increased Operational Efficiency
WO2023222855A1 (en) Autonomous robotic assistance system and method in agricultural tasks
Hsieh et al. Research on Contactless Delivery Drone

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant