CN114080905A - 基于数字双胞胎的采摘方法及云采摘机器人系统 - Google Patents

Abstract

本发明提供一种基于数字双胞胎的采摘方法和云采摘机器人系统，通过云采摘机器人系统中的云服务器构建种植园环境数字孪生体和采摘机器人数字孪生体，操作人员根据云服务器呈现的可视化信息远程控制采摘机器人进行采摘作业。通过本发明的技术方案，基于数字双胞胎技术将种植园采摘环境进行虚拟重建，可通过云服务器远程、可视的方式完成采摘作业，在一个操作人员的情况下远程完成多个采摘任务，降低目前采摘机器人对现场操作人员的依赖。

Description

基于数字双胞胎的采摘方法及云采摘机器人系统

技术领域

本发明涉及农业采摘领域，尤其涉及一种基于数字双胞胎的采摘方法及云采摘机器人系统。

背景技术

目前，采摘作业在农业生产中，大量采用人工采摘的形式，这种方式采摘效率低下，人员劳动强度大，对于大规模的种植园来说，采摘成本过高。近年来随着我国农业产业结构的调整及林果种植面积的不断扩大，劳动力成本的日益上涨、人口老龄化等带来的劳动力不足等问题日益突出，急需一批自动化、智能化的采摘设备来实现林果的采摘，以解放现有劳动力、提高生产效率并降低生产成本。

基于这一现象，已经有相当多的研究聚焦于采摘机器人的研发上，重点针对采摘效率、采摘精度等方面，能够完成一部分的采摘任务。然而，采摘机器人的操作仍需要较高的专业水平，并且采摘任务耗时较长，对作业人员的劳动时间要求高，也在一定程度上限制采摘机器人的应用。因此，需要提供一种新的系统和方法，使一个操作人员可远程完成多个采摘任务，进一步降低目前采摘机器人对现场操作人员的依赖。

发明内容

本发明是鉴于以上技术问题所提出的，提供一种基于数字双胞胎的采摘方法及云采摘机器人系统，在仅有一个操作人员的情况下，可远程完成多个采摘任务，实现远程、实时、直观、高效的采摘作业。

根据本发明实施例的第一方面，提供了一种基于数字双胞胎的采摘方法，该方法包括：

云服务器根据采摘机器人在种植园现场巡航反馈的包括植株、障碍物的环境信息构建基于经纬度的种植园环境数字孪生体；

云服务器在构建种植园环境数字孪生体的同时，根据深度神经网络对采集的图像信息中的果蔬进行识别，结合图像信息中的点云数据，获取果蔬坐标与果蔬形状信息，并在种植园环境数字孪生体中标注果蔬三维信息，完成对果蔬目标的一次定位；

云服务器根据采摘机器人实时反馈的信息生成采摘机器人数字孪生体，并通过导航装置信息在种植园环境数字孪生体中进行实时映射；

操作人员根据云服务器呈现的种植园环境数字孪生体和采摘机器人数字孪生体的可视化信息，远程控制采摘机器人移动至采摘起始位置启动采摘任务；

采摘机器人根据种植园环境数字孪生体中的果蔬信息，以采摘起始位置为路径起始点与终止点，生成覆盖所有果蔬目标的行走路径并移动进行采摘；

云服务器根据采摘机器人移动过程中实时反馈的包括植株、障碍物的环境信息同步修正种植园环境数字孪生体；

云服务器根据采摘机器人在采摘目标位置反馈的信息对采摘目标进行二次定位，并驱动采摘机器人完成对采摘目标的采摘动作。

根据本发明实施例的第二方面，提供了一种如第一方面的基于数字双胞胎的采摘方法，其中，对采摘目标进行二次定位的方法包括：

采摘机器人按照行走路径进行自动采摘任务，根据种植园环境数字孪生体中的果蔬信息，结合自身的经纬度坐标，查找距离最近的果蔬位置进行采摘；

采摘机器人移动至距离最近的果蔬采摘目标处，根据种植园数字孪生体中该果蔬的坐标信息，驱使机械臂移动至采摘目标位置下方，在机械臂移动过程中，利用位于采摘机器人采摘装置上的第一相机采集该采摘目标果蔬附近环境的信息，云服务器对采集信息中采摘目标果蔬位置进行多次判别，通过对判别结果取平均值完成对采摘目标的二次定位。

采用该方法，通过在具体采摘过程中对数字孪生体的动态修补以及对采摘目标的二次定位，细化数字孪生体的粒度，提高采摘目标的定位精度，增加采摘的成功率。

根据本发明实施例的第三方面，提供了一种如第一方面的基于数字双胞胎的采摘方法，其构建基于经纬度的种植园环境数字孪生体的方法包括：

操作人员实地勘探种植园地形环境，确定所有可行道路，通过导航装置在导航地图中规划所有可行道路的巡航线路；

获取行进路线后，采摘机器人在导航装置的引导下，采摘机器人的移动AGV小车根据地图信息进行巡航，同时开启第二相机、第三相机、第四相机、第五相机、第六相机和第七相机采集种植园包括植株、障碍物的环境的点云信息；

同一时刻采集到的点云信息与导航装置获取的经纬度信息，通过通讯装置实时传输到云服务器；

云服务器在接收到种植园环境的点云信息后，通过三维重建算法完成种植园三维模型的建图任务，结合导航装置生成的经纬度信息，完成基于经纬度的种植园包括植株、障碍物的环境的数字孪生体的构建。

根据本发明实施例的第四方面，提供了一种如第一方面的基于数字双胞胎的采摘方法，其中，采摘机器人在种植园环境数字孪生体中实时映射的方法包括：

采摘机器人在运行过程中，控制系统通过串口通信获取采摘机器人的六自由度机械臂的实时位姿，并通过通讯装置实时反馈六自由度机械臂的位姿信息到云服务器；

云服务器根据采摘机器人实时的六自由度机械臂的位姿信息，结合采摘机器人各部分的安装参数，生成采摘机器人的数字孪生体；

云服务器根据采摘机器人导航装置获取的实时经纬度信息与采摘机器人实时方向信息，通过经纬度将采摘机器人数字孪生体与基于经纬度的种植园环境的数字孪生体融合，并基于实时方向信息确定采摘机器人的行进方向，实现采摘机器人数字孪生体在基于经纬度的种植园环境的数字孪生体中的实时映射。

根据本发明实施例的第五方面，提供了一种如第一方面的基于数字双胞胎的采摘方法，其中，动态修正基于经纬度的种植园环境数字孪生体的方法包括：

采摘机器人移动过程中，第二相机、第三相机、第四相机、第五相机、第六相机和第七相机分别采集采摘机器人移动AGV小车周围的点云信息与图像信息，结合导航装置信息，通过通讯装置传送至云服务器；

云服务器通过采集的点云信息以及导航装置信息，基于经纬度提取当前位置对应的数字孪生体中的点云信息，通过关键点匹配算法，将新采集的点云信息与孪生体中的点云信息进行匹配，对已构建的基于经纬度的种植园环境数字孪生体模型进行实时地修补，细化模型的粒度以不断动态修正基于经纬度的种植园环境数字孪生体。

根据本发明实施例的第六方面，提供了一种如第一方面的基于数字双胞胎的采摘方法，其采摘方法还包括：

操作人员在远程执行采摘过程中，通过实时观察基于经纬度的种植园环境数字孪生体模型和采摘机器人数字孪生体模型，根据云服务器收集的采摘机器人的六自由度机械臂的实时位姿以及各传感器的传感信号，实时对采摘过程进行监控与控制，并同时远程诊断采摘机器人系统的健康状况。

根据本发明实施例的第七方面，提供了一种基于数字双胞胎的云采摘机器人系统，该系统包括：

采摘机器人，该采摘机器人具有移动装置、控制系统、图像采集装置、通讯装置、导航装置和采摘装置；

云服务器，该云服务器具有接收模块、分析识别模块和发送模块，其接收模块用于接收采摘机器人采集的信息，以便云服务器构建基于经纬度的种植园环境数字孪生体模型、采摘机器人数字孪生体模型和动态修正基于经纬度的种植园环境数字孪生体模型；其识别分析模块用于识别分析出采摘机器人采集信息中的果蔬坐标；其发送模块用于向采摘机器人发送云服务器的识别分析结果以及操作人员的远程操作指令；

操作平台，该操作平台用于操作人员实时监控云服务器呈现的种植园环境数字孪生体和采摘机器人数字孪生体可视化信息以及远程操作控制采摘机器人完成采摘任务。

根据本发明实施例的第八方面，提供了一种如第七方面的基于数字双胞胎的云采摘机器人系统，其中，移动装置为移动AGV小车，该移动AGV小车位于采摘机器人的底部；

移动AGV小车上装配控制系统、图像采集装置、通讯装置、导航装置和采摘装置；其中，控制系统为PLC控制系统；图像采集装置为包括第一相机、第二相机、第三相机、第四相机、第五相机、第六相机和第七相机组成的全方位图像采集相机组；通讯装置包括无线通讯模块；采摘装置具有六自由度机械臂和末端采摘执行机构；

其六自由度机械臂安装于AGV小车上方的正前方位置，末端采摘执行机构通过法兰盘支架固定在六自由度机械臂上部；PLC控制系统安装于移动AGV小车上方六自由度机械臂的后部，PLC控制系统的上方固定安装具有安装平台；安装平台上设置具有无线通讯模块；导航装置安装于移动AGV小车上方六自由度机械臂底部的前方。

根据本发明实施例的第九方面，提供了一种如第八方面的基于数字双胞胎的云采摘机器人系统，其中，全方位图像采集相机组中的第一相机位于末端采摘执行机构的后部，倾斜安装在法兰盘支架上；

第二相机倾斜向上安装在移动AGV小车左上方位置；

第三相机倾斜向上安装在移动AGV小车右上角；

第四相机倾斜向上安装在移动AGV小车左下角；

第五相机倾斜向上安装在移动AGV小车右下角位置；

第六相机安装在安装平台的左侧；

第七相机安装在安装平台的右侧。

根据本发明实施例的第十方面，提供了一种如第九方面的基于数字双胞胎的云采摘机器人系统，其中，第一相机倾斜安装角度为45°，第一相机视野中心与末端采摘执行机构的正上方35cm处交叉；

第二相机、第三相机、第四相机和第五相机倾斜向上安装角度均为30°；

第六相机朝向移动AGV小车左侧，倾斜角度为15°，第七相机朝向移动AGV小车右侧，倾斜角度为15°。

本发明的有益效果具有：

1.本发明基于数字双胞胎技术，将种植园采摘环境进行虚拟重建，通过云服务器远程、可视的方式完成采摘作业，解决当前人工采摘作业劳动力需求大，机械采摘对操作人员依赖高的难点。在一个操作人员的情况下远程完成多个采摘任务，提高生产效率，降低采摘成本与人员配置要求，具有远程、实时、直观、高效的优点。

2.本发明在构建采摘环境的数字孪生体过程中，将点云信息与经纬度进行融合，实现数字孪生体与真实采摘场景的映射，增加数字孪生体的表现力，降低技术人员的操作难度。

参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

附图说明

所包括的附图用来提供对本发明的进一步的理解，其构成了说明书的一部分，例示了本发明的优选实施方式，并与文字说明一起用来解释本发明的原理。

在附图中：

图1是本发明实施例基于数字双胞胎的采摘方法的流程图；

图2是本发明实施例基于数字双胞胎的云采摘机器人系统的示意图；

图3是本发明实施例基于数字双胞胎的云采摘机器人系统的云服务器方框图；

图4是本发明实施例基于数字双胞胎的云采摘机器人系统中采摘机器人的示意图。

具体实施方式

参照附图，下面详细描述本申请的实施例，所述实施例的示例在附图中示出。通过下面的说明书，本发明的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本发明的特定实施方式，其表明了其中可以采用本发明的原则的部分实施方式，应了解的是，本发明不限于所描述的实施方式，通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

图1是本发明实施例基于数字双胞胎的采摘方法的流程图，如图所示，该方法包括如下步骤：

步骤S101：构建基于经纬度的种植园环境数字孪生体；

本步骤中，云服务器100根据采摘机器人200在种植园现场巡航反馈的植株、障碍物等环境的点云信息初步构建种植园环境的数字孪生体，并结合导航装置获取到的采摘机器人200的经纬度信息，计算点云坐标对应的经纬度信息，在初步生成的种植园环境数字孪生体中融合经纬度信息生成基于经纬度的种植园环境数字孪生体。

本步骤中，云服务器100在构建种植园环境数字孪生体的同时，根据深度神经网络对采集的图像信息中的果蔬进行识别，结合图像信息中的点云数据，获取果蔬坐标与果蔬形状信息，并在种植园环境数字孪生体中标注果蔬三维信息，完成对果蔬目标的一次定位。

在本步骤中，云服务器100构建基于经纬度的种植园环境数字孪生体的方法包括：

操作人员实地勘探种植园地形环境，确定所有可行道路，通过导航装置205在导航地图中规划所有可行道路的巡航线路；

获取行进路线后，采摘机器人200在导航装置的引导下，采摘机器人200的移动AGV小车201根据地图信息进行巡航，同时开启相机2032、相机2033、相机2034、相机2035、相机2036和相机2037采集种植园环境的点云信息；

同一时刻采集到的点云信息与导航装置获取的经纬度信息，通过通讯装置204实时传输到云服务器100；

云服务器100在接收到种植园植株、障碍物等环境的点云信息后，通过三维重建算法完成种植园三维模型的建图任务，结合导航装置生成的经纬度信息，在种植园三维模型的坐标点中融合经纬度信息，完成基于经纬度的种植园环境的数字孪生体的构建。

在本发明的一个实施例中，通讯装置包括便于远程通讯的无线通讯模块，优选的，例如采用5G通讯模块。

以上步骤中，采用深度神经网络的计算机算法分析识别果蔬图像信息采用现有技术，具体内容此处不再赘述(下同)。

步骤S102：构建采摘机器人数字孪生体；

本步骤中，云服务器100根据采摘机器人200实时反馈的信息生成采摘机器人数字孪生体；

云服务器100构建采摘机器人200的数字孪生体后并通过导航装置信息在种植园环境数字孪生体中进行实时映射。

在本步骤中，采摘机器人200在种植园环境数字孪生体中实时映射的方法包括：

采摘机器人200在运行过程中，控制系统202通过串口通信获取采摘机器人200的六自由度机械臂2061的实时位姿，优选地，控制系统202采用PLC控制系统，并通过通讯装置204实时反馈六自由度机械臂2061的位姿信息到云服务器100；

云服务器100根据采摘机器人200实时的六自由度机械臂2061的位姿信息，结合采摘机器人200各部分的安装位置，生成采摘机器人的数字孪生体；

云服务器100根据采摘机器人200导航装置205获取的实时经纬度信息与采摘机器人100实时方向信息，通过经纬度将采摘机器人数字孪生体与基于经纬度的种植园环境的数字孪生体融合，实现采摘机器人数字孪生体在基于经纬度的种植园环境的数字孪生体中的实时映射。

步骤S103：操作人员远程操作采摘作业；

本步骤中，操作人员根据云服务器100呈现的种植园环境数字孪生体和采摘机器人数字孪生体的可视化信息，远程控制采摘机器人200移动至采摘起始位置启动采摘任务；

采摘机器人200根据种植园环境数字孪生体中的果蔬信息，以采摘起始位置为路径起始点与终止点，生成覆盖所有果蔬目标的行走路径并移动进行采摘；

云服务器100根据采摘机器人200移动过程中实时反馈的环境信息同步修正种植园环境数字孪生体；

云服务器100根据采摘机器人200在采摘目标位置反馈的信息对采摘目标进行二次定位，并驱动采摘机器人100完成对采摘目标的采摘动作。

在本步骤中，对采摘目标进行二次定位的方法包括：

采摘机器人200按照行走路径进行自动采摘任务，根据种植园环境数字孪生体中的果蔬信息，结合自身的经纬度坐标，查找距离最近的果蔬位置进行采摘；

采摘机器人200查找距离最近的果蔬位置时，根据生成的覆盖所有果蔬的行走路径，以当前位置为参照点，查找路径上距离当前点最近的果蔬位置并进行移动。采摘机器人200移动至距离最近的果蔬采摘目标处，根据种植园数字孪生体中该果蔬的坐标信息，驱使六自由度机械臂2061移动至采摘目标位置的下方，优选的，可以驱使六自由度机械臂2061移动至采摘目标位置的下方35cm处，在六自由度机械臂2061移动过程中，利用位于采摘机器人200采摘装置206上的相机2031采集该采摘目标果蔬附近环境的信息。云服务器100对采集信息中采摘目标果蔬位置进行多次判别，通过对判别结果取平均值完成对采摘目标的二次定位。具体的，云服务器100在获取到相机2031采集的视频流数据后，更换适用于较大物体的深度识别模型，结合点云数据对每一帧的视频流中的采摘目标果蔬位置进行更精确的定位，同时基于相机2031的运动信息将不同帧间的相同采摘目标果蔬进行匹配，最终将相同的采摘目标果蔬在不同帧中的定位坐标取平均值作为采摘目标果蔬的二次定位坐标。

采用对采摘目标进行二次定位的方法，通过在具体采摘过程中对数字孪生体的动态修补以及对采摘目标的二次定位，细化数字孪生体的粒度，提高采摘目标的定位精度，增加采摘的成功率。

在上述步骤中，动态修正基于经纬度的种植园环境数字孪生体的方法包括：

采摘机器人200移动过程中，相机2032、相机2033、相机2034、相机2035、相机2036和相机2037分别采集采摘机器人200的移动AGV小车201周围的点云信息与图像信息，通过通讯装置204传送至云服务器100；

云服务器100通过采集的点云信息，对已构建的基于经纬度的种植园环境数字孪生体模型进行实时地修补，细化模型的粒度以不断动态修正基于经纬度的种植园环境数字孪生体。

根据本发明提供的一个优选实施例，操作人员在远程执行采摘过程中，通过实时观察基于经纬度的种植园环境数字孪生体模型和采摘机器人数字孪生体模型，根据云服务器100收集的采摘机器人200的六自由度机械臂2061的实时位姿以及各传感器的传感信号，实时对采摘过程进行监控与控制，并同时远程诊断采摘机器人系统的健康状况。

以下将以猕猴桃采摘为例，对本发明实施过程进行示例说明：

猕猴桃园地图信息的获取。实地勘测猕猴桃果园内的可行路线，通过采摘机器人的导航装置，根据可行路线的经纬度信息在导航装置中绘制出巡航地图。采摘机器人根据巡航地图进行定速巡航，同时采摘机器人中的第二相机、第三相机、第四相机、第五相机、第六相机、第七相机实时采集果园中猕猴桃树、棚架等障碍物的三维点云信息。PLC控制系统通过5G通信模块将采集到的点云信息与实时的导航信息发送至云服务器。

猕猴桃园数字孪生体的生成。云服务器在接收到多个相机的点云信息后，通过关键点匹配技术获取多相机视野重叠位置，利用三维重建技术生成果园的三维形貌，结合实时的导航信息，云服务器将三维形貌中每一点的虚拟空间位置与真实的经纬度匹配，构建基于经纬度的猕猴桃果园的数字孪生体。

猕猴桃目标的一次定位。云服务器在构建种植园环境数字孪生体的同时，根据采摘机器人运动过程中获取的彩色视频流，利用深度神经网络识别视频流中的猕猴桃，并且通过点云信息与彩色视频流的匹配关系，将识别到的猕猴桃在点云信息进行映射，获取猕猴桃目标的实际大小以及分布位置，在基于经纬度的猕猴桃果园的数字孪生体中将猕猴桃目标标注出来，完成猕猴桃目标的一次定位。

采摘机器人的实时映射。PLC控制系统通过串口监测六自由度机械臂的实时位姿，并通过导航系统采集采摘机器人的实时经纬度信息与运动方向信息。在PLC控制系统通过5G通信模块将实时位姿信息以及经纬度信息发送至云服务器后，云服务器根据采摘机器人安装参数，构建采摘机器人数字孪生体，并通过经纬度信息，将采摘机器人映射到相同经纬度的猕猴桃果园数字孪生体中，结合采摘机器人的运动方向，将采摘机器人在数字孪生体中的摆放角度与真实运动匹配，实现采摘机器人的实时映射。

采摘命令的下达。操作人员在操作平台上远程观察云服务器呈现的种植园环境数字孪生体和采摘机器人数字孪生体的可视化模型，根据猕猴桃分布情况与采摘机器人所处的位置，就近选择采摘起始位置并控制采摘机器人移动，启动采摘任务。

猕猴桃果园数字孪生体的动态修正。在采摘机器人移动过程中，第二相机、第三相机、第四相机、第五相机、第六相机、第七相机分别采集采摘机器人周围的彩色图像与点云信息，连同导航信息同步通过5G通信模块上传至云服务器中。云服务器根据获取的导航信息，将对应经纬度位置处的猕猴桃果园数字孪生体中的点云数据提取出来，与采集的点云信息进行匹配，对猕猴桃果园数字孪生体中的点云数据进行更新，细化模型的粒度，实现猕猴桃果园数字孪生体的动态修正。

猕猴桃的采摘。在采摘任务启动后，云服务器基于采摘起始位置，生成覆盖所有猕猴桃的行走路径。采摘机器人以当前点为参照点，移动至距离最近的猕猴桃目标位置处。根据猕猴桃果园数字孪生体中该猕猴桃的坐标信息，驱使六自由度机械臂移动至猕猴桃下方35cm处。在移动过程中，位于采摘装置上的相机打开并将机械臂末端采摘机构上方的环境图像信息与点云信息发送至云端服务器，云服务器更换适用于大目标检测的深度神经网络模型，对传输的图像信息进行检测，完成猕猴桃位置的二次定位校准，并将校准后的猕猴桃坐标传输给采摘机器人，驱使机械臂到达猕猴桃位置，实现猕猴桃的精准采摘。

机器人状态信息的监测。在整个采摘过程中，PLC控制系统实时监测采摘机器人核心部位温度、电气部件的工作情况、机械臂的实时位姿、相机的实时信息以及小车的运动状况，通过5G通信模块传送至云服务器。操作人员可通过网络连接至云服务器，远程完成猕猴桃采摘任务并监测机器人的健康情况。

以上，为本申请提供的一种基于数字双胞胎的采摘方法，与其相应的，本申请还提供了一种基于数字双胞胎的云采摘机器人系统。

图2是本发明实施例基于数字双胞胎的云采摘机器人系统的示意图，图3是其云服务器方框图，图4显示了其采摘机器人的示意图。如图所示，该云采摘机器人系统包括云服务器100、采摘机器人200和操作平台300。其中，采摘机器人200具有移动装置201、控制系统202、图像采集装置203、通讯装置204、导航装置205和采摘装置206。云服务器100具有接收模块101、分析识别模块102和发送模块103，接收模块101用于接收采摘机器人200采集的信息，以便云服务器100构建基于经纬度的种植园环境数字孪生体模型、采摘机器人数字孪生体模型和动态修正基于经纬度的种植园环境数字孪生体模型；识别分析模块102用于识别分析出采摘机器人200采集信息中的果蔬坐标；103发送模块用于向采摘机器人200发送云服务器100的识别分析结果以及操作人员的远程操作指令；操作平台300用于操作人员实时监控云服务器100呈现的种植园环境数字孪生体和采摘机器人数字孪生体可视化信息以及远程操作控制采摘机器人200完成采摘任务。

根据本发明提供的一个优选实施例，移动装置201为移动AGV小车，移动AGV小车201位于采摘机器人200的底部；移动AGV小车上装配控制系统202、图像采集装置203、通讯装置204、导航装置205和采摘装置206；其中，控制系统202为PLC控制系统；图像采集装置203为包括相机2031、相机2032、相机2033、相机2034、相机2035、相机2036和相机2037组成的全方位图像采集相机组；通讯装置204包括便于远程通讯的无线通讯模块，优选的，例如采用5G通讯模块。

采摘装置206具有六自由度机械臂2061和末端采摘执行机构2062。

六自由度机械臂2061安装于移动AGV小车201上方的正前方位置，末端采摘执行机构2062通过法兰盘支架2063固定在六自由度机械臂2061上部；PLC控制系统202安装于移动AGV小车201上方的六自由度机械臂2061的后部，PLC控制系统202的上方固定安装具有安装平台207；安装平台207上设置具有5G通讯模块204；导航装置205安装于移动AGV小车201上方的六自由度机械臂2061底部的前方。

根据本发明提供的一个优选实施例，其全方位图像采集相机组中的相机2031位于末端采摘执行机构2062的后部，倾斜安装在法兰盘支架2063上；相机2032倾斜向上安装在移动AGV小车201左上方位置；相机2033倾斜向上安装在移动AGV小车201右上角；相机2034倾斜向上安装在移动AGV小车201左下角；相机2035倾斜向上安装在移动AGV小车201右下角位置；相机2036安装在安装平台207的左侧；相机2037安装在安装平台207的右侧。

根据本发明提供的实施例的一个优选实施方式，相机2031倾斜安装角度为45°，相机2031视野中心与末端采摘执行机构2062的正上方35cm处交叉；相机2032、相机2033、相机2034和相机2035倾斜向上安装角度均为30°；相机2036朝向移动AGV小车201左侧，倾斜角度为15°，相机2037朝向移动AGV小车201右侧，倾斜角度为15°。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。

Claims (10)

1.一种基于数字双胞胎的采摘方法，其特征在于，所述方法包括：

云服务器根据采摘机器人在种植园现场巡航反馈的包括植株、障碍物的环境信息构建基于经纬度的种植园环境数字孪生体；

云服务器在构建种植园环境数字孪生体的同时，根据深度神经网络对采集的图像信息中的果蔬进行识别，结合图像信息中的点云数据，获取果蔬坐标与果蔬形状信息，并在种植园环境数字孪生体中标注果蔬三维信息，完成对果蔬目标的一次定位；

云服务器根据采摘机器人实时反馈的信息生成采摘机器人数字孪生体，并通过导航装置信息在种植园环境数字孪生体中进行实时映射；

操作人员根据云服务器呈现的种植园环境数字孪生体和采摘机器人数字孪生体的可视化信息，远程控制采摘机器人移动至采摘起始位置启动采摘任务；

采摘机器人根据种植园环境数字孪生体中的果蔬信息，以采摘起始位置为路径起始点与终止点，生成覆盖所有果蔬目标的行走路径并移动进行采摘；

云服务器根据采摘机器人移动过程中实时反馈的包括植株、障碍物的环境信息同步修正种植园环境数字孪生体；

云服务器根据采摘机器人在采摘目标位置反馈的信息对采摘目标进行二次定位，并驱动采摘机器人完成对采摘目标的采摘动作。

2.根据权利要求1所述的基于数字双胞胎的采摘方法，其特征在于，对采摘目标进行二次定位的方法包括：

采摘机器人按照行走路径进行自动采摘任务，根据种植园环境数字孪生体中的果蔬信息，结合自身的经纬度坐标，查找距离最近的果蔬位置进行采摘；

采摘机器人移动至距离最近的果蔬采摘目标处，根据种植园数字孪生体中该果蔬的坐标信息，驱使机械臂移动至采摘目标位置下方，在机械臂移动过程中，利用位于采摘机器人采摘装置上的第一相机采集该采摘目标果蔬附近环境的信息，云服务器对采集信息中采摘目标果蔬位置进行多次判别，通过对判别结果取平均值完成对采摘目标的二次定位。

3.根据权利要求1所述的基于数字双胞胎的采摘方法，其特征在于，所述构建基于经纬度的种植园环境数字孪生体的方法包括：

操作人员实地勘探种植园地形环境，确定所有可行道路，通过导航装置在导航地图中规划所有可行道路的巡航线路；

获取行进路线后，采摘机器人在导航装置的引导下，采摘机器人的移动AGV小车根据地图信息进行巡航，同时开启第二相机、第三相机、第四相机、第五相机、第六相机和第七相机采集种植园包括植株、障碍物的环境的点云信息；

同一时刻采集到的点云信息与导航装置获取的经纬度信息，通过通讯装置实时传输到云服务器；

云服务器在接收到种植园环境的点云信息后，通过三维重建算法完成种植园三维模型的建图任务，结合导航装置生成的经纬度信息，完成基于经纬度的种植园包括植株、障碍物的环境的数字孪生体的构建。

4.根据权利要求1所述的基于数字双胞胎的采摘方法，其特征在于，所述采摘机器人在所述种植园环境数字孪生体中实时映射的方法包括：

采摘机器人在运行过程中，控制系统通过串口通信获取采摘机器人的六自由度机械臂的实时位姿，并通过通讯模块实时反馈六自由度机械臂的位姿信息到云服务器；

云服务器根据采摘机器人实时的六自由度机械臂的位姿信息，结合采摘机器人各部分的安装参数，生成采摘机器人的数字孪生体；

云服务器根据采摘机器人导航装置获取的实时经纬度信息与采摘机器人实时方向信息，通过经纬度将采摘机器人数字孪生体与基于经纬度的种植园环境的数字孪生体融合，并基于实时方向信息确定采摘机器人的行进方向，实现采摘机器人数字孪生体在基于经纬度的种植园环境的数字孪生体中的实时映射。

5.根据权利要求1所述的基于数字双胞胎的采摘方法，其特征在于，动态修正基于经纬度的种植园环境数字孪生体的方法包括：

采摘机器人移动过程中，第二相机、第三相机、第四相机、第五相机、第六相机和第七相机分别采集采摘机器人移动AGV小车周围的点云信息与图像信息，结合导航装置信息，通过通讯装置传送至云服务器；

云服务器通过采集的点云信息以及导航装置信息，基于经纬度提取当前位置对应的数字孪生体中的点云信息，通过关键点匹配算法，将新采集的点云信息与孪生体中的点云信息进行匹配，对已构建的基于经纬度的种植园环境数字孪生体模型进行实时地修补，细化模型的粒度以不断动态修正基于经纬度的种植园环境数字孪生体。

6.根据权利要求1所述的基于数字双胞胎的采摘方法，其特征在于，所述采摘方法还包括：

操作人员在远程执行采摘过程中，通过实时观察基于经纬度的种植园环境数字孪生体模型和采摘机器人数字孪生体模型，根据云服务器收集的采摘机器人的六自由度机械臂的实时位姿以及各传感器的传感信号，实时对采摘过程进行监控与控制，并同时远程诊断采摘机器人系统的健康状况。

7.一种基于数字双胞胎的云采摘机器人系统，其特征在于，所述系统包括：

采摘机器人，所述采摘机器人具有移动装置、控制系统、图像采集装置、通讯装置、导航装置和采摘装置；

云服务器，所述云服务器具有接收模块、分析识别模块和发送模块，所述接收模块用于接收所述采摘机器人采集的信息，以便云服务器构建基于经纬度的种植园环境数字孪生体模型、采摘机器人数字孪生体模型和动态修正基于经纬度的种植园环境数字孪生体模型；所述识别分析模块用于识别分析出所述采摘机器人采集信息中的果蔬坐标；所述发送模块用于向所述采摘机器人发送所述云服务器的识别分析结果以及操作人员的远程操作指令；

操作平台，所述操作平台用于操作人员实时监控所述云服务器呈现的种植园环境数字孪生体和采摘机器人数字孪生体可视化信息以及远程操作控制所述采摘机器人完成采摘任务。

8.根据权利要求7所述的基于数字双胞胎的云采摘机器人系统，其特征在于，所述移动装置为移动AGV小车，所述移动AGV小车位于所述采摘机器人的底部；

所述移动AGV小车上装配所述控制系统、所述图像采集装置、所述通讯装置、所述导航装置和所述采摘装置；其中，所述控制系统为PLC控制系统；所述图像采集装置为包括第一相机、第二相机、第三相机、第四相机、第五相机、第六相机和第七相机组成的全方位图像采集相机组；所述通讯装置包括无线通讯模块；所述采摘装置具有六自由度机械臂和末端采摘执行机构；

所述六自由度机械臂安装于所述移动AGV小车上方的正前方位置，所述末端采摘执行机构通过法兰盘支架固定在六自由度机械臂上部；所述PLC控制系统安装于所述移动AGV小车上方所述六自由度机械臂的后部，所述PLC控制系统的上方固定安装具有安装平台；所述安装平台上设置具有所述无线通讯模块；所述导航装置安装于所述移动AGV小车上方所述六自由度机械臂底部的前方。

9.根据权利要求8所述的基于数字双胞胎的云采摘机器人系统，其特征在于，所述全方位图像采集相机组中的第一相机位于所述末端采摘执行机构的后部，倾斜安装在所述法兰盘支架上；

第二相机倾斜向上安装在所述移动AGV小车左上方位置；

第三相机倾斜向上安装在所述移动AGV小车右上角；

第四相机倾斜向上安装在所述移动AGV小车左下角；

第五相机倾斜向上安装在所述移动AGV小车右下角位置；

第六相机安装在所述安装平台的左侧；

第七相机安装在所述安装平台的右侧。

10.根据权利要求9所述的基于数字双胞胎的云采摘机器人系统，其特征在于，

所述第一相机倾斜安装角度为45°，所述第一相机视野中心与所述末端采摘执行机构的正上方35cm处交叉；

所述第二相机、所述第三相机、所述第四相机和所述第五相机倾斜向上安装角度均为30°；

所述第六相机朝向所述移动AGV小车左侧，倾斜角度为15°，所述第七相机7朝向所述移动AGV小车右侧，倾斜角度为15°。

Images