CN115380711A - 自动采摘机器人、自动采摘方法、装置和存储介质 - Google Patents

Abstract

本发明实施例提供一种自动采摘机器人、自动采摘方法、装置和存储介质，自动采摘机器人包括移动装置、采摘装置和拍摄装置，采摘装置安装于移动装置上以随移动装置移动，采摘装置包括机械臂以及由机械臂驱动的自动剪切部件，拍摄装置安装于采摘装置并包括设于机械臂安装自动剪切部件的一端的第一相机，第一相机用于获取目标采摘物的图像。采用本发明，可以实现自动采摘过程，无需人工进行干涉即可完成采摘作业，真正实现了采摘作业的自动化、智能化。

Description

自动采摘机器人、自动采摘方法、装置和存储介质

技术领域

本发明涉及农业自动化技术领域，尤其涉及一种自动采摘机器人、自动采摘方法、装置和存储介质。

背景技术

随着社会的发展，农民数量在快速减少，与此同时农民的平均年龄却在不断上升。据农业农村部固定观察点对两万多户农民的观察发现，务农一线的农民的平均年龄已达到53岁左右，其中60岁以上的农民占到了总观察人数的1/4，且预计在5-10年之后，这批被观察的农民会逐渐退出劳动力市场，而年轻一代却几乎不会向空缺的劳动力市场进行补给。农业产业链中的人口结构化问题以及人口缺失问题是当前亟待解决的问题。

实际应用中，农民会种植一些农作物，当这些农作物生长成熟时需要依靠人力去进行采摘。在农民的年龄较大、体力逐渐呈下降的趋势下，依靠人力采摘这些农作物的耗时较长、操作效率较低，采摘农作物所需的人力成本极高。

发明内容

本发明实施例提供一种自动采摘机器人、自动采摘方法、装置和存储介质，用以实现农业采摘的自动化、智能化。

第一方面，本发明实施例提供一种自动采摘机器人，包括移动装置、采摘装置和拍摄装置，所述采摘装置安装于所述移动装置上以随所述移动装置移动，所述采摘装置包括机械臂以及由所述机械臂驱动的自动剪切部件，所述拍摄装置安装于所述采摘装置并包括设于所述机械臂安装所述自动剪切部件的一端的第一相机，所述第一相机用于获取目标采摘物的图像。

可选地，所述移动装置包括多用轮，所述多用轮包括轮胎和轨道轮；

所述轨道轮用于在轨道上行驶；

所述轮胎用于在路面行驶；

所述轨道轮的底部高于所述轮胎的底部，所述轨道轮贴合于所述轮胎的内侧或外侧设置。

可选地，所述采摘装置还包括安装座，所述安装座用于安装所述机械臂；

所述拍摄装置还包括设置在所述安装座上的第二相机，所述第二相机用于获取至少一个采摘物的图像，所述至少一个采摘物包括所述目标采摘物。

可选地，所述采摘装置还包括导向结构，所述安装座活动安装于所述导向结构，所述安装座内设有驱动组件，所述驱动组件驱使所述安装座沿所述导向结构升降或绕所述导向结构转动。

可选地，所述采摘装置还包括另一机械臂以及由所述另一机械臂驱动的承接部件，所述承接部件用于承接所述自动剪切部件所采摘的目标采摘物。

可选地，所述自动采摘机器人还包括安装在所述移动装置上的收集装置，所述收集装置邻设于所述采摘装置并位于所述另一机械臂的活动范围内。

可选地，所述自动采摘机器人还包括深度相机、单线雷达以及多线雷达，其中，所述深度相机与单线雷达用于避障；所述多线雷达用于采集建模数据。

可选地，所述移动装置包括底盘和柱体，所述柱体立设于所述底盘上；

所述单线雷达安装于所述底盘，所述多线雷达安装于所述柱体的下端，所述深度相机安装于所述柱体的上端。

可选地，还包括设于所述底盘前端的视觉监测相机，所述视觉监测相机用于辅助人工操作。

第二方面，本发明实施例提供一种自动采摘方法，应用于自动采摘机器人，所述自动采摘机器人包括移动装置、采摘装置和拍摄装置，所述采摘装置包括自动剪切部件，所述拍摄装置包括第一相机；

所述方法包括：

通过所述移动装置移动到环境中对应于目标采摘物的位置；

控制所述第一相机拍摄所述目标采摘物的第一图像；

若基于所述第一图像确定出所述目标采摘物符合采摘条件，则基于所述第一图像，确定所述目标采摘物的根茎位置；

控制所述自动剪切部件对所述根茎位置进行剪切。

可选地，所述移动装置包括多用轮，所述多用轮包括轮胎和轨道轮；所述通过所述移动装置移动到环境中对应于目标采摘物的位置包括：

使用所述轮胎在路面行驶到环境中铺设的轨道处；

使用所述轨道轮驶上轨道并在轨道上行驶到对应于目标采摘物的位置。

可选地，所述拍摄装置还包括第二相机；

在通过所述移动装置移动到环境中对应于目标采摘物的位置之前，所述方法还包括：

控制所述第二相机拍摄所述环境中的至少一个采摘物的第二图像，其中，所述至少一个采摘物中包括所述目标采摘物；

基于所述第二图像，确定所述目标采摘物对应的位置。

可选地，所述目标采摘物为以串状结构生长的果实；

所述若基于所述第一图像确定出所述目标采摘物符合采摘条件，则基于所述第一图像，确定所述目标采摘物的根茎位置，包括：

识别所述目标采摘物中的目标果实在所述第一图像中的颜色值或尺寸，其中，所述目标果实为所述目标采摘物中的串状结构的最下一个果实；

若所述颜色值在第一预设范围内或所述尺寸在第二预设范围内，则确定所述目标采摘物符合采摘条件，并基于所述第一图像，识别所述目标采摘物的根茎位置。

可选地，所述采摘装置还包括承接部件；

在控制所述自动剪切部件对所述根茎位置进行剪切之前，所述方法还包括：

控制所述承接部件移动到所述目标采摘物的下方，以承接通过所述自动剪切部件剪切下的所述目标采摘物。

可选地，所述自动采摘机器人还包括多线雷达；

所述方法还包括：

通过所述多线雷达采集环境数据；

基于所述环境数据，对所述环境进行建模，得到所述环境的三维模型。

可选地，在基于所述环境数据，对所述环境进行建模，得到所述环境的三维模型之后，所述方法还包括：

基于所述三维模型，对所述自动采摘机器人进行导航处理；或，

通过所述三维模型，在与所述三维模型对应的数字孪生世界中对所述自动采摘机器人的采摘过程进行虚拟测试和验证，以预测在采摘过程中的问题；或，

通过所述数字孪生世界，对所述自动采摘机器人进行远程监控以及控制操作。

可选地，所述拍摄装置还包括设于所述移动装置的视觉监测相机；

通过所述视觉监测相机拍摄所述自动采摘机器人的采摘过程的第三图像；

基于所述第三图像，确定环境负责程度；

当所述环境负责程度超过预设阈值时，由自动模式切换到人工辅助模式。

第三方面，本发明实施例提供一种自动采摘装置，其中包括处理器和存储器，其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现第二方面中的自动采摘方法。

第四方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被自动采摘装置的处理器执行时，使所述处理器至少可以实现第二方面中的自动采摘方法。

采用本发明提供的自动采摘机器人，可以自动定位目标采摘物对应的位置，然后移动至目标采摘物对应的位置处。在自动采摘机器人移动到目标采摘物对应的位置处之后，可以控制自动剪切部件从目标采摘物的根茎位置进行剪切，以将目标采摘物从其生长的植物中进行分离。采用本发明提供的自动采摘机器人，可以实现自动采摘作业，无需人工进行干涉即可完成采摘作业，真正实现了采摘作业的自动化、智能化。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种自动采摘设备的结构组成框架示意图；

图2为本发明实施例提供的一种自动采摘设备的结构示意图；

图3为本发明实施例提供的一种自动采摘的场景示意图；

图4为本发明实施例提供的一种多用轮的正视图；

图5为本发明实施例提供的一种多用轮的立体图；

图6为本发明实施例提供的一种采摘装置的各部件的拆解示意图；

图7为本发明实施例提供的一种采摘装置的各部件组合后的效果示意图；

图8为本发明实施例提供的又一种自动采摘机器人的结构示意图；

图9为本发明实施例提供的一种自动采摘方法的流程示意图；

图10为本发明实施例提供的一种确定目标采摘物是否满足采摘条件的示意图；

图11为本发明实施例提供的另一种自动采摘方法的流程示意图；

图12为本发明实施例提供的一种自动采摘装置的结构示意图。

自动采摘机器人100； 移动装置110；

采摘装置120； 拍摄装置130；

机械臂121； 自动剪切部件122；

第一相机131； 多用轮111；

轨道轮112； 轮胎113；

安装座123； 第二相机132；

导向结构124； 另一机械臂125；

承接部件126； 手臂高度调节支架127；

收集装置140；

深度相机150； 单线雷达160；

多线雷达170； 视觉监测相机180；

底盘114； 柱体115

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。

随着社会的发展，农民数量在快速减少，与此同时农民的平均年龄却在不断上升。随着时间的推移，年老的农民会逐渐退出劳动力市场，而年轻一代却几乎不会向空缺的劳动力市场进行补给。农业产业链中的人口结构化问题以及人口缺失问题会越来越严峻。

为解决上述问题，农业自动化应运而生，农业生产即将全面步入信息化、智能化、无人化的新时期。近些年，农业无人机、无人车、农机自动驾驶仪等智能农机设备的用户群体，正在从小部分专业用户向国有农场、农业企业、合作社和家庭农场转变。基于此，智能农机设备的用户基数庞大，智能农机设备正处在用量爆发的前夜。相应地，本发明实施例提供一种自动采摘机器人，通过本发明实施例提供的自动采摘机器人进行自动采摘作业，可以实现采摘智能化、无人化，可以推动农业向智能化、无人化、自动化的方向发展。

如图1所示，本发明实施例提供的自动采摘机器人100可以包括移动装置110、采摘装置120和拍摄装置130。其中，采摘装置120安装于移动装置110上以随移动装置110移动，采摘装置120包括机械臂121以及由机械臂121驱动的自动剪切部件122，拍摄装置130安装于采摘装置120并包括设于机械臂121安装自动剪切部件122的一端的第一相机131，第一相机131用于获取目标采摘物的图像。

需要说明的是，可以将采摘装置120安装于移动装置110上，这样当控制移动装置110进行移动时，移动装置110可以搭载采摘装置120一同进行移动。采摘装置120可以用于自动采摘果实、蔬菜等采摘物，而随着移动装置110的移动，移动装置110可以搭载采摘装置120到达采摘物的附近，使得采摘物处于采摘装置120的作业范围内，这样采摘装置120就可以进行采摘作业。

为了让采摘装置120能够实现自动采摘作业，简单来说，采摘装置120中可以设置机械臂121以及由机械臂121驱动的自动剪切部件122。其中，自动剪切部件122用于将采摘物从其生长的植物上剪切分离。机械臂121可以驱动自动剪切部件122进行移动，以让采摘物处于自动剪切部件122能够进行剪切操作的作业范围内。

在另一方面，自动采摘机器人100中还设置有拍摄装置130，拍摄装置130安装于采摘装置120并包括设于机械臂121安装自动剪切部件122的一端的第一相机131。其中，可选地，第一相机131可以是RGB(三原色)相机，该RGB相机也可以认为是单目相机。

当自动剪切部件122移动到目标采摘物附近时，可以通过与其安装在机械臂121同一端的第一相机131拍摄目标采摘物的图像。基于拍摄到的图像，可以识别目标采摘物是否已满足采摘条件，在目标采摘物满足采摘条件的情况下，还可以对进行剪切操作的根茎位置进行定位。

上述移动装置110可以实现为智能小车。基于此，自动采摘机器人100的一种可能实现结构可见图2所示。

在某些应用场景中，如图3中的场景所示，可以以排为单位种植采摘物生长的植物，同时还可以沿着每排植物的种植方向铺设轨道，这样就按照一排植物、一条轨道、一排植物、一条轨道……的方式排列。两排植物的中间铺设有一条轨道，自动采摘机器人100可以行驶在轨道上，并对行驶的轨道两侧的植物上生长的采摘物进行采摘。在种植植物以外的地方可以不铺设轨道，这样自动采摘机器人100就需要行驶在普通的路面上。当自动采摘机器人100沿着轨道进行采摘时，由于自动采摘机器人100是行驶在轨道上的，因此步进的距离相比于在路面行驶会更加精确，进而使得采摘操作更加精准，防止错误剪切除采摘物以外的东西或者剪坏采摘物。

为了实现上述功能，在本发明实施例中，可选地，移动装置110可以包括多用轮111，多用轮111包括轮胎113和轨道轮112；轨道轮112用于在轨道上行驶；轮胎113用于在路面行驶；轨道轮112的底部高于轮胎113的底部，轨道轮112贴合于轮胎113的内侧或外侧设置。

在一种可能的实现方式中，本发明实施例提供的多用轮111可以实现为如图4、图5所示的结构。其中，图4为多用轮111的正视图，图5为多用轮111的立体图。

可选地，上述轮胎113可以为实心轮胎113。当在自动采摘机器人100中设置实心轮胎113时，可以使得自动采摘机器人100减少维护次数，因为在采用实心轮胎113之后，可以节省给轮胎113充气的步骤以及减少轮胎113被路面上的硬物扎破需要补胎的情形。本发明实施例提供的实心轮胎113在硬化路面以及非硬化路面都适合行驶。

当自动采摘机器人100从路面上到轨道时，自动采摘机器人100完全可以通过轨道轮112进行移动，而轮胎113可以处于架空状态。在某些可选实施例中，可以加大轨道轮112横向面的宽度以及轨道面的宽度，这样可以使得自动采摘机器人100具有较高的兼容性。其中，较高的兼容性可以理解为即使在未完全对准轨道且具有一定程度范围的偏差时，自动采摘机器人100也依然能够从路面上到轨道中进行行驶。其中，一定程度范围的偏差例如可以是±5厘米的偏差。

值得注意的是，规划种植中采摘物一般是以排为单位的有规律的进行种植的，通过让自动采摘机器人100行驶在轨道上以在固定路线中行进，可以减小对自动采摘机器人100导航与定位的依赖性。此外，如果种植区域是泥土地面，通过让自动采摘机器人100行驶在轨道上，则还可以避免自动采摘机器人100长期在泥土路面上作业的不稳定性。

可选地，采摘装置120还包括安装座123，安装座123用于安装机械臂121；拍摄装置130还包括设置在安装座123上的第二相机132，第二相机132用于获取至少一个采摘物的图像，至少一个采摘物包括目标采摘物。

如图6所示，是采摘装置120的各部件的拆解示意图。相应地，如图7所示，是各部件组合后的效果示意图。

其中，可选地，第二相机132可以是多目相机，例如可以是RGBD相机。第二相机132的拍摄视角可以大于第一相机131的拍摄视角，这样可以通过第二相机132拍摄环境中较大区域范围的图像，用以对将要采摘的多个采摘物进行大体上的定位以及统计。

实际应用中，自动采摘机器人100来到环境中实际是不知道目标采摘物在哪个位置上的。此时，自动采摘机器人100可以通过第二相机132对环境中的一块种植区域进行拍摄。在第二相机132拍摄的图像中，包含有至少一个采摘物，可以一一确定各采摘物对应的位置，同时更进一步地还可以统计第二相机132拍摄的图像中包含的所有采摘物的数量。

在确定出第二相机132拍摄的图像中包含的各采摘物对应的位置之后，可以按照顺序，比如说由近到远的顺序，依次将每个采摘物作为目标采摘物，一一对每个目标采摘物进行采摘。

可选地，采摘装置120还包括导向结构124，安装座123活动安装于导向结构124，安装座123内设有驱动组件，驱动组件驱使安装座123沿导向结构124升降或绕导向结构124转动。导向结构124包括内部的实际用于导向的杆件结构以及套设在杆件结构外部的可伸缩的保护件，图中仅显示外部保护件。

其中，在某些可选实施例中，安装座123可以包括转动连接的内、外两个座体，机械臂121安装在外座体上。驱动组件可以包括两个电机，其中一个连接丝杆螺母运动副，通过该电机的运动可以带动内座体沿导向结构124升降，外座体连接在内座体上随内座体升降。另一个电机可以带动外座体相对于内座体转动。

通过导向结构124可以使得安装座123能够沿导向结构124升降，这样可以通过安装座123带动机械臂121进行升降，以使得自动采摘机器人100能够适应生长在不同高度的采摘物的采摘作业。

另外，通过导向结构124还可以使得安装座123能够绕导向结构124进行转动，这样能够通过安装座123带动机械臂121旋转较大的旋转角度，进而当自动采摘机器人100的左右两侧都有采摘物时，自动采摘机器人100可以在不移动自身的情况下，实现对左右两侧中的一侧的采摘物采摘完毕，再通过调整安装座123的旋转角度使得机械臂121能够够到另一侧的采摘物，并对该另一侧的采摘物进行采摘。采用这样的方式，可以提高采摘效率。

在某些可选实施例中，由于导向结构124的高度有限，因此机械臂121能够够到的高度也相对有限。而在某些应用场景中，需要让自动采摘机器人100采摘一些位置很高的目标采摘物，此时由于导向结构124高度的限制可能使得机械臂121无法够到位置很高的目标采摘物。为了解决此问题，在本发明实施例中还可以在采摘装置120中设置手臂高度调节支架127，手臂高度调节支架127可以与导向结构124连接，起到补偿导向结构124高度上限的作用。相应地，手臂高度调节支架127的款式可以为多种，不同手臂高度调节支架127的高度不同，可以根据实际需求选择使用。

可选地，如图8所示，采摘装置120还可以包括另一机械臂125以及由另一机械臂125驱动的承接部件126，承接部件126用于承接自动剪切部件122所采摘的目标采摘物。

其中，承接部件126可以用于承接剪切落下的目标采摘物，防止目标采摘物掉落到地面发生损坏的情况发生，同时也能够实现对目标采摘物的初步收集的作用。

可选地，自动采摘机器人100还包括安装在移动装置110上的收集装置140，收集装置140邻设于采摘装置120并位于另一机械臂125的活动范围内。

收集装置140的容积可以大于承接部件126的容积。在控制承接部件126承接剪切下的目标采摘物之后，还可以控制承接部件126将承接到的目标采摘物转移到收集装置140中。

在某些可选实施例中，收集装置140可以是箱体。这样，随着承接部件126不断承接新的目标采摘物，且不断将新的目标采摘物倒入到收集装置140中，收集装置140可以实现收集目标采摘物的作用。

可选地，自动采摘机器人100还可以包括深度相机150、单线雷达160以及多线雷达170，其中，深度相机150与单线雷达160可以用于避障；多线雷达170可以用于采集建模数据。

在本发明实施例中，可以结合深度相机150以及单线雷达160对自动采摘机器人100所处的环境作出反应，比如说可以进行避障处理等。

另外，还可以通过多线雷达170采集建模数据，基于建模数据，对环境进行建模，得到环境的三维模型。然后，可以基于三维模型对自动采摘机器人100进行导航处理。

实际应用中，对于自动采摘机器人100本身来说，可以通过环境的三维模型，在自动采摘机器人100所处环境中进行导航处理。另外，还可以将环境的三维模型同步到服务器，服务器基于三维模型构建环境的数字孪生世界。同时，还可以将自动采摘机器人100的动作数据同步到服务器，这样在数字孪生世界中的虚拟自动采摘机器人100也可以同步与现实中的自动采摘机器人100完成动作。

可选地，移动装置110还可以包括底盘114和柱体115，柱体115立设于底盘114上；单线雷达160安装于底盘114，多线雷达170安装于柱体115的下端，深度相机150安装于柱体115的上端。

可选地，本发明实施例提供的自动采摘机器人100还可以包括设于底盘114前端的视觉监测相机180，视觉监测相机180用于辅助人工操作。

在自动采摘机器人100自动执行采摘作业的过程中，通过视觉监测相机180，可以记录自动采摘机器人100进行采摘作业的作业画面。进一步地，还可以将作业画面上传至服务器，这样后台人员可以通过服务器远程查看自动采摘机器人100执行采摘作业的执行情况，并在需要的情况下介入到自动采摘机器人100的采摘过程。

采用本发明实施例提供的自动采摘机器人，可以自动定位目标采摘物对应的位置，然后移动至目标采摘物对应的位置处。在自动采摘机器人移动到目标采摘物对应的位置处之后，可以控制自动剪切部件从目标采摘物的根茎位置进行剪切，以将目标采摘物从其生长的植物中进行分离。采用本发明提供的自动采摘机器人，可以实现自动采摘作业，无需人工进行干涉即可完成采摘作业，真正实现了采摘作业的自动化、智能化。

本发明另一实施例提供了一种自动采摘方法，可以应用于上述实施例中提供的自动采摘机器人。其中，自动采摘机器人包括移动装置、采摘装置和拍摄装置，采摘装置包括自动剪切部件，拍摄装置包括第一相机。如图9所示，该方法包括如下步骤：

901、通过移动装置移动到环境中对应于目标采摘物的位置。

902、控制第一相机拍摄目标采摘物的第一图像。

903、若基于第一图像确定出目标采摘物符合采摘条件，则基于第一图像，确定目标采摘物的根茎位置。

904、控制自动剪切部件对根茎位置进行剪切。

在某些应用场景中，可以在一块基地、一个大棚等环境中种植某种农作物，然后在该环境中投放本发明实施例提供的自动采摘机器人，在农作物成熟或者满足采摘条件之后，由自动采摘机器人自动进行采摘。

在采摘的过程中，首先可以确定目标采摘物的位置，通过控制移动装置移动到目标采摘物对应的位置，来带动采摘装置也移动到目标采摘物对应的位置，从而使得目标采摘物处于采摘装置的有效的作业范围内。其中，目标采摘物对应的位置可以理解为与目标采摘物正对的距离在一定范围内的位置，或者保证采摘装置能够正常采摘目标采摘物的位置。通常来说，目标采摘物对应的位置应该是目标采摘物附近的某个位置。

在自动采摘机器人来到目标采摘物附近的位置时，可以控制第一相机拍摄目标采摘物的第一图像。其中，可选地，第一相机可以是RGB相机，该RGB相机也可以认为是单目相机。另外，为了提高拍摄的目标采摘物的第一图像的图像质量、提高目标采摘物在第一图像中的清晰度、实现高效的拍摄作业，可选地，采摘装置还可以包括机械臂，自动剪切部件可以安装在机械臂上，可以将RGB相机设置在机械臂安装自动剪切部件的一端。这样当自动剪切部件接近目标采摘物时，与之相近安装的第一相机可以近距离拍摄目标采摘物较清晰的第一图像。

在获取到第一图像之后，如果基于第一图像确定出目标采摘物符合采摘条件，则可以基于第一图像，确定目标采摘物的根茎位置。需要说明的是，可以基于第一图像识别目标采摘物的成熟度，如果成熟度符合采摘条件，那么可以执行采摘操作。

其中，采摘条件可以依据实际需求来设定。比如说，可以在判定目标采摘物完全成熟之后进行采摘。或者，考虑到在将目标采摘物采摘下来之后还要消耗一定时间将目标采摘物运往目的地，为了保证目标采摘物的新鲜度在某些场景中也会在目标采摘物还未完全成熟时提前进行采摘。再或者，在将目标采摘物采摘之后要转给收购目标采摘物的收购人员，收购人员可以提出自己的收购条件，可以将该收购条件作为采摘条件。

可选地，目标采摘物可以是以串状结构生长的果实。相应地，上述若基于第一图像确定出目标采摘物符合采摘条件，则基于第一图像，确定目标采摘物的根茎位置的过程可以实现为：识别目标采摘物中的目标果实在第一图像中的颜色值，其中，目标果实为目标采摘物中的串状结构的最下一个果实；若颜色值在预设范围内，则确定目标采摘物符合采摘条件，并基于第一图像，识别目标采摘物的根茎位置。

实际应用中，以以往的种植采摘经验来说，如果目标采摘物中的串状结构的最下一个果实的颜色生长成某个特定颜色，表示该最下一个果实的成熟度达到了某种程度，那么一般来说整个串状结构中的所有果实的成熟度都高于或者等于该最下一个果实的成熟度。基于此，可以通过识别目标采摘物中的目标果实在第一图像中的颜色值，来判定目标采摘物是否符合采摘条件。可以理解的是，当目标采摘物为以串状结构生长的果实时，如果对目标采摘物整体进行识别判定，那么会加大图像识别以及判定的难度，而采用本发明实施例提供的识别和判定目标采摘物中的串状结构的最下一个果实的颜色值的方式，可以降低计算量以及降低识别判定难度，另外还能提高识别和判定的准确度。

需要说明的是，可以通过深度网络模型来识别目标采摘物中的串状结构的最下一个果实的颜色值。具体来说，可以预先训练一个能够自动识别图像中串状结构的最下一个果实的颜色值的深度网络模型，在使用过程中，可以将包含目标采摘物的第一图像输入到该预先训练的深度网络模型中，该深度网络模型可以自动识别并输出第一图像中串状结构的最下一个果实的颜色值。

举例来说，上述以串状结构生长的果实可以是番茄。为了便于理解判定目标采摘物是否符合采摘条件的过程，以番茄为例来说明该判定过程。如图10所示，在拍摄获得一串番茄的第一图像之后，可以识别该串番茄中最后一个番茄果实的颜色值。假设识别出该最后一个番茄的颜色值为红色，则确定该一整串番茄的成熟度都符合采摘条件，可以执行采摘操作。

除了上述举例的番茄之外，还以串状结构进行生长的果实有葡萄等，对于这类目标采摘物，都可以采用上述介绍到的方式进行是否满足采摘条件的判定。而在另外的一些应用场景中，对于有的果实来说，它并不是以串状结构生长的，每一颗果实都是独立生长的，比如说苹果，对于这种目标采摘物，相应地则可以一一识别单个的目标采摘物的颜色值，并在颜色值满足采摘条件的情况下执行采摘操作。

在基于第一图像确定出目标采摘物符合采摘条件之后，可以基于第一图像确定目标采摘物的根茎位置。具体来说，可以通过深度网络模型来识别目标采摘物的根茎位置。实际应用中，可以预先训练一个能够自动识别图像中目标采摘物的根茎位置的深度网络模型，在使用过程中，可以将包含目标采摘物的第一图像输入到该预先训练的深度网络模型中，该深度网络模型可以自动识别并输出第一图像中目标采摘物的根茎位置。

在某些可选实施例中，为了更精确找到目标采摘物的根茎位置，可以通过多次识图的方式来确定目标采摘物的根茎位置。实际操作过程中，可以先拍摄目标采摘物的图像A，通过图像A确定目标采摘物的根茎位置A1。可以将根茎位置A1理解为是粗略的位置。然后根据根茎位置A1，调整第一相机的拍摄参数，通过调整后的第一相机对目标采摘物的根茎再次进行拍摄，本次拍摄所得的图像记为图像B，通过图像B确定目标采摘物的根茎位置B1。可以将根茎位置B1理解为是比A1更加精确的位置。重复上述过程，通过新得到的根茎位置去调整第一相机的拍摄参数，然后通过调整后的第一相机再次对目标采摘物的根茎进行拍摄，通过新拍得的图像进一步确定目标采摘物的根茎位置。每重复执行一次上述过程，都可以得到一个更加精确的根茎位置。在确定出的根茎位置满足精度条件时，停止重复执行上述过程，并输出最终确定出的根茎位置。

通过前面介绍的方式可以确定出目标采摘物的根茎位置。在确定出目标采摘物的根茎位置之后，可以控制自动采摘机器人的自动剪切部件对根茎位置进行剪切，这样目标采摘物可以从其生长的植物上分离。可以理解的是，在目标采摘物从其生在的植物上分离之后，如果不加以处理目标采摘物会落到地面，会造成损坏或者难以收集的问题。因此，在本发明实施例中，可选地，采摘装置还可以包括承接部件。可以在实际控制剪切部件剪切目标采摘物之前，先控制承接部件在目标采摘物预计掉落的位置上承接住目标采摘物。比如说，可以控制承接部件预先移动至目标采摘物的根茎位置下方预设距离的位置处，来提前准备承接掉落下来的目标采摘物。

在某些应用场景中，可以以排为单位种植采摘物生长的植物，同时还可以沿着每排植物的种植方向铺设轨道，这样就按照一排植物、一条轨道、一排植物、一条轨道……的方式排列。两排植物的中间铺设有一条轨道，自动采摘机器人可以行驶在轨道上，并对行驶的轨道两侧的植物上生长的采摘物进行采摘。在种植植物以外的地方可以不铺设轨道，这样自动采摘机器人就需要行驶在普通的路面上。当自动采摘机器人沿着轨道进行采摘时，由于自动采摘机器人是行驶在轨道上的，因此步进的距离相比于在路面行驶会更加精确，进而使得采摘操作更加精准，防止错误剪切除采摘物以外的东西或者剪坏采摘物。

为了实现上述功能，在本发明实施例中，移动装置可以包括多用轮，多用轮包括轮胎和轨道轮；通过移动装置移动到环境中对应于目标采摘物的位置包括：使用轮胎在路面行驶到环境中铺设的轨道处；使用轨道轮驶上轨道并在轨道上行驶到对应于目标采摘物的位置。

可选地，上述轮胎可以为实心轮胎。当在自动采摘机器人中设置实心轮胎时，可以使得自动采摘机器人减少维护次数，因为在采用实心轮胎之后，可以节省给轮胎充气的步骤以及减少轮胎被路面上的硬物扎破需要补胎的情形。本发明实施例提供的实心轮胎在硬化路面以及非硬化路面都适合行驶。

当自动采摘机器人从路面上到轨道时，自动采摘机器人完全可以通过轨道轮进行移动，而轮胎可以处于架空状态。在某些可选实施例中，可以加大轨道轮横向面的宽度以及轨道面的宽度，这样可以使得自动采摘机器人具有较高的兼容性。其中，较高的兼容性可以理解为即使在未完全对准轨道且具有一定程度范围的偏差时，自动采摘机器人也依然能够从路面上到轨道中进行行驶。其中，一定程度范围的偏差例如可以是±5厘米的偏差。

值得注意的是，规划种植中采摘物一般是以排为单位的有规律的进行种植的，通过让自动采摘机器人行驶在轨道上以在固定路线中行进，可以减小对自动采摘机器人导航与定位的依赖性。此外，如果种植区域是泥土地面，通过让自动采摘机器人行驶在轨道上，则还可以避免自动采摘机器人长期在泥土路面上作业的不稳定性。

可选地，自动采摘机器人还可以包括多线雷达；本发明实施例提供的方法还可以包括：通过多线雷达采集环境数据；基于环境数据，对环境进行建模，得到环境的三维模型。

实际应用中，对于自动采摘机器人本身来说，可以通过环境的三维模型，在自动采摘机器人所处环境中进行导航处理。另外，还可以将环境的三维模型同步到服务器，服务器基于三维模型构建环境的数字孪生世界。同时，还可以将自动采摘机器人的动作数据同步到服务器，这样在数字孪生世界中的虚拟自动采摘机器人也可以同步与现实中的自动采摘机器人进行动作。

在某些可选实施例中，由于数字孪生世界中的虚拟自动采摘机器人也是依照与实际中的自动采摘机器人完全一样的动作执行采摘作业的，因此可以对虚拟自动采摘机器人的采摘过程进行监控，也就相当于对实际的自动采摘机器人的采摘过程进行了监控。这样，在发现虚拟自动采摘机器人在采摘过程中发生了错误之后，即时将错误上报到维护部门，可以起到提高生产效率的作用。

比如说，按照正常标准，自动采摘机器人采摘一个目标采摘物需要花费的时间为N秒，但是监控虚拟自动采摘机器人的采摘过程发现，虚拟自动采摘机器人采摘一个目标采摘物实际花费的时间为M秒，且M-N的值超过了预设阈值，也就是说，虚拟自动采摘机器人用了远超标准采摘时间的时间才完成一次采摘过程。此时，就可以将错误上报到维护部门，这样维护部门在接收到错误提示之后，可以对发生错误的自动采摘机器人进行维护处理。在上述示例中，导致自动采摘机器人使用更多的时间去完成一次采摘过程的原因可能是机械臂故障，维护部门的维护人员可以从上报的错误出发来检修自动采摘机器人，这样不仅可以提高维护效率，还可以提高生产效率。

可以将数字孪生世界设置在服务器中构建的平台中，这样当有用户需要购入自动采摘机器人，且需要了解自动采摘机器人的工作过程以及性能等方面因素时，无需再让用户去往实际的环境中进行考察，可以直接将数字孪生世界的平台展示给用户，这样用户可以通过该平台了解到自动采摘机器人的工作过程以及性能等，对是否购入自动采摘机器人提供了有价值的参考信息，对用户最终的购买决策提供了帮助。

在另一方面，可选地，可以通过三维模型，在与三维模型对应的数字孪生世界中对自动采摘机器人的采摘过程进行虚拟测试和验证，以预测在采摘过程中的问题。

在实际未采摘之前，先制定好采摘方案，然后在数字孪生世界中控制虚拟自动采摘机器人实施采摘方案，这样可以达到预先模拟采摘过程的效果。在模拟采摘过程中，可以记录采摘方案是否可行、虚拟自动采摘机器人是否按照期望那样完成采摘作业，如果在模拟采摘过程中发现了错误，可以及时修改或者更正这些错误。在通过数字孪生世界模拟采摘过程无误后，再在实际中让真正的自动采摘机器人按照调整好的采摘方案进行采摘作业，这样可以保证采摘过程的顺利进行，减少故障的发生频率，以及有效降低自动采摘机器人的维护成本。

在某些可选实施例中，本发明实施例提供的拍摄装置还可以包括设于移动装置的视觉监测相机；通过视觉监测相机拍摄自动采摘机器人的采摘过程的第三图像；基于第三图像，确定环境负责程度；当环境负责程度超过预设阈值时，由自动模式切换到人工辅助模式。

在自动采摘机器人自动执行采摘作业的过程中，可以通过视觉监测相机记录自动采摘机器人进行采摘作业的作业画面。进一步地，还可以将作业画面上传至服务器，这样后台人员可以通过服务器远程查看自动采摘机器人执行采摘作业的执行情况，并在需要的情况下介入到自动采摘机器人的采摘过程。

本发明又一实施例提供一种自动采摘方法，在本发明实施例中提供了确定目标采摘物对应的位置的方法。拍摄装置还可以包括第二相机，其中，第二相机的拍摄视角可以大于第一相机的拍摄视角。

图11为本发明实施例提供的一种自动采摘方法的流程图，该方法包括如下步骤：

1101、控制第二相机拍摄环境中的至少一个采摘物的第二图像，其中，至少一个采摘物中包括目标采摘物。

1102、基于第二图像，确定目标采摘物对应的位置。

1103、通过移动装置移动到环境中对应于目标采摘物的位置。

1104、控制第一相机拍摄目标采摘物的第一图像。

1105、若基于第一图像确定出目标采摘物符合采摘条件，则基于第一图像，确定目标采摘物的根茎位置。

1106、控制自动剪切部件对根茎位置进行剪切。

上述第二相机可以实现为RGBD相机，第一相机可以实现为RGB相机。

实际应用中，自动采摘机器人来到环境中实际是不知道目标采摘物在哪个位置上的。此时，自动采摘机器人可以通过第二相机对环境中的一块种植区域进行拍摄。在第二相机拍摄的第二图像中，包含有至少一个采摘物，可以一一确定各采摘物对应的位置，同时更进一步地还可以统计第二图像中包含的所有采摘物的数量。

在确定出第二图像中包含的各采摘物对应的位置之后，可以按照顺序，比如说由近到远的顺序，依次将每个采摘物作为上述实施例中的目标采摘物，一一对每个目标采摘物进行采摘。具体的采摘过程已在上述实施例中详细进行介绍过，可以参照上述实施例描述的方法实施自动采摘过程，在此不再重复叙述采摘过程。

采用本发明实施例提供的方法，可以自动定位目标采摘物对应的位置，然后控制自动采摘机器人移动至目标采摘物对应的位置处。在自动采摘机器人移动到目标采摘物对应的位置处之后，可以识别目标采摘物是否满足采摘条件，并在目标采摘物满足采摘条件的情况下，自动定位目标采摘物的根茎位置。然后控制剪切部件从目标采摘物的根茎位置进行剪切，以将目标采摘物从其生长的植物中进行分离。采用本发明，可以实现自动采摘过程，无需人工进行干涉即可完成采摘作业，真正实现了采摘作业的自动化、智能化。

在一个可能的设计中，如图12所示，自动采摘装置可以包括：处理器91、存储器92。其中，所述存储器92上存储有可执行代码，当所述可执行代码被所述处理器91执行时，使所述处理器91至少可以实现如前述图9至图11所示实施例中提供的自动采摘方法。

可选地，该自动采摘装置中还可以包括通信接口93，用于与其他设备进行通信。

另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被自动采摘装置的处理器执行时，使所述处理器至少可以实现如前述图9至图11所示实施例中提供的自动采摘方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例提供的自动采摘方法可以由某种程序/软件来执行，该程序/软件可以由网络侧提供，前述实施例中提及的自动采摘机器人可以将该程序/软件下载到本地的非易失性存储介质中，并在其需要执行前述自动采摘方法时，通过CPU将该程序/软件读取到内存中，进而由CPU执行该程序/软件以实现前述实施例中所提供的自动采摘方法，执行过程可以参见前述图9至图11中的示意。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (19)

1.一种自动采摘机器人，其特征在于，包括移动装置、采摘装置和拍摄装置，所述采摘装置安装于所述移动装置上以随所述移动装置移动，所述采摘装置包括机械臂以及由所述机械臂驱动的自动剪切部件，所述拍摄装置安装于所述采摘装置并包括设于所述机械臂安装所述自动剪切部件的一端的第一相机，所述第一相机用于获取目标采摘物的图像。

2.根据权利要求1所述的自动采摘机器人，其特征在于，所述移动装置包括多用轮，所述多用轮包括轮胎和轨道轮；

所述轨道轮用于在轨道上行驶；

所述轮胎用于在路面行驶；

所述轨道轮的底部高于所述轮胎的底部，所述轨道轮贴合于所述轮胎的内侧或外侧设置。

3.根据权利要求1所述的自动采摘机器人，其特征在于，所述采摘装置还包括安装座，所述安装座用于安装所述机械臂；

所述拍摄装置还包括设置在所述安装座上的第二相机，所述第二相机用于获取至少一个采摘物的图像，所述至少一个采摘物包括所述目标采摘物。

4.根据权利要求3所述的自动采摘机器人，其特征在于，所述采摘装置还包括导向结构，所述安装座活动安装于所述导向结构，所述安装座内设有驱动组件，所述驱动组件驱使所述安装座沿所述导向结构升降或绕所述导向结构转动。

5.根据权利要求1所述的自动采摘机器人，其特征在于，所述采摘装置还包括另一机械臂以及由所述另一机械臂驱动的承接部件，所述承接部件用于承接所述自动剪切部件所采摘的目标采摘物。

6.根据权利要求5所述的自动采摘机器人，其特征在于，所述自动采摘机器人还包括安装在所述移动装置上的收集装置，所述收集装置邻设于所述采摘装置并位于所述另一机械臂的活动范围内。

7.根据权利要求1所述的自动采摘机器人，其特征在于，所述自动采摘机器人还包括深度相机、单线雷达以及多线雷达，其中，所述深度相机与单线雷达用于避障；所述多线雷达用于采集建模数据。

8.根据权利要求7所述的自动采摘机器人，其特征在于，所述移动装置包括底盘和柱体，所述柱体立设于所述底盘上；

所述单线雷达安装于所述底盘，所述多线雷达安装于所述柱体的下端，所述深度相机安装于所述柱体的上端。

9.根据权利要求8所述的自动采摘机器人，其特征在于，还包括设于所述底盘前端的视觉监测相机，所述视觉监测相机用于辅助人工操作。

10.一种自动采摘方法，其特征在于，应用于自动采摘机器人，所述自动采摘机器人包括移动装置、采摘装置和拍摄装置，所述采摘装置包括自动剪切部件，所述拍摄装置包括第一相机；

所述方法包括：

通过所述移动装置移动到环境中对应于目标采摘物的位置；

控制所述第一相机拍摄所述目标采摘物的第一图像；

若基于所述第一图像确定出所述目标采摘物符合采摘条件，则基于所述第一图像，确定所述目标采摘物的根茎位置；

控制所述自动剪切部件对所述根茎位置进行剪切。

11.根据权利要求10所述的方法，其特征在于，所述移动装置包括多用轮，所述多用轮包括轮胎和轨道轮；所述通过所述移动装置移动到环境中对应于目标采摘物的位置包括：

使用所述轮胎在路面行驶到环境中铺设的轨道处；

使用所述轨道轮驶上轨道并在轨道上行驶到对应于目标采摘物的位置。

12.根据权利要求10所述的方法，其特征在于，所述拍摄装置还包括第二相机；

在通过所述移动装置移动到环境中对应于目标采摘物的位置之前，所述方法还包括：

控制所述第二相机拍摄所述环境中的至少一个采摘物的第二图像，其中，所述至少一个采摘物中包括所述目标采摘物；

基于所述第二图像，确定所述目标采摘物对应的位置。

13.根据权利要求10所述的方法，其特征在于，所述目标采摘物为以串状结构生长的果实；

所述若基于所述第一图像确定出所述目标采摘物符合采摘条件，则基于所述第一图像，确定所述目标采摘物的根茎位置，包括：

识别所述目标采摘物中的目标果实在所述第一图像中的颜色值或尺寸，其中，所述目标果实为所述目标采摘物中的串状结构的最下一个果实；

若所述颜色值在第一预设范围内或所述尺寸在第二预设范围内，则确定所述目标采摘物符合采摘条件，并基于所述第一图像，识别所述目标采摘物的根茎位置。

14.根据权利要求10所述的方法，其特征在于，所述采摘装置还包括承接部件；

在控制所述自动剪切部件对所述根茎位置进行剪切之前，所述方法还包括：

控制所述承接部件移动到所述目标采摘物的下方，以承接通过所述自动剪切部件剪切下的所述目标采摘物。

15.根据权利要求10所述的方法，其特征在于，所述自动采摘机器人还包括多线雷达；

所述方法还包括：

通过所述多线雷达采集环境数据；

基于所述环境数据，对所述环境进行建模，得到所述环境的三维模型。

16.根据权利要求15所述的方法，其特征在于，在基于所述环境数据，对所述环境进行建模，得到所述环境的三维模型之后，所述方法还包括：

基于所述三维模型，对所述自动采摘机器人进行导航处理；或，

通过所述三维模型，在与所述三维模型对应的数字孪生世界中对所述自动采摘机器人的采摘过程进行虚拟测试和验证，以预测在采摘过程中的问题；或，

通过所述数字孪生世界，对所述自动采摘机器人进行远程监控以及控制操作。

17.根据权利要求10所述的方法，其特征在于，所述拍摄装置还包括设于所述移动装置的视觉监测相机；

通过所述视觉监测相机拍摄所述自动采摘机器人的采摘过程的第三图像；

基于所述第三图像，确定环境负责程度；

当所述环境负责程度超过预设阈值时，由自动模式切换到人工辅助模式。

18.一种自动采摘装置，其特征在于，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求10-17中任一项所述的自动采摘方法。

19.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被自动采摘装置的处理器执行时，使所述处理器执行如权利要求10-17中任一项所述的自动采摘方法。

Images