CN110139552B - 机器人水果采摘系统 - Google Patents

Abstract

一种机器人水果采摘系统包括自主机器人，所述自主机器人包括使用计算机视觉引导系统实现所述机器人的自主定位的定位子系统。所述机器人还包括至少一个采摘臂和至少一个采摘头，或其他类型的末端执行器，所述末端执行器安装在每个采摘臂上，以切割特定水果或果束的茎或枝或采摘所述水果或果束。计算机视觉子系统分析待采摘或储存的所述水果的图像，并且控制子系统使用机器学习技术编程或学习采摘策略。质量控制(QC)子系统根据大小和/或质量监测水果的质量并且对所述水果进行分级。所述机器人具有储存子系统，用于将水果储存在容器中以便储存或运输，或者储存在果篮中用于零售。

Description

机器人水果采摘系统

发明背景

1.发明领域

本发明的领域涉及用于机器人水果采摘的系统和方法。

本专利文件的公开内容的一部分含有受版权保护的材料。版权所有者不反对任何人对专利文件或专利公开内容进行传真复制，因为它出现在专利和商标局专利文件或记录中，但在其他方面保留所有版权。

2.背景技术

园艺生产者严重依赖手工劳动来收割他们的作物。许多种类的新鲜产品是手工采摘的，这些产品包括浆果，例如草莓和覆盆子、芦笋、鲜食葡萄和可生食的苹果。手动采摘目前是必要的，因为产品易于损坏并且需要精细处理，或者因为植物本身很有价值，在一个或多个生长季节连续生产水果。因此，用于收获诸如小麦等作物的有效但破坏性的机械方法是不可行的。

对手工劳动的依赖给生产者带来了一些问题：

·短期，艰苦的采摘季节招募采摘者是冒险和昂贵的。国内采摘工人的供应几乎不存在，因此农民必须从海外招聘。但是，移民控制给生产者带来了巨大的行政负担，且增加了劳动力短缺的风险。

·低技能移民劳动力的供求是不可预测的，因为它们取决于整个生长季节和经济环境中的天气条件。这造成了显著的劳动力价格波动。

·在极端情况下，这可能导致作物在田间未被收获。举例来说，由于2007年的劳动力短缺，赫里福德附近一个占地250英亩的草莓农场损失了超过20万英镑的产品。

·人类采摘者给出了不一致的结果，直接影响了盈利能力(例如，含有不一致大小或形状的草莓或示出错误处理迹象的果篮通常会被客户拒绝)。农民使用各种培训和监测程序来提高一致性，但这些会大大增加成本。

目前用于机器人柔软水果采集的技术往往依赖于复杂的硬件和天真的机器人控制系统。因此，其他柔软水果采摘系统尚未在商业上取得成功，因为它们价格昂贵并且需要精心控制的环境。

少数团体开发了机器人草莓采摘技术。然而，机器人通常成本很高，且仍然需要人工操作者对水果进行分级和后处理。此外，机器人通常与欧洲使用的桌面生长系统不兼容，并且太昂贵而不能与人工竞争。使用昂贵的硬件和陈旧的物体识别技术，并且缺乏机械灵活性来采摘除了精心定位的垂直定向的草莓之外的其他物品，或者不适合于采摘除了其果柄之外不能处理的柔软水果的问题。因此没有提供产品。

因此，迄今为止，大多数解决方案至少落入以下两个关键领域：

·它们要求种植者显著改变它们的工作实践，或者不支持欧洲使用的桌面生长系统。

·它们严重依赖人类操作者。因此，与大批量生产的小型自动化机器相比，它们使用大型机器，每单位采摘能力的生产成本不成比例地高。

·它们太贵了，无法以目前的价格取代人工。

在其他地方，一些学术团体也将机器人和计算机视觉技术应用于(大多数相当于1980年代的时代)更普遍的收获应用。然而，由此产生的系统对于商业开发来说太有限了。

农民需要一个可靠的系统来按照需求以一致的质量以及可预测的成本来收获他们的作物。这样的系统将允许农民以可预测的价格提前购买高质量、一致的收获能力，从而减少对劳动力市场价格波动对他们的影响。机器将自动运行：遍历田地、果园或多通道；识别和定位准备收获的产品；采摘精选作物；最后对采摘的产品进行分级、分类和存放到适合转移到冷藏的容器中。

发明内容

本发明的第一方面是一种机器人水果采摘系统，所述机器人水果采摘系统包括自主机器人，所述自主机器人包括以下子系统：

定位子系统，所述定位子系统可操作以使用诸如计算机视觉引导系统的计算机实施的引导系统实现所述机器人的自主定位；

至少一个采摘臂；

至少一个采摘头或其他类型的末端执行器，其安装在每个采摘臂上，以切割特定水果或果束的茎或枝或采摘所述水果或果束，并且接着转移所述水果或果束；

计算机视觉子系统，所述计算机视觉子系统用于分析待采摘或储存的所述水果的图像；

控制子系统，所述控制子系统用采摘策略编程或学习采摘策略；

质量控制(QC)子系统，所述质量控制(QC)子系统用于监测已采摘或可采摘水果的质量，并且根据大小和/或质量对水果进行分级；以及

储存子系统，所述储存子系统用于接收所采摘水果并且将所述水果储存在容器中以便储存或运输，或者储存在果篮中用于零售。

我们使用术语‘采摘头’来涵盖任何类型的末端执行器；末端执行器是机械臂末端与环境相互作用的一个装置或多个装置-例如，头或多个头，其用于采摘水果的可食用和可口部分，或者抓住并切割水果的茎。

附图说明

现在将参考以下附图通过示例描述本发明的各方面，附图分别示出了本发明的特征：

图1示出了适合于采摘水果的机器人的俯视图(A)和透视图(B)。

图2示出了适合于水果采摘的机器人的透视图，其中壁在采摘位置。

图3示出了适合水果采摘的机器人的示例。

图4示出了适合水果采摘的机器人的另一示例。

图5示出了适合水果采摘的机器人的另一示例。

图6示出了本发明的早期实施方案，其设计用于采摘桌面种植的草莓。

图7示出了一个系统，其用于使用金属支架将‘向量线缆’安装到作物生长于其上的桌子的支腿，所述金属支架简单地夹持到所述支腿。

图8示出了许多线条图，其中单独或组合地具有采摘臂和采摘头的不同视图。

图9示出了QC成像室的典型实施方案的截面图。

图10示出了用于在采摘机器人内储存果篮托盘的节省空间的方案的图。

图11示出了末端执行器的主要部件。

图12示出钩相对于夹持器/切割器延伸。

图13示出了钩相对于夹持器/切割器缩回。

图14示出了末端执行器的各个部分，包括钩上方的刀片。

图15示出了示出钩移动以实现植物茎的捕获的图。

图16示出了示出植物茎被捕获的图。

图17示出了示出产品被夹持并从亲本植株中切割的图。

图18示出了示出释放操作的图。

图19示出构成采摘过程的操作顺序。

图20示出了环和夹钳组件的主要机械组成部分。

图21示出了环和夹钳组件，如部件1所示，环延伸。

图22示出了环和夹钳组件的主要组成部分的分解图(为清楚起见，省略了环)。

图23示出了环致动机构的部件。

图24示出了朝向目标水果的接近向量的环/夹钳组件。

图25示出了环延伸并且组件平行于目标产品的主轴并且在果柄和水果之间的接合点的方向上移动。

图26示出了已经行进经过果柄和水果的接合点的环，现在选择目标产品并且可以应用决策步骤1(图19)。

图27示出了环被缩回以控制目标产品的位置并且夹钳被致动以便以类似剪刀的运动抓住并且切割水果的果柄。

图28示出了线缆管理系统的不同元件。

图29示出了在臂的接头中的一个内原位的线缆管理系统的图。

图30示出了一系列图，其中线缆导管在线缆外壳内旋转。

图31示出了线缆绕组的剖视图。

具体实施方式

本发明涉及一种创新的水果采摘系统，所述系统使用机器人采摘机，所述采摘机能够完全自主地采摘水果并且与人类采摘水果一起有效地工作。

虽然本描述集中于机器人水果采摘系统，但是所描述的系统和方法可以在其他领域中具有更广泛的应用，例如机器人猫砂采摘系统。

采摘系统适用于在植物(如草莓、西红柿)、灌木丛(如覆盆子、蓝莓、葡萄)和树木(如苹果、梨、洛根浆果)上生长的各种不同作物。在本文件中，水果一词应包括从植物中采摘的所有水果、蔬菜和其他种类产品的可食用和可口部分(包括坚果、种子、蔬菜)，植物应指各种水果生产作物(包括植物、灌木、树木)。对于以簇状或束状生长的水果(例如葡萄、蓝莓)，水果可以指个别水果或整个群集。

许多植物在长采摘季节和/或植物生命的几年中持续产生水果。因此，采摘机器人不得损坏水果或其生长的植物(包括任何未所采摘水果，无论是成熟还是未成熟)。当机器人在工厂附近或在采摘操作期间移动时，可能会发生对工厂/灌木/树木的损坏。

与现有技术相比，我们的开发工作直接受到真正商业种植者需求的影响。我们将通过利用最先进的计算机视觉技术来避免高成本硬件，从而使我们能够使用成本更低的现成组件。这种方法的吸引力在于制造软件的边际成本低于制造复杂硬件的边际成本。

已经开发出一种智能机器人位置控制系统，所述系统能够高速工作而不会损坏精致的采摘水果。虽然典型的幼稚机器人控制系统对于在受控环境(例如汽车工厂)中执行重复任务非常有用，但它们无法处理水果采摘等任务中固有的可变性和不确定性。我们使用最先进的强化学习方法来解决这个问题，这种方法将使我们的机器人控制系统能够利用采摘过程中获得的经验来学习更有效的采摘策略。

水果采摘机器人的关键部件如下：

·一种履带式火星车，能够使用基于视觉的引导系统沿着作物行自动导航。

·一种计算机视觉系统，包括3D立体相机和图像处理软件，用于检测目标水果，并且决定是否采摘它们以及如何采摘它们。

·一种快速、6自由度的机器人臂，用于定位采摘头和相机。

·一种采摘头，包括(i)切割草莓果柄和(ii)抓住切好的水果以便转移的构件。

·一个质量控制子系统，用于按大小和质量对采摘的草莓进行分级。

·一种包装子系统，用于对所采摘水果进行机载装篮。

采摘机器人完全自动执行多项功能：

·装卸自身进出运输车辆；

·在水果生产植物中导航，例如沿着一排排的苹果树或草莓植物；

·与其他机器人和人采摘者合作，有效地划分采摘工作；

·确定水果的位置、方向和形状；

·确定水果是否适合采摘；

·将成熟的水果与树分开；

·按大小和其他适宜性措施对水果进行分级；

·将所采摘水果转移到合适的储存容器中。

采摘系统在几个方面具有创新性。在下文中，一些具体的非显而易见的创造性步骤用例如“有用的创新是......”的措辞突出显示。

1.系统概述

采摘系统包括以下重要子系统：

·总定位子系统

·采摘臂

·采摘头

·计算机视觉子系统

·控制子系统

·质量控制(QC)子系统

·储存子系统

·映射子系统

·管理子系统

机器人全定位系统的主要目的是物理地将整个机器人沿着地面移动。当机器人在目标水果的范围内时，采摘臂移动额外的相机以允许计算机视觉子系统定位目标水果并且确定其姿势和采摘的适合性。采摘臂还定位采摘头以进行采摘，并且将所采摘水果移至QC子系统(可能还有储存子系统)。总定位系统和采摘臂在控制子系统的控制下运行，控制子系统使用来自计算机视觉子系统的输入来决定移动机器人的位置和时间。采摘头的主要目的是从植物上切下水果并且牢牢抓住它，以便转移到QC和储存子系统。最后，QC子系统负责对所采摘水果进行分级，确定其适合零售或其他用途，并且弃置无法使用的水果。

图1示出了适合于采摘水果的机器人的俯视图(a)和透视图(b)。所述机器人包括定位子系统，所述定位子系统可操作以使用计算机实施的引导系统(例如计算机视觉引导系统)实现机器人的自主定位。针对所述配置示出了两个采摘臂(100)。采摘头(101)安装在每个采摘臂(100)上，以切割特定水果或果束的茎或枝或采摘所述水果或果束，接着转移水果或果束。采摘头还包括计算机视觉子系统的相机组件(102)，其负责分析待采摘或储存的水果的图像。控制子系统使用或学习采摘策略。质量控制(QC)子系统(103)监测已采摘或可采摘水果的质量，并且根据大小和/或质量对水果进行分级，并且储存子系统(104)接收所采摘水果并且将所述水果储存在用于储存或运输的容器，或储存在果篮中用于零售。图2示出了具有处于采摘位置的臂的机器人的透视图。

图3至图5示出了适合于采摘水果的机器人的示例。三个不同的概念图示出了以多种不同方式配置的机器人，适用于不同的采摘应用。示出的重要系统部件包括履带式流动站，两个采摘臂和相关的质量控制单元(QC)。多个托盘用于储存所采摘水果的果篮并且定位成使得人类操作者可以容易地移除整个托盘并且用空托盘替换它们。弃置物流位于质量控制单元附近，用于不适合销售的水果。当机器人采摘腐烂的或其他不合适的水果(通过意外或设计)时，通常希望将腐烂的水果弃置到机器人内或地面上的合适容器中。一个有用的节省时间的创新是使容器可以通过弃置滑槽接近，所述弃置滑槽的孔位于QC装置的底部，这样臂可以立即掉落水果而无需移动到替代容器。相关的创新是在成像室的斜槽或主体中引起正或负气压(例如使用风扇)以确保来自先前弃置的水果的真菌孢子远离成像室中的健康水果。两个采摘臂可以不对称地定位(如图5所示)，以增加够到的速度，但代价是采摘速度。

图6示出了本发明的早期实施方案，其设计用于采摘桌面生长的草莓并且具有单个采摘臂和两个储存托盘。

这些子系统将在以下部分中更详细地描述。

2.总定位子系统

总定位子系统负责整个机器人在地面上的移动(通常在当前位置和输入目标位置之间的预期直线上)。管理子系统使用总定位子系统来移动机器人。总定位系统包括确定机器人的当前位置和定向的装置，实现机器人沿地面运动的装置，以及将关于机器人的当前位置和定向的信息转换成马达控制信号的控制系统。

2.1.姿势确定组件

姿势确定组件的目的是允许机器人在地图坐标系中确定其当前位置和定向以输入到控制部件。可以使用差分GPS获得粗略位置估计，但是这些对于跟随的没有碰撞的作物行是不够准确的。因此，额外传感器的组合用于更精确地确定沿行的驶向和距离行的横向距离。所述组合可以包括用于近似确定距离行的距离的超声波传感器，用于确定驶向的磁罗盘、加速度计以及用于确定相对于作物行的方向的前向或后向相机。来自传感器的信息与来自GPS定位系统的信息融合，以获得比GPS或传感器单独获得的更准确的估计。

允许机器人估计其相对于作物行的位置和定向的创新方法是测量其相对于沿着所述行延伸的张紧线缆(可能是尼龙或其他低成本材料)的位移(‘向量线缆’)。

测量机器人相对于向量线缆的位移的一种创新方法是使用计算机视觉系统利用机器人坐标系中已知的位置和定向来测量由安装的相机获得的2D图像中的线缆的投影位置。作为简化说明，由垂直定向的相机获得的图像中的水平线缆的定向与机器人的定向具有简单的线性关系。通常，线缆的边缘将投射到图像中的一对线，这可以通过标准图像处理技术容易地找到，例如通过应用边缘检测器并且计算霍夫变换以找到长直边。这些线的图像位置是线缆直径，相机相对于线缆的姿势以及相机的固有参数(可以预先确定)的函数。接着可以使用标准优化技术和通过假设机器人大致与行对齐来提供初始化来确定相机相对于线缆的姿势。知道相机在地面上的近似高度，可以消除剩余的单参数模糊(对应于相机绕线缆轴线的旋转)。

确定相对于向量线缆的位置的另一种创新方法是使用随动臂(或随动臂)。它通过铰接接头在一端连接到机器人底盘，而另一端连接到沿着线缆运行的卡车。铰接接头处的角度(例如可以使用与铰链一起旋转的电位计的电阻来测量)可用于确定相对于线缆的位移。两个随动臂(例如一个在前面，一个在后面)足以确定位移和方向。

相关的创新是一种支架，其允许向量线缆容易地附接到桌子的支腿上，在桌子的支腿上通常生长例如草莓的作物。这如图7所示。支架允许线缆在地面上方定位一个小而一致的距离，通常为20厘米，这样人类就可以轻松地跨过它，同时在高架桌下面躲避，从一行移动到另一行。这种方法的一个限制是如果随动臂从线缆上脱落，机器人可能会接收虚假的位置信息。因此，一个有用的额外创新是为卡车配备微型开关，所述微型开关定位成当卡车与线缆失去接触时断开电路。这可以用于允许控制软件检测到这种故障情况并且停止机器人(通常，控制软件等待直到检测到卡车和线缆之间失去接触的持续时间大于某个时间阈值以消除错误检测到期在线缆上弹跳卡车)。由于在碰撞或控制系统故障的其他类型的故障的情况下随动臂可能受到很大的力，另一有用的创新是使用磁耦合将随动臂的外部附接到内部。接着，如果发生故障，随动臂的部件可以分离而不会遭受永久性损坏。磁耦合可以包括完成电路所需的电连接(通常是由卡车中的微动开关中断的相同电路)。通过这种方式，随动臂的分离也可以触发控制软件来停止机器人。磁耦合布置的另一好处是易于由人类监督者连接随动臂。

姿势确定部件的创新方面是基于计算机视觉的系统，所述系统用于使用由大致沿着所述行指向的前向或后向相机获得的图像来确定机器人相对于一行作物的前进和横向位置。这种系统可用于在两个作物行的中间或与个别作物行的固定距离处驱动机器人。在此构想的一个实施方案中，这通过训练使用卷积神经网络(或其他)实现的回归函数来实现，以根据输入图像预测相对于作物行的机器人驶向和横向位置。可以通过在人遥控下在表示性作物行之间驱动配备有多个前向和/或后向相机的机器人来获得训练数据。因为人类控制器使机器人保持在行之间大致居中(具有平行于行的驶向)，所以每个帧可以与近似地面真实驶向和横向位移信息相关联。多个相机用于提供对应于来自所述行的不同近似横向位移的训练图像。对应于不同机器人标题的训练图像可以通过使用适当的3×3单应性(可以从已知的相机固有校准参数中琐碎地计算)重新取样由前视相机获得的图像来获得。

相关的创新是使用红外照明器和合适的红外接收相机在夜间获得额外的训练图像数据。

在此构想的另一实施方案中，计算机视觉系统被设计成检测(在由前向或后向相机获得的图像中)生长作物的桌子的垂直支腿。垂直方向的桌子支腿定义了世界中的垂直线，它们在透视图中投射到线条。假设每个桌子的支腿均匀间隔，垂直定向并且布置成直线，对应于三个或更多桌子支腿序列的投影图像线足以确定校准相机的方向及其横向位移关于由支腿定义的3D坐标系。

图7示出了用于将‘向量线缆’安装到桌子的支腿上的系统，在桌子的支腿上生长作物(a)使用简单地夹在支腿上的金属托架(b)。可以使用n形金属弹簧夹或带(未示出)将线缆(例如尼龙绳)固定到金属支架。行随动臂(在b中看到)包括搁置在缆索上的卡车和将卡车附接到机器人(未示出)的臂。支架的形状使得卡车在横穿它们时不会受到阻碍。

2.2.马达控制部件

马达控制部件的目的是将姿势确定部件提供的姿势信息映射到马达控制信号，以使机器人沿给定方向移动。其支持两种运动：(i)沿着一行植物移动给定距离，以及(ii)通过沿着预期的直线移动到给定点。马达控制系统使用PID控制器将从姿势确定部件获得的控制输入映射到马达控制信号。

2.3.漫游车

全定位系统的一个重要部件是漫游车，即机器人在地面上移动的方式。通常，使用具有轨道的动力轮实现在地面上的移动。一个有用的创新是允许移除轨道的机制，以便机器人也可以在导轨上运行。

3.采摘臂

采摘臂是一个机器人臂，具有几个(通常为6个)自由度，安装在机器人的主体上。尽管全定位系统的目的是使整个机器人沿着地面移动，但是采摘臂的目的是将采摘头(及其计算机视觉相机)移动到适当位置以定位，定位和采摘目标水果。一旦它处于采摘位置，采摘头就执行采摘程序，所述程序包括一系列机械动作，包括分离、夹持和切割(参考下面的采摘头描述)。控制子系统选择采摘位置以根据期望的测量最大化采摘性能。

在采摘头可以定位以采摘目标水果之前，计算机视觉子系统必须执行若干重要操作：(i)检测目标水果，(ii)检测可能使目标水果(例如叶子)的采摘复杂化的障碍物，(iii)确定目标水果的姿势和形状。为了使计算机视觉子系统能够执行这些功能，采摘臂可以配备单眼或立体相机，例如安装在臂的末端。将相机安装到臂上的好处是可以移动相机以找到没有遮挡源的观察点，否则会妨碍目标水果(叶子、其他水果等)的可靠检测或定位。

最后，采摘臂必须将采摘头移动到适当的姿势进行采摘，而不会与植物或用于种植植物或其自身的支持基础设施发生碰撞。这是使用下面的控制子系统部分中描述的路由规划算法实现的。

图8示出了多个线条图，其中单独或组合地具有采摘臂和采摘头的不同视图。所示的采摘头包括钩和相机系统。

4.采摘头

采摘头的目的是从工厂切断目标水果，在将其移动到QC和储存子系统时将其牢固地抓住并且释放它。次要目的是将叶子和其他遮挡源移开，以便检测和定位水果，并且将目标水果与植物分开(在永久切断之前)，以便于确定采摘适合性。

采摘草莓等柔软水果具有挑战性，因为水果的物理处理会导致瘀伤，降低可销售性。因此，理想地通过在不处理水果体的情况下切断茎来采摘这种水果。我们系统的一个创造性方面是使用干式切割采摘头，它分三个阶段工作(‘抓取-握紧-切割’)：

1.将水果与植物的其余部分物理分离(‘抓取’)。在永久切断植物的水果之前，所述步骤促进(i)决定水果是否适合采摘和(ii)增加步骤2中的采摘将成功进行而不损害其余植物的目标水果的机会。

2.通过其茎抓住所采摘水果(‘抓紧’)。

3.切断茎(在其被抓住的点之上)，以永久地将水果与植物分开(‘切割’)。

物理分离阶段(在水果从植物中永久切断之前发生)的引入赋予了若干益处。由于目标水果可能被叶子或其他水果堵塞，因此将其拉离计划可以更好地观察，使计算机视觉系统更可靠地确定水果是否已准备好采摘以及采摘程序是否可能成功(例如，因为其他水果在目标附近)。相关的创新是机械抓持器，其可以在所述采摘前检查阶段期间旋转被抓住的水果，例如通过向其果柄施加扭转力或以其他方式。通过这种方式，相机或其他传感器可以获得关于水果的部分的信息，否则这些信息是不可见的。这项创新的一个好处是它可以决定推迟采摘隐藏侧看起来不成熟的水果。

可能的进一步创新是通过利用夹紧动作将茎拉动到一个或多个切割刀片上来组合抓取和切割阶段(2和3)。

附录A描述了几种创新的机械拾音头设计，其中含有了一些这些构想。

对于一些柔软的水果，如覆盆子，有必要在采摘过程中从茎中取出水果。对于这样的水果，一个有用的创新是通过首先切断并且抓住其茎来接着在随后的操作中从其茎上移除水果的主体来采摘水果。与需要保持或抓住水果主体的采摘技术相比，如果这种方法包括以下方面的重要益处：(i)最小化对水果主体的处理(其可显著减少保质期，例如由于致病的转移)处理装置表面上从水果到水果的病原体)，(ii)从所有方向对所采摘水果的主体进行成像以进行质量控制的可能性，以及(iii)在受控条件下移除茎的可能性。

可以采用各种方法从茎中取出所采摘水果。一种创新方法是使用压缩空气喷洒从其茎上拉出水果。这允许接触力在大的接触区域上均匀分布，从而最小化瘀伤。另一种可能性是将水果通过一个衣领拉出，这个衣领的形状很容易将水果的主体从茎上推开。根据具体的水果类型，衣领可能被设计成将接触力分布在水果主体的大面积上或集中接触力(可能通过类似于一行针的切割边缘)围绕茎的圆形图案。相关的创新是在每次使用后清洁衣领或为衣领提供一次性表面以减少病原体从水果转移到水果的可能性。

另一创新是使用水果主体的惯性将水果的主体与容器分开。这可以通过用果柄保持水果并且以足够高的角速度围绕垂直于其果柄的轴旋转来实现。这种方法的优点是惯性力有效地作用于水果体的整个质量，消除了对表面的接触力的需要(更可能导致瘀伤，因为它们被施加在小的接触区域上，增加局部压力)。这种方法的一个限制是，当水果的主体从容器中分离出来时，它会在旋转圆的切线上以速度飞离，这需要一些能够足够缓慢地阻止其运动的装置，使其不会受到瘀伤。因此，另一创新是使用水果或其果柄在大致垂直于果柄的方向上往复前后运动或振荡旋转运动，其中旋转轴线大致平行于果柄。通过以适当的频率和适当的幅度进行运动，可以可靠地将水果的主体与果壳分离，而不会使水果以高速飞出。

采摘后，采摘头在采摘臂转移到质量控制(QC)子系统时抓住水果。在一个简单的实施方案中，在随后将水果移动到储存器之前，采摘臂本身可用于将所采摘水果定位在QC子系统的成像组件内。但是，将所采摘水果转移到QC/储存子系统所花费的时间是徒劳的，因为在转移过程中没有使用臂进行采摘。因此，一个有用的创新是在个别多路复用的采摘头上包括多个采摘单元。这意味着在臂必须在植物和QC/储存部件之间执行耗时的移动并且返回之前，可以连续地采摘特定局部附近的若干水果。这意味着转移开销可以通过更多所采摘水果摊销，从而提高生产率。这在水果在植物/树木上成束的常见情况下是特别有利的，这样机器人臂在转移之前需要仅移动一小段距离以采摘几个目标。

必须布置多路采摘头上的采摘单元，以便不活动的采摘单元不会干扰主动采摘单元的操作，或者与臂或其他物体碰撞。实现这一目标的创新方法包括：

·将采摘单元径向地围绕所选择的轴线安装，使得不活动的采摘单元远离主动采摘单元并且采摘水果。

·使每个采摘单元独立延伸，以便它可以与水果接合，而其他采摘单元不会干扰现场。

采摘单元通常具有多个移动部件，例如用于钩挂、切割等，其可能需要独立驱动。然而，当在个别采摘头上多路复用多个单元时，如果每个移动部件由其自己的致动器驱动，则臂有效负载与采摘单元的数量成比例地增加，这将不利地影响臂速度、精度和总体成本。实施多路采摘头的几个创新方面使多路采摘头的总质量保持在较低水平，以使臂快速并且准确地移动：

·采摘单元上的多个采摘功能可以由单个致动器或马达驱动，通过轻型构件选择性地接合，例如电磁铁；销；旋转片；或类似物。这具有挑战性，因为不同的功能可能需要不同的致动器特性

·单个马达或致动器可以在头上的通过电磁铁、销、旋转片等选择性接合的所有单元上驱动一个功能。这相当简单。

·这些功能可以通过轻量级装置从系统的其他地方驱动，例如使用鲍登线缆、扭转驱动线缆/弹簧、气动或液压构件。

5.计算机视觉子系统

计算机视觉子系统的目的是定位目标水果，确定它们在机器人坐标系中的姿势，并且确定它们是否适合采摘，即在水果与植物永久分离之前。

为实现此目的，计算机视觉子系统使用一个或多个安装在可移动采摘臂末端的相机(或通常安装在机器人的任何其他部分，例如底盘)。连接到机器人臂的相机在计算机控制下移动，以便于检测目标水果，估计其姿势(即位置和定向)，并且确定它们可能适合采摘。随着臂移动，可以逐步细化与每个目标水果相关的姿势估计和采摘适合性指标。然而，这个细化阶段需要时间，这增加了采摘所需的时间。因此，一项重要的创新是有效移动机械臂以优化采摘速度和采摘精度之间的权衡的方案(所述方案在下面的机器人控制子系统部分中有更详细的描述)。

计算机视觉子系统在机器人控制子系统的控制下运行，所述系统对下一步要执行的动作做出连续的决定，例如将安装在臂上的相机移动到新的视点以便于发现更多的目标水果，或者移动相机到目标水果当地附近的新点，以便改进其位置/方向或采摘适宜性指标的估计。

概括地说，计算机视觉子系统的工作原理如下：

1.在机器人控制子系统的控制下，相机从多个视点捕获场景的图像。

2.通过逐像素语义分段在捕获的图像中检测目标水果。

3.对于每个检测到的水果，恢复对姿势和形状的近似估计。

4.通过将多个视图中的信息与统计先验知识相结合，可以恢复更准确的姿势和形状估计。这是通过调整草莓外观的生成模型的参数来实现的，以最大化预测和图像之间的一致性。

5.从视觉和几何线索估计每个检测到的水果的采摘成功概率。

6.在控制子系统的控制下，可以从新视点捕获特定目标水果的额外图像，以便增加采摘成功概率。

以下更详细地描述了重要步骤。

图像捕获。一个重要的挑战是控制相机系统的曝光以获得始终正确曝光的图像。如果不这样做会增加图像的可变性，从而损害基于机器学习的目标检测软件准确可靠地检测水果的能力。一种曝光控制策略是获得暴露于环境照明条件下的灰卡的图像。接着分析所述图像以确定对确保灰卡出现具有预定目标颜色值所需的曝光时间和/或颜色通道增益的调整。灰卡可以放置在机器人底盘上，并且可以到达采摘臂并且水平定向以测量从大致天空方向到达的环境照明。然而，所述方法的潜在限制是灰卡的照明可能不表示植物或目标水果的照射。因此，在(立体)相机结合在采摘头内的系统中，有用的创新是布置采摘头本身的一部分可以用作曝光控制目标。前提条件是曝光控制目标必须出现在相机的视野范围内。合适的目标可以是从前面成像的灰卡或从下面成像的半透明塑料漫射器。

真实世界的照明条件会影响图像质量，限制图像处理操作的有效性，例如目标水果检测。举例来说，通过在无云日直接朝向太阳的照相机获得的图像可能表现出镜头眩光。因此，有用的创新是使控制系统软件使用天气预报来布置采摘操作，使得机器人的相机系统被定向为最大化所获得的图像数据的质量，作为在给定时段内的预期照明条件的函数。举例来说，在水果成行生长的农场中预测为晴天的那一天，机器人可能在早晨的行的一侧和下午的行的另一侧采摘。在阴天，机器人可以更有效地同时在行的两侧采摘以分摊在每个位置处通过更多所采摘水果沿着行推进机器人的成本。相关的创新是根据照明条件动态调整视点以最大化采摘性能。举例来说，采摘头可以在直射阳光的条件下向下倾斜，以避免镜头眩光，即使以降低工作体积为代价。

目标检测。通过安装在采摘臂或其他地方的相机获得的图像中自动检测目标水果。机器学习方法用于训练检测算法以识别RGB彩色图像中的水果(和/或通过密集立体声或其他方式获得的深度图像)。为了提供训练数据，从表示性视点获得的图像用目标水果的位置和/或程度手动注释。这种构想的各种实施方案是可能的：

1.可以训练决策森林分类器或卷积神经网络(CNN)以执行语义分段，即标记对应于成熟水果、未成熟水果和其他对象的像素。像素标记可能是有噪声的，并且可以通过使用聚类算法在多个像素上聚集证据。

2.可以训练CNN以区分在其中心处含有目标水果的图像块与不含有目标水果的图像块。可以使用滑动窗口方法来确定可能含有目标水果的所有图像块的位置。或者，语义标记算法1可用于识别目标水果的可能图像位置，以便通过(通常计算上更昂贵的)CNN进行后续更准确的分类。

目标姿势确定。用于不同类型水果的采摘头可以以不同方式起作用，例如通过切割果柄或通过扭转水果直到果柄被切断(参考上文和附录A)。根据采摘头设计，采摘目标水果可能需要首先估计水果或其果柄的位置和定向(或姿势)(在下文中，水果应被解释为水果或其果柄或两者的主体)。刚性体构造通常具有6个自由度(例如，在合适的世界坐标系中的水果的X、Y、Z坐标以及描述其相对于世界坐标系的轴的方向的三个角度)。姿势可以被建模为4x4的单应性，其将合适的水果坐标系中的同质3D点映射到世界坐标系中。水果坐标系可以方便地与特定类型的水果对齐。举例来说，坐标系的原点可以位于水果的主体与其果柄的交叉点处，并且第一轴指向果柄的方向。许多类型的水果(例如草莓和苹果)和大多数种类的果柄具有带有近似旋转对称轴的形状。这意味着5个自由度通常提供用于采摘目的的足够完整的姿势表示，即水果坐标系的第二和第三轴可以任意定向。

机器人使用从多个视点获得的图像来确定目标水果的姿势，例如使用立体相机或安装到移动的采摘臂的单目相机。举例来说，在两个或更多个校准视图中检测到的目标水果的位置足以通过三角测量来近似地确定其X、Y、Z位置。接着可以通过假设(例如，水果垂直悬挂的假设)或从图像数据中恢复来估计水果或其果柄的定向。

一个有用的创新是使用学习回归函数将目标水果的图像直接映射到它们在相机坐标系中的方向。这可以使用机器学习方法来实现，其中训练合适的回归模型以预测描述来自图像(包括单眼，立体和深度图像)的近似旋转对称的水果的定向的两个角度。这种方法对于例如草莓的水果是有效的，其具有与水果的主轴对齐的表面纹理。可以使用安装在机器人臂末端的相机获得合适的训练图像。首先，手动移动臂，直到相机与适当的基于水果的坐标系统大致对齐，并且与水果的质心保持固定距离。臂对齐，因此水果在相机图像中具有规范方向，即，用于描述相机坐标系中的方向的两个或三个角度为0。接着，臂自动移动，以从不同的新视点获得额外的训练图像，已知的水果相对方向。通过让人类操作者通过检查场景和由相机产生的视频信号在视觉上判断相机和水果坐标系之间的对准，可以获得足够高质量的训练数据。通常训练图像被裁剪，使得检测到的水果的质心出现在框架的中心并且按比例缩放，使得水果占据恒定的大小。接着训练卷积神经网络或其他回归模型以预测先前未见图像中的水果定向。各种图像特征提供关于相机图像帧中的水果的方向的信息(并且可以通过合适的机器学习方法自动利用)，例如水果表面上的任何种子的密度和定向、花萼(茎周围的叶状部分)的位置和果柄的图像位置。

因为对果柄的定向的了解对于采摘某些类型的水果(或者关于水果的主体的定向的其他信息)可能是非常重要的，另一有用的创新是识别和描绘图像中的果柄的果柄检测算法。可以通过使用手动注释的训练图像训练像素方式语义标记引擎(例如，决策林或CNN)来识别位于果柄的中心轴上的像素来实现果柄检测器。接着可以使用线生长算法来描绘果柄的可见部分。如果使用立体或深度图像，则可以通过匹配对应于两个或更多个帧中的个别果柄的对应线来在3D坐标系中确定果柄定向。通过首先进行场景的语义分段(果柄，目标水果)，极大地促进了解密集立体匹配问题。关于可能被果柄占据的深度范围的假设可用于约束立体匹配问题。

给定目标水果的近似姿势估计，可能获得额外视图将改善姿势估计，例如通过揭示水果的信息部分，例如果柄附着的点。因此，有用的创新是用于预测一组可用视点中的额外视图将最显著地改善初始姿势估计的质量的程度的算法。使用多个视图获得的姿势估计和关于目标水果的可能形状和姿势的统计先验知识可以使用创新的模型拟合方法融合(见下文)。

大小和形状确定和姿势估计细化。目标水果是否适合采摘可取决于其形状和大小，例如因为顾客想要直径在特定范围内的水果。此外，可能需要考虑水果的形状和大小来调整采摘系统的某些参数，例如在采摘运动的初始‘抓取’阶段期间采摘头相对于水果的轨迹(参考上文)。因此，在采摘之前估计候选水果的形状和大小以及精炼(可能粗略的)如上确定的姿势估计可能是有益的。这可以使用从一个或多个视点获得的水果(包括立体图像)的图像来实现。

从一个或多个图像中恢复候选水果的3D形状的创新方法是调整水果图像外观的生成模型的参数，以最大化图像与模型预测之间的一致性，例如通过使用Gauss-Newton优化。所述方法还可用于细化水果位置和定向的粗略初始估计(如上所述提供)。合适的模型可以采用投影到一些透视图中的(可能纹理化的)三角形3D网格的形式。3D网格的形状可以通过描述水果形状的一些参数的数学函数来确定。通过获得大量水果的3D模型，接着使用主成分分析(或其他降维策略)来发现水果几何的低维参数化，可以构建合适的函数。另一种更简单但有效的方法是手工制作这样的模型，例如通过假设水果的3D形状可以解释为在垂直于轴的平面中应用参数各向异性缩放的旋转体积。通过使用2D图像形状(或水果的平均2D图像形状)来定义旋转体积，可以获得用于优化的合适初始化。可以使用上述方法初始化姿势参数。模型拟合方法的一个主要好处是可以同时组合来自多个视点的信息。可以测量真实和预测图像之间的一致性，例如使用真实和预测轮廓之间的距离，或者对于包括光照或纹理的模型，测量像素强度值之间的平方差的总和。一个有用的创新是使用几何模型不仅预测水果的表面外观，而且预测水果在不同的受控光照条件下投射到自身上的阴影。可以通过附接到机器人臂的端部的一个或多个照明器来提供受控照明。另一有用的创新是使用复合成本函数来建模协议，所述复合成本函数包括反映轮廓和果柄之间协议的术语。

模型拟合方法的另一好处是可以将图像证据与统计先验知识相结合，以获得形状和姿势参数的最大似然估计。可以通过惩罚根据概率模型不太可能的不太可能的参数配置来合并统计先验知识。一个有价值的创新是用于统计之前的目的，模拟大量水果在重力影响下从其果柄上悬挂的方式。在一个简单的实施方案中，先验可能反映了我们的知识，即水果(特别是大水果)倾向于从其果柄垂直向下悬挂。这样的先验可以采用概率分布的简单形式而不是水果定向。更复杂的实施方案可以采取关于水果的形状和大小，水果的姿势以及在水果附着点附近的果柄的形状的联合分布的形式。合适的概率分布通常通过在表示性条件下进行水果生长的几何测量来形成。

一些采摘头设计使得在采摘之前可以物理地将候选水果与植物和果束中的其他水果分开(参考上文)。举例来说，采摘头的‘钩’设计(见附录A)允许候选水果由其果柄支撑，使其悬挂在距离安装到机器人臂的相机可预测的距离处。这种创新的一个好处是可以从受控的视点捕获水果的图像(或立体图像)，从而有助于更准确地确定大小和形状，例如通过轮廓的形状。

采摘适用性的确定。尝试采摘目标水果可能会也可能不会成功。成功采摘通常意味着(i)所采摘水果适合销售(例如成熟和未损坏)并且在所述条件下运送到储存容器，(ii)采摘期间没有其他部分的植物或生长基础设施受损，并且(iii)采摘臂不会发生任何可能干扰其继续操作的碰撞。然而，在腐烂的水果被采摘和弃置以延长植物的寿命的情况下，并不要求所采摘水果处于可销售的状态。

有价值的创新是通过估计尝试采摘目标水果的统计概率来确定目标水果的采摘适合性。可以在尝试通过特定接近轨迹采摘目标水果之前估计所述概率，因此控制子系统可以使用所述概率来决定接下来要采摘哪种水果以及如何采摘它。举例来说，可以首先采摘最容易采摘的水果(即最可能被成功采摘的水果)以便随后采摘难以所采摘水果，例如因为它们部分隐藏在其他水果之后。采摘成功概率估计也可以用于决定不采摘特定的目标水果，例如因为对植物或所采摘水果的损害而言的采摘的预期成本将不会超过通过再采摘一个水果所提供的益处。控制子系统负责优化采摘计划，以实现采摘速度和故障率之间的最佳平衡(见下文)。

一项重要的创新是使用从目标水果附近的观点获得的场景图像来估计采摘成功概率的方案。举例来说，我们可以通过移动安装在其当地附近的采摘臂的末端执行器的相机(可能是立体声或深度相机)来对水果表面进行成像。各种图像测量可以用作采摘成功概率的指标，包括例如(i)估计的水果及其果柄的姿势和形状，(ii)与恢复的姿势和形状估计相关的不确定性，(iii)颜色目标水果的表面，(iv)检测到的障碍物的接近程度，以及(v)候选水果可见的观察范围。

用于估计采摘成功概率的合适统计模型可以采用在所有采摘成功指标的空间上定义的多变量直方图或高斯直方图的形式。一项重要的创新是使用工作机器人获得的采摘成功数据来学习和改进这种模型的参数。由于质量控制子系统提供关于采摘水果的可售性的准确判断，因此其输出可用作成功或失败的基础事实采摘的指标。随着更多数据的生成，可以使用在线学习方法动态更新模型，以便快速适应采摘行为以适应新农场或生长季节的需求。多个机器人可以共享和更新相同的模型。

由于采摘头可能通过一系列可能的轨迹接近目标水果(取决于障碍物的几何形状和采摘臂的自由度)，因此采摘成功的概率被建模为假设的进近轨迹的函数。通过这种方式，控制子系统可以决定如何采摘水果以实现采摘时间和采摘成功概率之间的最佳平衡。在路径规划操作期间，可以使用场景的显式3D模型对采摘臂和场景之间的碰撞概率进行建模(如下面的控制子系统部分中所述)。然而，另一种创新方法是使用由视点范围形成的场景的隐式3D模型，从中可以观察到目标水果而没有遮挡。根本的见解是，如果目标水果从特定视点完全可见，那么由水果的2D图像周边的反投影定义的体积必须在相机和水果之间是空的。通过识别目标水果未被遮挡的一个或多个视点，找到空间的无障碍区域。如果在采摘过程中没有任何部分的采摘头或臂部偏离所述空间区域，则不应发生碰撞。当从特定视点观察时，通过水果和相机之间的障碍物阻挡目标水果可以通过包括例如立体匹配的几种手段来检测。

另一重要的创新是采摘头，可以将目标水果从植物中拉出，以便在水果永久性地从植物上切下之前更加可靠地确定水果的采摘适合性。新型采摘头设计见附录A。

6.质量控制子系统

质量控制子系统的主要功能是为个别所采摘水果(或者可能是用于采摘成束的水果的个别采摘水果串)分配质量标准。根据所采摘水果类型和预期的顾客，质量是水果的几种性质的函数，例如成熟度、颜色、硬度、对称性、大小、茎长度。所采摘水果可以被指定反映其质量的等级分类，例如等级1(对称)或等级2(示出显著的表面折痕)或等级3(非常变形或者不适合出售)。用于零售的质量太低的水果可以弃置，单独存放以用于其他应用，例如果酱制造。一个重要的实施挑战是确保QC步骤可以快速执行，以最大限度地提高采摘机器人的生产率。QC子系统的第二功能是确定水果大小和形状的更准确估计。所述估计可用于若干目的，例如

·对于质量分级，因为水果的3D形状的任何不对称性可能被认为是分配较低质量等级的原因；

·作为估算水果质量的一种手段，从而确保根据目标客户的要求确定每个果篮的所需水果质量，以确定每个果篮的平均质量或最小质量；

·以便于将水果更精确地放置在储存容器中，从而最小化由于碰撞引起的瘀伤的风险。

QC子系统通过计算机视觉组件为每个所采摘水果生成质量测量，所述计算机视觉组件包括一些相机、一些灯和一些用于图像捕获和分析的软件。通常，相机被布置成获得已经适当定位的采摘水果的整个表面的图像，例如通过采摘臂。举例来说，对于像草莓这样的水果，其可以被保持以便从其果柄垂直向下悬挂，一个相机可以位于水果下，而另外几个相机可以围绕垂直轴向内看而径向定位。然而，所述方案的一个限制是需要大量的体积来容纳相机(允许相机-物体距离，水果的最大大小以及水果定位中固有的公差)。一种解决方案可能是在个别相机前旋转水果以获得多个视图-然而，旋转后水果的任何无阻尼运动可能使成像复杂化。因此，另一有用的创新是使用定位和定向的镜，以便将水果的多个虚拟视图提供给安装在水果下面的个别相机。所述方案大大降低了QC子系统的成本和大小。相机和/或镜通常被布置成使得水果在所有视图中看起来都与普通背景相对应，以便于在图像中划分水果。

另一有用的创新是在不同光照条件下获得多个图像。举例来说，这可以通过将一系列LED灯围绕水果布置成圆形并且一次一个地激活它们来实现，每个光捕获一次曝光。这种创新大大增加了图像的信息量，因为定向光会在水果表面和适合定位的背景屏幕上产生阴影。这样的阴影可以用于获得关于水果的3D形状的更多信息，例如可以降低可销售性的任何表面折叠的位置。

使用这些图像，图像分析软件可以测量水果的3D形状并且检测各种缺陷(例如腐烂、鸟类损坏、喷雾残留物、瘀伤、霉菌等)。有用的第一步是语义标记步骤，其用于从背景划分水果并且生成对应于水果部分的每像素标签(例如花萼、主体、瘦果等)。以与计算机视觉子系统(在采摘之前进行粗略的3D几何测量)相同的方式，QC子系统可以通过调整生成模型的参数来恢复3D几何，以最大化模型和图像数据之间的一致性。同样，可以使用统计先验来获得形状参数值的最大似然估计。一个有用的创新是使用水果质量密度的估计来确定从体积估计的重量估计。通过这种方式，我们避免了增加机械称重装置的额外复杂性的需要。

质量判断的大多数方面都有些主观。虽然人类专家可以合理地对所采摘水果进行合理评分，但它们可能很难准确地阐明哪些因素会产生特定的质量标签。因此，一项有用的创新是使用人类专家提供的质量标签数据来训练机器学习系统，以便自动为新采摘的水果分配质量标签。这可以通过训练具有训练数据的图像分类器来实现，所述训练数据包括(i)由QC硬件获得的采摘水果的图像和(ii)由人类专家提供的相关质量标签。可以使用各种模型将图像数据映射到质量标签，例如使用适合于所讨论的水果类型的手工制作的简单线性分类器。举例来说，在草莓的情况下，适当的特征可能旨在捕获关于几何对称性，种子密度(其可以指示水果的干燥)，成熟度和表面折叠的信息。利用足够的训练数据，还可以使用卷积神经网络来学习直接从图像到质量标签的映射。

图9示出了QC成像室的典型实施方案的剖视图。相机(以及可能的其他传感器，例如对包括IR的EM光谱的特定(并且可能不可见)部分敏感的相机，(ii)使用偏振光的相机和照明器，以及(iii)特定于特定化学化合物的传感器可以由水果发射。)定位在圆柱形成像室的壁周围，提供采摘水果表面的每个部分的视图。所采摘水果被合适的末端执行器(这里示出的是附录A中描述的钩设计)抓住并且通过采摘臂(其中仅示出头)下降到腔室中。一个有用的创新是创造一个“狭缝”来减少进入QC装置的环境光量-这是一个位于成像室光圈顶部的小圆柱体，可阻挡来自侧面的不需要的光线。与在QC成像室内成像水果相关联的一个困难是水果碎片可以收集在室内。因此，有价值的创新是为腔室配备一个底座，所述底座在使用一段时间后可以拉出并且擦拭干净。

7.储存子系统

储存子系统的目的是储存所采摘水果以供机器人运输，直到它可以被卸载以便随后分发。由于某些类型的水果可能会因重复处理而受损，因此通常需要在采摘后立即以适合零售的方式包装水果。举例来说，在草莓或覆盆子等水果的情况下，所采摘水果通常直接转移到果篮中，接着将它们运送到零售商处。通常，果篮存放在托盘中，每个托盘有10个果篮布置在2×5网格中。当每个托盘中的所有果篮都被填满时，托盘就可以从机器人中取出并且用空托盘替换。

由于机器人在地面上的运动引起的振荡会使一些水果容易受伤，因此有用的创新是通过悬挂系统(主动或被动)安装托盘，以便最大限度地减少机器人在崎岖地形下运动时的加速度。

卸下所采摘水果的整个托盘可能需要机器人行进到行的末端-因此有利的是机器人容纳更多的托盘以分摊往返于行的末端而不是所采摘水果的时间成本。然而，机器人也很小是有利的，因此它可以容易地操纵和存放。因此，一项有用的创新是为机器人配备托盘支撑架，所述架在每端向外延伸，但在需要被操纵或存放在狭窄间隔时，可以分离或旋转(向上或向下)以减少机器人的长度。

另一有用的创新是将托盘储存在机器人体内的两个垂直方向的堆叠中，如图3所示。一个堆叠含有尚未填充的果篮的托盘，另一堆叠含有满果篮的托盘。采摘臂将所采摘水果直接转移到最顶部的托盘中。一旦托盘中的果篮被填满，整个托盘堆叠下降一个托盘深度以容纳新的托盘，托盘从堆叠的待填充托盘的顶部水平滑动到顶部。一堆完整的托盘和一堆尚未填充的托盘上升一个托盘深度，以便在机器人臂的范围内带来一个新的尚未填充的托盘。这种设计允许机器人在有限的占地面积内紧凑地储存多个托盘-这对于必须穿过狭窄的作物行或在运输车辆上运输的机器人来说非常重要。

采摘后不久冷藏所采摘水果可以大大延长保质期。上述托盘的紧凑布置的一个优点是整个托盘可以储存在冷藏的外壳中。然而，在实践中，机器人上的制冷单元的功率要求可能大于方便的便携式能源(例如可充电电池)可以容易地满足。因此，另一有用的创新是使用各种远程动力传递装置中的一种来进行水果采摘机器人。一种可能性是使用带电的架空电线或铁路，如旅客列车。另一种方法是使用一端连接到机器人的电源线缆，另一端连接到固定的电源点。当机器人沿着作物行行进时，供电线缆可以储存在线圈中，所述线圈自动卷绕和展开，并且这样的线圈可以储存在位于机器人内部或作物行末端的鼓上。作为直接向机器人输送电力的替代方案，冷却剂液体可以通过柔性管在机器人和静态制冷单元之间循环。在这种情况下，机器人可以使用内部热交换器从储存容器中取出热量。

图10示出了说明用于在采摘机器人内储存果篮托盘的节省空间的方案的图。满果篮的托盘储存在一个堆叠中(如右图所示)，空果篮的托盘储存在另一堆叠中(如左图所示)。采摘臂可以将所采摘水果放在最顶部的托盘中。一旦右手侧最上面的托盘装满(A)，满果篮的托盘堆向下下降，托盘向侧面滑动(B)，并且堆叠的空托盘上升(C)。

托盘移除/替换可以由人类操作者或通过自动装置实现。一项有用的创新是通过将机器人本身的频闪灯与管理用户界面中的相应视觉信号相结合，吸引操作者注意更换托盘的需要。闪烁特定颜色或具有特定闪光模式的闪光灯可以有利于允许操作者将UI中的视觉信号与需要托盘更换或其他干预的特定机器人相关联。另一有用的创新是使用一个小型，快速移动的机器人与更大，速度更慢的采摘机器人协同工作的构想。小型机器人可以自动从采摘机器人中取出托盘(或满果篮)，并且将它们快速送到制冷设备，在那里可以冷藏以便随后分配。

对于某些类型的水果，顾客(超市等)通常会对每个果篮(或果篮中的水果)的水果大小和质量进行定义。典型要求包括：

i.每个完整的果篮总重量在标称值的一些允许公差范围内；

ii.每个果篮中不到一部分水果的大小差异超过平均值的某个阈值百分比；以及

iii.每个果篮中不到一定比例的水果表现出不寻常的形状或瑕疵。

取决于种植者和顾客之间的合同，不符合这些要求的小便(或者例如含有一个或多个不满足这些要求的果篮的托盘)可能会被客户拒绝，从而降低了种植者的利润。商业要求可以通过成本函数来建模，所述成本函数是种植者通过向顾客提供果篮或托盘的预期利润的单调递减函数。举例来说，简单的短网成本函数可能取决于以下因素的线性组合：

成本＝w₀e+w₁.u+w₂.c+w₃.d

其中e表示果篮中草莓的重量超过目标重量，u是指示变量，如果果篮重量不足则为1，否则为0，c是所需草莓数量的测量大小范围。最后，d是衡量将草莓放在特定果篮中需要多长时间的量度，这是臂到达果篮时必须走多远的结果。权重w_i反映了这些因素对盈利能力的相对重要性，例如w₁反映了含有体重不足的果篮被拒绝的托盘的成本，加权了额外的体重不足的果篮会导致托盘被拒绝的风险；同样，w₃反映了花费更多时间将草莓放在更远的果篮上对整体机器生产率的影响。

一个有趣的观察结果是，根据上述成本函数，在双网之间不同地分配完全相同的采摘水果可能会产生不同的总成本。举例来说，因为更精确地满足果篮重量或其他包装要求意味着需要较少的误差余量，因此可以用相同数量的水果填充更多数量的果篮，或者因为在每个果篮中放置相似大小的水果减少客户拒绝托盘的可能性。因此，有用的创新是根据规模和质量测量自动将所采摘水果分配到多个果篮(或弃置容器)的策略，以根据前面描述的测量最小化总成本的统计预期，即最大化预期的盈利能力为种植者。与人类采摘者相比，软件系统可以同时保持更准确和更完整的许多嫌疑人内容的记录。因此，机器人可以将所采摘水果放入许多部分填充的果篮中的任何一个(或弃置不合适的大小或质量的水果)。但是，这项任务具有挑战性，因为：

·可能只有有限数量的部分填充的果篮；

·随着果篮的填满，可用于增加水果的空间量减少；

·将所采摘水果从果篮移到果篮是不可取的，因为它耗时并且可能会损坏水果；以及

·尚未所采摘水果的大小和质量通常不是先验的，因此有必要优化采摘水果的可能序列以及相关的质量和大小分级。

在上述构想的简单实施方案中，可以放置每个连续所采摘水果以根据前面描述的成本测量最大化增量成本降低。然而，这种贪婪的局部优化方法不会产生全局最佳的水果分布。更复杂的实施方案通过优化未被采摘的草莓流的预期未来成本来工作。Whist可能无法预测尚未采摘的草莓的大小或质量，可以对这些属性的统计分布进行建模。这意味着可以通过蒙特卡罗模拟或类似方法实现水果放置的全局优化。举例来说，考虑到(i)草莓在果篮中的已知现有放置和(ii)对未来待采摘草莓的许多样品的期望，可放置每种水果以最小化总成本。描述采摘水果大小和可能的其他质量测量的概率分布(高斯，直方图等)可以在采摘水果时动态更新。

请注意，上述成本函数(w₃.d)中的最终项可用于确保机器人倾向于将更大的草莓放置在更远的果篮中。由于含有较大草莓的果篮需要较少的草莓，这项创新可以最大限度地减少耗费时间的臂移动到远处的果篮。

有时，储存子系统无法在不增加预期成本(即降低预期盈利能力)的情况下将采摘的水果放入任何可用的果篮中，例如因为草莓太大而无法放置在任何可用空间中，或者因为其质量或大小无法确定具有很高的统计信心。因此，另一有用的创新是让机器人将这种水果放入单独的储存容器中，以便随后进行详细检查并且由人类操作者重新包装。

对于在同一分枝结构中含有多个单独水果的成束采摘水果，例如鲜食葡萄或葡萄藤，可能重要的是没有个别水果受损或以其他方式玷污，例如因为个别腐烂水果可以缩短生命或破坏整个果束的外观。因此，有价值的创新是两阶段采摘程序，其中首先采摘整个果束，并且从中取出第二不合适的个别果束。在一个实施方案中，这可以如下工作：

1.第一机器人臂通过切断果柄来采摘果束。

2.对果束进行目视检查以确定任何瑕疵的个别水果的位置。在视觉检查期间，第一机器人臂继续握住果束以进行目视检查。

3.第二机器人臂修剪掉果束中的瑕疵水果。类似于用于单独采摘草莓等个别水果的采摘头也可用于从一束中修剪个别水果。

在此构想的另一实施方案中，第一机器人臂可以将果束转移到静态支撑件上，以便随后检查和去除不需要的个别水果。通过这种方式，可以仅使用个别机器人臂。

除了决定应放置哪个果篮(或其他容器)采摘水果之外，对于机器人来说，确定在目标果篮中放置水果的位置也可能是必要的或有益的。一个关键的挑战是放置所采摘水果，以尽量减少由于与果篮的地板墙壁或已经在果篮中的其他水果碰撞造成的瘀伤(或其他类型的损坏)。在通过抓住水果茎来工作的水果采摘系统的背景下，另一挑战是确定水果应被释放到果篮中的高度-太高并且水果可能在撞击时受伤，太低并且水果可能会夹在夹持器和果篮的底部之间。另外，所采摘水果不一定垂直悬挂，因为茎不是直的并且有些僵硬。因此，一个有用的创新是在末端执行器坐标系统中测量水果基部与其抓取点之间的垂直位移或采摘水果的姿势，以便水果可以在最佳高度释放。这可以通过使用单眼或立体相机来确定所采摘水果的底部相对于夹具的(假设已知的)位置的位置来实现。相关的创新是使用果篮的图像(由采摘头中的相机或其他方式获得)来确定已经在果篮中的其他采摘水果的位置。接着可以相应地改变位置或释放高度。对于可以通过其茎有效地保持的草莓等水果，另一有用的创新是使夹具定向，使得在将水果释放到储存容器中之前将茎保持水平。这允许在夹持器和水果主体之间的茎段的顺应性用于在将水果放入容器中时缓冲水果的着陆。

相关的创新是自动定位和定向水果以最大化视觉吸引力。举例来说，这可以通过放置具有一致定向的水果来实现。

因为机器人知道每个果篮中放置了哪种水果，所以它可以记录果篮的质量。因此，一个有用的创新是用条形码标记每个果篮，所述条形码可以由机器人读取，因此用于相关的具体回到果篮含有的水果的记录。

8.映射子系统

人工监督员使用管理用户界面在地图上指示机器人应选择的位置(见下文)。先决条件是地理参考的环境2D地图，它定义了(i)机器人可以自由选择任何路径的区域(需要穿越地形并且避免与其他机器人发生碰撞)和(ii)机器人必须大致跟随的路径，例如在生长的植物行之间。机器人可以从不规则或有规律地分布的植物中采摘，例如成行。

合适的地图可以由人类监督者使用映射子系统构建。为了便于地图创建，映射子系统允许人类操作者容易地定义分段线性路径和多边形区域。这是通过以下几种方式实现的：

·使用地理参考航空影像和图像标注软件。UI允许用户使用多边形区域的顶点的位置和定义路径的位置序列来注释航拍图像，例如通过一系列鼠标点击。当注释作物行的起点和终点时，使用基于整数的行索引方案来促进起始位置和结束位置之间的逻辑对应。

·使用物理测量设备，其位置可以准确地确定，例如通过差分GPS。用户通过手动定位测量工具来定义区域边界，例如沿着路径的一系列点，或者在多边形区域的顶点处。例如按钮的简单UI设备允许用户启动和终止区域的定义。调查装置可用于定义(i)沿共享路径的航点的物理位置，(ii)机器人可在其中选择任何路径的多边形区域的顶点，(iii)在一行作物的开始和结束处。调查设备可以是设计用于手持使用的设备或能够在无线电遥控下移动的机器人车辆。

在农业方面，一个重要的问题是，如果太多机器人在其上采用相同的路线(或者如果相同的机器人在相同的路线上行进太多次)，那么重型机器人可能会损坏软地面。因此，一个有用的创新是选择自由区域内的路径，以尽可能地在地面上分配路线。可调参数允许在旅行时间和距离以及传播程度之间进行权衡。

9.管理子系统

管理子系统(包括其组成性管理用户界面)具有以下几个重要功能：

·其允许人类监督者使用2D地图(先前使用映射子系统创建)来定义应采摘哪些作物行。

·其允许人类监督者设置在采摘和QC期间使用的操作参数值，例如水果大小和成熟度的目标范围，用于决定是否弃置或保持水果的质量测量，如何在果篮之间分配水果等

·其有利于机器人在农场周围的移动。

·其划分了一个或多个机器人和人类操作者之间的工作。

·其控制机器人沿着每行草莓的运动。

·其允许机器人向人类监督者发出状态或故障状态的信号。

·其允许人工监督员立即将任何或所有机器人置于断电状态。

·其允许人工监督员通过在地图上显示机器人的位置来监测所有机器人的位置和进度。

如果有多个机器人，那么它们会合作确保它们可以在同一个附近移动而不会发生碰撞。

如果出于安全或其他原因不希望机器人在站点周围完全自主导航，则可能希望机器人能够在人类远程控制下临时驱动。合适的控制可以由无线电遥控手持机或软件用户界面提供，例如由平板电脑显示。

为了避免人类操作者单独驱动多个机器人(例如从储存容器到采摘站点)的需要，有价值的创新是一种手段，通过这种方式，一系列机器人可以自动跟随在人类控制下驱动的个别“引导”机器人。我们的构想是，链中的每个机器人都在给定的近似距离处跟随其前身，并且在地面上采用大致相同的路线。

此构想的一个简单实施方案是使用可移除的机械联接器将第二机器人连接到第一和每个连续机器人到其前身。可选地，可以使用用于测量机器人与其前身的耦合所传递的力的方向和大小的装置来获得其马达的控制信号。举例来说，跟随机器人可能总是以其最小化或以其他方式调节机械联接器中的力的方式向其轮子或轨道施加动力。通过这种方式，链中的所有机器人都可以共同承担提供动力的责任。

此构想的更复杂的实施方案通过使用传感器的组合来消除对机械联接的需要，以允许机器人确定其绝对姿势和它们相对于链中的邻居的姿势的估计。可能使用通信网络(例如，WiFi网络)来允许所有机器人共享由个体机器人获得的带时间戳的姿势估计。一个重要的好处是可以组合由许多个体机器人获得的可能有噪声的相对和绝对姿势估计，以获得所有机器人的姿势的联合最佳估计。在一个这样的实施方案中，机器人可以配备有计算机视觉相机，其被设计为检测世界坐标系中的绝对姿势和它们相对于其邻居的姿势。所述设计的关键要素如下所述：

·机器人设计为在标准机器人坐标系中具有已知位置或姿势的视觉上鲜明的特征。举例来说，视觉上不同的标记可以在某些预定位置附着到每个机器人。标记通常设计用于在相机图像中进行可靠的自动检测。

·在标准机器人坐标系中以已知姿势将一个相机(或多个相机)连接到每个机器人。通过检测属于第二机器人的视觉上不同的特征的其自己的相机图像帧中的2D位置，一个机器人可以估计其相对于第二机器人的姿势的姿势(例如，通过离散线性变换)。使用每个机器人独有的视觉上独特的标记(例如条形码或QR码或由闪光灯产生的闪烁的独特模式)提供了一种方法，通过所述方法，机器人可以唯一地识别跟随它或被它跟随的机器人。

·链中的一个或多个机器人还在合适的世界坐标系中保持其绝对姿势的估计。可以使用信息源的组合来获得此估计，例如差分GPS或基于计算机视觉的同时定位和映射(SLAM)系统。可以融合来自若干(可能有噪声或不准确)的源的绝对位置估计，以给出较少噪声和更准确的估计。

·例如无线网络的机器人间通信基础设施允许机器人彼此通信。通过这种方式，机器人可以询问其他机器人相对于前方机器人的当前姿势。提供姿势信息以及时间戳，例如使得移动机器人可以在融合姿势估计时补偿等待时间。

·在机器人链中，所有机器人获得的绝对和相对位置估计被融合以获得所有机器人姿势的更高质量估计。

·每个机器人使用PID控制系统来实现相对于引导机器人的轨迹的期望姿势。通常，通过在引导机器人的轨迹上找到最接近的点来获得控制系统的目标位置。之前在所述点处的目标机器人的方向定义了后续机器人的目标方向。可以设置目标速度，例如以保持所有机器人之间的恒定间隔。

在采摘时，机器人团队可能会分散在大片区域。由于机器人在视觉上相似，这可能使人类监督者很难识别个别机器人。为了让人类监督者能够将软件UI中2D地图上显示的机器人位置与世界上的机器人位置相关联，一项有用的创新是为每个机器人配备高可见度频闪灯，以响应鼠标点击(或者在UI中显示的位置上的其他合适的UI手势。通过使用不同颜色的闪光灯和不同的时间照明顺序，可以使各个机器人更加独特地识别。相关的创新是将由闪光灯产生的(可能有色的)光向上引导到生长作物的多通道的屋顶上。这有助于识别高大作物隐藏的机器人或生长某些作物(如草莓)的桌子。

因为个别人类监督者可能负责同时工作的多个机器人，所以如果UI暴露团队中每个机器人的控制(例如停止和启动)，则是有用的。然而，一个难点是知道控制哪个机器人需要哪个遥控设置。因此，在需要紧急停止的情况下，系统通常被设计成使得按下紧急停止按钮(例如，在监督者的平板电脑UI上)将停止监督者负责的所有机器人。这允许监督者在确保安全之后确定哪个机器人是哪个。

在采摘时，机器人可能会遇到所谓的故障情况，只能通过人为干预来解决。举例来说，可能需要人类移除和更换完整的采摘水果托盘或者将机器人从导致其机械卡住的障碍物中解开。这需要让人类监督者从机器人移动到机器人，例如通过步行。为了让人类监督者能够有效地完成这项工作，一项有用的创新是使用有关机器人位置的信息以及它们的故障条件(或即将发生的故障情况)的紧迫性来规划人类监督者在其中的路线。路线规划算法可以用于例如最小化人类监督者在机器人之间移动的时间(并且因此最小化所需的人类监督者的数量及其成本)。需要调整标准导航算法以解决人类操作者在移动机器人中以有限速度移动的事实。

10.机器人控制子系统

10.1.概述

在机器人正在采摘时，机器人控制子系统对下一步要执行的操作做出连续的决定。可用的一组动作可以包括(i)向前或向后移动整个机器人(例如，沿着一行植物)，(ii)将采摘臂和附接的相机移动到先前未探索的视点，以便于检测更多候选水果，(iii)在一些候选水果的当地附近移动采摘臂和额外的相机，以改进其姿势或采摘适合性的估计，以及(iv)尝试采摘候选水果(在特定的假设位置/定向)。这些行动中的每一项都有一些预期的成本和收益。举例来说，花费更多时间在特定附近寻找水果会增加采摘更多水果的机会(可能增加产量)，但这只会花费更多时间或花费更多时间(可能降低生产力)。机器人控制系统的目的是布置行动，理想情况是根据期望的测量最大化预期的盈利能力。

在一个简单的实施方案中，机器人控制子系统可以以三个阶段的交替顺序移动整个机器人和采摘头和相机。在第一阶段中，臂系统地移动，例如以网格图案移动，记录检测到的水果的图像位置。在第二阶段，采摘头和相机依次移动到每个预期目标水果附近的位置，收集更多图像数据或其他信息以确定(i)是否采摘水果和(ii)从哪个方向到选择。在第二阶段期间，系统基于对成功采摘合适水果的概率的连续精确估计(即，采摘成功概率)来确定花费多少时间来收集关于目标水果的更多信息。当估计的采摘成功概率大于某个阈值时，则应进行采摘。否则，控制系统可能继续移动臂，直到采摘成功概率大于阈值或某个时间限制已经到期。在第三阶段，一旦检测到所有检测到的水果或拒绝采摘，则整个机器人可以沿着植物行移动固定距离。

10.2.总位置控制

在采摘期间，控制子系统使用总定位子系统将整个机器人在植物中移动并且在适合所采摘水果的范围内移动，例如沿着一行草莓植物。通常，机器人以一系列步骤移动，在每个步骤之后暂停，以允许采摘机器人可触及的任何水果。使用尽可能少的步骤是有利的，例如因为在每个步骤期间机器人需要时间来加速和减速。此外，因为采摘到达内水果所需的时间取决于机器人与水果的相对位置，所以有利的是定位机器人以使预期的采摘时间最小化。因此，有价值的创新是动态地选择步长和方向，以便根据合适的模型尝试最大化预期的采摘效率。

在此构想的简单实施方案中，可以使用计算机视觉相机来检测附近但在机器人的当前范围之外的目标水果。接着，机器人可以(i)重新定位，以便最小化检测到的水果的预期采摘时间，或者(ii)如果在其原始附近没有检测到合适的水果则移动更大的距离。另外，可能的水果位置的统计模型可用于调整步长。这种统计模型的参数可以在采摘期间动态地改进。

10.3.机器人臂路径规划

采摘臂和额外的相机在控制子系统的控制下移动，以找到、定位和采摘目标水果。为了使臂能够在不与自身或其他障碍物碰撞的情况下移动，使用路径规划算法来找到初始配置(即接头角度的向量)与实现期望的目标末端执行器姿势的新配置之间的无碰撞路径。基于臂和场景的几何的3D模型的物理模拟可用于测试候选路径是否将是无碰撞的。然而，因为在运行时找到无碰撞路径可能非常耗时，所以可以通过在配置空间中的一对或多对点之间对机器人的运动进行物理模拟来预先识别这样的路径-从而定义图形(或“路线图”，其中节点对应于配置(和相关的末端执行器姿势)，并且边缘对应于配置之间的有效路线。一个有用的创新是选择分配给图表每个边缘的成本(或“长度”)，以反映反映采摘机器人整体商业效率的因素的加权和。这些可能包括(i)所需的大致时间，(ii)能源成本(在电池供电的机器人中很重要)，以及(iii)部件磨损对机器人部件故障预期时间的影响(这会影响维修间隔，停机时间)等)。接着可以按如下方式进行路径规划：

1.搜索图形的节点以找到可以通过从初始配置Ci的线性移动而无冲突地到达的配置C0。

2.搜索图形的节点以找到配置C1，通过简单的线性移动可以从所述配置C1到达目标姿势而不会发生碰撞。可以通过反向运动学来确定与目标姿势相对应的配置，可能使用与每个候选配置相关联的配置作为非线性优化的起始点。

3.在节点C0和C1之间找到图中的最短路径，例如使用Djikstra算法或其他方法。

此方法的一个限制是图形只能针对已知的场景几何进行预计算-并且原则上场景几何形状可以在机器人每次移动时改变，例如沿着一行作物。这激发了一项有趣的创新，即在空间区域(“体素”)和路径图图形的边缘之间建立映射，这些边缘对应于配置空间路径，这将导致机器人在其部分或全部运动期间与所述区域相交。在图形的每个边缘的机器人运动的物理模拟期间，可以容易地构建这种映射。通过使用体素近似真实且可能频繁变化的场景几何形状，可以在运行时从图形中快速地消除与将导致臂与场景碰撞的路径相对应的那些边缘。可以使用生长基础设施的几何形状的先验知识和机器人相对于它的姿势来获得基于体素的近似场景几何形状的合适模型。或者，可以通过各种手段动态地形成模型，例如深度相机，超声波或立体视觉。

在水果采摘的背景下，某些类型的碰撞可能不是灾难性的，例如，缓慢移动的臂和周边叶子之间的碰撞。因此，另一有用的创新是使用路径规划算法来模拟障碍物而不是固体物体(模仿例如边界框)，而是作为具有不同材料属性的不同类型障碍物的场景空间占用的概率模型，例如树叶、浇水管、成长袋。接着，路径规划算法可以为不同类型的碰撞分配不同的成本，例如与不可移动物体碰撞的无限成本和与叶子碰撞的较低(并且可能是速度相关的)成本。通过选择具有最低预期成本的路径，路径规划算法可以最大化运动效率，例如通过调整运动经济性和与叶子的概率碰撞之间的权衡。

10.4.强化学习的学习控制策略

给定对目标水果的大致位置的估计，系统可以通过从新观点获得更多视图来获得关于目标的更多信息(例如，其形状和大小，其对于采摘的适合性，其姿势)。来自多个视图的信息可以组合以产生关于水果对于采摘的适合性和特定方法向量的适合性的更准确的判断。作为一个简单的示例，多个视图中目标水果的平均颜色可用于估计成熟度。作为另一示例，可以通过采用与果柄定向的最大置信度估计相对应的视点来选择最佳视点。然而，获得更多目标视图可能非常耗时。因此，重要的是(i)选择将为最低成本提供最有用的额外信息的观点，以及(ii)决定何时停止探索更多观点并且尝试选择目标或放弃目标。例如：

如果目标水果(或其茎)被部分遮挡(通过叶子、其他水果等)，那么沿着减少闭塞量所需的方向移动可能是有价值的。通常，希望找到一个视点，从中可以看到整个水果没有遮挡，因为这样的视点通过背投影轮廓定义了一个空间体积，其中采摘头(和所采摘水果)可以朝向目标水果没有与任何其他障碍物碰撞。

如果从用于采摘目的而难以确定其姿势(或其果柄的姿势)的观察点观察目标水果，那么移动到更容易确定其姿势的观点可能是有价值的。

如果目标水果位于其他目标水果附近，使得哪个水果属于哪个果柄含糊不清，那么从果柄可以更容易地与目标水果相关联的观点获得另一视图可能是有价值的。

如果接近水果以从当前视点采摘它将需要耗时的移动采摘臂(例如，因为一些移动需要重新配置机器人臂的接头角度)，则期望从对应于更快移动的相应视点定位草莓。

有时候需要多次观点来确定应采摘水果。有时，它将是明确的，但不是获得更多的观点，最好继续前进，例如，留下水果可以由人类采摘者采摘。然而，手动设计有效的控制程序可能非常困难。

这样做的策略是使用强化学习来学习决定下一步做什么的控制策略。控制策略将某些状态和当前输入视图映射到新视点。状态可能包括使用先前视图和臂配置获得的观察结果，这可能会影响后续移动的成本。

为了通过强化学习来训练控制策略，有必要定义奖励成功的效用函数(在这种情况下选择可销售的水果)并且惩罚成本(例如花费的时间，消耗的能量等)。这激发了这样的构想：在机器人在现场操作时可以训练控制策略，使用它们的机载QC装备使用高质量的采摘成功信息来判断采摘成功。一个有趣的创新是，可以使用多个采摘机器人并且行探索可用控制策略的空间，在它们之间共享结果(例如，通过通信网络或中央服务器)，以便所有机器人都可以从使用最着名的控制策略中受益。然而，所述方法的一个限制是可能花费大量时间来获得足够的训练数据以用于学习有效的控制策略。这产生了重要的创新，其用于训练目的，从在相机姿势空间中布置在网格上的一组视点获得的场景的图像。可以通过在程序控制下驱动采摘机器人依次访问每个网格点，获取每个网格点的(立体)图像来捕获这样的数据集。使用以这种方式获得的训练集，可以通过在可用视点中模拟机器人的运动来实现控制策略的强化学习，从而考虑与每个运动相关联的成本。在模拟中，机器人可以在网格上的任何视点之间移动(在当前控制策略的控制下)，对每个视点执行图像处理，并且决定沿着假设的物理路径选择目标水果。不可能确定沿着特定路径采摘目标水果在物理世界中是成功的。然而，对于一些目标水果，仅仅在立体视点中识别正确的果柄提供了获得成功的高概率。因此，我们使用成熟水果的果柄的正确识别作为在强化学习中取得成功的表示。可以为训练集手动提供地面真实果柄位置。

强化学习的核心是评估特定控制策略对数据集的有效性的一些方法。概括地说，这是通过以下方式实现的：

1.设置成本＝0

2.对于数据集中的每个目标水果

3.从网格上随机选择的附近视点开始

4.使用当前视图更新状态(包括当前姿势和用于采摘估计的适合性)

5.使用当前控制策略将状态映射到操作(在{移动、采摘、放弃}中)

6.开关(动作)

移动：

i.将采摘臂移至新视点(由当前策略确定)

ii.通过移动成本(耗时，耗电等功能)增加成本

iii.转到3

采摘：

i.通过沿采摘轨迹移动采摘臂的成本来增加成本(由当前姿势估计确定)

ii.如果选择成功，则按成功选择的价值降低成本

iii.转到1并且选择下一目标

放弃：

i.转到1并且选择下一目标

使用此成本评估方案，我们可以比较多个控制策略的有效性并且选择最佳，例如通过对可用策略的详尽搜索。

10.5.整体机器人控制

上述强化学习策略涉及用于定位水果的控制策略，并且在给定其位置的近似初始估计的情况下确定其对于采摘的适合性。但是请注意，相同的方法也可用于训练整个机器人的整体控制策略。这意味着扩大可用动作的空间以包括(i)将采摘臂移动到更远的视点(以找到目标水果的粗略初始位置估计)和(ii)沿着作物行移动给定量。另一项创新是将强化学习计划扩展到包括人类操作者执行的操作，例如手动采摘难以达到的水果。

11.杂项创新

1.由于采摘机器人在地图坐标系中保持其位置的连续估计，因此它们可以收集有关环境的地理参考数据。因此，有用的创新是让机器人记录可能需要随后的人为干预的不良状况以及地图坐标和可能的场景照片。这些条件可能包括：

·对工厂或基础设施不断增加造成的损害(例如因采摘失败或其他原因造成的)；

·决定留下成熟的水果，因为采摘会产生太大的失败风险，或者因为采摘臂无法接触水果。

2.一个有用且相关的构想是使采摘机器人将所有检测到的水果(无论是成熟的还是未成熟的)的地图坐标系位置储存在计算机存储器中。这使得几项创新成为可能：

a.其中一项创新是进行产量绘图，使农民能够及早发现疾病，饮水不足或过度浇水等问题。令人感兴趣的可能是例如水果生产的密度或随后成熟为成熟水果的未成熟水果的比例。

b.另一项创新是产量预测。为了及时采摘成熟的水果，采摘机器人通常必须每隔几天遍历每个作物行。通过获取成熟和未成熟水果的图像，它们可以在个体目标水果成长和成熟时测量其大小。由于大多数未成熟的水果会及时成熟，因此这些数据有助于学习未来作物产量的预测模型，例如在第二天，一周等。合适的模型可以绘制个别目标水果的当前和历史成熟度和大小估计以及天气预报信息(例如，阳光小时数、温度)对作物产量的预测。

c.另一项相关创新减少了机器人在采摘目标检测阶段必须花费的时间来搜索目标水果的时间。在目标检测期间，系统确定成熟和未成熟目标水果的大致位置。系统通常通过在采摘臂的末端移动相机来找到目标水果，以从广泛的视点获得图像。然而，花更多时间寻找目标水果可能会提高产量，但这只会降低采摘率。因此，有用的创新是储存已经检测到但未在计算机存储器中采摘的未成熟水果的地图坐标系位置，使得机器人可以在随后的作物行遍历中更快地定位未采摘的目标水果。在一个简单的实施方案中，储存先前检测但尚未所采摘水果的位置，使得机器人可以在后续遍历中直接返回到相同位置而无需花费时间搜索。在更复杂的实施方案中，先前的检测用于形成概率密度估计，其反映在地图坐标系空间中的特定位置处找到成熟水果的概率(例如，通过其他的核密度估计)。这种密度估计可用于帮助搜索算法优先考虑可能找到成熟水果的空间区域，并且优先考虑它们不存在的区域。举例来说，简单的搜索算法可以从可能在其中找到成熟水果的空间区域中的更密集的视点样本获得视图。在相关的创新中，产量预测(如上文(b)中所述)可用于解释对先前未成熟水果的成熟度的时间影响。

3.采摘机器人可以配备除了采摘之外还执行多种功能，包括用合适的除草剂和杀虫剂喷洒杂草或害虫的能力，或重新定位桁架(即果柄结构)以促进水果生长或随后的采摘。

4.使用可重新定位的可调节臂，以最大化特定品种草莓或生长季节阶段的采摘效率。采摘臂也可以不对称地定位，以增加两个协同工作的臂的范围(见图5)。

5.在使用中，由于地面坡度或地形的局部非平滑性，机器人可能倾向于一侧或另一侧。由于悬架的顺应性，使用悬架系统(旨在减少机器人在颠簸上行驶时的冲击)可能加剧这种影响。倾斜的一个不幸后果是机器人的采摘臂的位置不会按照植物的设计定位(它们可能较接近或更远，更高或更低)。这会影响性能，因为(i)如果底盘旋转，则在底盘坐标系中选择的预定义相机姿势可能不再是最佳的；(ii)环境几何的底盘相对模型(用于防止采摘臂和环境)也可能是错的。补偿精益对环境几何模型的影响的一个明显策略是在3D中扩展环境几何以提供对误差的一些容忍度，但是这会通过损害臂的可用工作体积来降低性能(在狭窄的作物行，空间中)可能已经溢价了)。因此，有价值的创新是一种系统，既可以测量机器人倾斜的程度，又可以通过相应地调整场景几何和相机视点的模型来补偿倾斜程度。可以使用加速度计(测量垂直方向)直接测量倾斜度，或者通过基于作物行在坐标系中测量机器人的一部分的位置(例如，使用向量线缆随动臂或GPS)间接测量倾斜度。接着可以通过对预定义的相机姿势和环境几何形状应用适当的3D变换来允许倾斜。另一种校正由倾斜但平滑的地形引起的倾斜的方法是动态调整机器人轨道在行中的横向位置，使得采摘臂尽管倾斜，但较接近其设计位置。

6.如果通过其果柄抓住所采摘水果，那么在机器人臂重新定位后，它可能会像钟摆一样摆动。这可能导致生产成本，因为对于某些操作(例如将水果放入QC成像室或果篮)，必须小心控制水果的姿势以避免碰撞-这可能需要在重新定位之后暂停臂运动直到这样的振幅。振荡降低到可接受的水平。因此，有价值的创新是使用阻尼装置尽快减小振荡幅度。在一个实施方案中，使用软夹持器被动地实现阻尼。在另一实施方案中，通过调节机器人臂的末端执行器的速度来主动地实现阻尼，使得振荡尽可能快地停止。可以使用对草莓的质量和摆长度的估计来设计减小振荡的幅度或持续时间所需的减速曲线(动态或其他)。

7.许多影响柔软水果的疾病和其他缺陷(并且降低其质量等级)会影响它们在我们的QC成像室获得的图像中的视觉外观。第一图像处理步骤是在每个视图中划分来自花萼(和成像室的背景)的水果的主体。通常，这是通过使用决策林来标记像素来实现的。如下所述同时划分瘦果(种子)也可能是有用的。接着，我们使用各种质量测量(可能是隔离或组合创新)来表征水果的外观。之前未提及的一些功能包括：

a.瘦果(例如草莓)或小核果(例如覆盆子)的空间分布。对于健康的水果，瘦果和小核果通常非常规则地布置，即相邻的瘦果和小核果之间的距离通常在局部相似。然而，一些疾病和其他问题会破坏正在发育的水果中的这种常规布置。因此，一种创新的构想是使用瘦果或小核果的空间布置的规律性测量作为水果质量的指标。一种方法是首先使用计算机视觉检测(在由我们的QC成像室获得的图像中)瘦果或小核果的图像位置，接着使用能量函数在每个这样的点分配成本，所述能量函数将最低能量分配给规则布置的点。可以通过语义标记来检测瘦果，例如通过使用决策森林分类器来为每个像素分配表格。举例来说，可以通过使用点光源在水果的光泽表面上引起镜面反射，接着检测图像亮度的局部最大值来检测核小体。接着，可以使用点数(或点的当地聚类)的成本总和来表示水果健康状况。

b.瘦果的颜色。在例如草莓中，当水果变得过熟时，瘦果变得更红，而当水果变得腐烂时，变瘦。具有特定缺陷的水果的标记训练图像可用于确定颜色可接受性的阈值。

c.果肉的颜色(不包括瘦果)。这是不成熟，过熟和局部瘀伤的良好指标。再次标记的训练数据可用于确定可接受的阈值。

d.水果的3D形状。如现有临时申请中所述，可以通过对轮廓和图像强度信息进行模型拟合来获得水果的显式3D模型。然而，通过在多个视图中的每个视图中表征2D形状，可以更简单地获得形状的“隐式”3D模型。通过首先确定水果的近似长轴，接着通过在与长轴对齐的坐标系中表征形状，一次进行一个2D视图的有效策略。长轴位置可以例如通过连接水果主体的质心的线和用于保持水果的抓取器的图像位置来估计。形状可以通过例如测量在2点钟和10点钟之间的每个钟面方向上从水果的质心到水果的边缘的距离来表征给定9元件向量(注意我们忽略了顶部的钟面避免花萼)。我们可以使用一系列训练样例和相关的专家派生的地面真实标签来区分好(1级)形状和不良(2级)形状。合适的策略是9D形状空间中的k个最近邻居。通过为训练图像中检测到的长轴的随机扰动版本生成多个9D形状向量，可以实现对长轴定位误差的鲁棒性。

8.通常情况下，如果我们的几个独立质量指标中的任何一个给出2级或3级评分，则所采摘水果被认为是2级(低于标准茎)或3级(拒绝)(尽管可以采用其他方法组合缺陷评分)。请注意，使用专门设计用于检测特定种类缺陷而不是更黑盒机器学习方法的图像功能的一个重要优势是，这样做可以让我们为种植者提供清晰直观的解释(或者更好的视觉指示)为什么特定所采摘水果获得特定的质量等级。这允许种植者针对不同类型的缺陷调整有意义的可接受阈值。在实践中，考虑到不同客户的需求，以及作为生产力和需求的函数，种植者在季节的不同时间对不同类型的缺陷的可接受性做出不同的决定在商业上非常重要。

9.农业机器人的另一应用是有针对性地使用除草剂和杀虫剂等化学品。通过使用计算机视觉来定位植物的特定部分或特定种类的病原体(昆虫，干腐病，湿腐病等)，机器人只能在需要的地方使用这些化学品，这可能是有利的(就与需要喷洒整个作物的处理系统相比，成本，污染等。为了便于使用另外用于采摘它的机器人进行这种工作，显然有利的是机器人支撑可互换的末端执行器，包括可用于采摘的一个和可用于喷洒的一个。后者通常需要沿机器人臂的长度布置管道，这可能是困难的。然而，一个有用的创新是使喷洒末端执行器含有一小部分液体化学品-从而避免了对管道布线的需要。这可以使用盒式系统来实现，其中机器人臂将访问底盘上的工作站以收集化学品盒(其可能类似于喷墨打印机中使用的盒)。或者，臂可以访问底盘中的盒子以将所需的液体化学品从盒子吸入其贮存器中或者将未使用的化学品从其贮存器排出回到盒子中。可能是若干不同类型的化学品以动态可编程组合的形式组合以实现更优化的局部处理，或者多个盒含有多种不同的化学组合。

附录A：生产采摘末端执行器

本附录介绍了几种创新的采摘头设计。

背景

采摘水果需要具有足够小、有力、有选择性(以便仅采摘适合销售的水果)、独占性(以便不采摘其他水果)的末端执行器(例如可以固定到机器人臂上)。采摘操作不得损坏植物或种植基础设施，例如种植袋。额外的限制(低功率、低成本、轻便、耐用)进一步限制了设计。

本发明利用能够可靠采摘的轻质末端执行器解决了这些问题。设计的紧凑性质极大地便于将所需的水果与不需要的物品分开。

通常，产品的采摘包括选择要所采摘水果，排除不打算采摘的物品(包括未成熟的水果和生长的基础设施)，抓住水果或其茎并且将水果与其亲本植株分离。在此，我们公开了本发明的许多实施方案，以机械地选择、抓取和切割来自宿主植物的产品。

钩实施方案

本发明的第一实施方案用具有动态可编程轨迹的钩选择和排除。在采摘臂(或其他)的控制下，钩被机械地扫过(通常是动态地)选定的空间体积，并且所述扫过的体积内的任何茎收集到钩中。通过这样捕获的茎，可以使用钩将目标水果从植物中拉出(以及像叶子或其他水果一样的潜在的咬合源)，以便可以进行采摘适合性的测量(包括视觉，嗅觉和触觉测量)。这样的测量通知决定采摘或释放目标水果。

钩可以做得又长又窄(例如以字母J的形状)，以便在将其移动(例如沿着其自身的长轴)朝向目标水果时最小化需要被扫除的体积，从而最小化所需间隙的大小(例如，在叶子、茎或其他水果之间)，以使钩在没有碰撞的情况下到达目标水果。

注意，将钩的长轴定位成几乎与采摘头相机的光轴(或几乎在立体相机的两个眼睛的光轴的中间)一致可能是有利的。这样做简化了找到目标水果的非碰撞路径的问题，因为通过沿着对应于光线之间的光线的线移动，通常可以安全地接近从相机的视点出现的任何目标(通过其他水果或树叶)。相机的光学中心和目标。这种推理消除了获得环境的3D模型以规划到目标水果的安全路线的需要。

在这个阶段，可以反转钩运动以释放产品而不会损坏，或者可以致动夹具和切割机构以保持产品并且在运输和释放之前将其与茎分离。

现在介绍关于本发明的机械方面的更详细信息。参考图11，示出了组装的本发明的主要特征。末端执行器的主要部件具体为：(1)钩，(2)装配在钩内的夹持器，(3)下部支撑件和(4)刀片。钩的横截面是方形的，并且与刀片一起形成剪刀切割动作。未示出螺钉和其他支撑结构。

图12示出了相对于抓取/切割机构延伸的钩(在选择或采摘之前-刀片省略)。图13示出了相对于夹具/切割器缩回的钩，夹持器装配在钩上以抓住植物茎和切割机构处于其后致动构造(刀片省略)。图14示出了所述实施方案中的主要部件的分解图，包括端部执行器的各个部分，包括(4)在钩上方的刀片。

参考图12至14，主要特征是:(项目1)钩(包括细长部分和钩，在所述实施方案中是半圆形的)，其(通过空间运动，图15第5项)允许选择和排除不需要的项目。钩的内部成形为形成夹持器机构的一半，并且形成剪式切割表面的一半。尖端在所述实施方案中是尖的，最大化选择性和排他性并且在缩回时辅助夹持器/刀片机构内的定位。

有一个下部支撑件(图11至13第3项)，其限制了缩回的钩，加强了夹紧作用并且限制了刀片与钩切割表面相邻，提高了切割可靠性。在所述实施方案中，夹具(2)成形为配合到钩的内表面中，允许机构最大程度地紧凑。所述实施方案使用挠性弹簧。

图15是本发明的一个示例，示出了钩(5)的移动以实现植物茎的捕获。钩(5)的运动将茎捕获在钩内。代替具有固定大小的切割/夹持机构，在本发明中，钩很小(允许良好选择而最大限度地排除不需要的茎)，而钩运动具有可变大小(在茎位置不确定性的情况下允许选择性)。

改变捕获量(每个产品项目)允许在选择性(所需产品)和排他性(不需要的产品)之间进行最佳权衡。

通过致动装置以相同的运动执行抓取和切割动作(参考图12和13)。当钩相对于夹持器缩回时，茎首先夹在钩和夹持器之间(图11至13，项目1和2)。夹具包括弹簧，允许一定范围的茎大小并且允许钩继续缩回。在完成抓取之后，钩相对于刀片的持续运动将产品与亲本植株分离。通过再次延长钩来实现水果的释放。

构造方法：参考图11，在本实施方案中，钩(1)由金属(例如钢)制成。夹具(2)由塑料制成(如果需要集成弯曲，可能是乙缩醛)。刀片(4)由刀钢制成，下支架(3)是塑料。

图16示出了如此捕获的植物茎。图17示出了从亲本植株抓取和切割的产品(可选操作)。图18示出了释放操作(可选操作)。

图19示出了构成采摘过程的操作顺序。这些如下：

·检测产品由本文档正文中描述的控制和计算机视觉子系统执行。

·进行植物茎的接近，将钩定位在靠近期望采摘的产品的植物茎上。

·使用循环移动执行选择项目，所述循环移动是根据所需产品的位置以及不需要的产品和基础设施确定的。图15项目5示出了这种运动的一个示例。

·使用钩中捕获的所选项目执行决策步骤1(如图16所示)。由于水果如此分离(但仍附着在亲本植株上)，进行检查(视觉，嗅觉，触觉)以检测水果的性质(和正确性)。这一步的结果是决定采摘(生产用于收获或处置)或不采摘(未成熟的水果，捕获的基础设施，没有捕获，不正确的捕获)。如果达到决策步骤2，则执行并且储存和使用项目的初始分级和质量控制。

·在钩捕获不需要的物品的情况下执行释放，其动作与捕获相反(图18)。

·在成功捕获准备收获的产品的情况下进行采摘。钩相对于夹持器/切割器缩回(从图12中的配置过渡到如图13中的配置)。这实现了抓取操作，接着进行切割操作，将水果与亲本植株分开(图16和17示出了状态之前和之后)。

·决策步骤2是在采摘水果并且转移到机器的另一部分时执行的二次感测操作。这个决定的结果是储存或处理水果。所述决定使用与决策步骤1中的传感器不同的传感器执行。这形成了对如此采摘的水果的更详细的评估。所述步骤的结果(与决策步骤1中的信息一起)是决定储存或处理水果。在商店的情况下，大小和质量等级用于确定储存的位置。

·储存水果被移动到储存区域(根据决策步骤1和2的大小/质量等级)并且随着采摘操作的反转而释放(相对于抓取器延伸钩，释放水果)。

·如果所采摘水果发霉或不适合销售，则进行弃置。释放操作按照上面的商店进行，但转移到处置区域除外。

环实施方案

在本发明的第二实施方案中，先前描述的采摘序列的选择和排除阶段通过致动例如线的环来执行。环的直径、位置和定向以编程方式控制和启动，使得它可以：

i.在接近目标水果方面有一个任意小的量；

ii.直径增加，大于目标水果的估计直径，因为它与目标水果的主轴平行并且以其为中心并且在目标水果与其果柄之间的接合方向上移动；

iii.一旦它移过果柄和目标水果的接合点，它具有任意小的直径。

通过这种方式，循环将从环境中的其他对象(例如，其他产品、叶子、生长基础设施等)中选择目标水果的果柄。接着可以操纵茎，使得目标水果可以远离环境中的其他物体。

如果在决策步骤1之后被拒绝，水果可以通过以下方式发布：

i.将环的直径增加到至少目标产品的估计直径；以及

ii.将环平行移动并且居中，目标的主轴产生并且远离果柄和目标产生的接合点。

一旦产品被释放，可以开始新的采摘操作。

夹钳实施方案

在本发明的第三实施方案中，前面描述的采摘序列的选择，排除和抓取阶段由一组夹钳执行。夹钳的位置、方向和姿势(通过其表示是否打开，部分闭合或闭合)以编程方式控制和致动，使得

i.它们以封闭的姿势接近目标水果的果柄，以尽量减少其扫掠体积；

ii.当任意靠近果柄时，它们被致动到开放的姿势；

iii.当它们与果柄相邻时，它们处于部分闭合的姿势，以便同时进行选择，排除和抓取阶段；夹钳可以进一步致动到闭合姿势，使得安装的刀片垂直于茎移动，使用类似剪刀的运动将其切割到夹钳的相对侧。

如果在决策步骤1之后被拒绝，则水果可以通过以下段落中的步骤(iii)在本发明的第三实施方案中被释放：

i.使颌部开启姿势；以及

ii.沿着先前的接近向量和相反的方向移动下颌。接着释放产品并且重新开始采摘操作。

环-夹钳实施方案

如图24至27所示，在本发明的第四实施方案中，组合第二和第三实施方案，使得环执行选择和排除步骤，并且夹钳执行抓取和切割步骤。

图20示出了环和夹钳组件的主要机械组件(为清楚起见，省略了夹钳的致动机构)。

图21示出了环和夹钳组件，如组件11所示，环延伸。

图22示出了环和夹钳组件的主要部件的分解图(为清楚起见，省略了环)。

图23示出了环致动机构的组件。通过滚筒(16)的旋转使环伸展和缩回。鼓和环(11)都位于外壳(12)和(17)内，以在致动期间约束环的运动。

图24示出了朝向目标水果的接近载体上的环/钳组件。

图25示出了环延伸并且组件平行于目标产品的主轴并且在茎和水果之间的接合方向上移动。

图26示出了已经越过茎和水果的接合点的环，现在选择目标产物并且可以应用决策步骤1(图19)。

图27示出了环被缩回以控制目标产品的位置并且夹钳被致动以便以类似剪刀的运动抓住并且切割水果的果柄。

现在介绍关于本发明的环-钳实施方案的机械方面的更详细信息。图20示出了环和夹钳组件的主要机械部件，它们是：(11)一个在其操作平面上足够柔韧的环-是垂直于目标产品主轴的平面；(12)用于环的外壳，以将环的自由度约束到其操作平面；(13)刀片静止安装在夹钳的一侧；(14)夹钳的一侧，其可以是弹性的，以便能够抓住各种直径的茎；(15)夹钳的另一侧，形成抓取机构的相对侧和剪刀状切割机构；(16)安装有环的鼓，通过其旋转延伸或缩回环；(17)用于滚筒的外壳，其限制环在滚筒的凹槽内移动。

这些部件(11和12除外)在图22的分解图中更清晰地显示。

环本身(11)可以以几种不同的方式实现。其共同特点是它们在操作平面上是柔性的，并且能够抵抗塑性变形。这可以是单股或多股金属或塑料线的形式，一系列静态链节连接使得相邻的链节绕公共轴线枢转，或者一系列静止链节重叠相邻的链节并且围绕柔性枢转，连接到每个链接的连续成员。

环(12)的外壳示出为中空管。它静态地安装在环组件的上部结构上。它具有内表面具有低摩擦系数的特性，并且其横截面形状与环的横截面形状相匹配。外壳可以由塑料，橡胶或金属制成，并且可以用金属线股加强，并且可以衬有另一种材料。它也可以是在环组件的上部结构内切割的树丛的形式，并且可以具有任意的横截面形状。

部件16和17构成环的致动的一个实施方案。它包括在外壳(17)内旋转的鼓(16)。图18示出了滚筒及其在外壳内的组件的细节。滚筒在其外圆周上具有两个凹槽，并且外壳具有匹配的凹槽。当组装时，这些凹槽限制环的运动相对于滚筒是静止的并且沿着外壳的内圆周滑动。在所述实施方案中，所示的外壳垂直于环的操作平面安装。然而，它也可以安装在环的操作平面中，以便适应在其他平面(例如一系列枢转连杆)中不灵活的环的实施方案。致动可以具有其他实施方案，例如线性致动，其拉动环以使其缩回，并且通过弹簧臂抵抗以使其延伸。

夹钳组件(14和15)的夹钳可以由乙缩醛构成，用于集成挠性件，或者由柔性较小的材料(塑料或金属)构成，并且包括弹性和枢转的子部件或者具有橡胶化的内表面以提供顺应性。这种顺应性是夹钳组件的必要特性，以适应具有相似大小的夹持力的不同直径的柄的夹持。夹爪安装在上部结构上，它们可以在同一平面内以1个自由度枢转。它们可以以各种方式致动，其中一个实施方案是鲍登线缆，另一是借助于伺服马达驱动的齿轮。刀片(13)刚性地安装在柔性夹钳(14)上，但这种柔顺性在刀片上不是静止的。当夹钳移动到闭合姿势时，刀片在相对的夹钳(15)的表面上滑动，在它们之间产生剪刀状的切割机构。

杂项创新

可以使用钩运动的变化(图15的项目5)。举例来说，钩沿其主轴旋转大约90度允许钩本身大致平行于产品茎，允许在彼此靠近的茎之间具有更大的选择性。在夹紧和切割致动之前，所述旋转被反转。

为了提高采摘速度，可以将拿着所采摘水果(或负责保持水果的末端执行器的一部分)的末端执行器拆卸并且转移到机器的另一部分，并且另一副本(或变体)末端执行器可用于采摘更多产品。通过这种方式，采摘可以与储存或处理操作并且行工作，从而提高速度。另外，可以根据哪种末端执行器中的一种选择最适合于采摘待采摘的特定水果项目的任务。

钩和夹持器可以将产品捕获到可以从末端执行器移除的较小的抓取托盘中。这包括夹持器部分(图11的第2项)以及钩，钩的子集，或者可以从机器释放的额外部件(可以装在钩内部)。

钩可以重新配置为双分叉钩，每侧带有夹持器/切割器。这允许捕获钩运动是顺时针或逆时针(图15中项目5的变化)。

刀片可以位于两个位置：夹具的上方和下方(单独致动)。通过在操作之前将钩扭转大约180度并且使用适当的刀片，钩运动可以再次顺时针或逆时针运动，同时仍然允许刀片在夹具上方，从而实现通过杆正确保持产品。

采摘后，可将水果放入成像室进行分级(参考上面的质量控制部分)。通常希望采摘头可以向下倾斜同时将水果保持在成像室中(如图9所示)，因为否则成像室的设计会因避免与采摘头的机械干扰的需要而受到损害。因此，对于通过其茎保持所采摘水果的末端执行器，一个有用的创新是当采芯头定向成使得没有向下倾斜时，使与茎接触的表面与垂直方向成一定角度。当采摘头向下倾斜时，与水平方向相比，这允许所采摘水果垂直悬挂。

钩可以重新成形为正方形，三角形或其他形状。在(可选)释放阶段(图19，“释放”)期间，简单的“L”形状代替钩，并且允许更容易地释放水果或其他物品。

切割器可以用不太锋利的刀片替换，以获得更剪刀状而不是切割动作。

夹持器可以由橡胶制成(允许在没有弹簧的情况下使用)或其他材料，并且定位在钩的上方或下方，尽管这对于紧凑性来说不是最佳的。

钩的横截面可以变化。通常，优选平坦的内表面以确保可靠的切割动作。

相关的创新是一种钩装置，设计用于在决定是否采摘时允许产品旋转以进行更完整的检查(图19)。举例来说，通过扭转其茎的机制，允许在进行采摘之前对产品的反转进行成像。

如果采摘臂在采摘期间与不可移动的物体(例如基础设施)碰撞，则它可能能够自动停止，例如通过检测其预期位置与其实际位置不同。然而，碰撞仍可能导致臂或其末端执行器的损坏，或者需要由人类监督者进行耗时的干预以使臂安全地远离缠结的障碍物。通过设计末端执行器及其运动路径可以大大减少碰撞的概率，从而最小化在朝向目标移动时扫出的3D空间的体积。然而，末端执行器的前部仍可能与不可移动的障碍物碰撞。在这种情况下，以下创新显著有助于降低机器人或基础设施受损的可能性以及人为干预的要求：

·末端执行器可被设计成在压缩力下变形。如果线环可充分变形，则环设计(上文)自然地体现了这一构想。如果使用钩设计，如果在纵向上施加足够的压缩力，则钩可以设计成弹性地或塑性地弯曲。

·通过使末端执行器大致在其横截面积最小的平面的法线方向上移动来接近目标水果，任何障碍物首先与可变形钩而不是机器人其他不可变形部分碰撞的概率增加。

·作为使末端执行器可变形的替代方案，可以将刚性末端执行器安装到弹簧上，使得如果施加足够的力，它将向后移动到采摘头中。此外，微型开关可以用于检测末端执行器的向后运动，使得一旦发生碰撞，臂可以停止移动(或者反转其运动方向)。应校准弹簧的长度和刚度，以便在对障碍物施加过大的力之前，机器人臂可以无害地(并且随后反向)停止。

·对于钩实施方案，另一有用的创新是在不主动采摘以减少钩住的可能性时将钩缩回到其支撑件中。

附录B：机器人臂的旋转线缆管理系统

在下文中，我们描述了通过机器人臂的铰接接头运行各种类型的线缆的问题的创新解决方案。在这里，线缆应被解释为意指用于沿其路径引导物质或能量的任何柔性物体，作为提供电力或传输信息或移动材料的手段。所述定义显然包括(但不限于)线缆和电线，光纤和管道。

这里的一个重要挑战是在每个接头处允许足够宽的角运动范围。这在机器人中尤为重要，所述机器人不仅仅重复预先编程的运动路径，而是根据环境观察动态地确定移动的位置。在前一种情况下，通常可以设计运动路径，使得接头永远不会超过其极限。但在后者中，可能无法预先预测所需的运动路径。有时可能无法将机器人臂从其当前配置直接移动到所需的目标姿势，因为一个或多个接头处的运动范围不足。当发生这种情况时，可能需要进行更复杂的“重新配置”移动，以使所讨论的接头较远离其终点。然而，重新配置移动在功率或时间上可能是昂贵的，因为它们可能需要机器人在所有接头处进行大的移动。增加接头处的运动范围，降低了机器人达到新目标姿势所需的重新配置移动的可能性。

设计要求

旋转线缆管理系统的主要设计要求：

·允许接头实现旋转角度的大变化。

·具有高可靠性(相当于线缆组件中的低应力和低应力反转-这可以加速疲劳和塑性产量)。

·能够承载复杂的线缆-自引导机器人能够感知其环境并且在此基础上采取行动，这意味着需要高数据速率来传输足够的信息以便有效地采取行动，足够快地有效地利用时间。通常，高数据速率需要双绞线线缆或光纤，两者都对扭曲和卷绕动作特别敏感。

·紧凑型-与其环境相互作用的自引导机器人系统需要占地面积小，以便在环境中灵活地进行协商。

·受到环境保护

这些要求的替代解决方案是次优的，包括：

·WiFi(或其他无线通信信道)。但是，有限的网络带宽可能会使多个机器人在附近工作的环境变得困难，并且它不是传输电力或传导物质的解决方案。

·外部引导线缆-这需要一个'脐带'，可以被环境捕获和损坏，并且严重限制机器人末端执行器相对于脐带移动的能力。

·光数据传输和感应电能传输-成本高。

·滑环(成本和大小非常高，可靠版本)。

描述

图28示出了线缆管理系统的不同元件。所述系统包括一个线缆外壳(a)和一个相对于外壳(c)扭转的中央线缆导管(b)，当线缆导管扭曲时，允许一个线缆线圈像钟表弹簧一样膨胀和收缩。所述系统还可以配置为支撑一个或多个线缆线圈(d)。

图29示出了在臂的一个接头内就地的线缆管理系统的图。一根或多根线缆穿过机器人臂的铰接接头。线缆导向器设计成使得线缆通过中心导管到臂的下一级。线缆由线缆导向器很好地支撑，因此只有明确定义的线缆线圈才会移动。这在图30中示出，其中一系列附图示出了在线缆外壳内旋转的线缆引导件。这种布置使线缆上的周期性应力最小化，因为它从不反向弯曲，而是仅略微弯曲或多或少地弯曲以适应扭曲。

在一端，扭转运动受到线圈拉紧的限制。在另一端，线缆将自身展开到最大部分线缆开始在下一线圈内侧摩擦并且向后弯曲(一种绞盘锁)的位置，而不是整个线圈继续展开。设计必须布置成在制造，组装和操作中有足够的误差余量，以便永远不会达到这些限制，以延长线缆的寿命。

图31示出了线缆绕组的剖视图。当在行程的一端缠绕时，线缆被拉紧并且有更多的绕组；另一方面，线缆被推出到外壳的边缘，并且绕组更少。在两个极端(以及它们之间)，线缆的曲率变化仍然很低，因此例如线缆的铜和塑料部件所见的应变速率和疲劳很低-为大的整体位移提供了长寿命。

具体创新：

·使用中央线缆引导件和外壳的布置来限定线缆线圈，所述线缆线圈能够适应线缆的低疲劳而相互扭转。

·使用这种布置与电线，线缆，光纤，光纤线缆，管道，带状线缆，个别芯。

·这种布置的使用尤其适用于“扁平”双绞线线缆，其理想大小是在一个方向上是柔性的，而在另一方向上是自支撑的，因此形成稳定的线圈

·多个线圈堆叠可以彼此叠置，使得许多线缆能够以类似的占地面积进行管理，线缆引导件将所有线缆引导穿过中心轴线。

·可以使外壳易于打开和关闭，以便于构建线缆。在许多方法中，在外壳中包括一个铰链，并且将外壳从许多部件中取出并且围绕线圈构建它们。

·可以在线缆之间添加搁板，以提供平滑的运行表面。

·可以润滑线缆，以减少磨损和摩擦；添加润滑剂，或在线缆中使用固有润滑材料，或添加膜与线缆盘绕以润滑表面。

·还可以在中央线缆导向器或线缆的最内部添加额外的元件，以减小与下一线圈的接触角度并且防止绞盘锁定，从而增加行程并且减少应力。

·屏蔽线缆通常用于数据线，以提高抗噪声发射的能力；然而，屏蔽线缆通常不太灵活，并且可以在比未屏蔽的配置更少的配置中使用。通过修改所述组件以执行屏蔽功能，可以从灵活性和各种非屏蔽线缆中受益，同时保持高完整性。

·屏蔽组件包括用金属，导电填充材料(例如碳载塑料)或导电涂层材料(例如金属化塑料)制造关键部件(外壳，线缆导管，搁板)，并且将它们接地；或者将整个组件放在导电壳内。有效的屏蔽可能要求组件的旋转半部之间的接地连续性，这可以以各种方式实现，包括盘绕线缆中的接地导体；通过向内部线缆导管或外壳添加导电柔性表面(例如电刷或导电柔性密封元件)；以及电容耦合，通过将元件之间的间隙减小到最小。

·在低温下，由于材料接近其玻璃化转变温度，线缆通常会更快地降解。所述线缆管理系统的低温运行可以通过将线缆本身用作加热器，使电流流过它们以使其保持温暖来实现。

·可以通过管道泵送冷热流体来控制温度。

·可以使一些或所有组件透明，以便于制造、检查和维护。

附录C：功能摘要

本节总结了最重要的高级功能；本发明的实现可以包括这些高级特征中的一者或多者，或这些中的任何组合的任何组合。注意，每个特征因此可能是独立的发明，并且可以与任何一个或多个其他特征组合；然而，在所述特定说明书中定义的实际发明由所附权利要求限定。

高级功能分为以下几类：

·机器人硬件功能或核心机器人功能

·运营优化功能

·末端执行器功能

·计算机视觉功能

·AI/机器学习功能

·采摘流程功能

·方法或应用

这些特征之间不可避免地存在一定程度的重叠。因此，这种组织特征的方法并不意味着是严格的划分，而只是一般的高级指南。

机器人硬件功能或核心机器人功能

在本节中，我们总结了机器人硬件功能或核心机器人功能的功能。主要特征是机器人水果采摘系统，其包括自主机器人，其包括以下子系统：

定位子系统，所述定位子系统可操作以使用例如计算机视觉引导系统的计算机实施的引导系统实现所述机器人的自主定位；

至少一个采摘臂；

至少一个采摘头或其他类型的末端执行器，所述末端执行器安装在每个采摘臂上，以切割特定水果或果束的茎或枝或采摘所述水果或果束，并且接着转移所述水果或果束；

计算机视觉子系统，所述计算机视觉子系统用于分析待采摘或储存的所述水果的图像；

控制子系统，所述控制子系统用采摘策略编程或学习采摘策略；

质量控制(QC)子系统，所述质量控制(QC)子系统用于监测已采摘或可采摘水果的质量，并且根据大小和/或质量对水果进行分级；以及

储存子系统，所述储存子系统用于接收所采摘水果并且将所述水果储存在容器中以便储存或运输，或者储存在果篮中用于零售。

虽然所述系统的主要应用是采摘草莓，覆盆子和西红柿，但这种方法可能会在水果采摘环境之外重新定位。举例来说，它可用于采摘垃圾或收集其他种类的物品。因此可以将系统概括如下：

一种机器人采摘系统，包括自主机器人，其包括以下子系统：

定位子系统，其可操作以使用计算机实施的引导系统(例如计算机视觉引导系统)实现机器人的自主定位；

至少一个采摘臂；

至少一个末端执行器或其他类型的末端执行器，安装在每个采摘臂上以采摘或收集物品，接着转移所述物品；

计算机视觉子系统，用于分析待采摘或储存的物品的图像；

控制子系统，用于编程或学习采摘或收集策略；

质量控制(QC)子系统，用于监测已采摘/收集或可采摘/收集的物品；以及

储存子系统，用于接收采摘/收集的物品并且将所述物品储存在容器中以便储存或运输。

可以在这样的系统中使用多个可选特征，或者可以构成独立特征，可以独立于上面定义的系统使用。我们列出如下。虽然我们特别提到了水果采摘系统，但所有以下功能都可以在所述环境之外使用，例如用于收集垃圾或实际收集其他物品；在本附录C中，在随后的所有内容中明确设想了超越水果的概括。

一种机器人水果采摘系统，其包括履带式或轮式漫游车或车辆，其能够使用基于计算机视觉的引导系统自主地导航。

一种机器人水果采摘系统，其中所述计算机视觉子系统包括至少一个3D立体相机。

一种机器人水果采摘系统，其中分析水果图像的所述计算机视觉子系统包括用于检测水果的图像处理软件，并且所述控制子系统包括用于决定是否采摘所述水果的软件和用于基于自动更新策略，例如基于强化学习的策略采摘所述水果的最佳策略，包括深层强化学习。

一种机器人水果采摘系统，其中所述控制子系统使用强化学习自动学习水果采摘策略。

一种机器人水果采摘系统，其中所述采摘臂具有6个自由度。

一种机器人水果采摘系统，其中所述采摘臂定位各自安装在所述采摘臂上的所述末端执行器和相机。

一种机器人水果采摘系统，其中所述末端执行器包括以下方式：(i)切割所述果柄或茎；以及(ii)抓住所述切割的果柄或茎以将所述水果传送到所述QC和储存子系统。

一种机器人水果采摘系统，其中所述机器人自动地将自身装载到储存容器或运输车辆上和从所述储存容器或运输车辆卸载。

一种机器人水果采摘系统，其中所述机器人在水果生产植物中自动导航，例如沿着成行的苹果树或草莓植物，包括桌子种植的草莓植物或覆盆子植物。

一种机器人水果采摘系统，所述系统自动与其他机器人系统和人类采摘者协作，以有效地划分采摘工作。

一种机器人水果采摘系统，其中所述系统自动确定目标水果的位置、方向和形状。

一种机器人水果采摘系统，其中所述系统基于在所述质量控制子系统中可自动更新的因素自动确定水果是否适合于采摘。

一种机器人水果采摘系统，其中末端执行器将成熟水果的可食用和可口部分与其茎或茎分开而不接触可食用部分。

一种机器人水果采摘系统，其中系统根据QC子系统编程或学习的大小和其他适用性测量自动对水果进行分级。

一种机器人水果采摘系统，其中系统自动将所采摘水果转移到保存在储存子系统中的合适的储存容器中，而不处理水果的可食用和可口部分或者可能通过处理而擦伤的水果的其他敏感部分。

一种机器人水果采摘系统，其中控制子系统使用基于机器学习的采摘策略最小化末端执行器或机器人的其他部分损坏水果或植物的风险。

一种机器人水果采摘系统，其中采摘臂移动额外的相机，以允许计算机视觉子系统定位目标水果并且确定其姿势和采摘的适合性。

一种机器人水果采摘系统，其中采摘臂是轻型机器人臂，其至少一些接头具有+/-275度的运动范围，其定位末端执行器以进行采摘并且将所采摘水果移动到QC子系统。

一种机器人水果采摘系统，其中控制子系统操作总定位系统和采摘臂。

一种机器人水果采摘系统，其中控制子系统使用来自计算机视觉子系统的输入来分析水果图像以决定何时何地移动机器人。

一种机器人水果采摘系统，其中QC子系统负责对所采摘水果进行分级，确定其适合零售或其他用途，以及弃置不可用的水果。

一种机器人水果采摘系统，其中机器人采摘腐烂或其他不合适的水果(通过意外或设计)，接着将水果弃置到机器人内或地面上的合适容器中，并且所述容器可通过弃置滑槽接近，所述弃置滑槽的孔位于QC装置的底部，这样臂可以立即掉落水果，而无需移动到另一容器。

一种机器人水果采摘系统，其中在弃置斜槽或成像室(例如使用风扇)中诱发正或负气压，以确保来自先前弃置的水果的真菌孢子远离成像室中的健康水果。

一种机器人水果采摘系统，其中所述系统包括一个或多个6轴轻质机器人采摘臂，其中一些或所有接头具有+/-275度的运动范围。

一种机器人水果采摘系统，其中所述系统包括两个或更多个采摘臂，并且采摘臂不对称地定位在机器人上。

一种机器人水果采摘系统，其中机器人具有可移动的轨道，并且如果移除轨道，则机器人可以在导轨上运行。

一种机器人水果采摘系统，其中机器人配备有悬挂安装的水果托盘。

一种机器人水果采摘系统，其中机器人配备有水果保持托盘，所述水果保持托盘安装在可移动臂上，所述可移动臂从第一伸展位置移动到第二更紧凑位置。

一种机器人水果采摘系统，其中机器人配备有水果保持托盘，所述水果保持托盘布置成两个或更多个垂直定向的堆叠。

一种机器人水果采摘系统，其中机器人由远程电源供电。

一种机器人水果采摘系统，其中机器人具有一个或多个灯(例如频闪灯)，当需要更换水果托盘或保持器时激活所述灯。

一种机器人水果采摘系统，其中快速移动的机器人从进行水果采摘的较慢移动机器人中自动移除托盘或保持器。

一种机器人水果采摘系统，其中机器人具有一个或多个灯(例如频闪灯)，其响应于用户输入而激活并且在机器人上方照射识别信号。

一种机器人水果采摘系统，其中所述系统包括成像或分析室，其中通过采摘臂放置水果，接着对其进行成像或分析以用于分级或质量控制目的。

一种机器人水果采摘系统，其中所述系统包括成像或分析室，其中水果被成像或分析用于分级或质量控制目的，并且其中成像或分析室包括孔和顶部的狭缝或圆筒或盖子或挡板成像或分析室的孔径设计用于阻止不需要的光进入腔室，同时仍然允许水果降低或进入腔室。

一种机器人水果采摘系统，其中所述系统包括成像或分析室，其中水果被成像或分析用于分级或质量控制目的，并且其中成像或分析室包括一个或多个相机和/或其他传感器，例如相机对包括IR在内的EM光谱的特定(可能是不可见)部分敏感，(ii)使用偏振光的照相机和照明器，以及(iii)特定于水果可能发射的特定化合物的传感器。)

一种机器人水果采摘系统，其中所述系统包括用于穿过机器人的铰接接头的线缆的线缆管理系统，所述线缆管理系统包括线缆外壳和相对于外壳扭转的中央线缆导管，允许线圈或随着接头旋转，线缆的螺旋线膨胀和收缩。

机器人可以包括由若干个单独的刚性体构成的采摘臂，每个刚性体在铰接接头处附接到另一刚性体，并且存在与每个铰接接头中的一个或多个相关联的线缆外壳。线缆引导件可以配置成使得线缆通过线缆外壳的中心导管到下一主体。线缆管理系统可以配置成在铰接接头移动通过其整个运动范围时最小化线缆局部曲率的变化。线缆可以是未屏蔽的，接着外壳提供屏蔽。线缆还可用于提供足够的热量以减少线缆劣化

一种机器人水果采摘系统，其中采摘臂是可调节的并且可以重新定位以最大化特定作物品种或生长系统的采摘效率，例如特定桌面生长系统的高度。

一种机器人水果采摘系统，其中所述系统被配置成除了采摘之外还执行若干功能，包括用合适的除草剂和杀虫剂喷洒杂草或害虫的能力，或者用于重新定位或修剪桁架以促进旺盛的水果生长或随后的采摘。

一种机器人水果采摘系统，其中机器人通过测量其相对于张紧线缆的位置和/或方向位移来估计其相对于作物行的位置和定向。

一种机器人水果采摘系统，其中机器人通过测量相对于沿着所述行延伸的张紧线缆(“向量线缆”)的位移来估计其相对于作物行的位置和定向。

一种机器人水果采摘系统，其中机器人包括一个或多个随动臂，所述随动臂安装成跟随机器人。

一种机器人水果采摘系统，其中随动臂的一端通过铰接接头连接到机器人底盘，另一端连接到沿着线缆运行的卡车。

一种机器人水果采摘系统，其中测量铰接接头处的角度以确定相对于线缆的位移。

一种机器人水果采摘系统，其中角度是根据电位计的电阻测量的。

一种机器人水果采摘系统，其中两个随动臂用于确定相对于向量线缆的位移和定向。

一种机器人水果采摘系统，其中计算机视觉引导系统测量机器人相对于向量线缆的位移。

一种机器人水果采摘系统，其中计算机视觉系统利用机器人坐标系中已知的位置和定向来测量由安装的相机获得的2D图像中的线缆的投影位置。

一种机器人水果采摘系统，其中支架允许向量线缆附接到作物生长的桌子的支腿上。

一种机器人水果采摘系统，其中卡车配备有微动开关，所述微动开关定位成在卡车断开电路时失去与线缆的接触。

一种机器人水果采摘系统，其中使用磁耦合将随动臂的外部部分附接到随动臂的内部部分，使得在发生故障或其他事件时，随动臂的部分可以在没有损坏的情况下分离。

一种机器人水果采摘系统，其中随动臂的外部部分和内部部分的分离触发控制软件以停止机器人。

操作优化功能

在本节中，我们总结了有助于系统运行有效性的功能。

一种机器人水果采摘系统，其中控制采摘臂以优化采摘速度和采摘精度之间的折衷。

一种机器人水果采摘系统，其中控制子系统通过确定尝试采摘所述目标的统计概率将成功来确定特定目标水果或群的适合性以通过特定接近轨迹进行采摘。

机器人水果采摘系统，其中估计采摘成功的概率是从从特定目标水果附近的视点获得的场景的图像确定的。

一种机器人水果采摘系统，其中确定统计概率是基于多变量统计模式，例如蒙特卡罗模拟。

一种机器人水果采摘系统，其中统计模型是从工作机器人获得的采摘成功数据中训练和更新的。

一种机器人水果采摘系统，其中控制子系统使用由可以在没有遮挡的情况下观察目标水果的视点范围形成的场景的隐式3D模型来确定采摘臂和物体之间的碰撞概率。

一种机器人水果采摘系统，其中控制子系统确定目标水果看起来未被遮挡的一个或多个视点，并且因此识别空间的无障碍区域。

一种机器人水果采摘系统，其中计算机视觉子系统使用统计先验获得目标水果的形状参数值的最大似然估计，接着系统计算所述目标的体积估计，并且根据所述估计目标的重量。

一种机器人水果采摘系统，其中计算机视觉子系统确定水果的大小和形状。

一种机器人水果采摘系统，其中计算机视觉子系统确定水果的大小和形状，作为估计水果质量的手段，从而确保根据预期客户对每个果篮的平均或最小质量的要求将所需质量的水果放置在每个果篮中。

一种机器人水果采摘系统，其中所采摘水果根据所采摘水果的大小和质量测量自动分配到特定的果篮或容器中，以根据最大化种植者的预期盈利能力的测量来最小化总成本的统计预期。

一种机器人水果采摘系统，其中描述采摘水果大小的概率分布和其他质量测量值在采摘水果时动态更新。

一种机器人水果采摘系统，其中采摘臂将较大的草莓放置在距离采摘臂底部较远的果篮中，以便最大限度地减少耗时的臂向远处的果篮移动的次数。

一种机器人水果采摘系统，其中采摘臂将所选择的水果放置在单独的储存容器中，以便随后由人类操作者进行详细检查和重新包装，如果质量控制子系统将所选择的水果识别为需要由人类操作者进行详细检查。

一种机器人水果采摘系统，其中控制子系统对果束施两阶段采摘程序，其中首先采摘整束，接着从其中去除不合适的个别水果。

一种机器人水果采摘系统，其中机器人测量所采摘水果的姿势，使得水果可以定位在用于成像或分析的最佳姿势或者在最佳高度处释放以落入果篮或容器中。

一种机器人水果采摘系统，其中机器人确定已经在果篮或容器中的其他采摘水果的位置，并且相应地将释放位置或高度改变到果篮或容器中，以便将新水果添加到果篮或容器中。

一种机器人水果采摘系统，其中机器人自动定位或定位在果篮或其他容器中所采摘水果以最大化视觉吸引力。

一种机器人水果采摘系统，其中机器人自动生成特定果篮中水果的质量或其他属性的记录，并且将机器可读图像添加到链接回所述记录的果篮。

一种机器人水果采摘系统，其中机器人在地面的自由区域内选择路径，以便以优化行程时间和对地面损坏之间的折衷的方式在地面上分配路线。

一种机器人水果采摘系统，其中一系列机器人自动跟随在人类控制下驱动的个别“引导”机器人。

机器人水果采摘系统，其中使用关于若干机器人的位置的信息以及影响一个或多个机器人的任何故障状况或即将发生的故障状况的紧急程度来规划人类监督者在其中的路线。

一种机器人水果采摘系统，其中控制机器人相对于目标水果的位置以优化采摘性能，例如最小化预期采摘时间。

一种机器人水果采摘系统，其中通过在配置空间中的一对或多对点之间的机器人运动的物理模拟，在运行时间之前识别无碰撞路径或无障碍轨迹，从而定义图形(或“路线图”，其中节点对应于配置(和相关的末端执行器姿势)，并且边缘对应于配置之间的有效路线。

一种机器人水果采摘系统，其中通过在空间区域(“体素”)和对应于配置空间路径的路线图图形的边缘之间的映射来建立机器人臂路径规划，这将导致机器人在某些或所有区域期间与所述区域相交它的动议，

一种机器人水果采摘系统，其中系统记录环境中可能需要随后的人为干预以及地图坐标的不良状况。

一种机器人水果采摘系统，其中系统将所有检测到的水果(无论是成熟的还是未成熟的)的位置储存在计算机存储器中以便生成产量图。

一种机器人水果采摘系统，其产量图使农民能够识别例如疾病或过度浇水或过度浇水的问题。

一种机器人水果采摘系统，其中系统储存已检测到但未在计算机存储器中采摘的未成熟水果的地图坐标系位置。

一种机器人水果采摘系统，其中产量图考虑了对先前未成熟水果成熟度的影响。

一种机器人水果采摘系统，其中系统通过相应地调整场景的几何和相机视点的模型来测量机器人倾斜的程度并且补偿倾斜程度。

一种机器人水果采摘系统，其中系统包括加速度计。

一种机器人水果采摘系统，其中使用加速度计直接测量倾斜度，或者通过基于作物行测量坐标系中机器人的一部分的位置来间接地测量倾斜度。

机器人水果采摘系统应用于预定义的相机姿势和环境几何结构，其中需要进行适当的3D到3D变换以校正倾斜。

一种机器人水果采摘系统，其中动态调整机器人轨道在行中的横向位置，使得尽管倾斜，采摘臂较接近其设计位置。

一种机器人水果采摘系统，其中通过采用柔软的抓手实现的阻尼减少了通过采摘水果引起的水果振荡。

一种机器人水果采摘系统，其中通过调节机器人臂的末端执行器的加速度或速度或运动实现的阻尼减少了通过采摘水果引起的水果振荡。

一种机器人水果采摘系统，其中系统估计水果的质量和摆长度。

一种机器人水果采摘系统，其中系统设计减速或加速曲线(动态或其他)，以最小化振荡的幅度或持续时间。

末端执行器功能

在本节中，我们总结了与末端执行器相关的特征；我们将末端执行器称为“末端执行器”。

一种机器人水果采摘系统，其中末端执行器至少使用以下阶段：

(i)选择阶段，在所述选择阶段期间，目标水果与植物或树木和/或在植物/树木和/或种植基础设施上生长的其他水果进行物理分隔或分离。

(ii)切断阶段，在所述切断阶段期间目标水果从植物/树木上永久切断。

一种机器人水果采摘系统，其中末端执行器包括钩。

一种机器人水果采摘系统，其中水果在选择阶段从其原始生长位置移开。

机器人水果采摘系统，其中在选择阶段之后和切断阶段之前引入决策阶段。

一种机器人水果采摘系统，其中决策阶段包括通过其茎或其他方式旋转水果。

一种机器人水果采摘系统，其中决策阶段用于确定是否切断水果，或切割水果的方式。

一种机器人水果采摘系统，其中选择阶段是可逆的。

一种机器人水果采摘系统，其中通过改变钩的形状来实现可逆性。

一种机器人水果采摘系统，其中可通过钩的移动或旋转来实现可逆性。

一种机器人水果采摘系统，其中所述系统能够同时夹持和切割目标水果的果柄。

一种机器人水果采摘系统，其中系统包括位于个别多路复用末端执行器上的多个采摘单元。

一种机器人水果采摘系统，其中采摘单元上的多个采摘功能由单个致动器或马达驱动，通过轻型构件选择性地接合，例如：电磁铁、接合销、旋转翼片或类似物。

一种机器人水果采摘系统，其中单个马达或致动器驱动所述头上通过例如电磁铁、接合销、旋转翼片或类似构件选择性地接合的所有单元的一个功能。

一种机器人水果采摘系统，其功能由来自所述系统中其他地方的轻质构件驱动，例如使用：鲍登线缆、扭转驱动线缆/弹簧、气动或液压构件。

一种机器人水果采摘系统，其中末端执行器将目标水果从植物中拉出，以确定水果在从水果中永久切断之前采摘的适合性。

一种机器人水果采摘系统，其中末端执行器包括具有动态可编程轨迹的钩。

一种机器人水果采摘系统，其中末端执行器至少使用以下阶段：

(i)选择阶段，在所述选择阶段期间，所述目标水果与树木和/或在树木和/或种植基础设施上生长的其他水果进行物理分隔或分离；

(ii)切断阶段，在所述切断阶段期间，所述目标水果永久性地从树木上切下；并且

其中通过致动环来执行所述选择和切断阶段，其中以编程方式控制所述环的直径、位置和定向。

一种机器人水果采摘系统，其中末端执行器至少使用以下阶段：

(i)选择阶段，在所述选择阶段期间，所述目标水果与树木和/或在树木和/或种植基础设施上生长的其他水果进行物理分隔或分离；

(ii)切断阶段，在所述切断阶段期间，所述目标水果永久性地从树木上切下；并且

以及其中所述选择和切断阶段由一组夹钳执行，其中所述夹钳的直径和位置以编程方式控制。

一种机器人水果采摘系统，其中以编程方式控制例如打开、部分关闭或关闭的夹钳姿势。

计算机视觉功能

在本节中，我们总结了与用于自主导航的计算机视觉系统和用于水果成像的计算机视觉子系统相关的特征。

一种机器人水果采摘系统，其中使用所述基于计算机视觉的系统，以便使用由大致沿着作物行向前或向后指向的相机获得的图像来确定所述机器人相对于一行作物的驶向和横向位置。

一种机器人水果采摘系统，其中基于计算机视觉的子系统检测目标水果，并且其中机器人包括末端执行器，其中末端执行器的一部分用作暴露控制目标。

一种机器人水果采摘系统，其中控制系统软件使用从天气预报推断或得出的照明条件作为控制子系统或计算机视觉子系统的输入来控制采摘策略或操作。

机器人水果采摘系统，其中基于计算机视觉的子系统检测目标水果和末端执行器能够在采摘之前将候选水果与植物和群中的其他水果物理地分离。

一种机器人水果采摘系统，其中镜定位和定向以提供水果的多个虚拟视图。

一种机器人水果采摘系统，其中基于计算机视觉的系统在不同的照明条件下获得目标水果的多个图像并且推断关于目标水果的形状的信息。

一种机器人水果采摘系统，其中基于计算机视觉的子系统使用图像划分技术来提供水果健康的指示。

一种机器人水果采摘系统，其中基于计算机视觉的子系统检测水果瘦果或小核果的位置或点，并且使用将能量函数分配给规则布置位置的能量函数来为这些位置或这些位置的布置分配成本。

一种机器人水果采摘系统，其中使用语义标记方法来检测瘦果，例如决策森林分类器。

一种机器人水果采摘系统，其中成本超过点数的总和提供了水果健康的指示。

一种机器人水果采摘系统，其中通过分析以下一项或多项来提供水果健康的指示：瘦果的颜色、水果的颜色或水果的3D形状。

一种机器人水果采摘系统，其中使用神经网络或其他机器学习系统，所述系统从具有相关专家导出的地面实况标签的现有图像的数据库中训练。

一种机器人水果采摘系统，其中基于计算机视觉的子系统用于对水果进行分类，并且其中系统允许种植者调整用于对水果进行分类的阈值。

一种机器人水果采摘系统，其中基于计算机视觉的子系统定位植物的特定部分或需要有针对性地局部施用化学品(例如除草剂或杀虫剂)的特定植物。

一种机器人水果采摘系统，其中基于计算机视觉的子系统检测特定种类病原体的实例，例如：昆虫、干腐病，湿腐病。

一种机器人水果采摘系统，其中计算机视觉子系统使用单点光源在水果表面上诱发的镜面反射来检测小核果或瘦果。

机器人水果采摘系统，其中末端执行器用于采摘，而另一末端执行器用于喷洒。

一种机器人水果采摘系统，其中末端执行器是喷洒末端执行器，其含有小的液体化学品储存器。

一种机器人水果采摘系统，其中采摘臂访问底盘上的站点以收集化学品盒。

一种机器人水果采摘系统，其中采摘臂访问底盘中的盒子以将所需的液体化学品从盒子吸入其储存器中或者将未使用的化学物质从其储存器排出回到盒子中。

一种机器人水果采摘系统，其中若干不同类型的化学品以动态可编程组合的形式组合，以实现更优化的局部处理。

一种机器人水果采摘系统，其中多个盒含有多种不同的化学组合。

AI/机器学习功能

在本节中，我们总结了与AI或机器学习功能相关的功能。

一种机器人水果采摘系统，其中机器学习方法用于训练检测算法以自动检测目标水果。

一种机器人水果采摘系统，其中系统识别由相机获得的RGB彩色图像中的水果。

一种机器人水果采摘系统，其中系统识别通过密集立体声或其他方式获得的深度图像中的水果。

一种机器人水果采摘系统，其中所述训练数据是数据集，其中目标水果的位置和定向在植物图像中用手注释，所述植物图像表示可能由所述相机获得的那些植物。

一种机器人水果采摘系统，其中训练检测算法以对由相机捕获的图像执行语义分段。

一种机器人水果采摘系统，其中语义分段标记每个图像像素，例如成熟水果、未成熟水果或其他物体。

一种机器人水果采摘系统，其中聚类算法聚合语义分段的结果。

机器人水果采摘系统，其中机器学习方法是决策森林分类器。

机器人水果采摘系统，其中机器学习方法是卷积神经网络。

一种机器人水果采摘系统，其中训练卷积神经网络以区分在其中心处含有目标水果的图像块与不含有目标水果的图像块。

一种机器人水果采摘系统，其中使用滑动窗口方法来确定可能含有目标水果的所有图像的位置。

一种机器人水果采摘系统，其中使用语义分段来识别目标水果的可能图像位置，以便随后通过CNN或其他形式的推理引擎进行更准确的分类或姿势确定。

一种机器人水果采摘系统，其中使用具有回归模型的机器学习方法来预测描述来自图像的近似旋转对称水果的方向的角度，包括单眼，立体和深度图像。

一种机器人水果采摘系统，其中机器学习方法用于训练检测算法以识别和描绘由相机捕获的图像中的茎。

一种机器人水果采摘系统，其中机器学习方法用于训练预测算法以预测对目标水果的初始姿势估计有多少改进可能由给定的额外视点揭示。

一种机器人水果采摘系统，其中系统预测哪些额外信息(包括一组可用视点中的哪些视点)可能是最有价值的，包括对总体生产率最有利的信息。

一种机器人水果采摘系统，其中额外信息是茎附着到目标水果的位置或点。

一种机器人水果采摘系统，其中额外信息是水果可见而不会从特定视点遮挡的知识。

一种机器人水果采摘系统，其中额外信息是相机和水果之间的空间没有来自特定视点的障碍的知识。

一种机器人水果采摘系统，其中系统从一个或多个视点获得的目标水果的一个或多个图像中恢复目标水果的3D形状，并且其中使用目标水果的图像外观的生成模型。

一种机器人水果采摘系统，其中使用几何和/或光度模型拟合方法来预测目标水果的表面外观以及目标水果在不同的受控照明条件下投射到其自身上的阴影。

一种机器人水果采摘系统，其中成本函数，即图像之间的一致性的测量，对于遮挡是稳健的，或者水果与遮挡源物理地分离。

一种机器人水果采摘系统，其中机器学习方法用于训练标记算法以自动地将标签分配给由系统捕获的图像，其中由人类专家提供的预标记图像用于训练系统。

一种机器人水果采摘系统，其中由人类专家提供的标记数据用于训练机器学习系统以通过训练具有训练数据的图像分类器自动地将质量标签分配给新采摘的水果，所述训练数据包括(i)通过以下方式获得的采摘水果的图像：QC子系统和(ii)人类专家提供的相关质量标签。

一种机器人水果采摘系统，其中控制策略子系统在机器人运行时通过强化学习进行训练。

一种机器人水果采摘系统，其中通过强化学习来训练控制子系统，并且其中通过使用在可用视点中捕获的现实世界环境的图像来模拟机器人的运动来完成训练。

一种机器人水果采摘系统，其中控制系统被训练以通过强化学习来预测采摘成功，并且其中在模拟采摘环境中进行训练。

一种机器人水果采摘系统，其中所述系统被训练以通过强化学习来预测采摘成功，其中采摘成功的预测器是确保所述末端执行器的预测路径扫过含有目标果柄而非其他果柄的3D体积。

一种机器人水果采摘系统，其中控制子系统通过强化学习进行训练，包括由人类操作者执行的动作。

机器人水果采摘系统，其中机器学习方法用于训练模型以预测产量预测。

机器人水果采摘系统，其中系统记录地图坐标系位置以及所有检测到的水果的图像，并且记录的数据用于训练模型以估计作物产量预测。

一种机器人水果采摘系统，其中系统使用由工作机器人获得的采摘成功数据来学习和改进用于估计采摘成功概率的动态可更新统计模型的参数。

采摘流程功能

在本节中，我们总结了与系统使用的采摘过程相关的功能。

一种机器人水果采摘系统，其中所述系统可操作以切割水果的茎，其中通过首先切断并且抓住其茎来采摘所述水果，并且在后续操作将所述水果的主体从其茎移除。

一种机器人水果采摘系统，其中所述系统可操作以使用压缩空气射流将水果从其茎切断，而不需要处理水果的主体。

一种机器人水果采摘系统，其中机器人包括套环，所述套环成形为便于迫使水果的主体与其茎分离。

一种机器人水果采摘系统，其中所述系统可操作以通过利用所述目标水果的主体的惯性将所述茎从其水果切断，以使所述水果的主体与其茎分离。

一种机器人水果采摘系统，其中所述系统可操作以通过使水果在大致垂直于其果柄的方向上往复前后运动或旋转轴大致平行于果柄的振荡旋转运动来移动水果或其果柄来切割或切断水果的茎。

一种机器人水果采摘系统，其中路径规划算法用于将障碍物建模为具有不同材料特性的不同类型障碍物的场景空间占用的概率模型。

一种机器人水果采摘系统，其中所述末端执行器可操作以切割水果的茎，其中所述系统包括可变形的末端执行器，所述可变形的末端执行器被设计成在压缩力下变形。

一种机器人水果采摘系统，其中所述系统可操作以在不处理所述水果主体的情况下切割水果的茎。

一种机器人水果采摘系统，其中所述机器人在夜间可操作，其具有在夜间操作的计算机视觉系统，并且当水果较冷时采摘水果并且因此更坚固以最小化瘀伤。

一种机器人水果采摘系统，其中所述末端执行器可操作以干净地切割水果茎而不会撕裂以提高水果产量。

一种机器人水果采摘系统，其中所述质量控制子系统根据风味或质量预测来预测水果的风味或质量并且将所述水果放置在特定的储存容器中。

一种机器人水果采摘系统，其中水果的风味或质量的预测取决于对所述水果随时间测量的生长轨迹数据的分析。

方法或应用

在本节中，我们总结了与系统的方法或应用相关的功能。

一种通过使用上面定义的机器人水果采摘系统对每个水果成像以针对采摘确定成熟度或适合性来优化水果产量预测的方法。

一种通过使用上面定义的机器人水果采摘系统对每个水果成像以针对采摘确定成熟度或适合性来优化一个水果农场或多个水果农场的水果产量映射的方法。

一种通过使用上面定义的机器人水果采摘系统最大化水果保质期的方法。

一种通过使用上面定义的机器人水果采摘系统选择性地储存或装篮具有最佳风味或质量的水果的方法。

最后一个方面是使用上面定义的机器人水果采摘系统采摘时的水果。所述水果可以是草莓，包括在桌子上种植的草莓。所述水果可以是覆盆子。所述水果可以是苹果、梨或桃子、或葡萄、李子、樱桃、或橄榄或西红柿。

注意

应理解，上述布置仅说明了对本发明原理的应用。在不脱离本发明的精神和范围的情况下，可以设计出许多修改和替换布置。虽然本发明已经在附图中示出并且在上面充分描述并且与目前被认为是本发明的最实用和优选的示例有关的特殊性和细节，但是对于本领域普通技术人员来说将是显而易见的。在不脱离这里阐述的本发明的原理和概念的情况下，可以进行许多修改的技术。

Claims (195)

1.一种机器人水果采摘系统，所述机器人水果采摘系统包括自主机器人，所述自主机器人包括以下子系统：

定位子系统，所述定位子系统可操作以使用计算机实施的引导系统实现所述机器人的自主定位；

至少一个采摘臂；

至少一个采摘头或其他类型的末端执行器，所述末端执行器安装在每个采摘臂上，以切割特定水果或果束的茎或枝或采摘所述水果或果束，并且接着转移所述水果或果束；

计算机视觉子系统，所述计算机视觉子系统用于分析待采摘或储存的所述水果的图像；

控制子系统，所述控制子系统用采摘策略编程或学习采摘策略；

质量控制(QC)子系统，所述质量控制(QC)子系统用于监测已采摘或可采摘水果的质量，并且根据大小和/或质量对水果进行分级；

储存子系统，所述储存子系统用于接收所采摘水果并且将所述水果储存在容器中以便储存或运输，或者储存在果篮中用于零售；以及

其中末端执行器被配置为(a)抓住水果或一串水果的茎或枝和(b)切割所述茎或枝和/或采摘所述水果或果束；由计算机视觉子系统控制的末端执行器将可食用和可口部分与茎、枝或茎的至少一部分分开，而不接触可食用和可口部分；

并且其中所述机器人水果采摘系统被配置为通过考虑以下一项或多项来估计采摘尝试成功的统计概率：估计的目标水果及其茎或枝的姿势和形状，与恢复的姿势估计和形状估计相关联的不确定性，目标水果表面的颜色，检测到的障碍物的接近程度以及目标水果可见的视点范围，以便在估计的采摘成功率大于预定义阈值时采摘水果。

2.如权利要求1所述的机器人水果采摘系统，其中所述计算机实施的引导系统包含计算机视觉引导系统。

3.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统还包括履带式或轮式漫游车或车辆，其能够使用基于计算机视觉的引导系统自主地导航。

4.如权利要求1所述的机器人水果采摘系统，其中分析水果图像的所述计算机视觉子系统包括用于检测水果的图像处理软件，并且所述控制子系统包括用于决定是否采摘所述水果的软件和用于基于自动更新策略。

5.如权利要求4所述的机器人水果采摘系统，其中所述自动更新策略包含基于强化学习的策略。

6.如权利要求1所述的机器人水果采摘系统，其中所述采摘臂具有6个自由度。

7.如权利要求1所述的机器人水果采摘系统，其中所述采摘臂定位各自安装在所述采摘臂上的所述末端执行器和相机。

8.如权利要求1所述的机器人水果采摘系统，其中所述末端执行器包括以下方式：(i)切割所述果柄或茎；以及(ii)抓住所述切割的果柄或茎以将所述水果传送到所述QC和储存子系统。

9.如权利要求1所述的机器人水果采摘系统，其中所述机器人自动地将自身装载到储存容器或运输车辆上和从所述储存容器或运输车辆卸载。

10.如权利要求1所述的机器人水果采摘系统，其中所述机器人在水果生产植物中自动导航，包括沿着成行的苹果树或草莓植物，包括桌子种植的草莓植物或覆盆子植物。

11.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统自动与其他机器人系统和人类采摘者协作，以有效地划分采摘工作。

12.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统自动确定目标水果的位置、方向和形状。

13.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统基于在所述质量控制子系统中可自动更新的因素自动确定水果是否适合于采摘。

14.如权利要求1所述的机器人水果采摘系统，其中所述末端执行器被配置为保持具有至少部分茎或果柄的成熟水果的可食用和可口部分。

15.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统按照大小和其他适合性测量自动对水果进行分级，所述适应性测量被编程到所述QC子系统或由所述QC子系统学习。

16.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统自动地将所采摘水果传送到固持在所述储存子系统中的合适的储存容器中，而不处理所述水果的所述可食用和可口部分或者可能被处理擦伤的水果的其他敏感部分。

17.如权利要求1所述的机器人水果采摘系统，其中所述控制子系统使用基于机器学习的采摘策略来最小化所述末端执行器或所述机器人的其他部分损坏水果或所述水果生长的植物的风险。

18.如权利要求1所述的机器人水果采摘系统，其中所述采摘臂移动所附接的相机以允许所述计算机视觉子系统定位目标水果并且确定其姿势和采摘的适合性。

19.如权利要求1所述的机器人水果采摘系统，其中所述采摘臂是轻型机器人臂，其具有至少一些接头，所述接头具有+/-275度的运动范围，所述运动范围将所述末端执行器定位用于采摘并且将所采摘水果移动到所述QC子系统。

20.如权利要求1所述的机器人水果采摘系统，其中所述控制子系统操作总定位系统和所述采摘臂。

21.如权利要求1所述的机器人水果采摘系统，其中所述控制子系统使用来自所述计算机视觉子系统的输入，所述计算机视觉子系统分析水果图像以决定何时何地移动所述机器人。

22.如权利要求1所述的机器人水果采摘系统，其中所述QC子系统负责对所采摘水果进行分级、确定其适合零售或其他用途，以及弃置不可用的水果。

23.如权利要求1所述的机器人水果采摘系统，其中所述机器人采摘腐烂或其他不合适的水果，接着将所述水果弃置到机器人内或地面上的合适容器中，并且所述容器可通过弃置滑槽接近，所述弃置滑槽的孔位于QC子系统的底部使得所述采摘臂可以立即掉落水果而无需移动到替代容器。

24.如权利要求1所述的机器人水果采摘系统，其中在弃置滑槽或成像室中诱发正或负气压，以确保来自先前弃置的水果的真菌孢子远离成像室中的健康水果。

25.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统包括一个或多个6轴轻质机器人采摘臂，所述采摘臂具有的一些或所有接头具有+/-275度的运动范围。

26.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统包括两个或更多个采摘臂，并且所述采摘臂不对称地定位在所述机器人上。

27.如权利要求1所述的机器人水果采摘系统，其中所述机器人具有可移除的轨道，并且如果所述轨道被移除，则所述机器人可以在导轨上运行。

28.如权利要求1所述的机器人水果采摘系统，其中所述机器人配备有悬挂安装的水果保持托盘。

29.如权利要求1所述的机器人水果采摘系统，其中所述机器人配备有水果保持托盘，所述水果保持托盘安装在可移动臂上，所述可移动臂从第一延伸位置移动到第二更紧凑位置。

30.如权利要求1所述的机器人水果采摘系统，其中所述机器人配备有水果保持托盘，所述水果保持托盘布置成两个或更多个垂直定向的堆叠。

31.如权利要求1所述的机器人水果采摘系统，其中所述机器人由远程电源供电。

32.如权利要求1所述的机器人水果采摘系统，其中所述机器人具有一个或多个灯，当需要更换水果托盘或保持器时，所述一个或多个灯激活。

33.如权利要求1所述的机器人水果采摘系统，其中快速移动的机器人自动地从进行水果采摘的较慢移动的机器人移除托盘或保持器。

34.如权利要求1所述的机器人水果采摘系统，其中所述机器人具有一个或多个灯，所述一个或多个灯响应于用户输入而激活并且在所述机器人上方照射识别信号。

35.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统包括成像或分析室，其中通过所述采摘臂放置水果，接着对所述水果进行成像或分析以用于分级或质量控制目的。

36.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统包括成像或分析室，其中水果被成像或分析用于分级或质量控制目的，并且其中所述成像或分析室在成像或分析室的孔顶部包括孔和狭缝或圆筒或盖子或挡板，用于阻挡不需要的光进入腔室，同时仍然允许水果降低或进入其中。

37.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统包括成像或分析室，其中水果被成像或分析用于分级或质量控制目的，并且其中所述成像或分析室包括一个或多个相机和/或其他传感器，包括(i)对包括IR在内的EM光谱的特定部分敏感的相机，(ii)使用偏振光的相机和照明器，以及(iii)特定于水果可能发出的特定化合物的传感器。

38.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统包括用于穿过机器人的铰接接头的线缆的线缆管理系统，所述线缆管理系统包括线缆外壳和相对于所述外壳扭转的中央线缆引导件，当所述接头旋转时，允许线圈或螺旋线缆膨胀和收缩。

39.如权利要求38所述的机器人水果采摘系统，其中所述机器人包括由若干个单独的刚性体构成的采摘臂，每个刚性体在铰接接头处附接到另一刚性体，并且存在与每个铰接接头中的一个或多个相关联的所述线缆外壳。

40.如权利要求38所述的机器人水果采摘系统，其中所述线缆引导件被配置成使得所述线缆通过所述线缆外壳的中心被引导离开到下一主体。

41.如权利要求38所述的机器人水果采摘系统，其中所述线缆管理系统被配置成在所述铰接接头移动通过其整个运动范围时使所述线缆的局部曲率的变化最小化。

42.如权利要求38所述的机器人水果采摘系统，其中所述线缆是未屏蔽的，并且所述外壳提供屏蔽。

43.如权利要求38所述的机器人水果采摘系统，其中所述线缆还用于提供足够的热量以减少线缆劣化。

44.如权利要求1所述的机器人水果采摘系统，其中所述采摘臂是可调节的，并且可以重新定位以最大化特定作物品种或生长系统的采摘效率。

45.如权利要求44所述的机器人水果采摘系统，其中所述采摘臂是可调节的，并且可以重新定位以最大化特定桌面生长系统的高度的采摘效率。

46.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统被配置成除了采摘之外还执行若干功能，包括用合适的除草剂和杀虫剂喷洒杂草或害虫的能力，或者用于重新定位或修剪桁架以促进旺盛的水果生长或随后采摘。

47.如权利要求1所述的机器人水果采摘系统，其中所述机器人通过测量其相对于张紧的线缆的位置和/或定向来估计其相对于作物行的位置和定向。

48.如权利要求1所述的机器人水果采摘系统，其中所述机器人通过测量其相对于沿着作物行(‘向量线缆’)延伸的张紧线缆的位移来估计其相对于所述行的位置和定向。

49.如权利要求48所述的机器人水果采摘系统，其中所述机器人包括一个或多个随动臂，所述随动臂安装成跟随所述机器人。

50.如权利要求49所述的机器人水果采摘系统，其中所述随动臂的一端通过铰接接头连接到机器人底盘，另一端连接到沿着线缆运行的卡车。

51.如权利要求50所述的机器人水果采摘系统，其中测量所述铰接接头处的角度以确定相对于所述线缆的位移。

52.如权利要求51所述的机器人水果采摘系统，其中所述角度是根据电位计的电阻测量的。

53.如权利要求48至52中任一项所述的机器人水果采摘系统，其中两个随动臂用于确定相对于所述向量线缆的位移和定向。

54.如权利要求48至52中任一项所述的机器人水果采摘系统，其中计算机视觉引导系统测量所述机器人相对于所述向量线缆的位移。

55.如权利要求54所述的机器人水果采摘系统，其中所述计算机视觉子系统利用机器人坐标系中已知的位置和定向来测量由安装的相机获得的2D图像中的线缆的投影位置。

56.如权利要求48所述的机器人水果采摘系统，其中支架允许所述向量线缆附接到作物生长的桌子的支腿上。

57.如权利要求50所述的机器人水果采摘系统，其中所述卡车配备有微动开关，所述微动开关定位成在所述卡车与所述线缆失去接触时断开电路。

58.如权利要求49所述的机器人水果采摘系统，其中使用磁耦合将所述随动臂的外部附接到所述随动臂的内部，使得在发生故障或其他事件时所述随动臂的所述部分可以分开而不会损坏。

59.如权利要求58所述的机器人水果采摘系统，其中所述随动臂的外部与内部的分离触发控制软件以停止所述机器人。

60.如权利要求1所述的机器人水果采摘系统，其中控制所述采摘臂以优化采摘速度与采摘精度之间的折衷。

61.如权利要求1所述的机器人水果采摘系统，其中所述控制子系统通过确定采摘特定目标水果的尝试将成功的统计概率来确定所述特定目标水果或果束的适合性，以通过特定接近轨迹进行采摘。

62.如权利要求61所述的机器人水果采摘系统，其中根据从特定目标水果附近的视点获得的场景的图像确定估计采摘成功的概率。

63.如权利要求61至62中任一项所述的机器人水果采摘系统，其中确定所述统计概率是基于多变量统计模式。

64.如权利要求63所述的机器人水果采摘系统，其中所述统计模式包含蒙特卡罗模拟。

65.如权利要求63所述的机器人水果采摘系统，其中所述统计模型是从工作机器人获得的采摘成功数据中训练和更新的。

66.如权利要求1所述的机器人水果采摘系统，其中所述控制子系统使用由可以观察到目标水果而无遮挡的视点范围形成的场景的隐式3D模型来确定采摘臂和物体之间的碰撞概率。

67.如权利要求1所述的机器人水果采摘系统，其中所述控制子系统确定所述目标水果看起来未被遮挡的一个或多个视点，并且因此识别空间的无障碍区域。

68.如权利要求1所述的机器人水果采摘系统，其中所述计算机视觉子系统使用统计先验获得目标水果的形状参数值的最大似然估计，接着所述计算机视觉子系统计算所述目标的体积估计，并且由此估计目标的重量。

69.如权利要求1所述的机器人水果采摘系统，其中所述计算机视觉子系统确定水果的大小和形状。

70.如权利要求69所述的机器人水果采摘系统，其中所述计算机视觉子系统确定水果的大小和形状，作为估计水果的手段，从而确保根据预期客户对每个果篮的平均或最小质量的要求将所需质量的水果放置在每个果篮中。

71.如权利要求69或70所述的机器人水果采摘系统，其中所采摘水果基于所述所采摘水果的大小和质量测量被自动分配到特定的果篮(或容器)中，以根据最大化种植者预期的获利能力的测量来最小化总成本的统计预期。

72.如权利要求1所述的机器人水果采摘系统，其中在采摘水果时动态地更新描述所采摘水果的大小和其他质量测量的概率分布。

73.如权利要求1所述的机器人水果采摘系统，其中所述采摘臂将较大的水果放置在较远离所述采摘臂的基部的果篮中，以便最小化耗时的到远处的果篮的臂移动的数量。

74.如权利要求1所述的机器人水果采摘系统，其中如果所述质量控制子系统将所选择的水果识别为需要由人类操作者进行详细检查，则所述采摘臂将所选择的水果放置在单独的储存容器中以供人类操作者随后仔细检查和重新包装。

75.如权利要求1所述的机器人水果采摘系统，其中所述控制子系统对果束实施两阶段采摘程序，其中首先采摘整个果束，接着从其中移除不适合的个别水果。

76.如权利要求1所述的机器人水果采摘系统，其中所述机器人测量所采摘水果的姿势，使得所述水果可以被定位在用于成像或分析的最佳姿势，或者用于在最佳高度处释放以落入果篮或容器中。

77.如权利要求1所述的机器人水果采摘系统，其中所述机器人确定已经在果篮或容器中的其他采摘水果的位置，并且相应地改变到所述果篮或容器中的释放位置或高度，以便将新水果添加到所述果篮或容器中。

78.如权利要求1所述的机器人水果采摘系统，其中所述机器人自动地将所采摘水果定位或定向在果篮或其他容器中以最大化视觉吸引力。

79.如权利要求1所述的机器人水果采摘系统，其中所述机器人自动生成特定果篮中水果的质量或其他属性的记录，并且将机器可读图像添加到链接回所述记录的所述果篮。

80.如权利要求1所述的机器人水果采摘系统，其中所述机器人选择地面自由区域内的路径，以便以优化行程时间和地面损坏之间的折衷的方式在地面上分配路线。

81.如权利要求1所述的机器人水果采摘系统，其中一系列机器人自动跟随在人控制下驱动的单个‘引导’机器人。

82.如权利要求1所述的机器人水果采摘系统，其中使用关于若干机器人的位置的信息以及影响一个或多个机器人的任何故障状况或即将发生的故障状况的紧急程度来规划人类监督者在其中的路线。

83.如权利要求1所述的机器人水果采摘系统，其中控制所述机器人相对于目标水果的位置以优化采摘性能，包括最小化预期采摘时间。

84.如权利要求1或80所述的机器人水果采摘系统，其中通过在配置空间中的一对或多对点之间对所述机器人的运动进行物理模拟，在运行时间之前识别无碰撞路径或无障碍轨迹，从而定义图形(或‘路线图’)，其中节点对应于配置(和相关的末端执行器姿势)，并且边缘对应于配置之间的有效路线。

85.如权利要求84所述的机器人水果采摘系统，其中机器人臂路径规划是通过在空间区域(‘体素’)和与配置空间路径相对应的路线图图形的边缘之间的映射来建立的，所述配置空间路径将使所述机器人在其部分或全部动作期间与所述区域相交。

86.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统记录环境中可能需要随后人为干预的不期望状况以及地图坐标。

87.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统将所有检测到的水果(无论是成熟的还是未成熟的)的位置储存在计算机存储器中，以便产生产量图。

88.如权利要求87所述的机器人水果采摘系统，其中所述产量图使农民能够识别至少包括疾病或欠浇水或过度浇水的问题。

89.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统在计算机存储器中储存已检测到但未采摘的未成熟水果的地图坐标系位置。

90.如权利要求87至89中任一项所述的机器人水果采摘系统，其中所述产量图考虑了时间对先前未成熟水果的成熟度的影响。

91.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统通过相应地调整场景的几何形状和相机视点的模型来测量所述机器人的倾斜程度并且补偿所述倾斜程度。

92.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统包括加速度计。

93.如权利要求91至92中任一项所述的机器人水果采摘系统，其中使用加速度计直接测量倾斜度，或者通过基于作物行测量坐标系中机器人的一部分的位置来间接测量倾斜度。

94.如权利要求93所述的机器人水果采摘系统，其中校正所述倾斜所需的适当3D到3D变换被应用于预定义的相机姿势和环境几何形状。

95.如权利要求93所述的机器人水果采摘系统，其中动态调节机器人轨道在所述行中的横向位置，使得尽管倾斜，所述采摘臂仍较接近于其设计位置。

96.如权利要求1所述的机器人水果采摘系统，其中通过采用柔软的抓手实现的阻尼减少了通过采摘水果引起的水果振荡。

97.如权利要求96所述的机器人水果采摘系统，其中通过调节所述机器人臂的末端执行器的加速度或速度或运动实现的阻尼减少了通过采摘水果引起的水果振荡。

98.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统估计所述水果的质量和摆长。

99.如权利要求96至98中任一项所述的机器人水果采摘系统，其中所述机器人水果采摘系统设计所需的减速或加速曲线(动态或其他)以使振荡的幅度或持续时间最小化。

100.如权利要求1所述的机器人水果采摘系统，其中所述末端执行器至少使用以下阶段：

(i)选择阶段，在所述选择阶段期间，所述目标水果与植物或树木和/或在植物/树木和/或种植基础设施上生长的其他水果进行物理分隔或分离，以及

(ii)切断阶段，在所述切断阶段期间，所述目标水果从所述植物/树木上永久切断。

101.如权利要求100所述的机器人水果采摘系统，其中所述末端执行器包括钩。

102.如权利要求100所述的机器人水果采摘系统，其中在所述选择阶段期间将所述水果从其原始生长位置移开。

103.如权利要求100至102中任一项所述的机器人水果采摘系统，其中在所述选择阶段之后和所述切断阶段之前引入决策阶段。

104.如权利要求103所述的机器人水果采摘系统，其中所述决策阶段包括通过其茎或其他方式旋转水果。

105.如权利要求103所述的机器人水果采摘系统，其中所述决策阶段用于确定是否切断水果，或将切断水果的方式。

106.如权利要求100所述的机器人水果采摘系统，其中所述选择阶段是可逆的。

107.如权利要求106所述的机器人水果采摘系统，其中通过改变钩的形状来实现可逆性。

108.如权利要求106所述的机器人水果采摘系统，其中通过钩的移动或旋转实现可逆性。

109.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统能够同时夹持和切割目标水果的茎。

110.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统包括位于单个多路复用末端执行器上的多个采摘单元。

111.如权利要求110所述的机器人水果采摘系统，其中采摘单元上的多个采摘功能由单个致动器或马达驱动，通过轻型构件选择性地接合。

112.如权利要求111所述的机器人水果采摘系统，其中所述单个致动器或马达驱动所述头上通过轻型构件选择性地接合的所有单元的一个功能。

113.如权利要求111或112所述的机器人水果采摘系统，其中所述轻型构件包含电磁铁、接合销、旋转翼片。

114.如权利要求111或112所述的机器人水果采摘系统，其中所述功能由来自所述机器人水果采摘系统中其他地方的轻质构件驱动，包括使用：鲍登线缆、扭转驱动线缆/弹簧、气动或液压构件。

115.如权利要求1或100所述的机器人水果采摘系统，其中所述末端执行器将所述目标水果拉离所述植物，以便在所述水果从所述植物中永久切断之前确定所述水果的采摘适合性。

116.如权利要求1或100所述的机器人水果采摘系统，其中所述末端执行器包括具有动态可编程轨迹的钩。

117.如权利要求1或100所述的机器人水果采摘系统，其中所述末端执行器至少使用以下阶段：

(i)选择阶段，在所述选择阶段期间，所述目标水果与树木和/或在树木和/或种植基础设施上生长的其他水果进行物理分隔或分离；

(ii)切断阶段，在所述切断阶段期间，所述目标水果永久性地从树木上切下；并且

其中通过致动环来执行所述选择和切断阶段，其中以编程方式控制所述环的直径、位置和定向。

118.如权利要求1或100所述的机器人水果采摘系统，其中所述末端执行器至少使用以下阶段：

(i)选择阶段，在所述选择阶段期间，所述目标水果与树木和/或在树木和/或种植基础设施上生长的其他水果进行物理分隔或分离；

(ii)切断阶段，在所述切断阶段期间，所述目标水果永久性地从树木上切下；并且

以及其中所述选择和切断阶段由一组夹钳执行，其中所述夹钳的直径和位置以编程方式控制。

119.如权利要求118所述的机器人水果采摘系统，其中以编程方式控制包含打开、部分关闭或关闭的夹钳姿势。

120.如权利要求1所述的机器人水果采摘系统，其中使用所述计算机视觉子系统，以便使用由大致沿着作物行向前或向后指向的相机获得的图像来确定所述机器人相对于一行作物的驶向和横向位置。

121.如权利要求1所述的机器人水果采摘系统，其中所述计算机视觉子系统检测目标水果，并且其中所述机器人包括所述末端执行器，其中所述末端执行器的一部分用作曝光控制目标。

122.如权利要求1所述的机器人水果采摘系统，其中所述控制系统软件使用从天气预报推断或导出的照明条件作为所述控制子系统或计算机视觉子系统的输入来控制采摘策略或操作。

123.如权利要求1所述的机器人水果采摘系统，其中所述计算机视觉子系统检测目标水果，并且所述末端执行器能够在采摘之前将候选水果与所述植物和所述果束中的其他水果物理地分离。

124.如权利要求1所述的机器人水果采摘系统，其中镜被定位和定向以提供所述水果的多个虚拟视图。

125.如权利要求1所述的机器人水果采摘系统，其中所述计算机视觉子系统在不同的照明条件下获得目标水果的多个图像，并且推断出关于目标水果的形状的信息。

126.如权利要求1所述的机器人水果采摘系统，其中所述计算机视觉子系统使用图像划分技术来提供水果健康的指示。

127.如权利要求1所述的机器人水果采摘系统，其中所述计算机视觉子系统检测水果瘦果或小核果的位置或点，并且使用赋予最低能量给规则布置的位置的能量函数为这些位置或这些位置的布置分配成本。

128.如权利要求127所述的机器人水果采摘系统，其中语义标记方法用于检测瘦果。

129.如权利要求128所述的机器人水果采摘系统，其中用于检测瘦果的所述语义标记方法包含决策森林分类器。

130.如权利要求127至129中任一项所述的机器人水果采摘系统，其中所有点上成本的总和提供了水果健康的指示。

131.如权利要求127至129中任一项所述的机器人水果采摘系统，其中通过分析以下中的一者或多者来提供水果健康的指示：瘦果的颜色、水果的果肉的颜色或水果的3D形状。

132.如权利要求131所述的机器人水果采摘系统，其中使用神经网络或其他机器学习系统，所述神经网络或其他机器学习系统是从具有相关联专家导出的地面实况标签的现有图像的数据库训练的。

133.如权利要求1所述的机器人水果采摘系统，其中所述计算机视觉子系统用于对水果进行分类，并且其中所述机器人水果采摘系统允许种植者调整用于对所述水果进行分类的阈值。

134.如权利要求1所述的机器人水果采摘系统，其中所述计算机视觉子系统定位需要有针对性地局部施用化学品的植物或特定植物的特定部分。

135.如权利要求134所述的机器人水果采摘系统，其中有针对性地局部施用的所述化学品包含除草剂或杀虫剂。

136.如权利要求1所述的机器人水果采摘系统，其中所述计算机视觉子系统检测特定种类病原体的实例，包含：昆虫、干腐病、湿腐病。

137.如权利要求1所述的机器人水果采摘系统，其中所述计算机视觉子系统使用单点光源在水果表面上诱发的镜面反射来检测小核果或瘦果。

138.如权利要求137所述的机器人水果采摘系统，其中一个末端执行器用于采摘，而另一末端执行器用于喷洒。

139.如权利要求1所述的机器人水果采摘系统，其中所述末端执行器是喷洒末端执行器，其含有小的液体化学品储存器。

140.如权利要求1所述的机器人水果采摘系统，其中所述采摘臂访问底盘上的站以收集化学品盒。

141.如权利要求1所述的机器人水果采摘系统，其中所述采摘臂访问底盘中的盒，以将所需的液体化学品从盒吸入其储存器中，或者将未使用的化学品从其储存器排出回到盒中。

142.如权利要求134至141中任一项所述的机器人水果采摘系统，其中若干不同类型的化学品以动态可编程组合方式组合以实现更优化的局部处理。

143.如权利要求136至141中任一项所述的机器人水果采摘系统，其中多个盒含有多种不同的化学组合。

144.如权利要求1所述的机器人水果采摘系统，其中机器学习方法用于训练检测算法以自动检测目标水果。

145.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统识别由相机获得的RGB彩色图像中的水果。

146.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统通过密集立体声或其他方式识别深度图像中的水果。

147.如权利要求144至146中任一项所述的机器人水果采摘系统，其中所述训练数据是数据集，其中目标水果的位置和定向在植物图像中用手注释，所述植物图像表示可能由所述相机获得的那些植物。

148.如权利要求144至146中任一项所述的机器人水果采摘系统，其中训练检测算法以对由所述相机捕获的图像执行语义分段。

149.如权利要求148所述的机器人水果采摘系统，其中语义分段将每个图像像素标记为成熟水果、未成熟水果或其他物体。

150.如权利要求149所述的机器人水果采摘系统，其中聚类算法聚合语义分段的结果。

151.如权利要求144所述的机器人水果采摘系统，其中所述机器学习方法是决策森林分类器。

152.如权利要求144所述的机器人水果采摘系统，其中所述机器学习方法是卷积神经网络。

153.如权利要求144至146中任一项所述的机器人水果采摘系统，其中训练卷积神经网络以区分含有其中心的目标水果的图像块与不含有目标水果的图像块。

154.如权利要求153所述的机器人水果采摘系统，其中滑动窗口方法用于确定可能含有目标水果的所有图像的位置。

155.如权利要求153所述的机器人水果采摘系统，其中语义分段用于识别目标水果的可能图像位置，以便由CNN或其他形式的推理引擎随后进行更准确的分类或姿势确定。

156.如权利要求1所述的机器人水果采摘系统，其中具有回归模型的机器学习方法用于预测描述来自包括单眼、立体和深度图像的图像的近似旋转对称水果的定向的角度。

157.如权利要求1所述的机器人水果采摘系统，其中机器学习方法用于训练检测算法以识别和描绘由相机捕获的图像中的果柄。

158.如权利要求1所述的机器人水果采摘系统，其中机器学习方法用于训练预测算法以预测对于目标水果的初始姿势估计有多少改善可能由给定的额外视点揭示。

159.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统预测哪些额外信息，包括一组可用视点中的哪些视点，可能是最有价值的，包括对总体生产率最有利的信息。

160.如权利要求159所述的机器人水果采摘系统，其中所述额外信息是果柄附着到目标水果的位置或点。

161.如权利要求159所述的机器人水果采摘系统，其中所述额外信息是所述水果在没有特定视点遮挡的情况下可见的知识。

162.如权利要求159至161中任一项所述的机器人水果采摘系统，其中所述额外信息是所述相机和所述水果之间的空间没有来自特定视点的障碍的知识。

163.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统从一个或多个视点获得的目标水果的一个或多个图像中恢复目标水果的3D形状，并且其中使用所述目标水果的图像外观的生成模型。

164.如权利要求1所述的机器人水果采摘系统，其中使用几何和/或光度模型拟合方法来预测目标水果的表面外观以及在不同的受控照明条件下由目标水果投射到其自身上的阴影。

165.如权利要求164所述的机器人水果采摘系统，其中成本函数，即图像之间一致性的测量，对于遮挡是稳健的，或者所述水果与遮挡源物理分离。

166.如权利要求1所述的机器人水果采摘系统，其中机器学习方法用于训练标记算法以自动地将标签分配给由所述机器人水果采摘系统捕获的图像，其中由人类专家提供的预标记图像用于训练所述机器人水果采摘系统。

167.如权利要求1所述的机器人水果采摘系统，其中由人类专家提供的标记数据用于训练机器学习系统，以通过用训练数据训练图像分类器来自动地将质量分配给新采摘的水果，所述训练数据包括(i)由所述QC子系统获得的所采摘水果的图像和(ii)由人类专家提供的相关质量标签。

168.如权利要求1所述的机器人水果采摘系统，其中在所述机器人运行时，通过强化学习训练所述控制子系统。

169.如权利要求1所述的机器人水果采摘系统，其中所述控制子系统通过强化学习进行训练，并且其中通过使用在可用视点中捕获的真实世界环境的图像来模拟所述机器人的运动来完成训练。

170.如权利要求1所述的机器人水果采摘系统，其中所述控制系统被训练以通过强化学习来预测采摘成功，并且其中在模拟采摘环境中进行训练。

171.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统被训练以通过强化学习来预测采摘成功，其中采摘成功的预测器是确保所述末端执行器的预测路径扫过含有目标果柄而非其他果柄的3D体积。

172.如权利要求1所述的机器人水果采摘系统，其中所述控制子系统通过强化学习进行训练，所述强化学习包括由人类操作者执行的动作。

173.如权利要求1所述的机器人水果采摘系统，其中机器学习方法用于训练模型以预测产量预测。

174.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统记录地图坐标系位置以及所有检测到的水果的图像，并且所记录的数据用于训练模型以估计作物产量预测。

175.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统使用由工作机器人获得的采摘成功数据来学习和细化用于估计采摘成功概率的动态可更新统计模型的参数。

176.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统可操作以切割水果的茎，其中通过首先切断并且抓住其茎来采摘所述水果，并且在后续操作将所述水果的主体从其茎移除。

177.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统可操作以使用压缩空气射流从其茎上切断所述水果，而不需要处理所述水果的主体。

178.如权利要求1所述的机器人水果采摘系统，其中所述机器人包括套环，所述套环成形为便于迫使所述水果的主体离开所述茎。

179.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统可操作以通过利用所述目标水果的主体的惯性将所述茎从其水果切断，以使所述水果的主体与其茎分离。

180.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统可操作以通过使水果在大致垂直于其果柄的方向上往复前后运动或旋转轴大致平行于果柄的振荡旋转运动来移动水果或其果柄来切割或切断水果的茎。

181.如权利要求1所述的机器人水果采摘系统，其中路径规划算法用于将障碍物建模为具有不同材料特性的不同类型障碍物的场景空间占用的概率模型。

182.如权利要求1所述的机器人水果采摘系统，其中所述末端执行器可操作以切割水果的茎，其中所述机器人水果采摘系统包括可变形的末端执行器，所述可变形的末端执行器被设计成在压缩力下变形。

183.如权利要求1所述的机器人水果采摘系统，其中所述机器人水果采摘系统可操作以在不处理所述水果主体的情况下切割水果的茎。

184.如权利要求1所述的机器人水果采摘系统，其中所述机器人在夜间可操作，其具有在夜间操作的计算机视觉系统，并且当水果较冷时采摘水果并且因此更坚固以最小化瘀伤。

185.如权利要求1所述的机器人水果采摘系统，其中所述末端执行器可操作以干净地切割水果茎而不会撕裂以提高水果产量。

186.如权利要求1所述的机器人水果采摘系统，其中所述质量控制子系统根据风味或质量预测来预测水果的风味或质量并且将所述水果放置在特定的储存容器中。

187.如权利要求186所述的机器人水果采摘系统，其中水果的风味或质量的预测取决于对所述水果随时间测量的生长轨迹数据的分析。

188.一种通过使用权利要求1所述的机器人水果采摘系统对每个水果成像以针对采摘确定成熟度或适合性来优化水果产量预测的方法。

189.一种通过使用权利要求1所述的机器人水果采摘系统对每个水果成像以针对采摘确定成熟度或适合性来优化一个水果农场或多个水果农场的水果产量映射的方法。

190.一种通过使用权利要求1所述的机器人水果采摘系统来最大化水果保质期的方法。

191.一种通过使用权利要求1所述的机器人水果采摘系统选择性地储存或装篮具有最佳风味或质量的水果的方法。

192.一种使用权利要求1所述的机器人水果采摘系统采摘时的水果。

193.如权利要求192所述的水果，所述水果是草莓，包括在桌子上生长的草莓。

194.如权利要求192所述的水果，所述水果是覆盆子。

195.如权利要求192所述的水果，所述水果是苹果、或梨、或桃子、或葡萄、李子、樱桃或橄榄。