CN112544235B - 一种智能水果采摘机器人 - Google Patents

Abstract

本发明提供一种智能水果采摘机器人，包括：底座，下臂，上臂，夹持器、图像采集装置以及控制装置，其中底座固定在行走机构上，下臂的一侧与下臂支座之间通过第一旋转轴驱动电机铰接，下臂支座通过回转机构设置于底座，下臂的另一侧通过第二旋转轴驱动电机与上臂的一侧铰接，上臂的另一侧设置有夹持器，夹持器包括夹持指和夹持指控制机构，控制机构与第一旋转轴驱动电机、第二旋转轴驱动电机和夹持指控制机构电连接。本发明的智能水果采摘机器人沿需要采摘的水果支架下方行走，图像采集装置识别目标水果，进而通过夹持器采摘，可显著地改善拣选性能，大大提高采摘效率。

Description

一种智能水果采摘机器人

技术领域

本申请涉及智能机器人的领域，尤其涉及一种智能水果采摘机器人。

背景技术

我国水果采摘方式普遍都是人工采摘，人工成本占果蔬总成本的50％～70％，该采摘方式成本高、效率低、难以实现高空作业。水果采摘机器人是一种代替人工、可以自动化采摘水果的装置。目前，国内水果采摘机器人还处于发展的初期，绝大多数水果采摘机器人还不能满足果农对于采摘水果的要求。目前，水果采摘机器人末端执行器在夹持水果时没有缓冲阶段，而水果较为娇嫩，容易碰伤果实。另外，由于水果的成熟期不同，水果采摘机器人需要选择性收获的果实。现有的水果采摘机器人在鉴别和挑选单个成熟果实，且不意外损坏或意外挑选未成熟果实进行采摘方面存在很大缺陷。虽然也有通过图像识别及使用搜索算法来探索末端执行器用于可行轨迹的搜索空间的方法，其中轨迹的每个步长由碰撞检测器来规划。但大多数方法是被动的方法，其目标是在不改变环境的情况下避免未成熟果实或其他部件。然而未成熟果实并不总是可避免的，目标水果被未成熟果实完全包围时，可能存在末端执行装器难以找到避开所有未成熟果实的方式而无法采摘。

发明内容

为解决现有技术中的上述问题，本发明提供一种智能水果采摘机器人。

本发明的一种智能水果采摘机器人，其特征在于，包括：底座，下臂，上臂，夹持器、图像采集装置以及控制装置，其中底座固定在行走机构上，下臂的一侧与下臂支座之间通过第一旋转轴驱动电机铰接，下臂支座通过回转机构设置于底座，下臂的另一侧通过第二旋转轴驱动电机与上臂的一侧铰接，上臂的另一侧设置有夹持器，夹持器包括夹持指和夹持指控制机构，控制机构与第一旋转轴驱动电机、第二旋转轴驱动电机和夹持指控制机构电连接；

其中控制装置控制采摘水果机器人沿需要采摘的水果支架下方行走；图像采集装置识别目标水果，选择目标水果周围的感兴趣区域以确定未成熟水果的存在；控制装置基于未成熟水果在目标水果周围的分布和数量，计算采摘路径；

其中感兴趣区域为包含目标水果和潜在的一个或多个未成熟水果的3D点云的区域；感兴趣区域被分成四层：顶层、上中间层、下中间层和底层；感兴趣区域的每层分割成九个立方体区块，所述区块构成3×3网格，所述网格的中心位于目标水果的水平中点；使得在xy平面中的位置中心区块C_C包围目标水果；外侧八个外围区块的长度和宽度等于中心区块的长度和宽度；在正视图和左侧视图中，顶层和底层的高度分别等于上中间层、下中间层高度和的一倍和两倍；夹持器向上移动以区分上中间层、下中间层中目标水果周围的未成熟水果，上中间层、下中间层中的未成熟水果分布可沿高度方向变化。

具体的，夹持器在三个不同的阶段中操作：在第一阶段中，夹持器从下方抓取，夹持器在底层中水平地移动未成熟水果；在第二阶段期间，夹持器向上移动以包围目标水果并区分上中间层、下中间层内的未成熟水果；在第三阶段期间，如果顶层中的中心区块C_C被占据，则夹持器可以将目标水果拖到具有较少未成熟水果的抓取位置。

具体的，第一阶段是在底层中的目标水果下方水平地区分未成熟水果，使用中心区块相邻无未成熟水果的区块的数量Nh来确定是使用单次推动操作还是蛇形操作；

忽略中心区块，区块中的实心箭头表示区块被未成熟水果占据，而空白箭头表示未被占据的区块；Nh为5并且大于预定阈值Th＝4，选择单次推动操作将未成熟水果推到旁边；当单次推动操作朝向未成熟水果移动时，基于占用的区块的位置，根据以下公式计算夹持器的推动操作的方向：

其中Oi是在最大的相邻已占用块组内的第i个已占用块的矢量，n是在最大的相邻已占用块组内的块的总数；参数r用于缩放Ds范数，其应保证夹具从块的外部脱离，r＝50mm；

夹持器从未占用的区块的中心移动到已占用的区块的中心，从而夹持器具有将所有区块推开的最高可能性；

如果仅中心区块Cc被占用，则Ds＝0；通过计算从夹持器的当前位置到中心区块CC的中心的最短路径来确定夹持器必须移动以推动未成熟水果的方向。如果在区块中没有检测到未成熟水果，则夹持器在该阶段没有推动动作，并且从下方笔直向上移动。

如果中心区区块相邻无未成熟水果的区块的数量Nh小于阈值数量Th，则夹持器采用水平蛇形推动操作；蛇形操作涉及向前、向左和向右三个方向的移动，夹持器将三个方向的未成熟水果推出；蛇形推动操作的总体方向是根据以下公式基于未占用区块的位置来计算的：

其中U_j是在最大的相邻未占据区块组内的第j个未占据区块的矢量，m是在最大的相邻未占据区块组内的区块的总数；在水平的蛇形推动操作期间，设备在xy平面中移动，其中蛇形运动的合成向量等于Dz，并且蛇形运动的幅度ah和推动次数Nhp根据特定的抓取场景来确定。

具体的，第二阶段是在上中间层、下中间层中包围目标水果并区分中心层内的未成熟水果；上中间层、下中间层中采用的向上的蛇形推动操作包括夹持器在基本垂直的方向上朝向目标水果和从一侧到另一侧的运动以越过未成熟水果的运动；垂直方向通过目标水果的中心。基于中心区块相邻无未成熟水果的区块的最大数量nu来计算xy平面中的向上推动的方向Du_z；若nu大于阈值th，则与底层9中单次推动操作相同，根据占用区块计算方向Du_z，根据以下公式计算：

其中au是用于缩放Du_z范数的参数，其中au＝5mm；

如果Nu小于阈值Th，则计算使用未占用的区块，通过以下公式计算：

其中M是计算Du_z的中间矢量。夹持器沿着Du_z和-Du_z移动以将未成熟水果的两侧推开。

具体的，在第三阶段期间，如果顶层中的中心区块C_C被占据，则夹持器可以将目标水果拖到具有较少未成熟水果的抓取位置；

仅当顶层的中心区块C_C中存在未成熟水果时才执行拖动操作。如果中心区块C_C空，夹持器直接向上移动，抓取目标水果；为了避免夹持器和工作台之间的碰撞，跳过靠近工作台的三个区块L_R、C_R、R_R，以计算拖动方向，在xy平面中的拖曳方向D_dr可以根据以下公式确定：

其中U_j是在相邻未占据区块的最大组内的第j个未占据区块的矢量。用于计算的区块是L_C、L_F、C_F、R_F、R_C。参数m是在相邻未占据区块的最大组内的区块的总数。D_dr的范数被缩放为l,其中l＝50mm。其中通常存在较少的未成熟水果，但如果所有区块都被未成熟水果占据，则拖曳方向与C_F对齐；其中拖动和推回操作在垂直方向上向上移动相同的高度。

本发明的一种智能水果采摘机器人，基于视觉感知主动地将物体与目标区分，根据未成熟果实在目标水果周围的分布情况，选择单次推动操作或由若干线性推动组成的蛇形推动操作，以区分在目标水果下方和在目标的相同高度处的未成熟水果，由于多方向推动，能够处理更密集的未成熟水果，所产生的左右运动可以打破目标水果与未成熟水果之间的静态接触力，从而使得夹器更容易接收目标水果；后续采取拖曳操作，该操作包括避开未成熟水果和主动将未成熟水果推开，以解决错误捕获位于目标水果上方的未成熟水果的问题，其中，夹持器将目标水果拖曳到具有较少未成熟水果的地方，然后向后推以将未成熟水果移动到旁边以进一步区分，可显著地改善拣选性能，避免损伤目标水果以及未成熟水果，大大提高采摘效率。

附图说明

图1是本发明的一种智能水果采摘机器人的结构示意图。

图2a-2c是本发明的一种智能水果采摘机器人的图像采集装置识别示意图。

图3a-3c是本发明的一种智能水果采摘机器人的采摘过程示意图。

图4a-4b是本发明的一种智能水果采摘机器人的采摘过程示意图。

图5a-5d是本发明的一种智能水果采摘机器人的采摘过程示意图。

图6a-6b是本发明的一种智能水果采摘机器人的采摘过程示意图。

图7a-7d是本发明的一种智能水果采摘机器人的采摘过程示意图。

图8a-8b是本发明的一种智能水果采摘机器人的采摘过程示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

如图1所示，本发明提供一种智能水果采摘机器人，包括：底座1，下臂2，上臂3，夹持器4图像采集装置以及控制装置，其中底座1固定在行走机构上，下臂2的一侧与下臂支座之间通过第一旋转轴驱动电机铰接，下臂支座通过回转机构设置于底座1，下臂2的另一侧通过第二旋转轴驱动电机与上臂3的一侧铰接，上臂3的另一侧设置有夹持器4，夹持器包括夹持指10和夹持指控制机构，控制机构与第一旋转轴驱动电机、第二旋转轴驱动电机和夹持指控制机构电连接。

其中控制装置控制采摘水果机器人沿需要采摘的水果支架下方行走；图像采集装置识别目标水果，选择目标水果周围的感兴趣区域以确定未成熟水果的存在；控制装置基于未成熟水果在目标水果周围的分布和数量，计算采摘路径。

其中，感兴趣区域包括包含目标水果和潜在的一个或多个未成熟水果的3D点云的区域。如图2所示，感兴趣区域被分成四层：顶层6、上中间层7、下中间层8和底层9；如图2中所示的俯视图，感兴趣区域每层进一步分割成九个立方体区块。在每层上，所述区块构成3×3网格，所述网格的中心位于目标水果的水平中点；使得在xy平面中的位置中心区块C_C包围目标水果；在俯视图中，外侧八个外围区块的长度和宽度等于中心区块的长度和宽度；在正视图和左侧视图中，顶层6和底层9的高度分别等于中间层区块高度的一倍和两倍；夹持器向上移动以区分中间层中目标水果周围的未成熟水果，中间层中的未成熟水果分布可沿高度方向变化。

为了获得更高的运动分辨率，将中间层分为上中间层7、下中间层8，将中间层的运动中的运动分成两个步骤。顶层6的中心区块比同一层中的其它外围区块低，为其它外围区块的80％。这是因为对象分割方法不包括绿色花萼。为了避免花萼被检测为未成熟水果，将中心区块的底部留在顶层1空白中。

为了产生区分路径，给每个区块分配表示从区块到中心区块C_C的方向的水平向量。矢量的方向由区块的位置确定，使得所有矢量从相应区块的中心指向中心区块C_C的中心。使用点云区域中的点数N来确定区块中是否存在未成熟水果。使用1280×720分辨率的照相机，顶层6、上中间层7、下中间层8和底层9的N的阈值分别是200、100、100和300。

夹持器在三个不同的阶段中操作：在第一阶段中，夹持器从下方抓取，夹持器在底层9中水平地移动未成熟水果；在第二阶段期间，夹持器向上移动以包围目标水果并区分中心层内的未成熟水果；在第三阶段期间，如果顶层中的中心区块C_C被占据，则夹持器可以将目标水果拖到具有较少未成熟水果的抓取位置。

具体的，第一阶段是在底层9中的目标水果下方水平地区分未成熟水果，使用中心区块相邻无未成熟水果的区块的数量Nh来确定是使用单次推动操作还是蛇形操作。

如图4a所示，忽略中心区块，区块中的实心箭头表示区块被未成熟水果占据，而空白箭头表示未被占据的区块；Nh为5并且大于预定阈值Th＝4，因此选择单次推动操作将未成熟水果推到旁边；

当单次推动操作朝向未成熟水果移动时，基于占用的区块的位置，根据以下公式计算夹持器的推动操作的方向：

其中Oi是在最大的相邻已占用块组内的第i个已占用块的矢量，n是在最大的相邻已占用块组内的块的总数。参数r用于缩放Ds范数，其应保证夹具从块的外部脱离，r＝50mm。

图4a中的箭头示出了针对单次推动操作所计算出的推动方向；夹持器从未占用的区块的中心移动到已占用的区块的中心，从而夹持器具有将所有区块推开的最高可能性。

如果仅中心区块Cc被占用，则Ds＝0；通过计算从夹持器的当前位置到中心区块CC的中心的最短路径来确定夹持器必须移动以推动未成熟水果的方向。

如果在区块中没有检测到未成熟水果，则夹持器在该阶段没有推动动作，并且从下方笔直向上移动。

如果中心区区块相邻无未成熟水果的区块的数量Nh小于阈值数量Th，则夹持器采用水平蛇形推动操作。图4b示出了路径计算示例，其中选择蛇形操作以将未成熟水果从一侧推到另一侧。红色箭头是操作的总体方向，而蓝色箭头是蛇形路径。由于蛇形操作涉及向前、向左和向右三个方向的移动，因此夹持器可以将三个方向的未成熟水果推出。

蛇形推动操作的总体方向是根据以下公式基于未占用区块的位置来计算的：

其中U_j是在最大的相邻未占据区块组内的第j个未占据区块的矢量，m是在最大的相邻未占据区块组内的区块的总数。在水平的蛇形推动操作期间，设备在xy平面中移动，其中蛇形运动的合成向量等于Dz，并且蛇形运动的幅度ah和推动次数Nhp根据特定的抓取场景来确定。例如，这些值的有效性可能受难以计算的梗长度、果实重量或果实的阻尼比影响。其中ah＝20mm和Nhp＝5。

具体的，第二阶段是在上中间层7、下中间层8中包围目标水果并区分中心层内的未成熟水果。

如图5所示，上中间层7、下中间层8中采用的向上的蛇形推动操作包括夹持器在基本垂直的方向上朝向目标水果和从一侧到另一侧的运动以越过未成熟水果的运动。垂直方向通过目标水果的中心。基于中心区块相邻无未成熟水果的区块的最大数量nu来计算xy平面中的向上推动的方向Du_z。若nu大于阈值th，则与底层9中单次推动操作相同，根据占用区块计算方向Du_z。

其中au是用于缩放Du_z范数的参数，其中au＝5mm。如果Nu小于阈值Th，如图6a所示，则计算使用未占用的区块，通过以下公式计算：

其中M是计算Du_z的中间矢量。图6a中，夹持器沿着Du_z和-Du_z移动以将未成熟水果的两侧推开。图6b中的正视图示出了夹持器在左或右中间点处逐渐移动以越过下中间层8和上中间层7。将每一层中的推送数nup设置为5。

具体的，在第三阶段期间，如果顶层中的中心区块C_C被占据，则夹持器可以将目标水果拖到具有较少未成熟水果的抓取位置。

如图7a所示，在目标水果的顶层6上方存在未成熟水果时，有时在为了捕捉目标水果而向上方移动时，夹持器会包裹未成熟水果，或者夹持器会损伤未成熟水果。另外，未成熟水果可能阻止包裹片闭合，从而导致目标水果的梗的无法切割。

在第三阶段期间，采用拖曳操作，拖曳操作允许夹持器抓取目标水果而不会捕获不需要的未成熟水果。

如图7所示，拖曳操作包括向上拖动步骤以将目标水果移动到包含较少未成熟水果的区域和向上推回步骤，如图7c所示，该向上推回步骤在闭合手指之前将上部未成熟水果推开。向上推回步骤十分必要，当处于图7b所示的拖拉位置时，目标水果梗是倾斜的，使得水果由于静力而难以掉落，并且当夹持器进一步朝向切割位置向上移动时易于损坏。

仅当顶层的中心区块C_C中存在未成熟水果时才执行拖动操作。如果中心区块C_C空，夹持器直接向上移动，抓取目标水果。图8示出了与图7中的相对应的拖动操作的计算方法的图。如图8a所示，为了避免夹持器和工作台之间的碰撞，跳过靠近工作台的三个区块L_R、C_R、R_R，以计算拖动方向。然后，在xy平面中的拖曳方向D_dr可以根据以下公式确定：

其中U_j是在相邻未占据区块的最大组内的第j个未占据区块的矢量。用于计算的区块是L_C、L_F、C_F、R_F、R_C。参数m是在相邻未占据区块的最大组内的区块的总数。D_dr的范数被缩放为l,其中l＝50mm。其中通常存在较少的未成熟水果，但如果所有区块都被未成熟水果占据，则拖曳方向与C_F对齐。图8b示出了拖动和推回步骤，其中拖动和推回操作在垂直方向上向上移动相同的高度。

图像采集装置识别目标水果，选择目标水果周围的感兴趣区域以确定未成熟水果的存在，具体使用分段卷积神经网络来识别和分段像素级的对象。卷积神经网络的构建包括如下步骤：

步骤1.数据采集：

建立一个粗略的广义水果识别模型，拍摄了树枝上的水果图像，为了确保果园的自然条件，其中图像的捕捉没有任何特定的限制，即灯光条件、拍摄角度、与水果的距离以及其他条件都完全不受限制。

步骤2.数据准备：

深度神经网络的一个主要缺点是在很大程度上依赖于大量的标记数据来提供良好的精度。这些大数据集有助于训练阶段学习所有的嵌入参数，并将网络过度拟合的风险降到最低。准备如此大量的图像是非常费力、昂贵和耗时的。

通过数据扩充可以从现有样本中创建更多的训练数据来有效地缓解过度拟合，对原始图像进行一些变换，使新图像仍然具有原始图像的特征，并且在视觉上被分类到同一类别中。这将提高模型的通用性，因为同一张图片不会多次曝光。在这项研究中，一个自动的数据增加方法，包括图像裁剪、水平翻转、旋转和亮度操作，被应用于从一张图像生成16张图像。在对生成的图像进行修改并删除无效图像，例如从非水果区修剪的图像后，得到包括原始数据的数据集中的图像总数。

扩充过程是在将数据加载到网络之前执行，首先增强图像可以很容易地监视到任何可能的边远图像；其次模型的负载较小，从而减少了训练时间。然后调整增强图像的大小，使所有输入图像具有相同的分辨率。

将准备好的数据集分成两个子集进行训练和测试，其中大部分的数据被随机选择用于训练，剩余部分的数据被选择用于测试。

步骤3.构造卷积神经网络的结构：

卷积神经网络是深层网络的一个子集，能够自动提取RGB图像的特征并进行分类。它具有卷积运算、池层和非线性激活函数等特性。深层卷积神经网络的一般拓扑结构包括一系列卷积层和池化层，以及一些全连接层。卷积神经网络结构有三个转换层，该模型有三个保护层和两个完全连接的层，识别速度非常快，且需要更少的内存用于训练。

其中卷积网络层：卷积网络可以学习平移不变量和空间层次，因此卷积网络可以在图像的任何地方学习预先识别的模式，并通过连续的层学习越来越复杂的模式。卷积网络通常由三种类型的层组成：卷积层、池化层和全连接层。

卷积层由两个参数表征：滤波器的大小和计算滤波器的数目。所有三个卷积层都使用3×3滤波器，而滤波器的数量分别为16、32和64。

为了减小特征映射的大小，在每个卷积层之后，设有一个最大池化层。最大池化层没有可训练的参数，只能通过在每个窗口中选择最大值并丢弃其他值来减少特征的数量。第一个池化层使用4x4个窗口，而第二个和第三个池化层使用2x2个窗口。

卷积运算之后是整流函数的补充步骤，该步骤通过仅输出非负值，进一步打破输入图像的固有线性，在卷积网络中，所有卷积层以及第一个全连接层使用整流函数作为激活函数。整流函数为：

模型最后一层设置激活函数，激活函数为：

其中z是K个输入的向量，j表示输出单元。该激活函数是多类、单标签分类所必需的，将输入数据规范化为概率分布。

在进入分类阶段之前，采用了全局平均池化层。全局平均池化层不含可训练参数，能够显著减少参数，提高模型精度，从而显著提高模型的鲁棒性。全局平均池化层基于前一层中每个特征图的平均输出以及嵌入的平坦层。全局平均池化层用于计算分类激活图。分类激活图获得卷积神经网络用来识别图像中特定类别的区域，即图像中哪些区域与这个类别相关。一个类别的分类激活图是通过将最后一个卷积层的输出图像乘以求和之后分配的权重来确定。分类激活图公式如式所示:

其中Mc为c类别的分类激活图，

为c类对应的第k个权重，f_k(x,y)与最后一个卷积层的第k个特征映射有关。

整个卷积申请网络中的所有过滤特征都被编码作为输入数据到完全连接的分类器层。全连接层将前一层和当前层的所有神经元通过一定的权值连接起来。当前模型的分类阶段由两个完全连接的层组成。卷积神经网络以一定的概率水平预测一个输入图像的类别。这一过程的误差需要借助损失函数来测量。分类交叉熵损失函数被用来评价所提模型的准确性，该函数将预测概率分布的输出与目标的实际分布之间的差异最小化。

步骤4.网络优化:

该网络配置为加载带有相关标签的输入图像。输入图像分为训练数据和测试数据；80％用于训练，其余20％用于测试数据。训练数据集的10％作为验证数据集。

增加网络深度可以提高整体性能，当训练样本的数量与网络容量成比例时性能最高。三个卷积层的性能最好，并对该结构进行了进一步的优化。网络的优化过程使用不同的优化器进行评估。

深度卷积神经网络中建立一个鲁棒的模型，该模型能够通过基于深度卷积神经网络的RGB图像来识别多个类别的枝上果实，深层卷积神经模型由三个卷积层和三个最大池化层组成，定位在一个全局平均池化和两个全连接层之后。使用全局平均池化层，消除了对平坦层的需要，提高了未查看数据的全局精度，增加了分类指标得分，减少了可训练的总参数，更快的处理。该网络具有较高的水果识别率和分类精度，响应速度快，不受自然条件影响，计算量小，水果采摘机器人使用深度卷积神经网络，能快速准确地识别出目标水果和感兴趣区域，保证被忽视的果实最少，产量最高。

本发明的一种智能水果采摘机器人，基于视觉感知主动地将未成熟水果与目标区分，根据未成熟水果在目标水果周围的分布情况，选择单次推动操作或由若干线性推动组成的蛇形推动操作，以区分在目标水果下方和在目标的相同高度处的未成熟水果，由于多方向推动，能够处理更密集的未成熟水果，所产生的左右运动可以打破目标水果与未成熟水果之间的静态接触力，从而使得夹器更容易接收目标水果；后续采取拖曳操作，该操作包括避开未成熟水果和主动将未成熟水果推开，以解决错误捕获位于目标水果上方的未成熟水果的问题，其中，夹持器将目标水果拖曳到具有较少未成熟水果的地方，然后向后推以将未成熟水果移动到旁边以进一步区分，可显著地改善拣选性能，避免损伤目标水果以及未成熟水果，大大提高采摘效率。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的保护范围当中。

Claims (5)

1.一种智能水果采摘机器人，其特征在于，包括：底座(1)、下臂(2)、上臂(3)、夹持器(4)、图像采集装置以及控制装置，其中底座(1)固定在行走机构上，下臂(2)的一侧与下臂支座之间通过第一旋转轴驱动电机铰接，下臂支座通过回转机构设置于底座(1)，下臂(2)的另一侧通过第二旋转轴驱动电机与上臂(3)的一侧铰接，上臂(3)的另一侧设置有夹持器(4)，夹持器包括夹持指(10)和夹持指控制机构，控制装置与第一旋转轴驱动电机、第二旋转轴驱动电机和夹持指控制机构电连接；

其中控制装置控制采摘水果机器人沿需要采摘的水果支架下方行走；图像采集装置识别目标水果，选择目标水果周围的感兴趣区域以确定未成熟水果的存在；控制装置基于未成熟水果在目标水果周围的分布和数量，计算采摘路径；

其中感兴趣区域为包含目标水果和潜在的一个或多个未成熟水果的3D点云的区域；感兴趣区域被分成四层：顶层(6)、上中间层(7)、下中间层(8)和底层(9)；感兴趣区域的每层分割成九个立方体区块，所述区块构成3×3网格，所述网格的中心位于目标水果的水平中点；使得在xy平面中的位置中心区块C_C包围目标水果；外侧八个外围区块的长度和宽度等于中心区块的长度和宽度；在正视图和左侧视图中，顶层(6)和底层(9)的高度分别等于上中间层(7)、下中间层(8)高度和的一倍和两倍；夹持器(4)向上移动以区分上中间层(7)、下中间层(8)中目标水果周围的未成熟水果，上中间层(7)、下中间层(8)中的未成熟水果分布可沿高度方向变化。

2.如权利要求1所述的一种智能水果采摘机器人，其特征在于，夹持器(4)在三个不同的阶段中操作：在第一阶段中，夹持器(4)从下方抓取，夹持器在底层(9)中水平地移动未成熟水果；在第二阶段期间，夹持器(4)向上移动以包围目标水果并区分上中间层(7)、下中间层(8)内的未成熟水果；在第三阶段期间，如果顶层(6)中的中心区块C_C被占据，则夹持器(4)可以将目标水果拖到具有较少未成熟水果的抓取位置。

3.如权利要求2所述的一种智能水果采摘机器人，其特征在于，第一阶段是在底层(9)中的目标水果下方水平地区分未成熟水果，使用中心区块相邻无未成熟水果的区块的数量n_h来确定是使用单次推动操作还是蛇形操作；

忽略中心区块，区块中的实心箭头表示区块被未成熟水果占据，而空白箭头表示未被占据的区块；n_h为5并且大于预定阈值t_h＝4，选择单次推动操作将未成熟水果推到旁边；当单次推动操作朝向未成熟水果移动时，基于占用的区块的位置，根据以下公式计算夹持器的推动操作的方向：

其中Oi是在最大的相邻已占用块组内的第i个已占用块的矢量，n是在最大的相邻已占用块组内的块的总数；参数r用于缩放Ds范数，其应保证夹具从块的外部脱离，r＝50mm；

夹持器从未占用的区块的中心移动到已占用的区块的中心，从而夹持器具有将所有区块推开的最高可能性；

如果仅中心区块Cc被占用，则Ds＝0；通过计算从夹持器的当前位置到中心区块Cc的中心的最短路径来确定夹持器必须移动以推动未成熟水果的方向；如果在区块中没有检测到未成熟水果，则夹持器在该阶段没有推动动作，并且从下方笔直向上移动；

如果中心区块Cc相邻无未成熟水果的区块的数量n_h小于阈值数量t_h，则夹持器采用水平蛇形推动操作；蛇形操作涉及向前、向左和向右三个方向的移动，夹持器将三个方向的未成熟水果推出；蛇形推动操作的总体方向是根据以下公式基于未占用区块的位置来计算的：

其中U_j是在最大的相邻未占据区块组内的第j个未占据区块的矢量，m是在最大的相邻未占据区块组内的区块的总数；在水平的蛇形推动操作期间，设备在xy平面中移动，其中蛇形运动的合成向量等于Dz，并且蛇形运动的幅度a_h和推动次数n_hp根据特定的抓取场景来确定。

4.如权利要求3所述的一种智能水果采摘机器人，其特征在于，第二阶段是在上中间层(7)、下中间层(8)中包围目标水果并区分中心层内的未成熟水果；上中间层(7)、下中间层(8)中采用的向上的蛇形推动操作包括夹持器在基本垂直的方向上朝向目标水果和从一侧到另一侧的运动以越过未成熟水果的运动；垂直方向通过目标水果的中心；基于中心区块相邻无未成熟水果的区块的最大数量n_u来计算xy平面中的向上推动的方向Du_z；若n_u大于阈值t_h，则与底层(9)中单次推动操作相同，根据占用区块计算方向Du_z，根据以下公式计算：

其中a_u是用于缩放Du_z范数的参数，其中a_u＝5mm；

如果n_u小于阈值t_h，则计算使用未占用的区块，通过以下公式计算：

其中M是计算Du_z的中间矢量；夹持器沿着Du_z和-Du_z移动以将未成熟水果的两侧推开。

5.如权利要求4所述的一种智能水果采摘机器人，其特征在于，在第三阶段期间，如果顶层中的中心区块C_C被占据，则夹持器可以将目标水果拖到具有较少未成熟水果的抓取位置；

仅当顶层的中心区块C_C中存在未成熟水果时才执行拖动操作；如果中心区块C_C空，夹持器直接向上移动，抓取目标水果；为了避免夹持器和工作台之间的碰撞，跳过靠近工作台的三个区块L_R、C_R、R_R，以计算拖动方向，在xy平面中的拖曳方向D_dr可以根据以下公式确定：

其中U_j是在相邻未占据区块的最大组内的第j个未占据区块的矢量；用于计算的区块是L_C、L_F、C_F、R_F、R_C；参数m是在相邻未占据区块的最大组内的区块的总数；D_dr的范数被缩放为l,其中l＝50mm；其中通常存在较少的未成熟水果，但如果所有区块都被未成熟水果占据，则拖曳方向与C_F对齐；其中拖动和推回操作在垂直方向上向上移动相同的高度。

Images