CN116686545B - 基于机器视觉控制的荔枝采摘机器人除遮方法 - Google Patents

Abstract

本发明提供一种基于机器视觉控制的荔枝采摘机器人除遮方法，包括：a、通过双目相机获取荔枝采摘点；b、除遮执行机构调节；c、采摘点是否被遮挡的判断；d、除遮执行机构进行遮挡去除；e、末端执行器是否能够进行采摘的判断。该方法能够在采摘机器人采摘过程中，快速、高效、及时的判断采摘点是否被遮挡、并完成遮挡去除，避免采摘过程中由于采摘点被遮挡而出现误采、漏采、多采等造成荔枝果实或枝条损伤等问题，一是保证采摘效率，二是保证采摘的经济效益，三是实现智能化、机械化采摘，有效节省人力成本。

Description

基于机器视觉控制的荔枝采摘机器人除遮方法

技术领域

本发明涉及智能采摘技术领域，具体涉及一种基于机器视觉控制的荔枝采摘机器人除遮方法。

背景技术

荔枝，是一种喜高温、高湿、阳光的常绿乔木，其成熟后的采摘期短，通常需要在果实成熟后的几天时间内完成收获，否则会出现过度成熟，导致荔枝含水量下降、表皮发生褐变，食用口感差；可见，及时、无损的对成熟荔枝采摘，能够有效确保荔枝种植的经济效益，是荔枝种植过程中至关重要的环节之一。

随着科技的进步，基于视觉进行机械化、自动化的采摘已经越来越多的应用于农业果蔬采摘领域，其能够极大的提高采摘效率、从而缩短采摘期，同时确保采摘的安全性、避免高处采摘过程对人体造成损伤；例如：中国专利文献CN114982479A公开了一种智能化全地形荔枝采摘机器人，其利用视觉传感器、齿板剪切式采摘器、柔性臂及全地形运动底盘的配合，将采摘、存储、运输集成为一体，实现智能化的采摘任务，降低人工采摘成本，提高采摘效率；然而，荔枝生长过程中、随机性强，同时采摘过程由于外界环境因素(如风吹、重力等)的影响，造成机器视觉定位的采摘点易被其他串的荔枝果实或树枝、数叶遮挡，导致基于视觉的采摘机器人难以对自然环境下随机生长的荔枝进行采摘作业、即目前基于视觉的采摘机器人(如中国专利文献CN114982479A中的采摘机器人)环境适应性差；此外，若无法在采摘过程中有效去除遮挡的干扰，还易出现误采、漏采、多采等问题，导致采摘机器人对荔枝果实或果树造成损伤，严重影响荔枝种植的经济效益。

发明内容

针对以上现有技术存在的问题，本发明的目的在于提供一种基于机器视觉控制的荔枝采摘机器人除遮方法，该方法能够在采摘机器人采摘过程中，有效判断采摘点是否被遮挡、并完成遮挡去除，实现高效率、无损伤、精确化的采摘。

本发明的目的通过以下技术方案实现：

一种基于机器视觉控制的荔枝采摘机器人除遮方法，其特征在于：采摘机器人包括行走机构、搭载平台、摄像头、采摘机械臂、双目相机、末端执行器、除遮执行机构及收集篮，搭载平台底面设置行走机构且搭载平台内腔设置带电源的控制系统，摄像头、采摘机械臂、除遮执行机构与收集篮分别设置在搭载平台端面且收集篮位于采摘机械臂与除遮执行机构之间，双目相机与末端执行器分别设置在采摘机械臂上；

其中，采摘机器人除遮方法包括：

a、通过双目相机获取荔枝采摘点；

b、除遮执行机构调节；

c、判断采摘点是否被遮挡，若是、则进行步骤d，若否、则直接进行荔枝采摘；

d、除遮执行机构进行遮挡去除；

e、判断末端执行器是否能够进行采摘；若是，末端执行器完成荔枝采摘；若否，回到步骤d进行遮挡去除、判断末端执行器是否能够进行采摘，如此循环，直至末端执行器完成荔枝采摘、跳出循环。

基于上述方案的进一步优化，所述除遮执行机构包括固定支架、升降支架、螺杆、升降电机、滑动支架、转动电机与喷管，固定支架固定设置在搭载平台端面且固定支架端面设置升降支架，升降支架内开设竖直滑槽，竖直滑槽内设置螺杆且螺杆顶端与竖直滑槽顶面转动连接、底端与固定支架转动连接；固定支架内腔设置升降电机且升降电机输出轴与螺杆底端固定连接；滑动支架由滑动块与固定板组成，滑动块卡接在竖直滑槽内且被螺杆贯穿，滑动块与螺杆螺纹连接、与竖直滑槽内壁滑动连接，固定板固定设置在滑动块远离升降支架一侧的端面且固定板长度大于升降支架宽度；转动电机固定设置在固定板远离升降支架一侧的端面，喷管与转动电机对应设置且喷管与固定板底面转动连接，转动电机输出轴与喷管连接。

基于上述方案的进一步优化，所述喷管通过导管与设置在搭载平台内的气泵连通，且喷管上设置电磁阀、用于控制喷管导通与关闭。

基于上述方案的进一步优化，所述步骤a具体为：

步骤a1、首先，在采摘机器人与荔枝的距离超过采摘机械臂作业范围时，采用双目相机采集荔枝的整体图像；然后，将双目相机采集到的左、右图像进行预处理，使得两个图像对齐、消除图像失真影响；

步骤a2、在预处理后的双目相机左、右图像中提取特征点，并对特征点进行匹配，获得左、右图像中同一物体的对应点；

步骤a3、根据左、右图像中对应点的位置差异，计算视差、即两个点在空间中的距离差；具体为：

双目相机获得的左、右图像分别为I₁、I₂，双目相机内外参矩阵分别为M₁、M₂，左、右图像中存在n个对应点，则左、右图像对应点在坐标系中的距离d为：

式中，disp表示视差，其能够反映出点在相机坐标系中的深度信息；

步骤a4、通过双目相机的内外参矩阵、图像信息分别获得左、右图像中的采摘点(x₁,y₁,z₁)与(x₂,y₂,z₂)，通过联立相机坐标系中的采摘点，获得实际采摘点的空间坐标(x,y,z)：

式中：f表示相机焦距，b表示双目相机的两个相机之间的基线长度。

基于上述方案的进一步优化，所述预处理包括去畸变、矫正等处理。

基于上述方案的进一步优化，所述步骤a4中通过双目相机的内外参矩阵、图像信息分别获得左、右图像中的采摘点(x₁,y₁,z₁)与(x₂,y₂,z₂)具体步骤为：

s·[u_i,v_i,1]^T＝M₁·M₂·[x_i,y_i,z_i,1]^T,(i＝1,2)；

其中，内参矩阵M₁描述了相机的内部参数，如焦距、主点位置和像素大小等；外参矩阵M₂描述了相机的外部参数，如相机的旋转和平移；[u_i，v_i]表示图像I₁或I₂平面上的一个像素点；[x_i，y_i，z_i]表示采摘点在空间坐标系下的坐标；s表示尺度因子。

基于上述方案的进一步优化，所述步骤b具体为：

控制系统在获得采摘点的空间坐标后，将空间坐标z值传递给除遮执行机构的控制器；控制器启动升降电机，并保持转动电机、电磁阀关闭，升降电机带动螺杆转动，实现滑动支架、转动电机与喷管上移或下移，当喷管到达空间坐标z值后，升降电机停止运行。

基于上述方案的进一步优化，所述步骤c具体为：

步骤c1、控制系统控制行走机构向采摘点移动，直至移动到采摘机械臂能够触碰到采摘点的作业范围内，停止行走机构；

步骤c2、首先，对摄像头获取的深度图像进行分割，将图像中不同物体进行分离；然后，对采摘点的横、纵坐标x、y附近的像素进行特征提取，使用预先训练完成的分类器进行分类；最后，通过分类结果判断采摘点是否被遮挡：若分类结果为果实、枝条或叶子，则采摘点被遮挡，否则，采摘点未被遮挡。

基于上述方案的进一步优化，所述预先训练完成的分类器通过对采摘点、果实、枝条、叶子的训练样本进行训练获得，采摘点、果实、枝条、叶子的训练样本通过前期大量的图像数据标记获得；

分类器采用VGG卷积神经网络进行图像特征提取，具体为：

首先，使用VGG网络进行特征提取，将输入图像I经过多个卷积层、池化层与全连接层，输出特征向量f(I)：

f(I)＝VGG(I)；

然后，将特征向量f(I)输入到分类器中、进行分类，输出经过softmax函数处理后的各类别的概率Y：

Y＝softmax[Wf(I)+B]；

式中：W表示分类器的权重，B表示分类器的偏置。

基于上述方案的进一步优化，所述步骤d具体为：

在步骤c判断为采摘点被遮挡前提下，首先，将采摘点的横、纵坐标x、y转换成喷管绕转动电机输出轴中轴线旋转的旋转角度，并传递给转动电机，转动电机根据旋转角度控制其输出轴转动、带动喷管旋转，使得喷管端部与采摘点平齐；然后，启动电磁阀与气泵，喷管喷气、吹开遮挡物。

基于上述方案的进一步优化，所述步骤e中判断末端执行器是否能够进行采摘的具体步骤为：

步骤e1、通过摄像头实时监测荔枝树上的待采摘果实，确定采摘点的位置；

步骤e2、通过摄像头实时监测荔枝树上的遮挡物，确定其运动轨迹；

步骤e3、首先，通过荔枝树上待采摘果实所在平面P_f、遮挡物所在平面P₀与采摘机器人的末端执行器当前位置P_r，获得末端执行器到两个平面的距离d_f、d₀：

式中，n_f表示待采摘果实所在平面P_f的法向量，n₀表示遮挡物所在平面P₀的法向量；

然后，获得末端执行器到待采摘果实和遮挡物之间的最短距离d_mf、d_m0：

最后，获得待采摘果实与遮挡物之间的空间余度S₀：

S₀＝d_mf+d_m0-d_f-d₀；

步骤e4、当S₀＞0时，表示末端执行器能够进入待采摘果实和遮挡物之间的空间进行采摘，则末端执行器根据路径规划完成采摘；

当S₀≤0时，表示末端执行器不能进入待采摘果实和遮挡物之间的空间进行采摘，返回步骤d。

基于上述方案的进一步优化，所述步骤e1具体为：

步骤e1-1、利用摄像头对荔枝树进行全景图像拍摄，同时利用边缘检测算法提取荔枝果实轮廓；

步骤e1-2、利用形态学滤波算法去除图像噪声及果实轮廓的不连续性；

步骤e1-3、根据果实轮廓的形状和颜色特征，利用预先训练完成的分类器将荔枝果实与背景进行分离；

步骤e1-4、再次通过步骤a中的方法确定采摘点的位置，并根据末端执行器到采摘点的距离与相对位置、完成末端执行器的路径规划。

基于上述方案的进一步优化，所述步骤e2具体为：

步骤e2-1、利用摄像头对荔枝树进行全景图像拍摄，同时根据遮挡物的形状和颜色特征，利用预先训练完成的分类器将遮挡物与背景进行分离；

步骤e2-2、利用跟踪算法对遮挡物进行实时跟踪，确定其运动轨迹。

以下是本发明方案所具备的技术效果：

本申请通过双目相机视觉识别首先获得荔枝采摘点，从而控制采摘机器人与采摘机械臂运动，同时利用采摘点的三维空间z方向的坐标完成除遮执行机构高度的调节，便于发生遮挡时、除遮执行机构能够有效吹飞遮挡物。通过对采摘点的横、纵坐标x、y附近像素的提取以及分类，完成采摘点是否被遮挡的判断，判断精准度高、耗时短，能够在短时间内完成判断，有效避免采摘进程的卡滞，提高采摘效率。通过除遮执行机构对遮挡物的吹飞，同时利用摄像头进行待采摘果实与遮挡物进行实时监测，避免遮挡物未完全被去除而导致末端执行器对果实、枝条等造成损伤，从而影响采摘效果与果实品质，导致荔枝采摘的经济效益降低的问题；此外，通过空间余度的计算，能够精确获得末端执行器能否通过被吹飞的障碍物、实现采摘，进而节省采摘时间、提升采摘效率。

本申请能够针对于不同环境下的荔枝进行机械化采摘，环境适应性强、自动化程度高，能够有效节省劳动力成本、避免荔枝的短采摘周期；同时，该方法能够有效避免采摘过程中由于遮挡物影响而出现误采、漏采、多采等问题，避免采摘过程中出现果实、枝条等损伤，确保采摘效果与采摘效率。

附图说明

图1为本申请实施例中采摘机器人的结构示意图。

图2为本申请实施例中采摘机器人的除遮执行机构的结构示意图。

图3为本申请实施例中除遮方法的流程图。

其中，10、行走机构；20、搭载平台；30、摄像头；40、采摘机械臂；50、双目相机；60、末端执行器；70、除遮执行机构；71、固定支架；72、升降支架；73、螺杆；74、升降电机；751、滑动块；752、固定板；76、转动电机；77、喷管；80、收集篮。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。

实施例1：

如图1～2所示，一种基于机器视觉控制的荔枝采摘机器人除遮方法，其特征在于：采摘机器人包括行走机构10、搭载平台20、摄像头30、采摘机械臂40、双目相机50、末端执行器60、除遮执行机构70及收集篮80，搭载平台20底面设置行走机构10，本实施例中行走机构10采用履带式行走机构，如图1所示；搭载平台20内腔设置带电源的控制系统，摄像头30、采摘机械臂40、除遮执行机构70与收集篮80分别设置在搭载平台20端面且收集篮80位于采摘机械臂40与除遮执行机构70之间，便于放置采摘后的荔枝果实，同时，如图1所示，本实施例中采摘机械臂40采用多轴(三轴或三轴以上)机械臂，双目相机50与末端执行器60分别设置在采摘机械臂40上；行走机构10、摄像头30、采摘机械臂40、双目相机50、末端执行器60、除遮执行机构70分别与控制系统电连接。

除遮执行机构70包括固定支架71、升降支架72、螺杆73、升降电机74、滑动支架、转动电机76与喷管77，固定支架71固定设置在搭载平台20端面且固定支架71端面(固定)设置升降支架72，升降支架72内开设竖直滑槽，竖直滑槽内设置螺杆73且螺杆73顶端与竖直滑槽顶面转动连接、底端与固定支架71(端面)转动连接；固定支架71内腔设置升降电机74且升降电机74输出轴与螺杆73底端通过联轴器固定连接；滑动支架由滑动块751与固定板752组成，滑动块751卡接在竖直滑槽内且被螺杆73贯穿，滑动块751与螺杆73螺纹连接、与竖直滑槽内壁滑动连接，从而实现滑动块751将螺杆73的转动转化为竖直移动；固定板752固定设置在滑动块751远离升降支架72一侧的端面且固定板752长度大于升降支架72宽度、避免喷管77的转动角度被升降支架72限制而过小；转动电机76固定设置在固定板752远离升降支架72一侧的端面，喷管77与转动电机76对应设置且喷管77与固定板752底面转动连接，转动电机76输出轴与喷管77连接、从而通过转动电机76输出轴控制喷管77转动。如图1所示，喷管77通过导管与设置在搭载平台20内的气泵连通，且喷管77上设置电磁阀、用于控制喷管77导通与关闭。

实施例2：

如图3所示，一种基于机器视觉控制的荔枝采摘机器人除遮方法，其特征在于：采用如实施例1所述的采摘机器人，采摘机器人除遮方法包括：

a、通过双目相机获取荔枝采摘点，具体为：

步骤a1、首先，在采摘机器人与荔枝的距离超过采摘机械臂作业范围时(可通过在采摘机器人上设置红外线测距传感器实现，也可通过其他距离测试装置实现，本实施例不做具体限定)，采用双目相机采集荔枝的整体图像；然后，将双目相机采集到的左、右图像进行去畸变、矫正等预处理(去畸变、矫正均采用本领域的常规手段)，使得两个图像对齐、消除图像失真影响；

步骤a2、在预处理后的双目相机左、右图像中提取特征点，并对特征点进行匹配，获得左、右图像中同一物体的对应点；

步骤a3、根据左、右图像中对应点的位置差异，计算视差、即两个点在空间中的距离差；具体为：

双目相机获得的左、右图像分别为I₁、I₂，双目相机内外参矩阵分别为M₁、M₂，左、右图像中存在n个对应点，则左、右图像对应点在坐标系中的距离d为：

式中，disp表示视差，其能够反映出点在相机坐标系中的深度信息；

步骤a4、通过双目相机的内外参矩阵、图像信息分别获得左、右图像中的采摘点(x₁,y₁,z₁)与(x₂,y₂,z₂)，具体步骤为：

s·[u_i,v_i,1]^T＝M₁·M₂·[x_i,y_i,z_i,1]^T,(i＝1,2)；

其中，内参矩阵M₁描述了相机的内部参数，如焦距、主点位置和像素大小等；外参矩阵M₂描述了相机的外部参数，如相机的旋转和平移；[u_i，v_i]表示图像I₁或I₂平面上的一个像素点；[x_i，y_i，z_i]表示采摘点在空间坐标系下的坐标；s表示尺度因子。

通过联立相机坐标系中的采摘点，获得实际采摘点的空间坐标(x,y,z)：

式中：f表示相机焦距，b表示双目相机的两个相机之间的基线长度。

b、除遮执行机构调节，具体为：

控制系统在通过步骤a获得采摘点的空间坐标后，将空间坐标z值传递给除遮执行机构的控制器；控制器启动升降电机，并保持转动电机、电磁阀关闭，升降电机带动螺杆转动，实现滑动支架、转动电机与喷管上移或下移，当喷管到达空间坐标z值后(可通过在升降支架上均布限位传感器实现对滑动支架与喷管位置的确定；也可通过在升降支架底部设置红外线测距仪进行距离测定；本实施例不做过多限定)，升降电机停止运行。

c、判断采摘点是否被遮挡，具体为：

步骤c1、控制系统控制行走机构向采摘点移动，直至移动到采摘机械臂能够触碰到采摘点的作业范围内(可通过在采摘机器人上设置红外线测距传感器实现，也可通过其他距离测试装置实现，本实施例不做具体限定)，停止行走机构；

步骤c2、首先，对摄像头获取的深度图像进行分割，将图像中不同物体进行分离；然后，对采摘点的横、纵坐标x、y附近的像素进行特征提取，使用预先训练完成的分类器进行分类；其中，预先训练完成的分类器通过对采摘点、果实、枝条、叶子的训练样本进行训练获得，采摘点、果实、枝条、叶子的训练样本通过前期大量的图像数据标记获得，即前期通过采集大量的包含荔枝采摘点、果实、枝条、叶子的图像数据，并通过标记工具(如Labelimg标记工具)对，采摘点、果实、枝条、叶子等进行标记，储存形成数据集；

分类器采用VGG卷积神经网络进行图像特征提取，具体为：

首先，使用VGG网络进行特征提取，将输入图像I经过多个卷积层、池化层与全连接层，输出特征向量f(I)：

f(I)＝VGG(I)；

然后，将特征向量f(I)输入到分类器中、进行分类，输出经过softmax函数处理后的各类别的概率Y：

Y＝softmax[Wf(I)+B]；

式中：W表示分类器的权重，B表示分类器的偏置。

最后，通过分类结果判断采摘点是否被遮挡：若分类结果为果实、枝条或叶子，则采摘点被遮挡，进行步骤d；否则，采摘点未被遮挡，利用采摘点与末端执行器当前位置进行路径规划，通过末端执行器运动到采摘点对荔枝进行采摘。

d、除遮执行机构进行遮挡去除，具体为：

在步骤c判断为采摘点被遮挡前提下，首先，将采摘点的横、纵坐标x、y转换成喷管绕转动电机输出轴中轴线旋转的旋转角度(采用常规的数学转换公式即可)，并传递给转动电机，转动电机根据旋转角度控制其输出轴转动、带动喷管旋转，使得喷管端部与采摘点平齐；然后，启动电磁阀与气泵，喷管喷气、吹开遮挡物。

e、判断末端执行器是否能够进行采摘，具体步骤为：

步骤e1、通过摄像头实时监测荔枝树上的待采摘果实、确定采摘点的位置：

步骤e1-1、利用摄像头对荔枝树进行全景图像拍摄，同时利用边缘检测算法提取荔枝果实轮廓；

步骤e1-2、利用形态学滤波算法去除图像噪声及果实轮廓的不连续性；

步骤e1-3、根据果实轮廓的形状和颜色特征，利用预先训练完成的分类器将荔枝果实与背景进行分离；

步骤e1-4、再次通过步骤a中的方法确定采摘点的位置，并根据末端执行器到采摘点的距离与相对位置、完成末端执行器的路径规划。

步骤e2、通过摄像头实时监测荔枝树上的遮挡物、确定其运动轨迹：

步骤e2-1、利用摄像头对荔枝树进行全景图像拍摄，同时根据遮挡物的形状和颜色特征，利用预先训练完成的分类器将遮挡物与背景进行分离；

步骤e2-2、利用跟踪算法对遮挡物进行实时跟踪，确定其运动轨迹。

步骤e3、首先，通过荔枝树上待采摘果实所在平面P_f、遮挡物所在平面P₀与采摘机器人的末端执行器当前位置P_r，获得末端执行器到两个平面的距离d_f、d₀：

式中，n_f表示待采摘果实所在平面P_f的法向量，n₀表示遮挡物所在平面P₀的法向量；

然后，获得末端执行器到待采摘果实和遮挡物之间的最短距离d_mf、d_m0：

最后，获得待采摘果实与遮挡物之间的空间余度S₀：

S₀＝d_mf+d_m0-d_f-d₀；

步骤e4、当S₀＞0时，表示末端执行器能够进入待采摘果实和遮挡物之间的空间进行采摘，则末端执行器根据路径规划(即根据末端执行器当前位置与采摘点进行路径规划)完成采摘；

当S₀≤0时，表示末端执行器不能进入待采摘果实和遮挡物之间的空间进行采摘，返回步骤d进行循环，直至末端执行器完成荔枝采摘、跳出循环。

需要说明的是：除本实施例中另有规定外，本实施例中如边缘检测算法、形态学滤波算法、跟踪算法等算法均采用本领域的常规手段实现。

Claims (5)

1.一种基于机器视觉控制的荔枝采摘机器人除遮方法，其特征在于：采摘机器人包括行走机构、搭载平台、摄像头、采摘机械臂、双目相机、末端执行器、除遮执行机构及收集篮，搭载平台底面设置行走机构且搭载平台内腔设置带电源的控制系统，摄像头、采摘机械臂、除遮执行机构与收集篮分别设置在搭载平台端面且收集篮位于采摘机械臂与除遮执行机构之间，双目相机与末端执行器分别设置在采摘机械臂上；

其中，采摘机器人除遮方法包括：

a、通过双目相机获取荔枝采摘点，具体为：

步骤a1、首先，在采摘机器人与荔枝的距离超过采摘机械臂作业范围时，采用双目相机采集荔枝的整体图像；然后，将双目相机采集到的左、右图像进行预处理，使得两个图像对齐、消除图像失真影响；

步骤a2、在预处理后的双目相机左、右图像中提取特征点，并对特征点进行匹配，获得左、右图像中同一物体的对应点；

步骤a3、根据左、右图像中对应点的位置差异，计算视差、即两个点在空间中的距离差；具体为：

双目相机获得的左、右图像分别为I ₁ 、I ₂，双目相机内外参矩阵分别为M ₁ 、M ₂，左、右图像中存在n个对应点，则左、右图像对应点在坐标系中的距离d为：

式中，disp表示视差，其能够反映出点在相机坐标系中的深度信息；

步骤a4、通过双目相机的内外参矩阵、图像信息分别获得左、右图像中的采摘点与/>，通过联立相机坐标系中的采摘点，获得实际采摘点的空间坐标：

式中：f表示相机焦距，b表示双目相机的两个相机之间的基线长度；

b、除遮执行机构调节；

c、判断采摘点是否被遮挡，若是、则进行步骤d，若否、则直接进行荔枝采摘；具体为：

步骤c1、控制系统控制行走机构向采摘点移动，直至移动到采摘机械臂能够触碰到采摘点的作业范围内，停止行走机构；

步骤c2、首先，对摄像头获取的深度图像进行分割，将图像中不同物体进行分离；然后，对采摘点的横、纵坐标x、y附近的像素进行特征提取，使用预先训练完成的分类器进行分类；最后，通过分类结果判断采摘点是否被遮挡：若分类结果为果实、枝条或叶子，则采摘点被遮挡，否则，采摘点未被遮挡；

d、除遮执行机构进行遮挡去除；

e、判断末端执行器是否能够进行采摘；若是，末端执行器完成荔枝采摘；若否，回到步骤d进行遮挡去除、判断末端执行器是否能够进行采摘，如此循环，直至末端执行器完成荔枝采摘、跳出循环；具体步骤为：

步骤e1、通过摄像头实时监测荔枝树上的待采摘果实，确定采摘点的位置；

步骤e2、通过摄像头实时监测荔枝树上的遮挡物，确定其运动轨迹；

步骤e3、首先，通过荔枝树上待采摘果实所在平面P _f、遮挡物所在平面P ₀与采摘机器人的末端执行器当前位置P _r，获得末端执行器到两个平面的距离d _f、d ₀：

式中，n _f表示待采摘果实所在平面P _f的法向量，n ₀表示遮挡物所在平面P ₀的法向量；

然后，获得末端执行器到待采摘果实和遮挡物之间的最短距离d _mf、d _m0：

最后，获得待采摘果实与遮挡物之间的空间余度S ₀：

步骤e4、当时，表示末端执行器能够进入待采摘果实和遮挡物之间的空间进行采摘，则末端执行器根据路径规划完成采摘；

当时，表示末端执行器不能进入待采摘果实和遮挡物之间的空间进行采摘，返回步骤d。

2.根据权利要求1所述的一种基于机器视觉控制的荔枝采摘机器人除遮方法，其特征在于：所述除遮执行机构包括固定支架、升降支架、螺杆、升降电机、滑动支架、转动电机与喷管，固定支架固定设置在搭载平台端面且固定支架端面设置升降支架，升降支架内开设竖直滑槽，竖直滑槽内设置螺杆且螺杆顶端与竖直滑槽顶面转动连接、底端与固定支架转动连接；固定支架内腔设置升降电机且升降电机输出轴与螺杆底端固定连接；滑动支架由滑动块与固定板组成，滑动块卡接在竖直滑槽内且被螺杆贯穿，滑动块与螺杆螺纹连接、与竖直滑槽内壁滑动连接，固定板固定设置在滑动块远离升降支架一侧的端面且固定板长度大于升降支架宽度；转动电机固定设置在固定板远离升降支架一侧的端面，喷管与转动电机对应设置且喷管与固定板底面转动连接，转动电机输出轴与喷管连接。

3.根据权利要求2所述的一种基于机器视觉控制的荔枝采摘机器人除遮方法，其特征在于：所述喷管通过导管与设置在搭载平台内的气泵连通，且喷管上设置电磁阀。

4.根据权利要求3所述的一种基于机器视觉控制的荔枝采摘机器人除遮方法，其特征在于：所述步骤b具体为：

控制系统在获得采摘点的空间坐标后，将空间坐标z值传递给除遮执行机构的控制器；控制器启动升降电机，并保持转动电机、电磁阀关闭，升降电机带动螺杆转动，实现滑动支架、转动电机与喷管上移或下移，当喷管到达空间坐标z值后，升降电机停止运行。

5.根据权利要求4所述的一种基于机器视觉控制的荔枝采摘机器人除遮方法，其特征在于：所述步骤d具体为：

在步骤c判断为采摘点被遮挡前提下，首先，将采摘点的横、纵坐标x、y转换成喷管绕转动电机输出轴中轴线旋转的旋转角度，并传递给转动电机，转动电机根据旋转角度控制其输出轴转动、带动喷管旋转，使得喷管端部与采摘点平齐；然后，启动电磁阀与气泵，喷管喷气、吹开遮挡物。