CN117694107A - 一种扰动下串型水果用机器人智能避障采摘方法 - Google Patents

Abstract

本发明提供一种扰动下串型水果用机器人智能避障采摘方法，采用带有双目立体相机、LED光源及镜头遮挡盒的末端执行器，LED光源设置在双目立体相机的左、右两端，镜头遮挡盒设置在双目立体相机上侧，包括：步骤一、获取采摘点与果实轮廓；步骤二、移动过程中对果实进行捕捉、形成轮廓；步骤三、判断轮廓偏移程度；步骤四、确定串型水果是否偏移；步骤五、确立采摘点的偏移量、实现对采摘点偏移的跟踪。该方法通过LED光源及镜头遮挡盒的配合、形成采摘移动过程中一系列的拖拽光影，能够实现对串型水果母枝的精确化采摘，避免错采、漏采、误采以及果实损伤等问题产生，提升采摘效率、提高果树合格品的产量。

Description

一种扰动下串型水果用机器人智能避障采摘方法

技术领域

本发明涉及智能采摘技术领域，具体涉及一种扰动下串型水果用机器人智能避障采摘方法。

背景技术

葡萄、荔枝、龙眼等串型水果采摘时，利用采摘工具剪切该类水果的母枝实现采摘，其优点一是避免采摘过程对串型果实本体造成损伤，二是确保采摘的果实成串，便于储存、运输等。中国专利文献CN217160478U公开了做义工智能化采摘串型水果系统，其通过夹持片、拉环和弹簧等设计，使装置具备保护机构，在对水果进行切断前，能将水果进行夹持，防止在切断的一瞬间水果掉落到地面从而摔坏，提高了装置的保护性；通过切割盘和切割刀的设计，使装置具备切割机构，能实现对串型水果的切割操作，从而实现采摘操作；同时，现有技术中的串型水果智能化采摘系统，一般利用及其视觉技术对串型水果进行判断、识别，进而确定母枝采摘点，以确保精准化采摘。然而，串型水果采摘过程中，母枝易受外界环境干扰(如空气流动、果实重力因素等)而发生偏移、进而偏离预先的定位位置，造成母枝采摘点的改变，若仍以预定采摘点进行采摘，极易出现错采、漏采、误采等问题，导致果实甚至枝叶损伤，影响果树的后续生长以及果实的品质。

发明内容

针对以上现有技术存在的问题，本发明的目的在于提供一种扰动下串型水果用机器人智能避障采摘方法，该方法能够有效判断母枝是否偏移以及识别母枝偏移量，进而完成采摘点的重新定位，避免错采、漏采、误采等问题的产生，提升采摘效率，有效降低采摘后的果实不良率以及采摘过程中对果树的损伤程度。

本发明的目的通过以下技术方案实现：

一种扰动下串型水果用机器人智能避障采摘方法，采用带有双目立体相机、LED光源及镜头遮挡盒的末端执行器，LED光源设置在双目立体相机的左、右两端，镜头遮挡盒设置在双目立体相机上侧，具体步骤包括：

步骤一、通过双目立体相机定位识别采摘点，同时打开两个LED光源、通过调节光源保证图像灰度值均匀；之后，采用边缘检测算法对此时获取的果实图像进行检测、获得没有断点的果实边缘；

步骤二、末端执行器逐步靠近采摘点，依次循环进行LED光源、双目立体相机及镜头遮挡盒的启动，具体为：LED光源打开-相机拍照-相机拍完、LED光源关闭-镜头遮挡盒挡住镜头、形成黑影，形成末端执行器靠近采摘点的一系列图像；

获取每幅图片中的果实轮廓，在镜头遮挡盒打开的瞬间，若母枝发生偏移、会造成果实与采摘点的移动，则会在图像上留下清晰的拖拽光影，使得果实边缘变得模糊，从而留下偏移轮廓图。

步骤三、获取步骤二一系列图像中每副图片的果实轮廓、判断轮廓偏移程度；

步骤四、确定串型水果是否发生偏移：若发生偏移、则进入步骤五，若未发生偏移、则根据步骤一中的采摘点进行采摘；

步骤五、确立采摘点的偏移量、实现对采摘点偏移的跟踪。

基于上述方案的进一步优化，所述步骤一中通过调节光源保证图像灰度值均匀的具体方法为：

首先，预设目标灰度值H_y，监测通过双目立体相机定位识别采摘点时的灰度值、即当前灰度值H_o：若H_o＜H_y，则增大LED光源的PWM值、再次与目标灰度值比较；若H_o＞H_y，则减小LED光源的PWM值、再次与目标灰度值比较；直至当前灰度值等于目标灰度值。通过调节光源保证图像的灰度值均匀，能够有效确保双目立体相机的视觉系统不受外界不均匀光照的干扰，从而提升后续监测精度。

基于上述方案的进一步优化，所述步骤一中采用边缘检测算法对此时获取的果实图像进行检测、获得没有断点的果实边缘的具体方法为：

首先，通过创建高斯滤波器对果实图像进行卷积，减少果实图像中的噪声：

式中：H_ij表示卷积核矩阵；i、j分别表示卷积核矩阵的第i行、j列；k表示卷积核大小；σ表示卷积核参数；

然后，计算果实图像中每个像素点的梯度强度和方向，获得果实图像的梯度图像；其中，梯度强度G和方向θ分别通过计算水平方向的G_x和垂直方向的G_y的一阶导数值确定：

之后，对梯度图像中的每个像素进行非极大值抑制：将每个像素的梯度值与沿正负梯度方向上的两个像素进行比较：若当前像素的梯度值与另外两个像素(即当前像素正负梯度方向的两个像素)相比最大、则该像素点保留为边缘像素，否则、该像素点被抑制为0；

再然后，预设高阈值与低阈值，若边缘像素的梯度值高于高阈值、则将其标记为强边缘像素，若边缘像素的梯度值不大于高阈值且不小于低阈值、则将其标记为弱边缘像素，若边缘像素的梯度值小于低阈值、则被抑制为0；之后将强边缘像素确立为图像的边缘点，弱边缘像素通过查看对应弱边缘像素及其八个邻域像素的抑制孤立阈值点判定该图像是否为图像的边缘点；

利用非极大值抑制，使得剩余像素能够准确的表示图像中的实际边缘；利用强边缘像素与弱边缘像素解决由于噪声和颜色变化引起的杂散响应，从而保留高强度的边缘像素。

最后，边缘检测后对串型水果轮廓进行提取并转换为二值图像，遍历所有边缘点，判断边缘点像素是否连续，针对出现的断点像素通过该像素的八邻域像素进行填充。

基于上述方案的进一步优化，所述步骤三中判断轮廓偏移程度具体方法为：

首先，对前、后两帧图片的果实轮廓进行高斯平均，从而减小目标噪声影响，具体为：

式中：z为图像灰度值；μ为灰度的期望值；σ为灰度值的标准差；

利用上述高斯滤波概率密度公式对果实轮廓的每个像素坐标的灰度值进行检测、计算，生成对应的卷积核，实现高斯平均滤波；

然后，对高斯平均后的相邻两帧(即前、后两帧)的果实轮廓图像的灰度值进行求差，具体为：

U(x,y)＝|B_i(x,y)-B_i-1(x,y)|；

式中：B_i(x,y)、B_i-1(x,y)分别表示第i、(i-1)帧的果实轮廓图像(x,y)处像素的灰度值；

若U(x,y)≠0、则(x,y)处的像素为出现偏差的像素；反之，则为未出现偏差的像素；

之后，对出现偏差的像素(x,y)坐标分别在其前、后两帧的八邻域像素中的相对位置进行匹配，对匹配完成点的像素坐标进行求差、获取所有差值的平均数，将该差值平均数记为果实的偏移像素值N_a(a＝1,2,…,n)。

基于上述方案的进一步优化，所述步骤四中确定串型水果是否发生偏移具体方法为：采用预先训练完成的YOLOv4深度神经网络，识别自然环境下的串型水果目标，统计串型果实表面的像素平均值、记为S：若N_a中有连续三个值大于则表明串型水果发生偏移，反之、则未发生偏移。

基于上述方案的进一步优化，所述步骤五中确立采摘点的偏移量、实现对采摘点偏移的跟踪的具体方法为：

首先，以偏移像素值N_a所在的直线为底边、以预先训练完成的YOLOv4深度神经网络识别的前、后两帧串型水果对应树枝的ROI区域外轮廓线为两条侧边，建立偏移三角形；在此偏移三角形内，将底边向上平移进行角点检测，从而检测出两条侧边所有的角点；

然后，以一条侧边上的角点开始，遍历该侧边上的每个角点，同时以另一条侧边上的角点为参考点；预设横、纵坐标波动阈值，若某一参考点与另一条侧边上角点差值的横、纵坐标均在预设的波动阈值范围内波动，则认为该参考点为母枝上的采摘点；

之后，通过偏移三角形的左、右两条侧边(即除偏移三角形底边以外的两条边)的边长比例，获得采摘点坐标的偏移量；

最后，通过采摘点坐标的偏移量，通过双目立体相机坐标系与末端执行器机械坐标系之间的转换关系，获得新的采摘点坐标，实现对采摘点偏移的跟踪。

本发明具有如下技术效果：

本申请利用LED光源与镜头遮挡盒的设置，通过光源的调节保证双目立体相机拍摄图像灰度值均匀、避免拍摄过程中受到外界不均匀光的干扰；然后，利用镜头遮挡盒的反复遮挡以及双目立体相机的拍摄，从而在母枝偏移拖动果实与采摘点移动的过程中，形成清晰的拖拽光影、产生偏移轮廓图；之后，通过一系列图像的偏移轮廓图、利用相邻两帧偏移轮廓图之间的灰度值差值，获得偏移像素值；最后，通过偏移像素值建立偏移三角形、进而获取采摘点偏移量，实现对采摘点偏移的跟踪。即本申请通过LED光源、镜头遮挡盒、双目立体相机等配合，能够在末端执行器对串型水果采摘过程中，有效判别母枝以及采摘点是否由于外界环境因素的干扰而出现偏移预定位置的问题，同时完成采摘点的跟踪、修正，从而实现精确化采摘，避免母枝由于脱离既定位置而出现的错采、漏采、误采或枝条、果实等问题，确保采摘效率以及果实的合格率。

附图说明

图1为本发明实施例中末端执行器的结构示意图。

图2为本发明实施例中通过调节光源保证图像灰度值均匀的具体流程图。

图3为本发明实施例中串型水果图像及轮廓检测图；其中，图3(a)为未偏移时的图像与轮廓图，图3(b)为偏移的图像与轮廓图。

图4为本发明实施例中串型水果轮廓偏移图。

图5为本发明实施例中角点检测示意图。

其中，1、镜头遮挡盒；2、LED光源；3、双目立体相机；4、末端执行机构。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。

实施例1：

一种扰动下串型水果用机器人智能避障采摘方法，以荔枝为例，采用带有双目立体相机3、LED光源2及镜头遮挡盒1的末端执行器，如图1所示：LED光源2设置在双目立体相机3的左、右两端，镜头遮挡盒1设置在双目立体相机3上侧，具体步骤包括：

步骤一、通过双目立体相机3定位识别采摘点，采用本领域常见手段识别串型水果采摘点，例如：首先，通过双目立体相机3获取荔枝整体图像、冰柜双目立体相机3采集到的左、右图像进行预处理；之后，分别提取双目立体相机3采集到的左、右图像中的特征点，并对特征点进行匹配，获取左、右图像中同一物体的对应点；然后，根据左、右图像中对应点的位置差异，计算两个对应点在空间中的距离差；最后，通过双目立体相机3的内外参矩阵、图像信息分贝获得左、右图像中额度采摘点I₁与I₂，通过联立相机坐标系中的采摘点，获得实际采摘点的空间坐标(需要说明的是：本实施例中通过双目相机3定位识别采摘点的方法仅是一个示例，并不对本申请的实际方案进行限定，可采用本领域其他常规方法获取采摘点)。

获取采摘点的过程中，同时打开两个LED光源2、通过调节光源保证图像灰度值均匀，如图2所示，具体为：

首先，预设目标灰度值H_y，监测通过双目立体相机3定位识别采摘点时的灰度值、即当前灰度值H_o：若H_o＜H_y，则增大LED光源2的PWM值、再次与目标灰度值比较；若H_o＞H_y，则减小LED光源2的PWM值、再次与目标灰度值比较；直至当前灰度值等于目标灰度值。通过调节光源保证图像的灰度值均匀，能够有效确保双目立体相机3的视觉系统不受外界不均匀光照的干扰，从而提升后续监测精度。

之后，采用边缘检测算法对此时获取的果实图像进行检测、获得没有断点的果实边缘，具体为：

首先，通过创建高斯滤波器对果实图像进行卷积，减少果实图像中的噪声：

式中：H_ij表示卷积核矩阵；i、j分别表示卷积核矩阵的第i行、j列；k表示卷积核大小；σ表示卷积核参数；

然后，计算果实图像中每个像素点的梯度强度和方向，获得果实图像的梯度图像；其中，梯度强度G和方向θ分别通过计算水平方向的G_x和垂直方向的G_y的一阶导数值确定：

之后，对梯度图像中的每个像素进行非极大值抑制：将每个像素的梯度值与沿正负梯度方向上的两个像素进行比较：若当前像素的梯度值与另外两个像素(即当前像素正负梯度方向的两个像素)相比最大、则该像素点保留为边缘像素，否则、该像素点被抑制为0；

再然后，预设高阈值与低阈值，若边缘像素的梯度值高于高阈值、则将其标记为强边缘像素，若边缘像素的梯度值不大于高阈值且不小于低阈值、则将其标记为弱边缘像素，若边缘像素的梯度值小于低阈值、则被抑制为0；之后将强边缘像素确立为图像的边缘点，弱边缘像素通过查看对应弱边缘像素及其八个邻域像素的抑制孤立阈值点判定该图像是否为图像的边缘点；

最后，边缘检测后对串型水果轮廓进行提取并转换为二值图像(采用本领域常规的转换方法即可)，遍历所有边缘点，判断边缘点像素是否连续，针对出现的断点像素通过该像素的八邻域像素进行填充。

步骤二、末端执行器逐步靠近采摘点，依次循环进行LED光源2、双目立体相机3及镜头遮挡盒1的启动(参见图1所示，镜头遮挡盒1转动到双目立体相机3视角中时、实现遮挡，转动到双目立体相机3上侧时、实现拍照)，具体为：LED光源2打开-相机拍照-相机拍完、LED光源2关闭-镜头遮挡盒1挡住镜头、形成黑影，然后LED光源2重新打开、进行循环，形成末端执行器靠近采摘点的一系列图像；

获取每幅图片中的果实轮廓，在镜头遮挡盒1打开的瞬间，若母枝发生偏移、会造成果实与采摘点的移动，则会在图像上留下清晰的拖拽光影，使得果实边缘变得模糊，从而留下偏移轮廓图，如图3所示。

步骤三、获取步骤二一系列图像中每副图片的果实轮廓、判断轮廓偏移程度，具体为：

首先，对前、后两帧图片的果实轮廓进行高斯平均，从而减小目标噪声影响；具体为：

式中：z为图像灰度值；μ为灰度的期望值；σ为灰度值的标准差；

利用上述高斯滤波概率密度公式对果实轮廓的每个像素坐标的灰度值进行检测、计算，生成对应的卷积核，实现高斯平均滤波；

然后，对高斯平均后的相邻两帧(即前、后两帧)的果实轮廓图像的灰度值进行求差，具体为：

U(x,y)＝|B_i(x,y)-B_i-1(x,y)|；

式中：B_i(x,y)、B_i-1(x,y)分别表示第i、(i-1)帧的果实轮廓图像(x,y)处像素的灰度值；

若U(x,y)≠0、则(x,y)处的像素为出现偏差的像素；反之，则为未出现偏差的像素；

之后，对出现偏差的像素(x,y)坐标分别在其前、后两帧的八邻域像素中的相对位置进行匹配，对匹配完成点的像素坐标进行求差、获取所有差值的平均数，将该差值平均数记为果实的偏移像素值N_a(a＝1,2,…,n)，N_a即图5中的虚线条所示。

步骤四、确定串型水果是否发生偏移，具体为：

采用预先训练完成的YOLOv4深度神经网络，识别自然环境下的串型水果目标，统计串型果实表面的像素平均值、记为S：若N_a中有连续三个值大于则表明串型水果发生偏移，反之、则未发生偏移，如图4所示。

若发生偏移、则进入步骤五，若未发生偏移、则根据步骤一中的采摘点进行采摘；

步骤五、确立采摘点的偏移量、实现对采摘点偏移的跟踪，具体为：

首先，以偏移像素值N_a所在的直线为底边、以预先训练完成的YOLOv4深度神经网络识别的前、后两帧串型水果对应树枝的ROI区域外轮廓线为两条侧边，建立偏移三角形，参见图5所示；在此偏移三角形内，将底边向上平移进行角点检测，从而检测出两条侧边所有的角点；

然后，以一条侧边上的角点开始，遍历该侧边上的每个角点，同时以另一条侧边上的角点为参考点；预设横、纵坐标波动阈值，若某一参考点与另一条侧边上角点差值的横、纵坐标均在预设的波动阈值范围内波动，则认为该参考点为母枝上的采摘点；

之后，通过偏移三角形的左、右两条侧边(即除偏移三角形底边以外的两条边)的边长比例，获得采摘点坐标的偏移量；

最后，通过采摘点坐标的偏移量，通过双目立体相机3坐标系与末端执行器机械坐标系之间的转换关系(例如：通过张定友相机标定法实现相机坐标系与机械坐标系之间的转换)，获得新的采摘点坐标，实现对采摘点偏移的跟踪。

实施例2：

作为对本申请方案的进一步优化，在实施例1方案的基础上，当实施例1中的末端执行器移动过程中，末端执行器的运行路径上还易出现干扰物(例如：其他分枝的串型水果被风等吹动而遮挡)，因此，末端执行器上还设置干扰物拦截装置，通过固定设置在采摘机器人端面的单目相机实时查看采摘路径上的图像，从而判断是否出现障碍物，若出现，利用干扰物拦截装置将其吹飞或挪移。

实施例3：

一种串型水果采摘机器人，包括行走机构、采摘机械臂、单目相机、末端执行器、收集框及控制系统，采摘机械臂、单目相机、收集框与控制系统分别设置在行走机构端面(其中，采摘机械臂采用三轴、四轴、五轴、或六轴机械臂中的任一种，根据实际采摘情况进行设置；控制系统可采用单片机或PLC控制器、根据实际情况确定)，采摘机械臂与单目相机设置在行走机构端面的前端、收集框与控制系统设置在行走机构端面的后端；末端执行器设置在采摘机械臂远离行走机构的一端端部；控制系统分别与行走机构、采摘机械臂、单目相机、末端执行器电连接；末端执行器包括镜头遮挡盒1、两个LED光源2、双目立体相机3与末端执行机构4(即串型水果母枝剪切机构、采用本领域常见的剪切机构即可)。

采摘机器人采用如实施例1或实施例2的方法进行串型水果采摘。

Claims (6)

1.一种扰动下串型水果用机器人智能避障采摘方法，其特征在于：采用带有双目立体相机、LED光源及镜头遮挡盒的末端执行器，LED光源设置在双目立体相机的左、右两端，镜头遮挡盒设置在双目立体相机上侧，包括：

步骤一、通过双目立体相机定位识别采摘点，同时打开两个LED光源、通过调节光源保证图像灰度值均匀；之后，采用边缘检测算法对此时获取的果实图像进行检测、获得没有断点的果实边缘；

步骤二、末端执行器逐步靠近采摘点，依次循环进行LED光源、双目立体相机及镜头遮挡盒的启动，具体为：LED光源打开-相机拍照-相机拍完、LED光源关闭-镜头遮挡盒挡住镜头、形成黑影，形成末端执行器靠近采摘点的一系列图像；

步骤三、获取步骤二一系列图像中每副图片的果实轮廓、判断轮廓偏移程度；

步骤四、确定串型水果是否发生偏移：若发生偏移、则进入步骤五，若未发生偏移、则根据步骤一中的采摘点进行采摘；

步骤五、确立采摘点的偏移量、实现对采摘点偏移的跟踪。

2.根据权利要求1所述的一种扰动下串型水果用机器人智能避障采摘方法，其特征在于：所述步骤一中通过调节光源保证图像灰度值均匀的具体方法为：

首先，预设目标灰度值H_y，监测通过双目立体相机定位识别采摘点时的灰度值、即当前灰度值H_o：若H_o＜H_y，则增大LED光源的PWM值、再次与目标灰度值比较；若H_o＞H_y，则减小LED光源的PWM值、再次与目标灰度值比较；直至当前灰度值等于目标灰度值。通过调节光源保证图像的灰度值均匀，能够有效确保双目立体相机的视觉系统不受外界不均匀光照的干扰，从而提升后续监测精度。

3.根据权利要求1或2所述的一种扰动下串型水果用机器人智能避障采摘方法，其特征在于：所述步骤一中采用边缘检测算法对此时获取的果实图像进行检测、获得没有断点的果实边缘的具体方法为：

首先，通过创建高斯滤波器对果实图像进行卷积，减少果实图像中的噪声：

式中：H_ij表示卷积核矩阵；i、j分别表示卷积核矩阵的第i行、j列；k表示卷积核大小；σ表示卷积核参数；

然后，计算果实图像中每个像素点的梯度强度和方向，获得果实图像的梯度图像；其中，梯度强度G和方向θ分别通过计算水平方向的G_x和垂直方向的G_y的一阶导数值确定：

之后，对梯度图像中的每个像素进行非极大值抑制：将每个像素的梯度值与沿正负梯度方向上的两个像素进行比较：若当前像素的梯度值与另外两个像素相比最大、则该像素点保留为边缘像素，否则、该像素点被抑制为0；

再然后，预设高阈值与低阈值，若边缘像素的梯度值高于高阈值、则将其标记为强边缘像素，若边缘像素的梯度值不大于高阈值且不小于低阈值、则将其标记为弱边缘像素，若边缘像素的梯度值小于低阈值、则被抑制为0；之后将强边缘像素确立为图像的边缘点，弱边缘像素通过查看对应弱边缘像素及其八个邻域像素的抑制孤立阈值点判定该图像是否为图像的边缘点；

最后，边缘检测后对串型水果轮廓进行提取并转换为二值图像，遍历所有边缘点，判断边缘点像素是否连续，针对出现的断点像素通过该像素的八邻域像素进行填充。

4.根据权利要求1～3所述的一种扰动下串型水果用机器人智能避障采摘方法，其特征在于：所述步骤三中判断轮廓偏移程度具体方法为：

首先，对前、后两帧图片的果实轮廓进行高斯平均，具体为：

式中：z为图像灰度值；μ为灰度的期望值；σ为灰度值的标准差；

利用上述高斯滤波概率密度公式对果实轮廓的每个像素坐标的灰度值进行检测、计算，生成对应的卷积核，实现高斯平均滤波；

然后，对高斯平均后的相邻两帧的果实轮廓图像的灰度值进行求差，具体为：

U(x,y)＝|B_i(x,y)-B_i-1(x,y)|；

式中：B_i(x,y)、B_i-1(x,y)分别表示第i、(i-1)帧的果实轮廓图像(x,y)处像素的灰度值；

若U(x,y)≠0、则(x,y)处的像素为出现偏差的像素；反之，则为未出现偏差的像素；

之后，对出现偏差的像素(x,y)坐标分别在其前、后两帧的八邻域像素中的相对位置进行匹配，对匹配完成点的像素坐标进行求差、获取所有差值的平均数，将该差值平均数记为果实的偏移像素值N_a(a＝1,2,…,n)。

5.根据权利要求1或4所述的一种扰动下串型水果用机器人智能避障采摘方法，其特征在于：所述步骤四中确定串型水果是否发生偏移具体方法为：采用预先训练完成的YOLOv4深度神经网络，识别自然环境下的串型水果目标，统计串型果实表面的像素平均值、记为S：若N_a中有连续三个值大于则表明串型水果发生偏移，反之、则未发生偏移。

6.根据权利要求5所述的一种扰动下串型水果用机器人智能避障采摘方法，其特征在于：所述步骤五中确立采摘点的偏移量、实现对采摘点偏移的跟踪的具体方法为：

首先，以偏移像素值N_a所在的直线为底边、以预先训练完成的YOLOv4深度神经网络识别的前、后两帧串型水果对应树枝的ROI区域外轮廓线为两条侧边，建立偏移三角形；在此偏移三角形内，将底边向上平移进行角点检测，从而检测出两条侧边所有的角点；

然后，以一条侧边上的角点开始，遍历该侧边上的每个角点，同时以另一条侧边上的角点为参考点；预设横、纵坐标波动阈值，若某一参考点与另一条侧边上角点差值的横、纵坐标均在预设的波动阈值范围内波动，则认为该参考点为母枝上的采摘点；

之后，通过偏移三角形的左、右两条侧边的边长比例，获得采摘点坐标的偏移量；

最后，通过采摘点坐标的偏移量，通过双目立体相机坐标系与末端执行器机械坐标系之间的转换关系，获得新的采摘点坐标，实现对采摘点偏移的跟踪。