CN112715162A - 一种智能化采摘串型水果的系统 - Google Patents

Abstract

本发明提供一种智能化采摘串型水果的系统，包括采摘机械手（1）、机械连臂（2）、移动平台（3）、吹气枪（4）、单目视觉相机（5）、双目视觉相机（6）及控制系统（7）；该系统通过单目视觉相机（5）与双目视觉相机（6）配合实现对母枝的预定位、同时在采摘过程中确定母枝受干扰类型，利用吹气枪进行主动抗扰；最后基于受干扰类型及主动抗扰方法，利用控制系统确定进给终点与进给路径、实现串型水果的采摘。该系统通过视觉感知系统，完成对母枝与干扰类型的识别，从而完成主动抗扰实施及进给路线计算，实现对串型水果母枝的剪切，避免错剪、漏剪、重复采摘等，提高采摘效率、减少采摘时间及采摘劳动力，实现了智能化采摘。

Description

一种智能化采摘串型水果的系统

技术领域

本发明涉及水果智能采摘技术领域，具体涉及一种智能化采摘串型水果的系统。

背景技术

我国是葡萄、荔枝、龙眼等串型水果的重要生产国，但目前这些鲜食水果的收获基本靠人工采摘，劳动强度大，采摘效率低、耗时长，采摘费用高。随着我国人口老龄化加剧和青壮年劳动力的减少，水果低损、及时采收成为果农面临重大难题之一。随着科技的进步，机械自动化、智能化已广泛应用于各行各业，采用采摘机器人进行串型水果的采摘时，需先通过视觉等传感器将果串从复杂的果园环境中识别出来，然后再根据果实空间信息进行采摘。因串型水果通常是簇生，且体积和重量大而果梗杆茎小，因此采摘过程中需保证从串型水果的母枝进行剪断，以确保果串的完整性、避免果串分散，从而有利于储存、运输以及保证果串的美观性；并且，从母枝进行剪断还有效避免在采摘过程中损伤果实。

但是，由于串型水果自身随机分布生长的特性，母枝识别、定位困难，无法有效区分母枝与分枝；同时，采摘过程中还伴随风力、重力等外界因素的影响、导致本身实现定位的母枝被遮挡或发生偏移，从而出现错剪、漏剪、重复采摘等问题，导致果实受损伤、无法进行采摘或采摘效率低下、浪费时间与人力物力。

发明内容

针对以上现有技术存在的问题，本发明的目的在于提供一种智能化采摘串型水果的系统，该系统通过视觉感知系统，从而完成对母枝与干扰类型的精确识别，同时通过主动抗扰系统以及机械手运动轨迹分析系统的协同配合建模，从而实现对串型水果母枝的准确剪切，避免错剪、漏剪、重复采摘以及损伤果实，提高了采摘效率、减少了采摘时间以及采摘劳动力，降低了采摘成本，实现了串型水果的智能化采摘。

本发明的目的通过以下技术方案实现：

一种智能化采摘串型水果的系统，其特征在于：

包括采摘机械手、机械连臂、移动平台、吹气枪、单目视觉相机、双目视觉相机以及控制系统；所述采摘机械手包括剪切部以及机械手臂，所述剪切部与所述机械手臂一端固定连接、机械手臂另一端与所述机械连臂转动连接；所述机械连臂远离所述机械手臂的一端与所述移动平台转动连接；所述移动平台内设置机器人控制器，用于控制采摘机械手、机械连臂以及移动平台的运动，所述吹气枪与双目视觉相机固定设置在所述机械手臂上，所述单目视觉相机设置在待采摘串型水果果树下方的地面上；所述控制系统与所述单目视觉相机、双目视觉相机以及机器人控制器通过远程模块连接；

上述系统通过以下方法实现串型水果的采摘：

通过所述单目视觉相机与所述双目视觉相机配合实现对母枝的预定位，具体为：

a₁：采用单目视觉相机随机获取连同串型水果果实、叶子以及树枝在内的多副彩色图像；选取并划分彩色图像内的多个果实目标以及非果实目标，并分别提取果实目标以及非果实目标的纹理特征值与颜色特征值，作为正负样本；

a₂、通过控制系统内的支持向量机SVM对正负样本进行训练、生成多个弱分类器；然后采用控制系统内的AdaBoost算法构造强分类器，通过强分类器分割单目视觉相机获取的彩色图像，并将从图像中识别到的果实目标单独存储成彩色图像I₁；

a₃、重复a₁～a₂，分别得到识别树枝与叶子的强分类器；然后分别在去除图像I₁的原始彩色图像中分割提取出树枝与叶子，分别存储成彩色图像I₂和彩色图像I₃；

a₄、控制系统根据果实的分布位置将果串分为单果实果串、双果实果串以及多果实果串，进而确定彩色图像I₁中随机分布的果实所属的果串类型；随后，控制系统根据所确定的果串类型对果串母枝进行确定：

对于单果实果串，其与果实相连的树枝即为母枝；

对于双果实果串与多果实果串，首先在彩色图像I₁中做果串的轮廓外切矩形上下底的中垂线，然后结合彩色图像I₁与彩色图像I₂进行融合分析，通过彩色图像I₁的中垂线与彩色图像I₂的树枝相切情况确定果串的母枝；

a₅、利用双目视觉相机获取果串母枝的双目立体图像，控制系统取双目视觉相机左图像中的母枝外接矩形几何中心点作为特征匹配点，在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点，实现特征匹配，得到母枝的几何中心点；最后计算母枝几何中心点的空间坐标，实现对母枝的预定位，得到母枝的预定位图像及预定位几何中心点；

然后在实际采摘过程中，移动平台靠近待采摘果树、机械手臂靠近待采摘串型水果，利用所述双目视觉相机获取采摘过程中母枝的实际定位图像及实际定位几何中心点；然后利用所述单目视觉相机的视觉缩放法，比较母枝的实际定位图像与预定位图像，确定母枝受干扰类型；

确定母枝受干扰类型后，利用所述吹气枪的空气动力进行主动抗扰；

基于受干扰类型以及主动抗扰方法，通过所述控制系统确定剪切部的进给终点；根据进给终点，通过所述控制系统计算采摘机械手的进给路径，实现串型水果的采摘。

采用对果串类型分类以及利用贯串轮廓线外切矩形的中垂线进行母枝的确定，一是能有效消除每颗果实所连接的分枝的干扰、提高辨认精度；二是快速识别到果串的母枝，增加识别效率以及减少识别时间。

作进一步优化，所述机械连臂为多轴联动机械臂。

作进一步优化，所述吹气枪通过导气管连接外部气泵，所述气泵所述控制系统通过远程模块连接。

作进一步优化，所述步骤a₄中采用果串分类原则进行单果实果串、双果实果串以及多果实果串的分类；

具体为：单果实果串：若一个果实的几何中心与其他任何果实的几何中心之间的欧式距离大于单个果实的平均直径，则该果实为单果实果串；双果实果串：若两个相邻果实几何中心间的欧式距离小于这两个果实的直径和，则这两个果实为一个双果实果串；多果实果串：若两个以上果实中，任意两个果实几何中心之间的欧式距离均小于两个果实的直径和，则该组果实为多果实果串。

作进一步优化，所述步骤a₄中通过彩色图像I₁的中垂线与彩色图像I₂的树枝相切情况确定果串的母枝具体为：将果串的轮廓外切矩形上下底的中垂线绕该中垂线下方的点、向靠近树枝的一侧旋转，与该中垂线最先相切的树枝为该果串的母枝。

作进一步优化，所述步骤a₅中在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点的步骤具体为：

首先，利用双目视觉相机左图像P₁的特征匹配点(x，y)构建匹配窗口，同时右图像P₂的待匹配点(x+m，y+m)同样构建匹配窗口，通过归一化相关函数进行相关程度度量，具体公式如下：

式中，F(m,n)表示归一化相关函数；(m,n)表示右图像相对于左图像的位置向量；W_p表示以待匹配点坐标为中心的匹配窗口；P₂(x+m,y+n)表示右图像待匹配点的灰度值；

表示右图像匹配窗口的灰度均值；P₁(x,y)表示左图像特征匹配点的灰度值；

表示左图像匹配窗口的灰度均值；

式中，F(m,n)的取值范围为[-1,1]；

当F(m,n)＝-1时，左图像的特征匹配点与右图像的待匹配点完全不相关；

当F(m,n)＝1时，左图像的特征匹配点与右图像的待匹配点完全匹配，即待匹配点为特征匹配点灰度值最接近且为使其归一化互相关函数达到最大值的点。

优选的，所述匹配窗口通常为3*3的匹配窗口。

作进一步优化，所述左图像与右图像在进行特征匹配前进行极线校正，从而使左图像与右图像的极线处于水平方向，即使左图像与右图像图像的光心处于同一水平线上。

优选的，采用Bouguet极线校正算法进行极线校正。

作进一步优化，所述步骤a₅中控制系统采用三角测量原理计算母枝几何中心点的空间坐标。

作进一步优化，所述确定母枝受干扰类型的具体步骤为：

首先通过双目视觉相机是否识别到实际定位图像中的果串母枝判断其是否被遮挡；

若所述实际定位图像中未识别到果串母枝，则将所述预定位图像叠加到所述实际定位图像上，通过单目视觉相机的视觉缩放法判断所述预定位图像与所述实际定位图像的八邻域像素是否属于同一事物；

若属于，则判定该实际定位图像中的母枝被树枝遮挡；

若不属于，进一步将实际定位图像的八邻域像素与彩色图像I₁、彩色图像I₃的八邻域像素进行比较，判断为果实遮挡或是叶子遮挡；

若所述实际定位图像中识别到果串母枝，则实际定位图像中的母枝未被遮挡，然后确定所述预定位图像中的预定位几何中心点O₁以及所述实际定位图像中的实际定位几何中心点O₂之间的偏差相对值d(即O₁与O₂两点间的直线距离)，通过偏差相对值d与预设阈值之间的关系、判断母枝是否发生偏移；

若偏差相对值d不大于预设阈值，则视为无干扰；

若偏差相对值d大于预设阈值，且O₂点通过单目视觉相机的视觉缩放法缩放的八邻域像素、经多维SVM分类器判断属于枝，则确定O₂点所代表的的母枝是在动力因素的干扰下相对于O₁点的位置发生偏移；若偏差相对值d大于预设阈值，而O₂点通过单目视觉相机的视觉缩放法缩放的八邻域像素、经多维SVM分类器判断不属于枝，则输出错误信号。

优选的，所述动力因素为风力、重力等因素。

作进一步优化，所述预设阈值通过预定位图像母枝的外接矩形得到，具体为：

首先，构建预定位图像中母枝的外接矩形框；然后获得外接矩形框的底边像素数p以及预定位图像像素横行总数a；最终得到预设阈值d₀；具体公式为：

作进一步优化，所述利用吹气枪的空气动力进行主动抗扰的具体步骤为：

若母枝被遮挡，首先利用吹气枪的空气动力使遮挡物与目标母枝分离；然后利用吹气枪的空气动力(设定吹气枪的方向、吹气强度等)使母枝的几何中心点回到预定位几何中心点的位置，再利用单、双目视觉相机记录母枝几何中心点的运动轨迹以及在相机平面距进给起点最远和最近的点，得到母枝几何中心点的运动周期，同时采用双目视觉相机获取遮挡物的空间点云、构建与遮挡物完全相切的空间包围体，利用单、双目视觉相机记录空间包围体的运动轨迹以及在相机平面距进给起点最远和最近的点，得到空间包围体所包围遮挡物的运动周期；

若母枝未被遮挡、仅发生偏移，利用吹气枪的空气动力(设定吹气枪的方向、吹气强度等)使母枝的几何中心点回到预定位几何中心点的位置，再利用单、双目视觉相机记录母枝几何中心点的运动轨迹以及在相机平面距进给起点最远和最近的点，得到母枝几何中心点的运动周期。

作进一步优化，所述确定进给终点、进给路径的具体步骤为：

进给终点的确定：

若母枝未被遮挡、仅发生偏移，则母枝几何中心点运动轨迹距在相机平面距进给起点最近点的空间坐标、即为剪切部的进给终点；

若母枝被遮挡，首先通过母枝几何中心点与遮挡物的空间包围体分别在相机平面距进给起点的最远位置与最近位置、确定母枝与遮挡物之间的最大空间余度，所述最大空间余度的中心即为剪切部的进给终点；所述空间余度为母枝几何中心点与遮挡物的空间包围体分别在相机平面距进给起点的最远位置(点)及最近位置(点)的连线为直径形成的圆、圆心即为进给终点；

进给路径的确定：

首先，采用双目视觉相机与空间几何原理，构建进给起点到进给终点潜在路径中障碍物的空间包围体；然后由靠近到远离所述进给起点分别将空间几何包围体定义为第一障碍物、第二障碍物、第三障碍物、……、第n障碍物，过进给起点做第一障碍物的切线、取切点为第一路径点，过第一路径点做第二障碍物与第三障碍物几何中心连线的垂线段、取垂点为第二路径点，过第二路径点做第三障碍物的切线、取切点为第三路径点，……，依次循环、直至最终路径点与进给终点直连；进给起点、各个路径点、进给终点的连线即为进给路径。

优选的，所述进给路径需融合采摘机械手与机械连臂的坐标系以及双目视觉相机的坐标系，基于机械连臂的各关节变量，确立机械连臂与采摘机械手的空间位置及姿态。

本发明具有如下技术效果：

本发明通过单目视觉相机与双目视觉相机的结合、判断，能够快速、准确的定位、识别果串的母枝；同时，单目视觉相机的视图缩放法结合母枝的识别能快速、有效分辨母枝受外界干扰的类型。然后，本发明通过吹气枪与双目视觉相机、单目视觉相机的结合，从而针对不同类型的干扰进行主动干扰，有针对性的解决了采摘过程中外界因素的干扰；最终结合母枝的定位、主动抗扰方式得到进给终点与进给路径，从而实现串型水果的采摘，减少采摘作业信息决策不足和机械手作业活动冗余的技术问题，有效提高串型水果的采摘效率。

通过本发明系统进行串型水果的采摘，能有准确、有效的得到最优进给路径，避免采摘路径中被果实或枝、叶等干扰导致采摘失败或损伤果树，从而实现采摘过程中能量最小、路径最短、效率最高，确保整体成本最低。

本发明系统通过母枝的确定、主动抗扰方式的选择以及进给终点、进给路径的设定，避免采摘过程中的遮挡、水果重叠或母枝偏移的不确定性，解决了因外界因素而导致采摘失败、进而导致采摘机器人终止任务的问题，提高了采摘机器人的智能化与自动化水平，提高采摘机器人的工作效率和水果收获率，减少了采摘劳动力。

附图说明

图1为本发明系统结构示意图。

图2为本发明实施例中系统识别串型水果母枝及判断母枝干扰类型的流程图。

图3为本发明实施例中系统确定进给终点及进给路径的流程图。

图4为本发明实施例中系统识别串型水果母枝的原理示意图。

图5为本发明实施例中系统判断母枝干扰类型的原理示意图。

图6为本发明实施例中系统采摘机器人路径规划示意图。

其中，1、采摘机械手；11、剪切部；12、机械手臂；2、机械连臂；3、移动平台；30、机器人控制器；4、吹气枪；40、气泵；5、单目视觉相机；6、双目视觉相机；7、控制系统。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

如图1～6所示，以荔枝为例，一种智能化采摘串型水果的系统，其特征在于：

包括采摘机械手1、机械连臂2、移动平台3、吹气枪4、单目视觉相机5、双目视觉相机6以及控制系统7；采摘机械手1包括剪切部11以及机械手臂12，剪切部11与机械手臂12一端固定连接、机械手臂12另一端与机械连臂2转动连接；机械连臂2远离机械手臂12的一端与移动平台3转动连接、机械连臂2为多轴联动机械臂；移动平台3内设置机器人控制器30，用于控制采摘机械手1、机械连臂2以及移动平台3的运动，吹气枪4与双目视觉相机6固定设置在机械手臂12上，单目视觉相机5设置在待采摘串型水果果树下方的地面上；吹气枪4通过导气管连接外部气泵40，气泵40控制系统7通过远程模块连接。控制系统7与单目视觉相机5、双目视觉相机6以及机器人控制器30通过远程模块连接。

上述系统通过以下方法实现串型水果的采摘：

A：通过单目视觉相机5与双目视觉相机6配合实现对母枝的预定位，具体为：

a₁：采用单目视觉相机5随机获取连同串型水果果实、叶子以及树枝在内的多副彩色图像；选取并划分彩色图像内的多个果实目标以及非果实目标，并分别提取果实目标以及非果实目标的纹理特征值与颜色特征值，作为正负样本；

a₂、通过控制系统7内的支持向量机SVM对正负样本进行训练、生成多个弱分类器；然后采用控制系统7内的AdaBoost算法构造强分类器，通过强分类器分割单目视觉相机5获取的彩色图像，并将从图像中识别到的果实目标单独存储成彩色图像I₁；

a₃、重复a₁～a₂，分别得到识别树枝与叶子的强分类器；然后分别在去除图像I₁的原始彩色图像中分割提取出树枝与叶子，分别存储成彩色图像I₂和彩色图像I₃；

a₄、控制系统7根据果实的分布位置、采用果串分类原则将果串分为单果实果串、双果实果串以及多果实果串，进而确定彩色图像I₁中随机分布的果实所属的果串类型；

具体为：单果实果串：若一个果实的几何中心与其他任何果实的几何中心之间的欧式距离大于单个果实的平均直径，则该果实为单果实果串；双果实果串：若两个相邻果实几何中心间的欧式距离小于这两个果实的直径和，则这两个果实为一个双果实果串；多果实果串：若两个以上果实中，任意两个果实几何中心之间的欧式距离均小于两个果实的直径和，则该组果实为多果实果串。

随后，控制系统根据所确定的果串类型对果串母枝进行确定：

对于单果实果串，其与果实相连的树枝即为母枝；

对于双果实果串与多果实果串，首先在彩色图像I₁中做果串的轮廓外切矩形上下底的中垂线，然后结合彩色图像I₁与彩色图像I₂进行融合分析，通过彩色图像I₁的中垂线与彩色图像I₂的树枝相切情况确定果串的母枝；

具体为：将果串的轮廓外切矩形上下底的中垂线绕该中垂线下方的点、向靠近树枝的一侧旋转，与该中垂线最先相切的树枝为该果串的母枝。

a₅、利用双目视觉相机(此时未进行采摘、即移动平台3还未靠近待采摘果树)获取果串母枝的双目立体图像，控制系统取双目视觉相机左图像中的母枝外接矩形几何中心点作为特征匹配点，在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点，实现特征匹配，得到母枝的几何中心点；具体为：

首先，利用双目视觉相机左图像P₁的特征匹配点(x，y)构建匹配窗口，同时右图像P₂的待匹配点(x+m，y+m)同样构建匹配窗口，通过归一化相关函数进行相关程度度量，具体公式如下：

式中，F(m,n)表示归一化相关函数；(m,n)表示右图像相对于左图像的位置向量；W_p表示以待匹配点坐标为中心的匹配窗口；P₂(x+m,y+n)表示右图像待匹配点的灰度值；

表示右图像匹配窗口的灰度均值；P₁(x,y)表示左图像特征匹配点的灰度值；

表示左图像匹配窗口的灰度均值；

式中，F(m,n)的取值范围为[-1,1]；

当F(m,n)＝-1时，左图像的特征匹配点与右图像的待匹配点完全不相关；

当F(m,n)＝1时，左图像的特征匹配点与右图像的待匹配点完全匹配，即待匹配点为特征匹配点灰度值最接近且为使其归一化互相关函数达到最大值的点；

匹配窗口通常为3*3的匹配窗口；

左图像与右图像在进行特征匹配前先采用Bouguet极线校正算法进行极线校正，从而使左图像与右图像的极线处于水平方向，即使左图像与右图像图像的光心处于同一水平线上。

最后采用三角测量原理计算母枝几何中心点的空间坐标，实现对母枝的预定位，得到母枝的预定位图像及预定位几何中心点；

B、然后在实际采摘过程中，移动平台3靠近待采摘果树、机械手臂12靠近待采摘串型水果，利用双目视觉相机6获取采摘过程中母枝的实际定位图像及实际定位几何中心点(方法与步骤A的方法一致)；然后利用单目视觉相机的视觉缩放法，比较母枝的实际定位图像与预定位图像，确定母枝受干扰类型；

具体步骤为：

首先通过双目视觉相机是否识别到实际定位图像中的果串母枝判断其是否被遮挡；

若实际定位图像中未识别到果串母枝，则将预定位图像叠加到实际定位图像上，通过单目视觉相机的视觉缩放法判断预定位图像与实际定位图像的八邻域像素是否属于同一事物；

若属于，则判定该实际定位图像中的母枝被树枝遮挡；

若不属于，进一步将实际定位图像的八邻域像素与彩色图像I₁、彩色图像I₃的八邻域像素进行比较，判断为果实遮挡或是叶子遮挡；

若实际定位图像中识别到果串母枝，则实际定位图像中的母枝未被遮挡，然后确定预定位图像中的预定位几何中心点O₁以及实际定位图像中的实际定位几何中心点O₂之间的偏差相对值d(即O₁与O₂两点间的直线距离)，通过偏差相对值d与预设阈值之间的关系、判断母枝是否发生偏移；

若偏差相对值d不大于预设阈值，则视为无干扰；

若偏差相对值d大于预设阈值，且O₂点通过单目视觉相机的视觉缩放法缩放的八邻域像素、经多维SVM分类器判断属于枝，则确定O₂点所代表的的母枝是在动力因素的干扰下相对于O₁点的位置发生偏移；若偏差相对值d大于预设阈值，而O₂点通过单目视觉相机的视觉缩放法缩放的八邻域像素、经多维SVM分类器判断不属于枝，则输出错误信号。

动力因素包括风力、重力等因素；

预设阈值通过预定位图像母枝的外接矩形得到，具体为：

首先，构建预定位图像中母枝的外接矩形框；然后获得外接矩形框的底边像素数p以及预定位图像像素横行总数a；最终得到预设阈值d₀；具体公式为：

C、确定母枝受干扰类型后，利用吹气枪的空气动力进行主动抗扰；

具体步骤为：

若母枝被遮挡，首先利用吹气枪的空气动力使遮挡物与目标母枝分离；然后利用吹气枪的空气动力(设定吹气枪的方向、吹气强度等)使母枝的几何中心点回到预定位几何中心点的位置，再利用单、双目视觉相机记录母枝几何中心点的运动轨迹以及在相机平面距进给起点最远和最近的点，得到母枝几何中心点的运动周期，同时采用双目视觉相机获取遮挡物的空间点云、构建与遮挡物完全相切的空间包围体，利用单、双目视觉相机记录空间包围体的运动轨迹以及在相机平面距进给起点最远和最近的点，得到空间包围体所包围遮挡物的运动周期；

若母枝未被遮挡、仅发生偏移，利用吹气枪的空气动力(设定吹气枪的方向、吹气强度等)使母枝的几何中心点回到预定位几何中心点的位置，再利用单、双目视觉相机记录母枝几何中心点的运动轨迹以及在相机平面距进给起点最远和最近的点，得到母枝几何中心点的运动周期。

D、基于受干扰类型以及主动抗扰方法，通过控制系统确定剪切部的进给终点；根据进给终点，通过控制系统计算采摘机械手的进给路径，实现串型水果的采摘。

进给终点的确定：

若母枝未被遮挡、仅发生偏移，则母枝几何中心点运动轨迹距在相机平面距进给起点最近点的空间坐标、即为剪切部的进给终点；

若母枝被遮挡，首先通过母枝几何中心点与遮挡物的空间包围体分别在相机平面距进给起点的最远位置与最近位置、确定母枝与遮挡物之间的最大空间余度，最大空间余度的中心即为剪切部的进给终点；空间余度为母枝几何中心点与遮挡物的空间包围体分别在相机平面距进给起点的最远位置(点)及最近位置(点)的连线为直径形成的圆、圆心即为进给终点；

进给路径的确定：

首先，采用双目视觉相机与空间几何原理，构建进给起点到进给终点潜在路径中障碍物的空间包围体；然后由靠近到远离进给起点分别将空间几何包围体定义为第一障碍物、第二障碍物、第三障碍物、……、第n障碍物，过进给起点做第一障碍物的切线、取切点为第一路径点，过第一路径点做第二障碍物与第三障碍物几何中心连线的垂线段、取垂点为第二路径点，过第二路径点做第三障碍物的切线、取切点为第三路径点，……，依次循环、直至最终路径点与进给终点直连；进给起点、各个路径点、进给终点的连线即为进给路径。

进给路径需融合采摘机械手与机械连臂的坐标系以及双目视觉相机的坐标系，基于机械连臂的各关节变量，确立机械连臂与采摘机械手的空间位置及姿态。

采用对果串类型分类以及利用贯串轮廓线外切矩形的中垂线进行母枝的确定，一是能有效消除每颗果实所连接的分枝的干扰、提高辨认精度；二是快速识别到果串的母枝，增加识别效率以及减少识别时间。

该方法有效提高采摘串型水果过程中的智能化水平，自动对果树进行拍照、分析、母枝空间坐标点的确认以及对采摘过程中母枝杆干扰类型的识别，提高了采摘的工作效率及串型水果的收率，避免采摘过程中损伤串型水果以及错剪的行为发生。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种智能化采摘串型水果的系统，其特征在于：

包括采摘机械手(1)、机械连臂(2)、移动平台(3)、吹气枪(4)、单目视觉相机(5)、双目视觉相机(6)以及控制系统(7)；所述采摘机械手(1)包括剪切部(11)以及机械手臂(12)，所述剪切部(11)与所述机械手臂(12)一端固定连接、机械手臂(12)另一端与所述机械连臂(2)转动连接；所述机械连臂(2)远离所述机械手臂(12)的一端与所述移动平台(3)转动连接；所述移动平台(3)内设置机器人控制器(30)，所述吹气枪(4)与双目视觉相机(6)固定设置在所述机械手臂(12)上，所述单目视觉相机(5)设置在待采摘串型水果果树下方的地面上；所述控制系统(7)与所述单目视觉相机(5)、双目视觉相机(6)以及机器人控制器(30)通过远程模块连接；

上述系统通过以下方法实现串型水果的采摘：

通过所述单目视觉相机与所述双目视觉相机配合实现对母枝的预定位，具体为：

a₁：采用单目视觉相机随机获取连同串型水果果实、叶子以及树枝在内的多副彩色图像；选取并划分彩色图像内的多个果实目标以及非果实目标，并分别提取果实目标以及非果实目标的纹理特征值与颜色特征值，作为正负样本；

a₂、通过控制系统内的支持向量机SVM对正负样本进行训练、生成多个弱分类器；然后采用控制系统内的AdaBoost算法构造强分类器，通过强分类器分割单目视觉相机获取的彩色图像，并将从图像中识别到的果实目标单独存储成彩色图像I₁；

a₃、重复a₁～a₂，分别得到识别树枝与叶子的强分类器；然后分别在去除图像I₁的原始彩色图像中分割提取出树枝与叶子，分别存储成彩色图像I₂和彩色图像I₃；

a₄、控制系统根据果实的分布位置将果串分为单果实果串、双果实果串以及多果实果串，进而确定彩色图像I₁中随机分布的果实所属的果串类型；随后，控制系统根据所确定的果串类型对果串母枝进行确定：

对于单果实果串，其与果实相连的树枝即为母枝；

对于双果实果串与多果实果串，首先在彩色图像I₁中做果串的轮廓外切矩形上下底的中垂线，然后结合彩色图像I₁与彩色图像I₂进行融合分析，通过彩色图像I₁的中垂线与彩色图像I₂的树枝相切情况确定果串的母枝；

a₅、利用双目视觉相机获取果串母枝的双目立体图像，控制系统取双目视觉相机左图像中的母枝外接矩形几何中心点作为特征匹配点，在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点，实现特征匹配，得到母枝的几何中心点；最后计算母枝几何中心点的空间坐标，实现对母枝的预定位，得到母枝的预定位图像及预定位几何中心点；

然后在实际采摘过程中，移动平台靠近待采摘果树、机械手臂靠近待采摘串型水果，利用所述双目视觉相机获取采摘过程中母枝的实际定位图像及实际定位几何中心点；然后利用所述单目视觉相机的视觉缩放法，比较母枝的实际定位图像与预定位图像，确定母枝受干扰类型；

确定母枝受干扰类型后，利用所述吹气枪的空气动力进行主动抗扰；

基于受干扰类型以及主动抗扰方法，通过所述控制系统确定剪切部的进给终点；根据进给终点，通过所述控制系统计算采摘机械手的进给路径，实现串型水果的采摘。

2.根据权利要求1所述的一种智能化采摘串型水果的系统，其特征在于：所述机械连臂(12)为多轴联动机械臂。

3.根据权利要求1或2任一项所述的一种智能化采摘串型水果的系统，其特征在于：所述步骤a₄中采用果串分类原则进行单果实果串、双果实果串以及多果实果串的分类；

单果实果串：若一个果实的几何中心与其他任何果实的几何中心之间的欧式距离大于单个果实的平均直径，则该果实为单果实果串；双果实果串：若两个相邻果实几何中心间的欧式距离小于这两个果实的直径和，则这两个果实为一个双果实果串；多果实果串：若两个以上果实中，任意两个果实几何中心之间的欧式距离均小于两个果实的直径和，则该组果实为多果实果串。

4.根据权利要求1-3任一项所述的一种智能化采摘串型水果的系统，其特征在于：所述步骤a₅中在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点的步骤具体为：

首先，利用双目视觉相机左图像P₁的特征匹配点(x，y)构建匹配窗口，同时右图像P₂的待匹配点(x+m，y+m)同样构建匹配窗口，通过归一化相关函数进行相关程度度量，具体公式如下：

式中，F(m,n)表示归一化相关函数；(m,n)表示右图像相对于左图像的位置向量；W_p表示以待匹配点坐标为中心的匹配窗口；P₂(x+m,y+n)表示右图像待匹配点的灰度值；

表示右图像匹配窗口的灰度均值；P₁(x,y)表示左图像特征匹配点的灰度值；

表示左图像匹配窗口的灰度均值；

式中，F(m,n)的取值范围为[-1,1]；

当F(m,n)＝-1时，左图像的特征匹配点与右图像的待匹配点完全不相关；

当F(m,n)＝1时，左图像的特征匹配点与右图像的待匹配点完全匹配，即待匹配点为特征匹配点灰度值最接近且为使其归一化互相关函数达到最大值的点。

5.根据权利要求1所述的一种智能化采摘串型水果的系统，其特征在于：所述确定母枝受干扰类型的具体步骤为：

首先通过双目视觉相机是否识别到实际定位图像中的果串母枝判断其是否被遮挡；

若所述实际定位图像中未识别到果串母枝，则将所述预定位图像叠加到所述实际定位图像上，通过单目视觉相机的视觉缩放法判断所述预定位图像与所述实际定位图像的八邻域像素是否属于同一事物；

若属于，则判定该实际定位图像中的母枝被树枝遮挡；

若不属于，进一步将实际定位图像的八邻域像素与彩色图像I₁、彩色图像I₃的八邻域像素进行比较，判断为果实遮挡或是叶子遮挡；

若所述实际定位图像中识别到果串母枝，则实际定位图像中的母枝未被遮挡，然后确定所述预定位图像中的预定位几何中心点O₁以及所述实际定位图像中的实际定位几何中心点O₂之间的偏差相对值d，通过偏差相对值d与预设阈值之间的关系、判断母枝是否发生偏移；

若偏差相对值d不大于预设阈值，则视为无干扰；

若偏差相对值d大于预设阈值，且O₂点通过单目视觉相机的视觉缩放法缩放的八邻域像素、经多维SVM分类器判断属于枝，则确定O₂点所代表的的母枝是在动力因素的干扰下相对于O₁点的位置发生偏移；若偏差相对值d大于预设阈值，而O₂点通过单目视觉相机的视觉缩放法缩放的八邻域像素、经多维SVM分类器判断不属于枝，则输出错误信号。

6.根据权利要求1或5任一项所述的一种智能化采摘串型水果的系统，其特征在于：所述预设阈值通过预定位图像母枝的外接矩形得到，具体为：

首先，构建预定位图像中母枝的外接矩形框；然后获得外接矩形框的底边像素数p以及预定位图像像素横行总数a；最终得到预设阈值d₀；具体公式为：

7.根据权利要求5所述的一种智能化采摘串型水果的系统，其特征在于：所述利用吹气枪的空气动力进行主动抗扰的具体步骤为：

若母枝被遮挡，首先利用吹气枪的空气动力使遮挡物与目标母枝分离；然后利用吹气枪的空气动力使母枝的几何中心点回到预定位几何中心点的位置，再利用单、双目视觉相机记录母枝几何中心点的运动轨迹以及在相机平面距进给起点最远和最近的点，得到母枝几何中心点的运动周期，同时采用双目视觉相机获取遮挡物的空间点云、构建与遮挡物完全相切的空间包围体，利用单、双目视觉相机记录空间包围体的运动轨迹以及在相机平面距进给起点最远和最近的点，得到空间包围体所包围遮挡物的运动周期；

若母枝未被遮挡、仅发生偏移，利用吹气枪的空气动力使母枝的几何中心点回到预定位几何中心点的位置，再利用单、双目视觉相机记录母枝几何中心点的运动轨迹以及在相机平面距进给起点最远和最近的点，得到母枝几何中心点的运动周期。

8.根据权利要求7所述的一种智能化采摘串型水果的系统，其特征在于：所述确定进给终点、进给路径的具体步骤为：

进给终点的确定：

若母枝未被遮挡、仅发生偏移，则母枝几何中心点运动轨迹距在相机平面距进给起点最近点的空间坐标、即为剪切部的进给终点；

若母枝被遮挡，首先通过母枝几何中心点与遮挡物的空间包围体分别在相机平面距进给起点的最远位置与最近位置、确定母枝与遮挡物之间的最大空间余度，所述最大空间余度的中心即为剪切部的进给终点；所述空间余度为母枝几何中心点与遮挡物的空间包围体分别在相机平面距进给起点的最远位置及最近位置的连线为直径形成的圆、圆心即为进给终点；

进给路径的确定：

首先，采用双目视觉相机与空间几何原理，构建进给起点到进给终点潜在路径中障碍物的空间包围体；然后由靠近到远离所述进给起点分别将空间几何包围体定义为第一障碍物、第二障碍物、第三障碍物、……、第n障碍物，过进给起点做第一障碍物的切线、取切点为第一路径点，过第一路径点做第二障碍物与第三障碍物几何中心连线的垂线段、取垂点为第二路径点，过第二路径点做第三障碍物的切线、取切点为第三路径点，……，依次循环、直至最终路径点与进给终点直连；进给起点、各个路径点、进给终点的连线即为进给路径。

Images