CN112818781B - 基于视觉缩放法判断串型水果母枝干扰类型的方法 - Google Patents

Abstract

本发明提供一种基于视觉缩放法判断串型水果母枝干扰类型的方法，该方法首先通过单目相机与双目相机的配合对母枝实现预定位，得到母枝的预定位图像及预定位几何中心点，然后通过双目视觉相机获取采摘过程中母枝的实际定位图像及实际定位几何中心点；最后利用单目视觉缩放法，比较母枝的实际定位图像与预定位图像，确定母枝受干扰类型。该方法不仅能精确、有效的识别果串以及对果串母枝进行预定位，还能在采摘过程中准确判断母枝的受干扰类型、避免因外界因素影响，进而使得采摘机器人精确剪断果串母枝，保证果串的完整性，提高采摘效率、降低采摘成本，节约劳动力。

Description

基于视觉缩放法判断串型水果母枝干扰类型的方法

技术领域

本发明涉及水果智能采摘技术领域，具体涉及一种基于视觉缩放法判断串型水果母枝干扰类型的方法。

背景技术

我国是龙眼、葡萄、荔枝等串型水果的重要生产国，同时也深受广大消费者的喜爱；例如荔枝，分布于我国的西南部、南部和东南部，广东和福建南部栽培最盛，荔枝与香蕉、菠萝、龙眼一同号称“南国四大果品”。

针对于串型水果的采摘，目前主要依赖于人工，但人工采摘一是采摘劳动强度大、采摘费用高，浪费大量的人力物力；二是人工采摘效率低、耗时长、成本高。

伴随着科技的进步，机械自动化、智能化已广泛应用于各行各业；对于水果采摘领域而言，采摘机器人的研究和应用越来越多，这对解放人工劳动力、降低人力成本、提高采摘效率有着重要意义。

在采摘串型水果的过程中，人们首先需要确定果串的母枝，然后以采摘、剪断母枝的方式实现采摘；从母枝进行果串的剪断确保了果串的完整性、避免其散成若干小串，从而有利于储存、运输以及保证果串的美观性，确保其经济价值。但是，由于串型水果自身生长特点，果串整体极易随机分布生长，从而造成果串识别难、母枝识别定位难、无法准确找到整个串型水果母枝的问题；并且，采摘过程中伴随着风、光照、露水等外部环境的影响，导致母枝的位置发生变化或被遮挡，从而导致采摘机器人采摘失败或错误剪断而损伤果实，因此，若要实现智能采摘，不仅要精确定位母枝的位置，还要在采摘过程中识别母枝的受干扰类型，从而准确的抗干扰、达到精确剪断母枝的作用。

发明内容

针对以上现有技术存在的问题，本发明的目的在于提供一种基于视觉缩放法判断串型水果母枝干扰类型的方法，该方法不仅能精确、有效的识别果串以及对果串母枝进行预定位，还能在采摘过程中准确判断母枝的受干扰类型、避免因外界因素(如风、光照、露水等)影响，进而使得采摘机器人精确剪断果串母枝，保证果串的完整性，提高采摘效率、降低采摘成本，节约劳动力。

本发明的目的通过以下技术方案实现：

一种基于视觉缩放法判断串型水果母枝干扰类型的方法，其特征在于：

S100、首先通过单目CCD相机与双目CCD相机的配合实现对母枝的预定位，其具体步骤为：

S101：采用单目CCD相机随机获取连同串型水果果实、叶子以及树枝在内的多副彩色图像；选取并划分彩色图像内的多个果实目标以及非果实目标，并分别提取果实目标以及非果实目标的纹理特征值与颜色特征值，作为正负样本；

S102、采用支持向量机SVM对正负样本进行训练、生成多个弱分类器；然后采用AdaBoost算法构造强分类器，通过强分类器分割单目CCD相机获取的彩色图像，并将从图像中识别到的果实目标单独存储成彩色图像I₁；

S103、重复步骤S101～S102，分别得到识别树枝与叶子的强分类器；然后分别在去除图像I₁的原始彩色图像中分割提取出树枝与叶子，分别存储成彩色图像I₂和彩色图像I₃；

S104、根据果实的分布位置将果串分为单果实果串、双果实果串以及多果实果串，进而确定彩色图像I₁中随机分布的果实所属的果串类型；

S105、根据步骤S104中所确定的果串类型进行母枝确定：

对于单果实果串，其与果实相连的树枝即为母枝；

对于双果实果串与多果实果串，首先在彩色图像I₁中做果串的轮廓外切矩形上下底的中垂线，然后结合彩色图像I₁与彩色图像I₂进行融合分析，通过彩色图像I₁的中垂线与彩色图像I₂的树枝相切情况确定果串的母枝；

S106、利用双目CCD相机获取果串母枝的双目立体图像，取双目CCD相机左图像中的母枝外接矩形几何中心点作为特征匹配点，在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点，实现特征匹配，得到母枝的几何中心点；最后计算母枝几何中心点的空间坐标，实现对母枝的预定位，得到母枝的预定位图像及预定位几何中心点；

S200、采摘过程中，利用步骤S100中的方法，采用双目视觉相机获取采摘过程中母枝的实际定位图像及实际定位几何中心点；然后利用单目视觉缩放法，比较母枝的实际定位图像与预定位图像，确定母枝受干扰类型。

采用对果串类型分类以及利用贯串轮廓线外切矩形的中垂线进行母枝的确定，一是能有效消除每颗果实所连接的分枝的干扰、提高辨认精度；二是快速识别到果串的母枝，增加识别效率以及减少识别时间。

作进一步优化，所述步骤S104中采用果串分类原则进行单果实果串、双果实果串以及多果实果串的分类；

具体为：单果实果串：若一个果实的几何中心与其他任何果实的几何中心之间的欧式距离大于单个果实的平均直径，则该果实为单果实果串；双果实果串：若两个相邻果实几何中心间的欧式距离小于这两个果实的直径和，则这两个果实为一个双果实果串；多果实果串：若两个以上果实中，任意两个果实几何中心之间的欧式距离均小于两个果实的直径和，则该组果实为多果实果串。

作进一步优化，所述步骤S105中通过彩色图像I₁的中垂线与彩色图像I₂的树枝相切情况确定果串的母枝具体为：将果串的轮廓外切矩形上下底的中垂线绕该中垂线下方的点、向靠近树枝的一侧旋转，与该中垂线最先相切的树枝为该果串的母枝。

作进一步优化，所述步骤S106中在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点的步骤具体为：

首先，通过双目CCD相机左图像P₁的特征匹配点(x，y)构建匹配窗口，同时右图像P₂的待匹配点(x+m，y+m)同样构建匹配窗口，通过归一化相关函数进行相关程度度量，具体公式如下：

式中，F(m,n)表示归一化相关函数；(m,n)表示右图像相对于左图像的位置向量；W_p表示以待匹配点坐标为中心的匹配窗口；P₂(x+m,y+n)表示右图像待匹配点的灰度值；

表示右图像匹配窗口的灰度均值；P₁(x,y)表示左图像特征匹配点的灰度值；

表示左图像匹配窗口的灰度均值；

式中，F(m,n)的取值范围为[-1,1]；

当F(m,n)＝-1时，左图像的特征匹配点与右图像的待匹配点完全不相关；

当F(m,n)＝1时，左图像的特征匹配点与右图像的待匹配点完全匹配，即待匹配点为特征匹配点灰度值最接近且为使其归一化互相关函数达到最大值的点。

优选的，所述匹配窗口通常为3*3的匹配窗口。

作进一步优化，所述左图像与右图像在进行特征匹配前进行极线校正，从而使左图像与右图像的极线处于水平方向，即使左图像与右图像图像的光心处于同一水平线上。

优选的，采用Bouguet极线校正算法进行极线校正。

作进一步优化，所述步骤S106中采用三角测量原理计算母枝几何中心点的空间坐标。

作进一步优化，所述步骤S200具体为：

S201、首先通过双目视觉相机是否识别到实际定位图像中的果串母枝判断其是否被遮挡；

若所述实际定位图像中未识别到果串母枝，则将所述预定位图像叠加到所述实际定位图像上，通过单目视觉缩放法判断所述预定位图像与所述实际定位图像的八邻域像素是否属于同一事物；

若属于，则判定该实际定位图像中的母枝被树枝遮挡；

若不属于，进一步将实际定位图像的八邻域像素与彩色图像I₁、彩色图像I₃的八邻域像素进行比较，判断为果实遮挡或是叶子遮挡；

S202、若所述实际定位图像中识别到果串母枝，则实际定位图像中的母枝未被遮挡，然后确定所述预定位图像中的预定位几何中心点O₁以及所述实际定位图像中的实际定位几何中心点O₂之间的偏差相对值d(即O₁与O₂两点间的直线距离)，通过偏差相对值d与预设阈值之间的关系、判断母枝是否发生偏移；

若偏差相对值d不大于预设阈值，则视为无干扰；

若偏差相对值d大于预设阈值，且O₂点通过单目视觉缩放法缩放的八邻域像素、经多维SVM分类器判断属于枝，则确定O₂点所代表的的母枝是在动力因素的干扰下相对于O₁点的位置发生偏移；若偏差相对值d大于预设阈值，而O₂点通过单目视觉缩放法缩放的八邻域像素、经多维SVM分类器判断不属于枝，则输出错误信号。

优选的，所述动力因素为风力、重力等因素。

作进一步优化，所述预设阈值通过预定位图像母枝的外接矩形得到，具体为：

首先，构建预定位图像中母枝的外接矩形框；然后获得外接矩形框的底边像素数p以及预定位图像像素横行总数a；最终得到预设阈值d₀；具体公式为：

本发明具有如下技术效果：

本发明提供的方法能快速、有效、准确的确定串型水果的母枝，避免果实分枝的干扰以及果实、叶子的遮挡影响母枝的识别，从而避免采摘时无法准确对母枝进行剪断、导致串型水果散开或果实易脱落，进而影响后续储存、运输；同时，本发方法还能准确识别采摘过程中母枝所受的干扰类型，进而快速、有效的采用在采摘过程中提供抗干扰手段，避免采摘过程因其他因素(如风力吹动、叶子遮挡等)的干扰而导致采摘机器人错剪、漏剪或损伤果实等采摘失败的行为出现。

本发明方法有效提高采摘串型水果过程中的智能化水平，自动对果树进行拍照、分析、母枝空间坐标点的确认以及对采摘过程中母枝杆干扰类型的识别，提高了采摘的工作效率及串型水果的收率，避免采摘过程中损伤串型水果以及错剪的行为发生。

附图说明

图1为本发明实施例中判断母枝干扰类型的流程图。

图2为本发明实施例中识别串型水果母枝的原理示意图。

图3为本发明实施例中判断母枝干扰类型的原理示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

如图1～3所示，以荔枝为例，一种基于视觉缩放法判断串型水果母枝干扰类型的方法，其特征在于：

S100、首先通过单目CCD相机与双目CCD相机的配合实现对母枝的预定位，其具体步骤为：

S101：采用单目CCD相机随机获取连同串型水果果实、叶子以及树枝在内的多副彩色图像；选取并划分彩色图像内的多个果实目标以及非果实目标，并分别提取果实目标以及非果实目标的纹理特征值与颜色特征值，作为正负样本；

S102、采用支持向量机SVM对正负样本进行训练、生成多个弱分类器；然后采用AdaBoost算法构造强分类器，通过强分类器分割单目CCD相机获取的彩色图像，并将从图像中识别到的果实目标单独存储成彩色图像I₁；

S103、重复步骤S101～S102，分别得到识别树枝与叶子的强分类器；然后分别在去除图像I₁的原始彩色图像中分割提取出树枝与叶子，分别存储成彩色图像I₂和彩色图像I₃；

S104、根据果实的分布位置并采用果串分类原则将果串分为单果实果串、双果实果串以及多果实果串，进而确定彩色图像I₁中随机分布的果实所属的果串类型；

具体为：单果实果串：若一个果实的几何中心与其他任何果实的几何中心之间的欧式距离大于单个果实的平均直径，则该果实为单果实果串；双果实果串：若两个相邻果实几何中心间的欧式距离小于这两个果实的直径和，则这两个果实为一个双果实果串；多果实果串：若两个以上果实中，任意两个果实几何中心之间的欧式距离均小于两个果实的直径和，则该组果实为多果实果串。

S105、根据步骤S104中所确定的果串类型进行母枝确定：

对于单果实果串，其与果实相连的树枝即为母枝；

对于双果实果串与多果实果串，首先在彩色图像I₁中做果串的轮廓外切矩形上下底的中垂线，然后结合彩色图像I₁与彩色图像I₂进行融合分析，通过彩色图像I₁的中垂线与彩色图像I₂的树枝相切情况确定果串的母枝；具体为：将果串的轮廓外切矩形上下底的中垂线绕该中垂线下方的点、向靠近树枝的一侧旋转，与该中垂线最先相切的树枝为该果串的母枝。

S106、利用双目CCD相机获取果串母枝的双目立体图像，取双目CCD相机左图像中的母枝外接矩形几何中心点作为特征匹配点，在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点，具体步骤为：

首先，通过双目CCD相机左图像P₁的特征匹配点(x，y)构建匹配窗口，同时右图像P₂的待匹配点(x+m，y+m)同样构建匹配窗口，通过归一化相关函数进行相关程度度量，具体公式如下：

式中，F(m,n)表示归一化相关函数；(m,n)表示右图像相对于左图像的位置向量；W_p表示以待匹配点坐标为中心的匹配窗口；P₂(x+m,y+n)表示右图像待匹配点的灰度值；

表示右图像匹配窗口的灰度均值；P₁(x,y)表示左图像特征匹配点的灰度值；

表示左图像匹配窗口的灰度均值；

式中，F(m,n)的取值范围为[-1,1]；

当F(m,n)＝-1时，左图像的特征匹配点与右图像的待匹配点完全不相关；

当F(m,n)＝1时，左图像的特征匹配点与右图像的待匹配点完全匹配，即待匹配点为特征匹配点灰度值最接近且为使其归一化互相关函数达到最大值的点。实现左图像与右图像的特征匹配，得到母枝的几何中心点；

匹配窗口通常为3*3的匹配窗口。

左图像与右图像在进行特征匹配前需要进行极线校正，从而使左图像与右图像的极线处于水平方向，即使左图像与右图像图像的光心处于同一水平线上；采用Bouguet极线校正算法进行极线校正。

最后计算母枝几何中心点的空间坐标，实现对母枝的预定位，得到母枝的预定位图像及预定位几何中心点。

S200、采摘过程中，利用步骤S100中的方法，采用双目视觉相机获取采摘过程中母枝的实际定位图像及实际定位几何中心点；然后利用单目视觉缩放法，比较母枝的实际定位图像与预定位图像，确定母枝受干扰类型；

具体为：

S201、首先通过双目视觉相机是否识别到实际定位图像中的果串母枝判断其是否被遮挡；

若实际定位图像中未识别到果串母枝，则将预定位图像叠加到实际定位图像上，通过单目视觉缩放法判断预定位图像与实际定位图像的八邻域像素是否属于同一事物；

若属于，则判定该实际定位图像中的母枝被树枝遮挡；

若不属于，进一步将实际定位图像的八邻域像素与彩色图像I₁、彩色图像I₃的八邻域像素进行比较，判断为果实遮挡或是叶子遮挡；

如图3所示，O₁’点为预定位图像中的母枝预定位几何中心点，但由于外界动力因素，在采摘过程中其被以O₁点为预定位几何中心点的母枝遮挡，从而在实际定位图像中，以O₂’点为实际定位几何中心点的母枝被遮挡，通过八邻域像素的同一事物判断其被以O₂点为预定位几何中心点的母枝的树枝遮挡。

S202、若所述实际定位图像中识别到果串母枝，则实际定位图像中的母枝未被遮挡，然后确定所述预定位图像中的预定位几何中心点O₁以及所述实际定位图像中的实际定位几何中心点O₂之间的偏差相对值d(即O₁与O₂两点间的直线距离)，通过偏差相对值d与预设阈值之间的关系、判断母枝是否发生偏移；

若偏差相对值d不大于预设阈值，则视为无干扰(即无动力因素的干扰是母枝发生偏移)；

若偏差相对值d大于预设阈值，且O₂点通过单目视觉缩放法缩放的八邻域像素、经多维SVM分类器判断属于枝，则确定O₂点所代表的的母枝是在动力因素的干扰下相对于O₁点的位置发生偏移；若偏差相对值d大于预设阈值，而O₂点通过单目视觉缩放法缩放的八邻域像素、经多维SVM分类器判断不属于枝，则输出错误信号(错误信号报警后，由人工进行分析判断)。

动力因素为风力、重力等因素。

所述预设阈值通过预定位图像母枝的外接矩形得到，具体为：

首先，构建预定位图像中母枝的外接矩形框；然后获得外接矩形框的底边像素数p以及预定位图像像素横行(即像素的每一行)总数a；最终得到预设阈值d₀；具体公式为：

其中，d₀的计算与图像像素有关，即a值影响d₀的计算结果；同时，预设阈值与串型水果种类有关、即母枝的粗细影响最终p值。

以荔枝为例，若图像像素为640x480，荔枝母枝外接矩形底边为22，则可以计算得到其预设阈值为0.03。

采用对果串类型分类以及利用贯串轮廓线外切矩形的中垂线进行母枝的确定，一是能有效消除每颗果实所连接的分枝的干扰、提高辨认精度；二是快速识别到果串的母枝，增加识别效率以及减少识别时间。

该方法有效提高采摘串型水果过程中的智能化水平，自动对果树进行拍照、分析、母枝空间坐标点的确认以及对采摘过程中母枝杆干扰类型的识别，提高了采摘的工作效率及串型水果的收率，避免采摘过程中损伤串型水果以及错剪的行为发生。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种基于视觉缩放法判断串型水果母枝干扰类型的方法，其特征在于：

S100、首先通过单目CCD相机与双目CCD相机的配合实现对母枝的预定位，其具体步骤为：

S101：采用单目CCD相机随机获取连同串型水果果实、叶子以及树枝在内的多副彩色图像；选取并划分彩色图像内的多个果实目标以及非果实目标，并分别提取果实目标以及非果实目标的纹理特征值与颜色特征值，作为正负样本；

S102、采用支持向量机SVM对正负样本进行训练、生成多个弱分类器；然后采用AdaBoost算法构造强分类器，通过强分类器分割单目CCD相机获取的彩色图像，并将从图像中识别到的果实目标单独存储成彩色图像I₁；

S103、重复步骤S101～S102，分别得到识别树枝与叶子的强分类器；然后分别在去除图像I₁的原始彩色图像中分割提取出树枝与叶子，分别存储成彩色图像I₂和彩色图像I₃；

S104、根据果实的分布位置将果串分为单果实果串、双果实果串以及多果实果串，进而确定彩色图像I₁中随机分布的果实所属的果串类型；

S105、根据步骤S104中所确定的果串类型进行母枝确定：

对于单果实果串，其与果实相连的树枝即为母枝；

对于双果实果串与多果实果串，首先在彩色图像I₁中做果串的轮廓外切矩形上下底的中垂线，然后结合彩色图像I₁与彩色图像I₂进行融合分析，通过彩色图像I₁的中垂线与彩色图像I₂的树枝相切情况确定果串的母枝；

S106、利用双目CCD相机获取果串母枝的双目立体图像，取双目CCD相机左图像中的母枝外接矩形几何中心点作为特征匹配点，在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点，实现特征匹配，得到母枝的几何中心点；最后计算母枝几何中心点的空间坐标，实现对母枝的预定位，得到母枝的预定位图像及预定位几何中心点；

S200、采摘过程中，利用步骤S100中的方法，采用双目视觉相机获取采摘过程中母枝的实际定位图像及实际定位几何中心点；然后利用单目视觉缩放法，比较母枝的实际定位图像与预定位图像，确定母枝受干扰类型。

2.根据权利要求1所述的一种基于视觉缩放法判断串型水果母枝干扰类型的方法，其特征在于：所述步骤S104中采用果串分类原则进行单果实果串、双果实果串以及多果实果串的分类；

单果实果串：若一个果实的几何中心与其他任何果实的几何中心之间的欧式距离大于单个果实的平均直径，则该果实为单果实果串；双果实果串：若两个相邻果实几何中心间的欧式距离小于这两个果实的直径和，则这两个果实为一个双果实果串；多果实果串：若两个以上果实中，任意两个果实几何中心之间的欧式距离均小于两个果实的直径和，则该组果实为多果实果串。

3.根据权利要求2所述的一种基于视觉缩放法判断串型水果母枝干扰类型的方法，其特征在于：所述步骤S105中通过彩色图像I₁的中垂线与彩色图像I₂的树枝相切情况确定果串的母枝具体为：将果串的轮廓外切矩形上下底的中垂线绕该中垂线下方的点、向靠近树枝的一侧旋转，与该中垂线最先相切的树枝为该果串的母枝。

4.根据权利要求1-3任一项所述的一种基于视觉缩放法判断串型水果母枝干扰类型的方法，其特征在于：所述步骤S106中在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点的步骤具体为：

首先，通过双目CCD相机左图像P₁的特征匹配点(x，y)构建匹配窗口，同时右图像P₂的待匹配点(x+m，y+m)同样构建匹配窗口，通过归一化相关函数进行相关程度度量，具体公式如下：

式中，F(m,n)表示归一化相关函数；(m,n)表示右图像相对于左图像的位置向量；W_p表示以待匹配点坐标为中心的匹配窗口；P₂(x+m,y+n)表示右图像待匹配点的灰度值；

表示右图像匹配窗口的灰度均值；P₁(x,y)表示左图像特征匹配点的灰度值；

表示左图像匹配窗口的灰度均值；

式中，F(m,n)的取值范围为[-1,1]；

当F(m,n)＝-1时，左图像的特征匹配点与右图像的待匹配点完全不相关；

当F(m,n)＝1时，左图像的特征匹配点与右图像的待匹配点完全匹配，即待匹配点为特征匹配点灰度值最接近且为使其归一化互相关函数达到最大值的点。

5.根据权利要求1所述的一种基于视觉缩放法判断串型水果母枝干扰类型的方法，其特征在于：所述步骤S200具体为：

S201、首先通过双目视觉相机是否识别到实际定位图像中的果串母枝判断其是否被遮挡；

若所述实际定位图像中未识别到果串母枝，则将所述预定位图像叠加到所述实际定位图像上，通过单目视觉缩放法判断所述预定位图像与所述实际定位图像的八邻域像素是否属于同一事物；

若属于，则判定该实际定位图像中的母枝被树枝遮挡；

若不属于，进一步将实际定位图像的八邻域像素与彩色图像I₁、彩色图像I₃的八邻域像素进行比较，判断为果实遮挡或叶子遮挡；

S202、若所述实际定位图像中识别到果串母枝，则实际定位图像中的母枝未被遮挡，然后确定所述预定位图像中的预定位几何中心点O₁以及所述实际定位图像中的实际定位几何中心点O₂之间的偏差相对值d，通过偏差相对值d与预设阈值之间的关系、判断母枝是否发生偏移；

若偏差相对值d不大于预设阈值，则视为无干扰；

若偏差相对值d大于预设阈值，且O₂点通过单目视觉缩放法缩放的八邻域像素、经多维SVM分类器判断属于枝，则确定O₂点所代表的的母枝是在动力因素的干扰下相对于O₁点的位置发生偏移；若偏差相对值d大于预设阈值，而O₂点通过单目视觉缩放法缩放的八邻域像素、经多维SVM分类器判断不属于枝，则输出错误信号。

Images