CN112802099A - 一种适用于串型水果的采摘方法 - Google Patents
一种适用于串型水果的采摘方法 Download PDFInfo
- Publication number
- CN112802099A CN112802099A CN202110081743.6A CN202110081743A CN112802099A CN 112802099 A CN112802099 A CN 112802099A CN 202110081743 A CN202110081743 A CN 202110081743A CN 112802099 A CN112802099 A CN 112802099A
- Authority
- CN
- China
- Prior art keywords
- point
- fruit
- image
- branch
- mother
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 186
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000004438 eyesight Effects 0.000 claims abstract description 38
- 230000008569 process Effects 0.000 claims abstract description 24
- 230000033001 locomotion Effects 0.000 claims description 22
- 238000005314 correlation function Methods 0.000 claims description 14
- 238000012706 support-vector machine Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 5
- 241000132456 Haplocarpha Species 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims 1
- 238000010008 shearing Methods 0.000 abstract description 4
- 238000005265 energy consumption Methods 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 description 8
- 244000183278 Nephelium litchi Species 0.000 description 6
- 238000005520 cutting process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 240000001008 Dimocarpus longan Species 0.000 description 2
- 235000000235 Euphoria longan Nutrition 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 244000099147 Ananas comosus Species 0.000 description 1
- 235000007119 Ananas comosus Nutrition 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 240000008790 Musa x paradisiaca Species 0.000 description 1
- 241000219094 Vitaceae Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 235000021015 bananas Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000021021 grapes Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D91/00—Methods for harvesting agricultural products
- A01D91/04—Products growing above the soil
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Environmental Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种适用于串型水果的采摘方法,该方法首先通过单目相机与双目相机的配合对母枝实现预定位,得到母枝的预定位图像及预定位几何中心点;然后通过双目视觉相机获取采摘过程中母枝的实际定位图像及实际定位几何中心点,再利用单目视觉缩放法,比较母枝的实际定位图像与预定位图像,确定母枝受干扰类型;然后利用空气动力进行主动抗扰;最终确定采摘机器人的进给终点与进给路径,实现采摘。该方法能快速、精确的实现对串型水果母枝的剪切,实现完全智能化采摘,从而有效提高采摘的工作效率及串型水果的收率,降低采摘作业的能耗、减少采摘劳动力及成本。
Description
技术领域
本发明涉及水果智能采摘技术领域,具体涉及一种适用于串型水果的采摘方法。
背景技术
荔枝、龙眼、葡萄等串型水果广泛分布于我国的西南部、南部和东南部,并且,荔枝和龙眼两种串型水果与香蕉、菠萝一同号称“南国四大果品”,是我国水果产业的重要经济支柱。对于串型水果的采摘,目前主要依赖于人工,但人工采摘一是采摘劳动强度大、采摘费用高,浪费大量的人力物力;二是人工采摘效率低、耗时长、成本高。
随着科技的进步,机械自动化、智能化已广泛应用于各行各业;对于水果智能采摘领域,采摘机器人的研究和应用越来越多,有效的解放了人工劳动力、降低人力成本,同时提高了采摘效率、节约了采摘时间。采摘串型水果的过程中,首先通过人工确定果串的母枝,然后在采用采摘机器人进行采摘、剪断母枝,实现采摘;从母枝进行果串的剪断确保了果串的完整性、避免其散成若干小串或颗粒,从而有利于储存、运输以及保证果串的美观性,确保其经济价值。但是,由于串型水果自身生长特点,果串整体极易随机分布生长,从而造成果串识别难、母枝识别定位难、无法准确找到整个串型水果母枝的问题;同时,由于采摘过程中伴随着风、光照、露水等外部环境,从而导致母枝的位置在采摘过程中会发生变化或被遮挡,进而导致采摘机器人采摘失败或错错剪、漏剪而损伤果实,造成采摘效率低下、拉长采摘时间段以及提高采摘成本。
因此,若要实现对串型水果的采摘,需要将对视觉的感知系统、对干扰识别和主动抗扰系统以及机械手运动轨迹分析系统协同配合建模,从而实现精确剪切串型水果的母枝,避免错剪、漏剪,提高采摘效率以及降低采摘成本,实现串型水果的采摘智能化。
发明内容
针对以上现有技术存在的问题,本发明的目的在于提供一种适用于串型水果的采摘方法,以解决上述背景技术中所涉及的问题。
本发明的目的通过以下技术方案实现:
一种适用于串型水果的采摘方法,其特征在于:
S100、首先通过单目相机与双目相机配合实现对母枝的预定位,其具体步骤为:
S101:采用单目CCD相机随机获取连同串型水果果实、叶子以及树枝在内的多副彩色图像;选取并划分彩色图像内的多个果实目标以及非果实目标,并分别提取果实目标以及非果实目标的纹理特征值与颜色特征值,作为正负样本;
S102、采用支持向量机SVM对正负样本进行训练、生成多个弱分类器;然后采用AdaBoost算法构造强分类器,通过强分类器分割单目CCD相机获取的彩色图像,并将从图像中识别到的果实目标单独存储成彩色图像I1;
S103、重复步骤S101~S102,分别得到识别树枝与叶子的强分类器;然后分别在去除图像I1的原始彩色图像中分割提取出树枝与叶子,分别存储成彩色图像I2和彩色图像I3;
S104、根据果实的分布位置将果串分为单果实果串、双果实果串以及多果实果串,进而确定彩色图像I1中随机分布的果实所属的果串类型;
S105、根据步骤S104中所确定的果串类型进行母枝确定:
对于单果实果串,其与果实相连的树枝即为母枝;
对于双果实果串与多果实果串,首先在彩色图像I1中做果串的轮廓外切矩形上下底的中垂线,然后结合彩色图像I1与彩色图像I2进行融合分析,通过彩色图像I1的中垂线与彩色图像I2的树枝相切情况确定果串的母枝;
S106、利用双目CCD相机获取果串母枝的双目立体图像,取双目CCD相机左图像中的母枝外接矩形几何中心点作为特征匹配点,在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点,实现特征匹配,得到母枝的几何中心点;最后计算母枝几何中心点的空间坐标,实现对母枝的预定位,得到母枝的预定位图像及预定位几何中心点;
S200、采摘过程中,利用步骤S100中的方法,采用双目视觉获取采摘过程中母枝的实际定位图像及实际定位几何中心点;然后利用单目视觉缩放法,比较母枝的实际定位图像与预定位图像,确定母枝受干扰类型;
S300、根据步骤S200中确定的母枝受干扰类型,利用空气动力进行主动抗扰;
S400、基于步骤S300中的主动抗扰方法,确定采摘机器人机械手臂的进给终点;根据进给终点,确定采摘机器人机械手臂的进给路径,进行串型水果的采摘。
采用对果串类型分类以及利用贯串轮廓线外切矩形的中垂线进行母枝的确定,一是能有效消除每颗果实所连接的分枝的干扰、提高辨认精度;二是快速识别到果串的母枝,增加识别效率以及减少识别时间。
作进一步优化,所述步骤S104中采用果串分类原则进行单果实果串、双果实果串以及多果实果串的分类;
具体为:单果实果串:若一个果实的几何中心与其他任何果实的几何中心之间的欧式距离大于单个果实的平均直径,则该果实为单果实果串;双果实果串:若两个相邻果实几何中心间的欧式距离小于这两个果实的直径和,则这两个果实为一个双果实果串;多果实果串:若两个以上果实中,任意两个果实几何中心之间的欧式距离均小于两个果实的直径和,则该组果实为多果实果串。
作进一步优化,所述步骤S105中通过彩色图像I1的中垂线与彩色图像I2的树枝相切情况确定果串的母枝具体为:将果串的轮廓外切矩形上下底的中垂线绕该中垂线下方的点、向靠近树枝的一侧旋转,与该中垂线最先相切的树枝为该果串的母枝。
作进一步优化,所述步骤S106中在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点的步骤具体为:
首先,通过双目CCD相机左图像P1的特征匹配点(x,y)构建匹配窗口,同时右图像P2的待匹配点(x+m,y+m)同样构建匹配窗口,通过归一化相关函数进行相关程度度量,具体公式如下:
式中,F(m,n)表示归一化相关函数;(m,n)表示右图像相对于左图像的位置向量;Wp表示以待匹配点坐标为中心的匹配窗口;P2(x+m,y+n)表示右图像待匹配点的灰度值;表示右图像匹配窗口的灰度均值;P1(x,y)表示左图像特征匹配点的灰度值;表示左图像匹配窗口的灰度均值;
式中,F(m,n)的取值范围为[-1,1];
当F(m,n)=-1时,左图像的特征匹配点与右图像的待匹配点完全不相关;
当F(m,n)=1时,左图像的特征匹配点与右图像的待匹配点完全匹配,即待匹配点为特征匹配点灰度值最接近且为使其归一化互相关函数达到最大值的点。
优选的,所述匹配窗口通常为3*3的匹配窗口。
作进一步优化,所述左图像与右图像在进行特征匹配前进行极线校正,从而使左图像与右图像的极线处于水平方向,即使左图像与右图像图像的光心处于同一水平线上。
优选的,采用Bouguet极线校正算法进行极线校正。
作进一步优化,所述步骤S106中采用三角测量原理计算母枝几何中心点的空间坐标。
作进一步优化,所述步骤S200具体为:
S201、首先通过双目视觉相机是否识别到实际定位图像中的果串母枝判断其是否被遮挡;
若所述实际定位图像中未识别到果串母枝,则将所述预定位图像叠加到所述实际定位图像上,通过单目视觉缩放法判断所述预定位图像与所述实际定位图像的八邻域像素是否属于同一事物;
若属于,则判定该实际定位图像中的母枝被树枝遮挡;
若不属于,进一步将实际定位图像的八邻域像素与彩色图像I1、彩色图像I3的八邻域像素进行比较,判断为果实遮挡或是叶子遮挡;
S202、若所述实际定位图像中识别到果串母枝,则实际定位图像中的母枝未被遮挡,然后确定所述预定位图像中的预定位几何中心点O1以及所述实际定位图像中的实际定位几何中心点O2之间的偏差相对值d(即O1与O2两点间的直线距离),通过偏差相对值d与预设阈值之间的关系、判断母枝是否发生偏移;
若偏差相对值d不大于预设阈值,则视为无干扰;
若偏差相对值d大于预设阈值,且O2点通过单目视觉缩放法缩放的八邻域像素、经多维SVM分类器判断属于枝,则确定O2点所代表的的母枝是在动力因素的干扰下相对于O1点的位置发生偏移;若偏差相对值d大于预设阈值,而O2点通过单目视觉缩放法缩放的八邻域像素、经多维SVM分类器判断不属于枝,则输出错误信号。
优选的,所述动力因素为风力、重力等因素。
作进一步优化,所述预设阈值通过预定位图像母枝的外接矩形得到,具体为:
首先,构建预定位图像中母枝的外接矩形框;然后获得外接矩形框的底边像素数p以及预定位图像像素横行总数a;最终得到预设阈值d0;具体公式为:
作进一步优化,所述步骤S300具体为:
若母枝被遮挡,首先利用空气动力使遮挡物与目标母枝分离;然后利用空气动力(设定空气动力的方向、强度等)使母枝的几何中心点回到预定位几何中心点的位置,再利用单、双目视觉相机记录母枝几何中心点的运动轨迹以及在相机平面距进给起点最远和最近的点,得到母枝几何中心点的运动周期,同时采用双目视觉相机获取遮挡物的空间点云、构建与遮挡物完全相切的空间包围体,利用单、双目视觉相机记录空间包围体的运动轨迹以及在相机平面距进给起点最远和最近的点,得到空间包围体所包围遮挡物的运动周期;
若母枝未被遮挡、仅发生偏移,利用空气动力(设定空气动力的方向、强度等)使母枝的几何中心点回到预定位几何中心点的位置,再利用单、双目视觉相机记录母枝几何中心点的运动轨迹以及在相机平面距进给起点最远和最近的点,得到母枝几何中心点的运动周期。
作进一步优化,所述步骤S400具体为:
S401、进给终点的确定:
若母枝未被遮挡、仅发生偏移,则母枝几何中心点运动轨迹距在相机平面距进给起点最近点的空间坐标、即为采摘机器人机械手臂的进给终点;
若母枝被遮挡,首先通过母枝几何中心点与遮挡物的空间包围体分别在相机平面距进给起点的最远位置与最近位置、确定母枝与遮挡物之间的最大空间余度,所述最大空间余度的中心即为采摘机器人机械手臂的进给终点;所述空间余度为母枝几何中心点与遮挡物的空间包围体分别在相机平面距进给起点的最远位置(点)及最近位置(点)的连线为直径形成的圆、圆心即为进给终点;
S402、进给路径的确定:
首先,采用双目视觉相机与空间几何原理,构建进给起点到进给终点潜在路径中障碍物的空间包围体;然后由靠近到远离所述进给起点分别将空间包围体定义为第一障碍物、第二障碍物、第三障碍物、……、第n障碍物,过进给起点做第一障碍物的切线、取切点为第一路径点,过第一路径点做第二障碍物与第三障碍物几何中心连线的垂线段、取垂点为第二路径点,过第二路径点做第三障碍物的切线、取切点为第三路径点,……,依次循环、直至最终路径点与进给终点直连;进给起点、各个路径点、进给终点的连线即为进给路径。
优选的,所述进给路径需融合采摘机器人的坐标系以及相机坐标系,基于采摘机器人的各关节变量,确立采摘机器人机械手臂剪夹母枝的空间位置及姿态。
本发明具有如下技术效果:
本发明方法通过单目相机与双目相机的结合能够快速、有效、准确的识别串型水果的母枝,通过视图缩放的方式能有准确判断母枝所受干扰的类型,通过空气动力能够有效解决母枝因动力因素而产生的干扰;同时,本发明通过确立母枝、干扰类型以及抗扰动作,能有准确、有效的得到最优进给路径,进而实现采摘过程中能量最小、路径最短、效率最高,确保整体成本最低。
本发明方法确立母枝有效避免采摘时无法准确对母枝进行剪断、导致串型水果散开或果实易脱落,进而影响后续储存、运输;通过,通空气动力抗干扰能有效避免采摘过程中错剪、漏剪等情况,避免采摘失败或者损伤果实;通过进给路径的模拟计算,确保整体能耗最小、提高采摘效率、节约采摘时间。
本发明在采摘过程中实现完全智能化采摘,自动对果树进行拍照、分析、母枝空间坐标点的确认、对采摘过程中母枝杆干扰类型的识别、进给终点的确立以及进给路径的计算,从而提高采摘的工作效率及串型水果的收率,减少采摘劳动力。
附图说明
图1为本发明实施例中识别串型水果母枝及判断母枝干扰类型的流程图。
图2为本发明实施例中确定进给终点及进给路径的流程图。
图3为本发明实施例中识别串型水果母枝的原理示意图。
图4为本发明实施例中判断母枝干扰类型的原理示意图。
图5为本发明实施例中采摘机器人路径规划示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例:
如图1~5所示,以荔枝为例,一种适用于串型水果的采摘方法,其特征在于:
S100、首先通过单目相机与双目相机的配合对母枝实现预定位,其具体步骤为:
S101:采用单目CCD相机随机获取连同串型水果果实、叶子以及树枝在内的多副彩色图像;选取并划分彩色图像内的多个果实目标以及非果实目标,并分别提取果实目标以及非果实目标的纹理特征值与颜色特征值,作为正负样本;
S102、采用支持向量机SVM对正负样本进行训练、生成多个弱分类器;然后采用AdaBoost算法构造强分类器,通过强分类器分割单目CCD相机获取的彩色图像,并将从图像中识别到的果实目标单独存储成彩色图像I1;
S103、重复步骤S101~S102,分别得到识别树枝与叶子的强分类器;然后分别在去除图像I1的原始彩色图像中分割提取出树枝与叶子,分别存储成彩色图像I2和彩色图像I3;
S104、根据果实的分布位置并采用果串分类原则将果串分为单果实果串、双果实果串以及多果实果串,进而确定彩色图像I1中随机分布的果实所属的果串类型;
具体为:单果实果串:若一个果实的几何中心与其他任何果实的几何中心之间的欧式距离大于单个果实的平均直径,则该果实为单果实果串;双果实果串:若两个相邻果实几何中心间的欧式距离小于这两个果实的直径和,则这两个果实为一个双果实果串;多果实果串:若两个以上果实中,任意两个果实几何中心之间的欧式距离均小于两个果实的直径和,则该组果实为多果实果串。
S105、根据步骤S104中所确定的果串类型进行母枝确定:
对于单果实果串,其与果实相连的树枝即为母枝;
对于双果实果串与多果实果串,首先在彩色图像I1中做果串的轮廓外切矩形上下底的中垂线,然后结合彩色图像I1与彩色图像I2进行融合分析,通过彩色图像I1的中垂线与彩色图像I2的树枝相切情况确定果串的母枝;具体为:将果串的轮廓外切矩形上下底的中垂线绕该中垂线下方的点、向靠近树枝的一侧旋转,与该中垂线最先相切的树枝为该果串的母枝。
S106、利用双目CCD相机获取果串母枝的双目立体图像,取双目CCD相机左图像中的母枝外接矩形几何中心点作为特征匹配点,在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点,具体步骤为:
首先,通过双目CCD相机左图像P1的特征匹配点(x,y)构建匹配窗口,同时右图像P2的待匹配点(x+m,y+m)同样构建匹配窗口,通过归一化相关函数进行相关程度度量,具体公式如下:
式中,F(m,n)表示归一化相关函数;(m,n)表示右图像相对于左图像的位置向量;Wp表示以待匹配点坐标为中心的匹配窗口;P2(x+m,y+n)表示右图像待匹配点的灰度值;表示右图像匹配窗口的灰度均值;P1(x,y)表示左图像特征匹配点的灰度值;表示左图像匹配窗口的灰度均值;
式中,F(m,n)的取值范围为[-1,1];
当F(m,n)=-1时,左图像的特征匹配点与右图像的待匹配点完全不相关;
当F(m,n)=1时,左图像的特征匹配点与右图像的待匹配点完全匹配,即待匹配点为特征匹配点灰度值最接近且为使其归一化互相关函数达到最大值的点。实现左图像与右图像的特征匹配,得到母枝的几何中心点;
匹配窗口通常为3*3的匹配窗口。
左图像与右图像在进行特征匹配前需要进行极线校正,从而使左图像与右图像的极线处于水平方向,即使左图像与右图像图像的光心处于同一水平线上;采用Bouguet极线校正算法进行极线校正。
最后计算母枝几何中心点的空间坐标,实现对母枝的预定位,得到母枝的预定位图像及预定位几何中心点。
S200、采摘过程中,利用步骤S100中的方法,采用双目视觉相机获取采摘过程中母枝的实际定位图像及实际定位几何中心点;然后利用单目视觉缩放法,比较母枝的实际定位图像与预定位图像,确定母枝受干扰类型;
具体为:
S201、首先通过双目视觉相机是否识别到实际定位图像中的果串母枝判断其是否被遮挡;
若实际定位图像中未识别到果串母枝,则将预定位图像叠加到实际定位图像上,通过单目视觉缩放法判断预定位图像与实际定位图像的八邻域像素是否属于同一事物;
若属于,则判定该实际定位图像中的母枝被树枝遮挡;
若不属于,进一步将实际定位图像的八邻域像素与彩色图像I1、彩色图像I3的八邻域像素进行比较,判断为果实遮挡或是叶子遮挡;
如图3所示,O1’点为预定位图像中的母枝预定位几何中心点,但由于外界动力因素,在采摘过程中其被以O1点为预定位几何中心点的母枝遮挡,从而在实际定位图像中,以O2’点为实际定位几何中心点的母枝被遮挡,通过八邻域像素的同一事物判断其被以O2点为预定位几何中心点的母枝的树枝遮挡。
S202、若所述实际定位图像中识别到果串母枝,则实际定位图像中的母枝未被遮挡,然后确定所述预定位图像中的预定位几何中心点O1以及所述实际定位图像中的实际定位几何中心点O2之间的偏差相对值d(即O1与O2两点间的直线距离),通过偏差相对值d与预设阈值之间的关系、判断母枝是否发生偏移;
若偏差相对值d不大于预设阈值,则视为无干扰(即无动力因素的干扰是母枝发生偏移);
若偏差相对值d大于预设阈值,且O2点通过单目视觉缩放法缩放的八邻域像素、经多维SVM分类器判断属于枝,则确定O2点所代表的的母枝是在动力因素的干扰下相对于O1点的位置发生偏移;若偏差相对值d大于预设阈值,而O2点通过单目视觉缩放法缩放的八邻域像素、经多维SVM分类器判断不属于枝,则输出错误信号(错误信号报警后,由人工进行分析判断)。
动力因素为风力、重力等因素。
预设阈值通过预定位图像母枝的外接矩形得到,具体为:
首先,构建预定位图像中母枝的外接矩形框;然后获得外接矩形框的底边像素数p以及预定位图像像素横行(即像素的每一行)总数a;最终得到预设阈值d0;具体公式为:
其中,d0的计算与图像像素有关,即a值影响d0的计算结果;同时,预设阈值与串型水果种类有关、即母枝的粗细影响最终p值。
以荔枝为例,若图像像素为640x480,荔枝母枝外接矩形底边为22,则可以计算得到其预设阈值为0.03。
S300、根据步骤S200中确定的母枝受干扰类型,利用空气动力进行主动抗扰,具体为:
若母枝被遮挡,首先利用空气动力使遮挡物与目标母枝分离;然后利用空气动力(利用空气动力的方向、强度等)使母枝的几何中心点回到预定位几何中心点的位置,再利用单、双目视觉相机记录母枝几何中心点的运动轨迹以及在相机平面距进给起点最远和最近的点,得到母枝几何中心点的运动周期,同时采用双目视觉相机获取遮挡物的空间点云(即遮挡物空间三维坐标集合)、构建与遮挡物完全相切的空间包围体,利用单、双目视觉相机记录空间包围体的运动轨迹以及在相机平面距进给起点最远和最近的点,得到空间包围体所包围遮挡物的运动周期;
若母枝未被遮挡、仅发生偏移,利用空气动力(设定空气动力的方向、强度等)使母枝的几何中心点回到预定位几何中心点的位置,再利用单、双目视觉相机记录母枝几何中心点的运动轨迹以及在相机平面距进给起点最远和最近的点,得到母枝几何中心点的运动周期。
S400、基于步骤S300中的主动抗扰方法,确定采摘机器人机械手臂的进给终点;根据进给终点,确定采摘机器人机械手臂的进给路径,进行串型水果的采摘,具体为:
S401、进给终点的确定:
若母枝未被遮挡、仅发生偏移,则母枝几何中心点运动轨迹距在相机平面距进给起点最近点的空间坐标、即为采摘机器人机械手臂的进给终点;
若母枝被遮挡,首先通过母枝几何中心点与遮挡物的空间包围体分别在相机平面距进给起点的最远位置与最近位置、确定母枝与遮挡物之间的最大空间余度,最大空间余度的中心即为采摘机器人机械手臂的进给终点;空间余度为母枝几何中心点与遮挡物的空间包围体分别在相机平面距进给起点的最远位置(点)及最近位置(点)的连线为直径形成的圆、圆心即为进给终点;
S402、进给路径的确定:
首先,采用双目视觉相机与空间几何原理,构建进给起点到进给终点潜在路径中障碍物的空间包围体;然后由靠近到远离进给起点分别将空间包围体定义为第一障碍物、第二障碍物、第三障碍物、……、第n障碍物,过进给起点做第一障碍物的切线、取切点为第一路径点,过第一路径点做第二障碍物与第三障碍物几何中心连线的垂线段、取垂点为第二路径点,过第二路径点做第三障碍物的切线、取切点为第三路径点,……,依次循环、直至最终路径点与进给终点直连;进给起点、各个路径点、进给终点的连线即为进给路径。
进给路径需融合采摘机器人的坐标系以及相机坐标系,基于采摘机器人的各关节变量,确立采摘机器人机械手臂剪夹母枝的空间位置及姿态。
采用对果串类型分类以及利用贯串轮廓线外切矩形的中垂线进行母枝的确定,一是能有效消除每颗果实所连接的分枝的干扰、提高辨认精度;二是快速识别到果串的母枝,增加识别效率以及减少识别时间。
该方法有效提高采摘串型水果过程中的智能化水平,自动对果树进行拍照、分析、母枝空间坐标点的确认以及对采摘过程中母枝杆干扰类型的识别,提高了采摘的工作效率及串型水果的收率,避免采摘过程中损伤串型水果以及错剪的行为发生。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (7)
1.一种适用于串型水果的采摘方法,其特征在于:
S100、首先通过单目相机与双目相机配合实现对母枝的预定位,其具体步骤为:
S101:采用单目CCD相机随机获取连同串型水果果实、叶子以及树枝在内的多副彩色图像;选取并划分彩色图像内的多个果实目标以及非果实目标,并分别提取果实目标以及非果实目标的纹理特征值与颜色特征值,作为正负样本;
S102、采用支持向量机SVM对正负样本进行训练、生成多个弱分类器;然后采用AdaBoost算法构造强分类器,通过强分类器分割单目CCD相机获取的彩色图像,并将从图像中识别到的果实目标单独存储成彩色图像I1;
S103、重复步骤S101~S102,分别得到识别树枝与叶子的强分类器;然后分别在去除图像I1的原始彩色图像中分割提取出树枝与叶子,分别存储成彩色图像I2和彩色图像I3;
S104、根据果实的分布位置将果串分为单果实果串、双果实果串以及多果实果串,进而确定彩色图像I1中随机分布的果实所属的果串类型;
S105、根据步骤S104中所确定的果串类型进行母枝确定:
对于单果实果串,其与果实相连的树枝即为母枝;
对于双果实果串与多果实果串,首先在彩色图像I1中做果串的轮廓外切矩形上下底的中垂线,然后结合彩色图像I1与彩色图像I2进行融合分析,通过彩色图像I1的中垂线与彩色图像I2的树枝相切情况确定果串的母枝;
S106、利用双目CCD相机获取果串母枝的双目立体图像,取双目CCD相机左图像中的母枝外接矩形几何中心点作为特征匹配点,在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点,实现特征匹配,得到母枝的几何中心点;最后计算母枝几何中心点的空间坐标,实现对母枝的预定位,得到母枝的预定位图像及预定位几何中心点;
S200、采摘过程中,利用步骤S100中的方法,采用双目视觉相机获取采摘过程中母枝的实际定位图像及实际定位几何中心点;然后利用单目视觉缩放法,比较母枝的实际定位图像与预定位图像,确定母枝受干扰类型;
S300、根据步骤S200中确定的母枝受干扰类型,利用空气动力进行主动抗扰;
S400、基于步骤S300中的主动抗扰方法,确定采摘机器人机械手臂的进给终点;根据进给终点,确定采摘机器人机械手臂的进给路径,进行串型水果的采摘。
2.根据权利要求1所述的一种适用于串型水果的采摘方法,其特征在于:所述步骤S104中采用果串分类原则进行单果实果串、双果实果串以及多果实果串的分类;
单果实果串:若一个果实的几何中心与其他任何果实的几何中心之间的欧式距离大于单个果实的平均直径,则该果实为单果实果串;双果实果串:若两个相邻果实几何中心间的欧式距离小于这两个果实的直径和,则这两个果实为一个双果实果串;多果实果串:若两个以上果实中,任意两个果实几何中心之间的欧式距离均小于两个果实的直径和,则该组果实为多果实果串。
3.根据权利要求1或2任一项所述的一种适用于串型水果的采摘方法,其特征在于:所述步骤S106中在右图像中搜索与特征匹配点灰度值最接近且使归一化互相关函数达到最大值的点的步骤具体为:
首先,通过双目CCD相机左图像P1的特征匹配点(x,y)构建匹配窗口,同时右图像P2的待匹配点(x+m,y+m)同样构建匹配窗口,通过归一化相关函数进行相关程度度量,具体公式如下:
式中,F(m,n)表示归一化相关函数;(m,n)表示右图像相对于左图像的位置向量;Wp表示以待匹配点坐标为中心的匹配窗口;P2(x+m,y+n)表示右图像待匹配点的灰度值;表示右图像匹配窗口的灰度均值;P1(x,y)表示左图像特征匹配点的灰度值;表示左图像匹配窗口的灰度均值;
式中,F(m,n)的取值范围为[-1,1];
当F(m,n)=-1时,左图像的特征匹配点与右图像的待匹配点完全不相关;
当F(m,n)=1时,左图像的特征匹配点与右图像的待匹配点完全匹配,即待匹配点为特征匹配点灰度值最接近且为使其归一化互相关函数达到最大值的点。
4.根据权利要求1-3任一项所述的一种适用于串型水果的采摘方法,其特征在于:所述步骤S200具体为:
S201、首先通过双目视觉相机是否识别到实际定位图像中的果串母枝判断其是否被遮挡;
若所述实际定位图像中未识别到果串母枝,则将所述预定位图像叠加到所述实际定位图像上,通过单目视觉缩放法判断所述预定位图像与所述实际定位图像的八邻域像素是否属于同一事物;
若属于,则判定该实际定位图像中的母枝被树枝遮挡;
若不属于,进一步将实际定位图像的八邻域像素与彩色图像I1、彩色图像I3的八邻域像素进行比较,判断为果实遮挡或是叶子遮挡;
S202、若所述实际定位图像中识别到果串母枝,则实际定位图像中的母枝未被遮挡,然后确定所述预定位图像中的预定位几何中心点O1以及所述实际定位图像中的实际定位几何中心点O2之间的偏差相对值d,通过偏差相对值d与预设阈值之间的关系、判断母枝是否发生偏移;
若偏差相对值d不大于预设阈值,则视为无干扰;
若偏差相对值d大于预设阈值,且O2点通过单目视觉缩放法缩放的八邻域像素、经多维SVM分类器判断属于枝,则确定O2点所代表的的母枝是在动力因素的干扰下相对于O1点的位置发生偏移;若偏差相对值d大于预设阈值,而O2点通过单目视觉缩放法缩放的八邻域像素、经多维SVM分类器判断不属于枝,则输出错误信号。
6.根据权利要求4所述的一种适用于串型水果的采摘方法,其特征在于:所述步骤S300具体为:
若母枝被遮挡,首先利用空气动力使遮挡物与目标母枝分离;然后再利用空气动力使母枝的几何中心点回到预定位几何中心点的位置,再利用单、双目视觉相机记录母枝几何中心点的运动轨迹以及在相机平面距进给起点最远和最近的点,得到母枝几何中心点的运动周期,同时采用双目视觉相机获取遮挡物的空间点云、构建与遮挡物完全相切的空间包围体,利用单、双目视觉相机记录空间包围体的运动轨迹以及在相机平面距进给起点最远和最近的点,得到空间包围体所包围遮挡物的运动周期;
若母枝未被遮挡、仅发生偏移,利用空气动力使母枝的几何中心点回到预定位几何中心点的位置,再利用单、双目视觉相机记录母枝几何中心点的运动轨迹以及在相机平面距进给起点最远和最近的点,得到母枝几何中心点的运动周期。
7.根据权利要求6所述的一种适用于串型水果的采摘方法,其特征在于:所述步骤S400具体为:
S401、进给终点的确定:
若母枝未被遮挡、仅发生偏移,母枝几何中心点运动轨迹距在相机平面距进给起点最近点的空间坐标、即为采摘机器人机械手臂的进给终点;
若母枝被遮挡,首先通过母枝几何中心点与遮挡物的空间包围体分别在相机平面距进给起点的最远位置与最近位置、确定母枝与遮挡物之间的最大空间余度,所述最大空间余度的中心即为采摘机器人机械手臂的进给终点;所述空间余度为母枝几何中心点与遮挡物的空间包围体分别在相机平面距进给起点的最远位置及最近位置的连线为直径形成的圆、圆心即为进给终点;
S402、进给路径的确定:
首先,采用双目视觉相机与空间几何原理,构建进给起点到进给终点潜在路径中障碍物的空间包围体;然后由靠近到远离所述进给起点分别将空间包围体定义为第一障碍物、第二障碍物、第三障碍物、……、第n障碍物,过进给起点做第一障碍物的切线、取切点为第一路径点,过第一路径点做第二障碍物与第三障碍物几何中心连线的垂线段、取垂点为第二路径点,过第二路径点做第三障碍物的切线、取切点为第三路径点,……,依次循环、直至最终路径点与进给终点直连;进给起点、各个路径点、进给终点的连线即为进给路径。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110081743.6A CN112802099A (zh) | 2021-01-21 | 2021-01-21 | 一种适用于串型水果的采摘方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110081743.6A CN112802099A (zh) | 2021-01-21 | 2021-01-21 | 一种适用于串型水果的采摘方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112802099A true CN112802099A (zh) | 2021-05-14 |
Family
ID=75811052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110081743.6A Pending CN112802099A (zh) | 2021-01-21 | 2021-01-21 | 一种适用于串型水果的采摘方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112802099A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114347044A (zh) * | 2022-03-17 | 2022-04-15 | 季华实验室 | 辣椒采摘方法、装置、电子设备及存储介质 |
JP7090255B1 (ja) * | 2022-01-12 | 2022-06-24 | 国立大学法人山梨大学 | 情報処理装置、システム、プログラム、及び情報処理方法 |
CN116686545A (zh) * | 2023-06-29 | 2023-09-05 | 佛山市中科农业机器人与智慧农业创新研究院 | 基于机器视觉控制的荔枝采摘机器人除遮方法 |
CN117694107A (zh) * | 2023-12-28 | 2024-03-15 | 广东若铂智能机器人有限公司 | 一种扰动下串型水果用机器人智能避障采摘方法 |
-
2021
- 2021-01-21 CN CN202110081743.6A patent/CN112802099A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7090255B1 (ja) * | 2022-01-12 | 2022-06-24 | 国立大学法人山梨大学 | 情報処理装置、システム、プログラム、及び情報処理方法 |
CN114347044A (zh) * | 2022-03-17 | 2022-04-15 | 季华实验室 | 辣椒采摘方法、装置、电子设备及存储介质 |
CN116686545A (zh) * | 2023-06-29 | 2023-09-05 | 佛山市中科农业机器人与智慧农业创新研究院 | 基于机器视觉控制的荔枝采摘机器人除遮方法 |
CN116686545B (zh) * | 2023-06-29 | 2024-01-16 | 佛山市中科农业机器人与智慧农业创新研究院 | 基于机器视觉控制的荔枝采摘机器人除遮方法 |
CN117694107A (zh) * | 2023-12-28 | 2024-03-15 | 广东若铂智能机器人有限公司 | 一种扰动下串型水果用机器人智能避障采摘方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112715162B (zh) | 一种智能化采摘串型水果的系统 | |
CN112802099A (zh) | 一种适用于串型水果的采摘方法 | |
Ge et al. | Fruit localization and environment perception for strawberry harvesting robots | |
CN107767423A (zh) | 一种基于双目视觉的机械臂目标定位抓取方法 | |
Zhaoxin et al. | Design a robot system for tomato picking based on YOLO v5 | |
CN114067309B (zh) | 一种基于多视角三维重建的甜椒识别与采摘顺序确定方法 | |
Kohan et al. | Robotic harvesting of rosa damascena using stereoscopic machine vision | |
CN114260895B (zh) | 一种采摘机器人机械臂抓取避障方向确定的方法及其系统 | |
CN112990103B (zh) | 一种基于机器视觉的串采二次定位方法 | |
Yoshida et al. | A tomato recognition method for harvesting with robots using point clouds | |
Miao et al. | Efficient tomato harvesting robot based on image processing and deep learning | |
CN113657551A (zh) | 一种用于分拣堆叠多目标的机器人抓取姿态任务规划方法 | |
CN114067206A (zh) | 一种基于深度图像的球形果实识别定位方法 | |
CN116439018A (zh) | 一种七自由度水果采摘机器人及其采摘方法 | |
Jin et al. | Far-near combined positioning of picking-point based on depth data features for horizontal-trellis cultivated grape | |
CN117337691B (zh) | 基于深度神经网络的火龙果采摘方法及采摘机器人 | |
CN115937314B (zh) | 一种油茶果生长姿态检测方法 | |
Feng et al. | Design and test of harvesting robot for table-top cultivated strawberry | |
Park et al. | 3D log recognition and pose estimation for robotic forestry machine | |
CN117021059A (zh) | 采摘机器人及其果实定位方法、装置、电子设备及介质 | |
CN112818781B (zh) | 基于视觉缩放法判断串型水果母枝干扰类型的方法 | |
Yu et al. | Design and implementation of an automatic peach-harvesting robot system | |
Tian et al. | Research on the application of machine vision in tea autonomous picking | |
CN112372633B (zh) | 机器人的果园树形架型自主推理与场景理解方法 | |
Uramoto et al. | Tomato recognition algorithm and grasping mechanism for automation of tomato harvesting in facility cultivation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210514 |