CN111753577B - 自动采摘机器人中的苹果识别与定位方法 - Google Patents

Abstract

本发明涉及图像识别和自动化领域，公开了一种对苹果采摘机器人的果实识别与定位的方法，包括：单一和重叠苹果的识别、苹果成熟度的判断、苹果与采摘装置的距离定位。其技术方案是：利用摄像头采集原始图像，首先识别苹果，判断图像中苹果是否重叠，若重叠，则通过曲线拟合的方法对遮挡边缘进行填充，进而采用霍夫圆检测方法完成对苹果的识别；其次判断果实的成熟度，即求取区域颜色像素值的加权平均数，与规定像素值进行对比得到成熟度；采用超声测距和摄像头，测量空间内苹果距采摘装置的距离。本发明解决了成熟度的判断、重叠苹果识别准确度以及自动化采摘的问题。

Description

自动采摘机器人中的苹果识别与定位方法

技术邻域

本发明属于图像识别技术与自动化领域，涉及一种自动采摘机器人中的苹果识别与定位方法。

背景技术

现在林果产业成为很多地区农民增收的支柱产业，由于人们对于养生的注重，苹果的需求量也在不断的增加，果园机械化普及越来越重要，本发明以减轻果农的劳动强度为目的，节约人力成本，提高经济效益。

果蔬采摘机器人需要依托机器视觉的平台去实现对目标果实的识别追踪，准确的识别定位能力直接决定了采摘机器人的实用性，国内在农业机器人方面的研究始于20世纪90年代中期，对于发达国家起步较晚，但一直在进行采摘机器人和智能农业相关的研究，但是，现阶段，采摘机器人所面临的问题有：重叠果实的识别准确度较低，效率不高，缺乏对于成熟度判别的研究。

发明内容

本发明针对自动采摘机器人苹果的识别、苹果成熟度的判断和苹果与采摘装置的距离定位，提出了一种自动采摘机器人中的苹果识别与定位方法，以便通过该方法改进现有苹果采摘的技术。

本发明的技术方案是：一种自动采摘机器人中的苹果识别与定位方法，所述方法的具体步骤如下：

步骤1：使用苹果采摘机器人的摄像头扫描果树，获取原始苹果图像。

步骤2：在步骤1的基础上，进行初步的中值滤波及颜色空间变换的处理。

步骤3：对步骤2得到的单通道图像进行二值化处理、数学形态学处理和边缘处理。

步骤4：找到处理后图像有效区域最大面积进行外接矩形标记。

步骤5：检查步骤4得到的图像是否是被遮挡的图形，若没有被遮挡，跳过此步骤，若被遮挡，将被遮挡的部分通过曲线拟合的方式进行补充与连接，再进行识别，使得霍夫圆变换的识别更加精确。

步骤6：对步骤5得到的拟合后的二值化图像进行霍夫圆变换，实现框选与中心坐标的定位。

步骤7：对识别出的苹果图像进行成熟度的判定。本发明采用像素值选取的办法，用加权平均数法计算出平均像素值，并与所规定的像素值比较，如果相差在±5％以内，则判定为成熟，否则判定为不成熟。

步骤8：在步骤7处理的基础上，图像处理过程获取了目标的二维坐标数据，在摄像头下方安装了一个超声波距离探测器，可以获得所识别的图像的深度数据，进而获得目标的三维坐标数据。

所述步骤2中先进行滤波处理，采用的是中值滤波处理技术，用3×3的矩阵对图像进行滤波处理，由于椒盐噪声幅值近似相等，但随机分布在不同位置上，所以为了消除图像的椒盐噪声，采用中值滤波处理技术。

其次进行颜色空间变换，将RGB颜色空间转换为YCrCb颜色空间，分离Cb通道作为图像处理的基础，因为YCrCb颜色空间会将苹果的红色特性突出，与周围其他颜色区别加大，由于Cb通道中，苹果果实与背景的差异最大，因此更容易对其进行处理和分割，提高识别率。

所述步骤3中，二值化处理是设定了一个阈值，将大于该阈值的像素值设为1，小于该阈值的像素值设为0，形成一幅黑白图像，苹果部分为白色的区域。

所述步骤3中，通过数学形态学处理的方法对图像进行再次处理，由于经过中值滤波和颜色空间转换之后的图像会存在孤立的小点和毛刺，而通过选择合适的结构元素进行开运算(先腐蚀后膨胀)可以处理图像上的微小毛刺和小点，将图像的边缘区分出来提高图像的像素值。

腐蚀的算法公式：

膨胀的算法公式：

A是图像，B为2×2的结构元素，(x，y)是图像像元的位置。该算法公式是用结构元素B腐蚀或者膨胀A。

所述步骤3中，边缘是图像上变化最明显的地方，本发明采用sobel算子提取图像边缘，对数字图像{f(i，j)}的每个像素，用sobel的两个模板做卷积，考虑它水平和竖直两个方向上的灰度值的加权差，得到一幅边缘检测图像。

所述步骤4中，采用最小外接矩形标记方法。也译为最小边界矩形，即用一个最小的矩形框将所要检测的目标分割出来；首先进行凸型检测，以凸出的最大范围为边界做出一个边界矩形。本发明采用旋转的边界矩形，即矩形边界可以不平行于二维坐标轴，找到面积最小的外接矩形，进行分割。

Hough变换的参数空间大，耗费时间长，如果对整幅画面直接处理，需要巨大的计算量，而有效部分只有苹果区域，所以为了简化运算、提高运算速率，采用外接矩形标记方法对苹果的有效部分进行区域标记。

所述步骤5中，对于有遮挡部分的图像利用轮廓的曲率特征进行曲率拟合，由于摄像头识别到的图像是二维的，无法从不同的角度将他们看作是单个分离的苹果，于是，只基于单个苹果的识别方法，对重叠苹果的识别有很大的难度。然而，苹果的轮廓线为圆滑弧线，对于平滑区来说曲率变化较小，对于非平滑区，曲率变化较大，曲率的变化反映了轮廓线的变化，因此通过计算曲率识别外围轮廓线。

假设，重叠苹果图像交叉点的向量坐标为和/> 和/>与圆心所成的夹角为θ，则有：

求出a、b向量的夹角的余弦值，使用反余弦函数求出弧长，从而实现曲线的连接与拟合。

所述步骤6中，采用梯度霍夫圆变换算法进行苹果的识别，通过调整分辨率及半径阈值的上下限，使其达到最佳识别效果，最终返回圆心定位，实现定位与识别。

所述步骤7中，苹果的成熟度目前还没有统一的标准，本发明对于成熟后颜色为红色的苹果提出了一个较为合理的判断方法，苹果的成熟度反映在果实整体的颜色均匀情况与红色的程度上，苹果颜色的发展趋势如图3所示。

苹果生长曲线函数：

图像近似抛物线，x指加权像素值，其取值范围为(0，255)，f(x)指成熟度，取值范围为(0，1)，a₀指苹果刚结出果实时的成熟度，即成熟度初始值，a₁指成熟度比例系数。

将视线内的苹果表面分为N*N个不同区域，得到每一个区域内不同像素点的平均像素值，采用权重的方法，苹果的不同区域所占成熟情况的比重不同，用加权平均数法计算出完整苹果的加权平均像素值，并与所设定的标准成熟苹果的像素值比较，如果相差在±5％以内，则判定为成熟，否则判定为不成熟。

例N＝3，则苹果表面形成9个小的区域，其中左上、右下、左下和右上四个角的小区域用C表示，每一个小区域所占的权重为A，其他五个区域用D表示，每一个小区域所占的权重为B，a表示不同区域的权重情况，苹果不同区域所占成熟情况的比重如下表：

表1

C	D	C
			D	D	D
C	D	C

权重情况如公式6：

对权值总和进行约束，使得：

4A+5B＝1且B＞A (公式7)

苹果加权平均像素值的计算方法：

d_i表示不同区域内的平均像素值，a_i表示不同区域所占的权重，n表示总的区域数每一个区域乘以其对应的权重并求和，得到的则为加权平均像素值，用该像素值带入公式5进行成熟度判定，若相差在±5％以内，则判定为成熟，可进行采摘。

在以上苹果成熟度判断的基础上，由于苹果在生长时有的表面会出现虫蛀现象和局部坏果现象，在识别过程中需要对损坏的果实加以判断，由于损坏部分的颜色与正常生长的果实表面颜色存在很大的差异，故在以上N*N的区域中如果出现像素值大于区域像素平均值20％且个数超过该区域面积5％的，则认为该苹果为坏果，不予采摘。由于日晒方向的问题，可能会出现，接受光照时间较长的比背光一侧生长状况好，对于实际操作可采用多角度多方面判断。

所述步骤8中采用超声波时间差测距法，通过苹果、摄像头和超声波模块之间的直角三角形关系，测得苹果与机器之间的距离。

摄像头采集图像信息，使所要采摘的苹果到达摄像头的成像中心。如图4(a)所示A表示苹果、B表示摄像头、C表示超声波模块。超声波模块固定于摄像头的正下方，超声波模块与摄像头之间的直线长度为L，超声波测距测得的距离为X，根据直角三角形原理，苹果距离摄像头的距离为D：

此时机械臂控制摄像头上移，如图4(b)所示A表示苹果、B`表示摄像头、C`表示超声波模块。在上移过程中苹果距离超声波距离最短为D1时，超声波模块到达原摄像头成像中心点位置。此时D/D₁表示偏移量。

当偏移量如公式10所示时，认为测得苹果与机器之间的距离：

附图说明

图1是本发明提供的一种自动采摘机器人中的苹果识别与定位方法的结构框图；

图2是本发明提供的一种自动采摘机器人中的苹果识别与定位方法的流程图；

图3是本发明提供的一种自动采摘机器人中的苹果识别与定位方法中的成熟度判别时的一条苹果生长曲线图，此曲线为一条非线性的曲线，生长初期颜色变化较快，生长后期逐渐变慢，以至于不再变化；

图4是本发明提供的一种自动采摘机器人中的苹果识别与定位方法的关于定位所采用的超声波测距原理图。

具体实施方式

下述说明仅用来解释本发明，而不是为了限制本发明的范围及其应用。

本发明实施例以采集到的果树上的苹果图像为例来说明自动采摘机器人中的苹果识别与定位方法。具体方案如下：

步骤1：使用苹果采摘机器人的摄像头扫描果树，获取原始苹果图像。此时得到的图像格式均为.jpg格式。

步骤2：将步骤1得到的苹果图像，先进行中值滤波处理，消除图像的椒盐噪声，让图像看起来更加平滑；再进行颜色空间变换的处理，将RGB图像转化为YCrCb颜色空间，提取出Cb通道的图像。

步骤3：对Cb通道的图像首先进行二值化处理，得到一幅二维的灰度图像，其次通过腐蚀处理，消除噪声点；膨胀处理，补全孔洞；最后采用soble边缘检测算子，从横向和纵向两个方向卷积，合并后，得到边缘处理后的图像。

步骤4：在步骤3的基础上找到图像区域最大面积进行外接矩形标记，以缩小霍夫圆变换的处理面积，减少运算量，提高运行速度。

步骤5：检查步骤4得到的图像是否是被遮挡的图形，若未被遮挡，跳过此步骤；若被遮挡，将被遮挡部分通过曲线拟合进行补充与连接。

步骤6：完成所有的预处理后，对所得图像进行霍夫圆变换，检测圆形，进行框选与中心坐标的确定。

步骤7：对识别出的苹果图像进行成熟度的判定，苹果的成熟度反映在果实整体的颜色均匀情况与红色的程度上。首先采用像素值选取的办法，将视线内的苹果表面分为9份，分别得到每一小份内的像素值，采用权重的方法，由于每一份像素值占成熟情况的比重不同，所以采用加权平均数的方式计算出平均像素值，并与所设定的标准成熟苹果的像素值比较，若相差在±5％以内，则判定为成熟果实。

步骤8：摄像头采集图像信息，使所要采摘的苹果到达摄像头的成像中心，超声波模块固定于摄像头的正下方，此时用超声波测得一个距离，并计算出苹果与摄像头之间的距离。机械臂控制摄像头上移，在上移过程中测得苹果距超声波的最短距离，得到最终距离，若偏移量小于正负5％，则获得目标的三维坐标数据。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围之内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种自动采摘机器人中的苹果识别与定位的方法，其特征在于：所述方法具体步骤如下：

步骤1：使用苹果采摘机器人的摄像头采集图像，获取原始苹果图像；

步骤2：在步骤1的基础上，对苹果的图像进行初步的中值滤波及颜色空间变换的处理；

步骤3：对步骤2得到的单通道图像进行二值化处理、数学形态学处理和边缘处理；

步骤4：找到处理后图像有效区域最大面积进行外接矩形标记；

步骤5：检查步骤4得到的图像是否是被遮挡的图形，若没有被遮挡，跳过此步骤，若被遮挡，将被遮挡的部分通过曲线拟合的方式进行补充与连接，再进行识别，使得霍夫圆变换的识别更加精确；

重叠苹果图像交叉点的向量坐标为和/> 和/>与圆心所成的夹角为θ，则有：

求出a、b向量的夹角的余弦值，使用反余弦函数求出弧长，从而实现曲线的连接与拟合；

步骤6：对步骤5得到的拟合后的二值化图像进行霍夫圆变换，实现框选与中心坐标的定位；

步骤7：对识别出的苹果图像进行成熟度的判定，采用像素值选取的方法，用加权平均数法计算出平均像素值，并与所规定的像素值比较，如果相差在±5％以内，则判定为成熟，否则判定为不成熟；

苹果生长曲线函数：

图像近似抛物线，x指加权像素值，其取值范围为(0，255)，f(x)指成熟度，取值范围为(0，1)，a₀指苹果刚结出果实时的成熟度，即成熟度初始值，对应苹果生长曲线与成熟度坐标轴的交点，a₁指成熟度比例系数；

将视线内的苹果表面分为N*N个不同区域，得到每一个区域内不同像素点的平均像素值，采用权重的方法，苹果的不同区域所占成熟情况的比重不同，用加权平均数法计算出完整苹果的加权平均像素值；

当N＝3时，则苹果表面形成9个小的区域，其中左上、右下、左下和右上四个角的小区域用C表示，每一个小区域所占的权重为A，其他五个区域用D表示，每一个小区域所占的权重为B，a表示不同区域的权重情况，如公式3：

对权值总和进行约束，使得：

4A+5B＝1且B＞A (公式4)

苹果加权平均像素值的计算方法：

d_i表示不同区域内的平均像素值，a_i表示不同区域所占的权重，n表示总的区域数，即N*N，每一个区域乘以其对应的权重并求和，得到的则为加权平均像素值，用该像素值带入公式2进行成熟度判定，若相差在±5％以内，则判定为成熟，可进行采摘；

在以上苹果成熟度判断的基础上，由于苹果在生长时有的表面会出现虫蛀现象和局部坏果现象，在识别过程中需要对损坏的果实加以判断，由于损坏部分的颜色与正常生长的果实表面颜色存在很大的差异，故在以上N*N的区域中如果出现像素值大于区域像素平均值20％且个数超过该区域面积5％的，则认为该苹果为坏果，不予采摘；

步骤8：在步骤7处理的基础上，采用超声波时间差测距法，通过苹果、摄像头和超声波模块之间的直角三角形关系，测得苹果与机器之间的距离；

摄像头采集图像信息，使所要采摘的苹果到达摄像头的成像中心，超声波模块固定于摄像头的正下方，超声波模块与摄像头之间的直线长度为L，超声波测距测得的距离为X，根据直角三角形原理，苹果距离摄像头的距离为D：

机械臂控制摄像头上移，在上移过程中苹果距离超声波距离最短为D₁时，超声波模块到达原摄像头成像中心点位置，此时D/D₁表示偏移量；

当偏移量如公式7所示时：

认为测得苹果与机器之间的距离。

2.根据权利要求1所述的一种自动采摘机器人中的苹果识别与定位的研究，其特征在于：所述的滤波处理采用的是中值滤波处理技术，通过3×3的矩阵对图像进行滤波处理。

3.根据权利要求1所述的一种自动采摘机器人中的苹果识别与定位的研究，其特征在于：所述的颜色空间变换是将RGB颜色空间转换为YCrCb颜色空间，分离Cb通道作为图像处理的基础。

4.根据权利要求1所述的一种自动采摘机器人中的苹果识别与定位的研究，其特征在于：所述的数学形态学是先进行二值化处理，使图像变为只有黑白两种颜色的二维图像，再进行腐蚀处理，减少环境干扰，膨胀处理，恢复原图像的大小。

5.根据权利要求1所述的一种自动采摘机器人中的苹果识别与定位的研究，其特征在于：所述的外接矩形标记是先进行凸型检测，以凸出的最大范围为边界做出一个边界矩形。

6.根据权利要求1所述的一种自动采摘机器人中的苹果识别与定位的研究，其特征在于：所述的曲线拟合是考虑到苹果的轮廓线为圆滑弧线，对于平滑区来说曲率变化较小，对于非平滑区，曲率变化较大，曲率的变化反映了轮廓线的变化，因此通过计算曲率识别外围轮廓线，对缺失边缘进行曲线拟合。