CN111783693A - 果蔬采摘机器人的智能识别方法 - Google Patents

Abstract

本发明属于采摘机器人技术领域，具体涉及果蔬采摘机器人的智能识别方法，包括以下步骤：S1：获取果蔬图像；S2：图像预处理，增强S1得到果蔬图像的图像；S3：对图像进行图像超像素分割，并去除图像中的噪声干扰；S4：提取图像超像素分割后每一个超像素的颜色特征和纹理特征；S5：使用预先训练好的SVM分类器将超像素分为果蔬和背景两类，获得果蔬模板图像；S6：将S5获得的果蔬模板图像与预先训练好的卷积神经网络检测模型图像对比，判断果蔬的成熟度；S7：确定目标果蔬的圆心坐标，对S6中合格的目标果蔬进行圆形拟合，并确定拟合后的圆心坐标；S8：匹配识别与定位，根据S7得到的圆心坐标，采用快速归一化互相关匹配对果蔬进行快速识别与定位。

Description

果蔬采摘机器人的智能识别方法

技术领域

本发明属于采摘机器人技术领域，具体涉及果蔬采摘机器人的智能识别方法。

背景技术

果蔬生产的快速发展和农业劳动力短缺、劳动强度过大的矛盾日益显现，而替代选择性收获这一复杂人力劳动只有通过采摘机器人技术的深入研究才能实现。因此，水果农作物采摘机器人的研究应用，对于减轻农业从业者的劳动强度、解放农业劳动力和提高果蔬的集约化生产水平，都具有重要的意义。采摘机器人的首要任务是利用视觉系统进行成熟苹果目标的识别与定位。基于图像处理研究领域的相关算法，以实现果实的自动化检测、识别和定位，成为当前果实自动采摘机器人研发应用中的研究热点。

面向果实的机械化采摘，通过相关的图像技术自动识别和定位场景中的果实信息成为一个广泛的研究课题。2010年，司永胜等人提出了利用归一化的红绿色差(R-G)/(R+G)分割苹果的方法对不同光照情况下拍摄的苹果图像进行了识别,并对识别后的图像进行预处理,获得苹果的轮廓图像。对轮廓图像采用随机圆环法进行果实圆心、半径提取。识别算法可以较好地消除阴影、裸露土壤等影响,以苹果个数为单位，识别率达到92％。2012年，赵文旻等人提出选用R-G色差模型，改进的Ostu最大类间方差法分割图像。然后用面积阈值法消除噪声，获取成熟苹果果实的目标区域，同样以苹果的个数为计算单位单位，识别率为84.7％。

现有技术存在的算法复杂度较高且(或)运行时间较长，未能较好的实现实时自适应的采摘操作的问题；并且现有果蔬采摘机器人只是对果实进行识别采摘，并无法判定果实是否成熟，导致摘取了一部分未成熟的果实，造成了果实的浪费。

发明内容

针对上述背景技术所提出的问题，本发明的目的是：旨在提供果蔬采摘机器人的智能识别方法。

为实现上述技术目的，本发明采用的技术方案如下：

果蔬采摘机器人的智能识别方法，包括以下步骤：

S1：在自然光作用下，获取果蔬图像；

S2：图像预处理，采用矢量中值滤波的图像增强方法增强图像；

S3：对S2处理后的图像采用HLS颜色模型中色度分量算法进行图像超像素分割，并去除图像中的噪声干扰；

S4：提取S3中图像超像素分割后每一个超像素的颜色特征和纹理特征；

S5：使用预先训练好的SVM分类器将超像素分为果蔬和背景两类，获得果蔬模板图像，并去除面积小于300像素的连通区域；

S6：将S5获得的果蔬模板图像与预先训练好的卷积神经网络检测模型图像对比，判断果蔬的成熟度，判定结果合格的果蔬进行采摘，不合格的果蔬则不进行采摘；

S7：确定目标果蔬的圆心坐标，对S6中合格的目标果蔬进行圆形拟合，并确定拟合后的圆心坐标；

S8：匹配识别与定位，根据S7得到的圆心坐标，采用快速归一化互相关匹配对果蔬进行快速识别与定位。

作为本发明的一种优选方案，所述S1中使用CCD摄像机采集图像。

作为本发明的一种优选方案所述S2中，对图像预处理方法为将给定窗口中所有矢量X(x,y)＝[r(x,y),g(x,y),b(x,y)]^T取平均，得到平均矢量

计算窗口中矢量X(x,y)到平均矢量

的距离，把距离最小的矢量作为窗口中心像素的输出值；

设原始图像集合X(x,y)的大小为M×N，用一个n×n窗口进行矢量中值滤波，其算法如下：

通过求解r、g、b平均值，计算窗口平均矢量

计算各矢量到平均矢量的距离S_xy，比较S_xy的大小，取得最小的S_min；

用S_min所对应的像素X_min作为该窗口的矢量中值，用它代替窗口中心像素矢量。

作为本发明的一种优选方案，所述S3中图像超像素分割是将HLS模型下的色度图像投影到色度直方图上，求出概率较大的几个颜色点作为备选生长点，接下来选取这些备选生长点所在的5*5像素区域，设置阀值，统计在这一区域内小于阀值的像素数；如果大于阀值，认为像素周围是目标实体，即为果蔬果蔬，如果小于阀值，认为可能备选生长点正好选到了一些与目标颜色相近似的孤立点，则舍弃这个备选生长点，选择新的生长点。

作为本发明的一种优选方案，所述S3中，去除图像中的噪声干扰采用数学形态中的开闭运算消除噪声。

作为本发明的一种优选方案，所述卷积神经网络检测模型的构建方法为：

A1：选取m个成熟度不一的果实，在自然光作用下，每个果实从n角度获取果实图像，并且计算果实的果糖浓度；

A2：图像预处理，采用矢量中值滤波的图像增强方法增强图像；然后图像采用HLS颜色模型中色度分量算法进行图像超像素分割，并去除图像中的噪声干扰；

A3：提取S3中图像超像素分割后每一个超像素的颜色特征和纹理特征；

A4：使用预先训练好的SVM分类器将超像素分为果蔬和背景两类，获得果实模板图像，并去除面积小于300像素的连通区域；

A5：将A4得到的果实模板图像随机划分为训练集和测试集；

A6：构造卷积神经网络，具体为：卷积神经网络为8层卷积神经网络，包括3个卷积层，3个池化层，2个全连接层；其中，3个卷积层为卷积层C1、卷积层C3、卷积层C5，3个池化层为池化层P2、池化层P4、池化层P6，2个全连接层为全连接层F7、全连接层F8；卷积神经网络的输入为n张果实模板图像，输出为果糖浓度；卷积层C1和池化层P2的特征图数量为10，卷积层C3和池化层P4的特征图数量为16，卷积层C5和池化层P6的特征图数量为24，全连接层F7设置神经元个数为1024，全连接层F8设置神经元个数为1；

A7：训练卷积神经网络，包括以下子步骤：

A7.1：初始化卷积神经网络的网络参数权重和网络参数偏置；

A7.2：将训练集及其对应的果糖浓度输入A7.1初始化后的卷积神经网络训练，得到实际输出；

A7.3：使用步骤A7.2得到的实际输出和训练集对应的果糖浓度之间的均方差作为损失函数，结合反向传播算法，通过ADam梯度下降方式减小损失函数并调整卷积神经网络的参数，完成卷积神经网络的训练，得到卷积神经网络检测模型。

本发明的有益效果：

与现有技术相比，本算法实现成本低，精度高，实时性好，提高苹果采摘机器人的工作效率；该方法可实现果实目标的实时检测定位和识别，为采摘机器人机械动作的实施提供先决条件，并且实现对于重叠果实的有效分离，极大提高了苹果采摘机器人的工作效率；并且本发明对果实的成熟度进行了判定，摘取的成熟的果实的概率达到了98％以上。

附图说明

本发明可以通过附图给出的非限定性实施例进一步说明；

图1为本发明果蔬采摘机器人的智能识别方法实施例的流程示意图；

图2为本发明果蔬采摘机器人的智能识别方法实施例中卷积神经网络示意图。

具体实施方式

为了使本领域的技术人员可以更好地理解本发明，下面结合附图和实施例对本发明技术方案进一步说明。

如图1所示，本发明的果蔬采摘机器人的智能识别方法，包括以下步骤：

S1：在自然光作用下，获取果蔬图像；

S2：图像预处理，采用矢量中值滤波的图像增强方法增强图像；

S3：对S2处理后的图像采用HLS颜色模型中色度分量算法进行图像超像素分割，并去除图像中的噪声干扰；

S4：提取S3中图像超像素分割后每一个超像素的颜色特征和纹理特征；

S5：使用预先训练好的SVM分类器将超像素分为果蔬和背景两类，获得果蔬模板图像，并去除面积小于300像素的连通区域；

S6：将S5获得的果蔬模板图像与预先训练好的卷积神经网络检测模型图像对比，判断果蔬的成熟度，判定结果合格的果蔬进行采摘，不合格的果蔬则不进行采摘；

S7：确定目标果蔬的圆心坐标，对S6中合格的目标果蔬进行圆形拟合，并确定拟合后的圆心坐标；

S8：匹配识别与定位，根据S7得到的圆心坐标，采用快速归一化互相关匹配对果蔬进行快速识别与定位。

本实施例具体方案包括以下步骤：

S1：在自然光作用下，使用CCD摄像机采集果蔬图像；

S2：图像预处理，

将给定窗口中所有矢量X(x,y)＝[r(x,y),g(x,y),b(x,y)]^T取平均，得到平均矢量

计算窗口中矢量X(x,y)到平均矢量

的距离，把距离最小的矢量作为窗口中心像素的输出值；

设原始图像集合X(x,y)的大小为M×N，用一个n×n窗口进行矢量中值滤波，其算法如下：

通过求解r、g、b平均值，计算窗口平均矢量

计算各矢量到平均矢量的距离S_xy，比较S_xy的大小，取得最小的S_min；

用S_min所对应的像素X_min作为该窗口的矢量中值，用它代替窗口中心像素矢量；应用此方法对图像增强处理；

S3：对S2处理后的图像采用HLS颜色模型中色度分量算法进行图像超像素分割，并去除图像中的噪声干扰；其图像超像素分割是将HLS模型下的色度图像投影到色度直方图上，求出概率较大的几个颜色点作为备选生长点，接下来选取这些备选生长点所在的5*5像素区域，设置阀值，统计在这一区域内小于阀值的像素数；如果大于阀值，认为像素周围是目标实体，即为果蔬果蔬，如果小于阀值，认为可能备选生长点正好选到了一些与目标颜色相近似的孤立点，则舍弃这个备选生长点，选择新的生长点；去除图像中的噪声干扰采用数学形态中的开闭运算消除噪声；

S4：提取S3中图像超像素分割后每一个超像素的颜色特征和纹理特征；

S5：使用预先训练好的SVM分类器将超像素分为果蔬和背景两类，获得果蔬模板图像，并去除面积小于300像素的连通区域；

S6：将S5获得的果蔬模板图像与预先训练好的卷积神经网络检测模型图像对比，判断果蔬的成熟度，判定结果合格的果蔬进行采摘，不合格的果蔬则不进行采摘；

其中，卷积神经网络检测模型图像的建模方法为：

A1：选取300个成熟度不一的果实，在自然光作用下，每个果实从6角度获取果实图像，并且计算果实的果糖浓度；

A2：图像预处理，采用矢量中值滤波的图像增强方法增强图像；然后图像采用HLS颜色模型中色度分量算法进行图像超像素分割，并去除图像中的噪声干扰；

A3：提取S3中图像超像素分割后每一个超像素的颜色特征和纹理特征；

A4：使用预先训练好的SVM分类器将超像素分为果蔬和背景两类，获得果实模板图像，并去除面积小于300像素的连通区域；

A5：将A4得到的300份果实样本的6张模板图像数据叠加为三维数组，共得到300个101*101*6的三维数组，作为果实的样本数据，随机选择其中的30个作为测试集，其余作为训练集；

A6：构造卷积神经网络CNN(ConvolutionalNeuralNetwork)，包括以下子步骤：

构造如图2所示，8层卷积神经网络，包括3个卷积层，3个池化层，2个全连接层；每个卷积层均采用same方式的卷积，在进行特征提取的过程保证图片大小不发生改变，每个池化层均为2*2的最大池化，即在前一层2*2的区域求最大值作为池化层的输出，如果区域不足2*2可以通过补零操作补成2*2大小，每个卷积层后跟有一个ReLU(Rectifiedlinearunit，修正线性单元)激活函数，全连接层F7后跟有ReLU激活函数，全连接层F8的输出即为果实样本的预测果糖浓度；

卷积神经网络的输入为101*101*6的三维数组，卷积层C1和池化层P2的特征图数量均为10，卷积层C3和池化层P4的特征图数量均为16，卷积层C5和池化层P6的特征图数量均为24，全连接层F7设置神经元个数为1024，全连接F8层设置神经元个数为1；

卷积层C1含有10个大小为5*5*6的卷积核，每个卷积核对应一个偏置参数，共(5*5*6+1)*10＝1760个可训练参数，卷积层C1经过池化得到10个51*51的特征图，为池化层P2，池化层不含有可训练参数。卷积层C3含有16个大小为5*5*10的卷积核，每个卷积核对应一个偏置参数，共(5*5*10+1)*16＝4016个可训练参数，卷积层C3经过池化得到16个26*26的特征图，为池化层P4。卷积层C5含有24个大小为5*5*16的卷积核，每个卷积核对应一个偏置参数，共(5*5*16+1)*24＝9624个可训练参数，卷积层C5经过池化得到24个13*13的特征图，为池化层P6。全连接层F7共4096*(1024+1)＝4157400个可训练参数，全连接层F8共1024*(1+1)＝2048个可训练参数；

A7：训练卷积神经网络，其包括以下子步骤：

A7.1：使用服从N(0，0.1)的正态分布初始化网络参数权重W，使用0.1初始化网络参数偏置b；

A7.2：将270个训练样本输入CNN训练，训练样本包括S13得到的训练集和S1中其对应的真实果糖浓度，训练集大小为270*101*101*6，将训练集经过逐层变化，传送到全连接层F5，最后的得到270*1的矩阵，即为苹果切片的预测果糖浓度；

A7.3：使用A7.2得到的预测果糖浓度和其对应的真实果糖浓度之间的均方差作为损失函数，结合反向传播BP算法调整CNN参数，训练次数为2001次，梯度下降方式选择Adam(adaptivemomentestimation，自适应矩估计)方法，学习率为10^-4，完成CNN训练，得到果糖浓度预测模型；

S7：确定目标果蔬的圆心坐标，对S6中合格的目标果蔬进行圆形拟合，并确定拟合后的圆心坐标；

S8：匹配识别与定位，根据S7得到的圆心坐标，采用快速归一化互相关匹配对果蔬进行快速识别与定位。

上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (6)

1.果蔬采摘机器人的智能识别方法，其特征在于：包括以下步骤：

S1：在自然光作用下，获取果蔬图像；

S2：图像预处理，采用矢量中值滤波的图像增强方法增强图像；

S3：对S2处理后的图像采用HLS颜色模型中色度分量算法进行图像超像素分割，并去除图像中的噪声干扰；

S4：提取S3中图像超像素分割后每一个超像素的颜色特征和纹理特征；

S5：使用预先训练好的SVM分类器将超像素分为果蔬和背景两类，获得果蔬模板图像，并去除面积小于300像素的连通区域；

S6：将S5获得的果蔬模板图像与预先训练好的卷积神经网络检测模型图像对比，判断果蔬的成熟度，判定结果合格的果蔬进行采摘，不合格的果蔬则不进行采摘；

S7：确定目标果蔬的圆心坐标，对S6中合格的目标果蔬进行圆形拟合，并确定拟合后的圆心坐标；

S8：匹配识别与定位，根据S7得到的圆心坐标，采用快速归一化互相关匹配对果蔬进行快速识别与定位。

2.根据权利要求1所述的果蔬采摘机器人的智能识别方法，其特征在于：所述S1中使用CCD摄像机采集图像。

3.根据权利要求2所述的果蔬采摘机器人的智能识别方法，其特征在于：所述S2中，对图像预处理方法为将给定窗口中所有矢量X(x,y)＝[r(x,y),g(x,y),b(x,y)]^T取平均，得到平均矢量

计算窗口中矢量X(x,y)到平均矢量

的距离，把距离最小的矢量作为窗口中心像素的输出值；

设原始图像集合X(x,y)的大小为M×N，用一个n×n窗口进行矢量中值滤波，其算法如下：

通过求解r、g、b平均值，计算窗口平均矢量

计算各矢量到平均矢量的距离S_xy，比较S_xy的大小，取得最小的S_min；

用S_min所对应的像素X_min作为该窗口的矢量中值，用它代替窗口中心像素矢量。

4.根据权利要求3所述的果蔬采摘机器人的智能识别方法，其特征在于：所述S3中图像超像素分割是将HLS模型下的色度图像投影到色度直方图上，求出概率较大的几个颜色点作为备选生长点，接下来选取这些备选生长点所在的5*5像素区域，设置阀值，统计在这一区域内小于阀值的像素数；如果大于阀值，认为像素周围是目标实体，即为果蔬果蔬，如果小于阀值，认为可能备选生长点正好选到了一些与目标颜色相近似的孤立点，则舍弃这个备选生长点，选择新的生长点。

5.根据权利要求4所述的果蔬采摘机器人的智能识别方法，其特征在于：所述S3中，去除图像中的噪声干扰采用数学形态中的开闭运算消除噪声。

6.根据权利要求1所述的果蔬采摘机器人的智能识别方法，其特征在于：所述卷积神经网络检测模型的构建方法为：

A1：选取m个成熟度不一的果实，在自然光作用下，每个果实从n角度获取果实图像，并且计算果实的果糖浓度；

A2：图像预处理，采用矢量中值滤波的图像增强方法增强图像；然后图像采用HLS颜色模型中色度分量算法进行图像超像素分割，并去除图像中的噪声干扰；

A3：提取S3中图像超像素分割后每一个超像素的颜色特征和纹理特征；

A4：使用预先训练好的SVM分类器将超像素分为果蔬和背景两类，获得果实模板图像，并去除面积小于300像素的连通区域；

A5：将A4得到的果实模板图像随机划分为训练集和测试集；

A6：构造卷积神经网络，具体为：卷积神经网络为8层卷积神经网络，包括3个卷积层，3个池化层，2个全连接层；其中，3个卷积层为卷积层C1、卷积层C3、卷积层C5，3个池化层为池化层P2、池化层P4、池化层P6，2个全连接层为全连接层F7、全连接层F8；卷积神经网络的输入为n张果实模板图像，输出为果糖浓度；卷积层C1和池化层P2的特征图数量为10，卷积层C3和池化层P4的特征图数量为16，卷积层C5和池化层P6的特征图数量为24，全连接层F7设置神经元个数为1024，全连接层F8设置神经元个数为1；

A7：训练卷积神经网络，包括以下子步骤：

A7.1：初始化卷积神经网络的网络参数权重和网络参数偏置；

A7.2：将训练集及其对应的果糖浓度输入A7.1初始化后的卷积神经网络训练，得到实际输出；

A7.3：使用步骤A7.2得到的实际输出和训练集对应的果糖浓度之间的均方差作为损失函数，结合反向传播算法，通过ADam梯度下降方式减小损失函数并调整卷积神经网络的参数，完成卷积神经网络的训练，得到卷积神经网络检测模型。

Images