CN115719451A - 一种软枣猕猴桃成熟度检测方法及系统 - Google Patents

Abstract

本申请公开了一种软枣猕猴桃成熟度检测方法及系统，包括以下步骤：采集软枣猕猴桃图像数据，得到原始图像数据；对原始图像数据进行预处理，得到处理图像数据；基于处理图像数据，建立软枣猕猴桃成熟度判别模型；基于判别模型，对不同成熟度猕猴桃进行分类。通过对猕猴桃、树叶、树枝等的色彩特征的分析，提出了基于R‑B色差分量的RGB彩色模型进行自然背景提取的方法并对其进行处理，得到猕猴桃果实的特征参数。利用Hough变换提取猕猴桃特征参数，可以快速有效地将单个果实从自然背景中分割出来，实现果实定位，最后通过Fitcecoc分类判别模型实现不同成熟度软枣猕猴桃的判别分类，为后续猕猴桃果实采收提供必要信息。

Description

一种软枣猕猴桃成熟度检测方法及系统

技术领域

本申请属于机器视觉技术领域，具体涉及一种软枣猕猴桃成熟度检测方法及系统。

背景技术

水果成熟度是水果分级、保鲜、存储的一项重要检测指标，目前已经有很多检测技术应用到水果的内部品质检测，包括近红外光谱法、核磁共振法等等，但是这些检测方法均在某一方面不尽人意。如检测过程繁琐、造价高、检测成本高等等，难以用于在线、实时检测。

软枣猕猴桃的果实营养丰富，含有20多种氨基酸和多种维生素，特别是维C含量是其他水果的几十倍。目前软枣猕猴桃基本靠人眼识别成熟的，然后采摘，消耗太多人力，且成本太高。因此，需要一种能快捷、高效、准确检测猕猴桃成熟度的系统。

发明内容

本申请提出了一种利用机器视觉技术和Hough算法实现对软枣猕猴桃成熟度的检测和判断方法，以猕猴桃不同成熟度的图像为研究对象，通过对猕猴桃、树叶、树枝等的色彩特征的分析，提出了基于R-B色差分量的RGB彩色模型进行自然背景提取的方法并对其进行处理，得到猕猴桃果实的特征参数。为保证算法的实时性，利用Hough变换提取猕猴桃特征参数，可以快速有效地将单个果实从自然背景中分割出来，实现果实定位，最后通过Fitcecoc分类判别模型实现不同成熟度软枣猕猴桃的判别分类，为后续猕猴桃果实采收提供必要信息。

为实现上述目的，本申请提供了如下方案：

一种软枣猕猴桃成熟度检测方法，包括以下步骤：

S1、采集软枣猕猴桃图像数据，得到原始图像数据；

S2、对所述原始图像数据进行预处理，得到处理图像数据；

S3、基于所述处理图像数据，建立软枣猕猴桃成熟度判别模型；

S4、基于所述判别模型，对不同成熟度猕猴桃进行分类。

优选的，所述预处理包括：图像去噪、图像增强和图像分割。

优选的，所述图像去噪方法包括：

将所述原始图像数据进行灰度，得到原始灰度图像数据；

对所述原始灰度图像数据加入高斯噪声和椒盐噪声。

优选的，所述图像分割的方法包括：

采用Otsu阈值法对所述原始灰度图像数据进行分割；

采用R-B色差分量对软枣猕猴桃果实与背景之间进行阈值分割；

采用Canny算子进行二值图像的边缘提取，获得软枣猕猴桃区域的轮廓信息；

采用Hough变换分离软枣猕猴桃毗邻果实。

优选的，所述R-B色差分量方法包括：

调整R、B分量的比例系数，基于直方图双峰、谷型，得到最优参数；

基于所述最优参数，计算特征系数。

优选的，所述Hough变换的具体方法包括：

对进行分割处理的图像进行由左到右，由上到下的每个象素进行扫描，得到最小外接矩形；

在最小外接矩形内采用Hough变换，在邻接、重叠的软枣猕猴桃果实区域提取单个软枣猕猴桃轮廓。

优选的，建立所述软枣猕猴桃成熟度判别模型的方法包括：

建立以R、G、B、H、S、V分量均值颜色特征、Hu矩形状特征、GLCM纹理特征为输入的Fitcecoc模型。

本申请还提供一种软枣猕猴桃成熟度检测系统，包括：采集装置、处理装置、模型构建模块和分类模块；

所述采集装置用于采集软枣猕猴桃图像数据，得到原始图像数据；

所述处理装置用于对所述原始图像数据进行预处理，得到处理图像数据；

所述模型构建模块用于基于所述处理图像数据，建立软枣猕猴桃成熟度判别模型；

所述分类模块用于基于所述判别模型，对不同成熟度猕猴桃进行分类。

优选的，所述采集装置采用Kinectv2视觉采集传感器。

本申请的有益效果为：

本申请公开了一种软枣猕猴桃成熟度检测方法及系统，利用机器视觉技术和Hough算法实现对软枣猕猴桃成熟度的检测和判断。以猕猴桃不同成熟度的图像为研究对象，通过对猕猴桃、树叶、树枝等的色彩特征的分析，提出了基于R-B色差分量的RGB彩色模型进行自然背景提取的方法并对其进行处理，得到猕猴桃果实的特征参数。为保证算法的实时性，利用Hough变换提取猕猴桃特征参数，可以快速有效地将单个果实从自然背景中分割出来，实现果实定位，最后通过Fitcecoc分类判别模型实现不同成熟度软枣猕猴桃的判别分类，为后续猕猴桃果实采收提供必要信息。

附图说明

为了更清楚地说明本申请的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一软枣猕猴桃成熟度检测方法流程示意图；

图2为本申请实施例一Fitcecoc分类模型算法步骤示意图；

图3为本申请实施例一R、G、B、H、S、V各分量均值测试集混淆矩阵示意图；

图4为本申请实施例一颜色结合Hu矩测试集混淆矩阵示意图；

图5为本申请实施例一颜色、Hu矩结合GLCM测试集混淆矩阵示意图；

图6为本申请实施例二软枣猕猴桃成熟度检测系统结构示意图；

图7为本申请实施例三采摘机器人路径规划示意图；

图8为本申请实施例三升降装置和车体装置原理图；

图9为本申请实施例三机械臂设计图；

图10为本申请实施例三机械爪末端执行器三维设计图；

图11为本申请实施例三的三维图像视觉原理图；

图12为本申请实施例三超声波测距原理图；

图13为本申请红外线信号接收放大原理图；

图14为本申请实施例三波纹软管接口示意图；

图15为本申请实施例三传动装置和收集装置原理图。

附图标记说明：

101、切割装置；102、仿生弧面；103、圆弧抓手；106、软管接口；107、机械臂接口；108、波纹软管；109、传送带；110、储存筐；113、升降平台；116、滑轮；117、车体；118、机械手腕；119、旋转底座；120、主臂；121、小臂；R、旋转矩阵；x、X轴；y、Y轴；z、Z轴；R_x、X轴旋转矩阵；R_y、Y轴旋转矩阵；f、焦距；cam、摄像头；TCP、机器人抓取校准；μ_p、视差；x_p、X轴视差；y_p、Y轴视差。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

实施例一

如图1所示，为本申请一种软枣猕猴桃成熟度检测方法流程示意图，包括以下步骤：

S1、采集软枣猕猴桃图像数据，得到原始图像数据；

本实施例采用以Kinectv2为主要的视觉采集传感器和手提电脑等对软枣猕猴桃进行图像采集，再经过处理及分析影响因子，如光照等。具体方法如下：

由软枣猕猴桃果实底部采集果实的RGB图像，然后利用USB接口将原始图像传输至电脑进行图像处理。

S2、对原始图像数据进行预处理，得到处理图像数据；

本实施例中，预处理方法包括：图像去噪、图像增强、图像分割等。

(1)图像去噪

将原始图像转化为灰度图像，给灰度图像加入高斯噪声和椒盐噪声，随着模板维数增加，高斯噪声和椒盐噪声逐渐消减，且在消除噪声的基础上保持了软枣猕猴桃的边缘。

(2)图像增强

本实施例采用直方图变换法对图像进行增强，进行图像增强后，直方图亮度分布更广且均衡，软枣猕猴桃果实图像整体更亮且果实的边缘更加分明。

(3)图像分割

主要针对软枣猕猴桃图像中的阈值分割方法进行研究。思路包括：首先对原始图像进行特征分析，然后设定阈值，并对其进行分类。主要特征包括：RGB彩色图像与灰度图像转换所产生的特征、以及原始图像的灰度、色彩特征。本实施例采用Otsu阈值法对软枣猕猴桃的图像进行分割，具体包括：根据最小二乘原理，通过对类内象素方差进行分割，使类内象素方差最小，类间象素变化最大，从而确定最优阈值。通过使用Otsu阈值法，图像分割的效果很好，图像的边缘很干净，能够很好的进行图像的分割。

软枣猕猴桃果实与叶子都是绿色，为了对果实和背景进行分割，本实施例提出了一种基于R-B的软枣猕猴桃果实分割方法。

采集到的软枣猕猴桃图像为RGB三通道彩色图像，而基于阈值分割需要将三通道图像转换为单通道图像后再进行分割。R-B色差分量是一种利用R、B分量的差分计算方法：通过调整R、B分量的比例系数，并依据直方图的双峰、谷型特点，选取最优的参数，进而求出合理的特征系数。R-B成分的图像中，果实和背景之间存在着很大的差别，并具有很好的判别能力。从直方图上可以看出，在70～90的区域，像素的灰度呈现出一个低谷，并且有很大的界限。因此，采用R-B色差分量的方法可以获得较好的阈值分割效果。

在经过以上处理的软枣猕猴桃图像中，仍然存在着树枝、树叶、草地以及与果实色泽非常相近的残余。而且由于采集图像时，采集设备与果实之间存在一定距离，在图像中还会残留一些果实的残余。因此，需要对其进行处理，以产生类似于软枣猕猴桃的结构元素。在本实施例中，采用Canny算子进行二值图像的边缘提取，最终获得软枣猕猴桃区域的轮廓信息。

通过对采集的软枣猕猴桃图像进行阈值化和形态学处理，可以获得一个完整的软枣猕猴桃区域的图像。本实施例提出了一种基于软枣猕猴桃的最小边缘矩形提取方法，以减少后续图像处理的面积。

首先，利用目标区域的外接矩形，对目标进行定位。具体包括：在图像的左上方，由左到右，由上到下的每个象素进行扫描，从而得到最小的外接矩形。上述最小的外接矩形就是一个有效的图象。在这些有效图像区域中进行Hough变换来识别软枣猕猴桃。对分割并去除干扰残留像素后得到的目标二值图像运用椭圆的Hough变换的方法进行处理，在有效图像区域中进行Hough变换来识别软枣猕猴桃，在邻接、重叠的软枣猕猴桃果实区域提取单个软枣猕猴桃轮廓，能够有效识别分离毗邻猕猴桃果实，达到了识别单个软枣猕猴桃的目的，大大减少了运算量，提高了处理速度。

S3、基于处理图像数据，建立软枣猕猴桃成熟度判别模型；

本实施例中，判别模型采用判别分析函数Fitcecoc模型；Fitcecoc模型分别以R、G、B、H、S、V分量均值颜色特征、Hu矩形状特征、GLCM纹理特征等作为模型最终的输入特征，总体实现不同成熟度软枣猕猴桃的判别分类。

其中，构建Fitcecoc模型的具体方法包括以下步骤：

1.输入软枣猕猴桃四种成熟期的训练集和测试集图像；

2.对软枣猕猴桃图像进行处理，提取真正感兴趣的软枣猕猴桃果实区域；

3.试验提取软枣猕猴桃图像不同的颜色、形状、纹理等特征，并以测试集混淆矩阵分类的结果作为依据，最终选取更优特征作为模型输入并进行合并，自命名一个合并特征的函数extractFeature()，分别输出训练集、测试集的特征和标签；

4.调用合并特征函数得到训练和测试用的特征向量与对应的标签，使用MATLAB自带的SVM训练函数Fitcecoc()进行训练，用函数predict()预测结果，即可进行SVM的训练和测试，得到软枣猕猴桃图像测试集的成熟度分类准确率(Acc)结果。Fitcecoc分类模型算法步骤示例图如图2所示。

特征提取是软枣猕猴桃目标识别和进一步分类的前提，果实颜色是软枣猕猴桃的主要品质性状，软枣猕猴桃的果实生长过程颜色是会转变的，刚开始是青绿色，等到果实成熟，就会慢慢转变成枣红色。一般果农采摘软枣猕猴桃，会在它们八分熟左右的时候进行采摘。因为这样的果实不至于太软，方便运输，当软枣猕猴桃到达消费者手中的时候也刚好达到成熟。果肉叶绿素、类胡萝卜素和类胡萝卜素对果实的色泽有一定的影响。果色越深，色素含量越高，成熟度越高，其营养质量越好。因此，在本实施例中，软枣猕猴桃的成熟度检测研究对象为彩色图像，因为彩色图像才能包含比灰度图像更加丰富的目标信息，更有利于对目标的识别。提取软枣猕猴桃图像的不同颜色、形状、纹理等特征后，测试集原始混淆矩阵如下所示：

(1)提取R、G、B、H、S、V分量均值特征。测试集混淆矩阵原始结果如图3所示。

将原始混淆矩阵进一步数据归一化，得到R、G、B、H、S、V分量均值混淆矩阵分类结果表如表1所示。

表1

从表1对角线元素可以观察到，RedA类、RedB类、RedD类分类正确率均达到了100％，其次是RedC类正确率分别为96.8％、82.9％，其余类分类正确率也达到60％以上。提取该特征时，模型所需训练时间为266.573s，能基本实现软枣猕猴桃成熟度分类检测，且训练时间短。综合考虑颜色特征输入后的正确率、训练时间等评价指标，可选取R、G、B、H、S、V分量均值作为Fitcecoc模型颜色特征输入。

(2)提取颜色和Hu矩特征。测试集混淆矩阵原始结果如图4所示。

将原始混淆矩阵进一步数据归一化，得到颜色结合Hu矩混淆矩阵分类结果表如表2所示。

表2

从表2对角线元素可以观察到，RedA类、RedB类分类正确率为100％，其次是RedC类、RedD类正确率分别为96.8％、93.4％。提取该特征时，模型所需训练时间为268,726s。可选取颜色结合Hu矩形状作为Fitcecoc模型颜色和形状特征输入。

(3)以基于R、G、B、H、S、V分量均值颜色特征和Hu矩形状特征提取为基础，再对图像的纹理特征进行试验提取，选取更为合适的纹理特征。提取颜色、Hu矩和GLCM纹理特征，测试集混淆矩阵原始结果如图5所示。

将原始混淆矩阵进一步数据归一化，得到颜色、Hu矩结合GLCM特征混淆矩阵分类结果表，如表3所示。

表3

从表3对角线元素可以观察到，RedA类、RedB类分类正确率为100％，其次是RedD类、RedC类分别为96.7％、90.3％。提取该特征时，模型所需训练时间269.876s。

若只从每类分类正确率作为判断软枣猕猴桃成熟度的分类标准，还不能够准确确定这两种特征输入方法究竟孰优孰劣。因此，本实施例根据混淆矩阵概念，进一步比较二者的测试集、精确率、召回率、F1值和对应评价指标均值等，以选出更优特征作为模型输入。

模型准确度是指在每个类别中，每个类别的正确数目占该类别所占的百分比，也就是在混乱矩阵中，对角元素与一行总数的比率；所谓“失真”是指在“混沌矩阵”中，“混沌”中“对角”元素和“整列”的“总”之比；F1是指正确率与回收率之间的调和平均值。如表4所示，是基于颜色提取和Hu矩提取的不同纹理特性检测集合的评估指标。

表4

从表4中可以观察到，基于颜色和Hu矩的特征输入为基础，当输入LBP纹理特征时，测试集分类精确率、召回率、F1值均值分别为91.1％，89.7％、90.4％；当输入GLCM纹理特征时，测试集精确率、召回率、F1值均值分别为96.8％，96.2％、96.1％。由此可见，输入GLCM纹理特征时，模型评价指标数值更高。其中，测试集模型准确率为混淆矩阵对角线元素个数与分类样本总个数的比值，即各分类精确率的均值。

综上，Fitcecoc模型采用以R、G、B、H、S、V分量均值颜色特征、Hu矩形状特征、GLCM纹理特征等作为模型最终的输入特征，最终模型测试集准确率(Acc)的结果即为各分类精确率的均值，为96.8％。

S4、基于判别模型，对不同成熟度猕猴桃进行分类。

本实施例中，通过将处理后的图像与电脑数据库中的成熟果实颜色样本进行对比，判断出果实的成熟度。

实施例二

如图6所示，本申请还提供一种软枣猕猴桃成熟度检测系统，包括：采集装置、处理装置、模型构建模块和分类模块；

采集装置用于采集软枣猕猴桃图像数据，得到原始图像数据；

本实施例中，采集装置采用Kinectv2视觉采集传感器。具体工作过程包括：

由软枣猕猴桃果实底部采集果实的RGB图像，然后利用USB接口将原始图像传输至电脑进行图像处理。

处理装置用于对原始图像数据进行预处理，得到处理图像数据；

处理装置工作过程包括：

本实施例中，预处理方法包括：图像去噪、图像增强、图像分割等。

(1)图像去噪

将原始图像转化为灰度图像，给灰度图像加入高斯噪声和椒盐噪声，随着模板维数增加，高斯噪声和椒盐噪声逐渐消减，且在消除噪声的基础上保持了软枣猕猴桃的边缘。

(2)图像增强

本实施例采用直方图变换法对图像进行增强，进行图像增强后，直方图亮度分布更广且均衡，软枣猕猴桃果实图像整体更亮且果实的边缘更加分明。

(3)图像分割

主要针对软枣猕猴桃图像中的阈值分割方法进行研究。思路包括：首先对原始图像进行特征分析，然后设定阈值，并对其进行分类。主要特征包括：RGB彩色图像与灰度图像转换所产生的特征、以及原始图像的灰度、色彩特征。本实施例采用Otsu阈值法对软枣猕猴桃的图像进行分割，具体包括：根据最小二乘原理，通过对类内象素方差进行分割，使类内象素方差最小，类间象素变化最大，从而确定最优阈值。通过使用Otsu阈值法，图像分割的效果很好，图像的边缘很干净，能够很好的进行图像的分割。

软枣猕猴桃果实与叶子都是绿色，为了对果实和背景进行分割，本实施例提出了一种基于R-B的软枣猕猴桃果实分割方法。

采集到的软枣猕猴桃图像为RGB三通道彩色图像，而基于阈值分割需要将三通道图像转换为单通道图像后再进行分割。R-B色差分量是一种利用R、B分量的差分计算方法：通过调整R、B分量的比例系数，并依据直方图的双峰、谷型特点，选取最优的参数，进而求出合理的特征系数。R-B成分的图像中，果实和背景之间存在着很大的差别，并具有很好的判别能力。从直方图上可以看出，在70～90的区域，像素的灰度呈现出一个低谷，并且有很大的界限。因此，采用R-B色差分量的方法可以获得较好的阈值分割效果。

在经过以上处理的软枣猕猴桃图像中，仍然存在着树枝、树叶、草地以及与果实色泽非常相近的残余。而且由于采集图像时，采集设备与果实之间存在一定距离，在图像中还会残留一些果实的残余。因此，需要对其进行处理，以产生类似于软枣猕猴桃的结构元素。在本实施例中，采用Canny算子进行二值图像的边缘提取，最终获得软枣猕猴桃区域的轮廓信息。

通过对采集的软枣猕猴桃图像进行阈值化和形态学处理，可以获得一个完整的软枣猕猴桃区域的图像。本实施例提出了一种基于软枣猕猴桃的最小边缘矩形提取方法，以减少后续图像处理的面积。

首先，利用目标区域的外接矩形，对目标进行定位。具体包括：在图像的左上方，由左到右，由上到下的每个象素进行扫描，从而得到最小的外接矩形。上述最小的外接矩形就是一个有效的图象。在这些有效图像区域中进行Hough变换来识别软枣猕猴桃。对分割并去除干扰残留像素后得到的目标二值图像运用椭圆的Hough变换的方法进行处理，在有效图像区域中进行Hough变换来识别软枣猕猴桃，在邻接、重叠的软枣猕猴桃果实区域提取单个软枣猕猴桃轮廓，能够有效识别分离毗邻猕猴桃果实，达到了识别单个软枣猕猴桃的目的，大大减少了运算量，提高了处理速度。

模型构建模块用于基于处理图像数据，建立软枣猕猴桃成熟度判别模型；

模型构建模块的工作过程包括：

本实施例中，判别模型采用判别分析函数Fitcecoc模型；Fitcecoc模型分别以R、G、B、H、S、V分量均值颜色特征、Hu矩形状特征、GLCM纹理特征等作为模型最终的输入特征，总体实现不同成熟度软枣猕猴桃的判别分类。

其中，构建Fitcecoc模型的具体方法包括以下步骤：

1.输入软枣猕猴桃四种成熟期的训练集和测试集图像；

2.对软枣猕猴桃图像进行处理，提取真正感兴趣的软枣猕猴桃果实区域；

3.试验提取软枣猕猴桃图像不同的颜色、形状、纹理等特征，并以测试集混淆矩阵分类的结果作为依据，最终选取更优特征作为模型输入并进行合并，自命名一个合并特征的函数extractFeature()，分别输出训练集、测试集的特征和标签；

4.调用合并特征函数得到训练和测试用的特征向量与对应的标签，使用MATLAB自带的SVM训练函数Fitcecoc()进行训练，用函数predict()预测结果，即可进行SVM的训练和测试，得到软枣猕猴桃图像测试集的成熟度分类准确率(Acc)结果。Fitcecoc分类模型算法步骤示例图如图2所示。

特征提取是软枣猕猴桃目标识别和进一步分类的前提，果实颜色是软枣猕猴桃的主要品质性状，软枣猕猴桃的果实生长过程颜色是会转变的，刚开始是青绿色，等到果实成熟，就会慢慢转变成枣红色。一般果农采摘软枣猕猴桃，会在它们八分熟左右的时候进行采摘。因为这样的果实不至于太软，方便运输，当软枣猕猴桃到达消费者手中的时候也刚好达到成熟。果肉叶绿素、类胡萝卜素和类胡萝卜素对果实的色泽有一定的影响。果色越深，色素含量越高，成熟度越高，其营养质量越好。因此，在本实施例中，软枣猕猴桃的成熟度检测研究对象为彩色图像，因为彩色图像才能包含比灰度图像更加丰富的目标信息，更有利于对目标的识别。提取软枣猕猴桃图像的不同颜色、形状、纹理等特征后，测试集原始混淆矩阵如下所示：

(1)提取R、G、B、H、S、V分量均值特征。测试集混淆矩阵原始结果如图3所示。

将原始混淆矩阵进一步数据归一化，得到R、G、B、H、S、V分量均值混淆矩阵分类结果表如表1所示。

表1

从表1对角线元素可以观察到，RedA类、RedB类、RedD类分类正确率均达到了100％，其次是RedC类正确率分别为96.8％、82.9％，其余类分类正确率也达到60％以上。提取该特征时，模型所需训练时间为266.573s，能基本实现软枣猕猴桃成熟度分类检测，且训练时间短。综合考虑颜色特征输入后的正确率、训练时间等评价指标，可选取R、G、B、H、S、V分量均值作为Fitcecoc模型颜色特征输入。

(2)提取颜色和Hu矩特征。测试集混淆矩阵原始结果如图4所示。

将原始混淆矩阵进一步数据归一化，得到颜色结合Hu矩混淆矩阵分类结果表如表2所示。

表2

从表2对角线元素可以观察到，RedA类、RedB类分类正确率为100％，其次是RedC类、RedD类正确率分别为96.8％、93.4％。提取该特征时，模型所需训练时间为268,726s。可选取颜色结合Hu矩形状作为Fitcecoc模型颜色和形状特征输入。

(3)以基于R、G、B、H、S、V分量均值颜色特征和Hu矩形状特征提取为基础，再对图像的纹理特征进行试验提取，选取更为合适的纹理特征。提取颜色、Hu矩和GLCM纹理特征，测试集混淆矩阵原始结果如图5所示。

将原始混淆矩阵进一步数据归一化，得到颜色、Hu矩结合GLCM特征混淆矩阵分类结果表，如表3所示。

表3

从表3对角线元素可以观察到，RedA类、RedB类分类正确率为100％，其次是RedD类、RedC类分别为96.7％、90.3％。提取该特征时，模型所需训练时间269.876s。

若只从每类分类正确率作为判断软枣猕猴桃成熟度的分类标准，还不能够准确确定这两种特征输入方法究竟孰优孰劣。因此，本实施例根据混淆矩阵概念，进一步比较二者的测试集、精确率、召回率、F1值和对应评价指标均值等，以选出更优特征作为模型输入。

模型准确度是指在每个类别中，每个类别的正确数目占该类别所占的百分比，也就是在混乱矩阵中，对角元素与一行总数的比率；所谓“失真”是指在“混沌矩阵”中，“混沌”中“对角”元素和“整列”的“总”之比；F1是指正确率与回收率之间的调和平均值。如表4所示，是基于颜色提取和Hu矩提取的不同纹理特性检测集合的评估指标。

表4

从表4中可以观察到，基于颜色和Hu矩的特征输入为基础，当输入LBP纹理特征时，测试集分类精确率、召回率、F1值均值分别为91.1％，89.7％、90.4％；当输入GLCM纹理特征时，测试集精确率、召回率、F1值均值分别为96.8％，96.2％、96.1％。由此可见，输入GLCM纹理特征时，模型评价指标数值更高。其中，测试集模型准确率为混淆矩阵对角线元素个数与分类样本总个数的比值，即各分类精确率的均值。

综上，Fitcecoc模型采用以R、G、B、H、S、V分量均值颜色特征、Hu矩形状特征、GLCM纹理特征等作为模型最终的输入特征，最终模型测试集准确率(Acc)的结果即为各分类精确率的均值，为96.8％。

分类模块用于基于判别模型，对不同成熟度猕猴桃进行分类。

本实施例中，通过将处理后的图像与电脑数据库中的成熟果实颜色赝本进行对比，判断出果实的成熟度。

实施例三

本实施例将结合软枣猕猴桃成熟度检测方法及系统，详细介绍应用软枣猕猴桃成熟度检测方法的采摘装置。

采集装置具体为软枣猕猴桃全自动采摘机器人，目前国内多数采摘机器人应用视觉技术，属于半自动机器人，不具备自动巡航的能力，需要手动输入指令实现对软枣猕猴桃的采摘。由于智能方面欠缺，采摘通常大部分时间都会是闲置状态，不具备其他作用，每年启用时还需进行维修。如图7所示，为采摘机器人路径规划示意图；如图11所示，为三维视觉原理图。本实施例中，软枣猕猴桃全自动采摘机器人路径规划精准避障路径规划主要由信息采集与信息处理组成。

具体的，信息采集依赖于小车前方的超声波测距模块和四周的4个红外测距模块,将实时采集的数据经过Arduino开发板处理后判断出相应的障碍物形状,最后根据程序执行相应的避障路线，精准避障。

在整个收获作业过程中，果园内的障碍物信息时刻变化，同时考虑全局已知障碍物和随机出现的障碍物，并根据超声波测距模块和四周的四个红外测距模块检测运动前方的障碍物。运用栅格法、蚁群算法、C空间法和Dijkstra算法等算法的结合，制定一条从开始采摘到结束完整的路径规划。采摘机器人以规划路径前进，并不断通过红外传感器接收运动前方其他的动态障碍物，结合机器人的前进速度判断有碰撞的可能时，调用路径规划的算法再次进行路径规划，自动避开前进方向的障碍物,实现实时对前进道路进行轨道规划。

具体的，如图12所示，超声波测距模块采用IO口TRIG触发测距，触发最少10us的高电平信号，模块自动发送8个40khz的方波，自动检测是否有信号返回；有信号返回，通过IO口ECHO输出一个高电平，同时开定时器计时，当端口由高电平转换为低电平时，读取定时器的值，高电平持续的时间就是超声波从发射到返回的时间，最终得到障碍距离。

如图13所示，红外发射电路的红外发光二极管发出红外光，经障碍反射后，由红外接收电路的光敏接收管接收前方物体反射光，据此判断前方是否有障碍物。根据发射光的强弱可以判断物体的距离，由于接收管接收的光强随反射物的距离远近而变化的，因而，距离近则反射光强，距离远则反射光弱。

软枣猕猴桃全自动采摘机器人整体由驱动部分和收获部分两大部分组成，驱动部分包括控制柜和智能操作台。具体包括：控制柜、传感器、机械爪、升降装置、单双目相机、图像采集装置、图像识别装置、图像处理装置以及自动传送分拣装置。

其中，控制柜上装有单双目相机、图像采集装置、图像识别装置以及图像处理装置。通过图像处理模块对比PC(Personal Computer)机数据库中的成熟果实颜色样本判断出目标果实的成熟度，对成熟果实实施准确采摘命令，相机坐标系和软枣猕猴桃所处高度数据反馈给AGX锁定，将锁定信息反馈给Linux嵌入式平台，计算参数信息后导入控制信号给控制柜对舵机进行升降控制机械手，机械手两侧采用一对对射式红外开关传感器进行果实位置检测，中心位置安装有压力传感器检测夹持力。进而机械手上的剪刀将茎剪短使软枣猕猴桃脱落，抓取软枣猕猴桃的装置松开，使其顺着整个摘取装置的中心空洞通过波纹软管108滚下掉落到升降装置的顶面模板，模板上面放入一个收集装置，随后软枣猕猴桃进入装置内实现收获机的收获作业。

如图9所示，机械臂装置采用多关节机械臂，使夹持器到达臂长范围的任何三维坐标点。在整个采摘作业过程中，运行速度适中，惯性较小，平稳度高。两侧采用一对对射式红外开关传感器进行果实位置检测，中心位置安装有压力传感器检测夹持力。内衬有厚度为5mm与软枣猕猴桃仿生弧形面相适应的软硅胶材料,起到缓冲作用,保证在夹持时避免刚性过大对果实造成损伤。切割装置101采用直流电机作为动力源，利用软管钢丝传动，驱动手臂做一周的旋转，以切割位于手指周向上任意位置的软枣猕猴桃柄。两侧圆弧状的爪子收紧来实现抓住软枣猕猴桃，进而机械手上的剪刀将茎剪短使软枣猕猴桃脱落，抓取软枣猕猴桃的装置松开，使其顺着整个摘取装置的中心空洞从波纹软管108滚下掉落到升降装置的顶面模板，模板上面放入一个收集装置。顶面模板设有称重装置在承受规定重量的软枣猕猴桃时，摘取装置停止工作，完成采摘作业。

如图8所示，升降装置结构由升降平台113、升降装置、底座滑道、紧锁装置、底座、底座液压缸、驱动器、车轮、模板滑道、模板液压缸以及穿销孔组成。摘取系统安装于升降装置的升降平台113，并通过摘取系统得的软枣猕猴桃高处数据传送到升降系统的驱动器来控制舵机进行升降控制，最后通过底座液压缸来带动升降装置抬高使摘取装置去摘更高处的软枣猕猴桃。

如图10所示，机械爪主要由放生弧形面的抓手固定软枣猕猴桃以及装有剪刀可进行剪切的切割装置101两部分组成。其工作的具体流程是将软枣猕猴桃摘取装置连接固定于前端，使摘取部分获得更多的自由度，在剪切果柄获得软枣猕猴桃后，“抓”取软枣猕猴桃的装置，即可松开软枣猕猴桃使软枣猕猴桃个体，顺着整个摘取装置的中心空洞沿波纹软管108滚下掉落到采摘手正下方的收集装置，波纹软管108具体如图14所示。

机器爪两侧采用一对对射式红外开关传感器进行果实位置检测，中心位置安装有压力传感器检测夹持力。内衬有厚度为5mm与软枣猕猴桃仿生弧面102相适应的软硅胶材料,起到缓冲作用,保证在夹持时避免刚性过大对果实造成损伤，也增强了夹持的可靠性。切割装置101采用直流电机作为动力源，利用软管钢丝传动，驱动机器主臂120和机器小臂121做一周的旋转，以切割位于手指周向上任意位置的软枣猕猴桃柄。这样省掉了检测果柄方位和调整末端执行器位姿的复杂过程,提高了采摘效率。同时刀片设计成圆弧，使得在切割过程中果柄与刀刃有滑动，更易切断果柄，保证了采摘的成功率。

自动传送分拣装置设有传送装置，分拣装置和收集装置，具体如图15所示，软枣猕猴桃通过储存仓达到一定重量后将软枣猕猴桃倒入提升机料斗内输送至硅胶带上面，由小到大顺序适当的孔径落入接料槽体，由倒料口排出，从而完成大小多种规格均匀分开，分级孔径可调节。进而进入储存筐110进行装箱封存，实现自动传送分拣装箱。

实施例四

本实施例将结合采集装置各个部分，对采集装置的工作过程进行详细说明。

软枣猕猴桃全自动采摘机器人启动，控制柜下达采摘任务。先由小车前方的超声波测距仪器和四周的红外测距仪器，将实时采集的数据经过Arduino开发板处理后判断出相应的障碍物形状,最后根据程序执行相应的避障路线，精准避障。控制柜通过单双目相机对软枣猕猴桃进行拍照，图像处理和识别成熟的果实。识别后传输给控制柜，由控制柜控制升降台上的滑轮116带动车体117到指定位置，再由升降平台113上装有的机械臂进行采摘。机械臂上主臂120控制小臂121对树上的果实进行定位，小臂121装有机械手腕118实现精准定位。机械手腕118通过机械臂接口107装有采摘机械手，机械手内的切割装置101固定果实，左右侧设有连接仿生弧面102的圆弧抓手103，圆弧抓手103内含有刀片和传感器对固定的果实进行精准采摘，每次采摘力度相同达到降低果实的损耗的效果。采摘下的果实通过机械手下方软管接口106接入的波纹软管108进入机器下方储存筐110。软枣猕猴桃通过储存筐110达到一定重量后进入自动传送分拣装置。由传送带109运输进入前端设有的分拣装置，通过相应大小的孔径进入储存筐110，从而实现自动传送分拣。同时机械手不停止对软枣猕猴桃进行采摘，当面前果实采摘完成后可通过旋转底座119控制机械手臂进行旋转扩大采摘范围，效率相对于人工有显著的提高，且每次采摘力度相同，节省时间与劳动力的同时实现机械化自动快速收获果实，本产品是对软枣猕猴桃采摘业的一次重大革新，同时对我国自动化发展起到助力作用。

以上所述的实施例仅是对本申请优选方式进行的描述，并非对本申请的范围进行限定，在不脱离本申请设计精神的前提下，本领域普通技术人员对本申请的技术方案做出的各种变形和改进，均应落入本申请权利要求书确定的保护范围内。

Claims (9)

1.一种软枣猕猴桃成熟度检测方法，其特征在于，包括以下步骤：

S1、采集软枣猕猴桃图像数据，得到原始图像数据；

S2、对所述原始图像数据进行预处理，得到处理图像数据；

S3、基于所述处理图像数据，建立软枣猕猴桃成熟度判别模型；

S4、基于所述判别模型，对不同成熟度猕猴桃进行分类。

2.根据权利要求1所述软枣猕猴桃成熟度检测方法，其特征在于，所述预处理包括：图像去噪、图像增强和图像分割。

3.根据权利要求2所述软枣猕猴桃成熟度检测方法，其特征在于，所述图像去噪方法包括：

将所述原始图像数据进行灰度，得到原始灰度图像数据；

对所述原始灰度图像数据加入高斯噪声和椒盐噪声。

4.根据权利要求3所述软枣猕猴桃成熟度检测方法，其特征在于，所述图像分割的方法包括：

采用Otsu阈值法对所述原始灰度图像数据进行分割；

采用R-B色差分量对软枣猕猴桃果实与背景之间进行阈值分割；

采用Canny算子进行二值图像的边缘提取，获得软枣猕猴桃区域的轮廓信息；

采用Hough变换分离软枣猕猴桃毗邻果实。

5.根据权利要求4所述软枣猕猴桃成熟度检测方法，其特征在于，所述R-B色差分量方法包括：

调整R、B分量的比例系数，基于直方图双峰、谷型，得到最优参数；

基于所述最优参数，计算特征系数。

6.根据权利要求4所述软枣猕猴桃成熟度检测方法，其特征在于，所述Hough变换的具体方法包括：

对进行分割处理的图像进行由左到右，由上到下的每个象素进行扫描，得到最小外接矩形；

在最小外接矩形内采用Hough变换，在邻接、重叠的软枣猕猴桃果实区域提取单个软枣猕猴桃轮廓。

7.根据权利要求1所述软枣猕猴桃成熟度检测方法，其特征在于，建立所述软枣猕猴桃成熟度判别模型的方法包括：

建立以R、G、B、H、S、V分量均值颜色特征、Hu矩形状特征、GLCM纹理特征为输入的Fitcecoc模型。

8.一种软枣猕猴桃成熟度检测系统，其特征在于，包括：采集装置、处理装置、模型构建模块和分类模块；

所述采集装置用于采集软枣猕猴桃图像数据，得到原始图像数据；

所述处理装置用于对所述原始图像数据进行预处理，得到处理图像数据；

所述模型构建模块用于基于所述处理图像数据，建立软枣猕猴桃成熟度判别模型；

所述分类模块用于基于所述判别模型，对不同成熟度猕猴桃进行分类。

9.根据权利要求8所述软枣猕猴桃成熟度检测系统，其特征在于，所述采集装置采用Kinectv2视觉采集传感器。

Images