CN111738271A - 自然环境中被遮挡果实的识别方法 - Google Patents

Abstract

本发明涉及图像识别领域，具体涉及自然环境中被遮挡果实的识别方法。该方法先进行预处理，再利用区域边缘上相邻的人工标注点与质心的距离波动曲线求取最佳遮挡阈值，判定果实遮挡区域和未遮挡边缘，并对未遮挡边缘上的不相邻标注点进行随机三点定圆；将得到的圆心点集作为基于堆排序的改进型凝聚层次聚类分类器的输入，求取结果中每类的圆心均值与果实边缘上的最远标注点进行圆拟合，实现被遮挡果实的识别。本发明的识别方法相对于现有技术，实时性好、识别率高，并且波动范围较小。

Description

自然环境中被遮挡果实的识别方法

技术领域

本发明涉及图像识别领域，具体涉及自然环境中被遮挡果实的识别方法。

背景技术

目前，水果供应链的采摘环节主要依靠人工作业，效率低、成本高，无法满足国际市场的供应需求，为有效提高劳动生产率、节约劳动成本，利用水果采摘机器人代替人工作业是果园现代化管理的必然趋势。自然环境中水果多为类球形，果实重叠、受枝叶遮挡的现象普遍存在，机器视觉系统对目标果实遮挡状态的判断和侦测识别已成为水果采摘机器人亟需解决的实际问题，受到了国内外学者的广泛关注。

目前国内外学者针对遮挡果实的识别问题取得了一定进展，夏雪等在自然环境下苹果作业机器人双果重叠目标侦测方法中利用K-means聚类算法提取重叠苹果区域后使用Y型节点搜索分离单果轮廓，对被遮挡苹果运用距离最小二乘算法进行轮廓重建，能较好保留未遮挡果实的完整轮廓。刘洒在柑橘采摘机器人重叠果实分割与定位方法研究中针对被树叶轻度遮挡的重叠柑橘，提出了一种基于轮廓曲率和距离分析的果实分割方法，并结合最小二乘椭圆拟合和圆拟合的方法进行了轮廓重建。孙飒爽等公开的自然环境下绿色苹果目标的识别与分割方法研究，在改进GrabCut模型的基础上，利用Ncut算法对绿色苹果图像中的多重叠果实目标进行分割，通过三点定圆法实现枝叶果混合遮挡下果实区域的有效恢复。车金庆等在重叠苹果果实的分离识别方法中利用横纵投影图判别重叠形态，SUSAN检测角点后运用迭代腐蚀和瓶颈准则挑选重叠分离点并用Bresenhan算法连接，提取出分离果实有效轮廓后用改进的随机Hough算法拟合果实圆心和半径。

其中，沈明明在2018年公开的自然环境中绿苹果目标识别方法的研究中，针对自然环境中无重叠果实的识别问题，提出了一种基于支持向量机的识别方法，该方法还融合了图像的纹理、颜色和形状特征，实现了对自然环境中绿苹果的识别。首先用均值漂移算法对图像进行分割，利用分割结果提供的先验信息再结合图像的颜色特征和纹理特征建立稀疏相似度矩阵，通过改进大大降低了谱聚类算法的数据处理量，提高了算法的运行速度。

朱新新在基于RealSense深度信息的枝上柑橘果实近景识别研究中基于柑橘果、枝、叶的三维几何特征提出了一种果实识别的深度球截线方法，但果叶严重贴碰时会出现误判现象。Kutiba Nanaa等通过随机霍夫变换检测输入芒果图像中的椭圆形状特征，并利用反向传播神经网络对芒果进行分类，对于外观清晰的果实检测率较高，但对于重叠遮挡现象较严重的果实检测效果有所下降。

通过现有识别方法可以看出常规算法仅限于对一种果实或只存在轻度遮挡的果实进行识别，而应用神经网络虽识别准确但耗时较长，因此，目前需要一种能够在遮挡环境中也能够实现高识别率的识别方法。

发明内容

发明目的：

本发明旨在提出自然环境中被遮挡果实的识别方法，以解决现有技术中的遮挡下果实的识别问题。

技术方案：

自然环境中被遮挡果实的识别方法，该方法包括：先进行预处理，预处理后的果实区域再利用区域边缘上相邻的人工标注点与质心的距离波动曲线求取最佳遮挡阈值，判定果实遮挡区域和未遮挡边缘，并对未遮挡边缘上的不相邻标注点进行随机三点定圆；将得到的圆心点集作为基于堆排序的改进型凝聚层次聚类分类器的输入，求取结果中每类的圆心均值与果实边缘上的最远标注点进行圆拟合，实现被遮挡果实的识别。

进一步的，预处理过程包括先基于颜色阈值分割法提取出果实区域，再通过自适应中值滤波去除图像噪声，结合纹理特征训练支持向量机，将颜色、纹理分割结果进行与运算实现图像融合，再通过数学形态学处理提取出最终的目标果实区域。

进一步的，基于颜色阈值分割法提取出果实区域，再通过自适应中值滤波去除图像噪声，具体包括：是基于1.1R-G颜色因子得到原图的色差灰度图，对归一化后的色差灰度图进行自适应中值滤波，在去噪的同时能较好的保存边缘信息，再利用Otsu法动态选取的阈值对滤波结果进行二值化处理，大于阈值的视为分割区域，小于阈值的视为背景区域，从而得到果实分割结果。

进一步的，基于支持向量机进行果实分割，具体包括：

设(x，y)为图像一点，(x，y)与其邻近点(x+Δx，y+Δy)的灰度差分值为：

g_Δ(x，y)＝g(x，y)-g(x+Δx，y+Δy) (1)

设g_Δ(x，y)的所有可能取值共n级，令点(x，y)在图像上移动，累计g_Δ(x，y)取各值的次数，由此画出灰度差分统计直方图得到g_Δ(x，y)取各值的概率p_Δ(i)，i的取值范围为1～n；其中i＝g_Δ(x，y)，

纹理特征计算公式如下：

对比度：

角二阶矩：

熵：

平均值：

利用灰度差分统计法提取的纹理特征训练SVM，利用训练好的分类器对预处理后的图像进行分割，选择SVM对图像进行纹理分割，利用灰度差分统计法提取的图像纹理特征训练分类器，截取图像的方形区域作为训练样本，正样本为果实表面区域，负样本为背景区域包括树枝、树叶、天空、土地等，计算每个样本的灰度差分统计特征，将四个统计特征作为SVM的输入，选用径向基核函数训练分类器，提取目标区域，得到分割后的二值图像，将颜色特征分割结果与纹理特征分割结果进行逻辑与运算，当该区域既符合颜色特征又符合纹理特征时，作为满足条件的分割结果。

进一步的，通过数学形态学处理提取出最终的目标果实区域，具体包括：

在实际拍摄过程中，背景中会出现一些颜色特征与果实表面相似的点，同时在果实表面也存在一些颜色特征不符的斑点，考虑到通常情况下背景内颜色特征相似的区域大小大于果实内部斑点区域，

先对分割后的图片选择像素大小为5*5的结构元素进行腐蚀操作去除背景中颜色特征相近的区域；再通过一次像素大小为5*5的膨胀操作和一次像素大小为3*3的膨胀操作，还原因腐蚀而扩大的斑点区域并去除果实内部斑点，并将连通域面积小于果实总面积十分之一的区域去除得到最终的果实区域。

进一步的，对于预处理后的果实区域进行遮挡状态的判断具体包括：

首先对果实连通域边缘利用opencv中的findContours函数提取轮廓特征点，每隔两个点进行标注，并找到连通域最小外接矩的质心坐标；

设距离波动阈值为α，则

画出标注点与质心的距离波动曲线图，其中j表示标注点，x_j表示标注点j到质心的距离，Δx_j表示点j+1到质心与点j到质心的距离变化量；

为确定最佳阈值，引入以下四个指标对1％到20％范围内的全部阈值进行评判：

准确率：

精确率：

召回率：

F1值：

其中，TP表示被判定为非果实边缘上的点实际确实是在非果实边缘上点的个数，FP表示被判定为非果实边缘上的点但实际在果实边缘上的点个数，FN表示被判定为在果实边缘上的点但实际在非果实边缘上点的个数，TN表示被判定为在果实边缘上的点实际确实在果实边缘上点的个数；

准确率描述预测正确的结果占总样本的比例，精确率描述的是在所有预测出来的非果实边缘上的点有多少确实是在非果实边缘上的比例，召回率描述的是所有非果实边缘上的点能被正确预测多少的百分比，F1值是精确率和召回率的调和均值，F1分数同时考虑精确率和召回率，让两者同时达到最高，取得平衡；

画出相邻角点到质心的距离变化率

由果实类圆特征可知若存在遮挡，相邻标注点到质心间的距离差值变化率必然增加，因此差值变化率在阈值9％以上的标注点视为在遮挡边缘上，9％以下的标注点视为在果实边缘上。

进一步的，按照得到被遮挡果实部分边缘，对边缘上的不相邻角点运用随机三点定圆法求出圆心点集，避免三点之间的圆弧弧度太小导致结果与实际果实位置偏差过大。

进一步的，遮挡果实的识别是基于改进的凝聚层次聚类算法识别遮挡果实，通过计算圆心点集中不同数据点间的相似度来创建一棵有层次的嵌套聚类树，不必要事先指定聚类数目和初始聚类中心。

进一步的，凝聚层次算法具体包括：

采用凝聚算法，凝聚式是自下而上进行聚类，计算不同簇内数据点间的欧氏距离，假设圆心点集包含N个初始数据点，则欧氏距离计算公式为：

聚类树最底层搭建完成，通过邻近度准则计算簇间距离；

聚类准则有以下三种定义：单链、全链、组平均：

单链：

其中|x-y|是两个不同簇内数据点p、q间的距离，对噪音和离群点非常敏感，易受链式结构影响，产生散乱的分类；

全链：

对噪音和离群点不敏感，易形成同种紧密类；

组平均：

其中m_p、m_q表示类c_p和c_q中数据点的个数，考虑到类的结构而不单纯依靠距离合并，受异常数据影响小，鲁棒性相对较好；

通过建立基于堆的优先队列代替欧式距离矩阵，利用自定义结构体来实现自定义比较，不用遍历直接取出最小距离，以此降低存储容量和时间成本。

进一步的，具体聚类步骤如下：

(1)将待测圆心点集中的N个样本点分配为N个簇类，每类只包含一个样本点；

(2)计算任意两个数据点p和q之间的欧氏距离，存储在一维结构体数组s(p，q)中，并通过堆排序实现最小优先队列；

(3)创建表示类与类间距离的列表，按堆排序实现的顺序，将距离最近的类c_p和c_q合并，形成新类簇c_pq，删除列表中的c_p和c_q，添加新类簇c_pq与其他类簇的距离，未涉及到的类c_p和c_q的距离不更新；

(4)重复步骤(3)直到所有类合并成一个类或达到结束条件，退出条件是90％的簇被合并；

(5)计算新类的圆心均值，结合最远角点进行圆拟合实现彩色图像中遮挡果实的识别。

优点及效果：

本发明具有以下优点和有益效果：

本发明的识别方法相对于现有技术，识别精度高，重合度均值更高，并且波动范围较小。而且，本发明识别方法实时性好、识别率高。

附图说明

图1是自然环境中被遮挡果实的识别方法的流程图；

图2是颜色阈值分割图；(a)原图，(b)色差灰度图，(c)自适应中值滤波，(d)颜色阈值二值化；

图3是分割结果融合图；(a)纹理分割结果，(b)与运算结果；

图4是形态学处理；(a)腐蚀，(b)去除小区域，(c)膨胀；

图5是人工标注；

图6是标注点与质心的距离波动曲线；

图7是识别结果；(a)聚类结果，(b)识别效果图；

图8是人工提取目标区域；

图9是未遮挡状态下像素面积重合度；

图10是轻度遮挡状态下像素面积重合度；

图11是严重遮挡状态下像素面积重合度。

具体实施方式

下面结合附图对本发明做进一步的说明：

本发明针对自然环境中普遍存在的枝、叶遮挡果实和果实之间相互重叠的现象，提出利用相邻人工标注点到目标区域质心的距离波动曲线判定遮挡阈值的数学方法。基于颜色、纹理多特征融合方法分割图像，利用阈值判定果实遮挡区域和未遮挡边缘，将随机三点定圆法得到的圆心点集作为改进型凝聚层次聚类器的输入，对分类结果进行圆拟合。

针对果实的遮挡情况进行相关界定，根据标注点与质心的距离波动曲线判定的果实边缘占提取目标区域边缘的60％以上视为轻度遮挡，占比60％以下视为严重遮挡。

如图1所示，自然环境中被遮挡果实的识别方法，该方法包括：

先进行预处理，预处理后的果实区域再利用区域边缘上相邻的人工标注点与质心的距离波动曲线求取最佳遮挡阈值，判定果实遮挡区域和未遮挡边缘，并对未遮挡边缘上的不相邻标注点进行随机三点定圆；

将得到的圆心点集作为基于堆排序的改进型凝聚层次聚类分类器的输入，求取结果中每类的圆心均值与果实边缘上的最远标注点进行圆拟合，实现被遮挡果实的识别。

对于预处理阶段：

预处理过程包括先基于颜色阈值分割法提取出果实区域，再通过自适应中值滤波去除图像噪声，结合纹理特征训练支持向量机，将颜色、纹理分割结果进行与运算实现图像融合，再通过数学形态学处理提取出最终的目标果实区域。

基于颜色阈值的果实分割：

颜色特征是区分果实和背景的显著特征，被广泛应用于柑橘、番茄等果蔬识别问题中，选取合适的颜色空间和分割阈值至关重要。图像处理中常用的颜色空间有RGB、Lab、YUV、HSV等，RGB模式在人眼看来非常接近大自然的颜色，普遍用于颜色识别相关算法的研究。

本发明是基于1.1R-G颜色因子得到图2(a)原图的色差灰度图，如图2(b)所示，对归一化后的色差灰度图进行自适应中值滤波，在去噪的同时能较好的保存边缘信息，从而提高图像质量、提升锐化程度、增加前景与背景对比度，如图2(c)所示。再利用Otsu法动态选取的阈值对滤波结果进行二值化处理，大于阈值的视为分割区域，小于阈值的视为背景区域，从而得到果实分割结果，如图2(d)所示。

基于SVM的果实分割：

纹理是灰度空间相关特性的表征，包含大量细节信息，本发明利用灰度差分统计法提取图像纹理特征训练SVM分类器。SVM基于结构风险最小化原理，通过寻求最优分类超平面使得正负样本的分类间隔最大，广泛应用于解决小样本、非线性、高维度模式识别问题。

基于支持向量机进行果实分割，具体包括：

设(x，y)为图像一点，(x，y)与其邻近点(x+Δx，y+Δy)的灰度差分值为：

g_Δ(x，y)＝g(x，y)-g(x+Δx，y+Δy) (1)

设g_Δ(x，y)的所有可能取值共n级，令点(x，y)在图像上移动，累计g_Δ(x，y)取各值的次数，由此画出灰度差分统计直方图得到g_Δ(x，y)取各值的概率p_Δ(i)，i的取值范围为1～n；其中i＝g_Δ(x，y)，

纹理特征计算公式如下：

对比度：

角二阶矩：

熵：

平均值：

利用灰度差分统计法提取的纹理特征训练SVM，利用训练好的分类器对预处理后的图像进行分割，具体是选择SVM对图像进行纹理分割，利用灰度差分统计法提取的图像纹理特征训练分类器，截取图像的方形区域作为训练样本，正样本为果实表面区域，负样本为背景区域包括树枝、树叶、天空、土地等，计算每个样本的灰度差分统计特征，将四个统计特征作为SVM的输入，选用径向基核函数训练分类器，提取目标区域，得到分割后的二值图像，如图3(a)所示。将颜色特征分割结果与纹理特征分割结果进行逻辑与运算，即当该区域既符合颜色特征又符合纹理特征时，作为满足条件的分割结果，如图3(b)，实现了目标区域的精准提取。

形态学处理：

由图3(b)观察得知，目标区域内部含有孔洞、毛刺和光斑、枝叶等背景杂质，可利用数学形态学方法进行消除。基本的形态学方法有腐蚀、膨胀、开运算、闭运算，根据实际需求进行组合体现出目标最具本质的形状特征(如边界、连通域等)。

通过数学形态学处理提取出最终的目标果实区域，具体包括：

由于在实际拍摄过程中，背景中会出现一些颜色特征与果实表面相似的点，同时在果实表面也存在一些颜色特征不符的斑点，考虑到通常情况下背景内颜色特征相似的区域大小大于果实内部斑点区域。

因此，先对分割后的图片选择像素大小为5*5的结构元素进行腐蚀操作去除背景中颜色特征相近的区域，得到图4(a)；再通过一次像素大小为5*5的膨胀操作和一次像素大小为3*3的膨胀操作，还原因腐蚀而扩大的斑点区域并去除果实内部斑点，如图4(b)所示，并将连通域面积小于果实总面积十分之一的区域去除得到最终的果实区域，如图4(c)所示。

遮挡状态的判断：

针对遮挡果实进行识别算法的研究，因此需要对目标果实进行遮挡状态的判断。

首先对图4(c)果实连通域边缘利用opencv中的findContours函数提取轮廓特征点，每隔两个点进行标注，并找到连通域最小外接矩的质心坐标，如图5所示。

设距离波动阈值为α，则

画出标注点与质心的距离波动曲线图，其中j表示标注点，x_j表示标注点j到质心的距离，Δx_j表示点j+1到质心与点j到质心的距离变化量；

如图6所示，圆形数据点表示标注点j到质心的距离x_j，三角形数据点表示点j+1到质心与点j到质心的距离变化量Δx_j，通过检测带有十字花型线段的波动程度来判断果实边缘的遮挡状态，虚线表示阈值。

为确定最佳阈值，引入以下四个指标对1％到20％范围内的全部阈值进行评判：

准确率：

精确率：

召回率：

F1值：

其中，TP(真阳性)表示被判定为非果实边缘上的点实际确实是在非果实边缘上点的个数，FP(假阳性)表示被判定为非果实边缘上的点但实际在果实边缘上的点个数，FN(假阴性)表示被判定为在果实边缘上的点但实际在非果实边缘上点的个数，TN(真阴性)表示被判定为在果实边缘上的点实际确实在果实边缘上点的个数。准确率描述预测正确的结果占总样本的比例，精确率描述的是在所有预测出来的非果实边缘上的点有多少确实是在非果实边缘上的比例，召回率描述的是所有非果实边缘上的点能被正确预测多少的百分比，F1值是精确率和召回率的调和均值，F1分数同时考虑精确率和召回率，让两者同时达到最高，取得平衡。本实施例中30幅随机选取的测试图像包含49个连通域，共标注688个点，非果实边缘上标注点的个数为197，果实边缘上标注点的个数为491。统计1％到20％范围内不同阈值下的评价指标，数据如表1所示，当遮挡阈值为9％时，各项指标均优于其他阈值，确定为最佳遮挡阈值。

表1不同阈值下的评估指标对比

画出相邻角点到质心的距离变化率

如图6中十字花型线段所示，由果实类圆特征可知若存在遮挡，相邻标注点到质心间的距离差值变化率必然增加，因此差值变化率在阈值9％以上的标注点视为在遮挡边缘上，9％以下的标注点视为在果实边缘上。

标注点1、12、21、39、40、41与前一个标注点到质心的距离变化率均在9％以上，即可判定这些标注点不在果实边缘上，则分离点为2、11、13、20、23、38、42、50，果实边缘区间为3-9、14-18、24-36、39-40、43-49。

按照上述方法得到被遮挡果实部分边缘，对边缘上的不相邻角点运用随机三点定圆法求出圆心点集，避免三点之间的圆弧弧度太小导致结果与实际果实位置偏差过大。

遮挡果实的识别：

聚类分析可根据数据对象间的关系将数据集划分成不同的簇，常用的聚类算法有K-means(基本k均值)、DBSCAN(基于密度)、凝聚层次聚类(HAC)。

本发明是基于改进的凝聚层次聚类算法识别遮挡果实，通过计算圆心点集中不同数据点间的相似度来创建一棵有层次的嵌套聚类树，不必要事先指定聚类数目和初始聚类中心。

层次聚类分为凝聚和分裂两种，以往研究表明分裂算法效率和性能较凝聚算法低，凝聚式是自下而上进行聚类，计算不同簇内数据点间的欧氏距离，假设圆心点集包含N个初始数据点，则欧氏距离计算公式为：

聚类树最底层搭建完成，通过邻近度准则计算簇间距离。聚类准则有以下三种定义：单链(Single-link，两个簇最近点间距)、全链(Complete-link，两个簇最远点间距)、组平均(Average-link，类间数据两两距离的平均值)：Single-link：

其中|x-y|是两个不同簇内数据点p、q间的距离，对噪音和离群点非常敏感，易受链式结构影响，产生散乱的分类；

Complete-link：

对噪音和离群点不敏感，易形成同种紧密类；

Average-link：

其中m_p、m_q表示类c_p和c_q中数据点的个数，考虑到类的结构而不单纯依靠距离合并，受异常数据影响小，鲁棒性相对较好。

传统凝聚层次聚类算法每合并一个类后需重新计算合并后的类间距离，即初始距离矩阵大小为N*N，第二次合并前距离矩阵大小变为(N-1)*(N-1)，以此类推直至合并为一个类，算法的时间复杂度高达O(tN²)，其中t为迭代次数，对于海量数据来说需要浪费大量的计算时间和存储空间。

本发明通过建立基于堆的优先队列代替欧式距离矩阵，利用自定义结构体来实现自定义比较，可不用遍历直接取出最小距离，以此降低存储容量和时间成本。

聚类步骤如下：

(1)将待测圆心点集中的N个样本点分配为N个簇类，每类只包含一个样本点；

(2)计算任意两个数据点p和q之间的欧氏距离，存储在一维结构体数组s(p，q)中，并通过堆排序实现最小优先队列；

(3)创建表示类与类间距离的列表，按堆排序实现的顺序，将距离最近的类c_p和c_q合并，形成新类簇c_pq，删除列表中的c_p和c_q，添加新类簇c_pq与其他类簇的距离，未涉及到的类c_p和c_q的距离不更新；

(4)重复步骤(3)直到所有类合并成一个类或达到结束条件，为了防止过度合并，退出条件是90％的簇被合并，结果图如图7(a)所示；

(5)计算新类的圆心均值，结合最远角点进行圆拟合实现彩色图像中遮挡果实的识别，结果图如图7(b)所示。

为保证后续机械手的精确采摘，只需满足末端执行器的扩张范围大于果实所求圆心均值到最远角点的空间距离，再通过执行器上的力度传感器贴合果实表面完成最终的抓取。

改进的HAC算法分析如下：

假设有ABCD四个点，通过欧式距离计算得到：

s(A，B)＝3，s(A，C)＝3，s(A，D)＝4

s(B，C)＝2，s(B，D)＝3，s(C，D)＝1

通过堆排序得到由小到大的欧式距离生成表，存储于自定义数据结构中，自定义存储结构分为三部分，类一和类二分别是线性列表，每一项为一个点，将欧氏距离最小的点划为一类，并且替换掉在该线性表中包含这两点的所有类，第三部分为类间距离。传统聚类方法在步骤(3)中需要计算所有类间距离来更新距离矩阵，本发明可直接从优先队列中取出最小距离，同时计算距离时避免了旧类间不必要的距离更新，对存储结果进行部分修改，相当于步骤(3)只计算了N次，时间复杂度降为O(tN)。更新后的距离列表为：

s(B，(C，D))＝2.5

s(A，B)＝3

s(A，(C，D))＝3.5

验证和结果分析：

为了验证本发明识别方法的准确性和实用性，选取240张不同遮挡程度的李子图像进行试验，试验平台为Inter(R)Core(TM)i5-4200U CPU、64位Windows 10操作系统，主频为2.3GHz，内存4.0GB。在VS2017开发环境中配置kinect sdk 2.0+Opencv3.4.1，创建工程连接好Kinect v2相机，彩色摄像头分辨率为1920*1080像素，对果树不同角度进行拍摄。

主要是为了检测出遮挡果实，找到目标果实的形心，为水果采摘机器人三维空间目标点定位抓取提供参考。

表2方法识别效果

根据遮挡情况将果实图像分为以下三类：第一类是果实未被枝叶及其他果实遮挡、第二类是果实被部分遮挡导致轮廓不完整、第三类是果实被大面积遮挡。每类随机选取80幅测试图像，利用本发明识别方法针对240幅测试图像进行果实识别，识别效果如表2所示。

运用两种评判标准检验算法：(一)果实识别，识别哪些是果实区域。运用算法识别目标果实重建果实轮廓，由表2可知对于未被遮挡以及轻度遮挡的果实识别效果较好，识别率为92.58％，漏检率和错检率分别为7.42％和1.66％，满足实际应用需求。对于遮挡情况非常严重的情形，由于识别出的目标区域的质心与果实实际质心位置偏差过大，难以有效辨别果实边缘，同时果实边缘与识别区域的质心之间无法拟合出圆形，因此影响到识别效果。

果实定位，是否与果实实际位置存在偏差。利用目标果实拟合轮廓与人工标注提取的果实区域内部像素面积的重合度进行算法评价，计算公式为：

其中，Q表示人工标注提取的果实区域像素个数，Q_i表示拟合圆内部像素个数，i对应着改进的果实识别方法，C_i表示重合度，针对图2(a)人工提取的果实区域如图8所示。

为验证算法有效性，利用梯度霍夫变换(GHT)与本发明改进的HAC算法检测出的目标果实与实际果实的像素面积重合度对测试图像进行验证，得到不同遮挡程度的重合度折线图，如图9、图10、图11所示。

在本发明运行环境下对240幅测试图像进行处理，由图9、图10可知对于自然环境下处于未遮挡状态和轻度遮挡状态的果实而言，两种方法检测效果十分接近，GHT算法检测的果实像素面积重合度均值分别为93.06％和93.41％；本发明方法计算的重合度均值分别为94.38％和95.21％，两种方法均能达到采摘精度要求，HAC方法重合度均值更高。对于严重遮挡情况，由图11明显可以看出方法的重合度数值整体处于GHT算法的计算结果上方，并且波动范围较小，重合度为83.42％；与此同时GHT算法对于80幅测试图像中的5幅图像无法进行有效识别，计算出的像素面积重合度为0，整体的重合度均值为58.35％，识别效果差，进一步验证了HAC算法识别被遮挡果实的优越性。利用本发明识别方法测试240幅样本图像，得到的重合度均值为91％。

基于以上分析结果表明，本发明基于阈值的识别方法优于现有的霍夫梯度变换法，其具备实时性好、识别率高的优点。

Claims (10)

1.自然环境中被遮挡果实的识别方法，其特征在于：该方法包括：

先进行预处理，预处理后的果实区域再利用区域边缘上相邻的人工标注点与质心的距离波动曲线求取最佳遮挡阈值，判定果实遮挡区域和未遮挡边缘，并对未遮挡边缘上的不相邻标注点进行随机三点定圆；

将得到的圆心点集作为基于堆排序的改进型凝聚层次聚类分类器的输入，求取结果中每类的圆心均值与果实边缘上的最远标注点进行圆拟合，实现被遮挡果实的识别。

2.根据权利要求1所述的自然环境中被遮挡果实的识别方法，其特征在于：预处理过程包括先基于颜色阈值分割法提取出果实区域，再通过自适应中值滤波去除图像噪声，结合纹理特征训练支持向量机，将颜色、纹理分割结果进行与运算实现图像融合，再通过数学形态学处理提取出最终的目标果实区域。

3.根据权利要求2所述的自然环境中被遮挡果实的识别方法，其特征在于：基于颜色阈值分割法提取出果实区域，再通过自适应中值滤波去除图像噪声，具体包括：

是基于1.1R-G颜色因子得到原图的色差灰度图，对归一化后的色差灰度图进行自适应中值滤波，在去噪的同时能较好的保存边缘信息，再利用Otsu法动态选取的阈值对滤波结果进行二值化处理，大于阈值的视为分割区域，小于阈值的视为背景区域，从而得到果实分割结果。

4.根据权利要求2所述的自然环境中被遮挡果实的识别方法，其特征在于：基于支持向量机进行果实分割，具体包括：

设(x,y)为图像一点，(x,y)与其邻近点(x+Δx,y+Δy)的灰度差分值为：

g_Δ(x,y)＝g(x,y)-g(x+Δx,y+Δy) (1)

设g_Δ(x,y)的所有可能取值共n级，令点(x,y)在图像上移动，累计g_Δ(x,y)取各值的次数，由此画出灰度差分统计直方图得到g_Δ(x,y)取各值的概率p_Δ(i)，i的取值范围为1～n；其中i＝g_Δ(x,y)，

纹理特征计算公式如下：

对比度：

角二阶矩：

熵：

平均值：

利用灰度差分统计法提取的纹理特征训练SVM，利用训练好的分类器对预处理后的图像进行分割，选择SVM对图像进行纹理分割，利用灰度差分统计法提取的图像纹理特征训练分类器，截取图像的方形区域作为训练样本，正样本为果实表面区域，负样本为背景区域包括树枝、树叶、天空、土地等，计算每个样本的灰度差分统计特征，将四个统计特征作为SVM的输入，选用径向基核函数训练分类器，提取目标区域，得到分割后的二值图像，将颜色特征分割结果与纹理特征分割结果进行逻辑与运算，当该区域既符合颜色特征又符合纹理特征时，作为满足条件的分割结果。

5.根据权利要求2所述的自然环境中被遮挡果实的识别方法，其特征在于：通过数学形态学处理提取出最终的目标果实区域，具体包括：

在实际拍摄过程中，背景中会出现一些颜色特征与果实表面相似的点，同时在果实表面也存在一些颜色特征不符的斑点，考虑到通常情况下背景内颜色特征相似的区域大小大于果实内部斑点区域，

先对分割后的图片选择像素大小为5*5的结构元素进行腐蚀操作去除背景中颜色特征相近的区域；再通过一次像素大小为5*5的膨胀操作和一次像素大小为3*3的膨胀操作，还原因腐蚀而扩大的斑点区域并去除果实内部斑点，并将连通域面积小于果实总面积十分之一的区域去除得到最终的果实区域。

6.根据权利要求1所述的自然环境中被遮挡果实的识别方法，其特征在于：对于预处理后的果实区域进行遮挡状态的判断具体包括：

首先对果实连通域边缘利用opencv中的findContours函数提取轮廓特征点，每隔两个点进行标注，并找到连通域最小外接矩的质心坐标；

设距离波动阈值为α，则

画出标注点与质心的距离波动曲线图，其中j表示标注点，x_j表示标注点j到质心的距离，Δx_j表示点j+1到质心与点j到质心的距离变化量；

为确定最佳阈值，引入以下四个指标对1％到20％范围内的全部阈值进行评判：

准确率：

精确率：

召回率：

F1值：

其中，TP表示被判定为非果实边缘上的点实际确实是在非果实边缘上点的个数，FP表示被判定为非果实边缘上的点但实际在果实边缘上的点个数，FN表示被判定为在果实边缘上的点但实际在非果实边缘上点的个数，TN表示被判定为在果实边缘上的点实际确实在果实边缘上点的个数；

准确率描述预测正确的结果占总样本的比例，精确率描述的是在所有预测出来的非果实边缘上的点有多少确实是在非果实边缘上的比例，召回率描述的是所有非果实边缘上的点能被正确预测多少的百分比，F1值是精确率和召回率的调和均值，F1分数同时考虑精确率和召回率，让两者同时达到最高，取得平衡；

画出相邻角点到质心的距离变化率

由果实类圆特征可知若存在遮挡，相邻标注点到质心间的距离差值变化率必然增加，因此差值变化率在阈值9％以上的标注点视为在遮挡边缘上，9％以下的标注点视为在果实边缘上。

7.根据权利要求6所述的自然环境中被遮挡果实的识别方法，其特征在于：按照得到被遮挡果实部分边缘，对边缘上的不相邻角点运用随机三点定圆法求出圆心点集，避免三点之间的圆弧弧度太小导致结果与实际果实位置偏差过大。

8.根据权利要求1所述的自然环境中被遮挡果实的识别方法，其特征在于：遮挡果实的识别是基于改进的凝聚层次聚类算法识别遮挡果实，通过计算圆心点集中不同数据点间的相似度来创建一棵有层次的嵌套聚类树，不必要事先指定聚类数目和初始聚类中心。

9.根据权利要求8所述的自然环境中被遮挡果实的识别方法，其特征在于：凝聚层次算法具体包括：

采用凝聚算法，凝聚式是自下而上进行聚类，计算不同簇内数据点间的欧氏距离，假设圆心点集包含N个初始数据点，则欧氏距离计算公式为：

聚类树最底层搭建完成，通过邻近度准则计算簇间距离；

聚类准则有以下三种定义：单链、全链、组平均：

单链：

其中|x-y|是两个不同簇内数据点p、q间的距离，对噪音和离群点非常敏感，易受链式结构影响，产生散乱的分类；

全链：

对噪音和离群点不敏感，易形成同种紧密类；

组平均：

其中m_p、m_q表示类c_p和c_q中数据点的个数，考虑到类的结构而不单纯依靠距离合并，受异常数据影响小，鲁棒性相对较好；

通过建立基于堆的优先队列代替欧式距离矩阵，利用自定义结构体来实现自定义比较，不用遍历直接取出最小距离，以此降低存储容量和时间成本。

10.根据权利要求9所述的自然环境中被遮挡果实的识别方法，其特征在于：具体聚类步骤如下：

(1)将待测圆心点集中的N个样本点分配为N个簇类，每类只包含一个样本点；

(2)计算任意两个数据点p和q之间的欧氏距离，存储在一维结构体数组s(p,q)中，并通过堆排序实现最小优先队列；

(3)创建表示类与类间距离的列表，按堆排序实现的顺序，将距离最近的类c_p和c_q合并，形成新类簇c_pq，删除列表中的c_p和c_q，添加新类簇c_pq与其他类簇的距离，未涉及到的类c_p和c_q的距离不更新；

(4)重复步骤(3)直到所有类合并成一个类或达到结束条件，退出条件是90％的簇被合并；

(5)计算新类的圆心均值，结合最远角点进行圆拟合实现彩色图像中遮挡果实的识别。

Images