CN105844213B - 一种绿色果实识别方法 - Google Patents

Abstract

本发明公开了一种绿色果实识别方法，首先采集图像，提取R通道分量图像，对分量图像进行中值滤波和8级灰度离散化操作；其次对8级灰度图像进行多角度灰度阶梯扫描，并基于启发式规则对扫描结果进行筛选；接着对筛选结果对应的各类信息进行融合，生成候选果实区域；最后从外观特征和团块操作、灰度阶梯方向数量、灰度阶梯数量三方面对候选果实区域进行投票，根据多数投票原则，确定最终的真实果实区域。本发明识别过程引入多数投票决策机制，并通过该机制融合了场景图像外观特征、网状灰度阶梯特征，大幅提升了识别方法的准确率和鲁棒性，有助于大幅提升采摘机器人整体作业效率。

Description

一种绿色果实识别方法

技术领域：

本发明属于图像识别技术领域，涉及一种基于网状灰度阶梯特征、自适应分类器以及多数投票决策机制的树上绿色果实识别方法。

背景技术：

采摘机器人有助于提高果实采摘效率、降低损伤率及节省人工成本，具有重要现实意义。其中基于场景解析的果实识别策略是采摘机器人实现果实采摘的重要关键技术。

机器视觉被普遍认为是采摘机器人实现果实场景解析的最佳途径，基于机器视觉的果实识别是相关领域的长期研究热点。然而非结构化果实场景固有的不确定性对机器人通过视觉感知果实及作业环境信息构成了巨大挑战。果实生长条件(如水果品种、营养状态、水分条件、生长阶段、果实相对树枝的位置)、环境条件(如光源强度、色温、照射方向等参数的动态变化)、光照条件(遮挡、树冠场景几何)都是潜在的不确定因素。

当前相关研究主要集中在采摘目标与背景颜色对比度大、形状较规则的非绿色水果品种上，并已取得较多进展。综合利用果实外观特征(如颜色、纹理及形状特征)，结合阈值分割以及形态拟合方法对果实目标进行识别定位是较常见和识别率较高的方法，相关研究涉及柑橘、葡萄、猕猴桃、番茄[等多类水果。

另一方面，绿色果实的识别对于成熟绿色水果的自动收获、水果产量的前期估计和销售策略的制定有重要的意义。尽管绿色水果的识别难度较大，特别是国内学者研究很少，但是其已逐渐成为国内外农业工程领域的一个新的研究热点。

国内关于绿色水果识别的相关专利暂时没有。经对现有文献检索发现，Ferhat等人在2011年第78卷2期的Computers and Electronics in Agriculture专业期刊上发表了题为《基于特征果、颜色及环形Gabor纹理特征的绿色果实识别方法》的文章(文章英文名：Green citrus detection using‘eigenfruit’,color and circular Gabor texturefeatures under natural outdoor conditions)，该文章公开了一种综合多类特征、多尺度寻找策略以及多数投票策略的绿色柑橘识别方法，但其仍然存在果实识别率较低、果实误检率高、检测算法过程复杂等问题。

发明内容：

本发明的目的在于克服现有技术的不足，提出一种融合网状灰度阶梯特征、自适应分类器以及多数投票决策机制的绿色果实识别方法，该方法基于多角度网状灰度阶梯特征的检测及筛选提出候选果实区域，并利用自适应分类器以及灰度阶梯特征的统计特性对候选区域进行综合判断以确定果实数量及实际位置，其技术方案如下：

一种绿色果实识别方法，其特征在于，包括步骤如下：

第一步，采集一帧图像到内存。

第二步，提取彩色图像的R通道图像。

第三步，以特定大小的滤波模块对R通道图像进行中值滤波。

第四步，对中值滤波处理后的输出图像进行8级灰度离散化操作，得到8级灰度图。

8级灰度图中，果实表面对应区域在相当大的取景尺度范围内均呈现8,7..i,i-1,..2,1的完整灰度分布。其中灰度8仅当果实表面被大面积阴影遮挡时不存在，而灰度1的分布均在随机性。我们将果实表面这种在特定方向上灰度由高到低的等差递减特性定义为灰度阶梯；将不同方向上的灰度阶梯集合总称为网状灰度阶梯特征。

第五步，对8级灰度图进行多角度灰度阶梯扫描。

扫描角度定义为扫描方向与X轴的夹角。由于果实表面下半部分呈现的灰度阶梯比较完整，因此，我们只扫描0-180度区间(间隔为15度)的灰度阶梯，具体涉及的灰度阶梯有87654321、8765432、765432、7654321四种。场景中绝大部分果实表面的最大灰度为8，而少部分完全处于阴影下的果实表面从灰度7开始，我们将两种灰度阶梯模式分别规定为pattern1及pattern2。

第六步，对灰度阶梯扫描结果应用启发式规则进行筛选，以去除各类场景几何产生的伪灰度阶梯。

所述的启发式规则涉及灰度阶梯的跨度及特定灰度阶宽概念，其定义为：针对已有灰度阶梯和对应的扫描线，我们将扫描线经历的特定灰度像素点总数定义为该灰度的阶宽(如widthofgray(i)表示灰度i的阶宽)，同时将所有灰度阶宽的总和定义为灰度阶梯的跨度span，且基于前期实验结果和场景的实际灰度统计特性，本发明针对灰度阶梯模式pattern1和pattern2，分别定义为及

所述伪灰度阶梯包含三类：树枝表面、树叶表面以及场景几何随机产生的伪灰度阶梯，分别设计多个启发式规则进行筛选。

第一类伪灰度阶梯产生原因在于：树枝表面近似圆柱形，对自然光照的反射及成像效果类似于果实球状表面，因此其表面呈现局部的灰度依次递减特征。该类伪灰度阶梯与待检测目标灰度阶梯的主要区别在于跨度不同。因此定义规则1：目标span＞＝k₁*span_th_low，其中span_th_low为通过实验获得的目标跨度阈值下限，k₁定义为与当前成像距离、果实大小相关的尺度系数。

第二类伪灰度阶梯产生原因在于：场景局部区域由上下两个分别处于阳面和阴面的树叶构成，灰度由上叶面的高灰度急剧过渡到下叶面的低灰度或一个树叶在其他树叶的遮挡下呈现由外到内的水平灰度递减。该类伪灰度阶梯与目标灰度阶梯的区别主要有两个：跨度小以及部分灰度阶宽在整个跨度中的占比非常小。由于规则1已对目标跨度作出最小值约束，我们定义规则2对阶宽占比进行进一步约束：

即目标灰度阶梯中，占比最小的两个阶宽比例不能小于特定值ratio_th。

第三类伪灰度阶梯为场景几何随机产生的灰度阶梯。该类伪灰度阶梯由于其产生原因的随机性，应定义多条规则进行筛选。规则3：span≤k₁*span_th_high，其中span_th_high为通过实验获得的目标跨度阈值上限，k₁为与规则1中相同的尺度系数。该规则的目的在于滤除跨度过大的伪灰度阶梯，如在当前视野中占主导地位的叶片表面在水平方向上容易产生该类大跨度灰度阶梯。规则4：f(areaofgray(max(i))＞area_th*k₁)，then ratio＜ratio_th_2，这里的ratio＝area/[maxsideof(boundingbox)]²，maxsideof(boundingbox)为最大灰度超像素外接矩阵的长边。本条规则用于约束灰度阶梯中最高灰度所在超像素的紧凑性，当该超像素面积大于特定值area_th*k₁(意味着果实中心最高灰度区域基本未被遮挡)，该超像素面积与其外接矩阵长边的平方比值应小于特定值ratio_th_2。规则5：果实表面最高灰度的超像素区域一般会对应多个灰度阶梯，我们将每个超像素所对应的灰度阶梯个数进行累加，得到stairaccu，定义规则：stairaccu≥accu_th，accu_th为对应的累计数阈值，只有当某个灰度阶梯对应的大灰度超像素满足这个条件时，才有可能是目标灰度阶梯。

第七步，融合各类信息，生成候选果实区域。

进行上一步骤所述的伪灰度阶梯筛除操作后，得到的理想中间结果是：单个真实果实对应的图像区域依次包含灰度由高到低的若干超像素(超像素集合)，而该区域内经筛选后剩余的多个灰度阶梯(灰度阶梯集合)依次贯穿每个超像素。

本步骤所述的各类信息包含灰度阶梯集合中所有的灰度阶梯及个数n_i，超像素集合所有超像素sp₁,sp₂,...sp_M及其平均重心x_i。

所述的候选果实区域生成过程具体包括6个步骤：

A、将图像中贯穿同一超像素集合的灰度阶梯分到同一个初始簇，共得到K个初始簇(c_i，i＝1,2...K)。每个初始簇c_i关联的数据有：灰度阶梯集合及其灰度阶梯个数n_i，超像素集合及其平均重心x_i。

B、将所有初始簇按照n_i由大到小重新排序，对任一簇c_j，如果簇c_k，k＝j+1,j+2,...,K满足不等式|x_j-x_k|≤sp_high，并且同时关联两簇c_j及c_k的超像素个数大于3，则将簇c_k合并至簇c_j中，更新对应数据n_j,new＝n_j+n_k，而x_j保持不变。由此实现了对同一果实重复检测结果的合并。

C、依次考虑更新后的簇。对任一簇，计算该簇所关联的所有超像素的外接矩阵，并将所有超像素按外接矩阵的面积降序排列，得到新的超像素序列sp_1new,sp_2new,...sp_Mnew。

D、对超像素sp_jnew中的每个像素赋权重j，即超像素外接矩阵越小，其对应像素在后续候选果实区域拟合过程中的重要性越高。

E、采用圆形近似拟合果实位置，该圆待确定的参数包括圆心坐标及圆半径。拟合过程考虑两个因素：圆形包含的像素权重之和尽量大；圆形不应超出实际果实可能占据的范围。具体在目标函数中加入惩罚因子以防止果实拟合半径过大：

其中∑_iw_i为圆形所包含像素的权重和，k·exp(r/R)为惩罚项，圆形半径越大，惩罚越强。参数k为权重因子，表示两项的相对重要性；针对不同的{x,y,r}组合，计算对应的目标函数值，当该值取最大时，对应的x₀,y₀,r₀为最优值。

第八步，基于外观特征对单个候选果实区域内的像素进行分类，并结合团块操作以生成决策结果1。

所述的外观特征共有65维特征，具体包括RGB平均值、R-B平均值、纹理描述符、RGB分量柱状图特征。

所述的分类过程是指：将单个候选果实区域中的所有像素划分为16x16像素块，提取每个像素块的65维外观特征，并基于Adaboost分类模型计算每个像素块为果实块的概率。概率大于0.5的认定为果实块，否则认定为非果实块。

所述的团块操作是指：找出候选果实区域内互相连通的果实块集合，如果该集合占据整个候选果实区域面积的三分之一以上，则决策结果1为正(初步认定候选果实区域为真实的果实区域)，否则决策结果1为负(初步认定候选果实区域为非果实区域)。

第九步，统计单个候选果实区域对应的灰度阶梯方向数量以生成决策结果2。如果候选果实区域对应的灰度阶梯方向数量大于3，则决策结果2为正，否则决策结果2为负。

第十步，统计单个候选果实区域对应的灰度阶梯数量以生成决策结果3。如果候选果实区域对应的灰度阶梯数量大于6，则决策结果3为正，否则决策结果3为负。

第十一步，针对每个候选果实区域，基于多数投票机制融合上述三个决策结果，对伪果实区域进行筛除。如果三个决策结果中有2个以上为正，则最终认定候选果实区域为真实的果实区域；否则为非果实区域，进行剔除。

与现有技术相比，本发明的有益效果：本发明为一种融合网状灰度阶梯特征、自适应分类器以及多数投票决策机制的绿色果实识别新方法，与现有方法的原理不同；本发明识别过程引入多数投票决策机制，并通过该机制融合了场景图像外观特征、网状灰度阶梯特征，大幅提升了识别方法的准确率和鲁棒性，有助于大幅提升采摘机器人整体作业效率。

附图说明：

图1是本发明的绿色果实识别方法框图。

图2是实施例中的原图与相关预处理结果的组合图；

其中：(a)为一室外绿色柑橘场景原图，(b)为(a)的R通道分量的灰度图表示，(c)为(b)的中值滤波输出结果，(d)为(c)的8级灰度离散化结果。

图3是实施例果实检测各步骤的输出示意图；

其中：(a)为多角度灰度阶梯检测结果，(b)为经筛选后的灰度阶梯示意图，(c)为融合各类信息，生成的候选果实区域示意图，(d)为图片中所有像素块为果实块的概率，(e)为图(d)结果阈值化处理后的结果，(f)为检测结果与场景原图的叠加。

具体实施方式：

以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

如图1所示，本实施例包括：图像采集、提取R通道图像、中值滤波、8级灰度离散化、多角度灰度阶梯扫描、灰度阶梯筛选、候选果实区域生成、生成决策结果1、生成决策结果2、生成决策结果3以及决策融合这十一个个步骤，最终得到果实检测结果。

下面具体进行说明：

第一步，采集一帧图像到内存，如图2(a)所示。

第二步，提取彩色图像的R通道图像，如图2(b)所示。

第三步，以17*17的滤波模块对R通道图像进行中值滤波，结果如图2(c)所示。

第四步，对中值滤波输出图像进行8级灰度离散化操作，得到8级灰度图，结果如图2(d)所示。

第五步，对8级灰度图进行多角度灰度阶梯扫描，扫描结果如图3(a)所示。该图中，白色扫描线段表示该线段对应的像素群上检测到了灰度阶梯。

第六步，对灰度阶梯扫描结果应用启发式规则进行筛选，以去除各类场景几何产生的伪灰度阶梯，剩余的灰度阶梯如图3(b)所示。本实施例对应的启发式规则中的参数如下表所示：

第七步，融合各类信息，生成候选果实区域。本实施例共生成三个候选果实区域，各候选果实区域对应的拟合圆如图3(c)所示。

第八步，基于外观特征对单个候选果实区域内的像素进行分类，并结合团块操作以生成决策结果1。

基于外观特征和Adaboost分类器的概率计算结果如图3(d)所示，该图中每个16x16像素块的灰度与其为果实块的概率成正比。图3(e)为对图3(d)结果阈值化处理后的结果，其中白色像素块代表该像素块被认定为果实块。计算图3(e)中三个候选果实区域内的连通果实块数量，三个候选果实区域内的连通果实块数量均超过整个候选果实区域面积的三分之一，因此三个区域的决策结果1均为正。

第九步，统计单个候选果实区域对应的灰度阶梯方向数量以生成决策结果2。三个候选果实区域中，其中前两个果实区域灰度阶梯方向数量已大于3，因此对应的决策结果2为正；最下方果实区域灰度阶梯方向数量为1，对应的决策结果2为负。

第十步，统计单个候选果实区域对应的灰度阶梯数量以生成决策结果3。三个候选果实区域中的灰度阶梯数量均大于6，因此决策结果3均为正。

第十一步，针对每个候选果实区域，基于多数投票机制融合上述三个决策结果，对伪果实区域进行筛除。三个候选果实区域对应的决策集合分别为(正正正)、(正正正)、(正负正)，因此按照多数投票原则，三个候选果实区域均为真实的果实区域。即本实施例识别到3个绿色柑橘果实。图3(f)为检测结果与场景原图的叠加示意图。

本实施例融合网状灰度阶梯特征、自适应分类器以及多数投票决策机制，实现了一种针对绿色果实识别应用的新方法。由于实施过程引入多数投票决策机制，并通过该机制融合了场景图像外观特征、网状灰度阶梯特征，大幅提升了识别方法的准确率和鲁棒性，有助于大幅提升采摘机器人整体作业效率。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种绿色果实识别方法，其特征在于，识别方法具体为：

第一步，采集一帧图像到内存；

第二步，提取彩色图像的R通道图像；

第三步，以特定大小的滤波模块对R通道图像进行中值滤波；

第四步，对中值滤波输出图像进行8级灰度离散化操作，得到8级灰度图；

第五步，对8级灰度图进行多角度灰度阶梯扫描；

第六步，对灰度阶梯扫描结果应用启发式规则进行筛选，以去除各类场景几何产生的伪灰度阶梯；

第七步，融合各类信息，生成候选果实区域；

第八步，基于外观特征对单个候选果实区域内的像素进行分类，并结合团块操作以生成决策结果1；

第九步，统计单个候选果实区域对应的灰度阶梯方向数量以生成决策结果2；

第十步，统计单个候选果实区域对应的灰度阶梯数量以生成决策结果3；

第十一步，针对每个候选果实区域，基于多数投票机制融合上述三个决策结果，对伪果实区域进行筛除；

第七步中所述的生成候选果实区域的步骤如下：

A、将图像中贯穿同一超像素集合的灰度阶梯分到同一个初始簇，共得到K个初始簇(c_i，i＝1,2...K)，每个初始簇c_i关联的数据有：灰度阶梯集合及其灰度阶梯个数n_i，超像素集合及其平均重心x_i；

B、将所有初始簇按照n_i由大到小重新排序，依据任意两簇所关联超像素平均重心的相对位置，对同一果实重复检测结果进行合并；

C、计算任意合并更新后的簇所关联的所有超像素的外接矩阵，并将所有超像素按外接矩阵的面积降序排列，得到新的超像素序列sp_1new,sp_2new,...sp_Mnew；

D、对超像素sp_jnew中的每个像素赋权重j，即超像素外接矩阵越小，其对应像素在后续候选果实区域拟合过程中的重要性越高；

E、基于罚函数法对果实位置进行圆形近似拟合，根据圆形包含的像素权重之和尽量大以及圆形不应超出实际果实可能占据的范围的原则确定圆形的圆心坐标及圆半径。

2.根据权利要求1所述的绿色果实识别方法，其特征在于：第五步中所述的多角度扫描是指0-180度区间、间隔为15度的扫描角度，而扫描角度定义为扫描方向与X轴的夹角。

3.根据权利要求1所述的绿色果实识别方法，其特征在于：第六步中所述的伪灰度阶梯根据其产生机理分为三类，分别为树枝表面、树叶表面以及场景几何随机产生的伪灰度阶梯。

4.根据权利要求1所述的绿色果实识别方法，其特征在于：第六步中所述的启发式规则为针对不同类型伪灰度阶梯设计的筛选规则，该类规则主要对目标灰度阶梯的跨度、阶宽占比、灰度超像素的形状进行限制，以区分伪灰度阶梯和目标灰度阶梯。

5.根据权利要求1所述的绿色果实识别方法，其特征在于：第八步中所述的分类是指根据外观特征判定每个像素块是否为果实块；所述外观特征包括RGB平均值、R-B平均值、纹理描述符和RGB分量柱状图特征构成的65维特征。

6.根据权利要求1所述的绿色果实识别方法，其特征在于：第八步中所述的团块操作是指根据候选果实区域内互相连通的果实块集合占据整个候选果实区域的面积是否超过设定阈值，判断候选果实区域是否为真实果实区域，若超过设定阈值，初步判定为真实果实区域，若未超出设定阈值，则初步判定为非果实区域。

7.根据权利要求1所述的绿色果实识别方法，其特征在于：第十一步中所述的伪果实区域筛除是从外观特征和团块操作、灰度阶梯方向数量、灰度阶梯数量三方面投票，根据多数投票原则，确定最终的真实果实区域。