CN104636716B - 绿色果实识别方法 - Google Patents

Abstract

本发明公开了一种基于果实表面灰度阶梯特征的绿色果实识别新方法。首先采集图像，提取R通道分量图像，对分量图像进行中值滤波和8级灰度离散化操作；其次对8级灰度图像进行多角度灰度阶梯扫描，并基于启发式规则对扫描结果进行筛选；最后对筛选结果进行合并，并实现果实空间位置的拟合，得到最终检测结果。本发明对应的算法过程只涉及灰度阶梯特征的检测及处理，不涉及多类复杂特征的提取与融合，算法过程相对简单；本方法识别准确率较高，误检率较低，有助于大幅提升采摘机器人整体作业效率。

Description

绿色果实识别方法

技术领域

本发明属于图像识别技术领域，涉及一种基于灰度阶梯特征的树上绿色果实识别方法。

背景技术

采摘机器人有助于提高果实采摘效率、降低损伤率及节省人工成本，具有重要现实意义。其中基于场景解析的果实识别策略是采摘机器人实现果实采摘的重要关键技术。

机器视觉被普遍认为是采摘机器人实现果实场景解析的最佳途径，基于机器视觉的果实识别是相关领域的长期研究热点。然而非结构化果实场景固有的不确定性对机器人通过视觉感知果实及作业环境信息构成了巨大挑战。果实生长条件(如水果品种、营养状态、水分条件、生长阶段、果实相对树枝的位置)、环境条件(如光源强度、色温、照射方向等参数的动态变化)、光照条件(遮挡、树冠场景几何)都是潜在的不确定因素。

当前相关研究主要集中在采摘目标与背景颜色对比度大、形状较规则的非绿色水果品种上，并已取得较多进展。综合利用果实外观特征(如颜色、纹理及形状特征)，结合阈值分割以及形态拟合方法对果实目标进行识别定位是较常见和识别率较高的方法，相关研究涉及柑橘、葡萄、猕猴桃、番茄^[等多类水果。

另一方面，绿色果实的识别对于成熟绿色水果的自动收获、水果产量的前期估计和销售策略的制定有重要的意义。尽管绿色水果的识别难度较大，特别是国内学者研究很少，但是其已逐渐成为国内外农业工程领域的一个新的研究热点。

国内关于绿色水果识别的相关专利暂时没有。经对现有文献检索发现，Ferhat等人在2011年第78卷2期的Computers and Electronics in Agriculture专业期刊上发表了题为《基于特征果、颜色及环形Gabor纹理特征的绿色果实识别方法》的文章(文章英文名：Green citrus detection using‘eigenfruit’,color and circular Gabor texturefeatures under natural outdoor conditions)，该文章公开了一种综合多类特征、多尺度寻找策略以及多数投票策略的绿色柑橘识别方法，但其仍然存在果实识别率较低、果实误检率高、检测算法过程复杂等问题。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于果实表面灰度阶梯特征的绿色果实识别方法，该方法结合多角度灰度阶梯扫描、启发式筛选规则及检测结果合并，实现绿色果实的数量确定和果实空间位置的拟合。

本发明是通过以下技术方案实现的，包括步骤如下：

第一步，采集一帧图像到内存。

第二步，提取彩色图像的R通道图像。

第三步，以特定大小的滤波模块对R通道图像进行中值滤波。

第四步，对中值滤波输出图像进行8级灰度离散化操作，得到8级灰度图。

8级灰度图中，果实表面对应区域在相当大的取景尺度范围内均呈现8,7..i,i-1,..2,1的完整灰度分布。其中灰度8仅当果实表面被大面积阴影遮挡时不存在，而灰度1的分布均在随机性。我们将果实表面这种在特定方向上灰度由高到低的等差递减特性定义为灰度阶梯。

第五步，对8级灰度图进行多角度灰度阶梯扫描。

扫描角度定义为扫描方向与X轴的夹角。由于果实表面下半部分呈现的灰度阶梯比较完整，因此，我们只扫描0-180度区间(间隔为15度)的灰度阶梯，具体涉及的灰度阶梯有87654321、8765432、765432、7654321四种。场景中绝大部分果实表面的最大灰度为8，而少部分完全处于阴影下的果实表面从灰度7开始，我们将两种灰度阶梯模式分别规定为pattern1及pattern2。

第六步，对灰度阶梯扫描结果应用启发式规则进行筛选，以去除各类场景几何产生的伪灰度阶梯。

所述的启发式规则涉及灰度阶梯的跨度及特定灰度阶宽概念，其定义为：针对已有灰度阶梯和对应的扫描线，我们将扫描线经历的特定灰度像素点总数定义为该灰度的阶宽(如widthofgray(i)表示灰度i的阶宽)，同时将所有灰度阶宽的总和定义为灰度阶梯的跨度span，且基于前期实验结果和场景的实际灰度统计特性，本发明针对灰度阶梯模式pattern1和pattern2，分别定义为及

所述伪灰度阶梯包含三类：树枝表面、树叶表面以及场景几何随机产生的伪灰度阶梯，分别设计多个启发式规则进行筛选。

第一类伪灰度阶梯产生原因在于：树枝表面近似圆柱形，对自然光照的反射及成像效果类似于果实球状表面，因此其表面呈现局部的灰度依次递减特征。该类伪灰度阶梯与待检测目标灰度阶梯的主要区别在于跨度不同。因此定义规则1：目标span＞＝k₁*span_th_low，其中span_th_low为通过实验获得的目标跨度阈值下限，k₁定义为与当前成像距离、果实大小相关的尺度系数。

第二类伪灰度阶梯产生原因在于：场景局部区域由上下两个分别处于阳面和阴面的树叶构成，灰度由上叶面的高灰度急剧过渡到下叶面的低灰度或一个树叶在其他树叶的遮挡下呈现由外到内的水平灰度递减。该类伪灰度阶梯与目标灰度阶梯的区别主要有两个：跨度小以及部分灰度阶宽在整个跨度中的占比非常小。由于规则1已对目标跨度作出最小值约束，我们定义规则2对阶宽占比进行进一步约束：即目标灰度阶梯中，占比最小的两个阶宽比例不能小于特定值ratio_th。

第三类伪灰度阶梯为场景几何随机产生的灰度阶梯。该类伪灰度阶梯由于其产生原因的随机性，应定义多条规则进行筛选。规则3：span≤k₁*span_th_high，其中span_th_high为通过实验获得的目标跨度阈值上限，k₁为与规则1中相同的尺度系数。该规则的目的在于滤除跨度过大的伪灰度阶梯，如在当前视野中占主导地位的叶片表面在水平方向上容易产生该类大跨度灰度阶梯。规则4：f(areaofgray(max(i))＞area_th*k₁)，then ratio＜ratio_th_2，这里的ratio＝area/[maxsideof(boundingbox)]²，maxsideof(boundingbox)为最大灰度超像素外接矩阵的长边。本条规则用于约束灰度阶梯中最高灰度所在超像素的紧凑性，当该超像素面积大于特定值area_th*k₁(意味着果实中心最高灰度区域基本未被遮挡)，该超像素面积与其外接矩阵长边的平方比值应小于特定值ratio_th_2。规则5：果实表面最高灰度的超像素区域一般会对应多个灰度阶梯，我们将每个超像素所对应的灰度阶梯个数进行累加，得到stairaccu，定义规则：stairaccu≥accu_th，accu_th为对应的累计数阈值，只有当某个灰度阶梯对应的大灰度超像素满足这个条件时，才有可能是目标灰度阶梯。

第七步，合并筛选结果，确定果实数量。

所述筛选结果是指：经前述规则筛选后，剩余多个灰度阶梯。由于单个果实通常对应多个筛选后的灰度阶梯，因此在确定果实数量前有必要对隶属于同一果实表面的灰度阶梯进行合并，使得合并后的每个灰度阶梯对应唯一一个真实的果实。

合并的依据在于如下事实：隶属于同一果实表面的灰度阶梯通常共用多个灰度超像素。因此合并策略为：依次搜索每个灰度阶梯，如果两个灰度阶梯共用3个以上灰度超像素，只留其一。最终灰度阶梯数量与果实个数相同，可直接用于作物产量的预估。

第八步，基于罚函数法对果实空间位置进行拟合。

所述果实空间位置的拟合主要考虑2个因素：1)最终的每个灰度阶梯对应多个不同灰度且符合相对空间位置关系的超像素群，每个超像素均对应一个灰度值和一个像素集合，将该灰度值作为对应像素的权重。采用圆形近似拟合果实位置，圆形应使被包含的像素权重尽量大。2)由于部分低灰度果实区域容易与阴面背景灰度相近，在8级灰度图中容易形成超越果实范围的超像素，因此拟合过程采用罚函数方法，在拟合公式中加入惩罚因子以防止果实拟合半径过大，具体拟合公式为：

其中Σ_iw_i为圆形所包含像素的权重和，k·exp(r₀/R_k)为惩罚项，圆形半径越大，惩罚越强。参数k为权重因子，当r₀≥R_k时，惩罚项将快速增大。R_k在本发明中暂定为固定值，由实验确定。

与现有技术相比，本发明的有益效果是：本发明为一种基于新特征的绿色果实识别方法，与现有方法的原理不同；本发明识别过程只涉及灰度阶梯特征的检测及处理，不涉及多类复杂特征的提取与融合，算法过程相对简单；本发明识别准确率较高，误检率较低，有助于大幅提升采摘机器人整体作业效率。

附图说明

图1是本发明的绿色果实识别方法框图。

图2是实施例中的原图与相关预处理结果的组合图；

其中：(a)为一室外绿色柑橘场景原图，(b)为(a)的R通道分量的灰度图表示，(c)为(b)的中值滤波输出结果，(d)为(c)的8级灰度离散化结果。

图3是实施例果实检测及空间位置拟合各步骤的输出示意图；

其中：(a)为多角度灰度阶梯检测结果，(b)为经筛选后的灰度阶梯示意图，(c)为灰度阶梯合并后对应的果实候选区域权重示意图，(d)为果实的最终空间位置拟合结果。

具体实施方式

以下结合附图对本发明的方法进一步描述，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例和果实对象，其保护范围也包括其他类似球状果实的识别。

如图1所示，本实施例包括：图像采集、图像R通道图像、中值滤波、8级灰度离散化、多角度灰度阶梯扫描、灰度阶梯筛选、合并筛选结果、果实空间位置拟合这八个步骤，最终得到障碍检测结果。

下面具体进行说明：

第一步，采集一帧图像到内存，如图2(a)所示。

第二步，提取彩色图像的R通道图像，如图2(b)所示。

第三步，以17*17的滤波模块对R通道图像进行中值滤波，结果如图2(c)所示。

第四步，对中值滤波输出图像进行8级灰度离散化操作，得到8级灰度图，结果如图2(d)所示。

第五步，对8级灰度图进行多角度灰度阶梯扫描，扫描结果如图3(a)所示。该图中，白色扫描线段表示该线段对应的像素群上检测到了灰度阶梯。

第六步，对灰度阶梯扫描结果应用启发式规则进行筛选，以去除各类场景几何产生的伪灰度阶梯，剩余的灰度阶梯如图3(b)所示。本实施例对应的启发式规则中的参数如下表所示：

第七步，合并筛选结果，确定果实数量。

本实施例中最后剩余三个最终的灰度阶梯，对应3个果实表面。其中每个果实包含多个灰度登机的超像素，直接将该灰度作为对应像素的权重，如图3(c)所示。

第八步，基于罚函数法对果实空间位置进行拟合，拟合结果如图3(d)中的黄色圆圈所示。

本实施例基于果实表面灰度阶梯特征，实现了一种针对绿色果实识别应用的新方法；本方法过程只涉及灰度阶梯特征的检测及处理，不涉及多类复杂特征的提取与融合，算法过程相对简单；本方法识别准确率较高，误检率较低，有助于大幅提升采摘机器人整体作业效率。

Claims (7)

1.绿色果实识别方法，其特征在于，识别方法具体为：

第一步，采集一帧图像到内存；

第二步，提取彩色图像的R通道图像；

第三步，以特定大小的滤波模块对R通道图像进行中值滤波；

第四步，对中值滤波输出图像进行8级灰度离散化操作，得到8级灰度图；

第五步，对8级灰度图进行多角度灰度阶梯扫描；

第六步，对灰度阶梯扫描结果应用启发式规则进行筛选，以去除各类场景几何产生的伪灰度阶梯；第六步中所述的启发式规则为针对不同类型伪灰度阶梯设计的筛选规则，该类规则主要对目标灰度阶梯的跨度、阶宽占比、灰度超像素的形状进行限制，以区分伪灰度阶梯和目标灰度阶梯；

第七步，合并筛选结果，确定果实数量；

第八步，基于罚函数法对果实空间位置进行拟合。

2.根据权利要求1所述的绿色果实识别方法，其特征在于，第五步中所述的灰度阶梯是指果实表面固有的在特定方向上由高到低的灰度等差递减特性，其具体表现为8级灰度图上8,7..i,i-1,..2,1的完整灰度分布。

3.根据权利要求1所述的绿色果实识别方法，其特征在于，第五步中所述的多角度扫描是指0-180度区间、间隔为15度的扫描角度，而扫描角度定义为扫描方向与X轴的夹角。

4.根据权利要求1所述的绿色果实识别方法，其特征在于，第六步中所述的伪灰度阶梯根据其产生机理分为三类，分别为树枝表面、树叶表面以及场景几何随机产生的伪灰度阶梯。

5.根据权利要求1所述的绿色果实识别方法，其特征在于，第七步中所述的合并操作是指对隶属于同一果实表面的灰度阶梯进行合并，使得合并后的每个灰度阶梯对应唯一一个真实的果实， 合并的依据基于如下事实：隶属于同一果实表面的灰度阶梯通常共用多个灰度超像素；合并策略为：依次搜索每个灰度阶梯，如果两个灰度阶梯共用3个以上灰度超像素，只留其一；最终灰度阶梯数量与果实个数相同。

6.根据权利要求1所述的绿色果实识别方法，其特征在于，第八步中所述的果实空间位置进行拟合是指按照特定原则，对每个果实实际所处的图像空间位置和果实半径进行拟合；采用圆形近似拟合果实位置，拟合后，该圆形包含的像素权重值之和尽量大。

7.根据权利要求1所述的绿色果实识别方法，其特征在于，第八步中所述的罚函数法是指在果实空间位置拟合公式中加入惩罚因子以防止果实拟合半径过大；尤其当拟合半径超过正常果实大小时，惩罚因子快速增大。