CN111445482B - 重叠双孢蘑菇的分割识别方法 - Google Patents

Abstract

本发明公开了一种重叠双孢蘑菇的分割识别方法。该方法先采集图像，根据图像边缘梯度特征，计算全局梯度阈值对图像进行分割，获取二值图像；再对二值图像滤波和形态学处理，通过Canny算子边缘检测获取轮廓，提取重叠双孢蘑菇区域的凸壳，并提取凹区域进行多边形简化，运用Shi‑Tomasi角点检测提取顶点后确定分割点；最后采用最小二乘椭圆拟合算法和圆拟合差值算法重构双孢蘑菇轮廓，获取双孢蘑菇采摘需求信息。本方法克服了图像采集时光照不均匀、蘑菇培养土高低不同时对双孢蘑菇轮廓提取的影响，提高了双孢蘑菇在重叠情况下的识别率，增强了视觉识别对蘑菇培养环境异构性的自适应能力，从而有效提升双孢蘑菇的智能采摘成功率。

Description

重叠双孢蘑菇的分割识别方法

技术领域

本发明涉及采摘机械技术领域，具体涉及一种重叠果实双孢蘑菇的分隔识别方法。

背景技术

双孢蘑菇的工厂化生产已经比较成熟，规模较大的双孢蘑菇工厂日产量可达十几吨。目前双孢蘑菇工厂化生产中的采摘主要是依靠人工进行，存在人工采摘劳动量大、效率低、成本高和标准不统一等问题，严重制约着双孢蘑菇产后加工的发展，故实现双孢蘑菇的自动化采摘已是必然趋势，其中机器视觉技术是双孢蘑菇采摘机器人的一项关键技术。

在基于机器视觉实现双孢蘑菇自动化采摘过程中，由于双孢蘑菇种植环境光照不均匀，蘑菇生长高低、倾斜，特别是不同层、不同时间培土高低差别较大等强异构性，使得传统的阈值分割无法完整的将双孢蘑菇区域提取出，影响双孢蘑菇边缘拟合的准确性，识别效果较差，对农业实际培育环境的异构性的自适应能力差，只适合实验室理想环境下稀疏蘑菇的识别。

由于双孢蘑菇群落之间尺度、形状差异大，且相互间存在大量复杂粘连和重叠现象，以往的方法基于距离变换的分水岭算法对双孢蘑菇区域进行分割，但在双孢蘑菇密集情况下分割困难，影响双孢蘑菇的识别成功率和采摘位置的定位精度，降低了采摘成功率。

发明内容

针对现有技术存在的问题，本发明的目的在于提供一种重叠双孢蘑菇的分割识别方法。本方法克服了图像采集时光照不均匀、蘑菇培养土高低不同时对双孢蘑菇轮廓提取的影响，保证了双孢蘑菇区域轮廓提取的准确性，提高了双孢蘑菇在重叠情况下的识别率，同时也大大提高了对双孢蘑菇培育环境例如培土高度高低差别较大等异构性的自适应能力。

一种重叠双孢蘑菇的分割识别方法，该方法的具体步骤为：

步骤A：采集工厂化环境下双孢蘑菇图像；

步骤B：利用图像的梯度特征，分别计算X方向和Y方向的梯度，即对图像求一阶微分；

步骤C：根据获取的X方向和Y方向的灰度梯度，通过极大值求取全局梯度阈值再分割图像，获得双孢蘑菇区域二值图像；

步骤D：采用中值滤波对经过步骤C得到的双孢蘑菇区域二值图像去除脉冲噪声，同时又保留了图像边缘细节；对双孢菇区域再进行形态学处理，初步去除土壤中的菌丝；运用Canny算子对处理后的二值图边缘检测，获取双孢蘑菇区域的实际边缘轮廓；

步骤E：对步骤D获取的重叠双孢蘑菇区域的边缘轮廓提取凸壳及凹区域，并对获取的凹区域进行多边形简化；

步骤F：运用Shi-Tomasi角点检测对E步骤中简化的多边形提取各个顶点，最后通过分析各个顶点到双孢蘑菇凸壳轮廓的距离关系，筛选和确定分割点，完成重叠双孢蘑菇轮廓的分割；

步骤G：通过计算步骤F中分割的轮廓长度和曲率，筛选长度较长且曲率较大的双孢蘑菇轮廓段，运用最小二乘椭圆拟合算法对部分轮廓段进行拟合椭圆，重构双孢蘑菇轮廓，计算得到双孢蘑菇椭圆轮廓的中心坐标、长轴大小和短轴大小；

步骤H：对于步骤G筛选余留下来的重叠双孢蘑菇轮廓进行圆拟合插值算法重建双孢蘑菇目标，计算得到双孢蘑菇圆轮廓的中心坐标和半径大小。

作为一种优选方式，所述步骤B中，假设图像为f(x,y),则f(x,y)在坐标点(x,y)处的x方向和y方向的梯度分别为：

作为一种优选方式，所述步骤C包括：

步骤C1：输入图像为f(x,y)，根据X和Y方向的梯度计算出梯度的极大值：

其中，

为图像在(x,y)处的x方向和y方向的梯度；

步骤C2：根据所求极大值，计算全局梯度阈值T：

其中，P(x,y)为(x,y)处的灰度值，R_x、R_y分别为图像的行数和列数；

步骤C3：将全局梯度阈值T用于图像分割，提取双孢蘑菇区域，分割后的二值图像G(x,y)为：

作为一种优选方式，所述步骤D包括：

步骤D1：对获取的双孢蘑菇区域二值图像中值滤波处理，输出为：

s(x,y)＝med{d(x-k,y-l),(k,l∈W)}

其中，d(x,y)，s(x,y)分别为原始图像和处理后的图像，W为二维模板；

步骤D2：采用圆形结构元素对中值滤波后的区域做开运算，将土壤中的菌丝等杂质去除掉；

步骤D3：通过Canny算子检测经过步骤D2得到的二值图像，统计各连通区域像素数，对像素数面积小于1200的独立的边界轮廓黑色化处理，获取双孢蘑菇的实际轮廓；

作为一种优选方式，所述步骤E中重叠双孢蘑菇区域凸壳通过卷包裹凸壳算法获取，将凸壳曲线围成的区域与重叠双孢蘑菇区域进行像素操作可以得到凹区域：

其中，p(x,y)，q(x,y)，h(x,y)分别表示重叠双孢蘑菇区域、凸壳区域和所求凹区域；对获取的各个凹区域进行凸多边形简化；

作为一种优选方式，所述步骤F中对简化后的多边形用Shi-Tomasi角点检测提取各个顶点，对自相关矩阵M进行特征值分析，产生两个特征值(λ1,λ2)和两个特征方向向量。Shi-Tomasi使用的打分函数L为：

L＝min(λ1,λ2)

作为一种优选方式，所述步骤G包括：

步骤G1：判断轮廓是否为弧，使用遍历方法找曲线上任意一点弓形高，根据海伦公式计算出弓形高H：

其中z，v，n为轮廓两端点与曲线上任一点组成三角形的三边长，p为半周长，S为三角形的面积。

步骤G2：根据步骤G1计算得的点到直线的距离，并计算弧的弦长，可得弓形曲率Curvity：

其中R为弓形曲率半径，IArc为弦长，hArc为弓形高。

步骤G3：由步骤G2计算各轮廓的曲率，筛选曲率大于0.9且轮廓长大于200像素的轮廓，对得出的每个轮廓取N个测量点为P_i(x_i,y_i)(i＝1,2,…,N),依据最小二乘原理，拟合目标函数为：

欲使得F最小，需：

可以解得A,B,C,D,E的值，根据椭圆特性，可以计算出椭圆位置参数(θ,x₀,y₀)以及形状参数(a,b)。

作为一种优选方式，所述步骤H对于步骤G筛选余留下来的重叠双孢蘑菇轮廓运用圆拟合插值算法，在轮廓上选取n个点(x_j,y_j)，拟合出圆，理论圆心坐标(t,u)，圆半径r：

/>

与现有技术相比，本发明的有益效果在于：

本发明根据图像边缘梯度特征，计算全局梯度阈值对图像进行分割，获取二值图像，受光照不均匀影响小，较准确提取双孢蘑菇区域；通过提取重叠双孢蘑菇区域的凸壳，并提取凹区域进行多边形简化，运用Shi-Tomasi角点检测提取顶点后确定分割点，保证了重叠双孢蘑菇轮廓分割的准确性；采用最小二乘椭圆拟合算法和圆拟合差值算法重构双孢蘑菇轮廓，基于轮廓的曲率和长度判断，先后采用两种拟合算法重建双孢蘑菇轮廓，比只采用最小二乘椭圆拟合轮廓提高了重叠双孢蘑菇识别成功率，为重叠的类圆形果实识别提供一种思路。

附图说明

图1为重叠双孢蘑菇分割识别方法流程图。

图2为双孢蘑菇原图像。

图3为图像X方向(a)和Y方向(b)梯度图。

图4为选取全局梯度阈值分割后的二值图像。

图5为传统阈值分割后的双孢蘑菇二值图像。

图6为双孢蘑菇轮廓。

图7为重叠双孢蘑菇凸壳。

图8为凹区域多边形简化后图像。

图9为角点检测提取的各顶点。

图10为根据距离关系筛选的分割点。

图11为分割后的重叠双孢蘑菇轮廓。

图12为最小二乘椭圆拟合的双孢蘑菇轮廓。

图13为圆拟合插值算法重建的双孢蘑菇轮廓。

图14为单独最小二乘椭圆拟合轮廓识别结果。

图15为本文方法最终双孢蘑菇识别结果。

具体实施方式

下面结合附图对本发明的具体实施例作进一步的说明。

本发明的流程图如图1所示：

1.双孢蘑菇采摘机器人视觉系统平台

视觉硬件系统主要包括相机、镜头、光源、工控机等。其中工控机拟选用了研华嵌入式ARK-3500P，结构紧凑，其CPU为四核Inter Core i7-6700TE，主频为2.4GHz，运行内存8.0GB，操作系统为Windows7。结合Halcon17、OpenCV3.4.8库实时处理图像，获取双孢蘑菇采摘需求信息。

双孢蘑菇图像样本来自工厂化环境下的双孢蘑菇培养基地，双孢蘑菇原图像如图2所示。

2.计算图像梯度

利用图像的梯度特征，分别计算X方向和Y方向的梯度，即对图像求一阶微分。假设图像为f(x,y),则f(x,y)在坐标点(x,y)处的X方向和Y方向的梯度分别为：

f(x,y)对应X方向和Y方向的梯度图像如图3所示。

3.选取全局梯度阈值分割图像

首先根据X和Y方向的梯度计算出梯度的极大值：

根据所求极大值，计算全局梯度阈值T：

其中，P(x,y)为(x,y)处的灰度值，R_x、R_y分别为图像的行数和列数；

将全局梯度阈值T用于图像分割，提取双孢蘑菇区域，分割后的二值图像G(x,y)为：

通过此方法分割得到的二值图像如图4所示。使用传统的阈值分割获取的二值图像如图5所示。由图可见，通过计算图像梯度获取全局梯度阈值分割比传统阈值分割获取的二值图像更加完整，可以提取出较为准确的双孢蘑菇区域，而且不受光照不均匀等情况的影响，故此方法是极为有效的。

4.图像滤波、形态学处理及边缘检测

采用中值滤波对双孢蘑菇区域二值图像去除脉冲噪声，同时又保留了图像边缘细节，中值滤波输出为：

s(x,y)＝med{d(x-k,y-l),(k,l∈W)}

其中，d(x,y)，s(x,y)分别为原始图像和处理后的图像，W为二维模板。

再对双孢蘑菇区域进行形态学处理，采用直径为20像素的圆形结构元素对中值滤波后的区域做开运算，将土壤中的菌丝等杂质去除掉。

运用Canny算子对处理后的二值图像边缘检测，统计各连通区域像素数，对像素数面积小于1200的独立的边界轮廓黑色化处理，获取双孢蘑菇的实际轮廓，结果如图6所示。

5.提取凸壳及凹区域多边形简化

重叠双孢蘑菇区域凸壳通过卷包裹凸壳算法获取，将连通区域内点集最外层点连接起来，构成凸壳如图7所示。再将凸壳曲线围成的区域与重叠双孢蘑菇区域进行像素操作可以得到凹区域：

其中，p(x,y)，q(x,y)，h(x,y)分别表示重叠双孢蘑菇区域、凸壳区域和所求凹区域，对获取的各个凹区域进行凸多边形简化，多边形简化后结果如图8所示。

6.角点检测及轮廓分割

对简化后的多边形运用Shi-Tomasi角点检测提取各个顶点，提取的顶点如图9所示，对自相关矩阵M进行特征值分析，产生两个特征值(λ1,λ2)和两个特征方向向量。Shi-Tomasi使用的打分函数L为：

L＝min(λ1,λ2)

然后通过分析各个顶点到双孢蘑菇凸壳轮廓的距离关系，筛选和确定分割点，分割点如图10所示，最终完成重叠双孢蘑菇轮廓的分割，如图11所示。

7.最小二乘椭圆拟合轮廓

判断轮廓是否为弧，使用遍历方法找曲线上任意一点弓形高，根据海伦公式计算出高H：

其中z，v，n为轮廓两端点与曲线上任一点组成三角形的三边长，p为半周长，S为三角形的面积。

根据计算得弓形高，并计算弧的弦长，可得弓形曲率Curvity：

其中R为弓形曲率半径，IArc为弦长，hArc为弓形高。

计算各轮廓的曲率，筛选曲率大于0.9且轮廓长大于200像素的轮廓，对得出的每个轮廓取N个测量点为P_i(x_i,y_i)(i＝1,2,…,N),依据最小二乘原理，拟合目标函数为：

欲使得F最小，需：

可以解得A,B,C,D,E的值，根据椭圆特性，可以计算出椭圆位置参数(θ,x₀,y₀)以及形状参数(a,b)，重构双孢蘑菇椭圆轮廓，如图12所示。

8.圆拟合轮廓

对于筛选余留下来的重叠双孢蘑菇轮廓进行圆拟合插值算法重建双孢蘑菇目标，结果如图13所示。在轮廓上选取n个点(x_j,y_j)，拟合出圆，理论圆心坐标(t,u)，圆半径r：

9.获取双孢蘑菇信息

计算构建的双孢蘑菇椭圆轮廓的中心坐标、长轴大小和短轴大小；计算步骤H构建的双孢蘑菇圆轮廓的中心坐标和半径大小，最终双孢蘑菇识别结果如图15所示。单独采用最小二乘椭圆拟合双孢蘑菇轮廓，识别结果如图14所示，由图可见，重叠双孢蘑菇分割后的较小片段基于最小二乘椭圆拟合，拟合后识别结果与实际差距较大，中心点及边缘位置偏差较大，故此种方式会使得识别成功率较低。而结合最小二乘椭圆拟合和圆拟合差值算法对分割后的片段重建轮廓，获取的各双孢蘑菇的中心点位置及边缘位置与实际双孢蘑菇位置较为贴合，较好的满足采摘需求。后又选取工厂化环境下300组重叠双孢蘑菇图像样本进行分割识别，实验结果显示，双孢蘑菇识别成功率达到97％以上。

Claims (8)

1.一种重叠双孢蘑菇的分割识别方法，其特征在于，包括以下步骤：

步骤A：采集工厂化环境下双孢蘑菇图像；

步骤B：利用图像的梯度特征，分别计算X方向和Y方向的灰度梯度，即对图像求一阶微分；

步骤C：根据获取的X方向和Y方向的灰度梯度，通过极大值求取全局梯度阈值再分割图像，获得双孢蘑菇区域二值图像；

步骤D：采用中值滤波对经过步骤C得到的双孢蘑菇区域二值图像去除脉冲噪声，同时又保留了图像边缘细节；对双孢菇区域再进行形态学处理，初步去除土壤中的菌丝；运用Canny算子对处理后的二值图边缘检测，获取双孢蘑菇区域的实际边缘轮廓；

步骤E：对步骤D获取的重叠双孢蘑菇区域的边缘轮廓提取凸壳及凹区域，并对获取的凹区域进行多边形简化；

步骤F：运用Shi-Tomasi角点检测对E步骤中简化的多边形提取各个顶点，最后通过分析各个顶点到双孢蘑菇凸壳轮廓的距离关系，筛选和确定分割点，完成重叠双孢蘑菇轮廓的分割；

步骤G：通过计算步骤F中分割的轮廓长度和曲率，筛选长度较长且曲率较大的双孢蘑菇轮廓段，运用最小二乘椭圆拟合算法对部分轮廓段进行拟合椭圆，重构双孢蘑菇轮廓，计算得到双孢蘑菇椭圆轮廓的中心坐标、长轴大小和短轴大小；

步骤H：对于步骤G筛选余留下来的重叠双孢蘑菇轮廓进行圆拟合插值算法重建双孢蘑菇目标，计算得到双孢蘑菇圆轮廓的中心坐标和半径大小。

2.如权利要求1所述的重叠双孢蘑菇的分割识别方法，其特征在于，所述步骤B中，假设图像为f(x，y)，则f(x，y)在坐标点(x，y)处的X方向和Y方向的梯度分别为：

3.如权利要求1所述的重叠双孢蘑菇的分割识别方法，其特征在于，所述步骤C包括：

步骤C1：输入图像为f(x，y)，根据X和Y方向的梯度计算出梯度的极大值：

其中，

为图像在(x，y)处的X方向和Y方向的梯度；

步骤C2：根据所求极大值，计算全局梯度阈值T：

其中，P(x，y)为(x，y)处的灰度值，R_x、R_y分别为图像的行数和列数；

步骤C3：将全局梯度阈值T用于图像分割，提取双孢蘑菇区域，分割后的二值图像G(x，y)为：

4.如权利要求1所述的重叠双孢蘑菇的分割识别方法，其特征在于，所述步骤D包括：

步骤D1：对获取的双孢蘑菇区域二值图像中值滤波处理，输出为：

s(x，y)＝med{d(x-k，y-l)，(k，l∈W)}

其中，d(x，y)，s(x，y)分别为原始图像和处理后的图像，W为二维模板；

步骤D2：采用圆形结构元素对中值滤波后的区域做开运算，将土壤中的菌丝杂质去除掉；

步骤D3：通过Canny算子检测经过步骤D2得到的二值图像，统计各连通区域像素数，对像素数面积小于1200的独立的边界轮廓黑色化处理，获取双孢蘑菇的实际轮廓。

5.如权利要求1所述的重叠双孢蘑菇的分割识别方法，其特征在于，所述步骤E中重叠双孢蘑菇区域凸壳通过卷包裹凸壳算法获取，将凸壳曲线围成的区域与重叠双孢蘑菇区域进行像素操作可以得到凹区域：

其中，p(x，y)，q(x，y)，h(x，y)分别表示重叠双孢蘑菇区域、凸壳区域和所求凹区域；对获取的各个凹区域进行凸多边形简化。

6.如权利要求1所述的重叠双孢蘑菇的分割识别方法，其特征在于，所述步骤F中对简化后的多边形用Shi-Tomasi角点检测提取各个顶点，对自相关矩阵M进行特征值分析，产生两个特征值(λ1，λ2)和两个特征方向向量，Shi-Tomasi使用的打分函数L为：

L＝min(λ1，λ2)。

7.如权利要求1所述的重叠双孢蘑菇的分割识别方法，其特征在于，所述步骤G包括：

步骤G1：判断轮廓是否为弧，使用遍历方法找曲线上任意一点弓形高，根据海伦公式计算出弓形高H：

其中z，v，n为轮廓两端点与曲线上任一点组成三角形的三边长，p为半周长，S为三角形的面积；

步骤G2：根据步骤G1计算得的点到直线的距离，并计算弧的弦长，可得弓形曲率Curvity：

其中R为弓形曲率半径，IArc为弦长，hArc为弓形高；

步骤G3：由步骤G2计算各轮廓的曲率，筛选曲率大于0.9且轮廓长大于200像素的轮廓，对得出的每个轮廓取N个测量点为P_i(x_i，y_i)(i＝1，2，...，N)，依据最小二乘原理，拟合目标函数为：

欲使得F最小，需：

可以解得A，B，C，D，E的值，根据椭圆特性，可以计算出椭圆位置参数(θ，x₀，y₀)以及形状参数(a，b)。

8.如权利要求1所述的重叠双孢蘑菇的分割识别方法，其特征在于，所述步骤H对于步骤G筛选余留下来的重叠双孢蘑菇轮廓运用圆拟合插值算法，在轮廓上选取n个点(x_j，y_j)，拟合出圆，理论圆心坐标(t，u)，圆半径r：

/>

Images