CN109741393A - 双孢菇直径测量和中心点定位方法 - Google Patents

Abstract

本发明公开一种基于单目视觉的双孢菇直径测量和中心点定位方法。标准培养架上的双孢菇高矮不均会对双孢菇的直径测量和中心点定位造成透视投影误差，本发明根据平行双目视觉原理，提出一种基于单目视觉对双孢菇的精确测量和定位的方法。通过单目相机的水平移动对双孢菇中心点的三维坐标进行测量，并通过其Z轴的深度信息对双孢菇直径的测量结果进行补偿。该发明方法结构简单，算法效率高，鲁棒性强，最终获取的双孢菇直径测量和中心点定位精度都较高。

Description

双孢菇直径测量和中心点定位方法

技术领域

本发明涉及采摘机械领域，具体涉及果蔬采摘机器人的果实直径测量以及中心点定位的算法及方式，主要是针对标准培养架上的双孢菇采摘和分类。

背景技术

全球绝大多数双孢菇生产基地仍在使用劳动力进行手工采摘和分类，部分国家的双孢菇生产基地采用半自动化的采摘和分类。使用劳动力对双孢菇进行手工采摘的效率较低，而且不能实现对双孢菇的24小时全天候的采摘，同时每个人凭肉眼对双孢菇的进行感官上的质量评估，长时间后会产生疲劳，评估标准不一致使双孢菇的品质分类也不够严谨。实现双孢菇的自动化采摘和分类已是必然趋势。其中，机器视觉技术是双孢菇采摘机器人的一项关键技术。因为成熟的双孢菇伞盖直径一般在30mm～50mm之间，所以双孢菇采摘机器人可以通过视觉系统测量伞盖直径，以判断双孢菇的成熟标准，并获取已成熟的双孢菇中心点坐标，传给上位机来实施采摘。

然而，双孢菇在生长过程中的生长姿态各不相同，有高有矮，还有多个双孢菇聚团生长、根部连在一起的现象，这些都会对双孢菇的视觉识别带来不利影响。此外，基于我国目前双孢菇培养架的标准尺寸，上下层之间的空间只有0.3米，采用普通单目视觉技术时，空间的限制会导致视野较小，采摘效率低，且采集所得图像畸变严重。同时，由于镜头的透视误差存在，土壤不平整，双孢菇的高矮不均，会严重影响双孢菇的直径测量和中心点定位精度。

发明内容

本发明的目的在于克服现有技术中存在的问题，提供一种双孢菇直径测量和中心点定位方法。

为达到上述目的，本发明采用如下工作原理：通过单目相机的水平移动，对双孢菇中心点的三维坐标进行测量，然后利用深度信息，对双孢菇直径测量结果进行误差补偿，最终实现了基于单目视觉的双孢菇直径精确测量和中心点定位。本发明算法简单、安装方便、效率高、鲁棒性强，具有很强的实用性。

一种双孢菇直径测量与中心点定位的方法，其特征在于该方法的具体步骤为：

a.搭建双孢菇采摘机器人的视觉系统，相机和光源固定在直线滑台上，随滑块直线运动，运动方向平行于双孢菇培养架的宽度方向，并通过相机标定获取相机的内外参数；

b.对每一块区域的双孢菇，通过水平移动固定一段基线距离b分别在A、B两个位置进行图像采集；

c.将步骤b采集到的A、B两位置的图像进行畸变校正；

d.将步骤c所得的A、B两位置的图像从RGB色彩空间转换到HSV色彩空间中，并对其V分量灰度值进行线性拉伸；

e.采用阈值分割算法，将双孢菇和土壤分离,并对分割后的双孢菇区域进行形态学处理,初步去除土壤中的菌丝；

f.采用分水岭算法，对步骤d所得区域进行区域分割，并对分割后的区域利用圆度筛选和面积筛选，再一步去除土壤中的菌丝和部分未成熟的双孢菇干扰；

g.把经过筛选的区域进行轮廓提取，并对所提取的轮廓进行椭圆拟合，计算每一双孢菇的直径和图像坐标；

h.对A、B两位置图像所获取的中心点图像坐标进行匹配，计算双孢菇的中心点坐标(X,Y,Z)；

i.根据双孢菇的深度信息Z对其直径测量结果做出误差补偿。

上述步骤b中基线距离b的确定方法：

其中，b为所求基线距离，z为双孢菇的真实深度信息，Δz为所允许的深度信息的最大测量误差，Δb为相机移动误差，即滑台模组的重复定位误差，ΔU为视差误差，即标定平均误差，f为镜头焦距。

上述步骤c中对所两位置所采集到的图像分别进行畸变校正，具体方法为：

其中,参数k表示径向畸变的大小，表示畸变校正前的图像物理坐标，(u,v)表示畸变校正后的图像物理坐标。

上述步骤d的具体步骤为：将步骤c所获取A、B两位置图像的RGB色彩空间的图像转化为HSV色彩空间图像，其中HSV分别代表色调(H)、饱和度(S)、明度(V)，然后对明度图像的灰度值按如下公式进行线性拉伸，线性拉伸公式为：

其中，g′是线性拉伸后的明度图像灰度值，g是线性拉伸前的明度图像灰度值，G_max是线性拉伸前的明度图像灰度最大值，G_min是线性拉伸前的明度图像灰度最小值。

上述步骤e的具体步骤为：

e-1.对线性拉伸后的明度图像进行阈值分割，提取双孢菇区域，将双孢菇和土壤分离。

其中g″(x,y)是阈值运算后的二值图像，g′(x,y)是线性拉伸后的明度图像，T是一个适用于整个图像的阈值，可取值200。

e-2.对区域内部面积小于300像素的孔洞进行填充处理。

e-3.用直径为40像素的圆与填充后所得区域做“与”操作。以初步“腐蚀”掉土壤中的菌丝。

e-4.用直径为40像素的圆与腐蚀后的区域做“并”操作，来恢复双孢菇的完整性。

上述步骤f的具体步骤为：

f-1.对形态学处理后所得的二值图像进行距离变换，设图像中像素点坐标为p(x₁,y₁)，离其最近的边界像素坐标为q(x₂,y₂)，欧式距离公式为：

f-2.对距离变换后的图像进行分水岭分割，设B₁和B₂分别为相邻盆地的最小灰度值，W为将盆地分割为两个盆地的最小灰度值，T_h可取值40。若盆地部分的灰度<T_h，则被合并到一起。

max{W-B₁,W-B₂}<T_h

f-3.对分割后的区域计算面积和圆度率，一个区域的面积等于该区域中像素的数量，一个区域的圆度率等于：

其中，R_c是所求区域的圆度率，A是该区域的面积，p是其周长。

f-4.利用提取的面积和圆度率对区域进行筛选：从区域中提取出圆度大于0.65，面积大于30000的区域。可再一步去除土壤中的菌丝和未成熟的双孢菇干扰。

上述步骤g的具体步骤为：

g-1.将步骤f所提取的经过筛选的区域的亚像素精度XLD轮廓进行椭圆拟合，椭圆拟合目标函数为：

其中：i＝1,2,…,N，N为轮廓上样本点的个数，δ表示点到拟合椭圆的距离；通过求目标函数的最小值来确定椭圆参数A、B、C、D、E；

g-2.求得每个双孢菇中心点坐标(x,y)等于直径为：

g-3.记A位置图像中双孢菇的中心点个数为i，把A位置图像中双孢菇的中心点图像坐标P_c(u,v)表示为i维SIFT向量形式，结果为P(p₁,p₂,…，p_i)；把B位置图像中待匹配的中心点图像坐标P_c′(u′,v′)也表示为i维SIFT向量形式，结果为计算中心点之间的欧式距离：

m取决于待匹配中心点的个数，即1≤m≤i；

g-4.求得与P(p₁,p₂,…，p_i)欧式距离最小的d_x的SIFT向量从而得p₁,p₂,…，p_i的匹配点为分别为

上述步骤h的具体步骤为：

h-1.记A位置图像中双孢菇的中心点个数为i，把A位置图像中双孢菇的中心点图像坐标P_c(u,v)表示为i维SIFT向量形式，结果为P(p₁,p₂,…，p_i)；把B位置图像中待匹配的中心点图像坐标P_c′(u′,v′)也表示为i维SIFT向量形式，结果为计算中心点之间的欧式距离：

m取决于待匹配中心点的个数，即1≤m≤i；

h-2.求得与P(p₁,p₂,…，p_i)欧式距离最小的d_x的SIFT向量从而得p₁,p₂,…，p_i的匹配点为分别为

h-3.根据平行双目立体视觉模型，计算双孢菇中心点在视觉系统坐标系下的坐标；假设培养架上一双孢菇中心点在A、B位置的图像坐标系中分别为P₁(x₁,y₁)、P₁′(x₁′,y₁′)；若导轨方向为相机坐标系的x轴方向，则y₁＝y₁′，视差U＝|x₁′-x₁|；则双孢菇中心点在双目视觉系统坐标系下的坐标P_w(X,Y,Z)为：

上述步骤i的具体步骤为：根据透视投影误差的非线性模型，对步骤g所得的双孢菇直径进行误差补偿，具体方法：

其中，L_补偿补偿表示经补偿后的双孢菇直径，表示步骤9所测双孢菇直径，ΔL表示步骤g所测量的双孢菇直径误差，Z表示双孢菇距镜头的深度信息，H₀表示标定平面到镜头的工作距离，f表示镜头焦距。

本发明方法结构简单，算法效率高，鲁棒性强，最终获取的双孢菇直径测量和中心点定位精度都较高。

附图说明

图1是视觉工作流程图。

图2是相机标定参数。

图3是畸变校正前后对比图。

图4是预处理之后的明度图像。

图5是阈值分割所提取的双孢菇区域。

图6是经过形态学处理后的图片。

图7是区域分割后的图片。

图8是经过区域筛选后的图片。

图9是轮廓拟合的图片。

图10是平行双目立体视觉模型。

具体实施方式

下面结合附图对本发明的具体实施例作进一步的说明。

本发明的流程图如图1所示：

1、视觉工作平台搭建和相机标定

视觉硬件系统主要包括相机、镜头、光源、工控机以及相应的机械固定机构。为提高光照的均匀度和质量，光源宜采用白色开孔背光源。为满足300mm的上下工作空间要求，采用1/2”CMOS的相机,焦距为4mm的镜头。

为保证相机水平移动精度，采用重复定位精度能达到0.02mm的滑台模组。搭建视觉硬件平台，然后使用120mm*120mm的7*7标志点数的标定板，利用张正友标定方法对视觉系统进行标定，获取视觉系统参数，标定结果如图2所示。

2、双孢菇图像采集

对每一块区域的双孢菇，通过水平移动固定一段基线距离b分别在A、B两个位置进行图像采集。理论上基线长度b越大，测量误差越小，但是基线长度b不能取过大，因为b越大，A、B两位置所采集图像重叠区域会越小。

考虑相机移动误差Δb和视差误差ΔU影响时，实际的z轴测量值应为：

因此，z轴定位误差实际应为：

基线和测量误差的关系如下公式所示：

其中，z为双孢菇的真实深度信息，且140mm≤z≤160mm，Δb为相机移动误差，即滑台模组的重复定位误差0.02mm，ΔU为视差误差，根据标定平均误差0.0032mm，可取|ΔU|≤0.0032mm，f为镜头焦距。经计算可知，为满足视觉定位精度要求|Δz|≤3mm，可取b＝5.6mm。

3、图像畸变校正

由于双孢菇培养架上下层之间的空间限制，导致视觉系统的物距较小。同时，为提高视觉系统的工作效率，采用的是小焦距镜头，因此，其径向畸变是双孢菇直径测量和定位误差的主要影响因素之一。根据步骤1所获取的视觉系统参数，可分别对A、B两位置采集到的图像进行畸变校正：

其中,参数k表示径向畸变的大小，表示畸变校正前的图像物理坐标，(u,v)表示畸变校正后的图像物理坐标。图像畸变校正前后的对比图如图3所示。

4、图像预处理

将初步获取的RGB色彩空间的图像转化为HSV色彩空间图像，其中HSV分别代表色调(H)、饱和度(S)、明度(V)。然后对明度图像的灰度值按如下公式进行线性拉伸，预处理之后的结果如图4所示。

其中，g′(x,y)是线性拉伸后的明度图像，g(x,y)是线性拉伸前的明度图像，G_max是线性拉伸前的明度图像灰度最大值，G_min是线性拉伸前的明度图像灰度最小值。

5、阈值分割

对线性拉伸后的明度图像进行阈值分割，提取双孢菇区域，将双孢菇和土壤分离。

其中g″(x,y)是阈值运算后的二值图像，g′(x，y)是线性拉伸后的明度图像，T是一个适用于整个图像的阈值，当T取值200后分割结果如图5所示。

6、形态学处理

首先是对区域内部面积小于300像素的孔洞进行填充处理，然后进行腐蚀操作，用直径为40像素的圆与填充后所得区域做“与”操作，以初步去掉土壤中的菌丝。然后进行膨胀的操作，因为腐蚀时不仅把菌丝去除，同时也会把双孢菇区域也会腐蚀一圈，因此需要通过膨胀算法恢复双孢菇的完整性，即用直径为40像素的圆与腐蚀后的区域做“并”操作。经形态学处理之后的结果如图6所示。

7、分水岭分割

当多个双孢菇聚团生长时，得到的双孢菇区域也是连通的，采用基于距离变换的分水岭算法可以构建每个双孢菇区域的边界，从而将连通域分割。首先对形态学处理后所得的二值图像进行距离变换，设图像中像素点坐标为p(x₁，y₁)，离其最近的边界像素坐标为q(x₂，y₂)，欧式距离公式为：

然后对距离变换后的图像进行分水岭分割，设B₁和B₂分别为相邻盆地的最小灰度值，W为将盆地分割为两个盆地的最小灰度值。若盆地部分的灰度<T_h，则被合并到一起。

max{W-B₁,W-B₂}<T_h

当T_h取值40后分割结果如图7所示。

8、区域筛选

首先对分割后的区域计算面积和圆度率，一个区域的面积等于该区域中像素的数量，一个区域的圆度率等于：

其中，R_c是所求区域的圆度率，A是该区域的面积，p是其周长。

然后利用提取的面积和圆度率对区域进行筛选：从区域中提取出圆度大于0.65，面积大于30000的区域。可再一步去除土壤中的菌丝和未成熟的双孢菇干扰，最后得到的结果图如图8所示。

9、轮廓拟合

首先提取双孢菇区域的XLD(eXtended Line Descriptions,亚像素精度)轮廓，然后对提取的XLD轮廓进行椭圆拟合，并以所拟合椭圆的长轴为双孢菇直径。为使拟合椭圆更加鲁棒，可采用引入权重的方法减少离群值的影响，椭圆拟合目标函数为：

其中：i＝1,2,…,N，N为轮廓上样本点的个数，δ表示点到拟合椭圆的距离。通过求目标函数的最小值来确定椭圆参数A、B、C、D、E，拟合结果如图9所示。从而求得每个双孢菇中心点坐标(x,y)等于直径等于

10、中心点匹配

记A位置图像中双孢菇的中心点个数为i，B位置图像中双孢菇的中心点个数为j,i和j不一定相等。本发明采用了一种基于尺度空间的匹配算法，对A位置图像中的每一个双孢菇中心点和B位置图像中的双孢菇中心点进行坐标匹配，详细步骤如下：

(1)把A位置图像中双孢菇的中心点图像坐标P_c(u,v)表示为i维SIFT向量形式，结果为P(p₁,p₂,…，p_i)。把B位置图像中双孢菇的中心点图像坐标P_c′(u′,v′)也表示为i维SIFT向量形式，结果为

(2)计算中心点之间的欧式距离：

m取决于待匹配中心点的个数，即1≤m≤i。

(3)求得与P(p₁,p₂,…，p_i)欧式距离最小的d_x的SIFT向量从而得p₁，p₂,…，p_i的匹配点为分别为

11、计算双孢菇中心点世界坐标

然后根据平行双目立体视觉模型，如图10所示。培养架上一双孢菇中心点P_w(X，Y，Z)，在A、B位置的图像坐标系中分别为P₁(x₁，y₁)、P₁′(x₁′，y₁′)。若导轨方向为相机坐标系的x轴方向，则y₁＝y₁′，视差U＝|x₁′-x₁|。则双孢菇中心点在双目视觉系统坐标系下的坐标为：

12、直径误差补偿

根据透视投影误差的模型，可知双孢菇直径透视投影误差为：

其中，L表示双孢菇的真实直径，H₀表示标定平面到镜头的工作距离，f表示镜头焦距，ΔH表示双孢菇中心点到标定平面的距离，而且

ΔH＝H₀-f-Z

Z表示双孢菇距镜头的深度息。根据以上公式，可利用视觉系统所测双孢菇中心点的Z轴坐标，对双孢菇直径进行误差补偿，补偿后的双孢菇直径为：

其中，L_补偿补偿表示经补偿后的双孢菇直径，表示补偿前的所测双孢菇直径。

Claims (9)

1.一种双孢菇直径测量与中心点定位的方法，其特征在于该方法的具体步骤为：

a.搭建双孢菇采摘机器人的视觉系统，相机和光源固定在直线滑台上，随滑块直线运动，运动方向平行于双孢菇培养架的宽度方向，并通过相机标定获取相机的内外参数；

b.对每一块区域的双孢菇，通过水平移动固定一段基线距离b分别在A、B两个位置进行图像采集；

c.将步骤b采集到的A、B两位置的图像进行畸变校正；

d.将步骤c所得的A、B两位置的图像从RGB色彩空间转换到HSV色彩空间中，并对其V分量灰度值进行线性拉伸；

e.采用阈值分割算法，将双孢菇和土壤分离,并对分割后的双孢菇区域进行形态学处理,初步去除土壤中的菌丝；

f.采用分水岭算法，对步骤d所得区域进行区域分割，并对分割后的区域利用圆度筛选和面积筛选，再一步去除土壤中的菌丝和部分未成熟的双孢菇干扰；

g.把经过筛选的区域进行轮廓提取，并对所提取的轮廓进行椭圆拟合，计算每一双孢菇的直径和图像坐标；

h.对A、B两位置图像所获取的中心点图像坐标进行匹配，计算双孢菇的中心点坐标(X,Y,Z)；

i.根据双孢菇的深度信息Z对其直径测量结果做出误差补偿。

2.根据权利要求1所述的双孢菇直径测量与中心点定位的方法，其特征在于所述步骤b中基线距离b的确定方法：

其中，b为所求基线距离，z为双孢菇的真实深度信息，Δz为所允许的深度信息的最大测量误差，Δb为相机移动误差，即滑台模组的重复定位误差，ΔU为视差误差，即标定平均误差，f为镜头焦距。

3.根据权利要求1所述的双孢菇直径测量与中心点定位的方法，其特征在于所述步骤c中对所两位置所采集到的图像分别进行畸变校正，具体方法为：

其中,参数k表示径向畸变的大小，表示畸变校正前的图像物理坐标，(u,v)表示畸变校正后的图像物理坐标。

4.根据权利要求1所述的双孢菇直径测量与中心点定位的方法，其特征在于所述步骤d的具体步骤为：将步骤c所获取A、B两位置图像的RGB色彩空间的图像转化为HSV色彩空间图像，其中HSV分别代表色调(H)、饱和度(S)、明度(V)，然后对明度图像的灰度值按如下公式进行线性拉伸，线性拉伸公式为：

其中，g′是线性拉伸后的明度图像灰度值，g是线性拉伸前的明度图像灰度值，G_max是线性拉伸前的明度图像灰度最大值，G_min是线性拉伸前的明度图像灰度最小值。

5.根据权利要求1所述的双孢菇直径测量与中心点定位的方法，其特征在于所述步骤e的具体步骤为：

e-1.对线性拉伸后的明度图像进行阈值分割，提取双孢菇区域，将双孢菇和土壤分离；

其中g″(x,y)是阈值运算后的二值图像，g′(x,y)是线性拉伸后的明度图像，T是一个适用于整个图像的阈值，可取值200；

e-2.对区域内部面积小于300像素的孔洞进行填充处理；

e-3.用直径为40像素的圆与填充后所得区域做“与”操作，以初步“腐蚀”掉土壤中的菌丝；

e-4.用直径为40像素的圆与腐蚀后的区域做“并”操作，来恢复双孢菇的完整性。

6.根据权利要求1所述的双孢菇直径测量与中心点定位的方法，其特征在于所述步骤f的具体步骤为：

f-1.对形态学处理后所得的二值图像进行距离变换，设图像中像素点坐标为p(x₁,y₁)，离其最近的边界像素坐标为q(x₂,y₂)，欧式距离公式为：

f-2.对距离变换后的图像进行分水岭分割，设B₁和B₂分别为相邻盆地的最小灰度值，W为将盆地分割为两个盆地的最小灰度值，T_h可取值40；若盆地部分的灰度<T_h，则被合并到一起；

max{W-B₁,W-B₂}<T_h

f-3.对分割后的区域计算面积和圆度率，一个区域的面积等于该区域中像素的数量，一个区域的圆度率等于：

其中，R_c是所求区域的圆度率，A是该区域的面积，p是其周长；

f-4.利用提取的面积和圆度率对区域进行筛选：从区域中提取出圆度大于0.65，面积大于30000的区域；再一步去除土壤中的菌丝和未成熟的双孢菇干扰。

7.根据权利要求1所述的双孢菇直径测量与中心点定位的方法，其特征在于所述步骤g的具体步骤为：

g-1.将步骤f所提取的经过筛选的区域的亚像素精度XLD轮廓进行椭圆拟合，椭圆拟合目标函数为：

其中：i＝1,2,…,N，N为轮廓上样本点的个数，δ表示点到拟合椭圆的距离；通过求目标函数的最小值来确定椭圆参数A、B、C、D、E；

g-2.求得每个双孢菇中心点坐标(x,y)等于直径为：

g-3.记A位置图像中双孢菇的中心点个数为i，把A位置图像中双孢菇的中心点图像坐标P_c(u,v)表示为i维SIFT向量形式，结果为P(p₁,p₂,…，p_i)；把B位置图像中待匹配的中心点图像坐标P_c′(u′,v′)也表示为i维SIFT向量形式，结果为计算中心点之间的欧式距离：

m取决于待匹配中心点的个数，即1≤m≤i；

g-4.求得与P(p₁,p₂,…，p_i)欧式距离最小的d_x的SIFT向量从而得p₁,p₂,…，p_i的匹配点为分别为

8.根据权利要求1所述的双孢菇直径测量与中心点定位的方法，其特征在于所述步骤h的具体步骤为：

h-1.记A位置图像中双孢菇的中心点个数为i，把A位置图像中双孢菇的中心点图像坐标P_c(u,v)表示为i维SIFT向量形式，结果为P(p₁,p₂,…，p_i)；把B位置图像中待匹配的中心点图像坐标P_c′(u′,v′)也表示为i维SIFT向量形式，结果为计算中心点之间的欧式距离：

m取决于待匹配中心点的个数，即1≤m≤i；

h-2.求得与P(p₁,p₂,…，p_i)欧式距离最小的d_x的SIFT向量从而得p₁,p₂,…，p_i的匹配点为分别为

h-3.根据平行双目立体视觉模型，计算双孢菇中心点在视觉系统坐标系下的坐标；假设培养架上一双孢菇中心点在A、B位置的图像坐标系中分别为P₁(x₁,y₁)、P₁′(x₁′,y₁′)；若导轨方向为相机坐标系的x轴方向，则y₁＝y₁′，视差U＝|x₁′-x₁|；则双孢菇中心点在双目视觉系统坐标系下的坐标P_w(X,Y,Z)为：

9.根据权利要求1所述的双孢菇直径测量与中心点定位的方法，其特征在于所述步骤i的具体步骤为：根据透视投影误差的非线性模型，对步骤g所得的双孢菇直径进行误差补偿，具体方法：

其中，L_补偿补偿表示经补偿后的双孢菇直径，表示步骤9所测双孢菇直径，ΔL表示步骤g所测量的双孢菇直径误差，Z表示双孢菇距镜头的深度信息，H₀表示标定平面到镜头的工作距离，f表示镜头焦距。