CN111862043A - 一种基于激光和机器视觉的蘑菇检测方法 - Google Patents

Abstract

本发明提供了一种基于激光和机器视觉的蘑菇检测方法，能够通过激光测距和图像的方式进行蘑菇位置和菌盖边缘的检测。视觉系统采集蘑菇苗床图像，识别蘑菇种植区域与非种植区域；利用激光扫描测距系统对图像中蘑菇种植区域线性扫描，提取凸点；视觉系统以凸点为中心自动识别蘑菇菌盖边缘，激光扫描测距系统与视觉系统边界信息相互拟合校验获取最终边界，结合凸点数据，实现蘑菇的位置检测与菌盖边缘检测。

Description

一种基于激光和机器视觉的蘑菇检测方法

技术领域

本发明属于蘑菇检测领域，尤其涉及一种基于激光和机器视觉的蘑菇检测方法。

背景技术

蘑菇种植在以农业为主的中国是一种重要产业项目，其种植方式以大规模无菌化蘑菇车间为主，急需一种蘑菇自动化采摘系统来进行蘑菇的采摘工作。传统的人力采摘需要耗费大量的成本、人力及管理资源，已有的应用机器视觉的方法由于泥土、菌丝等复杂环境的干扰对于单一平面蘑菇目标的自动化识别表现不佳，需要找到能够以3D视角搜寻蘑菇中心坐标，并对蘑菇的复杂噪声场景、粘连情况有优良抗性的搜索方式。

杨永强发明了一种基于机器视觉的蘑菇自动采摘系统(发明专利，基于机器视觉的蘑菇自动采摘系统及方法，申请号：201710257060.5)，该系统利用连接的摄像头获得苗床上蘑菇的观测图像，并将所述观测图像传输至主控系统；主控系统与运动系统连接，用于对收到的所述观测图像进行实时显示，并采用基于Harris角点的背景滤除算法以及基于图像清晰度属性的分水岭分割算法对观测图像进行处理，获得摄像头当前视野内蘑菇的个数、各个蘑菇的中心位置坐标及其大小信息。该系统对于有着复杂噪声、粘连背景的蘑菇生长场景产生较多的漏选、错选现象，对自动采摘造成一定影响。

高任峰发明了一种蘑菇采摘车(实用新型，智能蘑菇采摘车，申请号：201520679512.5)，该系统通过普通可见光摄像机或红外摄像机，实时采集车体行走过程前面的蘑菇图像，然后将蘑菇图像传输给与其连接的处理器，处理器根据图像中蘑菇的轮廓判断蘑菇的尺寸大小，当蘑菇的尺寸落入处理器中预设的标准尺寸范围内，处理器就会控制夹持组件进行蘑菇的采摘。该发明适合对离散、大体积的蘑菇采摘工作，对于粘连蘑菇的采摘工作并不适用。

童上高发明了一种蘑菇采摘机器人系统及采摘方法(发明专利，一种蘑菇采摘机器人系统及采摘方法，申请号：201810097722.1)该系统以3D视觉模块和采摘机器人组成，其中3D视觉模块包括3D视觉照相机、照明单元、图像采集单元和图像处理单元。3D照相机负责对采摘目标进行拍摄，照明单元包括LED灯，采集单元为图像采集卡，处理单元为处理器。该方法对于蘑菇目标的识别仍使用了较为简单的机器视觉技术，对于粘连的蘑菇、噪声背景仍无法较好的处理。

发明内容

本发明提供了一种基于激光和机器视觉的蘑菇检测方法，能够通过激光测距和图像的方式进行蘑菇位置和菌盖边缘的检测。

视觉系统采集蘑菇苗床图像，识别蘑菇种植区域与非种植区域；利用激光扫描测距系统对图像中蘑菇种植区域线性扫描，提取凸点；视觉系统以凸点为中心自动识别蘑菇菌盖边缘，激光扫描测距系统与视觉系统边界信息相互拟合校验获取最终边界，结合凸点数据，实现蘑菇的位置检测与菌盖边缘检测；包含以下步骤：

第一步，系统运行前对激光扫描测距系统坐标系与相机坐标系通过联合标定模型进行标定，O_L-X_LY_LZ_L表示激光扫描测距系统坐标系，O_C-X_CY_CZ_C表示相机坐标系，通过联合标定模型实现激光坐标系P₁点和相机坐标系中P_C点之间的坐标转换：

P_C＝Φ·P₁+△

式中，Φ代表两个坐标系之间的旋转矩阵，△代表两个坐标系之间的平移向量，根据激光扫描测距系统获取的特征点构建描述特征点集合M＝{m_i,i＝1,2,…n}，在获取的图像内构建相机特征点集合S＝{s_i,i＝1,2,…n}，上述步骤中得到的特征点集合M与S中的元素m_i、s_i是对应的。下述目标函数在两个点集实现配准时取得最小值，如下:

第二步，蘑菇苗床分为蘑菇种植区域与非种植区域，视觉系统采集蘑菇苗床图像，根据Faster R-CNN与MDRNNs算法自动识别蘑菇种植区域；

第三步，激光扫描测距系统采用S式扫描蘑菇种植区域，对所采集数据利用最小二乘法进行椭圆拟合

Ax²+Bxy+Cy²+Dx+Ey+F＝0

令W＝[A,B,C,D,E,F]^T,X＝[x²,xy,y²,x,y,1]^T，优化目标为min||W^TX||²＝W^TXX^TW，其中，W^THW>0；蘑菇的中心不会重叠，采用拟合后较大的阈值搜索蘑菇的中心区域，实现蘑菇凸点提取与定位；

第四步，激光扫描测距系统扫描采摘区域后，视觉系统采集此区域图像信息，通过高斯滤波进行对采集图像进行噪声滤除：

使用大津法进行图像二值化：

通过KLT和SUSAN角点为纹理特征的背景过滤算法，过滤掉背景中菌丝、木屑、杂草等干扰因素；

第五步，激光扫描测距系统与视觉系统中匹配蘑菇凸点坐标，实现激光与图像数据级融合，根据相机与激光的内外参数，通过基于平面约束的相机激光联合标定算法实现两大系统的标定；同时，通过矩阵变换，实现相机坐标系、图像坐标系、像素坐标系、世界坐标系之间的转换关系：

确定激光扫描测距系统与相机的位置关系，将激光扫描测距系统蘑菇凸点数据映射到图像上，使用两级级联分水岭算法对图像进行处理，获取蘑菇图像的边缘信息，激光扫描测距系统所获取的边缘信息与视觉系统获取的边缘信息进行拟合、校验，得到最终边界识别结果。

以蘑菇的凸点坐标为基准点，以水平向左方向为基准方向，搜索第一个边界点；将出现两种情况，若激光扫描距离数据以由小到大再由大到小的趋势发生变化，则极大值点即为蘑菇的边界点；若激光扫描测距数据从小变大，在数据变化率最大时即为边界点；

以边界点与蘑菇凸点的连线与水平轴的夹角作为变化量,变化步长为1°,然后沿着半径方向搜索其余各个边界点；

当变化角度达到360°时,搜索终止；

将360°范围内所有边界点相连，与经过边缘搜索后的图像信息进行拟合，最终获得以凸点为圆心，以拟合点到凸点直线长度为半径的圆；

依次对各个蘑菇进行上述的搜索策略,直至找出每个蘑菇菌盖的边缘。

本发明采用激光测距和图像相融合的方法对蘑菇的凸点位置以及菌盖的边缘进行检测，提高了检测效率和准确度，避免的蘑菇之间相互粘连对检测产生影响。

附图说明

图1为本发明所采用的检测机构示意图；

图2为本发明的检测流程图。

具体实施方式

参照附图，通过下面文本说明书，本发明的前述以及其他的特征将变得明显。

激光视觉系统由激光扫描器、面阵相机、同步轮、X轴同步轮导轨、Y轴同步轮导轨、直线轴承、光杆、相机支架、激光支架、电机支架、型材、连接件、伺服电机组成，其中激光扫描器采集蘑菇位置数据，面阵相机采集蘑菇图像。

本系统中，面阵相机通过相机支架与运动系统固连，其位置相对于运动系统保持不变；激光扫描器通过激光支架与直线轴承固连，可沿X轴同步轮导轨与Y轴同步轮导轨做往复运动；四个连接件将两侧Y轴同步轮导轨以及四根光杆连接到一起，X轴方向通过型材连接；电机支架上装有伺服电机、直线轴承、X轴方向光杆，其中同步轮安装在伺服电机一端，伺服电机驱动同步轮沿X轴同步轮导轨与Y轴同步轮导轨运动。

本系统以左上角为坐标系原点，水平向右为X轴正方向、水平向下为Y轴正方向；系统启动后，激光扫描器初始位置位于坐标系原点，面阵相机采集被采摘区域蘑菇图像，图像采集完毕后，激光扫描器沿X轴正方向以固定步长运动，运动到最右侧后，沿Y轴正方向运动一个步长，继续沿X轴负方向运动，运动到最左侧后，沿Y轴正方向运动一个步长，继续沿X轴正方向运动，激光扫描器以M型轨迹重复运动，当扫描完成后，激光扫描器回到初始位置。

视觉系统采集蘑菇苗床图像，识别蘑菇种植区域与非种植区域；利用激光扫描测距系统对图像中蘑菇种植区域线性扫描，提取凸点；视觉系统以凸点为中心自动识别蘑菇菌盖边缘，激光扫描测距系统与视觉系统边界信息相互拟合校验获取最终边界，结合凸点数据，实现蘑菇的位置检测与菌盖边缘检测；包含以下步骤：

第一步，系统运行前对激光扫描测距系统坐标系与相机坐标系通过联合标定模型进行标定，O_L-X_LY_LZ_L表示激光扫描测距系统坐标系，O_C-X_CY_CZ_C表示相机坐标系，通过联合标定模型实现激光坐标系P₁点和相机坐标系中P_C点之间的坐标转换：

P_C＝Φ·P₁+△

式中，Φ代表两个坐标系之间的旋转矩阵，△代表两个坐标系之间的平移向量，根据激光扫描测距系统获取的特征点构建描述特征点集合M＝{m_i,i＝1,2,…n}，在获取的图像内构建相机特征点集合S＝{s_i,i＝1,2,…n}，上述步骤中得到的特征点集合M与S中的元素m_i、s_i是对应的。下述目标函数在两个点集实现配准时取得最小值，如下:

第二步，蘑菇苗床分为蘑菇种植区域与非种植区域，视觉系统采集蘑菇苗床图像，根据Faster R-CNN与MDRNNs算法自动识别蘑菇种植区域；

第三步，激光扫描测距系统采用S式扫描蘑菇种植区域，对所采集数据利用最小二乘法进行椭圆拟合

Ax²+Bxy+Cy²+Dx+Ey+F＝0

令W＝[A,B,C,D,E,F]^T,X＝[x²,xy,y²,x,y,1]^T，优化目标为min||W^TX||²＝W^TXX^TW，其中，W^THW>0；蘑菇的中心不会重叠，采用拟合后较大的阈值搜索蘑菇的中心区域，实现蘑菇凸点提取与定位；

第四步，激光扫描测距系统扫描采摘区域后，视觉系统采集此区域图像信息，通过高斯滤波进行对采集图像进行噪声滤除：

使用大津法进行图像二值化：

通过KLT和SUSAN角点为纹理特征的背景过滤算法，过滤掉背景中菌丝、木屑、杂草等干扰因素；

第五步，激光扫描测距系统与视觉系统中匹配蘑菇凸点坐标，实现激光与图像数据级融合，根据相机与激光的内外参数，通过基于平面约束的相机激光联合标定算法实现两大系统的标定；同时，通过矩阵变换，实现相机坐标系、图像坐标系、像素坐标系、世界坐标系之间的转换关系：

确定激光扫描测距系统与相机的位置关系，将激光扫描测距系统蘑菇凸点数据映射到图像上，使用两级级联分水岭算法对图像进行处理，获取蘑菇图像的边缘信息，激光扫描测距系统所获取的边缘信息与视觉系统获取的边缘信息进行拟合、校验，得到最终边界识别结果。

以蘑菇的凸点坐标为基准点，以水平向左方向为基准方向，搜索第一个边界点；将出现两种情况，若激光扫描距离数据以由小到大再由大到小的趋势发生变化，则极大值点即为蘑菇的边界点；若激光扫描测距数据从小变大，在数据变化率最大时即为边界点；

以边界点与蘑菇凸点的连线与水平轴的夹角作为变化量,变化步长为1°,然后沿着半径方向搜索其余各个边界点；

当变化角度达到360°时,搜索终止；

将360°范围内所有边界点相连，与经过边缘搜索后的图像信息进行拟合，最终获得以凸点为圆心，以拟合点到凸点直线长度为半径的圆；

依次对各个蘑菇进行上述的搜索策略,直至找出每个蘑菇菌盖的边缘。

Claims (2)

1.一种基于激光和机器视觉的蘑菇检测方法，其特征在于，视觉系统采集蘑菇苗床图像，识别蘑菇种植区域与非种植区域；利用激光扫描测距系统对图像中蘑菇种植区域线性扫描，提取凸点；视觉系统以凸点为中心自动识别蘑菇菌盖边缘，激光扫描测距系统与视觉系统边界信息相互拟合校验获取最终边界，结合凸点数据，实现蘑菇的位置检测与菌盖边缘检测；包含以下步骤：

第一步，系统运行前对激光扫描测距系统坐标系与相机坐标系通过联合标定模型进行标定，O_L-X_LY_LZ_L表示激光扫描测距系统坐标系，O_C-X_CY_CZ_C表示相机坐标系，通过联合标定模型实现激光坐标系P₁点和相机坐标系中P_C点之间的坐标转换：

P_C＝Φ·P₁+△

式中，Φ代表两个坐标系之间的旋转矩阵，△代表两个坐标系之间的平移向量，根据激光扫描测距系统获取的特征点构建描述特征点集合M＝{m_i,i＝1,2,…n}，在获取的图像内构建相机特征点集合S＝{s_i,i＝1,2,…n}，上述步骤中得到的特征点集合M与S中的元素m_i、s_i是对应的，下述目标函数在两个点集实现配准时取得最小值，如下:

第二步，蘑菇苗床分为蘑菇种植区域与非种植区域，视觉系统采集蘑菇苗床图像，根据Faster R-CNN与MDRNNs算法自动识别蘑菇种植区域；

第三步，激光扫描测距系统采用S式扫描蘑菇种植区域，对所采集数据利用最小二乘法进行椭圆拟合

Ax²+Bxy+Cy²+Dx+Ey+F＝0

令W＝[A,B,C,D,E,F]^T,X＝[x²,xy,y²,x,y,1]^T，优化目标为min||W^TX||²＝W^TXX^TW，其中，W^THW>0；蘑菇的中心不会重叠，采用拟合后较大的阈值搜索蘑菇的中心区域，实现蘑菇凸点提取与定位；

第四步，激光扫描测距系统扫描采摘区域后，视觉系统采集此区域图像信息，通过高斯滤波进行对采集图像进行噪声滤除：

使用大津法进行图像二值化：

通过KLT和SUSAN角点为纹理特征的背景过滤算法，过滤掉背景中菌丝、木屑、杂草等干扰因素；

第五步，激光扫描测距系统与视觉系统中匹配蘑菇凸点坐标，实现激光与图像数据级融合，根据相机与激光的内外参数，通过基于平面约束的相机激光联合标定算法实现两大系统的标定；同时，通过矩阵变换，实现相机坐标系、图像坐标系、像素坐标系、世界坐标系之间的转换关系：

确定激光扫描测距系统与相机的位置关系，将激光扫描测距系统蘑菇凸点数据映射到图像上，使用两级级联分水岭算法对图像进行处理，获取蘑菇图像的边缘信息，激光扫描测距系统所获取的边缘信息与视觉系统获取的边缘信息进行拟合、校验，得到最终边界识别结果。

2.根据权利要求1所述的一种基于激光和机器视觉的蘑菇检测方法，其特征在于蘑菇菌盖边缘检测算法如下:

以蘑菇的凸点坐标为基准点，以水平向左方向为基准方向，搜索第一个边界点；将出现两种情况，若激光扫描距离数据以由小到大再由大到小的趋势发生变化，则极大值点即为蘑菇的边界点；若激光扫描测距数据从小变大，在数据变化率最大时即为边界点；

以边界点与蘑菇凸点的连线与水平轴的夹角作为变化量,变化步长为1°,然后沿着半径方向搜索其余各个边界点；

当变化角度达到360°时,搜索终止；

将360°范围内所有边界点相连，与经过边缘搜索后的图像信息进行拟合，最终获得以凸点为圆心，以拟合点到凸点直线长度为半径的圆；

依次对各个蘑菇进行上述的搜索策略,直至找出每个蘑菇菌盖的边缘。

Images