CN112861654A - 一种基于机器视觉的名优茶采摘点位置信息获取方法 - Google Patents

Abstract

本发明涉及图像处理算法领域。技术方案是：一种基于机器视觉的名优茶采摘点位置信息获取方法，包括以下步骤：1)从茶园获取茶叶图片，用3_╳3的卷积核对茶叶图片进行高斯滤波除噪：2)对于图像获取的每一个嫩芽分别设置各自的ROI；3)将RGB色彩空间下的ROI转换到HSV色彩空间，提取嫩芽及其生长点枝条的特征；4)用Otsu算法对提取的嫩芽及枝条区域进行二次二值化分割；5)采用改进的Zhang细化算法对上步二值化图片进行细化，提取其骨架；6)以Shi‑Tomasi算法搜索嫩芽和树枝的分叉点作为对细化的骨架检测的特征角点；7)将轮廓最低点和角点拟合成直线段。该方法可提高茶叶嫩芽采摘点定位的精度和效率。

Description

一种基于机器视觉的名优茶采摘点位置信息获取方法

技术领域

本发明涉及到人工智能、机器视觉及图像处理算法领域，具体是提供一种基于机器视觉的名优茶采摘点位置信息获取方法。

背景技术

近年来，基于视觉的自动采摘机器人被用于名优茶的采摘，其采摘点的自动识别定位成为限制其发展的关键点和重难点。名优茶质量轻，风吹或采摘机移动都会引起茶叶的摆动；茶园环境复杂，茶叶相互遮挡；光照太强或太暗，嫩芽和老叶分辨率低。这些因素使得嫩芽采摘点的识别定位非常困难，严重限制了名优茶的自动化采摘。目前所采用的茶叶嫩芽采摘点的定位方法定位精度低、效率低，为了实现采摘点的快速识别定位，保证名优茶机采效率和高质量要求，需要研发一种的名优茶采摘点位置信息获取方法。

发明内容

本发明的目的是克服上述背景技术中的不足，提供一种基于机器视觉的名优茶采摘点位置信息获取方法，该方法应能大大提高茶叶嫩芽采摘点定位的精度和效率。

本发明的技术方案是：

一种基于机器视觉的名优茶采摘点位置信息获取方法，依次包括以下步骤：

第1步：从茶园获取的茶叶图片，用3╳3的卷积核对茶叶图片进行高斯滤波除噪：

第2步：为了减少与采摘点无关因素的影响和图像处理的像素数，提高图像处理的实时性，对于图像获取的每一个嫩芽分别设置各自的ROI，在进行采摘点识别时，只以该区域为目标对象；

第3步：将RGB色彩空间下的ROI转换到HSV色彩空间，提取嫩芽及其生长点枝条的特征；

第4步：用Otsu算法对提取的嫩芽及枝条区域进行二次二值化分割；

第5步：采用改进的Zhang细化算法对上步二值化图片进行细化，提取其骨架，以保留原特征并生成单像素骨架；

第6步：以Shi-Tomasi算法搜索嫩芽和树枝的分叉点作为对细化的骨架检测的特征角点；

第7步：将轮廓最低点和角点拟合成直线段，取中心点为采摘点，其坐标为：

式中，u,v表示采摘点的横坐标、纵坐标；

x₀,y₀表示轮廓最低点的横、纵坐标；

x′,y′表示Shi-Tomasi算法检测出的特征角点横、纵坐标。

所述第1步中，在RGB模型下先获取其图片的G-B分量图，再采用Otsu算法对茶叶嫩芽进行初次分割，然后对其进行腐蚀形态学操作，以滤去因噪声等原因再次产生的细小轮廓。

所述第2步中，以茶叶嫩芽轮廓的最低点为中心设置ROI的搜索算法为：

1)遍历图中每个轮廓的边缘点，找到最低点(x₀,y₀)和最高点(x₁,y₁)；

2)设置轮廓高度筛选参数D，滤除部分因遮挡等原因造成的可见区域过小的嫩芽，当最高点和最低点间的直线长度大于等于预设值D时，将轮廓编号i录入待处理列表list[]，反之则舍去记空

用数学式表达为：

3)以list[]中每个轮廓最低点(x₀,y₀)为中心，设置长度为Roi_L、高度为Roi_H的矩形ROI，其中

式中x_min,y_max分别表示矩形ROI左上角顶点横坐标、纵坐标，x_max,y_min表示矩形ROI右下角顶点横坐标、纵坐标。

所述第3步包括：

1)对HSV空间的ROI分离出H、S、V通道，设定H、S、V通道像素值的上下限，选出嫩芽和枝条所在区域，设置与原图等大的掩码mask：

式中，src表示HSV色彩空间H、S、V通道各像素点的像素值，min表示像素值下限，max表示像素值上限；

2)将RGB空间的ROI和掩码mask，按位与运算提取嫩芽及枝条区域。

所述第5步的细化包括：

1)记某一位于二值图像边界的像素点为P₁，其周围相邻的8个像素点按顺时针分别记为P₂、P₃、P₄、P₅、P₆、P₇、P₈、P₉，P₂位于P₁正上方；

2)标记同时满足下列条件的边界点：

①2≤N(P₁)≤6

②S(P₁)＝1或B(P₁)∈{5,13,20,22,52,54，65，80，133，141}

③P₂×P₄×P₆＝0

④P₄×P₆×P₈＝0

3)删除同时满足以下条件的边界点：

①2≤N(P₁)≤6

②S(P₁)＝1或B(P₁)∈{5,13,20,22,52,54，65，80，133，141}

③P₂×P₄×P₈＝0

④P₂×P₆×P₈＝0

4)重复上述细化步骤，迭代至没有满足上述条件的点时停止；

其中，N(P₁)是P₁的非零邻点的个数，S(P₁)是以P₂、P₃、P₄、P₅、P₆、P₇、P₈、P₉为顺序时，其值从0到1的变化次数，B(P₁)为P₁八邻域点的二进制编码值

所述第6步包括：

设窗口中某点像素坐标为(x,y)，移动量为(Δx,Δy)，灰度为I，则灰度变化为：

式中窗口函数ω(x,y)用高斯函数表示：

将灰度变化函数泰勒展开并略去高阶项得:

式中

I_x，I_y分别表示图像灰度在x、y方向上的梯度值：

定义角点响应函数：

R＝min(λ₁,λ₂)

式中，λ₁和λ₂为矩阵M的两个特征值。

当R大于阈值T₀且在其邻域内为局部极大值时，则该点为Shi-Tomasi特征角点，并输出其坐标(x′,y′)。

本发明的有益效果是：

本发明所采用的茶叶嫩芽采摘点坐标获取方法，能根据茶叶嫩芽的生长姿态确定采摘点，保证所定位的采摘点坐标都落在茶叶嫩芽的叶柄上，提升了所采摘的茶叶嫩芽的完整度，同时降低了周围环境对其定位的影响，并提高了茶叶嫩芽采摘点定位的精度和效率。

附图说明

图1是本发明的原理图。

图2是本发明实施例拍摄的茶叶照片。

图3是对图2执行本发明第1步骤操作后的效果图。

图4是对图3执行本发明第2步骤操作后的效果图。

图5是对图4执行本发明第3步骤操作后的效果图。

图6是对图5执行本发明第4步骤操作后的效果图。

图7表示图6的其中一个ROI区域内茶叶嫩芽的框图。

图8是对图7的其中一个ROI区域内的茶叶嫩芽执行本发明第5步骤操作后的效果图。

图9是对图8执行本发明第6步骤操作后的效果图；即：输出该交点坐标(x′,y′)并将其标注在图中(图中的白色圆点点)。

图10中的A图为图2(图2为原始照片)中某一茶叶嫩芽放大图。

图10中的B图是对图9执行本发明第7步骤操作后的效果图，将获得的采摘点标注在原图(即图10中的A图)中。图中圆形黑色点表示本发明所标记的采摘点；矩形黑色点表示初次分割轮廓最低点；三角形黑色点表示检测的角点

具体实施方式

以下结合说明书附图所示实施例，对本发明作进一步说明，但本发明并不局限于以下实施例。

一种基于机器视觉的名优茶采摘点位置信息获取方法，依次包括以下步骤：

第1步，对从茶园获取的茶叶图片(图2)，对采集的茶叶样本图片用3╳3的卷积核进行高斯滤波除噪(处理后的图片见图3)。

在RGB模型下先获取其图片的G-B分量图，再采用Otsu算法对茶叶嫩芽进行初次分割，然后对其进行腐蚀形态学操作，以滤去因噪声等原因再次产生的细小轮廓；

第2步，为了减少与采摘点无关因素的影响和图像处理的像素数，提高图像处理的实时性，对于图像获取的每一个嫩芽分别设置各自的ROI，在进行采摘点识别时，只以该区域为目标对象；

以茶叶嫩芽轮廓的最低点为中心设置ROI的搜索算法为：

1)遍历图中每个轮廓的边缘点，找到最低点(x₀,y₀)和最高点(x₁,y₁)；

2)设置轮廓高度筛选参数D，滤除部分因遮挡等原因造成的可见区域过小的嫩芽，当最高点和最低点间的直线长度大于等于预设值D时，将轮廓编号i录入待处理列表list[]，反之则舍去记空

用数学式表达为：

(3)以list[]中每个轮廓最低点(x₀,y₀)为中心，设置长度为Roi_L、高度为Roi_H的矩形ROI，其中

式中x_min,y_max分别表示矩形ROI左上角顶点横坐标、纵坐标，x_max,y_min表示矩形ROI右下角顶点横坐标、纵坐标；

结合茶园茶叶嫩芽实例，取x_min＝x₀-30pixels；x_max＝x₀+30pixels；y_min＝y₀-30pixels；y_max＝y₀+25pixels，可得较为理想的效果；

处理后的图片见图4。

第3步，将RGB色彩空间下的ROI转换到HSV色彩空间，提取嫩芽及其生长点枝条的特征：

1)对HSV空间的ROI分离出H、S、V通道，设定H、S、V通道像素值的上下限，选出嫩芽和枝条所在区域，设置与原图等大的掩码mask：

式中，src表示HSV色彩空间H、S、V通道各像素点的像素值；min表示像素值下限，max表示像素值上限；

结合茶园茶叶嫩芽实例，设各通道的取值范围为：H＝[80,150]，S＝[35,250]，V＝[35,250]，可得较为理想的效果。

2)将RGB空间的ROI和掩码mask，按位与运算提取嫩芽及枝条区域(处理后的图片见图5)；

第4步，用Otsu算法对提取的嫩芽及枝条区域进行二次二值化分割(处理后的图片见图6)；

第5步，采用改进的Zhang细化算法依次对上步二值化图片中的每一个ROI区域进行细化，提取其骨架，以保留原特征并生成单像素骨架(提取图7中每一个ROI区域，依次执行本发明的第5步操作；参见图7、图8)；结果如图8所示；

细化的步骤为：

1)记某一位于二值图像边界的像素点为P₁，其周围相邻的的8个像素点按顺时针分别记为P₂、P₃、P₄、P₅、P₆、P₇、P₈、P₉，P₂位于P1正上方；

2)标记同时满足下列条件的边界点：

①2≤N(P₁)≤6

②S(P₁)＝1或B(P₁)∈{5,13,20,22,52,54，65，80，133，141}

③P₂×P₄×P₆＝0

④P₄×P₆×P₈＝0

3)删除同时满足以下条件的边界点：

①2≤N(P₁)≤6

②S(P₁)＝1或B(P₁)∈{5,13,20,22,52,54，65，80，133，141}

③P₂×P₄×P₈＝0

④P₂×P₆×P₈＝0

式中N(P₁)是P₁的非零邻点的个数，S(P1)是以P₂、P₃、P₄、P₅、P₆、P₇、P₈、P₉为顺序时，其值从0到1的变化次数，B(P₁)为P₁八邻域点的二进制编码值

4)重复上述细化步骤，迭代至没有满足上述条件的点时停止；

第6步，以Shi-Tomasi算法搜索嫩芽和树枝的分叉点作为对细化的骨架检测的特征角点(对图8执行第6步操作，输出该交点坐标(x′,y′)并将其标注在图中(图中的白色圆点点)，其结果如图9所示)，具体步骤为：

设窗口中某点像素坐标为(x,y)，移动量为(Δx,Δy)，灰度为I，则灰度变化为：

式中窗口函数ω(x,y)用高斯函数表示：

将灰度变化函数泰勒展开并略去高阶项得:

式中

I_x，I_y分别表示图像灰度在x、y方向上的梯度值：

定义角点响应函数：

R＝min(λ₁,λ₂)

式中λ₁和λ₂为矩阵M的两个特征值；

当R大于阈值T₀且在其邻域内为局部极大值时，则该点为Shi-Tomasi特征角点，并输出其坐标(x′,y′)；

第7步：将获得的采摘点标注在原图中，其结果如图10所示(图中圆形黑色点表示本发明所标记的采摘点；矩形黑色点表示初次分割轮廓最低点；三角形黑色点表示检测的角点)。

具体步骤是：将轮廓最低点和角点拟合成直线段，取中心点为采摘点，其坐标为：

式中u,v表示采摘点的横坐标、纵坐标。

Claims (6)

1.一种基于机器视觉的名优茶采摘点位置信息获取方法，依次包括以下步骤：

第1步：从茶园获取的茶叶图片，用3╳3的卷积核对茶叶图片进行高斯滤波除噪：

第2步：为了减少与采摘点无关因素的影响和图像处理的像素数，提高图像处理的实时性，对于图像获取的每一个嫩芽分别设置各自的ROI，在进行采摘点识别时，只以该区域为目标对象；

第3步：将RGB色彩空间下的感兴趣区域(ROI)转换到HSV色彩空间，提取嫩芽及其生长点枝条的特征；

第4步：用Otsu算法对提取的嫩芽及枝条区域进行二次二值化分割；

第5步：采用改进的Zhang细化算法对上步二值化图片进行细化，提取其骨架，以保留原特征并生成单像素骨架；

第6步：以Shi-Tomasi算法搜索嫩芽和树枝的分叉点作为对细化的骨架检测的特征角点；

第7步：将轮廓最低点和角点拟合成直线段，取中心点为采摘点，其坐标为：

式中：u,v表示采摘点的横坐标、纵坐标；

x₀,y₀表示轮廓最低点的横、纵坐标；

x′,y′表示Shi-Tomasi算法检测出的特征角点横、纵坐标。

2.根据权利要求1所述的一种基于机器视觉的名优茶采摘点位置信息获取方法，其特征在于：所述第1步中，在RGB模型下先获取其图片的G-B分量图，再采用Otsu算法对茶叶嫩芽进行初次分割，然后对其进行腐蚀形态学操作，以滤去因噪声等原因再次产生的细小轮廓。

3.根据权利要求2所述的一种基于机器视觉的名优茶采摘点位置信息获取方法，其特征在于：所述第2步中，以茶叶嫩芽轮廓的最低点为中心设置ROI的搜索算法为：

1)遍历图中每个轮廓的边缘点，找到最低点(x₀,y₀)和最高点(x₁,y₁)；

2)设置轮廓高度筛选参数D，滤除部分因遮挡等原因造成的可见区域过小的嫩芽，当最高点和最低点间的直线长度大于等于预设值D时，将轮廓编号i录入待处理列表list[]，反之则舍去记空

用数学式表达为：

3)以list[]中每个轮廓最低点(x₀,y₀)为中心，设置长度为Roi_L、高度为Roi_H的矩形ROI，其中

式中x_min,y_max分别表示矩形ROI左上角顶点横坐标、纵坐标，x_max,y_min表示矩形ROI右下角顶点横坐标、纵坐标。

4.根据权利要求3所述的一种基于机器视觉的名优茶采摘点位置信息获取方法，其特征在于：所述第3步包括：

1)对HSV空间的ROI分离出H、S、V通道，设定H、S、V通道像素值的上下限，选出嫩芽和枝条所在区域，设置与原图等大的掩码mask：

式中，src表示HSV色彩空间H、S、V通道各像素点的像素值，min表示像素值下限，max表示像素值上限；

2)将RGB空间的ROI和掩码mask，按位与运算提取嫩芽及枝条区域。

5.根据权利要求4所述的一种基于机器视觉的名优茶采摘点位置信息获取方法，其特征在于：所述第5步的细化包括：

1)记某一位于二值图像边界的像素点为P₁，其周围相邻的8个像素点按顺时针分别记为P₂、P₃、P₄、P₅、P₆、P₇、P₈、P₉，P₂位于P₁正上方；

2)标记同时满足下列条件的边界点：

①2≤N(P₁)≤6

②S(P₁)＝1或B(P₁)∈{5,13,20,22,52,54，65，80，133，141}

③P₂×P₄×P₆＝0

④P₄×P₆×P₈＝0

3)删除同时满足以下条件的边界点：

①2≤N(P₁)≤6

②S(P₁)＝1或B(P₁)∈{5,13,20,22,52,54，65，80，133，141}

③P₂×P₄×P₈＝0

④P₂×P₆×P₈＝0

4)重复上述细化步骤，迭代至没有满足上述条件的点时停止；

其中，N(P₁)是P₁的非零邻点的个数，S(P₁)是以P₂、P₃、P₄、P₅、P₆、P₇、P₈、P₉为顺序时，其值从0到1的变化次数，B(P₁)为P₁八邻域点的二进制编码值

6.根据权利要求5所述的一种基于机器视觉的名优茶采摘点位置信息获取方法，其特征在于：所述第6步包括：

设窗口中某点像素坐标为(x,y)，移动量为(Δx,Δy)，灰度为I，则灰度变化为：

式中窗口函数ω(x,y)用高斯函数表示：

将灰度变化函数泰勒展开并略去高阶项得:

式中

I_x，I_y分别表示图像灰度在x、y方向上的梯度值：

定义角点响应函数：

R＝min(λ₁,λ₂)

式中，λ₁和λ₂为矩阵M的两个特征值。

当R大于阈值T₀且在其邻域内为局部极大值时，则该点为Shi-Tomasi特征角点，并输出其坐标(x′,y′)。

Images