CN104050668A - 一种基于双目视觉技术的绿茶嫩芽的目标识别方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉技术的绿茶嫩芽的目标识别方法，该方法主要是针对自然场景下标准茶园中生长的绿茶嫩芽图像进行分析处理，识别出嫩芽区域，通过相应程序控制相应执行机构进行采摘活动，并且通过改善相应的处理算法能在一定程度上为解决机械操作无选择性以及损伤嫩芽等问题提供基础，从而代替人的手工劳动，提高生产效率。

Description

一种基于双目视觉技术的绿茶嫩芽的目标识别方法

技术领域

本发明涉及机器视觉图像处理方法领域，具体是一种基于双目视觉技术的绿茶嫩芽的目标识别方法。

背景技术

目前在茶叶采摘机械技术领域，嫩芽的采摘方法主要有两种：手工采摘；由人工操作相对简单的采茶机械进行采摘。机械采摘主要是以切割式为主，这种简单的单纯依靠机械的采摘方式虽然解决了人工采摘劳动力不足、效率低下以及成本过高的问题，但是也带来了破坏茶叶嫩芽完整性以及对老叶嫩芽无选择性的问题，因此不适合用于名优茶的采摘。

通过专利检索发现，中国专利申请CN1620848A(申请号：2004100814824)公开了一种“自动采茶机”，该机械设有移动机构、茶叶采摘机构和控制机构，初步具有智能采集、识别和处理图像的能力，虽然能够明显提高茶叶采摘质量，最大限度地减少对茶树的伤害，但是无法获得嫩芽目标的三维坐标位置。中国专利申请CN101642014A(申请号：2008100634247)公开了一种“茶叶自动采摘方法及实现该方法的茶叶采摘机”，该方法是利用多根采摘管内旋转气流来拧折茶叶，虽然在一定程度上避免了对茶叶和茶株的损伤，提高了茶叶品质，但是需要人工背负一定重量的柴油机，而且茶叶嫩芽识别问题也没有得到解决。中国专利申请CN102487667B(申请号：2011103803978)公开了一种“茶叶采摘机器人”，相对与之前的采摘方法有了很大的改进，包括视觉系统和处理控制部分。它使用了单目摄像机、双目摄像机和投影机，利用基于光栅投影进行三维测量的方法，通过立体匹配等图像处理方法，获取茶树冠层个点的高度信息，但是没有涉及具体的图像处理方法，系统不够完善。中国专利申请CN202998870U(申请号：2013200253400)公开了“一种茶叶采摘系统”，该方法采用了激光二维测距系统用于测量茶叶高程，以对茶叶进行垂直定位，并配合摄像头采集图像；基于颜色特征进行幼芽叶的水平定位，提高了采摘效果，但是激光成本高，且激光测距系统对环境要求高，不适合在灰尘大、温度高的自然环境下作业。因此急切需要一种采摘方法使得机械能够自动识别茶叶嫩芽并通过控制机构发出命令来操作执行机构进行准确采摘，而且能最大程度保证嫩芽的完整性、采摘的有选择性以及采摘机械低成本。

发明内容

本发明的目的是提供一种基于双目视觉技术的绿茶嫩芽的目标识别方法，以识别茶叶采摘过程中摄像机采集到的茶叶图像中的嫩芽并获得嫩芽质心的三维坐标。

为了达到上述目的，本发明所采用的技术方案为：

一种基于双目视觉技术的绿茶嫩芽的目标识别方法，其特征在于：采用两个数字摄像机构成的双目视觉机构，两数字摄像机相隔一定距离，且两数字摄像机之间间距可调，包括以下步骤：

(1)通过数字摄像机标定校正镜头畸变，同时能够得到数字摄像机的内部参数和外部参数，即数字摄像机的几何模型，从而得到目标点的三位几何位置与其在二维图像中对应点之间的相互关系；

(2)通过数字摄像机捕获包括嫩芽的茶叶彩色图像，并将相应图像传输至图像分析处理单元；

(3)基于茶叶嫩叶与背景环境之间颜色特征上的差异，在不同的颜色模型中，使用各分量对彩色图像进行灰度化处理，根据处理效果，选择各空间中最适合的颜色分量或组合；

(4)对各灰度图分别采用不同的滤波方法以及不同的滤波窗口进行去噪，选择最佳的去噪方法；

(5)针对每一幅灰度图像，分别采用不同的分割方法对其进行图像分割，通过对比分析，选择出适合的分割方法；

(6)对分割后的二值图象，通过腐蚀、膨胀数学形态学的方法进行残留物去除；对目标区域进行边界提取，从而确定嫩芽的各项特征参数。

(7)获得了嫩芽质心在图像中的坐标位置之后，结合数字摄像机标定结果以及双目视觉机构中两数字摄像机之间的视差原理，将目标从二维图像坐标转换至三维空间坐标，再定位出目标的三维坐标。

所述的一种基于双目视觉技术的绿茶嫩芽的目标识别方法，其特征在于：所述步骤(3)中，不同的颜色模型包括RGB颜色空间、HSI颜色空间、YIQ颜色空间、Lab颜色空间以及YCbCr颜色空间。

所述的一种基于双目视觉技术的绿茶嫩芽的目标识别方法，其特征在于：在由RGB空间转换为HSI空间时，一般有五种方法：几何推导法、坐标变换法、分段定义法、Bajon近似法和标准模型法；当在HSI颜色空间进行灰度化处理时，分别应用以上五种算法进行空间转换，然后对各算法下各颜色因子灰度化图像进行分析比较，从而找出适合本对象的RGB空间到HSI空间的转换算法。

所述的一种基于双目视觉技术的绿茶嫩芽的目标识别方法，其特征在于：在由RGB颜色空间向YIQ颜色空间转换时，遵循的转换公式如下：

$\left[\begin{array}{c}Y\\ I\\ Q\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& -0.275& -0.321\\ 0.212& -0.523& 0.311\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right].$

所述的一种基于双目视觉技术的绿茶嫩芽的目标识别方法，其特征在于：在由RGB颜色空间向YCbCr颜色空间转换时，遵循的转换公式如下：

$\left[\begin{array}{c}Y\\ \mathrm{Gb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.1687& -0.3313& 0.5\\ 0.5& -0.4187& 0.0813\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right].$

所述的一种基于双目视觉技术的绿茶嫩芽的目标识别方法，其特征在于：所述步骤(4)中，不同的滤波方法包括均值滤波、中值滤波以及高斯滤波，图像在采集处理过程中受到的噪声干扰十分复杂，因此需要使用不同的滤波方式以及选择不同的滤波窗口进行去噪，通过对比滤波之后图像的优劣从而选择出最佳的滤波方式。

所述的一种基于双目视觉技术的绿茶嫩芽的目标识别方法，其特征在于：所述步骤(5)中，不同分割方法主要包括OTSU法、迭代法、二维最大熵法和区域生长法，通过以上各种方法分别对滤波后灰度图像进行分割得到二值化图像，通过分析各图像的分割效果，选择出最适合的分割算法。

本发明依赖于双目视觉系统，该系统为非固定可调式，能够获取不同相对角度下、同一场景的两幅图像，能够改善识别效果。获得多幅图像之后，可以结合三角测量原理计算出图像像素间的位置偏差，获得目标的深度信息。

在灰度化处理、图像滤波以及图像分割均等操作中，采用各种不同的方法对其进行处理，通过分析比较处理结果，选取最佳的处理方法。这样可以使得尽可能最大的获取最佳的处理效果。

附图说明

图1为本发明的流程图。

图2为各颜色空间中嫩芽识别程度较高的灰度化图像。

图3为针对R-B灰度化图像选用的5x5中值滤波结果。

图4为针对R-B灰度化图像的图像分割结果。

具体实施方式

一种基于双目视觉技术的绿茶嫩芽的目标识别方法，采用两个数字摄像机构成的双目视觉机构，两数字摄像机相隔一定距离，且两数字摄像机之间间距可调，包括以下步骤：

(1)通过数字摄像机标定校正镜头畸变，同时能够得到数字摄像机的内部参数和外部参数，即数字摄像机的几何模型，从而得到目标点的三位几何位置与其在二维图像中对应点之间的相互关系；

(2)通过数字摄像机捕获包括嫩芽的茶叶彩色图像，并将相应图像传输至图像分析处理单元；

(3)基于茶叶嫩叶与背景环境之间颜色特征上的差异，在不同的颜色模型中，使用各分量对彩色图像进行灰度化处理，根据处理效果，选择各空间中最适合的颜色分量或组合；

(4)对各灰度图分别采用不同的滤波方法以及不同的滤波窗口进行去噪，选择最佳的去噪方法；

(5)针对每一幅灰度图像，分别采用不同的分割方法对其进行图像分割，通过对比分析，选择出适合的分割方法；

(6)对分割后的二值图象，通过腐蚀、膨胀数学形态学的方法进行残留物去除；对目标区域进行边界提取，从而确定嫩芽的各项特征参数。

(7)获得了嫩芽质心在图像中的坐标位置之后，结合数字摄像机标定结果以及双目视觉机构中两数字摄像机之间的视差原理，将目标从二维图像坐标转换至三维空间坐标，再定位出目标的三维坐标。

步骤(3)中，不同的颜色模型包括RGB颜色空间、HSI颜色空间、YIQ颜色空间、Lab颜色空间以及YCbCr颜色空间。

在由RGB空间转换为HSI空间时，一般有五种方法：几何推导法、坐标变换法、分段定义法、Bajon近似法和标准模型法；当在HSI颜色空间进行灰度化处理时，分别应用以上五种算法进行空间转换，然后对各算法下各颜色因子灰度化图像进行分析比较，从而找出适合本对象的RGB空间到HSI空间的转换算法。

在由RGB颜色空间向YIQ颜色空间转换时，遵循的转换公式如下：

$\left[\begin{array}{c}Y\\ I\\ Q\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& -0.275& -0.321\\ 0.212& -0.523& 0.311\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right].$

在由RGB颜色空间向YCbCr颜色空间转换时，遵循的转换公式如下：

$\left[\begin{array}{c}Y\\ \mathrm{Gb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.1687& -0.3313& 0.5\\ 0.5& -0.4187& 0.0813\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right].$

步骤(4)中，不同的滤波方法包括均值滤波、中值滤波以及高斯滤波，图像在采集处理过程中受到的噪声干扰十分复杂，因此需要使用不同的滤波方式以及选择不同的滤波窗口进行去噪，通过对比滤波之后图像的优劣从而选择出最佳的滤波方式。

步骤(5)中，不同分割方法主要包括OTSU法、迭代法、二维最大熵法和区域生长法，通过以上各种方法分别对滤波后灰度图像进行分割得到二值化图像，通过分析各图像的分割效果，选择出最适合的分割算法。

参照图1，本发明的具体实施步骤如下：

(1)相机标定：为了从所摄二维图像中获取图像的三维信息，就必须建立起摄像机的成像模型，并对模型的各项参数进行求解分析。

摄像机标定主要是为最后的目标定位提供理论基础，标定结果的精度对于定位的精度影响是非常大的，因此标定方法的选择也很重要。通常情况下，根据标定方式不同可分为以下三种：传统标定方法、主动视觉标定方法以及自标定方法。传统标定方法使用到标定板，适用于任意的摄像机模型，且标定精度高；主动标定方法需要已知摄像机的某些运动信息；自标定方法是依靠多幅图像之间的对应关系进行标定，灵活性强，但是鲁棒性不高。常用的标定方法有DLT、RAC、张正友标定、孟胡标定、胡占义标定等等，其中的张正友标定方法介于传统标定法和自标定之间，只需要从不同角度拍摄同一标定板两幅以上的图像，就可以求出摄像机内外参数，不需要已知标定板的运动信息，成本低、方法简单灵活，具有较高的鲁棒性和实用性，故使用该方法进行相机标定。

张正友相机标定考虑了相机模型的径向畸变(在镜头畸变中，径向畸变是镜头产生误差的主要因素)，为了更加真实地反映出镜头畸变情况，这里考虑了镜头的二阶径向畸变。主要标定工作就是将世界坐标系中的空间三维点P(X_W,Y_W,Z_W)变换为图像平面上像素坐标值(u,v)，该过程主要有以下四步：

①将世界坐标系中的坐标值P_W(X_W,Y_W,Z_W)转换为摄像机坐标系中的坐标值P_c(X_c,Y_c,Z_c)。

$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]=\left[\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]+\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]=R\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]+T$

其中，R为旋转矩阵，T为平移向量。

②将坐标值P_c(X_c,Y_c,Z_c)在针孔模型中进行规范化投影，转换到成像平面坐标系，得到归一化坐标值P_n(x,y)。

$P_n=\left[\begin{array}{c}{X}_c/Z_c\\ Y_c/Z_c\end{array}\right]=\left[\begin{array}{c}x\\ y\end{array}\right]$

③考虑透镜的二阶畸变δ_x和δ_y，规范化后坐标值为P_d(x_d,y_d)。

$\left\{\begin{array}{c}{x}_d=x(1+{\mathrm{\δ}}_x)=x(1+k_1{r}^2+k_2{r}^4)\\ y_d=y(1+{\mathrm{\δ}}_y)=y(1+k_1{r}^2+k_2{r}^4)\end{array}\right.$

其中，r²＝x²+y²,k₁和k₂为径向畸变系数。

④将坐标值为P_d(x_d,y_d)转换为图像坐标系上像素点坐标值平p(u,v)。

$\left\{\begin{array}{c}u=f_x{x}_d+u_0=(f\·\mathrm{sx}/\mathrm{dpx})x_d+u_0\\ v=f_y{y}_d+v_0=(f/\mathrm{dpy})y_d+v_0\end{array}\right.$

其中，(u₀,v₀)为图像坐标系中主点坐标(主点为摄像机光轴与图像坐标系的交点)；f为摄像机的有效焦距；sx为比例因子，用来适应在计算机图像水平方向上带来的种种不确定因素；dpx和dpy分别为计算机图像在水平方向和垂直方向上相邻两像素之间的有效距离，单位是mm/pixel。

(2)图像获取与采集：图像获取与采集就是通过数字摄像机获取图像与数字化处理的过程。将双目相机相对位置调整好之后，便可以进行图像摄取，通过相机内部的A/D转换器将模拟信号转换为数字信号，然后将图像信息传输至PC机或图像处理设备中。使用数字摄像机可以有效避免传输线路中的干扰问题。

(3)图像灰度化处理：颜色特征是图像特郑重的最显著、最可靠和最稳定的视觉特征，在不同的颜色空间下，图像的表达效果是有差异的。要实现自然环境下嫩芽与背景的有效分割，就必须找出能够区分二者的特性，首先应选取合适的颜色空间，然后选择适当的色彩因子(组合)将彩色图像转换为灰度图像，为后续的图像分割工作提供基础。这里通过在不同的颜色空间下运用不同的色彩因子(组合)对彩色图像进行灰度化处理，结合人眼的辨识能力，找出最佳的色彩因子。图2为各颜色空间中嫩芽识别程度较高的灰度化图像，图2(a)为RGB颜色空间中R-B组合因子灰度化图像，图2(b)为Lab颜色空间中b分量灰度化图像，图2(c)为HSI颜色空间中在标准模型法下S分量灰度化图像，图2(d)为YCbCr颜色空间中Cb分量灰度化图像。

(4)图像滤波去噪：通常，实际获得的图像在图像形成、传输、接收和处理的过程中不可避免地存在着各种干扰，有光电干扰、感光元件噪声、传输过程中的误差以及数字化处理带来的干扰等等。这些干扰会造成图像质量下降，使得目标识别更加困难。分别选择3x3、5x5、7x7的方形窗口对图像进行均值滤波和中值滤波，图3为针对R-B灰度化图像选用的5x5中值滤波结果。

(5)由于摄取的图像中不仅包括茶叶嫩芽，还包括茶树老叶、茶树梗、以及泥土等背景，因此需要进行图像分割。常用的分割方法为基于阈值的分割方法，阈值法非常实用，而且计算量不大，使得图像分析处理相对简便。选择大津法和迭代法对图像进行分割。图4(a)为针对R-B灰度化图像的大津法分割结果，图4(b)为针对R-B灰度化图像的迭代法分割结果。

(6)数学形态学处理：以图像的形态特征为研究对象，描述其基本特征和结构，基本运算有腐蚀、膨胀、开和闭四种。主要作用是去除一些孤立的小点、填充一些细小空洞、平滑轮廓，不会明显改变它的面积。最终便能完成目标提取工作。

(7)特征提取及目标定位：利用梯度算子对目标进行边缘检测，得到目标的边缘特征，初步获取目标的质心位置，结合之前的相机标定结果，可以得到目标质心相对世界坐标系的三维坐标。

Claims (7)

1.一种基于双目视觉技术的绿茶嫩芽的目标识别方法，其特征在于：采用两个数字摄像机构成的双目视觉机构，两数字摄像机相隔一定距离，且两数字摄像机之间间距可调，包括以下步骤：

(1)通过数字摄像机标定校正镜头畸变，同时能够得到数字摄像机的内部参数和外部参数，即数字摄像机的几何模型，从而得到目标点的三位几何位置与其在二维图像中对应点之间的相互关系；

(2)通过数字摄像机捕获包括嫩芽的茶叶彩色图像，并将相应图像传输至图像分析处理单元；

(3)基于茶叶嫩叶与背景环境之间颜色特征上的差异，在不同的颜色模型中，使用各分量对彩色图像进行灰度化处理，根据处理效果，选择各空间中最适合的颜色分量或组合；

(4)对各灰度图分别采用不同的滤波方法以及不同的滤波窗口进行去噪，选择最佳的去噪方法；

(5)针对每一幅灰度图像，分别采用不同的分割方法对其进行图像分割，通过对比分析，选择出适合的分割方法；

(6)对分割后的二值图象，通过腐蚀、膨胀数学形态学的方法进行残留物去除；对目标区域进行边界提取，从而确定嫩芽的各项特征参数。

(7)获得了嫩芽质心在图像中的坐标位置之后，结合数字摄像机标定结果以及双目视觉机构中两数字摄像机之间的视差原理，将目标从二维图像坐标转换至三维空间坐标，再定位出目标的三维坐标。

2.根据权利要求1所述的一种基于双目视觉技术的绿茶嫩芽的目标识别方法，其特征在于：所述步骤(3)中，不同的颜色模型包括RGB颜色空间、HSI颜色空间、YIQ颜色空间、Lab颜色空间以及YCbCr颜色空间。

3.根据权利要求2所述的一种基于双目视觉技术的绿茶嫩芽的目标识别方法，其特征在于：在由RGB空间转换为HSI空间时，一般有五种方法：几何推导法、坐标变换法、分段定义法、Bajon近似法和标准模型法；当在HSI颜色空间进行灰度化处理时，分别应用以上五种算法进行空间转换，然后对各算法下各颜色因子灰度化图像进行分析比较，从而找出适合本对象的RGB空间到HSI空间的转换算法。

4.根据权利要求2所述的一种基于双目视觉技术的绿茶嫩芽的目标识别方法，其特征在于：在由RGB颜色空间向YIQ颜色空间转换时，遵循的转换公式如下：

$\left[\begin{array}{c}Y\\ I\\ Q\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& -0.275& -0.321\\ 0.212& -0.523& 0.311\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right].$

5.根据权利要求2所述的一种基于双目视觉技术的绿茶嫩芽的目标识别方法，其特征在于：在由RGB颜色空间向YCbCr颜色空间转换时，遵循的转换公式如下：

$\left[\begin{array}{c}Y\\ \mathrm{Gb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.1687& -0.3313& 0.5\\ 0.5& -0.4187& 0.0813\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right].$

6.根据权利要求1所述的一种基于双目视觉技术的绿茶嫩芽的目标识别方法，其特征在于：所述步骤(4)中，不同的滤波方法包括均值滤波、中值滤波以及高斯滤波，图像在采集处理过程中受到的噪声干扰十分复杂，因此需要使用不同的滤波方式以及选择不同的滤波窗口进行去噪，通过对比滤波之后图像的优劣从而选择出最佳的滤波方式。

7.根据权利要求1所述的一种基于双目视觉技术的绿茶嫩芽的目标识别方法，其特征在于：所述步骤(5)中，不同分割方法主要包括OTSU法、迭代法、二维最大熵法和区域生长法，通过以上各种方法分别对滤波后灰度图像进行分割得到二值化图像，通过分析各图像的分割效果，选择出最适合的分割算法。