CN105989601B - 基于机器视觉的农业agv玉米行间导航基准线提取方法 - Google Patents

Abstract

本发明公开了一种基于视觉导航的农业AGV玉米行间导航基准线提取方法，包括玉米根茎图像的预处理；采用自适应最大类间方差法分割根茎图像和滤波，获取玉米根茎感兴趣区域（ROI）；利用垂直投影法生成玉米根茎轮廓特征点，对轮廓特征点进行峰值点检测和判别，生成玉米根茎峰值特征点，最后运用最小二乘法拟合玉米根茎峰值特征点，生成玉米行线，并以此作为导航基准线。本发明为小型农业AGV在玉米行间自主导航提供了一种新的导航基准线识别方法，与传统的视觉导航算法相比，不仅增强了了图像处理的实时性，降低了运算的复杂度，也提高了农业AGV的鲁棒性。

Description

基于机器视觉的农业AGV玉米行间导航基准线提取方法

技术领域

本发明涉及一种基于机器视觉的农业AGV玉米行间导航基准线提取方法，属于机器视觉和图像处理领域。

技术背景

随着精准农业概念的提出，智能农业生产方法和管理受到广泛关注。农机自主导航领域逐渐成为研究热点，农业机械自主导航在农田耕作、农药喷洒、水稻插秧和作物收割等方面被广泛应用。农业机器人视觉导航中，图像处理和分析算法是视觉导航的关键领域。当前的农业视觉导航主要集中在大田环境中相机位置高于农业作物的情况，这种方法主要是通过相机获取农田图像的作物行或者田垄等信息，采用2G-R-B算法提取绿色特征，然后对图像灰度化和二值化分割处理，再利用边缘检测算子等对边缘进行检测，得到作物行边缘线，最后根据hough变换拟合成直线。传统方法一方面存在算法过于复杂、计算量较大和实时性行不够等问题，另一方因为农作物的叶片生长无明显规律，当两行作物叶子相互交错，遮挡了土地产生成无法正常提取导航基准线等问题。因此，传统的导航算法只适用于低矮的小麦、水稻、蔬菜和早期的玉米等作物，无法满足在高杆作物的中后期视觉导航。

另外，玉米等高杆作物中后期的病虫害防治，目前主要靠人工和飞机喷洒农药，人工施药对人危害较大，飞机施药又面临陈本高昂、施药不均和载药量少等限制。对于在大田作物中采用小型农业AGV视觉导航在玉米行间进行施药作业和玉米病虫害的管理，可以解决上述存在的问题，而在此领域研究力度还不够，相关导航算法更是几乎空白。

发明内容

本发明提供一种基于机器视觉的小型农业AGV玉米行间导航基准线提取方法，用于小型农业AGV在中后期的玉米或高杆作物的病虫害管理和防治作业，能够适用于小型农业AGV在大田条播玉米等高杆作物的行间自主导航，并且快速地检测导航基准线，实现小型农业AGV的导航定位，提高导航的实时性和鲁棒性。

本发明通过以下技术方案实现上述目的：

一种基于机器视觉的农业AGV玉米行间导航基准线提取方法，其特征在于，包括以下步骤：

步骤一：对玉米根茎图像进行预处理；

步骤二：采用自适应最大类间方差法分割玉米根茎图像和滤波去噪，获取玉米根茎感兴趣区域(ROI)；

步骤三：利用垂直投影法生成玉米根茎轮廓特征点；

步骤四：对玉米根茎轮廓特征点进行峰值点检测和判别，生成玉米根茎峰值特征点；

步骤五：运用最小二乘法拟合玉米根茎峰值特征点，生成玉米行线，并以此作为导航基准线。

所述的基于机器视觉的农业AGV玉米行间导航基准线提取方法，其特征在于，步骤一所述的玉米根茎图像预处理的方法为：利用改进的超绿特征算法提取玉米根茎的绿色区域，再通过灰度化处理，获得玉米根茎的二维分量图像。

所述改进的超绿特征算法，具体为：用相机在玉米田间采样若干玉米作物行的图像，并计算每张样本图像：

当αG(x,y)的值大于R(x,y)和B(x,y)的和时，说明此处像素的G分量显著，保留G分量值；当αG(x,y)的值小于R(x,y)和B(x,y)时，则认为此处的G值分量不显著，并将该处的R-G-B分量值分别置为白色，即RGB颜色空间中的单通道分量的最大值1；再对所有的样本图像的α求取平均值，以此平均值作为G分量的系数；

其中，α表示G值系数，Gr(x,y)表示坐标为(x,y)像素点的像素值，G(x,y)表示(x,y)这一点的G值分量，R(x,y)表示(x,y)这一点的R值分量，B(x,y)表示(x,y)这一点的B值分量；

所述的基于机器视觉的农业AGV玉米行间导航基准线提取方法，其特征在于，步骤二所述的采用自适应最大类间方差法分割玉米根茎图像和滤波去噪，具体为：利用自适应最大类间方差法(OTSU)算法按灰度级把图像的灰度数分成两部分，使每部分之间的灰度差异最小，而两部分之间灰度值差异最大，通过计算方差自动选取阈值，寻找合适的灰度级别来分割根茎图像。

所述的基于机器视觉的农业AGV玉米行间导航基准线提取方法，其特征在于，步骤二所述的滤波去噪是采用中值滤波消除细小噪声和采用形态学开运算消除大面积噪声。

所述的基于机器视觉的农业AGV玉米行间导航基准线提取方法，其特征在于，所述的中值滤波的滤波子窗口大小为6*6。

所述的基于机器视觉的农业AGV玉米行间导航基准线提取方法，其特征在于，所述的形态学开运算是用圆形结构元素为100的结构因子对图像进行先腐蚀后膨胀处理。

所述的基于机器视觉的农业AGV玉米行间导航基准线提取方法，其特征在于，步骤三所述的垂直投影法生成玉米根茎轮廓特征点，具体为：利用公式(1)，沿着图像的列方向，取每列的像素值之和作为新的纵坐标，图像的列向量为行坐标，生成玉米根茎轮廓特征点图像；

式中M、N分别表示图像像素的列和行尺寸；i,j分别表示图像像素的行和列；I(i,j)表示以图像左上角为坐标原点，沿着图像的列方向，每列的像素值相加的和。

所述的基于机器视觉的农业AGV玉米行间导航基准线提取方法，其特征在于，步骤四所述的对玉米根茎轮廓特征点进行峰值点检测和判别，生成玉米根茎峰值特征点，具体包括以下步骤：

步骤9.1沿j方向，从左到右对根茎轮廓点进行扫描，设定相邻峰值点距离的阈值，生成较为离散的玉米根茎峰值点簇，同时消除阈值内相邻较近的小波峰噪声，存储矩阵Smax中；

步骤9.2以图像中心的1/2处为分割线，分别建立左右两个空矩阵，左边记为L，右边记为R；

步骤9.3将图像中生成的峰值点簇分别存储到L和R矩阵中，分别对L和R矩阵进行二次特征点判断：在L矩阵中，将图像左上角设定坐标原点，沿j方向从左向右，依次扫描各个特征点，对S_max中的特征点进行判别，当出现两个特征点S_max(j)<S_max(j+1)时，将S_max(j+1)设定为空；在R矩阵正好相反，坐标原点在图像的右上方，沿j从右往左的方向扫描，当S_max(j)<S_max(j+1)时，将S_max(j)设定为空，即剔除明显偏离较大的伪特征点。

所述的基于机器视觉的农业AGV玉米行间导航基准线提取方法，其特征在于，步骤五所述的运用最小二乘法拟合峰值特征点，具体为：对获取的玉米根茎峰值特征点，采用最小二乘法快速拟合玉米根茎峰值特征点，生成玉米行线，并以此作为导航基准线。

本发明的优点是：

本发明方法是对传统的超绿特征算法中的G值系数先求样本平均值，可实时地将玉米植株根茎部绿色特征提取出来，提高了算法的鲁棒性；基于垂直投影图，找出玉米根茎峰之点，仅对峰之点数据进行筛选处理，可较为准确地提取出玉米根茎特征点，并剔除大块的玉米叶片噪声的影响，降低了运算量，缩短了运行时间；另外，采用基于已知点的最小二乘法拟合提取出的作物行特征点，减少了计算量和占用内存，不仅提高了实时性，而且降低了算法的复杂度。

附图说明

图1为本发明的玉米根茎检测算法流程图。

图2为本发明G值系数为1.8的图像。

图3为本发明G值系数为1.9的图像。

图4为本发明OTSU处理后的图像。

图5为本发明形态学处理后的图像。

图6为本发玉米茎秆点轮廓。

图7为本发明的离散点簇图像。

图8为本发明特征检测效果图。

图9为本发明剔除噪声特征点后的图像。

图10为本发明导航基准线图。

具体实施方式

为了便于理解和说明本发明的目的、方法和优势，以下结合附图，通过本发明的实施例进一步详细和系统地将本发明的方法完整地描述清楚。

本实施例在实际玉米田间环境，用于小型AGV(Automated Guided Vehicle)在大田中后期的玉米田间病虫害管理和防治作业。

如图1所示，所述的检测玉米行间的导航基准线方法包括以下内容：

室外实验于2015年7月在河南省鹤壁市浚县玉米示范区中进行，大田作物中玉米行距65-80cm。导航基准线与农业AGV前进的方向之间的夹角为导航角，导航角的大小又决定了导航基准线的准确性。为了判断提取的导航基准线准确性，为此人工拟合出导航基准线作为衡量基准，判断该算法提取出的基准线的准确率。人工拟合主要是在农业AGV行走之前，以小车开始行走的原点为坐标原点，对现场建立人工坐标系，测量行间的玉米根茎坐标，并计算出斜率，最后解算出基准线方程，得到拟合后的人工导航基准线。经过多次实验证明，当农业AGV以1m/s速度行驶，导航角度偏差在±2°范围内，不会撞击到玉米植株。

一种基于机器视觉的农业AGV玉米行间导航基准线提取方法，包括以下步骤：

步骤一：对玉米根茎图像进行预处理；

就是利用改进的超绿特征算法提取玉米根茎的绿色区域，再通过灰度化处理，获得玉米根茎的二维分量图像。

所述改进的超绿特征算法，具体为：用相机在玉米田间采样若干玉米作物行的图像，并计算每张样本图像：

当αG(x,y)的值大于R(x,y)和B(x,y)的和时，说明此处像素的G分量显著，保留G分量值；当αG(x,y)的值小于R(x,y)和B(x,y)时，则认为此处的G值分量不显著，并将该处的R-G-B分量值分别置为白色，即RGB颜色空间中的单通道分量的最大值1；再对所有的样本图像的α求取平均值，以此平均值作为G分量的系数；

其中，α表示G值系数，Gr(x,y)表示坐标为(x,y)像素点的像素值，G(x,y)表示(x,y)这一点的G值分量，R(x,y)表示(x,y)这一点的R值分量，B(x,y)表示(x,y)这一点的B值分量；

求取α的均值，可以大大提高超绿特征算法的鲁棒性和实时性。实验处理了50幅样本图片后，计算出α的均值为1.9。图2和图3分别为G值系数分别为1.8和1.9时的图像噪声检测效果图，从图中看出当α为1.9时效果最好，如果继续用α为2.0作为G值系数，就会造成过渡提取，腐蚀玉米根茎区域。

步骤二：采用自适应最大类间方差法分割玉米根茎图像和滤波去噪，获取玉米根茎感兴趣区域；

就是利用自适应最大类间方差法(OTSU)算法按灰度级把图像的灰度数分成两部分，使每部分之间的灰度差异最小，而两部分之间灰度值差异最大，通过计算方差自动选取阈值，寻找合适的灰度级别来分割图像，处理之后用中值滤波消除细小噪声和采用形态学开运算消除大面积噪声。。

中值滤波去除细小噪声的滤波子窗口大小为6*6，处理后的结果如图4所示，玉米植株清晰可见；形态学开运算，其特征进一步在于用圆形结构元素为100的结构因子对图像进行先腐蚀后膨胀处理。由于滤波之后仍有杂草和枯枝等大面积噪声，如果这些噪声不去除，影响整个导航系统的实时性和精确性，采用形态学运算中的开运算可以大面积噪声的噪声，不会影响植株的茎秆部分。用圆形结构元素为100的结构因子对图像进行先腐蚀后膨胀处理，最终得到较为理想的处理效果，如图5所示。

步骤三：利用垂直投影法生成玉米根茎轮廓特征点；

利用公式(1)，沿着图像的列方向，取每列的像素值之和作为新的纵坐标，图像的列向量为行坐标，生成玉米根茎轮廓特征点图像。

式中M、N分别表示图像像素的水平和纵向尺寸；i,j分别表示图像像素的行和列；I(i,j)表示以图像左上角为坐标原点，沿着图像的列方向，每列的像素值相加的和，如图6所示。将计算结果的特征点图像放到原图中，峰值点正好落在玉米根茎的外轮廓。另外，经过前期预处理后的图像任然可能会有部分叶片噪声伸向行间，而经过垂直投影变换后，基本不会影响根茎轮廓和定位。原因在于玉米叶片与根茎相连处沿列纵向像素值较少，假如产生的噪声较大，如果大于一定阈值，运用特征点值比较法剔除，舍去伪值。

步骤四：对玉米根茎轮廓特征点进行峰值点检测和判别，生成玉米根茎峰值特征点；包括以下步骤：

步骤9.1沿j方向，从左到右对根茎轮廓点进行扫描，设定相邻峰值点距离的小阈值，目的是为了得到较为分散的离散点簇和玉米根茎的定位点，同时去除了玉米根茎皮等引起的小波峰噪声，如图7所示，数字标记为玉米根茎特征定位点，存储到特征点矩阵S_max中。

步骤9.2以图像中心的1/2处为分割线，分别建立左右两个空矩阵，左边记为L，右边记为R。

步骤9.3由相机成像特点可知，距离相机镜头焦距较近的成像尺寸较大，反之较小，而垂直投影变换正好符合此原则。将距离镜头近而投影值非常小的伪特征点舍去。将图像中生成的峰值点簇分别存储到L和R矩阵中，对L和R矩阵进行二次特征点判断。以L矩阵为例，将图像左上角设定坐标原点，沿j方向从左向右，依次扫描各个特征点，对S_max中的特征点进行判别，当出现两个特征点S_max(j)<S_max(j+1)时，将S_max(j+1)设定为空。在R矩阵正好相反，坐标原点在图像的右上方，沿j从右往左的方向扫描，当S_max(j)<S_max(j+1)时，将S_max(j)设定为空，即剔除明显偏离较大的伪特征点，如图8(与图7相比坐标原点顺时针旋转90°)中标记的2点、5点。图8中的11点虽为玉米根茎定位点，但是玉米植株相对于正常中期后的其它玉米植株根茎非常细小，且茎秆也并非竖直状，当其作垂直投影变换时，在垂直方向白色区域较少，黑色较多(即1少，0多)，因此投影值相对于10特征点较低。在大田环境中，此情况的玉米根茎相对较少，不影响整体的特征点判断和识别，处理后的结果如图9所示。

步骤五：运用最小二乘法拟合玉米根茎峰值特征点，生成玉米行线，并以此作为导航基准线，本发明中求得的两条导航基准线斜率分别为k1＝-1.3610，k2＝1.0147，拟合结果如图10所示。

Claims (6)

1.一种基于机器视觉的农业AGV玉米行间导航基准线提取方法，其特征在于，包括以下步骤：

步骤一：对玉米根茎图像进行预处理；

步骤二：采用自适应最大类间方差法分割玉米根茎图像和滤波去噪，获取玉米根茎感兴趣区域；

步骤三：利用垂直投影法生成玉米根茎轮廓特征点；

步骤四：对玉米根茎轮廓特征点进行峰值点检测和判别，生成玉米根茎峰值特征点；

步骤五：运用最小二乘法拟合玉米根茎峰值特征点，生成玉米行线，并以此作为导航基准线；

步骤一所述的玉米根茎图像预处理的方法为：利用改进的超绿特征算法提取玉米根茎的绿色区域，再通过灰度化处理，获得玉米根茎的二维分量图像；

所述改进的超绿特征算法，具体为：用相机在玉米田间采样若干玉米作物行的图像，并计算每张样本图像：

当αG(x,y)的值大于R(x,y)和B(x,y)的和时，说明此处像素的G分量显著，保留G分量值；当αG(x,y)的值小于R(x,y)和B(x,y)时，则认为此处的G值分量不显著，并将该处的R-G-B分量值分别置为白色，即RGB颜色空间中的单通道分量的最大值1；再对所有的样本图像的α求取平均值，以此平均值作为G分量的系数；

其中，α表示G值系数，Gr(x,y)表示坐标为(x,y)像素点的像素值，G(x,y)表示(x,y)这一点的G值分量，R(x,y)表示(x,y)这一点的R值分量，B(x,y)表示(x,y)这一点的B值分量；

步骤三所述的垂直投影法生成玉米根茎轮廓特征点，具体为：利用公式(1)，沿着图像的列方向，取每列的像素值之和作为新的纵坐标，图像的列向量为行坐标，生成玉米根茎轮廓特征点图像；

式中M、N分别表示图像像素的列和行尺寸；i,j分别表示图像像素的行和列；I(i,j)表示以图像左上角为坐标原点，沿着图像的列方向，每列的像素值相加的和；

步骤四所述的对玉米根茎轮廓特征点进行峰值点检测和判别，生成玉米根茎峰值特征点，具体包括以下步骤：

步骤9.1沿j方向，从左到右对根茎轮廓点进行扫描，设定相邻峰值点距离的阈值，生成较为离散的玉米根茎峰值点簇，同时消除阈值内相邻较近的小波峰噪声，存储矩阵Smax中；

步骤9.2以图像中心的1/2处为分割线，分别建立左右两个空矩阵，左边记为L，右边记为R；

步骤9.3将图像中生成的峰值点簇分别存储到L和R矩阵中，分别对L和R矩阵进行二次特征点判断：在L矩阵中，将图像左上角设定坐标原点，沿j方向从左向右，依次扫描各个特征点，对S_max中的特征点进行判别，当出现两个特征点S_max(j)<S_max(j+1)时，将S_max(j+1)设定为空；在R矩阵正好相反，坐标原点在图像的右上方，沿j从右往左的方向扫描，当S_max(j)<S_max(j+1)时，将S_max(j)设定为空，即剔除明显偏离较大的伪特征点。

2.根据权利要求1所述的基于机器视觉的农业AGV玉米行间导航基准线提取方法，其特征在于，步骤二所述的采用自适应最大类间方差法分割玉米根茎图像和滤波去噪，具体为：利用自适应最大类间方差法算法按灰度级把图像的灰度数分成两部分，使每部分之间的灰度差异最小，而两部分之间灰度值差异最大，通过计算方差自动选取阈值，寻找合适的灰度级别来分割根茎图像。

3.根据权利要求1所述的基于机器视觉的农业AGV玉米行间导航基准线提取方法，其特征在于，步骤二所述的滤波去噪是采用中值滤波消除细小噪声和采用形态学开运算消除大面积噪声。

4.根据权利要求3所述的基于机器视觉的农业AGV玉米行间导航基准线提取方法，其特征在于，所述的中值滤波的滤波子窗口大小为6*6。

5.根据权利要求3所述的基于机器视觉的农业AGV玉米行间导航基准线提取方法，其特征在于，所述的形态学开运算是用圆形结构元素为100的结构因子对图像进行先腐蚀后膨胀处理。

6.根据权利要求1所述的基于机器视觉的农业AGV玉米行间导航基准线提取方法，其特征在于，步骤五所述的运用最小二乘法拟合峰值特征点，具体为：对获取的玉米根茎峰值特征点，采用最小二乘法快速拟合玉米根茎峰值特征点，生成玉米行线，并以此作为导航基准线。

Images