CN101859375A - 农田苗期行内作物-杂草识别方法 - Google Patents

Abstract

本发明涉及一种农田苗期行内作物-杂草识别方法，属于农业技术领域。该方法借助含有左、右摄像机和接收左、右摄像机信号输入的中央处理器系统，通过摄取左右图像、分割土壤背景、重建三维图像、高度信息截取、像素直方图拟合、匹配识别作物，实现行内作物-杂草的识别。本发明为了减少立体匹配的计算工作量，以提高图像处理的实时性，合理将第二步的分割结果与第三步有机结合。即只对第二步从土壤背景中识别出的绿色目标进行立体匹配，而忽略掉与摄像机距离已知的土壤图像部分，从而大大减少了立体匹配的运算量，显著加快了识别速度，使得未来应用的实时性得到明显改善；而立体匹配后的步骤则有效保证了识别率。

Description

农田苗期行内作物-杂草识别方法

技术领域

本发明涉及一种识别方法，尤其是一种农田苗期行内作物-杂草识别方法，属于农业技术领域。

背景技术

农田除草方法包括人工除草、化学除草、机械除草、生物除草、杂草检疫等。其中化学除草对突发性的草害效果明显，在国内外被广泛应用。但是如果除草剂使用不当，不仅会带来药害，而且会造成农产品农药残留量超标、环境污染以及人员中毒。为了减少除草剂用量和保护环境，美国、欧洲、日本、中国等相继开展了农药精确施用方法的研究。精确施药已经成为国内外研究热点和发展趋势。目前研究的精确除草设备主要有智能喷雾机和除草机器人。

精确除草(无论是智能喷雾机还是除草机器人)都是针对按行种植的条播作物，例如玉米、棉花、大豆等。在这样的农田里，根据空间分布特征，杂草可以分为“行间杂草”和“行内杂草”。所谓“行间杂草”就是指生长在两个作物行之间的杂草；而“行内杂草”则是指生长在一个作物行内的杂草，也就是与作物同在一行的杂草。

精确除草(无论采用化学除草还是机械除草方法)的前提是识别杂草，也就是将杂草从背景中检测出来。一般采用机器视觉和数字图像处理方法识别(检测)杂草。

可以基于不同的特征识别杂草，这些特征包括：色彩特征、形状特征、纹理特征、光谱特征、空间分布特征等[1].在作物行间，只有杂草是绿色的，所以可以利用色彩特征将杂草从土壤背景中分离出来。也就是说，可以利用色彩特征识别行间杂草。在作物行的行内，则难以仅仅依靠色彩特征区别杂草和作物，因为它们往往都是绿色的。识别行内杂草还要借助其它特征。

到目前为止，没有一个独立或者综合的方法能彻底解决行内杂草识别问题，距离商业化应用要求尚有较大差距。实际应用中会有许多新的问题需要解决。例如，农田自然光线的变化会降低色彩特征方法的识别率。田间高低不平，以及种植机械自身的性能局限，使得作物行的行间距以及行内植株的株间距或多或少地存在差异。这样，降低了基于植株空间分布特征的杂草识别率。杂草和作物的光谱特征随着其生长时期和含水率的变化而变化。而且，许多杂草和作物的光谱特征相似。所以，仅仅依赖光谱特征也不能十分有效地区别杂草和作物。对杂草形态、纹理特征的分析需要清晰度较高的图像。随风飘动的杂草，以及相互重叠的杂草都给形态、纹理分析增加了难度。而且，杂草种类数不胜数，即使是常见的杂草也有数百种。建立杂草形态特征库的工作量很大，也降低了动态识别杂草的实时性。

以上诸多不确定性使得将杂草和作物加以区别成为实施精确除草的瓶颈：(1)杂草识别率低；(2)识别算法复杂，实时性差；(3)受自然环境因素影响大。由此可见，识别杂草(尤其是行内杂草)是很不容易的。

检索发现，申请号为200510086509.3的中国发明专利申请公开了利用位置和纹理特征自动识别作物苗期田间杂草的方法，采取以下步骤：1)先采用数码摄像机将条播作物苗期田间作物苗和杂草苗的视频采集到DV带中；然后，通过电缆把数码摄像机与安装在计算机内的视频采集卡连接，导出采集的视频文件，从导出的视频文件中获取帧图像；2)利用计算机进行绿色植物和土壤背景的分割；3)利用位置特征识别行间杂草；4)利用纹理特征识别行内杂草；5)作物行间杂草图与作物行内杂草进行加运算，从而得到田间杂草图。但是，正如前面分析，根据作物与杂草的叶片纹理特征识别行内杂草有很大的局限性。其主要缺点是，1)需要建立一个存储了作物和许多杂草纹理特征的数据库，然后，再将现场叶片的纹理特征与数据库里的纹理特征加以比对，进而加以判断。该方法工作量大，实时性差；2)作物与杂草的叶片自然生长，很可能不是正面朝上，也很可能沾上泥土，或者互相重叠，或者随风飘摆，这些因素都会降低纹理特征的识别率。

申请号为200510086569.5的中国发明专利公开了一种自动识别田间杂草的方法，主要介绍了喷雾设备，其中对杂草的识别也需要建立特征数据库，进行比对，因此工作量大、实时性差，对图像质量要求高，难以适用于农田现场。

发明内容

本发明的目的在于：针对上述现有技术存在的缺点，提出一种识别速度快且识别率高的行内作物-杂草识别方法，从而便于切实推广应用。

为了达到以上目的，本发明的行内作物-杂草识别方法借助含有左、右摄像机和接收左、右摄像机信号输入的中央处理器系统，按以下步骤识别行内作物-杂草：

第一步、摄取左右图像——借助垂直于地面左、右摄像机构成的双目立体视觉系统分别采集以土壤为背景的含绿色作物和杂草的左、右彩色图像；

第二步、分割土壤背景——基于绿色色彩特征，对上述左、右彩色图像分别二值化处理，得到背景为白色、作物和杂草为黑色的分割二值图像，从而将绿色目标(作物和杂草)与土壤背景相分割；

第三步、重建三维图像——将第一步左、右彩色图像中对应第二步分割二值图像黑色区域的部分，通过常规立体匹配，重建成以各像素灰度值表征高度信息的三维灰度图像；

第四步、高度信息截取——将三维灰度图像的各像素灰度值与预定高度的灰度阈值相比较后进行二值化处理，得到小于灰度阈值像素为白色、大于灰度阈值像素为黑色的截留二值图像；

第五步、像素直方图拟合——沿截留二值图像对应作物行的方向扫描，形成像素直方图，并形成相应的拟合曲线；

第六步、匹配识别作物——根据作物空间位置的分布特征，将理论株距和拟合曲线中的峰值进行匹配，判断识别出作物植株对应的峰值位置，从而实现行内作物-杂草的识别。

上述过程立体匹配是获取高度信息中最关键、也是最耗时的步骤。本发明为了减少立体匹配的计算工作量，以提高图像处理的实时性，合理将第二步的分割结果与第三步有机结合。即只对第二步从土壤背景中识别出的绿色目标进行立体匹配，而忽略掉与摄像机距离已知的土壤图像部分，从而大大减少了立体匹配的运算量，显著加快了识别速度，使得未来应用的实时性得到明显改善；而立体匹配后的步骤则有效保证了识别的精度。

为了进一步提高识别率，可以对拟合曲线进行低通滤波等处理，消除杂草散点的影响，使得拟合曲线更为光滑，再进行后续步骤。

附图说明

下面结合附图对本发明作进一步的说明。

图1为本发明一个实施例的流程框图。

图2为图1实施例的拟合曲线图。

图3为图1实施例的拍摄过程示意图。

具体实施方式

实施例一

本实施例的行内作物-杂草识别方法在除草机器人之类的智能化除草机器上安置垂直于地面的左、右摄像机，构成双目立体视觉系统，左、右摄像机采集的信号输入中央处理器，中央处理器识别行内作物-杂草的过程如下(参见图1)：

1)、摄取左右图像——借助垂直于地面左、右摄像机构成的双目立体视觉系统分别采集以土壤为背景的含绿色作物(例如玉米)和杂草的左、右彩色图像。

2)、分割土壤背景——在原始彩色图像中，作物与杂草都是绿色的，与土壤等背景存在色彩差别，因此可以基于绿色色彩特征，对上述左、右彩色图像分别二值化处理，得到背景为白色、作物和杂草为黑色的分割二值图像，从而将绿色目标(作物和杂草)与土壤背景相分割。分割过程包括：将左、右彩色图像分别转换成相应的灰度图像，再转换成相应的分割二值图像，具体做法可以参见：姚敏《数字图像处理》[M].北京：机械工业出版社.2006年。将彩色图像转换成灰度图像的算法很多，试验发现，对于农田杂草识别，超绿色方法效果较好，因此绿色色彩特征采用超绿色法，该方法中，灰度级＝2G-R-B。

3)、重建三维图像——双目立体视觉获取深度信息通常包括下列基本步骤：图像获取、摄像机标定、图像预处理与特征提取、立体匹配、三维信息恢复等分步骤(详见章琉晋《图像理解与计算机视觉》[M].北京：清华大学出版社，2000年；或者，张广军《机器视觉》[M].北京：科学出版社，2005年)。立体匹配虽然是现有技术，但却是立体视觉中最重要也是最耗时的步骤。本实施例独创性地利用第一步骤识别出来的绿色目标信息，以及摄像机与地面距离已知这些条件，来简化立体匹配运算工作量，改善图像处理实时性，实现将第一步左、右彩色图像中对应第二步分割二值图像黑色区域的部分，通过常规立体匹配，重建成以各像素灰度值表征高度信息的三维灰度图像。

不难理解，在2)步骤中，已经从土壤背景中识别出绿色目标(作物与杂草)，或者说识别出土壤。研究统计，农田中一般只有1/3地面被杂草覆盖。也就是说，一帧图像中大约有2/3是土壤。既然识别出土壤，而且土壤与摄像机距离已知，那么在立体匹配中就可以略去土壤背景对应像素点的匹配运算。结果，只对图像中1/3的像素进行匹配运算，从而大大减少了立体匹配运算量，使识别的实时性得到了显著改善。

4)、高度信息截取——将三维灰度图像的各像素灰度值与预定高度的灰度阈值相比较后进行二值化处理，得到小于灰度阈值像素为白色、大于灰度阈值像素为黑色的截留二值图像。因为通过第3)步骤可以获得一幅灰度图像，各像素灰度值表示其高度(深度)信息。由于除草时期玉米植株高度大于5公分，所以可以通过高度阈值将灰度图像变化成二值图像。高度在5公分以上植株以及杂草为黑色，其余为白色。

5)、像素直方图拟合——在上述截留二值图像中，沿着图像宽度方向(作物行的方向)扫描，计算横向像素直方图，并形成相应的拟合曲线(参见图2)。在二值图像中，黑色像素对应于原来的绿色像素。在拟合曲线上，峰值对应着原来绿色像素多的部位(作物或杂草)。由于作物空间位置分布的规律性，使得对应作物的峰值呈现出周期性。之后，对直方图拟合的曲线进行信号处理(低通滤波等)，可以消除杂草散点的影响，使得拟合曲线光滑。

6)、匹配识别作物——虽然拟合曲线具有对应作物峰值的周期性。但是，这一周期性难免被噪声信号(杂草)所干扰，甚至被淹没，即直方图拟合的曲线中，杂草的峰值与作物植株的峰值同时存在，因此需要进一步进行处理。考虑到作物在播种时行内理论株距基本恒定，呈现出相对稳定的“周期性”，因此本实施例根据作物的空间位置分布特征，将理论株距和信号曲线中的峰值进行匹配，从而判断出作物植株对应的峰值位置。该峰值位置就是作物植株的实际位置，这样就从图像中识别出植株，提高了作物植株识别率。

事实上，当机器人连续在田间前进时，除草过程也是连续的。因此，上述图像处理过程是实时、连续的。需要根据机器人前进的速度，每间隔一定的时间拍摄一帧图像进行处理，使得沿着作物行拍摄的图像拼接连续(参见图3)。

不难看出，与现有技术相比，本实施例具有以下显著的实质性特点：

1、建立双目立体视觉系统获取绿色目标(作物和杂草)高度信息。利用作物植株、杂草，以及地面土壤高度之间的差别识别作物植株和杂草。增加了高度信息，以便识别行内作物与杂草。

2、在获取高度信息过程中，免去土壤对应像素点的立体匹配运算。从而大大减少了立体匹配运算工作量，显著提高图像处理实时性。

此外，鉴于杂草种类繁多，而特定作物数量有限(如玉米、大豆、棉花等)，针对行内杂草识别这一难题，本实施例提出了与众不同的方法，对于行内杂草，不是直接去识别杂草，而是改而识别作物。在杂草和作物同时存在的作物行内，作物之外的绿色目标就是杂草。因此，在作物的行内，识别出作物就等价于识别出杂草。识别出作物就可以为后续的精确除草提供依据。

除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。

Claims (5)

1.一种农田苗期行内作物-杂草识别方法，其特征在于借助含有左、右摄像机和接收左、右摄像机信号输入的中央处理器系统，按以下步骤识别行内作物-杂草：

第一步、摄取左右图像——借助垂直于地面左、右摄像机构成的双目立体视觉系统分别采集以土壤为背景的含绿色作物和杂草的左、右彩色图像；

第二步、分割土壤背景——基于绿色色彩特征，对上述左、右彩色图像分别二值化处理，得到背景为白色、作物和杂草为黑色的分割二值图像，从而将绿色目标与土壤背景相分割；

第三步、重建三维图像——将第一步左、右彩色图像中对应第二步分割二值图像黑色区域的部分，通过常规立体匹配，重建成以各像素灰度值表征高度信息的三维灰度图像；

第四步、高度信息截取——将三维灰度图像的各像素灰度值与预定高度的灰度阈值相比较后进行二值化处理，得到小于灰度阈值像素为白色、大于灰度阈值像素为黑色的截留二值图像；

第五步、像素直方图拟合——沿截留二值图像对应作物行的方向扫描，形成像素直方图，并形成相应的拟合曲线；

第六步、匹配识别作物——根据作物空间位置的分布特征，将理论株距和拟合曲线中的峰值进行匹配，判断识别出作物植株对应的峰值位置，从而实现行内作物-杂草的识别。

2.根据权利要求1所述的行内作物-杂草识别方法，其特征在于：所述第五步中，对拟合曲线进行低通滤波处理，消除杂草散点后进行所述第六步。

3.根据权利要求2所述的行内作物-杂草识别方法，其特征在于：所述步骤二的分割过程先将左、右彩色图像分别转换成相应的灰度图像，再转换成相应的分割二值图像。

4.根据权利要求3所述的行内作物-杂草识别方法，其特征在于：所述绿色色彩特征采用超绿色法，所述灰度图像的灰度级＝2G-R-B。

5.根据权利要求4所述的行内作物-杂草识别方法，其特征在于：所述步骤三包括图像获取、摄像机标定、图像预处理与特征提取、立体匹配、三维信息恢复分步骤。

Images