CN103530606A - 一种杂草环境下的农机导航路径提取方法 - Google Patents

Abstract

一种杂草环境下的农机导航路径线提取方法，包括采集作物图像,根据所述采集到的图像确定兴趣区，将兴趣区转换为二值图像;将所述二值图像分为若干水平条带进行处理；每个条带内的像素值进行垂直投影，将得到若干投影曲线，对所有投影曲线进行二值化处理，确定动态兴趣区，根据动态兴趣区内的高值位置提取所有条带内的特征点，将所有特征点利用最小二乘法拟合，得到导航路径。解决了在杂草较多的环境下农机导航线提取可靠性差等缺点。

Description

一种杂草环境下的农机导航路径提取方法

技术领域

本发明涉及一种图像处理技术，特别涉及一种杂草环境下的农机导航路径提取方法。

背景技术

随着传感器性价比的提高，以机器视觉和卫星定位为核心的农机自动导航技术日益成为研究的热点。导航技术广泛应用于各种农业作业（如除草、播种、收获等作业）过程中。导航功能直接影响农业机械的效率、可靠性和稳定性。农业导航技术难度较大，按种类来分有GPS导航、惯性导航及机器视觉导航等方式。由于机器视觉导航方式具有信号探测范围广、信息完整等优点，随着电子技术的快速发展，取得了较广泛的应用。

农业机械的机器视觉导航功能包括路径规划、避障与探测定位，它主要依赖于计算机在一定先验知识的指导下对图像进行有效的加工和分析，从而对农田景物场景以正确解释，为导航过程提供信息来源。多个不同功能的图像处理单元就可以集成为一个解决一定问题或实现一定功能的视觉导航系统，使田间作业的农业机械能够准确地沿着作物的行、列或其它标志物行走，并且能识别工作的对象。

在农田复杂的自然场景中，图像分割往往因光照、阴影等噪声困扰而变得十分困难，无法取得较为满意、稳定的图像分割效果。农田中早期农作物，植株相对矮小，整齐的按行种植，行与行之间基本平行。同时，农作物一般呈绿色，作物行在整体上呈现直线形状或者小曲率曲线，作物行连续，检测到的导航特征在短时间隔内不会发生突变,人们常常提取图像中的作物行作为导航线。

目前，国内外有许多关于作物行直线提取的研究报道，例如：国内本领域技术人员研究了自然环境下作物图像，采用霍夫变换（Hough Transform）的方法，提取作物行直线作为导航线。霍夫变换算法鲁棒性好，稳定可靠，但缺点是非常耗时，难以保证实时性要求。有研究人员利用最小二乘法提取导航线，用最小二乘法能够快速检测出作物行，但当图像噪声较大时，检测的结果有较大的误差，同时，当图像中包含多行作物时候，不能直接采用最小二乘法进行直线提取。

国内外研究基于机器视觉的文献较多。在研究初期，研究人员较少考虑杂草的影响。随着研究的深入，部分国内外研究开始考虑视觉导航中杂草的影响。如M.Montalvo等利用模式识别技术避免农机导航中杂草的影响；Xavier等对视频中多幅图像采用“与”的方式消除杂草；赵博等提出了一种基于BP神经网络杂草环境下导航路径识别方法；张志斌等提出了基于良序集和垄行结构的农机视觉导航参数提取算法。由于导航环境的复杂性，杂草环境下导航技术还存在多种弱点，例如M.Montalvo等提出的模式识别技术在实际应用中对作物行的直线性要求较高、可靠性较差；采用多幅图像“与”的方法处理速度慢，难以满足农机导航实时性要求。

由于大田作物一般行与行位置平行，因此在机器视觉导航时，可根据某一特定行的作物进行直线提取。在采集到的农田场景图像中除导航特征以外的信息是无效信息,不但浪费了大量的处理时间,而且增加了场景的复杂程度,还可能产生对场景中其它直线特征的误检。通过设置兴趣区ROI(Region Of Interest)实现选择注意机制,只对兴趣区ROI中的图像进行处理,可以大大减少图像处理的工作量,降低场景的复杂性,突出导航特征。

杂草的颜色和玉米等作物的颜色类似，将土壤、杂草等背景和作物进行分割，是提取作物行直线的基础。本发明提出了一种杂草环境下的农机导航路径提取方法。

本发明提出的一种杂草环境下的农机导航路径提取方法将图像的兴趣区划分成多个水平条带，对水平条带内识别出的植物（包含作物和杂草）进行垂直投影，进而提取特征点，最终提取导航路径。Torri、姜国权等都曾将图像分成多个水平条带，进而获取特征点、提取导航线，但较少考虑杂草的影响。李茗萱等也曾将图像分割为水平条带，并对植物（作物、杂草）进行投影，根据投影的宽度识别作物和杂草。实际导航应用中，杂草和作物难以通过简单的投影宽度进行准确区分。本发明的内容和上述方法具有明显不同。

发明内容

本发明提供一种用于杂草环境下农机导航路径提取方法，利用该方法能够较好地提高导航路径的提取速度、减少杂草影响，提高导航路径提取的可靠性，解决农机导航路径提取实时性差、可靠性低等问题。

为实现上述目的，本发明的提供了一种杂草环境下的农机导航路径提取方法，包括：

采集作物图像,使特定作物行与水平方向呈70～85度；

根据所采集到的图像确定兴趣区；

将兴趣区转换为二值图像;

将所述二值图像分为若干水平条带进行处理；

每个条带内的像素值进行垂直投影，将得到若干投影曲线，对所有投影曲线进行二值化处理；其特征在于：

根据作物行的位置确定动态兴趣区；

根据动态兴趣区内的高值位置提取所有条带内的特征点；

将所有特征点利用最小二乘法拟合，得到导航路径。

其中，所述兴趣区确定方法为：兴趣区为包含特定作物行的矩形，其中矩形上下两边为采集作物图像上下边缘的一部分，矩形上下两边宽度为采集作物图像上部特定作物行及与其相邻的两个作物行间宽度之和。

其中所述的将所述二值图像分为若干水平条带进行处理为根据作物在图像内的高度确定条带的高度，取特定作物行在图像中部的作物高度作为作物在图像内的高度，作物高度的一半作为条带的宽度。

将对所有投影曲线进行二值化处理的方法为：将投影曲线值低于条带高度一半的转换为低值，否则转换为高值。

根据作物行下端的位置确定动态兴趣区的方法为：将图像最底端的条带内，将宽度最大的高值中心的横坐标作为横坐标，对应在图像下边缘处找到一点，为左下边缘点；沿该点向右移动作物宽度的距离，得到另外一点，作为右下边缘点；沿右下边缘点垂直向上，相交图像上边缘一点，作为右上边缘点；兴趣区矩形的左上角点为左上边缘点，连接上述4个边缘点得到动态兴趣区；

根据动态兴趣区内的高值位置提取所有条带内的特征点的方法为，图像最底端的条带内，宽度最大的高值中心的横坐标为横坐标，该条带中心处的纵坐标为纵坐标，所述横坐标和纵坐标确定为最底端条带的特征点；依次向上检测下一条带的特征点，将动态兴趣区内左右各一个作物宽度范围内的所有高值中心的横坐标的平均值，作为该条带内特征点的横坐标，该条带中心处的纵坐标为该条带内特征点的纵坐标，如果在下一条带内，高值中心横坐标位于左右各一个作物宽度范围之外，则按一定的指数判断其是否为杂草

该方法具有可靠、实时性好等优点。

附图说明

图1为根据本发明的用于杂草环境下农机导航路径提取方法流程图；

图2为根据本发明的采集到的图像示意图；

图3为根据本发明的兴趣区二值图像的示意图；

图4为根据本发明的条带分割及投影曲线示意图；

图5为根据本发明的动态兴趣区示意图；

图6为根据本发明的提取特征点示意图；

图7为根据本发明的导航路径提取示意图。

具体实施方式

下面通过附图和实施例，对本发明实施例的技术方案做进一步的详细描述。

本发明所有提供的一种杂草环境下的农机导航路径提取方法，主要是针对在自然条件下，实现对农机导航路径的的快速可靠提取，以下各实施例选择以含有杂草的玉米图像为例。

图1为根据本发明的用于杂草环境下农机导航路径提取方法，包括如下步骤：

第一步：采集作物图像。调整安装于除草机具上摄像头的高度和角度，使图像中某一行作物与水平方向呈70～85角度。对该行作物进行导航线提取，以下称该行作物为特定作物行。

第二步：根据所采集到的图像确定兴趣区。兴趣区为包含特定作物行的矩形，其中矩形上下两边为图像上下边缘的一部分，矩形上下两边宽度为图像上部特定作物行及与其相邻的两个作物行间宽度之和。

第三步：将兴趣区转换为二值图像。对兴趣区内的图像按如下方法进行转换：

I_gray(i,j)=G_nor(i,j)*2-R_nor(i,j)-B_nor(i,j)   （1）

其中i、j为像素的行列坐标，G_nor(i,j)、R_nor(i,j)和B_nor(i,j)分别由下式确定：

G_nor(i,j)=G_N(i,j)/(G_N(i,j)+R_N(i,j)+B_N(i,j))

R_nor(i,j)=R_N(i,j)/(G_N(i,j)+R_N(i,j)+B_N(i,j))   (2)

B_nor(i,j)=B_N(i,j)/(G_N(i,j)+R_N(i,j)+B_N(i,j))

其中

G_N(i,j)=G(i,j)/G_max

R_N(i,j)=R(i,j)/R_max   (3)

B_N(i,j)=B(i,j)/B_max

其中G(i,j)、R(i,j)、B(i,j)分别为采集到的原图像(i,j)处像素G、R、B颜色分量的灰度值;G_max、R_max和B_max分别G、R、B颜色分量灰度图像中最大灰度值。

经上述转换，兴趣区转换为灰度图像，将此灰度图像转换为二值图像，利用最大类间差法（OTSU法）确定转换阈值。

所述的二值图像，白色像素点（灰度值为1）为玉米，黑色像素点（灰度值为0）为背景。用边长为5像素的正方形结构元素对二值图像进行开运算，消除二值图像面积微小的白色区域。

第四步：将所述二值图像分为若干水平条带进行处理。将所述二值图像分为若干水平条带进行处理，根据作物在图像内的高度确定条带的高度。作物在图像内上下左右位置不同，高度不同，取特定作物行在图像中部的作物高度作为作物在图像内的高度Height；取特定作物行在图像中部的作物高宽度（包含叶片）的1/5～1/6作为作物在图像内的宽度Width。将Height/2作为水平条带的宽度，将二值图像分为若干个水平条带，不妨分为n个水平条带，然后对每个单独的条带进行检测。

第五步：每个条带内的像素值进行垂直投影，将得到若干投影曲线，对所有投影曲线进行二值化处理。对每个条带内的像素值进行垂直投影，将得到n条投影曲线，其中每条投影曲线的最大值为Height/2,最小值为0。

对n条投影曲线进行进一步变换，投影曲线值小于等于Height/4时曲线值为0，否则曲线值为Height/2，形成只有高低两值的方波投影曲线。

第六步：根据作物行下端的位置确定动态兴趣区。检测特定作物行的下端：图像最底端的条带内，宽度最大的高值（波峰）处默认为作物行的下端。

将图像最底端的条带内，宽度最大的高值（波峰）的中心的横坐标i_bot作为横坐标，向图像下边缘引垂线，垂线与下边缘相交点为左下边缘点；沿该点向右移动Width/2的距离，得到另外一点，作为右下边缘点；沿右下边缘点垂直向上，相交图像上边缘一点，作为右上边缘点；兴趣区矩形的左上角点为左上边缘点，连接上述4个边缘点得到一个梯形的区域，该区域在算法处理过程中，根据每帧图像作物位置不同动态变化，定义其为动态兴趣区。

作物可能存在缺苗的情况，因此，图像最底端的条带内的投影曲线有可能没有高值（波峰），在这种情况下，检测兴趣区内最大面积的白色区域，可得到其形心横坐标i_centroid,将（i_centroid+Width/2）作为横坐标，在图像下边缘处找到一点，为左下边缘点；沿该点向右移动Width/2的距离，得到另外一点，作为右下边缘点；沿右下边缘点垂直向上，相交图像上边缘一点，作为右上边缘点；兴趣区矩形的左上角点为左上边缘点，连接上述4个边缘点得到动态兴趣区。

第六步：根据动态兴趣区内的高值位置提取所有条带内的特征点。忽略动态兴趣区外的投影曲线信息，根据动态兴趣区内投影曲线高值确定特征点，每条带内取一个特征点。具体方法为：

图像最底端的条带内，宽度最大的高值（波峰）处默认为作物行的下端，宽度最大的高值中心的横坐标i_bot为横坐标，该条带中心处的纵坐标为纵坐标，确定为最下端的特征点；

如存在缺苗情况，即最底端的条带内投影曲线无高值，取下端第二个条带内宽度最大的高值中心的横坐标i_bot为横坐标，该条带中心处的纵坐标为纵坐标，确定为最下端的特征点，依次类推；

在动态兴趣区内，向上检测上一个条带内的特征点。在上一条带内，将所有高值中心横坐标在（i_bot±Width）范围内的高值中心横坐标取均值，作为该条带内特征点的横坐标，该条带中心处的纵坐标为纵坐标，确定为下端第二个条带内的特征点；如果在上一条带内，有高值中心横坐标在（i_bot±Width）范围之外，按下式对其是否为作物进行判断：

$I_{\mathrm{crop}}=\frac{W_h}{W_h+\mathrm{Width}}(1-\frac{1}{2^n})---\left(4\right)$

其中W_h为该高值的宽度，n为该高值上方左右±Width范围内，存在连续高值的数量；

若I_crop高于一定阈值，则按上述高值中心横坐标在（i_bot±Width）范围内的高值同样处理，否则忽略该高值。

依次类推，得到所有条带内的特征点。

第七步：得到的所有特征点进行最小二乘法拟合，得到最终的导航路径。

图2为根据本发明的图像示意图。该图中中间一行作物与水平方向呈约80度，且图像顶部作物行间宽度大于等于作物行宽度。对该行作物进行导航线提取，该行作物为特定作物行。

图3为根据本发明的兴趣区转换为二值图像示意图。兴趣区为包含特定作物行的矩形，其中矩形上下两边为图像上下边缘的一部分，矩形上下两边宽度为图像上部特定作物行（图3中间行作物）及与其相邻的两个作物行间宽度之和。

图3的兴趣区内，白色像素点（灰度值为1）为植物（玉米或杂草），黑色像素点（灰度值为0）为背景。用边长为5像素的正方形结构元素对二值图像进行开运算，消除二值图像面积微小的白色区域。

将所述二值图像分为若干水平条带进行处理，根据单株作物在图像内的高度确定条带的高度。作物在图像内上下左右位置不同，高度不同，取特定作物行在图像中部的作物高度作为作物在图像内的高度Height，本实施例中Height=60像素；取特定作物行在图像中部的作物高宽度（包含叶片）的1/5～1/6作为作物在图像内的宽度Width，本实施例中Width=50像素。将30作为水平条带的宽度，将二值图像分为16个水平条带，然后对每个单独的条带进行检测。

对每个条带内的像素值进行垂直投影，将得到16条投影曲线，其中每条投影曲线的最大值为30，最小值为0。

对16条投影曲线进行进一步变换，投影曲线值小于等于15时曲线值为0，否则曲线值为30，形成只有高低两值（30和0）的方波投影曲线，如图4所示。

检测特定作物行的下端：图4中最底端的条带内，宽度最大的高值（波峰）处默认为作物行的下端。

图5中，将图像最底端的条带内，宽度最大的高值（波峰）的中心的横坐标i_bot作为横坐标，在图像下边缘处找到一点，为左下边缘点；沿该点向右移动Width/2的距离，得到另外一点，作为右下边缘点；沿右下边缘点垂直向上，相交图像上边缘一点，作为右上边缘点；兴趣区矩形的左上角点为左上边缘点，连接上述4个边缘点得到一个梯形的区域，该区域为动态兴趣区，如图5中黄色线所包围区域。

在图6中，图像最底端的条带内，只有一个高值（也是该条带内宽度最大的高值），以该高值中心的横坐标i_bot为横坐标，该条带中心处的纵坐标为纵坐标，确定为最下端的特征点，如图6中的A点；

在动态兴趣区内，向上检测上一个条带内的特征点。在上一条带内，将所有高值中心横坐标在（i_bot±Width）范围内的高值中心横坐标取均值，图6的动态兴趣区中，底端第二个条带内共有两个高值，取两个高值中心横坐标的均值作为该条带内特征点的横坐标，该条带中心处的纵坐标为纵坐标，确定为下端第二个条带内的特征点，如图6所示；如果在该带内，有高值中心横坐标在（i_bot±Width）范围之外，则按照公式4进行计算，本实施例中，取阈值为0.6。

依次类推，得到所有条带内的特征点，如图6中点P所示。

对图6中得到的所有特征点进行最小二乘法拟合，得到最终的导航路径，如图7所示，图7中直线L为最终导航路径。

最后应说明的是：以上实施例仅用以说明本发明实施例的技术方案而非对其进行限制，尽管参照较佳实施例对本发明实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明实施例的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明实施例技术方案的精神和范围。

Claims (6)

1.一种杂草环境下的农机导航路径提取方法，包括：

采集作物图像,使特定作物行与水平方向呈70～85度；

根据所采集到的图像确定兴趣区；

将兴趣区转换为二值图像;

将所述二值图像分为若干水平条带进行处理；

每个条带内的像素值进行垂直投影，将得到若干投影曲线，对所有投影曲线进行二值化处理；其特征在于：

根据作物行的位置确定动态兴趣区；

根据动态兴趣区内的高值位置提取所有条带内的特征点；

将所有特征点利用最小二乘法拟合，得到导航路径。

2.根据权利要求1所述的导航路径提取方法，其中，所述兴趣区确定方法为：兴趣区为包含特定作物行的矩形，其中矩形上下两边为采集作物图像上下边缘的一部分，矩形上下两边宽度为采集作物图像上部特定作物行及与其相邻的两个作物行间宽度之和。

3.根据权利要求1所述的导航路径提取方法，其中，将所述二值图像分为若干水平条带进行处理的方法为，根据作物在图像内的高度确定条带的高度，取特定作物行在图像中部的作物高度作为作物在图像内的高度，作物高度的一半作为条带的宽度。

4.根据权利要求1所述的导航路径提取方法，其中，对所有投影曲线进行二值化处理的方法为，将投影曲线值低于条带高度一半的转换为低值，否则转换为高值。

5.根据权利要求1所述的导航路径提取方法，其中，根据作物行下端的位置确定动态兴趣区包括将图像最底端的条带内，将宽度最大的高值中心的横坐标作为横坐标，对应在图像下边缘处找到一点，为左下边缘点；沿该点向右移动作物宽度的距离，得到另外一点，作为右下边缘点；沿右下边缘点垂直向上，相交图像上边缘一点，作为右上边缘点；兴趣区矩形的左上角点为左上边缘点，连接上述4个边缘点得到动态兴趣区。

6.根据权利要求1所述的导航路径提取方法，其中，根据动态兴趣区内的高值位置提取所有条带内的特征点包括：图像最底端的条带内，宽度最大的高值中心的横坐标为横坐标，该条带中心处的纵坐标为纵坐标，所述横坐标和纵坐标确定为最底端条带的特征点；依次向上检测下一条带的特征点，将动态兴趣区内左右各一个作物宽度范围内的所有高值中心的横坐标的平均值，作为该条带内特征点的横坐标，该条带中心处的纵坐标为该条带内特征点的纵坐标，如果在下一条带内，高值中心横坐标位于左右各一个作物宽度范围之外，则按一定的指数判断其是否为杂草。

Images