CN108710840A - 一种农田喷药机器人视觉导航路径识别方法 - Google Patents

Abstract

本文公开一种基于机器视觉的稻田窄长路径识别方法,把单目摄像机实时采集到的稻田图像的RGB色彩空间转换成HSI色彩空间，并分析H、S、I三个通道图像的特征，对H通道图像进行阈值分割，获得道路的分割效果图，运用形态学方法对二值图像进行膨胀处理，并进行去噪，对去噪后的图像进行凸包变换后得到光滑、完整的路径区域，最后运用改进的Zhang并行细化算法提取路径区域的中心线。

Description

一种农田喷药机器人视觉导航路径识别方法

技术领域

本发明属于机器人智能移动机器人视觉系统领域，具体涉及的是一种针对室外智能作业移动机器人的路径识别方法。

背景技术

随着农业装备智能化的发展，越来越多智能化的农业装备被设计出以减轻劳动者的体力劳动。自主导航的稻田喷药机车具有取代人工喷药，避免人员药物中毒，高效的喷药效率，降低农业生产成本等特点。路径识别技术是实现喷药机器人自主导航的前提，复杂的稻田环境以及光照影响着机车的路径识别能力，而且为了提高农田作业效率，需要缩短喷药机器人的路径识别算法时间，满足实时性的要求。

文献《基于最小二乘法的温室番茄垄间视觉导航路径检测》(王新忠，韩旭，毛罕平等. 农业机械学报，2012，43(6):161-166)提出了一种识别加热管区域的方法检测到航线。作者把图像转化为HSI颜色空间，对I采用Otsu法进行分割，再通过边缘检测得到感兴趣区域的离散点点簇，最后运用最小二乘法成功拟合番茄行线，虽然其检测精度达到要求，但光照影响严重，鲁棒性，并且此方法很难满足实时性作业要求。文献《水田除草机器人视觉导航路径与参数获取方法研究》(黄小刚.华南理工大学，2012)提出了一种水田除草机器人秧苗识别算法，该方法根据秧苗的S分量具有明显的特性，在HSI颜色空间中分离出目标区域。然后采用K-means算法对秧苗特征进行分析，利用窗口统计法提取出秧苗的特征点，然后进行聚类分析，最后通过Hough变换法拟合水稻秧苗特征点，得到导航中心线。该方法计算出的偏角和横向偏差分别是1.1°、4.1mm，每张图像的计算速度为20fps，该实验仅在室内条件模拟完成，并没有在田间进行测试，由于田间路径比较窄长，此方法计算出的偏角很难满足稻田环境要求。

目前路径识别研究方法主要通过对采集到的RGB图像进行颜色空间转换，对新的色彩空间特征明显的单通道图像进行二值化处理，采用不同的分割方式进行路径分割，然后进行形态学处理，对处理后的图像进行边缘提取，计算中心离散点，最后运用最小二乘法或者Hough变换拟合出导航路径。由于摄像头采集到的是RGB图像，但由于RGB颜色空间的R、G、B三个通道图像均受光照影响，鲁棒性极差，因而不能直接使用RGB颜色空间。对于图像分割，此步骤处理结果的好坏直接影响最终路径结果。通过分析图像特征，以及阈值分割算法本身简单、高效，利于缩短算法运行时间，满足实时性要求。最终采用凸包运算，并直接对其进行细化处理提取路径，省去了传统算法中边缘提取、中心点计算等步骤的运行时间，缩短了本方法的整体运行时间。

发明内容

本发明的目的是为了降低室外光照对喷药机器人采集图像的影响，保证在复杂的稻田环境中能够实时采集到可识别路径的图像，提高系统的鲁棒性；采用凸包运算并直接对其进行细化处理，直接获得导航路径，减少算法步骤，降低算法的耗时，满足喷药机器人实时作业要求。

由此本发明的技术方案为：车载单目摄像头实时采集稻田图像，将稻田图像从RGB颜色空间转换成HSI颜色空间，并分析H、S、I三个通道图像特征；

进一步，对H通道图像进行阈值分割处理，选择H通道图像中窄小的路径区域的灰度特征进行分割，获得路径区域的分割效果图。

进一步，对分割后的效果图像进行膨胀处理，采用形态学方法，通过选取区域面积、宽度等特征进行去噪。

进一步，对去噪处理后的图像进行凸包运算处理，有效去除区域边缘突出点，填充路径区域。

进一步，对经过凸包运算处理后的路径区域，运用改进的并行细化算法进行处理，获取一条导航路径信息。

具体包括以下步骤：

1)车载单目摄像头实时采集稻田图像,将稻田图像从RGB颜色空间转换HSI颜色空间, 并分析H、S、I三个通道图像特征；2)对其中的H通道图像进行阈值分割处理，选择图像中窄长的路径区域的灰度特征进行分割，获得路径区域的分割效果图；3)对分割效果图像进行膨胀处理，采用形态学方法，通过选取区域的面积、宽度等特征进行去噪，用红色表示得到的路径区域；4)对去噪后的图像进行凸包变换得到光滑的中心路径区域；5)对经过凸包变换后的路径区域，运用改进的并行细化算法进行处理，提取出导航路径。

进一步，步骤5)中，改进的并行细化算法步骤如下：

5.1)标记满足条件的黑色像素点P；

5.2)判断P点是否为线的两端，如果点P满足要求，则表示点P不是端点，进行步骤5.3)；否则保留点P，返回步骤5.1)，进行下一个P点的判断，该步算法公式是：

P₁×P₂×P₈≠1

P₄×P₅×P₆≠1

式中：P₁、P₂、P₄、P₅、P₆和P₈为P的领域像素点的值；

5.3)删除P点，如果P点满足下式，则删除P点，该步算法公式是：

P₁×P₅×P₇＝0

P₃×P₅×P₇＝0

式中：P₁、P₃、P₅和P₇为P的领域像素点的值；

5.4)重复步骤5.1)、5.2)、5.3)，直到不再删除任何一个像素为止。

进一步，步骤5.1)的算法公式为：

3≤B(P)≤6

X_R(P)＝2

P₁×P₃×P₅＝0

P₁×P₃×P₇＝0

式中：B(p)表示P的非零的邻数，X_R(p)表示P的交叉数，P₁、P₃、P₅和P₇分别为 P的领域的像素数；

P的非零的邻数B(p)：

B(p)＝p₁+p₂+…+p₈

式中：P_n(n＝1,2,3,…,8)为P的领域像素点的值；

P的交叉数X_R(p)：

其中p₉＝p₁。

进一步，步骤1)中，将原始图像的RGB颜色空间转换到HSI颜色空间的转换公式是：

其中：H∈[0,2π],I∈[0,1],R、G、B分别表示RGB颜色空间的三个颜色分量，其中R表示红色分量，G表示绿色分量，B表示蓝色分量；H、S、I分别表示HSI颜色空间的三个颜色分量，其中H表示色调分量，S表示饱和度分量，I表示亮度分量；M1和 M2为中间变量。

进一步，步骤3)中，对分割后的效果图像进行膨胀处理，针对窄长的稻田路径容易被中后期以及成熟期水稻的稻叶和稻穗遮挡，而导致路径区域不连通，这里采用10×50的细长矩形结构元素进行膨胀处理，可以有效保持路径区域的连通性。

进一步，步骤4)中，不采用传统的边缘提取算法提取路径边缘信息，而是对去噪后的图像直接进行凸包变换，对整体路径区域进行处理提取导航路径。

本方案的优点是：

1)将采集到的RGB图像颜色空间转换成HSI颜色空间,并提取H分量进行后续图像处理,降低光照对路径分割的影响,保证在室外复杂的光照环境下准确识别出路径区域。

2)使用10×50的细长矩形结构元素膨胀的方法，可以有效的避免覆盖在路径上的稻叶、稻穗对路径提取造成的影响，有效的避免路径中断，提高路径的连通性，为提取导航路径提供便利。

3)不采用传统的边缘提取算法提取路径边缘信息，而是对去噪后的图像直接进行凸包变换，对整体路径区域进行处理提取导航路径。

4)与传统的路径识别算法相比，本发明对凸包变换后的路径区域直接运用改进的并行细化算法提取路径，简化了算法步骤，降低了算法运行时间，对于多垄行窄长的作物田，分割出的多块路径区域也可以运用本算法提取多行路径，提高了系统的鲁棒性，本发明适用性更加广阔。

附图说明

图1为农田喷药机器人路径识别方法流程图。

图2为HSI颜色空间的H、S、I三个通道图。其中图2A为H通道图像；图2B为S 通道图像；图2C为I通道图像。

图3为H通道阈值分割效果图。

图4为路径区域膨胀效果图。

图5为形态学去噪效果图。

图6为凸包处理后的效果图。

图7为细化处理后的路径效果图。

具体实施方式

如图1所示，农田喷药机器人路径识别方法流程图。以高地隙自转向无人喷药机车作为平台，将单目摄像头安装在车头中间位置，摄像机距离大地高度为2.5m，俯视角为30°。图像通过型号为DH-IPC-HFW1025B的摄像机实时采集稻田图像，分辨率为960*720像素。图像采集、处理使用的是Halcon软件。

如图2所示，图像转换成HSI颜色空间的三个通道图像效果图。由于田间拍摄的图像易受光照影响，采集到的图像不能直接进行阈值分割。因此需要选取合适的颜色空间对颜色进行描述，来减少噪声干扰。通过使用Halcon封装好的trans_from_rgb算子直接将原始图像从RGB颜色空间转换成HSI颜色空间，转换公式为式(1)和式(2)所示：

其中：H∈[0,2π],I∈[0,1]。

如图3所示，H通道阈值分割效果图。图像分割是识别路径的重要步骤，它的目标就是把感兴趣区域提取出来。基于阈值分割的方法是通过设定不同的特征阈值，把图像像素点分成若干类。因其压缩了极大的数据量而使计算量大大减小并且简化了分析和处理步骤，因而性能更加稳定。针对田间图像的特点以及考虑到实时性的问题，本方法最终选择阈值分割。阈值分割方法最关键的是确定合适的阈值。通过分析HSI三个通道图像的灰度直方图，发现H通道中的感兴趣区域阈值特征最明显。运用threshold算子，阈值选择区间为 85到255。

如图4所示，路径区域膨胀效果图。为了解决稻田里的路径窄长难以提取以及水稻遮挡路径导致识别出的路径区域不连通等问题。为了方便后续路径的提取，对分割出的路径进行膨胀处理。本文采用10×50矩形结构元素膨胀区域，膨胀后的路径连通区域。

如图5所示，形态学去噪效果图。由于阈值分割带有一些噪声，而这些噪声会影响到后续的处理。通过观察发现通过膨胀处理后的路径区域面积远大于噪声点的面积，为了提高系统的鲁棒性，通过设定区域面积及宽度等特征的阈值方式对路径进行提取，而面积、宽度等小于设定阈值的噪声点不会被提取出来。

如图6所示，凸包处理后的效果图。由于需要提取的导航路径在区域的中间部分，直接取去噪后的路径区域的凸包。运用Halcon里的shape_trans算子，选择‘convex’特征因子进行转换。

如图7所示，并行细化处理后的导航路径效果图。由于稻田中路径比较窄小，而且稻田不同时期的路径特征不同，早中期水稻等植株比较小无法覆盖路径，而且秧苗之间有空隙可视为有效路径。而中后期、成熟期作物相比早期植株要高大许多，相邻作物行之间的窄长路径都被覆盖而无法识别，田间只有垄间相对宽的路径可以被识别。而用传统的提取区域边缘，计算中心离散点，运用hough变换或者最小二乘法进行直线拟合算法在稻苗早中期不能很好适用。而直接运用并行细化算法对单连通路径区域进行处理，可以有效提取出对应路径区域的导航路径。改进的并行细化算法分以下三步迭代进行处理：

1)标记满足条件的黑色像素点P；第一步算法公式：

3≤B(P)≤6

X_R(P)＝2

P₁×P₃×P₅＝0

P₁×P₃×P₇＝0

P的非零的邻数：B(p)＝p₁+p₂+…+p₈

P的交叉数：其中p₉＝p₁

2)判断P点是否为线的两端。如果点P满足公式(8)，则表示点P不是端点，进行步骤3；否则保留点P，返回步骤1，进行下一个P点的判断。

P₁×P₂×P₈≠1

P₄×P₅×P₆≠1

3)删除P点。如果被标记的点P满足算法要求时，点P将直接被删除；第三步算法公式：

P₁×P₅×P₇＝0

P₃×P₅×P₇＝0

综上，本发明的一种基于机器视觉的稻田窄长路径识别方法,把单目摄像机实时采集到的稻田图像的RGB色彩空间转换成HSI色彩空间，并分析H、S、I三个通道图像的特征，对H通道图像进行阈值分割，获得道路的分割效果图，运用形态学方法对二值图像进行膨胀处理，并进行去噪，对去噪后的图像进行凸包变换后得到光滑、完整的路径区域，最后运用改进的Zhang并行细化算法提取路径区域的中心线。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (6)

1.一种农田喷药机器人视觉导航路径识别方法，其特征是，包括以下步骤：

1)车载单目摄像头实时采集稻田图像,将稻田图像从RGB颜色空间转换HSI颜色空间,并分析H、S、I三个通道图像特征；2)对其中的H通道图像进行阈值分割处理，选择图像中窄长的路径区域的灰度特征进行分割，获得路径区域的分割效果图；3)对分割效果图像进行膨胀处理，采用形态学方法，通过选取区域的面积、宽度等特征进行去噪，用红色表示得到的路径区域；4)对去噪后的图像进行凸包变换得到光滑的中心路径区域；5)对经过凸包变换后的路径区域，运用改进的并行细化算法进行处理，提取出导航路径。

2.根据权利要求1所述的一种农田喷药机器人视觉导航路径识别方法，其特征在于,步骤5)中，改进的并行细化算法步骤如下：

5.1)标记满足条件的黑色像素点P；

5.2)判断P点是否为线的两端，如果点P满足要求，则表示点P不是端点，进行步骤5.3)；否则保留点P，返回步骤5.1)，进行下一个P点的判断，该步算法公式是：

P₁×P₂×P₈≠1

P₄×P₅×P₆≠1

式中：P₁、P₂、P₄、P₅、P₆和P₈为P的领域像素点的值；

5.3)删除P点，如果P点满足下式，则删除P点，该步算法公式是：

P₁×P₅×P₇＝0

P₃×P₅×P₇＝0

式中：P₁、P₃、P₅和P₇为P的领域像素点的值；

5.4)重复步骤5.1)、5.2)、5.3)，直到不再删除任何一个像素为止。

3.根据权利要求1所述的一种农田喷药机器人视觉导航路径识别方法，其特征在于，步骤5.1)的算法公式为：

3≤B(P)≤6

X_R(P)＝2

P₁×P₃×P₅＝0

P₁×P₃×P₇＝0

式中：B(p)表示P的非零的邻数，X_R(p)表示P的交叉数，P₁、P₃、P₅和P₇分别为P的领域的像素数；

P的非零的邻数B(p)：

B(p)＝p₁+p₂+…+p₈

式中：P_n(n＝1,2,3,…,8)为P的领域像素点的值；

P的交叉数X_R(p)：

其中p₉＝p₁。

4.根据权利要求1所述的一种农田喷药机器人视觉导航路径识别方法，其特征在于，步骤1)中，将原始图像的RGB颜色空间转换到HSI颜色空间的转换公式是：

其中：H∈[0,2π],I∈[0,1],R、G、B分别表示RGB颜色空间的三个颜色分量，其中R表示红色分量，G表示绿色分量，B表示蓝色分量；H、S、I分别表示HSI颜色空间的三个颜色分量，其中H表示色调分量，S表示饱和度分量，I表示亮度分量；M1和M2为中间变量。

5.根据权利要求1所述的一种农田喷药机器人视觉导航路径识别方法，其特征在于，步骤3)中，对分割后的效果图像进行膨胀处理，针对窄长的稻田路径容易被中后期以及成熟期水稻的稻叶和稻穗遮挡，而导致路径区域不连通，这里采用10×50的细长矩形结构元素进行膨胀处理，可以有效保持路径区域的连通性。

6.根据权利要求1所述的一种农田喷药机器人视觉导航路径识别方法，其特征在于，步骤4)中，不采用传统的边缘提取算法提取路径边缘信息，而是对去噪后的图像直接进行凸包变换，对整体路径区域进行处理提取导航路径。