CN109711279B - 一种用于农业环境的障碍物检测方法 - Google Patents

Abstract

本发明公开了一种用于农业环境的障碍物检测方法。该方法为：使用双目相机获取左目图像为RGB图像、右目图像为灰度图像的双目图像；将左目图像进行高斯滤波去除噪声，然后分为若干个16*16单元，计算每个单元的颜色信息平均值和方差，输入神经网络，得到一幅关于左图像的显著性图像；将关于左图像的显著性图像进行灰度化，并在显著性区域提取特征点，得到带有特征点的灰度显著性图像；将右目图像进行高斯滤波去除噪声；将左右两幅灰度图像进行特征点匹配，根据匹配到的特征点信息计算其视差信息；通过特征点在图像中的坐标和视差信息，得到该点的三维坐标，判断该点所在图像单元是否包含障碍物。本发明提高了障碍物检测的实时性和可靠性。

Description

一种用于农业环境的障碍物检测方法

技术领域

本发明涉及障碍检测技术领域，特别是一种用于农业环境的障碍物检测方法。

背景技术

为了解决农业环境下的障碍检测问题，研究人员提出了不同的解决方案。首先传感器选择方面可将用于检测障碍的传感器分为主动传感器和被动传感器。主动传感器主动获取外界信息，如激光雷达，超声波；被动传感器主要是视觉传感器，如摄像头等。将主动传感器和视觉传感器结合来检测障碍物能够取得较好的效果，但是主动传感器价格昂贵，所以采用视觉传感器，更适用于农业生产的障碍物检测问题。

基于视觉的障碍检测方法分为单目视觉方法和立体视觉方法。单目视觉方法通过提取纹理、颜色、形状等信息来获取障碍物信息，这种方法的优点是时间复杂度低、实时性好，缺点为识别障碍物及其位置的准确性较低。立体视觉可以获取场景深度信息，但是由于图像匹配数据集量大，计算耗时对上位机要求要较高，该方法的实时性与普适性较差。

发明内容

本发明目的在于提供一种可靠性高、实时性强的用于农业环境的障碍物检测方法。

实现本发明目的的技术解决方案为：一种用于农业环境的障碍物检测方法，包括以下步骤：

步骤1、使用双目相机获取左目图像为RGB图像、右目图像为灰度图像的双目图像；

步骤2、将左目图像进行高斯滤波去除噪声；

步骤3、将去噪后的左目图像分为多个16*16单元，计算每个单元的颜色信息平均值和方差，作为神经网络的输入，神经网络的输出为0或1，0和1分别表示图像单元不包含障碍物和图像单元包含障碍物，得到一幅关于左目图像的显著性图像；

步骤4、将关于左目图像的显著性图像进行灰度化，并在显著性区域使用改进的FAST角点检测算法提取特征点，得到带有特征点的灰度显著性图像；

步骤5、将右目图像进行高斯滤波去除噪声；

步骤6、将左目、右目两幅灰度图像进行特征点匹配，根据匹配到的特征点信息计算其视差信息；

步骤7、通过特征点在图像中的坐标和视差信息，得到该点的三维坐标，判断该点所在图像单元是否包含障碍物。

进一步地，步骤3中所述的神经网络的输入，具体为：图像单元Lab空间三个通道的颜色信息平均值和方差，共6个输入。

进一步地，步骤3中所述的神经网络，具体为：自适应神经网络的模糊推理系统，将一个6输入神经网络分解为两个3输入神经网络。

进一步地，步骤2和步骤5中所述的高斯滤波，具体为使用3*3高斯模板进行滤波。

进一步地，步骤6中所述的特征点匹配，具体如下：

根据最小汉明距离原则，将左目图的特征点在右目图对应区域进行匹配，汉明距离最小的一组点即为同名特征点；逐次进行同名特征点匹配，得到左目、右目两幅灰度图像的特征点信息。

本发明与现有方法技术相比，其显著优点在于：(1)将左目、右目两幅灰度图像进行特征点匹配，提高了检测的可靠性；(2)仅需匹配稀疏特征点，减少了立体匹配的时间，提高了障碍物检测的实时性。

附图说明

图1是本发明用于农业环境的障碍物检测方法的流程示意图。

图2是本发明中单幅图像显著性检测方法示意图。

图3是本发明实施例中神经网络的结构示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

结合图1～2，本发明一种用于农业环境的障碍物检测方法，包括以下步骤：

步骤1、使用双目相机获取左目图像为RGB图像、右目图像为灰度图像的双目图像；

步骤2、将左目图像进行高斯滤波去除噪声；

步骤3、将去噪后的左目图像分为若干个16*16单元，计算每个单元的颜色信息平均值和方差，作为神经网络的输入，神经网络的输出为0或1，0和1分别表示图像单元不包含障碍物和图像单元可能包含障碍物，得到一幅关于左目图像的显著性图像；单元大小也可以是8*8或32*32，优选16*16；

步骤4、将关于左目图像的显著性图像进行灰度化，并在显著性区域使用改进的FAST角点检测算法提取特征点，得到带有特征点的灰度显著性图像；

步骤5、将右目图像进行高斯滤波去除噪声；

步骤6、将左目、右目两幅灰度图像进行特征点匹配，根据匹配到的特征点信息计算其视差信息；

步骤7、通过特征点在图像中的坐标和视差信息，得到该点的三维坐标，判断该点所在图像单元是否包含障碍物。

进一步地，步骤3中所述的神经网络的输入，具体为图像单元Lab空间三个通道的颜色信息平均值和方差，共6个输入。

进一步地，步骤3中所述的神经网络，具体为：自适应神经网络的模糊推理系统，为了简化模糊规则，将一个6输入神经网络分解为两个3输入神经网络。

进一步地，步骤2和步骤5中所述的高斯滤波，具体为使用3*3高斯模板进行滤波。

进一步地，步骤6中所述的特征点匹配，具体如下：

根据最小汉明距离原则，将左目图的特征点在右目图对应区域进行匹配，汉明距离最小的一组点即为同名特征点；逐次进行同名特征点匹配，得到左目、右目两幅灰度图像的特征点信息。

实施例1

本发明用于农业环境的障碍物检测方法，包括以下步骤：

步骤1、使用双目相机获取左目图像为RGB图像、右目图像为灰度图像的双目图像；

步骤2、将左目图像进行高斯滤波去除噪声；具体如下：

使用3*3高斯模板进行滤波，模板如下：

步骤3、将去噪后的左图像分为若干个16*16单元，计算每个单元的颜色信息平均值和方差，作为神经网络的输入，神经网络的输出为0或1，分别表示图像单元不包含障碍物和图像单元包含障碍物，得到一幅关于左图像的显著性图像；具体如下：

图像单元大小为16*16，每个单元的特征为在Lab颜色空间提取的六维向量，

其中，L,a,b分别为Lab颜色空间的三个通道，μ表示平均值，σ表示方差。

所述的神经网络模型为自适应神经网络的模糊推理系统(Adaptive Network-based Fuzzy Inference System，ANFIS)，ANFIS将神经网络与模糊推理有机的结合起来，既发挥了二者的优点又弥补了各自的不足，该网络结构如图3。如果把六个特征输入至一个神经网络，每个输入模糊化为三个节点，则会在第三层产生3⁶＝729个规则，计算量过大，所以将一个六输入ANFIS神经网络分解为两个三输入ANFIS神经网络，针对每个网络输入模糊化为三个节点，每个网络在第三层产生3³＝27个规则，减少了计算量。

在得到图像单元标记了0和1的图像后，保留和其他显著性区域连通的显著图像单元，过滤孤立的显著图像单元。

步骤4、将关于左图像的显著性图像进行灰度化，并在显著性区域使用改进的FAST角点检测算法提取特征点，得到带有特征点的灰度显著性图像；具体如下：

特征提取方法使用FAST算法，在非极大值抑制环节为了减少光照变化的影响，故在特定区域内，只有V值最大的特征点才会被保留：

其中t为所设定的阈值；

步骤5、将右目图像进行高斯滤波去除噪声；

步骤6、将左右两幅灰度图像进行特征点匹配，根据匹配到的特征点信息计算其视差信息；具体如下：

特征点匹配采用汉明距离判断两个点是否为同名点。对于左图中的特征点ρ，根据以下规则，将以ρ为中心的半径等于3的像素，离散化为Bresenham圆边界上的16个像素，并标记为0,1，-1，标记规则如下：

每一个特征点可以生成一个由16个数字(0,1,-1)组成的序列，每一个特征点在右图对应区域里的每个点也可以以同样的方法生成16位数字序列，选择汉明距离最小的一组点即为同名特征点。

步骤7、通过特征点在图像中的坐标和视差信息，得到该点的三维坐标，判断该点所在图像单元是否包含障碍物，具体如下：

同名点在左右图像中的位置差即为视差，通过特征点的位置和视差可以得到该点的三维信息，由此判断特征点所在区域是否为障碍物。

综上所述，本发明将左目、右目两幅灰度图像进行特征点匹配，提高了检测的可靠性；仅需匹配稀疏特征点，减少了立体匹配的时间，提高了障碍物检测的实时性。

Claims (5)

1.一种用于农业环境的障碍物检测方法，其特征在于，包括以下步骤：

步骤1、使用双目相机获取左目图像为RGB图像、右目图像为灰度图像的双目图像；

步骤2、将左目图像进行高斯滤波去除噪声；

步骤3、将去噪后的左目图像分为多个16*16单元，计算每个单元的颜色信息平均值和方差，作为神经网络的输入，神经网络的输出为0或1，0和1分别表示图像单元不包含障碍物和图像单元包含障碍物，得到一幅关于左目图像的显著性图像；

步骤4、将关于左目图像的显著性图像进行灰度化，并在显著性区域使用改进的FAST角点检测算法提取特征点，得到带有特征点的灰度显著性图像；

步骤5、将右目图像进行高斯滤波去除噪声；

步骤6、将左目、右目两幅灰度图像进行特征点匹配，根据匹配到的特征点信息计算其视差信息；

步骤7、通过特征点在图像中的坐标和视差信息，得到该点的三维坐标，判断该点所在图像单元是否包含障碍物。

2.根据权利要求1所述的用于农业环境的障碍物检测方法，其特征在于，步骤3中所述的神经网络的输入，具体为：图像单元Lab空间三个通道的颜色信息平均值和方差，共6个输入。

3.根据权利要求1所述的用于农业环境的障碍物检测方法，其特征在于，步骤3中所述的神经网络，具体为：自适应神经网络的模糊推理系统，将一个6输入神经网络分解为两个3输入神经网络。

4.根据权利要求1所述的用于农业环境的障碍物检测方法，其特征在于，步骤2和步骤5中所述的高斯滤波，具体为使用3*3高斯模板进行滤波。

5.根据权利要求1所述的用于农业环境的障碍物检测方法，其特征在于，步骤6中所述的特征点匹配，具体如下：

根据最小汉明距离原则，将左目图的特征点在右目图对应区域进行匹配，汉明距离最小的一组点即为同名特征点；逐次进行同名特征点匹配，得到左目、右目两幅灰度图像的特征点信息。

Images