CN102422832B - 喷雾视觉定位系统及定位方法 - Google Patents

Abstract

本发明公开了一种喷雾视觉定位系统及定位方法，涉及视觉定位技术领域，所述系统包括控制单元、左摄像单元、右摄像单元、图像采集单元、激光二级管列阵光源和光源控制单元；其中，所述左摄像单元与右摄像单元，分别与图像采集单元连接，用于获取场景图像信息；所述图像采集单元，与控制单元连接；所述光源控制单元，与所述激光二级管列阵光源和控制单元分别连接，用于在控制单元控制下驱动激光二级管工作；所述激光二级管列阵光源包括多个呈矩阵排列的激光二极管，其中的每个激光二级管固定在支架上，所述支架的位置和纵向发射角可调。本发明能够提高喷药定位的准确率，具有良好适应性、实时性和性价比。

Description

喷雾视觉定位系统及定位方法

技术领域

本发明涉及视觉定位技术领域，尤其涉及农药喷洒过程中使用的一种用于定位农作物位置的喷雾视觉定位系统及定位方法。

背景技术

在农业生产过程中，为防治病虫害，往往需要进行多次农药喷洒。

现有的自动化施药系统中，存在的问题主要有：喷药定位不够准确，药液浪费严重，喷雾农机具的使用适应性有限。用于自动化精准喷雾的机器人定位检测效果不够理想，实时性较差、性价比低。

目前，对于物体空间三维信息获取的方法主要有激光、超声波、雷达、红外和双目视觉等。前四者工作时通常是以通过反射波时间或相位差来计算距离信息，双目视觉主要通过三角测距原理，通过左右图像匹配来实现定位信息获取。但是其识别与定位算法往往较为复杂，实时性较差，特别是对物体形态不规则、环境复杂、光照条件差的场合更加难以检测。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：提供一种喷雾视觉定位系统及定位方法，其能够提高喷药定位的准确率，具有良好适应性、实时性和性价比。

(二)技术方案

为解决上述问题，本发明提供了一种喷雾视觉定位系统，包括控制单元、左摄像单元、右摄像单元、图像采集单元、激光二级管列阵光源和光源控制单元；其中，

所述左摄像单元与右摄像单元，分别与图像采集单元连接，用于获取场景图像信息；

所述图像采集单元，与控制单元连接，用于在控制单元控制下通过所述左摄像单元与右摄像单元采集图像信息，并将所采集的图像信息发送给控制单元；

所述光源控制单元，与所述激光二级管列阵光源和控制单元分别连接，用于在控制单元控制下驱动激光二级管工作；

所述激光二级管列阵光源包括多个呈矩阵排列的激光二极管，其中的每个激光二级管固定在支架上，所述支架的位置和纵向发射角可调。

优选地，所述控制单元包括视觉处理子单元，用于采集、识别图像信息、对左右摄像机采集的图像进行匹配并提取三维信息。

优选地，所述控制单元包括激光二极管控制子单元，用于调整所开激光二极管的数目、位置和明暗。

优选地，所述光源控制单元通过单片机实现，且所述单片机的I/O口通过三级管将激光二级管接入电路。

一种利用前述系统进行喷雾视觉定位的方法，包括以下步骤：

A：获取图像信息，并对所述图像信息进行RGB三通道阈值分割，求取交集作为分割结果，而后将图像转为二值灰度图；

B：判断所述分割结果占整个图像的比例是否达到预定值，若是，则所述控制单元发送控制信息给所述光源控制单元，所述光源控制单元控制激光二级管列阵光源工作，并发送反馈信息给控制单元；

C：所述控制单元根据所述反馈信息控制图像采集单元获取加有激光标记的图像并与相邻时刻未加激光标记的图像做差，获取左右激光离散点图像；

D：对所述左右激光离散点图像进行匹配；

E：根据实际工作环境及目标作物的实际位置范围，判断是否存在错误匹配点，若是，则对错误匹配点进行校验，若否，则执行步骤F；

F：判断是否小于预设的匹配点数，若是，则在已知特征点基础上采用harris算子扩展特征点，然后进行匹配，若否，则执行步骤G；

G：根据获得的匹配点对结合相机标定参数，计算摄像机坐标系下目标作物的三维点坐标位置信息并输出。

优选地，所述步骤E中，对错误匹配点进行校验包括：通过控制激光二级管的开闭，获得激光二级管与图像位置的对应关系，从而获得纠正的匹配点。

优选地，所述步骤D进一步包括：

D1：将彩色图像转为灰度图像；

D2：采用双峰法对所述灰度图像进行阈值分割；

D3：对分割后的图像进行区域标记和区域形心提取；

D4：对左右激光离散点图像反向运算，取同时符合匹配规则的点对作为视差计算依据，消除因遮挡或边缘光点发散所造成的影响；

D5：根据视差求解匹配点所对应的三维坐标信息。

优选地，所述步骤D3进一步包括：通过极线约束条件和区域中心周边点的灰度相关性来判断初始匹配点。

(三)有益效果

本发明通过采用激光离散点阵光源作为人工标记特征点，并在通过匹配算法计算作物的距离信息时，使相机与激光二级管列阵光源相配合，提高了喷药定位的准确率，使系统具有良好的适应性、实时性和性价比。

附图说明

图1为本发明所述喷雾视觉定位系统的结构示意图；

图2为本发明所述进行喷雾视觉定位的方法的流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，本发明所述喷雾视觉定位系统，包括控制单元、左摄像单元、右摄像单元、图像采集单元、激光二级管列阵光源和光源控制单元；其中，

所述左摄像单元与右摄像单元，分别与图像采集单元连接，用于获取场景图像信息；

所述图像采集单元，与控制单元连接，用于在控制单元控制下通过所述左摄像单元与右摄像单元采集图像信息，并将所采集的图像信息发送给控制单元；

所述光源控制单元，与所述激光二级管列阵光源和控制单元分别连接，用于在控制单元控制下驱动激光二级管工作。

所述控制单元包括视觉处理子单元，用于采集、识别图像信息、对左右摄像机采集的图像进行匹配并提取三维信息。

所述控制单元包括激光二极管控制子单元，用于调整所开激光二极管的数目、位置和明暗。

所述光源控制单元通过单片机实现，且所述单片机的I/O口通过三级管将激光二级管接入电路。

所述激光二级管列阵光源中的每个激光二级管固定在支架上，所述支架的位置和纵向发射角可调。

图像采集单元通过PCI卡槽与控制单元相连接，左、右摄像机分别接到图像采集单元的对应信号输入通道上。控制单元通过RS232串口与光源控制单元单片机进行通信。每个激光二级管被螺栓固定在一个位置和纵向发射角可调的激光阵列光源支架上。控制单元发送控制信号给光源控制单元和喷雾臂运动控制卡。喷雾视觉定位系统所获得的作物空间位置信息可通过控制单元安装的运动控制卡驱动喷雾臂到达指定位置工作。

如图2所示，本发明所述利用前述系统进行喷雾视觉定位的方法，包括以下步骤：

A：获取图像信息，并对所述图像信息进行RGB三通道阈值分割，求取交集作为分割结果，而后将图像转为二值灰度图；

B：判断所述分割结果占整个图像的比例是否达到预定值，若是，则所述控制单元发送控制信息给所述光源控制单元，所述光源控制单元控制激光二级管列阵光源工作，并发送反馈信息给控制单元；

C：所述控制单元根据所述反馈信息控制图像采集单元获取加有激光标记的图像并与相邻时刻未加激光标记的图像做差，获取左右激光离散点图像；

本步骤中，将RGB图像转为灰度图像，当加有激光的灰度图g(x，y)和未加激光的灰度图f(x，y)对应像素直接相减则可获得图像k(x，y)＝g(x，y)-f(x，y)。

x∈[1，X]；y∈[1，Y]，X为图像水平像素数，Y为图像垂直像素数。

D：对所述左右激光离散点图像进行匹配；

本步骤进一步包括：

D1：将彩色图像转为灰度图像；

本步骤中，采用RGB线型组合公式Y＝0.299R+0.578G+0.114B。

D2：采用双峰法对所述灰度图像进行阈值分割；

双峰法是现有的图像分割方法。

D3：对分割后的图像进行区域标记和区域形心提取；

本步骤中，通过极线约束条件和区域中心周边点的灰度相关性来判断初始匹配点。避免了全局灰度匹配算法遍历搜索计算量过大，影响系统实时性的缺陷。

本步骤中，首先扫描图像，遇到没有加标记的目标像素(白像素)A时，则附加一个新的标记。给与A连在一起的像素附加同样的标记，直到所有连接在一起的像素全部被标记。重复扫描标记下一个区域。

D4：对左右激光离散点图像反向运算，取同时符合匹配规则的点对作为视差计算依据，消除因遮挡或边缘光点发散所造成的影响；

本步骤中，以左图像L为匹配基准时，根据极线约束和唯一性约束，在右图像R上寻找最佳匹配点。判断时以目标匹配点周边像素灰度值对应点方差和最小作为最佳匹配点判断依据。计算式如下：

$\frac{1}{k^2}\underset{n=-k/2}{\overset{k/2}{\mathrm{\Σ}}}\underset{m=-k/2}{\overset{k/2}{\mathrm{\Σ}}}{[L(x+m,y+n)-R(x+m,y+n)]}^2$ 上式k为模板大小，一般取奇数。其中，1≤x+m≤M，1≤y+n≤N。

M、N分别为图像的水平像素数和垂直像素数。

D5：根据视差求解匹配点所对应的三维坐标信息。

E：根据实际工作环境及目标作物的实际位置范围，判断是否存在错误匹配点，若是，则对错误匹配点进行校验，若否，则执行步骤F；

本步骤中，对错误匹配点进行校验包括：通过控制激光二级管的开闭，获得激光二级管与图像位置的对应关系，从而获得纠正的匹配点。

F：判断是否小于预设的匹配点数，若是，则在已知特征点基础上采用harris算子R(A)扩展特征点，然后进行匹配，若否，则执行步骤G；

harris角点检测算法，先对图像进行高斯滤波。然后对每个像素估计其垂直两方向的梯度大小值。对每个像素和给定的邻域窗口计算局部结构矩阵A，并计算响应函数R(A)。选取响应函数R(A)的一个阈值，确定最佳候选角点。

本步骤中，所述匹配同样采用步骤D4所述的匹配算法，只是把激光点中心的坐标，改成所求角点的坐标，带入进行匹配运算。

G：根据获得的匹配点对结合相机标定参数，计算摄像机坐标系下目标作物的三维点坐标位置信息并输出。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (8)

1.一种喷雾视觉定位系统，其特征在于，包括控制单元、左摄像单元、右摄像单元、图像采集单元、激光二级管列阵光源和光源控制单元；其中， 

所述左摄像单元与右摄像单元，分别与图像采集单元连接，用于获取场景图像信息； 

所述图像采集单元，与控制单元连接，用于在控制单元控制下通过所述左摄像单元与右摄像单元采集图像信息，并将所采集的图像信息发送给控制单元； 

所述控制单元，对所述图像信息进行RGB三通道阈值分割，求取交集作为分割结果，将图像转为二值灰度图并在所述分割结果占整个图像的比例达到预定值时发送控制信息到所述光源控制单元；根据所述光源控制单元的反馈信息控制图像采集单元获取加有激光标记的图像以及相邻时刻未加激光标记的图像并做差；根据做差得到的左右激光离散点图像进行匹配，根据获得的匹配点对结合相机标定参数，计算摄像机坐标系下目标作物的三维点坐标位置信息； 

所述光源控制单元，与所述激光二级管列阵光源和控制单元分别连接，用于在控制单元控制下驱动激光二级管工作；并在接收到所述控制单元发送的控制信息后反馈信息到所述控制单元； 

所述激光二级管列阵光源包括多个呈矩阵排列的激光二极管，其中的每个激光二级管固定在支架上，所述支架的位置和纵向发射角可调。 

2.如权利要求1所述的喷雾视觉定位系统，其特征在于，所述控制单元包括视觉处理子单元，用于采集、识别图像信息、对左右摄像机采集的图像进行匹配并提取三维信息。 

3.如权利要求1所述的喷雾视觉定位系统，其特征在于，所述控制单元包括激光二极管控制子单元，用于调整所 述激光二极管的数 目、位置和明暗。 

4.如权利要求1所述的喷雾视觉定位系统，其特征在于，所述光源控制单元通过单片机实现，且所述单片机的I/O口通过三级管将激光二级管接入电路。 

5.一种利用权利要求1-4中任一项所述系统进行喷雾视觉定位的方法，其特征在于，包括以下步骤： 

A：获取图像信息，并对所述图像信息进行RGB三通道阈值分割，求取交集作为分割结果，而后将图像转为二值灰度图； 

B：判断所述分割结果占整个图像的比例是否达到预定值，若是，则所述控制单元发送控制信息给所述光源控制单元，所述光源控制单元控制激光二级管列阵光源工作，并发送反馈信息给控制单元； 

C：所述控制单元根据所述反馈信息控制图像采集单元获取加有激光标记的图像并与相邻时刻未加激光标记的图像做差，获取左右激光离散点图像； 

D：对所述左右激光离散点图像进行匹配； 

E：根据实际工作环境及目标作物的实际位置范围，判断是否存在错误匹配点，若是，则对错误匹配点进行校验，若否，则执行步骤F； 

F：判断是否小于预设的匹配点数，若是，则在已知特征点基础上采用harris算子扩展特征点，然后进行匹配，若否，则执行步骤G； 

G：根据获得的匹配点对结合相机标定参数，计算摄像机坐标系下目标作物的三维点坐标位置信息并输出。 

6.如权利要求5所述进行喷雾视觉定位的方法，其特征在于，所述步骤E中，对错误匹配点进行校验包括：通过控制激光二级管的开闭，获得激光二级管与图像位置的对应关系，从而获得纠正的匹配点。 

7.如权利要求5所述进行喷雾视觉定位的方法，其特征在于， 所述步骤D进一步包括： 

D1：将彩色图像转为灰度图像； 

D2：采用双峰法对所述灰度图像进行阈值分割； 

D3：对分割后的图像进行区域标记和区域形心提取； 

D4：对左右激光离散点图像反向运算，取同时符合匹配规则的点对作为视差计算依据，消除因遮挡或边缘光点发散所造成的影响； 

D5:根据视差求解匹配点所对应的三维坐标信息。 

8.如权利要求7所述进行喷雾视觉定位的方法，其特征在于，所述步骤D3进一步包括：通过极线约束条件和区域中心周边点的灰度相关性来判断初始匹配点。 

Images