CN104390644A - 一种基于田间导航图像采集设备的田间障碍物检测方法 - Google Patents

Abstract

本发明公开了一种基于田间导航图像采集设备的田间障碍物检测方法，该方法首先通过田间导航图像采集设备采集农田图像，然后将农田图像进行去噪灰度化、小波变换、最大类间方差分割等操作，最后得到图像投影曲线，根据曲线的跳变点来判断农田中的障碍物。该方法克服了现有农田障碍物检测方法对障碍物高度、颜色敏感的缺点，能有效提高农田障碍物检出率，增强农田导航安全；田间导航图像采集设备解决了以往基于机器视觉的农田车辆导航研究采集农田图像不便、人工采集图像处理效果和导航中车辆采集图像处理效果存在偏差的情况，可在雨天、雾天等各种天气进行农田图像采集。

Description

一种基于田间导航图像采集设备的田间障碍物检测方法

技术领域

本发明涉及一种基于田间导航图像采集设备的田间障碍物检测方法。

背景技术

因农用车辆自动导航、辅助导航能有效降低农民工作强度，提高农业生产效率，减少农药中毒、皮肤晒伤等农业事故的发生并能促进精细农业发展而得到广泛研究。而基于机器视觉的农用车辆自动导航、辅助导航方法因获得信息量丰富、使用灵活、体积小、能耗低而被广泛采用。

基于机器视觉的农田导航研究过程中农田存在的障碍物如不能准确检测会造成经济损失，引起严重事故，因此农田障碍物的有效检测是农用车辆自动导航、辅助导航需解决的关键问题之一。目前的农田障碍物检测方法主要基于障碍物和农田作物的颜色、高度差异等信息完成，但农田中出现的障碍物颜色、高度都是随机的，如长草的土堆，导致这类方法容易出现障碍物漏检；有些仅依靠频率信息完成障碍物检测，但当障碍物和作物产生频率相近时效果并不好；如采用对农田图像先基于频率差异进行分割，再基于颜色信息进行障碍物、作物分离的方法，虽然和前面两类方法相比障碍物检出率明显增加，但在对障碍物基于频率信息的分割阶段多变的背景频率成了最大干扰，会导致一部分障碍物因干扰过多发生漏检。

而在农田导航研究初始阶段需要的农田图像，如采用人工在田间行走拍摄的方法采集，虽简单方便，但因人的行进方式和车辆有很大差异，导致对人工采集图像进行研究获得的导航路径、障碍物检测方法移栽到车辆后获得的导航检测结果往往出现较大偏差；而如在提出的各导航算法还未经验证的情况下，采用将农用车辆进行改装后安装摄像头、位移传感器、编码器的方式来采集图像，不仅成本过高，改装车辆的运送不便还会成为远距离采集图像时的难题。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于田间导航图像采集设备的田间障碍物检测方法。

本发明的目的是通过以下技术方案实现的：一种基于田间导航图像采集设备的田间障碍物检测方法，该方法包括以下步骤：

(1)采集彩色农田图像，并将采集到的彩色农田图像通过公式I＝(R+G+B)/3转换成第一灰度图像F，公式中R指采集的彩色图像中红色分量灰度值，G指绿色分量灰度值，而B指蓝色分量灰度值，I表示第一灰度图像F的亮度值，这种彩色图像转灰度图像方式能最大程度保留图像各部分原有的细微颜色差异；

(2)再将彩色农田图像通过公式I'＝2×G-R-B转换成第二灰度图像F1，I'表示第二灰度图像F1的灰度值，这种彩色图像转灰度图像方式能有效提高绿色植物和其它非绿色背景的对比度，配合图像分割算法能有效去除非绿色背景干扰；

(3)采用OTSU方法对第二灰度图像F1进行分割，获得二值图像F3；

(4)获取二值图像F3中像素值为零的坐标，将第一灰度图像中相同坐标位置处的像素值置零，获得第三灰度图像F4；

(5)对第三灰度图像F4进行5级Haar小波分解，得到5级分辨率不同的子图像及近似级子图像，并按下式计算图像小波分解后2～5级各级子图像的总频率：

C_l＝C_lh+C_ld+C_lv

式中l为小波多分辨率分解的第l级，为l级水平分解系数图像，d为l级对角分解系数图像，v为l级垂直分解系数图像，C_lh为l级水平分解系数图像的总频率，C_ld为l级对角分解系数图像的总频率，C_lv为l级垂直分解系数图像的总频率；其中，C_lx(x＝h,d,v)由以下公式得到：

$C_{\mathrm{lx}}=\frac{1}{M\×N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{f}_{\mathrm{lx}}{(i,j)}^2$

式中M×N为小波多分辨率分解第l级各方向子图像的大小，f_lx(i,j)为坐标点(i,j)处的小波多分辨率分解系数；

(6)通过步骤(5)的计算找到总频率最多的级，将小波分解后获得的近似级及子图像总频率最多的级的小波分解系数保留，其它级子图像的小波分解系数置零后，重构成新的图像；

(7)对步骤(6)重构后的新图像进行两次OTSU分割获得图像F5；

(8)求图像F5中像素值的平方，然后将求平方后的像素值按图像行相加，投影成曲线，曲线的跳变点即为农田中的障碍物。

所述步骤1和步骤2中的彩色农田图像是通过田间导航图像采集设备采集得到，所述田间导航图像采集设备包括构成采集设备防雨主体的车厢、防雨棚、固定主支撑杆、可拆卸短支撑杆、摄像角度选择杆、液晶显示屏、声光报警器、驱动轮、从动轮、上固定板、下固定板、导航路径检测系统及构成图像采集处理系统的笔记本电脑和摄像头；

车厢两侧开有通风口，两个防雨棚分别安装在车厢两侧，且位于通风口上方；摄像头、摄像角度选择杆、多个可拆卸短支撑杆和固定主支撑杆依次串联，且固定主支撑杆和声光报警器分别安装在车厢顶部；液晶显示屏安装于车厢的车头上部；两个驱动轮安装在车厢的车头下方，两个从动轮安装在车厢的车尾下方；上固定板安装在车厢内的上部，下固定板安装在车厢内的下部，且上固定板位于通风口的上边缘位置，下固定板位于通风口的下边缘位置；笔记本电脑固定安装在下固定板上；笔记本电脑与摄像头相连；

导航路径检测系统由嵌入式微控制器、电源模块、无线通信模块、磁导航传感器、两个伺服驱动模块组成；磁导航传感器安装在车厢的车头下部；所述电源模块为24V直流电源；伺服驱动模块包括依次相连的伺服驱动器、伺服电机、伺服减速器；无线通信模块包括通过无线电连接的无线通信接收模块和无线通信发射模块；伺服减速器与驱动轮相连；24V直流电源、伺服驱动模块均安装在车厢内，嵌入式微控制器、无线通信接收模块安装在PCB板上，所述PCB板固定于上固定板下表面上；磁导航传感器、声光报警器、液晶显示屏、伺服驱动模块、嵌入式微控制器、无线通信模块分别与24V直流电源相连；无线通信接收模块、磁导航传感器、液晶显示屏、声光报警器、两个伺服驱动器分别与嵌入式微控制器相连。

进一步地，所述田间导航图像采集设备工作过程如下：

(1.1)在待采集图像的农田里依据事先规划好的路径铺设磁带；

(1.2)启动摄像头和笔记本电脑，摄像头开始采集图像信息，并将图像信息存入到笔记本电脑；

(1.3)磁导航传感器检测磁带的信号，并将磁带信号传送给嵌入式微控制器，嵌入式微控制器读取磁带信号，并根据磁带信号计算路径位置信息，通过路径位置信息控制两个伺服驱动器；当磁导航传感器检测不到磁带信号、或无线通信接收模块接收到无线通信发射模块发送的停车命令时，车辆停止运行，嵌入式微控制器控制声光报警器报警；

(1.4)两个伺服驱动器分别接受嵌入式微控制器的控制信号，并通过伺服电机、伺服减速器控制驱动轮的转速，从而控制田间导航图像采集设备的行进与转弯，使得田间导航图像采集设备在事先规划好的路径上行进；摄像头在行进路线上采集到的图像即为基于视觉方法检测田间导航路径时所需农田图像。

本发明的有益效果是：本发明通过将彩色图像到灰度图像的转换过程、小波变换及OTSU分割算法相结合，充分利用了农田作物、障碍物在颜色、频率两方面的差异，将障碍物和作物实现最大程度分离，然后进一步通过能体现障碍物和作物分布差异的投影过程实现农田障碍物的检测，能有效解决农田障碍物检测过程漏检率高的问题，提高农田导航安全性；而田间导航图像采集设备的实现及应用，解决了以往基于机器视觉的农田车辆导航研究采集农田图像不便、人工采集图像处理效果和导航中车辆采集图像处理效果存在偏差的情况，可在雨天、雾天等各种天气进行农田图像采集，提高了理论研究阶段农田图像处理算法实现的有效性、可靠性，缩短了农用车辆自主导航、辅助导航实现进程。

附图说明

图1为采集设备防雨主体结构示意图；

图2为车辆主体侧剖图；

图3为图像采集处理系统结构示意图；

图4为构成导航路径检测系统的电气电子器件连接关系示意图；

图5为采用公式I＝(R+G+B)/3获得的农田灰度图；

图6为采用公式I'＝2×G-R-B获得的农田灰度图；

图7为先对图6进行OTSU分割，并记录分割后图像中像素值为0的坐标位置，将图5中相同坐标位置处的像素值置0后获得的图像；

图8为对图7进行小波分解重构后，再进行两次OTSU分割获得的图像；

图中，车厢1、防雨棚2、固定主支撑杆3、可拆卸短支撑杆4、摄像角度选择杆5、磁导航传感器6、液晶显示屏7、声光报警器8、驱动轮9、从动轮10、上固定板11、下固定板12、笔记本电脑13、摄像头14。

具体实施方式

下面结合附图，对本发明作进一步说明。

如图1所示，一种田间导航图像采集设备，包括车厢1、防雨棚2、固定主支撑杆3、可拆卸短支撑杆4、摄像角度选择杆5、液晶显示屏7、声光报警器8、驱动轮9、从动轮10、上固定板11、下固定板12、笔记本电脑13、摄像头14、导航路径检测系统；

车厢1主要起到通风、防雨、固定图像采集、导航路径检测设备的作用；车厢1两侧开有通风口，两个防雨棚2分别安装在车厢1两侧，且位于通风口上方，用于车辆主体两侧所加通风口的防雨；摄像头14、摄像角度选择杆5、多个可拆卸短支撑杆4和固定主支撑杆3依次串联，且固定主支撑杆3安装在车厢1顶部，固定支撑杆3顶端距地面140cm左右，每段可拆卸短支撑杆4、及摄像角度选择杆5的垂直高度为10cm，它们之间以及和固定主支撑杆3之间均可以采用螺纹结构连接；采集图像时可依据实际情况加装或拆除部分可拆卸短支撑杆4，以控制支撑杆总高度达到图像采集高度要求；摄像角度选择杆5安装好后，与水平方向的夹角θ从5°～90°可调，以满足不同摄像条件的需要。

声光报警器8安装在车厢1顶部，用于提醒人们车辆运行过程中出现故障，如不能检测到路径等；液晶显示屏7安装于车厢1的车头上部，用于显示车辆当前工作状态；两个驱动轮9安装在车厢1的车头下，接受电机控制，实现车辆转向、行进，两个从动轮10安装在车厢1的车尾下方，配合驱动轮的动作。

上固定板11安装在车厢1内的上部，下固定板12安装在车厢1内的下部，且上固定板11位于通风口的上边缘位置，下固定板12位于通风口的下边缘位置；笔记本电脑13固定安装在下固定板12上；笔记本电脑13与摄像头14相连；

导航路径检测系统由嵌入式微控制器、电源模块、无线通信模块、磁导航传感器6、两个伺服驱动模块组成；所述电源模块为24V直流电源；磁导航传感器6安装在车厢1的车头下部，用于捕捉铺设在地面上的磁带信号；无线通信模块包括无线通信发射模块和无线通信接收模块，两者通过无线电相连，用于实现遥控车辆起、停，速度设定等操作；24V直流电源、伺服驱动模块均安装在车厢1内，嵌入式微控制器、无线通信接收模块安装在PCB板上，所述PCB板固定于上固定板11下表面上；

如图4所示，伺服驱动模块包括依次相连的伺服驱动器、伺服电机、伺服减速器；伺服减速器与驱动轮9相连；磁导航传感器6、声光报警器8、液晶显示屏7、伺服驱动模块、嵌入式微控制器、无线通信模块分别与24V直流电源相连；无线通信模块、磁导航传感器6、液晶显示屏7、声光报警器8、两个伺服驱动器分别与嵌入式微控制器相连。本发明田间导航采集设备采用两驱动轮差速驱动方式，嵌入式微控制器分别控制两个伺服驱动器，使得两个驱动轮9可以有不同的速度，从而调节采集设备的运动方向。

所述的无线通信模块为现有技术，可以采用挪威NORDIC公司出品的低频无线通信模块NRF905(包括无线通信发射模块和无线通信接收模块)；嵌入式微控制器为现有技术，可以采用飞思卡尔公司设计的Kinetis系列全新一代微处理器MK60DN512Z。磁导航传感器可以采用天津隆鑫科教仪器公司XGS19006型AGV磁导航传感器；声光报警器8可以采用杭州天冠科技公司LTE-1181型号产品。

应用上述田间导航图像采集设备采集农田图像，包括以下步骤：

A.在待采集图像的农田里依据事先规划好的路径铺设磁带，并去除周围可能出现的金属、磁体等干扰，如果要验证障碍物检测算法的有效性，则将磁带铺设到使车辆到障碍物的距离为最短安全距离，所述磁带为AGV导航磁带；

B.根据期望的图像采集高度安装可拆卸短支撑杆，依据选定的采集角度选择安装摄像角度选择杆；

C.打开农田图像采集车供电系统，并通过无线通信模块设定车辆运行速度；

D.开启由笔记本电脑和摄像头组成的图像采集系统，并启动、运行图像采集车，采集图像。

E.通过嵌入式微控制器实时读取磁传感器检测到的磁带信号，根据磁带信号确定路径位置信息，并以此为依据控制两个驱动轮的速度；通过两个驱动轮的差速实现转向控制，导航车的位置矢量如式(1)所示：

式(1)中(x y)表示田间导航图像采集设备两后车轮轴心连线中间点在全局坐标系中的水平、垂直坐标，及两后车轮轴心连线与坐标系水平轴的夹角，(x y)与左右车轮速度v_l、v_r关系如公式(2)所示。

公式(2)中的w为两后车轮轴心连线的长度。

嵌入式微控制器依据左右车轮需调节成的行驶速度控制发出PWM波的频率及占空比，控制伺服驱动器带动伺服电机引导驱动轮实现田间导航图像采集设备的行进、转弯。

F.当检测不到磁信号、或通过无线通信模块接收到停车命令时车辆停止运行，并发出声光报警信号提醒用户。

上述步骤A和步骤B的执行顺序可以互换，在车辆整个运行过程中，由电脑和摄像头组成的图像采集部分一直在工作，在农田导航研究初期将采集的图像存于硬盘，以备后续图像处理算法研究用；在已经研究出农田图像处理算法后，可在图像采集过程中，将采集的图像实时输送给图像处理模块，在线完成导航线检测、导航参数提取，然后和实际行走路径对比，以判断所采用图像处理算法的有效性。

上述农田图像采集过程，通过在设定好的采集路径上铺设磁带，依据采集设备上磁传感器对磁信号的检测能实现任意行走路径的农田图像采集，采集设备即农田图像采集车不仅使用简单、还可方便实现远距离运送。

针对同一农田铺设磁带后，先采用本发明设计的农田图像采集设备采集农田图像，再由人工沿着磁带行走采集图像，最后将本发明提出的图像采集系统固定于拖拉机上，沿磁带铺设路径行驶采集图像；采用相同的图像去噪、作物边缘直线检测算法依次处理上述三种方式采集的图像，统计不同方式采集图像所提取作物边缘直线的正确率，发现人工采集图像边缘直线检测正确率达到95％，本发明给出的图像采集设备采集图像的边缘直线检测正确率为79％，采用拖拉机拍摄图像的边缘直线检测正确率为78％，说明本发明给出的农田图像采集方法、采集设备采集的图像能很好的表征真实车辆在行进过程中采集的图像。

将上述采集到的图像通过如下步骤进行处理，以检测农田中的障碍物。

(1)将摄像头拍摄的彩色农田图像通过公式I＝(R+G+B)/3转换成第一灰度图像F，如图5所示；公式中R指采集的彩色图像中红色分量灰度值，G指绿色分量灰度值，而B指蓝色分量灰度值，I表示第一灰度图像F的亮度值；

(2)再将彩色农田图像通过公式I'＝2×G-R-B转换成第二灰度图像F1，如图6所示；I'表示第二灰度图像F1的灰度值；

(3)采用OTSU对图像6进行分割，获得二值图像；

(4)获取步骤(3)获得的二值图像中像素值为零的坐标，将图5中相同坐标位置处的像素值置零，获得灰度图像如图7所示；

从图7可以看出，经过上述4步操作非绿色背景噪声去除的很干净。

(5)对图像7进行5级Haar小波分解，得到5级分辨率不同的子图像及近似级子图像，并按公式C_l＝C_lh+C_ld+C_lv计算图像小波分解后2～5级各级子图像的总频率；

(6)通过步骤(5)的计算找到总频率最多的级，本实施例中为第3级，保留近似级及第3级子图像的小波分解系数，其它小波分解级的小波分解系数置零，然后重构成新的图像；

(7)对步骤(6)小波重构后的图像进行两次OTSU分割获得图像8；第一次OTSU分割用于将小波分解重构后的图像中和作物颜色差异明显的信息分割成背景；第二次OTSU分割在颜色和作物相近的物体间进行，用于将和作物颜色相近但不同的物体尤其杂草分割成背景。从图8的分割结果可以看出上述分割过程不仅能将和作物颜色不同的墙壁、车辆等障碍物有效分离，还能将田头位置处和作物颜色相近的杂草有效去除，这一点说明即使农田中存在长草的土堆，本算法也能将其检测出来。

(8)求图像8中像素值的平方，然后将求平方后的像素值按图像行相加，投影成曲线，曲线的跳变点即为障碍物出现的位置。

Claims (1)

1.一种基于田间导航图像采集设备的田间障碍物检测方法，其特征在于，该方法包括以下步骤：

(1)采集彩色农田图像，并将采集到的彩色农田图像通过公式I＝(R+G+B)/3转换成第一灰度图像F，公式中R指采集的彩色图像中红色分量灰度值，G指绿色分量灰度值，而B指蓝色分量灰度值，I表示第一灰度图像F的亮度值；

(2)再将彩色农田图像通过公式I'＝2×G-R-B转换成第二灰度图像F1，I'表示第二灰度图像F1的灰度值；

(3)采用最大类间方差法(简称OTSU)对第二灰度图像F1进行分割，获得二值图像F3；

(4)获取二值图像F3中像素值为零的坐标，将第一灰度图像F中相同坐标位置处的像素值置零，获得第三灰度图像F4；

(5)对第三灰度图像F4进行5级Haar小波分解，得到5级分辨率不同的子图像及近似级子图像，并按下式计算图像小波分解后2～5级各级子图像的总频率：

C_l＝C_lh+C_ld+C_lv

式中l为小波多分辨率分解的第l级，h为l级水平分解系数图像，d为l级对角分解系数图像，v为l级垂直分解系数图像，C_lh为l级水平分解系数图像的总频率，C_ld为l级对角分解系数图像的总频率，C_lv为l级垂直分解系数图像的总频率；其中，C_lx(x＝h,d,v)由以下公式得到：

$C_{\mathrm{lx}}=\frac{1}{M\×N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{f}_{\mathrm{lx}}{(i,j)}^2$

式中M×N为小波多分辨率分解第l级各方向子图像的大小，f_lx(i,j)为坐标点(i,j)处的小波多分辨率分解系数；

(6)通过步骤(5)的计算找到总频率最多的级，将小波分解后获得的近似级及子图像总频率最多的级的小波分解系数保留，其它级子图像的小波分解系数置零后，重构成新的图像；

(7)对步骤(6)重构后的新图像进行两次OTSU分割获得图像F5；

(8)求图像F5中像素值的平方，然后将求平方后的像素值按图像行相加，投影成曲线，曲线的跳变点即为农田中的障碍物；

所述步骤1和步骤2中的彩色农田图像是通过田间导航图像采集设备采集得到，所述田间导航图像采集设备包括构成采集设备防雨主体的车厢(1)、防雨棚(2)、固定主支撑杆(3)、可拆卸短支撑杆(4)、摄像角度选择杆(5)、液晶显示屏(7)、声光报警器(8)、驱动轮(9)、从动轮(10)、上固定板(11)、下固定板(12)、导航路径检测系统及构成图像采集处理系统的笔记本电脑(13)和摄像头(14)；车厢(1)两侧开有通风口，两个防雨棚(2)分别安装在车厢(1)两侧，且位于通风口上方；摄像头(14)、摄像角度选择杆(5)、多个可拆卸短支撑杆(4)和固定主支撑杆(3)依次串联，且固定主支撑杆(3)和声光报警器(8)分别安装在车厢(1)顶部；液晶显示屏(7)安装于车厢(1)的车头上部；两个驱动轮(9)安装在车厢(1)的车头下方，两个从动轮(10)安装在车厢(1)的车尾下方；上固定板(11)安装在车厢(1)内的上部，下固定板(12)安装在车厢(1)内的下部，且上固定板(11)位于通风口的上边缘位置，下固定板(12)位于通风口的下边缘位置；笔记本电脑(13)固定安装在下固定板(12)上；笔记本电脑(13)与摄像头(14)相连；导航路径检测系统由嵌入式微控制器、电源模块、无线通信模块、磁导航传感器(6)、两个伺服驱动模块组成；磁导航传感器(6)安装在车厢(1)的车头下部；所述电源模块为24V直流电源；伺服驱动模块包括依次相连的伺服驱动器、伺服电机、伺服减速器；无线通信模块包括通过无线电连接的无线通信接收模块和无线通信发射模块；伺服减速器与驱动轮(9)相连；24V直流电源、伺服驱动模块均安装在车厢(1)内，嵌入式微控制器、无线通信接收模块安装在PCB板上，所述PCB板固定于上固定板(11)下表面上；磁导航传感器(6)、声光报警器(8)、液晶显示屏(7)、伺服驱动模块、嵌入式微控制器、无线通信模块分别与24V直流电源相连；无线通信接收模块、磁导航传感器(6)、液晶显示屏(7)、声光报警器(8)、两个伺服驱动器分别与嵌入式微控制器相连；所述田间导航图像采集设备采集图像的过程如下：

(1.1)在待采集图像的农田里依据事先规划好的路径铺设磁带；

(1.2)启动摄像头(14)和笔记本电脑(13)，摄像头(14)开始采集图像信息，并将图像信息存入到笔记本电脑(13)；

(1.3)磁导航传感器(6)检测磁带的信号，并将磁带信号传送给嵌入式微控制器，嵌入式微控制器读取磁带信号，并根据磁带信号计算路径位置信息，通过路径位置信息控制两个伺服驱动器；当磁导航传感器(6)检测不到磁带信号、或无线通信接收模块接收到无线通信发射模块发送的停车命令时，车辆停止运行，嵌入式微控制器控制声光报警器(8)报警；

(1.4)两个伺服驱动器分别接受嵌入式微控制器的控制信号，并通过伺服电机、伺服减速器控制驱动轮(9)的转速，从而控制田间导航图像采集设备的行进与转弯，使得田间导航图像采集设备在事先规划好的路径上行进；摄像头(14)在行进路线上采集到的图像即为基于视觉方法检测田间导航路径时所需农田图像。