CN109471434B - 一种新型的变量喷雾路径规划自主导航系统及方法 - Google Patents
一种新型的变量喷雾路径规划自主导航系统及方法 Download PDFInfo
- Publication number
- CN109471434B CN109471434B CN201811329280.5A CN201811329280A CN109471434B CN 109471434 B CN109471434 B CN 109471434B CN 201811329280 A CN201811329280 A CN 201811329280A CN 109471434 B CN109471434 B CN 109471434B
- Authority
- CN
- China
- Prior art keywords
- spray
- spraying
- depth
- microcomputer
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000007921 spray Substances 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000005507 spraying Methods 0.000 claims abstract description 103
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 68
- 235000013399 edible fruits Nutrition 0.000 claims description 33
- 239000007788 liquid Substances 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 10
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 claims description 9
- 229910052782 aluminium Inorganic materials 0.000 claims description 9
- 239000002420 orchard Substances 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 3
- 229910052742 iron Inorganic materials 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 238000003466 welding Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 2
- 238000011897 real-time detection Methods 0.000 abstract description 3
- 230000007246 mechanism Effects 0.000 abstract description 2
- 239000000575 pesticide Substances 0.000 description 8
- 241000196324 Embryophyta Species 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 241000209134 Arundinaria Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0285—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using signals transmitted via a public communication network, e.g. GSM network
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本文公开一种新型的变量喷雾路径规划自主导航系统及方法，采用四轮驱动行走机构，以适应路面崎岖的情况，主要由数据采集单元、运动控制单元和变量喷雾单元三部分组成。其中，数据采集单元包括inter D435深度摄像头、微型计算机、GPS等，运动控制单元包括微型计算机、轮毂电机驱动器、带轮毂电机的驱动轮等，变量喷雾单元包括水箱、水泵、电磁阀喷嘴、喷杆等。变量喷雾机器人全长0.60m，宽0.59m，底部距离地面高度0.20m。车体为四轮结构，通过四个驱动轮分别装配一台400W的轮毂电机实现独立驱动，控制方便。该系统满足喷雾机器人对目标作物的实时检测和识别，同时实现喷雾机器人自主行驶和喷雾参数的实时控制，减少了人工劳作的时间，提高了喷雾自动化的水平。
Description
技术领域
本发明涉及一种适用于果园环境下的通过前置深度摄像头完成变量喷雾自主导航的技术，属于农业自动化控制技术领域。
背景技术
我国是一个农业大国，作为现代农业技术的先进生产方式，设施农业自动化显得尤为重要。目前，在农业喷雾领域中，果园喷雾作业占比逐渐增加，与此同时，随着现代科学技术和控制理论的不断发展、我国的农业装备自动化技术不断完善，研发出可以适应果园作业的无人化自主喷雾机器人就显得至关重要。
在早期的果园喷雾施药的过程中，只有极少量的农药能够经过喷雾喷洒在目标作物上并起到防治作用，经科学验证，传统施药装备在喷雾过程中只有不足1％的农药能够命中目标作物的防治区域，只有不足0.03％的农药能够起到杀虫的作用，农药喷雾的效率非常低。所以如何提高农药喷雾的效率、减少农药在喷雾过程中的使用量并达到精准喷雾，是目前农业装备技术发展的一个重要目标。
本发明借助因特尔公司开发的深度摄像头，设计了一种依靠图像处理的变量喷雾路径规划自主导航机器人。与目前大都采用激光传感器扫描植株实施变量喷雾、采用GPS进行路径规划和导航相比，本发明采用的深度摄像头成本更低、精度更高，在果园的环境内更具有适用性和实用性。
发明内容
为针对实现喷雾机器人的路径规划、行走控制和喷雾工作，本发明通过一种基于深度摄像头的图像采集方法，进行实时避障、变量喷雾，有效的减少了劳动的时间和成本。嵌入式微型计算机采集深度摄像头拍摄到的深度图像和彩色图像，通过算法分别用于实时路径规划和变量喷雾。通过提取深度图像中作物的深度信息，并结合速度传感器检测到的当前行驶的速度，预测喷雾所需的延时时间。通过分割彩色图像中的作物部分，计算需要的喷雾量及每个喷嘴所对应电磁阀的占空比并将其传输给电磁阀驱动器，并产生各电磁阀相对应的PWM波，延时对每个喷嘴进行工作，保证变量喷雾的准确性。
本发明的系统的技术方案为：一种新型的变量喷雾路径规划自主导航系统，包括车身平台、自主行走避障系统、变量喷雾系统；
所述车身平台包括车架(9)、放置深度摄像头(1)的可控升降托板(10)、固定可控升降托板的可控升降杆(2)，放置深度摄像头(1)的可控升降托板(10)固定卡扣在升降杆(2)两侧，升降杆(2)底部焊接在车架(9)前端；
所述变量喷雾系统包括深度摄像头(1)、微型计算机(25)、水箱(6)、水泵(7)、U 型喷杆(3)、喷嘴(4)、高度传感器(16)、液位传感器(17)、压力传感器(20)、喷嘴流量计(19)；所述深度摄像头(1)、高度传感器(16)、液位传感器(17)、压力传感器(20)、喷嘴流量计(19)均和微型计算机(25)相连；深度摄像头(1)实时拍摄前方图像，并将拍摄到的彩色图像和深度图像传输给微型计算机(25)进行处理；水箱(6)、水泵(7)、 U型喷杆(3)通过水管相连，多个带电磁阀的喷嘴(4)根据喷雾范围分布安装在U型喷杆(3)上，喷嘴(4)依次通过电磁阀驱动器(24)、CAN总线和微型计算机(25)相连，水泵(7)依次通过水泵驱动器(22)、CAN总线和微型计算机(25)相连；高度传感器(16) 主要测量深度摄像头(1)的高度，同时根据拍摄到的彩色图像和深度图像计算出目标植株的高度；液位传感器(17)、压力传感器(20)、喷嘴流量计(19)分别用于测量水箱的液位、喷杆的水压以及喷嘴喷雾的流量，随后根据各传感器的反馈的信息对水泵(7)和电磁阀喷嘴(4)进行控制；
所述自主行走避障系统包括微型计算机(25)，以及均与之相连的深度摄像头(1)、陀螺仪(13)、电子罗盘(14)、GPS(15)、车载速度传感器(18)、CAN总线，驱动轮(8)；驱动轮(8)依次通过轮毂电机驱动器(23)、CAN总线和微型计算机(25)相连；报警装置(26)通过CAN总线与微型计算机(25)相连；陀螺仪(13)主要用于喷雾车行走在崎岖路面时检测喷雾车姿态角的偏差；电子罗盘(14)主要用于测量喷雾车航向角；GPS(15) 主要用于测量喷雾车的实时位置信息；车载速度传感器(18)用于测量喷雾车的行进速度；轮毂电机驱动器(23)处理接收到的路径信息，调节控制驱动轮(8)行走。
进一步，所述车架(9)包括多根型材焊接形成的长方形框架，在框架底部焊接有四块用于安装车轮的铁板，在框架上部焊接一块长方形铝板。
进一步，在长方形铝板上焊接有升降杆(2)、水箱卡槽、水泵固定支架(11)、控制箱卡槽以及延伸出U型喷杆(3)；深度摄像头(1)的usb延长线通过升降杆(2)卡槽与控制箱(5)中的微型计算机(25)相连；水箱(6)通过水箱卡槽固定在U型喷杆(3)与控制箱(5)之间，水泵(7)通过水泵固定支架(11)固定在控制箱(5)旁边；U型喷杆 (3)焊接在车架(9) 铝板的尾端。
进一步，所述自主行走避障系统包括四个带轮毂电机(12)的驱动轮(8)和四个相对应的轮毂电机驱动器(23)，四个驱动轮(8)分别安装在车架(9)的底部，各自独立驱动，以适应绝大多数崎岖路面；四个轮毂电机驱动器(23)安装在控制箱(5)内，用于控制轮毂电机(12)的转速，从而控制驱动轮(8 )的转向和行驶速度。
进一步，所述微型计算机(25)通过特定算法处理深度图像和彩色图像，规划出行驶路径，并计算出每个驱动轮(8)所需要的速度和行驶方向，随后通过CAN总线将PWM 波占空比发送到轮毂电机驱动器(23)，同时计算出喷雾延时时间和每个喷嘴(4)所需要的喷雾量，并通过CAN总线发送PWM波占空比到水泵(7)，以便控制各喷嘴(4)的喷雾量，实现变量喷雾精准喷雾。
进一步，每一个喷嘴(4)对应一个喷雾区域，左右各六个，上方三个，以便为一些藤本植物喷雾；水泵(7)的输水管道沿着喷杆(3)连接每个带电磁阀喷嘴(4)，喷嘴(4) 可人为控制喷雾开关。
本发明的方法的技术方案为：一种新型的变量喷雾路径规划自主导航方法，包括如下步骤：
步骤1，深度摄像头(1)实时采集前方彩色图像和深度图像，并将采集到的图像传输给微型计算机(25)进行进一步处理；
步骤2，通过交叉编译导入微型计算机(25)的C++程序，利用彩色图像去噪分割出作物和障碍物的大小，利用深度图像计算出作物和障碍物的距离，并规划出行驶路径，同时计算出喷雾所需的喷雾量和驱动轮(8)所需的速度和行驶方向；
步骤3，微型计算机(25)通过CAN总线发送PWM波占空比到水泵驱动器(22)、电磁阀驱动器(24)和轮毂电机驱动器(23)，通过控制输出电压控制喷嘴(4)的喷雾量和驱动轮(8)的速度与行驶方向；
步骤4，当喷雾车行驶时出现无法规避的障碍物或者硬件发生故障时，微型计算机(25) 将生成故障信息并将其传输给报警装置(26)报警。
进一步，所述步骤2的具体过为：先通过彩色图像采用深度学习识别果树，并确定矩形感兴趣区域ROI，随后根据矩形感兴趣区域中的HSV值分割出果树与障碍物，再比较深度图像检测出的果树和背景，随后根据喷雾车当前位置计算出果树的相对位置，并以此补全地图；同时，根据矩形感兴趣区域中的HSV值和果树的深度信息确定喷雾目标的高度、大小和相对距离，并根据果树相对距离计算喷雾延时时间，根据树叶大小和高度计算喷雾的喷雾量和喷雾范围，随后去除掉果树和地面的彩色图像，扫描识别剩余障碍物的深度，并以此作路径规划、建立虚拟目标点，最后根据规划好的路径计算出每个驱动轮所需的转向和速度。
进一步，所述步骤4中，故障信息包括软件中规划的路径无法抵达虚拟目标点、水箱水位过低和硬件发生故障产生的错误，不同故障信息间隔时间各不相同。
目前，大多数自主喷雾系统大都采用激光传感器扫描植被进行喷雾，本文通过深度摄像头拍摄喷雾车前方的图像，并将其彩色图像与深度图像进行融合，利用特定的算法分割出果树和其余干扰物，并识别树叶的大小、高度和距离，随后根据距离计算喷雾延时时间，根据大小和高度计算喷雾量和喷雾范围，相比较传统的采用激光传感器扫描植被大小进行喷雾，本文采用的方法成本更小、精度更高。
附图说明
图1是一种变量喷雾路径规划自主导航系统的工作流程图；
图2是一种喷雾机器人的左视图；
图3是一种喷雾机器人的侧视图；
图4是一种喷雾机器人的俯视图；
图5是一种喷雾机器人的仰视图；
图6是一种变量喷雾路径规划自主导航的控制系统；
图7是一种U型喷杆电磁阀喷嘴喷雾的示意图；
图8是一种深度摄像头识别果树的算法流程图；
图9是摄像头扫描树干的平面示意图；
图10是摄像头扫描树木的立体示意图。
具体实施方式
下面结合附图具体说明所发明喷雾机器人的工作过程：
如图1所示，为变量喷雾路径规划自主导航的工作流程图。深度摄像头1用垫片垫高放置在固定在升降杆2前端的升降托板10上，实施拍摄小车前端图像，并将彩色图像和深度图像传输给位于控制箱内的嵌入式微型计算机25，随后计算机25融合彩色图像和深度图像，并通过C++编写并交叉编译导入的软件处理融合图像，通过深度学习识别植株部分，随后通过栅格法将植株分割，结合深度信息计算每一部分植株的距离，并根据车载速度传感器18传入的速度信息计算喷雾需要的延时时间，同时重构识别到的植株目标，计算喷雾需要的喷雾量，并根据高度传感器16传入的深度摄像头高度和目标作物与摄像头的角度，计算目标作物的高度，并依此控制相应电磁阀喷嘴4工作。随后，根据软件计算得到的每个电磁阀喷嘴4的喷雾流量，进而计算出每个喷嘴4喷雾所需的占空比和频率，微型计算机25将占空比和频率的数据传输给电磁阀驱动器24，电磁阀驱动器24的单片机检测信号数据产生各对应电磁阀喷嘴4的PWM波，之后控制电磁阀的开关从而控制对应喷嘴的喷雾量。同时，根据深度学习处理后的彩色图像，识别大棚路径和障碍物，建立合适的虚拟目标点，并根据规划好的路径信息计算每个驱动轮8所需的行驶速度和驱动方向，进而计算出每个驱动轮8相应的轮毂电机12所需的占空比和频率，随后通过CAN总线将占空比和频率的数据传输给相应的轮毂电机驱动器23，并产生各对应驱动轮8的PWM波，从而控制驱动轮8的行驶方向与行驶速度。
如图2喷雾机器人左视图，图3喷雾机器人侧视图，图4喷雾机器人俯视图，图5喷雾机器人仰视图所示，所述喷雾车架9为多根型材焊接形成的长方形框架，在框架底部焊接有四块用于安装车轮的铁板，在框架上部焊接一块长方形铝板，在铝板上焊接有升降杆 2、水箱卡槽、水泵固定支架11、控制箱卡槽以及延伸出U型喷杆3。升降杆2固定在车架 9前端升降杆卡槽上，深度摄像头1通过垫片垫高固定安装在可控升降托板10上，可控升降托板10固定卡扣在升降杆2的两侧，在应对摄像头视场角外的特殊作物时可以调整高度，同时高度传感器16实时检测深度摄像头1的高度，并反馈给微型计算机25。水箱6固定在车架铝板9的水箱卡槽上，液位传感器17实时监测水箱6液位，当液位低于一定程度时将会通过报警装置26报警。水泵7安装在固定支架11上，通过水管连接水箱6和喷杆电磁阀喷嘴4。U型喷杆3焊接在车架9尾部，水泵7的输水管道沿着喷杆3连接每个带电磁阀喷嘴4，压力传感器、喷嘴流量计分别用于喷杆的水压以及喷嘴喷雾的流量，十五个带电磁阀喷嘴4根据喷雾范围分布安装在U型喷杆3上，使得每一个喷嘴对应一个喷雾区域，左右各六个，上方三个，以便为一些藤蔓植物喷雾。控制箱5固定在水箱6和升降杆 2之间的控制箱卡槽中，装载车载控制单元。嵌入式微型计算机25放置在控制箱5内，分别与深度摄像头1、水泵驱动器22、四个轮毂电机驱动器23、十五个电磁阀驱动器24相连接，所述水泵驱动器22与水泵7相连，所述轮毂电机驱动器23与相应驱动轮8上的轮毂电机相连，所述电磁阀驱动器24与电磁阀喷嘴4相连。
如图6所示，一种变量喷雾路径规划自主导航控制系统，深度摄像头1实时拍摄喷雾车前方的图像信息，然后采集彩色图像和深度图像并传输给嵌入式微型计算机25，微型计算机25通过4G网络与手机应用21远程相连，可以实时远程回传喷雾车前方的图像以及喷雾车各种参数状况，以便手机远程观测喷雾车的喷雾导航过程。陀螺仪13主要用于检测喷雾车行走在崎岖路面时姿态角的偏差，并将偏差信息传输给嵌入式微型计算机25，电子罗盘14主要用于测量喷雾车的航向角，来确定喷雾车的水平方向，GPS15主要用于测量喷雾车的实时位置信息，并以防喷雾车在进行视觉导航的过程中出现漏检现象，随后微型计算机25根据姿态角的偏差量对图像进行矫正，根据绝对位置信息和航向角度校验图像处理后的路径规划是否精确。车载速度传感器18主要用于测量喷雾车的行进速度，并传输给微型计算机25，随后根据行驶速度和目标作物的深度计算喷雾需要的延时时间。高度传感器 16用于检测深度摄像头1的高度，并传输给微型计算机25，随后根据深度摄像头1的高度信息和目标作物与深度摄像头1的角度，计算目标作物的高度。液位传感器17、压力传感器20、喷嘴流量计19分别用于测量水箱6的液位、喷杆3的水压以及喷嘴4喷雾的流量，随后根据各传感器的反馈的信息对水泵7和电磁阀喷嘴4进行控制。微型计算机25与水泵驱动器22、四个轮毂电机驱动器23、十五个电磁阀驱动器24相连接，并根据计算好的喷雾量、延时时间和行驶轨迹对水泵7、喷嘴电磁阀4和驱动轮8的轮毂电机进行控制输出。
如图7所示，一种U型喷杆电磁阀喷嘴喷雾的示意图。U型喷杆3焊接在车架9的尾端，左右两侧竖直喷杆上各安装五个带独立电磁阀的喷嘴4，上方弧形喷杆上安装五个带独立电磁阀的喷嘴4，以便为一些藤蔓植物喷雾。左右两侧竖直喷杆喷雾范围较密集，根据喷嘴所在位置和喷雾范围进行分割，共分割出十个相同喷雾范围的喷雾区域，左侧喷杆为区域1到区域5，右侧喷杆为区域11到区域15，上方弧形喷杆喷雾范围较稀疏，根据喷嘴所在位置和喷雾范围进行分割，共分割出五个喷雾区域，依次为区域6到区域10。喷嘴为美国斯普瑞公司生产的带独立电磁阀的喷嘴，可实现通过控制电磁阀的开关控制喷嘴4 喷雾的功能。
如图8所示，一种深度摄像头识别果树的算法流程图。首先，利用已经训练好的SSD模型识别果树并确定果树最小外切矩形感兴趣区域(ROI)，随后从上至下逐行遍历矩形感兴趣区域的像素点，并保存连续的深度近似一致的像素点，如图9所示，选取这些像素点的首尾像素点A、B，其对应到喷雾车的距离为r1、r2，与喷雾车航向之间的夹角为θ1、θ2，由此可知物体的宽度d为：
随后，在果园中随机选取多个树干宽度后，设置初始树干宽度，计算其平均值μd和均方差σd，随后计算每个连续深度像素点的宽度并计算其宽度为树干宽度的概率密度 pdf(d)：
同时，计算正态分布峰值的概率密度pdf(μd)，并将pdf(d)与pdf(μd)相比较，以得出连续深度像素点的置信度ROCL：
随后，将判断置信度ROCL是否在已设定好的阈值内，若不是则判断为非树木，并继续判断下一个连续深度像素点，若是则检测该像素点组的HSV中的色调值Hd，并确定其在随机选取的多个初始树干下的、不同光照条件下的分布的平均值
均方差
和概率密度函数pdf(Hd)：
随后，计算正态分布峰值的概率密度
并以此得出像素点组颜色置信度ROCC：
随后，判断颜色置信度是否在设定的阈值内，若不是则判断为非树木，若是则判断为树木，并根据该组像素点平均深度d1和其与摄像头之间的夹角θ3，计算果树距离摄像头的深度ds，并根据喷雾车当前位置确定果树的相对位置。随后，如图10所示，根据深度学习识别确定的最小外切矩形感兴趣区域(ROI)的长l、宽w和上顶、下底与喷雾车之间的夹角θ4，计算果树的高h1，并根据第一排确定为树干的像素点的高度h2，和高度传感器测量深度摄像头高度h3，计算树叶的高度h和近似体积V。
ds＝d1*cosθ3
h＝h1-h3-ds*tan(θ3)
最后，根据求出的深度ds和树叶体积V计算得出喷雾车喷雾所需的演示时间和喷雾量。
综上，本文的一种新型的变量喷雾路径规划自主导航系统及方法，采用四轮驱动行走机构，以适应路面崎岖的情况，主要由数据采集单元、运动控制单元和变量喷雾单元三部分组成。其中，数据采集单元包括inter D435深度摄像头、微型计算机、GPS等，运动控制单元包括微型计算机、轮毂电机驱动器、带轮毂电机的驱动轮等，变量喷雾单元包括水箱、水泵、电磁阀喷嘴、喷杆等。变量喷雾机器人全长0.60m，宽0.59m，底部距离地面高度0.20m。车体为四轮结构，通过四个驱动轮分别装配一台400W的轮毂电机实现独立驱动，结构简洁，控制方便。该系统满足喷雾机器人对目标作物的实时检测和识别，同时实现喷雾机器人自主行驶和喷雾参数的实时控制，减少了人工劳作的时间，提高了喷雾自动化的水平。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (7)
1.一种新型的变量喷雾路径规划自主导航系统，其特征在于，包括车身平台、自主行走避障系统、变量喷雾系统；
所述车身平台包括车架(9)、放置深度摄像头(1)的可控升降托板(10)、固定可控升降托板的可控升降杆(2)，放置深度摄像头(1)的可控升降托板(10)固定卡扣在升降杆(2)两侧，升降杆(2)底部焊接在车架(9)前端；
所述变量喷雾系统包括深度摄像头(1)、微型计算机(25)、水箱(6)、水泵(7)、U型喷杆(3)、喷嘴(4)、高度传感器(16)、液位传感器(17)、压力传感器(20)、喷嘴流量计(19)；所述深度摄像头(1)、高度传感器(16)、液位传感器(17)、压力传感器(20)、喷嘴流量计(19)均和微型计算机(25)相连；深度摄像头(1)实时拍摄前方图像，并将拍摄到的彩色图像和深度图像传输给微型计算机(25)进行处理；水箱(6)、水泵(7)、U型喷杆(3)通过水管相连，多个带电磁阀的喷嘴(4)根据喷雾范围分布安装在U型喷杆(3)上，喷嘴(4)依次通过电磁阀驱动器(24)、CAN总线和微型计算机(25)相连，水泵(7)依次通过水泵驱动器(22)、CAN总线和微型计算机(25)相连；高度传感器(16)主要测量深度摄像头(1)的高度，同时根据拍摄到的彩色图像和深度图像计算出目标植株的高度；液位传感器(17)、压力传感器(20)、喷嘴流量计(19)分别用于测量水箱的液位、喷杆的水压以及喷嘴喷雾的流量，随后根据各传感器的反馈的信息对水泵(7)和电磁阀喷嘴(4)进行控制；
所述自主行走避障系统包括微型计算机(25)，以及均与之相连的深度摄像头(1)、陀螺仪(13)、电子罗盘(14)、GPS(15)、车载速度传感器(18)、CAN总线，驱动轮(8)；驱动轮(8)依次通过轮毂电机驱动器(23)、CAN总线和微型计算机(25)相连；报警装置(26)通过CAN总线与微型计算机(25)相连；陀螺仪(13)主要用于喷雾车行走在崎岖路面时检测喷雾车姿态角的偏差；电子罗盘(14)主要用于测量喷雾车航向角；GPS(15)主要用于测量喷雾车的实时位置信息；车载速度传感器(18)用于测量喷雾车的行进速度；轮毂电机驱动器(23)处理接收到的路径信息，调节控制驱动轮(8)行走；
在长方形铝板上焊接有升降杆(2)、水箱卡槽、水泵固定支架(11)、控制箱卡槽以及延伸出U型喷杆(3)；深度摄像头(1)的usb延长线通过升降杆(2)卡槽与控制箱(5)中的微型计算机(25)相连；水箱(6)通过水箱卡槽固定在U型喷杆(3)与控制箱(5)之间，水泵(7)通过水泵固定支架(11)固定在控制箱(5)旁边；U型喷杆(3)焊接在车架(9) 铝板的尾端；所述自主行走避障系统包括四个带轮毂电机(12)的驱动轮(8)和四个相对应的轮毂电机驱动器(23)，四个驱动轮(8)分别安装在车架(9)的底部，各自独立驱动，以适应绝大多数崎岖路面；四个轮毂电机驱动器(23)安装在控制箱(5)内，用于控制轮毂电机(12)的转速，从而控制驱动轮(8 )的转向和行驶速度；
首先，利用已经训练好的SSD模型识别果树并确定果树最小外切矩形感兴趣区域(ROI)，随后从上至下逐行遍历矩形感兴趣区域的像素点，并保存连续的深度近似一致的像素点，选取这些像素点的首尾像素点A、B，其对应到喷雾车的距离为r1、r2，与喷雾车航向之间的夹角为θ1、θ2，由此可知物体的宽度d为：
随后，在果园中随机选取多个树干宽度后，设置初始树干宽度，计算其平均值μd和均方差σd，随后计算每个连续深度像素点的宽度并计算其宽度为树干宽度的概率密度pdf(d)：
同时，计算正态分布峰值的概率密度pdf(μd)，并将pdf(d)与pdf(μd)相比较，以得出连续深度像素点的置信度ROCL：
随后，将判断置信度ROCL是否在已设定好的阈值内，若不是则判断为非树木，并继续判断下一个连续深度像素点，若是则检测该像素点组的HSV中的色调值Hd，并确定其在随机选取的多个初始树干下的、不同光照条件下的分布的平均值
均方差
和概率密度函数pdf(Hd)：
随后，计算正态分布峰值的概率密度
并以此得出像素点组颜色置信度ROCC：
随后，判断颜色置信度是否在设定的阈值内，若不是则判断为非树木，若是则判断为树木，并根据该组像素点平均深度d1和其与摄像头之间的夹角θ3，计算果树距离摄像头的深度ds，并根据喷雾车当前位置确定果树的相对位置；随后，根据深度学习识别确定的最小外切矩形感兴趣区域(ROI)的长l、宽w和上顶、下底与喷雾车之间的夹角θ4，计算果树的高h1，并根据第一排确定为树干的像素点的高度h2，和高度传感器测量深度摄像头高度h3，计算树叶的高度h和近似体积V。
2.根据权利要求1所述的一种新型的变量喷雾路径规划自主导航系统，其特征在于，所述车架(9)包括多根型材焊接形成的长方形框架，在框架底部焊接有四块用于安装车轮的铁板，在框架上部焊接一块长方形铝板。
3.根据权利要求1所述的一种新型的变量喷雾路径规划自主导航系统，其特征在于，所述微型计算机(25)通过特定算法处理深度图像和彩色图像，规划出行驶路径，并计算出每个驱动轮(8)所需要的速度和行驶方向，随后通过CAN总线将PWM波占空比发送到轮毂电机驱动器(23)，同时计算出喷雾延时时间和每个喷嘴(4)所需要的喷雾量，并通过CAN总线发送PWM波占空比到水泵(7)，以便控制各喷嘴(4)的喷雾量，实现变量喷雾精准喷雾。
4.根据权利要求1所述的一种新型的变量喷雾路径规划自主导航系统，其特征在于，每一个喷嘴(4)对应一个喷雾区域，左右各六个，上方三个，以便为一些藤本植物喷雾；水泵(7)的输水管道沿着喷杆(3)连接每个带电磁阀喷嘴(4)，喷嘴(4)可人为控制喷雾开关。
5.一种新型的变量喷雾路径规划自主导航方法，其特征在于，包括如下步骤：
步骤1，深度摄像头(1)实时采集前方彩色图像和深度图像，并将采集到的图像传输给微型计算机(25)进行进一步处理；
步骤2，通过交叉编译导入微型计算机(25)的C++程序，利用彩色图像去噪分割出作物和障碍物的大小，利用深度图像计算出作物和障碍物的距离，并规划出行驶路径，同时计算出喷雾所需的喷雾量和驱动轮(8)所需的速度和行驶方向；
步骤3，微型计算机(25)通过CAN总线发送PWM波占空比到水泵驱动器(22)、电磁阀驱动器(24)和轮毂电机驱动器(23)，通过控制输出电压控制喷嘴(4)的喷雾量和驱动轮(8)的速度与行驶方向；
步骤4，当喷雾车行驶时出现无法规避的障碍物或者硬件发生故障时，微型计算机(25)将生成故障信息并将其传输给报警装置(26)报警；
随后，计算正态分布峰值的概率密度
并以此得出像素点组颜色置信度ROCC：
随后，判断颜色置信度是否在设定的阈值内，若不是则判断为非树木，若是则判断为树木，并根据该组像素点平均深度d1和其与摄像头之间的夹角θ3，计算果树距离摄像头的深度ds，并根据喷雾车当前位置确定果树的相对位置；随后，根据深度学习识别确定的最小外切矩形感兴趣区域(ROI)的长l、宽w和上顶、下底与喷雾车之间的夹角θ4，计算果树的高h1，并根据第一排确定为树干的像素点的高度h2，和高度传感器测量深度摄像头高度h3，计算树叶的高度h和近似体积V；
ds＝d1*cosθ3
h＝h1-h3-ds*tan(θ3)
最后，根据求出的深度ds和树叶体积V计算得出喷雾车喷雾所需的演示时间和喷雾量。
6.根据权利要求5所述的一种新型的变量喷雾路径规划自主导航方法，其特征在于，所述步骤2的具体过为：先通过彩色图像采用深度学习识别果树，并确定矩形感兴趣区域ROI，随后根据矩形感兴趣区域中的HSV值分割出果树与障碍物，再比较深度图像检测出的果树和背景，随后根据喷雾车当前位置计算出果树的相对位置，并以此补全地图；同时，根据矩形感兴趣区域中的HSV值和果树的深度信息确定喷雾目标的高度、大小和相对距离，并根据果树相对距离计算喷雾延时时间，根据树叶大小和高度计算喷雾的喷雾量和喷雾范围，随后去除掉果树和地面的彩色图像，扫描识别剩余障碍物的深度，并以此作路径规划、建立虚拟目标点，最后根据规划好的路径计算出每个驱动轮所需的转向和速度。
7.根据权利要求5所述的一种新型的变量喷雾路径规划自主导航方法，其特征在于，所述步骤4中，故障信息包括软件中规划的路径无法抵达虚拟目标点、水箱水位过低和硬件发生故障产生的错误，不同故障信息间隔时间各不相同。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811329280.5A CN109471434B (zh) | 2018-11-09 | 2018-11-09 | 一种新型的变量喷雾路径规划自主导航系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811329280.5A CN109471434B (zh) | 2018-11-09 | 2018-11-09 | 一种新型的变量喷雾路径规划自主导航系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109471434A CN109471434A (zh) | 2019-03-15 |
| CN109471434B true CN109471434B (zh) | 2022-01-11 |
Family
ID=65672219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811329280.5A Active CN109471434B (zh) | 2018-11-09 | 2018-11-09 | 一种新型的变量喷雾路径规划自主导航系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109471434B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110140655A (zh) * | 2019-05-10 | 2019-08-20 | 江苏大学 | 一种温室用风送式自动对靶授粉小车及其作业方法 |
| CN110926472A (zh) * | 2019-10-29 | 2020-03-27 | 东北大学 | 一种智能果园路径规划方法 |
| CN112006004A (zh) * | 2020-09-13 | 2020-12-01 | 新疆大学 | 一种基于rtk-gps高精度定位的智能喷雾小车及控制方法 |
| CN112189645B (zh) * | 2020-10-27 | 2023-12-15 | 江苏大学 | 一种适用于间套作的双在线混药喷雾机及工作方法 |
| CN113841672B (zh) * | 2021-08-18 | 2022-11-11 | 山东农业大学 | 一种连栋温室变距调高植保机器人及控制方法 |
| CN114145279A (zh) * | 2021-11-30 | 2022-03-08 | 福建省鼎贤市政园林工程有限公司 | 一种智能化的榕树虫害多角度杀虫喷洒装置 |
| CN115067302A (zh) * | 2022-06-15 | 2022-09-20 | 德州智南针机械科技有限公司 | 四轮独立转向驱动的智能导航辅助作业温室机器人 |
| CN116048104B (zh) * | 2023-04-03 | 2023-06-30 | 华南农业大学 | 一种果园作业机器人路径规划方法、系统及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104069970A (zh) * | 2014-06-10 | 2014-10-01 | 潍坊美奥农业科技有限公司 | 一种农业智能喷洒机械 |
| CN105139407A (zh) * | 2015-09-08 | 2015-12-09 | 江苏大学 | 一种基于Kinect传感器的颜色深度匹配植株识别方法 |
| CN106070151A (zh) * | 2016-07-14 | 2016-11-09 | 江苏大学 | 一种高地隙无人驾驶智能履带喷雾机及控制方法 |
| CN107422726A (zh) * | 2017-04-26 | 2017-12-01 | 江苏大学 | 一种应用于温室的自主导航智能变量喷雾系统及其控制方法 |
-
2018
- 2018-11-09 CN CN201811329280.5A patent/CN109471434B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104069970A (zh) * | 2014-06-10 | 2014-10-01 | 潍坊美奥农业科技有限公司 | 一种农业智能喷洒机械 |
| CN105139407A (zh) * | 2015-09-08 | 2015-12-09 | 江苏大学 | 一种基于Kinect传感器的颜色深度匹配植株识别方法 |
| CN106070151A (zh) * | 2016-07-14 | 2016-11-09 | 江苏大学 | 一种高地隙无人驾驶智能履带喷雾机及控制方法 |
| CN107422726A (zh) * | 2017-04-26 | 2017-12-01 | 江苏大学 | 一种应用于温室的自主导航智能变量喷雾系统及其控制方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于Kinect的温室喷雾机器人视觉导航定位系统的研究;江锽;《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》;20151015(第10期);第42-61页 * |
| 自然环境下多类水果采摘目标识别的通用改进SSD模型;彭红星 等;《农业工程学报》;20180831;第34卷(第16期);第156-160页 * |
| 车辆智能障碍物检测方法及其农业应用研究进展;何勇 等;《农业工程学报》;20180531;第34卷(第9期);第26页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109471434A (zh) | 2019-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109471434B (zh) | 一种新型的变量喷雾路径规划自主导航系统及方法 | |
| US10939606B2 (en) | Scouting systems | |
| CN109885063A (zh) | 一种融合视觉和激光传感器的施药机器人农田路径规划方法 | |
| EP3316673B1 (en) | Robot vehicle and method using a robot for an automatic treatment of vegetable organisms | |
| EP3119178B1 (en) | Method and system for navigating an agricultural vehicle on a land area | |
| US20180325012A1 (en) | Agricultural system | |
| CN103891697B (zh) | 一种室内自主移动喷药机器人的变量喷药方法 | |
| US11110470B2 (en) | System and method for controlling the operation of agricultural sprayers | |
| EP4014733A1 (en) | Agricultural machine and method of controlling such | |
| WO2021062459A1 (en) | Weed mapping | |
| CN111587872A (zh) | 一种喷洒农药用机器人 | |
| US10973171B2 (en) | System and method for monitoring field profiles based on data from multiple types of sensors | |
| US11944087B2 (en) | Agricultural sprayer with real-time, on-machine target sensor | |
| CN111830968B (zh) | 一种多功能莼菜无人作业船及其导航控制方法 | |
| CA3233542A1 (en) | Vehicle row follow system | |
| Roman et al. | Stereo vision controlled variable rate sprayer for specialty crops: Part II. Sprayer development and performance evaluation | |
| Baltazar et al. | 2D LiDAR-Based System for Canopy Sensing in Smart Spraying Applications | |
| US11981336B2 (en) | Vehicle row follow system | |
| Srisuphab et al. | Insect detection on an unmanned ground rover | |
| CN113359700A (zh) | 基于5g的无人驾驶拖拉机智能作业系统 | |
| Hutsol et al. | Robotic technologies in horticulture: analysis and implementation prospects | |
| US20240074428A1 (en) | System and method for adjustable targeting in field treatment | |
| CN112526986B (zh) | 跟垄作业方法和装置 | |
| Arif et al. | Computer vision based navigation module for sustainable broad-acre agriculture robots. | |
| Valero et al. | Single Plant Fertilization using a Robotic Platform in an Organic Cropping Environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |