CN112307147B - 一种植保无人机实时导航线提取方法 - Google Patents

一种植保无人机实时导航线提取方法 Download PDF

Info

Publication number
CN112307147B
CN112307147B CN202011188787.0A CN202011188787A CN112307147B CN 112307147 B CN112307147 B CN 112307147B CN 202011188787 A CN202011188787 A CN 202011188787A CN 112307147 B CN112307147 B CN 112307147B
Authority
CN
China
Prior art keywords
line
canopy
aerial vehicle
unmanned aerial
plant protection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011188787.0A
Other languages
English (en)
Other versions
CN112307147A (zh
Inventor
祁力钧
万军杰
程浈浈
张豪
周佳蕊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN202011188787.0A priority Critical patent/CN112307147B/zh
Publication of CN112307147A publication Critical patent/CN112307147A/zh
Application granted granted Critical
Publication of CN112307147B publication Critical patent/CN112307147B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于农业自动导航技术领域,尤其涉及一种植保无人机实时导航线提取方法。该方法包括:S1、对植保无人机拍摄的果树行RGB图像依次进行灰度化、二值化、膨胀、去噪、空洞填充预处理,获得预处理后的二值图像;S2、采用最小外接矩形法,提取导航线。本发明融合最小外接矩形、像素概率以及一元线性回归综合识别果树行中心线,克服了果树冠层图像可能出现的间断现象的影响,能够准确识别水平、竖直、倾斜果树冠层图像的中心线。其中,水平、倾斜状态果树冠层图像的判断可指导植保无人机地头位置的调整,使植保无人机沿竖直方向进行作业。

Description

一种植保无人机实时导航线提取方法
技术领域
本发明属于农业自动导航技术领域,尤其涉及一种植保无人机实时导航线提取方法,该方法基于最小外接矩形、像素概率以及线性回归综合来识别果树冠层中心线。
背景技术
随着精准农业时代的到来,农田病虫害防治要求越来越高。低污染、高效率、低成本是未来农业植保的发展趋势。作为农业航空作业的主要工具—无人飞机(UVA),有着巨大的发展前景。在使用植保无人机喷洒农药时,需要提前规划施药路径,这种方式费时费力,及时性差,无法应对果园突发病虫害。然而,手动操控植保无人机施药作业,需要机手具有较高的操作技能和熟练程度且作业时高度专注。此外,长时间作业易使操作机手产生视觉疲劳,给农业生产带来潜在安全隐患。
目前,农业机械实时路径提取主要利用线性回归、特征点聚类以及深度学习等方法,如冯娟,刘刚,司永胜等.果园视觉导航基准线生成算法[J].农业机械学报.2012,43(07):185-189.;曾宏伟,雷军波,陶建峰等.低对比度条件下联合收割机导航线提取方法[J].农业工程学报.2020,36(04):18-25.;张勤,王家辉,李彬.基于YOLOv3目标检测的秧苗列中心线提取方法[J].农业机械学报.2020,51(08):34-43.。
由于植保无人机在空中飞行,无法识别每棵果树树干中心点进行线性回归,所以基于果树树干中心点进行线性回归的方法不适用于植保无人机。特征点聚类方法需要人为指定聚类中心,所以不适合自动识别;采用深度学习的方法,前期模型训练需要大量样本,训练时间长,无法应对突发情况。本发明有别于上述方法,可以识别竖直行、水平行以及倾斜行,简单快捷。此外,在现代化果园中,个别果树会因病虫害等原因出现死亡现象,使得采集的果树冠层图像出现间断。针对这种特殊情况,本发明也能很好地识别果树冠层中心线。
发明内容
针对植保无人机喷洒农药时,需要提前规划作业路径,这种方式费时费力,及时性差,无法应对果园突发病虫害,本发明的目的是提供一种基于最小外接矩形法的植保无人机实时导航线提取方法。
为了实现上述目的,本发明提供了如下技术方案:
本发明方法识别出的果树冠层中心线即为植保无人机飞行的导航线,简单来说,植保无人机在作业时沿此中心线进行飞行。
一种植保无人机实时导航线提取方法,包括如下步骤:
S1、对植保无人机拍摄的果树行RGB图像依次进行灰度化、二值化、膨胀、去噪、空洞填充预处理,获得预处理后的二值图像;所述预处理后的二值图像为m行×n列,背景像素值为0,冠层区域像素值为1;
S2、采用最小外接矩形法,提取导航线;
S2.1、建立平面直角坐标系XOY,获取预处理后的二值图像中的冠层区域个数N,N≥1,以及每个冠层区域的边缘坐标值Bi(Xi,Yi),i=1,…,N;
S2.2、分别找出各冠层区域的Xi的最小值Xmin与最大值Xmax,Yi的最小值Ymin与最大值Ymax,确定各冠层区域的最小外接矩形坐标(Xmin,Ymin)、(Xmax,Ymin)、(Xmax,Ymax)、(Xmin,Ymax),获得各果树冠层最小外接矩形;
S2.3、利用公式(1)和公式(2)计算出各果树冠层最小外接矩形的两条对角线的交点坐标,即各果树冠层质心坐标Qi(XQi,YQi),i=1,…,N;
S2.4、当冠层区域个数N=1时,采用像素概率提取导航线:首先,基于最小外接矩形构造四条过果树冠层质心的判断线,即两条对角线和两条对边的中点连接线;然后,逐行遍历分别统计落在四条判断线上的像素点为1的个数;通过公式(3)分别计算果树冠层图像落在四条判断线上的像素概率大小Pj,j=1、2、3、4;将像素概率最大的判断线作为果树冠层中心线,即导航线;
式中,Pj为冠层像素落在每条判断线的概率,P1为冠层像素落在每条判断线上的像素个数,P2为每条判断线总像素个数;
当冠层区域个数N>1时,则采用一元线性回归提取导航线:首先建立线性回归方程(4);根据步骤S2.3获得的各果树冠层质心坐标Qi(XQi,YQi),利用最小二乘法,通过公式(5)~(8)获得线性回归方程的系数k和常数项b;然后,将二值图像像素横坐标X取值范围,即二值图像列数范围1~n,代入线性回归方程(4)求出二值图像像素纵坐标对应值Y,获得拟合线上各点坐标值(X,Y),所获拟合线即为最终的果树冠层中心线,即导航线;
Y=kX+b (4)
其中,k为拟合直线斜率,b为拟合直线常数项,为各果树冠层质心横坐标的平均值;/>为各果树冠层质心纵坐标的平均值;N为冠层区域个数;XQi,YQi为各果树冠层质心坐标值;i=1,…,N。
所述步骤S1中,将植保无人机拍摄的果树行RGB图像利用超绿算法进行灰度化,ExG=2G-R-B,R表示红色通道,G表示绿色通道,B表示蓝色通道。
所述步骤S1中,采用MATLAB 2019中的imbinarize(Image,‘global’)函数,利用最大类间方差法对灰度化后的图像进行二值化处理,获得二值图像。
所述步骤S1中,利用MATLAB 2019中的结构元素函数SE=strel(‘disk’,5)与imdilate(Image,SE)函数对二值图像进行膨胀操作,其中disk表示圆盘形,半径为5个像素,对二值图像边缘进行处理。
所述步骤S1中,利用MATLAB 2019中的regionpros(‘table’,image,‘area’)函数获取二值图中所有连通域分别对应的像素个数,并求其平均连通域面积mean,再利用bwareaopen(image,mean*0.5)函数将连通域面积小于阈值的区域去除;所述阈值为0.5倍的平均连通域面积。
所述步骤S1中,利用空洞填充函数imfill(bw,‘holes’)对二值图像进行空洞填充,消除冠层区域的空洞,获得预处理后的二值图像。
与现有技术相比,本发明的有益效果在于:
本发明融合最小外接矩形、像素概率以及一元线性回归,综合识别果树行中心线,克服了果树冠层图像可能出现的间断现象的影响,能够准确识别水平、竖直、倾斜果树冠层图像的中心线。其中,水平、倾斜状态果树冠层图像的判断可指导植保无人机地头位置的调整,使植保无人机沿竖直方向进行作业。
附图说明
图1为本发明的植保无人机实时导航线提取方法的流程图;
图2为本发明的预处理过程示意图;
图3a为本发明实施例(N=1)的最小外接矩形法的示意图;
图3b为本发明实施例(N=2)的最小外接矩形法的示意图;
图4a为本发明实施例(N=1)的水平行提取结果图;
图4b为本发明实施例(N=1)的竖直行提取结果图;
图4c为本发明实施例(N=1)的左倾斜行提取结果图;
图4d为本发明实施例(N=1)的右倾斜行提取结果图;
图5a为本发明实施例(N=2)的水平行提取结果图;
图5b为本发明实施例(N=2)的竖直行提取结果图;
图5c为本发明实施例(N=2)的左倾斜行提取结果图;
图5d为本发明实施例(N=2)的右倾斜行提取结果图。
其中的附图标记为:
矩形OEFG为二值图像
矩形ABCD、A1B1C1D1和A2B2C2D2为最小外接矩形
Q为矩形ABCD的质心
KI为水平线
HJ为竖直线
AC为左对角线
BD为右对角线
具体实施方式
下面结合附图和实施例对本发明进行进一步说明。
如图1所示,本发明的一种植保无人机实时导航线提取方法,所述导航线为果树冠层中心线,该方法包括如下步骤:
S1、对植保无人机拍摄的果树行RGB图像进行预处理
如图2所示,将植保无人机拍摄的果树行RGB图像利用超绿算法(ExG)进行灰度化,ExG=2G-R-B,R表示红色通道,G表示绿色通道,B表示蓝色通道;然后采用MATLAB 2019软件中的imbinarize(Image,‘global’)函数,利用最大类间方差法(Otsu)对灰度化后的图像进行二值化处理(即图像只有0和1),获得二值图像;再利用MATLAB 2019软件中的结构元素函数SE=strel(‘disk’,5)与imdilate(Image,SE)函数对二值图像进行膨胀操作,其中disk表示圆盘形,半径为5个像素,对二值图像边缘进行处理;然后,对二值图像进行面积去噪处理,利用MATLAB 2019软件中的regionpros(‘table’,image,‘area’)函数获取二值图中所有连通域(孤立冠层区域)分别对应的像素个数,并求其平均值mean,再利用bwareaopen(image,mean*0.5)函数移除小连通域(如杂草、断裂枝叶等),其阈值为0.5倍的平均连通域面积,即将连通域面积小于该阈值的区域去除;最后,利用空洞填充函数imfill(bw,‘holes’)对二值图像进行空洞填充,消除冠层区域一些微小的空洞,获得预处理后的二值图像;所述预处理后的二值图像为m行×n列,背景像素值为0,冠层区域像素值为1,如图3a和图3b中矩形OEFG所示。
S2、采用最小外接矩形法,提取导航线
S2.1、建立平面直角坐标系XOY,利用MATLAB 2019软件中bwboundires(Image)函数获取预处理后的二值图像中的冠层区域个数N(N≥1)以及每个冠层区域的边缘坐标值Bi(Xi,Yi),i=1,…,N;
S2.2、分别找出各冠层区域的Xi的最小值Xmin与最大值Xmax,Yi的最小值Ymin与最大值Ymax,确定各冠层区域的最小外接矩形坐标(Xmin,Ymin)、(Xmax,Ymin)、(Xmax,Ymax)、(Xmin,Ymax),获得各果树冠层最小外接矩形,如图3a中矩形ABCD所示和图3b中矩形A1B1C1D1和矩形A2B2C2D2所示;
S2.3、利用公式(1)和公式(2)计算出各果树冠层最小外接矩形的两条对角线的交点坐标,即各果树冠层质心坐标Qi(XQi,YQi),i=1,…,N。
S2.4、当冠层区域个数N=1时,采用像素概率提取导航线。首先,基于最小外接矩形构造四条过果树冠层质心的判断线,即两条对角线和两条对边的中点连接线,如图3a中虚线段AC、BD、KI和HJ所示;然后,逐行遍历分别统计落在四条判断线上的像素点为1的个数;通过公式(3)分别计算果树冠层图像落在四条判断线上的像素概率大小Pj,j=1、2、3、4;将像素概率最大的判断线作为果树冠层中心线,即导航线,如图4a至图4d所示。
其中,Pj为冠层像素落在每条判断线的概率,P1为冠层像素落在每条判断线上的像素个数,P2为每条判断线总像素个数;
当冠层区域个数N>1时,则采用一元线性回归提取导航线。首先建立线性回归方程(4);根据步骤S2.3获得的各果树冠层质心坐标Qi(XQi,YQi),利用最小二乘法,通过公式(5)~(8)获得线性回归方程的系数k和常数项b;然后,将二值图像像素横坐标X取值范围,即二值图像列数范围1~n,代入线性回归方程(4)求出二值图像像素纵坐标对应值Y,获得拟合线上各点坐标值(X,Y),所获拟合线即为最终的果树冠层中心线,即导航线。
Y=kX+b (4)
其中,k为拟合直线斜率,b为拟合直线常数项,为各果树冠层质心横坐标的平均值;/>为各果树冠层质心纵坐标的平均值;N为冠层区域个数;XQi,YQi为各果树冠层质心坐标值;i=1,…,N。
此外,本发明所涉及植保无人机拥有自动定高、定时拍照等功能。植保无人机相机位置安装在机身正下方,镜头方向与无人机前进方向一致,镜头视场角为45°,镜头光轴与竖直向下方向夹角优选22.5°。植保无人机定时拍摄的RGB图像经过预处理以及最小外接矩形法处理后,将识别中心线传入控制系统控制植保无人机飞行,并通过无线设备传输设备反馈给飞控手查看。

Claims (6)

1.一种植保无人机实时导航线提取方法,其特征在于,该方法包括如下步骤:
S1、对植保无人机拍摄的果树行RGB图像依次进行灰度化、二值化、膨胀、去噪、空洞填充预处理,获得预处理后的二值图像;所述预处理后的二值图像为m行×n列,背景像素值为0,冠层区域像素值为1;
S2、采用最小外接矩形法,提取导航线;
S2.1、建立平面直角坐标系XOY,获取预处理后的二值图像中的冠层区域个数N,N≥1,以及每个冠层区域的边缘坐标值Bi(Xi,Yi),i=1,…,N;
S2.2、分别找出各冠层区域的Xi的最小值Xmin与最大值Xmax,Yi的最小值Ymin与最大值Ymax,确定各冠层区域的最小外接矩形坐标(Xmin,Ymin)、(Xmax,Ymin)、(Xmax,Ymax)、(Xmin,Ymax),获得各果树冠层最小外接矩形;
S2.3、利用公式(1)和公式(2)计算出各果树冠层最小外接矩形的两条对角线的交点坐标,即各果树冠层质心坐标Qi(XQi,YQi),i=1,…,N;
S2.4、当冠层区域个数N=1时,采用像素概率提取导航线:首先,基于最小外接矩形构造四条过果树冠层质心的判断线,即两条对角线和两条对边的中点连接线;然后,逐行遍历分别统计落在四条判断线上的像素点为1的个数;通过公式(3)分别计算果树冠层图像落在四条判断线上的像素概率大小Pj,j=1、2、3、4;将像素概率最大的判断线作为果树冠层中心线,即导航线;
式中,Pj为冠层像素落在每条判断线的概率,P1为冠层像素落在每条判断线上的像素个数,P2为每条判断线总像素个数;
当冠层区域个数N>1时,则采用一元线性回归提取导航线:首先建立线性回归方程(4);根据步骤S2.3获得的各果树冠层质心坐标Qi(XQi,YQi),利用最小二乘法,通过公式(5)~(8)获得线性回归方程的系数k和常数项b;然后,将二值图像像素横坐标X取值范围,即二值图像列数范围1~n,代入线性回归方程(4)求出二值图像像素纵坐标对应值Y,获得拟合线上各点坐标值(X,Y),所获拟合线即为最终的果树冠层中心线,即导航线;
Y=kX+b (4)
其中,k为拟合直线斜率,b为拟合直线常数项,为各果树冠层质心横坐标的平均值;/>为各果树冠层质心纵坐标的平均值;N为冠层区域个数;XQi,YQi为各果树冠层质心坐标值;i=1,…,N。
2.根据权利要求1所述的植保无人机实时导航线提取方法,其特征在于,所述步骤S1中,将植保无人机拍摄的果树行RGB图像利用超绿算法进行灰度化,ExG=2G-R-B,R表示红色通道,G表示绿色通道,B表示蓝色通道。
3.根据权利要求1所述的植保无人机实时导航线提取方法,其特征在于,所述步骤S1中,采用MATLAB 2019中的imbinarize(Image,‘global’)函数,利用最大类间方差法对灰度化后的图像进行二值化处理,获得二值图像。
4.根据权利要求1所述的植保无人机实时导航线提取方法,其特征在于,所述步骤S1中,利用MATLAB 2019中的结构元素函数SE=strel(‘disk’,5)与imdilate(Image,SE)函数对二值图像进行膨胀操作,其中disk表示圆盘形,半径为5个像素,对二值图像边缘进行处理。
5.根据权利要求1所述的植保无人机实时导航线提取方法,其特征在于,所述步骤S1中,利用MATLAB 2019中的regionpros(‘table’,image,‘area’)函数获取二值图中所有连通域分别对应的像素个数,并求其平均连通域面积mean,再利用bwareaopen(image,mean*0.5)函数将连通域面积小于阈值的区域去除;所述阈值为0.5倍的平均连通域面积。
6.根据权利要求1所述的植保无人机实时导航线提取方法,其特征在于,所述步骤S1中,利用空洞填充函数imfill(bw,‘holes’)对二值图像进行空洞填充,消除冠层区域的空洞,获得预处理后的二值图像。
CN202011188787.0A 2020-10-30 2020-10-30 一种植保无人机实时导航线提取方法 Active CN112307147B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011188787.0A CN112307147B (zh) 2020-10-30 2020-10-30 一种植保无人机实时导航线提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011188787.0A CN112307147B (zh) 2020-10-30 2020-10-30 一种植保无人机实时导航线提取方法

Publications (2)

Publication Number Publication Date
CN112307147A CN112307147A (zh) 2021-02-02
CN112307147B true CN112307147B (zh) 2024-02-09

Family

ID=74332674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011188787.0A Active CN112307147B (zh) 2020-10-30 2020-10-30 一种植保无人机实时导航线提取方法

Country Status (1)

Country Link
CN (1) CN112307147B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105987684A (zh) * 2015-12-18 2016-10-05 中国科学院合肥物质科学研究院 一种基于单目视觉的农业车辆导航线检测系统及方法
CN111079596A (zh) * 2019-12-05 2020-04-28 国家海洋环境监测中心 高分辨率遥感影像的海上典型人造目标识别系统及方法
CN111539473A (zh) * 2020-04-23 2020-08-14 中国农业大学 基于3D Lidar的果园行间导航线提取方法
CN111784597A (zh) * 2020-06-18 2020-10-16 山东省农业机械科学研究院 一种植保机器人自主导航路径检测方法及服务器、存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105987684A (zh) * 2015-12-18 2016-10-05 中国科学院合肥物质科学研究院 一种基于单目视觉的农业车辆导航线检测系统及方法
CN111079596A (zh) * 2019-12-05 2020-04-28 国家海洋环境监测中心 高分辨率遥感影像的海上典型人造目标识别系统及方法
CN111539473A (zh) * 2020-04-23 2020-08-14 中国农业大学 基于3D Lidar的果园行间导航线提取方法
CN111784597A (zh) * 2020-06-18 2020-10-16 山东省农业机械科学研究院 一种植保机器人自主导航路径检测方法及服务器、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进的并行细化算法农田喷药机器人路径识别;刘国海;第37届中国控制会议论文集(C);全文 *

Also Published As

Publication number Publication date
CN112307147A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
Tetila et al. Automatic recognition of soybean leaf diseases using UAV images and deep convolutional neural networks
US10002416B2 (en) Inventory, growth, and risk prediction using image processing
Chandy Pest infestation identification in coconut trees using deep learning
US20210360850A1 (en) Automatic driving system for grain processing, automatic driving method, and path planning method
Weyler et al. Joint plant instance detection and leaf count estimation for in-field plant phenotyping
EP3782467B1 (de) Verfahren zum identifizieren von beikräutern innerhalb einer definierten pflanzenreihe einer landwirtschaftlichen fläche
JP2019520631A (ja) 自然環境における雑草の認識
CN113439727B (zh) 大棚农作物的除虫方法、装置、设备及存储介质
CN105989601B (zh) 基于机器视觉的农业agv玉米行间导航基准线提取方法
RU2019141770A (ru) Способ внесения средства для опрыскивания на сельскохозяйственную площадь
CN109032174B (zh) 一种无人机作业航线规划方法以及作业执行方法
CN113597874B (zh) 一种除草机器人及其除草路径的规划方法、装置和介质
CN111727457A (zh) 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质
JP2017169520A (ja) ブドウの栽培管理方法
Rahul et al. Image processing based automatic plant disease detection and stem cutting robot
CN114723667A (zh) 一种农业精细化种植及灾害预防控制系统
AU2019419580B2 (en) Grain processing self-driving system, self-driving method, and automatic recognition method
Li et al. Identification of the operating position and orientation of a robotic kiwifruit pollinator
CN112307147B (zh) 一种植保无人机实时导航线提取方法
WO2020011318A1 (en) A system for use when performing a weeding operation in an agricultural field
CN115909113B (zh) 一种无人机遥感监测调查林业有害生物的方法
CN111815612A (zh) 一种基于物联网的红枣病虫预测系统
CN116524344A (zh) 一种基于rgb-d信息融合的番茄串采摘点检测方法
Kunghun et al. Navigation of autonomous vehicle for rubber tree orchard
CN114462485A (zh) 一种红枣枣疯病初期防治方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant