CN108509928A - 针对矮化密植枣园田管作业视觉导航路径提取方法 - Google Patents

针对矮化密植枣园田管作业视觉导航路径提取方法 Download PDF

Info

Publication number
CN108509928A
CN108509928A CN201810312634.9A CN201810312634A CN108509928A CN 108509928 A CN108509928 A CN 108509928A CN 201810312634 A CN201810312634 A CN 201810312634A CN 108509928 A CN108509928 A CN 108509928A
Authority
CN
China
Prior art keywords
point
image
trendline
cold region
field pipe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810312634.9A
Other languages
English (en)
Inventor
李景彬
彭顺正
温宝琴
张雄楚
姚庆旺
坎杂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shihezi University
Original Assignee
Shihezi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shihezi University filed Critical Shihezi University
Priority to CN201810312634.9A priority Critical patent/CN108509928A/zh
Publication of CN108509928A publication Critical patent/CN108509928A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

本发明公开了一种针对矮化密植枣园田管作业视觉导航路径提取方法,采用机器视觉技术对拖拉机机械化运动作业时的视觉导航路径进行提取。系统可以实现不停车检测,大大降低了劳动强度,提高机械化作业效率,具有精度高、成本价格低等优点。

Description

针对矮化密植枣园田管作业视觉导航路径提取方法
技术领域
本发明涉及图像处理与机器视觉技术领域,具体地,涉及一种针对矮化密植枣园田管作业视觉导航路径提取方法。
背景技术
随着新疆农业机械化水平不断提高,机械化作业日渐成为目前新疆地区农作物的耕作、灌溉、中耕、植保、收获等农业生产环节的主要方式。同时,2016年中央一号文件指出,加快我国农业现代化,其中农业装备智能化是重点强调内容之一。智能农机主要涵盖农机定位与自动驾驶、农机作业参数智能检测与计量、作业环境数据采集与处理等。智能农机装备的研发是我国现代化农业实现精准作业的根本保障,其特点是减少人工劳动力,提高农业生产作业效率。目前智能装备作业的导航技术主要包括GPS导航和机器视觉导航,但是由于GPS导航精度受高大物体遮挡影响,不宜采用于农业机械装备的智能导航作业。然而机器视觉导航不受环境空间几何分布影响,对环境复杂性的实用性较强,精度高,设备和技术成本低廉,广泛应用于林间环境机械自动导航。近年来,新疆红枣矮化密植面积广,其中耕种、灌溉、植保、中耕、收获等农业生产环节逐步推广机械化作业,为机器视觉导航技术的应用提供了有利的客观条件。加之田间机械化作业周期长,环境恶劣,不利于人体健康,因此研发一套智能农业装备自动导航系统实现枣园机械化自主作业具有重要的现实意义。
本枣园路径提取系统采用VS2010结合OpenCV搭建,为新疆的枣园田管时期农业机械化实现自主作业奠定坚实基础。
发明内容
本发明的目的在于,针对上述问题,提出一种针对矮化密植枣园田管作业视觉导航路径提取方法,以实现实现枣园机械化自主作业的优点。
为实现上述目的,本发明采用的技术方案是:一种针对矮化密植枣园田管作业视觉导航路径提取方法,主要包括:
包括提取导航基准线、左边缘线和右边缘线,具体包括:
步骤1:读取视频帧,从第一帧检测开始,图像灰度化;
步骤2:图像二值化,利用最大类间方差法对图像进行分割;
步骤3:消除行间区域白色噪声;
步骤4:通过亮度垂直投影法和膨胀法依次处理图像,提取树干骨架;
步骤5:利用小面积标记法取出图像中存在的小面积噪声;
步骤6:提取边缘点群;
步骤7:提取有效的边缘线候补点群;
步骤8:根据步骤7提取的候补点群,采用最小二乘法拟合左边缘线和右边缘线;
步骤9:求取导航基准线;
步骤10:进入下一帧图像,重复步骤1-步骤9,若当前帧数大于视频总帧数,停止路径检测。
进一步地,在步骤1之前还包括对视频图像进行环境分类,将枣园环境的分为第一类作业环境和第二类作业环境,所述第一类作业环境包括杂草环境或剪枝施肥环境,所述第二类作业环境包括中耕作业环境。
进一步地,第一类作业环境下,步骤1图像灰度化具体为采用|R-B|方法灰度化。
进一步地,步骤3具体为,采用“行间去噪”剔除白色噪声:
设图像的宽乘高为M×N,利用灰度垂直投影方法求取图像y=t水平线以上部分区域的波谷点Pbottom(ic,0),计算波谷点左右两侧的点ls(ic-a,0),rs(ic+a,0);在直线x=ic两侧,图像底边分别找出点le(t,N-1)和点re(M-t,N-1),其中N、M分别为图像的高度和宽度,利用两点式方程求取梯形左侧腰的一般方程Alx+Bly+Cl=0;同理,利用点rs、re求取梯形右侧腰的一般方程Ar+Bry+Cr=0;由上往下逐行扫描图像,点(i,j)为当前扫描位置,若满足Alx+Bly+Cl≤0,且Ar+Bry+Cr≤0,则将点(i,j)像素点置0。
进一步地,步骤4具体包括
步骤41:根据参数设置浮动窗口,行扫描检索左、右窗口区域白色像素点,根据分布区域分别将其横坐标存入数组Al、Ar中,而后用“冒泡法”找出Al的最大值maxl、Ar数组最小值minr,将Al、Ar清零;
步骤42:从点(maxl,hu)向左开始,以列扫描左窗口,统计每列白色像素数Wl(j),并计算第k个浮动左窗口白色像素点个数的平均值 则窗口中第j列非零灰度像素点置0;
步骤43:右窗口处理方法同左窗口,扫描方向与左窗口相反,起始点为(minr,hu),第j列白色像素数、平均数分别
步骤44:令hu=hd,hd=hd-hf,maxl=0,minr=M-1,T=T-1,如果T<0,跳转步骤45,否则,重复步骤41至步骤44;
步骤45:纵坐标在[0,hr]区域灰度非零像素点置0,终止。
进一步地,步骤5具体包括:
步骤51:初始化标记值label=h,面积阈值为THs面积标记计数器cnt=0;
步骤52:遍历扫描图像,若I(i,j)=I,则I(i,j)=label;
步骤53:检测与点(i,j)邻接的白像素点也附加相同的标记,每标记一个白像素点则cnt=cnt+1;
步骤54:将全部与附加标记像素点邻接的白像素附加同样的标识;
步骤55:直到邻接在一块的白像素完全被附加标识之前,循环第②个步骤。这样一块单独的白像素连接区域就附加了同样的标识;
步骤56:若cnt≤THs,则将当前所标记的连接成分的所有点(i,j)保存到位置记录数组pos中,label=label+1,若label≥I,终止标记;
步骤57:返回步骤52,重新检索新未标记的白像素,循环52至步骤57;
步骤58:图像全部扫描后,标记结束。
步骤59:遍历位置pos数组元素,将原图像对应的位置像素置0。
进一步地,步骤6具体包括:
提取主干骨架基础上,以行扫描方式从图像底部往上检索,点(i,j)为当前扫描点,图像纵向中心线横坐标xc=0.5×M,其中M为图像长度;i,j分别为点横纵坐标,若当前扫描点灰度值p(i,j)=I,且p(i,j+1)=0,p(i+1,j)=0,i≤xc,将点(i,j)存入数组Al中;同理,若p(i,j)=I,p(i,j+1)=0,p(i-1,j)=0,将点(i,j)存入数组Ar中。
进一步地,步骤7具体包括,首先确定图像中两条趋势线,即描述枣树分布列走势的直线,每帧图像中有左趋势线和右趋势线,而后以确定的趋势线为参考标准,利用点到直线的距离原理提取左、右两侧边缘的候补点群;趋势线的确定方法如下:
根据两点确定一条直线的数学原理,在左右两侧分别找出两个合适的点即可确定两条趋势线,两点的确定方法如下:
以图像纵向中心轴为界,点(il,jl)是中心轴在第jl个非零行向左遇到的第一个白色像素点坐标,点(ir,jr)是中心轴在第jr个非零行向右遇到的第一个白色像素点,L、R分别用来存储点(il,jl)和点(ir,jr)的数组,L[il].x表示数组L第il个元素为x,与R[ir].x表示意义相同,xc为中心轴横坐标;
对生成数组L和R筛选出有效特征点:
阈值为TH,di为数组第i个元素到相应趋势线的距离0≤i≤N,N为元素个数,点(xi,yi)为数组第i个元素,趋势线l的一般方程为Ax+By+C=0;
首先根据点到直线距离公式计算有效特征点di
点到直线的距离公式为:
如果di≤T,T=1,表示一个像素距离的偏离,也就是将偏离趋势线一个单位像素距离内的所有点作为特征点,则(xi,yi)为树干与地面交点。
进一步地,步骤9中具体包括求取图像每行中,处在左、右边缘线上的两点的几何中心点的坐标点,分别作为每一行的导航离散点,并采用最小二乘法拟合这些导航离散点簇,提取导航基准线。
进一步地,所述环境分类具体为,采用剖面线的方法分析田管时期不同环境像素整体分布规律实现环境分类。
本发明各实施例的针对矮化密植枣园田管作业视觉导航路径提取方法,采用机器视觉技术对拖拉机机械化运动作业时的视觉导航路径进行提取。系统可以实现不停车检测,大大降低了劳动强度,提高机械化作业效率,具有精度高、成本价格低等优点。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例所述的视频采集场景示意图;
图2a为本发明实施例所述的环境结构图;
图2b为本发明实施例所述的环境结构模型简化图;
图3为本发明实施例所述的梯形扫描去燥算法原理图;
图4为本发明实施例所述的树干骨架提取算法原理示意图;
图5为本发明实施例所述的标记法计算闭合区域面积原理图;
图6为本发明实施例所述的趋势线确定及坐标变换原理图;
图7为本发明实施例所述的边缘有效候补点群提取原理图;
图8为本发明实施例所述的导航基准线的提取图;
图9为本发明实施例所述的检测方法流程图;
图10a为本发明实施例所述的杂草环境分类依据图;
图10b为本发明实施例所述的剪枝施肥环境分类依据图;
图10c为本发明实施例所述的中耕作业环境分类依据图
图11为本发明实施例所述的算法检测后图像结果示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例一:
结合图1,本发明实时跟踪时所采用的采集装置是分辨率为1280×720,帧率为29.9帧/秒的高清网络摄像机。图像处理采用的PC机,配置为AMD Athlon(tm)II X2240Processor,主频:2.8GHz,内存:2GB,系统类型:32位WINDOWS 7操作系统。利用Microsoft的Visual Studio 10.0进行了软件开发。
系统主要选用1台摄像机,安装在拖拉机前方配重上固定好的矩形框支架上,用于跟踪和采集拖拉机运动作业时前方的枣园行间的视频录像。采集视频图像保存在相机中,为AVI格式。
图1为系统设备安装的三维结构简图,从图中能够看出,系统硬件结构组成由一台相机和一台拖拉机构成,其中摄像机安装在固定在拖拉机前方配重上的矩形框上面,枣园行距为2m,拖拉机作业时位于行间中心位置,相机向前拍摄视线在行距水平线的中垂线上,视线距离两侧枣树分布列均为1m,相机安装在固定在配重上的矩形框上,相机视线与地面水平线的夹角θ(俯角)在15°~25°之间。
实施例二:
如图9所示,在路径检测过程中,启动软件系统,读入视频,通过软件系统主界面选择环境类型,触发相应环境的路径检测信号,启动视频播放按钮,触发路径检测算法,开始路径检测,并记录视频帧率、帧大小、当前检测帧数、视频总帧数、视频检测耗时等参数。若当前帧数大于视频总帧数即刻停止路径检测,以保证系统运行正常结束。
实施例三:
视觉导航路径检测方法的设计往往取决于视频采集环境结构,因此,针对枣园环境特点,本算法模型结构如图2所示。图左侧表示枣园实际采集环境,图2右侧表示环境轮廓结构简图。
从图2a可以看出,直线围成区域为梯形,中心的一条直线为算法要提取的导航中心线,图2b为图2a不同环境(为杂草环境、中耕环境、剪枝施肥环境,其中杂草环境、剪枝施肥环境为第一类,中耕环境为第二类)的环境结构模型化简图。算法要提取的直线包括图中的左、右边缘线以及中心的导航基准线。
实施例四:
路径检测过程
1)选择作业环境类型,启动视频信号按钮,读取视频帧,第一帧检测开始,图像灰度化(若是第一类作业环境,采用|R-B|方法灰度化,若是第二类环境采用传统方法灰度化)。
2)图像二值化,采用最大类间方差法进行分割。
3)行间区域(即是图2直线围成的梯形闭合区域)白色噪声消除,采用“行间去噪”方法剔除,结合图3,算法如下:
设图像的宽乘高为M×N,利用灰度垂直投影方法求取图像y=20水平线以上部分区域的波谷点Pbottom(ic,0),计算波谷点左右两侧的点ls(ic-6,0),rs(ic+6,0)。在直线x=ic两侧,图像底边分别找出点le(20,N-1)和点re(M-20,N-1),利用两点式方程求取梯形左侧腰的一般方程Alx+Bly+Cl=0;同理,利用点rs、re求取梯形右侧腰的一般方程Ar+Bry+Cr=0;由上往下逐行扫描图像,点(i,j)为当前扫描位置,若满足Alx+Bly+Cl≤0,且Ar+Bry+Cr≤0,则将点(i,j)像素点置0;,(注:本算法中图像左下角为坐标系原点)。
4)采用亮度垂直投影方法、膨胀方法依次处理图像,提取树干骨架。其中亮度垂直投影算法原理如下:
如图4所示,O为坐标原点,hf为浮动窗口高度,长度为M,上限纵坐标为hu,下限纵坐标为hd=hu-hf,浮动窗口以纵向对称轴划分为左右两个窗口,首次扫描hu=N-1;浮动窗口个数T=N/hf,不足一个浮动窗口区域高度hr=N-N/hf,两条红色虚线之间区域为当前浮动窗口。
①根据参数设置浮动窗口,行扫描检索左、右窗口区域白色像素点,根据分布区域分别将其横坐标存入数组Al、Ar中,而后用“冒泡法”找出Al的最大值maxl、Ar数组最小值minr,将Al、Ar清零。
②从点(maxl,hu)向左开始,以列扫描左窗口,统计每列白色像素数Wl(j),并计算第k个浮动左窗口白色像素点个数的平均值则窗口中第j列非零灰度像素点置0。
③右窗口处理方法同左窗口,扫描方向与左窗口相反,起始点为(minr,hu),第j列白色像素数、平均数分别
④令hu=hd,hd=hd-hf,maxl=0,minr=M-1,T=T-1。如果T<0,跳转步骤⑤,否则,重复①至④;
⑤纵坐标在[0,hr]区域灰度非零像素点置0,程序终止。
5)采用小面积标记方法去除图像中存在的小面积噪声区域,小面积标记法算法如下:本算法标记原理示意图如图5所示:
本研究算法(根据研究情况,在原有算法基础上有所改动)用数学描述如下:
①初始化标记值label=10,面积阈值THs=200,面积标记计数器cnt=0。
②开始遍历扫描图像,若I(i,j)=(I=255)(I为设定值,255根据上述取值得到),则使I(i,j)=label。
③检测与点(i,j)邻接的白像素点也附加相同的标记,每标记一个白像素点则cnt=cnt+1。
④进一步,将全部与附加标记像素点邻接的白像素附加同样的标识。
⑤直到邻接在一块的白像素完全被附加标识之前,循环第②个步骤。这样一块单独的白像素连接区域就附加了同样的标识。
⑥若cnt≤THs,则将当前所标记的连接成分的所有点(i,j)保存到位置记录数组pos中,label=label+1,若label≥255,终止标记。
⑦返回步骤②,重新检索新未标记的白像素,循环②至⑦。
⑧图像全部扫描后,标记结束。
⑨遍历位置pos数组元素,将原图像对应的位置像素置0。
6)边缘点群的提取,采用树干与地面交点特征寻找出边缘候补点群,具体方法如下:
提取主干骨架基础上,以行扫描方式从图像底部往上检索,点(i,j)为当前扫描点,图像纵向中心线横坐标xc=0.5×M(M为图像长度;i,j分别为点横纵坐标),若当前扫描点灰度值p(i,j)=255,且p(i,j+1)=0,p(i+1,j)=0,i≤xc,将点(i,j)存入数组Al中;同理,若p(i,j)=255,p(i,j+1)=0,p(i-1,j)=0,将点(i,j)存入数组Ar中。
由于该方法会将树干与分枝交点处误检为树干与地面交点,也就是提取的交点群存在“拐点”,需要在结果中进行第二次筛选。
7)有效的边缘线候补点群的提取。首先确定图像中两条趋势线(描述枣树分布列走势的直线,每帧图像中有左趋势线和右趋势线),而后以确定的趋势线为参考标准,利用点到直线的距离原理提取左、右两侧边缘的候补点群。
趋势线的确定方法如下:
根据两点确定一条直线的数学原理,在左右两侧分别找出两个合适的点即可确定两条趋势线。两点的确定方法如下:
以图像纵向中心轴为界,点(il,jl)是中心轴在第jl个(从图像下底边向上数)非零行向左遇到的第一个白色像素点坐标,点(ir,jr)是中心轴在第jr个非零行向右遇到的第一个白色像素点,L、R分别用来存储点(il,jl)和点(ir,jr)的数组,L[il].x表示数组L第il个元素为x,与R[ir].x表示意义相同,xc为中心轴横坐标。本算法示意图如图6所示。
①从图像下底边开始,由中心轴向左右两边逐行扫描图像,将中心轴左、右两侧所有点(il,jl)和点(ir,jr)按分布区域归类,并按检测顺序分别存入L和R中。
②将两数组首元素L[0]和R[0]分别赋值给点(ils,jls)、(irs,jrs)并将两点分别作为左、右趋势线的第一个点。
③计算Dl[il]=xc-L[il].x、Dr[ir].x-xc,使用“冒泡法”分别寻找Dl和Dr最小值minl和minr,记录当前il和ir,将数组元素L[il]和R[ir]分别赋值给点(ile,jle)和(ire,jre),并将两点分别作为左、右趋势线的第二个点。
结合图7:有效候补点群的提取:
对生成数组L和R筛选出有效特征点,本研究算法具体描述如下:
阈值为TH,di为数组第i个元素到相应趋势线的距离0≤i≤N,N为元素个数,点(xi,yi)为数组第i个元素,趋势线l的一般方程为Ax+By+C=0。
①根据点到直线距离公式计算有效特征点di
点到直线的距离公式为:
②如果di≤T(T=1,表示一个像素距离的偏离,也就是将偏离趋势线一个单位像素距离内的所有点作为特征点),则(xi,yi)为树干与地面交点。
8)根据左右两侧提取的有效候补点群,采用最小二乘法拟合左右两侧边缘线。
9)求取导航基准线。求取图像每行中,处在左、右边缘线上的两点的几何中心点的坐标点,分别作为每一行的导航离散点,并采用最小二乘法拟合这些导航离散点簇,提取导航基准线。
导航基准线的算法示意图如图8所示。
10)进入下一帧图像,重复步骤1)到9),若当前帧数大于视频总帧数,路径检测停止。
实施例四:
结合图10,在视觉导航研究中,环境分类是一个重要的环节,本检测方法的分类依据如下:
图10是采用剖面线的方法分析田管时期三种不同环境像素整体分布规律。
图10(a)1#、2#、3#双箭头虚线表示当前剖面线上树干位置与其对应的R、G、B各个分量值。观察发现,树干所在区域R分量处于波峰,B、G分量较小,且R、B分量悬殊最大,采用|R-B|灰度化可以增强树干骨架和其他区域的对比度,为目标和背景分割奠定基础。
图10(b)的1#、2#、3#的分布无明显规律,但是,R、G、B分布曲线整体落差大,说明局部区域区分度比较明显。因此也可以采用色差法增强局部区域的对比度,为目标和背景分割奠定基础。
图10(c)中1#和4#的目标和背景比较相近。原因是中耕和剪枝环境土壤和树干颜色比较贴近,R、G、B分布比较平稳集中,局部区域区分度不大。说明不能使用RGB分量色差增强目标背景的对比度,需要采用其他方法增强目标区域的对比度。
基于以上分析,将剪枝施肥、杂草环境分为第一类图像进行分类研究,中耕环境分为第二类图像。
图10中选取了田管时期中耕作业、剪枝施肥、杂草丛生的三类环境特征(几乎涵盖田管时期枣园环境的特征)进行试验,代表图像分别为最左边一列。其中,每一行各为一个试验组,每组6张图像分别为原图像、最大类间方差法、梯形扫描去噪、灰度垂直投影去噪、小面积标记法去噪、边缘及导航基准线提取。其中最右边一列的两边条线条为左右边缘线,中心的直线为导航基准线。
至少可以达到以下有益效果:本发明针对新疆矮化密植枣园田管时期机械化作业环节特定场合下,采用机器视觉技术对拖拉机机械化运动作业时的视觉导航路径进行提取。系统可以实现不停车检测,大大降低了劳动强度,提高机械化作业效率,具有精度高、成本价格低等优点。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.针对矮化密植枣园田管作业视觉导航路径提取方法,其特征在于,包括提取导航基准线、左边缘线和右边缘线,具体包括:
步骤1:读取视频帧,从第一帧检测开始,图像灰度化;
步骤2:图像二值化,利用最大类间方差法对图像进行分割;
步骤3:消除行间区域白色噪声;
步骤4:通过亮度垂直投影法和膨胀法依次处理图像,提取树干骨架;
步骤5:利用小面积标记法取出图像中存在的小面积噪声;
步骤6:提取边缘点群;
步骤7:提取有效的边缘线候补点群;
步骤8:根据步骤7提取的候补点群,采用最小二乘法拟合左边缘线和右边缘线;
步骤9:求取导航基准线;
步骤10:进入下一帧图像,重复步骤1-步骤9,若当前帧数大于视频总帧数,停止路径检测。
2.根据权利要求1所述的针对矮化密植枣园田管作业视觉导航路径提取方法,其特征在于,在步骤1之前还包括对视频图像进行环境分类,将枣园环境的分为第一类作业环境和第二类作业环境,所述第一类作业环境包括杂草环境或剪枝施肥环境,所述第二类作业环境包括中耕作业环境。
3.根据权利要求2所述的针对矮化密植枣园田管作业视觉导航路径提取方法,其特征在于,第一类作业环境下,步骤1图像灰度化具体为采用|R-B|方法灰度化。
4.根据权利要求3所述的针对矮化密植枣园田管作业视觉导航路径提取方法,其特征在于,步骤3具体为,采用“行间去噪”剔除白色噪声:
设图像的宽乘高为M×N,利用灰度垂直投影方法求取图像y=t水平线以上部分区域的波谷点Pbottom(ic,0),计算波谷点左右两侧的点ls(ic-a,0),rs(ic+a,0);在直线x=ic两侧,图像底边分别找出点le(t,N-1)和点re(M-t,N-1),其中N、M分别为图像的高度和宽度,利用两点式方程求取梯形左侧腰的一般方程Alx+Bly+Cl=0;同理,利用点rs、re求取梯形右侧腰的一般方程Ar+Bry+Cr=0;由上往下逐行扫描图像,点(i,j)为当前扫描位置,若满足Alx+Bly+Cl≤0,且Ar+Bry+Cr≤0,则将点(i,j)像素点置0。
5.根据权利要求4所述的针对矮化密植枣园田管作业视觉导航路径提取方法,其特征在于,步骤4具体包括
步骤41:根据参数设置浮动窗口,行扫描检索左、右窗口区域白色像素点,根据分布区域分别将其横坐标存入数组Al、Ar中,而后用“冒泡法”找出Al的最大值maxl、Ar数组最小值minr,将Al、Ar清零;
步骤42:从点(maxl,hu)向左开始,以列扫描左窗口,统计每列白色像素数Wl(j),并计算第k个浮动左窗口白色像素点个数的平均值L0≤k≤T-1,若Wl(j)<_L_(k),则窗口中第j列非零灰度像素点置0;
步骤43:右窗口处理方法同左窗口,扫描方向与左窗口相反,起始点为(minr,hu),第j列白色像素数、平均数分别Wr(j),
步骤44:令hu=hd,hd=hd-hf,maxl=0,minr=M-1,T=T-1,如果T<0,跳转步骤45,否则,重复步骤41至步骤44;
步骤45:纵坐标在[0,hr]区域灰度非零像素点置0,终止。
6.根据权利要求5所述的针对矮化密植枣园田管作业视觉导航路径提取方法,其特征在于,步骤5具体包括:
步骤51:初始化标记值label=h,面积阈值为THs,面积标记计数器cnt=0;
步骤52:遍历扫描图像,若I(i,j)=I,则I(i,j)=label;
步骤53:检测与点(i,j)邻接的白像素点也附加相同的标记,每标记一个白像素点则cnt=cnt+1;
步骤54:将全部与附加标记像素点邻接的白像素附加同样的标识;
步骤55:直到邻接在一块的白像素完全被附加标识之前,循环第②个步骤。这样一块单独的白像素连接区域就附加了同样的标识;
步骤56:若cnt≤THs,则将当前所标记的连接成分的所有点(i,j)保存到位置记录数组pos中,label=label+1,若label≥I,终止标记;
步骤57:返回步骤52,重新检索新未标记的白像素,循环52至步骤57;
步骤58:图像全部扫描后,标记结束。
步骤59:遍历位置pos数组元素,将原图像对应的位置像素置0。
7.根据权利要求6所述的针对矮化密植枣园田管作业视觉导航路径提取方法,其特征在于,步骤6具体包括:
提取主干骨架基础上,以行扫描方式从图像底部往上检索,点(i,j)为当前扫描点,图像纵向中心线横坐标xc=0.5×M,其中M为图像长度;i,j分别为点横纵坐标,若当前扫描点灰度值p(i,j)=I,且p(i,j+1)=0,p(i+1,j)=0,i≤xc,将点(i,j)存入数组Al中;同理,若p(i,j)=I,p(i,j+1)=0,p(i-1,j)=0,将点(i,j)存入数组Ar中。
8.根据权利要求7所述的针对矮化密植枣园田管作业视觉导航路径提取方法,其特征在于,步骤7具体包括,首先确定图像中两条趋势线,即描述枣树分布列走势的直线,每帧图像中有左趋势线和右趋势线,而后以确定的趋势线为参考标准,利用点到直线的距离原理提取左、右两侧边缘的候补点群;趋势线的确定方法如下:
根据两点确定一条直线的数学原理,在左右两侧分别找出两个合适的点即可确定两条趋势线,两点的确定方法如下:
以图像纵向中心轴为界,点(il,jl)是中心轴在第jl个非零行向左遇到的第一个白色像素点坐标,点(ir,jr)是中心轴在第jr个非零行向右遇到的第一个白色像素点,L、R分别用来存储点(il,jl)和点(ir,jr)的数组,L[il].x表示数组L第il个元素为x,与R[ir].x表示意义相同,xc为中心轴横坐标;
对生成数组L和R筛选出有效特征点:
阈值为TH,di为数组第i个元素到相应趋势线的距离0≤i≤N,N为元素个数,点(xi,yi)为数组第i个元素,趋势线l的一般方程为Ax+By+C=0;
首先根据点到直线距离公式计算有效特征点di
点到直线的距离公式为:
如果di≤T,T=1,表示一个像素距离的偏离,也就是将偏离趋势线一个单位像素距离内的所有点作为特征点,则(xi,yi)为树干与地面交点。
9.根据权利要求8所述的针对矮化密植枣园田管作业视觉导航路径提取方法,其特征在于,步骤9中具体包括求取图像每行中,处在左、右边缘线上的两点的几何中心点的坐标点,分别作为每一行的导航离散点,并采用最小二乘法拟合这些导航离散点簇,提取导航基准线。
10.根据权利要求2所述的针对矮化密植枣园田管作业视觉导航路径提取方法,其特征在于,所述环境分类具体为,采用剖面线的方法分析田管时期不同环境像素整体分布规律实现环境分类。
CN201810312634.9A 2018-04-09 2018-04-09 针对矮化密植枣园田管作业视觉导航路径提取方法 Pending CN108509928A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810312634.9A CN108509928A (zh) 2018-04-09 2018-04-09 针对矮化密植枣园田管作业视觉导航路径提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810312634.9A CN108509928A (zh) 2018-04-09 2018-04-09 针对矮化密植枣园田管作业视觉导航路径提取方法

Publications (1)

Publication Number Publication Date
CN108509928A true CN108509928A (zh) 2018-09-07

Family

ID=63380966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810312634.9A Pending CN108509928A (zh) 2018-04-09 2018-04-09 针对矮化密植枣园田管作业视觉导航路径提取方法

Country Status (1)

Country Link
CN (1) CN108509928A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109580652A (zh) * 2018-10-30 2019-04-05 广州超音速自动化科技股份有限公司 一种电池极片质量检测方法、电子设备及存储介质
CN109709102A (zh) * 2019-01-17 2019-05-03 广州超音速自动化科技股份有限公司 模切机锂电池极片物理缺陷检测系统、方法及装置
CN110509293A (zh) * 2019-09-06 2019-11-29 北京云迹科技有限公司 工作环境分析方法、装置及机器人
CN112598727A (zh) * 2020-12-07 2021-04-02 长安大学 一种基于视觉压路机导航参数提取方法
CN112712534A (zh) * 2021-01-15 2021-04-27 山东理工大学 基于导航趋势线的玉米根茎导航基准线提取方法
CN113432597A (zh) * 2021-08-02 2021-09-24 华中农业大学 一种应用于复杂户外环境行间管理的复合视觉导航系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530606A (zh) * 2013-09-30 2014-01-22 中国农业大学 一种杂草环境下的农机导航路径提取方法
CN105989601A (zh) * 2015-12-30 2016-10-05 安徽农业大学 基于机器视觉的农业agv玉米行间导航基准线提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530606A (zh) * 2013-09-30 2014-01-22 中国农业大学 一种杂草环境下的农机导航路径提取方法
CN103530606B (zh) * 2013-09-30 2016-06-29 中国农业大学 一种杂草环境下的农机导航路径提取方法
CN105989601A (zh) * 2015-12-30 2016-10-05 安徽农业大学 基于机器视觉的农业agv玉米行间导航基准线提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
彭顺正: "矮化密植枣园田管作业视觉导航路径提取方法", 《中国优秀硕士学位论文全文数据库 农业科技辑(月刊 )》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109580652A (zh) * 2018-10-30 2019-04-05 广州超音速自动化科技股份有限公司 一种电池极片质量检测方法、电子设备及存储介质
CN109709102A (zh) * 2019-01-17 2019-05-03 广州超音速自动化科技股份有限公司 模切机锂电池极片物理缺陷检测系统、方法及装置
CN110509293A (zh) * 2019-09-06 2019-11-29 北京云迹科技有限公司 工作环境分析方法、装置及机器人
CN112598727A (zh) * 2020-12-07 2021-04-02 长安大学 一种基于视觉压路机导航参数提取方法
CN112598727B (zh) * 2020-12-07 2023-12-19 长安大学 一种基于视觉压路机导航参数提取方法
CN112712534A (zh) * 2021-01-15 2021-04-27 山东理工大学 基于导航趋势线的玉米根茎导航基准线提取方法
CN112712534B (zh) * 2021-01-15 2023-05-26 山东理工大学 基于导航趋势线的玉米根茎导航基准线提取方法
CN113432597A (zh) * 2021-08-02 2021-09-24 华中农业大学 一种应用于复杂户外环境行间管理的复合视觉导航系统

Similar Documents

Publication Publication Date Title
CN108509928A (zh) 针对矮化密植枣园田管作业视觉导航路径提取方法
Kong et al. General road detection from a single image
Zhang et al. Deep-learning-based in-field citrus fruit detection and tracking
CN108133471B (zh) 一种基于人工蜂群算法的机器人导航路径提取方法及装置
CN109556617A (zh) 一种自动建图机器人的地图要素提取方法
Kawamura et al. Discriminating crops/weeds in an upland rice field from UAV images with the SLIC-RF algorithm
CN103366156A (zh) 道路结构检测和跟踪
CN103530606B (zh) 一种杂草环境下的农机导航路径提取方法
CN109255302A (zh) 目标物识别方法及终端、移动装置控制方法及终端
Lin et al. Automatic detection of plant rows for a transplanter in paddy field using faster r-cnn
Gao et al. A spraying path planning algorithm based on colour-depth fusion segmentation in peach orchards
Baharav et al. In situ height and width estimation of sorghum plants from 2.5 d infrared images
Lin et al. Estimating litchi flower number using a multicolumn convolutional neural network based on a density map
Buddha et al. Weed detection and classification in high altitude aerial images for robot-based precision agriculture
Rasmussen et al. Appearance contrast for fast, robust trail-following
Lyu et al. Development of phenotyping system using low altitude UAV imagery and deep learning
Tu et al. An efficient crop row detection method for agriculture robots
CN113807309B (zh) 一种基于深度学习的果园机械行走路线规划方法
CN108364300A (zh) 蔬菜叶部病害图像分割方法、系统及计算机可读存储介质
Xiang et al. Field‐based robotic leaf angle detection and characterization of maize plants using stereo vision and deep convolutional neural networks
CN114689038A (zh) 基于机器视觉的果实检测定位与果园地图构建方法
Wang et al. Detection of corn plant population and row spacing using computer vision
CN114842326B (zh) 一种免定标檀香树植株缺苗定位方法
CN108765456B (zh) 基于直线边缘特征的目标跟踪方法、系统
Rasmussen et al. Trail following with omnidirectional vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180907

RJ01 Rejection of invention patent application after publication