CN102640622B - 采棉机导航信息图像检测方法及系统 - Google Patents

采棉机导航信息图像检测方法及系统 Download PDF

Info

Publication number
CN102640622B
CN102640622B CN201210112447.9A CN201210112447A CN102640622B CN 102640622 B CN102640622 B CN 102640622B CN 201210112447 A CN201210112447 A CN 201210112447A CN 102640622 B CN102640622 B CN 102640622B
Authority
CN
China
Prior art keywords
field
field picture
ysize
pixel
processing region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210112447.9A
Other languages
English (en)
Other versions
CN102640622A (zh
Inventor
陈兵旗
李景彬
刘阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN201210112447.9A priority Critical patent/CN102640622B/zh
Publication of CN102640622A publication Critical patent/CN102640622A/zh
Application granted granted Critical
Publication of CN102640622B publication Critical patent/CN102640622B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种采棉机导航信息图像检测方法及系统,涉及机器视觉导航技术领域,所述方法包括以下步骤:S1:采集当前棉田的待测棉田图像;S2:判断所述待测棉田图像是否为第一帧图像,若是,则进行第一帧图像的导航直线检测,返回步骤S1,否则进行非第一帧图像的导航直线检测;S3:进行田端检测,判断是否到达田端,若是,则结束检测,否则,返回步骤S1。本发明通过采集当前棉田的待测棉田图像,并对所述待测棉田图像进行相应的处理,实现了采棉机导航信息的自动检测,并且检测结果具备准确、稳定及快速等优点。

Description

采棉机导航信息图像检测方法及系统
技术领域
本发明涉及机器视觉导航技术领域,特别涉及一种采棉机导航信息图像检测方法及系统。
背景技术
自动导航技术是目前国内外自主行走农田作业机器人的研究热点之一,目前主要有GPS导航、机器视觉导航以及多传感器融合导航等方式。基于机器视觉的导航技术,由于能够适应复杂的田间作业环境、探测范围宽、信息丰富完整,受到国内外研究者的广泛关注。如何在自然环境下快速准确有效地提取农田机器人的行走路线是机器视觉导航的关键技术。
机械化收获是棉花产业发展的必然趋势。采棉机在田间作业时,棉田主要分为已收获区、未收获区、田端、田外区域等四个区域,但现有技术中并未实现通过采集图像来实现采棉机的自动导航。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是:如何通过采集棉田图像,实现采棉机导航信息的自动检测。
(二)技术方案
为解决上述技术问题,本发明提供了一种采棉机导航信息图像检测方法,所述方法包括以下步骤:
S1:采集当前棉田的待测棉田图像;
S2:判断所述待测棉田图像是否为第一帧图像,若是,则进行第一帧图像的导航直线检测,返回步骤S1,否则进行非第一帧图像的导航直线检测;
S3:进行田端检测,判断是否到达田端,若是,则结束检测,否则,返回步骤S1;
所述第一帧图像的导航直线检测具体包括以下步骤:
若所述第一帧图像是在田侧,则进行所述第一帧图像的田侧边缘线检测,若所述第一帧图像是在田间,则进行所述第一帧图像的分界直线检测;
所述非第一帧图像的导航直线检测具体包括以下步骤:
若所述非第一帧图像是在田侧,则进行所述非第一帧图像的田侧边缘线检测,若所述非第一帧图像是在田间,则进行所述非第一帧图像的分界直线检测。
优选地,所述第一帧图像的分界直线检测包括以下步骤:
A1:以所述第一帧图像左上方为原点,设所述第一帧图像上坐标分别为(sx,0)、(ex,0)、(sx,ysize)、以及(ex,ysize)的四个像素点所围成的区域为第一图像处理区域,其中,sx=xsize/2-M,ex=xsize/2+N,M、N为正整数,ysize为所述第一帧图像中纵轴方向的像素个数,xsize为所述第一帧图像中横轴方向的像素个数;
A2:获得所述第一图像处理区域中每个像素点的亮度值;
A3:对所述第一图像处理区域以第j行为中心分别往上下两个方向选择预设个数W的像素作为第一局部处理区域,对所述第一局部处理区域的像素进行垂直方向的亮度值累加,并将累加值保存至数组L1中,其中,0≤j≤ysize-W,W为正整数;
A4:设步长
Figure BDA0000153807200000021
利用移动平均法对所述数组L1中的数据进行平滑处理,并将平滑后的数据保存至数组L,其中,d=ex-sx+1,H为预设的正整数;
A5:查找所述数组L中的最低波谷点;
A6:对所述数组L中的数据,以所述最低波谷点向未收获区方向寻找波峰上升处的临界点的横坐标作为第j行的第一分界候补点;
A7:调整j的取值,返回步骤A3,直至0≤j≤ysize-W范围内的所有行均获得了第一分界候补点;
A8:通过下列公式计算Hough变换的已知点(X,Y),
X = 1 n Σ u = 0 n - 1 x u Y = 1 2 ysize
其中,xu为第u行的第一分界候补点的横坐标,n=ysize-W+1为第一分界候补点的个数;
A9:对所述第一分界候补点通过已知点(X,Y)进行Hough变换,以获得第一分界直线。
优选地,步骤A9之后还包括以下步骤:
A10:将所述第一分界直线上所有像素的坐标均保存至数组V中。
优选地,所述非第一帧图像的分界直线检测包括以下步骤:
B1:以所述非第一帧图像左上方为原点,设所述非第一帧图像上坐标分别为(sx,0)、(ex,0)、(sx,ysize)、以及(ex,ysize)的四个像素点所围成的区域为第二图像处理区域,其中,sx=xsize/2-M,ex=xsize/2+N,M、N为正整数,ysize为所述非第一帧图像中纵轴方向的像素个数,xsize为所述非第一帧图像中横轴方向的像素个数;
B2:获得所述第二图像处理区域中每个像素点的亮度值;
B3:对所述第二图像处理区域以第j行为中心分别往上下两个方向选择预设个数W的像素作为第二局部处理区域,对所述第二局部处理区域的像素进行垂直方向的亮度值累加,并将累加值保存至数组L1中,其中,0≤j≤ysize-W,W为正整数;
B4:设步长利用移动平均法对所述数组L1中的数据进行平滑处理,并将平滑后的数据保存至数组L,其中,d=ex-sx+1,H为预设的正整数;
B5:查找所述数组L中的最低波谷点;
B6:设所述最低波谷点向未收获区方向寻找波峰上升处的临界点横坐标为p,若满足以下式|p-V[j]|≤v,则将所述临界点p作为第j行的第二分界候补点,其中,V[j]为上一帧图像的分界直线上第j行的横坐标,v=tanα×ysize,α为允许的最大侧向偏转角,否则将所述V[j]作为第j行的第二分界候补点;
B7:调整j的取值,返回步骤B3,直至0≤j≤ysize-W范围内的所有行均获得了第二分界候补点;
B8:通过下列公式计算Hough变换的已知点(X,Y),
X = 1 n Σ u = 0 n - 1 x u Y = 1 2 ysize
其中,xu为第u行的第二分界候补点的横坐标,n=ysize-W+1为第二分界候补点的个数;
B9:对所述第二分界候补点通过已知点(X,Y)进行Hough变换,以获得第二分界直线;
B10:将所述第二分界直线上所有像素的坐标均保存至数组V中。
优选地,所述第一帧图像的田侧边缘线检测和所述非第一帧图像的田侧边缘线检测均包括以下步骤:
C1:以所述待测棉田图像左上方为原点,设所述待测棉田图像上坐标分别为(sx,0)、(ex,0)、(sx,ysize)、以及(ex,ysize)的四个像素点所围成的区域为图像处理区域,其中,sx=xsize/2-M,ex=xsize/2+N,M、N为正整数,ysize为所述待测棉田图像中纵轴方向的像素个数,xsize为所述待测棉田图像中横轴方向的像素个数;
C2:若所述图像处理区域内的当前像素满足下列公式,
| R - G | ≤ T 1 | G - B | ≤ T 1 | B - R | ≤ T 1
,则将当前像素标记为白色,否则将当前像素标记为黑色其中,R为当前像素的RGB值中的R分量,G为当前像素的RGB值中的G分量,B为当前像素的RGB值中的B分量,T1为预设的RGB阈值;
C3:将所述图像处理区域内的其它像素作为当前像素,返回步骤C2,直至所述图像处理区域内的所有像素均被选中过;
C4:对所述图像处理区域上的第i列为中心分别往左右两个方向选择预设个数Q的像素作为第一局部处理区域,统计所述第一局部处理区域上被标记为白色像素的个数z,若z≥ysize/2,则保留所述第i列的亮度值,否则将所述第i列的亮度值置为零,其中,Q<i<ex-sx,W为正整数;
C5:调整i的取值,返回步骤C4,直至Q<i<ex-sx范围内的所有列均被选中过;
C6:对所述图像处理区域以第j行为中心分别往上下两个方向选择预设个数W的像素作为第二局部处理区域,对所述第二局部处理区域的像素进行垂直方向的亮度值累加,并将累加值保存至数组L1中,其中,0≤j≤ysize-W,W为正整数;
C7:设步长
Figure BDA0000153807200000051
利用移动平均法对所述数组L1中的数据进行平滑处理,并将平滑后的数据保存至数组L,其中,d=ex-sx+1,H为预设的正整数;
C8:从田外区域向田内区域方向对数组L内的数据分别进行判断,若满足|L[q]|>T2时,则将L[q]对应的像素点的横坐标作为第j行的田侧边缘候补点,否则继续判断,其中,L[q]为数组L内第q个数据,T2为预设的亮度阈值;
C9:调整j的取值,返回步骤C6,直至0≤j≤ysize-W范围内的所有行均获得了田侧边缘候补点;
C10:通过下列公式计算Hough变换的已知点(X,Y),
X = 1 n Σ u = 0 n - 1 x u Y = 1 2 ysize
其中,xu为第u行的田侧边缘候补点的横坐标,n=ysize-W+1为田侧边缘候补点的个数;
C11:对所述田侧边缘候补点通过已知点(X,Y)进行Hough变换,以获得田侧边缘直线。
优选地,所述田端检测包括以下步骤:
D1:在所述待测棉田图像的未收获区域内选择预设区域作为检测窗口;
D2:若所述预设区域内的当前像素满足下列公式,
| R - G | ≤ T 1 | G - B | ≤ T 1 | B - R | ≤ T 1
,则将当前像素标记为白色,否则将当前像素标记为黑色,其中,R为当前像素的RGB值中的R分量,G为当前像素的RGB值中的G分量,B为当前像素的RGB值中的B分量,T1为预设的RGB阈值;
D3:将所述预设区域内的其它像素作为当前像素,返回步骤D2,直至所述预设区域内的所有像素均被选中过;
D4:统计所述预设区域内的白色像素的个数m,计算所述预设区域内的白色像素所占的比例k,若k≥T3,则调整所述预设区域的位置,并返回步骤S1,否则执行下一步,其中,T3为预设的比例;
D5:对所述预设区域进行从下至上的逐行扫描,并统计当前行的白色像素所占的比例kh,若kh≥T3,则扫描继续,否则就将当前行作为所检测的田端。
本发明还公开了一种采棉机导航信息图像检测系统,所述系统包括:
采集模块,用于采集当前棉田的待测棉田图像;
导航直线检测模块,用于判断所述待测棉田图像是否为第一帧图像,若是,则进行第一帧图像的导航直线检测,返回采集模块,否则进行非第一帧图像的导航直线检测;
田端检测模块,用于进行田端检测,判断是否到达田端,若是,则结束检测,否则,返回采集模块;
所述第一帧图像的导航直线检测具体包括:
若所述第一帧图像是在田侧,则进行所述第一帧图像的田侧边缘线检测,若所述第一帧图像是在田间,则进行所述第一帧图像的分界直线检测;
所述非第一帧图像的导航直线检测具体包括:
若所述非第一帧图像是在田侧,则进行所述非第一帧图像的田侧边缘线检测,若所述非第一帧图像是在田间,则进行所述非第一帧图像的分界直线检测。
(三)有益效果
本发明通过采集当前棉田的待测棉田图像,并对所述待测棉田图像进行相应的处理,实现了采棉机导航信息的自动检测,并且检测结果具备准确、稳定及快速等优点。
附图说明
图1是本发明的方法的硬件结构的结构示意图;
图2是按照本发明一种实施方式的采棉机导航信息图像检测方法的流程图;
图3是图2所示的方法中局部处理区域的设置示意图;
图4是图2所示的方法中进行hough变换的示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
图1是本发明的方法的硬件结构的结构示意图,参照图1,采棉机的田间作业方式为梭形作业,由于采棉机作业幅宽大,所以需要两台摄像机分别安装在采棉机最左侧和最右侧的采摘头上,在已收获区与未收获区的分界线上进行图像采图。
本发明采用的摄像机输出为彩色图像,图像的大小为640×480像素,摄像机安装的高度和俯视角度,在能够获得控制农业机械正常行走所需要的区域分界线长度的基础上,以尽量拍摄到近视野信息为原则进行确定。
图2是按照本发明一种实施方式的采棉机导航信息图像检测方法的流程图;参照图2,本实施方式的方法包括以下步骤:
S1:采集当前棉田的待测棉田图像;
S2:判断所述待测棉田图像是否为第一帧图像,若是,则进行第一帧图像的导航直线检测(导航直线分为田侧边缘线和分界直线),返回步骤S1,否则进行非第一帧图像的导航直线检测;
S3:进行田端检测,判断是否到达田端,若是,则结束检测,否则,返回步骤S1;
所述第一帧图像的导航直线检测具体包括以下步骤:
若所述第一帧图像是在田侧,则进行所述第一帧图像的田侧边缘线检测,若所述第一帧图像是在田间,则进行所述第一帧图像的分界直线检测;
所述非第一帧图像的导航直线检测具体包括以下步骤:
若所述非第一帧图像是在田侧,则进行所述非第一帧图像的田侧边缘线检测,若所述非第一帧图像是在田间,则进行所述非第一帧图像的分界直线检测。
优选地,所述第一帧图像的分界直线检测包括以下步骤:
A1:以所述第一帧图像左上方为原点,设所述第一帧图像上坐标分别为(sx,0)、(ex,0)、(sx,ysize)、以及(ex,ysize)的四个像素点所围成的区域为第一图像处理区域,其中,sx=xsize/2-M,ex=xsize/2+N,M、N为正整数,ysize为所述第一帧图像中纵轴方向的像素个数,xsize为所述第一帧图像中横轴方向的像素个数,本实施方式中,M=N=80;
A2:获得所述第一图像处理区域中每个像素点的亮度值E;计算公式为:E=3×B-R-G,其中,R为当前像素的RGB值中的红(R)分量,G为当前像素的RGB值中的绿(G)分量,B为当前像素的RGB值中的蓝(B)分量;
A3:参照图3,对所述第一图像处理区域以第j行为中心(即图中的“C”)分别往上下两个方向选择预设个数W的像素作为第一局部处理区域,对所述第一局部处理区域的像素进行垂直方向的亮度值累加,并将累加值保存至数组L1中,其中,0≤j≤ysize-W,W为正整数,本实施方式中,W=10;
A4:设步长
Figure BDA0000153807200000091
利用移动平均法对所述数组L1中的数据进行平滑处理,并将平滑后的数据保存至数组L,其中,d=ex-sx+1,H为预设的正整数,本实施方式中,H的取值为16;
A5:查找所述数组L中的最低波谷点;设定初始值从i=0(0≤i≤ex-sx),开始扫描数组L,当L[i]≤bmin时,记录bmin=L[i],p1=i+sx。数组扫描结束后,pb=p1即为最低波谷点在所述第一帧图像上的横坐标,
Figure BDA0000153807200000093
为第一图像处理区域内像素的亮度平均值,且计算公式为:
E 1 ‾ = 1 ysize × ( ex - sx + 1 ) Σ j = 0 ysize - 1 Σ i = sx ex E ij ,
其中,Ejj为第一图像处理区域内第j行第i列的像素的亮度值。
A6:对所述数组L中的数据,以所述最低波谷点向未收获区方向寻找波峰上升处的临界点的横坐标作为第j行的第一分界候补点;以右侧棉花已收获为例寻找边缘像素点,设阈值为T,从所述第一图像处理区域内横坐标为p=pb-sx(0≤p≤pb-sx)开始扫描数组L,当|L[p]-bmin|≤T时,记录p2=p+sx,继续扫描,直到|L[p]-bmin|≥T时,跳出循环,并将当前的横坐标p作为第j行的第一分界候补点。通过实验分析棉花行间的颜色变化及波谷区域的变化特点,本实施方式中,取T=8.0×D,D为第一图像处理区域内像素的亮度标准偏差,计算公式为:
D = 1 ysize × ( ex - sx + 1 ) - 1 [ Σ j = 0 ysize Σ i = sx ex ( E 1 ‾ - E ij ) 2 ] .
A7:调整j的取值,返回步骤A3,直至0≤j≤ysize-W范围内的所有行均获得了第一分界候补点;
A8:通过下列公式计算Hough变换的已知点(X,Y),
X = 1 n Σ u = 0 n - 1 x u Y = 1 2 ysize
其中,xu为第u行的第一分界候补点的横坐标,n=ysize-W+1为第一分界候补点的个数;
A9:参照图4,对所述第一分界候补点(即图中的“Hough变换的候补点集群”)通过已知点(X,Y)进行Hough变换,以获得第一分界直线(即图中的“目标直线”)。
优选地,步骤A9之后还包括以下步骤:
A10:将所述第一分界直线上所有像素的坐标均保存至数组V中。
优选地,所述非第一帧图像的分界直线检测包括以下步骤:
B1:以所述非第一帧图像左上方为原点,设所述非第一帧图像上坐标分别为(sx,0)、(ex,0)、(sx,ysize)、以及(ex,ysize)的四个像素点所围成的区域为第二图像处理区域,其中,sx=xsize/2-M,ex=xsize/2+N,M、N为正整数,ysize为所述非第一帧图像中纵轴方向的像素个数,xsize为所述非第一帧图像中横轴方向的像素个数;
B2:获得所述第二图像处理区域中每个像素点的亮度值(本实施方式中,亮度值的计算采用的计算公式与A2相同);
B3:对所述第二图像处理区域以第j行为中心分别往上下两个方向选择预设个数W的像素作为第二局部处理区域,对所述第二局部处理区域的像素进行垂直方向的亮度值累加,并将累加值保存至数组L1中,其中,0≤j≤ysize-W,W为正整数,本实施方式中,W=10;
B4:设步长
Figure BDA0000153807200000102
利用移动平均法对所述数组L1中的数据进行平滑处理,并将平滑后的数据保存至数组L,其中,d=ex-sx+1,H为预设的正整数,本实施方式中,H的取值为16;
B5:查找所述数组L中的最低波谷点(本实施方式中,查找方式与A5相同);
B6:设所述最低波谷点向未收获区方向寻找波峰上升处的临界点横坐标为p,若满足以下式|p-V[j]|≤v,则将所述临界点p作为第j行的第二分界候补点,其中,V[j]为上一帧图像的分界直线上第j行的横坐标,v=tanα×ysize,α为允许的最大侧向偏转角(本实施方式中,α=3°),否则将所述V[j]作为第j行的第二分界候补点;
B7:调整j的取值,返回步骤B3,直至0≤j≤ysize-W范围内的所有行均获得了第二分界候补点;
B8:通过下列公式计算Hough变换的已知点(X,Y),
X = 1 n Σ u = 0 n - 1 x u Y = 1 2 ysize
其中,xu为第u行的第二分界候补点的横坐标,n=ysize-W+1为第二分界候补点的个数;
B9:对所述第二分界候补点通过已知点(X,Y)进行Hough变换,以获得第二分界直线;
B10:将所述第二分界直线上所有像素的坐标均保存至数组V中。
田侧边缘为采棉机首次进地作业时的导航目标线。田侧边缘线将棉田为分为左右两侧,一侧为田内棉花区域,另一侧为田外区域,田外区域情况比较复杂,一般由空地、杂草或则其他作物组成。而由于田内区域棉花特征较为明显,因此将棉花区域的边缘作为田侧边缘线的检测目标,以此作为采棉机首次作业时的导航目标线。由于采棉机首次进地作业的方向不同,田内区域和田外区域分布在田侧边缘的左右不同的两侧,本实施方式以田外区域在田侧边缘的右侧的情况来说明本发明。优选地,所述第一帧图像的田侧边缘线检测和所述非第一帧图像的田侧边缘线检测均包括以下步骤:
C1:以所述待测棉田图像左上方为原点,设所述待测棉田图像上坐标分别为(sx,0)、(ex,0)、(sx,ysize)、以及(ex,ysize)的四个像素点所围成的区域为图像处理区域,其中,sx=xsize/2-M,ex=xsize/2+N,M、N为正整数,ysize为所述待测棉田图像中纵轴方向的像素个数,xsize为所述待测棉田图像中横轴方向的像素个数;
C2:若所述图像处理区域内的当前像素满足下列公式,
| R - G | ≤ T 1 | G - B | ≤ T 1 | B - R | ≤ T 1
,则将当前像素标记为白色,否则将当前像素标记为黑色其中,R为当前像素的RGB值中的R分量,G为当前像素的RGB值中的G分量,B为当前像素的RGB值中的B分量,T1为预设的RGB阈值;经过分析棉花目标和田外区域的颜色特性差异,棉花为白色,其R、G、B分量值十分接近,经过试验表明,当T1取值为10时,可以较好提取棉花目标。
C3:将所述图像处理区域内的其它像素作为当前像素,返回步骤C2,直至所述图像处理区域内的所有像素均被选中过;
C4:对所述图像处理区域上的第i列为中心分别往左右两个方向选择预设个数Q(本实施方式中,Q=2)的像素作为第一局部处理区域,统计所述第一局部处理区域上被标记为白色像素的个数z,若z≥ysize/2,则保留所述第i列的亮度值,否则将所述第i列的亮度值置为零,其中,Q<i<ex-sx,W为正整数;
C5:调整i的取值,返回步骤C4,直至Q<i<ex-sx范围内的所有列均被选中过;
C6:对所述图像处理区域以第j行为中心分别往上下两个方向选择预设个数W的像素作为第二局部处理区域,对所述第二局部处理区域的像素进行垂直方向的亮度值累加,并将累加值保存至数组L1中,其中,0≤j≤ysize-W,W为正整数;
C7:设步长
Figure BDA0000153807200000122
利用移动平均法对所述数组L1中的数据进行平滑处理,并将平滑后的数据保存至数组L,其中,d=ex-sx+1,H为预设的正整数,本实施方式中,H的取值为16;
C8:从田外区域向田内区域方向对数组L内的数据分别进行判断,若满足|L[q]|>T2时,则将L[q]对应的像素点的横坐标作为第j行的田侧边缘候补点,否则继续判断,其中,L[q]为数组L内第q个数据,T2为预设的亮度阈值;
C9:调整j的取值,返回步骤C6,直至0≤j≤ysize-W范围内的所有行均获得了田侧边缘候补点;
C10:通过下列公式计算Hough变换的已知点(X,Y),
X = 1 n Σ u = 0 n - 1 x u Y = 1 2 ysize
其中,xu为第u行的田侧边缘候补点的横坐标,n=ysize-W+1为田侧边缘候补点的个数;
C11:对所述田侧边缘候补点通过已知点(X,Y)进行Hough变换,以获得田侧边缘直线。
田端为采棉机行驶方向上的终止边界,因此在采棉机作业过程中,要实时判定采棉机是否到达田端。在处于收获期的棉田田端,为了保证采棉机在田端有充足的转弯掉头空间,一般将田端的棉花人工采摘一段距离,因此田端有明显的颜色突变,可利用局部窗口的亮度值突变有效检测田端。田端检测的基本思路为:可以在每帧图像检测目标直线之前,先在局部图像处理窗口内判定是否达到田端。优选地,所述田端检测包括以下步骤:
D1:在所述待测棉田图像的未收获区域内选择预设区域作为检测窗口;以左侧棉花未收获为例,窗口起点为(0,0),终点为(ex,80)。
D2:若所述预设区域内的当前像素满足下列公式,
| R - G | ≤ T 1 | G - B | ≤ T 1 | B - R | ≤ T 1
,则将当前像素标记为白色,否则将当前像素标记为黑色,其中,R为当前像素的RGB值中的R分量,G为当前像素的RGB值中的G分量,B为当前像素的RGB值中的B分量,T1为预设的RGB阈值;
D3:将所述预设区域内的其它像素作为当前像素,返回步骤D2,直至所述预设区域内的所有像素均被选中过;
D4:统计所述预设区域内的白色像素的个数m,计算所述预设区域内的白色像素所占的比例k,若k≥T3,则调整所述预设区域的位置,并返回步骤S1,否则执行下一步,其中,T3为预设的比例;
D5:对所述预设区域进行从下至上的逐行扫描(本实施方式中从j=80行开始逐行扫描),并统计当前行的白色像素所占的比例kh,若kh≥T3,则扫描继续,否则就将当前行作为所检测的田端,本实施方式中,T3取值为0.3。
本发明还公开了一种采棉机导航信息图像检测系统,所述系统包括:
采集模块,用于采集当前棉田的待测棉田图像;
导航直线检测模块,用于判断所述待测棉田图像是否为第一帧图像,若是,则进行第一帧图像的导航直线检测,返回采集模块,否则进行非第一帧图像的导航直线检测;
田端检测模块,用于进行田端检测,判断是否到达田端,若是,则结束检测,否则,返回采集模块;
所述第一帧图像的导航直线检测具体包括:
若所述第一帧图像是在田侧,则进行所述第一帧图像的田侧边缘线检测,若所述第一帧图像是在田间,则进行所述第一帧图像的分界直线检测;
所述非第一帧图像的导航直线检测具体包括:
若所述非第一帧图像是在田侧,则进行所述非第一帧图像的田侧边缘线检测,若所述非第一帧图像是在田间,则进行所述非第一帧图像的分界直线检测。
以上实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明的范畴,本发明的专利保护范围应由权利要求限定。

Claims (6)

1.一种采棉机导航信息图像检测方法,其特征在于,所述方法包括以下步骤:
S1:采集当前棉田的待测棉田图像;
S2:判断所述待测棉田图像是否为第一帧图像,若是,则进行第一帧图像的导航直线检测,返回步骤S1,否则进行非第一帧图像的导航直线检测;
S3:进行田端检测,判断是否到达田端,若是,则结束检测,否则,返回步骤S1;
所述第一帧图像的导航直线检测具体包括以下步骤:
若所述第一帧图像是在田侧,则进行所述第一帧图像的田侧边缘线检测,若所述第一帧图像是在田间,则进行所述第一帧图像的分界直线检测;
所述非第一帧图像的导航直线检测具体包括以下步骤:
若所述非第一帧图像是在田侧,则进行所述非第一帧图像的田侧边缘线检测,若所述非第一帧图像是在田间,则进行所述非第一帧图像的分界直线检测;
其中,所述第一帧图像的分界直线检测包括以下步骤:
A1:以所述第一帧图像左上方为原点,设所述第一帧图像上坐标分别为(sx,0)、(ex,0)、(sx,ysize)、以及(ex,ysize)的四个像素点所围成的区域为第一图像处理区域,其中,sx=xsize/2-M,ex=xsize/2+N,M、N为正整数,ysize为所述第一帧图像中纵轴方向的像素个数,xsize为所述第一帧图像中横轴方向的像素个数;
A2:获得所述第一图像处理区域中每个像素点的亮度值;
A3:对所述第一图像处理区域以第j行为中心分别往上下两个方向选择预设个数W的像素作为第一局部处理区域,对所述第一局部处理区域的像素进行垂直方向的亮度值累加,并将累加值保存至数组L1中,其中,0≤j≤ysize-W,W为正整数;
A4:设步长
Figure FDA0000372019900000021
利用移动平均法对所述数组L1中的数据进行平滑处理,并将平滑后的数据保存至数组L,其中,d=ex-sx+1,H为预设的正整数;
A5:查找所述数组L中的最低波谷点;
A6:对所述数组L中的数据,以所述最低波谷点向未收获区方向寻找波峰上升处的临界点的横坐标作为第j行的第一分界候补点;
A7:调整j的取值,返回步骤A3,直至0≤j≤ysize-W范围内的所有行均获得了第一分界候补点;
A8:通过下列公式计算Hough变换的已知点(X,Y),
X = 1 n Σ u = 0 n - 1 x u Y = 1 2 ysize
其中,xu为第u行的第一分界候补点的横坐标,n=ysize-W+1为第一分界候补点的个数;
A9:对所述第一分界候补点通过已知点(X,Y)进行Hough变换,以获得第一分界直线。
2.如权利要求1所述的方法,其特征在于,步骤A9之后还包括以下步骤:
A10:将所述第一分界直线上所有像素的坐标均保存至数组V中。
3.如权利要求2所述的方法,其特征在于,所述非第一帧图像的分界直线检测包括以下步骤:
B1:以所述非第一帧图像左上方为原点,设所述非第一帧图像上坐标分别为(sx,0)、(ex,0)、(sx,ysize)、以及(ex,ysize)的四个像素点所围成的区域为第二图像处理区域,其中,sx=xsize/2-M,ex=xsize/2+N,M、N为正整数,ysize为所述非第一帧图像中纵轴方向的像素个数,xsize为所述非第一帧图像中横轴方向的像素个数;
B2:获得所述第二图像处理区域中每个像素点的亮度值;
B3:对所述第二图像处理区域以第j行为中心分别往上下两个方向选择预设个数W的像素作为第二局部处理区域,对所述第二局部处理区域的像素进行垂直方向的亮度值累加,并将累加值保存至数组L1中,其中,0≤j≤ysize-W,W为正整数;
B4:设步长
Figure FDA0000372019900000031
利用移动平均法对所述数组L1中的数据进行平滑处理,并将平滑后的数据保存至数组L,其中,d=ex-sx+1,H为预设的正整数;
B5:查找所述数组L中的最低波谷点;
B6:设所述最低波谷点向未收获区方向寻找波峰上升处的临界点横坐标为p,若满足以下式|p-V[j]|≤v,则将所述临界点p作为第j行的第二分界候补点,其中,V[j]为上一帧图像的分界直线上第j行的横坐标,v=tanα×ysize,α为允许的最大侧向偏转角,否则将所述V[j]作为第j行的第二分界候补点;
B7:调整j的取值,返回步骤B3,直至0≤j≤ysize-W范围内的所有行均获得了第二分界候补点;
B8:通过下列公式计算Hough变换的已知点(X,Y),
X = 1 n Σ u = 0 n - 1 x u Y = 1 2 ysize
其中,xu为第u行的第二分界候补点的横坐标,n=ysize-W+1为第二分界候补点的个数;
B9:对所述第二分界候补点通过已知点(X,Y)进行Hough变换,以获得第二分界直线;
B10:将所述第二分界直线上所有像素的坐标均保存至数组V中。
4.如权利要求1所述的方法,其特征在于,所述第一帧图像的田侧边缘线检测和所述非第一帧图像的田侧边缘线检测均包括以下步骤:
C1:以所述待测棉田图像左上方为原点,设所述待测棉田图像上坐标分别为(sx,0)、(ex,0)、(sx,ysize)、以及(ex,ysize)的四个像素点所围成的区域为图像处理区域,其中,sx=xsize/2-M,ex=xsize/2+N,M、N为正整数,ysize为所述待测棉田图像中纵轴方向的像素个数,xsize为所述待测棉田图像中横轴方向的像素个数;
C2:若所述图像处理区域内的当前像素满足下列公式,
| R - G | ≤ T 1 | G - B | ≤ T 1 | B - R | ≤ T 1
,则将当前像素标记为白色,否则将当前像素标记为黑色其中,R为当前像素的RGB值中的R分量,G为当前像素的RGB值中的G分量,B为当前像素的RGB值中的B分量,T1为预设的RGB阈值;
C3:将所述图像处理区域内的其它像素作为当前像素,返回步骤C2,直至所述图像处理区域内的所有像素均被选中过;
C4:对所述图像处理区域上的第i列为中心分别往左右两个方向选择预设个数Q的像素作为第一局部处理区域,统计所述第一局部处理区域上被标记为白色像素的个数z,若z≥ysize/2,则保留所述第i列的亮度值,否则将所述第i列的亮度值置为零,其中,Q<i<ex-sx,W为正整数;
C5:调整i的取值,返回步骤C4,直至Q<i<ex-sx范围内的所有列均被选中过;
C6:对所述图像处理区域以第j行为中心分别往上下两个方向选择预设个数W的像素作为第二局部处理区域,对所述第二局部处理区域的像素进行垂直方向的亮度值累加,并将累加值保存至数组L1中,其中,0≤j≤ysize-W,W为正整数;
C7:设步长
Figure FDA0000372019900000042
利用移动平均法对所述数组L1中的数据进行平滑处理,并将平滑后的数据保存至数组L,其中,d=ex-sx+1,H为预设的正整数;
C8:从田外区域向田内区域方向对数组L内的数据分别进行判断,若满足|L[q]|>T2时,则将L[q]对应的像素点的横坐标作为第j行的田侧边缘候补点,否则继续判断,其中,L[q]为数组L内第q个数据,T2为预设的亮度阈值;
C9:调整j的取值,返回步骤C6,直至0≤j≤ysize-W范围内的所有行均获得了田侧边缘候补点;
C10:通过下列公式计算Hough变换的已知点(X,Y),
X = 1 n &Sigma; u = 0 n - 1 x u Y = 1 2 ysize
其中,xu为第u行的田侧边缘候补点的横坐标,n=ysize-W+1为田侧边缘候补点的个数;
C11:对所述田侧边缘候补点通过已知点(X,Y)进行Hough变换,以获得田侧边缘直线。
5.如权利要求1所述的方法,其特征在于,所述田端检测包括以下步骤:
D1:在所述待测棉田图像的未收获区域内选择预设区域作为检测窗口;
D2:若所述预设区域内的当前像素满足下列公式,
| R - G | &le; T 1 | G - B | &le; T 1 | B - R | &le; T 1
,则将当前像素标记为白色,否则将当前像素标记为黑色,其中,R为当前像素的RGB值中的R分量,G为当前像素的RGB值中的G分量,B为当前像素的RGB值中的B分量,T1为预设的RGB阈值;
D3:将所述预设区域内的其它像素作为当前像素,返回步骤D2,直至所述预设区域内的所有像素均被选中过;
D4:统计所述预设区域内的白色像素的个数m,计算所述预设区域内的白色像素所占的比例k,若k≥T3,则调整所述预设区域的位置,并返回步骤S1,否则执行下一步,其中,T3为预设的比例;
D5:对所述预设区域进行从下至上的逐行扫描,并统计当前行的白色像素所占的比例kh,若kh≥T3,则扫描继续,否则就将当前行作为所检测的田端。
6.一种采棉机导航信息图像检测系统,其特征在于,所述系统包括:
采集模块,用于采集当前棉田的待测棉田图像;
导航直线检测模块,用于判断所述待测棉田图像是否为第一帧图像,若是,则进行第一帧图像的导航直线检测,返回采集模块,否则进行非第一帧图像的导航直线检测;
田端检测模块,用于进行田端检测,判断是否到达田端,若是,则结束检测,否则,返回采集模块;
所述第一帧图像的导航直线检测具体包括:
若所述第一帧图像是在田侧,则进行所述第一帧图像的田侧边缘线检测,若所述第一帧图像是在田间,则进行所述第一帧图像的分界直线检测;
所述非第一帧图像的导航直线检测具体包括:
若所述非第一帧图像是在田侧,则进行所述非第一帧图像的田侧边缘线检测,若所述非第一帧图像是在田间,则进行所述非第一帧图像的分界直线检测;
所述第一帧图像的分界直线检测包括以下步骤:
A1:以所述第一帧图像左上方为原点,设所述第一帧图像上坐标分别为(sx,0)、(ex,0)、(sx,ysize)、以及(ex,ysize)的四个像素点所围成的区域为第一图像处理区域,其中,sx=xsize/2-M,ex=xsize/2+N,M、N为正整数,ysize为所述第一帧图像中纵轴方向的像素个数,xsize为所述第一帧图像中横轴方向的像素个数;
A2:获得所述第一图像处理区域中每个像素点的亮度值;
A3:对所述第一图像处理区域以第j行为中心分别往上下两个方向选择预设个数W的像素作为第一局部处理区域,对所述第一局部处理区域的像素进行垂直方向的亮度值累加,并将累加值保存至数组L1中,其中,0≤j≤ysize-W,W为正整数;
A4:设步长
Figure FDA0000372019900000071
利用移动平均法对所述数组L1中的数据进行平滑处理,并将平滑后的数据保存至数组L,其中,d=ex-sx+1,H为预设的正整数;
A5:查找所述数组L中的最低波谷点;
A6:对所述数组L中的数据,以所述最低波谷点向未收获区方向寻找波峰上升处的临界点的横坐标作为第j行的第一分界候补点;
A7:调整j的取值,返回步骤A3,直至0≤j≤ysize-W范围内的所有行均获得了第一分界候补点;
A8:通过下列公式计算Hough变换的已知点(X,Y),
X = 1 n &Sigma; u = 0 n - 1 x u Y = 1 2 ysize
其中,xu为第u行的第一分界候补点的横坐标,n=ysize-W+1为第一分界候补点的个数;
A9:对所述第一分界候补点通过已知点(X,Y)进行Hough变换,以获得第一分界直线。
CN201210112447.9A 2012-04-16 2012-04-16 采棉机导航信息图像检测方法及系统 Expired - Fee Related CN102640622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210112447.9A CN102640622B (zh) 2012-04-16 2012-04-16 采棉机导航信息图像检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210112447.9A CN102640622B (zh) 2012-04-16 2012-04-16 采棉机导航信息图像检测方法及系统

Publications (2)

Publication Number Publication Date
CN102640622A CN102640622A (zh) 2012-08-22
CN102640622B true CN102640622B (zh) 2014-01-15

Family

ID=46653904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210112447.9A Expired - Fee Related CN102640622B (zh) 2012-04-16 2012-04-16 采棉机导航信息图像检测方法及系统

Country Status (1)

Country Link
CN (1) CN102640622B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751199B (zh) * 2013-12-30 2017-11-24 华中科技大学 一种棉花裂铃期自动检测方法
CN105165255B (zh) * 2015-09-02 2017-07-14 安徽农业大学 一种基于计算机视觉技术的智能采棉机系统
CN108153303B (zh) * 2017-12-13 2020-12-18 嘉兴科禾能源科技有限公司 一种农业机械的田间道路自动导航定位装置及方法
CN112712555B (zh) * 2021-01-12 2024-03-05 中国农业大学 一种茯苓表皮视觉定位方法
CN114260894A (zh) * 2021-12-22 2022-04-01 上海科技大学 全自动采棉机器人及控制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7516603B2 (en) * 2007-07-20 2009-04-14 Lanney Bennett Cotton stripper row unit
JP5121508B2 (ja) * 2008-03-03 2013-01-16 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
CN101750051A (zh) * 2010-01-04 2010-06-23 中国农业大学 一种视觉导航的多作物行检测方法
CN101990796B (zh) * 2010-09-13 2012-07-18 中国农业大学 基于机器视觉的锄草机器人系统及方法

Also Published As

Publication number Publication date
CN102640622A (zh) 2012-08-22

Similar Documents

Publication Publication Date Title
CN102640622B (zh) 采棉机导航信息图像检测方法及系统
CN105987684A (zh) 一种基于单目视觉的农业车辆导航线检测系统及方法
CN111753577B (zh) 自动采摘机器人中的苹果识别与定位方法
CN103914836B (zh) 基于机器视觉的农田机械导航线提取算法
CN102999757B (zh) 导航线提取方法
CN103336966B (zh) 一种应用于农业智能机械的杂草图像辨识方法
CN110879401A (zh) 基于相机和激光雷达的无人驾驶平台实时目标3d检测方法
CN101750051A (zh) 一种视觉导航的多作物行检测方法
WO2021226900A1 (zh) 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质
CN103366156A (zh) 道路结构检测和跟踪
CN106157323A (zh) 一种动态分块阈值和块搜索结合的绝缘子分割提取方法
CN110070571B (zh) 一种基于深度相机的毛竹形态参数检测方法
CN112395984B (zh) 一种用于无人驾驶农业机械的苗列导航线检测方法
CN102393902A (zh) 基于h_s二维直方图和区域颜色匹配的车辆颜色检测方法
CN102750584A (zh) 玉米粒在穗计数方法
Grocholsky et al. A camera and laser system for automatic vine balance assessment
CN107480678A (zh) 一种棋盘识别方法和识别系统
CN113450402B (zh) 用于蔬菜大棚巡检机器人的导航中心线提取方法
EP3961568A1 (en) Crop growth measurement system based on crop images, and method thereof
CN106815556A (zh) 一种多数据类型的平面群集运动数据采集系统
CN109472826A (zh) 基于双目视觉的定位方法及装置
CN106683069A (zh) 农田苗期行内作物-杂草识别方法
CN115451965B (zh) 基于双目视觉的插秧机插植系统相对航向信息检测方法
CN108171713A (zh) 基于视觉的机器人快速识别与三维视觉定位方法
CN106417104A (zh) 养殖鱼类游动方向测定系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140115

Termination date: 20160416