CN109145722B - 作物行识别方法及装置 - Google Patents

作物行识别方法及装置 Download PDF

Info

Publication number
CN109145722B
CN109145722B CN201810744108.XA CN201810744108A CN109145722B CN 109145722 B CN109145722 B CN 109145722B CN 201810744108 A CN201810744108 A CN 201810744108A CN 109145722 B CN109145722 B CN 109145722B
Authority
CN
China
Prior art keywords
crop row
area
image
crop
midpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810744108.XA
Other languages
English (en)
Other versions
CN109145722A (zh
Inventor
赵学观
王秀
王松林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Research Center of Intelligent Equipment for Agriculture
Original Assignee
Beijing Research Center of Intelligent Equipment for Agriculture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Research Center of Intelligent Equipment for Agriculture filed Critical Beijing Research Center of Intelligent Equipment for Agriculture
Priority to CN201810744108.XA priority Critical patent/CN109145722B/zh
Publication of CN109145722A publication Critical patent/CN109145722A/zh
Application granted granted Critical
Publication of CN109145722B publication Critical patent/CN109145722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics

Abstract

本发明实施例提供一种作物行识别方法及装置,所述方法包括:通过逆透视变换矩阵将作物行透视图转换为作物行鸟瞰图,作物行透视图是根据与路面成仰俯角的摄像头拍摄得到;在作物行鸟瞰图中选取第一区域和第二区域,获取第一区域的第一垂直投影图像的作物行边缘点和第二区域的第二垂直投影图像的作物行边缘点;获取第一垂直投影图像每一作物行左右边缘点的中点为第一中点,获取第二垂直投影图像每一作物行左右边缘点的中点为第二中点;将同一作物行对应的第一中点和第二中点连成直线,得到作物行鸟瞰图中的作物行。本发明实施例提供的作物行识别方法及装置,利用逆透视变换消除了图像几何失真,引入了作物行的结构性约束,提高了方法的鲁棒性。

Description

作物行识别方法及装置
技术领域
本发明实施例涉及机器视觉领域,尤其涉及一种作物行识别方法及装置。
背景技术
近几十年来,农业环境问题越来越受到重视。过量的化肥、农药的施用对环境造成不利影响,同时增加了投入。如果化肥、农药被施加在作物行特定的位置可以减少化肥、农药的使用,为了实现化肥、农药的精准定位施用及不伤苗的作业要求,识别作物行尤为重要。由于实际生产种植中,许多农作物通常是整齐地按直线、彼此间平行的方式种植,因此在精准农业中,一个研究热点即是从图形中识别出作物行,检测出作物线,为农药定位喷洒机械的控制参数提供依据。快速、准确地采集和获取并识别出作物行,是开展农药定位喷洒的重要基础和前提。
随着机器视觉和控制技术的快速发展,越来越多的利用视觉技术自主识别作物行,以测量农机相对作物行的当前位置。目前存在的作物行识别方法都是在透视图像中进行识别,不能利用作物行的平行性添加约束。安装在中耕除草机架上的摄像头倾斜向下,其光轴不垂直地面,所拍摄作物行在画面中会有一定的几何失真现象,只通过拍摄的图像不能判断中耕除草机与作物行的相对几何关系。
现有直接在作物行透视二值化图像上检测像素跳变的方法,由于噪声点、杂草、作物自身形状原因,易产生误判,不利于不同作物行的分割。
发明内容
为了克服上述技术缺陷,本发明实施例提出一种作物行识别方法及装置。
第一方面,本发明实施例提供一种作物行识别方法,包括:
通过逆透视变换矩阵将作物行透视图转换为作物行鸟瞰图,所述作物行透视图是根据与路面成仰俯角的摄像头拍摄得到;
在所述作物行鸟瞰图中选取第一区域和第二区域,获取所述第一区域的第一垂直投影图像的作物行边缘点和所述第二区域的第二垂直投影图像的作物行边缘点;
获取所述第一区域的第一垂直投影图像的每一作物行左右边缘点的中点作为第一中点,获取所述第二区域的第二垂直投影图像的每一作物行左右边缘点的中点作为第二中点;
将同一作物行对应的所述第一中点和所述第二中点连成直线,得到所述作物行鸟瞰图中的作物行。
第二方面,本发明实施例提供一种作物行识别装置,包括:
转换模块,用于通过逆透视变换矩阵将作物行透视图转换为作物行鸟瞰图,所述作物行透视图是根据与路面成仰俯角的摄像头拍摄得到;
第一获取模块,用于在所述作物行鸟瞰图中选取第一区域和第二区域,获取所述第一区域的第一垂直投影图像的作物行边缘点和所述第二区域的第二垂直投影图像的作物行边缘点;
第二获取模块,用于获取所述第一区域的第一垂直投影图像的每一作物行左右边缘点的中点作为第一中点,获取所述第二区域的第二垂直投影图像的每一作物行左右边缘点的中点作为第二中点;
连接模块,用于将同一作物行对应的所述第一中点和所述第二中点连成直线,得到所述作物行鸟瞰图中的作物行。
第三方面,本发明实施例提供一种作物行识别设备,包括存储器和处理器,所述处理器和所述存储器通过总线完成相互间的通信;所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如第一方面所述的方法。
第四方面,本发明实施例提供一种一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面所述作物行识别方法。
本发明实施例提供的作物行识别方法及装置,利用逆透视变换消除了图像的几何失真,引入了田间作物行的结构性约束,把摄像机与路面成夹角拍摄的透视图像,变为与路面垂直的鸟瞰图像,在鸟瞰图像中保留了作物行的平行性信息,从而将对作物行的检测在逆透视变换后的鸟瞰图上进行,解决了透视图像中带来的误差,避免了干扰因素的误判,提高了方法的鲁棒性。
附图说明
图1为本发明实施例作物行识别方法的流程示意图;
图2为本发明实施例作物行识别方法的作物行透视图;
图3为本发明实施例作物行识别方法的作物行鸟瞰图;
图4为本发明实施例作物行识别方法第一区域示意图;
图5为本发明实施例作物行识别方法第一垂直投影图;
图6为本发明实施例作物行识别方法的第一图像;
图7为本发明实施例作物行识别方法的算法流程示意图;
图8为本发明实施例作物行识别装置的结构示意图;
图9为本发明实施例作物行识别设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例作物行识别方法的流程示意图,如图1所示,包括:
步骤11,通过逆透视变换矩阵将作物行透视图转换为作物行鸟瞰图,所述作物行透视图是根据与路面成仰俯角的摄像头拍摄得到;
步骤12,在所述作物行鸟瞰图中选取第一区域和第二区域,获取所述第一区域的第一垂直投影图像的作物行边缘点和所述第二区域的第二垂直投影图像的作物行边缘点;
步骤13,获取所述第一区域的第一垂直投影图像的每一作物行左右边缘点的中点作为第一中点,获取所述第二区域的第二垂直投影图像的每一作物行左右边缘点的中点作为第二中点;
步骤14,将同一作物行对应的所述第一中点和所述第二中点连成直线,得到所述作物行鸟瞰图中的作物行。
在进行作物行识别之前,需要利用摄像头对作物行进行拍照,得到的图像即为作物行透视图。安装在中耕除草机架上的摄像头倾斜向下,与路面成仰俯角,其光轴不垂直地面,所拍摄的作物行在画面中会有一定的几何失真现象,因此只通过拍摄的图像不能判断中耕除草机与作物行的相对几何关系。故需要通过逆透视变换矩阵,实现作物行图像由透视图向鸟瞰图的转换。
在作物行鸟瞰图中,选择预定的第一区域和第二区域,将第一区域和第二区域进行一定的处理后得到该第一区域的第一垂直投影图像和第二区域的第二垂直投影图像,然后对该第一垂直投影图像进行扫描得到第一垂直投影图像的作物行边缘点,对该第二垂直投影图像进行扫描得到第二垂直投影图像的作物行边缘点。由于作物行鸟瞰图中可能有多个作物行,因此在第一垂直投影图像和第二垂直投影图像中进行行扫描时,可能会扫描到多个白色像素段,此时记下这些白色像素段的左右边缘点的坐标。
对于第一区域的第一垂直投影图像的每一作物行左右边缘点,求其中点作为第一中点,对于第二区域的第二垂直投影图像的每一作物行左右边缘点,求其中点作为第二中点。
最后,将同一作物行对应的第一中点和所述第二中点连成直线,得到作物行鸟瞰图中的作物行。
例如,图2为本发明实施例作物行识别方法的作物行透视图,是根据与路面成仰俯角的摄像头拍摄得到,如图2所示,在底端作物行排列较稀疏,而在顶端排列较密集,这是由于摄像头的光轴不垂直于地面造成的几何失真现象。
图3为本发明实施例作物行识别方法的作物行鸟瞰图,如图3所示,将图2进行逆透视变换,得到作物行鸟瞰图。将图3用虚线由上到下分为高度相等的7个部分,分别为区域31、区域32、区域33、区域34、区域35、区域36和区域37。
选取图3中的第一区域和第二区域,优选的,第一区域和第二区域为靠近图像顶端的部分。这是由于图3中靠下的部分有黑色背景,没有实际作物,对图像处理有一定的影响。获取到图3的高度和宽度之后,本发明实施例中将图3由上到下分为高度相等的7个部分,选择的第一区域是图3中的区域31,第二区域是图3中的区域33。主要原因是,若第二区域离第一区域太近,则获取到第一中点和第二中点后,将第一中点和第二中点连线,如果该连线与实际的作物行有一定的偏差,则将连线延长到下面的区域时,会造成较大的偏差,而图3中靠下的部分有黑色背景,不利于处理,故综合考虑选择区域33作为第二区域。
图4为本发明实施例作物行识别方法第一区域示意图,如图4所示,以第一区域为例,将图4进行处理,得到二值化的第一垂直投影图像,如图5所示。图5为本发明实施例作物行识别方法第一垂直投影图,如图5所示,白色的为作物,黑色的为背景。得到第一垂直投影图后,获取到每个作物行的左右边缘点的坐标。
同样的,将第二区域进行相同的处理,得到每个作物行的左右边缘点的坐标。
获取图5中的每一作物行左右边缘点的中点作为第一中点,同样的方法获取第二区域的第二垂直投影图像的每一作物行左右边缘点的中点作为第二中点。
将同一作物行对应的第一中点和第二中点连成直线,得到所述作物行鸟瞰图中的作物行。
本发明实施例提供的作物行识别方法,利用逆透视变换消除了图像的几何失真,引入了田间作物行的结构性约束,把摄像机与路面成夹角拍摄的透视图像,变为与路面垂直的鸟瞰图像,在鸟瞰图像中保留了作物行的平行性信息,从而将对作物行的检测在逆透视变换后的鸟瞰图上进行,解决了透视图像中带来的误差,避免了干扰因素的误判,提高了方法的鲁棒性。
在上述实施例的基础上,在所述通过逆透视变换矩阵将作物行透视图转换为作物行鸟瞰图之前,所述方法还包括:
获取所述摄像头的畸变参数和内参数;
根据所述畸变参数和内参数获取所述作物行透视图中的像素点从像平面坐标系到世界坐标系的逆透视变换矩阵。
相机标定在图像处理中是必不可少的,相机标定的目的是:
求相机的内外参数以及畸变参数;
畸变参数进行畸变矫正,生成校正后的图像;
内外参数一般进行图像三维场景重构;
相机标定涉及四个坐标系:世界坐标系、相机坐标系、图像物理坐标系、图像像素坐标系。
内参数:由于相机坐标系使用的是毫米制的单位,而图像平面使用的像素为单位。内参数的作用就是在这两个坐标系之间进行线性的变化。对于从相机坐标系到像平面坐标系的变换,像平面坐标系是用像素单位来表示的,而相机坐标系则是以毫米为单位来表示,因此,要完成改变换过程就需要先得到像平面的像素单位与毫米单位之间的线性关系。
相机内的方位元素和镜头光学畸变系数,包括共线性、径向畸变、偏心畸变、像平面内仿射性畸变等参数对成像点有影响。根据畸变参数和内参数,能够求得像素段从像平面坐标系到世界坐标系的逆透视变换矩阵,从而可以根据该逆透视变换矩阵将作物行透视图转换为作物行鸟瞰图。
本发明实施例提供的作物行识别方法,通过获取摄像头的畸变参数和内参数,求得像素段从像平面坐标系到世界坐标系的逆透视变换矩阵,从而能够将作物行透视图转换为作物行鸟瞰图,为下一步的作物行鸟瞰图的边缘点的获取做好铺垫。
在上述实施例的基础上,所述第一区域为所述作物行鸟瞰图上端往下第一预定百分比的区域,所述第二区域为所述作物行鸟瞰图中位于所述第一区域下方的第二预定百分比的区域。
如图3所示,本发明实施例是在作物行鸟瞰图上选取第一区域和第二区域,可以看到,在鸟瞰图中,各个作物行之间是几乎平行的,不存在如作物行透视图中上密下疏的情况,所以不会形成作物行的连通区域,进而影响不同作物行的分割。但是同时,由于在作物行鸟瞰图中,靠下的区域有部分作物行显示不完整,不利于进一步的操作,故本发明实施例中,将第一区域选择在作物行鸟瞰图上端往下第一预定百分比的区域,第二区域为作物行鸟瞰图中位于第一区域下方的第二预定百分比的区域,优选的,第二区域位于作物行鸟瞰图上半部分区域中。
例如,以图3的作物行鸟瞰图为例,获取到图3的高度和宽度之后,本发明实施例中将图3由上到下分为高度相等的7个部分,选择的第一区域是图3中的区域31,第二区域是图3中的区域33。
本发明实施例提供的作物行识别方法,在选择第一区域和第二区域时,第一区域选择在作物行鸟瞰图上端往下第一预定百分比的区域,第二区域为作物行鸟瞰图中位于第一区域下方的第二预定百分比的区域,能够有效的减少其他因素干扰,提高方法的鲁棒性。
在上述实施例的基础上,所述获取所述第一区域的第一垂直投影图像的每一作物行左右边缘点的中点作为第一中点,获取所述第二区域的第二垂直投影图像的每一作物行左右边缘点的中点作为第二中点,具体包括:
将所述第一区域进行作物识别得到第一图像,将所述第二区域进行作物识别得到第二图像;
对所述第一图像进行灰度处理得到第一灰度图,对所述第二图像进行灰度处理得到第二灰度图;
对所述第一灰度图进行灰度垂直投影,得到二值化的第一垂直投影图像,对所述第二灰度图进行灰度垂直投影,得到二值化的第二垂直投影图像;
对所述第一垂直投影图像进行扫描,得到所述第一区域的第一垂直投影图像的作物行边缘点,对所述第二垂直投影图像进行扫描,得到所述第二区域的第二垂直投影图像的作物行边缘点;
将所述第一区域的第一垂直投影图像的每一作物行左右边缘点的中点作为第一中点,将所述第二区域的第二垂直投影图像的每一作物行左右边缘点的中点作为第二中点。
在选取第一区域后,首先要对该第一区域进行作物识别,得到作物识别后的第一图像。然后对第一图像进行灰度处理,得到第一灰度图。在RGB模型中,如果R=G=B时,则彩色表示一种灰度颜色,其中R=G=B的值叫灰度值,因此,灰度图像每个像素只需一个字节存放灰度值(又称强度值、亮度值),灰度范围为0-255。将彩色图像转化成为灰度图像的过程成为图像的灰度化处理。彩色图像中的每个像素的颜色有R、G、B三个分量决定,而每个分量有255种值可取,。而灰度图像是R、G、B三个分量相同的一种特殊的彩色图像,其一个像素点的变化范围为255种,所以在数字图像处理种一般先将各种格式的图像转变成灰度图像以使后续的图像的计算量变得少一些。灰度图像的描述与彩色图像一样仍然反映了整幅图像的整体和局部的色度和亮度等级的分布和特征。
得到第一灰度图后,对第一灰度图进行灰度垂直投影,得到二值化的第一垂直投影图像,图像的二值化,就是将图像上的像素点的灰度值设置为0或255,也就是将整个图像呈现出明显的只有黑和白的视觉效果。一幅图像包括目标物体、背景还有噪声,要想从多值的数字图像中直接提取出目标物体,最常用的方法就是设定一个阈值T,用T将图像的数据分成两部分:大于T的像素群和小于T的像素群。这是研究灰度变换的最特殊的方法,称为图像的二值化。
得到的第一垂直投影图像里,白色的是作物,黑色的是背景。然后再对该第一垂直投影图像进行由上到下的行扫描,得到作物行的左右边缘点的坐标。将第一区域的第一垂直投影图像的每一作物行左右边缘点的中点作为第一中点。
对于第二区域,采用同样的方法,得到第二垂直投影图像,然后对该第二垂直投影图像进行由上到下的行扫描,得到作物行的左右边缘点的坐标,将第二区域的第二垂直投影图像的每一作物行左右边缘点的中点作为第二中点。
例如,图5为本发明实施例作物行识别方法的第一垂直投影图像,是将图4进行处理之后得到,图5中AB为中轴线,白色为作物,黑色为背景。
所述将所述第一区域进行作物识别得到第一图像,将所述第二区域进行作物识别得到第二图像,具体为:
采用颜色特征因子法对所述第一区域进行作物识别,得到第一图像,采用颜色特征因子法对所述第二区域进行作物识别,得到第二图像。
作物识别的方法可采用颜色特征因子法,颜色特征是在图像检索中应用最为广泛的视觉特征,主要原因在于颜色往往和图像中所包含的物体或场景十分相关。此外,与其他的视觉特征相比,颜色特征对图像本身的尺寸、方向、视角的依赖性较小,从而具有较高的鲁棒性。对预定区域图像的像素点进行颜色特征因子来进行判断,若像素点的像素满足一定的规则,判断该像素为作物,若像素点的像素不满足该规则,判断该像素为背景。根据这样的方法,可以得到作物识别后的图像。
所述采用颜色特征因子法对所述第一区域进行作物识别,得到第一图像,采用颜色特征因子法对所述第二区域进行作物识别,得到第二图像,具体为:
根据预设规则对所述第一区域图像中每一像素进行识别,得到所述第一图像;
根据预设规则对所述第二区域图像中每一像素进行识别,得到所述第二图像;
其中,所述预设规则为:
若某一像素满足2G-R-B大于第一预设阈值,该像素为作物,若2G-R-B小于等于第一预设阈值,则该像素为背景。
对于第一区域图像中的某一像素点,若该像素点的像素满足2G-R-B>15,判断该像素为作物,否则为背景。图6为本发明实施例作物行识别方法的第一图像。同样的,对第二区域图像中的某一像素点,若该像素点的像素2G-R-B>15,判断该像素为作物,否则为背景。
在上述实施例的基础上,所述对所述第一垂直投影图像进行扫描,得到所述第一区域的第一垂直投影图像的作物行边缘点,对所述第二垂直投影图像进行扫描,得到所述第二区域的第二垂直投影图像的作物行边缘点,具体包括:
记录对所述第一垂直投影图像由上到下扫描时新增的第一连续白色像素段,记录对所述第二垂直投影图像由上到下扫描时新增的第二连续白色像素段;
若所述第一连续白色像素段满足预设范围,且第一连续白色像素段的个数大于第二预设阈值,则将所述该行所述第一连续白色像素段保存,并停止扫描;
若所述第二连续白色像素段满足预设范围,且第二连续白色像素段的个数大于第二预设阈值,则将所述该行所述第二连续白色像素段保存,并停止扫描;
根据所述第一连续白色像素段得到所述作物行鸟瞰图第一区域的第一垂直投影图像的作物行边缘点,根据所述第二连续白色像素段得到所述第二区域的第二垂直投影图像的作物行边缘点。
例如,将图6进行灰度处理得到第一灰度图,再将第一灰度图进行灰度垂直投影,得到二值化的第一垂直投影图像,即图5。对图5进行由上向下行扫描,记录由第k行向k+1行扫描时新增的连续的白色像素段,该白色像素段即为作物。当满足Lx<xi,xj<Rx(其中xi为连续白色像素段左边边缘点坐标,xj为连续白色像素段右边边缘点坐标,Lx、Rx分别为设定的距离中间AB的距离范围,根据行数确定,AB为中轴线),且新增像素段像素个数大于设定阈值δ,用数组形式保存,记为Mn[xi,xj],其中i和j均为像素点的编号,xi表示该新增像素段最左边的像素点,xj表示该新增像素段最右边的像素点。当新增行Mn[xi,xj]的个数大于等于设定阈值δ时,则将该行像素段保存,并停止扫描,否则清空新增行Mn[xi,xj]并继续扫描。可以知道,当还在对图像进行扫描时,表明之前扫描的所有行均未出现新增行Mn[xi,xj]的个数大于等于设定阈值δ的情况,故在扫描某一行时,前面所有扫描过的行都会被清空。一旦出现新增行Mn[xi,xj]的个数大于等于设定阈值δ,则立即保存该行像素段,并停止扫描,然后获取该行像素段的各个作物行的左右边缘点的坐标。当Mn[xi,xj]的(j-i)为奇数时,该像素段中点为
Figure BDA0001723923810000121
当新增像素段像素点个数为偶数时,该像素段中点为
Figure BDA0001723923810000122
图7为本发明实施例作物行识别方法的算法流程示意图,如图7所示,包括:
步骤71,利用摄像头拍摄得到作物行透视图像;
步骤72,将作物行透视图转换为作物行鸟瞰图;
步骤73,选取作物行鸟瞰图中的第一区域和第二区域,其中第一区域为图像顶部1/7段,第二区域为图像顶部第3/7段;
步骤74,对第一区域进行作物识别得到第一图像,对第二区域进行作物识别得到第二图像;
步骤75,对第一图像进行灰度垂直投影处理,得到第一垂直投影图像,对第二图像进行灰度垂直投影处理,得到第二垂直投影图像;
步骤76,对第一垂直投影图像行扫描,获取第一中点,对第二垂直投影图像行扫描,获取第二中点;
步骤77,连接每一作物行的第一中点和第二中点,得到作物行鸟瞰图中的作物行。
本发明实施例中,首先把摄像机与路面成夹角拍摄的透视图像,变为与路面垂直的鸟瞰图像,利用逆透视变换消除了图像的几何失真,其次引入了田间作物行的结构性约束,在鸟瞰图像中保留了作物行的平行性信息,从而将对作物行的检测在逆透视变换后的鸟瞰图上进行,解决了透视图像中带来的误差,避免了干扰因素的误判,提高了方法的鲁棒性
图8为本发明实施例作物行识别装置的结构示意图,如图,8所示,包括转换模块81、第一获取模块82、第二获取模块83和连接模块84,其中,转换模块81用于通过逆透视变换矩阵将作物行透视图转换为作物行鸟瞰图,所述作物行透视图是根据与路面成仰俯角的摄像头拍摄得到;第一获取模块82用于在所述作物行鸟瞰图中选取第一区域和第二区域,获取所述第一区域的第一垂直投影图像的作物行边缘点和所述第二区域的第二垂直投影图像的作物行边缘点;第二获取模块83用于获取所述第一区域的第一垂直投影图像的每一作物行左右边缘点的中点作为第一中点,获取所述第二区域的第二垂直投影图像的每一作物行左右边缘点的中点作为第二中点;连接模块84用于将同一作物行对应的所述第一中点和所述第二中点连成直线,得到所述作物行鸟瞰图中的作物行。
在进行作物行识别之前,需要利用摄像头对作物行进行拍照,得到的图像即为作物行透视图。安装在中耕除草机架上的摄像头倾斜向下,与路面成仰俯角,其光轴不垂直地面,所拍摄的作物行在画面中会有一定的几何失真现象,因此只通过拍摄的图像不能判断中耕除草机与作物行的相对几何关系。故转换模块81需要通过逆透视变换矩阵,实现作物行图像由透视图向鸟瞰图的转换。
在作物行鸟瞰图中,第一获取模块82选择预定的第一区域和第二区域,将第一区域和第二区域进行一定的处理后得到该第一区域的第一垂直投影图像和第二区域的第二垂直投影图像,然后对该第一垂直投影图像进行扫描得到第一垂直投影图像的作物行边缘点,对该第二垂直投影图像进行扫描得到第二垂直投影图像的作物行边缘点。由于第一垂直投影图像和第二垂直投影图像都是二值化后的图像,故两图像中白色像素段为作物,黑色像素段为背景。由于作物行鸟瞰图中可能有多个作物行,因此在第一垂直投影图像和第二垂直投影图像中进行行扫描时,可能会扫描到多个白色像素段,此时记下这些白色像素段的左右边缘点的坐标。
对于第一区域的第一垂直投影图像的每一作物行左右边缘点,第二获取模块83求其中点作为第一中点,对于第二区域的第二垂直投影图像的每一作物行左右边缘点,求其中点作为第二中点。
最后,连接模块84将同一作物行对应的第一中点和所述第二中点连成直线,得到作物行鸟瞰图中的作物行。
本发明实施例提供的装置可以用于执行如图1所示的上述各方法实施例的,具体的流程和详细介绍请参见上述各方法实施例,此处不再赘述。
本发明实施例提供的作物行识别装置,利用逆透视变换消除了图像的几何失真,引入了田间作物行的结构性约束,把摄像机与路面成夹角拍摄的透视图像,变为与路面垂直的鸟瞰图像,在鸟瞰图像中保留了作物行的平行性信息,从而将对作物行的检测在逆透视变换后的鸟瞰图上进行,解决了透视图像中带来的误差,避免了干扰因素的误判。
图9示例了一种作物行识别设备的实体结构示意图,如图9所示,该电子设备可以包括:处理器(processor)91、通信接口(Communications Interface)92、存储器(memory)93和总线94,其中,处理器91,通信接口92,存储器93通过总线94完成相互间的通信。总线94可以用于电子设备与传感器之间的信息传输。处理器91可以调用存储器93中的逻辑指令,以执行如下方法:通过逆透视变换矩阵将作物行透视图转换为作物行鸟瞰图,所述作物行透视图是根据与路面成仰俯角的摄像头拍摄得到;在所述作物行鸟瞰图中选取第一区域和第二区域,获取所述第一区域的第一垂直投影图像的作物行边缘点和所述第二区域的第二垂直投影图像的作物行边缘点;获取所述第一区域的第一垂直投影图像的每一作物行左右边缘点的中点作为第一中点,获取所述第二区域的第二垂直投影图像的每一作物行左右边缘点的中点作为第二中点;将同一作物行对应的所述第一中点和所述第二中点连成直线,得到所述作物行鸟瞰图中的作物行。
此外,上述的存储器93中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例提供一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令使计算机执行上述实施例所提供的伪基站定位方法,例如包括:通过逆透视变换矩阵将作物行透视图转换为作物行鸟瞰图,所述作物行透视图是根据与路面成仰俯角的摄像头拍摄得到;在所述作物行鸟瞰图中选取第一区域和第二区域,获取所述第一区域的第一垂直投影图像的作物行边缘点和所述第二区域的第二垂直投影图像的作物行边缘点;获取所述第一区域的第一垂直投影图像的每一作物行左右边缘点的中点作为第一中点,获取所述第二区域的第二垂直投影图像的每一作物行左右边缘点的中点作为第二中点;将同一作物行对应的所述第一中点和所述第二中点连成直线,得到所述作物行鸟瞰图中的作物行。
以上所述仅为本发明的优选实施例,并不用于限制本发明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充,但并不会偏离本发明的精神或者超越所附权利要求书定义的范围。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种作物行识别方法,其特征在于,包括:
通过逆透视变换矩阵将作物行透视图转换为作物行鸟瞰图,所述作物行透视图是根据与路面成仰俯角的摄像头拍摄得到;
在所述作物行鸟瞰图中选取第一区域和第二区域,获取所述第一区域的第一垂直投影图像的作物行边缘点和所述第二区域的第二垂直投影图像的作物行边缘点;
获取所述第一区域的第一垂直投影图像的每一作物行左右边缘点的中点作为第一中点,获取所述第二区域的第二垂直投影图像的每一作物行左右边缘点的中点作为第二中点;
将同一作物行对应的所述第一中点和所述第二中点连成直线,得到所述作物行鸟瞰图中的作物行;
所述第一区域为所述作物行鸟瞰图上端往下第一预定百分比的区域,所述第二区域为所述作物行鸟瞰图中位于所述第一区域下方的第二预定百分比的区域。
2.根据权利要求1所述的方法,其特征在于,在所述通过逆透视变换矩阵将作物行透视图转换为作物行鸟瞰图之前,所述方法还包括:
获取所述摄像头的畸变参数和内参数;
根据所述畸变参数和内参数获取所述作物行透视图中的像素点从像平面坐标系到世界坐标系的逆透视变换矩阵。
3.根据权利要求1所述的方法,其特征在于,所述获取所述第一区域的第一垂直投影图像的每一作物行左右边缘点的中点作为第一中点,获取所述第二区域的第二垂直投影图像的每一作物行左右边缘点的中点作为第二中点,具体包括:
将所述第一区域进行作物识别得到第一图像,将所述第二区域进行作物识别得到第二图像;
对所述第一图像进行灰度处理得到第一灰度图,对所述第二图像进行灰度处理得到第二灰度图;
对所述第一灰度图进行灰度垂直投影,得到二值化的第一垂直投影图像,对所述第二灰度图进行灰度垂直投影,得到二值化的第二垂直投影图像;
对所述第一垂直投影图像进行扫描,得到所述第一区域的第一垂直投影图像的作物行边缘点,对所述第二垂直投影图像进行扫描,得到所述第二区域的第二垂直投影图像的作物行边缘点;
将所述第一区域的第一垂直投影图像的每一作物行左右边缘点的中点作为第一中点,将所述第二区域的第二垂直投影图像的每一作物行左右边缘点的中点作为第二中点。
4.根据权利要求3所述的方法,其特征在于,所述将所述第一区域进行作物识别得到第一图像,将所述第二区域进行作物识别得到第二图像,具体为:
采用颜色特征因子法对所述第一区域进行作物识别,得到第一图像,采用颜色特征因子法对所述第二区域进行作物识别,得到第二图像。
5.根据权利要求4任一项所述的方法,其特征在于,所述采用颜色特征因子法对所述第一区域进行作物识别,得到第一图像,采用颜色特征因子法对所述第二区域进行作物识别,得到第二图像,具体为:
根据预设规则对所述第一区域图像中每一像素进行识别,得到所述第一图像;
根据预设规则对所述第二区域图像中每一像素进行识别,得到所述第二图像;
其中,所述预设规则为:
若某一像素满足2G-R-B大于第一预设阈值,该像素为作物,若2G-R-B小于等于第一预设阈值,则该像素为背景。
6.根据权利要求5所述的方法,其特征在于,所述对所述第一垂直投影图像进行扫描,得到所述第一区域的第一垂直投影图像的作物行边缘点,对所述第二垂直投影图像进行扫描,得到所述第二区域的第二垂直投影图像的作物行边缘点,具体包括:
记录对所述第一垂直投影图像由上到下扫描时新增的第一连续白色像素段,记录对所述第二垂直投影图像由上到下扫描时新增的第二连续白色像素段;
若所述第一连续白色像素段满足预设范围,且第一连续白色像素段的个数大于第二预设阈值,则将该行所述第一连续白色像素段保存,并停止扫描;
若所述第二连续白色像素段满足预设范围,且第二连续白色像素段的个数大于第二预设阈值,则将该行所述第二连续白色像素段保存,并停止扫描;
根据所述第一连续白色像素段得到所述作物行鸟瞰图第一区域的第一垂直投影图像的作物行边缘点,根据所述第二连续白色像素段得到所述第二区域的第二垂直投影图像的作物行边缘点。
7.一种作物行识别装置,其特征在于,包括:
转换模块,用于通过逆透视变换矩阵将作物行透视图转换为作物行鸟瞰图,所述作物行透视图是根据与路面成仰俯角的摄像头拍摄得到;
第一获取模块,用于在所述作物行鸟瞰图中选取第一区域和第二区域,获取所述第一区域的第一垂直投影图像的作物行边缘点和所述第二区域的第二垂直投影图像的作物行边缘点;
第二获取模块,用于获取所述第一区域的第一垂直投影图像的每一作物行左右边缘点的中点作为第一中点,获取所述第二区域的第二垂直投影图像的每一作物行左右边缘点的中点作为第二中点;
连接模块,用于将同一作物行对应的所述第一中点和所述第二中点连成直线,得到所述作物行鸟瞰图中的作物行;
所述第一区域为所述作物行鸟瞰图上端往下第一预定百分比的区域,所述第二区域为所述作物行鸟瞰图中位于所述第一区域下方的第二预定百分比的区域。
8.一种作物行识别设备,其特征在于,包括存储器和处理器,所述处理器和所述存储器通过总线完成相互间的通信;所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的方法。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至6任一项的方法。
CN201810744108.XA 2018-07-09 2018-07-09 作物行识别方法及装置 Active CN109145722B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810744108.XA CN109145722B (zh) 2018-07-09 2018-07-09 作物行识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810744108.XA CN109145722B (zh) 2018-07-09 2018-07-09 作物行识别方法及装置

Publications (2)

Publication Number Publication Date
CN109145722A CN109145722A (zh) 2019-01-04
CN109145722B true CN109145722B (zh) 2021-03-02

Family

ID=64800029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810744108.XA Active CN109145722B (zh) 2018-07-09 2018-07-09 作物行识别方法及装置

Country Status (1)

Country Link
CN (1) CN109145722B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201345247A (zh) * 2012-04-27 2013-11-01 Altek Autotronics Corp 鳥瞰圖擷取系統及其鳥瞰圖擷取方法
US10127461B2 (en) * 2016-08-12 2018-11-13 Here Global B.V. Visual odometry for low illumination conditions using fixed light sources
CN107679520B (zh) * 2017-10-30 2020-01-14 湖南大学 一种适用于复杂条件下的车道线视觉检测方法
CN108038416B (zh) * 2017-11-10 2021-09-24 智车优行科技(北京)有限公司 车道线检测方法及系统

Also Published As

Publication number Publication date
CN109145722A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN111640157B (zh) 一种基于神经网络的棋盘格角点检测方法及其应用
CN109190452B (zh) 作物行识别方法及装置
CN110400278A (zh) 一种图像颜色和几何畸变的全自动校正方法、装置及设备
CN109523583B (zh) 一种基于反馈机制的电力设备红外与可见光图像配准方法
CN115131444B (zh) 一种基于单目视觉点胶平台的标定方法
CN110852997A (zh) 动态图像清晰度检测方法、装置、电子设备及存储介质
CN113538491B (zh) 一种基于自适应阈值的边缘识别方法、系统及存储介质
CN113744256A (zh) 一种深度图空洞填充方法、装置、服务器及可读存储介质
CN111179184B (zh) 基于随机抽样一致性的鱼眼图像有效区域提取方法
CN106846343A (zh) 一种基于聚类超像素分割的病理图像特征提取方法
CN107067430B (zh) 一种基于特征点聚类的麦田作物行检测方法
CN117011560A (zh) 基于阈值和权重Census变换的煤矿井下图像立体匹配方法
CN115082777A (zh) 基于双目视觉的水下动态鱼类形态测量方法及装置
CN113936010A (zh) 货架定位方法、装置、货架搬运设备及存储介质
CN109145722B (zh) 作物行识别方法及装置
CN113450335B (zh) 一种路沿检测方法、路沿检测装置及路面施工车辆
CN112270693B (zh) 一种飞行时间深度相机运动伪差检测方法和装置
JP6492603B2 (ja) 画像処理装置、システム、画像処理方法、およびプログラム
CN115018788B (zh) 基于智能机器人的架空线异常检测方法和系统
CN112907704B (zh) 一种图像融合方法、计算机设备以及装置
CN117115242B (zh) 标志点的识别方法、计算机存储介质和终端设备
CN114119437B (zh) 一种基于gms的用于改善运动物体畸变的图像拼接方法
CN113610964B (zh) 一种基于双目视觉的三维重建方法
CN118018660A (zh) 图像颜色校准方法、三维扫描方法和三维扫描系统
CN114820698A (zh) 大型活动的运动方阵的队形检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant