CN101750051A - 一种视觉导航的多作物行检测方法 - Google Patents

Abstract

本发明涉及一种视觉导航的多作物行检测方法，属于机器视觉导航与图像处理相关领域。为快速准确的提取出农田中的多条垄线，满足农业机械实时导航定位的需要，本发明提供一种农业机器视觉导航的多作物行检测方法，包括步骤：标定摄像头参数，采集视频及图像帧，对图像进行畸变校正；分割作物垄行区域，采用垂直投影法提取导航定位点，计算定位点的世界坐标；使用随机直线检测方法对定位点进行计算，检测出作物垄行所在直线；根据直线的斜率参数与截距参数，计算得到各作物垄行在世界坐标系中相对所述农业作业机械的位置。对比传统技术，本发明技术方案的时间复杂度和空间复杂度都大大降低，准确性及导航的实时性也都得到了提高。

Description

一种视觉导航的多作物行检测方法

技术领域

本发明属于机器视觉导航与图像处理相关领域。具体涉及一种视觉导航的多作物行检测方法。

背景技术

作为精细农业的一个重要分支，农田作业机械智能导航定位技术正越来越受到关注，其中视觉导航在近年来逐渐成为重点研究方向之一。由于农田环境的非结构化特点，要求农业机器视觉导航系统在识别田间垄行结构时必须具有很高的鲁棒性，并要在设定的时间内能输出正确的识别结果。针对此项要求，国外较早提出了运用Hough变换在杂草等噪声较少的多垄图像中提取导航参数的技术，该技术能克服断垄等影响。Hough变换是Paul Hough在1962年提出的形状匹配技术，Duda和Hart在1972年建立了基于直线检测的Hough变换。尽管Hough变换可以一定程度克服断垄等影响，但Hough变换本身存在累加器峰值较难确定和重复线段多、计算量大等问题，使得目前利用Hough变换识别作物行的相关成果多集中在针对单作物行。而对于多作物行的检测，由于计算量，复杂度等大大增加，相关资料在国内外都较少。

国内在识别多作物行方面，有基于Hough变换和Fisher准则(一种判别准则函数，模式识别中常用的特征提取方法之一)的垄线检测方法，该方法提高了垄线检测的准确性。但是该方法的计算时间太长，应用在目前的计算机运算水平下，无法用于实时处理。国外的相关研究，如一种基于垄线消失点的方法，以及基于先验知识与垄线消失点的方法，主要是利用了垄行宽度，垄行间距或者垄行数目等先验知识以及摄像机成像原理中投影变换的知识，这些方法计算都比较复杂。

作为提取直线的关键方法，国内外学者对Hough变换也提出了很多改进方法，如随机Hough变换(Randomized Hough Transform)。随机Hough变换是多对一的映射，与传统Hough变换对比，大大节省了计算量。同时引入了随机性的思想，可以在较短的时间内检测出所需直线。但其收敛性仍然难以满足实际要求。

发明内容

本发明的目的在于提出一种基于随机方法的农业机器视觉导航多作物行检测方法，以更快速更准确地提取出农田中的多条垄线，满足农业机械实时导航定位的需要。

为实现上述目的，本发明提供了一种视觉导航的多作物行检测方法，所述检测方法应用于在多作物垄行上作业的农业作业机械，所述农业作业机械上设置有摄像头；

所述检测方法包括如下步骤：

步骤1：标定所述农业作业机械上摄像头的参数，采集视频及图像帧，结合所标定的摄像头的参数对采集的图像进行畸变校正；

步骤2：利用农作物的颜色特征分割各作物垄行区域，采用垂直投影法提取多组导航定位点，根据所述步骤1中所标定的摄像头的参数，计算出所述导航定位点的世界坐标；

步骤3：使用随机直线检测方法，根据所述导航定位点，检测出所述各作物垄行的所在直线；

步骤4：根据步骤3检测出来的直线的斜率参数与截距参数，获得作物行垄行在世界坐标系中相对所述农业作业机械的位置。

所述步骤1包括如下步骤：

步骤1.1：使用张正友基于2D平面模板的标定方法获得摄像机内部参数，使用Tsai法基于径向约束的两步法获得径向畸变系数，对采集的图像进行畸变校正；

步骤1.2：对摄像机外部参数进行推导及标定。

所述步骤2包括如下步骤：

步骤2.1：采用如下方式计算各导航定位点的世界坐标：

假定作物位于世界坐标系中y_w＝0的平面上，通过小孔成像模型，与坐标系转换关系，可得到各点像素坐标所对应的世界坐标：

其中，所述(u₀，v₀)为光心在计算机图像上的像素坐标；所述α_x，α_y为有效焦距；所述(x_w，y_w，z_w)为点在世界坐标系中的坐标；所述h为摄像头到地面的垂直距离；所述

为摄像头光轴与水平面的夹角；所述(u，v)为像点像素坐标；

步骤2.2：对图像进行预处理及对垄线导航定位点的提取。

所述步骤3中的随机直线检测方法为：从定位点中随机抽取两点，两点之间的距离需要大于或等于一给定阈值，由这两点可确定一条直线，并在该直线两侧划分出条形区域，检测落在所述直线两侧条形区域内定位点的数目；如果数目大于或等于给定阈值，就认为该直线为待测直线。

所述直线两侧的条形区域包括：

(1)由所述直线划分出来的两个条形区域；以及

(2)由距离所述直线为一给定距离的两条平行直线所确定出来的一个条形区域。

所述步骤3具体包括如下步骤：

步骤3.1：建立包含所有目标点的数据空间，预先设置容许的距离长度门限值以及条形区域中令人满意的目标点数目门限值；

步骤3.2：设定待检测的直线条数和距离d，将失败累加器、条形区域内数据点个数计数器以及直线条数计数器清零；

步骤3.3：如果所述直线条数计数器数值等于所述设定待检测的直线条数，程序结束；否则，从所述数据空间中随机选择两个不同点，同时将这两个点从所述数据空间中清除；

步骤3.4：计算所述步骤3.3中随机选择的两点之间的距离；如果大于容许的距离长度门限值，求得其直线方程，以及与所述直线平行且距离皆为d的另外两条直线方程，然后转入步骤3.5；否则，执行失败累加器累加1，然后将所述两点放回数据空间，返回步骤3.3；

步骤3.5：统计落到相应条形区域内目标点的个数，如果条形区域内数据点个数计数器数值大于或者等于所述条形区域中令人满意的目标点数目门限值，则认为该直线是待检测直线，执行直线条数计数器累加1，然后将相应的条形区域内数据点个数计数器清零，并且清除该区域内及周围目标点的个数，更新数据空间，返回步骤3.3；否则，执行失败累加器累加1，将这两个目标点放回数据空间，返回步骤3.3；

步骤3.6：通过逆向投影变换，对图像中绘出检测出的直线进行验证。

所述检测方法进一步包括步骤5：将提取的各垄线投影到图像平面上。

本发明结合摄像机标定，图像逆向透视变换原理，先把图像像素点通过标定转换到世界坐标系中，在世界坐标中操作，直观方便，然后进行直线提取。由于采用了随机方法进行直线检测，与传统的Hough变换、基于垄线消隐点的方法以及随机Hough变换相比较，本发明所提供的方法的时间复杂度和空间复杂度都大大降低，实时性及准确性都得到了提高。根据检测的直线参数，即可获得作物行在世界坐标系中与作业机械的相对位置，从而提高了导航的实时性。

附图说明

图1为本发明技术方案中视觉导航的多作物行检测方法流程图；

图2为本发明技术方案中视觉导航的多作物行检测方法图像原始图；

图3为本发明技术方案中视觉导航的多作物行检测方法畸变校正图；

图4为本发明技术方案中视觉导航的多作物行检测方法设定的图像坐标系与像素坐标系；

图5为本发明技术方案中视觉导航的多作物行检测方法的农业机器人示意图以及各坐标系示意；

图6.1为本发明技术方案中视觉导航的多作物行检测方法中农作物原始图像；

图6.2为本发明技术方案中视觉导航的多作物行检测方法中农作物原始图像经过二值化处理后得到的图像；

图7.1为本发明技术方案中视觉导航的多作物行检测方法农作物图像膨胀处理采用的结构元素图；

图7.2为本发明技术方案中视觉导航的多作物行检测方法农作物图像腐蚀处理采用的结构元素图；

图8为本发明技术方案中视觉导航的多作物行检测方法农作物图像膨胀及腐蚀处理后的效果图；

图9为本发明技术方案中视觉导航的多作物行检测方法农作物图像获得的定位点图；

图10.1为本发明技术方案中视觉导航的多作物行检测方法随机方法中当斜率a不存在时的处理方法条形区域说明图；

图10.2为本发明技术方案中视觉导航的多作物行检测方法随机方法中当斜率|a|≥1时的处理方法条形区域说明图；

图10.3为本发明技术方案中视觉导航的多作物行检测方法随机方法中当斜率|a|＜1时的处理方法条形区域说明图；

图11为本发明技术方案中视觉导航的多作物行检测方法农作物图像提取直线的效果验证图；

图12为本发明技术方案中视觉导航的多作物行检测方法室内实验的原始图；

图13为本发明技术方案中视觉导航的多作物行检测方法室内实验提取直线的效果图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例1

本实施例具体描述本发明所提出的一种视觉导航的多作物行检测方法，所述检测方法应用于在多作物垄行上作业的农业作业机械，所述作业机械上设置有摄像头。

如图1所示，所述检测方法包括如下步骤：

步骤1：标定农业作业机械上摄像头的内部参数和/或外部参数，采集视频及图像帧，结合摄像头的标定参数对截取的图像进行畸变校正；

其中，线性模型内部参数包括：(u₀，v₀)为光心在计算机图像上的像素坐标；α_x，α_y为有效焦距；γ为u，v轴不垂直因子，一般为0；非线性模型内部参数还包括畸变参数k₁，k₂，p₁，p₂。此外，外部参数为R，T，分别为旋转矩阵和平移矩阵。

1.1对内部参数标定及对图像进行畸变校正

参见图2所示的原始图，在此基础上使用张正友基于2D平面模板的标定方法获得摄像机内部参数(u₀，v₀)，α_x，α_y，使用Tsai法基于径向约束的两步法获得径向畸变系数k₁。对图像进行畸变校正，获得如图3所示的畸变校正后的图像。

1.2对外部参数进行推导及标定

本发明设定的图像坐标系与像素坐标系如图4所示。u-v为以像素为单位的像素坐标系，其原点取图像左下方。x-y为以毫米(mm)为单位的图像坐标系。原点o₁为光心，其像素坐标为(u₀，v₀)。

由小孔成像的线性投影模型与图4可得式下述(1)，其中s是比例因子，(x_w，y_w，z_w)为点在世界坐标系中的坐标：

(1)

综上可得，只要获得摄像机内部参数矩阵和外部参数矩阵，并结合实际应用，获得一个对投影点的空间位置约束，就可以计算图像上每一个导航基准点的世界坐标。

图5为农业机器人示意图以及各坐标系的定义。摄像头所在处o_c为摄像机坐标系原点。y_c，z_c为摄像机坐标系y轴和z轴，x轴垂直纸面向内。世界坐标系原点o_w位于摄像头正下方，z_w轴指向摄像头正前方，x_w轴为垂直纸面向内。摄像头到地面的垂直距离为h，摄像头光轴与水平面夹角为。s为成像平面，s平面到摄像头距离为焦距f。可推导得外部参数矩阵为：

(2)

步骤2：利用农作物的绿色颜色特征分割各作物垄行区域，采用垂直投影法提取多组导航定位点，根据所述步骤1中摄像头标定的参数，计算出所述导航定位点的世界坐标。

2.1计算出所述导航定位点的世界坐标

假定作物位于世界坐标系x-z平面上，即各点的y_w＝0，通过小孔成像模型，与坐标系转换关系，由式(1)及式(2)可得

(3)

计算即可得图像点像素坐标与世界坐标关系式，如下：

(4)

(5)

因此，测量出摄像头的俯仰角与高度，结合内部参数，即可由式(4)式(5)计算图像上各像素点对应的世界坐标。

2.2对图像进行预处理及对垄线导航定位点的提取

2.2.1由于主要是针对绿色有机作物，因此设定农田作物的特征颜色为绿色，采用传统的超绿法2G-R-B模式灰度化图像，能够有效区分农田作物与土壤。在此基础上，采用OTSU自适应阈值法，对灰度图进行二值化，进一步分割作物区域与背景区域，在原始彩色图片6.1的基础上，获得如图6.2所示的经二值化处理后的农田作物图。OTSU自适应阈值法的基本思想是以最佳门限将图像灰度直方图分割成两部分，使两部分类间方差取得最大值，即分离性最大，决定阈值。

2.2.2农田环境较复杂，作物行主要需要沿垄方向进行膨胀以填补孔洞，所以选用5*1像素结构元素进行膨胀。膨胀后在目标景物外还有一些离散的白色区域，采用腐蚀的方法去除这些干扰快。腐蚀采用1*5结构元素。图7.1与图7.2分别为膨胀与腐蚀结构元素图。图8为膨胀与腐蚀处理后的效果图像。

2.2.3采用垂直投影法获得垄线导航定位点。每h个像素高度划分一个水平条，对每个水平条垂直投影。设原始图像大小W×H，单位为像素，水平条大小W×h，c(i，j)为水平条(i，j)处二值像素，p(j)为水平条第j列所有像素点垂直投影值，算式如下：

$p\left(j\right)=\underset{i=1}{\overset{h}{\mathrm{\Σ}}}c(i,j),j=\mathrm{1,2}...W$ (6)

根据p(j)曲线上波峰确定垄行区域，区域中心即为垄线的导航定位点。受噪声干扰，可能在非垄行区域也会检测出零星导航定位基准点。但由于提取直线采用随机方法，具有统计特性，抗干扰能力强，影响不大。图9为提取的导航定位点。

步骤3：使用随机直线检测方法对所述导航定位点进行计算，检测出所述各作物垄行的所在直线；

所述随机直线检测方法主要思路为：从定位点中随机抽取两点，两点之间的距离需要大于或等于一给定阈值。由这两点可确定一条直线，同时在该直线两侧划分出条形区域，检测落在所述直线两侧条形区域内的定位点的数目。如果数目大于或等于给定阈值，就认为该直线为待测直线。

所述直线两侧的条形区域包括：

(1)由所述直线划分出来的两个条形区域；以及

(2)由距离所述直线为一给定距离的两条平行直线所确定出来的一个条形区域。

首先描述所述的检测方法的原理；

假设(x，y)为图像预处理后得到的一定位点，图像中直线l的方程可表示为：

y＝ax+b              (7)

假设V表示图像定位点构成的数据空间。则V中任意一点M(x_m，y_m)到直线l的距离d为：

$d=\frac{|y_m-{\mathrm{ax}}_m-b|}{\sqrt{a^2+1}}$ (8)

如果M点在直线l上，则d为0。因为数字图像是用点阵表示的，所以M点不可能确切地在直线上，故d→0。据此，给定足够小的距离d，假设有两条直线l₁和l₂分别与直线l平行，它们到l的距离皆为d，若图像的目标点落在平行直线l₁和l₂之间，则认为它们落在直线l上。这样在图像空间就确定了一个如图10.1、图10.2与图10.3斜线所示的条形区域。其中，p₁(x₁，y₁)和p₂(x₂，y₂)为从数据空间中随机选择的两个目标点。

考虑到斜率a的存在性与图像遍历的快速性，分三种情况进行讨论：

(a)当斜率a不存在时(如图10.1所示)

此时，条形区域成为垂直的一个区域，p₁，p₂两点决定的直线l方程为：x＝x₁＝x₂。与直线l的距离为d的两直线方程分别为：l₁：x＝x₀-d和l₂：x＝x₀+d。在搜索该区域内目标点时，采用先行后列的扫描方式。

(b)当|a|≥1时(如图10.2所示)

此时，条形区域成为靠近y轴的一个区域，p₁，p₂两点决定的直线l方程为：y＝ax+b，与直线l的距离为d的两直线方程分别为：l₁： $y=\mathrm{ax}+b+d\sqrt{a^2+1}$ 和l₂： $y=\mathrm{ax}+b-d\sqrt{a^2+1}$ 。在搜索该区域内目标点时，同样采用先行后列的扫描方式。

(c)当|a|＜1时(如图10.3所示)

此时，条形区域成为靠近x轴的一个区域，p₁，p₂两点决定的直线l方程、与直线l的距离为d的两直线l₁和l₂的方程如同情况(b)。只不过在搜索区域内目标点时，为了便于快速搜索，采用先列后行的扫描方式。

下面描述所述检测方法的具体步骤

步骤3.1：建立包含所有目标点的数据空间V，设置门限值T_d和T_s，T_d和T_s分别代表容许的距离长度和图像条形区域中令人满意的目标点的数目；

步骤3.2：设定待检测的直线条数N和较小的距离d(d＝1)，将失败累加器f、分别代表前述直线两侧的两个条形区域及前述图10.1、图10.2及图10.3中斜线所示的条形区域等三个区域内数据点个数的计数器s₁，s₂，s₃以及直线条数计数器s清零；

步骤3.3：如果s＝N，程序结束；否则，从V中随机选择两个不同点，同时将这两个点从V中清除；

步骤3.4：计算这两点的距离；如果大于T_d，求得直线l方程，以及与直线l平行且距离皆为d的直线方程l₁和l₂，得到图10.1所示的一个条形区域，然后转入步骤3.5；否则，执行f＝f+1，将这两点放回V，返回步骤3.3；

步骤3.5：统计落到相应条形区域内目标点的个数。如果s₁、s₂或s₃≥T_s，则认为直线l是待检测直线，执行s＝s+1，将相应的s₁、s₂或s₃清零，并且清除该区域内及周围目标点的个数，更新V，返回步骤3.3；否则，执行f＝f+1，将这两个目标点放回V，返回步骤3.3。

步骤3.6：通过逆向投影变换，对图像中绘出检测出的直线进行验证。如图11为验证图片。

为进一步验证世界坐标系中导航位置计算的准确性，下面在仿真环境中进行判断，采用绿色纸条在室内排成三行模拟垄行。一张纸条断开模拟田间断垄。图片大小为320×240(像素)。实验前标定了摄像头的内部参数与外部参数。直线编号从左至右为1，2，3。图12为原始图片，图13为结果图片。表1为实验结果。

表1

由表1可知，参数a误差值最大为0.14，平均误差为0.05；参数b最大误差值为10.34mm，平均误差7.37mm。考虑到实际农业生产应用，可认为误差在允许范围内。同时，处理速度也能满足农业生产要求。

步骤4：根据步骤3检测出来的直线的斜率参数与截距参数，即为作物垄行在世界坐标系中的位置，而农业作业机械位置已知，因此可很容易计算得到作物行垄行相对所述农业作业机械的位置。

步骤5：将提取的各垄线投影到图像平面上。

本发明结合摄像机标定，图像逆向透视变换原理，先把图像像素点通过标定转换到世界坐标系中，在世界坐标中操作，直观方便，然后进行直线提取。由于采用了随机方法进行直线检测，与传统的Hough变换、基于垄线消隐点的方法以及随机Hough变换相比较，本发明所提供的方法的时间复杂度和空间复杂度都大大降低，实时性及准确性都得到了提高。根据检测的直线参数，即可获得作物行在世界坐标系中与作业机械的相对位置，从而提高了导航的实时性。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (7)

1.一种视觉导航的多作物行检测方法，其特征在于，所述检测方法应用于在多作物垄行上作业的农业作业机械，所述农业作业机械上设置有摄像头；

所述检测方法包括如下步骤：

步骤1：标定所述农业作业机械上摄像头的参数，采集视频及图像帧，结合所标定的摄像头的参数对采集的图像进行畸变校正；

步骤2：利用农作物的颜色特征分割各作物垄行区域，采用垂直投影法提取多组导航定位点，根据所述步骤1中所标定的摄像头的参数，计算出所述导航定位点的世界坐标；

步骤3：使用随机直线检测方法，根据所述导航定位点，检测出所述各作物垄行的所在直线；

步骤4：根据步骤3检测出来的直线的斜率参数与截距参数，获得作物行垄行在世界坐标系中相对所述农业作业机械的位置。

2.如权利要求1所述的视觉导航的多作物行检测方法，其特征在于，所述步骤1包括如下步骤：

步骤1.1：使用张正友基于2D平面模板的标定方法获得摄像机内部参数，使用Tsai法基于径向约束的两步法获得径向畸变系数，对采集的图像进行畸变校正；

步骤1.2：对摄像机外部参数进行推导及标定。

3.如权利要求1所述的视觉导航的多作物行检测方法，其特征在于，所述步骤2包括如下步骤：

步骤2.1：采用如下方式计算各导航定位点的世界坐标：

假定作物位于世界坐标系中y_w＝0的平面上，通过小孔成像模型，与坐标系转换关系，可得到各点像素坐标所对应的世界坐标：

其中，所述(u₀，v₀)为光心在计算机图像上的像素坐标；所述α_x，α_y为有效焦距；所述(x_w，y_w，z_w)为点在世界坐标系中的坐标；所述h为摄像头到地面的垂直距离；所述

为摄像头光轴与水平面的夹角；所述(u，v)为像点像素坐标；

步骤2.2：对图像进行预处理及对垄线导航定位点的提取。

4.如权利要求1所述的视觉导航的多作物行检测方法，其特征在于，所述步骤3中的随机直线检测方法为：从定位点中随机抽取两点，两点之间的距离需要大于或等于一给定阈值，由这两点可确定一条直线，并在该直线两侧划分出条形区域，检测落在所述直线两侧条形区域内定位点的数目；如果数目大于或等于给定阈值，就认为该直线为待测直线。

5.如权利要求4所述的多作物行检测方法，其特征在于，所述直线两侧的条形区域包括：

(1)由所述直线划分出来的两个条形区域；以及

(2)由距离所述直线为一给定距离的两条平行直线所确定出来的一个条形区域。

6.如权利要求1所述的视觉导航的多作物行检测方法，其特征在于，所述步骤3具体包括如下步骤：

步骤3.1：建立包含所有目标点的数据空间，预先设置容许的距离长度门限值以及条形区域中令人满意的目标点数目门限值；

步骤3.2：设定待检测的直线条数和距离d，将失败累加器、条形区域内数据点个数计数器以及直线条数计数器清零；

步骤3.3：如果所述直线条数计数器数值等于所述设定待检测的直线条数，程序结束；否则，从所述数据空间中随机选择两个不同点，同时将这两个点从所述数据空间中清除；

步骤3.4：计算所述步骤3.3中随机选择的两点之间的距离；如果大于容许的距离长度门限值，求得其直线方程，以及与所述直线平行且距离皆为d的另外两条直线方程，然后转入步骤3.5；否则，执行失败累加器累加1，然后将所述两点放回数据空间，返回步骤3.3；

步骤3.5：统计落到相应条形区域内目标点的个数，如果条形区域内数据点个数计数器数值大于或者等于所述条形区域中令人满意的目标点数目门限值，则认为该直线是待检测直线，执行直线条数计数器累加1，然后将相应的条形区域内数据点个数计数器清零，并且清除该区域内及周围目标点的个数，更新数据空间，返回步骤3.3；否则，执行失败累加器累加1，将这两个目标点放回数据空间，返回步骤3.3；

步骤3.6：通过逆向投影变换，对图像中绘出检测出的直线进行验证。

7.如权利要求1所述的多作物行检测方法，其特征在于，所述检测方法进一步包括步骤5：将提取的各垄线投影到图像平面上。

Images