CN113450402B - 用于蔬菜大棚巡检机器人的导航中心线提取方法 - Google Patents

Abstract

本发明公开了一种用于蔬菜大棚巡检机器人的导航中心线提取方法，属于机器视觉领域。该导航中心线提取方法包括以下步骤：通过摄像机采集蔬菜大棚中作物行之间的垄间图像，并获得矫正后的垄间图像；将该矫正后的垄间图像进行图像分割以获得垄间土壤前景和作物行背景；将图像分割后的图像依次通过形态学闭运算和小面积去除法去除图像中的孔洞，以获得低噪声土壤前景和低噪声作物背景；通过Canny边缘检测算法对该低噪声土壤前景的边缘进行检测以获得垄间土壤的轮廓线；根据该垄间土壤的轮廓线提取轮廓特征点并通过最小二乘法拟合所提取的轮廓特征点以获得该垄间土壤两侧的导航基准线；计算该垄间土壤两侧的导航基准线之间的角平分线以获得导航中心线。

Description

用于蔬菜大棚巡检机器人的导航中心线提取方法

技术邻域

本发明涉及机器视觉技术邻域，特别涉及用于蔬菜大棚巡检机器人的导航中心线提取方法。

背景技术

自主导航技术是实现蔬菜大棚农业机器人智能化、信息化和自动化的核心技术。现有的可用于农业机械导航邻域的自主导航技术包括全球导航卫星系统、机器视觉系统、惯性导航系统和多传感器信息融合等，其中全球导航卫星系统和机器视觉导航成为了农业机械导航邻域中的两种主流方法。而全球导航卫星系统(GNSS)亦或是全球定位系统(GPS)虽然可以提供全天候、全天时的绝对位置与航向信息，但是由于极端的天气或遮挡造成的GNSS和GPS信号的丢失，而限制了其在复杂农田环境中的应用。相对于全球导航卫星系统，机器视觉导航不依赖于卫星信号和基站并且具有成本低、信息丰富、可适用于不规则地块或信号遮挡环境等特点，成为了近年来自动导航技术研究的热点。

但是，目前的用于蔬菜大棚的智能巡检机器人对于导航线的提取存在图像模糊、识别速度慢、检测精度低以及对光照变化敏感等问题，使得机器视觉导航技术的鲁棒性有待进一步提高。

有鉴于此，确有必要提供一种操作简单且导航精度高的可用于蔬菜大棚巡检机器人的导航中心线提取方法。

发明内容

为了解决现有技术中存在的上述问题和缺陷的至少一个方面，本发明提供了一种用于蔬菜大棚巡检机器人的导航中心线提取方法。所述技术方案如下：

本发明的一个目的是提供了一种用于蔬菜大棚巡检机器人的导航中心线提取方法。

根据本发明的一个方面，提供了一种用于蔬菜大棚巡检机器人的导航中心线提取方法，其中，所述导航中心线提取方法包括以下步骤：

步骤S1通过摄像机采集蔬菜大棚中作物行之间的垄间图像，并获得矫正后的垄间图像；

步骤S2将所述矫正后的垄间图像进行图像分割以获得垄间土壤前景和作物行背景；

步骤S3将图像分割后的图像依次通过形态学闭运算和小面积去除法去除图像中的孔洞，以获得低噪声土壤前景和低噪声作物背景；

步骤S4通过Canny边缘检测算法对所述低噪声土壤前景的边缘进行检测以获得垄间土壤的轮廓线；

步骤S5根据所述垄间土壤的轮廓线提取轮廓特征点并通过最小二乘法拟合所提取的轮廓特征点以获得所述垄间土壤两侧的导航基准线；

步骤S6计算所述垄间土壤两侧的导航基准线之间的角平分线以获得导航中心线。

具体地，在步骤S2中，将所述矫正后的垄间图像进行图像分割包括以下步骤：

步骤S21将所述矫正后的垄间图像通过超绿特征因子进行超绿特征提取以获得垄间灰度化图像，所述超绿特征因子的表达式为：

其中，Gr(x,y)为垄间灰度化图像，G为颜色值RGB中的绿色分量，R为颜色值RGB中的红色分量，B为颜色值RGB中的蓝色分量；

步骤S22对所述垄间灰度化图像进行二值化处理将所述垄间灰度化图像分割为垄间土壤前景和作物行背景。

优选地，在步骤S22中，所述二值化处理包括以下步骤：

设所述垄间灰度化图像的灰度值阈值为t，遍历所述垄间灰度化图像的每一个像素点的灰度值，当当前像素点的灰度值小于阈值t时，则将当前像素点置为黑色，以获得所述垄间土壤前景；当当前像素点的灰度值大于阈值t时，则将当前像素点置为白色，以获得作物行背景；

所述阈值t的取值范围为150≤t≤180。

进一步地，在步骤S3中，所述形态学闭运算包括以下步骤：

S311将所述垄间土壤前景和所述作物行背景均依次进行膨胀操作和腐蚀操作以获得归一化后二值化图像，

在膨胀操作和腐蚀操作中均使用钻石形结构元素处理所述垄间土壤前景和所述作物行背景。

具体地，在步骤S3中，所述小面积去除法包括以下步骤：

步骤S321调用标记统计函数对归一化后二值化图像进行标记以划分为多个不同的连通区域并获得总区域数量，根据所标记的连通区域中的每一个区域的像素点数量获得每一个连通区域的区域面积；

步骤S322将所有区域面积根据面积从小到大排序以获得位于第30百分位数处的区域面积值；

步骤S323设定位于第30百分位数处的区域面积值为区域面积阈值T_a；

步骤S324判断每一个连通区域的区域面积是否小于区域面积阈值T_a，当当前连通区域的区域面积小于区域面积阈值T_a时，将当前连通区域中每一个像素点的灰度值设置为作物行背景的灰度值，

当当前连通区域的区域面积大于区域面积阈值T_a时，则不修改当前连通区域的灰度值。

优选地，在步骤S4中，Canny边缘检测算法包括以下步骤：

步骤S41通过二维高斯模板对低噪声土壤前景和低噪声作物背景进行卷积，以获得平滑垄间土壤前景和平滑作物行背景；

步骤S42通过Prewitt算子分别在水平方向和垂直方向对平滑处理后的图像进行卷积以获得每一个像素点的梯度、梯度方向和梯度图像；

步骤S43对所述梯度图像中的每一个像素点的梯度进行非极大值抑制以确定所述梯度图像中的边缘点；

步骤S44通过双阈值法对所述边缘点进行筛选以获得垄间土壤前景的轮廓线，

所述双阈值法包括以下步骤：

步骤S441设定梯度高阈值为H_T，梯度低阈值为H_L；

步骤S442遍历非极大值抑制图中的每一个边缘点的梯度，并比较当前像素点的梯度分别与梯度高阈值H_T和梯度低阈值H_L的大小，

当当前像素点的梯度大于梯度高阈值H_T时，则标记当前像素点为真实边缘点，将所述真实边缘点的灰度值置为255，

当当前像素点的梯度小于梯度低阈值H_L时，则当前像素点为伪边缘点，将所述伪边缘点的灰度值置为0，

当当前像素点的梯度介于梯度高阈值H_T和梯度低阈值H_L时，则判断以当前像素点为中心像素点的3×3邻域内是否有邻接像素的梯度大于梯度高阈值H_T，当在以当前像素点为中心像素点的3×3邻域内具有邻接像素的梯度大于梯度高阈值H_T时，则标记当前像素点为真实边缘点，并将所述真实边缘点的灰度值置为255，

当在以当前像素点为中心像素点的3×3邻域内的所有邻接像素的梯度均不大于梯度高阈值H_T时，则当前像素点为伪边缘点，将所述伪边缘点的灰度值置为0。

更加优选地，在步骤S442中，梯度高阈值H_T/梯度低阈值H_L的比值范围在2:1～3:1。

具体地，在步骤S43中，所述非极大值抑制包括以下步骤：

遍历梯度图像中的每一个像素点，沿当前像素点的正负梯度方向在以当前像素点为中心像素点的3×3邻域内进行梯度比较，当当前像素点的梯度大于正负梯度方向上邻接的像素点的梯度，则确定当前像素点为边缘点，并保留当前像素点的梯度，

当当前像素点的梯度小于正负梯度方向上邻接的像素点的梯度，则将当前像素点的灰度值置为0。

优选地，在步骤S5中，根据所述垄间土壤的轮廓线提取轮廓特征点并通过最小二乘法拟合所提取的轮廓特征点的方法包括以下步骤：

步骤S51建立规格大小为A列×B行的矩阵S且令矩阵S为空矩阵同时矩阵S的规格大小与通过Canny算法处理后的图像I规格大小一致；

步骤S52对图像I逐行扫描且在每行中每间隔h列扫描一次，并判断当前像素点的灰度值是否为255，

当当前像素点的灰度值为255时，则将当前像素点的坐标存入矩阵S中，且确定当前像素点为垄间土壤与作物行中的作物的交点；

步骤S53循环执行步骤S52，当扫描至第B行第A列时，则停止搜索；

步骤S54读取矩阵S中的所有坐标，依次将每一行的第一个像素点的坐标放入矩阵S1中，并依次将每一行的最后一个像素点的坐标放入矩阵S2中；

步骤S55根据矩阵S1中的所有坐标的列坐标值获得矩阵S1中每一个像素点的累加值V和所有列坐标的均值m₁，判断矩阵S1中当前像素点的列坐标累加值V是否大于m₁/2，以剔除矩阵S1中的无效特征点，

当当前像素点的列坐标累加值V大于m₁/2时，则设定当前像素点为垄间土壤与作物行中作物相交的特征点，

当当前像素点的列坐标累加值V小于或等于m₁/2时，则将当前像素点坐标从矩阵S1中删除；

步骤S56根据矩阵S2中的所有坐标的列坐标值获得矩阵S2当前像素点的列坐标累加值V′和所有列坐标的均值m₂，判断矩阵S2中当前像素点的列坐标累加值V′是否大于m₂/2，以剔除矩阵S2中的无效特征点，

当当前像素点的列坐标累加值V′小于m₂/2时，则设定当前像素点为垄间土壤与作物行中作物相交的特征点，

当当前像素点的列坐标累加值V′大于或等于m₂/2时，则将当前像素点坐标从矩阵S2中删除；

步骤S57根据剔除无效特征点后的矩阵S1中的像素点的坐标通过最小二乘法拟合以获得第一导航基准线L1，并根据剔除无效特征点后的矩阵S2中的像素点的坐标通过最小二乘法拟合以获得第二导航基准线L2，

所述垄间土壤与作物行中作物相交的特征点为所述轮廓特征点，

所述第一导航基准线L1和第二导航基准线L2为所述垄间土壤两侧的导航基准线。

具体地，在步骤S52中，h的取值范围为4～6列，

在步骤S6中，计算所述垄间土壤两侧的导航基准线之间的角平分线以获得导航中心线包括以下步骤：

步骤S61根据导航基准线L1获得其的斜率为k1，同时根据导航基准线L2获得其的斜率为k2；

步骤S62根据斜率k1和斜率k2获得导航基准线L1与导航基准线L2之间的角平分线的斜率k；

步骤S63根据斜率k获得导航基准线L1与导航基准线L2之间的角平分线，所述角平分线为导航中心线。

根据本发明的用于蔬菜大棚巡检机器人的导航中心线提取方法具有以下优点中的至少一个：

(1)本发明提供的用于蔬菜大棚巡检机器人的导航中心线提取方法通过摄像机对周围的环境进行实时探测，对获得的图像进行实时的动态分析，经图像处理后检测得到机器人的虚拟导航线；

(2)本发明提供的用于蔬菜大棚巡检机器人的导航中心线提取方法适用范围广，对于光照信息较为复杂的温室环境下，采用超绿灰度化算法可有效改善光照对路径识别的影响，提高蔬菜大棚巡检机器人路径识别对光照复杂的鲁棒性，并且可以实现实时路径导航且距离不受限；

(3)本发明提供的用于蔬菜大棚巡检机器人的导航中心线提取方法将作物行之间的垄间土壤作为目标进行图像处理，使得处理后的图像较传统的将作物行作为目标处理得到的图像更加具有更多丰富的细节信息，同时，基于机器人对连续单幅图像处理分析，耗时降低，路径识别速度明显提高，满足系统实时性，该路径导航中心线识别提取方法具有良好的实用性和适应性，进而使得导航更加灵敏准确；

(4)本发明提供的用于蔬菜大棚巡检机器人的导航中心线提取方法可以适用在多种类农作物的各个生长阶段，能够提高劳动生产率和作业质量，降低种植者的劳动强度，从而大大节约人力资源，对农业机械视觉导航具有更重要的意义。

附图说明

本发明的这些和/或其他方面和优点从下面结合附图对优选实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明的一个实施例的用于蔬菜大棚的智能巡检机器人视觉导航方法的流程图；

图2是图1所示的在步骤S2中，经图像分割中超绿特征提取处理后的垄间灰度化图像的示意图；

图3是图1所示的在步骤S2中，经图像分割中二值化处理后的二值化图像的示意图；

图4是图1所示的在步骤S3中经过形态学处理后得到的归一化后二值化图像的示意图；

图5是图1所示的在步骤S4中经过Canny边缘检测算法处理后得到垄间土壤轮廓线的示意图；

图6是根据本发明提供的用于蔬菜大棚巡检机器人的导航中心线提取方法所提取的导航中心线与理想的导航中心线和传统的轮廓特征点提取算法结合hough变换拟合得到的导航中心线的对比图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。在说明书中，相同或相似的附图标号指示相同或相似的部件。下述参照附图对本发明实施方式的说明旨在对本发明的总体发明构思进行解释，而不应当理解为对本发明的一种限制。

参见图1，其示出了本发明的一个实施例的用于蔬菜大棚巡检机器人的导航中心线提取方法的流程。所述导航中心线提取方法包括以下步骤：

步骤S1通过摄像机采集蔬菜大棚中作物行之间的垄间图像，并获得矫正后的垄间图像；

步骤S2将所述矫正后的垄间图像进行图像分割以获得垄间土壤前景和作物行背景；

步骤S3将图像分割后的图像依次通过形态学闭运算和小面积去除法去除图像中的孔洞，以获得低噪声土壤前景和低噪声作物背景；

步骤S4通过Canny边缘检测算法对所述低噪声土壤前景的边缘进行检测以获得垄间土壤的轮廓线；

步骤S5根据所述垄间土壤的轮廓线提取轮廓特征点并通过最小二乘法拟合所提取的轮廓特征点以获得所述垄间土壤两侧的导航基准线；

步骤S6计算所述垄间土壤两侧的导航基准线之间的角平分线以获得导航中心线。

在一个示例中，摄像机采集到蔬菜大棚中作物行之间的垄间图像，之后通过摄像机的径向畸变模型和切向畸变模型对所采集到的垄间图像进行矫正得到矫正后的垄间图像，所述径向畸变模型的表达式为：

其中，令

其中，(δ_xr，δ_yr)是通过径向畸变模型矫正后的垄间图像中的像素点的位置坐标，(x_p，y_q)是发生径向和横向畸变后的所述垄间图像中的像素点的位置坐标，k₁、k₂和k₃是径向畸变系数。

所述切向畸变模型的表达式为：

其中，令

其中，(δ_xd，δ_yd)是通过切向畸变模型矫正后的垄间图像中的像素点的位置坐标，(x_p，y_q)是发生径向和横向畸变后的所述垄间图像中的像素点的位置坐标，p₁和p₂是切向畸变系数。

由于摄像机所拍摄到的温室大棚中的垄间图像的背景较为复杂，在图像中存在较多的阴影和杂草等噪声，为了抑制这些噪声，同时为了使蔬菜大棚中的植物和土壤能够明显的区分出来，因此首先执行对矫正后的垄间图像进行超绿特征提取，以得到垄间灰度化图像(即步骤S21)。在超绿特征提取中，通过超绿特征因子计算每一个像素点的超绿分量。传统的超绿特征因子(例如：2G-R-B)在提取超绿特征时，仍然会存在较大的背景噪声干扰，因此本发明对该超绿特征因子进行了改进，改进后的超绿特征因子的表达式为：

其中，Gr(x,y)为垄间灰度化图像，G为当前像素点颜色值RGB中的绿色分量，R为当前像素点颜色值RGB中的红色分量，B为当前像素点颜色值RGB中的蓝色分量。

在计算超绿分量时，当当前像素点的超绿分量大于等于0时，将当前像素点的灰度值置为1.75G-R-B；当当前像素点的超绿分量小于0时，将当前像素点的灰度值置为0，即黑色(如图2所示)。

结合图1和图3所示，在对矫正后的垄间图像超绿特征提取后，对所得到的垄间灰度化图像进行二值化处理(即步骤S22)，将图像分割为了垄间土壤前景和作物行背景。设所述垄间灰度化图像的灰度值阈值为t，遍历所述垄间灰度图像的每一个像素点的灰度值，当当前像素点的灰度值小于阈值t时，则将当前像素点置为0，即黑色，得到垄间土壤前景，由此保留了垄间；当当前像素点的灰度值大于阈值t时，则将当前像素点置为255，即白色，得到作物行背景，由此剔除了作物行中的植物信息。

在一个示例中，所述阈值t的取值范围为150≤t≤180，优选为160≤t≤170，更加优选为160。通过这样的设定降低了图像分割时的错分概率，因为在进行图像分割时，如果阈值设定过大，这样使得保留的垄间土壤信息很少；如果阈值设定过小，使得在二值化图像中的垄间土壤信息中含有大量的噪音，这样使得在后期进行导航中心线提取中造成信息误判，得到错误的导航路径。

继续参见图1，在对图像二值化以后，传统的方式为通过自适应中值滤波算法来进一步处理二值化图像中的噪音。但是经过中值滤波处理后，常常仍存在少量的噪声，这时还不能完整地将垄间土壤信息提取出来，通常还需要进行再一次的噪声滤除。为了使得在一次降噪处理中就能够完成地提取出垄间土壤信息，本发明采用形态学闭运算迭代二值化图像。结合图1和图4所示，执行步骤S311，将二值化图像(包括所述垄间土壤前景和所述作物行背景)先进行膨胀操作，之后再进行腐蚀操作，由此得到了归一化后二值化图像(包括二值化的垄间土壤前景和归一化后的作物行背景)。

在一个示例中，在膨胀操作和腐蚀操作中均使用钻石形结构元素处理二值化图像，有效去除了二值化图像中例如作物行背景中的作物与作物之间的小黑洞，连接了作物植株间的间断区域。所述钻石型结构元素为5×5的结构元素，具体表达为：

在一个示例中，通过MATLAB R2020a软件调用imdilate函数对二值化图像进行膨胀处理，然后调用imerode函数对二值化图像进行腐蚀操作。本示例仅是一种说明性示例，本领域技术人员不应当理解为对本发明的一种限制，本领域技术人员还可以根据需要使用例如ImageDataGenerator、OPENCV等软件或者其他现有的技术对二值化图像进行形态学处理，只要能实现去除二值化图像中的多余噪声即可。

在一个示例中，在形态学处理之前或者之后可以使用Matlab2020a软件对图像进行裁剪得到感兴趣的区域，之后再对感兴趣的区域进行后续图像处理，以减少计算机的数据处理量。本示例仅是一种说明性示例，本领域技术人员不应当理解为对本发明的一种限制，本领域技术人员可以根据需要进行相应的选择，例如可以进行裁剪也可以不裁剪，当然还可以采用其他现有的方法进行替换以减少计算机的数据处理量。

在进行形态学处理之后，归一化后二值化图像仍然还存在一些小面积的噪声。在一个示例中，通过所述小面积去除法去除这些噪声，具体包括以下步骤：

步骤S321调用标记统计函数对归一化后二值化图像进行标记，将该归一化后二值化图像划分为多个不同的连通区域并统计总区域数量，根据所标记的连通区域中的每一个区域的像素点数量得到每一个连通区域的区域面积，即每一个区域的像素点数量就是该区域的区域面积；

步骤S322将所有区域面积根据面积从小到大排序并计算得到位于第30百分位数处的区域面积值；

步骤S323设定位于第30百分位数处的区域面积值为区域面积阈值T_a；

步骤S324搜索并判断当前连通区域的区域面积是否小于区域面积阈值T_a，当当前连通区域的区域面积小于区域面积阈值T_a时，将当前连通区域中每一个像素点的灰度值设置为作物行背景的灰度值，或者将当前连通区域中每一个像素点赋值为1，

当当前连通区域的区域面积大于区域面积阈值T_a时，则不修改当前连通区域的灰度值，或者将当前连通区域中每一个像素点赋值为0；

步骤S325循环执行步骤S324，直至扫描区域数量等于总区域数量时，停止搜索。

在通过小面积去除法处理图像过程中，发现每一帧图像的噪声面积都是不一致的，当区域面积阈值T_a设置过大，将导致滤除了例如垄间土壤前景中的主体部分，当区域面积阈值T_a设置过小，使得噪声滤除效果差，保留了较多的噪声，容易造成后续的特征点的误判。

因此将区域面积阈值T_a设置为第30百分位处的区域面积，这样既可以保留垄间土壤前景和作物行背景的主体部分，又可以滤除掉例如垄间土壤前景中因地面凹凸不平、植物阴影、碎石、落叶等噪声，还可以滤除作物行背景中的杂草噪声。

在经过小面积去除法有效去除例如孤立的小面积区域后得到了低噪声土壤前景和低噪声作物背景，之后将该低噪声图像通过本发明提供的改进的Canny边缘检测算法对低噪声土壤前景的边缘进行检测，具体包括以下步骤：

步骤S41通过二维高斯模板对低噪声土壤前景和低噪声作物背景进行卷积，以获得平滑垄间土壤前景和平滑作物行背景；

在一个示例中，通过二维高斯函数得到一个权重矩阵并将该矩阵进行归一化，由此得到了标准权重矩阵，即二维高斯模板。其中所述二维高斯函数的方差设置为σ²＝0.64，通过这样的设置，图像中的噪声点得到了最佳抑制，将3×3邻域模板中的每一个坐标代入二维高斯函数中，即可得到权重矩阵，邻域模板为：

(-1,1)	(0,1)	(1,-1)
			(-1,0)	(0,0)	(1,0)
(-1,1)	(0,1)	(1,1)

权重矩阵为：

0.052	0.114	0.052
			0.114	0.249	0.114
0.052	0.114	0.052

二维高斯模板为：

0.057	0.125	0.057
			0.125	0.272	0.125
0.057	0.125	0.057

虽然通过二维高斯模板平滑了图像，但是同时也使垄间土壤前景的边缘变得模糊，因此需要使用Prewitt算子对垄间土壤前景的边缘进行增强。

步骤S42通过Prewitt算子分别在水平方向和垂直方向对平滑处理后的图像进行卷积，由此可以得到每一个像素点的梯度、梯度方向和该平滑处理后的图像对应的梯度图像，在所述梯度图像中，每一个像素点的值为该像素点的梯度。Prewitt算子在水平方向使用的模板为：

-1	0	1
			-1	0	1
-1	0	1

在垂直方向使用的模板为：

步骤S43在3×3邻域内，在当前像素的正负梯度方向上，以当前像素点为中心像素点，比较当前像素点的梯度与其邻接的像素点的梯度大小，当当前像素点对应的梯度为最大值时，则当前像素点为边缘点，将该像素点的梯度保留。当当前像素点对应的梯度小于梯度方向的正负方向上任意一个的像素点的梯度时，则将该像素点的灰度值赋值为0，即剔除该像素点。直至遍历梯度图像中的所有像素点，停止跟踪。所述当前像素点的梯度方向的正负方向为例如当前像素点的45度方向和225度方向，或者当前像素点的135度方向和315度方向，或者当前像素点的90度方向和270度方向，或者当前像素点的180度方向和0度方向。

步骤S44在经过非极大值抑制之后，通过双阈值法对边缘点进行筛选以获得垄间土壤前景的轮廓线(如图5所示)，所述双阈值法包括以下步骤：

步骤S441设定梯度高阈值为H_T，梯度低阈值为H_L；

步骤S442比较当前像素点的梯度分别与梯度高阈值H_T和梯度低阈值H_L的大小，

当当前像素点的梯度大于梯度高阈值H_T时，则标记当前像素点为真实边缘点，将所述真实边缘点的灰度值置为255，即置为白色；

当当前像素点的梯度小于梯度低阈值H_L时，则当前像素点为伪边缘点，将所述伪边缘点的灰度值置为0，

当当前像素点的梯度介于梯度高阈值H_T和梯度低阈值H_L时，则判断以当前像素点为中心像素点的3×3邻域内是否有邻接像素的梯度大于梯度高阈值H_T，当在以当前像素点为中心像素点的3×3邻域内具有邻接像素的梯度大于梯度高阈值H_T时，则标记当前像素点为真实边缘点，并将所述真实边缘点的灰度值置为255，

当在以当前像素点为中心像素点的3×3邻域内的所有邻接像素的梯度均不大于梯度高阈值H_T时，则当前像素点为伪边缘点，将所述伪边缘点的灰度值置为0；

步骤S443循环执行步骤S442，直至遍历所有边缘点，所述所有真实边缘点形成所述轮廓线。

在一个示例中，梯度高阈值H_T/梯度低阈值H_L的比值范围在2:1～3:1。例如可以选择梯度高阈值H_T＝140，梯度低阈值H_L＝60。本示例仅是一种说明性示例，本领域技术人员不应当理解为对本发明的一种限制。

在获得图像的轮廓线之后，提取垄间土壤前景的轮廓特征点并通过最小二乘法拟合所提取的轮廓特征点的方法包括以下步骤：

步骤S51建立规格大小为A列×B行的矩阵S且令矩阵S为空矩阵同时矩阵S的规格大小与通过Canny算法处理后的图像I规格大小一致；

步骤S52以图像I的左上角的像素点为初始像素点，按照从左到右(即沿着图像的行坐标轴方向)再从上到小(即沿着图像的列坐标轴方向)的顺序对图像I逐行扫描且在每行中每间隔h列扫描一次，并判断当前像素点的灰度值是否为255，

当当前像素点的灰度值为255时，则将当前像素点的坐标存入矩阵S中，且确定当前像素点为垄间土壤与作物行中的作物的交点，

当当前像素点的灰度值不为255时，则将当前像素点的坐标置为(0,0)存入矩阵S中，且使矩阵S的像素点与图像I的像素点彼此一一对应；

步骤S53循环执行步骤S52，当扫描至第B行第A列时，则停止搜索；

步骤S54读取矩阵S中的所有坐标，依次将每一行的第一个坐标不为0的像素点的坐标按照从上到下的顺序放入矩阵S1中，并依次将每一行的最后一个坐标不为0的像素点的坐标同样按照从上到下的顺序放入矩阵S2中；

步骤S55根据矩阵S1中的所有坐标的列坐标值计算所有列坐标的均值m₁，并将矩阵S1中的每一个像素点的列坐标从上到下累加，使得每一个像素点均有一个累加值V，即当前像素点的列坐标的累加值为在矩阵S1中，位于当前像素点上方的所有像素点的列坐标值与当前像素点的列坐标值的累加求和的值。之后判断矩阵S1中当前像素点的列坐标累加值V是否大于m₁/2，以剔除矩阵S1中的无效特征点，

当当前像素点的列坐标累加值V大于m₁/2时，则设定当前像素点为垄间土壤与作物行中作物相交的特征点，

当当前像素点的列坐标累加值V小于或等于m₁/2时，则将当前像素点坐标从矩阵S1中删除；

步骤S56根据矩阵S2中的所有坐标的列坐标值计算所有列坐标的均值m₂，并将矩阵S2中的每一个像素点的列坐标从上到下累加，使得每一个像素点均有一个累加值V′，即当前像素点的列坐标的累加值为在矩阵S2中，位于当前像素点上方的所有像素点的列坐标值与当前像素点的列坐标值的累加求和的值。之后判断矩阵S2当前像素点的列坐标累加值V′是否大于m₂/2，以剔除矩阵S2中的无效特征点，

当当前像素点的列坐标累加值V′小于m₂/2时，则设定当前像素点为垄间土壤与作物行中作物相交的特征点，

当当前像素点的列坐标累加值V′大于或等于m₂/2时，则将当前像素点坐标从矩阵S2中删除；

步骤S57根据剔除无效特征点后的矩阵S1中的像素点的坐标通过最小二乘法拟合得到第一导航基准线L1，并根据剔除无效特征点后的矩阵S2中的像素点的坐标通过最小二乘法拟合以获得第二导航基准线L2，

所述垄间土壤与作物行中作物相交的特征点为所述轮廓特征点，

所述第一导航基准线L1和第二导航基准线L2为所述垄间土壤两侧的导航基准线。

通过本发明提供的轮廓特征点提取算法保留了图像中上半部分的特征点，也就是说，保留了每一个扫描矩阵图像中的上半部分的特征点(即导航基准离散点)，由此使得计算机在处理图像时只需要处理少量的相对离散的像素点，从而减少了计算机的数据处理量，进而减少了数据处理时间，这样既可以保证后续导航中心线提取的准确率，又进一步提高了导航中心线提取的实时性，从而使得导航的效率得到大幅提升。

在一个示例中，h的取值范围优选为4～6列，更加优选为5列。

在传统的直线检测和拟合中，常常会使用Hough(霍夫)变换来处理图像，但是该方法无法适应转弯情况下对曲线的检测和拟合。在智能巡检机器人实际的工作环境中，智能巡检机器人在蔬菜大棚中巡检时往往都需要在多个作物行之间的垄间土壤行中蜿蜒行进，因此精确检测和拟合出在巡检中转弯时的路径是十分重要的。

如图6所示，图中实线所示通过本发明提出的轮廓特征点提取算法结合最小二乘法拟合所得的导航中心线、虚线所示的通过传统的轮廓特征点提取结合Hough(霍夫)变换拟合得到的导航中心线与点断线所示理想的导航中心线之间形成的对比可以看出：通过本发明提出的创新的轮廓特征点提取算法和最小二乘法拟合所提取得到的轮廓特征点，得到了更加精确的导航中心线。使得智能巡检机器人能够沿着更加精确的导航线行进，而不会因为导航线的不准确而毁坏作物。而通常采用传统的轮廓特征点提取算法结合Hough(霍夫)变换拟合得到的导航中心线偏差较大，准确度较低，极大的影响了视觉导航的准确性。

在得到第一导航基准线L1和第二导航基准线L2之后，计算所述垄间土壤两侧的导航基准线之间的角平分线以获得导航中心线包括以下步骤：

步骤S61根据导航基准线L1获得其的斜率为k1，同时根据导航基准线L2获得其的斜率为k2；

步骤S62根据斜率k1和斜率k2获得导航基准线L1与导航基准线L2之间的角平分线的斜率k(如表1所示)；

步骤S63根据斜率k获得导航基准线L1与导航基准线L2之间的角平分线，所述角平分线为导航中心线。

表1不同算法直线参数比较

算法	斜率k	截距b
			本发明提供的导航中心线提取方法	-0.0134	327.0222
传统轮廓特征点提取结合hough变换拟合	-0.5168	348.9507

通过表1可以看出，通过本发明提供的导航中心线提取方法得到的导航中心线(如图6所示的实线)更接近于理想的导航中心线(如图6所示的点断线)。

表2不同算法提取导航中心线平均耗时统计表

算法	平均耗时(ms)
		本发明提供的导航中心线提取方法	116
传统轮廓特征点提取结合hough变换拟合	152

表2为本发明提供的导航中心线提取方法和传统的算法处理100幅640像素×480像素的图像的平均耗时统计表。通过表2可以看出，通过本发明提供的导航中心线提取方法所耗时间平均约116ms，根据100幅图像的批量处理计算结果显示，导航中心线拟合准确率为94％。同时运用传统轮廓特征点提取方法结合Hough变换拟合得到的导航中心线平均耗时约152ms，根据100幅图像的批量处理计算结果显示，导航中心线拟合准确率为92％。由此可以得出，传统轮廓特征点提取结合hough变换拟合的计算量大、耗时长，其实时性处理相较于本发明提供的导航中心线提取方法的实时性差。

根据本发明的用于蔬菜大棚巡检机器人的导航中心线提取方法具有以下优点中的至少一个：

(1)本发明提供的用于蔬菜大棚巡检机器人的导航中心线提取方法通过摄像机对周围的环境进行实时探测，对获得的图像进行实时的动态分析，经图像处理后检测得到机器人的虚拟导航线；

(2)本发明提供的用于蔬菜大棚巡检机器人的导航中心线提取方法适用范围广，并且可以实现实时路径导航且距离不受限；

(3)本发明提供的用于蔬菜大棚巡检机器人的导航中心线提取方法处理后的图片具有更加丰富的细节信息；

(4)本发明提供的用于蔬菜大棚巡检机器人的导航中心线提取方法可以适用在多种类农作物的各个生长阶段，能够提高劳动生产率和作业质量，降低种植者的劳动强度，从而大大节约人力资源。

虽然本总体发明构思的一些实施例已被显示和说明，本邻域普通技术人员将理解，在不背离本总体发明构思的原则和精神的情况下，可对这些实施例做出改变，本发明的范围以权利要求和它们的等同物限定。

Claims (9)

1.一种用于蔬菜大棚巡检机器人的导航中心线提取方法，所述导航中心线提取方法包括以下步骤：

步骤S1通过摄像机采集蔬菜大棚中作物行之间的垄间图像，并获得矫正后的垄间图像；

步骤S2将所述矫正后的垄间图像进行图像分割以获得垄间土壤前景和作物行背景；

步骤S3将图像分割后的图像依次通过形态学闭运算和小面积去除法去除图像中的孔洞，以获得低噪声土壤前景和低噪声作物背景；

步骤S4通过Canny边缘检测算法对所述低噪声土壤前景的边缘进行检测以获得垄间土壤的轮廓线；

步骤S5根据所述垄间土壤的轮廓线提取轮廓特征点并通过最小二乘法拟合所提取的轮廓特征点以获得所述垄间土壤两侧的导航基准线，

根据所述垄间土壤的轮廓线提取轮廓特征点并通过最小二乘法拟合所提取的轮廓特征点的方法包括以下步骤：

步骤S51建立规格大小为A列×B行的矩阵S且令矩阵S为空矩阵同时矩阵S的规格大小与通过Canny算法处理后的图像I规格大小一致；

步骤S52对图像I逐行扫描且在每行中每间隔h列扫描一次，并判断当前像素点的灰度值是否为255，

当当前像素点的灰度值为255时，则将当前像素点的坐标存入矩阵S中，且确定当前像素点为垄间土壤与作物行中的作物的交点，

当当前像素点的灰度值不为255时，则将当前像素点的坐标置为(0,0)存入矩阵S中，且使矩阵S的像素点与图像I的像素点彼此一一对应；

步骤S53循环执行步骤S52，当扫描至第B行第A列时，则停止搜索；

步骤S54读取矩阵S中的所有坐标，依次将每一行的第一个坐标不为0的像素点的坐标按照从上到下的顺序放入矩阵S1中，并依次将每一行的最后一个坐标不为0的像素点的坐标按照从上到下的顺序放入矩阵S2中；

步骤S55根据矩阵S1中的所有坐标的列坐标值获得矩阵S1中每一个像素点的累加值V和所有列坐标的均值m₁，判断矩阵S1中当前像素点的列坐标累加值V是否大于m₁/2，以剔除矩阵S1中的无效特征点，

当当前像素点的列坐标累加值V大于m₁/2时，则设定当前像素点为垄间土壤与作物行中作物相交的特征点，

当当前像素点的列坐标累加值V小于或等于m₁/2时，则将当前像素点坐标从矩阵S1中删除；

步骤S56根据矩阵S2中的所有坐标的列坐标值获得矩阵S2当前像素点的列坐标累加值V′和所有列坐标的均值m₂，判断矩阵S2中当前像素点的列坐标累加值V′是否大于m₂/2，以剔除矩阵S2中的无效特征点，

当当前像素点的列坐标累加值V′小于m₂/2时，则设定当前像素点为垄间土壤与作物行中作物相交的特征点，

当当前像素点的列坐标累加值V′大于或等于m₂/2时，则将当前像素点坐标从矩阵S2中删除；

步骤S57根据剔除无效特征点后的矩阵S1中的像素点的坐标通过最小二乘法拟合以获得第一导航基准线L1，并根据剔除无效特征点后的矩阵S2中的像素点的坐标通过最小二乘法拟合以获得第二导航基准线L2，

所述垄间土壤与作物行中作物相交的特征点为所述轮廓特征点，

所述第一导航基准线L1和第二导航基准线L2为所述垄间土壤两侧的导航基准线；

步骤S6计算所述垄间土壤两侧的导航基准线之间的角平分线以获得导航中心线。

2.根据权利要求1所述的用于蔬菜大棚巡检机器人的导航中心线提取方法，其特征在于，

在步骤S2中，将所述矫正后的垄间图像进行图像分割包括以下步骤：

步骤S21将所述矫正后的垄间图像通过超绿特征因子进行超绿特征提取以获得垄间灰度化图像，所述超绿特征因子的表达式为：

其中，Gr(x,y)为垄间灰度化图像，G为颜色值RGB中的绿色分量，R为颜色值RGB中的红色分量，B为颜色值RGB中的蓝色分量；

步骤S22对所述垄间灰度化图像进行二值化处理将所述垄间灰度化图像分割为垄间土壤前景和作物行背景。

3.根据权利要求2所述的用于蔬菜大棚巡检机器人的导航中心线提取方法，其特征在于，

在步骤S22中，所述二值化处理包括以下步骤：

设所述垄间灰度化图像的灰度值阈值为t，遍历所述垄间灰度化图像的每一个像素点的灰度值，当当前像素点的灰度值小于阈值t时，则将当前像素点置为黑色，以获得所述垄间土壤前景；当当前像素点的灰度值大于阈值t时，则将当前像素点置为白色，以获得作物行背景；

所述阈值t的取值范围为150≤t≤180。

4.根据权利要求1所述的用于蔬菜大棚巡检机器人的导航中心线提取方法，其特征在于，

在步骤S3中，所述形态学闭运算包括以下步骤：

S311将所述垄间土壤前景和所述作物行背景均依次进行膨胀操作和腐蚀操作以获得归一化后二值化图像，

在膨胀操作和腐蚀操作中均使用钻石形结构元素处理所述垄间土壤前景和所述作物行背景。

5.根据权利要求4所述的用于蔬菜大棚巡检机器人的导航中心线提取方法，其特征在于，

在步骤S3中，所述小面积去除法包括以下步骤：

步骤S321调用标记统计函数对归一化后二值化图像进行标记以划分为多个不同的连通区域并获得总区域数量，根据所标记的连通区域中的每一个区域的像素点数量获得每一个连通区域的区域面积；

步骤S322将所有区域面积根据面积从小到大排序以获得位于第30百分位数处的区域面积值；

步骤S323设定位于第30百分位数处的区域面积值为区域面积阈值T_a；

步骤S324判断每一个连通区域的区域面积是否小于区域面积阈值T_a，当当前连通区域的区域面积小于区域面积阈值T_a时，将当前连通区域中每一个像素点的灰度值设置为作物行背景的灰度值，

当当前连通区域的区域面积大于区域面积阈值T_a时，则不修改当前连通区域的灰度值。

6.根据权利要求1所述的用于蔬菜大棚巡检机器人的导航中心线提取方法，其特征在于，

在步骤S4中，Canny边缘检测算法包括以下步骤：

步骤S41通过二维高斯模板对低噪声土壤前景和低噪声作物背景进行卷积，以获得平滑垄间土壤前景和平滑作物行背景；

步骤S42通过Prewitt算子分别在水平方向和垂直方向对平滑处理后的图像进行卷积以获得每一个像素点的梯度、梯度方向和梯度图像；

步骤S43对所述梯度图像中的每一个像素点的梯度进行非极大值抑制以确定所述梯度图像中的边缘点；

步骤S44通过双阈值法对所述边缘点进行筛选以获得垄间土壤前景的轮廓线，

所述双阈值法包括以下步骤：

步骤S441设定梯度高阈值为H_T，梯度低阈值为H_L；

步骤S442遍历非极大值抑制图中的每一个边缘点的梯度，并比较当前像素点的梯度分别与梯度高阈值H_T和梯度低阈值H_L的大小，

当当前像素点的梯度大于梯度高阈值H_T时，则标记当前像素点为真实边缘点，将所述真实边缘点的灰度值置为255，

当当前像素点的梯度小于梯度低阈值H_L时，则当前像素点为伪边缘点，将所述伪边缘点的灰度值置为0，

当当前像素点的梯度介于梯度高阈值H_T和梯度低阈值H_L时，则判断以当前像素点为中心像素点的3×3邻域内是否有邻接像素的梯度大于梯度高阈值H_T，当在以当前像素点为中心像素点的3×3邻域内具有邻接像素的梯度大于梯度高阈值H_T时，则标记当前像素点为真实边缘点，并将所述真实边缘点的灰度值置为255，

当在以当前像素点为中心像素点的3×3邻域内的所有邻接像素的梯度均不大于梯度高阈值H_T时，则当前像素点为伪边缘点，将所述伪边缘点的灰度值置为0。

7.根据权利要求6所述的用于蔬菜大棚巡检机器人的导航中心线提取方法，其特征在于，

在步骤S442中，梯度高阈值H_T/梯度低阈值H_L的比值范围在2:1～3:1。

8.根据权利要求6所述的用于蔬菜大棚巡检机器人的导航中心线提取方法，其特征在于，

在步骤S43中，所述非极大值抑制包括以下步骤：

遍历梯度图像中的每一个像素点，沿当前像素点的正负梯度方向在以当前像素点为中心像素点的3×3邻域内进行梯度比较，当当前像素点的梯度大于正负梯度方向上邻接的像素点的梯度，则确定当前像素点为边缘点，并保留当前像素点的梯度，

当当前像素点的梯度小于正负梯度方向上邻接的像素点的梯度，则将当前像素点的灰度值置为0。

9.根据权利要求1所述的用于蔬菜大棚巡检机器人的导航中心线提取方法，其特征在于，

在步骤S52中，h的取值范围为4～6列，

在步骤S6中，计算所述垄间土壤两侧的导航基准线之间的角平分线以获得导航中心线包括以下步骤：

步骤S61根据导航基准线L1获得其的斜率为k1，同时根据导航基准线L2获得其的斜率为k2；

步骤S62根据斜率k1和斜率k2获得导航基准线L1与导航基准线L2之间的角平分线的斜率k；

步骤S63根据斜率k获得导航基准线L1与导航基准线L2之间的角平分线，所述角平分线为导航中心线。

Images