CN113065562B - 一种基于语义分割网络的作物垄行提取及主导航线选取方法 - Google Patents

Abstract

本发明提出了一种基于语义分割网络的作物垄行提取及主导航线选取方法，用于改善传统图像法多垄行情况下苗垄识别及主航线选取不稳定的问题。主要包括以下步骤：采集农作物幼苗垄行图像，预处理图像，导入预训练后的语义分割网络获取垄行掩码图像，解析掩码图像为二值图像，获取垄行信息，利用最小二乘法拟合垄行直线，采用水平直线碰撞法锁定中心主垄行，生成主垄行导航信息传输给植保机。本发明苗垄识别准确率高，航线选取稳定。

Description

一种基于语义分割网络的作物垄行提取及主导航线选取方法

技术领域

本发明涉及智能农业机械控制领域，是一种基于语义分割网络的农作物幼苗垄行提取及主导航线选取方法。

背景技术

在全自动化农业生产过程中，导航线是机械自动化设备在田间育苗、施肥、除草、喷药的必备条件，当农业作业设备在多垄行环境下全自动化运行时，上位机采集画面随设备运行姿态变化而不断变化，因此将视觉导航应用到农业生产领域，关键在于选取一条精确地导航线，将其传递给作业设备的植保机。

现有垄行识别方法多采用传统的图像法，以Hough变换和最小二乘法最为明显。虽然方法本身都较为成熟，但是在农业工程领域实际应用中，实时导航路径检测却变现欠佳，其原因在于农田作物、杂草、石块、土壤表层等场景错综复杂，另一方面图像法易受光照影响，导航线不稳定严重影响了导航路径的检测精度。

因为深度学习方法具有覆盖范围广、学习能力强、自适应能力强的特点，将深度学习方法应用到垄行识别和导航技术领域具有很大的研究价值。在实际的农业工程领域中，植保机田间导航时面临着诸多问题，现有方法技术主要针对苗垄区域识别以及简单苗垄划线问题，但在多垄行同时出现时，针对上位机如何自动选取所需导航线暨主垄行选取以及航向角如何获取问题，现有方法技术并未给出明确的方法。针对此问题，本发明对苗垄识别以及植保机主航线选取提出了相对有效的解决方法。

发明内容

本发明提出了一种基于语义分割的农作物幼苗垄行提取及主导航线选取方法。

本发明技术如下所述：

第一方面，本发明的实施提出了一种基于语义分割的农作物幼苗垄行提取，包括以下步骤：

1)通过工业深度相机采集农田垄行图像；

2)将图像传入训练好的语义分割网络，通过卷积单元、并行卷积单元、上采样以及下采样模块，端到端预测条状垄行的二分类掩码图像；

3)将二分类掩码图像转化为Numpy矩阵形式存储，进而解析为可视化的二值图像，生成条状白像素垄行轮区域，通过过滤噪声，提取面积阈值以上的所有条状白像素垄行区域。

根据上述方案的本发明，所述的工业深度相机采用Real Sense D415深度相机。

根据上述方案的本发明，所述的语义分割优先采用高度对称的解编码网络(ESNET)，该网络结构成对称结构分布，结构简单，对称结构大大降低了网络的复杂性，加速了整个推理过程，在二分类语义分割应用中，精度较高，识别速度较快。

根据上述方案的本发明，所述的解编码网络(ESNET)包含卷积单元、并行卷积单元、上采样以及下采样模块。

根据上述方案的本发明，分解卷积单元在残差层中广泛使用不同内核的一维分解卷积，来感受不同尺度的区域、获取不同尺度的对象实例。

根据上述方案的本发明，所述的解编码网络，解码器网络中的并行分解卷积单元在残差层中广泛使用转变-分裂-转变-合并策略，并行分解卷积利用网络规模强大的特征，仍然可以在整个网络中进行端到端的训练。

根据上述方案的本发明，所述的解编码网络，输出图像为二分类掩码信息，需要转换成Numpy形式，才能进行后续视频流处理。

根据上述方案的本发明，所述的Numpy形式，需要进一步解析为可视化的二值图像，二值图像由白像素条状垄行区域与黑像素土壤背景组成，目标直观且无需进行聚类操作、筛选操作等其他处理，大大缩减了计算效率，可直接作为后续方案的输入。

第二方面，本发明的实施提出了一种多垄行场景下主垄行导航线的选取方法，包括以下步骤：

1)垂直方向均匀提取二值图像中闭条状垄行区域上的像素点坐标，利用最小二乘法拟合生成条状白像素拟合线，延长拟合线至屏幕顶部与底部，并对所有白像素区域执行此操作；

2)利用水平中线碰撞法则，对所有拟合线与水平中线交点进行排序，确定中心主垄行线，将垂直中线与主导航线的夹角作为导航信息传输给植保机运动系统。

根据上述方案的本发明，由第一方面可得条状多垄行白像素图像，去除噪声，提取该图像中所有符合面积阈值以上的条状白像素区域区域，对各区域进行标记，遍历计算所有标记区域面积。

根据上述方案的本发明，垂直方向均匀选取条状白像素区域上的像素点坐标作为待拟合坐标，运用最小二乘法拟合直线，并将拟合直线延伸至屏幕底部与顶部，以此类推到所有条状白像素区域。

根据上述方案的本发明，水平中线即屏幕中心水平线，将屏幕等分成上下两部分。

根据上述方案的本发明，利用水平中线碰撞法获得每条拟合线的中点。

根据上述方案的本发明，所述水平中线碰撞法，对所有拟合线与水平中线交点进行排序，交点以数组形式依次排列。

根据上述方案的本发明，所述交点为奇数时取最中间点为主交点，交点数目为偶数时取中间靠左为点为主交点，主交点所在拟合线为主导航线。

根据上述方案的本发明，所述主导航线与屏幕垂直中线夹角为植保机器人偏转角。

上述本发明的实施有益效果如下：

本发明针对当前农业工程领域垄行识别主导航线选取问题提出了相应的解决方法。

在垄行识别方面，在训练阶段，对所有的样本标注时，只关注垄行本身，忽略杂草、石块等其他因素的影响，配合对称解编码网络(ESNET)，端到端直观的区分识别垄行与土壤，二分类识别大大地提升识别的速度，满足工程实践的实时性准确性要求。

在农作物在播种时，垄行几乎平行且间距稳定，对于同时出现的多垄行问题，主垄行的选取能够有效地为植保机提供所需的导航信息，避免了因为主垄行指代不明导致的植保机偏航、抖动问题，有效地解决了植保机自主行走时的导航问题，为后续植保机一系列农业活动提供了作业基础。

附图说明

图1为本发明流程图

图2为语义分割网络结构图

图3为农田采集图像

图4为解编码网络预测垄行二值图

图5为垄行直线拟合图

图6为奇数交点垄行示例图

图7为位偶数交点垄行示例图

图8为获取航向角原理图

具体实施方式

应该指出,以下详细说明都是针对性的,旨在对本发明提供进一步的说明.除非另有特指,本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非本发明另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤﹑操作、器件、组件和/或它们的组合；

正如背景技术所介绍的,现有技术中存在不足,为了解决如上的技术问题,本发明的一中典型实施方法，如图1所示，主要步骤如下:

加载深度相机，实时采集农田垄行图像，如图3所示；

预处理图像，首先调整图像大小到垄行识别系统所需大小，其次将原始图像信息转换位32位浮点型信息，然后调整原始图像三通道像素顺序。

深度相机安装位置处于植保机器人前部中间位置，与植保机器人刚性连接，摄像头垂直向下采集前轮前部0-100厘米区域，保证处理区域即前轮实时通过区域，降低植保机器人实际行驶区域滞后处理区域对试验所带来的影响。

将深度相机采集区域视频信息送入工控机，将采集到的图像逐帧输入到预训练完成的语义分割网络中，网络如图2所示，通过语义分割预测图象垄行信息；

关于预训练部分，在复杂农田环境中，玉米、小麦等农作物幼苗枝叶形状极其不规则，精细标注时间成本激增、运算量增大且识别速度低，因此在样本数据标注阶段，我们只保留农作物主干部分，忽略部分枝叶。对可能存在的杂草、石块等因素，全部认定为土壤部分。二分类的划分有效的提高了识别的速度，对于垄行识别问题针对性较强。

在众多的深度学习网络中，解决二分类问题有诸多可应用的网络，本发明通过对比多种经典语义分割网络之后，优先选用速度较快的、精度较高的对称结编码网络(ESNET)，满足工程实际需求。

在对称结编码网络(ESNET)架构中，编码器产生下采样的特征映射，解码器对特征映射进行上采样以匹配输入分辨率。

整个网络由多个卷积层组成，对于编码器部分，输入图像首先经过下采样单元形成初级特征映射，并将初级特征映射反馈到后续的残差层，通过下采样使网络更加深入的搜集上下相关信息，同时有助于减少计算量。

编码器和解码器的卷积层数几乎相同，使用的卷积类型也类似。两种卷积模块分别是分解卷积模块和并行分解卷积，第一种是利用分解卷积提取底层特征，第二种是利用多分支扩张卷积来扩大接受的对象视野以获取更高层次的语义信息。

将原始图像输入深度学习网络，预测图像以二分类掩码图像形式输出，二分类掩码图像中包含了作物幼苗垄行信息与土壤背景信息，但是二分类掩码图像肉眼无法分辨具体信息，并且掩码信息不能直接用于后续导航信息获取，因此需先将包含垄行与背景信息的掩码图像转换成Numpy矩阵形式，进一步解析图像，解析成可用于后续处理的可视化图像，如图4示例所示。

如图4所示可视化图像，无需聚类等其他操作，白像素条状区域表征包含幼苗的垄行部分，黑像素部分表征剩余土壤部分。对可能存在的强光对画面产生的影响，对二值图像进行简单的降噪处理，从而保留所需条状闭合垄行轮廓。

遍历待处理图像中所有的条状白像素区域，对满足像素面积阈值的条状白像素区域进行序号标定，此阈值可针对不同作物在图像中实际表现情况进行调整。

提取特征点，即每条条状白像素区域垂直方向每隔N个像素提取两个像素点，取两坐标连线中点像素坐标作为代拟合点，利用最小二乘法拟合条状白像素区域拟合线，并将拟合线延伸至屏幕顶部和底部。以此类推至所有条状白像素区域，如图4示例所示，至此直线拟合部分结束。

在真实农田环境作业时，植保机需要自主运行完成一系列打药除草等操作，因此植保机器人作业所需的导航信息就必须要从垄行拟合线中提取。随着植保机器人运行，上位机垄行图像也会随之发生变化，在没有人为干扰的情况下，植保机会因为主垄行指代不明从而无法获得稳定的导航参数。因此在实际图像界面中，如何从多条垄行场景中选择一条垄行信息作为主垄行从而获取导航参数就显得尤为重要。

本发明提出了一种利用水平中线确定主垄行的方法，在图像中间区域做一条水平参照线，此线将图像平均分成上下两部分，对所有拟合线与画面水平中线交点横坐标进行排序，交点以数组形式依次排列。

如图6示例所示，我们只考虑与水平中线相交的拟合线，因为未相交的拟合线距离车体中心区域较远，为避免较远垄行对实际运行的影响，可自动忽略。当交点为奇数时，可供选择的垄行数为奇数，取最中间点为主交点，主交点所处垄行为当前情形下的主垄行；如图7示例所示，交点数目为偶数时，即可供选择的垄行数为偶数，即中间区域主垄行有两条，为了避免频繁跳变带来的影响，我们选择取中间靠左点所在垄行为主交垄，主交行所在拟合线为主导航线。

主导航线选取完成后，需要提取植保机器人行进所需要的导航参数，本发明定义如图8所示，图像画面垂直中线视为植保机器人车体中线，如图8，建立屏幕垂直中线为向量v₁,主导航线设为向量v₂，由两向量夹角公式：

v₁*v₂＝||v₁||*||v₂||*cosθ (1)可得，

夹角θ即航向偏差角度值，将航向偏差发送到植保机控制系统，植保机运动系统不断调整车体走向，消除航向偏差角度值使车体中线与主导线重合，保证植保机在不压苗、不偏航的情况下，按照较为理想的路线行进，完成后续农业活动。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于语义分割的农作物幼苗垄行提取方法，其特征在于，包括以下步骤：

1)通过工业深度相机采集农田垄行图像；

2)将图像输入到预训练完成的语义分割网络，端到端输出农田作物垄行与土壤的二分类掩码图片；

3)将二分类掩码图片转化为Numpy形式，进一步转化为可视化的二值图像，图像中只包含黑像素的土壤背景与白像素条状垄行轮廓；

4)分别计算所有白像素区域的面积，降噪处理，选取保留大于面积阈值的垄行区域，在垂直方向均匀提取白像素垄行边缘的像素点坐标，利用最小二乘法拟合生成条状白像素内部拟合线；

5)利用水平中线碰撞法，对步骤4)所有垄行拟合线与水平中线的交点进行排序，确定中心主垄行线，将中心主垄行线与屏幕垂直中线的夹角作为植保机航向偏差角传输给植保机；

所述中心主垄行线的确认过程具体为：多条拟合线与图像中心水平线相交，交点以数组形式依次排列，交点为奇数时取最中间点为主交点，交点数目为偶数时取中间靠左的点为主交点，主交点所在拟合线即为中心主垄行线。

2.根据权利要求1所述的一种基于语义分割的农作物幼苗垄行提取方法，其特征在于，所述图像采集单元采用Real Sense D415深度相机。

3.根据权利要求1所述的一种基于语义分割的农作物幼苗垄行提取方法，其特征在于，所述语义分割网络优先选取轻量级网络ESNET，具体包括分解卷积单元、并行分解卷积单元、上采样以及下采样四个模块。

4.根据权利要求3所述的一种基于语义分割的农作物幼苗垄行提取方法，其特征在于，所述语义分割网络的分解卷积单元在残差层中使用不同大小内核的一维分解卷积，来感受不同尺度的区域、获取不同尺度的对象实例。

5.根据权利要求1所述的一种基于语义分割的农作物幼苗垄行提取方法，其特征在于，选取一条面积阈值以上的白像素条状垄行轮廓，垂直方向均匀选取像素点作为待拟合点，运用最小二乘法拟合白像素区域内部直线，并将拟合直线延伸至屏幕底部与顶部，以此类推到所有条状闭合轮廓。

6.根据权利要求1所述的一种基于语义分割的农作物幼苗垄行提取方法，其特征在于，摄像头与植保机刚性连接，上位机屏幕垂直中线等同为植保机车体中心线，中心主垄行线与屏幕垂直中线夹角为植保机航向偏差角。