CN113807137B - 用于识别种植行中心线的方法、装置、农用机械及介质 - Google Patents

Abstract

本申请提供用于识别作物种植行的中心线的方法，包括：获取农田的图像；根据图像得到作物种植行的中心线的标注；将图像和与图像相关联的标注配对以形成配对的数据集，并将数据集分成训练数据集和测试数据集；使用训练数据集对语义分割卷积神经网络进行训练，以得到深度学习模型；将测试数据集输入到深度学习模型，对深度学习模型进行参数优化，优化后的深度学习模型用于识别作物种植行的中心线。通过上述技术方案，通过将农田图像及其相关联的种植行中心线的标注作为配对的数据集对语义分割卷积神经网络进行训练和测试，来识别作物种植行中心线。通过这种方式，可以快速显示或告知作物种植行的中心线，可以更好地应用于机械化种植。

Description

用于识别种植行中心线的方法、装置、农用机械及介质

技术领域

本申请涉及用于识别定种植行中心线的方法、装置、农用机械及存储介质。

背景技术

作物种植行中心线一般是指农作物在播种或栽培过程中，其种子或幼苗植入点所构成的直线。识别作物种植行的中心线，是机械化农田无人机遥感技术中的关键基础技术。许多基于机械化农田空中俯拍图像的分析或应用，以作物种植行的中心线的识别为前提。以水稻种植行的中心线为例，因为受到稻田土壤等影响，中心线提取难度高，插秧机或播种机无法走出非常直的直线，导致水稻的种植行每隔一段距离就有一定程度的弯曲。现有的种植行中心线识别技术可以包括通过无人机巡视拍摄农田照片，通过观察拍摄的照片人工标注作物种植行中心线。这种方式不能快速显示或告知作物种植行的中心线。

发明内容

本申请实施方式的目的是提供能够快速准确识别作物种植行中心线的方法、装置、农用机械及存储介质。

为了实现上述目的，在本申请的第一方面，提供一种用于识别作物种植行的中心线的方法，包括：

获取农田的图像；

根据图像得到该图像中作物种植行的中心线的标注；

将图像和与图像相关联的标注配对以形成配对的数据集，并将数据集分成测试数据集和多组训练数据集；

使用多组训练数据集对语义分割卷积神经网络进行迭代训练，以得到深度学习模型；每一次迭代的数据通过从多组训练数据集中随机抽取若干张图像数据获得，以通过多次迭代更新深度学习模型的参数；

将测试数据集输入到深度学习模型，对深度学习模型进行参数优化，优化后的深度学习模型用于识别作物种植行的中心线；

其中，使用多组训练数据集对语义分割卷积神经网络进行迭代训练，以得到深度学习模型包括：

卷积神经网络提取训练数据集中的第一图像的第一特征信息；

卷积神经网络对第一特征信息进行上采样，以输出第一预测图像，第一预测图像的每个像素的像素值对应于该像素对应的位置被预测为属于中心线的置信度；

根据第一预测图像和与第一预测图像相关联的标注计算损失函数；

基于损失函数调整卷积神经网络的参数。

在本申请的实施方式中，使用多组训练数据对语义分割的卷积神经网络进行训练还包括：

使用梯度下降和反向传播算法对语义分割卷积神经网络进行训练。

在本申请的实施方式中，将测试数据集输入到深度学习模型，对深度学习模型进行参数优化，包括：

深度学习模型根据输入的测试数据集输出第二预测图像；

根据第二预测图像的预测值和与第二预测图像相关联的标注的真实值计算交并比；

根据交并比确定目标函数；

基于目标函数调整深度学习模型的参数，直至测试数据集的交并比准确度达到期望值。

在本申请的实施方式中，方法还包括：

在使用训练数据集对语义分割卷积神经网络进行训练之前，使用已知数据集对语义分割卷积神经网络进行预训练。

在本申请的实施方式中，根据图像得到该图像中作物种植行的中心线的标注包括：

对农田的图像进行二值化，以提取图像中植被所在的区域并生成图像的二值化图；

确定图像中种植行的主方向；

生成二值化图的外接矩形，其中外接矩形的高度沿主方向延伸，以主方向和与主方向垂直的方向作为坐标系，累加主方向上非植被像素的数量，以得到累加曲线；

确定累加曲线的波峰顶点，根据波峰顶点、主方向确定直线集合，并根据直线集合分割出二值化图中的种植行区域；

针对每个种植行区域，从连通域中获取关键点集合，对关键点集合进行曲线拟合，以得到每个种植行区域的种植行中心线；以及

根据种植行中心线生成种植行中心线掩膜，并根据植行中心线掩膜来确定种植行中心线的标注。

在本申请的实施方式中，对农田的图像进行二值化包括使用以下方法中的至少一种对图像进行二值化：

颜色空间区分方法；

颜色指数区分方法；

植被指数区分方法。

在本申请的实施方式中，确定图像中种植行的主方向包括：

将二值化图转换到极坐标系霍夫空间；

通过霍夫空间累加器返回靠前的直线的极坐标角度θ、半径ρ的列表；

对列表中的数据进行统计分析，以得到种植行的主方向。

在本申请的实施方式中，对列表中的数据进行统计分析以得到种植行的主方向包括使用以下统计分析方法中的至少一者来对列表中的数据进行统计分析：

选取出现次数最多的极坐标角度作为种植行的主方向；

在返回结果低于设定阈值的情况下选取排名第一的极坐标角度作为种植行的主方向。

在本申请的实施方式中，方法还包括：在确定累加曲线的波峰顶点之前，对累加曲线进行平滑处理。

在本申请的实施方式中，连通域为有效连通域，有效连通域被定义为面积符合需求的连通域。

在本申请的实施方式中，从连通域中获取关键点集合包括以下方法中的至少一者：

将连通域逐个水平方向的切割线的中点确定为关键点；

将对连通域进行几何质心分析得到的几何质心确定为关键点。

在本申请第二方面，提供一种用于确定作物种植行的中心线的行密度的方法，包括：

使用上述的用于识别作物种植行的中心线的方法得到作物种植行的中心线集合；

提取农田的图像中的作物区域；

针对中心线集合中的中心线，在中心线的像素长度的范围内，沿中心线单向搜索所述作物区域中与中心线相交的连通域，并记录连通域的数量；

根据图像的拍摄高度将像素长度转换成中心线的实际长度；

根据连通域的数量与实际长度确定行密度。

在本申请第三方面，提供一种用于预测植株长势的方法，包括：

使用上述的用于识别作物种植行的中心线的方法得到作物种植行的中心线；

利用数字表面模型地图确定中心线的高程数据；以及

根据高程数据确定作物的植株长势。

在本申请第四方面，提供一种用于识别杂草的方法，包括：

使用上述的用于识别作物种植行的中心线的方法得到作物种植行的中心线；

将农田的图像中的中心线加宽预设宽度；

检测图像中加宽后的中心线以外区域的绿色元素；

根据检测到的绿色元素来识别杂草。

在本申请第五方面，提供一种装置，包括：

处理器；以及

存储器，被配置成存储指令，所述指令被配置成在被所述处理器执行时能够使得所述处理器执行以下中的至少一者：

上述的用于识别作物种植行的中心线的方法；

上述的用于确定作物种植行的中心线的行密度的方法；

上述的用于预测植株长势的方法；

上述的用于识别杂草的方法。

在本申请第六方面，提供一种农用机械，包括上述的用于识别作物种植行的中心线的装置。

在本申请的实施方式中，农用机械包括以下中的至少一者：

无人机、插秧机、播种机。

在本申请第七方面，提供一种计算机可读存储介质，在计算机可读存储介质上存储有指令，指令在被处理器执行时能够使得处理器执行以下中的至少一者：

上述的用于识别作物种植行的中心线的方法；

上述的用于确定作物种植行的中心线的行密度的方法；

上述的用于预测植株长势的方法；

上述的用于识别杂草的方法。

通过上述技术方案，通过将农田的图像及其相关联的种植行中心线的标注作为配对的数据集对语义分割的卷积神经网络进行训练和测试，生成深度学习网络模型，使用该深度学习网络模型来基于农田的图像识别作物种植行中心线。通过这种方式，可以快速显示或告知作物种植行的中心线，可以更好地应用于机械化种植。

本申请实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本申请实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请实施方式，但并不构成对本申请实施方式的限制。

在附图中：

图1A是示意性示出了根据本申请实施方式的用于识别作物种植行的中心线的方法的示例的流程图；

图1B示意性示出了根据本申请实施方式的用于识别作物种植行的中心线的方法中使用的深度学习网络的示例网络结构；

图2A和图2B分别示意性示出了根据本申请实施方式的种植行的中心线的标注的显示方式；

图3A示意性示出了可以应用于本申请实施方式的农田的图像；

图3B示意性示出了使用根据本申请实施方式的用于识别作物种植行的中心线的方法得到的种植行中心线；

图3C是图3B的局部放大图；

图4是示意性示出了根据本申请实施方式的用于确定作物种植行的中心线标注的方法的示例的流程图；

图5示意性示出了根据本申请实施方式的累加曲线的示意图；

图6是示意性示出了根据本申请实施方式的用于确定作物种植行的中心线的行密度的方法的示例的流程图；

图7是示意性示出了根据本申请实施方式的用于预测植株长势的方法的示例的流程图；

图8是示意性示出了根据本申请实施方式的用于识别杂草的方法的示例的流程图；以及

图9是示意性示出了根据本申请的实施方式的装置的示例的结构框图。

具体实施方式

以下结合附图对本申请的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请，并不用于限制本申请。

需要说明，若本申请实施方式中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本申请实施方式中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

图1A是示意性示出了根据本申请的实施方式的用于识别作物种植行的中心线的方法的示例的流程图。如图1A所示，提供一种用于识别作物种植行的中心线的方法，该方法可以包括以下步骤。

在步骤S11中，获取农田的图像。在本申请实施方式中，可以通过至少一种方式得到农田的图像。例如，在一个示例中，可以通过无人机装载相机对农田进行俯拍以得到图像。在另一示例中，可以通过位于固定点的相机(例如位于农田区域或附近的俯拍点，例如杆、观测塔等)对农田进行俯拍以得到图像。在再一个示例中，可以通过气球(例如热气球)装载相机对农田进行俯拍以得到图像。

在步骤S12中，根据获取到的图像得到该图像中作物种植行的中心线的标注(label)。在本申请的一实施方式中，可以通过人工的方式对图像进行标注，来得到种植行中心线的标注。例如，可以使用图像语义分割标注工具(例如，Labelme)，用多边形框将农田图像中的作物区域标示出来。在本申请的另一实施方式中，可以通过适当的算法来生成标注，该方式将在下文详细描述。得到的中心线的标注(或称label图)可以是个灰度图，其方式可以包括，种植行中心线可以是几个像素宽度的线条(例如如图2A所示)，或者针对种植行以一个宽度为种植行行宽的线段去横切种植行，所得到的分布是个正太分布(高斯分布，例如如图2B所示，其中中间为黄色高值，两边为绿色低值)。

在步骤S13中，将图像和相关联的标注配对以形成配对的数据集，并将数据集分成测试数据集和多组训练数据集。具体地，可以获取多个农田的图像，根据每个图像得到与其相关联的标注，将图像和相关联的标注进行配对，以形成配对的数据集。将数据集分为多组训练数据集和测试数据集。在一个示例中，训练数据集的数据数量可以比测试数据集的数据多。例如，训练数据集可以占数据集的90％，测试数据集可以占数据集的10％。

在步骤S14中，使用多组训练数据集对语义分割卷积神经网络进行迭代训练，以得到深度学习模型。每一次迭代的数据通过从多组训练数据集中随机抽取若干张图像数据获得，以通过多次迭代更新深度学习模型的参数。

具体地，可以将多组训练数据集分批输入到语义分割卷积神经网络。该卷积神经网络可以从输入的训练数据集中提取训练数据集中的图像(第一图像)的特征信息(第一特征信息)。一般来说，卷积神经网络可以对输入的训练数据集进行卷积和池化，以提取特征信息。卷积神经网络可以对提取的特征信息进行上采样，以输出预测图像(第一预测图像)，输出的预测图像可以是语义分割的结果，预测图像的每个像素的像素值可以对应于该像素对应的位置被预测为属于作物种植行的中心线的置信度。在一个示例中，预测图像可以是中心线分布的热力图，热力图的尺寸可以与农田的图像的尺寸相同。在热力图中，任一像素的值可以代表卷积神经网络预测该像素代表的位置属于种植行中心线的置信度。在一个示例中，可以对像素值进行归一化，例如归一化到0-1(0到1)，在0-1之间的像素值可以代表该像素位置属于种植行中心线的概率。在一个示例中，可以对归一化后的像素值进行二值化，例如可以将属于[0.5,1]的像素值对应为1，其他值都对应为0。

根据预测图像和与该预测图像相关联的标注可以计算损失函数。具体地，从卷积神经网络输出的预测图像可以得到农田图像中属于种植行中心线的像素位置的预测值，从与该预测图像相关联的农田图像对应的标注可以得到属于种植行中心线的像素位置的真实值。

损失函数(loss function)可以是用来估计模型的预测值与真实值的不一致程度，其是一个非负实值函数，损失函数越小，模型的鲁棒性就越好。在一个示例中，可以使用损失函数Focal Loss，但本申请不限于该特定的损失函数，其他合适的损失函数也是可行的。使用预测值和真实值来计算损失函数(例如，Focal Loss)，基于损失函数来调整卷积神经网络的参数。

例如，在对卷积神经网络进行训练时，每次迭代可以从训练数据集中随机抽取多个图像数据构成一个批次(例如，设置batch_size)输入到卷积神经网络中以对卷积神经网络的参数进行更新。可以定义一些超参数，例如批尺寸(batch_size)，学习率(learningrate)，动量(momentum)，训练次数(回合数(epoch)，迭代次数(iteration))、正则化参数等。超参数的取值可以根据经验来选择，或者可以在训练过程中调整。在本申请的实施方式中，可以采用梯度下降和反向传播算法对卷积神经网络进行优化训练。在一个示例中，可以使用Learning Rate Range Test算法来寻找合适的学习率区间，然后可以采用周期性学习率(Cyclical Learning Rate)的方法来训练卷积神经网络。

在本申请的实施方式中，可以将获取的农田图像进行预处理。例如，在一个示例中，可以对农田图像进行增强处理后作为检测图像。在另一示例中，可以将每个农田图像裁剪为多个大小为K*N像素的子图像(其中，K和N表示自然数，K可以与N相同，也可以与N不同)。子图像的像素大小K*N可以根据用于处理图像的显卡的处理频率和现存来确定。在一个示例中，可以将子图像统一为512*512大小的三通道RGB图像。

在步骤S15中，将测试数据集输入到深度学习模型，对深度学习模型进行参数优化。

在使用训练数据集对语义分割卷积神经网络进行训练得到深度学习模型之后，可以将测试数据集输入到深度学习模型，以对深度学习模型进行参数优化。优化后的深度学习模型可以用于识别作物种植行的中心线。

具体来说，在使用训练数据集对卷积神经网络进行训练得到深度学习模型之后，采用测试数据集来验证该模型，即目标检测。在目标检测中可以使用交并比(Intersection-over-Union，IOU)。IOU准确度是语义分割准确度的一评价标准，其可以被定义为实际值集合和预测值集合的交集与并集之比。测试数据集输入到深度学习模型，深度学习模型根据输入的测试数据集输出预测图像(第二预测图像)，根据预测图像的预测值和与该预测图像对应的农田图像相关联的标注的真实值计算IOU。计算IOU的方法属于所属领域技术人员所知的方法，这里不再赘述。根据计算出的IOU确定目标函数。例如，可以计算IOU损失，将IOU损失纳入到深度学习模型的目标函数，基于目标函数来调整(或优化)深度学习模型的参数，直至IOU准确度达到期望值。例如，可以进行多次迭代，直到IOU准确度不再提升，例如，IOU准确度提升程度趋于零或低于一阈值。

在本申请的实施方式中，当采用高斯行作为标注时，可以采用多种方式来计算IOU。在一个示例中，考虑到预测图像的数值区间是0到1(0-1)，实际图像(即农田图像)进行归一化之后的数值区间也是0-1，因此在判断比对预测值集合与实际值集合的时候可以根据置信区间范围的不同存在多种方式，例如都可以选取0.5至1(0.5-1)。

在本申请的可选实施方式中，在输入训练数据集对语义分割卷积神经网络进行训练之前，该卷积神经网络可以被预训练。例如，可以用已知的数据集对卷积神经网络进行预训练。已知的数据集可以包括但不限于，例如ImageNet。

在本申请的实施方式中，语义分割卷积神经网络可以包括但不限于，例如全卷积网络(FCN)、Unet、LinkNet。

图1B示意性示出了根据本申请实施方式的用于识别作物种植行的中心线的方法中使用的深度学习网络的示例网络结构。图1B示出的深度学习网络的示例网络结构可以用于实现参考图1A描述的实施方式的用于识别作物种植行的中心线的方法。图1B示出的深度学习网络的网络结构可以包括编码器模块110和解码器模块120。编码器模块110可以用于逐渐降低特征图(feature map)并获取更高语义信息。解码器模块120可以用于逐渐恢复空间信息。

编码器模块110可以包括深度卷积神经网络(DCCN)和空洞空间金字塔池化(ASPP)。DCCN可以用于提取农田图像的特征，特征可以包括颜色、形状、纹理特征等。ASPP可以用于增加特征图的感受野，即卷积核在图像上看到的大小。在该实施方式中，DCCN选用的骨干网络的示例可以包括但不限于，ResNet、VGG、SENet、Xception、Mobilenet。如图1B所示，在编码器中，DCNN使用多尺度空洞卷积(Atrous Conv)，包括3x3 Conv的空洞卷积(层)，扩张率(rate)可以分别为6，12，18(即，图中示出的3x3 Conv rate6，3x3 Conv rate 12，3x3 Conv rate 18)，这可以在更大范围感知输入的农田图像上的语义信息，以利于准确分割。输入的图像(例如农田图像)被输入到编码器模块110中并行进行逐点空洞卷积(图中示出的1x1 Conv)，3x3 Conv rate 6，3x3 Conv rate 12，3x3 Conv rate 18，经过池化(例如图1B中示出的Image Pooling)运算之后，再经过1x1 Conv之后输出特征信息(特征图)。编码器模块110中的池化运算可以采用最大池化(Maxpooling)。

在解码器模块120端，编码器模块110输出的特征信息首先可以被上采样(Upsample)，例如图1B示出，首先被双线性上采样(例如，采用上采样因子4)，然后与来自编码器模块110的骨干网络的具有相同空间分辨率的低级特征(Low-Level Features)进行组合(Concatenation，图中示出的Concat)。在一个示例中，在进行组合之前，低级特征可以先进行1x1卷积(1x1 Conv)以减少通道数量。进行组合之后，可以应用多个卷积运算(例如，3x3卷积)，之后再进行双线性上采样(例如，采用上采样因子4)，最后输出预测图像。

虽然图1B中示出了可应用于根据本申请实施方式的用于识别作物种植行的中心线的方法的深度学习网络的网络结构的示例，但是所属领域技术人员可以理解，能够实现与图1B示出的实施方式相同或相似功能并达到相同或相似效果或性能的其他类型的深度学习网络也是可行的，因此本申请的范围不限于在具体实施方式中描述的特定的网络结构。

根据本申请实施方式提供的用于识别作物种植行的中心线的方法，可以通过将农田的图像及其相关联的种植行中心线的标注作为配对的数据集对语义分割卷积神经网络进行训练和测试，生成深度学习网络模型，使用该深度学习网络模型来基于农田的图像识别作物种植行中心线。通过这种方式，可以快速显示或告知作物种植行的中心线，可以更好地应用于机械化种植。图3A示出了可以应用于本申请实施方式的农田的图像。图3B示出了使用根据本申请实施方式的用于识别作物种植行的中心线的方法得到的种植行中心线。图3C是图3B的局部放大图。从图中可以看出，使用根据本申请实施方式的方法识别出的种植行的中心线与作物种植行的实际中心线匹配程度很高。

根据本申请实施方式的用于识别作物种植行的中心线的方法可以应用于多种作物的农田，作物的示例可以包括但不限于，小麦、玉米、水稻、高粱、棉花等。特别地，根据本申请实施方式的方法可以应用于的种植行是非直行的作物，例如水稻。

如上所述，可以通过适当的算法来生成标注。在本申请的实施方式中，提供用于确定作物种植行的中心线的标注的方法。该方法可以应用于上述的步骤S12中。图4是示意性示出了根据本申请实施方式的用于确定作物种植行的中心线标注的方法的示例的流程图。如图4所示，方法可以包括以下步骤。

在步骤S41中，对农田的图像进行二值化，以提取图像中植被所在的区域并生成该图像的二值化图。

具体地，提取植被(例如，作物)所在的区域的目的是分割出图像中是植被的地方。二值化图中的区域要么是植被区域，要么是非植被区域。二值化的方法可以包括但不限于，颜色空间(例如RGB转HSV)、颜色指数、植被指数等区分方法。在一个示例中，以颜色指数可以是超绿指数(Excess Green)为例，有如下公式：

ExG＝2*Green–Red–Blue

在该公式中，ExG表示超绿指数，Green表示绿色通道的像素值，Red表示红色通道的像素值，Blue表示蓝色通道的像素值。可以对图像应用该公式。在实际应用中，可以对以上公式进行归一化等数学处理。在计算超绿指数后，可以通过阈值分离出植被区域，超绿指数大于阈值的为非零值，小于阈值的置为零值，由此生成二值化图。阈值可以人为设定，也可以通过Ostu法获得。

虽然上文是以超绿指数作为示例来描述二值化过程，但是所属领域技术人员可以理解，其他二值化方法也是可行的。

在步骤S42中，确定图像中种植行的主方向。

例如，可以通过霍夫直线检测(霍夫线变换)方法来确定种植行的主方向。更具体地，在本申请的实施方式中，将二值化图转换到极坐标系霍夫空间(例如使用函数：skimage.transform.hough_line)，通过霍夫空间累加器返回靠前的直线的极坐标角度θ、半径ρ的列表，对列表中的数据进行统计分析，以得到种植行的主方向。统计分析的方法的示例可以包括但不限于：选取出现次数最多的极坐标角度作为种植行的主方向；在返回结果较少(例如低于设定阈值)时选取排名第一的极坐标角度作为种植行的主方向。

在步骤S43中，生成二值化图的外接矩形，其中外接矩形的高度沿主方向延伸，以主方向和与主方向垂直的方向作为坐标系，累加主方向上非植被像素的数量，以得到累加曲线。

具体地，可以以外接矩形的高度方向(即主方向)为纵坐标，长度方向为横坐标，累加主方向上非植被像素(例如，在超绿指数的示例中，非植被像素可以是零值像素)的数量，以得到累加曲线。因为实际上种植行的方向(主方向)不一定与图像观察角度垂直，因此外接矩形的目的是沿着主方向累加零值像素，以得到累加曲线进行后续的波形分析。

在步骤S44中，确定累加曲线的波峰顶点，根据波峰顶点、主方向确定直线集合，并根据直线集合分割出二值化图中的种植行区域。

在本申请可选实施方式中，在确定累加曲线的波峰顶点之前，可以先对累加曲线进行平滑处理。适用于平滑处理的方式可以包括但不限于，移动平均后去噪、LOWESS平滑后去噪，Univariate Spline拟合后去噪、Savitzky_Golay Filter平滑后去噪。去噪的情况可以包括但不限于修正Savitzky_Golay Filter平滑后负数的值等。

在本申请实施方式中，可以使用scipy.signal.find_peaks等类似方法来计算平滑后曲线的波峰顶点与宽度。

图5示意性示出了根据本申请实施方式的累加曲线的示意图。在图5中，虚线曲线线是累加曲线，实线曲线是平滑后的累加曲线，竖直实线是直线集合，任意两条竖直实线之间的区域是二值化图中种植行区域，这个区域比作物要宽，直线是两行作物的中间分界。

在一些情况中，如果邻域内原始累加曲线存在累加值为零的横轴点，则可以对直线集合在一定邻域范围内沿横轴偏移(左右偏移)。偏移的原因是有可能一个峰值点经过平滑处理之后，距离不是原来的，真正的零值点有所偏移，那它的偏移是有限的。可以设定一个相邻距离阈值(邻域)，在峰值的邻域内搜索平滑前累加曲线的累加值为零的点。此外，如果最左最右缺少边界线，可以补加边界线。

在步骤S45中，针对每个种植行区域，从连通域中获取关键点集合，对关键点集合进行曲线拟合，以得到每个种植行区域的种植行中心线。

在本申请可选实施方式中，连通域可以被限定为有效连通域。有效连通域可以被定义为符合需求的连通域。有效连通域的目的是过滤掉包含不是目标作物的连通域，因为任意一个连通域中有可能是杂草，也有可能是作物。在一个示例中，需求可以例如是面积需求，如果连通域面积过小(例如低于最小面积阈值)，则说明该连通域中可能是杂草，则舍弃该连通域。如果连通域面积过大(例如高于最大面积阈值)，则说明该连通域中可能不是目标作物，也可以舍弃该连通域。这样，只保留符合需求的连通域，即为有效连通域。

在本申请实施方式中，从有效连通域中获取关键点集合的方法可以包括但不限于：将连通域逐个水平方向的切割线的中点确定为关键点；将对连通域进行几何质心分析得到的几何质心确定为关键点；以及其他类似的能实现相同目的的方法。关键点表征的是对于单个连通域，便于种植行曲线去拟合这个连通域的坐标点。

在本申请实施方式中，曲线拟合的方法可以包括但不限于：通过statsoijklmodels.api.nonparametric.lowess生成关键点集合对应的中心线对应点集合。中心线的生成可以通过插值的方法。例如，插值的方法可以包括但不限于scipy.interpolate.interp1d。

在步骤S46中，根据种植行中心线生成种植行中心线掩膜(mask)，并根据该掩膜来确定种植行中心线的标注。

根据本申请实施方式的用于确定作物种植行的中心线的标注的方法，采用视觉处理技术和算法对农田的图像自动处理，确定作物种植行的中心线，并根据确定中心线生成中心线标注，相比于手动标注，本申请实施方式的方法处理效率更高，准确度更好。

种植行中心线的确定可以应用于多种场景。在本申请实施方式中，对中心线的一种应用可以是确定作物种植行的中心线的行密度。图6是示意性示出了根据本申请实施方式的用于确定作物种植行的中心线的行密度的方法的示例的流程图。如图6所示，在本申请的实施方式中，用于确定作物种植行的中心线的行密度的方法可以包括以下步骤。

在步骤S61中，确定作物种植行的中心线集合。例如，可以使用上述实施方式中的用于识别作物种植行的中心线的方法来得到作物种植行的中心线集合。

在步骤S62中，提取农田的图像中的作物区域。具体地，如上所述，可以对农田的图像进行二值化，以提取图像中作物(植被)所在的区域。当然，所属领域技术人员所知的其他提取图像中作物区域的方式在该实施方式中也是适用。

在步骤S63中，针对中心线集合中的每一条中心线，在该中心线的像素长度的范围内，沿该中心线单向搜索作物区域中与该中心线相交的连通域，并记录连通域的数量。

具体地，在确定中心线集合并提取出图像中的作物区域之后，针对中心线集合中的每一条中心线，可以在该中心线的像素长度的范围内，沿该中心线搜索(例如单向，即沿一个方向)搜索提取的作物区域中与该中心线相交的连通域，并记录搜索到的这种连通域的数量。连通域的概念在上述的实施方式中已有描述，这里不再赘述。

在步骤S64中，根据图像的拍摄高度将像素长度转换成中心线的实际长度。具体地，在对农田进行航拍时，除了得到农田的图像还可以包含其他信息，例如与图像对应的头文件，头文件可以包括例如，经度坐标、维度坐标、拍摄高度等。得到的拍摄高度，就可以知道图像中每个像素点对应的实际距离。由此可以根据拍摄高度将图像中中心线的像素长度转换成中心线的实际长度。

在步骤S65中，根据连通域的数量与实际长度确定行密度。具体地，将确定的与中心线相交的连通域的数量表示为n，将中心线的实际长度表示为L，行密度表示为M，则M的计算方式可以如下式所示：

M＝n/L

即，行密度可以被定义为连通域的数量与中心线实际长度的比值。

可以对每一条中心线进行如上的处理，以得到农田的所有中心线的行密度。

本发明可以通过计算行密度情况得到整块农田的种植均匀情况，从而可以用于产量测算，种植情况评价等，同时可以用于指导农用机械进行作业。

在本申请实施方式中，对中心线的另一种应用可以是预测作物的植株长势。图7是示意性示出了根据本申请实施方式的用于预测植株长势的方法的示例的流程图。如图7所示，在本申请实施方式中，用于预测植株长势的方法可以包括以下步骤。

在步骤S71中，确定作物种植行的中心线。例如，可以使用上述实施方式中的用于识别作物种植行的中心线的方法来得到作物种植行的中心线。

在步骤S72中，利用数字表面模型地图确定中心线的高程数据。具体地，数字表面模型(Digital Surface Model，DSM)是指包含了地表建筑物、桥梁和树木等高度的地面高程模型。DSM表示的是最真实地表达地面起伏情况，可广泛应用于各行各业。可以使用DSM绘制农田的地图，即DSM地图。利用DSM地图可以确定农田中作物种植行的中心线的高程数据。

在步骤S73中，根据高程数据确定作物的植株长势。具体地，在确定中心线的高程数据之后，可以根据高程数据确定种植行的植株高度，以此来预测作物的植株长势。

在本申请实施方式中，对中心线的另一种应用可以是识别杂草。图8是示意性示出了根据本申请实施方式的用于识别杂草的方法的示例的流程图。如图8所示，在本申请实施方式中，用于识别杂草的方法可以包括以下步骤。

在步骤S81中，确定作物种植行的中心线。例如，可以使用上述实施方式中的用于识别作物种植行的中心线的方法来得到作物种植行的中心线。

在步骤S82中，将农田的图像中的中心线加宽预设宽度。具体地，可以将农田的图像中确定的中心线的宽度加宽。加宽的目的是将图像中的中心线扩展成能够覆盖作物的区域，例如矩形区域。预设宽度可以根据需要来设置，其目的是能够覆盖作物或者覆盖作物的程度达到预期。

在步骤S83中，检测图像中加宽后的中心线以外区域的绿色元素。可以使用图像处理中常用的方式来检测图像中加宽后的中心线以外的区域中的绿色元素(或绿色像素区域)。

在步骤S84中，根据检测到的绿色元素来识别杂草。如果在步骤S83中检测到绿色元素(或绿色像素区域)，则可以确定该绿色元素对应的农田的位置存在杂草。

图9示意性示出了根据本申请的实施方式的用于执行上述实施方式中的方法的装置的示例的结构框图。如图9所示，在本申请的实施方式中，该装置可以包括处理器910和存储器920。存储器920可以存储有指令，该指令在被处理器910执行时可以使得处理器910执行之前实施方式中描述的以下中的至少一者：

用于识别作物种植行的中心线的方法；

用于确定作物种植行的中心线的行密度的方法；

用于预测植株长势的方法；

用于识别杂草的方法。

处理器910的示例可以包括但不限于通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器可以执行信号编码、数据处理、功率控制、输入/输出处理。

存储器920的示例可以包括但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被处理器访问的信息。

在本申请的实施方式中，还提供一种农用机械，可以包括根据上述实施方式描述的装置。农用机械的示例可以包括但不限于，无人机、插秧机、播种机。

在本申请的实施方式中，还提供一种计算机可读存储介质，在计算机可读存储介质上存储有指令，指令在被处理器执行时能够使得处理器执行根据之前实施方式中描述的以下中的至少一者：

用于识别作物种植行的中心线的方法；

用于确定作物种植行的中心线的行密度的方法；

用于预测植株长势的方法；

用于识别杂草的方法。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施方式可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施方式、完全软件实施方式、或结合软件和硬件方面的实施方式的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施方式的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书中的各个实施方式均采用递进的方式描述，各个实施方式之间相同相似的部分互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。尤其，对于系统实施方式而言，由于其基本相似于方法实施方式，所以描述的比较简单，相关之处参见方法实施方式的部分说明即可。

以上所述仅为本申请的实施方式而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (18)

1.一种用于识别作物种植行的中心线的方法，其特征在于，包括：

获取农田的图像；

根据所述图像得到该图像中作物种植行的中心线的标注；

将图像和与所述图像相关联的标注配对以形成配对的数据集，并将所述数据集分成测试数据集和多组训练数据集；

使用所述多组训练数据集对语义分割卷积神经网络进行迭代训练，以得到深度学习模型；每一次迭代的数据通过从多组训练数据集中随机抽取若干张图像数据获得，以通过多次迭代更新所述深度学习模型的参数；

将所述测试数据集输入到所述深度学习模型，对所述深度学习模型进行参数优化，优化后的深度学习模型用于识别作物种植行的中心线；

其中，所述使用所述多组训练数据集对语义分割卷积神经网络进行迭代训练，以得到深度学习模型包括：

所述卷积神经网络提取所述多组训练数据集中的第一图像的第一特征信息；

所述卷积神经网络对所述第一特征信息进行上采样，以输出第一预测图像，所述第一预测图像的每个像素的像素值对应于该像素对应的位置被预测为属于所述中心线的置信度；

根据所述第一预测图像和与所述第一预测图像相关联的标注计算损失函数；

基于所述损失函数调整所述卷积神经网络的参数。

2.根据权利要求1所述的方法，其特征在于，所述使用所述多组训练数据对语义分割卷积神经网络进行训练还包括：

使用梯度下降和反向传播算法对所述语义分割卷积神经网络进行训练。

3.根据权利要求1所述的方法，其特征在于，所述将所述测试数据集输入到所述深度学习模型，对所述深度学习模型进行参数优化，包括：

所述深度学习模型根据输入的测试数据集输出第二预测图像；

根据所述第二预测图像的预测值和与所述第二预测图像相关联的标注的真实值计算交并比；

根据交并比确定目标函数；

基于目标函数调整所述深度学习模型的参数，直至所述测试数据集的交并比准确度达到期望值。

4.根据权利要求1所述的方法，其特征在于，还包括：

在使用所述训练数据集对所述语义分割卷积神经网络进行训练之前，使用已知数据集对所述语义分割卷积神经网络进行预训练。

5.根据权利要求1所述的方法，其特征在于，所述根据所述图像得到该图像中作物种植行的中心线的标注包括：

对农田的图像进行二值化，以提取所述图像中植被所在的区域并生成所述图像的二值化图；

确定所述图像中种植行的主方向；

生成所述二值化图的外接矩形，其中所述外接矩形的高度沿主方向延伸，以主方向和与主方向垂直的方向作为坐标系，累加主方向上非植被像素的数量，以得到累加曲线；

确定所述累加曲线的波峰顶点，根据所述波峰顶点、所述主方向确定直线集合，并根据所述直线集合分割出所述二值化图中的种植行区域；

针对每个种植行区域，从连通域中获取关键点集合，对关键点集合进行曲线拟合，以得到每个种植行区域的种植行中心线；以及

根据种植行中心线生成种植行中心线掩膜，并根据所述植行中心线掩膜来确定种植行中心线的标注。

6.根据权利要求5所述的方法，其特征在于，所述对农田的图像进行二值化包括使用以下方法中的至少一种对所述图像进行二值化：

颜色空间区分方法；

颜色指数区分方法；

植被指数区分方法。

7.根据权利要求5所述的方法，其特征在于，所述确定所述图像中种植行的主方向包括：

将所述二值化图转换到极坐标系霍夫空间；

通过霍夫空间累加器返回靠前的直线的极坐标角度θ、半径ρ的列表；

对列表中的数据进行统计分析，以得到种植行的主方向。

8.根据权利要求7所述的方法，其特征在于，所述对列表中的数据进行统计分析以得到种植行的主方向包括使用以下统计分析方法中的至少一者来对列表中的数据进行统计分析：

选取出现次数最多的极坐标角度作为种植行的主方向；

在返回结果低于设定阈值的情况下选取排名第一的极坐标角度作为种植行的主方向。

9.根据权利要求5所述的方法，其特征在于，还包括：在确定累加曲线的波峰顶点之前，对所述累加曲线进行平滑处理。

10.根据权利要求5所述的方法，其特征在于，所述连通域为有效连通域，所述有效连通域被定义为面积符合需求的连通域。

11.根据权利要求5所述的方法，其特征在于，所述从连通域中获取关键点集合包括以下方法中的至少一者：

将连通域逐个水平方向的切割线的中点确定为关键点；

将对连通域进行几何质心分析得到的几何质心确定为关键点。

12.一种用于确定作物种植行的中心线的行密度的方法，其特征在于，包括：

使用根据权利要求1至11中任意一项所述的用于识别作物种植行的中心线的方法得到作物种植行的中心线集合；

提取农田的图像中的作物区域；

针对所述中心线集合中的中心线，在所述中心线的像素长度的范围内，沿所述中心线单向搜索所述作物区域中与所述中心线相交的连通域，并记录所述连通域的数量；

根据所述图像的拍摄高度将所述像素长度转换成所述中心线的实际长度；

根据所述连通域的数量与所述实际长度确定所述行密度。

13.一种用于预测植株长势的方法，其特征在于，包括：

使用根据权利要求1至11中任意一项所述的用于识别作物种植行的中心线的方法得到作物种植行的中心线；

利用数字表面模型地图确定所述中心线的高程数据；以及

根据所述高程数据预测作物的植株长势。

14.一种用于识别杂草的方法，其特征在于，包括：

使用根据权利要求1至11中任意一项所述的用于识别作物种植行的中心线的方法得到作物种植行的中心线；

将农田的图像中的中心线加宽预设宽度；

检测所述图像中加宽后的中心线以外区域的绿色元素；

根据检测到的绿色元素来识别杂草。

15.一种用于识别作物种植行的中心线的装置，其特征在于，包括：

处理器；以及

存储器，被配置成存储指令，所述指令被配置成在被所述处理器执行时能够使得所述处理器执行以下中的至少一者：

权利要求1至11中任意一项所述的用于识别作物种植行的中心线的方法；

权利要求12所述的用于确定作物种植行的中心线的行密度的方法；

权利要求13所述的用于预测植株长势的方法；

权利要求14所述的用于识别杂草的方法。

16.一种农用机械，其特征在于，包括根据权利要求15所述的用于识别作物种植行的中心线的装置。

17.根据权利要求16所述的农用机械，其特征在于，所述农用机械包括以下中的至少一者：

无人机、插秧机、播种机。

18.一种计算机可读存储介质，其特征在于，在所述计算机可读存储介质上存储有指令，所述指令在被处理器执行时能够使得所述处理器执行以下中的至少一者：

权利要求1至11中任意一项所述的用于识别作物种植行的中心线的方法；

权利要求12所述的用于确定作物种植行的中心线的行密度的方法；

权利要求13所述的用于预测植株长势的方法；

权利要求14所述的用于识别杂草的方法。