CN113128577B - 一种基于机器学习的中耕期甘蔗幼苗培土方法 - Google Patents

Abstract

本发明属于机器学习领域，涉及一种基于机器学习的中耕期甘蔗幼苗培土方法，包括以下步骤：1)训练获得中耕期甘蔗培土识别定位网络模型；2)对摄像头实时采集的幼苗期甘蔗图片进行实时特征提取、目标定位和获取目标的中心点坐标信息并保存；3)构建基于监督学习的坐标分类系统，将实时预测目标获取的预测框中心点坐标信息分成甘蔗中耕培土机的左侧和右侧两组坐标数据；4)对两组坐标数据的计算处理，分别计算出每组坐标数据的倾斜值；5)培土设备根据倾斜值的大小范围做出实时调整进行培土作业。本发明实现甘蔗中耕培土过程的精准预测控制，降低人工成本和机械成本，对后期甘蔗中耕培土机智能化的发展具有很大的推广意义。

Description

一种基于机器学习的中耕期甘蔗幼苗培土方法

技术领域

本发明属于机器学习领域，涉及一种基于机器学习的中耕期甘蔗幼苗培土方法。

背景技术

甘蔗是高杆作物，植株在长出后因为受到自然环境的影响，会普遍出现倒伏、积水、内涝等问题，因此植株的抗倒伏性能是保证后续甘蔗质量、产量以及机械化管理和采收的重要保证，所以甘蔗中耕培土是甘蔗前期种植中最重要的工序之一，甘蔗的培土在幼苗期进行，这样有助于甘蔗根部的分蘖和生长，因不培土或培土不到位而在甘蔗基部形成的凹面对机械化收割不利，易造成甘蔗损失、破头率增加，从而影响甘蔗的宿根发芽，增加含杂率，造成蔗农的损失并影响糖厂的抽出率。

目前针对甘蔗中耕培土作业质量和效率的提升仍然是基于对机械的改良上，对于机械智能化的应用还很缺乏，缺乏在中耕培土的过程中运用机器学习的方法对甘蔗中耕期幼苗进行自动识别培土的方法。

发明内容

本发明的主要目的是提供一种基于机器学习的中耕期甘蔗幼苗培土方法，旨在解决解决目前甘蔗中耕培土过程中作业质量不稳定的、作业效率低的问题。

为实现上述目的，本发明提出的

一种基于机器学习的中耕期甘蔗幼苗培土方法，其特征在于，包括以下步骤：

1)训练获得中耕期甘蔗培土识别定位网络模型；

2)对摄像头实时采集的幼苗期甘蔗图片进行实时特征提取、目标定位和获取目标的中心点坐标信息并保存；

3)构建基于监督学习的坐标分类系统，根据幼苗期甘蔗的分布情况分，将第一部分实时预测目标获取的预测框中心点坐标信息分成甘蔗中耕培土机的左侧和右侧两组坐标数据；

4)对两组坐标数据的计算处理，分别计算出每组坐标数据的倾斜值；

5)培土设备根据倾斜值的大小范围做出实时调整进行培土作业。

进一步的，所述步骤1)包括以下步骤：

a、采集中耕期幼苗期甘蔗原始图像素材；

b、筛选图片素材，对图片中的目标进行标记，将图片素材按比例生成训练集、验证集和测试集；

c、使用卷积神经网络模型对训练集、验证集进行训练，获取最优权值作为训练结果；

d、调用卷积神经网络模型对测试集进行目标预测，获取目标信息并保存；

e、对保存的目标信息进行筛选并制作成监督学习模型的训练集和测试集，使用监督学习模型进行迭代训练获得识别定位网络模型。

进一步的，所述步骤a)具体实施方式为：针对40cm-50cm高度且处于幼苗中耕期的甘蔗植株进行图片采集，将摄像头摆放在距离地面80-100cm的高度沿着中耕培土机的行驶路径进行视频录制，且在多个不同的甘蔗种植区域进行录制以获取不同甘蔗种植区域的图像。

进一步的，所述步骤b)具体实施方式为：对甘蔗根部与土壤接触的局部位置进行标记，将目标添加同一类标签并生成标记文件，标记文件包含标签类别和标记框的中心点坐标以及宽高，然后按比例生成模型训练所需的训练集、验证集与测试集。

进一步的，所述步骤e)具体实施方式为：读取保存的信息，根据预测框中心点坐标的数值特征，结合甘蔗的实际种植空间分布和培土需求，把预测框的中心点坐标标记为两类，按比例设置训练集和预测集作为监督学习模型的数据集；数据集以成对样例的内积形式出现，监督学习模型读取数据集并在低维空间完成计算，然后选择一个核函数替代内积，隐式地将非线性训练数据映射到高维空间同时不会增加可调参数的个数；迭代训练完成后，用训练集替代权重项，一部分特殊的训练样本即支持向量用于预测。

进一步的，所述步骤3)具体实施方式为：根据摄像头实时采集的图片，调用网络模型进行目标预测，获得目标信息输入到监督学习模型，转换预测框中心点坐标为监督学习模型数据集的格式，使用监督学习模型由训练集生成的支持向量对数据集进行分类，生成两组以预测框中心点坐标为数据的数据集。

进一步的，所述步骤4)具体实施方式为：

读取分类后的两组数据集，分别以每组数据集中的第1，2，3…m个预测框中心点坐标为基准，计算该坐标与其他中心点坐标斜率的绝对值，Ki代表斜率，M代表基准坐标的个数，xi，xj分别代表第i，j株的横坐标，yi，yj分别代表第i，j株的纵坐标。Ki的计算公式为：

舍弃斜率的最大值和最小值，计算余下斜率的平均值K1，K2，K3…Km；然后计算K1，K2，K3…Km的标准差S，S的计算公式为：

若S>1，则说明K1，K2，K3…Km的离散程度较大，取中值M作为倾斜值，若S≤1，则取平均值Ka为倾斜值；Ka的计算公式为：

倾斜值L的分段函数为：

将分类后的两组数据集的倾斜值以一张图片为一组的形式传送给后续设备进行控制。

有益效果

1.本发明方法构建基于卷积神经网络模型的目标识别系统，通过摄像头实时采集甘蔗种植区域的图片，无需要对图片进行任何处理，直接运用卷积神经网络模型对幼苗期甘蔗根部与土壤接触的局部位置进行实时识别，获取目标的中心点坐标信息并保存，识别准确率可达90％以上，平均对每张图片的识别时间为0.2s。

2.本发明方法构建基于监督学习的坐标分类系统，将保存的中心点坐标信息根据幼苗期甘蔗的分布情况分成两组坐标数据，即甘蔗中耕培土机的左侧和右侧两种位置类别，然后分别对每组数据计算处理获取倾斜值L。监督学习的坐标分类系统分类的准确率可达90％以上，平均分类时间为2ms，可以快速准确的分别某个目标的类别。运用计算机视觉技术对甘蔗植株特征提取和目标识别，然后用监督学习模型对识别信息进行分类计算，能有效提高甘蔗中耕培土的智能化，降低人工消耗，能有效解决培土不到位的问题。

3.本发明根据倾斜值的大小范围，实时对后续设备进行调整，实现甘蔗中耕培土过程的精准预测控制，能够更好的满足于甘蔗生产地区地貌的特殊地理环境，降低人工成本和机械成本，对后期甘蔗中耕培土机智能化的发展具有很大的推广意义。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明基于机器学习的中耕期甘蔗幼苗培土方法的流程图示意图。

图2为本发明基于机器学习的中耕期甘蔗幼苗识别定位的网络结构示意图。

图3为幼苗期甘蔗原始图像。

图4为本发明基于机器学习的中耕期甘蔗幼苗培土方法效果示意图。

图5为本发明基于机器学习的中耕期甘蔗幼苗培土方法的坐标分类效果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现本发明的这些方面。

请参见附图1，一种基于机器学习的中耕期甘蔗幼苗培土方法的具体步骤如下：

步骤1：如图3所示，针对40cm-50cm高度且处于幼苗期的甘蔗植株进行图片采集，将摄像头摆放在距离地面约80-100cm的高度沿着中耕培土机的行驶路径进行视频录制，视频分辨率为1920*1080，帧速率为120帧每秒，且在多个不同的甘蔗种植区域进行录制，每块区域的录制时长约为60秒，共计约为300秒。

步骤2：使用Adobe Premiere软件对录制的视频按帧截取图片并保存，筛选出部分图片，使用Labelimg可视化图片标注工具对甘蔗根部与土壤接触的局部位置进行标记，将目标添加同一类标签并生成标记文件，标记文件包含标签类别和标记框的中心点坐标以及宽高，将标记后的文件按比例生成模型训练所需的训练集、验证集与测试集。

步骤3：创建卷积神经网络模型，初始化网络参数，加入Label Smoothing平滑、学习率余弦退火衰减和CIOU等策略，设置输入卷积神经网络模型的训练集和验证集的图片格式为3通道数，416*416像素尺寸，使用Mosaic数据增强将四张图片进行拼接并获取所有的目标标记框从而丰富数据集，把图片以及标记文件输入到卷积神经网络模型，加载模型预训练权值文件，建立损失函数，迭代训练网络模型，得到损失值最小的权值文件作为最优权值文件。

网络模型结构如图2所示。网络模型由主干特征提取网络、特征金字塔网络和分类回归层三部分组成。主干特征提取网络由卷积层和一系列残差网络结构构成，残差网络结构是构建主干特征提取网络的核心，它将残差块的堆叠进行拆分，其中一部分作为主干部分进行残差块堆叠，另一部分作为一个大的残差边，将基础层的特征映射经过少量处理直接与主干部分进行特征矩阵相加。残差网络结构通过卷积连接，不断下采样获得更高层的语义信息，同时对原始图像的高宽不断压缩并扩张通道数。图片输入主干特征提取网络后，经过由一个3*3*32的卷积层、一个批正则化层和一个Mish激活函数组构成的卷积块，然后自上而下正向输入到一系列残差网络结构中，残差网络由浅到深共计五层，每层残差网络结构先对上一层的输出结果进行下采样，对像素的宽高尺寸进行压缩处理，一部分进行残差边的卷积，另一部分作为主干部分，五层残差网络结构的主干部分依次由1个、2个、8个、8个和4个残差块进行堆叠，每个残差块包含1*1和3*3的卷积处理。通过主干特征提取网络获得图片特征的集合，最后形成尺寸分别为52*52*256、26*26*512和13*13*1024的三个有效特征层。尺寸为13*13*1024的有效特征层在经过由1*1、3*3、1*1的三次卷积构成的卷积块后由四个尺寸分别为1*1、5*5、9*9和13*13的最大池化核进行最大池化处理从而增加感受野，分离出最显著的上下文特征，然后对最大池化后的四个特征图进行拼接，经过三次卷积后进行上采样将宽高的像素扩大两倍与主干特征提取网络生成的尺寸为26*26*512的有效特征层进行拼接堆叠实现特征融合然后经过由五次卷积处理，对卷积处理后的结果再次上采样与尺寸为52*52*256的有效特征层进行拼接堆叠然后经过五次卷积处理，对卷积处理后的结果进行下采样与第一次上采样的结果进行拼接堆叠。三个有效特征层通过以上的上采样和下采样操作，实现特征的反复提取和融合，并且多次使用1*1和3*3的卷积层进行连接处理，形成特征金字塔结构加深网络模型的特征提取，然后输出尺寸为19*19*18、38*38*18和76*76*18的三个分类回归层，三个分类回归层的预测结果对应图片分为19*19、38*38和76*76的网格上的3个预测框的位置，将网格点加上预测结果中的坐标偏移量，结合先验框的宽高计算出预测框的中心点坐标和宽高，通过以上解码过程获得多个预测框，然后对网格上的多个预测框进行调整并取出每一类得分大于阈值的预测框和得分，利用框的位置和得分进行非极大抑制处理，最终获得预测框在原图上的标记位置。

网络模型进行迭代训练，每一代训练完成后计算损失函数的数值，损失函数Loss的计算公式为：

上面公式中，L_Ciou代表检测回归损失，L_Conf代表置信度损失，L_Cla代表分类损失，损失函数由这三部分共同组成。

L_Ciou中d、c、v分别代表预测框中心点和真实框中心点之间的欧氏距离、最小包络框的对角线距离和宽高比的尺度信息，α代表v的权衡参数，Iou为产生的先验框与原标记框的交叠率，B_c为候选框覆盖范围，B_gt为原标记框覆盖范围，则Iou的计算公式为：

L_Conf和L_Cla中K*K代表卷积网络生成K*K个网格对图片进行划分，每个网格生成M个先验框，每个先验框在网络中会得到相应的边界框，共生成K*K*M个边界框。

L_Conf采用交叉熵函数，交叉熵分为两个部分，

和

分别代表第i个网格中存在目标和不存在目标的先验框的置信度，即有目标则为1，没有目标则为0。λ_noobj代表第二部分的权重系数，用于减少第二部分计算的贡献权重。

L_Cla也采用交叉熵函数，

表示当第i个网格的第j个先验框负责某一个真实目标时，这个先验框通过网络产生的边界框计算分类损失。

步骤4：读取测试集图片并进行调整，将调整后的图片输送到已加载最优权值文件的卷积神经网络模型中对目标进行预测，获取目标类别和标记框信息并保存，如图4所示。

步骤5：读取保存的信息，根据预测框中心点坐标的数值特征，结合甘蔗的实际种植空间分布和培土需求，把预测框的中心点坐标标记为两类，按比例设置训练集和预测集作为监督学习模型的数据集。数据集以成对样例的内积形式出现，监督学习模型读取数据集并在低维空间完成计算，然后选择一个核函数替代内积，隐式地将非线性训练数据映射到高维空间同时不会增加可调参数的个数。迭代训练完成后，用训练集替代权重项，一部分特殊的训练样本即支持向量用于预测。

步骤6：使用摄像头实时采集图片，调用网络模型进行目标预测，获得目标信息输入到监督学习模型，转换预测框中心点坐标为监督学习模型数据集的格式，使用监督学习模型由训练集生成的支持向量对数据集进行分类，分类示意如图5所示，其中1和2代表两类不同区域的甘蔗目标，然后生成两组以预测框中心点坐标为数据的数据集。

步骤7：读取分类后的两组数据集，分别以每组数据集中的第1，2，3…m个预测框中心点坐标为基准，计算该坐标与其他中心点坐标斜率的绝对值，Ki代表斜率，M代表基准坐标的个数，xi，xj分别代表第i，j株的横坐标，y_i，y_j分别代表第i，j株的纵坐标。K_i的计算公式为：

舍弃斜率的最大值和最小值，计算余下斜率的平均值K₁，K₂，K₃…K_m；然后计算K₁，K₂，K₃…K_m的标准差S，S的计算公式为：

若S>1，则说明K₁，K₂，K₃…K_m的离散程度较大，取中值M作为倾斜值，若S≤1，则取平均值K_a为倾斜值。K_a的计算公式为：

倾斜值L的分段函数为：

将分类后的两组数据集的倾斜值以一张图片为一组的形式传送给后续设备进行控制，培土设备根据倾斜值的大小范围做出实时调整进行培土作业。

以上步骤分为三个部分，第一部分训练生成并运用幼苗期甘蔗识别定位网络模型，对摄像头实时采集的幼苗期甘蔗图片进行实时特征提取、目标定位和获取目标的中心点坐标信息并保存，识别准确率可达90％以上，平均对每张图片的识别时间为0.2s，其中每张图片中目标数量约为20。第二部分构建基于监督学习的坐标分类系统，将第一部分实时预测目标获取的预测框中心点坐标信息根据幼苗期甘蔗的分布情况分成两组坐标数据，即甘蔗中耕培土机的左侧和右侧两种位置类别。监督学习的坐标分类系统的分类准确率可达90％以上，平均分类时间为2ms，可以快速准确的分别某个目标的类别。第三部分为两组坐标数据的计算处理，分别计算出每组坐标数据的倾斜值L，然后将L输出给后续设备，设备根据L的大小范围做出实时调整。本发明将人工智能与农业机械相结合对中耕培土过程实现精准预测控制，能够更好的满足于甘蔗生产地区地貌的特殊地理环境，降低人工成本和机械成本，对后期甘蔗中耕培土机智能化的发展具有很大的推广意义。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (7)

1.一种基于机器学习的中耕期甘蔗幼苗培土方法，其特征在于，包括以下步骤：

1)训练获得中耕期甘蔗培土识别定位网络模型；

2)使用步骤1)的中耕期甘蔗培土识别定位网络模型对摄像头实时采集的幼苗期甘蔗图片进行实时特征提取、目标定位和获取目标的预测框中心点坐标信息并保存；

3)构建基于监督学习的坐标分类系统，根据幼苗期甘蔗的分布情况，将获取的预测框中心点坐标信息分成甘蔗中耕培土机的左侧和右侧两组坐标数据；

4)对两组坐标数据的计算处理，分别计算出每组坐标数据的倾斜值；

5)培土设备根据倾斜值的大小范围做出实时调整进行培土作业。

2.根据权利要求1所述基于机器学习的中耕期甘蔗幼苗培土方法，其特征在于，所述步骤1)包括以下步骤：

a、采集中耕期幼苗期甘蔗原始图像素材；

b、筛选图片素材，对图片中的目标进行标记，将图片素材按比例生成训练集、验证集和测试集；

c、使用卷积神经网络模型对训练集、验证集进行训练，获取最优权值作为训练结果；

d、调用卷积神经网络模型对测试集进行目标预测，获取目标信息并保存；

e、对保存的目标信息进行筛选并制作成监督学习模型的训练集和测试集，使用监督学习模型进行迭代训练获得识别定位网络模型。

3.根据权利要求2所述基于机器学习的中耕期甘蔗幼苗培土方法，其特征在于，所述步骤a)具体实施方式为：针对40cm-50cm高度且处于幼苗中耕期的甘蔗植株进行图片采集，将摄像头摆放在距离地面80-100cm的高度沿着中耕培土机的行驶路径进行视频录制，且在多个不同的甘蔗种植区域进行录制以获取不同甘蔗种植区域的图像。

4.根据权利要求2所述基于机器学习的中耕期甘蔗幼苗培土方法，其特征在于，所述步骤b)具体实施方式为：对甘蔗根部与土壤接触的局部位置进行标记，将目标添加同一类标签并生成标记文件，标记文件包含标签类别和标记框的中心点坐标以及宽高，然后按比例生成模型训练所需的训练集、验证集与测试集。

5.根据权利要求2所述基于机器学习的中耕期甘蔗幼苗培土方法，其特征在于，所述步骤e)具体实施方式为：读取保存的信息，根据预测框中心点坐标的数值特征，结合甘蔗的实际种植空间分布和培土需求，把预测框的中心点坐标标记为两类，按比例设置训练集和预测集作为监督学习模型的数据集；数据集以成对样例的内积形式出现，监督学习模型读取数据集并在低维空间完成计算，然后选择一个核函数替代内积，隐式地将非线性训练数据映射到高维空间同时不会增加可调参数的个数；迭代训练完成后，用训练集替代权重项，一部分特殊的训练样本即支持向量用于预测。

6.根据权利要求1所述基于机器学习的中耕期甘蔗幼苗培土方法，其特征在于，所述步骤3)具体实施方式为：根据摄像头实时采集的图片，调用网络模型进行目标预测，获得目标信息输入到监督学习模型，转换预测框中心点坐标为监督学习模型数据集的格式，使用监督学习模型由训练集生成的支持向量对数据集进行分类，生成两组以预测框中心点坐标为数据的数据集。

7.根据权利要求1所述基于机器学习的中耕期甘蔗幼苗培土方法，其特征在于，所述步骤4)具体实施方式为：

读取分类后的两组数据集，分别以每组数据集中的第1，2，3…m个预测框中心点坐标为基准，计算该坐标与其他中心点坐标斜率的绝对值，Ki代表斜率，m代表基准坐标的个数，xi，xj分别代表第i，j株的横坐标，yi，yj分别代表第i，j株的纵坐标， Ki的计算公式为：

舍弃斜率的最大值和最小值，计算余下斜率的平均值K1，K2，K3…Km；然后计算K1，K2，K3…Km的标准差S，S的计算公式为：

若S>1，则说明K1，K2，K3…Km的离散程度较大，取中值M作为倾斜值，若S≤1，则取平均值Ka为倾斜值；Ka的计算公式为：

倾斜值L的分段函数为：

将分类后的两组数据集的倾斜值以一张图片为一组的形式传送给后续设备进行控制。

Images