CN116806609A - 一种用于花生种植的破膜方法及配合使用的破膜组件 - Google Patents

Abstract

本发明公开一种用于花生种植的破膜方法及配合使用的破膜组件，破膜组件安装在具有行走巡航功能的破膜机支架，包括图像采集摄像头、YOLOv3深度学习神经网络结构，以及可调节环切半径的破膜刀设计，根据花生生长过程中苗高与叶片面积成比例关系，且比例相对固定的特点，通过对相机采集到的花生图像进行预处理，并将花生幼苗高度作为期望数据加入训练集，训练好的模型会通过计算叶片面积来估算花生幼苗高度，识别时需要将采集到的图片输入模型，然后驱动装置根据相机参数标定信息来确定坐标，驱动破膜刀对达到破膜要求的幼苗进行破膜，本发明既可保证花生幼苗的科学培育，又可大大减少工作人员工作时间，降低劳动成本，提高生产效率。

Description

一种用于花生种植的破膜方法及配合使用的破膜组件

技术领域

本发明属于农业生产自动化领域,尤其是一种用于花生种植的破膜方法。

背景技术

花生是我国产量丰富、种植规模大的一种主要农作物。花生种植时需要覆盖地膜，而当花生生长到一定高度时需要把地膜破开，而且由于花生生长速度不同，为了保证生产质量，无法进行集中破膜，现有的破膜措施主要是人工破膜，费时费力。随着农业生产自动化的发展，人们对于生产效率和劳动成本的关注度越来越高，所以越来越多的前沿技术逐渐的应用到农业生产领域当中。

市面上已有的破膜机技术大多数依赖于机械结构设计，研究的着重点放在了提升破膜机行进车的自由度和破膜机与人工结合的控制方式上。但机械式的破膜机依旧是需要人工操控或干预的，没有全面实现所谓的“生产自动化”，尤其是破膜刀的设计大部分采用锥形设计，很容易损伤叶片，这样的破膜方式过于依赖人工操作，而且复杂的机械结构从设计到制造难度大，成本高，即使在某些方面节省了部分人力，昂贵的机械成本也使得机器难以量产，无法普及到真正的生产活动中。

发明内容

本发明的目的在于克服现有技术中的不足,提供一种用于花生生产现场的自动识别花生高度的破膜机结构和识别方法,解决人工无法集中破膜而导致生产效率低的问题，同时使用GPU加速技术提高识别精度，保证花生种植的科学性。

为了实现上述目的,本发明提供了一种用于花生种植的破膜机，本发明采用以下技术方案予以实现:

一种用于花生种植的破膜机组件的破膜方法，步骤如下：

(1)将所述的花生叶片图像输入YOLOv3神经网络模型进行训练，模型检测后输出叶片检测结果，所述检测结果即为当前花生植株生长状况是否满足破膜要求；

(2)训练完成后的模型部署完成后，完成训练的识别花生叶片模型会得到相应的模型文件，此时将训练结果进行格式转换，量化调优后即可部署到嵌入式MCU系统中，嵌入式MCU系统连接破膜机组件，破膜机组件装载在垄间行进车上；

(3)破膜机组件跟随行进车实时采集图像，采集到的待检测图像，神经网络会根据叶片图像输出判断结果，对于符合破膜要求的植株系统输出破膜命令，获取三维坐标过程，执行破膜动作；对于不符合破膜要求的叶片，系统会忽略破膜动作，并向行进车发送命令，进行下一植株的图像采集。

本发明的进一步技术：

优选的，所述步骤(1)的具体方法为：

1)采集一批符合检测目标的花生叶片图像，摄像头位于导轨或垄间固定高度行进车采集图像，并挑选符合要求的竖直拍摄的花生植株图像。

2)对所述挑选出的符合要求的叶片进行高斯滤波、图像增强处理，使图像细节更加清晰，用矩形框标注叶片区域，然后输入Darknet-53主干网络进行训练，所述高斯滤波满足：

其中(x,y)为膜内任意一点坐标，σ为标准差。

3)神经网路会提取叶片的兴趣特征，训练完成后将会得到模型文件与权重文件，神经网络输出一组Loss参数，此时为了提高神经网络识别目标的精度与泛化性，继续采集一些花生叶片图像。

4)对第二次采集到的图像进行一些翻转、遮挡等处理后输入上述神经网络，对模型参数进行更新，所述Loss参数即为误差损失参数，可用于评估训练效果,包括位置误差损失函数Losspos、置信度误差损失函数Lossconf与分类损失函数Lossclass，它们的关系为：

Loss_total＝Loss_pos+Loss_conf+Loss_class (2)

Loss_pos＝λ_coord×CIoU_loss (3)

其中S²表示图像被模型划分成的网格的数量。B表示锚框的数量。和/>分别表示第i个网格中的第j个锚框中是否存在目标。/>和/>分别表示第i个网格中第j个锚框的实际置信值和预测置信值。λ_coord,λ_obj,λ_noobj和λ_class是用于平衡不同类型损失的权重系数。和/>分别表示第i个网格中第j个锚框的实际类别信息和预测类别信息。

优选的，所述步骤(3)中满足破膜要求的植株，根据相机标定参数获取植株的三维坐标，对叶片进行canny边缘检测，取边缘三点确定圆心坐标，计算得到圆上半径，破膜车行进到圆心位置，破膜刀组件调整半径，进行环切破膜动作。

优选的,为了获取植株三维坐标，对采集图像相机做参数标定，标定方法采用经典的单平面棋盘格的相机标定方法，也称张正友标定法。

优选的，所述张正友标定法的具体方法为：

1)在平面标定板上打印标准棋盘模板，在不同角度拍摄若干张图片。

2)检测出图像中的特征点。

3)求解相机理想状态下无视畸变影响的内、外参数，并代入极大似然估计法提升精度。

4)利用最小二乘法回归求解径向畸变参数，利用反变换消除畸变。

5)利用极大似然估计法优化估计，并带入畸变参数，求出相机内参，即像主点坐标、焦距和像素纵横比的融合与径向畸变参数。

优选的，相机标定参数获取植株的三维坐标方法由算法得来，即满足：x～K[R|t]X(6)；

其中，x为相机中的坐标；X为真实世界坐标；K为内参矩阵；[R|t]为外参矩阵K为内参矩阵，是相机内部参数组成的一个3×3的矩阵，其中，f代表焦距；s为畸变参数,(x₀,y₀)x₀＝αy₀为中心点坐标，α为纵横比例参数，我们可以默认设为1，所以x₀＝αy₀。[R|t]为外参矩阵，R是描述照相机方向的旋转矩阵，t是描述照相机中心位置的三维平移向量,即：

优选的，破膜机组件实时采集花生植株图像，采用双边滤波虚化整张图象，降低泥土颗粒感同时保证了图像中叶片颜色梯度与周围的差异，然后进行图像二值化处理就能得到对比度明显的花生叶片图像，所述双边滤波满足：

其中K_p为图像归一化因子，p＝(p_x,p_y)为中心像素位置,q＝(q_x,q_y)表示与它计算的另一像素位置，I_q为q像素的像素值，g为高斯分布核。

与现有技术相比,本发明具有以下技术效果：

1.本方法的破膜过程极大程度上不再需要人工干预，仅需将装置校准后放置垄间即可识别需要破膜的幼苗，节省人力成本，提高生产效率。

2.本发明对花生幼苗识别精度高，即使同一品种、同一批次的花生种子因为种植环境的差异其生长速度也不尽相同，人工破膜在一定程度上依赖生产经验，本方法针对识别环境采用合适的处理算法，识别精度高的模型，提高了系统的鲁棒性，在生产阶段一劳永逸，可大大降低误破几率。

3.传统破膜装置主要依赖机械结构，锥形的破膜刀虽然容易操控但是破膜过程比较暴力，极容易损伤叶片，本发明采用圆形旋转刀片，依赖定位算法，体积更加轻便，减小了机械误差、人工误差，使得破膜精度大大提高。本方法对覆膜定位后进行环切动作，摒弃的传统破膜机的击穿、磨孔动作，切割后的地膜更加方便回收。

本发明的其他特征和优点将在随后的具体实施方式中予以详细说明。

附图说明

构成本申请的一部分的附图用以提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为模型部署后系统执行破膜动作系统流程图；

图2为花生植株识别模型训练算法流程示意图；

图3为YOLOv3神经网络结构示意图,展示了神经网络结构与残差网络计算的流程；

图4为膜下待识别花生叶片；

图5为系统识别到符合要求的花生叶片框选图；

图6为边缘检测并定位到破膜点示意图；

图7为破膜后花生叶片示意图；

图8为本发明设计的自动识别花生幼苗的破膜机结构；

图9为破膜机驱动电机视图；

图10为凸轮箱体内部结构示意图；

其中：1、固定端子；2、凸轮箱体；3、摄像头；4、连杆；5、电机板；6、导轨；7、切割刀片；8、第三电机；9、第二电机；10、联轴器；11、滑块；12、螺母座；13、丝杆座一；14、滚珠丝杆；15、丝杆座二；16、第一电机；17、第四电机；18、曲轴；19、驱动齿轮；20、从动齿轮；21、定位环。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体附图,进一步阐明本发明。

一种用于花生种植的破膜机组件的破膜方法，其特征在于，步骤如下：

(1)将所述的花生叶片图像输入YOLOv3神经网络模型进行训练，模型检测后输出叶片检测结果，所述检测结果即为当前花生植株生长状况是否满足破膜要求；

训练部分首先配置YOLOv3神经网络环境，搭建YOLOv3特征提取网络，采集与训练部分的过程如图2所示，具体流程为：

1)采集一批符合检测目标的花生叶片图像，摄像头位于导轨或垄间固定高度行进车采集图像，并挑选符合要求的竖直拍摄的花生植株图像；

2)对所述挑选出的符合要求的叶片进行高斯滤波、图像增强处理，使图像细节更加清晰，用矩形框标注叶片区域，然后输入Darknet-53主干网络进行训练，所述高斯滤波满足：

其中(x,y)为膜内任意一点坐标，σ为标准差；

3)神经网路会提取叶片的兴趣特征，如图3所示，提取的过程为卷积、池化的过程，神经网络检测兴趣区域颜色梯度，多通道采集做权值更新，训练完成后将会得到模型文件与权重文件，神经网络输出一组Loss参数，此时为了提高神经网络识别目标的精度与泛化性，继续采集一些花生叶片图像；

4)对第二次采集到的图像进行一些翻转、遮挡等处理后输入上述神经网络，对模型参数进行更新，所述Loss参数即为误差损失参数，可用于评估训练效果,包括位置误差损失函数Losspos、置信度误差损失函数Lossconf与分类损失函数Lossclass，它们的关系为：

Loss_total＝Loss_pos+Loss_conf+Loss_class (2)

Loss_pos＝λ_coord×CIoU_loss (3)

其中：

S²表示图像被模型划分成的网格的数量；

B表示锚框的数量；

和/>分别表示第i个网格中的第j个锚框中是否存在目标；

和/>分别表示第i个网格中第j个锚框的实际置信值和预测置信值；

λ_coord,λ_obj,λ_noobj和λ_class是用于平衡不同类型损失的权重系数；

和/>分别表示第i个网格中第j个锚框的实际类别信息和预测类别信息。

(2)如图1所示，训练完成后的模型部署完成后，完成训练的识别花生叶片模型会得到相应的模型文件，此时将训练结果进行格式转换，量化调优后即可部署到嵌入式MCU系统中，嵌入式MCU系统连接破膜机组件，破膜机组件装载在垄间行进车上；

(3)破膜机组件跟随行进车实时采集图像，图4为采集到的待检测图像，采集到的待检测图像，神经网络会根据叶片图像输出判断结果，如图5所示，对于符合破膜要求的植株系统输出破膜命令，获取三维坐标过程，执行破膜动作；对于不符合破膜要求的叶片，系统会忽略破膜动作，并向行进车发送命令，进行下一植株的图像采集。

花生植株三维坐标的获取要依赖于相机参数的标定计算，这个过程要结合相机的内外参数，矫正畸变算法，利用二维图像计算物体的三维坐标，标定方法可采用经典的单平面棋盘格的相机标定方法，也称张正友标定法，标定的基本过程如下：

(1)在平面标定板上打印标准棋盘模板，在不同角度拍摄若干张图片。

(2)检测出图像中的特征点。

(3)求解相机理想状态下无视畸变影响的内、外参数，并代入极大似然估计法提升精度。

(4)利用最小二乘法回归求解径向畸变参数，利用反变换消除畸变。

(5)继续利用极大似然估计法优化估计，并带入畸变参数，求出相机内参的六个自由度，即像主点坐标、焦距和像素纵横比的融合与径向畸变参数。

所述相机标定三维转换方法由算法得来，即满足：x～K[R|t]X(6)

其中，x为相机中的坐标；X为真实世界坐标；K为内参矩阵；[R|t]为外参矩阵K为内参矩阵，是相机内部参数组成的一个3×3的矩阵，

破膜机实时采集花生植株图像，但在进行边缘检测时非常容易受噪声干扰，而且花生植株的种植场景比较复杂，必须对图像进行滤波处理。结合花生种植环境特点，泥土颗粒是最容易影响识别的因素，本发明采用双边滤波虚化整张图象，降低泥土颗粒感同时保证了图像中叶片颜色梯度与周围的差异，然后进行图像二值化处理就能得到对比度明显的花生叶片图像，所述双边滤波满足：

其中K_p为图像归一化因子，p＝(p_x,p_y)为中心像素位置,q＝(q_x,q_y)表示与它计算的另一像素位置，I_q为q像素的像素值，g为高斯分布核。

如图6所示，经过图像预处理之后的图片开始进行canny边缘检测，首先对图像高斯滤波进一步降噪，平滑图像，然后计算图像中像素的梯度，即可得到图像中x、y方向的维度，将此维度与图像尺度返回给标定算法，就能得到花生幼苗覆膜的世界坐标，识别完成后系统会得到花生幼苗是否符合破膜要求的判断信息以及计算得到的幼苗坐标，本发明所采用的破膜结构连杆属于凸轮结构，因此系统需要把圆心坐标发送到破膜行进车，由车载动破膜机行进到圆心位置然后执行破膜动作。

本发明为了保证破膜过程的科学性与安全性，不再采用传统的容易损伤叶片的锥形破膜刀，而是由马达驱动的旋转刀片破膜刀，这样的破膜刀相比于锥形更加锋利，破膜效率更高，而且体积更小，可以减少机械设计产生的机械误差。

本发明为了更加安全的破膜，保证花生幼苗的科学培育，不再以花生叶片实际世界坐标为破膜坐标，而是取其二维轮廓三点画一个整圆，如图7所示，圆形半径扩大一厘米后，系统计算得到圆形半径，破膜刀获取圆形半径与圆心定位后执行动作。

为了实现本发明的破膜方法，提供一种用于花生种植的破膜机组件，如图8-10，包括设置在垄间行进车上的凸轮箱体2，凸轮箱体2上设有摄像头3，凸轮箱体2通过固定端子1跟随垄间行进车固定，所述凸轮箱体2上设有定位环21，连杆4底部穿过定位环21延伸出箱体活动连接电机板5，所述电机板5下方设有第一电机16，第一电机16上设有驱动齿轮19，所述连杆4上设有从动齿轮20，所述驱动齿轮19和从动齿轮20啮合；

所述凸轮箱体2内设有曲轴18由第四电机17驱动，连杆4相与曲轴18连接；

所述电机板5下方设有导轨6，所述导轨6上滑动设有滑块11，所述电机板5下方还设有第二电机9、丝杆座一13和丝杆座二15，滚珠丝杆14穿插在丝杆座一13和丝杆座二15上，所述第二电机9通过联轴器10连接滚珠丝杆14，所述滑块11上连接有螺母座12，螺母座12同时与滚珠丝杆14的螺母连接，所述螺母座12上设有第三电机8，第三电机8的输出轴上连接切割刀片7。

上述第一电机16、第二电机9、第三电机8、第四电机17均由驱动器驱动，驱动器接收嵌入式MCU系统根据位置计算的PID参数将之转化为PWM信号控制电机转动。

在进行破膜之前，首先将两边固定端子1跟随垄间行进车固定，摄像头3固定在连杆4舱底部，未检测叶片之前凸轮结构处于升起状态；破膜动作开始，嵌入式MCU系统发送破膜半径，并将凸轮结构定位到合适位置，电机调节转动半径完成后反馈给嵌入式MCU系统,开始执行环切破膜动作。

以上所述仅为本发明的较佳实例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围内。

Claims (7)

1.一种用于花生种植的破膜机组件的破膜方法，其特征在于，步骤如下：

(1)将所述的花生叶片图像输入YOLOv3神经网络模型进行训练，模型检测后输出叶片检测结果，所述检测结果即为当前花生植株生长状况是否满足破膜要求；

(2)训练完成后的模型部署完成后，完成训练的识别花生叶片模型会得到相应的模型文件，此时将训练结果进行格式转换，量化调优后即可部署到嵌入式MCU系统中，嵌入式MCU系统连接破膜机组件，破膜机组件装载在垄间行进车上；

(3)破膜机组件跟随行进车实时采集图像，采集到的待检测图像，神经网络会根据叶片图像输出判断结果，对于符合破膜要求的植株系统输出破膜命令，获取三维坐标过程，执行破膜动作；对于不符合破膜要求的叶片，系统会忽略破膜动作，并向行进车发送命令，进行下一植株的图像采集。

2.根据权利要求1中所述的一种用于花生种植的破膜机组件的破膜方法，其特征在于：所述步骤(1)的具体方法为：

1)采集一批符合检测目标的花生叶片图像，摄像头位于导轨或垄间固定高度行进车采集图像，并挑选符合要求的竖直拍摄的花生植株图像；

2)对所述挑选出的符合要求的叶片进行高斯滤波、图像增强处理，使图像细节更加清晰，用矩形框标注叶片区域，然后输入Darknet-53主干网络进行训练，所述高斯滤波满足：

其中(x,y)为膜内任意一点坐标，σ为标准差；

3)神经网路会提取叶片的兴趣特征，训练完成后将会得到模型文件与权重文件，神经网络输出一组Loss参数，此时为了提高神经网络识别目标的精度与泛化性，继续采集一些花生叶片图像；

4)对第二次采集到的图像进行一些翻转、遮挡等处理后输入上述神经网络，对模型参数进行更新，所述Loss参数即为误差损失参数，可用于评估训练效果,包括位置误差损失函数Losspos、置信度误差损失函数Lossconf与分类损失函数Lossclass，它们的关系为：

Loss_total＝Loss_pos+Loss_conf+Loss_class (2)

Loss_pos＝λ_coord×CIoU_loss (3)

其中：

S²表示图像被模型划分成的网格的数量；

B表示锚框的数量；

和/>分别表示第i个网格中的第j个锚框中是否存在目标；

和/>分别表示第i个网格中第j个锚框的实际置信值和预测置信值；

λ_coord,λ_obj,λ_noobj和λ_class是用于平衡不同类型损失的权重系数；

和/>分别表示第i个网格中第j个锚框的实际类别信息和预测类别信息。

3.根据权利要求1中所述的一种用于花生种植的破膜机组件的破膜方法，其特征在于：所述步骤(3)中满足破膜要求的植株，根据相机标定参数获取植株的三维坐标，对叶片进行canny边缘检测，取边缘三点确定圆心坐标，计算得到圆上半径，破膜车行进到圆心位置，破膜刀组件调整半径，进行环切破膜动作。

4.根据权利要求3中所述的一种用于花生种植的破膜机组件的破膜方法，其特征在于：为了获取植株三维坐标，对采集图像相机做参数标定，标定方法采用经典的单平面棋盘格的相机标定方法，也称张正友标定法。

5.根据权利要求4中所述的一种用于花生种植的破膜机组件的破膜方法，其特征在于：所述张正友标定法的具体方法为：

1)在平面标定板上打印标准棋盘模板，在不同角度拍摄若干张图片；

2)检测出图像中的特征点；

3)求解相机理想状态下无视畸变影响的内、外参数，并代入极大似然估计法提升精度；

4)利用最小二乘法回归求解径向畸变参数，利用反变换消除畸变；

5)利用极大似然估计法优化估计，并带入畸变参数，求出相机内参，即像主点坐标、焦距和像素纵横比的融合与径向畸变参数。

6.根据权利要求3中所述的一种用于花生种植的破膜机组件的破膜方法，其特征在于：相机标定参数获取植株的三维坐标方法由算法得来，即满足：x～K[R|t]X (6)；

其中，x为相机中的坐标；X为真实世界坐标；K为内参矩阵；[R|t]为外参矩阵K为内参矩阵，是相机内部参数组成的一个3×3的矩阵，其中，f代表焦距；s为畸变参数,(x₀,y₀)x₀＝αy₀为中心点坐标，α为纵横比例参数，我们可以默认设为1，所以x₀＝αy₀；[R|t]为外参矩阵，R是描述照相机方向的旋转矩阵，t是描述照相机中心位置的三维平移向量,即：

7.根据权利要求1中所述的一种用于花生种植的破膜机组件的破膜方法，其特征在于：所述步骤(3)中破膜机组件实时采集花生植株图像，采用双边滤波虚化整张图象，降低泥土颗粒感同时保证了图像中叶片颜色梯度与周围的差异，然后进行图像二值化处理就能得到对比度明显的花生叶片图像，所述双边滤波满足：

其中K_p为图像归一化因子，p＝(p_x,p_y)为中心像素位置,q＝(q_x,q_y)表示与它计算的另一像素位置，I_q为q像素的像素值，g为高斯分布核。