CN113273395A - 一种基于视觉识别的棉花打顶机器人及其实现方法 - Google Patents

Abstract

本发明公开了一种基于视觉识别的棉花打顶机器人及其实现方法，所述棉花打顶机器人包括底座支撑机构、嵌入式主控制端，一个以上的升降运动机构、末端执行机构和视觉识别机构；所述的末端执行机构，包括电机、刀头、保护套；整个末端执行机构固定于升降运动机构上，电机固定在末端执行机构上，刀头通过法兰联轴器连接在电机的传动轴末端，刀头的外部设有保护套，保护套固定在末端执行机构上，用于限制刀头的切除范围。本发明的方法能精准识别棉花顶芽，并自动进行切除，漏打率低，打顶效率高，有效避免了对植株和蕾铃的损伤，而且机械整体结构简单，经济实惠。

Description

一种基于视觉识别的棉花打顶机器人及其实现方法

技术领域

本发明涉及农业机器人领域，特别涉及一种基于视觉识别的棉花打顶机器人及其实现方法。

背景技术

棉花具有无限生长的习性，顶端优势明显。为控制株高和后期无效果枝的生长，棉花打顶是一项有效的措施。研究和生产实践证明，通过摘除顶心，能控制主茎的生长，协调营养生长与生殖生长，促使养分更多的运向果枝，供应结实器官，减少无效果枝。但能否掌握好棉花打顶的时间和方法，直接影响到打顶的效果。目前，棉花打顶技术有人工打顶、化学封顶和机械打顶等3种，以人工打顶为主。人工打顶是掐掉顶芽及部分幼嫩叶片，费工费时，劳动效率低，制约了棉花生产轻简化、规模化、精准化和机械化作业。化学打顶和机械打顶都可以大幅度提高打顶效率，节约植棉成本，更适应棉花全程机械化生产需要，将取代人工打顶。如机械打顶的优点是工效高，机械打顶效率是人工打顶的5～7倍。但机械打顶对地势以及棉花生长均匀度要求较高，漏打率高达20％，比人工打顶高出15个百分点，并且会对植株和蕾铃造成严重损伤。因此，迫切需要研制一种棉花打顶机器人，降低漏打率，减少对植株的损伤。

发明内容

本发明的目的在于克服现有技术中存在的缺点，提供一种棉花打顶精度高、效率高、不伤害棉花植株的基于视觉识别的棉花打顶机器人及其实现方法，能精准识别棉花顶芽，并自动进行切除，漏打率低，打顶效率高，有效避免了对植株和蕾铃的损伤，而且机械整体结构简单，经济实惠。

本发明的目的通过下述技术方案实现：

一种基于视觉识别的棉花打顶机器人，包括底座支撑机构5、嵌入式主控制端2，一个以上的升降运动机构1、末端执行机构3和视觉识别机构4。

所述的升降运动机构1，包括固定板8、滚珠丝杆11、导向光轴15和升降运动块17；步进电机6固定于固定板8上，步进电机6的传动轴与螺旋顶丝联轴器9的一端相连接，螺旋顶丝联轴器9的另一端与滚珠丝杆11相连接；上支座13与下支座14安装在固定板8上，左右两根导向光轴15和中间的滚珠丝杆11安装在上支座13和下支座14之间；升降运动块17通过丝杆传动在上支座和下支座之间做升降运动，升降运动块17内嵌有直线轴承16，与导向光轴15相配合，减小升降运动块在升降运动过程中的摩擦阻力；滚珠丝杆11与丝杆螺母12相配合，丝杆螺母12安装在升降运动块17上，随刀头22一同上下升降运动。

所述的嵌入式主控制端2安装在底座支撑机构5上，包括无线通信发送模块、电机驱动模块。

所述的末端执行机构3，包括电机20、电机固定架21、刀头22、末端执行器固定架24、保护套30；整个末端执行机构3通过末端执行器固定架24固定于升降运动机构1上，电机20通过电机固定架21固定在末端执行器固定架24上，电机20的传动轴与法兰联轴器23相连接，刀头22通过法兰联轴器23连接在电机20的传动轴末端，刀头22的外部设有保护套30，保护套30固定在电机固定架21上，用于限制刀头22切除范围，防止误切旁生茎叶。操作时，嵌入式主控制端2发出信号到电机20，电机20带动法兰联轴器23旋转，从而带动刀头22旋转，最后完成棉花顶芽剪切动作。

所述刀头22的形状为非全圆刀头；刀头22的外沿为半圆锯齿状，通过旋转剪切顶芽，在机器停工时，刀尖可藏匿在保护套内，以防伤害作业员。所述保护套30的内底面设置有4°～5°的坡度，且带坡度平面较为光滑不粗糙，减少摩擦力，使得切断后的顶芽可以自动滑出，便于清理，防止切断后的顶芽堆积、堵塞刀具。

所述的视觉识别机构4，包括相机固定架26、双目相机27和PC视觉处理端28；所述PC视觉处理端28安装在底座支撑机构5上；相机固定架26固定于升降运动块17上，双目相机27安装在相机固定架26上，双目相机27用于识别棉花顶芽的位置，每个双目相机27控制一个升降运动机构1工作。

所述的底座支撑机构5，包括顶板和4个脚架，脚架的底端还可以连接万向轮31。

一种基于视觉识别的棉花打顶实现方法，是采用上述基于视觉识别的棉花打顶机器人进行顶芽切除，包括下述步骤：

(1)棉花打顶机器人进行位置的初始化，即坐标的初始化；双目相机27获取棉花顶芽所处的空间位置，事先确定某一参照位置，通过双目测距技术计算得到棉花顶芽竖直方向上相对于左摄像头光心的距离数据，然后通过坐标转换规则将棉花顶芽位置数据转换成机器坐标即棉花顶芽在竖直方向上相对于末端执行机构3的距离数据；

(2)根据所获得的棉花顶芽在竖直方向上相对于末端执行机构3的距离数据，确定步进电机6控制滚珠丝杆11所需要转动圈数，升降运动机构1在竖直方向移动到待去除顶芽1cm～4cm的距离，使得末端执行机构3靠近目标棉花顶芽；

(3)末端执行机构3准确靠近目标棉花顶芽后，控制末端执行器3的电机20启动，控制刀头22旋转，实现剪切动作。

上述基于视觉识别的棉花打顶实现方法，采用下述控制方法：

(1)嵌入式主控制端2控制整个系统进行初始化：控制升降运动机构1的步进电机6完成一个完整的升降运动，并回到初始位置；控制末端执行机构3完成电机20的启动与关闭；控制视觉识别机构4完成初始化；如果初始化失败，则通过异常报警模块进行报警，同时将异常数据通过无线通信发送模块进行上传；

(2)视觉识别机构4将转动圈数数据发送给嵌入式主控制端2；嵌入式主控制端2根据此数据控制升降运动机构1的步进电机6转动给定的圈数；

(3)末端执行机构3准确靠近目标棉花顶芽后，视觉识别机构4将到达标志信息发送给嵌入式主控制端2；嵌入式主控制端2启动末端执行机构3的电机20，接收到视觉识别机构4的完成标志信息后关闭电机20；

(4)嵌入式主控制端2通过无线通信发送模块将整个运行过程数据进行上传；

(5)整个系统在运行过程中如发生故障，则通过异常报警模块进行报警，同时将故障数据通过无线通信发送模块进行上传。

上述的基于视觉的自动识别顶芽方法，采用下述视觉识别方法：

(1)双目标定及校正：对双目相机进行立体标定，先是分别对两个相机进行单目标定，得到每一个相机的内参矩阵和畸变矩阵；然后对两个相机同时进行双目立体视觉标定，得到用于双目校正的重投影矩阵，以及像素距离与真实物理距离的转换关系；再将双目相机拍摄到的棉花顶芽图像进行双目校正，得到双目校正后的图像；

(2)获取棉花顶芽三维空间点云：棉花打顶机器人工作时，其双目立体相机采集棉花顶芽的彩色图像和深度图像；然后将彩色图像输入至棉花顶芽识别网络模型，可得出棉花顶芽的最小外接矩形图像；结合深度图像，根据针孔成像原理及三角测距原理，可求得棉花顶芽在相机坐标系下的三维点云；

(3)数据集的采集与制作：使用相机采集大量的棉花顶芽的图片；然后使用标注工具对棉花顶芽的图片进行标注，即将图片中棉花顶芽的最小外接矩形标注出来，形成数据集合；

(4)网络模型搭建与训练：使用Yolov4神经网络对数据集进行训练，训练完成后获得棉花顶芽识别网络模型的权重文件，并用配置文件与权重文件预测未知样本。

本发明与现有技术相比具有如下优点和效果：

(1)本发明采用一个以上的两自由度升降运动机构，结构简单，经济实用，效率高，既可以避免对植株和蕾铃造成严重损伤，又减少复杂机构在野外环境中作业中所带来的潜在危险。

(2)本发明采用非全圆刀头旋转剪切顶芽，结合保护套，有效减少对旁生枝叶的误切，且保护套内底面设置有4°～5°的坡度，使得切断后的顶芽随着机器的行进而自动滑出，便于清理，防止切除后的顶芽堆积、堵塞刀具。

(3)本发明使用视觉识别机构、PC视觉处理端与嵌入式控制端协同控制，能够把需要较高运算能力的图像数据交给PC处理，把对实时性要求比较高的底层控制交由嵌入式控制端处理，二者通过物联网模块进行通信，具有较高的准确性、实时性，实现对棉花顶芽的精确识别定位切除，简单实用。

附图说明

图1为本发明的棉花打顶机器人的整体结构示意图。

图2为本发明的升降运动机构的结构示意图。

图3为本发明的末端执行机构的结构示意图。

图4为本发明的非全圆刀头的正视图

图5为本发明的棉花打顶机器人的正视图。

图6为本发明的棉花打顶机器人的俯视图。

其中，1、升降运动机构；2、嵌入式主控制端；3、末端执行机构；4、视觉识别机构；5、底座支撑机构；6、步进电机；7、步进电机固定架；8、固定板；9、螺旋顶丝联轴器；10、深沟球轴承；11、滚珠丝杆；12、丝杆螺母；13、上支座；14、下支座；15、导向轴；16、直线轴承；17、升降运动块；18、缓冲PU泡沫；19、固定板角架；20、电机；21、电机固定架；22、非全圆刀头；23、法兰联轴器；24、末端执行器固定架；25、固定架角架；26、相机固定架；27、双目相机；28、PC视觉处理端；29、铝型材；30、保护套；31、万向轮

具体实施方式

为了便于理解本发明，下面将结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但是，不以任何形式限制本发明。应该指出的是，对本领域的技术人员来说，在不脱离本发明构思的前提下，本发明还可以做出若干变形和改进，这些都属于本发明的保护范围。

实施例1

如图1、图5、图6所示，一种于视觉识别的棉花打顶机器人，包括底座支撑机构5，嵌入式主控制端2，3个升降运动机构1、末端执行机构3和视觉识别机构4。如图2所示，所述的升降运动机构1，包括42步进电机6、42步进电机固定架7、固定板8、螺旋顶丝联轴器9、深沟球轴承10、SFU滚珠丝杆11、丝杆螺母12、上支座13、下支座14、导向光轴15、LMK12UU直线轴承16、升降运动块17、缓冲PU泡沫18、固定板角架19。42步进电机固定架7通过螺纹连接安装在固定板8上，42步进电机6通过螺纹连接固定于42步进电机固定架上7，42步进电机6的传动轴与螺旋顶丝联轴器9的一端相连接，螺旋顶丝联轴器9的另一端与SFU滚珠丝杆11相连接。上支座13与下支座14均通过螺纹连接安装在固定板8上，左右两根导向光轴15采用螺纹连接安装在上支座13和下支座14之间，在导向光轴15的两端均安装有缓冲PU泡沫18，用于升降运动机构的限位控制，缓冲升降运动机构，避免碰撞损坏机构。SFU滚珠丝杆11通过深沟球轴承10安装在上支座13和下支座14之间。升降运动块17为加工铝件，它可以通过丝杆传动在上支座和下支座之间做升降运动。升降运动块17内嵌有LMK12UU直线轴承16，与导向光轴15相配合，减小升降运动块在运动过程中的摩擦阻力。SFU滚珠丝杆11与丝杆螺母12相配合，丝杆螺母12安装在升降运动块17上，随非全圆刀头22一同上下升降运动。所述的嵌入式主控制端2，包括无线通信发送模块、电机驱动模块，通过螺纹连接安装在底座支撑机构5上。如图3所示，所述的末端执行机构3，包括电机20、电机固定架21、非全圆刀头22(如图4所示)、法兰联轴器23、末端执行器固定架24、固定架角架25。整个末端执行机构3通过末端执行器固定架24固定于升降运动机构1上，电机20通过电机固定架21固定在末端执行器固定架24上，电机20的传动轴与法兰联轴器23相连，非全圆刀头22通过法兰联轴器23连接在电机20传动轴的末端，保护套30固定在电机固定架21上，用于限制非全圆刀头22的切除范围，防止误切旁生茎叶。保护套30内底面设置有5°的坡度，便于使切断后的顶芽随着机器的行进而自动滑出，便于清理，防止切除后的顶芽堆积、堵塞刀具。固定架角架25用于加固末端执行器固定架24，嵌入式主控制端2发出信号到电机20，电机20带动法兰联轴器23旋转，从而带动非全圆刀头22旋转，完成棉花顶芽剪切动作。所述的视觉识别机构4，包括相机固定架26、双目相机27和PC视觉处理端28。PC视觉处理端28是一块运行Linux系统的树莓派，通过螺纹连接安装在底座支撑机构5上，树莓派是一款基于ARM的微型电脑主板，具备所有PC的基本功能。相机固定架26通过螺纹连接固定于升降运动块1上，双目相机27安装在相机固定架26上，双目相机27用于识别棉花顶芽的位置，每个双目相机27控制一个升降运动机构1工作。所述的底座支撑机构5，包括顶板和4个脚架，由多套2020型欧标铝型材29、梯形螺母、螺丝、角撑板构成；梯形螺母、螺丝、角撑板构成一套连接件，用于连接互成90度的相邻铝型材，主要用于构成四个脚架；角撑板用于加固底座支撑机构5，万向轮31通过螺纹紧固连接在四个脚架端，可进行360°旋转移动，整个机械由拖拉机带动行进。

操作时，包括下述步骤：

(1)棉花打顶机器人进行位置的初始化，即坐标的初始化；双目相机27获取棉花顶芽所处的空间位置，事先确定某一参照位置，通过双目测距技术计算得到棉花顶芽竖直方向上相对于左摄像头光心的距离数据，然后通过坐标转换规则将棉花顶芽位置数据转换成机器坐标即棉花顶芽在竖直方向上相对于末端执行机构3的距离数据；

(2)根据所获得的棉花顶芽在竖直方向上相对于末端执行机构3的距离数据，确定42步进电机6控制SFU滚珠丝杆11所需要转动圈数，升降运动机构1在竖直方向移动到合适的位置，使得末端执行机构3靠近目标棉花顶芽；

(3)末端执行机构3准确靠近目标棉花顶芽后，控制末端执行器3的电机20启动，控制非全圆刀头22旋转，实现剪切动作。

本发明的工作原理是：基于YOLOv4网络框架识别棉花顶芽，根据所检测目标，控制系统命令末端执行机构靠近目标棉花顶芽并进行剪切。切断后的顶芽顺应保护套带坡度内底面自动滑出，防止切断后的顶芽堆积、堵塞刀具。

以上所述仅为本发明的实施例，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于视觉识别的棉花打顶机器人，其特征在于：包括底座支撑机构、嵌入式主控制端，一个以上的升降运动机构、末端执行机构和视觉识别机构；所述的末端执行机构，包括电机、刀头、保护套；整个末端执行机构固定于升降运动机构上，电机固定在末端执行机构上，刀头通过法兰联轴器连接在电机的传动轴末端，刀头的外部设有保护套，保护套固定在末端执行机构上，用于限制刀头的切除范围。

2.根据权利要求1所述的棉花打顶机器人，其特征在于：所述的升降运动机构，包括固定板、滚珠丝杆、导向光轴和升降运动块；步进电机固定于固定板上，步进电机的传动轴与螺旋顶丝联轴器的一端相连接，螺旋顶丝联轴器的另一端与滚珠丝杆相连接；上支座与下支座安装在固定板上，左右两根导向光轴和中间的滚珠丝杆安装在上支座和下支座之间；升降运动块通过丝杆传动在上支座和下支座之间做升降运动，升降运动块内嵌有直线轴承，与导向光轴相配合；滚珠丝杆与丝杆螺母相配合，丝杆螺母安装在升降运动块上，随刀头一同上下升降运动。

3.根据权利要求1所述的棉花打顶机器人，其特征在于：所述的嵌入式主控制端安装在底座支撑机构上，包括无线通信发送模块、电机驱动模块。

4.根据权利要求1所述的棉花打顶机器人，其特征在于：所述刀头的形状为非全圆刀头；刀头的外沿为半圆锯齿状，通过旋转剪切顶芽。

5.根据权利要求1所述的棉花打顶机器人，其特征在于：所述保护套的内底面设置有4°～5°的坡度，且带坡度平面较为光滑不粗糙。

6.根据权利要求1所述的棉花打顶机器人，其特征在于：所述的视觉识别机构，包括相机固定架、双目相机和PC视觉处理端；所述PC视觉处理端安装在底座支撑机构上；相机固定架固定于升降运动块上，双目相机安装在相机固定架上，双目相机用于识别棉花顶芽的位置，每个双目相机控制一个升降运动机构工作。

7.根据权利要求1所述的棉花打顶机器人，其特征在于：所述的底座支撑机构，包括顶板和4个脚架，脚架的底端还可以连接万向轮。

8.一种基于视觉识别的棉花打顶实现方法，其特征在于：是采用权利要求1～7中任一项所述的基于视觉识别的棉花打顶机器人进行顶芽切除，包括下述步骤：

(1)棉花打顶机器人进行位置的初始化，即坐标的初始化；双目相机获取棉花顶芽所处的空间位置，事先确定某一参照位置，通过双目测距技术计算得到棉花顶芽竖直方向上相对于左摄像头光心的距离数据，然后通过坐标转换规则将棉花顶芽位置数据转换成机器坐标即棉花顶芽在竖直方向上相对于末端执行机构的距离数据；

(2)根据所获得的棉花顶芽在竖直方向上相对于末端执行机构的距离数据，确定步进电机控制滚珠丝杆所需要转动圈数，升降运动机构在竖直方向移动到待去除顶芽1cm～4cm的距离，使得末端执行机构靠近目标棉花顶芽；

(3)末端执行机构准确靠近目标棉花顶芽后，控制末端执行器的电机启动，控制刀头旋转，实现剪切动作。

9.根据权利要求8所述的基于视觉识别的棉花打顶实现方法，其特征在于采用下述控制方法：

(1)嵌入式主控制端控制整个系统进行初始化：控制升降运动机构的步进电机完成一个完整的升降运动，并回到初始位置；控制末端执行机构完成电机的启动与关闭；控制视觉识别机构完成初始化；如果初始化失败，则通过异常报警模块进行报警，同时将异常数据通过无线通信发送模块进行上传；

(2)视觉识别机构将转动圈数数据发送给嵌入式主控制端；嵌入式主控制端根据此数据控制升降运动机构的步进电机转动给定的圈数；

(3)末端执行机构准确靠近目标棉花顶芽后，视觉识别机构将到达标志信息发送给嵌入式主控制端；嵌入式主控制端启动末端执行机构的电机，接收到视觉识别机构的完成标志信息后关闭电机；

(4)嵌入式主控制端通过无线通信发送模块将整个运行过程数据进行上传；

(5)整个系统在运行过程中如发生故障，则通过异常报警模块进行报警，同时将故障数据通过无线通信发送模块进行上传。

10.根据权利要求8所述的基于视觉识别的棉花打顶实现方法，其特征在于采用下述视觉识别方法：

(1)双目标定及校正：对双目相机进行立体标定，先是分别对两个相机进行单目标定，得到每一个相机的内参矩阵和畸变矩阵；然后对两个相机同时进行双目立体视觉标定，得到用于双目校正的重投影矩阵，以及像素距离与真实物理距离的转换关系；再将双目相机拍摄到的棉花顶芽图像进行双目校正，得到双目校正后的图像；

(2)获取棉花顶芽三维空间点云：棉花打顶机器人工作时，其双目立体相机采集棉花顶芽的彩色图像和深度图像；然后将彩色图像输入至棉花顶芽识别网络模型，可得出棉花顶芽的最小外接矩形图像；结合深度图像，根据针孔成像原理及三角测距原理，可求得棉花顶芽在相机坐标系下的三维点云；

(3)数据集的采集与制作：使用相机采集大量的棉花顶芽的图片；然后使用标注工具对棉花顶芽的图片进行标注，即将图片中棉花顶芽的最小外接矩形标注出来，形成数据集合；

(4)网络模型搭建与训练：使用Yolov4神经网络对数据集进行训练，训练完成后获得棉花顶芽识别网络模型的权重文件，并用配置文件与权重文件预测未知样本。

Images