CN217038007U - 一种基于机器视觉的棉花采摘装置 - Google Patents

Abstract

本实用新型公开了一种基于机器视觉的棉花采摘装置，包括双目摄像机、爪座、机械爪、可伸缩管道、机械臂、机器人、驱动装置、棉花收集箱；所述双目摄像机固定安装在机器人的机械臂上；爪座的一端固定于机械臂的前端，爪座的另一端连接有机械爪，机械臂的后端固定有电磁铁；可伸缩管道的一端与爪座相连接，可伸缩管道的另一端与棉花收集箱相连通，可伸缩管道的中间部位设置有驱动装置，通过驱动装置产生吸力以吸入棉花。本实用新型可以代替人工来采摘棉花，从双目摄像机对棉花的识别到棉花采摘后的管道输送，采摘效率高。

Description

一种基于机器视觉的棉花采摘装置

技术领域

本实用新型涉及农业机械领域，特别涉及一种基于机器视觉的棉花采摘装置。

背景技术

棉花是我国的主要经济作物，主要种植在新疆等地区，每年棉花采摘的工作量非常大。目前主要有两种类型的棉花采摘机械：(1)一种是利用旋转的摘锭有规律的伸出栅板，呈水平状垂直插入棉株里面，然后摘锭上的钩齿就会挂住籽棉，把吐絮棉瓣从开裂的棉铃中拉出，从而实现摘棉的目的；但是这种机械会在采摘过程中采到一些棉花枝叶等杂质，降低棉花品质，采净率较低，需要增加采后清洗等步骤；(2)另一种是背负风吸式采棉机，利用吸力将成熟的棉花吸入到相应的收集箱；但是这种机械还是很大程度上依靠人工，需要人工来手持该设备，采净率较低，成本高。而且，采用这两种机械都需要在作业前进行喷药处理，使棉花提前成熟以容易脱落；但是喷洒药物会造成顶部棉铃成熟度不够，也会间接影响总产量的减少。

发明内容

本实用新型的目的在于克服现有技术中存在的缺点，提供一种基于机器视觉的棉花采摘装置，先通过机器视觉对棉花的位置信息进行定位，然后用机械手对棉花进行精准的采摘，再通过风吸式管道将棉花吸到收集箱中，既可以提高棉花的采净率，也可以避免因为喷药而导致的减产问题，提高棉花的产量。

本实用新型的目的通过下述技术方案实现：

一种基于机器视觉的棉花采摘装置，包括ZED双目摄像机1、爪座2、机械爪3、可伸缩管道4、机器人底座5、电磁铁6、机械臂7、五轴机器人8、使管道产生吸力的驱动装置9、棉花收集箱10。

五轴机器人8安装于机器人底座5上，双目摄像机1固定安装在五轴机器人的机械臂7上；爪座2的一端固定于机械臂7的前端，爪座2的另一端连接有机械爪3，机械爪可以360°旋转，机械臂7的后端固定有电磁铁6；可伸缩管道4的一端与爪座2相连接，可伸缩管道4的另一端与棉花的收集箱10相连通，可伸缩管道4的中间部位设置有驱动装置9，通过驱动装置9产生吸力以吸入棉花。

所述五轴机器人的每个轴上都配有一个专有的电动机用来驱动各个轴独立运动，它可以通过x、y、z三个空间轴进行转动，可以通过底座上的轴实现转身的动作，连接有机械臂的前轴也可以灵活的转动。所述五轴机器人配置有一个控制模块，用于控制机器人的运动或者储存机器人的运动数据。

所述五轴机器人的机械臂7上安装有双目摄像机1，双目摄像机1与电脑的输入端相连接，可以将双目摄像机捕捉到的视觉信息输送给电脑，电脑又与机器人的控制模块相连接。双目摄像机用于采集棉花的数据，采集的数据包括棉花的三维空间位置数据、RGB值以及深度值等，经过电脑的判断处理后，可以获取棉花在机器人眼中的位置，从而控制机械爪到达棉花的位置进行抓取。

所述机械爪为五爪式机械爪，棉花的直径一般为5-12厘米，所以每个爪子的宽度设计为12～15厘米，以防止棉花在采摘过程中的掉落；同时每个爪子的前端都设计为棱锥形状，方便棉花的摘取工作；五个机械爪之间两两相隔72°均匀排列在爪座上。机械爪的闭合张开通过电磁铁6来控制，机械爪的五个爪内设有钢绳且固定连接在电磁铁6上，当给机器人抓取的命令时，电磁铁6通电，产生磁力，吸引钢绳连接的磁铁移动，使得五爪开始闭合；当抓取完成后，电磁铁断电，五个爪内安装的弹簧恢复原样，使得机械爪张开，从而完成机械爪的张开闭合功能，以实现棉花的摘取。爪的闭合程度可以通过电流的大小来改变。操作时，在电脑给机器人抓取棉花的命令后，控制模块操纵机器人到达棉花所处的位置，然后电磁铁6通电，使得机械爪慢慢开始闭合，直至完全闭紧，此时就已经抓住了棉花，然后机械臂就会向上移动一个设定好的距离，使棉花脱离棉株；在棉花完全脱离棉株之后，机械爪会稍微张开，留出一些空间方便可伸缩管道吸净机械爪内的棉花。

所述爪座为中空结构，用于固定可伸缩管道。所述的可伸缩管道4的一端连接在爪座上，另一端连接着收集箱，中间经过驱动装置产生吸力吸入棉花。其原理是驱动装置内的电机高速运转，带动电机周围叶片组成的叶轮高速转动，致使管道内部产生瞬间真空，和外界大气压形成压差，在这个压差的作用下，产生吸力，从而达到吸入棉花的功能。可伸缩管道在开口处的前端直径大于后端直径，以更好的吸入棉花。

所述基于机器视觉的棉花采摘装置，是采用ZED双目摄像机进行视觉定位，在操作前需要先进行训练，包括下述步骤：

(1)对ZED双目摄像机进行双目标定，获得摄像机的内参、外参和双目校正的重投影矩阵数据。通过这些数据，可以得到消除畸变的正常图像。

(2)采集图像：利用ZED双目摄像机去棉花地里拍摄获取尽可能多的棉花图像，并且拍摄的棉花姿态要有多种多样的，例如顺光的、逆光的、叶子遮挡的、棉花重叠的。拍摄的图片包含的姿态越多，后期摄像机识别目标就越准。

(3)将采集好的图像进行分组，按照7：2：1的比例分为训练集、测试集和验证集。

(4)对训练集的图片进行预处理，利用图片标注工具labelImg将图片中的棉花框选出来，再将框好目标棉花的图片生成xml格式的文件。

(5)利用yoloV5网络对所述训练集的图片进行训练。验证集是模型训练过程中单独留出来的样本集，用于调整模型的参数和对模型能力的初步评估。在得到训练结果后，用测试集来评估最终模型的泛化能力。在训练完成后，只需要给一帧带有目标棉花的图像，网络就能自动框选出棉花所处的位置范围。

工作时，所述基于机器视觉的棉花采摘装置，操作步骤如下：

(1)将五轴机器人装载在载具上，进入棉花地，并调整位置以面向棉花；

(2)打开安装在五轴机器人上的ZED双目摄像机，细调五轴机器人的姿态使ZED双目摄像机的视野中包含更多的棉花；

(3)ZED双目摄像机获取棉花图像，并将图像输送给电脑，利用前期yoloV5训练的结果得到图像中各个棉花的位置信息，再将位置信息通过运算转换为三维空间坐标；

(4)电脑将棉花的三维空间坐标传送给机器人的控制模块；

(5)控制模块操纵机器人到达棉花所处的三维空间位置，同时进行抓取棉花的动作；

(6)机械爪在完成抓取动作后，机械爪携带棉花移动小段位移，使得棉花完全脱离棉株；

(7)棉花脱离棉株后，机械爪稍微张开一点空间，以便可伸缩管道完全吸干净爪内的棉花；

(8)可伸缩管道的驱动装置内的电动机启动，带动叶轮高速旋转，产生的吸力将微微张开的机械爪内的棉花吸入到收集箱；

(9)机械手对视野内能检测到的棉花依次进行采摘，当视野内没有检测到棉花时，机器人向前移动进行下一轮的采摘。

本实用新型与现有技术相比具有如下优点和效果：

(1)本实用新型包括五轴机器人、机械爪和可伸缩管道，可以代替人工来采摘棉花，从双目摄像机对棉花的识别到棉花采摘后的管道输送，采摘效率高。

(2)本实用新型采用了ZED双目摄像机进行图像获取，使用yoloV5网络对拍摄的图像进行训练，可以对图像中的棉花实现精准的识别，从而控制机械爪以及风吸式管道实现高精度的采摘收集，可以实现比较高的采净率，采摘的棉花中杂质较少。

(3)本实用新型利用机械爪和可伸缩管道的配合，机械爪的抓取使棉花脱离棉株，吸力使棉花通过管道到达收集箱，两者相互配合，使得棉花的采摘更为方便简洁，而且不会对棉花的品质产生影响。

(4)本实用新型采用五轴机器人，自由度比较高，既能实现较高速度的采摘，又具有较好的灵敏性，适应于棉花的多种生长姿态。

附图说明

图1为棉花采摘装置的结构示意图。

图2为实施例1中棉花采摘装置的安装示意图。

图3为棉花采摘装置实际工作图；a为机器人在视野内检测到棉花；b为机器人移动到棉花附近准备进行采摘工作。

图4为棉花采摘装置在有干扰情况下的工作图。

其中，1、ZED双目摄像机；2、爪座；3、机械爪；4、可伸缩管道；5、机器人底座；6、电磁铁；7、机械臂；8、五轴机器人；9、驱动装置；10、收集箱；11、底板。

具体实施方式

为了便于理解本实用新型，下面将结合具体实施例对本实用新型进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本实用新型，但是，不以任何形式限制本实用新型。应该指出的是，对本领域的技术人员来说，在不脱离本实用新型构思的前提下，本实用新型还可以做出若干变形和改进，这些都属于本实用新型的保护范围。

实施例1

如图1所示，一种基于机器视觉的棉花采摘装置，包括ZED双目摄像机1、爪座2、机械爪3、可伸缩管道4、机器人底座5、电磁铁6、机械臂7、五轴机器人8、使管道产生吸力的驱动装置9、棉花的收集箱10。所述五轴机器人8安装于机器人底座5上，五轴机器人的每个轴上都配有一个专有的电动机用来驱动各个轴独立运动，它可以通过x、y、z三个空间轴进行转动，可以通过底座上的轴实现转身的动作，连接有机械臂的前轴也可以灵活的转动。所述五轴机器人配置有一个控制模块，用于控制机器人的运动或者储存机器人的运动数据。双目摄像机1固定安装在五轴机器人的机械臂7上；双目摄像机1与电脑的输入端相连接，可以将双目摄像机捕捉到的视觉信息输送给电脑，电脑又与机器人的控制模块相连接。双目摄像机用于采集棉花的数据，采集的数据包括棉花的三维空间位置数据、RGB值以及深度值等，经过电脑的判断处理后，可以获取棉花在机器人眼中的位置，从而控制机械爪到达棉花的位置进行抓取。爪座2的一端固定于机械臂7的前端，爪座2的另一端连接有机械爪3，机械爪可以360°旋转，机械臂7的后端固定有电磁铁6。所述机械爪为五爪式机械爪，棉花的直径一般为5-12厘米，所以每个爪子的宽度设计为12～15厘米，以防止棉花在采摘过程中的掉落；同时每个爪子的前端都设计为棱锥形状，方便棉花的摘取工作；五个机械爪之间两两相隔72°均匀排列在爪座上。机械爪的闭合张开通过电磁铁6来控制，机械爪的五个爪内设有钢绳且固定连接在一块磁铁上，当给机器人抓取的命令时，电磁铁6通电，产生磁力，吸引钢绳连接的磁铁移动，使得五爪开始闭合；当抓取完成后，电磁铁断电，五个爪内安装的弹簧恢复原样，使得机械爪张开，从而完成机械爪的张开闭合功能，以实现棉花的摘取。爪的闭合程度可以通过电流的大小来改变。所述爪座为中空结构，用于固定可伸缩管道。可伸缩管道4的一端与爪座2相连接，可伸缩管道4的另一端与棉花的收集箱10相连通，可伸缩管道4的中间部位设置有驱动装置9，通过驱动装置9产生吸力以吸入棉花。

棉花采摘装置工作时，如图3a、3b所示，载具搭载整个棉花采摘装置进入田地进行棉花采摘，当调整到合适位置后，ZED双目摄像机1进行双目标定，确定相机的各种参数，然后再进行图像的采集和处理，再利用事先训练好的yoloV5网络获得目标的位置，电脑将获得的三维位置信息传送给机器人的控制模块，控制模块获得棉花位置后，操纵机器人上装配的机械爪3到达指定位置，然后电磁铁通电，机械爪3开始闭合，由于机械爪的表面设计成光滑状态，所以不会对棉花的纤维长度造成损害，闭合完成后上移一段距离，使得棉花脱离棉株，然后机械爪3开始张开一点空间，以便可伸缩管道能够将爪内的棉花全部吸走；此时打开管道的驱动装置9，使管道内产生吸力，开始吸入棉花。然后机械爪完全张开，又开始对视觉识别到的其他位置的棉花开始上述步骤的采摘，直到ZED双目视觉摄像机视野内没有检测到的棉花的时候，载具移动到下一位置继续进行采摘，直到完成采摘过程。

机械爪在采摘完多朵棉花后，管道内的棉花还未全部被吸入到收集箱，但此时相机视野内还能识别到棉花，电脑就将相机获得的棉花的空间位置信息传送给机器人，机器人改变姿态使机械爪靠近棉花，从而实现后面过程的采摘。

如图4所示，目标棉花附近存在比较多的枝叶障碍，机械爪按照双目摄像机给出的空间位置信息从棉花正上方接近棉花，由于机械爪外形呈圆锥状，利用其导向性，可以使目标棉花旁边的枝叶顺着机械爪外侧轮廓移动到不干扰摘取过程的位置，这样就使得目标棉花处于机械爪的合适摘取范围。

实施例2

如图2所示，将五个棉花采摘装置安装在底板11上，再将底板固定在载具上，五个采摘装置各自的收集箱10可以整合为一个大的收集箱，这种组合可以实现高效率的棉花采摘。

以上所述仅为本实用新型的实施例，但本实用新型的实施方式并不受上述实施例的限制，其他的任何未背离本实用新型的精神实质与原理下所作的改变、修饰、替代、组合、简化，均为等效的置换方式，都包含在本实用新型的保护范围之内。

Claims (6)

1.一种基于机器视觉的棉花采摘装置，其特征在于：包括双目摄像机、爪座、机械爪、可伸缩管道、机械臂、机器人、驱动装置、棉花收集箱；所述双目摄像机固定安装在机器人的机械臂上；爪座的一端固定于机械臂的前端，爪座的另一端连接有机械爪，机械臂的后端固定有电磁铁；可伸缩管道的一端与爪座相连接，可伸缩管道的另一端与棉花收集箱相连通，可伸缩管道的中间部位设置有驱动装置，通过驱动装置产生吸力以吸入棉花。

2.根据权利要求1所述的基于机器视觉的棉花采摘装置，其特征在于：所述机器人为五轴机器人；所述五轴机器人安装于机器人底座上；所述五轴机器人的每个轴上都配有一个专有的电动机，用于驱动各个轴独立运动；所述五轴机器人配置有控制模块，用于控制机器人的运动或者储存机器人的运动数据。

3.根据权利要求1所述的基于机器视觉的棉花采摘装置，其特征在于：所述机器人的机械臂上安装有双目摄像机，双目摄像机与电脑的输入端相连接，可以将双目摄像机捕捉到的视觉信息输送给电脑，电脑又与机器人的控制模块相连接。

4.根据权利要求1所述的基于机器视觉的棉花采摘装置，其特征在于：所述机械爪为五爪式机械爪，每个爪子的宽度设计为12～15厘米，每个爪子的前端设计为棱锥形状；五个爪子之间两两相隔72°均匀排列在爪座上。

5.根据权利要求1所述的基于机器视觉的棉花采摘装置，其特征在于：机械爪的闭合张开通过电磁铁来控制，机械爪的五个爪内设有钢绳且固定连接在电磁铁上。

6.根据权利要求1所述的基于机器视觉的棉花采摘装置，其特征在于：所述爪座为中空结构，用于固定可伸缩管道。

Images