CN113330915B - 双目视觉识别的自适应棉花收获方法及智能机械收获装置 - Google Patents

Abstract

本发明公开了一种双目视觉识别的自适应棉花收获方法及智能机械收获装置，包括移动平台、机械臂、采摘部件和双目立体视觉系统；机械臂安装在移动平台上；双目立体视觉系统安装在机械臂小臂上；采摘部件安装在机械臂的末端；所述采摘部件包括棉花存储器、压缩弹簧、电机、关节铰链、仿生弹柔性机械爪、柔性挡板。本发明通过图像处理等技术能够分割出良好的棉花图像，对棉花识别率高；可实现自适应地调整机械爪的开合大小，能够快速、准确、干净地采摘不同面积的棉花，将棉花掺杂率显著降低，得到品质良好的棉花。

Description

双目视觉识别的自适应棉花收获方法及智能机械收获装置

技术领域

本发明属于农业智能机械领域，具体涉及一种双目视觉识别的自适应棉花收获方法及智能机械收获装置。

背景技术

棉花是仅次于粮食的第二大农作物。棉花植株生长高度一般是0.8-1.3米左右，一株棉花植株常规保留13-15颗果枝，棉花成熟后到吐絮期，果实会分裂成3-5瓣，通常以4瓣和5瓣偏多。当前的棉花采收方式主要为人工采摘和大型机械采摘。人工采摘的优点是采摘干净、采收率高、品质高，但缺点是劳动量大、效率低、成本高昂。在机器人取代人工劳力的趋势下，也出现了一些棉花采摘机器人。如专利CN109197148A公开了一种智能识别棉花采摘机器人，包括车体、棉花采摘机构、机械爪机构和摄像头等，通过摄像头识别可以采摘的棉花，机械臂移动到采摘棉花处，由电机带动前端板上的多个机械爪进行棉花采摘，将棉花放置在传送带上，由传动带将棉花传送到料箱内；但是，在棉花识别时没有进行空间三维定位，采摘效率低，并且该机械爪闭合大小固定，容易夹碎花萼，增加棉花掺杂率，降低棉花品质。因此，迫切需要提高机器人采摘棉花的效率和降低棉花采摘的掺杂率。

发明内容

本发明的目的在于克服现有技术中存在的缺点，提供一种采摘干净、采摘效率高的双目视觉识别的自适应棉花收获方法及智能机械收获装置，通过双目立体视觉系统和仿生弹柔性机械爪相结合，有效降低了棉花采摘的掺杂率，提高采摘棉花的品质。

本发明的目的通过下述技术方案实现：

一种双目视觉识别的自适应棉花智能机械收获装置，包括移动平台、机械臂4、采摘部件和双目立体视觉系统；机械臂4安装在移动平台上；采摘部件安装在机械臂的末端；双目立体视觉系统安装在机械臂小臂上。

所述移动平台包括履带式拖拉机1和支撑板2；履带式拖拉机1的履带相对于轮子面积大，单位面积所承受的压强小，可灵活适应多种地形，方便在棉花田地中行走；支撑板2置于履带式拖拉机1的上方，通过螺栓与底盘进行连接，用于支撑机械臂；所述移动平台上还可以放置棉花收集箱3，用于存储采收的棉花。

所述机械臂4包括底板4a、底座4b、底部关节4c、大臂4d、大臂关节4e、小臂4f和爪头座4g，底板下面与移动平台支撑板2相连接，底板上面与底座相连接；大臂的下端通过底部关节与底座相连接，大臂的上端通过大臂关节与小臂相连接；爪头座的一端嵌入到小臂中，另一端与采摘部件相连接。

所述双目立体视觉系统包括双目立体相机6和相机支撑架5，双目立体相机6安装在相机支撑架5上，相机支撑架5安装在机械臂4的小臂上，通过螺栓连接固定在机械臂小臂上。双目立体视觉系统用于对棉花图像采集、识别，以及对棉花的空间三维位置进行测量与定位。

所述采摘部件包括棉花存储器7、压缩弹簧8、电机9、关节铰链10、仿生弹柔性机械爪11、柔性挡板12；棉花存储器7与机械臂4的爪头座相连接，用于暂时性存储采摘下来的棉花，减少往返于采摘棉花和棉花收集箱的次数，提高机械臂的采摘工作效率；压缩弹簧8的一端安装在棉花存储器7的外圆边缘处，另一端安装在仿生弹柔性机械爪背面，用于支撑仿生弹柔性机械爪，使仿生弹柔性机械爪保持在闭合状态；电机9安装在棉花存储器7上；关节铰链10安装在棉花存储器7上；仿生弹柔性机械爪11中间带有孔洞，一根柱体穿过机械爪孔洞与两端关节铰链相连接，关节铰链限制机械爪的上下左右四个自由度，用螺钉将柱体和机械爪固定在一起，限制柱体在孔洞内的滑动自由度；电机末端通过套筒与柱体相连接，通过电机带动机械爪旋转运动；所述柔性挡板12通过紧定螺钉与仿生弹柔性机械爪11相连接，并反向伸入棉花存储器7的内部；所述吸盘13，安装在仿生弹柔性机械爪11的末端，吸盘带有一定的吸力，在采摘的时候有些棉花会吸附在花萼里，通过吸盘可以更好地采摘到残留在花萼中的棉花。

所述压缩弹簧的外面套有弹簧保护套14，弹簧保护套14与压缩弹簧紧密相连，用于保护压缩弹簧，以防止棉花絮卷入到压缩弹簧中堵塞压缩弹簧。

一种双目视觉识别的自适应棉花收获方法，采用上述的自适应棉花智能机械收获装置进行采摘，包括下述步骤：

(1)双目立体相机的单、双目标定，求解目标在相机坐标系与三维空间坐标系之间的转换数学关系，得到校正后的双目立体相机；

(2)手眼标定，确定相机坐标系和机器人坐标系之间的转换关系；

(3)图像采集：机器人采用校正后的双目立体相机拍摄获取棉花的图像，得到校正后的棉花图像；

(4)图像预处理：先将校正后的棉花图像进行灰度化，将彩色图像转变为灰度图像；然后进行平滑滤波处理，消除图像中的噪声，得到预处理后的图像；

(5)图像分割：采集的对象是棉花，棉花以白色为主；对预处理后的图像进行二值化处理，处理后的图像为黑白图像；白色即检测目标，黑色为枝条和土地等背景，得到分割后的白色棉花图像；

(6)目标筛选排序：对分割后的白色棉花图像进行像素面积计算，设定像素面积阈值，根据阈值去除面积小于阈值的白色棉花图像，保留面积大于阈值的棉花图像，并将这些图像按面积大小进行序号分类(小于阈值面积的图像大部分是远景棉花图像，不在采摘机械臂的采摘范围，因此将其去掉)；

(7)定位目标：利用SGBM立体匹配算法，对步骤(6)得到的棉花像素面积块按序号进行立体匹配，得到棉花的深度信息；通过三维重建得到目标的三维点云信息，从而计算出目标相对于机器人的距离；

(8)规划运动轨迹：将目标的三维点云信息传送给控制中心，控制中心通过分析点云数据中包含的空间三维信息，采用避障算法来规划机械臂的运动轨迹，机械臂沿着规划好的轨迹进行运动，到达采摘目标前；

(9)自适应大小：由步骤(6)得到的棉花图像像素面积，再根据步骤(1)得到的目标在图像与真实三维空间之间的转换数学关系，反向求解得到真实目标棉花瓣的面积大小；根据棉花瓣的面积大小，机器人控制中心计算出电机需要的电信号大小，通过控制流过电机的电信号大小来控制电机的旋转角度；在电机和压缩弹簧的双重控制下，仿生弹柔性机械爪根据视觉检测到的棉花面积大小来自适应地调整仿生弹柔性机械爪的开合大小；

(10)采摘：仿生弹柔性机械爪在抓取棉花后，控制中心将电信号调到原来的0.5～0.75倍大小以确保仿生弹柔性机械爪能够在不损伤棉花的情况下紧紧抓取棉花；在放下棉花时，控制中心会将电信号调到原来的1.2～1.5倍大小，仿生弹柔性机械爪开口变大，使得棉花能够顺利落在存储器中；机械臂大臂4c旋转将存储器中的棉花转移到收集箱，实现棉花采摘、存储。

所述步骤(1)中，相机标定是指求解相机模型参数的过程；单目视觉是多目视觉的基础，因此首先进行单目标定，分别得到左右相机的外参数矩阵、内参数矩阵和畸变矩阵；在单目标定的基础上再进行双目标定，得到双目标定的重投影矩阵和映射表等矩阵参数；最后得到相机坐标系和三维空间坐标系之间的转换关系。

所述步骤(2)中，求解相机坐标系和机器人坐标系之间的转换关系的目的是：将基于相机坐标系下的棉花三维坐标转化为基于机器人坐标系下的棉花三维坐标，根据坐标计算出各个关节运动姿态，控制机械爪到达指定位置。

所述步骤(6)中，所述采摘序号分类是采用OpenCV库带的函数计算得到Si(S代表面积，i代表第几个棉花，T代表阈值)；当Si>＝T,保留该目标面积；当Si<T,去除该目标面积；然后对剩下的棉花像素块进行大小排序：如果Si>Si+1,对调两者位置，进行i-1次对比，得到面积由大到小的排序。

所述步骤(9)中，令y＝F(x)为步骤(1)得到的转换数学关系，则：

Si’＝F(Si)

Ii＝(Si/s)/4；

式中，Si代表该目标像素面积大小、Si’代表该目标真实面积大小、s代表单位面积所需要的电信号、Ii代表一个电机所需要的电信号大小。

本发明的原理是：

(1)利用双目相机拍摄图像，采用图像处理算法分割出棉花图像；单、双目标定求解棉花目标在相机坐标系和三维空间坐标系之间的转换关系；手眼标定求解相机坐标系和机器人坐标系之间的转换关系；结合单、双目标定和手眼标定的结果，将基于相机坐标系下的棉花三维坐标转化为基于机器人坐标系下的棉花三维坐标，以此确定机械臂移动到棉花路径；

(2)本发明采用压缩弹簧8和电机9组成控制部件，以此来控制仿生弹柔性机械爪11开合；非采摘状态下电机不通电，主要由弹簧来使得仿生弹柔性机械爪保持在闭合的姿态；当采摘时，视觉算法对目标筛选排序，获得图像中棉花面积大小，传递给控制中心，由控制中心控制电机旋转，进而带动仿生弹柔性机械爪旋转以自适应地抓取棉花，提高棉花采摘的准确性；

(3)仿生弹柔性机械爪的设计是模拟眼镜猴趾尖前端功能，其爪具有弹柔性，可抓取柔性体、生物体或刚性物体，且圆角指尖处有圆形吸盘，当抓取目标后有一定的吸力，由于棉花采摘时，当采下棉花时，经常会有个别长纤维还在花瓣里面，要拉一下才能全部摘下来，因此，当本发明装置的仿生弹柔性机械爪采摘棉花后，可以用指尖吸盘吸力模拟人工拉的力来完成采摘的功能，实现棉花采摘干净的效果；

(4)本发明装置还设计了柔性档板，可以实现棉花自动滑落-防掉落的功能；机械爪采摘成功逐渐闭合的时候，内部柔性挡板也逐渐打开，棉花滑落到棉花存储器中；机械爪打开进行采摘时，柔性挡板闭合防止已采摘棉花往外掉落；由控制电机来带动柔性挡板反方向旋转，棉花从存储器7倒入到收集箱4

(5)本发明采用滤波、分割等图像处理技术对棉花图像进行处理，得到棉花分割图像；利用筛选排序算法去除前景棉花图像，得到剩下棉花的像素面积，并且按照面积大小排序；得到棉花像素面积的目的是利用标定结果反求棉花真实面积大小，为机械爪能自适应面积采摘提供面积参数；排序目的是便于机器臂按照序号进行采摘作业；

(6)本发明采用自适应大小采摘算法控制机械手的采摘过程，棉花果实裂开瓣上分布的棉花絮面积大小不统一，如果统一仿生弹柔性机械爪的闭合大小，会导致漏采、采摘不干净等问题；因此本发明提出一种创新性的自适应棉花收获方法，由步骤6中筛选排序算法得到图像中棉花占据的像素面积大小，根据步骤1求解目标在相机坐标系与三维空间坐标系之间的转换数学关系，反求解出真实目标棉花瓣的面积大小；控制中心根据棉花瓣面积大小计算出电机需要的电信号值，通过控制流过电机的电信号值控制机械爪的旋转角度；在电机和弹簧的双重控制下，仿生弹柔性机械爪根据视觉检测的棉花面积大小自适应调整仿生弹柔性机械爪的开合大小；通过这种方法进行采摘时，棉花内掺杂花萼碎片的可能性就会大大降低，从而提高棉花的采摘质量，增加种植者的收入。

(7)本发明的仿生弹柔性机械爪11，是由弹簧和电机两者的相互作用控制仿生弹柔性机械爪的开合大小的；在正常状态下，仿生弹柔性机械爪在压缩弹簧的弹力作用下保持闭合的状态；在目标抓取的过程中，控制中心根据视觉检测的目标面积控制通过电机的电信号值，电机产生相应的旋转角度打开仿生弹柔性机械爪，这个过程中弹簧由于压缩而具有一定的势能，在闭合机械爪时，控制中心中断电信号值，弹簧由于势能而反弹到原点，即仿生弹柔性机械爪回到闭合状态。

本发明与现有技术相比具有如下优点和效果：

(1)本发明通过图像处理等技术能够分割出良好的棉花图像，对棉花识别率高；

(2)结合单、双目标定和手眼标定，能够对棉花目标进行精确空间定位；

(3)可实现自适应地调整机械爪的开合大小，能够快速、准确、干净地采摘不同面积的棉花，将棉花掺杂率显著降低，得到品质良好的棉花，提高种植者收入。

附图说明

图1为本发明自适应棉花智能机械收获装置的结构示意图。

图2为本发明采摘部件的结构示意图。

图3为本发明机械臂的结构示意图。

图4为本发明仿生弹柔性机械爪的结构示意图。

图5为本发明自适应棉花收获方法的算法流程图。

具体实施方式

为了便于理解本发明，下面将结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但是，不以任何形式限制本发明。应该指出的是，对本领域的技术人员来说，在不脱离本发明构思的前提下，本发明还可以做出若干变形和改进，这些都属于本发明的保护范围。

实施例1

如图1所示，双目视觉识别的自适应棉花智能机械收获装置，包括移动式履带拖拉机1，与拖拉机相连接的支撑板2，支撑板2上承载着棉花收集箱3和机械臂4，机械臂由多个关节部件组成(如图3所示)，在机械臂小臂上安装相机支撑架5，双目相机6安装在支撑架5之上，在机器臂末端执行器上搭载着棉花采摘部件。如图2、图4所示，棉花采摘部件包括棉花存储器7、压缩弹簧8、电机9、关节铰链10、仿生弹柔性机械爪11、柔性挡板12、吸盘13，仿生弹柔性机械爪通过圆柱体穿过孔洞与关节铰链连接，关节铰链用于限制机械爪的自由度；在电机和弹簧的作用下，仿生弹柔性机械爪能够实现大范围的开合动作；棉花存储器7可以减少机械臂往复与目标和棉花收集箱的次数，提高效率；压缩弹簧8和电机9一起工作，通过视觉算法识别到的棉花的面积大小来控制流经电机的电流进而控制仿生弹柔性机械爪关节铰链的旋转角度来精确控制仿生弹柔性机械爪的开合大小，实现自适应大小采摘；机器人机械臂用轻型驱控一体的网络控制器；

如图5所示，在采摘作业前，先对双目视觉系统进行单双目标定；做法是通过架起一块标定板，由机器人运动从各个角度拍摄标定板的图像来对相机进行单目标定；在单目标定后获得了左右相机的内外参数和畸变矩阵，依次来对相机进行双目标定，得到将双目相机校正的重投影矩阵和像素坐标与物体坐标之间的联系；进行手眼标定，确定像素坐标系到空间机械手坐标系的转换矩阵。

采摘时，根据棉花种植的密度来选择履带式拖拉机的行走方式，如果棉花种植密集，履带式拖拉机1从棉花种植地的一头开始，沿着棉花的一侧进行采摘；相机6先捕捉到带有棉花的图像，同时对其进行滤波处理，减少干扰；通过灰度化、二值化将白色的棉花图像凸显出来，再利用面积阈值算法去除前景棉花图像，得到剩下棉花的像素面积，并且按照面积大小来排序；利用SGBM立体匹配算法对棉花图像进行立体匹配，再经过三维重建来获得棉花点云信息；将棉花的点云信息回传给控制中心，通过计算的到各个关机电机的正逆解，进而规划出机械臂4的运动轨迹；当机械臂靠近目标棉花时，控制中心根据聚类处理后的面积大小来计算出流经电机9的电信号大小，电机旋转一定角度来控制仿生弹柔性机械爪11的开合范围；在抓取过程中如果爪的抓合太大会导致棉花的抓取不成功，如果爪抓合太小会损伤棉花本身；仿生弹柔性机械爪在抓取棉花后，控制中心会将电信号调到原来的0.5-0.75倍大小以确保仿生弹柔性机械爪能够在不损伤棉花的情况下紧紧抓取棉花。在放下棉花时，控制中心会将电信号调到原来的1.2-1.5倍，仿生弹柔性机械爪开口变大，使得棉花能够顺利落在存储器中；在采摘装置向下对棉花进行采摘时，当仿生弹柔性机械爪打开时，由于重力已经采集的棉花有可能从存储器7中通过仿生弹柔性机械爪掉落出来，因此设计柔性板12，在仿生弹柔性机械爪打开时闭合以避免已采摘的棉花掉落，在仿生弹柔性机械爪闭合时打开让采摘到的棉花进行存储器7；到采摘到一定次数后，机械臂4旋转到棉花收集箱中，将存储器中的棉花转移到棉花收集箱3中。

以上所述仅为本发明的实施例，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种双目视觉识别的自适应棉花智能机械收获装置，其特征在于：包括移动平台、机械臂、采摘部件和双目立体视觉系统；机械臂安装在移动平台上；双目立体视觉系统安装在机械臂小臂上；采摘部件安装在机械臂的末端；所述采摘部件包括棉花存储器、压缩弹簧、电机、关节铰链、仿生弹柔性机械爪、柔性挡板；棉花存储器与机械臂相连接，压缩弹簧的一端安装在棉花存储器的外圆边缘处，另一端安装在仿生弹柔性机械爪背面；仿生弹柔性机械爪的设计是模拟眼镜猴趾尖前端功能，仿生弹柔性机械爪中间带有孔洞，一根柱体穿过机械爪孔洞与两端关节铰链相连接；电机末端与柱体相连接，通过电机带动机械爪旋转运动；所述柔性挡板与仿生弹柔性机械爪相连接，并反向伸入棉花存储器的内部；根据双目立体视觉系统检测到的棉花瓣的面积大小，控制中心计算出电机需要的电信号大小，通过控制流过电机的电信号大小来控制电机的旋转角度；在电机和压缩弹簧的双重控制下，仿生弹柔性机械爪根据视觉检测到的棉花面积大小来自适应地调整仿生弹柔性机械爪的开合大小。

2.根据权利要求1所述的自适应棉花智能机械收获装置，其特征在于：所述采摘部件包括吸盘，吸盘安装在仿生弹柔性机械爪的末端。

3.根据权利要求1所述的自适应棉花智能机械收获装置，其特征在于：所述压缩弹簧的外面套有弹簧保护套，弹簧保护套与压缩弹簧紧密相连。

4.根据权利要求1所述的自适应棉花智能机械收获装置，其特征在于：所述移动平台包括履带式拖拉机和支撑板；支撑板置于履带式拖拉机的上方，用于支撑机械臂；所述移动平台上放置棉花收集箱，用于存储采收的棉花。

5.根据权利要求1所述的自适应棉花智能机械收获装置，其特征在于：所述机械臂包括底板、底座、底部关节、大臂、大臂关节、小臂和爪头座，底板下面与移动平台支撑板相连接，底板上面与底座相连接；大臂的下端通过底部关节与底座相连接，大臂的上端通过大臂关节与小臂相连接；爪头座的一端嵌入到小臂中，另一端与采摘部件相连接。

6.根据权利要求1所述的自适应棉花智能机械收获装置，其特征在于：所述双目立体视觉系统包括双目立体相机和相机支撑架，双目立体相机安装在相机支撑架上，相机支撑架安装在机械臂的小臂上。

7.一种双目视觉识别的自适应棉花收获方法，其特征在于：采用权利要求1～6中任一项所述的自适应棉花智能机械收获装置进行采摘，包括下述步骤：

(1)双目立体相机的单、双目标定，求解目标在相机坐标系与三维空间坐标系之间的转换数学关系，得到校正后的双目立体相机；

(2)手眼标定，确定相机坐标系和机器人坐标系之间的转换关系；

(3)图像采集：机器人采用校正后的双目立体相机拍摄获取棉花的图像，得到校正后的棉花图像；

(4)图像预处理：先将校正后的棉花图像进行灰度化，将彩色图像转变为灰度图像；然后进行平滑滤波处理，消除图像中的噪声，得到预处理后的图像；

(5)图像分割：采集的对象是棉花，棉花以白色为主；对预处理后的图像进行二值化处理，处理后的图像为黑白图像；白色即检测目标，黑色为背景，得到分割后的白色棉花图像；

(6)目标筛选排序：对分割后的白色棉花图像进行像素面积计算，设定像素面积阈值，根据阈值去除面积小于阈值的白色棉花图像，保留面积大于阈值的棉花图像，并将这些图像按面积大小进行采摘序号分类；

(7)定位目标：利用SGBM立体匹配算法，对步骤(6)得到的棉花像素面积块按序号进行立体匹配，得到棉花的深度信息；通过三维重建得到目标的三维点云信息，从而计算出目标相对于机器人的距离；

(8)规划运动轨迹：将目标的三维点云信息传送给控制中心，控制中心通过分析点云数据中包含的空间三维信息，采用避障算法来规划机械臂的运动轨迹，机械臂沿着规划好的轨迹进行运动，到达采摘目标前；

(9)自适应大小：由步骤(6)得到的棉花图像像素面积，再根据步骤(1)得到的目标在图像与真实三维空间之间的转换数学关系，反向求解得到真实目标棉花瓣的面积大小；根据棉花瓣的面积大小，机器人控制中心计算出电机需要的电信号大小，通过控制流过电机的电信号大小来控制电机的旋转角度；在电机和压缩弹簧的双重控制下，仿生弹柔性机械爪根据视觉检测到的棉花面积大小来自适应地调整仿生弹柔性机械爪的开合大小；

(10)采摘：仿生弹柔性机械爪在抓取棉花后，控制中心会将电信号调到原来的0.5～0.75倍大小以确保仿生弹柔性机械爪能够在不损伤棉花的情况下紧紧抓取棉花；在放下棉花时，控制中心会将电信号调到原来的1.2～1.5倍大小，仿生弹柔性机械爪开口变大，使得棉花能够顺利落在存储器中；机械臂大臂旋转将存储器中的棉花转移到收集箱，实现棉花采摘、存储。

8.根据权利要求7所述的双目视觉识别的自适应棉花收获方法，其特征在于：步骤(6)中，所述采摘序号分类是采用OpenCV库带的函数计算得到Si，其中，S代表面积，i代表第几个棉花，T代表阈值；当Si>＝T,保留该目标面积；当Si<T,去除该目标面积；然后对剩下的棉花像素块进行大小排序：如果Si>Si+1,对调两者位置，进行i-1次对比，得到面积由大到小的排序。

9.根据权利要求7所述的双目视觉识别的自适应棉花收获方法，其特征在于：所述步骤(9)中，令y＝F(x)为步骤(1)得到的转换数学关系，则：

Si’＝F(Si)

Ii＝(Si/s)/4；

式中，Si代表该目标像素面积大小、Si’代表该目标真实面积大小、s代表单位面积所需要的电信号、Ii代表一个电机所需要的电信号大小。

Images