CN114375689B

CN114375689B - 一种农业采摘机器人目标成熟判定和分类收纳方法

Info

Publication number: CN114375689B
Application number: CN202210117871.6A
Authority: CN
Inventors: 陆鑫焱; 高云; 敬墨白; 陈壹刘; 陆永祯; 宗洪凤; 姜宛彤; 王星丹; 蒋悦; 王艺霏; 马可欣
Original assignee: University of Science and Technology Liaoning USTL
Current assignee: University of Science and Technology Liaoning USTL
Priority date: 2022-02-08
Filing date: 2022-02-08
Publication date: 2023-09-08
Anticipated expiration: 2042-02-08
Also published as: CN114375689A

Abstract

本发明属于图像识别技术领域，具体涉及一种农业采摘机器人目标成熟判定和分类收纳方法，其特征在于，在农业种植区内，采摘机器人沿设定路线巡视并采集采摘目标的图片，控制计算机依据待采摘水果的颜色、大小、褶皱等多个指标与成熟度高度相关联的特征设定成熟度指标，将草莓的成熟程度与储存时间建立模型，控制计算机对采摘机器人采集的草莓图片进行人工智能识别，并将草莓类别与坐标信息传输给采摘机器人的人工智能识别控制板、采摘分拣控制板和车体移动控制板，最终实现机械臂的抓取和分拣以及车轮的避障行走。本发明的优点是：可以根据仓储时间长或运输距离远采摘分类打包，从而降低运输中草莓的损耗，扩展销售区域，提高经济效益。

Description

一种农业采摘机器人目标成熟判定和分类收纳方法

技术领域

本发明属于图像识别和智能操作技术领域，具体涉及一种适用于草莓种植的农业采摘机器人目标成熟判定和分类收纳方法。

背景技术

农业生产中，草莓采摘过程注意事项多，采摘步骤繁琐，而我国很多地区在草莓的采摘上依然主要靠人工，极大程度上没有实现生产机械化、模式化。单纯的依靠人工不仅效率低，而且草莓成品质量得不到保障。这样的采摘方式耗时耗力，并且需要多人进行合作才能完成。现有技术中的采摘机械，大多数不能在采摘过程中按照草莓的成熟度和大小进行分类装箱，通常是在果园里摘下来用车运到分拣场地，再用人工或机械分拣，其弊端是：运输环节多，作业中不能避免草莓磕碰，降低了草莓质量，直接影响到草莓品相、销售价格和冷藏期限。

现有技术中，草莓以箱体状态通过托盘转运在仓储系统中实现出入库。入库时仓储工作人员，会在草莓箱上贴上仓储系统的二维码，出入库时通过扫描二维码实现出入库状态的监控，目的是提升仓储系统的管理。生鲜类的草莓在以往的操作中一般是按照先进先出的原则进行出入库的管理。但是同一批次的草莓，受成熟度的不同，以及托盘放置区域中环境温度的影响，会造成成熟状态的不一致。甚至由于，先入批次的草莓放置区域的冷气比后入批次的草莓放置区域的冷气足，造成后入批次的草莓优先成熟。此时按先进先出的出入库管理，无疑会影响用户对草莓的品尝体验。

在现代化的立体式草莓大棚中，草莓的颜色差别细微、大小差别较小，因此，需要研发一种人工智能化草莓状态识别检测系统，能够对采摘过程中的草莓进行检测判断其成熟度，考虑冷藏和运输过程的时间差，辅助仓储工作人员进行出入库的操作，提升出入库系统管理和分类收纳的精准性和准确性，目前相关文献还鲜有报道。

发明内容

本发明旨在提供一种农业采摘机器人目标成熟判定和分类收纳方法，克服现有技术的不足，采用的人工智能图像识别技术和机器人行为控制技术，以卷积神经网络（CNN）为深度学习架构，通过卷积、池化等操作得到图片的特征值，进而完成识别功能，对草莓的颜色和大小进行识别和归类，配合采摘机器人的机械臂的移动，将草莓放到对应的收纳箱中，当收纳箱装满后，将收纳箱运送到指定仓储区，经质检人员复核称重后，封装发货，整个采摘分类过程可实现无人操作。

为解决上述技术问题，本发明的技术方案是：

一种农业采摘机器人目标成熟判定和分类收纳方法，其特征在于，在农业种植区内，采摘机器人沿设定路线巡视并采集采摘目标的图片，控制计算机依据待采摘水果的颜色、大小、褶皱等多个指标与成熟度高度相关联的特征设定成熟度指标，将草莓的成熟程度与储存时间建立模型，控制计算机对采摘机器人采集的草莓图片进行人工智能识别，并将草莓类别与坐标信息传输给采摘机器人的人工智能识别控制板、采摘分拣控制板和车体移动控制板，最终实现机械臂的抓取和分拣以及车轮的避障行走，其具体操作步骤如下：

1）根据市场需求将草莓的成熟度划分为多个等级，根据邮寄和销售地区的远近选择采摘草莓的成熟程度定义收纳盒的位置，应用人工智能图像识别技术对待摘取草莓的成熟程度的识别特征形成模型文件并保存在数据库中，模型文件的文档中标签all表示为全成熟的草莓，标签half表示为将要成熟的草莓；

2）采摘机器人采用UWB定位技术以自主或跟随形式沿采摘通道移动，通过双目摄像头采集草莓图片以及目标位置的x、y、z轴坐标数据，并将草莓图片回传发送给控制计算机做对照识别；所述草莓图片以标注文件形式保存在数据库中；

3）控制计算机控制采摘机器人的机械臂根据草莓的成熟程度实现分类采摘和分拣，并装入不同包装盒中，包装盒上事先标记订单信息，比如地址和重量；

4）当包装盒装满后，采摘机器人移动到储存区，由质检人员复核称重后，封装发货，并更换新的包装盒；

5）采摘机器人重复步骤2）至步骤4），实现全自动无人采摘和分类收纳。

所述人工智能图像识别技术以卷积神经网络（CNN）为架构，通过卷积、池化和聚类计算得到图片的特征值，进而实现识别功能，其中卷积操作一般用正方形卷积核，遍历图像上的像素点，图像与卷积核重合区域内，图像的像素值与卷积核内相对应点的权重的乘积和，再加上偏置值，得到输出图像中的像素值；其中池化操作分为最大池化或平均池化，最大池化即取局部接受域中值最大的点，平均池化即取局部接受域中值的平均值；最后应用聚类计算求出识别框数据，经过多次训练测试验证后即得到模型文件，用于采摘机器人的行为判断。

所述采摘机器人采取群体控制方式，可通过一台控制计算机远程控制多个采摘机器人进行作业，每个采摘机器人沿各自采摘通道往复行走。

所述采摘机器人，包括车架、车轮、控制箱、机械臂和收纳盒，车架下部连接有四个车轮，所述车轮为AGV驱动轮；车架顶部设置有控制箱和机械臂，机械臂两侧各设有1~3个可更换的收纳盒；控制箱顶部设有摄像头架，摄像头架端部设有双目摄像头；所述控制箱内分别设有人工智能识别控制板、采摘分拣控制板和车体移动控制板，人工智能识别控制板与双目摄像头相连接，双目摄像头通过WebSocket协议与控制计算机无线通讯，采摘分拣控制板与机械臂上的各动作电机相连接，车体移动控制板与四个车轮相连接；所述机械臂与车架通过旋转底座相连接。

所述人工智能识别控制板为Jetson Xavier NX开发板；所述采摘分拣控制板为树莓派4B+开发板；所述车体移动控制板是基于ATmega2560的Arduino Mega2560开发板；所述双目摄像头为RealSense D435i双目摄像头，其内置英特尔RealSense SDK2.0芯片；所述车体移动控制板中设有三个UWB基站模块和两个DRV8833电机驱动模块，UWB基站模块和UWB标签模块通过无线通讯，两个DRV8833电机驱动模块对应连接前轮和后轮。

所述机械臂包括大臂、中臂、小臂和果实夹钳，大臂的底部与旋转底座铰接，大臂与旋转底座之间设有大臂摆动电机，大臂的顶部与中臂的一端铰接，中臂与大臂之间设有中臂摆动电机，中臂的另一端与小臂铰接，小臂与中臂之间设有小臂摆动电机，所述小臂为电动推杆结构，小臂的前端连接果实夹钳，果实夹钳上设有夹取电机，所述果实夹钳的内侧口设有海绵垫。

所述车体移动控制板中还设有北斗导航模块。

与现有技术相比，本发明的有益效果为：

1）可以根据市场需求将草莓的成熟度划分为多个等级，分类放入不同的收纳箱中，仓储时间长或运输距离远的采摘的成熟度要略低一些，从而可根据成熟程度选择邮寄和销售地区的远近，从而降低运输中草莓的损耗，提高销售产品质量，扩展销售区域，提高经济效益。

2）本发明尤其适用于草莓，通过人工智能深度学习，识别准确率可以达到98%以上，抓取准确率可以达到100%。通过根据草莓外在的颜色实现对成熟度的精准识别，实现分类采摘和收纳包装，实现为不同需求口味的消费者提供更加精准的服务，实施差异化销售，从而改善用户体验，增加销售量，提高经济效益。

3）采摘机器人采取群体控制方式，可通过一台控制计算机远程控制多个机器人同时作业，比单体机器人设计制造的成本更加低廉，工作效率更高，适用范围也更广，可以更加适合复杂环境的草莓的差异化采摘和自动分拣打包工作，能够替代人工劳作节省人工成本，从而提高经济效益。

4）本发明在采摘、分拣、装盒过程中全程自动化，可大大降低疫情期间因人员接触草莓而造成的病毒传播风险，我国是草莓等草莓种植大国，该发明适用范围广泛，有很好的市场前景。经过实地测试及与果农进行人机对比实验得出，相同时间内本发明一台采摘机器人的工作产能等同于4到5名熟练采摘工的工作产能，且不存在疲劳期可以持续高效运行，从而大大节省人力、提高效率。

5）本发明具有UWB定位技术，能够按照预先设定工作路线行走，也能自动跟随工作人员行走，采摘机器人的使用更加方便灵活，在实现采摘分拣后还能完成自动搬运工作。

6）依据相关机构的研究结果，在未来的几年时间里，全球农业机器人的出货量将快速增加，有望从2018年的每年6万台，快速长到2025年的72.7万台。相关机构估计到2025年，农业机器人的全球商场价值将达到879亿美元。由此可见农业机器人领域在未来有广大的发展空间和市场潜力。

附图说明

图1是本发明实施例控制逻辑流程图；

图2是本发明实施例中采摘机器人结构示意图；

图3是本发明实施例中采摘机器人的控制系统结构框图；

图4是本发明实施例中机械臂结构示意图；

图5是本发明实施例中控制计算机测试验证时数据库中的标注文件；

图6是本发明实施例中控制计算机对采摘机器人回传的图片进行识别并标记。

图中： 1-车架、2-车轮、3-控制箱、4-机械臂、5-收纳盒、6-摄像头架、7-双目摄像头、8-人工智能识别控制板、9-采摘分拣控制板、10-车体移动控制板、11-旋转底座、12-UWB基站模块、13-前轮电机驱动模块、14-后轮电机驱动模块、15-UWB标签模块、16-大臂、17-中臂、18-小臂、19-果实夹钳、20-夹取电机、21-北斗导航模块、22-电池。

具体实施方式

下面将结合本发明中的具体实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

文中术语：卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一。卷积神经网络具有表征学习（representationlearning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariantclassification），因此也被称为“平移不变人工神经网络（Shift-Invariant ArtificialNeural Networks, SIANN）”。随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展，并被应用于计算机视觉、自然语言处理等领域。卷积神经网络仿造生物的视知觉（visual perception）机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化（grid-like topology）特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程（feature engineering）要求。

是一种在单个TCP连接上进行全双工通信的协议。WebSocket通信协议于2011年被IETF定为标准RFC 6455，并由RFC7936补充规范。WebSocket API也被W3C定为标准。WebSocket使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。在WebSocket API中，浏览器和服务器只需要完成一次握手，两者之间就直接可以创建持久性的连接，并进行双向数据传输。

定位技术，超宽带（UWB，Ultra Wide Band）技术是一种新型的无线通信技术。它通过对具有很陡上升和下降时间的冲激脉冲进行直接调制，使信号具有GHz量级的带宽。超宽带技术解决了困扰传统无线技术多年的有关传播方面的重大难题，它具有对信道衰落不敏感、发射信号功率谱密度低、低截获能力、系统复杂度低、能提供数厘米的定位精度等优点。超宽带（UWB）在早期被用来应用在近距离高速数据传输，近年来国外开始利用其亚纳秒级超窄脉冲来做近距离精确室内定位。

见图1－图6，是本发明一种农业采摘机器人目标成熟判定和分类收纳方法效果示意图，在农业种植区内，采摘机器人沿设定路线巡视并采集采摘目标的图片，控制计算机依据待采摘水果的颜色、大小、褶皱等多个指标与成熟度高度相关联的特征设定成熟度指标，将草莓的成熟程度与储存时间建立模型，控制计算机对采摘机器人采集的草莓图片进行人工智能识别，并将草莓类别与坐标信息传输给采摘机器人的人工智能识别控制板、采摘分拣控制板和车体移动控制板，最终实现机械臂的抓取和分拣以及车轮的避障行走，以实现为不同需求口味的消费者提供更加精准的服务，实施差异化销售，从而改善用户体验，增加销售量，提高经济效益的目的。

本发明具体操作步骤如下：其具体操作步骤如下：

1）根据市场需求将草莓的成熟度划分为多个等级，根据邮寄和销售地区的远近选择采摘草莓的成熟程度定义收纳盒的位置，应用人工智能图像识别技术对待摘取草莓的成熟程度的识别特征形成模型文件并保存在数据库中，模型文件的文档中标签all表示为全成熟的草莓，标签half表示为将要成熟的草莓；2）采摘机器人采用UWB定位技术以自主或跟随形式沿采摘通道移动，通过双目摄像头采集草莓图片以及目标位置的x、y、z轴坐标数据，并将草莓图片回传发送给控制计算机做对照识别；所述草莓图片以标注文件形式保存在数据库中；3）控制计算机控制采摘机器人的机械臂根据草莓的成熟程度实现分类采摘和分拣，并装入不同包装盒中，包装盒上事先标记订单信息，比如地址和重量；4）当包装盒装满后，采摘机器人移动到储存区，由质检人员复核称重后，封装发货，并更换新的包装盒；5）采摘机器人重复步骤2）至步骤4），实现全自动无人采摘和分类收纳。

本发明控制计算机的数据库中，模型文件的文档中标签all表示为全成熟的草莓，标签half表示为将要成熟的草莓，实现差异化销售，改善用户体验。

本发明实施例中，多个采摘机器人可采取群体控制方式，可通过一台控制计算机远程控制多个采摘机器人进行作业，每个采摘机器人沿各自采摘通道往复行走。

本发明尤其适用于对保存期和运输距离敏感的草莓，并且成熟度与外在颜色和表面皱褶具有一致性，需要根据邮寄和销售地区的远近选择采摘草莓的成熟程度。对于那些成熟度与颜色相关度不大的草莓则使用效果不明显。

本发明是以人工智能图像识别技术以卷积神经网络（CNN）为架构，通过卷积、池化和聚类计算得到图片的特征值，进而实现识别功能，其中卷积操作一般用正方形卷积核，遍历图像上的像素点，图像与卷积核重合区域内，图像的像素值与卷积核内相对应点的权重的乘积和，再加上偏置值，得到输出图像中的像素值；其中池化操作分为最大池化或平均池化，最大池化即取局部接受域中值最大的点，平均池化即取局部接受域中值的平均值；最后应用聚类计算求出识别框数据，经过多次训练测试验证后即得到模型文件，用于采摘机器人的行为判断。

采摘机器人实施例结构包括车架1、车轮2、控制箱3、机械臂4和收纳盒5，车架1下部连接有四个车轮2，车轮2为AGV驱动轮；车架1顶部设置有控制箱3和机械臂4，机械臂4两侧各设有一个可更换的收纳盒5；控制箱3顶部设有摄像头架6，摄像头架6端部设有双目摄像头7；控制箱3内分别设有人工智能识别控制板8、采摘分拣控制板9和车体移动控制板10，人工智能识别控制板8与双目摄像头7相连接，采摘分拣控制板9与机械臂4上的各动作电机相连接，车体移动控制板10与四个车轮2相连接；机械臂4与车架1通过旋转底座11相连接。

机械臂4包括大臂16、中臂17、小臂18和果实夹钳19，大臂16的底部与旋转底座1111铰接，大臂16与旋转底座11之间设有大臂摆动电机，大臂16的顶部与中臂17的一端铰接，中臂17与大臂16之间设有中臂摆动电机，中臂17的另一端与小臂18铰接，小臂18与中臂17之间设有小臂摆动电机，小臂18为电动推杆结构，小臂18的前端连接果实夹钳19，果实夹钳19上设有夹取电机20，为了减少对水果的夹伤情况发生，果实夹钳的内侧口设有海绵垫。

实施例中，人工智能识别控制板8为Jetson Xavier NX开发板。NVIDIA的JetsonXavier NX是外形小巧的模组系统，可为边缘系统提供超级计算机性能，可以并行运行现代神经网络并处理来自多个高分辨率传感器的数据，可根据水果的外表颜色判断成熟度，为采摘提供动作信号。双目摄像头7为RealSense D435i双目摄像头，其内置英特尔RealSenseSDK2.0芯片，可提供深度和IMU数据流，根据需要对IMU数据进行时间戳以与深度数据对齐。实施例中，应用Jetson Xavier NX开发板采集英特尔RealSenseD435i双目摄像头传来的待采摘水果（如草莓等）的图像信息，进行人工智能计算，得到可采摘的成熟水果的位置、距离等信息，并将信息传输给采摘分拣控制板。

采摘分拣控制板9为树莓派4B+开发板。树莓派4B+通过网络Socket协议接收来自人工智能识别控制板的数据，应用机械臂运动学算法计算出机械臂相应关节的角度，控制各关节电机转动，驱动机械臂抓取目标水果，并放置到收纳盒中，并根据待摘取水果的位置控制车体移动。车体移动控制板10是基于ATmega2560的Arduino Mega2560开发板。ArduinoMega2560开发板通过串口接收来自采摘分拣控制板的数据，控制车轮配合机械臂接近待采摘的目标水果，等到收纳盒装满时，将收纳盒运送到指定的物流运输区域，完成一轮全自动精准采摘和物流分拣工作。

车体移动控制板10中设有三个UWB基站模块12、北斗导航模块21、前轮电机驱动模块13和后轮电机驱动模块14，UWB基站模块12和UWB标签模块15通过无线通讯，前轮电机驱动模块13和后轮电机驱动模块14的型号均为DRV8833。当机器人在室外工作时，也可应用北斗导航定位,使机器人按照预先设定工作路线行走，方便机器人在工作过程中的调度和搬运所需要的物品。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims

1.一种农业采摘机器人目标成熟判定和分类收纳方法，其特征在于，在农业种植区内，采摘机器人沿设定路线巡视并采集采摘目标的图片，控制计算机依据待采摘水果的颜色、大小、褶皱指标与成熟度高度相关联的特征设定成熟度指标，将草莓的成熟程度与储存时间建立模型，控制计算机对采摘机器人采集的草莓图片进行人工智能识别，并将草莓类别与坐标信息传输给采摘机器人的人工智能识别控制板、采摘分拣控制板和车体移动控制板，最终实现机械臂的抓取和分拣以及车轮的避障行走，其具体操作步骤如下：

3）控制计算机控制采摘机器人的机械臂根据草莓的成熟程度实现分类采摘和分拣，并装入不同包装盒中，包装盒上事先标记订单信息；

2.根据权利要求1所述的一种农业采摘机器人目标成熟判定和分类收纳方法，其特征在于，所述人工智能图像识别技术以卷积神经网络（CNN）为架构，通过卷积、池化和聚类计算得到图片的特征值，进而实现识别功能，其中卷积操作一般用正方形卷积核，遍历图像上的像素点，图像与卷积核重合区域内，图像的像素值与卷积核内相对应点的权重的乘积和，再加上偏置值，得到输出图像中的像素值；其中池化操作分为最大池化或平均池化，最大池化即取局部接受域中值最大的点，平均池化即取局部接受域中值的平均值；最后应用聚类计算求出识别框数据，经过多次训练测试验证后即得到模型文件，用于采摘机器人的行为判断。

3.根据权利要求1所述的一种农业采摘机器人目标成熟判定和分类收纳方法，其特征在于，所述采摘机器人采取群体控制方式，通过一台控制计算机远程控制多个采摘机器人进行作业，每个采摘机器人沿各自采摘通道往复行走。

4.根据权利要求1所述的一种农业采摘机器人目标成熟判定和分类收纳方法，其特征在于，所述采摘机器人包括车架、车轮、控制箱、机械臂和收纳盒，车架下部连接有四个车轮，所述车轮为AGV驱动轮；车架顶部设置有控制箱和机械臂，机械臂两侧各设有1~3个可更换的收纳盒；控制箱顶部设有摄像头架，摄像头架端部设有双目摄像头；所述控制箱内分别设有人工智能识别控制板、采摘分拣控制板和车体移动控制板，人工智能识别控制板与双目摄像头相连接，双目摄像头通过WebSocket协议与控制计算机无线通讯，采摘分拣控制板与机械臂上的各动作电机相连接，车体移动控制板与四个车轮相连接；所述机械臂与车架通过旋转底座相连接。

5.根据权利要求4所述的一种农业采摘机器人目标成熟判定和分类收纳方法，其特征在于，所述人工智能识别控制板为Jetson Xavier NX开发板；所述采摘分拣控制板为树莓派4B+开发板；所述车体移动控制板是基于ATmega2560的Arduino Mega2560开发板；所述双目摄像头为RealSense D435i双目摄像头，其内置英特尔RealSense SDK2.0芯片；所述车体移动控制板中设有三个UWB基站模块和两个DRV8833电机驱动模块，UWB基站模块和UWB标签模块通过无线通讯，两个DRV8833电机驱动模块对应连接前轮和后轮。

6.根据权利要求4所述的一种农业采摘机器人目标成熟判定和分类收纳方法，其特征在于，所述机械臂包括大臂、中臂、小臂和果实夹钳，大臂的底部与旋转底座铰接，大臂与旋转底座之间设有大臂摆动电机，大臂的顶部与中臂的一端铰接，中臂与大臂之间设有中臂摆动电机，中臂的另一端与小臂铰接，小臂与中臂之间设有小臂摆动电机，所述小臂为电动推杆结构，小臂的前端连接果实夹钳，果实夹钳上设有夹取电机，所述果实夹钳的内侧口设有海绵垫。

7.根据权利要求4所述的一种农业采摘机器人目标成熟判定和分类收纳方法，其特征在于，所述车体移动控制板中还设有北斗导航模块。