CN112560692A - 一种基于深度学习的金针菇分类系统及方法 - Google Patents

Abstract

本发明提供了计算机视觉和图像处理技术领域的一种基于深度学习的金针菇分类系统及方法，系统包括：机械臂；机械手，设于所述机械臂的末端；驱动装置，输出端与所述机械臂连接，通过所述机械臂联动机械手进行抓取、放置、移动或者旋转操作；图像采集模块，设于所述机械臂的末端；至少两条传送带，设于所述机械臂的边上；切割机，设于所述传送带的边上；计算机，与所述驱动装置、图像采集模块、切割机以及传送带连接。本发明的优点在于：极大的提升了金针菇的分类精度和效率，极大的提升了金针菇的品质。

Description

一种基于深度学习的金针菇分类系统及方法

技术领域

本发明涉及计算机视觉和图像处理技术领域，特别指一种基于深度学习的金针菇分类系统及方法。

背景技术

在金针菇工厂的分级标准中，将尺寸、成熟度、颜色等统一的金针菇分为一类，这样有利于金针菇的销售和保存。为了实现金针菇的切割分类，需要两个人负责切割根部并分类，一个人负责装袋，这样的一套分类流程需要3个人，在一条金针菇分类流水线上有10多个这样的工位，可见一个金针菇工厂需要耗费很多的人力。而且在工人对金针菇分选时，是根据分级标准和工人本身的经验将这些菇进行分类，由于工人长时间且大量的劳作，会出现视觉疲劳，进而出现错分、效率不高等现象，降低了工厂的效益，同时金针菇的品质也受到影响，危及消费者的健康。

因此，如何提供一种基于深度学习的金针菇分类系统及方法，实现提升金针菇的分类精度和效率，提升金针菇的品质，成为一个亟待解决的问题。

发明内容

本发明要解决的技术问题，在于提供一种基于深度学习的金针菇分类系统及方法，实现提升金针菇的分类精度和效率，提升金针菇的品质。

第一方面，本发明提供了一种基于深度学习的金针菇分类系统，包括：

机械臂；

机械手，设于所述机械臂的末端；

驱动装置，输出端与所述机械臂连接，通过所述机械臂联动机械手进行抓取、放置、移动、或者旋转操作；

图像采集模块，设于所述机械臂的末端；

至少两条传送带，设于所述机械臂的边上；

切割机，设于所述传送带的边上；

计算机，与所述驱动装置、图像采集模块、切割机以及传送带连接。

进一步地，还包括：

废料收集槽，设于所述切割机的下方。

进一步地，所述驱动装置为气泵。

进一步地，所述图像采集模块包括：

同轴光源，与所述计算机连接；

分光镜，设于所述同轴光源的前端，且与所述同轴光源发射出来的光形成45°夹角；

摄像头，拍摄方向与所述同轴光源的照射方向相交于分光镜，且形成90°夹角；所述摄像头与同轴光源分别设于分光镜的两侧；所述摄像头与计算机连接。

进一步地，所述计算机为TX2开发板。

第二方面，本发明提供了一种基于深度学习的金针菇分类方法，包括如下步骤：

步骤S10、计算机创建一金针菇分类标准，并基于所述金针菇分类标准以及神经网络创建一金针菇分类模型；

步骤S20、获取大量的金针菇头部图像以及金针菇根部图像，并将所述金针菇头部图像以及金针菇根部图像输入金针菇分类模型进行训练；

步骤S30、计算机通过所述驱动装置驱动机械手抓取传送带上传送的未分类金针菇，并将抓取的未分类金针菇移动到切割机进行根部的切除，切除的根部掉落至废料收集槽内；

步骤S40、计算机控制机械手将未分类金针菇的根部对准图像采集模块的拍摄方向，进行未分类金针菇根部图像的采集；计算机控制机械手进行旋转，将未分类金针菇的头部对准图像采集模块的拍摄方向，进行未分类金针菇头部图像的采集；

步骤S50、计算机将采集的所述未分类金针菇根部图像以及未分类金针菇头部图像输入训练后的金针菇分类模型进行分类，生成分类结果；

步骤S60、计算机基于所述分类结果，控制机械手将分类后的金针菇放置在对应的传送带上，完成金针菇的分类。

进一步地，所述步骤S10中，所述金针菇分类标准包括头部分类标准以及根部分类标准；

所述头部分类标准具体为：若菇头圆且白、无水菇、水菇帽以及黄斑，且直径小于等于1.1cm，则为A级；若菇头不圆、存在水菇、水菇帽、黄斑或者直径大于1.1cm，则为B级；

所述根部分类标准具体为：若根部白、空隙均匀、呈紧实状、无裂痕、残缺以及黑块，则为A级；若根部颜色为黄色、呈半散状、有裂痕、残缺或者黑块，则为B级；

只有当所述头部分类标准以及根部分类标准均达到A级，才将金针菇分类为优等品，否则将金针菇分类为次等品。

进一步地，所述步骤S20中，所述并将金针菇头部图像以及金针菇根部图像输入金针菇分类模型进行训练具体为：

将所述金针菇根部图像分割出第一前景图像和第一背景图像后，再将所述第一前景图像以及金针菇头部图像输入金针菇分类模型进行训练。

进一步地，所述金针菇头部图像的训练采用面积比法，即从菇头分离出水菇和水菇帽，通过计算水菇和水菇帽与菇头的面积占比来进行分类训练。

进一步地，所述步骤S50具体为：

计算机将采集的所述未分类金针菇根部图像分割出第二前景图像和第二背景图像后，再将所述第二前景图像以及未分类金针菇头部图像输入训练后的金针菇分类模型进行分类，生成分类结果。

本发明的优点在于：

1、通过获取大量的金针菇头部图像以及金针菇根部图像，输入基于金针菇分类标准以及神经网络创建的金针菇分类模型进行训练，再利用机械手抓取传送带上传送的未分类金针菇，将未分类金针菇利用切割机切割带土部分的根部，再利用图像采集模块采集未分类金针菇根部图像以及未分类金针菇头部图像，并输入训练后的金针菇分类模型进行分类，最终基于分类结果对金针菇进行分类，做到抓取、切割和分类的一条龙操作，实现手眼一体，避免传统上人工切割分类而导致的错分、效率不高等情况，极大的提升了金针菇的分类精度和效率，进而极大的提升了金针菇的品质。

2、通过设置图像采集模块包括同轴光源、分光镜以及摄像头，当金针菇根部的表面存在水渍时，同轴光源发射的发散光以45°角照射在分光镜上，并反射到金针菇根部，金针菇根部发出的光一部分通过分光镜反射会光源，另一部分透光分光镜被摄像头所采集，避免因金针菇根部的表面存在水渍而使摄像头拍摄不清金针菇根部的裂痕或者黄斑，进而极大的提升了金针菇的分类精度。

3、通过采用面积比法对金针菇头部图像进行分类训练，对于不同生产时间的金针菇仅需调整面积比值即可动态调节金针菇分类标准，不需要重新进行训练，进而极大的提升了金针菇的分类效率。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1是本发明一种基于深度学习的金针菇分类系统的电路原理框图。

图2是本发明图像采集模块的结构示意图。

图3是本发明一种基于深度学习的金针菇分类方法的流程图。

标记说明：

100-一种基于深度学习的金针菇分类系统，1-驱动装置，2-图像采集模块，3-传送带，4-切割机，5-计算机，21-同轴光源，22-分光镜，23-摄像头。

具体实施方式

本申请实施例中的技术方案，总体思路如下：通过获取大量的金针菇头部图像以及金针菇根部图像，输入基于金针菇分类标准以及神经网络创建的金针菇分类模型进行训练，以提升金针菇分类精度；通过机械手抓取传送带上传送的未分类金针菇，将未分类金针菇利用切割机4切割带土部分的根部，再利用图像采集模块2采集未分类金针菇根部图像以及未分类金针菇头部图像，并输入训练后的金针菇分类模型进行分类，最终基于分类结果对金针菇进行分类，做到抓取、切割和分类的一条龙操作，以提升金针菇的分类效率，进而提升金针菇的品质。

请参照图1至图3所示，本发明一种基于深度学习的金针菇分类系统100的较佳实施例，包括：

机械臂(未图示)；

机械手(未图示)，设于所述机械臂的末端，用于抓取金针菇；

驱动装置1，动力输出端与所述机械臂连接，通过所述机械臂联动机械手进行抓取、放置、移动、或者旋转操作；

图像采集模块2，设于所述机械臂的末端，用于采集金针菇的图像；

至少两条传送带3，设于所述机械臂的边上；用于传送未分类的金针菇和分类好的金针菇；

切割机4，设于所述传送带3的边上；用于对金针菇带土部分的根部进行切割；

计算机5，与所述驱动装置1、图像采集模块2、切割机4以及传送带3连接；所述计算机5用于控制所述驱动装置1，进而联动所述机械臂以及机械手完成金针菇的抓取、放置、移动、或者旋转等操作，控制所述图像采集模块2拍摄金针菇的图像并进行分类，启闭所述切割机4以及传送带3。

还包括：

废料收集槽(未图示)，设于所述切割机4的下方，用于收集所述切割机4切割的废料。

所述驱动装置1为气泵。

所述图像采集模块2包括：

同轴光源21，与所述计算机5连接；

分光镜22，设于所述同轴光源21的前端，且与所述同轴光源21发射出来的光形成45°夹角；

摄像头23，拍摄方向与所述同轴光源21的照射方向相交于分光镜22，且形成90°夹角；所述摄像头23与同轴光源21分别设于分光镜22的两侧；所述摄像头23与计算机5连接。

由于金针菇根部的表面可能会沾有水渍，光线打上去时会形成一个镜面反射，导致一些裂痕或者黄斑无法看清，所以采用所述同轴光源21，所述同轴光源21垂直发出发散光，通过一个45°角的所述分光镜22照射到金针菇根部上，金针菇根部发出的光一半被所述分光镜22反射到同轴光源21，一半通过所述分光镜22照射到摄像头23，这部分光就是用来成像的。

所述计算机5为英伟达的TX2开发板；TX2开发板是一款人工智能超级计算机，采用NVIDIA PascalTM架构；传统上因为硬件性能低下以及价格昂贵，若要建立多层多节点的神经网络，其时间复杂度是无法接受的；而TX2开发板性能强大，外形小巧，非常适合低能耗和高计算性能的应用场景；将训练好的金针菇分类模型部署到TX2开发板上具有良好的兼容性；因为TX2开发板的GPU加速平台可选OpenVX、OpenCL、CUDA等，而OpenVINO是基于CPU硬件平台开发，是可以加速计算机视觉应用的加速工具套件，支持CPU加速器并允许直接异构执行，同时也整合OpenCV、OpenVX、OpenCL等；可以通过基于Intel CPU及核显Integrated GPU加速芯片，增强视觉系统和性能。

本发明一种基于深度学习的金针菇分类方法的较佳实施例，包括如下步骤：

步骤S10、计算机创建一金针菇分类标准，并基于所述金针菇分类标准以及神经网络创建一金针菇分类模型；通过神经网络进行训练，使得训练后的所述金针菇分类模型具有很好的泛化性；

步骤S20、获取大量的金针菇头部图像以及金针菇根部图像，并将所述金针菇头部图像以及金针菇根部图像输入金针菇分类模型进行训练；

步骤S30、计算机通过所述驱动装置驱动机械手抓取传送带上传送的未分类金针菇，并将抓取的未分类金针菇移动到切割机进行根部的切除，切除的根部掉落至废料收集槽内；

步骤S40、计算机控制机械手将未分类金针菇的根部对准图像采集模块的拍摄方向，进行未分类金针菇根部图像的采集；计算机控制机械手进行旋转，将未分类金针菇的头部对准图像采集模块的拍摄方向，进行未分类金针菇头部图像的采集；

步骤S50、计算机将采集的所述未分类金针菇根部图像以及未分类金针菇头部图像输入训练后的金针菇分类模型进行分类，生成分类结果；

步骤S60、计算机基于所述分类结果，控制机械手将分类后的金针菇放置在对应的传送带上，完成金针菇的分类。

所述步骤S10中，所述金针菇分类标准包括头部分类标准以及根部分类标准；

所述头部分类标准具体为：若菇头圆且白、无水菇、水菇帽以及黄斑，且直径小于等于1.1cm，则为A级；若菇头不圆、存在水菇、水菇帽、黄斑或者直径大于1.1cm，则为B级；

所述根部分类标准具体为：若根部白、空隙均匀、呈紧实状、无裂痕、残缺以及黑块，则为A级；若根部颜色为黄色、呈半散状、有裂痕、残缺或者黑块，则为B级；

只有当所述头部分类标准以及根部分类标准均达到A级，才将金针菇分类为优等品，否则将金针菇分类为次等品。

所述步骤S20中，所述并将金针菇头部图像以及金针菇根部图像输入金针菇分类模型进行训练具体为：

将所述金针菇根部图像分割出第一前景图像和第一背景图像后，再将所述第一前景图像以及金针菇头部图像输入金针菇分类模型进行训练。通过分割出前景图像和背景图像，可以抓住关键样本、剔除大量冗余样本,且算法简单、快速、易调节,具有较好的鲁棒性。

菇头的分割提取采用特征金字塔的多尺度融合方法；因为在分割问题中，高层网络的感受野比较大，语义信息表征能力强，但是特征图的分辨率低，几何信息的表征能力弱(空间几何特征细节缺乏)；低层网络的感受野比较小，几何细节信息表征能力强，虽然分辨率高，但是语义信息表征能力弱；因此，上下文信息与多尺度融合对于提高分割精度是十分有效的，所以利用特征金字塔的多尺度融合方法进行多尺度融合，以提高菇头分割的准确性。

菇根的提取使用OTSU自动阈值联合灰度投影法，并基于菇根的阈值图特点，引入曲线中心定位方法，提高菇根定位的准确性。

所述金针菇头部图像的训练采用面积比法，即利用Mask-RCNN从菇头分离出水菇和水菇帽，通过计算水菇和水菇帽与菇头的面积占比来进行分类训练。Mask-RCNN是一个实例分割模型，它能确定图片中各个目标的位置和类别，给出像素级预测；Mask-RCNN是由Faster-RCNN改进来的，使用ROIAlign代替ROIPooling可以加强对小目标物体的检测；ROIAlign是一种区域特征聚集方式,很好地解决了ROI Pooling操作中两次量化造成的区域不匹配的问题。

分类训练前需要将菇头的轮廓描画出来，为了提高准确性，采用anchor提取proposal，而anchor的设置采用guided anchoring根据生成的特征。

为了提高训练的实时性，用VGG-16代替ResNet-50的主体网络；或者提高proposal的质量，进而减少生成分低的proposal，进而减少计算机资源的浪费。

所述步骤S50具体为：

计算机将采集的所述未分类金针菇根部图像分割出第二前景图像和第二背景图像后，再将所述第二前景图像以及未分类金针菇头部图像输入训练后的金针菇分类模型进行分类，生成分类结果。

综上所述，本发明的优点在于：

1、通过获取大量的金针菇头部图像以及金针菇根部图像，输入基于金针菇分类标准以及神经网络创建的金针菇分类模型进行训练，再利用机械手抓取传送带上传送的未分类金针菇，将未分类金针菇利用切割机切割带土部分的根部，再利用图像采集模块采集未分类金针菇根部图像以及未分类金针菇头部图像，并输入训练后的金针菇分类模型进行分类，最终基于分类结果对金针菇进行分类，做到抓取、切割和分类的一条龙操作，实现手眼一体，避免传统上人工切割分类而导致的错分、效率不高等情况，极大的提升了金针菇的分类精度和效率，进而极大的提升了金针菇的品质。

2、通过设置图像采集模块包括同轴光源、分光镜以及摄像头，当金针菇根部的表面存在水渍时，同轴光源发射的发散光以45°角照射在分光镜上，并反射到金针菇根部，金针菇根部发出的光一部分通过分光镜反射会光源，另一部分透光分光镜被摄像头所采集，避免因金针菇根部的表面存在水渍而使摄像头拍摄不清金针菇根部的裂痕或者黄斑，进而极大的提升了金针菇的分类精度。

3、通过采用面积比法对金针菇头部图像进行分类训练，对于不同生产时间的金针菇仅需调整面积比值即可动态调节金针菇分类标准，不需要重新进行训练，进而极大的提升了金针菇的分类效率。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (10)

1.一种基于深度学习的金针菇分类系统，其特征在于：包括：

机械臂；

机械手，设于所述机械臂的末端；

驱动装置，输出端与所述机械臂连接，通过所述机械臂联动机械手进行抓取、放置、移动、或者旋转操作；

图像采集模块，设于所述机械臂的末端；

至少两条传送带，设于所述机械臂的边上；

切割机，设于所述传送带的边上；

计算机，与所述驱动装置、图像采集模块、切割机以及传送带连接。

2.如权利要求1所述的一种基于深度学习的金针菇分类系统，其特征在于：还包括：

废料收集槽，设于所述切割机的下方。

3.如权利要求1所述的一种基于深度学习的金针菇分类系统，其特征在于：所述驱动装置为气泵。

4.如权利要求1所述的一种基于深度学习的金针菇分类系统，其特征在于：所述图像采集模块包括：

同轴光源，与所述计算机连接；

分光镜，设于所述同轴光源的前端，且与所述同轴光源发射出来的光形成45°夹角；

摄像头，拍摄方向与所述同轴光源的照射方向相交于分光镜，且形成90°夹角；所述摄像头与同轴光源分别设于分光镜的两侧；所述摄像头与计算机连接。

5.如权利要求1所述的一种基于深度学习的金针菇分类系统，其特征在于：所述计算机为TX2开发板。

6.一种基于深度学习的金针菇分类方法，其特征在于：所述方法需使用如权利要求1至5任一项所述的分类系统，包括如下步骤：

步骤S10、计算机创建一金针菇分类标准，并基于所述金针菇分类标准以及神经网络创建一金针菇分类模型；

步骤S20、获取大量的金针菇头部图像以及金针菇根部图像，并将所述金针菇头部图像以及金针菇根部图像输入金针菇分类模型进行训练；

步骤S30、计算机通过所述驱动装置驱动机械手抓取传送带上传送的未分类金针菇，并将抓取的未分类金针菇移动到切割机进行根部的切除，切除的根部掉落至废料收集槽内；

步骤S40、计算机控制机械手将未分类金针菇的根部对准图像采集模块的拍摄方向，进行未分类金针菇根部图像的采集；计算机控制机械手进行旋转，将未分类金针菇的头部对准图像采集模块的拍摄方向，进行未分类金针菇头部图像的采集；

步骤S50、计算机将采集的所述未分类金针菇根部图像以及未分类金针菇头部图像输入训练后的金针菇分类模型进行分类，生成分类结果；

步骤S60、计算机基于所述分类结果，控制机械手将分类后的金针菇放置在对应的传送带上，完成金针菇的分类。

7.如权利要求6所述的一种基于深度学习的金针菇分类方法，其特征在于：所述步骤S10中，所述金针菇分类标准包括头部分类标准以及根部分类标准；

所述头部分类标准具体为：若菇头圆且白、无水菇、水菇帽以及黄斑，且直径小于等于1.1cm，则为A级；若菇头不圆、存在水菇、水菇帽、黄斑或者直径大于1.1cm，则为B级；

所述根部分类标准具体为：若根部白、空隙均匀、呈紧实状、无裂痕、残缺以及黑块，则为A级；若根部颜色为黄色、呈半散状、有裂痕、残缺或者黑块，则为B级；

只有当所述头部分类标准以及根部分类标准均达到A级，才将金针菇分类为优等品，否则将金针菇分类为次等品。

8.如权利要求6所述的一种基于深度学习的金针菇分类方法，其特征在于：所述步骤S20中，所述并将金针菇头部图像以及金针菇根部图像输入金针菇分类模型进行训练具体为：

将所述金针菇根部图像分割出第一前景图像和第一背景图像后，再将所述第一前景图像以及金针菇头部图像输入金针菇分类模型进行训练。

9.如权利要求8所述的一种基于深度学习的金针菇分类方法，其特征在于：所述金针菇头部图像的训练采用面积比法，即从菇头分离出水菇和水菇帽，通过计算水菇和水菇帽与菇头的面积占比来进行分类训练。

10.如权利要求6所述的一种基于深度学习的金针菇分类方法，其特征在于：所述步骤S50具体为：

计算机将采集的所述未分类金针菇根部图像分割出第二前景图像和第二背景图像后，再将所述第二前景图像以及未分类金针菇头部图像输入训练后的金针菇分类模型进行分类，生成分类结果。

Images