CN116921247B - 一种垃圾智能分拣系统的控制方法 - Google Patents

Abstract

本发明公开了一种垃圾智能分拣系统的控制方法，包括如下步骤：通过数据采集处理模块采集视觉模块获得的图像，并对采集的图像进行处理；数据处理分配模块对步骤S1中的垃圾物料数据信息进行分析计算，分析处待抓取区域内垃圾物料的种类，计算出待抓取区域内垃圾物料的质量、体积、抓取单一种类中的个数顺序，并将待抓物料信息发送给机器人智能控制模块；机器人智能控制模块根据待抓物料信息分配不同的机器人进行抓取工作；通过投料检测模块对抓取物料的进行品控；使用自检模块对整机进行检测，通过不同机构反馈的信息进行数据分析和多模块对比，分析和检查出问题所在点；当机器出现故障时，通过自修复模块对整机进行无感自修复。

Description

一种垃圾智能分拣系统的控制方法

技术领域

本发明涉及无人管理的建筑和装修垃圾分拣处理的技术领域，具体来说，涉及一种垃圾智能分拣系统的控制方法。

背景技术

随着经济的发展和社会的进步，人们的生活环境发生了巨大的变化。特别是近年来，随着城市化进程的加快，各种建筑改造中产生了大量的建筑垃圾和装修垃圾，要将这些垃圾资源回收再利用，目前常使用的方法是采用建筑垃圾分选设备对垃圾进行分选。

例如专利号“CN111299187A”中公开的“建筑垃圾识别方法及建筑垃圾分选设备”，并公开了“一种建筑垃圾识别方法，包括：获取建筑垃圾的2D图像，由2D图像获得各垃圾轮廓，并判断垃圾的材质；获取建筑垃圾的X射线图像，依据垃圾轮廓对应的区域对X射线的透射率判断垃圾的材质；对前述步骤的判断结果进行加权运算，得到最终的垃圾材质。另外还公开一种建筑垃圾分选设备，其采用上述建筑垃圾识别方法识别可回收垃圾和杂质，其处理装置还识别2D图像所包含的各垃圾在2D图像中的位置并将识别到材质为杂质的垃圾的位置发送至机器人，机器人依据处理装置发送的位置和编码器发送的建筑垃圾在输送机构的实时位置抓取杂质，杂质和可回收垃圾识别准确性高，且不会对人体造成过大损伤”。

然而目前建筑垃圾分选设备对垃圾进行分选过程中仍存在如下问题：

（1）需分选的垃圾量较大加上落后的抓手控制方法，其分选速度不足以去把产线上需要分拣的垃圾分选出来；

（2）设备所接收的识别控制数据过于单调，无法精准控制机器人抓手，例如没有代抓物体的三维坐标，则使用过程中容易撞击机器人抓手，减少机器使用寿命，例如没有更明确的展现出抓取物体的重量；

（3）由于抓取垃圾复杂性，且高频次的作业对机器的元件损耗也是很大的，因此不可避免的会出现设备故障，当出现小故障时也需要人为去检查复位，则浪费人力并降低了效率，对实现无人化建筑垃圾和装修垃圾分拣工厂来说是不利的。

发明内容

针对相关技术中的上述技术问题，本发明提供一种垃圾智能分拣系统的控制方法，能够解决上述问题。

为实现上述技术目的，本发明的技术方案是这样实现的：

一种垃圾智能分拣系统的控制方法，包括如下步骤：

S1、通过数据采集处理模块采集视觉模块获得的图像，并对采集的图像进行处理，从而获得需要的垃圾物料数据信息；

S2、数据处理分配模块对步骤S1中的垃圾物料数据信息进行分析计算，分析处待抓取区域内垃圾物料的种类，计算出待抓取区域内垃圾物料的质量、体积、抓取单一种类中的个数顺序，并将待抓物料信息发送给机器人智能控制模块；

S3、机器人智能控制模块根据待抓物料信息分配不同的机器人进行抓取工作，其中机器人包括重载机器人和轻载机器人，重载机器人和轻载机器人分别以最优路线对相应的垃圾物料进行抓取和扔料；

S4、通过投料检测模块对抓取物料的进行品控，投料检测模块包括感应模组和测重模组；

S5、使用自检模块对整机进行检测，通过不同机构反馈的信息进行数据分析和多模块对比，分析和检查出问题所在点；

S6、当机器出现故障时，通过自修复模块对整机进行无感自修复，然后使用自检模块对机器进行二次检测。

进一步的，步骤S1还包括：

S1-1、利用2D线阵相机和3D线阵相机获取垃圾物料的图像；

S1-2、通过数据采集处理模块采集3D线阵相机和2D线阵相机的图像；

S1-3、将视觉采集到的图像进行预处理，然后将结果输入到预训练好的神经网络中获得对应的特征映射，对特征映射进行操作处理获得需要的数据信息。

进一步的，步骤S2还包括：

S2-1、将收到的数据信息存放到待抓取区域数据库中，并利用数据处理分配模块计算相应垃圾物料的体积，再根据物料种类在大数据物料种类中进行筛查，把垃圾种类的单位体积重量筛查出来，并最终计算垃圾物料的质量；

S2-2、根据单一种类的垃圾物料的体积和总重量对垃圾物料进行排序，按着体积大重量大>体积大重量小>体积小重量大>体积小重量小来排序；

S2-3、数据处理分配模块将垃圾物料的种类信息、排序信息和坐标信息发送给机器人抓手控制模块，等待抓取。

进一步的，步骤S3还包括：

S3-1、当机器人抓手处于空闲状态时，检测待抓取队列中是否有待抓取物料信息，如果有，根据待抓取队列中排在最前方的物料的当前位置和机器人抓手的当前位置计算跟随路径；

S3-2、机器人抓手以电子凸轮的方式对传送带的编码器进行实时跟随，以使得在目标物料进入抓取区域的最短距离内被抓取。

进一步的，步骤S4还包括：

S4-1、当垃圾物料通过收集仓时，会触发感应模组，如果感应模组全部触发证明垃圾物料以通过，发送通过信息；如果部分感应模组触发，发送通过信息并发送收集仓感应模组检测异常信息；如果所有感应模组都未触发，发送抓取异常信息；

S4-2、当收集仓收到通过信息后通过测重模组对垃圾物料进行重量检测，并将检测结果反馈给自检模块，最后收集仓将会打开仓门将垃圾物料送入到对应的物料箱中。

进一步的，步骤S5包括：

当投料箱机构反馈抓取异常信息时，继续进行第二次抓取并检测机器人抓手上的气压检测装置以及角度检测装置，如果都是正常的，再检测当扔料到不同收集仓时其他收集仓的反馈信息是否也是抓取异常信息，若反馈抓取不正常，发送保修重点观察抓手，若反馈抓取正常，则发送保修重点收集仓检测装置；通过收集仓反馈抓取信息和视觉分析对比来检测抓手机构。

进一步的，自修复模块包括智能伺服控制系统自修复子模块和智能控制系统抓取精度自修复子模块，智能伺服控制系统自修复子模块用于控制智能伺服系统快速执行重新上电以及复位功能，智能控制系统抓取精度自修复子模块用于当所有抓取收集仓反馈抓取异常信息且抓手检测相机检测数据无问题时，重新校准视觉和皮带数据信息。

进一步的，步骤S2中数据处理分配模块处理所得的待抓物料信息还输送入数据统计处理模块中存储，并通过步骤S4-2中检测结果反馈的数据进行修正。

进一步的，无感修复无法修复故障通过保修模块通知检修人员进行维护。

本发明的有益效果：

（1）质量大体积大的物体提前使用重载智能抓手机器人抓取，质量小体积小的使用高速轻载智能抓手机器人抓取，由于大物件被重载智能抓手机器人抓取，高速轻载智能抓手机器人抓取效率提高20%；

（2）将垃圾更快速，更安全，更精准，更有质量的分选，减少故障率10%，准确抓取率提高20%；

（3）自检测可以避免机器人由于元件损坏带来的更大的损失和维护时间的成本，可以提前预知故障问题点减少维护时间40%；

（4）提高无人化建筑垃圾和装修垃圾分拣工厂的产能，由原来的2S抓取两次提高到2S抓取4-5次，更大的发挥出智能抓手机器人垃圾分拣设备的性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

下面根据附图对本发明作进一步详细说明。

图1是本发明实施例所述的垃圾智能分拣系统的运行流程图；

图2是本发明实施例所述的数据采集处理模块对图像数据的处理过程图；

图3是本发明实施例所述的数据处理分配模块对接收的数据进行处理分配的过程图；

图4是本发明实施例所述的机器人智能控制模块控制机器人抓手抓取的动作示意图；

图5是本发明实施例所述的投料检测模块对投料过程进行品控的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

如图1-5所示，根据本发明实施例所述的一种垃圾智能分拣系统的控制方法，包括如下步骤：

S1、通过数据采集处理模块采集视觉模块获得的图像，并对采集的图像进行处理，从而获得需要的垃圾物料数据信息；

S2、数据处理分配模块对步骤S1中的垃圾物料数据信息进行分析计算，分析处待抓取区域内垃圾物料的种类，计算出待抓取区域内垃圾物料的质量、体积、抓取单一种类中的个数顺序，并将待抓物料信息发送给机器人智能控制模块；

S3、机器人智能控制模块根据待抓物料信息分配不同的机器人进行抓取工作，其中机器人包括重载机器人和轻载机器人，重载机器人和轻载机器人分别以最优路线对相应的垃圾物料进行抓取和扔料；

S4、通过投料检测模块对抓取物料的进行品控，投料检测模块包括感应模组和测重模组；

S5、使用自检模块对整机进行检测，通过不同机构反馈的信息进行数据分析和多模块对比，分析和检查出问题所在点；

S6、当机器出现故障时，通过自修复模块对整机进行无感自修复，然后使用自检模块对机器进行二次检测。

实施例一

通过数据采集处理模块采集3D线阵相机和2D线阵相机的图像并进行处理，具体如下：

标定2D线阵相机和3D线阵相机，以关联所述2D线阵相机和所述3D线阵相机的参考坐标系；分别通过两同步触发信号启动所述2D线阵相机和所述3D线阵相机，所述2D线阵相机和所述3D线阵相机将当前所接收到的一帧图像数据与之前接收到的图像数据拼接后进行缓存。

将视觉采集到的图像进行预处理，例如调整尺寸（resize），归一化（normalize）和填充（padding），以确保输入的图像满足神经网络的要求，然后将结果输入到预训练好的神经网络中（ResNet50）获得对应的特征映射（Feature map），接着对这个Feature map中的每一个点设定预定的ROI，在对这些ROI进行ROI Align操作，最后对这些ROI进行分类、回归和mask生成，即可获得需要的数据信息。

实施例二

数据处理分配模块接收到数据采集处理模块处理的垃圾物料数据信息，数据处理分配模块对垃圾物料数据信息作进一步处理并进行分配，具体如下：

首先，将收到的垃圾物料数据信息存放到待抓取区域数据库，然后通过数据处理分配模块对相应垃圾物料进行类别的判断、三维尺寸计算从而计算其体积v（获取物体的三维点云数据，基于点云数据，可以通过体素化或网格化方法对物体进行体积估计）、抓取位置坐标计算，再根据物料种类在大数据物料种类中进行筛查，把垃圾种类的单位体积重量t筛查出来。其次，计算出收到的数据中所有物料单个的总重T（T=vt）并排序，按着体积大重量大>体积大重量小>体积小重量大>体积小重量小来排序。最后，数据处理分配模块将垃圾物料的排序信息和坐标信息等相关信息，发送给机器人抓手控制模块，等待抓取。机器人包括重载机器人和轻载机器人，质量大体积大的物体提前使用重载智能抓手机器人抓取，质量小体积小的使用高速轻载智能抓手机器人抓取。

实施例三

待抓物料信息一方面输送到机器人智能控制模块中用以生成相应的控制指令控制机器人抓手，根据垃圾物料的种类、大小、重量进行智能抓取；另一方输送至数据统计处理模块，统计给管理人员，管理人员根据物料垃圾的种类及其相应的量，为后续工作提供支持，例如让分选出来的部分垃圾可直接二次回收利用。

垃圾物料进入待抓取区域，机器人智能控制模块控制抓取工作具体如下：

当所述机器人抓手处于空闲状态时，检测所述待抓取队列是否有待抓取物料信息，如果有，根据所述待抓取队列中排在最前方的物料的当前位置和所述机器人抓手的当前位置计算跟随路径，所述机器人抓手以电子凸轮的方式对所述传送带的编码器进行实时跟随，以使得在目标物料进入抓取区域的最短距离内被抓取，抓取后计算最优路径扔料。抓取第一次结束后，将当前物料对应的初始位置信息与所述待抓取队列中存储的所有物料对应的初始位置信息进行比对，如果二者的距离小于某一预设值，则将当前物料对应的初始位置信息和所述抓取信息丢弃（当前物料垃圾被重复拍摄），回到等待位置，再回到等待位置过程中，待抓取区域内有可抓取的物料信息，则立即终止回待机位，执行抓取工作。当根据所述待抓取队列中排在最前方的物料的当前位置和所述机器人抓手的当前位置计算跟随路径时，如果计算出的跟随路径越过或靠近所述抓取区域的下游极限位置，放弃对当前物料的抓取。

实施例四

当抓取工作执行扔料动作时，将抓取的垃圾物料信息传送到投料检测模块的数据库中。当垃圾物料通过收集仓，这时会触发感应模组，若感应装置全部触发证明物料以通过，发送通过信息；若部分感应模组触发，发送通过信息并发送收集仓检测模组异常信息；若所有感应模组都未触发，则发送抓取异常信息。当收集仓收到通过信息后进行垃圾物料的重量检测，并将检测结果进行反馈，反馈发生后收集仓将会打开仓门将物料送入到对应的物料箱中。

即通过投料检测模块可以对物料是否进入到投料箱、物料的重量进行检测。如果物料未进入投料箱内，这时可以提前发送检测信息检查抓取过程中是否有损坏的元件，对物料进行称重并和数据库中垃圾物料信息对比是否一致，如果不一致发送信息去更改数据统计处理模块中的参数，如物料质量，物料体积等，从而校正数据。

实施例五

在整个系统运行时，通过自检模块实时对整机进行自检，具体为通过不同机构反馈的信息进行数据分析和多模块对比，分析和检查出问题所在点，从而减少维护时间和机器危险运行。自检模块的智能自检模式并不会因为一次检测异常直接发送异常信息，而是会多次进行检测，当多次检测故障点都在局部时则会发送异常信息到维护人员。

例如当投料箱机构反馈抓取异常信息时，这时当第二次抓取时检测机器人抓手上的气压检测装置以及角度检测装置，如果都是正常的，再检测当扔料到不同收集仓时其他收集仓的反馈信息是否也是抓取异常信息，若反馈抓取不正常，发送保修重点观察抓手，若反馈抓取正常，则发送保修重点收集仓检测装置。

例如抓手机构检测，通过收集仓反馈抓取信息和视觉分析对比来进行检测。收到收集仓反馈信息为抓取异常时，抓手回到等待位置后会使用检测相机对抓手进行拍照，拍照后会进行数据对比看是否出现不同。

实施例六

当机器出现故障时，通过自修复模块对整机进行无感自修复，然后使用自检模块对机器人进行二次检测。

其中智能伺服控制系统自修复子模块是应用了伺服电机可以快速断电上电功能来实现的，当抓取物料时出现覆盖的情况下，会出现撞到其他垃圾上，导致机器故障等问题，这时智能伺服系统会快速执行重新上电以及复位功能，复位后运动到检测位置由检测相机对抓手部分进行拍照数据对比，将会读取传感器数据值，并与伺服电机反馈数据值进行计算判断是否有损坏的元件，如没有损坏元件机器将无感恢复正常工作，如出现元件损坏将通过保修模块通知检修人员进行维护，则该抓手模块将在检测位等待维修，运送物料的皮带以及未故障的抓取模块这此期间正常工作。

当所有抓取收集仓反馈抓取异常信息，抓手检测相机检测数据无问题时，这时将会启动智能控制系统抓取精度自修复子模块，将会把精度异常信息发送到视觉处理模块，视觉处理模块检测3D线阵相机、2D线阵相机以及皮带数据信息后进行清除位置信息数据，重新校准视觉和皮带数据信息。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种垃圾智能分拣系统的控制方法，其特征在于，包括如下步骤：

S1、通过数据采集处理模块采集视觉模块获得的图像，并对采集的图像进行处理，从而获得需要的垃圾物料数据信息；

S2、数据处理分配模块对步骤S1中的垃圾物料数据信息进行分析计算，分析出待抓取区域内垃圾物料的种类，计算出待抓取区域内垃圾物料的质量、体积、抓取单一种类中的个数顺序，并将待抓物料信息发送给机器人智能控制模块；

步骤S2还包括：

S2-1、将收到的数据信息存放到待抓取区域数据库中，并利用数据处理分配模块计算相应垃圾物料的体积，再根据物料种类在大数据物料种类中进行筛查，把垃圾种类的单位体积重量筛查出来，并最终计算垃圾物料的质量；

S2-2、根据单一种类的垃圾物料的体积和总重量对垃圾物料进行排序，按着体积大重量大>体积大重量小>体积小重量大>体积小重量小来排序；

S2-3、数据处理分配模块将垃圾物料的种类信息、排序信息和坐标信息发送给机器人抓手控制模块，等待抓取；

S3、机器人智能控制模块根据待抓物料信息分配不同的机器人进行抓取工作，其中机器人包括重载机器人和轻载机器人，重载机器人和轻载机器人分别以最优路线对相应的垃圾物料进行抓取和扔料；

S4、通过投料检测模块对抓取物料进行品控，投料检测模块包括感应模组和测重模组；

S5、使用自检模块对整机进行检测，通过不同机构反馈的信息进行数据分析和多模块对比，分析和检查出问题所在点；

S6、当机器出现故障时，通过自修复模块对整机进行无感自修复，然后使用自检模块对机器进行二次检测。

2.根据权利要求1所述的一种垃圾智能分拣系统的控制方法，其特征在于，步骤S1还包括：

S1-1、利用2D线阵相机和3D线阵相机获取垃圾物料的图像；

S1-2、通过数据采集处理模块采集3D线阵相机和2D线阵相机的图像；

S1-3、将视觉采集到的图像进行预处理，然后将结果输入到预训练好的神经网络中获得对应的特征映射，对特征映射进行操作处理获得需要的数据信息。

3.根据权利要求1所述的一种垃圾智能分拣系统的控制方法，其特征在于，步骤S3还包括：

S3-1、当机器人抓手处于空闲状态时，检测待抓取队列中是否有待抓取物料信息，如果有，根据待抓取队列中排在最前方的物料的当前位置和机器人抓手的当前位置计算跟随路径；

S3-2、机器人抓手以电子凸轮的方式对传送带的编码器进行实时跟随，以使得在目标物料进入抓取区域的最短距离内被抓取。

4.根据权利要求1所述的一种垃圾智能分拣系统的控制方法，其特征在于，步骤S4还包括：

S4-1、当垃圾物料通过收集仓时，会触发感应模组，如果感应模组全部触发证明垃圾物料已通过，发送通过信息；如果部分感应模组触发，发送通过信息并发送收集仓感应模组检测异常信息；如果所有感应模组都未触发，发送抓取异常信息；

S4-2、当收集仓收到通过信息后通过测重模组对垃圾物料进行重量检测，并将检测结果反馈给自检模块，最后收集仓将会打开仓门将垃圾物料送入到对应的物料箱中。

5.根据权利要求1所述的一种垃圾智能分拣系统的控制方法，其特征在于，步骤S5包括：

当投料箱机构反馈抓取异常信息时，继续进行第二次抓取并检测机器人抓手上的气压检测装置以及角度检测装置，如果都是正常的，再检测当扔料到不同收集仓时其他收集仓的反馈信息是否也是抓取异常信息，若反馈抓取不正常，发送保修重点观察抓手，若反馈抓取正常，则发送保修重点收集仓检测装置；通过收集仓反馈抓取信息和视觉分析对比来检测抓手机构。

6.根据权利要求1所述的一种垃圾智能分拣系统的控制方法，其特征在于，自修复模块包括智能伺服控制系统自修复子模块和智能控制系统抓取精度自修复子模块，智能伺服控制系统自修复子模块用于控制智能伺服系统快速执行重新上电以及复位功能，智能控制系统抓取精度自修复子模块用于当所有抓取收集仓反馈抓取异常信息且抓手检测相机检测数据无问题时，重新校准视觉和皮带数据信息。

7.根据权利要求4所述的一种垃圾智能分拣系统的控制方法，其特征在于，步骤S2中数据处理分配模块处理所得的待抓物料信息还输送入数据统计处理模块中存储，并通过步骤S4-2中检测结果反馈的数据进行修正。

8.根据权利要求1所述的一种垃圾智能分拣系统的控制方法，其特征在于，无感修复无法修复故障通过保修模块通知检修人员进行维护。