CN116784732A - 垃圾收集方法及设备 - Google Patents

Abstract

本发明涉及垃圾分离收集设备技术领域，尤其涉及一种垃圾收集方法及设备，通过根据图像采集组件采集的作业图像，识别出待收集垃圾，确定待收集垃圾的空间位置信息，确定待收集垃圾的收集类型，从至少两个箱体中，确定收集类型对应的目标箱体，控制清扫组件将待收集垃圾收集于目标箱体，使得本发明在使用时可以在对待收集垃圾进行收集时便对待收集垃圾进行分类和收集，不需要在对垃圾进行整体收集之后再将收集的垃圾分类为可回收类型和不可回收类型。

Description

垃圾收集方法及设备

技术领域

本发明涉及垃圾分离收集设备技术领域，尤其涉及一种垃圾收集方法及设备。

背景技术

目前，扫地机通过摄像头对环境垃圾进行识别，进行分类收集到回收盒内，当回收盒满载后，扫地机自动运输至到回收站附近，回收盒与通道对接后，吸取装置起动，回收门开启，垃圾从回收盒中移出，通过导风口进入到提升通道内，提升装置运动将提升通道内垃圾推送到分类仓中的垃圾分类装置中，能够对现场垃圾进行分类清扫和分类回收，使用方便快捷，符合环保垃圾分类要求。

相关技术中，使用上述示例的摄像头对环境垃圾进行识别的方法虽然能够对垃圾进行识别，但是在对垃圾进行收集时，需要先将所有垃圾收集至同一个收集盒内，待收集盒满载之后，才能回到回收站进行垃圾分类，这种收集方式虽然可以实现对垃圾的分类和处理，但是，这种分类方式却存在分类效果差以及分类效率低的问题。

发明内容

本发明的主要目的在于：提供一种垃圾收集方法及设备，旨在解决现有技术中使用摄像头对环境垃圾进行识别的方法虽然能够对垃圾进行识别，但是在对垃圾进行收集时，需要先将所有垃圾收集至同一个收集盒内，待收集盒满载之后，才能回到回收站进行垃圾分类，这种收集方式虽然可以实现对垃圾的分类和处理的方式中存在分类效果差以及分类效率低的技术问题。

为实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供了一种垃圾收集方法，使用于垃圾收集设备，所述垃圾收集设备包括：

机体；

图像采集组件，所述图像采集组件设置于所述机体；

清扫组件，所述清扫组件设置于所述机体；

至少两个箱体，至少两个箱体均设置于所述机体，且任意两个所述箱体用于收集不同类型的垃圾；

所述垃圾收集方法包括如下步骤：

根据所述图像采集组件采集的作业图像，识别出待收集垃圾；

确定所述待收集垃圾的空间位置信息；

确定所述待收集垃圾的收集类型；

从至少两个所述箱体中，确定所述收集类型对应的目标箱体；

控制所述清扫组件将所述待收集垃圾收集于所述目标箱体。

可选地，至少两个箱体包括第一收集箱和第二收集箱，所述第一收集箱用于收集可回收垃圾，所述第二收集箱用于收集不可回收垃圾；

所述控制所述清扫组件将所述待收集垃圾收集于所述目标箱体的步骤，具体包括：

若所述待收集垃圾为可回收垃圾，则根据所述空间位置信息，控制所述清扫组件将所述待收集垃圾收集于所述第一收集箱；

若所述待收集垃圾为不可回收垃圾，则根据所述空间位置信息，控制所述清扫组件将所述待收集垃圾收集于所述第二收集箱。

可选地，所述确定所述待收集垃圾的收集类型的步骤，包括：

对所述作业图像进行语义分割，获得垃圾语义分割区域；

将所述垃圾语义分割区域输入训练好的目标检测模型中进行材质检测，获得所述待收集垃圾的材质信息；

根据所述材质信息，确定所述待收集垃圾的收集类型。

可选地，所述垃圾收集设备还包括激光雷达和/或毫米波雷达；

所述确定所述待收集垃圾的空间位置信息的步骤，包括：

控制图像采集组件对所述待收集垃圾进行定位，确定所述待收集垃圾的图像定位数据；

控制所述激光雷达采集所述待收集垃圾的激光定位数据；

控制所述毫米波雷达采集所述待收集垃圾的毫米波定位数据；

基于所述图像定位数据、激光定位数据和毫米波定位数据中的至少两者，确定所述待收集垃圾的空间位置信息。

可选地，所述基于所述图像定位数据、激光定位数据和毫米波定位数据中的至少两者，确定所述待收集垃圾的空间位置信息的步骤，包括：

若采集得到所述激光定位数据，则将激光定位数据确定为所述空间位置信息；

若没有采集得到所述激光定位数据，且采集得到所述毫米波定位数据，则判断所述毫米波定位数据是否与所述图像定位数据一致，且所述毫米波定位数据与所述图像定位数据的采集时间差不大于预设阈值；

若所述毫米波定位数据与所述图像定位数据一致，且所述毫米波定位数据与所述图像定位数据的采集时间差不大于预设阈值，则将所述图像定位数据确定为所述空间位置信息。

可选地，所述控制所述激光雷达采集所述待收集垃圾的激光定位数据的步骤，包括：

控制所述激光雷达采集所述待收集垃圾的点云数据；

将所述点云数据转换成伪图像；

对所述伪图像进行目标检测，获得所述待收集垃圾的激光定位数据。

可选地，所述第一收集箱用于收集易拉罐、玻璃瓶、利乐包和塑料瓶中的至少一者。

基于相同的技术构思，第二方面，本发明提出一种垃圾收集设备，包括：

机体；

图像采集组件，所述图像采集组件设置于所述机体；

清扫组件，所述清扫组件设置于所述机体；

至少两个箱体，至少两个箱体均设置于所述机体，且任意两个所述箱体用于收集不同类型的垃圾；

控制器，所述控制器包括处理器、存储器和存储在所述存储器上并可在所述处理器上运行的垃圾收集程序，所述控制程序被所述处理器执行时实现第一方面所述的垃圾收集方法的步骤。

可选地，至少两个箱体包括并排设置的第一收集箱和第二收集箱，所述第一收集箱用于收集可回收垃圾，所述第二收集箱用于收集不可回收垃圾；

所述清扫组件包括：

收集件，所述收集件设置于所述箱体的一侧，所述收集件内具有收集通道，所述收集件的靠近所述箱体的一端设置有第一出料口和第二出料口，所述第一出料口与所述第一收集箱连通，所述第二出料口与所述第二收集箱连通，所述收集件的背离所述箱体的一侧具有与所述收集通道连通的收集口；

第一开合件和第二开合件，第一开合件设置于所述第一出料口，以打开或者关闭所述第一出料口，第二开合件设置于所述第二出料口，以打开或者关闭所述第二出料口；

第一清扫件，所述第一清扫件安装于所述收集件靠近于所述收集口的一侧，所述第一清扫件对应于所述第一出料口设置；

第二清扫件，所述第二清扫件安装于所述收集件靠近于所述收集口的一侧，且所述第二清扫件与所述第一清扫件间隔分布，所述第二清扫件对应于所述第二出料口设置。

可选地，所述第一清扫件位于所述收集口的宽度方向的一侧，所述第二清扫件位于所述收集口的宽度方向的另一侧；

所述第一清扫件可转动地安装于所述收集件，以在露出所述收集口的第一闲置位置转动至正对所述收集口的第一清扫位置，以对应将待收集垃圾清扫并收集至所述收集通道；

所述第二清扫件可转动地安装于所述收集件，所述第二清扫件能从露出所述收集口的第二闲置位置转动至正对所述收集口的第二清扫位置，以对应将待收集垃圾清扫并收集至所述收集通道。

本发明提供的上述一个或多个技术方案，可以具有如下优点或至少实现了如下技术效果：

本发明提出的一种垃圾收集方法及设备，通过根据图像采集组件采集的作业图像，识别出待收集垃圾，确定待收集垃圾的空间位置信息，确定待收集垃圾的收集类型，从至少两个箱体中，确定收集类型对应的目标箱体，控制清扫组件将待收集垃圾收集于目标箱体，使得本发明在使用时可以在对待收集垃圾进行收集时便对待收集垃圾进行分类和收集，不需要在对垃圾进行整体收集之后再将收集的垃圾分类为可回收类型和不可回收类型，进而解决了现有技术中使用摄像头对环境垃圾进行识别的方法虽然能够对垃圾进行识别，但是在对垃圾进行收集时，需要先将所有垃圾收集至同一个收集盒内，待收集盒满载之后，才能回到回收站进行垃圾分类，这种收集方式虽然可以实现对垃圾的分类和处理的方式中存在分类效果差以及分类效率低的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的这些附图获得其他的附图。

图1为本发明垃圾收集方法的流程图；

图2为图1中示例的步骤S20的流程图；

图3为图1中示例的步骤S22的流程图；

图4为图1中示例的步骤S30的流程图；

图5为本发明示例的图像采集组件的平面结构示意图；

图6为本发明示例的图像采集组件的侧面结构示意图；

图7为本发明示例的垃圾收集设备的结构示意图；

图8为本发明示例的垃圾收集设备的结构示意图；

图9为使用本发明示例的垃圾收集设备收集可回收类型垃圾的示意图；

图10为使用本发明示例的垃圾收集设备收集不可回收类型垃圾的示意图。

附图标号说明：

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，在本发明实施例中，所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变，则该方向性指示也相应地随之改变。

在本发明中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。另外，全文中出现的“和/或”的含义，包括三个并列的方案，以“A和/或B”为例，包括A方案、或B方案、或A和B同时满足的方案。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连；可以是两个元件内部的连通，也可以是两个元件的相互作用关系。

在本发明中，若有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。

在本发明中，使用用于表示元件的诸如“模块”、“组件”、“件”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。另外，各个实施例的技术方案可以相互结合，但是，是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

下面结合一些具体实施方式进一步阐述本发明的发明构思。

本发明提出一种垃圾收集方法及设备。

参照图1至图10，图1为本发明垃圾分类方法的结构示意图。

在本发明一实施例中，请参阅图7至图10，基于相同的技术构思，第一方面，本发明提出一种垃圾收集设备，包括：

机体100；

图像采集组件200，图像采集组件200设置于机体100；

清扫组件300，清扫组件300设置于机体100；

至少两个箱体400，至少两个箱体400均设置于机体100，且任意两个箱体400用于收集不同类型的垃圾；

控制器500，控制器500包括处理器、存储器和存储在存储器上并可在处理器上运行的垃圾收集程序，控制程序被处理器执行时实现第一方面的垃圾收集方法的步骤。使得本发明在使用时能够利用设置的垃圾收集设备对垃圾进行收集时便对垃圾进行分类，不需要再将垃圾收集完成之后再对垃圾进行分类处理，解决了现有技术中存在的需要先将垃圾进行收集并运输至回收站之后才能进行收集的缺陷。

在一些具体实施例中，至少两个箱体400包括并排设置的第一箱体400和第二收集箱420，第一箱体400用于收集可回收垃圾，第二收集箱420用于收集不可回收垃圾；

清扫组件300包括：

收集件310，收集件310设置于箱体400的一侧，收集件310内具有收集通道311，收集件310的靠近箱体400的一端设置有第一出料口312和第二出料口313，第一出料口312与第一箱体400连通，第二出料口313与第二收集箱420连通，收集件310的背离箱体400的一侧具有与收集通道311连通的收集口314；

第一开合件和第二开合件，第一开合件设置于第一出料口312，以打开或者关闭第一出料口312，第二开合件设置于第二出料口313，以打开或者关闭第二出料口313；

第一清扫件320，第一清扫件320安装于收集件310靠近于收集口314的一侧，第一清扫件320对应于第一出料口312设置；

第二清扫件330，第二清扫件330安装于收集件310靠近于收集口314的一侧，且第二清扫件330与第一清扫件320间隔分布，第二清扫件330对应于第二出料口313设置。

在一些优选的实施例中，示例的清扫组件300还包括分别安装于第一清扫件320以及第二清扫件330内的吸附组件。在具体实施时，以待收集垃圾为可回收类型为例，当确定待收集垃圾的收集类型之后，便将设置于第一清扫件320内的吸附组件开启为吸附模式，在此基础上，通过第一开合件打开第一收集口314，并使得第二开合件将第二收集口314关闭，然后利用第一清扫件320将待收集垃圾清扫至收集通道311，并同设置于第一箱体400内的吸附组件将垃圾吸附至第一箱体400内。

使得本发明在使用时能够利用对应设置的第一清扫件320、第二清扫件330以及与吸附组件的配合将可回收垃圾和不可回收垃圾收集至对应的第一箱体400或者第二收集箱420中，实现了在对待收集垃圾时便对垃圾进行分类回收的功能。

在一些具体实施例中，第一清扫件320位于收集口的宽度方向的一侧，第二清扫件330位于收集口的宽度方向的另一侧；

第一清扫件320可转动地安装于收集件310以在露出收集口314的第一闲置位置转动至正对收集口314的第一清扫位置，以对应将待收集垃圾清扫并收集至收集通道311；

第二清扫件330可转动地安装于收集件310，第二清扫件330能从露出收集口314的第二闲置位置转动至正对收集口314的第二清扫位置，以对应将待收集垃圾清扫并收集至收集通道311。

需要特别和明确说明的是，在本实施例中，请参阅图7至图10，第一清扫与第二清扫位置靠近于收集口的中心设置，第一清扫位置与第二清扫位置可以是重合的，也可以不是重合的，优选的实施例中，第一清扫位置与第二清扫位置是重合的；同时的，第一闲置位置设置于第一收集箱对应于收集口的一侧，第二闲置位置设置于第二收集箱对应于收集口的一侧。在优选的实施例中，第一清扫件320以及第二清扫件330可以是进行水平向的运动，也可以是进行竖向的运动，还可以是斜向的运动，优选的实施例中，第一清扫件320以及第二清扫件330进行水平向的运动。示例性的，图9中示意的是，当待收集垃圾为可回收类型时，则将收集通道正对第二收集箱420的第二出料口313关闭，并打开第一出料口312，以使得待收集垃圾进入至第一收集箱410中。图9中示意的是，当待收集垃圾为不可回收类型时，则将收集通道正对第一收集箱410的第一出料口312关闭，并打开第二出料口313，以使得待收集垃圾进入至第二收集箱420中。

在本实施例中，将第一清扫件320以及第二清扫件330均进行转动设置，并使得第一清扫件320第一闲置位置转动至第一清扫位置，或者第二清扫件330能从第二闲置位置转动至第二清扫位置，进而实现将待收集垃圾清扫至收集通道311内，最终通过设置的吸附组件将该待收集垃圾吸附至对应的第一箱体400或者第二收集箱420内的目的。同时的，在以待收集垃圾为可回收垃圾为例，在使用时，将第一收集口314上的开合件打开并将第二收集口314上的开合件关闭，使得本发明在使用时能够使得待收集垃圾被收集至对应的第一箱体400内，由于已经关闭第二收集口314，也就使得垃圾不会被设置于第二收集箱420内的吸附组件吸附于第二收集箱420，有效提升了在对垃圾进行收集时的收集准确率。

基于相同的技术构思，第二方面，如图1至图6所示，该型垃圾收集方法，使用于垃圾收集设备，垃圾收集设备包括：

机体100；

图像采集组件200，图像采集组件200设置于机体100；

清扫组件300，清扫组件300设置于机体100；

至少两个箱体400，至少两个箱体400均设置于机体100，且任意两个箱体400用于收集不同类型的垃圾；

垃圾收集方法包括如下步骤：

S10、根据图像采集组件200采集的作业图像，识别出待收集垃圾。

在本实施例中，在执行根据图像采集组件200采集的作业图像，识别出待收集垃圾的步骤时，需要使用图像采集组件200进行拍摄，以得到多张不同来自不同角度的图像。具体地，请参阅图5至图6，具体实施时，示例的图像采集组件200包括视觉相机、激光雷达以及毫米波雷达。具体实施时，示例的视觉相机具有多个，多个视觉相机间隔安装于机体100的四周，然后利用多个视觉相机对待收集垃圾进行多角度的图像采集，以收集得到图像定位数据210。

当然，在示例性的技术中，每个视觉相机在使用时也可以是进行多角度转动的相机结构，并且的示例的激光雷达与毫米波雷达均应当具有多个，多个激光雷达与多个毫米波雷达均应当沿周向间隔分布于机体100的四周。

在优选的方式中，示例的视觉相机的数量为5个，具体的安装方式为，两个视觉相机间隔安装于机体100的机头位置，两个视觉相机间隔安装于机体100的两侧，一个视觉相机安装于机体100的尾部；示例的激光雷达的数量为4个，四个激光雷达沿周向间隔布置于机体100的各侧面；示例的毫米波雷达为两个，两个毫米波雷达分别设置于机体100的头部和尾部。

需要特别和明确说明的是，在本实施例中，示例的图像采集组件200可以但不限于为现有技术中能够实现进行多角度拍摄图像的设备或者装置，在本实施例中仅进行应用，并不涉及示例的图像采集组件200的具体改进或者设计，故而此处不再赘述，不过可以示例的是，图像采集组件200可以但不限于为现有技术中已经成熟使用的视觉相机。

S20、确定待收集垃圾的空间位置信息。

在本实施例中，在确定待收集垃圾的空间位置信息时，首先需要确定该待收集垃圾的材质信息，再确定该待收集垃圾的材质信息之后，再将采集得到的图像定位数据210等输入至融合算法中，最终利用融算法得出该待收集垃圾的空间位置信息。具体的，在使用时，使用视觉相机、激光雷达以及毫米波雷达对该待收集垃圾同时进行数据采集，以分别得到该待收集垃圾的多张不同角度的图像、激光点云数据以及毫米波雷达数据。完成对应的数据采集之后，再利用融合算法对多张不同角度的图像、激光点云数据以及毫米波雷达数据进行处理，以获得该待收集垃圾的空间位置信息。

需要特别和明确说明的是，在本实施例中，利用该融合算法对多张不同角度的图像、激光点云数据以及毫米波雷达数据进行处理的具体过程为，利用融合算法判断采集的数据中是否包含激光点云定位数据，若采集得到激光定位数据220，则将激光定位数据220确定为空间位置信息；若没有采集得到激光定位数据220，且采集得到毫米波定位数据230，则判断毫米波定位数据230是否与图像定位数据210一致，且毫米波定位数据230与图像定位数据210的采集时间差不大于预设阈值；若毫米波定位数据230与图像定位数据210一致，且毫米波定位数据230与图像定位数据210的采集时间差不大于预设阈值，则将图像定位数据210确定为空间位置信息。

在一些具体实施例中，垃圾收集设备还包括激光雷达和/或毫米波雷达；

确定待收集垃圾的空间位置信息的步骤，包括：

S21、控制图像采集组件200对待收集垃圾进行定位，确定待收集垃圾的图像定位数据210；

需要特别和明确说明的是，在本实施例中示例的图像采集组件200为视觉相机。

在本实施例中，在利用图像采集组件200对待收集垃圾进行图像采集后，然后利用目标检测算法对采集的多张图像进行处理，再得出待收集垃圾的材质信息之后，再对多张图像进行处理，以得出该待收集垃圾的图像定位数据210。

S22、控制激光雷达采集待收集垃圾的激光定位数据220；

S23、控制毫米波雷达采集待收集垃圾的毫米波定位数据230；

S24、基于图像定位数据210、激光定位数据220和毫米波定位数据230中的至少两者，确定待收集垃圾的空间位置信息。

在本实施例中，采用上述示例的方式进行数据采集，使得本发明在使用时能够对待收集垃圾进行多次且多种类型的数据采集，提升对待收集垃圾的定位效率。

在一些具体实施例中，基于图像定位数据210、激光定位数据220和毫米波定位数据230中的至少两者，确定待收集垃圾的空间位置信息的步骤，包括：

F10、若采集得到激光定位数据220，则将激光定位数据220确定为空间位置信息；

F20、若没有采集得到激光定位数据220，且采集得到毫米波定位数据230，则判断毫米波定位数据230是否与图像定位数据210一致，且毫米波定位数据230与图像定位数据210的采集时间差不大于预设阈值；

F30、若毫米波定位数据230与图像定位数据210一致，且毫米波定位数据230与图像定位数据210的采集时间差不大于预设阈值，则将图像定位数据210确定为空间位置信息。

在本实施例中，具体实施时，基于图像定位数据210、激光定位数据220和毫米波定位数据230中的至少两者，确定待收集垃圾的空间位置信息的过程中，具体使用如下方式执行，首先，将采集得到的图像定位数据210、激光定位数据220和毫米波定位数据230同时输入至融合算法，在将所有数据输入至融合算法之后，粒径融合算法中的获取和计算激光定位数据220模块对采集得到的数据进行处理，以判断是否存在激光定位数据220，当存在激光定位数据220时，则将该激光定位数据220确定为空间位置信息；

当不存在激光定位数据220时，则利用融合算法中的毫米波定位数据230模块对采集得到的数据进行处理，以判断是否存在毫米波定位数据230，当存在毫米波定位数据230时，则再次利用融合算法判断输入的数据是否之前未被激光定位数据220模块调用但是被图像定位数据210模块调用且调用时间间隔不超过0.3s，当输入的数据是未被激光定位数据220模块调用但是被图像定位数据210模块调用且调用时间间隔不超过0.3s时，则使用图像定位数据210模块将该图像定位数据210确定为空间位置信息；

当输入的数据不是未被激光定位数据220模块调用但是被图像定位数据210模块调用且调用时间间隔不超过0.3s时，则停止使用融合算法调用该输入的数据，并重新调用目标检测算法，然后再往该目标检测算法内植入损失函数Task Aligned Assigner，并引入distribution focal loss，以通过目标检测算法将图像定位数据210确定为空间位置信息；

当不存在毫米波定位数据230时，则利用融合算法中的图像定位数据210模块判断输入的数据是否是图像定数据，当输入的数据是图像定位数据210时，则再次利用融合算法判断输入的数据是否之前被激光定位数据220模块调用，当输入的数据未被激光定位数据220模块调用时，则使用图像定位数据210模块将该图像定位数据210确定为空间位置信息；

当输入的数据被激光定位数据220模块调用时，则停止使用融合算法调用该输入的数据，并重新调用目标检测算法，然后再往该目标检测算法内植入损失函数TaskAligned Assigner，并引入distribution focal loss，以通过目标检测算法将图像定位数据210确定为空间位置信息；

当输入的数据不是图像定位数据210时，则停止使用融合算法调用该输入的数据，并重新调用目标检测算法，然后再往该目标检测算法内植入损失函数Task AlignedAssigner，并引入distribution focal loss，以通过目标检测算法将图像定位数据210确定为空间位置信息。使得本发明在使用时，可以通过上述方式根据图像定位数据210、激光定位数据220以及毫米波定位数据230得到待收集垃圾的空间位置信息，提升了获取待收集垃圾的空间位置信息的准确度。

在本实施例中，采用上述方式，使得本发明在使用时能够准确得到待收集垃圾的空间位置信息。

S30、确定待收集垃圾的收集类型。

在本实施例中，确定待收集垃圾的收集类型时，需要根据待收集垃圾的材质信息确定该待收集垃圾属于哪种收集类型，具体的，如果待收集垃圾的材质为金属材质或者塑料材质，则将该待收集垃圾确定为可回收类型；如果待收集垃圾的材质不是金属材质或者塑料材质，则将该待收集垃圾确定为不可回收类型。

需要特别和明确说明的是，在本实施例中，确定待收集垃圾的具体类型时，可以但不限于为采用目标检测算法对图像定位数据进行处理，并根据处理结果确定待收集垃圾的材质信息；当然，在确定待收集垃圾的材质信息时也可以是采用训练好的垃圾分类识别神经网路等方式确定。

S40、从至少两个箱体400中，确定收集类型对应的目标箱体400。

在本实施例中，在确定与收集类型相对应的目标箱体400中应当包括用于收集可回收类型垃圾的可回收垃圾箱体400以及用于收集不可回收类型垃圾的不可回收垃圾箱体400。

在优选的实施例中，示例的至少两个箱体中应当包括用于收集可回收类型的第一箱体以及用于收集不可回收类型的第二箱体。

当然，在具体实施时，示例的至少两个箱体中除包括第一箱体以及第二箱体外，还可以包括用于收集有害垃圾的第三箱体以及用于液体垃圾的第四箱体等。

S50、控制清扫组件300将待收集垃圾收集于目标箱体400。

在本实施例中，利用清扫组件300将待收集垃圾收集于目标箱体400时，首先利用清扫组件300将待收集垃圾清扫于对应的目标相同箱体400内，具体的，假如待收集垃圾为可回收垃圾，则利用清扫组件300将该待收集垃圾清扫至可回收垃圾箱体400内，如果待收集垃圾为不可回收垃圾，则利用清扫组件300将该待收集垃圾清扫至不可回收垃圾箱体400内。

需要特别和明确说明的是，在本实施例中，示例的清扫组件300可以但不限于为现有技术中的已经成熟使用的扫刷等能够实现清扫功能的设备或者装置，本实施例中仅对其进行应用，并不涉及示例的清扫组件300自身结构的改进或者设计，故而此处不再赘述。

在本实施例中，通过根据图像采集组件200采集的作业图像，识别出待收集垃圾，确定待收集垃圾的空间位置信息，确定待收集垃圾的收集类型，从至少两个箱体400中，确定收集类型对应的目标箱体400，控制清扫组件300将待收集垃圾收集于目标箱体400，使得本发明在使用时可以在对待收集垃圾进行收集时便对待收集垃圾进行分类和收集，不需要在对垃圾进行整体收集之后再将收集的垃圾分类为可回收类型和不可回收类型，进而解决了现有技术中使用摄像头对环境垃圾进行识别的方法虽然能够对垃圾进行识别，但是在对垃圾进行收集时，需要先将所有垃圾收集至同一个收集盒内，待收集盒满载之后，才能回到回收站进行垃圾分类，这种收集方式虽然可以实现对垃圾的分类和处理的方式中存在分类效果差以及分类效率低的技术问题。

在一些具体实施例中，至少两个箱体400包括第一箱体400和第二收集箱420，第一箱体400用于收集可回收垃圾，第二收集箱420用于收集不可回收垃圾；

控制清扫组件300将待收集垃圾收集于目标箱体400的步骤，具体包括：

S51、若待收集垃圾为可回收垃圾，则根据空间位置信息，控制清扫组件300将待收集垃圾收集于第一箱体400。

S52、若待收集垃圾为不可回收垃圾，则根据空间位置信息，控制清扫组件300将待收集垃圾收集于第二收集箱420。

在本实施例中，在对待收集垃圾进行收集时，通过对待收集垃圾的收集类型的判断，并且在确定该待收集垃圾的具体收集类型之后，再利用清扫组件300与第一箱体400以及第二收集箱420对该待收集垃圾进行收集，使得本发明在使用时可以在收集垃圾阶段便对待收集垃圾按照收集类型进行回收，不需要再对垃圾进行整体收集之后再对垃圾进行分类，提升了分类收集效率。

在一些具体实施例中，确定待收集垃圾的收集类型的步骤，包括：

S31、对作业图像进行语义分割，获得垃圾语义分割区域；

在本实施例中，对作业图像进行语义分割时所使用的方法为现有技术中对作业图像进行语义分割的方法，此处不再赘述。

需要特别和明确说明的是，在本实施例中，示例的垃圾语义分割区域为包括待收集垃圾的区域。

S32、将垃圾语义分割区域输入训练好的目标检测模型中进行材质检测，获得待收集垃圾的材质信息；

需要特别和明确说明的是，在本实施例中，示例的目标检测模型为现有技术中已经成熟使用的目标检测模型，本实施例中并未对目标检测模型的具体结构以及目标检测模型本身进行改进或者设计，故而不再对目标检测模型进行一一赘述，不过，可以示例的是，本实施例中示例的目标检测模型可以但不限于为现有技术中的Yolov8算法模型。

S33、根据材质信息，确定待收集垃圾的收集类型。

在本实施例中，根据材质信息确定待收集垃圾的收集类型的具体过程为，使用目标检测算法确定待收集垃圾的材质信息，当待收集垃圾的材质信息为金属材质或者塑料材质时，则将该待收集垃圾确定为可回收垃圾；当待收集垃圾的材质信息不是金属材质或者塑料材质时，则将该待收集垃圾确定为不可回收垃圾，进而使得本发明在使用时可以根据材质信息确定待收集垃圾的类型。

在一些具体实施例中，控制激光雷达采集待收集垃圾的激光定位数据220的步骤，包括：

P10、控制激光雷达采集待收集垃圾的点云数据；

P20、将点云数据转换成伪图像；

P30、对伪图像进行目标检测，获得待收集垃圾的激光定位数据220。

在一些具体实施例中，第一箱体400用于收集易拉罐、玻璃瓶、利乐包和塑料瓶中的至少一者。

在一些示例性的实施例中，扫地机底部由四个扫刷构成，顶部和四周分别配备摄像头，激光雷达，毫米波雷达等传感器。

当扫地机开始工作时，使用视觉摄像头进行图像识别，语义分割和目标检测，通过算法检测前方垃圾材料属于可回收垃圾或其他垃圾。

识别的同时使用激光雷达定位当前垃圾的位置。

将摄像头输出的图像信息及激光雷达和毫米波雷达输出的点云信息结合，通过传感器融合技术，将摄像头、激光雷达和毫米波雷达多种传感器进行融合，更加精准定位当前垃圾的具体位置信息。

融合算法采用后端融合算法，又称松耦合算法，经过坐标转换得到世界坐标系下的目标属性，目标的距离信息。

扫地机配备两个垃圾箱体400，分别位于左右两侧，左侧为可回收垃圾箱，右侧为其他垃圾箱。

根据垃圾具体位置坐标信息，将扫地机扫刷进行位置移动，从而将不同类型垃圾清扫至不同的垃圾箱体400中。

左右两侧扫刷位置的可移动范围分别是车体最左侧至中间位置，车体最右侧至中间位置。

若检测到可回收垃圾，则根据垃圾具体坐标位置，切换右侧扫刷至中间位置，将左侧可回收垃圾箱体400吸口打开，将右侧不可回收垃圾箱体400吸口关闭，从而将可回收垃圾收集至左侧可回收垃圾箱体400中。

若检测到不可回收垃圾，则根据垃圾具体坐标位置，切换左侧扫刷至中间位置，将左侧可回收垃圾箱体400吸口关闭，将右侧不可回收垃圾箱体400吸口打开，从而将不可回收垃圾收集至右侧不可回收垃圾箱体400中。

摄像头视觉算法采用Yolov8模型，Yolov8算法在Yolov5基础上进行改进，Backbone使用C2f模块，检测头使用anchor-free+Decoupled-head方式，训练总epoch采用数据增强，最后10epoch关闭mosiac增强，有效提升精度；

损失函数采用Task Aligned Assigner，引入了distribution focal loss。需要特别和明确说明的是，在本实施例中，示例的损失函数的具体引入方式和计算过程并非本发明的改进设计之处，故而此处不再一一赘述。

激光雷达处理点云数据算法采用Pointpillar模型是3D点云目标检测算法，精度和速度均衡；

在VoxelNet的Voxel的基础上提出改进版本的点云表征方法，将点云转换成伪图像，进而通过2D卷积实现目标检测，检测头采用检测和回归3D框，Backbone处理伪图像得到高层的特征。

需要特别和明确说明的是，在本实施例中示例的通过2D卷积实现目标检测的具体过程并非本发明的改进之处，故而此处不再一一赘述。

毫米波雷达通过多普勒原理获取目标的径向速度信息。

通过根据图像采集组件200采集的作业图像，识别出待收集垃圾，确定待收集垃圾的空间位置信息，确定待收集垃圾的收集类型，从至少两个箱体400中，确定收集类型对应的目标箱体400，控制清扫组件300将待收集垃圾收集于目标箱体400，使得本发明在使用时可以在对待收集垃圾进行收集时便对待收集垃圾进行分类和收集，不需要在对垃圾进行整体收集之后再将收集的垃圾分类为可回收类型和不可回收类型，进而解决了现有技术中使用摄像头对环境垃圾进行识别的方法虽然能够对垃圾进行识别，但是在对垃圾进行收集时，需要先将所有垃圾收集至同一个收集盒内，待收集盒满载之后，才能回到回收站进行垃圾分类，这种收集方式虽然可以实现对垃圾的分类和处理的方式中存在分类效果差以及分类效率低的技术问题。

最后需要说明的是，上述本发明实施例序号仅为了描述，不代表实施例的优劣。以上实施例仅为本发明的可选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均包括在本发明的专利保护范围内。

Claims (10)

1.一种垃圾收集方法，其特征在于，使用于垃圾收集设备，所述垃圾收集设备包括：

机体(100)；

图像采集组件(200)，所述图像采集组件(200)设置于所述机体(100)；

清扫组件(300)，所述清扫组件(300)设置于所述机体(100)；

至少两个箱体(400)，至少两个箱体(400)均设置于所述机体(100)，且任意两个所述箱体(400)用于收集不同类型的垃圾；

所述垃圾收集方法包括如下步骤：

根据所述图像采集组件(200)采集的作业图像，识别出待收集垃圾；

确定所述待收集垃圾的空间位置信息；

确定所述待收集垃圾的收集类型；

从至少两个所述箱体(400)中，确定所述收集类型对应的目标箱体(400)；

控制所述清扫组件(300)将所述待收集垃圾收集于所述目标箱体(400)。

2.根据权利要求1所述的垃圾收集方法，其特征在于，至少两个箱体(400)包括第一收集箱(410)和第二收集箱(420)，所述第一收集箱(410)用于收集可回收垃圾，所述第二收集箱(420)用于收集不可回收垃圾；

所述控制所述清扫组件(300)将所述待收集垃圾收集于所述目标箱体(400)的步骤，具体包括：

若所述待收集垃圾为可回收垃圾，则根据所述空间位置信息，控制所述清扫组件(300)将所述待收集垃圾收集于所述第一收集箱(410)；

若所述待收集垃圾为不可回收垃圾，则根据所述空间位置信息，控制所述清扫组件(300)将所述待收集垃圾收集于所述第二收集箱(420)。

3.如权利要求1所述的垃圾收集方法，其特征在于，所述确定所述待收集垃圾的收集类型的步骤，包括：

对所述作业图像进行语义分割，获得垃圾语义分割区域；

将所述垃圾语义分割区域输入训练好的目标检测模型中进行材质检测，获得所述待收集垃圾的材质信息；

根据所述材质信息，确定所述待收集垃圾的收集类型。

4.如权利要求1所述的垃圾收集方法，其特征在于，所述垃圾收集设备还包括激光雷达和/或毫米波雷达；

所述确定所述待收集垃圾的空间位置信息的步骤，包括：

控制图像采集组件(200)对所述待收集垃圾进行定位，确定所述待收集垃圾的图像定位数据(210)；

控制所述激光雷达采集所述待收集垃圾的激光定位数据(220)；

控制所述毫米波雷达采集所述待收集垃圾的毫米波定位数据(230)；

基于所述图像定位数据(210)、激光定位数据(220)和毫米波定位数据(230)中的至少两者，确定所述待收集垃圾的空间位置信息。

5.如权利要求4所述的垃圾收集方法，其特征在于，所述基于所述图像定位数据(210)、激光定位数据(220)和毫米波定位数据(230)中的至少两者，确定所述待收集垃圾的空间位置信息的步骤，包括：

若采集得到所述激光定位数据(220)，则将激光定位数据(220)确定为所述空间位置信息；

若没有采集得到所述激光定位数据(220)，且采集得到所述毫米波定位数据(230)，则判断所述毫米波定位数据(230)是否与所述图像定位数据(210)一致，且所述毫米波定位数据(230)与所述图像定位数据(210)的采集时间差不大于预设阈值；

若所述毫米波定位数据(230)与所述图像定位数据(210)一致，且所述毫米波定位数据(230)与所述图像定位数据(210)的采集时间差不大于预设阈值，则将所述图像定位数据(210)确定为所述空间位置信息。

6.如权利要求5所述的垃圾收集方法，其特征在于，所述控制所述激光雷达采集所述待收集垃圾的激光定位数据(220)的步骤，包括：

控制所述激光雷达采集所述待收集垃圾的点云数据；

将所述点云数据转换成伪图像；

对所述伪图像进行目标检测，获得所述待收集垃圾的激光定位数据(220)。

7.如权利要求2至6中任一项所述的垃圾收集方法，其特征在于，所述第一收集箱(410)用于收集易拉罐、玻璃瓶、利乐包和塑料瓶中的至少一者。

8.一种垃圾收集设备，其特征在于，包括：

机体(100)；

图像采集组件(200)，所述图像采集组件(200)设置于所述机体(100)；

清扫组件(300)，所述清扫组件(300)设置于所述机体(100)；

至少两个箱体(400)，至少两个箱体(400)均设置于所述机体(100)，且任意两个所述箱体(400)用于收集不同类型的垃圾；

控制器(500)，所述控制器(500)包括处理器、存储器和存储在所述存储器上并可在所述处理器上运行的垃圾收集程序，所述控制程序被所述处理器执行时实现如权利要求1至7中任一项所述的垃圾收集方法的步骤。

9.如权利要求8所述的垃圾收集设备，其特征在于，至少两个箱体(400)包括并排设置的第一收集箱(410)和第二收集箱(420)，所述第一收集箱(410)用于收集可回收垃圾，所述第二收集箱(420)用于收集不可回收垃圾；

所述清扫组件(300)包括：

收集件(310)，所述收集件(310)设置于所述箱体(400)的一侧，所述收集件(310)内具有收集通道(311)，所述收集件(310)的靠近所述箱体(400)的一端设置有第一出料口(312)和第二出料口(313)，所述第一出料口(312)与所述第一收集箱(410)连通，所述第二出料口(313)与所述第二收集箱(420)连通，所述收集件(310)的背离所述箱体(400)的一侧具有与所述收集通道(311)连通的收集口(314)；

第一开合件和第二开合件，第一开合件设置于所述第一出料口(312)，以打开或者关闭所述第一出料口(312)，第二开合件设置于所述第二出料口(312)，以打开或者关闭所述第二出料口(312)；

第一清扫件(320)，所述第一清扫件(320)安装于所述收集件(310)靠近于所述收集口(314)的一侧，所述第一清扫件(320)对应于所述第一出料口(312)设置；

第二清扫件(330)，所述第二清扫件(330)安装于所述收集件(310)靠近于所述收集口(314)的一侧，且所述第二清扫件(330)与所述第一清扫件(320)间隔分布，所述第二清扫件(330)对应于所述第二出料口(313)设置。

10.如权利要求9所述的垃圾收集设备，其特征在于，

所述第一清扫件(320)位于所述收集口的宽度方向的一侧，所述第二清扫件(330)位于所述收集口的宽度方向的另一侧；

所述第一清扫件(320)可转动地安装于所述收集件(310)，以在露出所述收集口(314)的第一闲置位置转动至正对所述收集口(314)的第一清扫位置，以对应将待收集垃圾清扫并收集至所述收集通道(311)；

所述第二清扫件(330)可转动地安装于所述收集件(310)，所述第二清扫件(330)能从露出所述收集口(314)的第二闲置位置转动至正对所述收集口(314)的第二清扫位置，以对应将待收集垃圾清扫并收集至所述收集通道(311)。