CN116020771A - 一种基于多源信息融合的可回收垃圾精细分选系统 - Google Patents

Abstract

本发明公开了一种基于多源信息融合的可回收垃圾精细分选系统的装置及方法，该装置包括：开关检测单元、金属分选单元、瓶类精细分选单元、塑料分选单元、气动分选单元、皮带传送机、视觉模块、控制模块、收集单元；分选时将可回收垃圾送入皮带传送机，经开关检测单元判定是否接收，再通过金属分选单元，瓶类精细分选单元，塑料分选单元，最终实现将可回收垃圾精细分类。本发明的装置搭建容易，方法操作简单，能快速高效的将可回收垃圾实现细分，从而实现可回收垃圾的高质化循环利用。

Description

一种基于多源信息融合的可回收垃圾精细分选系统

技术领域

本发明涉及到一种系统，特别是一种基于多源信息融合的可回收垃圾精细分选系统。

背景技术

随着长三角地区巢湖流域城镇化的快速发展，核心城市多源有机固废的产生量急剧增加，滞后的固废处理处置能力，已无法满足流域生态环境保护的要求，难以支撑巢湖流域绿色高质量发展。目前城市生活垃圾分类模式粗放、资源化效率低、精细分类观念迟滞、分选技术落后、全过程智慧管控系统不完善等现状。在工程应用上，垃圾分类存在一些市场痛点，比如市场现状的前端分类大多属于大类回收，一般不对垃圾的回收利用价值高低进行区分，统一在低利用率渠道进行普遍的资源再利用，单一使用低灵敏度的传感器或视觉识别(例如前端四分类垃圾桶)，仅能识别常规物体，难以对各式各类不同属性的可回收垃圾做到精确判别。前沿的智能垃圾分类系统规模较大、结构复杂，价格往往以千万级别为单位，考虑经济成本，不适用于大多城市小区。

经过对安徽省省会城市各区典型垃圾分类试点小区与可回收垃圾后端处理企业进行调研发现，目前垃圾四分类是城市主要分类方式，对于四分类中的可回收垃圾一类存在大量的其他垃圾，在相关企业对可回收垃圾进行回收时，需要大量人工对可回收垃圾进行处理，将其他垃圾从可回收垃圾中剔除，之后运输到企业进行二次处理，二次处理是将可回收垃圾进行精细分类，提高企业利润，由于目前企业缺乏智能化设备，故二次处理均在环境较差的传送带流水线进行人工分拣，环境差、效率低、成本高。

专利CN201910789495公开一种垃圾分类装置和垃圾分类方法，包括以下步骤：垃圾分类装置包括外壳、盖板、伸缩机构、摄像头、控制板、垃圾分类机构和两个垃圾桶；外壳为内部设有空腔的箱体，外壳的顶部设有与空腔连通的开口；盖板设置在开口上，伸缩机构与盖板固定连接，两个垃圾桶设置在外壳的底部的空腔内，垃圾分类机构设置在外壳的顶部和外壳的底部之间的空腔内，摄像头设置在盖板朝向空腔的表面上，控制板设置在盖板背向空腔的表面上，用于接收用户的指令；控制伸缩机构驱动盖板相对开口发生位移，露出开口；控制摄像头获取垃圾的图像；根据垃圾的图像，确定垃圾的类型；控制垃圾分类机构将开口与两个垃圾桶中的一个垃圾桶连通。此发明分类模式粗放，在开口的过程中容易导致其他垃圾混入分类垃圾中，且分类不够精细。

专利CN201911206114公开一种智能垃圾分类装置与智能垃圾分类方法，利用摄像头采集分类层台面上平铺的垃圾的图像根据垃圾的图像，采用神经网络模型对垃圾进行识别、分类；对垃圾图像中可回收物、有害垃圾、干垃圾、湿垃圾等分别进行目标识别和定位；用机械手逐一对可回收物进行分拣并放入可回收物的垃圾斗；用机械手逐一对有害垃圾进行分拣并放入有害垃圾的垃圾斗；利用机械手对剩余的垃圾进行干垃圾、湿垃圾的分类；此发明在静态过程中去实现，增加了进料平铺垃圾工作量，且机械手分拣效率较慢，不能达到快速高效的机器分拣。

专利CN202210742641公开一种一种智能垃圾分拣装置，包括：振动筛；分拣输送带，设置在振动筛后端；金属垃圾分拣装置，包括至少一个电磁吸盘和至少一个金属垃圾回收箱，所述电磁吸盘受控的在分拣输送带以及金属垃圾回收箱之间往复移动；工业相机，设置在分拣输送带的上方；至少两个机械臂，其中一个机械臂的末端设置负压吸盘，另一个机械臂的末端设置夹爪；工业相机采集图像信息，上位机分析上述图像信息，识别出垃圾种类并向机械臂、负压吸盘以及夹爪发送控制信号。此发明分拣模式复杂，且负压吸盘对不规则形状垃圾容易导致抓取过程中脱离，造成分拣精度下降。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于多源信息融合的可回收垃圾精细分选系统，以期能使用人工智能技术结合机械结构对可回收垃圾进行智能精细分选，从而能替代人工手动分拣分类，提高不同种类的可回收垃圾的回收效率，从而实现可回收垃圾的高质化循环利用。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于多源信息融合的可回收垃圾精细分选系统的特点在于，在可回收垃圾传送带上按照分选顺序依次设置有：开关检测单元、金属精细分选单元、瓶子类精细分选单元、塑料分选单元；在三个分选单元中均设置有气动分选单元与收集箱；且所有单元均受控于控制模块；

所述开关检测单元设置在可回收垃圾传送带的进料口处，并包括：第一重力传感器和挡板；所述第一重力传感器设置在进料口的下方，所述挡板设置在进料口的上部；所述第一重力传感器获取垃圾传送带上垃圾重量并发送给所述控制模块，所述控制模块将所述垃圾重量与预设的两个重量阈值C1和C2进行比较，若所述垃圾重量达到重量阈值C1时，所述控制模块控制所述挡板下降至传送带上，以阻止垃圾进入传送带，若所述垃圾重量降至重量阈值C2时，所述控制模块控制所述挡板上升，使得垃圾继续进入传送带；

所述金属精细分选单元包括：金属传感器、第一视觉模块和电磁选模块；所述金属传感器设置在传送带的一侧，并感测到传送带上的金属类垃圾时，发送感应信号给所述控制模块，所述控制模块发送高电平信号给所述电磁选模块，使得所述电磁选模块中的导电支柱转到金属类垃圾的上方，并为导电支柱上的电磁铁供电，从而利用电磁铁吸附金属类垃圾中磁性类垃圾并控制导电支柱移动至磁性收集箱的上方后，所述控制模块控制所述电磁铁断电，使得磁性类垃圾落入磁性收集箱中；所述第一视觉模块利用金属检测模型识别所述金属类垃圾中的铝制垃圾，并发送识别结果给所述控制模块，使得所述控制模块控制所述金属精细分选单元中的气动分选单元的第一气动推杆将铝制垃圾推至铝收集箱中；

所述瓶子类精细分选单元设置包括：第二视觉模块和光电传感器；所述第二视觉模块利用瓶子检测模型识别传送带上的瓶子类垃圾，并发送识别结果给所述控制模块，使得所述控制模块控制所述瓶子类精细分选单元中气动分选单元的第二气动推杆将瓶子类垃圾推至传送带一侧的通道中，所述光电传感器设置在所述通道的入口处中，并用于检测通道上瓶子类垃圾的透光率后发送给所述控制模块，使得所述控制模块根据所述透光率利用第三气动推杆将对应的瓶子类垃圾中的无色瓶推至无色瓶收集箱，剩余有色瓶继续传送至通道末端，并落入末端处设置的有色瓶收集箱中；

所述塑料分选单元是利用第三视觉模块获取传送带上的垃圾图像，并利用塑料检测模型对所述垃圾图像中的塑料垃圾进行识别和分类后，将分类结果发送给所述控制模块；使得所述控制模块利用每一类对应的气动推杆将相应类别的塑料垃圾推送至对应类别的塑料收集箱中。

本发明所述的基于多源信息融合的可回收垃圾精细分选系统的特点也在于，所述塑料检测模型包括：用于提取塑料垃圾最佳锚框的输入端网络、用于提取塑料垃圾特征图的基准网络、用于加强网络特征的融合能力的Neck网络、用于将输入的塑料垃圾图像进行识别和分类的预测网络；

所述输入端网络采用Mosaic数据增强方法对塑料图像进行随机缩放、裁剪、拼接处理后，得到预处理后的塑料图像，将所述预处理后的塑料图像进行缩放或填充到m×m的统一尺寸后，得到尺寸归一化后的塑料图像；

对尺寸归一化后的塑料图像设定预测锚框，用于对输入端网络进行训练，并将预测锚框与真实锚框进行比对，以更新输入端网络参数，并得到最佳锚框，用于对垃圾图像中的塑料垃圾进行识别；

所述基准网络包括Focus结构和SPP结构；

所述Focus结构先对尺寸归一化后的塑料图像进行切片操作后再随机拼接切片图像，并利用a₁个卷积核大小为k₁×g₁的卷积层提取拼接后的图像的塑料特征，再使用激活函数对所述塑料特征进行处理后，输出采样特征图；

所述SPP结构由卷积层、r个池化层和拼接层组成；

所述SPP结构的卷积层对每张垃圾图像的n个采样特征图进行特征提取，得到尺寸为m×m的特征图；

利用最佳锚框分别选取n个特征图的候选框后输入r个池化层中进行处理，得到n个相同尺寸的塑料特征图；

所述拼接层对n个相同尺寸的塑料特征图进行拼接后，得到拼接后的塑料特征图；

所述Neck网络包括自顶向下传递的FPN结构与自底向上的PAN结构；

所述FPN结构对拼接后的塑料特征图进行处理，得到下采样特征图；

所述PAN结构对拼接后的塑料特征图进行处理，得到上采样特征图；

所述下采样特征图与上采样特征图融合后再输入所述预测网络；

所述预测网络由s个输出层组成，每个输出层由n₁个卷积层和n₂个池化层构成；

所述预测网络对融合后的特征图依次输入s个输出层进行处理后，得到的结果与所述预测锚框进行比对，得到塑料类别，即为塑料垃圾的分类结果。

所述的金属检测模型包括：输入网络、特征提取网络、特征融合网络、检测网络；

所述输入网络对铝制垃圾图像进行裁剪、缩放、拼接的预处理后，得到尺寸为m₁×m₁×t的特征图，再依次经过特征提取网络进行特征提取，生成的特征图集合经过卷积处理后得到尺寸为m₂×m₂×t₁的特征图；

所述特征融合网络对m₂×m₂×t₁的特征图进行分别经过卷积和上采样操作以及卷积和下采样操作后，将得到的两个特征图利用最大池化层进行融合，得到融合特征图；

所述特征融合网络对融合特征图进行卷积和下采样处理后，得到的结果再经过s个卷积层的裁剪后得到一个特征向量，并输入到所述检测网络中，得到铝制垃圾图像的识别结果。

所述瓶子检测模型，包括：输入网络、候选区域生成网络、特征提取网络、分类与回归网络；

待检测图像输入至所述瓶子检测模型中，并经过所述输入网络后输出维度为c₁×c₁的待检测图像；

所述候选区域提取网络将维度为c₁×c₁的待检测图像分割成c个候选区域；

所述特征提取网络使用深度卷积对每个候选区域进行特征提取，得到候选特征；

所述分类与回归网络首先使用机器学习算法训练瓶子类SVM分类器，然后将提取到的候选特征送入瓶子类SVM分类器中进行类别判别，最终得到分类结果。

与现有技术相比，本发明的有益效果在于：

1、本发明基于可回收垃圾的不同属性，通过设计多级分选单元结构，结合机器视觉与MCU技术处理，大幅度的提高了可回收垃圾的分拣效率以及分选准确度，解决了目前针对垃圾四分类后端可回收垃圾环节采取人工手动分拣的效率低下，成本昂贵的技术难题，从而实现机器结构搭配机器视觉代替人工，提升了企业处理垃圾的效率和节约大量人工成本，使工人有一个更好的工作环境；

2、本发明根据现代中国城市可回收垃圾的现实物理属性，采集了大量的可回收垃圾样本针对性的建立深度学习训练集。利用这些数据，本发明的检测模型可以通过识别区分不同材料的图案和特征，以与人类相同的方式学习识别可回收物。且可以持续不断地收集随机样本，然后对其进行注释，将其添加到我们的数据库中，并重新对本发明神经网络进行训练，可以不断的提升本发明的分选效率与分选准确度；

3、本发明将传感器技术与机器视觉技术根据可回收垃圾的分选单元顺序进行融合，通过结合两种技术之间的技术优势，大幅度降低了纯机器视觉的计算量，提高了工作效率，通过两种技术的协同配合，提高了分选工作效率；

4、本发明通过所述开关检测单元和所述四个分选单元将所述可回收垃圾高效准确的细分为各个种类，有效的替代了人工手动分类，为智慧城市增添了新方案。

附图说明

图1是本发明的系统结构示意图；

图2是本发明实施例一的流程图。

具体实施方式

本实施例中，如图1所示，一种基于多源信息融合的可回收垃圾精细分选系统，在可回收垃圾传送带B上按照分选顺序依次设置有：开关检测单元C、金属精细分选单元D、瓶子类精细分选单元E、塑料分选单元F；在三个分选单元中均设置有气动分选单元G与收集箱H；且所有单元均受控于控制模块A；混乱无序的可回收垃圾由传送带以3m/s的恒定速度依次经过分选单元由气动分选单元按照各属类别依次有序分拣；

参阅图2，开关检测单元设置在可回收垃圾传送带的进料口处，并包括：第一重力传感器和挡板；第一重力传感器设置在进料口的下方，挡板设置在进料口的上部；第一重力传感器获取垃圾传送带上垃圾重量并发送给控制模块，所经过重力传感器的可回收垃圾重量信息通过杜邦线传输至控制模块，并不断叠加，控制模块将叠加后可回收垃圾重量与预设的两个重量阈值C1和C2进行比较，若垃圾重量达到重量阈值C1时，控制模块传输下降信号至舵机，舵机控制挡板下降至传送带上，以阻止垃圾进入传送带，若垃圾重量降至重量阈值C2时，控制模块传输上升信号至舵机，舵机控制挡板上升，使得垃圾继续进入传送带；

参阅图2，首先进行分选的是金属类垃圾，通过金属精细分选单元进行分选，金属精细分选单元包括：金属传感器、第一视觉模块和电磁选模块；金属传感器设置在传送带的一侧，并感测到传送带上的金属类垃圾时，发送感应信号给控制模块，控制模块发送高电平信号给电磁选模块，使得电磁选模块中的导电支柱以50r/s的速度转到金属类垃圾的上方，同时发送信号至继电器，继电器接通电源并为导电支柱上的电磁铁供电，从而利用电磁铁吸附金属类垃圾中磁性类垃圾，通电后0.5s后控制模块发送转回信号给舵机控制导电支柱转回至磁性收集箱的上方后，控制模块控制继电器断电，电磁铁断电，使得磁性类垃圾落入磁性收集箱中；第一视觉模块利用金属检测模型识别金属类垃圾中的铝制垃圾，并发送识别结果给控制模块；

具体地，金属检测模型包括：输入网络、特征提取网络、特征融合网络、检测网络；输入网络对铝制垃圾图像进行裁剪、缩放、拼接的预处理后，得到尺寸为m₁×m₁×t的特征图，再依次经过特征提取网络进行特征提取，生成的特征图集合经过卷积处理后得到尺寸为m₂×m₂×t₁的特征图；

特征融合网络对m₂×m₂×t₁的特征图进行分别经过卷积和上采样操作以及卷积和下采样操作后，将得到的两个特征图利用最大池化层进行融合，得到融合特征图；

特征融合网络对融合特征图进行卷积和下采样处理后，得到的结果再经过s个卷积层的裁剪后得到一个特征向量，并输入到检测网络中，得到铝制垃圾图像的识别结果。第一视觉模块通过工业相机采集可回收垃圾图像，金属检测模型给出铝制垃圾识别结果，并将识别信号和铝制垃圾的中心坐标发送至控制模块，控制模块接受到识别信号和铝制垃圾的中心坐标，根据中心坐标通过定位算法结合传送带的速度，判断出铝制垃圾到达第一气动推杆中心的时间，将时间信号发送至控制第一气动推杆的电磁阀，电磁阀在到达预设时间后，控制金属精细分选单元中的气动分选单元的第一气动推杆将铝制垃圾推至铝收集箱中；

参阅图2，第二类要分选的是瓶子类垃圾，由瓶子类精细分选单元进行分选；瓶子类精细分选单元设置包括：第二视觉模块和光电传感器；第二视觉模块利用瓶子检测模型识别传送带上的瓶子类垃圾，具体地，瓶子检测模型，包括所述瓶子检测模型，包括：输入网络、候选区域生成网络、特征提取网络、分类与回归网络；待检测图像输入至所述瓶子检测模型中，并经过输入网络后输出维度为c1×c1的待检测图像；候选区域提取网络将维度为c1×c1的待检测图像分割成c个候选区域；特征提取网络对每个候选区域，使用深度卷积网络提取特征；分类与回归网络首先使用机器学习算法训练瓶子类SVM分类器，然后将提取到的特征送入瓶子类SVM分类器，判别是否属于该类，最终得到分类结果；第二视觉模块将采集的可回收垃圾图像输入至瓶子检测模型，由瓶子检测模型识别判断可回收垃圾中的瓶子类图像并发送识别结果和瓶子垃圾的中心坐标给控制模块，控制模块接收到识别信号和铝制垃圾的中心坐标，根据中心坐标通过定位算法结合传送带的速度，判断出瓶子垃圾到达第一气动推杆中心的时间，将时间信号发送至控制第二气动推杆的电磁阀，电磁阀在到达预设时间后，控制瓶子类精细分选单元中气动分选单元的第二气动推杆将瓶子类垃圾推至传送带一侧的通道中，光电传感器设置在通道的入口处中，并用于检测通道上瓶子类垃圾的透光率后发送给控制模块，此透光率以无色瓶为底物参照，当为无色瓶时，光电传感器通过杜邦线输入低电平给控制模块，控制模块根据低电平信号发送信号至电磁阀控制第三气动推杆将对应的瓶子类垃圾中的无色瓶推至无色瓶收集箱，剩余有色瓶继续传送至通道末端，并落入末端处设置的有色瓶收集箱中；

参阅图2，最后要分选的是塑料类垃圾，通过塑料精细分选单元分选；塑料分选单元是利用第三视觉模块获取传送带上的垃圾图像，并利用塑料检测模型对垃圾图像中的塑料垃圾进行识别和分类后，具体地，塑料检测模型包括：用于提取塑料垃圾最佳锚框的输入端网络、用于提取塑料垃圾特征图的基准网络、用于加强网络特征的融合能力的Neck网络、用于将输入的塑料垃圾图像进行识别和分类的预测网络；

输入端网络采用Mosaic数据增强方法对塑料图像进行随机缩放、裁剪、拼接处理后，得到预处理后的塑料图像，将预处理后的塑料图像进行缩放或填充到m×m的统一尺寸后，得到尺寸归一化后的塑料图像；

对尺寸归一化后的塑料图像设定预测锚框，用于对输入端网络进行训练，并将预测锚框与真实锚框进行比对，以更新输入端网络参数，并得到最佳锚框，用于对垃圾图像中的塑料垃圾进行识别；

基准网络包括Focus结构和SPP结构；

Focus结构先对尺寸归一化后的塑料图像进行切片操作后再随机拼接切片图像，并利用a₁个卷积核大小为k₁×g₁的卷积层提取拼接后的图像的塑料特征，再使用激活函数对塑料特征进行处理后，输出采样特征图；

SPP结构由卷积层、r个池化层和拼接层组成；

SPP结构的卷积层对每张垃圾图像的n个采样特征图进行特征提取，得到尺寸为m×m的特征图；

利用最佳锚框分别选取n个特征图的候选框后输入r个池化层中进行处理，得到n个相同尺寸的塑料特征图；

拼接层对n个相同尺寸的塑料特征图进行拼接后，得到拼接后的塑料特征图；

Neck网络包括自顶向下传递的FPN结构与自底向上的PAN结构；

FPN结构对拼接后的塑料特征图进行处理，得到下采样特征图；

PAN结构对拼接后的塑料特征图进行处理，得到上采样特征图；

下采样特征图与上采样特征图融合后再输入预测网络；

预测网络由s个输出层组成，每个输出层由n₁个卷积层和n₂个池化层构成；

预测网络对融合后的特征图依次输入s个输出层进行处理后，得到的结果与预测锚框进行比对，得到塑料类别，即为塑料垃圾的分类结果。塑料检测模型将塑料分为PET、HDPE、PP、PS四类，第三视觉模块通过工业相机将采集的垃圾图像通过gige千兆网口传输至塑料检测模型，塑料检测模型识别判断可回收垃圾的塑料类别和塑料垃圾的中心坐标，将识别结果与塑料垃圾的中心坐标发送给控制模块；控制模块根据识别结果和塑料垃圾的中心坐标通过定位算法结合传送带的速度，判断出塑料垃圾到达第4、5、6、7气动推杆中心的时间，将时间信号发送至控制第4、5、6、7气动推杆的电磁阀，电磁阀在到达预设时间后，控制对应的气动推杆将相应类别的塑料垃圾推送至对应类别的塑料收集箱中。

本发明各单元、模块均受控于控制模块A，控制模块A为嵌入式计算机jetsonTX2；jetson TX2设置在垃圾传送带上部支架中心区域；通过杜邦线和gige千兆网口相连，控制整个分选系统高效有序进行工作；并通过HDMI双向接头连接一块24寸液晶显示屏，显示系统的运行情况；

可回收垃圾精细分选系统设计合理，可实现对可回收垃圾进行高效、精确细分。合理的利用了有限的可回收资源，避免了资源的浪费，减少了人工成本，极大的提高了企业利润与可回收垃圾高质化循环利用。

Claims (4)

1.一种基于多源信息融合的可回收垃圾精细分选系统，其特征在于，在可回收垃圾传送带上按照分选顺序依次设置有：开关检测单元、金属精细分选单元、瓶子类精细分选单元、塑料分选单元；在三个分选单元中均设置有气动分选单元与收集箱；且所有单元均受控于控制模块；

所述开关检测单元设置在可回收垃圾传送带的进料口处，并包括：第一重力传感器和挡板；所述第一重力传感器设置在进料口的下方，所述挡板设置在进料口的上部；所述第一重力传感器获取垃圾传送带上垃圾重量并发送给所述控制模块，所述控制模块将所述垃圾重量与预设的两个重量阈值C1和C2进行比较，若所述垃圾重量达到重量阈值C1时，所述控制模块控制所述挡板下降至传送带上，以阻止垃圾进入传送带，若所述垃圾重量降至重量阈值C2时，所述控制模块控制所述挡板上升，使得垃圾继续进入传送带；

所述金属精细分选单元包括：金属传感器、第一视觉模块和电磁选模块；所述金属传感器设置在传送带的一侧，并感测到传送带上的金属类垃圾时，发送感应信号给所述控制模块，所述控制模块发送高电平信号给所述电磁选模块，使得所述电磁选模块中的导电支柱转到金属类垃圾的上方，并为导电支柱上的电磁铁供电，从而利用电磁铁吸附金属类垃圾中磁性类垃圾并控制导电支柱移动至磁性收集箱的上方后，所述控制模块控制所述电磁铁断电，使得磁性类垃圾落入磁性收集箱中；所述第一视觉模块利用金属检测模型识别所述金属类垃圾中的铝制垃圾，并发送识别结果给所述控制模块，使得所述控制模块控制所述金属精细分选单元中的气动分选单元的第一气动推杆将铝制垃圾推至铝收集箱中；

所述瓶子类精细分选单元设置包括：第二视觉模块和光电传感器；所述第二视觉模块利用瓶子检测模型识别传送带上的瓶子类垃圾，并发送识别结果给所述控制模块，使得所述控制模块控制所述瓶子类精细分选单元中气动分选单元的第二气动推杆将瓶子类垃圾推至传送带一侧的通道中，所述光电传感器设置在所述通道的入口处中，并用于检测通道上瓶子类垃圾的透光率后发送给所述控制模块，使得所述控制模块根据所述透光率利用第三气动推杆将对应的瓶子类垃圾中的无色瓶推至无色瓶收集箱，剩余有色瓶继续传送至通道末端，并落入末端处设置的有色瓶收集箱中；

所述塑料分选单元是利用第三视觉模块获取传送带上的垃圾图像，并利用塑料检测模型对所述垃圾图像中的塑料垃圾进行识别和分类后，将分类结果发送给所述控制模块；使得所述控制模块利用每一类对应的气动推杆将相应类别的塑料垃圾推送至对应类别的塑料收集箱中。

2.根据权利要求1所述的基于多源信息融合的可回收垃圾精细分选系统，其特征在于，所述塑料检测模型包括：用于提取塑料垃圾最佳锚框的输入端网络、用于提取塑料垃圾特征图的基准网络、用于加强网络特征的融合能力的Neck网络、用于将输入的塑料垃圾图像进行识别和分类的预测网络；

所述输入端网络采用Mosaic数据增强方法对塑料图像进行随机缩放、裁剪、拼接处理后，得到预处理后的塑料图像，将所述预处理后的塑料图像进行缩放或填充到m×m的统一尺寸后，得到尺寸归一化后的塑料图像；

对尺寸归一化后的塑料图像设定预测锚框，用于对输入端网络进行训练，并将预测锚框与真实锚框进行比对，以更新输入端网络参数，并得到最佳锚框，用于对垃圾图像中的塑料垃圾进行识别；

所述基准网络包括Focus结构和SPP结构；

所述Focus结构先对尺寸归一化后的塑料图像进行切片操作后再随机拼接切片图像，并利用a₁个卷积核大小为k₁×g₁的卷积层提取拼接后的图像的塑料特征，再使用激活函数对所述塑料特征进行处理后，输出采样特征图；

所述SPP结构由卷积层、r个池化层和拼接层组成；

所述SPP结构的卷积层对每张垃圾图像的n个采样特征图进行特征提取，得到尺寸为m×m的特征图；

利用最佳锚框分别选取n个特征图的候选框后输入r个池化层中进行处理，得到n个相同尺寸的塑料特征图；

所述拼接层对n个相同尺寸的塑料特征图进行拼接后，得到拼接后的塑料特征图；

所述Neck网络包括自顶向下传递的FPN结构与自底向上的PAN结构；

所述FPN结构对拼接后的塑料特征图进行处理，得到下采样特征图；

所述PAN结构对拼接后的塑料特征图进行处理，得到上采样特征图；

所述下采样特征图与上采样特征图融合后再输入所述预测网络；

所述预测网络由s个输出层组成，每个输出层由n₁个卷积层和n₂个池化层构成；

所述预测网络对融合后的特征图依次输入s个输出层进行处理后，得到的结果与所述预测锚框进行比对，得到塑料类别，即为塑料垃圾的分类结果。

3.根据权利要求1所述的基于多源信息融合的可回收垃圾精细分选系统，其特征在于，所述的金属检测模型包括：输入网络、特征提取网络、特征融合网络、检测网络；

所述输入网络对铝制垃圾图像进行裁剪、缩放、拼接的预处理后，得到尺寸为m₁×m₁×t的特征图，再依次经过特征提取网络进行特征提取，生成的特征图集合经过卷积处理后得到尺寸为m₂×m₂×t₁的特征图；

所述特征融合网络对m₂×m₂×t₁的特征图进行分别经过卷积和上采样操作以及卷积和下采样操作后，将得到的两个特征图利用最大池化层进行融合，得到融合特征图；

所述特征融合网络对融合特征图进行卷积和下采样处理后，得到的结果再经过s个卷积层的裁剪后得到一个特征向量，并输入到所述检测网络中，得到铝制垃圾图像的识别结果。

4.根据权利要求1所述的基于多源信息融合的可回收垃圾精细分选系统，其特征是，所述瓶子检测模型，包括：输入网络、候选区域生成网络、特征提取网络、分类与回归网络；

待检测图像输入至所述瓶子检测模型中，并经过所述输入网络后输出维度为c₁×c₁的待检测图像；

所述候选区域提取网络将维度为c₁×c₁的待检测图像分割成c个候选区域；

所述特征提取网络使用深度卷积对每个候选区域进行特征提取，得到候选特征；

所述分类与回归网络首先使用机器学习算法训练瓶子类SVM分类器，然后将提取到的候选特征送入瓶子类SVM分类器中进行类别判别，最终得到分类结果。

Images