CN111797787A - 一种基于物联网技术的废弃物图像检测分类系统 - Google Patents

Abstract

一种基于物联网技术的废弃物图像检测分类系统，以解决现有技术中废弃物丢弃杂乱无章，对差异化较大的废弃物识别不准确，分类模糊的问题；其解决的技术方案包括接收装置、视觉检测装置、信号处理装置、运动控制装置；所述的视觉检测装置用于废弃物的识别分析，包括检测触发器、成像器件、图像采集卡、云端服务器，其通过残差网络对废弃物进行特征提取，且，在残差网络的基础上进行不同层次的特征融合，使得预测不同尺度的目标对应不同融合层的特征，有效地提高检测小尺度目标的性能；此外，在残差块中加入注意力模块，同时，通过训练设计RPN中锚框的尺度和比例，进行废弃物整体覆盖；本发明集成化程度高、安全环保、图像识别精准度高。

Description

一种基于物联网技术的废弃物图像检测分类系统

技术领域

本发明涉及净化处理技术领域，尤其涉及一种基于物联网技术的废弃物图像检测分类系统。

背景技术

废弃物分类是按一定规定或标准将废弃物分类储存、投放和搬运。目前主要通过人工的方式对废弃物进行分类并投放。根据废弃物分类的规定或标准，人们对产生的废弃物进行分类，然后投放到对应的废弃物箱内。废弃物分类的目的是提高废弃物的资源价值和经济价值，力争物尽其用。废弃物在分类储存阶段属于公众的私有品，废弃物经公众分类投放后成为公众所在小区或社区的区域性准公共资源，废弃物分类搬运到废弃物集中点或转运站后成为没有排除性的公共资源。从国内外各城市对生活废弃物分类的方法来看，大致都是根据废弃物的成分、产生量，结合本地废弃物的资源利用和处理方式来进行分类的。

不过，不是所有人都知道废弃物到底该如何去分，缺乏长期的教育引导，导致大多数人面对摆在眼前的废弃物，很难做好准确的分类。近年各种政策倡导和绿色环保的主流风向，如何更科学地向居民推广普及废弃物分类，确实是各大城市亟待解决的问题。

图像识别技术是以图像的主要特征为基础的，每个图像都有它的特征，在图像识别过程中，知觉机制必须排除输入的多余信息，抽出关键的信息。人类在进行图像识别时，在大脑里必定有一个负责整合信息的机制，它能把分阶段获得的信息整理成一个完整的知觉映象，在实际的废弃物分类过程中，由于不同的废弃物差异较大，而且存在极端的长宽比，对于图像识别的精准度有很大的影响，AI图像识别方法就是基于人类图像识别的特点，编制模拟人类图像识别活动的计算机程序。

在废弃物处理线上，采用人工分拣废弃物费时费力，工作环境差，采用自动化的工业设备分拣可以解决这个问题，但是，工业设备也需要设置完善的废弃物识别和分类系统。

现在有些废弃物分类自动化设备已经投入市场，但是由于一个物品在转化为废弃物过程中，其最终形状与外形结构与其最初结构可能千差万别，如何很好的实现精准分类以及减少操作难度是本领域技术人员急需解决的问题。

发明内容

本发明的目的在于提供一种基于物联网技术的废弃物图像检测分类系统，以解决现有技术中废弃物丢弃杂乱无章，不能很好的利用，同时提高对差异化较大的废弃物进行精准的学习分析，识别，达到分类准确，提高效率的效果。

为了实现上述目的，本发明的技术方案提供了一种基于物联网技术的废弃物图像检测分类系统，包括接收装置、视觉检测装置、信号处理装置、运动控制装置；所述的视觉检测装置用于废弃物的识别分析，包括检测触发器、成像器件、图像采集卡、云端服务器，其通过残差网络对废弃物进行特征提取，且，在残差网络的基础上进行不同层次的特征融合，使得预测不同尺度的目标对应不同融合层的特征，有效地提高检测小尺度目标的性能；此外，在残差块中加入注意力模块，同时，通过训练设计RPN中锚框的尺度和比例，进行废弃物整体覆盖。

优选的，所述的残差网络采用ResNet-50，ResNet-50包含5个阶段：

。

优选的，所述的注意力模块用于

三个阶段，ResNet-50经过1X1、3X3、1X1三个卷积层后与注意力模块叠加。

优选的，所述的注意力模块由通道注意力模块和空间位置注意力模块两部分组成。

优选的，所述的通道注意力模块输入包括两个分支：全局最大池化层和全局平均池化层；通道注意力模块的计算公式为：

。

优选的，所述的注意力模块的输出作为空间位置注意力模块的输入，使用通道最大池化和通道平均池化分别进行通道维度的压缩；空间注意力模块的计算公式如下：

优选的，所述的信号处理装置包含信号处理单元，信号处理装置与视觉检测装置进行网络通信，接收废弃物的类别信息并进行响应处理，通过信号处理单元将类别信息转换成运动控制信号，信号处理装置可根据实际情况选择数模转化或模数转化或者二者交替进行。

优选的所述的运动控制装置包括信号响应单元、可编程逻辑控制单元、电气线路、以及机械结构，所述的信号响应单元接收运动控制信号并进行响应。优选的所述的视觉检测装置包括辅助成像器件光源，成像器件进行初次图像采集并输出模拟的图像信号，图像采集卡将相机输出的模拟图像信号转换成数字图像数据流，云端服务器中部署有基于人工智能的目标检测和识别的图像处理系统。

优选的，所述的接收装置，视觉检测装置，信号处理装置，运动控制装置集成整合为同一设备，整体采用电力驱动，电力可采用外界电源也可使用太阳能电池板供电。

本发明具有以下优点：

1、所有装置整合在同一设备上，集成化程度高。

2、整体采用太阳能电力驱动，安全环保。

3、三重图像识别学习技术的叠加运用，精准度高。

4、废弃物存放达到一定量时，可自动提醒，提高了工作效率。

5、可根据不同场所废弃物的不同进行制定相应的程序，适应性强。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明整体工作流程示意图；

图2是本发明带有注意力机制的残差块结构示意图；

图3是本发明注意力模块的网络结构示意图；

图4是本发明FPN融合多层特征结构示意图；

图5是本发明RoIAlign具体操作池化示意图。

具体实施方式

下面将结合图1至图5进行详细阐述，本发明包括接收装置，视觉检测装置，信号处理装置，运动控制装置；本发明通过接收装置接收外界投递的废弃物，视觉检测装置置于可覆盖接收装置的部位，通过对接收到的废弃物进行成像、采集、识别、学习分析后生成废弃物类别信息，生成的类别信息会传送至信号处理装置，经过信息转换后，通过控制运动控制装置实现废弃物分类的动作，最终达到对废弃物进行精准分类的效果。

其中视觉检测装置包括检测触发器、辅助成像器件、图像采集卡、云端服务器；具体的，视觉检测装置用来获取投递废弃物的类别信息，接收到废弃物后，视觉检测装置种的检测触发器会按照设定的程序和延迟，激活视觉检测装置；同时，辅助成像器件光源开启，成像器件的工业相机和工业镜头进行初次图像采集并输出模拟的图像信号；进一步，图像采集卡将相机输出的模拟图像信号转换成数字图像数据流，数字图像数据流通过网络实时传输到云端服务器；云端服务器中部署基于人工智能的目标检测和识别的图像处理系统，该系统能够高效地对图像数据流进行初步计算分析，并反馈初步的识别结果，最终，根据识别结果，对图像数据流进行深层次的学习分析，获取更高的图像语义信息。

在获取图像数据以及对图像数据流进行学习过程中，采用ResNet网络进行特征提取，尤其是采用ResNet-50对图像更好的提取，同时，在ResNet-50的残差块中加入CBAM注意力机制模块，注意力机制模块的加入可以使通过残差网络ResNet-50进行特征提取时，对有用信息的识别和提取更加精准。

进一步的，在具体针对某个废弃物进行图像提取时，通过采用FPN的锚框设置进行所要检测废弃物的全面覆盖，另一方面，为了达到更好的物体覆盖，所述的FPN结合RPN使用，根据数据集中估计废弃物大小的分布，合理地设计RPN中锚框的尺度和比例进行特定废弃物的尽可能覆盖，达到更精准更全面的图像识别结果。

进一步的，本发明中信号处理装置包括信号处理单元，其作用是实现信息转换的功能，其通过网络通信与视觉检测装置进行交互，接收经过视觉检测装置经过图像处理后的类别信息，并通过信号处理单元将类别信息转换成运动控制信号，并将处理后的信号传送至运动控制装置。

进一步的，所述的运动控制装置包括信号响应单元，可编程逻辑控制单元，电气线路，以及运动构件，所述的信号响应单元通过接收信号处理装置传送的信号，且，通过可编程逻辑控制单元进行初始的程序设定，根据不同废弃物产生的不同的信号进行控制运动构件产生不同的运动动作，进而可以将不同的废弃物进行分类至不同的场所。

本发明其中一个实施例为，所述的ResNet-50共有5个阶段：

；本设计的注意力模块用于

三个阶段，ResNet-50经过1X1、3X3、1X1三个卷积层后与注意力模块叠加，如附图2所示。

进一步的，注意力机制模块由通道注意力模块和空间位置注意力模块两部分组成，通过全局最大池化层和全局平均池化层以及通道最大池化和通道平均池化分别进行处理；如附图3所示，具体的，通道注意力模块，假定注意力模块输入的特征图为

，然后将其分别送入两个分支：全局最大池化层和全局平均池化层。将经过两种池化层分别得到的特征图

和

，送入两个共享的1X1卷积层进行通道间的信息融合，其中第一个卷积层用于降维操作以减少计算量，降维比例为16；第二个卷积层用于升维操作保证特征图通道维度前后一致。最后将这两个特征图进行逐元素相加后对其使用sigmoid函数得到通道注意力图。使用通道注意力图与输入进行通道加权（对应元素相乘）的结果即为通道注意力模块的输出

。用表示连续两个1X1卷积操作，

表示sigmoid函数，则通道注意力模块的计算公式如下：

空间注意力模块将通道注意力模块的输出作为输入，使用通道最大池化和通道平均池化分别进行通道维度的压缩，得到特征图

，然后对其进行通道维度上的拼接。紧接着使用一个

卷积进行降维后使用sigmoid函数得到空间注意力图，使用空间注意力图与输入进行加权的结果即为整个注意力模块的输出

；空间注意力模块的计算公式如下：

。

为了能同时利用深层语义信息和浅层细节特征，利用FPN进行多尺度特征融合，FPN采用的是自顶向下的方式融合多层特征，使得预测不同尺度的目标对应不同融合层的特征，可以有效地提升目标检测算法在小目标检测上的性能；本申请采用基于ResNet-50的FPN结构，如图4所示，整个过程先是以

卷积对

进行降维得到

为起点，然后依次生成分辨率逐增的特征图

。为了消除特征融合产生的叠加效应，对

分别进行

的卷积得到特征金字塔

，对

进行最大池化下采样2倍的方式得到

。将特征金字塔

一同送入RPN网络用于生成建议区域，每个层级对应一个不同尺度的锚框，

对应锚框的尺度为

，每个面积对应

三种比例，故金字塔结构在RPN网络中共有15种锚框。

采用RPN是基于FPN存在的缺陷设计的，由于原始的FPN的锚框设置方式虽说对于通用物体检测数据有着很全面的覆盖，但是针对某个特定的场景时，这样的锚框设置往往难以全面覆盖目标，此时可能会产生严重的目标漏检问题，在训练RPN的过程中，需要对锚框指定正负样本，指定为正样本的规则为：1)与真实边界框的交并比大于0.7；2)是与真实边界框的交并比最大的锚框。指定为负样本的规则为：与真实边界框的交并比小于0.3；一般情况下，根据第一条规则就能确定正样本，而且对于一个真实边界框可能有多个正样本锚框与之对应，但是当锚框大小的设置难以符合真实的数据分布时，只根据第一条规则可能就找不到真实边界框对应的正样本锚框，因此需要第二条规则为它匹配一个正样本，此时这个锚框与真实边界框的交并比小于0.7，可能会是0.3或0.4等。

为了更好的提高目标物体检测的准确性，所述的具有注意力模块的ResNet-50多层卷积处理后的图像进行量化处理，所述的量化处理有两种方法，RoIpooling和RoIAlign，采用RoIpooling可以对于大尺度目标进行两次量化操作，而且不会有大的偏差，适用于废弃物目标较大的特定区域；一般的，由于目标废弃物体积较小，此时采用RoIAlign处理，如附图5所示，可以很好的避免RoI pooling两次量化过程产生的误差，具体的；虚线为特征图，实线表示RoI，假设经池化后固定为

大小的特征图，因此需要把RoI平均分成4个大小相同的区域．对于划分的每一个区域，如果假定采样数是4，即需要把每个区域平均划分4份，每一份取其中心点位置，采用双线性插值算法计算每个中心点位置的像素值，就会得到四个点的像素值．取四个像素的最大值（即最大池化），依次遍历RoI划分的所有区域，最后即得

的特征图。

本发明提出了一种智能化废弃物分类方法，具体的主要是依据内置的图像识别系统进行目标废弃物的成像、识别、分析、信号生成、运动控制等实现分类，其中在图像的信息通过深度学习得出，具体的是结合ResNet-50作为特征提取网络，同时在ResNet-50的残差块中加入注意力机制模块，使得提取特征时更加关注有用信息。其次，在 ResNet-50的基础上进行不同层次的特征融合，使得预测不同尺度的目标对应不同融合层的特征，有效地提高检测小尺度目标的性能。同时，为了解决原始RPN设置的锚框不能全面覆盖固体废弃物而导致漏检的问题，根据数据集中估计废弃物大小的分布，合理地设计RPN中锚框的尺度和比例，使锚框能够尽可能的覆盖目标；最后，使用RoIAlign替换RoIpooling，避免了RoIpooling的两次量化操作，进一步提升了检测性能。

本发明通过采用注意力机制模块以及RPN的锚框训练学习得出最合适的尺度和比例，同时通过对小物件采用RoIAlign处理，通过三种算法的有机结合，实现对目标废弃物信息的精准识别，可以很好的实现对废弃物的分类。

本发明种所采用的接收装置包括常闭挡板，在不使用时，挡板关闭投递口，可以有效的避免废弃物异味的排出，此外在需要投递时，只需将废弃物靠近投递口，此时挡板会自动感应打开，将废弃物放入接收装置后，挡板随即关闭，完成废弃物投递动作，使用方便。

本发明采用一个远程服务器控制多个装置，可以同时满足成千上百台设备的同时使用，也可以根据不同的地区或者不同类别的场所进行分别设置专门的服务器，以满足不同常用废弃物的需求。

本发明在具体的制造生产中，所述的接收装置，视觉检测装置，信号处理装置，运动控制装置均整合在一个设备上，集成化程度高，同时使用过程中的动力部分均采用电力驱动，电力来源可外接电源，也可以配套太阳能电池板进行使用。

本发明在使用端可与手机APP交互使用，具体的，废弃物投递者可以通过APP找到设备的具体位置，设备管理者可以通过APP接收信号，随时监测设备的情况，并可以随时的处理已经满载废弃物的设备，同时在处理时，只需将不同的废弃物直接分类即可，不用再进行人工分拣，可以有效的减少工作量。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于物联网技术的废弃物图像检测分类系统，其特征在于，包括接收装置、视觉检测装置、信号处理装置、运动控制装置；所述的视觉检测装置用于废弃物的识别分析，包括检测触发器、成像器件、图像采集卡、云端服务器，其通过残差网络对废弃物进行特征提取，且，在残差网络的基础上进行不同层次的特征融合，使得预测不同尺度的目标对应不同融合层的特征，有效地提高检测小尺度目标的性能；此外，在残差块中加入注意力模块，同时，通过训练设计RPN中锚框的尺度和比例，进行废弃物整体覆盖。

2.根据权利要求1所述的一种基于物联网技术的废弃物图像检测分类系统，其特征在于，所述的残差网络采用ResNet-50，ResNet-50包含5个阶段：

。

3.根据权利要求2所述的一种基于物联网技术的废弃物图像检测分类系统，其特征在于，所述的注意力模块用于

三个阶段，ResNet-50经过1X1、3X3、1X1三个卷积层后与注意力模块叠加。

4.根据权利要求3所述的一种基于物联网技术的废弃物图像检测分类系统，其特征在于，所述的注意力模块由通道注意力模块和空间位置注意力模块两部分组成。

5.根据权利要求4所述的一种基于物联网技术的废弃物图像检测分类系统，其特征在于，所述的通道注意力模块输入包括两个分支：全局最大池化层和全局平均池化层；通道注意力模块的计算公式为：

。

6.根据权利要求5所述的一种基于物联网技术的废弃物图像检测分类系统，其特征在于，所述的注意力模块的输出作为空间位置注意力模块的输入，使用通道最大池化和通道平均池化分别进行通道维度的压缩；空间注意力模块的计算公式如下：

。

7.根据权利要求1所述的一种基于物联网技术的废弃物图像检测分类系统，其特征在于，所述的信号处理装置包含信号处理单元，信号处理装置与视觉检测装置进行网络通信，接收废弃物的类别信息并进行响应处理，通过信号处理单元将类别信息转换成运动控制信号。

8.根据权利要求7所述的一种基于物联网技术的废弃物图像检测分类系统，其特征在于，所述的运动控制装置包括信号响应单元、可编程逻辑控制单元、电气线路、以及机械结构，所述的信号响应单元接收运动控制信号并进行响应。

9.根据权利要求1所述的一种基于物联网技术的废弃物图像检测分类系统，其特征在于，所述的视觉检测装置包括辅助成像器件光源，成像器件进行初次图像采集并输出模拟的图像信号，图像采集卡将相机输出的模拟图像信号转换成数字图像数据流，云端服务器中部署有基于人工智能的目标检测和识别的图像处理系统。

10.根据权利要求1-9所述的任一项基于物联网技术的废弃物图像检测分类系统，其特征在于，所述的接收装置，视觉检测装置，信号处理装置，运动控制装置集成整合为同一设备，整体采用电力驱动。

Images