CN109606991B

CN109606991B - 智能垃圾桶及基于深度学习的垃圾分类方法

Info

Publication number: CN109606991B
Application number: CN201910027282.7A
Authority: CN
Inventors: 张博; 刘宇豪; 黄帅杰; 刘琛; 黄山; 张�杰; 段瑞东; 师彬
Original assignee: Zhengzhou University
Current assignee: Zhengzhou University
Priority date: 2019-01-11
Filing date: 2019-01-11
Publication date: 2022-02-08
Anticipated expiration: 2039-01-11
Also published as: CN109606991A

Abstract

本发明提供了一种智能垃圾桶及基于深度学习的垃圾分类方法，该智能垃圾桶包括垃圾桶本体，以及设置在所述垃圾桶本体内的若干分类垃圾箱；还包括控制装置、金属探测装置、垃圾图像采集装置和分类垃圾箱门控装置；金属探测装置，实时采集待分类垃圾的金属属性；垃圾图像采集装置实时采集待分类垃圾的图像信息；所述分类垃圾箱门控装置，与所述控制装置相连，用于控制所述分类垃圾箱的箱门开关；所述控制装置，根据所述待分类垃圾的金属属性和所述待分类垃圾的图像信息，驱动所述分类垃圾箱门控装置动作，使得所述待分类垃圾落入相应的分类垃圾箱中。本发明具有设计科学、实用性强、便于分类、节约能源和生产成本低的优点。

Description

智能垃圾桶及基于深度学习的垃圾分类方法

技术领域

本发明涉及垃圾分类技术领域，具体的说，涉及了一种智能垃圾桶及基于深度学习的垃圾分类方法。

背景技术

生活中的废玻璃，在欧洲回收率高达90%，而在我国85%都被混在垃圾中废弃。我国再生资源利用率偏低，尤其废玻璃、废纺织物、废包装纸等低值可回收物被大量废弃，既加剧了垃圾围城趋势，又造成了环境污染。

记者调研了解到，我国再生资源领域存在回收体系无序、产品标准缺失、技术落后等多重掣肘。国外废钢占到原材料的比例超过铁矿石，发达国家废钢利用率占到55%左右，欧盟国家可达70%。在铜和铝方面，欧美废铜、废铝使用率占比超过50%，日本基本不需要用铝土资源，而是用废铝循环利用。而我国大量再生资源被当作垃圾处理掉，尤其是低值可回收物，如废电池、废玻璃、废包装物、废纺织品等，更是无人收集。

垃圾桶的主要类型有简易型垃圾桶、节能性垃圾桶、感应性垃圾桶、效益性垃圾桶以及新型智能垃圾桶。简易型垃圾桶自不必多说，无外观也不实用；节能型垃圾桶在传统垃圾桶的基础之上，加之太阳能电池用以供电和储备；为了有效改善垃圾恶臭以及防止细菌肆意传播等问题，感应性垃圾桶应运而生，红外线、声控、重量等感应元件和传感器被应用于垃圾桶之上；效益性垃圾桶，主要针对垃圾桶的额外效益加以开发利用，增设ＷiＦi、检测人流量、配置LED屏幕、自动报警灯功能也开始崭露头角。

回归垃圾桶的本质，目前，可对垃圾进行分类的垃圾桶，主要有人工分类与智能分类两种，我们的生活环境中，占据主导位置的仍是使用人工分类的垃圾桶，智能垃圾桶的开发以及所遇到的问题亟待解决。分类垃圾桶的现有方案如下：

方案一：箱体分类垃圾桶，在传统垃圾桶的构造上，增设为两个箱体，可用不同颜色或者“可回收垃圾”“不可回收垃圾”字样及标志来区分垃圾，方便在之后回收垃圾时直接进行分类，在源头处分类，省去了极大部分对垃圾进行分拣的过程，是于90年代在垃圾桶一物上的跨越性标志，具有很大的现实意义和方便性。

缺陷：需要垃圾投掷者的思考、区分手中垃圾的类别，如若没有对垃圾材质和垃圾类型大体分类的了解，有很大可能性对垃圾的可回收性质进行误判，从而使垃圾不能正确的归入到所对应的箱体；需要后期工作人员的检查，并不能实现完全分类。

方案二：箱体分类的效益性智能垃圾桶，在可分类的箱体上，加以太阳能电池板、wifi模块、报警装置等其他功能性模块，充分利用了垃圾桶的其它发展空间。美国BigBellySolar公司发明的一种智能垃圾桶，这个名为BigBelly 的垃圾桶集太阳能、物联网、高效压缩机为一体，通过垃圾桶顶部为垃圾桶提供电源，垃圾快倒满时，压缩机会在40秒内将垃圾的体积压缩至原来的五分之一，等到垃圾箱快满时又会自动联网发送垃圾桶已满及地理位置等信息至垃圾处理中心，减少大量的垃圾回收车和工作人员及维护成本，可以让整体成本降低85%左右，并且一个垃圾桶还将由此减少52吨二氧化碳的排放。

另一种类型的垃圾桶，设立了多个箱体，例如金属、塑料、纸张、玻璃等，同时利用LED显示屏和二维码扫描装置，使人先对垃圾桶进行所需投掷垃圾的分类选项选择，进而所对应箱门打开，投进垃圾，使用对垃圾桶的特殊程序设定，填补了人们对垃圾分类知识的空缺，减少了垃圾错误分类的概率。

缺陷：比之传统的仅由箱体上作出标志来分类的垃圾桶，此类垃圾桶仍未给出对垃圾桶自身对垃圾分类问题的答案，换言之，其本质仍是需要人为操作的人工分类，只是在垃圾桶的结构改造及其他用途上进行了拓展优化，垃圾桶的制作成本也很高。

方案三：机械结构分类的智能垃圾桶，将垃圾类别从源头处分类为塑料、玻璃、金属及其他，分析敲击模块采集的声音信号频率特性，检测判断塑料、玻璃和其它类，用行程开关检测可压缩性，可压缩垃圾认为是其他类，在投掷口与箱体之间设置滑道，在滑倒内对垃圾进行检测，分类完成后通过推动装置在滑道上推进垃圾，放置到对应箱体内。

缺陷：相对成本较高，设计结构复杂，机械之间联动性强则稳定性相对较差，不易普及发展且耗能较大。

为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。

发明内容

本发明的目的是针对现有技术的不足，从而提供一种智能垃圾桶及基于深度学习的垃圾分类方法。

为了实现上述目的，本发明所采用的技术方案是：一种智能垃圾桶，该智能垃圾桶包括垃圾桶本体，以及设置在所述垃圾桶本体内的预处理箱体和若干分类垃圾箱；还包括控制装置、金属探测装置、垃圾图像采集装置和分类垃圾箱门控装置；所述金属探测装置，与所述控制装置相连，用于实时采集待分类垃圾的金属属性，并传输至所述控制装置；所述垃圾图像采集装置，与所述控制装置相连，用于实时采集待分类垃圾的图像信息，并传输至所述控制装置；所述分类垃圾箱门控装置，与所述控制装置相连，用于控制所述分类垃圾箱的箱门开关；所述控制装置，根据所述待分类垃圾的金属属性和所述待分类垃圾的图像信息，驱动所述分类垃圾箱门控装置动作，使得所述待分类垃圾落入相应的分类垃圾箱中。

一种基于深度学习的垃圾分类方法，应用于所述的智能垃圾桶，所述金属探测装置实时采集待分类垃圾的金属属性，所述控制装置根据所述金属探测装置的检测结果，将待分类垃圾分为金属类垃圾和非金属类垃圾；

所述控制装置构建多通道型卷积神经网络模型，将所述金属类垃圾分为第一金属垃圾和其他金属垃圾，将所述非金属类垃圾分为第一非金属垃圾和其他非金属垃圾；

用户输入垃圾样本图像，所述多通道型卷积神经网络模型逐层计算后输出具有代表性的垃圾分类特征，所述垃圾分类特征预存在所述控制装置的垃圾分类器中；

所述垃圾图像采集装置实时采集待分类垃圾的图像信息，并将所述待分类垃圾的图像信息传输至所述控制装置的多通道型卷积神经网络模型，进行垃圾分类特征提取；所述垃圾分类器对实时提取的垃圾分类特征和预存的垃圾分类特征进行比较，输出所述待分类垃圾的类型。

基于上述，所述多通道型卷积神经网络模型依次包括：

第一卷积层，用于对输入的待分类垃圾的图像信息进行初次卷积过滤，获得初始垃圾特征；

第一池化层，用于对所述初始垃圾特征进行池化采样；

第二卷积层，用于对池化采样后的所述初始垃圾特征，进行多重卷积运算，得到深层次垃圾特征；

第一全连接层、第二全连接层，用于对所述深层次垃圾特征采用Relu函数进行垃圾特征提纯；

以及Softmax层，用于将提纯后的垃圾特征进行归一化处理，输出待分类垃圾属于第一金属垃圾、其他金属垃圾、第一非金属垃圾或者其他非金属垃圾的概率。

本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明提供了一种智能垃圾桶及基于深度学习的垃圾分类方法，无需垃圾投掷者的思考，自动区分垃圾的类别，避免了对垃圾的可回收性质的误判，减少了后期检查投入的人力成本；大大提高了垃圾回收利用率低，从源头上减少资源浪费，具有重大现实意义。

附图说明

图1是本发明的结构示意图。

图2是本发明的分类垃圾箱门控装置的示意图。

图3是本发明的电路原理示意图。

图4是本发明的多通道型卷积神经网络模型的结构示意图。

图5是本发明的主要流程示意图。

图中：1.人体热红外感应器；2.电磁铁推拉开关；3.金属探测装置；4.垃圾图像采集装置；5.分类垃圾箱门控装置；6.分类垃圾箱；7.控制装置。

具体实施方式

下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。

实施例1

如附图1-附图3所示，一种智能垃圾桶，该智能垃圾桶包括垃圾桶本体，以及设置在所述垃圾桶本体内的预处理箱体和若干分类垃圾箱6；

还包括控制装置7、金属探测装置3、垃圾图像采集装置4和分类垃圾箱门控装置5；

所述金属探测装置3，与所述控制装置7相连，用于实时采集待分类垃圾的金属属性，并传输至所述控制装置7；

所述垃圾图像采集装置4，与所述控制装置7相连，用于实时采集待分类垃圾的图像信息，并传输至所述控制装置7；

所述分类垃圾箱门控装置5，与所述控制装置7相连，用于控制所述分类垃圾箱的箱门开关；

所述控制装置7，根据所述待分类垃圾的金属属性和所述待分类垃圾的图像信息，驱动所述分类垃圾箱门控装置5动作，使得所述待分类垃圾落入相应的分类垃圾箱6中。

工作时，用户将待分类垃圾投入所述垃圾桶本体内的预处理箱体中；所述金属探测装置3对经过的所述待分类垃圾，实时采集待分类垃圾的金属属性，并传输至所述控制装置7；所述待分类垃圾落在若干分类垃圾箱6的箱门上，所述垃圾图像采集装置4实时采集待分类垃圾的图像信息，并传输至所述控制装置7；所述控制装置7根据所述待分类垃圾的金属属性和所述待分类垃圾的图像信息，驱动所述分类垃圾箱门控装置5动作，使其中一个分类垃圾箱6的箱门打开，所述待分类垃圾落入其中，实现了垃圾的分类存放。

所述控制装置7采用树莓派Raspberry Pi 3 model B，作为整个智能垃圾桶处理中心，控制各个部件之间的协调统一。具体参数为：BCM2837；64位的1.2GHz四核ARMCortex-A53；1GB内存；10/100自适应网卡；802.11n WiFi无线网卡；低功耗蓝牙4.1 (BLE)；HDMI接口；USB 2.0接口 x 4；MicroSD 卡插槽；3.5 mm 音频输出接口；40PIN GPIO接口；CSI摄像头接口，连接所述垃圾图像采集装置4；DSI显示接口。

所述分类垃圾箱门控装置5可以采用舵机或者推拉式电磁铁开关，所述舵机与第一连接杆铰接，所述第一连接杆另一端与第二连接杆铰接，所述第二连接杆垂直固定在一连接板上，所述连接板固设在所述分类垃圾箱6的箱门上。需要分类时，所述控制装置7驱动所述分类垃圾箱门控装置5动作，使其中一个分类垃圾箱6的箱门打开。

实施例2

本实施例与实施例1的区别在于：所述金属探测装置6采用金属线圈，所述金属线圈对应所述垃圾桶本体的入口下方设置。当金属物体通过时，会返回一个信号给所述控制装置7。

所述金属线圈具体参数为：9V恒定电压、功耗270mw、工作频率22KHZ；工作电压7-12V；待机电流<5MA；尺寸：直径12cm线圈。利用电磁感应原理，可检测到通过线圈的金属物体，由此将所述待分类垃圾分为金属类垃圾和非金属类垃圾。

实施例3

本实施例与实施例1的区别在于：所述垃圾图像采集装置4采用摄像头，所述摄像头对应所述预处理箱体上方设置。四个所述分类垃圾箱6的箱门上部构成倒金字塔状的所述预处理箱体，暂时存放所述待分类垃圾，以便所述垃圾图像采集装置4采集所述待分类垃圾的图像信息。

所述摄像头具体参数为：800万像素；感光芯片为索尼IMX219；CCD尺寸：1/4英寸；焦距（Focal Length）：3.04mm；视场角（FOV）：73.8度；静态图片分辨率为3280 × 2464；支持1080p30, 720p60以及640 × 480p90视频录像；尺寸：25mm × 24mm × 9mm。

实施例4

本实施例与实施例1的区别在于：所述垃圾桶本体的入口处还设置电磁铁推拉开关和人体热红外感应器；所述分类垃圾箱内设置超声波传感器；所述控制装置分别控制连接所述人体热红外感应器和所述超声波传感器。

所述人体热红外感应器，作为一个感知模块，用于探测是否有人接近垃圾桶，如果有人就会给所述控制装置7反馈一个电信号；所述控制装置7根据该电信号控制所述垃圾桶本体的入口处的电磁铁推拉开关动作，以达到人来垃圾箱入口打开，人走垃圾箱入口关闭的效果。

每个所述分类垃圾箱设置一个所述超声波传感器，所述超声波传感器对每个所述分类垃圾箱内部的垃圾是否已满进行测量。测量原理为：采用I/O触发测距，给至少10微秒的高电平信号；所述超声波传感器自动发送8个40khz的方波，自动检测是否有信号返回；若有信号返回，通过I/O输出一高电平至所述控制装置7；所述控制装置7根据该信号判断该分类垃圾箱已装满，并通过无线通信模块通知清洁人员进行垃圾桶清洁。

所述无线通信模块采用GPRS无线通信模块、4G无线通信模块或者WiFi无线通信模块。

实施例5

如附图4和附图5所示，一种基于深度学习的垃圾分类方法，应用上述智能垃圾桶，具体为：

所述金属探测装置实时采集待分类垃圾的金属属性，所述控制装置根据所述金属探测装置的检测结果，将待分类垃圾分为金属类垃圾和非金属类垃圾；

本实施例给出了一种多通道型卷积神经网络模型的具体实施方式，

所述多通道型卷积神经网络模型依次包括：

输入层，用于对待分类垃圾的图像信息进行预处理，包括对图像数据的去均值、归一化、PCA/白化；

第一池化层，用于对所述初始垃圾特征进行池化采样；

实施例6

本实施例与实施例5的区别在于：所述第一卷积层的卷积核尺寸为3*3，在卷积后加入BN处理和Dropout处理，并以LeakyRelu函数作为激活函数，以使提取的特征更加的精准。在卷积后加入BN处理(Batch Normalization)和Dropout处理，能够防止模型在训练的过程中出现过拟合的现象，使模型在新的数据上表现更加稳定，增加模型的健壮性。使用LeakyRelu激活函数替换Relu激活函数，能够使神经网络中的神经元尽可能的不受数据的影响而导致神经元丧失活性。

所述第二卷积层包括第一通道卷积层、第二通道卷积层和第三通道卷积层；将池化采样后的所述初始垃圾特征送入所述第一通道卷积层，进行卷积运算，得到第一通道深层次垃圾特征；将池化采样后的所述初始垃圾特征送入所述第二通道卷积层，进行卷积运算，得到第二通道深层次垃圾特征；将池化采样后的所述初始垃圾特征送入所述第三通道卷积层，进行卷积运算，得到第三通道深层次垃圾特征；将所述第一通道深层次垃圾特征、所述第二通道深层次垃圾特征和所述第三通道深层次垃圾特征输入所述第一全连接层。

具体的，所述第一通道卷积层为点卷积层，卷积核尺寸为1*1；所述第二通道卷积层为深度卷积和点卷积混合层，包括依次相连的卷积核尺寸为1*3、1*3和1*1的卷积层；所述第三通道卷积层为深度卷积和点卷积混合层，包括依次相连的卷积核尺寸为1*5、1*5和1*1的卷积层。

在这第二卷积层中，本发明采用不同大小的过滤器（1*1，1*3，1*5），从而能够从相同的输入中提取多级特征的细节。该层采用深度卷积层和点卷积层的结合使用，利用深度卷积层分别对前一层的每个特征数据进行卷积，再将点卷积层内嵌在深度卷积层中，有效地减少了大量的参数。为了有效的提高网络的性能，添加批处理层BN的参数到每个卷积层，并加入Dropout处理，利用LeakyRelu作为网络的激活函数来优化权值更新问题。批处理层BN可以在全局范围内改善网络的性能，可以通过网络改进梯度，防止梯度融合，并允许较大的学习率在一开始就加速收敛，减少了对初始化的依赖，并且使训练数据彻底混乱，从而防止重复选择样本。

本发明采用多核卷积的处理，通过第一通道卷积层、第二通道卷积层和第三通道卷积层的多核处理，使用不同形状的卷积核，从不同的视野范围去分析学习特征，增强了模型对特征的学习能力，从而使模型对图像的识别相较于经典的LeNet5模型更加的准确。

另外，若仅使用多核处理，在增加模型准确度的同时，会增加模型的计算量，本发明将多核处理的过程进一步优化，将第一通道卷积层的卷积核尺寸设置为1*1，在不改变该卷积层输出特征图深度的情况下，减小模型的计算量；同时在第二通道卷积层和第三通道卷积层的卷积核尺寸较大的情况下，将该两通道的卷积过程分为两个部分，第一部分的卷积核尺寸分别为1*3，1*5；在第一部分的卷积过程中，特征图的深度跟输入进来时的深度是一样的，没有发生变化；在第二部分的卷积过程中，将卷积核的大小都设置为1*1，这样可以只是将原来的特征图中的数据从大变小，同时在这一层改变特征图的深度，使其与第一通道卷积层的卷积核处理后的特征图深度相同；在这个处理的过程中，将原来大量的矩阵运算变成了较小的矩阵运算，然后对运算后的结果相加即可。从而将矩阵乘法转化成了乘法和加法的结合，大大减少了模型的计算量。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims

1.一种智能垃圾桶，其特征在于：该智能垃圾桶包括垃圾桶本体，以及设置在所述垃圾桶本体内的预处理箱体和若干分类垃圾箱；

还包括控制装置、金属探测装置、垃圾图像采集装置和分类垃圾箱门控装置；所述金属探测装置，与所述控制装置相连，用于实时采集待分类垃圾的金属属性，并传输至所述控制装置；所述垃圾图像采集装置，与所述控制装置相连，用于实时采集待分类垃圾的图像信息，并传输至所述控制装置；所述分类垃圾箱门控装置，与所述控制装置相连，用于控制所述分类垃圾箱的箱门开关；所述控制装置，根据所述待分类垃圾的金属属性和所述待分类垃圾的图像信息，驱动所述分类垃圾箱门控装置动作，使得所述待分类垃圾落入相应的分类垃圾箱中；所述控制装置根据所述金属探测装置的检测结果，将待分类垃圾分为金属类垃圾和非金属类垃圾；

所述垃圾图像采集装置将所述待分类垃圾的图像信息传输至所述控制装置的多通道型卷积神经网络模型，进行垃圾分类特征提取；所述垃圾分类器对实时提取的垃圾分类特征和预存的垃圾分类特征进行比较，输出所述待分类垃圾的类型；

所述多通道型卷积神经网络模型依次包括：第一卷积层，用于对输入的待分类垃圾的图像信息进行初次卷积过滤，获得初始垃圾特征；第一池化层，用于对所述初始垃圾特征进行池化采样；第二卷积层，用于对池化采样后的所述初始垃圾特征，进行多重卷积运算，得到深层次垃圾特征；第一全连接层、第二全连接层，用于对所述深层次垃圾特征采用Relu函数进行垃圾特征提纯；以及Softmax层，用于将提纯后的垃圾特征进行归一化处理，输出待分类垃圾属于第一金属垃圾、其他金属垃圾、第一非金属垃圾或者其他非金属垃圾的概率；

所述第二卷积层包括第一通道卷积层、第二通道卷积层和第三通道卷积层；将池化采样后的所述初始垃圾特征送入所述第一通道卷积层，进行卷积运算，得到第一通道深层次垃圾特征；将池化采样后的所述初始垃圾特征送入所述第二通道卷积层，进行卷积运算，得到第二通道深层次垃圾特征；将池化采样后的所述初始垃圾特征送入所述第三通道卷积层，进行卷积运算，得到第三通道深层次垃圾特征；将所述第一通道深层次垃圾特征、所述第二通道深层次垃圾特征和所述第三通道深层次垃圾特征输入所述第一全连接层；

将第一通道卷积层的卷积核尺寸设置为1*1，在不改变该卷积层输出特征图深度的情况下，减小模型的计算量；同时在第二通道卷积层和第三通道卷积层的卷积核尺寸较大的情况下，将该两通道的卷积过程分为两个部分，第一部分的卷积核尺寸分别为1*3，1*5；在第一部分的卷积过程中，特征图的深度跟输入进来时的深度是一样的，没有发生变化；在第二部分的卷积过程中，将卷积核的大小都设置为1*1，这样可以只是将原来的特征图中的数据从大变小，同时在这一层改变特征图的深度，使其与第一通道卷积层的卷积核处理后的特征图深度相同；在这个处理的过程中，将原来大量的矩阵运算变成了较小的矩阵运算，然后对运算后的结果相加即可，从而将矩阵乘法转化成了乘法和加法的结合，大大减少了模型的计算量。

2.根据权利要求1所述的智能垃圾桶，其特征在于：所述金属探测装置采用金属线圈，所述金属线圈对应所述垃圾桶本体的入口下方设置。

3.根据权利要求1所述的智能垃圾桶，其特征在于：所述垃圾图像采集装置采用摄像头，所述摄像头对应所述预处理箱体上方设置。

4.根据权利要求1所述的智能垃圾桶，其特征在于：所述预处理箱体为若干所述分类垃圾箱的箱门上部构成的倒金字塔状结构。

5.根据权利要求1所述的智能垃圾桶，其特征在于：所述垃圾桶本体的入口处还设置电磁铁推拉开关和人体热红外感应器；所述分类垃圾箱内设置超声波传感器；所述控制装置分别控制连接所述人体热红外感应器和所述超声波传感器。

6.根据权利要求1所述的智能垃圾桶，其特征在于：所述第一卷积层的卷积核尺寸为3*3，在卷积后加入BN处理和Dropout处理，并以LeakyRelu函数作为激活函数。

7.根据权利要求1所述的智能垃圾桶，其特征在于：所述第一通道卷积层为点卷积层，卷积核尺寸为1*1；

所述第二通道卷积层为深度卷积和点卷积混合层，包括依次相连的卷积核尺寸为1*3、1*3和1*1的卷积层；

所述第三通道卷积层为深度卷积和点卷积混合层，包括依次相连的卷积核尺寸为1*5、1*5和1*1的卷积层。