CN112949668A - 基于深度学习的垃圾检测系统 - Google Patents

Abstract

本发明公开的基于深度学习的垃圾检测系统，包括垃圾分类模块、垃圾检测模块和网页实现模块，所述垃圾分类模块包括构造数据集和构建网络，所述垃圾检测模块包括构造数据集和构建网络，所述垃圾分类模块和垃圾检测相关联，所述垃圾分类模块数据传输至网页实现模块。本发明所述的基于深度学习的垃圾检测系统，垃圾进行分类时采用的是DenseNet神经网络模型；在检测垃圾时使用了yolo算法最新的yolov3神经网络模型，整个模型中没有池化层和全连接层，通过卷积核的步长来改变张量的尺寸；将深度神经网络模型训练完成之后放入了网页当中，用户只需进入该网页后，按照提示进行相关操作，便可以及时地获取输入的图像的垃圾检测、分类结果。

Description

基于深度学习的垃圾检测系统

技术领域

本发明涉及垃圾检测系统领域，特别涉及基于深度学习的垃圾检测系统。

背景技术

垃圾问题日益严重，随着我国经济的快速发展，城市化进程逐步加快，人民生活水平日益提高，为了满足人民日益增长的生活需求，各种多元化的商品及生活用品纷涌而至，随之而来的是日益增多的生活垃圾，对环境造成了极大的压力，有些城市已经出现了垃圾围城的现象，垃圾分类是对垃圾收集处置传统方式的改革，是对垃圾进行有效处置的一种科学管理方法，垃圾分类看似是微不足道的“小事”，实则关系到13亿多人生活环境的改善，理应大力提倡；相关政策下发、落实不到位，不同于闯红灯的罚钱扣分，生活垃圾由于种类繁多，具体分类缺乏统一标准，大多人在实际垃圾分类时会出现“选择困难”，譬如在上海，新的条例将垃圾分为可回收物、有害垃圾、干垃圾、湿垃圾，也就是说，以后会有四个不同的垃圾桶来收集不同类型的垃圾，有意思的是，从过去一段时间上海市民的真实反馈来看，大多数人对于自己所提垃圾的“最佳归属”不太确定，以至于站在垃圾桶前迟迟不能做出决定；目前垃圾分类有着很大的技术问题，在一次垃圾分类专项调研会议上，有不少专家提出：在AI浪潮滚滚而来赋能各业的今天，是否能够引入信誉机制，利用AI摄像头助力垃圾分类，但是这项建议显然不妥，因为通常来说家庭生活垃圾一般会一起装进垃圾袋，然后扔进垃圾桶，但人们在扔垃圾的时候，机器也无法将塑料袋一个一个依次打开，然后利用图像分析技术去确认垃圾分类是否正确，即便每个人都愿意把塑料袋打开，从图像分析技术角度出发，用现有技术也很难做到精准分析，因为这需要大量的数据去做训练，否则可用性不大，因此现有的垃圾检测技术存在着速度慢、分类准确率不高的问题，所以垃圾检测技术还未在大众中普，参考日本等国家，会发现在机场、车站等地方，大多数人不会产生太多垃圾，很多人只会丢一个空瓶子、一张面巾纸或者一些瓜皮果屑，如果针对这些试点区域去做一些技术应用，从而培养用户习惯，目前来看有一些可行性，但是即使是检测分类单一垃圾，也需要有足够的数据来训练模型从而才可以达到很好的效果，解决这些技术问题。

发明内容

本发明的主要目的在于提供基于深度学习的垃圾检测系统，可以有效解决背景技术中的问题。

为实现上述目的，本发明采取的技术方案为：

基于深度学习的垃圾检测系统，包括垃圾分类模块、垃圾检测模块和网页实现模块，所述垃圾分类模块包括构造数据集和构建网络，所述垃圾检测模块包括构造数据集和构建网络，所述垃圾分类模块和垃圾检测相关联，所述垃圾分类模块数据传输至网页实现模块，所述垃圾检测模块数据传输至网页实现模块。

优选的，所述垃圾分类模块中构造数据集包括有训练集、验证集、测试集。

优选的，所述垃圾分类模块中构建网络为DenseNet，且DenseNet网络为分类模型。

优选的，所述垃圾检测模块中构造数据集包括有训练集、验证集、测试集。

优选的，所述垃圾检测模块中构建网络为YOLOv3，且YOLOv3网络为检测模型。

与现有技术相比，本发明具有如下有益效果：该基于深度学习的垃圾检测系统：

通过设计垃圾分类模块和垃圾检测模块中构造数据集和构建网络，垃圾进行分类时采用的是DenseNet神经网络模型；在检测垃圾时使用了yolo算法最新的yolov3神经网络模型，整个模型中没有池化层和全连接层，通过卷积核的步长来改变张量的尺寸；将深度神经网络模型训练完成之后放入了网页当中，用户只需进入该网页后，按照提示进行相关操作，便可以及时地获取输入的图像的垃圾检测、分类结果；在识别出输入程序的图像中包含了什么物体的同时，对该物体按照一定标准进行分类，并且对于垃圾的种类按照国内的分类标准进行设计，即将垃圾分为：湿垃圾、干垃圾、可回收垃圾与有害垃圾共四类，从而更贴合我国国内对于垃圾的分类需求，更加有利于在国内快速推广使用。

附图说明

图1为本发明基于深度学习的垃圾检测系统的示意图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

如图1-1所示，基于深度学习的垃圾检测系统，包括垃圾分类模块、垃圾检测模块和网页实现模块，所述垃圾分类模块包括构造数据集和构建网络，所述垃圾检测模块包括构造数据集和构建网络，所述垃圾分类模块和垃圾检测相关联，所述垃圾分类模块数据传输至网页实现模块，所述垃圾检测模块数据传输至网页实现模块。

垃圾分类模块中构造数据集包括有训练集、验证集、测试集；所述垃圾分类模块中构建网络为DenseNet，且DenseNet网络为分类模型；所述垃圾检测模块中构造数据集包括有训练集、验证集、测试集；所述垃圾检测模块中构建网络为YOLOv3，且YOLOv3网络为检测模型。

本发明基于深度学习的垃圾检测系统的具体工作过程如下：

(一)垃圾分类:

1.构造数据集：利用爬虫技术，在网络上爬取相关的垃圾图片，并给它们做上标签，还利用了现在公共的垃圾数据集，例如trashnet、华为垃圾分类数据集等，将数据集分为训练集、验证集、测试集，其中训练集用于网络训练，验证集用于在训练的过程中验证模型的性能，测试集用于检验训练完后网络的最终性能。

2.构建网络：首先构建多种Backbone网络，例如VGG网络、ResNet网络、DenseNet网络等，经过实验发现，DenseNet的分类速度与准确率最高，所以在此我们选用DenseNet作为我们的分类模型，来对输入的垃圾的图片进行垃圾分类。

(二)垃圾检测：

1.构造数据集：在此我们使用COCO数据集作为我们的数据集COCO的全称是CommonObjects in Context，是微软团队提供的一个可以用来进行图像识别的数据集，MS COCO数据集中的图像分为训练、验证和测试集，COCO通过在Flickr上搜索80个对象类别和各种场景类型来收集图像，其使用了亚马逊的Mechanical Turk(AMT)。

2.构建网络：在检测中我们使用YOLOv3作为我们的检测模型，YOLOv3在PascalTitan X上处理608x608图像速度可以达到20FPS，在COCO test-dev上mAP@0.5达到57.9％，与RetinaNet(FocalLoss论文所提出的单阶段网络)的结果相近，并且速度快4倍，yolov3的模型比之前的模型复杂了不少，可以通过改变模型结构的大小来权衡速度与精度，YOLOv3在实现相同准确度下要显著地比其它检测方法快，YOLOv3的先验检测(Prior detection)系统将分类器或定位器重新用于执行检测任务。他们将模型应用于图像的多个位置和尺度，而那些评分较高的区域就可以视为检测结果。

(三)网页实现：

整体网页采用react框架进行开发，其中放入后端的php文件于public目录下，采用antdesign的UI框架构造基本界面，引入Axios进行发送接受请求；

登陆界面用js实现本地的验证码生成、鉴别，并且用户登陆前需要验证成功才能进行登陆，登陆成功后返回的token放入缓存中备用，并且路由跳转到检测界面,当用户选中图片后先进行鉴权功能，通过网页缓存查找token，若是用户则上传图片后调用文件中的python文件进行目标检测等功能，否则跳转到登陆界面。

该项目在识别出输入程序的图像中包含了某物体的同时，对该物体按照一定标准进行分类，并且对于垃圾的种类按照国内的分类标准进行设计，即将垃圾分为：湿垃圾、干垃圾、可回收垃圾与有害垃圾共四类，从而更贴合我国国内对于垃圾的分类需求，更加有利于在国内快速推广使用。

该项目在检测垃圾时使用了yolo算法最新的yolov3神经网络模型，整个模型中没有池化层和全连接层，通过卷积核的步长来改变张量的尺寸。把v2的softmax loss替换为logistic loss，每个ground truth就只需匹配一个先验框。增加到9个锚框的同时提高了IoU，但是对ground truth的估计变得更加简单，并且每个尺度只需预测3个框，相对更少。使用了一个下采样，两个上采样共三个detection。由于引用了上采样，模型的backbone使用了darknet-53来增加卷积层，虽然卷积层增多了，但是网络架构是横纵交叉的，很多通道的卷积层没有继承性，所以对速度并未造成影响。相对以前的yolo模型,yolov3把yolo算法的性能真正发挥了出来。该模型能在多个尺度对输入的图像进行检测，对不同大小的物体进行快速识别的同时也保证了较高的准确率。

对垃圾进行分类时采用的是DenseNet神经网络模型。该模型与其他已有模型相比，在保证准确率相同的情况下，模型参数的数目大幅度减小，参数量不到ResNet模型参数量的一半，因此计算过程中所需要的内存也得到节省，计算量也大幅度减小，几乎也为ResNet的一半左右。因此能够更快速、高效、准确地识别出所需图像；同时泛化性更高，具有良好的抗过拟合性，从而使在用户的实际使用过程中，该程序不会过度依赖用于训练模型的数据中提取到的特征，来对用户输入图像进行识别，因此能更准确地识别用户提供的所需图像，而不必要求用户输入的图像满足训练模型时使用的图像中的某一特征，使得该模型能够适用于更多场合的垃圾分类需求，从而得到了性能上的显著提升。

该项目将深度神经网络模型训练完成之后放入了网页当中，用户只需进入该网页后，按照提示进行相关操作，便可以及时地获取输入的图像的垃圾检测、分类结果。由于放入了网页当中，用户便可以随时随地使用该项目来对垃圾分类、使用更加方便快捷；同时对用户使用该项目的设备没有很高的要求，只要能打开网页便可操作，用户只需要在网页中上传需要检测的图像，之后复杂的计算工作则转移到后端程序来完成，然后将检测信息反馈给用户。因此该项目能运用与多种场合、满足多种需求。比如用户在街头需要丢垃圾，却不知道手上的垃圾该丢进哪一类垃圾桶里，只需掏出手机，进入该项目的网页，传入垃圾的照片，就能及时知道手上的垃圾该如何分类丢弃，从而高效地帮助对垃圾分类不熟练的市民排忧解惑。因此该项目在一般市民当中也有良好的适用性，而不需要专业的操作人员才能使用。

下面结合具体示例对本发明基于深度学习的垃圾检测系统进行解释说明。

(一)操作界面中主要对象使用说明：

操作界面中的主要对象包括4类：

1-按钮；2-用户名输入框；3-密码输入框；4-滚动条。

各类对象的使用方法介绍如下：

1-按钮：

(1.1)登录：登录按钮，用于用户登录，当单击此按钮时，如果成功会跳转到上传图片界面，失败则会返回各种错误信息，用户之后根据错误信息来进行信息更改，若要继续登录再点击插入按钮，重复上述操作；

(1.2)确认：确认按钮，用于验证码进行验证，如果正确，则可以继续进行登录操作，如果失败则继续进行验证；

(1.3)更换验证码：更改验证码按钮，用于更改当前显示的验证码，点击此按钮，则会对验证码进行更换。

2-登录框：

(2.1)登录用户名框，用于输入用户名，若在输入状态，光标停止文本框左边界处依数据数型的要求，输入有关信息即可，如果未输入会变为红色，并提示未输入用户名。

3-密码输入框：

(3.1)列表框，用于某些较少且固定的多项目的选择输入，以节约输入时间和保证录入的正确性，用鼠标按住上下箭头，以查找合适的选项，找到后单击一下即完成该字段的输入，如果未输入会变为红色，并提示未输入密码。

4-滚动条：

(4.1)滚动条，拓展数据的显示范围，滚动条分为垂直滚动条和水平滚动条两种，点击垂直滚动条的上下箭头，可以浏览整个数据库表的记录。点击水平滚动条的左右箭头，可以浏览整个网页。

(二)使用说明：

本系统各窗口界面操作基本相同，添加、删除按钮是用来对数据进行加减，编辑按钮对数据进行修改，取消和关闭按钮是取消操作、退出编辑窗口；

(1)登录：

登录界面，完成用户的登录功能，具有判定功能，用户未输入用户名和密码，提示“请输入用户名”和“请输入密码”，此时用户名与密码框全部变为红色，验证码验证错误的情况，并设置有阻止再次弹窗的功能。

(2)目标分类：

图片上传界面，对图片进行上传并进行分类，具体操作过程如下：

(2.1)在功能选择中选择“垃圾分类”；

(2.2)点击选择按钮进行图片选择；

(2.3)选择好图片之后点击上传；

(2.4)等待一段时间之后便会在下边输出对图片进行分类的结果图片；

(2.5)其他测试结果。

(3)垃圾检测：

操作过程和垃圾分类类似，功能为完成对图片中的垃圾进行分类并定位。具体操作过程如下：

(3.1)在功能选择中选择“垃圾检测”功能；

(3.2)点击“选择”按钮；

(3.3)对本地图片进行选择上传；

(3.4)选择好之后点“上传”即可；

(3.5)等待一段时间后会在下边输出最终检测结果；

(3.6)其他测试结果。

(4)调用摄像头进行垃圾分类和垃圾检测：

(4.1)调用摄像头进行垃圾分类：

此处的功能为调用外用摄像头来对拍到的图片进行检测，完成对垃圾进行分类的功能，具体操作流程如下：

(4.1.1)在功能选择中选择垃圾分类；

(4.1.2)点击调用摄像头即可；

(4.1.3)生成结果图片。

(4.2)调用摄像头进行垃圾检测：

此处的功能为调用外用摄像头来对拍到的图片进行检测，完成对垃圾的定位工作，具体操作流程如下：

(4.2.1)在功能选择中选择垃圾检测；

(4.2.2)点击调用摄像头即可；

(4.2.3)生成结果图片。

(5)其他功能：

为了增加用户使用的便捷性，同时加入了许多功能，具体说明如下：

(5.1)查看图片详情；

(5.2)对图片进行缩放；

(5.3)全屏查看图片；

(5.4)移除目前图片；

(5.5)网页等比例缩放。

(三)硬件设备：

计算机和摄像头。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.基于深度学习的垃圾检测系统，其特征在于：包括垃圾分类模块、垃圾检测模块和网页实现模块，所述垃圾分类模块包括构造数据集和构建网络，所述垃圾检测模块包括构造数据集和构建网络，所述垃圾分类模块和垃圾检测相关联，所述垃圾分类模块数据传输至网页实现模块，所述垃圾检测模块数据传输至网页实现模块。

2.根据权利要求1所述的基于深度学习的垃圾检测系统，其特征在于：所述垃圾分类模块中构造数据集包括有训练集、验证集、测试集。

3.根据权利要求2所述的基于深度学习的垃圾检测系统，其特征在于：所述垃圾分类模块中构建网络为DenseNet，且DenseNet网络为分类模型。

4.根据权利要求3所述的基于深度学习的垃圾检测系统，其特征在于：所述垃圾检测模块中构造数据集包括有训练集、验证集、测试集。

5.根据权利要求4所述的基于深度学习的垃圾检测系统，其特征在于：所述垃圾检测模块中构建网络为YOLOv3，且YOLOv3网络为检测模型。

Images