CN113562355A - 基于深度学习技术的智能垃圾分拣装置及方法 - Google Patents

基于深度学习技术的智能垃圾分拣装置及方法 Download PDF

Info

Publication number
CN113562355A
CN113562355A CN202110912529.0A CN202110912529A CN113562355A CN 113562355 A CN113562355 A CN 113562355A CN 202110912529 A CN202110912529 A CN 202110912529A CN 113562355 A CN113562355 A CN 113562355A
Authority
CN
China
Prior art keywords
chip microcomputer
single chip
garbage
battery
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110912529.0A
Other languages
English (en)
Inventor
吴启航
龚志仁
古家森
赵子嘉
葛旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202110912529.0A priority Critical patent/CN113562355A/zh
Publication of CN113562355A publication Critical patent/CN113562355A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/0033—Refuse receptacles; Accessories therefor specially adapted for segregated refuse collecting, e.g. receptacles with several compartments; Combination of receptacles
    • B65F1/0053—Combination of several receptacles
    • B65F1/006—Rigid receptacles stored in an enclosure or forming part of it
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/14—Other constructional features; Accessories
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/14—Other constructional features; Accessories
    • B65F1/1484—Other constructional features; Accessories relating to the adaptation of receptacles to carry identification means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/0033—Refuse receptacles; Accessories therefor specially adapted for segregated refuse collecting, e.g. receptacles with several compartments; Combination of receptacles
    • B65F2001/008—Means for automatically selecting the receptacle in which refuse should be placed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/0033—Refuse receptacles; Accessories therefor specially adapted for segregated refuse collecting, e.g. receptacles with several compartments; Combination of receptacles
    • B65F2001/0086—Means for holding receptacles together
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/128—Data transmitting means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/138—Identification means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/152—Material detecting means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/176—Sorting means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/178—Steps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/182—Volume determining means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习技术的智能垃圾分拣装置及方法，包括框架、第一单片机、第二单片机、LCD显示屏、电池、电池扩展板，所述框架内部通过隔板分割为上下两个空间，上方为收集部分，下方为分类部分，收集部分开设有投放口，分类部分中设置有多个垃圾桶；所述第一单片机、第二单片机、电池安装在框架上，框架的顶部设置有LCD显示屏，投放口一侧设置有第一红外测距模块，投放板底面设置有第二红外测距模块，投放板的上设置有摄像头；所述第一单片机与第一舵机、第二舵机并联接于电池，电池与电池扩展板连接。本发明可以自主识别分辨投放口的垃圾种类，对垃圾进行精准投放，并具有满载检测与信息交互的功能。

Description

基于深度学习技术的智能垃圾分拣装置及方法
技术领域
本发明属于电子信息技术领域，涉及一种基于深度学习技术的OFFLINE智能垃圾分拣装置及其使用方法。
背景技术
当前人们面临日益增加的垃圾产量和环境状况恶化的局面，如何有效实施垃圾分类，是当时世界各国共同关注的火急问题。智能分类垃圾桶在一定程度上能够有效的缓解上述问题。智能垃圾桶的发明，可以有效推进垃圾分类政策的实施、减少政策实施成本。
就目前而言，国内外的家用智能垃圾桶其功能主要为感应开盖、自动打包垃圾袋，不具备垃圾分拣的能力。而像公共区域中的智能垃圾箱同样不能够识别垃圾类型，而是人为选择后对其进行积分的奖赏。即国内外目前尚未出现能够自行分拣垃圾的垃圾桶产品。
国家知识产权局于2021年4月2日公开了一件公开号为CN111153085B、名称为“垃圾分类装置”的发明专利，采用筒体、分类箱、竖版等机械部件实现垃圾分类与倾倒，但不便将分类箱内的垃圾到处，并且结构仅靠物理实现，智能化差。
国家知识产权局于2021年5月7日公开了一件公开号为CN213140033U、名称为“智能垃圾分类装置”的实用新型专利，依靠图像识别技术来识别垃圾种类并将垃圾分类投放到对应垃圾箱中，但其缺少对于图像识别技术这一核心模块的具体讲解，缺少图像识别的操作机理与工作过程。
国家知识产权局于2021年月30日公开了一件公开号为CN112722633A、名称为“智能垃圾分类装置及其方法”的发明专利，可实现桶盖的开启闭合、垃圾类别提醒、垃圾投放时间提醒，但其缺少对于垃圾的自动分拣投放功能。
同时，得力于现如今大数据及人工智能技术的发展，尤其是机器视觉如今已有了很多落地项目，更够满足识别垃圾类别的要求。其中，MobileNet v3神经网络具有分类精度高、MADD计算量小、模型轻量化的特点，引起了学者的广泛关注。
得力于现代电子技术发展，单片机的智能控制在生产中得到了大量的应用。其中树莓派4B和STM32单片机作为较为前沿的单片机具有大量的应用实例，具有控制性能好、操作性高等优点。
综上，本发明采取了基于深度学习技术的OFFLINE智能垃圾分拣装置实现高效率智能分拣垃圾的目的。该装置适用于各种环境，且安装便捷，操作简单，较为实惠，很有推广价值。
发明内容
针对当前传统垃圾分类装置智能化差、效率低、操作性欠佳等问题，本发明的目的是提供一种基于深度学习技术的OFFLINE智能垃圾分拣装置及其使用方法
为了实现上述目的，本发明采用以下技术方案：
一种基于深度学习技术的智能垃圾分拣装置，包括框架、第一单片机、第二单片机、LCD显示屏、电池、电池扩展板，所述框架内部通过隔板分割为上下两个空间，上方为收集部分，下方为分类部分，收集部分开设有投放口，分类部分中设置有多个垃圾桶，多个垃圾桶放置于一块圆形板上，圆形板下方安装有若干万向轮，并置于框架底部；所述隔板上开设有一个分类口，分类口的口径小于等于单个垃圾桶的口径，隔板下端的中心位置设置有第一舵机，第一舵机连接有投放板，投放板位于隔板和垃圾桶之间，投放板能够在第一舵机带动下相对于隔板的中心转动，投放板能够完全遮住或漏出分类口，所述圆形板下端的中心位置设置有第二舵机，圆形板能够在第二舵机带动下相对于隔板底部转动；所述第一单片机、第二单片机、电池安装在框架上，框架的顶部设置有LCD显示屏，投放口一侧设置有第一红外测距模块，用于检测是否有垃圾掉入，投放板底面设置有第二红外测距模块，用于检测垃圾桶剩余容量，投放板的上设置有摄像头，用于采集垃圾图像数据；所述第一单片机与第一舵机、第二舵机并联接于电池，电池与电池扩展板连接，第一单片机的USB接口与第二单片机的USB转串口模块相连，用于串口通信和供电，第一单片机通过CSI总线与摄像头相连，LCD显示屏通过HDMI接口与第一单片机相接，用于实现交互功能。
进一步的，所述第一单片机为树莓派4B单片机，第二单片机为STM32单片机，树莓派4B单片机与STM32单片机通过USB-TTL接口，利用micro-USB数据线相接，用于STM32单片机的供电以及树莓派4B单片机与STM32单片机之间的串口通信。
进一步的，所述电池的输出线与电池扩展板上的PH2.0锂电池输入接口相接，第一单片机通过TPYE-C数据线连接电池扩展版上的USB-A座供电。
进一步的，所述第一舵机和第二舵机相同，其正极与负极通过USB面焊接插头与电池扩展板上的USB-B座连接，舵机信号线分别连接STM32上的IO口，IO口能够配置PWM输出。
进一步的，所述第一红外测距模块和第二红外测距模块均配置有红外传感器，其VCC与GND分别并联接至第二单片机的5V与GND引脚，其模拟输出信号接至第二单片机的IO口。
进一步的，所述摄像头通过FFC软排线接到第一单片机的CSI接口。
进一步的，所述树莓派4B单片机安装有Debian系统，安装有PYTHON语言，配置PYTORCH、OPENCV深度学习框架与模块，安装PYQT5用于设计图形交互界面。
一种基于深度学习技术的OFFLINE智能垃圾分拣装置的使用方法，包括以下步骤：
步骤1，用PYTHON语言搭建MobileNet v3神经网络模型，寻找垃圾分类数据集并利用已搭建的MobileNet v3神经网络模型采集垃圾图像数据用于网络训练，编写训练脚本，存储网络模型数据；
步骤2，将所述智能垃圾分拣装置连接电源，运行用PYINSTALL打包好的垃圾分类可执行文件，第二单片机初始化其内置的定时器，并配置其内置的定时器终端和ADC，第一单片机载入步骤1搭建的MobileNet v3神经网络模型；
步骤3，第二单片机利用中断服务函数读取第一红外传感器数据判断距离是否大于阈值，以判断是否有垃圾投入其中，若检测到垃圾投放，则通过串口向第一单片机传输信号；
步骤4，第一单片机等待第二单片机的串口传输信号，在接收到信号时，驱动摄像头拍摄照片，对照片进行裁剪，减少图像中的非垃圾数据，并将处理好后的照片传送至MobileNet v3神经网络模型；
步骤5，MobileNet v3神经网络对照片进行处理，向第二单片机输出数据，同时继续等待信号；
步骤6，第二单片机接收第一单片机的网络输出数据，驱动第一舵机使垃圾落入对应垃圾桶；
步骤7，第二单片机读取第二红外测距数据换算成垃圾桶剩余容量，并向第一单片机传输数据；
步骤8，第一单片机接收第二单片机的传输数据，并通过LED显示屏显示分类信息与容量信息。
有益效果：本发明基于深度学习技术，利用树莓派4B单片机于STM32单片机来实现智能垃圾自动分拣一体化并可视化的效果。本发明将垃圾识别、自动分拣、满载检测等功能集成在该装置上，旨在简单、快速、高效地实现智能垃圾分拣。
本发明基于深度学习技术、树莓派4B单片机与STM32单片机，可以实现垃圾分类、垃圾自动分拣、垃圾满载检测的功能。这样的设计克服了传统垃圾桶智能化差、自动化程度低、操作不便的问题；此外，采用MobileNet V3神经网络，其具有分类精度高、MADD计算量小、模型轻量化的显著优点。
附图说明
图1是本发明的OFFLINE智能垃圾分拣装置的电路连接图；
图2a是本发明的装置结构图；
图2b是图2a中A部分的放大图；
图3是本发明中MobileNet v3神经网络的执行流程；
图4是本发明中MobileNet v3神经网络的Block结构图；
图5是本发明的方法流程图。
具体实施方式
下面结合附图对本发明做更进一步的解释。
如图1、2a、2b所示，本发明的一种基于深度学习技术的智能垃圾分拣装置，包括框架1、第一单片机、第二单片机、LCD显示屏、电池、电池扩展板，框架1内部通过隔板4分割为上下两个空间，上方为收集部分2，下方为分类部分3，收集部分2开设有投放口5，分类部分3中设置有多个垃圾桶6，多个垃圾桶6放置于一块圆形板7上，圆形板7下方安装有若干万向轮，并置于框架1底部；隔板4上开设有一个分类口8，分类口8的口径小于等于单个垃圾桶6的口径，隔板4下端的中心位置设置有第一舵机11，第一舵机11连接有投放板9，投放板9位于隔板4和垃圾桶6之间，投放板9能够在第一舵机11带动下相对于隔板4的中心转动，投放板9能够完全遮住或漏出分类口8，圆形板7下端的中心位置设置有第二舵机12，圆形板7能够在第二舵机12带动下相对于隔板4底部转动；第一单片机、第二单片机、电池安装在框架1上，框架1的顶部设置有LCD显示屏10，投放口5一侧设置有第一红外测距模块13，用于检测是否有垃圾掉入，投放板9底面设置有第二红外测距模块，用于检测垃圾桶剩余容量，投放板9的上设置有摄像头，用于采集垃圾图像数据；第一单片机与第一舵机11、第二舵机12并联接于电池，电池与电池扩展板连接，第一单片机的USB接口与第二单片机的USB转串口模块相连，用于串口通信和供电，第一单片机通过CSI总线与摄像头相连，LCD显示屏通过HDMI接口与第一单片机相接，用于实现交互功能。
隔板4为两块，且完全相同，第一单片机、第二单片机、电池等放置于两层隔板之间。
第一单片机为树莓派4B单片机，第二单片机为STM32单片机，树莓派4B单片机与STM32单片机通过USB-TTL接口，利用micro-USB数据线相接，用于STM32单片机的供电以及树莓派4B单片机与STM32单片机之间的串口通信。
述电池的输出线与电池扩展板上的PH2.0锂电池输入接口相接，第一单片机通过TPYE-C数据线连接电池扩展版上的USB-A座供电。
第一舵机和第二舵机相同，其正极与负极通过USB面焊接插头与电池扩展板上的USB-B座连接，舵机信号线分别连接STM32上的IO口，IO口能够配置PWM输出。
第一红外测距模块和第二红外测距模块均配置有红外传感器，其VCC与GND分别并联接至第二单片机的5V与GND引脚，其模拟输出信号接至第二单片机的IO口。
摄像头通过FFC软排线接到第一单片机的CSI接口。
树莓派4B单片机型号为树莓派4B 4G；STM32单片机型号为STM32F407；所述第一舵机和第二舵机的型号为TD-8120MG；所述第一红外传感器和第二红外传感器的型号为GP2Y0A21YK0F(量程10-80cm)；所述摄像头型号为Raspberry Pi Camera Module v2；所述LCD显示屏型号为HD DISCLB 7inch；所述电池型号为Raspberry Pi Club 3.7V 10000mAH；所述电池扩展板型号为RPi UPSPack Standard V3P。
树莓派4B单片机安装有Debian系统，安装有PYTHON语言，配置PYTORCH、OPENCV深度学习框架与模块，安装PYQT5用于设计图形交互界面。
首先要在树莓派4B单片机上部署PYTORCH框架，安装OPENCV，PYQT5等模块，搭建好MobileNet v3神经网络，并在电脑上根据采集的生活垃圾数据集进行模型训练，可直接将训练后的模型移植到树莓派上。
GP2Y0A21YK0F红外测距模块为模拟输出，应对STM32单片机相应IO口进行AD转换的初始化。配置定时中断，在定时中断中读取红外测距模块的值，当该值小于某一阈值时认定有垃圾投放到投放板上，此时STM32单片机通过串口发送信息告诉树莓派4B单片机有垃圾投入。此时树莓派4B单片机调用摄像头采集投放板上的图像数据，并将其传入神经网络模型中，再通过串口将识别得到的垃圾种类返回给STM32单片机，STM32单片机根据得到的信息判断底下的垃圾桶应旋转的角度，并控制舵机将对应垃圾桶移动到投放口正下方，控制与投放板相连的舵机旋转，使投放板上的垃圾落入桶中。调用投放板下方的红外测距模块判断垃圾桶剩余容量，将此值通过串口送给树莓派4B单片机，树莓派4B单片机将相应信息通过显示屏显示出来。
结合图3、图4，所述的MobileNet v3神经网络采用Block结构，图中NL表示非线性激活函数，Dwise表示深度可分离卷积，POOL表示平均池化层，FC表示全连接层，RELU表示RELU激活函数，hard-σ表示h-sigmoid激活函数。MobileNet v3的网络块结构综合了MobileNetV1的深度可分离卷积(depthwise separable convolutions)、MobileNetV2的倒残差结构(the inverted residual with linear bottleneck)和MnasNet的基于squeezeand excitation结构的轻量级注意力模型的思想，并且加入了SE模块即注意力机制。
结合图5，一种基于深度学习技术的OFFLINE智能垃圾分拣装置的使用方法，包括以下步骤：
步骤1，用PYTHON语言搭建MobileNet v3神经网络模型，寻找垃圾分类数据集并利用已搭建的MobileNet v3神经网络模型采集垃圾图像数据用于网络训练，编写训练脚本，存储网络模型数据；
步骤2，将所述智能垃圾分拣装置连接电源，运行用PYINSTALL打包好的垃圾分类可执行文件，第二单片机初始化其内置的定时器，并配置其内置的定时器终端和ADC，第一单片机载入步骤1搭建的MobileNet v3神经网络模型；
步骤3，第二单片机利用中断服务函数读取第一红外传感器数据判断距离是否大于阈值，以判断是否有垃圾投入其中，若检测到垃圾投放，则通过串口向第一单片机传输信号；
步骤4，第一单片机等待第二单片机的串口传输信号，在接收到信号时，驱动摄像头拍摄照片，对照片进行裁剪，减少图像中的非垃圾数据，并将处理好后的照片传送至MobileNet v3神经网络模型；
步骤5，MobileNet v3神经网络对照片进行处理，向第二单片机输出数据，同时继续等待信号；
步骤6，第二单片机接收第一单片机的网络输出数据，驱动第一舵机使垃圾落入对应垃圾桶；
步骤7，第二单片机读取第二红外测距数据换算成垃圾桶剩余容量，并向第一单片机传输数据；
步骤8，第一单片机接收第二单片机的传输数据，并通过LED显示屏显示分类信息与容量信息。
本发明基于深度学习技术、树莓派4B单片机与STM32单片机，可以实现垃圾分类、垃圾自动分拣、垃圾满载检测的功能。这样的设计克服了传统垃圾桶智能化差、自动化程度低、操作不便的问题；此外，采用MobileNet V3神经网络，其具有分类精度高、MADD计算量小、模型轻量化的显著优点。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于深度学习技术的智能垃圾分拣装置，其特征在于：包括框架(1)、第一单片机、第二单片机、LCD显示屏、电池、电池扩展板，所述框架(1)内部通过隔板(4)分割为上下两个空间，上方为收集部分(2)，下方为分类部分(3)，收集部分(2)开设有投放口(5)，分类部分(3)中设置有多个垃圾桶(6)，多个垃圾桶(6)放置于一块圆形板(7)上，圆形板(7)下方安装有若干万向轮，并置于框架(1)底部；所述隔板(4)上开设有一个分类口(8)，分类口(8)的口径小于等于单个垃圾桶(6)的口径，隔板(4)下端的中心位置设置有第一舵机(11)，第一舵机(11)连接有投放板(9)，投放板(9)位于隔板(4)和垃圾桶(6)之间，投放板(9)能够在第一舵机(11)带动下相对于隔板(4)的中心转动，投放板(9)能够完全遮住或漏出分类口(8)，所述圆形板(7)下端的中心位置设置有第二舵机(12)，圆形板(7)能够在第二舵机(12)带动下相对于隔板(4)底部转动；所述第一单片机、第二单片机、电池安装在框架(1)上，框架(1)的顶部设置有LCD显示屏(10)，投放口(5)一侧设置有第一红外测距模块，用于检测是否有垃圾掉入，投放板(9)底面设置有第二红外测距模块，用于检测垃圾桶剩余容量，投放板(9)的上设置有摄像头，用于采集垃圾图像数据；所述第一单片机与第一舵机(11)、第二舵机(12)并联接于电池，电池与电池扩展板连接，第一单片机的USB接口与第二单片机的USB转串口模块相连，用于串口通信和供电，第一单片机通过CSI总线与摄像头相连，LCD显示屏通过HDMI接口与第一单片机相接，用于实现交互功能。
2.根据权利要求1所述的基于深度学习技术的智能垃圾分拣装置，其特征在于：所述第一单片机为树莓派4B单片机，第二单片机为STM32单片机，树莓派4B单片机与STM32单片机通过USB-TTL接口，利用micro-USB数据线相接，用于STM32单片机的供电以及树莓派4B单片机与STM32单片机之间的串口通信。
3.根据权利要求1所述的基于深度学习技术的智能垃圾分拣装置，其特征在于：所述电池的输出线与电池扩展板上的PH2.0锂电池输入接口相接，第一单片机通过TPYE-C数据线连接电池扩展版上的USB-A座供电。
4.根据权利要求1所述的基于深度学习技术的智能垃圾分拣装置，其特征在于：所述第一舵机和第二舵机相同，其正极与负极通过USB面焊接插头与电池扩展板上的USB-B座连接，舵机信号线分别连接STM32上的IO口，IO口能够配置PWM输出。
5.根据权利要求1所述的基于深度学习技术的智能垃圾分拣装置，其特征在于：所述第一红外测距模块和第二红外测距模块均配置有红外传感器，其VCC与GND分别并联接至第二单片机的5V与GND引脚，其模拟输出信号接至第二单片机的IO口。
6.根据权利要求1所述的基于深度学习技术的智能垃圾分拣装置，其特征在于：所述摄像头通过FFC软排线接到第一单片机的CSI接口。
7.根据权利要求2所述的基于深度学习技术的智能垃圾分拣装置，其特征在于：所述树莓派4B单片机安装有Debian系统，安装有PYTHON语言，配置PYTORCH、OPENCV深度学习框架与模块，安装PYQT5用于设计图形交互界面。
8.一种根据权利要求1-7任一所述的一种基于深度学习技术的OFFLINE智能垃圾分拣装置的使用方法，其特征在于，包括以下步骤：
步骤1，用PYTHON语言搭建MobileNet v3神经网络模型，寻找垃圾分类数据集并利用已搭建的MobileNet v3神经网络模型采集垃圾图像数据用于网络训练，编写训练脚本，存储网络模型数据；
步骤2，将所述智能垃圾分拣装置连接电源，运行用PYINSTALL打包好的垃圾分类可执行文件，第二单片机初始化其内置的定时器，并配置其内置的定时器终端和ADC，第一单片机载入步骤1搭建的MobileNet v3神经网络模型；
步骤3，第二单片机利用中断服务函数读取第一红外传感器数据判断距离是否大于阈值，以判断是否有垃圾投入其中，若检测到垃圾投放，则通过串口向第一单片机传输信号；
步骤4，第一单片机等待第二单片机的串口传输信号，在接收到信号时，驱动摄像头拍摄照片，对照片进行裁剪，减少图像中的非垃圾数据，并将处理好后的照片传送至MobileNet v3神经网络模型；
步骤5，MobileNet v3神经网络对照片进行处理，向第二单片机输出数据，同时继续等待信号；
步骤6，第二单片机接收第一单片机的网络输出数据，驱动第一舵机使垃圾落入对应垃圾桶；
步骤7，第二单片机读取第二红外测距数据换算成垃圾桶剩余容量，并向第一单片机传输数据；
步骤8，第一单片机接收第二单片机的传输数据，并通过LED显示屏显示分类信息与容量信息。
CN202110912529.0A 2021-08-10 2021-08-10 基于深度学习技术的智能垃圾分拣装置及方法 Pending CN113562355A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110912529.0A CN113562355A (zh) 2021-08-10 2021-08-10 基于深度学习技术的智能垃圾分拣装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110912529.0A CN113562355A (zh) 2021-08-10 2021-08-10 基于深度学习技术的智能垃圾分拣装置及方法

Publications (1)

Publication Number Publication Date
CN113562355A true CN113562355A (zh) 2021-10-29

Family

ID=78171021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110912529.0A Pending CN113562355A (zh) 2021-08-10 2021-08-10 基于深度学习技术的智能垃圾分拣装置及方法

Country Status (1)

Country Link
CN (1) CN113562355A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114030773A (zh) * 2021-11-30 2022-02-11 重庆交通大学 基于太阳能供能的智能分类垃圾桶

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103552788A (zh) * 2013-11-07 2014-02-05 邱泽国 集群式垃圾自动识别总成及其自动分类垃圾桶
GB201817286D0 (en) * 2018-10-24 2018-12-05 Future Health Works Ltd Computer based object detection within a video or image
CN110119662A (zh) * 2018-03-29 2019-08-13 王胜春 一种基于深度学习的垃圾种类识别系统
CN111709477A (zh) * 2020-06-16 2020-09-25 浪潮集团有限公司 一种基于改进MobileNet网络进行垃圾分类的方法及工具
CN111738357A (zh) * 2020-07-24 2020-10-02 完美世界(北京)软件科技发展有限公司 垃圾图片的识别方法、装置及设备
CN112061624A (zh) * 2020-07-13 2020-12-11 浙江科技学院 一种垃圾分类的识别装置及识别方法
CN112830129A (zh) * 2021-03-05 2021-05-25 湘潭大学 一种景区垃圾智能分类系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103552788A (zh) * 2013-11-07 2014-02-05 邱泽国 集群式垃圾自动识别总成及其自动分类垃圾桶
CN110119662A (zh) * 2018-03-29 2019-08-13 王胜春 一种基于深度学习的垃圾种类识别系统
GB201817286D0 (en) * 2018-10-24 2018-12-05 Future Health Works Ltd Computer based object detection within a video or image
CN111709477A (zh) * 2020-06-16 2020-09-25 浪潮集团有限公司 一种基于改进MobileNet网络进行垃圾分类的方法及工具
CN112061624A (zh) * 2020-07-13 2020-12-11 浙江科技学院 一种垃圾分类的识别装置及识别方法
CN111738357A (zh) * 2020-07-24 2020-10-02 完美世界(北京)软件科技发展有限公司 垃圾图片的识别方法、装置及设备
CN112830129A (zh) * 2021-03-05 2021-05-25 湘潭大学 一种景区垃圾智能分类系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114030773A (zh) * 2021-11-30 2022-02-11 重庆交通大学 基于太阳能供能的智能分类垃圾桶

Similar Documents

Publication Publication Date Title
CN104355018B (zh) 一种智能感应垃圾桶系统
CN110316496A (zh) 一种基于互联网的智能垃圾识别分类装置
CN211309726U (zh) 智能人机交互式垃圾桶控制系统
CN109809060A (zh) 一种自动分类垃圾桶及其管理系统
CN105564870A (zh) 一种具有垃圾数据收集功能的垃圾箱/垃圾桶
CN112793954A (zh) 一种智能有偿垃圾回收箱及方法
CN113562355A (zh) 基于深度学习技术的智能垃圾分拣装置及方法
CN109703937A (zh) 智能垃圾桶
CN111332651A (zh) 一种基于深度学习的光电感应垃圾桶
CN112693767A (zh) 一种垃圾分类机器人
CN112027399A (zh) 一种多功能智能清洁垃圾桶
CN215507875U (zh) 基于人工智能神经网络的饮料瓶罐分类装置
CN204129224U (zh) 诱鱼灯探鱼器及诱鱼灯探鱼器系统
CN214297580U (zh) 一种基于互联网的智能垃圾识别分类装置
CN209853051U (zh) 一种基于单片机的智能垃圾桶
CN205470948U (zh) 一种具有垃圾数据收集功能的垃圾箱/垃圾桶
CN108861244B (zh) 一种楼宇垃圾清运机器人总成及其控制系统
CN216188048U (zh) 一种智慧环卫垃圾箱溢满监测装置以及系统
CN214932735U (zh) 一种垃圾分类设备
CN211811528U (zh) 一种智能垃圾桶
CN213058604U (zh) 一种智能垃圾分类收集箱及其控制系统
CN214132853U (zh) 一种智能垃圾桶
CN212048930U (zh) 一种智能垃圾桶
CN213385967U (zh) 一种基于视觉检测的垃圾收集装置
CN211568994U (zh) 一种基于5g的智能监测垃圾桶

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211029

RJ01 Rejection of invention patent application after publication