CN111498331B - 基于深度学习的垃圾视觉识别方法、装置及分类回收装置 - Google Patents

基于深度学习的垃圾视觉识别方法、装置及分类回收装置 Download PDF

Info

Publication number
CN111498331B
CN111498331B CN202010368046.4A CN202010368046A CN111498331B CN 111498331 B CN111498331 B CN 111498331B CN 202010368046 A CN202010368046 A CN 202010368046A CN 111498331 B CN111498331 B CN 111498331B
Authority
CN
China
Prior art keywords
garbage
guide
classification
deep learning
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010368046.4A
Other languages
English (en)
Other versions
CN111498331A (zh
Inventor
王森
潘云龙
伍星
张印辉
柳小勤
刘韬
刘畅
陈明方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202010368046.4A priority Critical patent/CN111498331B/zh
Publication of CN111498331A publication Critical patent/CN111498331A/zh
Application granted granted Critical
Publication of CN111498331B publication Critical patent/CN111498331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/0033—Refuse receptacles; Accessories therefor specially adapted for segregated refuse collecting, e.g. receptacles with several compartments; Combination of receptacles
    • B65F1/004—Refuse receptacles; Accessories therefor specially adapted for segregated refuse collecting, e.g. receptacles with several compartments; Combination of receptacles the receptacles being divided in compartments by partitions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/10—Refuse receptacles; Accessories therefor with refuse filling means, e.g. air-locks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/14—Other constructional features; Accessories
    • B65F1/16—Lids or covers
    • B65F1/1607—Lids or covers with filling openings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/0033—Refuse receptacles; Accessories therefor specially adapted for segregated refuse collecting, e.g. receptacles with several compartments; Combination of receptacles
    • B65F2001/008—Means for automatically selecting the receptacle in which refuse should be placed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/138—Identification means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/176—Sorting means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的垃圾视觉识别方法、装置及分类回收装置，本发明的识别装置利用垃圾自重推动所述漏斗盘实现了所述相机对同一物体的不同位置进行成像，将该成像通过采用改进的YOLOv3深度学习网络框架构建的识别方法训练后能够快速识别垃圾所属类别；进一步配合本发明设计的垃圾分类回收装置，将识别的垃圾类别信号转换为用于控制若干个电磁铁的电信号，各分类机构在若干电磁铁和若干弹簧的配合下提前规划出物体的掉落轨迹，使物体仅靠自重便可自动完成分类。

Description

基于深度学习的垃圾视觉识别方法、装置及分类回收装置
技术领域
本发明涉及一种基于深度学习的垃圾视觉识别方法、装置及分类回收装置，属于智能垃圾分类回收装置领域。
背景技术
随着城市现代化建设的步伐加快，物体分类在生产生活中的重要性也越来越明显。其中，批量化或归一化的处理物体发挥着极其重要的作用。但人们在日常生活生产中的垃圾分类意识仍有待提高。因生产废料未能够及时分类而造成浪费和生活垃圾不分类乱扔等问题屡见不鲜。
鉴于常见分类装置大多采用电机来控制的复杂繁琐，分类类别较为单一，有必要提出一种基于深度学习的垃圾视觉识别方法、装置和控制若干电磁铁的装置来实现物体的精确分类的装置。
发明内容
本发明提供了一种基于深度学习的垃圾视觉识别方法，用于对采集的垃圾图像进行类别识别，提供了一种基于深度学习的垃圾视觉识别装置，用于采集垃圾图像并配合识别方法进行类别识别，提供了一种基于深度学习的垃圾视觉分类回收装置，用于根据分类的结果，通过机械控制的方式进行二次垃圾分类，进而实现不同类别垃圾的分区存放。
本发明的技术方案是：一种基于深度学习的垃圾视觉识别方法，其特征在于：所述方法的具体步骤如下：
Step1、人工采集四类垃圾图像数据集，利用插值算法将垃圾图像数据集中的所有图像转变为统一尺寸的图像；其中，四类垃圾分为有害垃圾、可回收垃圾、不可回收垃圾、其他垃圾；
Step2、将所有变换统一尺寸后的垃圾图像数据集分为训练数据集和验证数据集两部分；
Step3、用yolo_mark工具包对训练数据集和验证数据集中的图像进行标注；所述标注是对每张图像上所有需要识别的物体标出相对应的带垃圾类别的边界框；
Step4、数据集标注完成后对超参数进行设置；
Step5、用darknet_master工具包对改进的YOLOv3深度学习网络模型进行训练；所述改进的YOLOv3深度学习网络模型的训练对象是标注边界框的参数，训练结果的表现形式是训练后得到的权重参数；所述边界框的参数包括有：目标信息中心位置的横、纵坐标，边界框的长、宽大小和类别置信度。
所述darknet_master工具包，其具体训练要步骤如下：
Step5.1、载入所述工具包中的预训练文件作为训练的初始权重参数；
Step5.2、在训练数据集中随机抽取一组图像作为本次训练的样本；
Step5.3、将step5.2中所述训练样本中的每一张图像依次放入改进的YOLOv3深度学习网络模型中进行权重参数的更新；所述权重参数的更新，具体为：使用Step5.1所述初始权重参数进行卷积神经网络的前向传播计算并得到一组中间参数，再使用该中间参数进行反向传播计算得到一组新的权重参数；所述新的权重参数将迭代之前用于计算前向传播的旧权重参数；
Step5.4、将Step5.2中所述的训练样本中的所有图像完成一次前向和反向传播的过程记为一次对网络模型的训练，重复步骤Step5.2 ~ Step5.3直至对网络模型训练到固定次数为止；
Step5.5、把Step5.4中所述网络模型训练到固定次数后，筛选出整个过程中最优的权重参数载入到网络模型用于识别。
所述改进的YOLOv3深度学习网络模型的框架结构包括3个卷积模块、2个残差卷积块、3个密集连接卷积块、5个降采样层、2个上采样层和3个YOLO层；5个降采样层中每次的降采样操作后所输出的卷积特征将送入到卷积模块用于提取特征，卷积模块的输出送入下一次降采样：其中前两次降采样的图像送入残差卷积块用于提取图像边缘信息，后三次降采样的图像送入密集连接卷积块中用于提取尺度较小的图像特征；并使用三个密集连接卷积块提取的52×52、26×26和13×13三个尺度下的卷积特征作为输出特征；然后将13×13的卷积特征进行第一次上采样并与26×26的卷积特征进行信息融合；在此基础上再次进行上采样并与52×52的卷积特征进行信息融合，最后分别送入3个yolo层同时对目标进行预测。
一种基于深度学习的垃圾视觉识别装置，包括相机光源9、工业相机10、投入口12、上位机；其中，相机光源9安装在垃圾箱箱体的箱盖1内侧的中心位置；工业相机10共有两个，安装在垃圾箱箱盖1顶部内侧且两工业相机10位置相互对称，工业相机10实时拍摄从垃圾箱箱盖1的投入口12处掉落的垃圾图像传输至上位机，上位机采用上述基于深度学习的垃圾视觉识别方法对垃圾类别进行识别。
一种基于深度学习的垃圾视觉分类回收装置，包括垃圾视觉识别装置、箱体、落料装置和垃圾分类装置；所述箱体包括箱盖1、两块侧箱板6、箱底8；箱盖1的下部与落料装置中漏斗盘支座3紧固；漏斗盘支座3的四周凹槽与第一块侧箱板6的上部四周凸起通过嵌入配合；两块侧箱板6通过嵌入配合，第二块侧箱板6内侧四周的侧板与垃圾分类装置中分类隔板7上部的四周凸起嵌入配合，分类隔板7与箱底8嵌入配合。
所述落料装置包括漏斗盘2、漏斗盘支座3、轴承11和轴承支座13；其中落料漏斗盘2底部与轴承11内径连接，轴承支座13与轴承11外径连接，漏斗盘支座3的上端与轴承支座13的下端通过螺栓13-3连接固定。
所述垃圾分类装置包括第一分类机构4、第二分类机构5、顶针机构34；所述第一分类机构4位于所述落料装置中漏斗盘支座3的下方，用于通过推杆电磁铁15提供动力驱动工字型杠杆14倾斜，实现垃圾第一次分类；第二分类机构5位于第一分类机构4的正下方，用于通过吸盘式电磁铁30提供动力驱动落料导向盘19倾斜，实现垃圾第二次分类；顶针机构34位于第一分类机构4与第二分类机构5之间，用于连接两者。
所述第一分类机构4包括工字型杠杆14、两个推杆电磁铁15、轴Ⅰ16、杠杆支座17、连接销18，所述工字型杠杆14分为上方的导向平台(14-1)、底部的导轨14-3和连接两者的支撑杆14-2；其中，两个推杆电磁铁15一端固定在杠杆支座17的底部，两个推杆电磁铁15另一端分别倒扣在导轨14-3上，杠杆支座17顶部与支撑杆14-2的底部通过轴Ⅰ16相互连接，连接销18一端安装在杠杆支座17底部两端，连接销18另一端安装在箱体的侧箱板6内侧。
所述第二分类机构5包括导向装置、传动装置和分类隔板7；
所述导向装置包括落料导向盘19、导向轮机构20、导向楔形块21、楔形块支座22、弹簧Ⅰ23和导向短柱25，所述导向轮机构20包括轴II20-1、轴承20-2、导向长柱24，轴承20-2与轴II20-1配合，轴II20-1与导向长柱24的下部底座配合；其中导向楔形块21底部分别嵌入楔形块支座22表面对应的四个凹槽，导向轮机构20的底部架在四个已固定的导向楔形块21顶部，通过套在导向轮机构20中导向长柱24和落料导向盘19底部的导向短柱25之间的四组弹簧Ⅰ23连接导向轮机构20顶部和落料导向盘19的底部；在第二分类机构5中弹簧Ⅰ23的配合下，用于调节落料导向盘19的平衡；
所述传动装置包括万向轮26、铁块27、传动工作台28、弹簧Ⅱ29和吸盘式电磁铁30；其中导向装置中楔形块支座22下部凸起处有螺孔与万向轮机构26上部的凸起螺杆通过螺纹配合架落在传动工作台28内部的平台上，传动工作台28内侧四周各安装一个吸盘式电磁铁30，铁块27固定在楔形块支座22底部的四侧，吸盘式电磁铁30的安装位置正对着铁块27，传动工作台28内侧固定与传动工作台28内侧面垂直的导向柱，导向柱上套有弹簧Ⅱ29，导向柱伸出弹簧Ⅱ29的部分用于与铁块27上的导向槽配合，实现铁块27在导向柱上运动；
所述分类隔板7中间有块分类隔板凹槽31用于安装传动工作台28，分类隔板凹槽31的四周各固定有一块薄板32与箱底8内侧的凹槽相互嵌入，从箱底8顶部突出的薄板32顶部构成薄板凸起33，薄板凸起33与第二块侧箱板6凹槽相互嵌入。
所述顶针机构34一端连接在第一分类机构4中杠杆支座17底部，顶针机构34另一端支撑在第二分类机构5中落料导向盘19顶端的半球凹槽处。
本发明的有益效果是：本发明的识别装置利用垃圾自重推动所述漏斗盘实现了所述相机对同一物体的不同位置进行成像，将该成像通过采用改进的YOLOv3深度学习网络框架构建的识别方法训练后能够快速识别垃圾所属类别；进一步配合本发明设计的垃圾分类回收装置，将识别的垃圾类别信号转换为用于控制若干个电磁铁的电信号，各分类机构在若干电磁铁和若干弹簧的配合下提前规划出物体的掉落轨迹，使物体仅靠自重便可自动完成分类。本发明的进一步创新是：与目前常见的分类装置相比，该装置中无需使用任何的电机来作为装置的动力源，也无需使用任何传感器实来时检测物体的运动情况。
附图说明
图1为基于视觉系统的垃圾分类回收装置工作流程图；
图2为YOLOv3深度学习网络模型的框架结构图；
图3为模型训练中的loss函数图像；
图4为模型训练后的检测效果示意图；
图5为基于视觉系统的垃圾分类回收装置三维爆炸图；
图6为机器视觉系统硬件位置示意图；
图7为落料装置半剖图；
图8为落料装置轴承处局部放大图；
图9为第一分类机构三维示意图；
图10为落料装置与第一分类机构联接示意图；
图11为导向装置三维示意图；
图12为导向轮机构联接示意图；
图13为导向轮机构三维示意图；
图14为楔形块支座底部各零件联接示意图；
图15为传动装置三维示意图；
图16为分类隔板联接示意图；
图17为顶针机构联接示意图；
图18为箱底俯视图；
图19为基于视觉系统的垃圾分类回收装置二维示意图；
图中各标号为：1-箱盖；2-漏斗盘；3-漏斗盘支座；4-第一分类机构；5-第二分类机构；6-侧箱板；7-分类隔板；8-箱底；9-相机光源；10-工业相机；11-轴承；12-投入口；13-轴承支座；13-3-螺栓；14-工字形杠杆；14-1-导向平台；14-2-支撑杆；14-3-导轨；15-推杆电磁铁；16-轴Ⅰ；17-杠杆支座；18-连接销；19-落料导向盘；20-导向轮机构；20-1-轴II；20-2-轴承；21-导向楔形块；22-楔形块支座；23-弹簧Ⅰ；24-导向长柱；25-导向短柱；26-万向轮；27-铁块；28-传动工作台；29-弹簧Ⅱ；30-吸盘式电磁铁；31-分类隔板凹槽；32-薄板；33-薄板凸起；34-顶针机构。
具体实施方式
实施例1：如图1-19所示，一种基于深度学习的垃圾视觉识别方法,所述方法的具体步骤如下：
Step1、人工采集四类垃圾图像数据集，利用插值算法将垃圾图像数据集中的所有图像转变为统一尺寸的图像；其中，四类垃圾分为有害垃圾、可回收垃圾、不可回收垃圾、其他垃圾；
Step2、将所有变换统一尺寸后的垃圾图像数据集按照8：2的比例分为训练数据集和验证数据集两部分；
Step3、用yolo_mark工具包对训练数据集和验证数据集中的图像进行标注；所述标注是对每张图像上所有需要识别的物体标出相对应的带垃圾类别的边界框；标注的边界框（bbox）包括有害垃圾（Harmful garbage）、可回收垃圾（Recyclable-garbage）、不可回收垃圾（Non-Recyclable-garbage）、其他垃圾（Other-garbage）这四个类别；
Step4、数据集标注完成后对超参数进行设置；
所述超参数中学习率设置为0.001，最大迭代数设置为8000-10040。设置超参数的文件是工具包中的yolo-obj.cfg文件；学习率设置为0.001可以使损失函数进一步收敛，最大迭代数设置为8000-10040,可以在合理的时间使得收敛效果更优。
具体的：训练类别class为4，最大迭代数max_batches为10040；batch为64，subdivisions为32，表示在每一轮的迭代中从训练集里随机抽取64个样本图片，这64个样本图片又会被均分为32组，相当于每次在网络中训练两张图片；设置学习率learn_rate为0.001，衰减学习率的迭代数steps分别是8000和9000，衰减倍数均是0.1，通过衰减学习率可以进一步收敛loss函数；其余超参数设置为默认值；
Step5、用darknet_master工具包对改进的YOLOv3深度学习网络模型进行训练；所述改进的YOLOv3深度学习网络模型的训练对象是标注边界框的参数，训练结果的表现形式是训练后得到的权重参数；所述边界框的参数包括有：目标信息中心位置的横、纵坐标，边界框的长、宽大小和类别置信度。
进一步地，可以设置所述darknet_master工具包，其具体训练要步骤如下：
Step5.1、载入所述工具包中的darknet53.conv.74预训练文件作为训练的初始权重参数；
Step5.2、在训练数据集中随机抽取一组图像（64张样本图像）作为本次训练的样本；
Step5.3、将step5.2中所述训练样本中的每一张图像依次放入改进的YOLOv3深度学习网络模型中进行权重参数的更新；所述权重参数的更新，具体为：使用Step5.1所述初始权重参数进行卷积神经网络的前向传播计算并得到一组中间参数，再使用该中间参数进行反向传播计算得到一组新的权重参数；所述新的权重参数将迭代之前用于计算前向传播的旧权重参数（第一次为初始权重参数）；
Step5.4、将Step5.2中所述的训练样本中的所有图像完成一次前向和反向传播的过程记为一次对网络模型的训练，重复步骤Step5.2 ~ Step5.3直至对网络模型训练到固定次数为止；当训练到8000次时学习率衰减十倍，9000次时再次衰减十倍，直至训练到max_batches设置的次数为止；
Step5.5、把Step5.4中所述网络模型训练到固定次数后，筛选出整个过程中最优的权重参数载入到网络模型用于识别。将随机抽取验证数据集的图像进行检测，同时将检测到的边界框(bbox)和真实标注的边界框(bbox)进行比对，同时计算两者的损失值和当前的平均精度(mAP)；参见附图3，该模型训练过程中的整体平均精度在90%以上，损失值接近0.5。
在每一次对Step5.4中所述的网络模型的训练完成后，将随机抽取验证数据集的图像进行检测，同时将检测到的边界框和真实标注的边界框进行比对，同时计算两者的损失值并得到loss函数图像，从图中可知，本算法检测的结果与实际的结果匹配度高。
参见附图4，最优的权重参数载入机器视觉系统后，在草地上检测各类垃圾的效果；图中所有的边界框（bbox）是通过载入该识别方法的权重参数计算得来，可以用不同颜色的边界框（bbox）代表不同类别，边界框顶端的标签是判断的类别。
进一步地，可以设置所述改进的YOLOv3深度学习网络模型的框架结构包括3个卷积模块(Conv Set)、2个残差卷积块(Residual Block)、3个密集连接卷积块(DenseBlock)、5个降采样层、2个上采样层和3个YOLO层；5个降采样层中每次的降采样操作后所输出的卷积特征将送入到卷积模块用于提取特征，卷积模块的输出送入下一次降采样：其中前两次降采样的图像送入残差卷积块(Residual Block)用于提取图像边缘信息，后三次降采样的图像送入密集连接卷积块(Dense Block)中用于提取尺度较小的图像特征；并使用三个密集连接卷积块(Dense Block)提取的52×52、26×26和13×13三个尺度下的卷积特征作为输出特征；然后将13×13的卷积特征进行第一次上采样并与26×26的卷积特征进行信息融合；在此基础上再次进行上采样并与52×52的卷积特征进行信息融合(Route)，最后分别送入3个yolo层同时对目标进行预测。
改进的YOLOv3深度学习网络模型通过使用三个密集连接块（DenseBlock）分别提取输入图像在52×52、26×26和13×13三个尺度下的卷积特征，与残差网络相比密集连接块提取复杂数据集特征时有较强抗过拟合能力，有助于提高模型的泛化能力，可以实现从外观属性看属于不一样的物体，但属于同一类垃圾的识别，比如由于生活垃圾种类繁杂且同类垃圾间的相似性可能比较小，一次性筷子、香蕉皮和鸡骨头从外观属性看属于不一样的物体，但都属于不可回收垃圾。
一种基于深度学习的垃圾视觉识别装置，包括相机光源9、工业相机10、投入口12、上位机；其中，相机光源9安装在垃圾箱箱体的箱盖1内侧的中心位置，与箱盖1通过螺钉连接；工业相机10共有两个，安装在垃圾箱箱盖1顶部内侧且两工业相机10位置相互对称，工业相机10实时拍摄从垃圾箱箱盖1的投入口12处掉落的垃圾图像传输至上位机，上位机采用上述基于深度学习的垃圾视觉识别方法对垃圾类别进行识别。
所述相机光源9呈环状，目的是使漏斗盘2上的光线分布均匀，有利于所述工业相机10实时拍摄。所述工业相机10的拍摄方向正对着所述落料漏斗盘2的内表面，两工业相机10可实时拍摄落在漏斗盘2的垃圾，从而捕获同一垃圾在不同角度的图像并提高所述机器视觉系统的检测准确率。
一种基于深度学习的垃圾视觉分类回收装置，包括垃圾视觉识别装置、箱体、落料装置和垃圾分类装置；所述箱体包括箱盖1、两块侧箱板6、箱底8；箱盖1的下部与落料装置中漏斗盘支座3通过螺钉紧固；漏斗盘支座3的四周凹槽与第一块侧箱板6的上部四周凸起通过嵌入配合；两块侧箱板6通过嵌入配合，第二块侧箱板6内侧四周的侧板与垃圾分类装置中分类隔板7上部的四周凸起嵌入配合，分类隔板7与箱底8嵌入配合。
进一步地，可以设置所述落料装置包括漏斗盘2、漏斗盘支座3、轴承11和轴承支座13；其中落料漏斗盘2底部与轴承11内径连接，轴承支座13与轴承11外径连接，漏斗盘支座3的上端与轴承支座13的下端均开有小螺孔并通过螺栓13-3连接固定。
进一步地，可以设置所述垃圾分类装置包括第一分类机构4、第二分类机构5、顶针机构34；所述第一分类机构4位于所述落料装置中漏斗盘支座3的下方，用于通过推杆电磁铁15提供动力驱动工字型杠杆14倾斜，实现垃圾第一次分类；第二分类机构5位于第一分类机构4的正下方，用于通过吸盘式电磁铁30提供动力驱动落料导向盘19倾斜，实现垃圾第二次分类；顶针机构34位于第一分类机构4与第二分类机构5之间，用于连接两者。
进一步地，可以设置所述第一分类机构4包括工字型杠杆14、两个推杆电磁铁15、轴Ⅰ16、杠杆支座17、连接销18，所述工字型杠杆14分为上方的导向平台14-1、底部的导轨14-3和连接两者的支撑杆14-2；其中，两个推杆电磁铁15一端用螺钉固定在杠杆支座17的底部，两个推杆电磁铁15另一端分别倒扣在导轨14-3上，杠杆支座17顶部与支撑杆14-2的底部通过轴Ⅰ16相互连接，连接销18一端安装在杠杆支座17底部两端，连接销18另一端安装在箱体的侧箱板6内侧，通过螺栓紧固连接销18便可以将杠杆支座17和侧箱板6固定。
进一步地，可以设置所述第二分类机构5包括导向装置、传动装置和分类隔板7；
所述导向装置包括落料导向盘19、导向轮机构20、导向楔形块21、楔形块支座22、弹簧Ⅰ23和导向短柱25，所述导向轮机构20包括轴II20-1、轴承20-2、导向长柱24，轴承20-2与轴II20-1配合，轴II20-1与导向长柱24的下部底座配合；其中导向楔形块21底部分别嵌入楔形块支座22表面对应的四个凹槽，导向轮机构20的底部架在四个已固定的导向楔形块21顶部，通过套在导向轮机构20中导向长柱24和落料导向盘19底部的导向短柱25之间的四组弹簧Ⅰ23连接导向轮机构20顶部和落料导向盘19的底部；在第二分类机构5中弹簧Ⅰ23的配合下，用于调节落料导向盘19的平衡；
所述传动装置包括万向轮26、铁块27、传动工作台28、弹簧Ⅱ29和吸盘式电磁铁30；其中导向装置中楔形块支座22下部凸起处有螺孔与万向轮机构26上部的凸起螺杆通过螺纹配合架落在传动工作台28内部的平台上，传动工作台28内侧四周各安装一个吸盘式电磁铁30，铁块27通过螺栓固定在楔形块支座22底部的四侧，吸盘式电磁铁30的安装位置正对着铁块27，传动工作台28内侧通过螺钉固定与传动工作台28内侧面垂直的导向柱，导向柱上套有弹簧Ⅱ29，导向柱伸出弹簧Ⅱ29的部分用于与铁块27上的导向槽配合，实现铁块27在导向柱上运动；
所述分类隔板7中间有块分类隔板凹槽31用于安装传动工作台28，分类隔板凹槽31的四周各焊接有一块薄板32与箱底8内侧的凹槽相互嵌入，从箱底8顶部突出的薄板32顶部构成薄板凸起33，薄板凸起33与第二块侧箱板6凹槽相互嵌入。
所述导向轮机构20有一根直径略小于弹簧23内径的导向长柱24，所述落料导向盘19的底部有四个略大于弹簧23外径的小孔，孔内固定有与导向长柱24直径相等的导向短柱25；所述导向长柱24与导向短柱25用于控制所述弹簧Ⅰ23在压缩状态下的平衡。
分类隔板32与箱底8、侧箱板6的嵌入连接可以保证所述传动工作台28的稳定，继而保证了第二分类机构5的稳定。
进一步地，可以设置所述顶针机构34一端通过螺纹连接在第一分类机构4中杠杆支座17底部，顶针机构34另一端支撑在第二分类机构5中落料导向盘19顶端的半球凹槽处。
关于整体外形：所述第一分类机构4通过连接销固定于侧箱板6，所述第二分类机构5通过分类隔板的薄板32固定于箱底8和侧箱板6；再引入顶针机构34连接接第一分类机构4和第二分类机构5，最终实现箱体与箱内各个机构之间的相互连接。
本发明的工作原理为：
工业相机10实时拍摄从垃圾箱箱盖1的投入口12处掉落的垃圾图像传输至上位机，上位机采用基于深度学习的垃圾视觉识别方法对垃圾类别进行识别；根据识别结果，控制垃圾的掉落，每种类别的控制方式相同，最终实现有害垃圾Harmful garbage、可回收垃圾Recyclable-garbage、不可回收垃圾Non-Recyclable-garbage、其他垃圾Other-garbage四类垃圾掉入通过分类隔板7隔离四个区域，如下举例为有害垃圾Harmful garbage的掉落过程：
当识别为有害垃圾Harmful garbage，通过控制推杆电磁铁15从而控制导向平台14-1的倾斜（图中所示导向平台14-1可以实现两个方向的倾斜，当推杆电磁铁15未通电时，在推杆上的弹簧和轴Ⅰ16的共同作用下工字形杠杆上方的导向平台14-1将保持水平平衡状态；当其中一个推杆电磁铁15通电时，瞬间产生的电磁力将作用在推杆上使推杆向下运动，导向平台14-1在推杆的作用下向一端倾斜）；当垃圾掉落到导向平台14-1时，受倾斜的平台影响从而完成第一次分类。
然后垃圾从倾斜的导向平台14-1落入落料导向盘19上，其中一个吸盘式电磁铁30通电，在电磁力的吸引下，安装在楔形块支座22上的铁块27会被吸盘式电磁铁30整体吸附并产生一段位移。由于楔形块支座22的移动，安装在楔形块支座22上的导向楔形块21也会随之移动，此时其中一个导向轮机构20会沿着导向楔形块21的曲面运动，并压缩上方的弹簧Ⅰ23；此时顶针机构34的底端类似于一个支点，在顶针机构34的支撑下，根据力平衡原理可以得知，受到弹簧压缩的落料导向盘19会向一个方向倾斜，从而让从导向平台14-1掉落的垃圾优先向落料导向盘19倾斜的方向掉落，垃圾最后经过落料导向盘，落在被分类隔板7隔离的区域中，完成垃圾的第二次分类。
其中，吸盘式电磁铁30在通电的瞬间产生强大的电磁力，通电的一块吸盘式电磁铁30带动其正对着的铁块27在电磁力的作用下会被吸附从而带动所述楔形块支座22和所述导向楔形块21整体产生一段位移；当所述吸盘式电磁铁30断电时电磁力会逐渐消失，在弹簧Ⅱ29的弹力作用下所述楔形块支座22将慢慢地恢复原位。
由于所述落料导向盘19被所述顶针机构34连接，所述顶针机构34对所述落料导向盘19顶端的支撑类似于支点，所述落料导向盘19类似于杠杆；当所述楔形块支座22有位移产生时，在所述落料导向轮19和弹簧Ⅰ23的作用下将会向一个固定方向倾斜，最终完成第二次分类。
上面结合图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (7)

1.一种基于深度学习的垃圾视觉分类回收装置，其特征在于：包括垃圾视觉识别装置、箱体、落料装置和垃圾分类装置；所述箱体包括箱盖（1）、两块侧箱板（6）、箱底（8）；箱盖（1）的下部与落料装置中漏斗盘支座（3）紧固；漏斗盘支座（3）的四周凹槽与第一块侧箱板（6）的上部四周凸起通过嵌入配合；两块侧箱板（6）通过嵌入配合，第二块侧箱板（6）内侧四周的侧板与垃圾分类装置中分类隔板（7）上部的四周凸起嵌入配合，分类隔板（7）与箱底（8）嵌入配合；
所述垃圾分类装置包括第一分类机构（4）、第二分类机构（5）、顶针机构（34）；所述第一分类机构（4）位于所述落料装置中漏斗盘支座（3）的下方，用于通过推杆电磁铁（15）提供动力驱动工字型杠杆（14）倾斜，实现垃圾第一次分类；第二分类机构（5）位于第一分类机构（4）的正下方，用于通过吸盘式电磁铁（30）提供动力驱动落料导向盘（19）倾斜，实现垃圾第二次分类；顶针机构（34）位于第一分类机构（4）与第二分类机构（5）之间，用于连接两者；
垃圾视觉识别装置包括相机光源（9）、工业相机（10）、投入口（12）、上位机；其中，相机光源（9）安装在垃圾箱箱体的箱盖（1）内侧的中心位置；工业相机（10）共有两个，安装在垃圾箱箱盖（1）顶部内侧且两工业相机（10）位置相互对称，工业相机（10）实时拍摄从垃圾箱箱盖（1）的投入口（12）处掉落的垃圾图像传输至上位机，上位机采用基于深度学习的垃圾视觉识别方法对垃圾类别进行识别；
所述基于深度学习的垃圾视觉识别方法的具体步骤如下：
Step1、人工采集四类垃圾图像数据集，利用插值算法将垃圾图像数据集中的所有图像转变为统一尺寸的图像；其中，四类垃圾分为有害垃圾、可回收垃圾、不可回收垃圾、其他垃圾；
Step2、将所有变换统一尺寸后的垃圾图像数据集分为训练数据集和验证数据集两部分；
Step3、用yolo_mark工具包对训练数据集和验证数据集中的图像进行标注；所述标注是对每张图像上所有需要识别的物体标出相对应的带垃圾类别的边界框；
Step4、数据集标注完成后对超参数进行设置；
Step5、用darknet_master工具包对改进的YOLOv3深度学习网络模型进行训练；所述改进的YOLOv3深度学习网络模型的训练对象是标注边界框的参数，训练结果的表现形式是训练后得到的权重参数；所述边界框的参数包括有：目标信息中心位置的横、纵坐标，边界框的长、宽大小和类别置信度。
2.根据权利要求1所述的基于深度学习的垃圾视觉分类回收装置，其特征在于：所述darknet_master工具包，其具体训练要步骤如下：
Step5.1、载入所述工具包中的预训练文件作为训练的初始权重参数；
Step5.2、在训练数据集中随机抽取一组图像作为本次训练的样本；
Step5.3、将step5.2中所述训练的样本中的每一张图像依次放入改进的YOLOv3深度学习网络模型中进行权重参数的更新；所述权重参数的更新，具体为：使用Step5.1所述初始权重参数进行卷积神经网络的前向传播计算并得到一组中间参数，再使用该中间参数进行反向传播计算得到一组新的权重参数；所述新的权重参数将迭代之前用于计算前向传播的旧权重参数；
Step5.4、将Step5.2中所述的训练的样本中的所有图像完成一次前向和反向传播的过程记为一次对网络模型的训练，重复步骤Step5.2 ~ Step5.3直至对网络模型训练到固定次数为止；
Step5.5、把Step5.4中所述网络模型训练到固定次数后，筛选出整个过程中最优的权重参数载入到网络模型用于识别。
3.根据权利要求2所述的基于深度学习的垃圾视觉分类回收装置，其特征在于：所述改进的YOLOv3深度学习网络模型的框架结构包括3个卷积模块、2个残差卷积块、3个密集连接卷积块、5个降采样层、2个上采样层和3个YOLO层；5个降采样层中每次的降采样操作后所输出的卷积特征将送入到卷积模块用于提取特征，卷积模块的输出送入下一次降采样：其中前两次降采样的图像送入残差卷积块用于提取图像边缘信息，后三次降采样的图像送入密集连接卷积块中用于提取尺度较小的图像特征；并使用三个密集连接卷积块提取的52×52、26×26和13×13三个尺度下的卷积特征作为输出特征；然后将13×13的卷积特征进行第一次上采样并与26×26的卷积特征进行信息融合；在此基础上再次进行上采样并与52×52的卷积特征进行信息融合，最后分别送入3个yolo层同时对目标进行预测。
4.根据权利要求1所述的基于深度学习的垃圾视觉分类回收装置，其特征在于：所述落料装置包括漏斗盘（2）、漏斗盘支座（3）、轴承（11）和轴承支座（13）；其中落料漏斗盘（2）底部与轴承（11）内径连接，轴承支座（13）与轴承（11）外径连接，漏斗盘支座（3）的上端与轴承支座（13）的下端通过螺栓（13-3）连接固定。
5.根据权利要求1所述的基于深度学习的垃圾视觉分类回收装置，其特征在于：所述第一分类机构（4）包括工字型杠杆（14）、两个推杆电磁铁（15）、轴Ⅰ（16）、杠杆支座（17）、连接销（18），所述工字型杠杆（14）分为上方的导向平台(14-1)、底部的导轨（14-3）和连接两者的支撑杆（14-2）；其中，两个推杆电磁铁（15）一端固定在杠杆支座（17）的底部，两个推杆电磁铁（15）另一端分别倒扣在导轨（14-3）上，杠杆支座（17）顶部与支撑杆（14-2）的底部通过轴Ⅰ（16）相互连接，连接销（18）一端安装在杠杆支座（17）底部两端，连接销（18）另一端安装在箱体的侧箱板（6）内侧。
6.根据权利要求1所述的基于深度学习的垃圾视觉分类回收装置，其特征在于：所述第二分类机构（5）包括导向装置、传动装置和分类隔板（7）；
所述导向装置包括落料导向盘（19）、导向轮机构（20）、导向楔形块（21）、楔形块支座（22）、弹簧Ⅰ（23）和导向短柱（25），所述导向轮机构（20）包括轴II（20-1）、轴承（20-2）、导向长柱（24），轴承（20-2）与轴II（20-1）配合，轴II（20-1）与导向长柱（24）的下部底座配合；其中导向楔形块（21）底部分别嵌入楔形块支座（22）表面对应的四个凹槽，导向轮机构（20）的底部架在四个已固定的导向楔形块（21）顶部，通过套在导向轮机构（20）中导向长柱（24）和落料导向盘（19）底部的导向短柱（25）之间的四组弹簧Ⅰ（23）连接导向轮机构（20）顶部和落料导向盘（19）的底部；在第二分类机构（5）中弹簧Ⅰ（23）的配合下，用于调节落料导向盘（19）的平衡；
所述传动装置包括万向轮（26）、铁块（27）、传动工作台（28）、弹簧Ⅱ（29）和吸盘式电磁铁（30）；其中导向装置中楔形块支座（22）下部凸起处有螺孔与万向轮（26）上部的凸起螺杆通过螺纹配合架落在传动工作台（28）内部的平台上，传动工作台（28）内侧四周各安装一个吸盘式电磁铁（30），铁块（27）固定在楔形块支座（22）底部的四侧，吸盘式电磁铁（30）的安装位置正对着铁块（27），传动工作台（28）内侧固定与传动工作台（28）内侧面垂直的导向柱，导向柱上套有弹簧Ⅱ（29），导向柱伸出弹簧Ⅱ（29）的部分用于与铁块（27）上的导向槽配合，实现铁块（27）在导向柱上运动；
所述分类隔板（7）中间有块分类隔板凹槽（31）用于安装传动工作台（28），分类隔板凹槽（31）的四周各固定有一块薄板（32）与箱底（8）内侧的凹槽相互嵌入，从箱底（8）顶部突出的薄板（32）顶部构成薄板凸起（33），薄板凸起（33）与第二块侧箱板（6）凹槽相互嵌入。
7.根据权利要求1所述的基于深度学习的垃圾视觉分类回收装置，其特征在于：所述顶针机构（34）一端连接在第一分类机构（4）中杠杆支座（17）底部，顶针机构（34）另一端支撑在第二分类机构（5）中落料导向盘（19）顶端的半球凹槽处。
CN202010368046.4A 2020-04-30 2020-04-30 基于深度学习的垃圾视觉识别方法、装置及分类回收装置 Active CN111498331B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010368046.4A CN111498331B (zh) 2020-04-30 2020-04-30 基于深度学习的垃圾视觉识别方法、装置及分类回收装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010368046.4A CN111498331B (zh) 2020-04-30 2020-04-30 基于深度学习的垃圾视觉识别方法、装置及分类回收装置

Publications (2)

Publication Number Publication Date
CN111498331A CN111498331A (zh) 2020-08-07
CN111498331B true CN111498331B (zh) 2022-02-01

Family

ID=71871744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010368046.4A Active CN111498331B (zh) 2020-04-30 2020-04-30 基于深度学习的垃圾视觉识别方法、装置及分类回收装置

Country Status (1)

Country Link
CN (1) CN111498331B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036500B (zh) * 2020-09-04 2024-08-13 广东弓叶科技有限公司 基于深度图像及多光谱图像融合的垃圾分类方法及装置
CN112257799A (zh) * 2020-10-30 2021-01-22 电子科技大学中山学院 一种生活垃圾目标检测的方法、系统及装置
CN112722612A (zh) * 2020-12-25 2021-04-30 上海交通大学 基于yolo网络的垃圾检测方法及系统
CN113003037B (zh) * 2021-02-28 2022-11-01 哈尔滨理工大学 一种基于交叉带式分拣结构的智能垃圾分类系统
CN113763418B (zh) * 2021-03-02 2024-02-02 华南理工大学 一种基于头肩检测的多目标跟踪方法
CN113083701A (zh) * 2021-03-03 2021-07-09 浙江博城机器人科技有限公司 一种基于室外垃圾图像大数据分析的垃圾自动分类分拣方法
CN113086450B (zh) * 2021-04-16 2022-10-04 武汉理工大学 一种旋转式分类垃圾箱
WO2023229538A1 (en) * 2022-05-27 2023-11-30 National University Of Singapore Waste management system
CN115890680B (zh) * 2022-12-06 2024-06-11 昆明理工大学 基于雅可比矩阵的并联机器人末端位置误差补偿方法
CN117564533B (zh) * 2024-01-15 2024-03-22 苏州德星云智能装备有限公司 基于机器视觉的金属网承载物焊接方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298265A (zh) * 2019-06-10 2019-10-01 东南大学 一种基于yolo神经网络的电梯中特定目标检测方法
CN110598800A (zh) * 2019-09-23 2019-12-20 山东浪潮人工智能研究院有限公司 一种基于人工智能的垃圾分类识别方法
CN110929760A (zh) * 2019-10-30 2020-03-27 中国科学院自动化研究所南京人工智能芯片创新研究院 一种基于计算机视觉的垃圾分类软件
CN210285463U (zh) * 2019-07-30 2020-04-10 温州大学瓯江学院 一种可自动分类垃圾的垃圾桶

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI726229B (zh) * 2018-08-13 2021-05-01 國立陽明交通大學 基於深度學習及電腦視覺技術之垃圾分類系統及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298265A (zh) * 2019-06-10 2019-10-01 东南大学 一种基于yolo神经网络的电梯中特定目标检测方法
CN210285463U (zh) * 2019-07-30 2020-04-10 温州大学瓯江学院 一种可自动分类垃圾的垃圾桶
CN110598800A (zh) * 2019-09-23 2019-12-20 山东浪潮人工智能研究院有限公司 一种基于人工智能的垃圾分类识别方法
CN110929760A (zh) * 2019-10-30 2020-03-27 中国科学院自动化研究所南京人工智能芯片创新研究院 一种基于计算机视觉的垃圾分类软件

Also Published As

Publication number Publication date
CN111498331A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN111498331B (zh) 基于深度学习的垃圾视觉识别方法、装置及分类回收装置
CN109928107B (zh) 一种自动分类系统
CN110861852A (zh) 一种基于视觉识别的自动分类垃圾桶及分类方法
CN110210635A (zh) 一种能识别废弃物的智能分类回收系统
CN110288035B (zh) 一种智能垃圾桶在线自主学习方法及系统
CN109622416B (zh) 基于超声传感器阵列的垃圾分类方法及其系统
EP3700835A1 (en) Systems and methods for detecting waste receptacles using convolutional neural networks
US20210295039A1 (en) Methods and electronic devices for automated waste management
CN110697273A (zh) 一种基于迭代学习控制的生活垃圾智能识别与自动分类系统及方法
CN113213016B (zh) 一种基于ViT的垃圾识别分类方法及其装置和控制方法
CN111126138A (zh) 垃圾分类ai图像识别方法
CN108672326A (zh) 一种小型自动化垃圾分拣装置
CN110654738A (zh) 一种基于自然语言处理的垃圾自动分类回收装置与方法
Herzog et al. Deep rl at scale: Sorting waste in office buildings with a fleet of mobile manipulators
CN109622390A (zh) 一种智能垃圾回收系统及其方法
CN109543732A (zh) 基于类别特征知识库的装配系统及方法
CN106269579A (zh) 种子分拣系统
Mittal et al. Trash classification: classifying garbage using deep learning
Kapadia et al. Dry waste segregation using seamless integration of deep learning and industrial machine vision
CN113371363A (zh) 分类垃圾桶、基于深度学习的智能分类垃圾桶及分类方法
Rijah et al. Smart waste segregation for home environment
CN111517018A (zh) 一种智能垃圾分类设备以及分类方法
CN217576626U (zh) 分类垃圾桶
CN114851194A (zh) 清洁机器人的拾物方法、装置及其相关设备和存储介质
CN210906964U (zh) 一种用于球形水果分级的装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
OL01 Intention to license declared
OL01 Intention to license declared
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200807

Assignee: Honghe Yuantou Property Management Co.,Ltd.

Assignor: Kunming University of Science and Technology

Contract record no.: X2024980015502

Denomination of invention: Garbage visual recognition method, device, and classification and recycling device based on deep learning

Granted publication date: 20220201

License type: Open License

Record date: 20240924