CN110689085B - 基于深度跨连接网络及损失函数设计的垃圾分类方法 - Google Patents

基于深度跨连接网络及损失函数设计的垃圾分类方法 Download PDF

Info

Publication number
CN110689085B
CN110689085B CN201910944595.9A CN201910944595A CN110689085B CN 110689085 B CN110689085 B CN 110689085B CN 201910944595 A CN201910944595 A CN 201910944595A CN 110689085 B CN110689085 B CN 110689085B
Authority
CN
China
Prior art keywords
network
garbage
loss function
training
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910944595.9A
Other languages
English (en)
Other versions
CN110689085A (zh
Inventor
曾明
吴雨璇
马金玉
李祺
王湘晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201910944595.9A priority Critical patent/CN110689085B/zh
Publication of CN110689085A publication Critical patent/CN110689085A/zh
Application granted granted Critical
Publication of CN110689085B publication Critical patent/CN110689085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W90/00—Enabling technologies or technologies with a potential or indirect contribution to greenhouse gas [GHG] emissions mitigation

Abstract

本发明涉及一种基于深度跨连接网络及损失函数设计的垃圾分类方法，首先用深度跨连接网络DenseNet在公布的数据集上预训练提高网络的特征提取能力，然后在采集的垃圾图像数据集上对网络部分参数微调，实现前期网络在公布的数据集上学习到的特征提取能力迁移到垃圾图像数据集上，同时训练网络的垃圾分类能力，在这部分训练中引入新的损失函数。

Description

基于深度跨连接网络及损失函数设计的垃圾分类方法
技术领域
本发明属于生活垃圾分类和深度学习应用领域。一种利用深度卷积神经网络检测垃圾回收性质的方法。
背景技术
改革开放以来，随着经济的持续高速发展与城市化的迅速扩大，中国在超过美国后成为世界头号生活垃圾生产国。由此带来的生活垃圾任意堆放、大量侵占土地、环境污染严重、资源大量浪费等问题，己成为影响环境保护和可持续发展的重要因素。鉴于该问题的严重性国家已将垃圾分类上升至国家战略高度，考虑到我国国民分类投放意识不强且在短时间内不可能明显改善的现状，自动化实现生活垃圾分类是非常有必要的。
传统的垃圾分类方法有筛分、重选、风选、浮选、磁选、电选、静电分选、电磁分选及光选。这些方法借助垃圾本身的性质进行分选，但是每种方法分类的材质单一，比如浮选用来分选废旧塑料、电磁分选用于废旧电池等，而且所用到的设备大多工艺复杂、价格昂贵。
近些年深度学习技术在图像分类、目标检测、语义分割等许多领域取得了优异的效果，特别是卷积神经网络(CNN)在图像任务上的突出表现。在ILSVRC(ImageNetLarge-ScaleVisualRecognition Challenge)的促进下，AlexNet、ZFNet、VGGNet、GoogLeNet、ResNet、DenseNet等经典网络模型被提出，这些网络强大的特征提取能力大幅度提高了图像分类的准确率。目前基于深度学习的方法也被用于垃圾分类中，但这些方法中所用到的网络层数较浅，提取图像高维特征的能力有限，同时在训练网络中使用单一的损失函数难以获得更优的模型。本专利基于深度跨连接网络及损失函数设计实现了对生活垃圾的精分类。
发明内容
针对现有基于浅层CNN垃圾分类方法存在的问题，本发明提出一种基于深度跨连接网络及损失函数设计的垃圾精分类方法，本发明旨在通过深度跨连接网络DenseNet提取更深层次的特征，通过跨连接方式有效克服深度网络的梯度消失问题，新的损失函数设计进一步提升了垃圾分类准确率。技术方案如下：
一种基于深度跨连接网络及损失函数设计的垃圾分类方法，首先用深度跨连接网络DenseNet在公布的数据集上预训练提高网络的特征提取能力，然后在采集的垃圾图像数据集上对网络部分参数微调，实现前期网络在公布的数据集上学习到的特征提取能力迁移到垃圾图像数据集上，同时训练网络的垃圾分类能力，在这部分训练中引入新的损失函数，包括步骤如下：
第一步，构建带有材质标签的垃圾图像数据集：对采集的垃圾图片进行人工标注，类别分为k类；
第二步，基于深度跨连接网络及损失函数设计来训练模型，方法如下：
1)搭建深度跨连接网络DenseNet，初始化网络模型参数，利用公布的数据集训练全部网络参数，直到网络的特征提取能力达到最优；
2)对1)中训练好的网络,替换最后的全连接分类器，分类数设定为垃圾图像数据集的k类；固定低层网络参数，只允许训练高层的网络参数，设经过改进的深度跨连接网络DenseNet为网络A；
3)对图片数据进行预处理：读取n个图片数据和对应的标签，将每个图片的RGB像素值进行归一化处理，输入到网络A中；
4)3)中得到预处理后的图片数据通过网络A前向传播后得到维度为(n，k)的概率矩阵，每一行代表该图片属于k个类别的概率；
5)根据公式(1)-(4)计算交叉熵损失函数Loss，通过反向传播计算损失对每个参数的导数，进而参数更新：
Figure BDA0002223809440000021
其中
Figure BDA0002223809440000022
是交叉熵损失函数，y是标签，
Figure BDA0002223809440000023
是网络输出；
Figure BDA0002223809440000024
其中
Figure BDA0002223809440000025
是回收概率，pR是可回收概率，pU是不可回收概率；
yr誸c＝(yR，yU)＝(∑i∈Ryi，∑i∈Uyi)  (3)其中yr誸c是回收标签，yR是可回收标签，yU是不可回收标签；
Figure BDA0002223809440000026
其中
Figure BDA0002223809440000027
是材质交叉熵损失函数，
Figure BDA0002223809440000028
是材质概率，ymat是材质标签，
Figure BDA0002223809440000029
是回收交叉熵损失函数，α是权重因子，用来分配两个交叉熵损失的重要性；
6)重复1-5步骤，直到网络A在测试集上的性能不再提高为止；
第三步，垃圾识别：给一张垃圾图片，输入到训练好的网络A当中，得到该垃圾图片关于k类材质的概率，最大概率值对应材质类别的回收性质就是该网络预测的回收性质。
优选地，步骤3)在进行归一化处理后，还通过随机裁剪、随机上下左右翻转、随机亮度、随机饱和度操作对图片做数据增强，并将图片大小resize到(224，224)输入到网络A中。
步骤5)中，优化器选择带动量的SGD，动量参数设置为0.9，初始学习率为0.01，每训练10epochs下降为原来的0.1，权重衰减设置为0.00004。
本发明同时提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-3任意一项所述的方法步骤。
本发明主要优点及特色体现在如下几个方面：
1)本发明利用深度跨连接网络来提取更深层次的特征实现了对生活垃圾的精分类，相对于传统的垃圾分类方法，能够对全部生活垃圾分类，降低了成本。和其他基于浅层CNN网络的垃圾分类方法相比，深度跨连接网络能够提取高维特征，新的损失函数设计更进一步实现准确率的提升。
2)本发明在数据集大小不充足的情况下，通过迁移学习达到较高的分类准确率，同时提高了网络的泛化能力。
附图说明
图1本发明所用的垃圾图像数据集样例图片
图2深度跨连接网络中的1个模块
表1深度跨连接网络的配置说明
具体实施方式
下面对本专利的基于深度跨连接网络及损失函数设计的垃圾精分类方法的具体实施方案做出详细说明：
本发明训练网络所使用的垃圾图像数据集是自行采集的，将校园内的垃圾放置在采集箱内使用摄像头进行拍摄，所述的采集箱顶板安放有摄像头，同时配备有补光装置，对采集的垃圾图片进行人工标注，最终数据集大小为10624张，其中的垃圾来源于校园、生活小区中垃圾桶，类别分为k类，分别是餐厨垃圾、可回收塑料、不可回收塑料、可回收纸类、不可回收纸类、金属、电子产品、玻璃、纺织品、危险有害物品等。
本发明提出的深度跨连接网络能够提取更深层次的特征，同时防止梯度消失，图2是深度跨连接网络中的1个模块，表1是深度跨连接网络的配置说明。
Figure BDA0002223809440000031
Figure BDA0002223809440000041
表1
训练过程中，将数据集按照8：2比例分成训练集和测试集，网络模型通过在训练集上学习后，在测试集上验证学习的效果。为了防止网络训练发生过拟合，通过数据增强增加了训练样本，提高网络的泛化性能，数据增强的手段包含随机裁剪、随机上下左右翻转、随机亮度、随机饱和度。
训练时通过迁移学习提高网络的泛化能力，模型中的参数使用ImageNet训练好的预训练模型初始化，固定低层的网络参数，训练高层的网络参数。
一种基于深度跨连接网络及损失函数设计的垃圾精分类方法的具体实施步骤如下：
1)根据表1搭建深度跨连接网络DenseNet，初始化网络模型参数，在数据集ImageNet训练全部网络参数，直到网络的特征提取能力达到最优。
2)对1)中的网络替换最后的全连接分类器，分类数由ImageNet的1000类变成垃圾图像数据集的k类。固定低层网络参数，只允许训练高层的网络参数。
3)随机读取n个图片数据和对应的标签，将图片RGB像素值归一化到(-1，1)范围内，通过随机裁剪、随机上下左右翻转、随机亮度、随机饱和度等操作对图片做数据增强，最后将图片大小resize到(224，224)输入到网络中。
4)经过预处理后的数据通过网络前向传播后得到维度为(n，k)的概率矩阵，每一行代表该图片属于k个类别的概率。
5)公式4)计算本发明设计的交叉熵损失函数，通过反向传播计算损失对每个参数的导数，进而参数更新。其中优化器选择带动量的SGD，动量参数设置为0.9，初始学习率为0.01，每训练10epochs下降为原来的0.1，权重衰减设置为0.00004。
6)重复1-5步骤，直到网络在测试集上的性能不再提高为止。
本发明的方法在测试集中取得了97.2％的准确率，其中新的损失函数设计对准确率提高了0.7％，说明本方法是一个非常有效的垃圾分类方法，具有很高的应用价值。

Claims (4)

1.一种基于深度跨连接网络及损失函数设计的垃圾分类方法，包括下列步骤：
首先用深度跨连接网络DenseNet在公布的数据集上预训练提高网络的特征提取能力，然后在采集的垃圾图像数据集上对网络部分参数微调，实现前期网络在公布的数据集上学习到的特征提取能力迁移到垃圾图像数据集上，同时训练网络的垃圾分类能力，在这部分训练中引入新的损失函数；步骤如下：
第一步，构建带有材质标签的垃圾图像数据集：对采集的垃圾图片进行人工标注，类别分为k类；
第二步，基于深度跨连接网络及损失函数设计来训练模型，方法如下：
1)搭建深度跨连接网络DenseNet，初始化网络模型参数，利用公布的数据集训练全部网络参数，直到网络的特征提取能力达到最优；
2)对1)中训练好的网络,替换最后的全连接分类器，分类数设定为垃圾图像数据集的k类；固定低层网络参数，只允许训练高层的网络参数，设经过改进的深度跨连接网络DenseNet为网络A；
3)对图片数据进行预处理：读取n个图片数据和对应的标签，将每个图片的RGB像素值进行归一化处理，输入到网络A中；
4)3)中得到预处理后的图片数据通过网络A前向传播后得到维度为(n，k)的概率矩阵，每一行代表该图片属于k个类别的概率；
5)根据公式(1)-(4)计算交叉熵损失函数Loss，通过反向传播计算损失对每个参数的导数，进而参数更新：
其中是交叉熵损失函数，y是标签，是网络输出；
其中是回收概率，pR是可回收概率，pU是不可回收概率；
yrec＝(yR，yU)＝(∑i∈Ryi，∑i∈Uyi)           (3)
其中yrec是回收标签，yR是可回收标签，yU是不可回收标签；
其中是材质交叉熵损失函数，是材质概率，ymat是材质标签，是回收交叉熵损失函数，α是权重因子，用来分配两个交叉熵损失的重要性；
6)重复1-5步骤，直到网络A在测试集上的性能不再提高为止；
第三步，垃圾识别：给一张垃圾图片，输入到训练好的网络A当中，得到该垃圾图片关于k类材质的概率，最大概率值对应材质类别的回收性质就是该网络预测的回收性质。
2.根据权利要求1所述的方法，其特征在于，步骤3)在进行归一化处理后，还通过随机裁剪、随机上下左右翻转、随机亮度、随机饱和度操作对图片做数据增强，并将图片大小resize到(224，224)输入到网络A中。
3.根据权利要求1所述的方法，其特征在于，步骤5)中，优化器选择带动量的SGD，动量参数设置为0.9，初始学习率为0.01，每训练10epochs下降为原来的0.1，权重衰减设置为0.00004。
4.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-3任意一项所述的方法步骤。
CN201910944595.9A 2019-09-30 2019-09-30 基于深度跨连接网络及损失函数设计的垃圾分类方法 Active CN110689085B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910944595.9A CN110689085B (zh) 2019-09-30 2019-09-30 基于深度跨连接网络及损失函数设计的垃圾分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910944595.9A CN110689085B (zh) 2019-09-30 2019-09-30 基于深度跨连接网络及损失函数设计的垃圾分类方法

Publications (2)

Publication Number Publication Date
CN110689085A CN110689085A (zh) 2020-01-14
CN110689085B true CN110689085B (zh) 2023-04-18

Family

ID=69111477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910944595.9A Active CN110689085B (zh) 2019-09-30 2019-09-30 基于深度跨连接网络及损失函数设计的垃圾分类方法

Country Status (1)

Country Link
CN (1) CN110689085B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368895B (zh) * 2020-02-28 2023-04-07 上海海事大学 一种湿垃圾中垃圾袋目标检测方法及检测系统
CN111523483B (zh) * 2020-04-24 2023-10-03 北京邮电大学 中餐菜品图像识别方法及装置
CN111783841B (zh) * 2020-06-09 2023-08-04 中科院成都信息技术股份有限公司 基于迁移学习和模型融合的垃圾分类方法、系统及介质
CN111860660A (zh) * 2020-07-24 2020-10-30 辽宁工程技术大学 基于改进高斯网络的小样本学习垃圾分类方法
CN112541544B (zh) * 2020-12-09 2022-05-13 福州大学 一种基于深度学习的垃圾分类方法
CN112949658B (zh) * 2021-03-10 2022-07-08 清华大学 一种具有稳定性能的深度学习方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
CN109344894A (zh) * 2018-09-28 2019-02-15 广州大学 基于多传感器融合和深度学习的垃圾分类识别方法及装置
CN110119662A (zh) * 2018-03-29 2019-08-13 王胜春 一种基于深度学习的垃圾种类识别系统
CN110210635A (zh) * 2019-06-05 2019-09-06 周皓冉 一种能识别废弃物的智能分类回收系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119662A (zh) * 2018-03-29 2019-08-13 王胜春 一种基于深度学习的垃圾种类识别系统
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
CN109344894A (zh) * 2018-09-28 2019-02-15 广州大学 基于多传感器融合和深度学习的垃圾分类识别方法及装置
CN110210635A (zh) * 2019-06-05 2019-09-06 周皓冉 一种能识别废弃物的智能分类回收系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Dan Zeng et al.Multi-Scale CNN Based Garbage Detection of Airborne Hyperspectral Data.《IEEE Access 》.2019,第7卷1-14. *
宁凯等.基于视觉感知的智能扫地机器人的垃圾检测与分类.《中国图象图形学报》.2019,第24卷(第24期),1358-1368. *

Also Published As

Publication number Publication date
CN110689085A (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
CN110689085B (zh) 基于深度跨连接网络及损失函数设计的垃圾分类方法
CN108171184A (zh) 基于Siamese网络的用于行人重识别的方法
CN102144236B (zh) 用于图像和视频ocr的文本定位
CN101329734B (zh) 基于k-l变换和ls-svm的车牌字符识别方法
CN110598800A (zh) 一种基于人工智能的垃圾分类识别方法
CN103679187B (zh) 图像识别方法和系统
CN106021406B (zh) 一种数据驱动的迭代式图像在线标注方法
CN109711448A (zh) 基于判别关键域和深度学习的植物图像细粒度分类方法
CN102968637A (zh) 一种复杂背景图像文字分割方法
CN106529532A (zh) 一种基于积分特征通道与灰度投影的车牌识别系统
CN101937445A (zh) 一种文件自动分类系统
CN101383008A (zh) 基于视觉注意模型的图像分类方法
CN105095475B (zh) 基于两级融合的不完整属性标记行人重识别方法与系统
CN109583375B (zh) 一种多特征融合的人脸图像光照识别方法及系统
CN109993201A (zh) 一种图像处理方法、装置和可读存储介质
CN112733936A (zh) 一种基于图像识别的可回收垃圾分类方法
CN107330365A (zh) 基于最大稳定极值区域和svm的交通标志识别方法
CN110188750A (zh) 一种基于深度学习的自然场景图片文字识别方法
Xiao et al. Defect detection and classification of galvanized stamping parts based on fully convolution neural network
CN101594314A (zh) 一种基于高阶自相关特征的垃圾邮件图像识别方法及装置
CN110765285A (zh) 基于视觉特征的多媒体信息内容管控方法及系统
Zhang et al. Deep contextual stroke pooling for scene character recognition
CN106203414B (zh) 一种基于判别字典学习与稀疏表示的场景图片文字检测的方法
CN106203291A (zh) 一种基于形态成分分析与自适应字典学习的场景图像文字检测的方法
Chaudhury et al. Model-guided segmentation and layout labelling of document images using a hierarchical conditional random field

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant