CN111783841B - 基于迁移学习和模型融合的垃圾分类方法、系统及介质 - Google Patents
基于迁移学习和模型融合的垃圾分类方法、系统及介质 Download PDFInfo
- Publication number
- CN111783841B CN111783841B CN202010518521.1A CN202010518521A CN111783841B CN 111783841 B CN111783841 B CN 111783841B CN 202010518521 A CN202010518521 A CN 202010518521A CN 111783841 B CN111783841 B CN 111783841B
- Authority
- CN
- China
- Prior art keywords
- classification
- network
- classifier
- garbage
- model fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000004927 fusion Effects 0.000 title claims abstract description 46
- 238000013508 migration Methods 0.000 title claims description 7
- 230000005012 migration Effects 0.000 title claims description 7
- 238000013526 transfer learning Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 5
- 230000008014 freezing Effects 0.000 claims description 4
- 238000007710 freezing Methods 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 3
- 238000010257 thawing Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 210000002569 neuron Anatomy 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 241000353135 Psenopsis anomala Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
- Y02W30/00—Technologies for solid waste management
- Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于迁移学习和模型融合的垃圾分类方法、系统及存储介质，该方法中，通过分类器对垃圾图像数据进行分类，并输出相应的分类结果，而且，由于本发明所采用的分类器其生成过程包括通过使用Adaboost算法将两种不同的分类网络构建成为两个强分类器，泛化错误率低，不会出现过拟合，能够达到工业需求的高准确率；以及还包括利用决策层融合的方式将两个强分类器融合，从而充分利用特征多样性，进一步提高分类准确率。
Description
技术领域
本发明涉及图像分析识别领域与机器学习领域，特别涉及一种基于迁移学习和模型融合的垃圾分类方法、系统及介质，属于基于深度学习的图像目标检测技术。
背景技术
随着低碳环保的生活理念越来越普及，垃圾分类问题越来越得到人民的关注。根据住房和城乡建设部规划，到2020年底包括北京、成都、重庆等46个重点城市要基本实现垃圾分类处理系统，其他地级城市实现公共机构生活垃圾分类全覆盖。但垃圾分类界定模糊，比如瓜子壳被官方鉴定为湿垃圾，但是粽叶却被鉴定为干垃圾，除了居民素质及宣传力度等因素外，人工进行垃圾分类难、麻烦的问题也越来越突出。
与人们的直觉不同，若设定垃圾分类标准通过计算机识别、通过传感器获得垃圾的图像信息，然后通过深度神经网络进行分类的方法能有效降低人工成本，因此，越来越被重视。
目前，基于机器学习来实现垃圾分类的方式主要是：通过金属传感器及其他一些专用传感器获得垃圾的物理特征，然后通过中央处理器对获得的特征进行识别及分类，大部分需要联网在云端进行识别。而现有的垃圾分类算法主要依靠人工特征提取，如颜色、形态、纹理等视觉特征，再通过支持向量机等机器学习方法进行判断。但是，此类方法复杂度高，通常只能适用于某些特定场景，可泛化能力差，在实际应用过程中易受到环境因素的干扰，造成复杂环境下识别准确率低的缺点。
因此，有必要设计一种泛化能力强、精度高的垃圾分类方法。
发明内容
鉴于以上所述现有技术的不足，本发明的目的在于：提供一种泛化能力强、精度高的垃圾分类方法，并基于迁移学习技术和模型融合技术，克服现有垃圾分类算法拓展性低、误报率高、训练成本高、识别速度慢、难以实现本地运算等足。
为实现上述发明目的，本发明提供以下技术方案：
一种基于迁移学习和模型融合的垃圾分类方法，其包括以下步骤：
S1：对待分类的垃圾图像进行预处理；
S2：采用分类器对经所述预处理后的垃圾图像数据进行分类，输出相应的分类结果；
其中，生成所述分类器的过程包括：通过使用Adaboost算法分别对第一种分类网络和第二种分类网络进行迭代N次训练而得到N个所述第一种分类网络的弱分类网络和N个所述第二种分类网络的弱分类网络，再通过加权投票选出1个所述第一种分类网络的强分类器和1个所述第二种分类网络的强分类器，最后，对2个强分类器进行决策层模型融合而生成所述分类器。
根据一种具体的实施方式，本发明基于迁移学习和模型融合的垃圾分类方法中，对第一种分类网络和第二种分类网络进行迭代N次训练前，按照一定比例将已添加分类标签的垃圾图像数据集划分为训练集D、验证集V和测试集T；
以及在使用Adaboost算法进行迭代N次训练过程中，若新迭代轮次对前一轮错误分类样本改进低于给定阈值，则下一次迭代时解冻部分冻结参数。
进一步地，本发明基于迁移学习和模型融合的垃圾分类方法中，对2个强分类器进行决策层模型融合包括以下步骤：
使用测试集T分别测试对2个强分类器的分类正确率，而得到所述第一种分类网络的强分类器的分类正确率ACCM，所述第二种分类网络的强分类器的分类正确率ACCS；
将所述第一种分类网络的强分类器的各类概率输出乘以第一系数α1，以及将所述第二种分类网络的强分类器的各类概率输出乘以第二系数α2，再将其中概率数值最大所对应的类别作为所述分类器的预测类别；其中，
根据一种具体的实施方式，本发明基于迁移学习和模型融合的垃圾分类方法中，在划分所述垃圾图像数据集前，还对所述垃圾图像数据集进行预处理；其中，所述预处理具体包括以下步骤：对垃圾图像进行伽马校正；以及对经伽马校正后的垃圾图像进行拉普拉斯增强。
进一步地，在训练过程中，对所述垃圾图像数据集中的图像进行随机旋转和/或随机水平翻转而生成模拟数据，以对数据集增强。
根据一种具体的实施方式，本发明基于迁移学习和模型融合的垃圾分类方法中，所述第一种分类网络为包含一个基于MobileNetV2的特征提取网络和一个单隐层全连接神经网络的分类网络，所述第二种分类网络维为包含一个基于SqueezeNet的特征提取网络和一个单隐层全连接神经网络的分类网络；而且，所述第一种分类网络和所述第二种分类网络的所述单隐层全连接神经网络采用中心损失与交叉熵损失的加权函数作为损失函数，以及所述特征提取网络采用在ImageNet上的预训练权重对特征提取网络参数进行参数初始化。
进一步地，本发明基于迁移学习和模型融合的垃圾分类方法中，所述损失函数为：
L＝Ls+λLc
其中，Ls为交叉熵损失函数，λ为加权系数，Lc为中心损失函数；而且，所述中心损失函数为：
其中，m表示最小批次中的训练样本的数量。xi∈Rd表示第i个训练样本。yi表示xi的标记。表示深部特征的yi类中心，d是要素尺寸。
本发明在具体实施的一方面，还提供一种基于迁移学习和模型融合的垃圾分类系统，其特包括：
预处理模块，用于对待分类的垃圾图像进行预处理；
分类模块，用于运行分类器，以对经所述预处理后的垃圾图像数据进行分类，并输出相应的分类结果；
其中，生成所述分类器的过程包括：通过使用Adaboost算法分别对第一种分类网络和第二种分类网络进行迭代N次训练而得到N个所述第一种分类网络的弱分类网络和N个所述第二种分类网络的弱分类网络，再通过加权投票选出1个所述第一种分类网络的强分类器和1个所述第二种分类网络的强分类器，最后，对2个强分类器进行决策层模型融合而生成所述分类器。
本发明在具体实施的一方面，还提供一种可读存储介质，其上存储有一个或多个程序，该一个或多个程序被一个或多个处理器执行时实现本发明基于迁移学习和模型融合的垃圾分类方法。
与现有技术相比，本发明的有益效果：
1、本发明基于迁移学习和模型融合的垃圾分类方法中，通过分类器对垃圾图像数据进行分类，并输出相应的分类结果，而且，由于本发明所采用的分类器其生成过程包括通过使用Adaboost算法将两种不同的分类网络构建成为两个强分类器，泛化错误率低，不会出现过拟合，能够达到工业需求的高准确率；以及还包括利用决策层融合的方式将两个强分类器融合，从而充分利用特征多样性，进一步提高分类准确率。
2、本发明基于迁移学习和模型融合的垃圾分类方法中，由于本发明所采用的分类器其生成过程中所采用的分类网络均为轻量型网络，如基于MobileNetV2的分类网络和基于SqueezeNet的分类网络，而且通过适当地冻结底层参数，训练时参数量少，训练速度快。
3、本发明基于迁移学习和模型融合的垃圾分类方法中，由于本发明所采用的分类器其生成过程中所采用的分类网络使用中心损失和交叉熵损失的加权函数作为损失函数，能够减小类内距离，从而提高分类准确率。
附图说明
图1为基于迁移学习和模型融合的垃圾分类方法流程图；
图2为Adaboost训练算法示意图；
图3为决策层融合示意图；
图4为图像预处理流程图；
图5为预处理效果图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
实施例
本实施例用图像数据主要来自华为云人工智能大赛——垃圾分类挑战杯，共有19735张图像数据，实验环境为python3.7.3、keras 2.24、tensorflow1.13.0(gpu版本)。
如图1所示，本发明基于迁移学习和模型融合的垃圾分类方法，其包括以下步骤：
S1：对待分类的垃圾图像进行预处理；即对待预测图像进行预处理。
S2：采用分类器对经预处理后的垃圾图像数据进行分类，输出相应的分类结果；即利用决策层模型融合分类器对预测图像进行分类预测，从而输出相应的预测类别。
具体的，生成该决策层模型融合分类器过程包括：通过使用Adaboost算法分别对第一种分类网络和第二种分类网络进行迭代N次训练而得到N个所述第一种分类网络的弱分类网络和N个所述第二种分类网络的弱分类网络，再通过加权投票选出1个所述第一种分类网络的强分类器和1个所述第二种分类网络的强分类器，最后，对2个强分类器进行决策层模型融合而生成该决策层模型融合分类器。
在实施时，将垃圾分为其他垃圾、厨余垃圾、可回收垃圾、有害垃圾四大类，在此基础上细分为40小类，这样足以满足当前居民和主流垃圾处理站需求。对所收集的图像确定类别，并为每张图像打上相应的类别标签，完成数据标注，然后将相同类别的图像放在同一文件夹，作为数据集。
然后，进行图像预处理，其流程如图4所示，首先对原始图像进行伽马校正，然后对经伽马校正的图像进行拉普拉斯增强。其中，对原始图像进行伽马校正包括：检测所有图片的亮度，使用R,G,B三个通道像素均值的平均值作为图像平均亮度，取平均亮度的0.70倍到1.43倍作为亮度的正常范围，根据具体场景不同范围可以调整。
对低于正常范围的图像使用伽马矫正进行光照增强，高于正常范围的使用伽马矫正进行光照弱化其公式为：
s＝a×(r^gama)
其中r为原始图像，a取为1，gama为矫正系数，按照经验在低于正常范围时取0.8，在高于正常范围时取1.2。
而进行拉普拉斯增强的方式为：使用二阶拉普拉斯微分算子实现拉普拉斯增强，其输出公式为：
p(x，y)＝f(x，y)+f(x+1，y)+f(x-1，y)+f(x，y+1)+f(x，y-1)-4(x，y)
其中，f(x，y)为原始图像，p(x，y)为处理后图像，最终预处理效果如图5所示，其中，图5a为原始图像，图5b为伽马校正后的图像，图5c为边缘增强后的图像，图5d为最终的增强图像。
完成数据集图像的预处理后，接着，构建基本的基于MobileNetV2和基于SqueezeNet的特征提取网络，其网络结构如表1、表2所示。
表1基于MobileNetV2的网络结构
表2基于SqueezeNet的网络结构
其中，SqueezeNet网络的fire块由Squeeze部分和Expand部分组成，Squeeze部分是一组连续的1×1卷积组成，Expand部分则是由一组连续的1×1卷积和一组连续的3×3卷积拼接组成。MobileNetV2的bottleneck层包含两个逐点卷积层和一个深度卷积层，对于降维后的1×1卷积层使用线性激活，其他情况使用ReLU激活函数。
本发明中，第一种分类网络为包含一个基于MobileNetV2的特征提取网络和一个单隐层全连接神经网络的分类网络，第二种分类网络维为包含一个基于SqueezeNet的特征提取网络和一个单隐层全连接神经网络的分类网络。
因此，在构建上述两个特征提取网络后，再相应的单隐层的全连接神经网络，其构建过程为：
(1)将特征提取网络得到的一维特征作为输入层输入；
(2)将输入层与有160个神经元的隐藏层全连接，其中隐层每个神经元后接ReLu非线性激活函数，并设置dropout为0.5；
(3)将隐藏层的输出与有40个神经元的输出层全连接，其中全连接层每个神经元后接ReLu非线性激活函数，并设置dropout为0.5；
(4)将输出层的每个神经元连接softmax层，得到每个类别的输出概率；
(5)随机初始化全连接神经网络参数；
(6)使用中心损失和交叉熵损失的加权函数作为损失函数，中心损失函数公式如下所示：
其中，m表示最小批次中的训练样本的数量。xi∈Rd表示第i个训练样本。yi表示xi的标记。表示深部特征的yi类中心，d是要素尺寸。
最终损失函数的公式如下：
L＝Ls+λLc (2)
其中，Ls为交叉熵损失函数，λ为加权系数。
将第一种分类网络和第二种分类网络构建好之后，使用Adaboost训练算法分别对基于MobileNetV2的分类网络和基于SqueezeNet的分类网络通过迭代4次训练出8个弱分类网络，将4个基于MobileNetV2的弱分类网络和4个基于SqueezeNet的弱分类网络通过加权投票得到1个基于MobileNetV2的强分类器和1个基于SqueezeNet的强分类器。
具体的，使用Adaboost训练算法进行训练的过程如图2所示，首先按7:2:1将所有数据划分为训练集D、验证集V、测试集T；在t次迭代时，根据此次样本权值分布Wt，从初始训练集D中随机选取N个样本作为此次训练样本集Dt，并根据Dt训练得到第t个弱分类器ht；使用ht预测D中的每个样本，得到ht的分类准确率，在迭代过程中若新迭代轮次对前一轮错误分类样本改进低于给定阈值则下一次迭代时解冻部分冻结参数。根据该准确率计算ht的权重αt，准确率越高，权重越大；根据分类结果对Wt进行更新，提升错误分类样本的权值，降低正确分类样本的权值，提高错误样本在下一次迭代中被选中的概率；将训练得到的弱分类器组合成一个强分类器H，弱分类器的加权投票结果作为强分类器的输出。
在迭代过程中，对于两个基本的基于不同特征提取网络的分类网络，除输入的训练集不同，其超参数和训练方式的设置是相同的。将训练集输入模型，通过Adam优化器进行训练，损失函数为交叉熵损失和中心损失的加权函数，初始学习率为0.001，开始时使用热启动warmup，设置回调函数，当验证集V损失经过5个轮次不下降时学习率降低为原来的0.1倍，当验证集V损失经过10个轮次不下降时停止训练，并保存模型作为最终训练结果。
在得到基于MobileNetV2的强分类器和基于SqueezeNet的强分类器之后，将测试集T分别输入得到的基于MobileNetV2的强分类器和基于SqueezeNet的强分类器，并得到测试准确率、精度、查全率、F1指标，从而验证两个强分类器训练是否成功。最低限度的，这两个强分类器各自的准确率应达到70％。然后，进行决策层模型融合，其流程如图3所示。
记基于MobileNetV2的分类网络得到的强分类器的准确率为ACCM，记基于SqueezeNet的分类网络得到的强分类器的准确率为ACCS。将基于MobileNetV2的分类网络得到的强分类器的各类概率输出乘上系数α1，将基于SqueezeNet的分类网络得到的强分类器的各类概率输出乘上系数α2，得到每个类别的最终输出概率，取其中概率最大的类别为预测类别，其中α1、α2的取值如下所示：
最终，生成的决策层模型融合分类器与MobileNetV2、SqueezeNet、SE-ResNet50相比的分类准确率对比，如表3所示。
表3
基于本实施例可以得出，本发明通过轻量级特征提取网络和迁移学习实现了低成本快速训练，通过改进损失函数、Adaboost算法、模型融合实现了工业需求的高精度垃圾分类，而且在训练成本和分类精度上取得了有效平衡，具有很强的实用性，能够在获取垃圾图像后自动识别垃圾类型。
本发明在具体实施的一方面，还提供一种基于迁移学习和模型融合的垃圾分类系统，其特包括：
预处理模块，用于对待分类的垃圾图像进行预处理；
分类模块，用于运行分类器，以对经所述预处理后的垃圾图像数据进行分类，并输出相应的分类结果。在实施时，该分类模块所运行的分类器采用上述实施例中训练生成的决策层模型融合分类器。
本发明在具体实施的一方面，还提供一种可读存储介质，其上存储有一个或多个程序，其特征在于，该一个或多个程序被一个或多个处理器执行时实现本发明基于迁移学习和模型融合的垃圾分类方法。
应该理解到，本发明所揭露的系统，可通过其它的方式实现。例如所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，模块之间的通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (8)
1.一种基于迁移学习和模型融合的垃圾分类方法，其特征在于，包括以下步骤：
S1：对待分类的生活垃圾图像进行预处理；
S2：采用分类器对经所述预处理后的生活垃圾图像数据进行分类，输出相应的分类结果；
其中，生成所述分类器的过程包括：通过使用Adaboost算法分别对第一种分类网络和第二种分类网络进行迭代N次训练而得到N个所述第一种分类网络的弱分类网络和N个所述第二种分类网络的弱分类网络，再通过加权投票选出1个所述第一种分类网络的强分类器和1个所述第二种分类网络的强分类器，最后，对2个强分类器进行决策层模型融合而生成所述分类器，
对2个强分类器进行决策层模型融合包括以下步骤：
使用测试集T分别测试对2个强分类器的分类正确率，而得到所述第一种分类网络的强分类器的分类正确率，所述第二种分类网络的强分类器的分类正确率/>；
将所述第一种分类网络的强分类器的各类概率输出乘以第一系数，以及将所述第二种分类网络的强分类器的各类概率输出乘以第二系数/>，再将其中概率数值最大所对应的类别作为所述分类器的预测类别；其中，/>，/>。
2.如权利要求1所述的基于迁移学习和模型融合的垃圾分类方法，其特征在于，对第一种分类网络和第二种分类网络进行迭代N次训练前，按照一定比例将已添加分类标签的生活垃圾图像数据集划分为训练集D、验证集V和测试集T；
以及在使用Adaboost算法进行迭代N次训练过程中，若新迭代轮次对前一轮错误分类样本改进低于给定阈值，则下一次迭代时解冻部分冻结参数。
3.如权利要求2所述的基于迁移学习和模型融合的垃圾分类方法，其特征在于，在划分所述生活垃圾图像数据集前，还对所述生活垃圾图像数据集进行预处理；其中，所述预处理具体包括以下步骤：对生活垃圾图像进行伽马校正；以及对经伽马校正后的生活垃圾图像进行拉普拉斯增强。
4.如权利要求3所述的基于迁移学习和模型融合的垃圾分类方法，其特征在于，在训练过程中，对所述生活垃圾图像数据集中的图像进行随机旋转和/或随机水平翻转而生成模拟数据，以对数据集增强。
5.如权利要求1所述的基于迁移学习和模型融合的垃圾分类方法，其特征在于，所述第一种分类网络为包含一个基于MobileNetV2的特征提取网络和一个单隐层全连接神经网络的分类网络，所述第二种分类网络维为包含一个基于SqueezeNet的特征提取网络和一个单隐层全连接神经网络的分类网络；而且，所述第一种分类网络和所述第二种分类网络的所述单隐层全连接神经网络采用中心损失与交叉熵损失的加权函数作为损失函数，以及所述特征提取网络采用在ImageNet上的预训练权重对特征提取网络参数进行参数初始化。
6.如权利要求5所述的基于迁移学习和模型融合的垃圾分类方法，其特征在于，所述损失函数为：；
其中，为交叉熵损失函数，/>为加权系数，/>为中心损失函数；而且，所述中心损失函数为：/>；
其中，表示最小批次中的训练样本的数量，/>表示第/>个训练样本，/>表示/>的标记，/>表示深部特征的/>类中心，/>是要素尺寸。
7.一种基于迁移学习和模型融合的垃圾分类系统，其特征在于，包括：
预处理模块，用于对待分类的生活垃圾图像进行预处理；
分类模块，用于运行分类器，以对经所述预处理后的生活垃圾图像数据进行分类，并输出相应的分类结果；
其中，生成所述分类器的过程包括：通过使用Adaboost算法分别对第一种分类网络和第二种分类网络进行迭代N次训练而得到N个所述第一种分类网络的弱分类网络和N个所述第二种分类网络的弱分类网络，再通过加权投票选出1个所述第一种分类网络的强分类器和1个所述第二种分类网络的强分类器，最后，对2个强分类器进行决策层模型融合而生成所述分类器，对2个强分类器进行决策层模型融合包括以下步骤：
使用测试集T分别测试对2个强分类器的分类正确率，而得到所述第一种分类网络的强分类器的分类正确率，述第二种分类网络的强分类器的分类正确率/>；
将所述第一种分类网络的强分类器的各类概率输出乘以第一系数，以及将所述第二种分类网络的强分类器的各类概率输出乘以第二系数/>，再将其中概率数值最大所对应的类别作为所述分类器的预测类别；其中，/>，/>。
8.一种可读存储介质，其上存储有一个或多个程序，其特征在于，该一个或多个程序被一个或多个处理器执行时实现权利要求1~6任一项所述的基于迁移学习和模型融合的垃圾分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010518521.1A CN111783841B (zh) | 2020-06-09 | 2020-06-09 | 基于迁移学习和模型融合的垃圾分类方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010518521.1A CN111783841B (zh) | 2020-06-09 | 2020-06-09 | 基于迁移学习和模型融合的垃圾分类方法、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111783841A CN111783841A (zh) | 2020-10-16 |
| CN111783841B true CN111783841B (zh) | 2023-08-04 |
Family
ID=72753621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010518521.1A Active CN111783841B (zh) | 2020-06-09 | 2020-06-09 | 基于迁移学习和模型融合的垃圾分类方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111783841B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111782804B (zh) * | 2020-06-09 | 2023-05-02 | 中科院成都信息技术股份有限公司 | 基于TextCNN同分布文本数据选择方法、系统及存储介质 |
| CN112488167A (zh) * | 2020-11-19 | 2021-03-12 | 安徽理工大学 | 基于改进的EfficientNet网络的垃圾辨识分类系统 |
| CN112487938A (zh) * | 2020-11-26 | 2021-03-12 | 南京大学 | 一种利用深度学习算法实现垃圾分类的方法 |
| CN112819076B (zh) * | 2021-02-03 | 2022-06-17 | 中南大学 | 基于深度迁移学习的医学图像分类模型的训练方法及装置 |
| CN113111925A (zh) * | 2021-03-29 | 2021-07-13 | 宁夏新大众机械有限公司 | 基于深度学习的饲料合格性分类方法 |
| CN113111792A (zh) * | 2021-04-16 | 2021-07-13 | 东莞市均谊视觉科技有限公司 | 一种基于迁移学习的饮料瓶回收视觉检测方法 |
| CN113486959B (zh) * | 2021-07-07 | 2023-06-16 | 漳州卫生职业学院 | 基于特征迁移的肺部ct图像分类方法 |
| CN113627481A (zh) * | 2021-07-09 | 2021-11-09 | 南京邮电大学 | 一种面向智慧园林的多模型组合的无人机垃圾分类方法 |
| CN113936165B (zh) * | 2021-09-07 | 2024-06-07 | 上海商涌科技有限公司 | Ct图像的处理方法、终端及计算机存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6381363B1 (en) * | 1999-03-15 | 2002-04-30 | Grass Valley (U.S.), Inc. | Histogram-based segmentation of images and video via color moments |
| CN104318242A (zh) * | 2014-10-08 | 2015-01-28 | 中国人民解放军空军工程大学 | 一种高效的svm主动半监督学习算法 |
| CN105512666A (zh) * | 2015-12-16 | 2016-04-20 | 天津天地伟业数码科技有限公司 | 一种基于视频的河道垃圾识别方法 |
| CN107256245A (zh) * | 2017-06-02 | 2017-10-17 | 河海大学 | 面向垃圾短信分类的离线模型改进与选择方法 |
| WO2019000929A1 (zh) * | 2017-06-30 | 2019-01-03 | 京东方科技集团股份有限公司 | 垃圾分类回收方法、垃圾分类设备以及垃圾分类回收系统 |
| CN109622416A (zh) * | 2019-01-21 | 2019-04-16 | 哈尔滨工业大学（深圳） | 基于超声传感器阵列的垃圾分类方法及其系统 |
| CN110633638A (zh) * | 2019-08-13 | 2019-12-31 | 深圳市锐明技术股份有限公司 | 一种垃圾收运监管方法、装置、存储介质和智能设备 |
| CN110689085A (zh) * | 2019-09-30 | 2020-01-14 | 天津大学 | 基于深度跨连接网络及损失函数设计的垃圾分类方法 |
| CN110717426A (zh) * | 2019-09-27 | 2020-01-21 | 卓尔智联(武汉)研究院有限公司 | 基于域自适应学习的垃圾分类方法、电子设备及存储介质 |
| CN111079639A (zh) * | 2019-12-13 | 2020-04-28 | 中国平安财产保险股份有限公司 | 垃圾图像分类模型构建的方法、装置、设备及存储介质 |
| CN111091059A (zh) * | 2019-11-19 | 2020-05-01 | 佛山市南海区广工大数控装备协同创新研究院 | 一种生活垃圾塑料瓶分类中的数据均衡方法 |
| CN111144496A (zh) * | 2019-12-27 | 2020-05-12 | 齐齐哈尔大学 | 一种基于混合卷积神经网络的垃圾分类方法 |
-
2020
- 2020-06-09 CN CN202010518521.1A patent/CN111783841B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6381363B1 (en) * | 1999-03-15 | 2002-04-30 | Grass Valley (U.S.), Inc. | Histogram-based segmentation of images and video via color moments |
| CN104318242A (zh) * | 2014-10-08 | 2015-01-28 | 中国人民解放军空军工程大学 | 一种高效的svm主动半监督学习算法 |
| CN105512666A (zh) * | 2015-12-16 | 2016-04-20 | 天津天地伟业数码科技有限公司 | 一种基于视频的河道垃圾识别方法 |
| CN107256245A (zh) * | 2017-06-02 | 2017-10-17 | 河海大学 | 面向垃圾短信分类的离线模型改进与选择方法 |
| WO2019000929A1 (zh) * | 2017-06-30 | 2019-01-03 | 京东方科技集团股份有限公司 | 垃圾分类回收方法、垃圾分类设备以及垃圾分类回收系统 |
| CN109622416A (zh) * | 2019-01-21 | 2019-04-16 | 哈尔滨工业大学（深圳） | 基于超声传感器阵列的垃圾分类方法及其系统 |
| CN110633638A (zh) * | 2019-08-13 | 2019-12-31 | 深圳市锐明技术股份有限公司 | 一种垃圾收运监管方法、装置、存储介质和智能设备 |
| CN110717426A (zh) * | 2019-09-27 | 2020-01-21 | 卓尔智联(武汉)研究院有限公司 | 基于域自适应学习的垃圾分类方法、电子设备及存储介质 |
| CN110689085A (zh) * | 2019-09-30 | 2020-01-14 | 天津大学 | 基于深度跨连接网络及损失函数设计的垃圾分类方法 |
| CN111091059A (zh) * | 2019-11-19 | 2020-05-01 | 佛山市南海区广工大数控装备协同创新研究院 | 一种生活垃圾塑料瓶分类中的数据均衡方法 |
| CN111079639A (zh) * | 2019-12-13 | 2020-04-28 | 中国平安财产保险股份有限公司 | 垃圾图像分类模型构建的方法、装置、设备及存储介质 |
| CN111144496A (zh) * | 2019-12-27 | 2020-05-12 | 齐齐哈尔大学 | 一种基于混合卷积神经网络的垃圾分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于纹理特征融合的道路垃圾图像识别及提取;黄兴华等;《计算机工程与设计》;第3212-3218，3305页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111783841A (zh) | 2020-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111783841B (zh) | 基于迁移学习和模型融合的垃圾分类方法、系统及介质 | |
| Luo et al. | Fire smoke detection algorithm based on motion characteristic and convolutional neural networks | |
| CN108805200B (zh) | 基于深度孪生残差网络的光学遥感场景分类方法及装置 | |
| Rachmadi et al. | Vehicle color recognition using convolutional neural network | |
| CN109359608B (zh) | 一种基于深度学习模型的人脸识别方法 | |
| CN109684922B (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
| CN109508655A (zh) | 基于孪生网络的不完备训练集的sar目标识别方法 | |
| CN107133943A (zh) | 一种防震锤缺陷检测的视觉检测方法 | |
| Jing et al. | Yarn-dyed fabric defect classification based on convolutional neural network | |
| CN112613552B (zh) | 一种结合情感类别注意力损失的卷积神经网络情感图像分类方法 | |
| CN106919920A (zh) | 基于卷积特征和空间视觉词袋模型的场景识别方法 | |
| CN109033107A (zh) | 图像检索方法和装置、计算机设备和存储介质 | |
| CN113572742A (zh) | 基于深度学习的网络入侵检测方法 | |
| CN111695640B (zh) | 地基云图识别模型训练方法及地基云图识别方法 | |
| CN110543906B (zh) | 基于Mask R-CNN模型的肤质自动识别方法 | |
| CN113221655B (zh) | 基于特征空间约束的人脸欺骗检测方法 | |
| CN112819063B (zh) | 一种基于改进的Focal损失函数的图像识别方法 | |
| CN114419413A (zh) | 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法 | |
| CN113297936A (zh) | 一种基于局部图卷积网络的排球群体行为识别方法 | |
| CN116152658A (zh) | 一种基于域对抗特征融合网络的林火烟雾检测方法 | |
| CN112883931A (zh) | 基于长短期记忆网络的实时真假运动判断方法 | |
| CN111126155B (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
| Gan et al. | Research on the algorithm of urban waste classification and recycling based on deep learning technology | |
| CN115240259A (zh) | 一种基于yolo深度网络的课堂环境下人脸检测方法及其检测系统 | |
| CN112837281A (zh) | 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |