CN114937199A - 一种基于判别性特征增强的垃圾分类方法与系统 - Google Patents

一种基于判别性特征增强的垃圾分类方法与系统 Download PDF

Info

Publication number
CN114937199A
CN114937199A CN202210859618.8A CN202210859618A CN114937199A CN 114937199 A CN114937199 A CN 114937199A CN 202210859618 A CN202210859618 A CN 202210859618A CN 114937199 A CN114937199 A CN 114937199A
Authority
CN
China
Prior art keywords
feature
module
inputting
map
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210859618.8A
Other languages
English (en)
Other versions
CN114937199B (zh
Inventor
徐龙生
庞世玺
孙振行
袭肖明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Kailin Environmental Protection Equipment Co ltd
Original Assignee
Shandong Kailin Environmental Protection Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Kailin Environmental Protection Equipment Co ltd filed Critical Shandong Kailin Environmental Protection Equipment Co ltd
Priority to CN202210859618.8A priority Critical patent/CN114937199B/zh
Publication of CN114937199A publication Critical patent/CN114937199A/zh
Application granted granted Critical
Publication of CN114937199B publication Critical patent/CN114937199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图形分类识别相关技术领域，本发明提出了一种基于判别性特征增强的垃圾分类方法与系统，在深度网络结构中引入了新的互补特征学习模块和特征细节增强模块；在互补特征学习模块中，利用图像随机擦除机制和分类一致性约束，迫使网络尽可能学习与传统特征互补的信息；在特征细节增强模块中，首先引入判别性特征细节学习模块，通过对比已有特征和学到的重建特征来获取特征细节信息，然后融合特征细节和所学的互补特征，最后引入卷积块注意力模块来进一步提升融合特征的判别能力，提升了分类的效果。

Description

一种基于判别性特征增强的垃圾分类方法与系统
技术领域
本发明属于图形分类识别相关技术领域，尤其涉及一种基于判别性特征增强的垃圾分类方法与系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
垃圾分类受到国家和社会越来越多的关注，人们每天产生大量的生活垃圾，仅仅依靠人力难以有效处理海量的垃圾，从而造成资源的浪费和环境的污染。
近年来，人工智能技术被广泛应用到分类任务中。深度学习是人工智能领域的核心技术，其具有强大的特征学习能力，已在现有的分类任务中取得了重大突破。
然而，生活中产生的垃圾多种多样，且放置姿势多变，使得垃圾分类较为复杂。对于同一大类的垃圾，其垃圾实体可能会存在遮挡、折叠变形、扭曲等破坏性因素，使得现有模型难以获取充分的判别性信息对垃圾进行准确分类，影响了垃圾分类的精度。
发明内容
为克服上述现有技术的不足，本发明提供了一种基于判别性特征增强的垃圾分类方法与系统，在深度网络结构中引入了新的互补特征学习模块和特征细节增强模块。在互补特征学习模块中，利用图像随机擦除机制和分类一致性约束，迫使网络尽可能学习与传统特征互补的信息。在特征细节增强模块中，首先引入判别性特征细节学习模块，通过对比已有特征和学到的重建特征来获取特征细节信息，然后融合特征细节和所学的互补特征，最后引入卷积块注意力模块来进一步提升融合特征的判别能力。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：一种基于判别性特征增强的垃圾分类方法，包括以下步骤：
将获取的垃圾图像数据集进行预处理分为测试集和训练集；
将训练集中的原始垃圾图像输入至基网络进行特征提取，将提取的特征输入至互补特征学习模块得到输入擦除图像，将输入擦除图像输入至基网络进行再训练；
将原始垃圾图像和输入擦除图像分别输入至再训练后基网络的特征提取模块获得浅层特征的特征图和输入擦除特征图；根据浅层特征的特征图得到特征细节图，将特征细节图和输入擦除特征图输入至特征细节增强模块进行特征融合，得到互补特征图；
将所述互补特征图输入至再训练后基网络的高级语义特征学习模块获得高级语义信息特征图，将获得的高级语义信息特征图输入至卷积块注意力模型进行进一步学习后输入至分类模块，然后对网络模型进行迭代训练，得到训练好的分类模型；
将所述测试集的图像输入至所述分类模型中，得到垃圾分类结果。
进一步的，所述基网络采用resnet50，原始垃圾图像输入至基网络中首先经过卷积层后再使用激活函数增加非线性，然后进入池化层，来进行特征提取。
进一步的，还包括基网络的预训练，具体为：
将训练集中预处理后的图像输入至基网络中获得第一特征图，计算所述第一特征图对应的预测类别，将预测类型与真实标签类别进行交叉熵损失计算，根据交叉熵损失约束反向传播训练基网络，直至损失稳定，得到预训练好的基网络。
进一步的，所述输入擦除图像具体获得方式为：
将基于预训练的基网络获得的第一特征图进行归一化处理得到特征图
Figure 100002_DEST_PATH_IMAGE001
，采用 阈值T选择出传统特征和传统特征所在的区域，采用掩码的方式将特征图
Figure 844459DEST_PATH_IMAGE002
中传统特征随 机丢失一半信息，得到擦除特征图，将擦除特征图与输入的原始垃圾图像作逐元素相乘得 到擦除后的输入擦除图像。
进一步的，根据浅层特征的特征图得到特征细节图具体方法为：将获得的浅层特征的特征图先经过两层卷积层，然后输入至两层反卷积中浅层特征图进行重建，将重建后的特征图与浅层特征图进行作差得到特征细节图。
进一步的，将特征细节图和输入擦除特征图输入至特征细节增强模块进行特征融合，得到互补特征图，具体为：
将输入擦除特征图与特征细节图先级联融合后再进行一次RELU激活、一次归一化与一层卷积池化后得到互补特征图。
进一步的，所述卷积块注意力模块包括通道注意力模块和空间注意力模块。
进一步的，在分类模型训练采用交叉熵损失，所述交叉熵损失函数为：
Figure 135763DEST_PATH_IMAGE003
其中，
Figure 100002_DEST_PATH_IMAGE004
为预测类别、
Figure 996272DEST_PATH_IMAGE005
为真实标签类别，
Figure 100002_DEST_PATH_IMAGE006
为所有的垃圾类别，
Figure 929593DEST_PATH_IMAGE007
为预测到的 第
Figure 100002_DEST_PATH_IMAGE008
个类别。
本发明的第二个方面提供一种基于判别性特征增强的垃圾分类系统，包括：
获取模块：将获取的垃圾图像数据集进行预处理分为测试集和训练集；
训练模块：将训练集中的原始垃圾图像输入至基网络进行特征提取，将提取的特征输入至互补特征学习模块得到输入擦除图像，将输入擦除图像输入至基网络进行再训练；
特征提取模块：将原始垃圾图像和输入擦除图像分别输入至再训练后基网络的特征提取模块获得浅层特征的特征图和输入擦除特征图；
特征细节增强模块：根据浅层特征的特征图得到特征细节图，将特征细节图和输入擦除特征图输入至特征细节增强模块进行特征融合，得到互补特征图；
高级语义特征学习模块：将所述互补特征图输入至再训练后基网络的高级语义特征学习模块获得高级语义信息特征图；
卷积块注意力模块：将获得的高级语义信息特征图输入至卷积块注意力模型进行进一步学习后输入至分类模块；
分类模块：然后对网络模型进行迭代训练，得到训练好的分类模型，将所述测试集的图像输入至所述分类模型中，得到垃圾的分类结果。
以上一个或多个技术方案存在以下有益效果：
本发明通过引入互补特征学习模块与特征细节增强模块实现对垃圾分类更有判别性特征细节的学习。在已习得传统特征的基础上，经过互补特征学习模块的约束，关注到了图像的不同区域进一步获取更多有益于垃圾分类的特征。在特征细节学习模块的帮助下，特征细节增强模块通过对细节信息的增强，网络更有效的学习判别性特征里的不易发现的细节信息，提升了分类的效果。
本发明可嫁接应用于任何网络模型中，实用性和使用性相较于原来普通的网络模型有较大的提高。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明中实施例一中垃圾分类的流程图；
图2是本发明实施例一中垃圾分类模型框架示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
本发明的整体构思：
本发明在传统的基网络基础上，引入互补特征学习模块和特征细节增强模块。其中互补特征学习模块使用图像随机擦除的方法，将基网络可以学习到的判别性特征即传统特征在输入图像对应的区域上随机擦除一部分，破坏基本判别性特征，将擦除后的输入图像即输入擦除图再次输入基网络中，在分类损失的约束下，迫使网络尽可能学习其他的判别性特征完成对互补性特征的学习。
此外，将原始输入数据
Figure 893744DEST_PATH_IMAGE009
以及输入擦除图经过基网络的前两层得到特征图
Figure DEST_PATH_IMAGE010
与 输入擦除特征图
Figure 480583DEST_PATH_IMAGE011
并实现对浅层特征的提取，后经过特征细节增强模块学习特征图中的 细节信息，然后将具有细节信息的特征细节图
Figure DEST_PATH_IMAGE012
与输入擦除特征图
Figure 969333DEST_PATH_IMAGE011
进行融合，既实现 对擦除特征图中丢失部分特征的弥补又实现对擦除特征图中特征细节的增强，最终在卷积 块注意力模块的约束下，网络从空间与通道维度下进一步学习判别性特征的细节信息，可 进一步提升垃圾图像分类的精度。
实施例一
如图1-图2所示，本实施例公开了一种基于判别性特征增强的垃圾分类方法，包括：
步骤1：将获取的垃圾图像数据集进行预处理分为测试集和训练集；
步骤2：将训练集中的原始垃圾图像输入至基网络进行特征提取，将提取的特征输入至互补特征学习模块得到输入擦除图像，将输入擦除图像输入至基网络进行再训练；
步骤3：将原始垃圾图像和输入擦除图像分别输入至再训练后基网络的特征提取模块获得浅层特征的特征图和输入擦除特征图；根据浅层特征的特征图得到特征细节图，将特征细节图和输入擦除特征图输入至特征细节增强模块进行特征融合，得到互补特征图；
步骤4：将所述互补特征图输入至再训练后基网络的高级语义特征学习模块获得高级语义信息特征图，将获得的高级语义信息特征图输入至卷积块注意力模型进行进一步学习后输入至分类模块，然后对网络模型进行迭代训练，得到训练好的分类模型；
步骤5：将所述测试集的图像输入至所述分类模型中，得到垃圾的分类结果。
在本实施例中，在所述步骤1中，数据集为通过传感器拍摄到的细粒度垃圾图像，且原始数据样本中可能存在图像尺寸不一致的情况，不利于深度网络模型进行学习，因此利用Pytorch中transforms类对数据集进行尺度变换为统一大小，然后将部分图片数据水平翻转，随机将每个文件夹内的数据均匀分成10份，组合为10个训练集和10个测试集。
在所述步骤2中，将训练集中的图像数据
Figure 34241DEST_PATH_IMAGE009
输入至基网络中，首先经过卷积层后 再使用激活函数增加非线性，然后进入池化层来进行特征提取，最终获取基网络的第一特 征图。
在本实施例中，基网络可以采用resnet-50。
在步骤2之前还包括度基网络的预训练，具体为：将经过基网络获得的第一特征 图，使用归一化指数函数计算其不同预测类别的得分，不同预测类别中得分最大值所对应 类别为预测类别
Figure 823206DEST_PATH_IMAGE013
，将预测类别
Figure 721892DEST_PATH_IMAGE014
与真实标签类别
Figure DEST_PATH_IMAGE015
进行交叉熵损失计算，根据交 叉熵损失约束网络反向传播训练网络直至损失稳定，得到预训练好的基网络。
其中，叉熵损失计算公式为：
Figure 556993DEST_PATH_IMAGE016
（1）
其中，
Figure DEST_PATH_IMAGE017
为预测类别、
Figure 130319DEST_PATH_IMAGE018
为真实标签类别，
Figure DEST_PATH_IMAGE019
为所有的垃圾类别，
Figure 508210DEST_PATH_IMAGE020
为预测到的 第
Figure DEST_PATH_IMAGE021
个类别。
在所述步骤2中，将经过基网络获得第一特征图
Figure 640114DEST_PATH_IMAGE022
输入到互补特征学习模块中，对 第一特征图
Figure DEST_PATH_IMAGE023
进行归一化处理得到处理后的特征图
Figure 962511DEST_PATH_IMAGE024
，采用阈值T选择出传统特征及传统 特征所在的区域
Figure 510167DEST_PATH_IMAGE025
：
Figure 273724DEST_PATH_IMAGE026
（2）
归一化公式为：
Figure DEST_PATH_IMAGE027
（3）
其中，W、H分别为特征图的宽和高，Fmax为特征值中最大的值、Fmin为特征值中最小的值。
然后采用随机赋值为1或0的方法，将特征图
Figure 638846DEST_PATH_IMAGE028
传统特征随机丢失一半信息，得到 擦除特征图
Figure 792747DEST_PATH_IMAGE029
：
Figure 767263DEST_PATH_IMAGE030
（4）
将擦除特征图
Figure 385326DEST_PATH_IMAGE029
与输入图像
Figure 531137DEST_PATH_IMAGE031
作逐元素相乘
Figure 562547DEST_PATH_IMAGE032
得到擦除后的输入擦除 图像
Figure 248743DEST_PATH_IMAGE033
，将擦除图像
Figure DEST_PATH_IMAGE034
作为基网络再训练的输入，初始训练中训练参数作为卷积神经网 络再训练的初始参数，通过对输入擦除图像的再学习，促进基网络对判别性特征细节的进 一步学习。
在所述步骤3中，将输入图像
Figure 518050DEST_PATH_IMAGE035
以及输入擦除图像
Figure 897079DEST_PATH_IMAGE036
分别输入到再训练后基网 络的特征提取模块获得具有浅层特征的特征图
Figure DEST_PATH_IMAGE037
以及输入擦除特征图
Figure 619047DEST_PATH_IMAGE038
。
在本实施例中，特征提取模块指的是经过再训练后基网络的前两个阶段。
将获得的浅层特征的特征图
Figure DEST_PATH_IMAGE039
输入到包括判别性特征细节学习模块的特征细节 增强模块中，首先在判别性特征细节学习模块中，先经过两层卷积层
Figure 312197DEST_PATH_IMAGE040
，实现对 特征图
Figure 639273DEST_PATH_IMAGE039
的特征再提取；然后将结果输入到两层反卷积
Figure DEST_PATH_IMAGE041
中，实现对特征图
Figure 221826DEST_PATH_IMAGE039
的重建。
重建过程中会丢失一些细节信息，为了获得这部分特征细节图
Figure 899932DEST_PATH_IMAGE042
，将浅层特征的 特征图
Figure DEST_PATH_IMAGE043
和重建后的特征图
Figure 724669DEST_PATH_IMAGE044
进行作差得到特征细节图
Figure 171831DEST_PATH_IMAGE042
：
Figure 689400DEST_PATH_IMAGE045
（5）
然后将获得特征细节图
Figure 854802DEST_PATH_IMAGE042
和输入擦除特征图
Figure DEST_PATH_IMAGE046
实现互补信息融合，具体融合过 程为：将输入擦除特征图
Figure 217650DEST_PATH_IMAGE046
与特征细节图
Figure 784898DEST_PATH_IMAGE042
先级联融合
Figure 348734DEST_PATH_IMAGE047
，再进行一次 RELU激活、一次归一化与一层卷积池化后得到互补特征图
Figure DEST_PATH_IMAGE048
：
Figure 93443DEST_PATH_IMAGE049
。
然后将得到的互补特征图
Figure 932086DEST_PATH_IMAGE050
输入到高级语义特征学习阶段获得具有高层语义信 息的特征图
Figure DEST_PATH_IMAGE051
。
在本实施例中，高级语义特征学习阶段指的是再训练后的基网络第3-5阶段。
将具有高层语义信息的特征图
Figure 416157DEST_PATH_IMAGE052
输入卷积块注意力模块中对判别性特征的细节 信息进一步学习。
其中，卷积块注意力模块包括通道注意力模块和空间注意力模块从通道和空间维度上约束网络对判别性特征的细节信息进一步学习。
在本实施例中，通道注意力模块：将输入的特征图，分别经过基于宽和高的全局最大池化和全局平均池化，然后分别经过多层感知机，多层感知层的顺序包含卷积、relu激活函数，卷积操作。将多层感知机输出的特征进行基于逐元素的加和操作，再经过sigmoid激活操作，生成最终的通道注意力特征图，将该通道注意力特征图和输入的特征图做逐元素乘法操作，生成空间注意力模块需要的输入特征。
空间注意力模块：将通道注意力模块输出的特征图作为空间注意力模块的输入特征图。首先做一个基于通道的全局最大池化和全局平均池化，然后将这2个结果基于通道做拼接操作。然后经过一个卷积操作，降维为1个通道；再经过sigmoid激活函数生成空间注意力特征；最后将该空间注意力特征和该模块的输入特征做乘法，得到最终生成的特征。
然后由卷积块注意力模块得到的特征图输入至分类模块中获得网络对各类别的概率预测结果，分类模块由两层全连接层与一层softmax层组成。
对于上述整个网络模型的训练通过计算网络模型损失，网络模型损失采用交叉熵 损失函数，计算各类别概率预测的最大值所对应类别为预测类别
Figure DEST_PATH_IMAGE053
，将预测类别
Figure 9949DEST_PATH_IMAGE054
与真实标签类别
Figure 884364DEST_PATH_IMAGE055
之间的损失：
Figure 526698DEST_PATH_IMAGE056
(6)
其中，
Figure 865276DEST_PATH_IMAGE004
为预测类别、
Figure 302073DEST_PATH_IMAGE057
为真实标签类别，
Figure DEST_PATH_IMAGE058
为所有的垃圾类别，
Figure 493145DEST_PATH_IMAGE008
为预测到的 第
Figure 470329DEST_PATH_IMAGE059
个类别。
根据计算网络模型的损失，不断进行网络的训练，使得损失呈现下降趋势，直到训练轮次达到设定值或者损失呈现平稳趋势，保存其最小损失值得到训练好的分类模型。
在所述步骤5中，将测试集中的图像数据输入至训练好的分类模型中进行预测得到对比得分，然后计算得分最大值所对应类别为预测结果，输出预测结果。
实施例二
本实施例的目的是提供一种基于判别性特征增强的垃圾分类系统，包括：
获取模块：将获取的垃圾图像数据集进行预处理分为测试集和训练集；
训练模块：将训练集中的原始垃圾图像输入至基网络进行特征提取，将提取的特征输入至互补特征学习模块得到输入擦除图像，将输入擦除图像输入至基网络进行再训练；
特征提取模块：将原始垃圾图像和输入擦除图像分别输入至再训练后基网络的特征提取模块获得浅层特征的特征图和输入擦除特征图；
特征细节增强模块：根据浅层特征的特征图得到特征细节图，将特征细节图和输入擦除特征图输入至特征细节增强模块进行特征融合，得到互补特征图；
高级语义特征学习模块：将所述互补特征图输入至再训练后基网络的高级语义特征学习模块获得高级语义信息特征图；
卷积块注意力模块：将获得的高级语义信息特征图输入至卷积块注意力模型进行进一步学习后输入至分类模块；
分类模块：然后对网络模型进行迭代训练，得到训练好的分类模型，将所述测试集的图像输入至所述分类模型中，得到垃圾的分类结果。
以上实施例二中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于判别性特征增强的垃圾分类方法，其特征在于，包括以下步骤：
将获取的垃圾图像数据集进行预处理分为测试集和训练集；
将训练集中的原始垃圾图像输入至基网络进行特征提取，将提取的特征输入至互补特征学习模块得到输入擦除图像，将输入擦除图像输入至基网络进行再训练；
将原始垃圾图像和输入擦除图像分别输入至再训练后基网络的特征提取模块获得浅层特征的特征图和输入擦除特征图；根据浅层特征的特征图得到特征细节图，将特征细节图和输入擦除特征图输入至特征细节增强模块进行特征融合，得到互补特征图；
将所述互补特征图输入至再训练后基网络的高级语义特征学习模块获得高级语义信息特征图，将获得的高级语义信息特征图输入至卷积块注意力模型进行进一步学习后输入至分类模块，然后对网络模型进行迭代训练，得到训练好的分类模型；
将所述测试集的图像输入至所述分类模型中，得到垃圾分类结果。
2.如权利要求1所述的一种基于判别性特征增强的垃圾分类方法，其特征在于，所述基网络采用resnet50，原始垃圾图像输入至基网络中首先经过卷积层后再使用激活函数增加非线性，然后进入池化层，来进行特征提取。
3.如权利要求1所述的一种基于判别性特征增强的垃圾分类方法，其特征在于，还包括基网络的预训练，具体为：
将训练集中预处理后的图像输入至基网络中获得第一特征图，计算所述第一特征图对应的预测类别，将预测类型与真实标签类别进行交叉熵损失计算，根据交叉熵损失约束反向传播训练基网络，直至损失稳定，得到预训练好的基网络。
4.如权利要求3所述的一种基于判别性特征增强的垃圾分类方法，其特征在于，所述输入擦除图像具体获得方式为：
将基于预训练的基网络获得的第一特征图进行归一化处理得到特征图
Figure DEST_PATH_IMAGE001
，采用阈值T 选择出传统特征和传统特征所在的区域，采用掩码的方式将特征图
Figure 560528DEST_PATH_IMAGE002
中传统特征随机丢 失一半信息，得到擦除特征图，将擦除特征图与输入的原始垃圾图像作逐元素相乘得到擦 除后的输入擦除图像。
5.如权利要求1所述的一种基于判别性特征增强的垃圾分类方法，其特征在于，根据浅层特征的特征图得到特征细节图具体方法为：将获得的浅层特征的特征图先经过两层卷积层，然后输入至两层反卷积中浅层特征图进行重建，将重建后的特征图与浅层特征图进行作差得到特征细节图。
6.如权利要求1所述的一种基于判别性特征增强的垃圾分类方法，其特征在于，将特征细节图和输入擦除特征图输入至特征细节增强模块进行特征融合，得到互补特征图，具体为：
将输入擦除特征图与特征细节图先级联融合后再进行一次RELU激活、一次归一化与一层卷积池化后得到互补特征图。
7.如权利要求1所述的一种基于判别性特征增强的垃圾分类方法，其特征在于，所述卷积块注意力模块包括通道注意力模块和空间注意力模块。
8.如权利要求1所述的一种基于判别性特征增强的垃圾分类方法，其特征在于，所述分类模块包括两层全连接层与一层softmax层。
9.如权利要求1所述的一种基于判别性特征增强的垃圾分类方法，其特征在于，在分类模型训练时采用交叉熵损失，所述交叉熵损失函数为：
Figure 743248DEST_PATH_IMAGE003
其中，
Figure DEST_PATH_IMAGE004
为预测类别、
Figure 319722DEST_PATH_IMAGE005
为真实标签类别，
Figure DEST_PATH_IMAGE006
为所有的垃圾类别，
Figure 308407DEST_PATH_IMAGE007
为预测到的第
Figure DEST_PATH_IMAGE008
个类别。
10.一种基于判别性特征增强的垃圾分类系统，其特征在于，
获取模块：将获取的垃圾图像数据集进行预处理分为测试集和训练集；
训练模块：将训练集中的原始垃圾图像输入至基网络进行特征提取，将提取的特征输入至互补特征学习模块得到输入擦除图像，将输入擦除图像输入至基网络进行再训练；
特征提取模块：将原始垃圾图像和输入擦除图像分别输入至再训练后基网络的特征提取模块获得浅层特征的特征图和输入擦除特征图；
特征细节增强模块：根据浅层特征的特征图得到特征细节图，将特征细节图和输入擦除特征图输入至特征细节增强模块进行特征融合，得到互补特征图；
高级语义特征学习模块：将所述互补特征图输入至再训练后基网络的高级语义特征学习模块获得高级语义信息特征图；
卷积块注意力模块：将获得的高级语义信息特征图输入至卷积块注意力模型进行进一步学习后输入至分类模块；
分类模块：然后对网络模型进行迭代训练，得到训练好的分类模型，将所述测试集的图像输入至所述分类模型中，得到垃圾分类结果。
CN202210859618.8A 2022-07-22 2022-07-22 一种基于判别性特征增强的垃圾分类方法与系统 Active CN114937199B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210859618.8A CN114937199B (zh) 2022-07-22 2022-07-22 一种基于判别性特征增强的垃圾分类方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210859618.8A CN114937199B (zh) 2022-07-22 2022-07-22 一种基于判别性特征增强的垃圾分类方法与系统

Publications (2)

Publication Number Publication Date
CN114937199A true CN114937199A (zh) 2022-08-23
CN114937199B CN114937199B (zh) 2022-10-25

Family

ID=82868875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210859618.8A Active CN114937199B (zh) 2022-07-22 2022-07-22 一种基于判别性特征增强的垃圾分类方法与系统

Country Status (1)

Country Link
CN (1) CN114937199B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204449A (zh) * 2016-07-06 2016-12-07 安徽工业大学 一种基于对称深度网络的单幅图像超分辨率重建方法
CN111488917A (zh) * 2020-03-19 2020-08-04 天津大学 一种基于增量学习的垃圾图像细粒度分类方法
CN111652214A (zh) * 2020-05-26 2020-09-11 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的垃圾瓶分选方法
CN111814618A (zh) * 2020-06-28 2020-10-23 浙江大华技术股份有限公司 行人重识别方法、步态识别网络训练方法及相关装置
CN111814860A (zh) * 2020-07-01 2020-10-23 浙江工业大学 一种面向垃圾分类的多目标检测方法
CN112784921A (zh) * 2021-02-02 2021-05-11 西北工业大学 任务注意力引导的小样本图像互补学习分类算法
US20210224512A1 (en) * 2020-01-17 2021-07-22 Wuyi University Danet-based drone patrol and inspection system for coastline floating garbage
JP2021117969A (ja) * 2020-01-23 2021-08-10 同▲済▼大学 ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法
CN113343789A (zh) * 2021-05-20 2021-09-03 武汉大学 一种基于局部细节增强与边缘约束的高分辨率遥感影像土地覆盖分类方法
CN113744265A (zh) * 2021-11-02 2021-12-03 成都东方天呈智能科技有限公司 一种基于生成对抗网络的异常检测系统、方法和存储介质
CN114005096A (zh) * 2021-11-09 2022-02-01 河北工业大学 基于特征增强的车辆重识别方法
CN114140353A (zh) * 2021-11-25 2022-03-04 苏州大学 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
CN114170099A (zh) * 2021-12-02 2022-03-11 中国科学技术大学 任意形状场景文字擦除方法、系统、设备与存储介质
CN114663766A (zh) * 2022-04-02 2022-06-24 广西科学院 基于多图像协同注意力机制的植物叶片识别系统及方法
CN114758224A (zh) * 2022-03-11 2022-07-15 广州大学 一种基于深度学习的垃圾分类检测方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204449A (zh) * 2016-07-06 2016-12-07 安徽工业大学 一种基于对称深度网络的单幅图像超分辨率重建方法
US20210224512A1 (en) * 2020-01-17 2021-07-22 Wuyi University Danet-based drone patrol and inspection system for coastline floating garbage
JP2021117969A (ja) * 2020-01-23 2021-08-10 同▲済▼大学 ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法
CN111488917A (zh) * 2020-03-19 2020-08-04 天津大学 一种基于增量学习的垃圾图像细粒度分类方法
CN111652214A (zh) * 2020-05-26 2020-09-11 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的垃圾瓶分选方法
CN111814618A (zh) * 2020-06-28 2020-10-23 浙江大华技术股份有限公司 行人重识别方法、步态识别网络训练方法及相关装置
CN111814860A (zh) * 2020-07-01 2020-10-23 浙江工业大学 一种面向垃圾分类的多目标检测方法
CN112784921A (zh) * 2021-02-02 2021-05-11 西北工业大学 任务注意力引导的小样本图像互补学习分类算法
CN113343789A (zh) * 2021-05-20 2021-09-03 武汉大学 一种基于局部细节增强与边缘约束的高分辨率遥感影像土地覆盖分类方法
CN113744265A (zh) * 2021-11-02 2021-12-03 成都东方天呈智能科技有限公司 一种基于生成对抗网络的异常检测系统、方法和存储介质
CN114005096A (zh) * 2021-11-09 2022-02-01 河北工业大学 基于特征增强的车辆重识别方法
CN114140353A (zh) * 2021-11-25 2022-03-04 苏州大学 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
CN114170099A (zh) * 2021-12-02 2022-03-11 中国科学技术大学 任意形状场景文字擦除方法、系统、设备与存储介质
CN114758224A (zh) * 2022-03-11 2022-07-15 广州大学 一种基于深度学习的垃圾分类检测方法
CN114663766A (zh) * 2022-04-02 2022-06-24 广西科学院 基于多图像协同注意力机制的植物叶片识别系统及方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
TERRANCE DEVRIES 等: "DATASET AUGMENTATION IN FEATURE SPACE", 《UNDER REVIEW AS A CONFERENCE PAPER AT ICLR 2017》 *
ZHUN ZHONG 等: "Random Erasing Data Augmentation", 《ARXIV:1708.04896V2》 *
刘紫燕等: "基于注意力机制的行人重识别特征提取方法", 《计算机应用》 *
李素梅 等: "基于双通道卷积神经网络的深度图超分辨研究", 《光学学报》 *
董子源等: "基于卷积神经网络的垃圾图像分类算法", 《计算机系统应用》 *
邵文杰: "基于深层卷积神经网络的垃圾检测方法研究", 《中国优秀硕士学位论文全文数据库 工程科技I辑》 *
陈欢 等: "ResNet网络下垃圾分类图像识别的实现", 《信息技术与信息化》 *

Also Published As

Publication number Publication date
CN114937199B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
Tursun et al. MTRNet++: One-stage mask-based scene text eraser
CN112101241A (zh) 一种基于深度学习的轻量级表情识别方法
CN113011357B (zh) 基于时空融合的深度伪造人脸视频定位方法
CN110197205A (zh) 一种多特征来源残差网络的图像识别方法
CN112818861A (zh) 一种基于多模态上下文语义特征的情感分类方法及系统
CN112651940A (zh) 基于双编码器生成式对抗网络的协同视觉显著性检测方法
CN115690541A (zh) 提高小样本、小目标识别准确率的深度学习训练方法
CN115966010A (zh) 一种基于注意力和多尺度特征融合的表情识别方法
CN110991247B (zh) 一种基于深度学习与nca融合的电子元器件识别方法
CN115358337A (zh) 一种小样本故障诊断方法、装置及存储介质
Song et al. Anomaly composition and decomposition network for accurate visual inspection of texture defects
CN111310820A (zh) 基于交叉验证深度cnn特征集成的地基气象云图分类方法
CN114882278A (zh) 一种基于注意力机制和迁移学习的轮胎花纹分类方法和装置
Hussain et al. Image denoising to enhance character recognition using deep learning
CN116206248B (zh) 一种基于机器学习引导深度学习的目标检测方法
CN114937199B (zh) 一种基于判别性特征增强的垃圾分类方法与系统
Hajihashemi et al. A pattern recognition based Holographic Graph Neuron for Persian alphabet recognition
Trevino-Sanchez et al. Hybrid pooling with wavelets for convolutional neural networks
Xu et al. Steganography algorithms recognition based on match image and deep features verification
Hallyal et al. Optimized recognition of CAPTCHA through attention models
Sasipriyaa et al. Recognition of Tamil handwritten characters using Scrabble GAN
Cheng The cross-field DBN for image recognition
Sari et al. The Involvement of Local Binary Pattern to Improve the Accuracy of Multi Support Vector-Based Javanese Handwriting Character Recognition
CN117150320B (zh) 对话数字人情感风格相似度评价方法及系统
CN112084960B (zh) 一种基于稀疏图的人脸表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant