CN115908893A - 一种垃圾分类方法、系统、电子设备及介质 - Google Patents

一种垃圾分类方法、系统、电子设备及介质 Download PDF

Info

Publication number
CN115908893A
CN115908893A CN202211304291.4A CN202211304291A CN115908893A CN 115908893 A CN115908893 A CN 115908893A CN 202211304291 A CN202211304291 A CN 202211304291A CN 115908893 A CN115908893 A CN 115908893A
Authority
CN
China
Prior art keywords
garbage
feature map
convolution
attention
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211304291.4A
Other languages
English (en)
Inventor
胡朋
吴宇震
于勇涛
丁洪伟
杨俊东
徐倩雪
王红琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Youbei Technology Co ltd
Original Assignee
Youbei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Youbei Technology Co ltd filed Critical Youbei Technology Co ltd
Priority to CN202211304291.4A priority Critical patent/CN115908893A/zh
Publication of CN115908893A publication Critical patent/CN115908893A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供一种垃圾分类方法、系统、电子设备及介质，属于垃圾分类领域，方法包括：获取待分类垃圾图像；根据待分类垃圾图像，采用垃圾分类模型进行垃圾识别并分类，以确定待分类垃圾图像中垃圾的类别。其中，垃圾分类模型为预先采用训练样本集，基于注意力机制和随机深度学习策略，对MobileNetv3进行训练得到的。MobileNet v3是轻量级网络，能够在移动设备上快速流畅地运行，提高了垃圾分类的便携性及速度，通过注意力机制加强垃圾分类模型对信息的细化能力，提高了垃圾分类的精度。此外，通过随机深度学习策略训练MobileNetv3网络，提高了模型训练的效率。

Description

一种垃圾分类方法、系统、电子设备及介质
技术领域
本发明涉及垃圾分类领域，特别是涉及一种基于改进MobileNet的垃圾分类方法、系统、电子设备及介质。
背景技术
近年来，地球上的垃圾数量越来越多，而垃圾的不及时处理会给人们的生活带来巨大的影响。垃圾分类被认为是当下处理垃圾最有效的措施。然而有相当一部分人群缺乏垃圾分类的意识，或者说缺少垃圾类别的辨识能力。
随着人工智能的发展，深度学习和智能技术得到了广泛的应用。智能垃圾分类已成为垃圾管理中的一项重要技术。近年来，也有很多大型的卷积神经网络被开发出来，虽然识别精度较高，但是对资源的消耗是巨大的，无法在算力较低的移动设备上部署，所以帮助人们对生活垃圾的类别区分学习是不可行的。而轻量级的网络不仅具有更少的参数量而且可以实现在移动设备上的部署，例如手机，可以帮助人们实时区分垃圾的类别，同时在识别速度上相比大型的卷积神经网络也更有优势，但是在识别精度上不如大型卷积神经网络。
也有大量学者对轻量级网络进行进一步的研究来解决生活垃圾的分类问题，而大多针对垃圾分类问题设计的网络都难以实现在参数量、精度和速度上的均衡。
基于上述问题，亟需一种新的垃圾分类方法以同时提高分类精度及速度。
发明内容
本发明的目的是提供一种垃圾分类方法、系统、电子设备及介质，可提高垃圾分类的精度和速度。
为实现上述目的，本发明提供了如下方案：
一种垃圾分类方法，包括：
获取待分类垃圾图像；
根据所述待分类垃圾图像，采用垃圾分类模型进行垃圾识别并分类，以确定所述待分类垃圾图像中垃圾的类别；所述垃圾分类模型为预先采用训练样本集，基于注意力机制和随机深度学习策略，对MobileNet v3进行训练得到的；所述训练样本集中包括多张样本图像及各样本图像中垃圾的类别。
可选地，所述垃圾分类模型包括依次连接的第一卷积层、特征提取模块、第二卷积层、平均池化层及全连接层；
所述根据所述待分类垃圾图像，采用垃圾分类模型进行垃圾识别并分类，以确定所述待分类垃圾图像中垃圾的类别，具体包括：
通过所述第一卷积层对所述待分类垃圾图像进行卷积操作，得到第一特征图；
通过所述特征提取模块对所述第一特征图进行特征提取，得到第二特征图；
通过所述第二卷积层对所述第二特征图进行卷积操作，得到第三特征图；
通过所述平均池化层对所述第三特征图进行池化操作，得到第四特征图；
通过所述全连接层确定所述第四特征图中的垃圾类别。
可选地，所述特征提取模块包括依次连接的四组残差结构；第一组残差结构包括依次连接的3个普通残差结构；第二组残差结构包括依次连接的3个注意力残差结构；第三组残差结构包括依次连接的4个普通残差结构；第四组残差结构包括依次连接的5个注意力残差结构；
第一组残差结构中的第1个普通残差结构还与所述第一卷积层连接；第二组残差结构中的第1个注意力残差结构还与第一组残差结构中的第3个普通残差结构连接；第三组残差结构中的第1个普通残差结构还与第二组残差结构中的第3个注意力残差结构连接；第四组残差结构中的第1个注意力残差结构还与第三组残差结构中的第4个普通残差结构连接；第四组残差结构中的第5个注意力残差结构还与所述第二卷积层连接；
各普通残差结构均包括依次连接的第一逐点卷积、第一深度卷积及第二逐点卷积；各注意力残差结构均包括依次连接的第三逐点卷积、第二深度卷积、注意力融合模块及第四逐点卷积；
所述普通残差结构通过第一逐点卷积对输入的特征图进行升维处理，得到第一升维特征图；通过第一深度卷积对所述第一升维特征图进行特征提取，得到第一深度特征图；通过第二逐点卷积对所述第一深度特征图进行降维处理，输出对应的特征图；
所述注意力残差结构通过第三逐点卷积对输入的特征图进行升维处理，得到第二升维特征图；通过第二深度卷积对所述第二升维特征图进行特征提取，得到第二深度特征图；通过注意力融合模块对所述第二深度特征图的特征细化，得到细化特征图；通过第四逐点卷积对所述细化特征图进行降维处理，输出对应的特征图。
可选地，所述注意力融合模块包括通道注意力分支及空间注意力分支；
所述通过注意力融合模块对所述第二深度特征图的特征细化，得到细化特征图，具体包括：
通过所述通道注意力分支融合所述第二深度特征图每个通道的特征信息，得到通道特征向量；
将所述通道特征向量与所述第二深度特征图进行逐元素相乘，得到通道特征图；
通过所述空间注意力分支增加所述第二深度特征图的视野区域，得到空间特征向量；
将所述空间特征向量与所述第二深度特征图进行逐元素相乘，得到空间特征图；
将所述通道特征图与所述空间特征图进行逐元素相加，得到细化特征图。
可选地，所述通过所述通道注意力分支融合所述第二深度特征图每个通道的特征信息，得到通道特征向量，具体包括：
对所述第二深度特征图进行平均池化操作，得到第一特征向量；
对所述第二深度特征图进行最大池化操作，得到第二特征向量；
将所述第一特征向量进行三次卷积操作，得到平均池化向量；
将所述第二特征向量进行三次卷积操作，得到最大池化向量；
对所述平均池化向量与所述最大池化向量进行逐元素相加并激活，得到通道特征向量。
可选地，所述通过所述空间注意力分支增加所述第二深度特征图的视野区域，得到空间特征向量，具体包括：
采用卷积核尺寸为1×1的卷积块对所述第二深度特征图进行浓缩，得到浓缩特征图；
依次采用两个卷积核尺寸为3×3的空洞卷积增加所述浓缩特征图的感受野，得到空洞特征；
采用卷积核尺寸为1×1的卷积块将所述空洞特征整合为通道数为1的特征向量并激活，得到空间特征向量。
为实现上述目的，本发明还提供了如下方案：
一种垃圾分类系统，包括：
图像获取单元，用于获取待分类垃圾图像；
分类单元，与所述图像获取单元连接，用于根据所述待分类垃圾图像，采用垃圾分类模型进行垃圾识别并分类，以确定所述待分类垃圾图像中垃圾的类别；所述垃圾分类模型为预先采用训练样本集，基于注意力机制和随机深度学习策略，对MobileNetv3进行训练得到的；所述训练样本集中包括多张样本图像及各样本图像中垃圾的类别。
为实现上述目的，本发明还提供了如下方案：
一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的垃圾分类方法。
为实现上述目的，本发明还提供了如下方案：
一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述的垃圾分类方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：基于注意力机制和随机深度学习策略，对MobileNet v3进行训练，得到垃圾分类模型，MobileNetv3是轻量级网络，能够在移动设备上快速流畅地运行，提高了垃圾分类的便携性及速度，通过注意力机制加强垃圾分类模型对信息的细化能力，提高了垃圾分类的精度。此外，通过随机深度学习策略训练MobileNet v3网络，提高了模型训练的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明垃圾分类方法的流程图；
图2为垃圾分类模型的结构示意图；
图3为残差结构进行特征图处理的示意图；
图4为注意力融合模块对第二深度特征图进行特征细化的示意图；
图5为随机深度学习策略的示意图；
图6为垃圾分类模型的建立过程示意图；
图7为实际垃圾分类的流程图；
图8为本发明垃圾分类系统的模块示意图。
符号说明：
图像获取单元-1，分类单元-2。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种垃圾分类方法、系统、电子设备及介质，通过基于注意力机制和随机深度学习策略对MobileNetv3进行训练，得到的垃圾分类模型能够在移动设备上快速流畅地运行，提高了垃圾分类的便携性、速度及精度。能够帮助人们实现对生活垃圾类别的学习，实现自主意识的投放垃圾或者在投放垃圾时能够及时更正。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
如图1所示，本发明垃圾分类方法包括：
S1：获取待分类垃圾图像。
S2：根据所述待分类垃圾图像，采用垃圾分类模型进行垃圾识别并分类，以确定所述待分类垃圾图像中垃圾的类别。所述垃圾分类模型为预先采用训练样本集，基于注意力机制和随机深度学习策略，对MobileNetv3进行训练得到的。所述训练样本集中包括多张样本图像及各样本图像中垃圾的类别。
具体地，训练样本集为从网上下载的图像。图像格式为JPEG格式，训练样本集中包括有害垃圾、厨余垃圾、可回收垃圾和其他垃圾，累计17997张图像。在进行网络训练时，利用划分数据函数read_split_data()对训练样本集按照8：2划分成训练集和测试集。同时使用random.seed(0)来保证随机划分数据结果的可复现性。并对训练样本集中的样本图像进行增强，包括图像的随机裁剪、翻转和平移。最后将样本图像和相应的类别标签进行分批打包，用于网络的训练和测试。
在本实施例中，所述垃圾分类模型包括依次连接的第一卷积层、特征提取模块、第二卷积层、平均池化层及全连接层。在本实施例中，垃圾分类模型的结构与MobileNetv3的结构相似，是基于注意力机制和随机深度学习策略对MobileNetv3训练完成后得到的模型。
步骤S2具体包括：
S21：通过第一卷积层对所述待分类垃圾图像进行卷积操作，得到第一特征图。
S22：通过所述特征提取模块对所述第一特征图进行特征提取，得到第二特征图。
进一步地，所述特征提取模块包括依次连接的四组残差结构。第一组残差结构包括依次连接的3个普通残差结构。第二组残差结构包括依次连接的3个注意力残差结构。第三组残差结构包括依次连接的4个普通残差结构。第四组残差结构包括依次连接的5个注意力残差结构。如图2所示为完整的垃圾分类模型的结构示意图。
第一组残差结构中的第1个普通残差结构还与所述第一卷积层连接。第二组残差结构中的第1个注意力残差结构还与第一组残差结构中的第3个普通残差结构连接。第三组残差结构中的第1个普通残差结构还与第二组残差结构中的第3个注意力残差结构连接。第四组残差结构中的第1个注意力残差结构还与第三组残差结构中的第4个普通残差结构连接。第四组残差结构中的第5个注意力残差结构还与所述第二卷积层连接。即前一个残差结构的输出是后一个残差结构的输入。
各普通残差结构均包括依次连接的第一逐点卷积、第一深度卷积及第二逐点卷积。各注意力残差结构均包括依次连接的第三逐点卷积、第二深度卷积、注意力融合模块及第四逐点卷积。
所述普通残差结构通过第一逐点卷积对输入的特征图进行升维处理，得到第一升维特征图。通过第一深度卷积对所述第一升维特征图进行特征提取，得到第一深度特征图。通过第二逐点卷积对所述第一深度特征图进行降维处理，输出对应的特征图。
所述注意力残差结构通过第三逐点卷积对输入的特征图进行升维处理，得到第二升维特征图。通过第二深度卷积对所述第二升维特征图进行特征提取，得到第二深度特征图。通过注意力融合模块对所述第二深度特征图的特征细化，得到细化特征图。通过第四逐点卷积对所述细化特征图进行降维处理，输出对应的特征图。
普通残差结构和注意力残差结构中均采用了深度可分离卷积。深度可分离卷积由深度卷积和逐点卷积两部分组成，深度卷积是将特征的按照通道数进行提取，也就是每一个通道只有一个卷积核，逐点卷积是卷积核大小为1×1的普通卷积。深度卷积的表达式如下：
Figure BDA0003905164330000081
其中，F表示深度卷积输出的特征图，M表示卷积核，G、K表示对应的高和宽，X表示深度卷积输入的特征图，s表示特征图的通道序号，i、j表示输出的特征图在第s通道上的i、j坐标，g、k为第s通道的卷积核权重坐标。
综上，特征提取模块的Bneck_A(残差结构)分为三种情况：
第一种：使用注意力融合模块，没有残差连接，工作过程为输入特征图通过逐点卷积进行升维处理，然后通过卷积核大小为3×3的深度卷积对每一个通道分别进行特征提取，然后通过注意力融合模块对特征进行细化增强，最后通过一个逐点卷积进行降维处理，完成单通道特征的信息融合。
第二种：不使用注意力融合模块，使用残差连接和随机深度策略，工作过程为输入特征图通过逐点卷积进行升维处理，然后通过卷积核大小为3×3的深度卷积对每一个通道分别特征提取，再通过一个逐点卷积进行降维处理，完成单通道特征的信息融合，同时经过随机深度策略进行判断，然后将结果和输入特征图进行逐元素的相加。
第三种：使用注意力融合模块，残差连接和随机深度策略，工作过程为输入特征图通过逐点卷积进行升维处理，然后通过卷积核大小为3×3的深度卷积对每一个通道分别进行特征提取，然后通过注意力融合模块对特征进行细化增强，最后通过一个逐点卷积进行降维处理。完成单通道特征的融合，再经过随机深度策略的判断，最后将输入特征图和该输出进行逐元素的相加。
即第一种情况和第三种情况对应上述的注意力残差结构。第二种情况对应上述的普通残差结构。通过判断是否使用残差连接对应添加随机深度的学习策略。如图3所示为残差结构进行特征图处理的示意图。
更进一步地，所述注意力融合模块包括通道注意力分支及空间注意力分支。
如图4所示，通过注意力融合模块对所述第二深度特征图的特征细化，得到细化特征图，具体包括：
(1)通过所述通道注意力分支融合所述第二深度特征图每个通道的特征信息，得到通道特征向量。
具体地，首先对所述第二深度特征图进行平均池化操作，得到第一特征向量。对所述第二深度特征图进行最大池化操作，得到第二特征向量。即对第二深度特征图在高宽维度对全部信息分别进行平均池化和最大池化操作，得到两个大小为通道数的特征向量(第一特征向量和第二特征向量)。然后将所述第一特征向量进行三次卷积操作，得到平均池化向量。将所述第二特征向量进行三次卷积操作，得到最大池化向量。最后对所述平均池化向量与所述最大池化向量进行逐元素相加并使用sigmoid函数激活，得到通道特征向量。通过通道注意力分支补充了通道的细节特征。
(2)将所述通道特征向量与所述第二深度特征图进行逐元素相乘，得到通道特征图。即将通道特征向量中关于第二深度特征图不同通道的权重值返回给第二深度特征图，实现特征细化。
(3)通过所述空间注意力分支增加所述第二深度特征图的视野区域，得到空间特征向量。
具体地，首先采用卷积核尺寸为1×1的卷积块对所述第二深度特征图进行浓缩，得到浓缩特征图。然后依次采用两个卷积核尺寸为3×3的空洞卷积增加所述浓缩特征图的感受野，得到空洞特征。最后采用卷积核尺寸为1×1的卷积块将所述空洞特征整合为通道数为1的特征向量并使用sigmoid函数激活，得到空间特征向量。空间注意力分支利用膨胀卷积获得更大的视野区域，从而更加全面的评估不同位置处特征的重要程度。
(4)将所述空间特征向量与所述第二深度特征图进行逐元素相乘，得到空间特征图。即将具有第二深度特征图不同位置的重要程度的权重返回给第二深度特征图，实现特征在空间位置的细化。
(5)将所述通道特征图与所述空间特征图进行逐元素相加，得到细化特征图。细化特征图为分配了不同权重的特征图。
注意力融合模块通过在获取特征不同位置权重的空间注意力分支使用膨胀卷积从更大感受野出发，更宽泛的分析区域位置的重要程度。在获取不同通道权重的通道注意力分支上充分利用平均池化和最大池化操作的相互补充，从而更加全面的评估每个通道上蕴含的信息的重要程度，进而分配相应的权重值。注意力机制不仅仅能像人的眼球一样，给图像分配重点关注部分，减少对外界信息的依赖，增强有用特征同时抑制不重要的特征信息。通过补充图像本身在训练中丢失的图像特征，最大程度上提高了识别的精确度。
本发明将通道注意力和空间注意力分开对输入特征图加权，而不是将注意力先融合，再对输入特征图加权，避免了因通道注意力和空间注意力形状不同，在融合时候可能存在的权重冲突的问题。
S23：通过第二卷积层对所述第二特征图进行卷积操作，得到第三特征图。
S24：通过平均池化层对所述第三特征图进行池化操作，得到第四特征图。
S25：通过全连接层确定所述第四特征图中的垃圾类别。
本发明采用垃圾分类模型进行垃圾识别分类的整体过程为：输入尺度为224×224×3的待分类垃圾图像，通过改进的Bneck_A进行特征提取，最后通过一个卷积操作获得待分类垃圾图像中对应垃圾的类别以及相应的概率得分。
本发明构建了以MobileNet v3为核心的轻量级垃圾分类模型，改进的部分主要是针对MobileNet v3网络的特征提取部分的Bneck_A，具体的是在深度可分离卷积中采用了注意力融合模块(Attention Fusion Module，AFM)，同时在由深度可分离卷积构成的残差结构中使用了随机深度(Stochastic Depth)的学习策略，在训练时确定每个Bneck_A(残差结构)的存活概率，根据各Bneck_A(残差结构)的存活概率，判断是否跳过此Bneck_A的处理。如图5所示为随机深度学习策略的示意图。
垃圾分类模型的整体结构如表1所示。
表1
输入形状 操作 升维 输出维度 AFM 激活函数 步距
<![CDATA[224<sup>2</sup>×3]]> 卷积 - 16 N HS 2
<![CDATA[112<sup>2</sup>×16]]> Bneck_A,3×3 16 16 N RE 1
<![CDATA[112<sup>2</sup>×16]]> Bneck_A,3×3 64 24 N RE 2
<![CDATA[56<sup>2</sup>×24]]> Bneck_A,3×3 72 24 N RE 1
<![CDATA[56<sup>2</sup>×24]]> Bneck_A,5×5 72 40 Y RE 2
<![CDATA[28<sup>2</sup>×40]]> Bneck_A,5×5 120 40 Y RE 1
<![CDATA[28<sup>2</sup>×40]]> Bneck_A,5×5 120 40 Y RE 1
<![CDATA[28<sup>2</sup>×40]]> Bneck_A,3×3 240 80 N HS 2
<![CDATA[14<sup>2</sup>×80]]> Bneck_A,3×3 200 80 N HS 1
<![CDATA[14<sup>2</sup>×80]]> Bneck_A,3×3 184 80 N HS 1
<![CDATA[14<sup>2</sup>×80]]> Bneck_A,3×3 184 80 N HS 1
<![CDATA[14<sup>2</sup>×80]]> Bneck_A,3×3 480 112 Y HS 1
<![CDATA[14<sup>2</sup>×112]]> Bneck_A,3×3 672 112 Y HS 1
<![CDATA[14<sup>2</sup>×112]]> Bneck_A,5×5 672 160 Y HS 2
<![CDATA[7<sup>2</sup>×160]]> Bneck_A,5×5 960 160 Y HS 1
<![CDATA[7<sup>2</sup>×160]]> Bneck_A,5×5 960 160 Y HS 1
<![CDATA[7<sup>2</sup>×160]]> Conv2d,1×1 - 960 - HS 1
<![CDATA[7<sup>2</sup>×960]]> 平均池化,7×7 - - - - 1
<![CDATA[1<sup>2</sup>×960]]> Conv2d,1×1,NBN - 1280 - HS 1
<![CDATA[1<sup>2</sup>×1280]]> Conv2d,1×1,NBN - 5 - - 1
表中的升维表示经过逐点卷积后的特征维度，输出维度为操作后的Bneck_A的输出维度，AFM为是否使用注意力融合模块，Y表示此Bneck_A使用注意力融合模块，即注意力残差结构，N表示此Bneck_A不使用注意力融合模块，即普通残差结构，激活函数为使用的激活函数，HS表示Hardswish激活函数，RE表示ReLU6激活函数，步距为深度卷积中卷积核的步距。
本发明的残差结构添加了注意力融合模块和随机深度的学习策略，通过在深度可分离卷积构成的残差结构中添加注意力融合模块来细化和增强提取的特征信息，通过随机深度的学习策略判断是否只保留残差连接，若是，则只有残差连接，即跳过深度可分离卷积和注意力融合模块，若否，则将输出和输入特征图(经过深度可分离卷积和注意力融合模块后的特征图)进行逐元素的相加得到最终的输出特征图。
在本实施例中，随机深度学习策略只有在残差连接中才会出现，它可以在每一个批量数据送入网络时，判断该批量使用哪些部分的残差结构，也就是会随机丢弃Bneck_A中的一个分支，仅保留残差连接。即随机深度学习策略通过每一个批量数据都对所有的残差结构进行随机跳过的模型训练。
具体地，随机深度学习策略在每个小批量的输入下，会获得一个残差连接中卷积块的存活概率：
Figure BDA0003905164330000121
其中，Pi表示第i个残差结构(普通残差结构或注意力残差结构)的存活概率，N表示残差结构的数量，在本实施例中，N＝15，PL为最后一个残差结构(注意力残差结构)的存活概率，是人工设定的一个超参数，大小为0.8。在残差结构中，如果在概率P下判断为Y，则为完整的残差结构，如果判断为N，则只保留残差结构中的残差连接。
本发明在残差连接中添加随机深度的学习策略，随机丢弃整个Bneck_A中的卷积分支的卷积操作，并通过残差连接绕过它们的转换操作来实现这一目标。对于每个小批量，随机选择层集并删除它们相应的转换函数，只保留相应的残差连接。
此外，本发明的垃圾分类模型中还可以增加其他的注意力机制，如SE(Squeeze-and-Excitation，通道注意力机制)、SAM(Spatial Attention Mechanisms，空间注意力机制)和CBAM(Convolutional Block Attention Module，混合域注意力机制)。还可以添加多尺度特征提取模块。
在本实施例中，模型训练及验证时的实验环境为：CPU(central processingunit，中央处理器)为Intel I5-11700，搭载RTX3080显卡，操作系统为Windows10，python版本为3.8.8，深度学习框架及版本为Pytorch1.7.0，有稳定的API(ApplicationProgramming Interface，应用程序接口)，可以应用于不同类型和尺寸的机器之上。在Windows系统用Pytorch框架构建网络模型，opencv开发框架进行编译和运行。充分调用了GPU(graphics processing unit，图形处理器)显卡、cuda和cudnn之间的相互配合，能更好的提高垃圾图像的预测速度和精确度。
此外，深度学习框架还可替换为TensorFlow进行训练。TensorFlow的代码简洁灵活，调试易于实现，但Pytorch可运用于不同机器之上，在实际应用中可根据不同的需求进行适应性选择。
如图6所示，本发明垃圾分类模型的建立流程为：首先运行主函数，其次定义数据增强方式、读取数据及完成数据的预处理；再次创建网络模型、加载训练权重及损失函数和优化器的定义；最后进行将数据送入模型进行训练并进行测试。
如图7所示，实际垃圾分类的流程图为：首先在Windows系统上构建和训练改进的MobileNet v3，得到训练之后的权重值，建立垃圾分类模型，再输入需要预测的垃圾图像。在垃圾分类模型中会对图像进行特征提取和上下采样等操作，如果识别到感兴趣区域，就预测出相应的垃圾类别。
如果将本发明的垃圾分类方法加载到智能摄像头中，并将智能摄像头应用于垃圾桶上，可以从源头上减少生活垃圾的错误分类及对人类资源的消耗。同时还可以装载在电子产品上，以满足各年龄阶段对生活垃圾分类知识的学习。
本发明在MobileNet v3的Bneck_A结构里嵌入AFM(Attention Fusion Module，注意力融合模块)加强网络对信息的细化能力，同时在Bneck_A为残差连接的情况下添加了随机深度(Stochastic Depth)的学习策略。通过实验验证了本发明提供的垃圾分类方法的有效性，实验结果表明通过嵌入注意力融合模块，增强了网络对特征的细化能力，结合随机深度的策略，并采用迁移学习的方式优化网络参数，使得网络可以在较少的模型参数的情况下仍保持较高的准确率和较快的推理速度。并且更好的均衡了模型参数量、识别精准度和速度。很大程度上弥补了因网络参数量过大而无法在移动设备上快速流畅运行的不足，提供了一种速度快且精确度高的垃圾分类方法。
实施例二
为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种垃圾分类系统。
如图8所示，本实施例提供的垃圾分类系统包括：图像获取单元1及分类单元2。
其中，图像获取单元1用于获取待分类垃圾图像。
分类单元2与所述图像获取单元1连接，分类单元2用于根据所述待分类垃圾图像，采用垃圾分类模型进行垃圾识别并分类，以确定所述待分类垃圾图像中垃圾的类别。所述垃圾分类模型为预先采用训练样本集，基于注意力机制和随机深度学习策略，对MobileNetv3进行训练得到的。所述训练样本集中包括多张样本图像及各样本图像中垃圾的类别。
实施例三
本实施例提供一种电子设备，包括存储器及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行实施例一的垃圾分类方法。
可选地，上述电子设备可以是服务器。
另外，本发明实施例还提供一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现实施例一的垃圾分类方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种垃圾分类方法，其特征在于，所述垃圾分类方法包括：
获取待分类垃圾图像；
根据所述待分类垃圾图像，采用垃圾分类模型进行垃圾识别并分类，以确定所述待分类垃圾图像中垃圾的类别；所述垃圾分类模型为预先采用训练样本集，基于注意力机制和随机深度学习策略，对MobileNet v3进行训练得到的；所述训练样本集中包括多张样本图像及各样本图像中垃圾的类别。
2.根据权利要求1所述的垃圾分类方法，其特征在于，所述垃圾分类模型包括依次连接的第一卷积层、特征提取模块、第二卷积层、平均池化层及全连接层；
所述根据所述待分类垃圾图像，采用垃圾分类模型进行垃圾识别并分类，以确定所述待分类垃圾图像中垃圾的类别，具体包括：
通过所述第一卷积层对所述待分类垃圾图像进行卷积操作，得到第一特征图；
通过所述特征提取模块对所述第一特征图进行特征提取，得到第二特征图；
通过所述第二卷积层对所述第二特征图进行卷积操作，得到第三特征图；
通过所述平均池化层对所述第三特征图进行池化操作，得到第四特征图；
通过所述全连接层确定所述第四特征图中的垃圾类别。
3.根据权利要求2所述的垃圾分类方法，其特征在于，所述特征提取模块包括依次连接的四组残差结构；第一组残差结构包括依次连接的3个普通残差结构；第二组残差结构包括依次连接的3个注意力残差结构；第三组残差结构包括依次连接的4个普通残差结构；第四组残差结构包括依次连接的5个注意力残差结构；
第一组残差结构中的第1个普通残差结构还与所述第一卷积层连接；第二组残差结构中的第1个注意力残差结构还与第一组残差结构中的第3个普通残差结构连接；第三组残差结构中的第1个普通残差结构还与第二组残差结构中的第3个注意力残差结构连接；第四组残差结构中的第1个注意力残差结构还与第三组残差结构中的第4个普通残差结构连接；第四组残差结构中的第5个注意力残差结构还与所述第二卷积层连接；
各普通残差结构均包括依次连接的第一逐点卷积、第一深度卷积及第二逐点卷积；各注意力残差结构均包括依次连接的第三逐点卷积、第二深度卷积、注意力融合模块及第四逐点卷积；
所述普通残差结构通过第一逐点卷积对输入的特征图进行升维处理，得到第一升维特征图；通过第一深度卷积对所述第一升维特征图进行特征提取，得到第一深度特征图；通过第二逐点卷积对所述第一深度特征图进行降维处理，输出对应的特征图；
所述注意力残差结构通过第三逐点卷积对输入的特征图进行升维处理，得到第二升维特征图；通过第二深度卷积对所述第二升维特征图进行特征提取，得到第二深度特征图；通过注意力融合模块对所述第二深度特征图的特征细化，得到细化特征图；通过第四逐点卷积对所述细化特征图进行降维处理，输出对应的特征图。
4.根据权利要求3所述的垃圾分类方法，其特征在于，所述注意力融合模块包括通道注意力分支及空间注意力分支；
所述通过注意力融合模块对所述第二深度特征图的特征细化，得到细化特征图，具体包括：
通过所述通道注意力分支融合所述第二深度特征图每个通道的特征信息，得到通道特征向量；
将所述通道特征向量与所述第二深度特征图进行逐元素相乘，得到通道特征图；
通过所述空间注意力分支增加所述第二深度特征图的视野区域，得到空间特征向量；
将所述空间特征向量与所述第二深度特征图进行逐元素相乘，得到空间特征图；
将所述通道特征图与所述空间特征图进行逐元素相加，得到细化特征图。
5.根据权利要求4所述的垃圾分类方法，其特征在于，所述通过所述通道注意力分支融合所述第二深度特征图每个通道的特征信息，得到通道特征向量，具体包括：
对所述第二深度特征图进行平均池化操作，得到第一特征向量；
对所述第二深度特征图进行最大池化操作，得到第二特征向量；
将所述第一特征向量进行三次卷积操作，得到平均池化向量；
将所述第二特征向量进行三次卷积操作，得到最大池化向量；
对所述平均池化向量与所述最大池化向量进行逐元素相加并激活，得到通道特征向量。
6.根据权利要求4所述的垃圾分类方法，其特征在于，所述通过所述空间注意力分支增加所述第二深度特征图的视野区域，得到空间特征向量，具体包括：
采用卷积核尺寸为1×1的卷积块对所述第二深度特征图进行浓缩，得到浓缩特征图；
依次采用两个卷积核尺寸为3×3的空洞卷积增加所述浓缩特征图的感受野，得到空洞特征；
采用卷积核尺寸为1×1的卷积块将所述空洞特征整合为通道数为1的特征向量并激活，得到空间特征向量。
7.一种垃圾分类系统，其特征在于，所述垃圾分类系统包括：
图像获取单元，用于获取待分类垃圾图像；
分类单元，与所述图像获取单元连接，用于根据所述待分类垃圾图像，采用垃圾分类模型进行垃圾识别并分类，以确定所述待分类垃圾图像中垃圾的类别；所述垃圾分类模型为预先采用训练样本集，基于注意力机制和随机深度学习策略，对MobileNetv3进行训练得到的；所述训练样本集中包括多张样本图像及各样本图像中垃圾的类别。
8.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至6中任一项所述的垃圾分类方法。
9.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的垃圾分类方法。
CN202211304291.4A 2022-10-24 2022-10-24 一种垃圾分类方法、系统、电子设备及介质 Pending CN115908893A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211304291.4A CN115908893A (zh) 2022-10-24 2022-10-24 一种垃圾分类方法、系统、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211304291.4A CN115908893A (zh) 2022-10-24 2022-10-24 一种垃圾分类方法、系统、电子设备及介质

Publications (1)

Publication Number Publication Date
CN115908893A true CN115908893A (zh) 2023-04-04

Family

ID=86470045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211304291.4A Pending CN115908893A (zh) 2022-10-24 2022-10-24 一种垃圾分类方法、系统、电子设备及介质

Country Status (1)

Country Link
CN (1) CN115908893A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116401664A (zh) * 2023-04-06 2023-07-07 首都师范大学 一种恶意代码分类方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116401664A (zh) * 2023-04-06 2023-07-07 首都师范大学 一种恶意代码分类方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN112668630B (zh) 一种基于模型剪枝的轻量化图像分类方法、系统及设备
CN113822209B (zh) 高光谱图像识别方法、装置、电子设备及可读存储介质
CN109886422A (zh) 模型配置方法、装置、电子设备及可读取存储介质
CN106354701A (zh) 汉字处理方法和装置
CN111783937A (zh) 一种神经网络构建方法以及系统
CN107944545A (zh) 应用于神经网络的计算方法及计算装置
CN108171328A (zh) 一种卷积运算方法和基于该方法的神经网络处理器
CN117037215B (zh) 人体姿态估计模型训练方法、估计方法、装置及电子设备
CN116108789B (zh) 一种模拟电路版图结构化特性表示还原方法及组件
CN111241550B (zh) 基于二进制映射和深度学习的漏洞检测方法
CN109754357B (zh) 图像处理方法、处理装置以及处理设备
CN115908893A (zh) 一种垃圾分类方法、系统、电子设备及介质
CN112580627A (zh) 基于国产智能芯片K210的yolov3目标检测方法及电子装置
CN111860465A (zh) 基于超像素的遥感图像提取方法、装置、设备及存储介质
Manzari et al. A robust network for embedded traffic sign recognition
CN110909770A (zh) 结合acgan的图像样本处理方法、装置、系统和介质
CN115292538A (zh) 一种基于深度学习的地图线要素提取方法
CN117744760A (zh) 文本信息的识别方法、装置、存储介质及电子设备
CN115359296A (zh) 图像识别方法、装置、电子设备及存储介质
CN113076544A (zh) 基于深度学习模型压缩的漏洞检测方法、系统及移动设备
CN112800946A (zh) 一种污损发票识别方法
US11868878B1 (en) Executing sublayers of a fully-connected layer
CN109409226A (zh) 一种基于级联优化cnn的手指静脉图质量评估方法及其装置
CN116863509B (zh) 运用改进的PolarMask进行人形轮廓检测和姿态识别的方法
Syed A Student Network Model for Image Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination