CN113011465B - 一种基于分组多级融合的生活垃圾投放智能化监管方法 - Google Patents

一种基于分组多级融合的生活垃圾投放智能化监管方法 Download PDF

Info

Publication number
CN113011465B
CN113011465B CN202110210117.2A CN202110210117A CN113011465B CN 113011465 B CN113011465 B CN 113011465B CN 202110210117 A CN202110210117 A CN 202110210117A CN 113011465 B CN113011465 B CN 113011465B
Authority
CN
China
Prior art keywords
mid
convolution
channel
module
grouping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110210117.2A
Other languages
English (en)
Other versions
CN113011465A (zh
Inventor
潘志刚
朱新荣
沈淑英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Jinghe Intelligent Technology Co ltd
Original Assignee
Zhejiang Jinghe Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Jinghe Intelligent Technology Co ltd filed Critical Zhejiang Jinghe Intelligent Technology Co ltd
Priority to CN202110210117.2A priority Critical patent/CN113011465B/zh
Publication of CN113011465A publication Critical patent/CN113011465A/zh
Application granted granted Critical
Publication of CN113011465B publication Critical patent/CN113011465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明为一种基于分组多级融合的生活垃圾投放智能化监管方法，涉及深度学习领域。本发明包括：步骤1：构建生活垃圾投放智能化监管网络：生活垃圾投放智能化监管网络包括切片模块、分组增强模块、多级分组池化聚合模块、上采样模块和输出卷积模块。步骤2：训练网络，获得权重；步骤3：利用在步骤2获得权值对测试集中的图片进行指标测评，获得平均精度mAP值。步骤4：重复执行步骤2，步骤3共V次，挑选mAP值最高时获得训练集的权重作为最终的网络的权重。本发明采用卷积分组参数复用增强、多级分组池化聚合的机制，有效提高了检测的准确性和效率，避免了特征的冗余，有效减少参数，加快算法运行速度，同时兼顾了速度和精度的需求。

Description

一种基于分组多级融合的生活垃圾投放智能化监管方法
技术领域
本发明涉及深度学习领域，尤其是涉及一种基于分组多级融合的生活垃圾投放智能化监管方法。
背景技术
随着我国经济水平的高速发展，人们的物质消费水平不断提升，相对应的垃圾产生量也在迅速增长，由垃圾产生的问题日益突出，人们的反映越来越强烈，推行垃圾分类势在必行，推行垃圾分类意义重大。目前，我国大部分垃圾处理都是垃圾填埋，占地很大，会引起蚊虫的增多，污水的湍流和难闻的气味。垃圾分类还可以节省资源，提高经济效益。对垃圾中的可回收物进行充分的分类，可以回收垃圾中具有回收价值的废物，从而可以大大减少垃圾的来源。将可回收利用的废物变废为宝可以有效地促进资源的回收利用，并产生可观的经济效益。
垃圾分类一般指按照一定的分类标准存储、投放、搬运垃圾。对于个人而言，一般仅涉及到垃圾分类中的投放垃圾，但是对于什么样的垃圾该投放到什么样的垃圾桶的个人知晓率很低，常常会出现在易腐垃圾中出现废纸、塑料等其他类型垃圾的现象。为了解决个人对垃圾分类知晓率低的问题，现有的解决方法是在垃圾分类现场增加分类工作人员，但是这种人工的方法效率很低，并且存在工作人员误判的情况。本方法的目的在于利用深度学习辅助垃圾分类现场分类工作人员，实时识别出不属于当前分类类别的垃圾，有效提高垃圾分类工作效率。
现有的基于深度学习的检测方法有单步和两步两种。两步检测方法如：Faster R-CNN。该方法由两个模块组成，一个模块用于生成区域方案；第二个模块是检测器，但该方法存在的不足之处是，Faster R-CNN在训练过程中分两步进行，导致目标检测的速度低，无法保证目标检测的实时性。单步检测算法如：SSD，根据每个特征图位置的不同纵横比，将边界框的输出空间离散为一组默认框。但该方法存在的不足之处是，小目标用于训练的的先验框会少很多，得不到充分的训练。因此该方法对于小目标的检测精度不够，定位不准。
发明内容
有鉴于此，为实现我们的实时的生活垃圾投放智能化监管方法，我们的网络采用了一步检测的结构，网络随着分组参数复用增强、多级分组池化聚合的机制加入，实现了对小目标检测的精度和定位的准确性。本发明提供了一种基于分组多级融合的生活垃圾投放智能化监管方法。
为了实现上述目的，本发明采用如下技术方案：
一种基于分组多级融合的生活垃圾投放智能化监管方法，包括以下步骤：
采集垃圾分类现场图片，将所述图片进行预处理后获得训练集；
构建生活垃圾投放智能化监管网络；其中，所述生活垃圾投放智能化监管网络引入卷积分组参数复用增强、多级分组池化聚合机制；
将所述训练集输入到所述生活垃圾投放智能化监管网络，多次获得训练网络，获得多个权重，利用多个所述权重分别对测试集中的图片进行指标测评，获得平均精度mAP值；
挑选mAP值最高时所获得训练集上的权重作为最终的网络的权重。
优选地，所述生活垃圾投放智能化监管网络包括切片模块，分组增强模块，感受野增强模块，输出卷积模块，基础卷积模块和检测器；
第一通道为切片模块，第一分组增强模块，第一基础卷积，第二分组增强模块依次连接；
第二通道为在所述第一通道的基础上，依次连接有第二基础卷积，第三分组增强模块；
第三通道为在所述第二通道的基础上，依次连接有第三基础卷积，感受野增强模块，第四分组增强模块，第四基础卷积；
第四通道为在所述第三通道的基础上，连接有第一上采样模块；
所述第四通道和所述第二通道进行通道相加后，依次连接第五分组增强模块，第五基础卷积模块作为第五通道；
所述第五通道连接第二上采样模块与所述第一通道进行通道相加后连接第六分组模块作为第六通道；
所述第六通道后连接第六基础卷积与所述第五通道进行通道相加后连接第七分组增强模块作为第七通道；
所述第七通道后连接第七基础卷积与所述第三通道进行通道相加后连接第八分组增强模块作为第八通道；
所述第六通道，所述第七通道，所述第八通道连接检测器。
优选地，所述切片模块由第一个切片，第二个切片，第三个切片和第四个切片通道相加后依次连接第一3×3卷积，第一Hard swish激活函数，第二3×3卷积，第二Hard swish激活函数。
优选地，所述分组增强模块为第一1×1卷积，第一Hard swish激活函数，参数复用增强模块和第二1×1卷积依次连接后与第三1×1卷积通道相加，通道相加后依次连接第一Leaky ReLU激活函数、第三1×1卷积、第四Hard swish激活函数。
优选地，所述参数复用增强模块为1个或多个，所述参数复用增强模块定义为：定义输入为x；x首先依次通过1×1卷积和Hard swish激活函数获得mid_x1；mid_x1依次经过自适应平均池化和Hard swish激活函数得到mid_avg；mid_avg与mid_x1先元素对应相乘，再元素对应相加得到mid_fusion；mid_fusion依次通过3×3组卷积和Hard swish激活函数得到mid_x2；mid_x1与mid_x1按通道数相加获得参数复用增强模块最终输出y。
优选地，所述基础卷积为3×3卷积和Hard swish激活函数依次连接。
优选地，所述感受野增强模块由多级分组池化聚合模块构成；所述多级分组池化聚合模块定义为：定义输入为m；m首先依次通过1×1卷积和Hard swish激活函数获得mid_m1；mid_m1经过1×1卷积、Hard swish激活函数、自适应平均池化和Hard swish激活函数获得res_1；mid_m1经过1×1卷积、Hard swish激活函数、自适应平均池化和Hard swish激活函数获得res_2；mid_m1分别经过核为1的最大池化和核为3的最大池化得到mid_max1和mid_max3；mid_m1、mid_max1和mid_m3按通道数相加获得mid_m2_1；mid_m2_1经过1×1卷积和Hard swish激活函数获得mid_m2_2；mid_m2_2与res_1元素对应相乘的结果与mid_m2_2对应元素相加得到mid_m2；mid_m2分别经过核为5的最大池化、核为9的最大池化和核为13的最大池化得到mid_max5、mid_max9和mid_max13；mid_m2、mid_max5、mid_max5和mid_max13按通道数相加获得mid_m3_1；mid_m3_1经过1×1卷积和Hard swish激活函数获得mid_m3_2；mid_m3_2与res_2元素对应相乘的结果与mid_m3_2对应元素相加得到mid_m2最终输出n。
优选地，所述上采样模块由上采样层构成。
经由上述的技术方案可知，与现有技术相比，本发明有以下有益效果：
1)本发明方法构建了一个生活垃圾投放智能化监管的全卷积的神经网络，由于本发明在构建基础网络时采用了卷积分组参数复用增强、多级分组池化聚合的机制，从而有效的提高了检测的准确性和效率。
2)本发明方法所采用的卷积分组参数复用增强机制，增加了参数的复用，减少了无用参数带来的冗余，并且提高了局部特征的获取。此外，多级分组池化聚合的机制的机制进一步的增大了网络的感受野，实现了对小，中，大物体的精确检测。
3)本发明利用了深度学习的特点，做到实时且有效的辅助现场垃圾分类工作人员完成垃圾分类工作，此外还结合了融合了多层多级特征，实现特征的复用，避免了特征的冗余，有效减少了参数，加快了算法的运行速。。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明的实现流程图；
图2为本发明方法的总体实现图；
图3为本发明方法所涉及的参数复用增强模块；
图4为本发明方法所涉及的多级分组池化聚合模块；
图5为本发明方法所涉及的切片模块；
图6为本发明方法所涉及的分组增强模块；
图7为本发明方法所涉及的基础模块；
图8为本发明中所涉及网络训练时的mAP曲线。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种本发明提出的一种基于分组多级融合的生活垃圾投放智能化监管方法，图1为本发明的实现流程图，其网络总体实现的如图2所示，其包括数据处理、训练、测试和预测阶段四个过程；
所涉及数据处理包括：步骤1_1：第一，采集垃圾分类现场图片(以易腐垃圾为例)，并将收集到图片进行删选，去除一些模糊不清的图片，共剩下22854张图片，第二，对剩下的图片取其中21711张图片进行标签标注，标注格式采用.xml，剩下的1542张图片作为预测集；第三，对已经标注的21711张图片划分数据集，获得训练和测试两个数据集，各占90％和10％。训练集和测试集中的图片均为RGB三通道，此外在训练和测试过程中训练集和测试集中的图片都被重新尺寸缩放调整为W和H，W表示图片的宽度(行)，H表示图片的高度(列)，如取H＝640，W＝640。
所涉及训练和测试阶段包括：
步骤1_2：构建生活垃圾投放智能化监管网络：生活垃圾投放智能化监管网络包括切片模块、分组增强模块、感受野增强模块、上采样模块和检测器五个类型的模块。
首先对两个模块定义：第一个模块是参数复用增强模块，其结构如图3所示，定义输入为x(通道数为x_c，尺寸：宽为x_w、高为x_h)；x首先依次通过1×1卷积(卷积核个数为x_c/2，步长为1，补零参数为1，分组个数为1)和Hard swish激活函数获得mid_x1；mid_x1依次经过自适应平均池化(最终尺寸输出为1×1，通道数不变)和Hard swish激活函数得到mid_avg；mid_avg与mid_x1先元素对应相乘，再元素对应相加得到mid_fusion；
mid_fusion依次通过3×3组卷积(卷积核个数为x_c/2，步长为1，补零参数为1，分组个数为x_c/2)和Hard swish激活函数得到mid_x2；mid_x2与mid_x1按通道数相加获得参数复用增强模块最终输出y(通道数为x_c，尺寸：宽为x_w、高为x_h)。第二个模块为多级分组池化聚合模块，其结构如图4所示，定义输入为m(通道数为m_c,尺寸：宽为m_w、高为m_h)；m首先依次通过1×1卷积(卷积核个数为m_c/2，步长为1，补零参数为1，分组个数为1)和Hard swish激活函数获得mid_m1；mid_m1经过1×1卷积(Conv 1×1)(卷积核个数为m_c/2，步长为1，补零参数为1，分组个数为1)、Hard swish激活函数、自适应平均池化(最终尺寸输出为1×1，通道数不变)和Hard swish激活函数获得res_1；mid_m1经过1×1卷积(卷积核个数为m_c，步长为1，补零参数为1，分组个数为1)、Hard swish激活函数、自适应平均池化(最终尺寸输出为1×1，通道数不变)和Hard swish激活函数获得res_2；mid_m1分别经过核为1的最大池化(池化步长为1，补零参数为0)和核为3的最大池化(池化步长为1，补零参数为1)得到mid_max1和mid_max3；mid_m1、mid_max1和mid_m3按通道数相加获得mid_m2_1；mid_m2_1经过1×1卷积(卷积核个数为m_c/2，步长为1，补零参数为1，分组个数为1)和Hardswish激活函数获得mid_m2_2；mid_m2_2与res_1元素对应相乘的结果与mid_m2_2对应元素相加得到mid_m2；mid_m2分别经过核为5的最大池化(池化步长为1，补零参数为2)、核为9的最大池化(池化步长为1，补零参数为4)和核为13的最大池化(池化步长为1，补零参数为6)得到mid_max5、mid_max9和mid_max13；mid_m2、mid_max5、mid_max5和mid_max13按通道数相加获得mid_m3_1；mid_m3_1经过1×1卷积(卷积核个数为m_c，步长为1，补零参数为1，分组个数为1)和Hard swish激活函数获得mid_m3_2；mid_m3_2与res_2元素对应相乘的结果与mid_m3_2对应元素相加得到mid_m2最终输出n(通道数为m_c,尺寸：宽为m_w、高为m_h)。
接下来结合图2对网络整体结构进行介绍：
对于切片模块，结构如图5所示，其由四个切片操作和第一3×3卷积、第一Hardswish激活函数、第二3×3卷积、第二Hard swish激活函数组成；第一个切片取原始输入图片中行和列都为单数的像素，第二个切片取原始输入图片中行和列都为双数的像素，第三个切片取原始输入图片中行为双数、列为单数的像素，第四个切片取原始输入图片中行为单数、列为双数的像素；以上切片的宽度和高度均为W/2、H/2，通道数仍为3。将四个切片按通道数相加得到的12通道的结果依次输入到第一3×3卷积(卷积核个数为32，步长为1，补零参数为1，分组数为1)、第一Hard swish激活函数、第二3×3卷积(卷积核个数为64，步长为2，补零参数为1)、第一Hard swish激活函数得到切片模块输出F1，F1宽度和高度为W/4、H/4,通道数为64。
对于第一分组增强模块，结构如图6所示，其由第一1×1卷积、第三Hard swish激活函数、第一分组参数复用增强模块、第二1×1卷积、第一Leaky ReLU激活函数、第三1×1卷积、第四Hard swish激活函数和第四1×1卷积组成，第一分组增强模块接收切片模块输出F1中64幅特征图输入，第一分组增强模块输出端输出64幅特征图，将这64幅特征图记为GS1，GS1中的输出特征图的宽度为W/4、高度为H/4；F1依次经过第一1×1卷积(卷积核个数为32，步长为1，补零参数为1，分组数为1)、第三Hard swish激活函数、第一分组参数复用增强模块(通道数为32，尺寸：宽为W/4、高为H/4)、第二1×1卷积(卷积核个数为32，步长为1，补零参数为1，分组数为1)得到的输出记为GS1_1；F1经过第三1×1卷积(卷积核个数为32，步长为1，补零参数为1，分组数为1)得到的输出记为GS1_2；GS1_1和GS1_2按通道数相加的结果经过第一Leaky ReLU激活函数、第四1×1卷积(卷积核个数为64，步长为1，补零参数为1，分组数为1)、第四Hard swish激活函数得到第一分组增强模块的输出GS1。
对于第一基础卷积，如图7所示，其由第三3×3卷积、第五Hard swish激活函数组成，第一基础卷积接收第一分组增强模块输出GS1中64幅特征图输入，第一基础卷积输出端输出128幅特征图，将这128幅特征图记为B1，B1中的输出特征图的宽度为W/8、高度为H/8；GS1依次经过第三3×3卷积(卷积核个数为128，步长为2，补零参数为1，分组数为1)、第五Hard swish激活函数得到第一基础卷积的输出B1。
对于第二分组增强模块，其由第五1×1卷积、第六Hard swish激活函数、第二分组参数复用增强模块、第三分组参数复用增强模块、第四分组参数复用增强模块、第六1×1卷积、第二Leaky ReLU激活函数、第七1×1卷积、第七Hard swish激活函数和第八1×1卷积组成，第二分组增强模块接收第一基础卷积输出B1中128幅特征图作为输入，第二分组增强模块输出端输出128幅特征图，将这128幅特征图记为GS2，GS2中的输出特征图的宽度为W/8、高度为H/8；B1依次经过第五1×1卷积(卷积核个数为64，步长为1，补零参数为1，分组数为1)、第六Hard swish激活函数、第二分组参数复用增强模块(通道数为64，宽为W/8、高为H/8)、第三分组参数复用增强模块(通道数为64，宽为W/8、高为H/8)、第四分组参数复用增强模块(通道数为64，宽为W/8、高为H/8)、第六1×1卷积(卷积核个数为64，步长为1，补零参数为1，分组数为1)得到的输出记为GS2_1；B1经过第七1×1卷积(卷积核个数为64，步长为1，补零参数为1，分组数为1)得到的输出记为GS2_2；GS2_1和GS2_2按通道数相加的结果经过第二Leaky ReLU激活函数、第八1×1卷积(卷积核个数为128，步长为1，补零参数为1，分组数为1)、第七Hard swish激活函数得到第二分组增强模块的输出GS1。
对于第二基础卷积，其由第四3×3卷积、第八Hard swish激活函数组成，第二基础卷积接收第二分组增强模块输出GS2中128幅特征图作为输入，第二基础卷积输出端输出256幅特征图，将这256幅特征图记为B2，B2中的输出特征图的宽度为W/16、高度为H/16；GS2依次经过第四3×3卷积(卷积核个数为256，步长为2，补零参数为1，分组数为1)、第八Hardswish激活函数得到第二基础卷积的输出B2。
对于第三分组增强模块，其由第九1×1卷积、第九Hard swish激活函数、第五分组参数复用增强模块、第六分组参数复用增强模块、第七分组参数复用增强模块、第十1×1卷积、第二Leaky ReLU激活函数、第十一1×1卷积、第十Hard swish激活函数和第十二1×1卷积组成，第三分组增强模块接收第二基础卷积输出B2中256幅特征图作为输入，第二分组增强模块输出端输出256幅特征图，将这128幅特征图记为GS3，GS3中的输出特征图的宽度为W/16、高度为H/16；B2依次经过第九1×1卷积(卷积核个数为128，步长为1，补零参数为1，分组数为1)、第九Hard swish激活函数、第五分组参数复用增强模块(通道数为128,宽为W/16、高为H/16)、第六分组参数复用增强模块(通道数为128,宽为W/16、高为H/16)、第七分组参数复用增强模块(通道数为128,宽为W/16、高为H/16)、第十1×1卷积(卷积核个数为128，步长为1，补零参数为1，分组数为1)得到的输出记为GS3_1；B1经过第十一1×1卷积(卷积核个数为128，步长为1，补零参数为1，分组数为1)得到的输出记为GS3_2；GS3_1和GS3_2按通道数相加的结果经过第三Leaky ReLU激活函数、第十二1×1卷积(卷积核个数为256，步长为1，补零参数为1，分组数为1)、第十Hard swish激活函数得到第三分组增强模块的输出GS3。
对于第三基础卷积，其由第五3×3卷积、第十一Hard swish激活函数组成，第三基础卷积接收第三分组增强模块输出GS3中256幅特征图作为输入，第三基础卷积输出端输出512幅特征图，将这512幅特征图记为B3，B3中的输出特征图的宽度为W/32、高度为H/32；GS3依次经过第五3×3卷积(卷积核个数为512，步长为2，补零参数为1，分组数为1)、第十一Hard swish激活函数得到第三基础卷积的输出B3。
对于感受野增强模块，其由多级分组池化聚合模块构成，感受野增强模块接收第三基础卷积输出B3中512幅特征图作为输入，感受野增强模块输出端输出512幅特征图，将这512幅特征图记为SPP，SPP中的输出特征图的宽度为W/32、高度为H/32；B3经过多级分组池化聚合模块(通道数为512,宽为W/32、高为H/32)得到第三基础卷积的输出SPP。
对于第四分组增强模块，其由第十三1×1卷积、第十二Hard swish激活函数、第八分组参数复用增强模块、第十四1×1卷积、第四Leaky ReLU激活函数、第十五1×1卷积、第十三Hard swish激活函数和第十六1×1卷积组成，第四分组增强模块接收感受野增强模块输出SPP中512幅特征图作为输入，第四分组增强模块输出端输出512幅特征图，将这512幅特征图记为GS4，GS4中的输出特征图的宽度为W/32、高度为H/32；SPP依次经过第十三1×1卷积(卷积核个数为256，步长为1，补零参数为1，分组数为1)、第十二Hard swish激活函数、第八分组参数复用增强模块(通道数为256，宽为W/32、高为H/32)、第十四1×1卷积(卷积核个数为256，步长为1，补零参数为1，分组数为1)得到的输出记为GS4_1；SPP经过第十五1×1卷积(卷积核个数为256，步长为1，补零参数为1，分组数为1)得到的输出记为GS4_2；GS4_1和GS4_2按通道数相加的结果经过第四Leaky ReLU激活函数、第十六1×1卷积(卷积核个数为512，步长为1，补零参数为1，分组数为1)、第十三Hard swish激活函数得到第四分组增强模块的输出GS4。
对于第四基础卷积，其由第十七1×1卷积、第十四Hard swish激活函数组成，第四基础卷积接收第四分组增强模块输出GS4中512幅特征图作为输入，第四基础卷积输出端输出256幅特征图，将这256幅特征图记为B4，B4中的输出特征图的宽度为W/32、高度为H/32；GS4依次经过第十七1×1卷积(卷积核个数为256，步长为1，补零参数为1，分组数为1)、第十四Hard swish激活函数得到第三基础卷积的输出B4。
对于第一上采样模块，其由第一上采样层构成，第一上采样模块接收第四基础卷积输出B4中512幅特征图作为输入，第一上采样模块输出端输出256幅特征图，将这256幅特征图记为U1，U1中的输出特征图的宽度为W/16、高度为H/16；B4经过第一上采样层(上采样率为2，插值方式为近邻插值)的输出为U1。
对于第五分组增强模块，其由第十八1×1卷积、第十五Hard swish激活函数、第九分组参数复用增强模块、第十九1×1卷积、第五Leaky ReLU激活函数、第二十1×1卷积、第十六Hard swish激活函数和第二十一1×1卷积组成，第五分组增强模块接收第一上采样模块输出U1和第三分组增强模块输出按通道数相加的结果作为输入(256+256＝512)，记为GSU1；第五分组增强模块输出端输出256幅特征图，将这256幅特征图记为GS5，GS5中的输出特征图的宽度为W/16、高度为H/16，GSU1依次经过第十八1×1卷积(卷积核个数为256，步长为1，补零参数为1，分组数为1)、第十五Hard swish激活函数、第九分组参数复用增强模块(通道数为256，宽为W/16、高为H/16)、第十九1×1卷积(卷积核个数为256，步长为1，补零参数为1，分组数为1)得到的输出记为GS5_1；GSU1经过第二十1×1卷积(卷积核个数为256，步长为1，补零参数为1，分组数为1)得到的输出记为GS5_2；GS5_1和GS5_2按通道数相加的结果经过第五Leaky ReLU激活函数、第二十一1×1卷积(卷积核个数为256，步长为1，补零参数为1，分组数为1)、第十六Hard swish激活函数得到第五分组增强模块的输出GS5。
对于第五基础卷积，其由第二十二1×1卷积、第十七Hard swish激活函数组成，第五基础卷积接收第五分组增强模块输出GS5中256幅特征图作为输入，第五基础卷积输出端输出幅特征图，将这128幅特征图记为B5，B5中的输出特征图的宽度为W/16、高度为H/16；GS5依次经过第二十二1×1卷积(卷积核个数为128，步长为1，补零参数为1，分组数为1)、第十七Hard swish激活函数得到第五基础卷积的输出B5。
对于第二上采样模块，其由第二上采样层构成，第二上采样模块接收第五基础卷积输出B5中256幅特征图作为输入，第二上采样模块输出端输出128幅特征图，将这128幅特征图记为U2，U2中的输出特征图的宽度为W/8、高度为H/8；B5经过第二上采样层(上采样率为2，插值方式为近邻插值)的输出为U2。
对于第六分组增强模块，其由第二十三1×1卷积、第十八Hard swish激活函数、第十分组参数复用增强模块、第二十四1×1卷积、第六Leaky ReLU激活函数、第二十五1×1卷积、第十九Hard swish激活函数和第二十六1×1卷积组成，第六分组增强模块接收第二上采样模块输出U2和第二分组增强模块输出按通道数相加(128+128＝256)的结果作为输入，记为GSU2；第六分组增强模块输出端输出128幅特征图，将这128幅特征图记为GS6，GS6中的输出特征图的宽度为W/8、高度为H/8，GSU2依次经过第二十三1×1卷积(卷积核个数为128，步长为1，补零参数为1，分组数为1)、第十八Hard swish激活函数、第十分组参数复用增强模块(通道数为128,宽为W/8、高为H/8)、第二十四1×1卷积(卷积核个数为256，步长为1，补零参数为1，分组数为1)得到的输出记为GS6_1；GSU2经过第二十五1×1卷积(卷积核个数为128，步长为1，补零参数为1，分组数为1)得到的输出记为GS6_2；GS6_1和GS6_2按通道数相加的结果经过第六Leaky ReLU激活函数、第二十六1×1卷积(卷积核个数为128，步长为1，补零参数为1，分组数为1)、第十九Hard swish激活函数得到第五分组增强模块的输出GS6。(输出1)
对于第六基础卷积，其由第六3×3卷积、第二十Hard swish激活函数组成，第六基础卷积接收第六分组增强模块输出GS6中128幅特征图作为输入，第五基础卷积输出端输出128幅特征图，将这128幅特征图记为B6，B6中的输出特征图的宽度为W/16、高度为H/16；GS6依次经过第六3×3卷积(卷积核个数为128，步长为2，补零参数为1，分组数为1)、第二十Hard swish激活函数得到第三基础卷积的输出B6。
对于第七分组增强模块，其由第二十七1×1卷积、第二十一Hard swish激活函数、第十一分组参数复用增强模块、第二十八1×1卷积、第七Leaky ReLU激活函数、第二十九1×1卷积、第二十二Hard swish激活函数和第三十1×1卷积组成，第七分组增强模块接收第六基础卷积B5和第六基础卷积B6输出按通道数相加(128+128＝256)的结果作为输入，记为GSU2；第五分组增强模块输出端输出256幅特征图，将这256幅特征图记为GS7，GS7中的输出特征图的宽度为W/16、高度为H/16，GSU2依次经过第二十七1×1卷积(卷积核个数为128，步长为1，补零参数为1，分组数为1)、第二十一Hard swish激活函数、第十一分组参数复用增强模块(通道数为128,宽为W/16、高为H/16)、第二十八1×1卷积(卷积核个数为128，步长为1，补零参数为1，分组数为1)得到的输出记为GS7_1；GSU2经过第二十九1×1卷积(卷积核个数为128，步长为1，补零参数为1，分组数为1)得到的输出记为GS7_2；GS7_1和GS7_2按通道数相加的结果经过第七Leaky ReLU激活函数、第三十1×1卷积(卷积核个数为256，步长为1，补零参数为1，分组数为1)、第二十二Hard swish激活函数得到第五分组增强模块的输出GS7。(输出二)
对于第七基础卷积，其由第七3×3卷积、第二十三Hard swish激活函数组成，第七基础卷积接收第七分组增强模块输出GS7中256幅特征图作为输入，第五基础卷积输出端输出256幅特征图，将这256幅特征图记为B7，B7中的输出特征图的宽度为W/32、高度为H/32；GS7依次经过第七3×3卷积(卷积核个数为256，步长为2，补零参数为1，分组数为1)、第二十三Hard swish激活函数得到第三基础卷积的输出B7。
对于第八分组增强模块，其由第三十一1×1卷积、第二十四Hard swish激活函数、第十二分组参数复用增强模块、第三十二1×1卷积、第八Leaky ReLU激活函数、第三十三1×1卷积、第二十五Hard swish激活函数和第三十三四1×1卷积组成，第八分组增强模块接收第七基础卷积B7和第四基础卷积B4输出按通道数相加(256+256＝512)的结果作为输入，记为GSU3；第八分组增强模块输出端输出512幅特征图，将这512幅特征图记为GS8，GS8中的输出特征图的宽度为W/32、高度为H/32，GSU3依次经过第三十一1×1卷积(卷积核个数为256，步长为1，补零参数为1，分组数为1)、第二十四Hard swish激活函数、第十二分组参数复用增强模块(通道数为256,宽为W/32、高为H/32)、第三十二1×1卷积(卷积核个数为128，步长为1，补零参数为1，分组数为1)得到的输出记为GS8_1；GSU3经过第三十三1×1卷积(卷积核个数为256，步长为1，补零参数为1，分组数为1)得到的输出记为GS8_2；GS8_1和GS8_2按通道数相加的结果经过第八Leaky ReLU激活函数、第三十四1×1卷积(卷积核个数为512，步长为1，补零参数为1，分组数为1)、第二十五Hard swish激活函数得到第五分组增强模块的输出GS8。(输出三)
对于检测器，采用的是YOLOV3的检测框架，其接收来自GS8、GS7、GS6三个维度的输入，实现对小、中、大物体的检测。
步骤1_4：将训练集中的每幅原始的场景图像作为原始输入图像，输入到生活垃圾投放网络(网络采用在COCO上的预训练权重yolov5s.pth作为预训练，节约训练成本，降低欠拟合和过拟合的风险)中进行训练，获得训练的权重。
步骤1_5：将测试集中的每幅图像输入到生活垃圾投放智能算法中，利用在步骤1_5所获得权值对测试集中的图片进行指标测评，获得平均精度mAP值。
步骤1_8：重复执行步骤1_4，步骤1_5共V次，V＝300，得到卷积神经网络分类训练模型，根据获得V个测试集上mAP值(曲线图如图8)，挑选mAP值最高时所获得训练集上的权重作为最终的网络的权重。
所述的预测阶段过程的具体步骤为：
步骤2_1：将预测集中的每幅图像输入到生活垃圾投放智能算法中，利用在步骤1_8所获得最优权值对预测集中的图片进行预测，获得最终的垃圾分类检测结果。
为了进一步验证本发明方法的可行性和有效性，进行实验。
本发明的硬件测试平台是：CPU为Inteli7-6900X，内存为128GB，GPU为三张NVIDIATITAN V，软件平台是：ubuntu18.04。使用基于python的深度学习库Pytorch1.6.0搭建了一种基于分组多级融合的生活垃圾投放智能化监管方法。采用测试集来分析利用本发明方法预测得到的检测效果。这里，利用评估检测方法的4个常用客观参量作为评价指标，即P、R、mAP(0.5)、mAP(0.5:0.95)来评价检测性能。
利用本发明方法测试集中的每幅图像进行预测，得到每幅图像对应的显著性检测图像，反映本发明方法的检测效果的P、R、mAP(0.5)、mAP(0.5:0.95)如表1：利用本发明方法在测试集上的评测结果(conf＝0.25,OU＝0.45)所列。从表1所列的数据可知，按本发明方法得到的检测图像的检测结果的测试指标基本实现对大多数类的检测。如表2：利用本发明方法在测试集上的评测结果(conf＝0.55,OU＝0.45)所列，为本发明取得最好mAP(0.5)值。本发明处理一张图片所用的时间为2.0ms，即本发明的预测速度为50fps，可以实现实时检测的目的。
表1
Figure BDA0002951981290000201
表2
Figure BDA0002951981290000211
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (2)

1.一种基于分组多级融合的生活垃圾投放智能化监管方法，其特征在于，包括以下步骤：
采集垃圾分类现场图片，将所述图片进行预处理后获得训练集；
构建生活垃圾投放智能化监管网络；其中，所述生活垃圾投放智能化监管网络引入卷积分组参数复用增强、多级分组池化聚合机制；
将所述训练集输入到所述生活垃圾投放智能化监管网络，多次获得训练网络，获得多个权重，利用多个所述权重分别对测试集中的图片进行指标测评，获得平均精度mAP值；
挑选mAP值最高时所获得训练集上的权重作为最终的网络的权重；
所述生活垃圾投放智能化监管网络包括切片模块，分组增强模块，感受野增强模块，输出卷积模块，基础卷积模块和检测器；
第一通道为切片模块，第一分组增强模块，第一基础卷积，第二分组增强模块依次连接；
第二通道为在所述第一通道的基础上，依次连接有第二基础卷积，第三分组增强模块；
第三通道为在所述第二通道的基础上，依次连接有第三基础卷积，感受野增强模块，第四分组增强模块，第四基础卷积；
第四通道为在所述第三通道的基础上，连接有第一上采样模块；
所述第四通道和所述第二通道进行通道相加后，依次连接第五分组增强模块，第五基础卷积模块作为第五通道；
所述第五通道连接第二上采样模块与所述第一通道进行通道相加后连接第六分组模块作为第六通道；
所述第六通道后连接第六基础卷积与所述第五通道进行通道相加后连接第七分组增强模块作为第七通道；
所述第七通道后连接第七基础卷积与所述第三通道进行通道相加后连接第八分组增强模块作为第八通道；
所述第六通道，所述第七通道，所述第八通道均连接检测器；
所述切片模块由第一个切片，第二个切片，第三个切片和第四个切片通道相加后依次连接第一3×3卷积，第一Hard swish激活函数，第二3×3卷积，第二Hard swish激活函数；
所述分组增强模块为第一1×1卷积，第一Hard swish激活函数，参数复用增强模块和第二1×1卷积依次连接后与第三1×1卷积通道相加，通道相加后依次连接第一Leaky ReLU激活函数、第三1×1卷积、第四Hard swish激活函数；
所述参数复用增强模块为1个或多个，所述参数复用增强模块定义为：定义输入为x；x首先依次通过1×1卷积和Hard swish激活函数获得mid_x1；mid_x1依次经过自适应平均池化和Hard swish激活函数得到mid_avg；mid_avg与mid_x1先元素对应相乘，再元素对应相加得到mid_fusion；mid_fusion依次通过3×3组卷积和Hard swish激活函数得到mid_x2；mid_x1与mid_x1按通道数相加获得参数复用增强模块最终输出y；
所述基础卷积为3×3卷积和Hard swish激活函数依次连接；
所述感受野增强模块由多级分组池化聚合模块构成；所述多级分组池化聚合模块定义为：定义输入为m；m首先依次通过1×1卷积和Hard swish激活函数获得mid_m1；mid_m1经过1×1卷积、Hard swish激活函数、自适应平均池化和Hard swish激活函数获得res_1；mid_m1经过1×1卷积、Hard swish激活函数、自适应平均池化和Hard swish激活函数获得res_2；mid_m1分别经过核为1的最大池化和核为3的最大池化得到mid_max1和mid_max3；mid_m1、mid_max1和mid_m3按通道数相加获得mid_m2_1；mid_m2_1经过1×1卷积和Hard swish激活函数获得mid_m2_2；mid_m2_2与res_1元素对应相乘的结果与mid_m2_2对应元素相加得到mid_m2；mid_m2分别经过核为5的最大池化、核为9的最大池化和核为13的最大池化得到mid_max5、mid_max9和mid_max13；mid_m2、mid_max5、mid_max5和mid_max13按通道数相加获得mid_m3_1；mid_m3_1经过1×1卷积和Hard swish激活函数获得mid_m3_2；mid_m3_2与res_2元素对应相乘的结果与mid_m3_2对应元素相加得到mid_m2最终输出n。
2.根据权利要求1所述的一种基于分组多级融合的生活垃圾投放智能化监管方法，其特征在于，所述上采样模块由上采样层构成。
CN202110210117.2A 2021-02-25 2021-02-25 一种基于分组多级融合的生活垃圾投放智能化监管方法 Active CN113011465B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110210117.2A CN113011465B (zh) 2021-02-25 2021-02-25 一种基于分组多级融合的生活垃圾投放智能化监管方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110210117.2A CN113011465B (zh) 2021-02-25 2021-02-25 一种基于分组多级融合的生活垃圾投放智能化监管方法

Publications (2)

Publication Number Publication Date
CN113011465A CN113011465A (zh) 2021-06-22
CN113011465B true CN113011465B (zh) 2021-09-03

Family

ID=76386128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110210117.2A Active CN113011465B (zh) 2021-02-25 2021-02-25 一种基于分组多级融合的生活垃圾投放智能化监管方法

Country Status (1)

Country Link
CN (1) CN113011465B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490813A (zh) * 2019-07-05 2019-11-22 特斯联（北京）科技有限公司 卷积神经网络的特征图增强方法、装置、设备及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018125580A1 (en) * 2016-12-30 2018-07-05 Konica Minolta Laboratory U.S.A., Inc. Gland segmentation with deeply-supervised multi-level deconvolution networks
US10602242B2 (en) * 2017-06-14 2020-03-24 GM Global Technology Operations LLC Apparatus, method and system for multi-mode fusion processing of data of multiple different formats sensed from heterogeneous devices
CN108596154B (zh) * 2018-05-14 2021-09-24 河海大学 基于高维特征选择与多级融合的遥感图像分类方法
CN110889324A (zh) * 2019-10-12 2020-03-17 南京航空航天大学 一种基于yolo v3面向末端制导的热红外图像目标识别方法
CN110796186A (zh) * 2019-10-22 2020-02-14 华中科技大学无锡研究院 基于改进的YOLOv3网络的干湿垃圾识别分类方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490813A (zh) * 2019-07-05 2019-11-22 特斯联（北京）科技有限公司 卷积神经网络的特征图增强方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113011465A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN111242208B (zh) 一种点云分类方法、分割方法及相关设备
CN109829399B (zh) 一种基于深度学习的车载道路场景点云自动分类方法
CN110084249A (zh) 基于金字塔特征注意的图像显著性检测方法
CN108921198A (zh) 基于深度学习的商品图像分类方法、服务器及系统
CN114549563A (zh) 一种基于DeepLabV3+的复合绝缘子实时分割方法及系统
Mao et al. Beyond single receptive field: A receptive field fusion-and-stratification network for airborne laser scanning point cloud classification
CN111898432A (zh) 一种基于改进YOLOv3算法的行人检测系统及方法
US11841839B1 (en) Preprocessing and imputing method for structural data
CN110084181B (zh) 一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法
Cui et al. LES-YOLO: A lightweight pinecone detection algorithm based on improved YOLOv4-Tiny network
CN114821102A (zh) 密集柑橘数量检测方法、设备、存储介质及装置
CN109740752A (zh) 深度模型训练方法及装置、电子设备及存储介质
Hou et al. Detection and localization of citrus fruit based on improved You Only Look Once v5s and binocular vision in the orchard
CN106611030A (zh) 基于视频的对象相似度比较方法和检索方法及其系统
CN113011465B (zh) 一种基于分组多级融合的生活垃圾投放智能化监管方法
Zhang et al. LDD-Net: Lightweight printed circuit board defect detection network fusing multi-scale features
CN103927765B (zh) 用于定位图像中条码区域的方法和装置
Zhang et al. An industrial interference-resistant gear defect detection method through improved YOLOv5 network using attention mechanism and feature fusion
CN111275076B (zh) 基于特征选择和特征融合的图像显著性检测方法
Bommisetty et al. Video superpixels generation through integration of curvelet transform and simple linear iterative clustering
Li et al. Research on YOLOv3 pedestrian detection algorithm based on channel attention mechanism
CN113657375B (zh) 一种基于3d点云的瓶装物体文字检测方法
CN114332989A (zh) 一种多任务级联卷积神经网络的人脸检测方法及系统
CN112487911B (zh) 智能监控环境下基于改进yolov3的实时行人检测方法及装置
CN107908915A (zh) 预测隧道挤压变形的建模及分析方法、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: An intelligent supervision method for household waste disposal based on grouping and multi-level fusion

Granted publication date: 20210903

Pledgee: Industrial and Commercial Bank of China Limited Hangzhou Yuhang sub branch

Pledgor: Zhejiang Jinghe Intelligent Technology Co.,Ltd.

Registration number: Y2024980010626