CN113673298A - 一种基于时序门控循环单元模型的溢出监测方法 - Google Patents
一种基于时序门控循环单元模型的溢出监测方法 Download PDFInfo
- Publication number
- CN113673298A CN113673298A CN202110657146.3A CN202110657146A CN113673298A CN 113673298 A CN113673298 A CN 113673298A CN 202110657146 A CN202110657146 A CN 202110657146A CN 113673298 A CN113673298 A CN 113673298A
- Authority
- CN
- China
- Prior art keywords
- overflow
- garbage
- layer
- network
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 30
- 239000010813 municipal solid waste Substances 0.000 claims abstract description 107
- 238000001514 detection method Methods 0.000 claims abstract description 96
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000013524 data verification Methods 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims abstract description 7
- 239000000284 extract Substances 0.000 claims abstract description 4
- 238000011176 pooling Methods 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 125000004122 cyclic group Chemical group 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000007635 classification algorithm Methods 0.000 claims description 6
- 230000010365 information processing Effects 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 230000002779 inactivation Effects 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 210000004027 cell Anatomy 0.000 claims description 2
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于时序门控循环单元模型的溢出监测方法，包括：步骤Step1：获取垃圾桶的监控视频，并其进行预处理，得到数据训练集、数据测试集和数据验证集；步骤Step2：特征提取模块利用SSD目标检测网络从视频图像中提取垃圾桶内垃圾信息，获取垃圾特征信息；步骤Step3：由检测模块构建基于GRU网络的溢出检测模型，采用所述基于GRU网络的溢出检测模型对目标特征提取网络输出的识别结果图进行学习分类，具体为将所述垃圾特征信息输入所述基于GRU网络的溢出检测模型进行垃圾溢出检测，基于所述检测结果，检测模块向报警模块发送报警信息；步骤Step4：所述报警模块根据设定模式进行溢出报警，本发明可提高垃圾桶检测精度和速度，且成本较低，并能及时进行报警。
Description
技术领域
本发明涉及垃圾监测技术领域，尤其涉及到一种基于时序门控循环单元模型的溢出监测方法。
背景技术
随着城市化进程的加快，大城市的人口密集度急剧增加，导致了垃圾产量骤增，对垃圾回收和处理等带来不小的挑战，有的地方因为垃圾处理不及时导致垃圾桶满溢和垃圾散落等问题，在影响市容市貌的同时，垃圾的异味也影响了人们的正常生活、旅游等，目前大多数的垃圾桶满溢检测是基于传感器检测和终端报警监测的方式实现，但由于垃圾的垃圾形状不规则和重量不一定等问题，造成检测误差较大，且实现成本较高，干扰因素较多。如何在垃圾桶满溢之前进行精确检测并进行及时报警处理，且实现成本较低，是研究垃圾满溢监测系统及方法的重要方向。
综上所述，提供一种可提高垃圾桶检测精度和速度，计算量较少，且成本较低，并能及时进行报警的基于时序门控循环单元模型的溢出监测方法，是本领域技术人员急需解决的问题。
发明内容
本方案针对上文提到的问题和需求，提出一种基于时序门控循环单元模型的溢出监测方法，其由于采取了如下技术方案而能够解决上述技术问题。
为实现上述目的，本发明提供如下技术方案：一种基于时序门控循环单元模型的溢出监测方法，包括以下步骤：步骤Step1：获取垃圾桶的监控视频，并通过视频信息处理模块对所述监控视频进行预处理，得到数据训练集、数据测试集和数据验证集；
步骤Step2：特征提取模块利用SSD目标检测网络从视频图像中提取垃圾桶内垃圾信息，获取垃圾特征信息；
步骤Step3：由检测模块构建基于GRU网络的溢出检测模型，采用所述基于GRU网络的溢出检测模型对目标特征提取网络输出的识别结果图进行学习分类，具体为将所述垃圾特征信息输入所述基于GRU网络的溢出检测模型进行垃圾溢出检测，基于所述检测结果，所述检测模块向报警模块发送报警信息；
步骤Step4：所述报警模块根据设定模式进行溢出报警。
进一步地，所述视频信息处理模块对垃圾桶的监控视频进行分帧处理，得到垃圾桶监测的序列图像数据集，将序列图像数据集进行双边滤波预处理后按照一定比例划分为数据训练集、数据测试集和数据验证集，并对所述数据训练集进行随机剪裁、镜像、缩放和随机角度旋转处理，然后对图片人工标注，将垃圾溢出训练样本记为正样本，将垃圾未溢出训练样本记为负样本，最后将标注结果制作成成pascal_voc数据集格式。
更进一步地，所述利用SSD目标检测网络从视频图像中提取垃圾桶内垃圾信息包括：将经过处理后的数据训练集图像信息传入到卷积层，利用基于SSD的目标特征提取网络对输入的垃圾桶监测图片进行特征提取；对提取出的特征图进行分类识别，得出识别结果图。
更进一步地，所述基于SSD的目标特征提取网络的构建过程包括：在VGG-16网络的基础上，将VGG16网络的两个全连接层换成卷积层，然后添加四个卷积层得到SSD网络结构，基础网络用来提取图像特征，后面添加的四个卷积层用来预测不同尺度和宽高比的目标检测框的偏移量及其相关置信度，图像经过每层网络进行卷积后，生成大小不同的特征图，利用多个特征图可同时进行Softmax分类和位置回归。
更进一步地，根据
计算所述目标检测框的大小,其中，Ri表示第i个特征图的大小，m为特征图的个数，Rmin为最小特征图的大小，Rmax为最大特征图的大小，在对SSD网络进行模型训练时，将目标检测框设定为不同的宽高比。
更进一步地，所述对提取出的特征图进行分类识别，得出识别结果图包括：采用非极大值抑制算法获取最佳的目标检测框，依据获取的目标检测框置信度大小，对所有的目标检测框进行排序；计算所有预测框的面积，计算置信度最高的目标检测框与剩余候选框的IoU，根据设置的阈值删除IoU值大于所述阈值的候选框，输出最终垃圾与背景的检测检结果。
更进一步地，将所述垃圾特征信息输入所述基于GRU网络的溢出检测模型进行垃圾溢出检测之前，需构建并训练得到基于GRU网络的溢出检测模型，所述构建基于GRU网络的溢出检测模型包括：所述基于GRU网络的溢出检测模型包含第一卷积层、第一激活层、第一池化层、第一dropout层、第二卷积层、第二激活层、第二池化层、第二dropout层、GRU层、全连接层和softmax回归层，采用ReLu非线性函数作为激活函数，将目标特征提取网络输出的识别结果图作为模型的输入，利用softmax回归作为分类算法，得到垃是否满溢的检测结果；
所述第一卷积层通过设置好大小的滤波器来完成对输入垃圾信息图像的特征提取，得到激活二维图M＝[m1,m2,…,mt]，其中，mj为一个卷积核得到的激活二维图，t为卷积核个数，单个输入数据尺寸为20*72*72*16，第一卷积层包括16个3*3卷积核；
第一池化层对所述第一卷积层的输出做最大池化，在2*2的滑动区域内取最大值作为输出，以减少维度抑制过拟合，第一池化层的输出数据尺寸为20*36*36*16，并通过第一dropout层进行正则化；
第二卷积层包括32个3*3卷积核用于对高维特征进行提取，第二池化层对所述第二卷积层的输出做最大池化，最终输出的数据体尺寸为20*18*18*32；
将经过第二dropout层随机失活和变换的2阶张量输入GRU层，通过横向连接提取时间维度上的相关性特征，最后通过全连接层和softmax分类层将预测结果输出，一个具有softmax激活的完全连接层，包含2个神经元用于预测2分类，即垃圾满溢和垃圾未满溢。
更进一步地，训练所述基于GRU网络的溢出检测模型需先获取样本集，对采集的不同状态的垃圾桶图像数据进行标注，构成样本集U，对样本集U进行预处理，所述预处理包括对数据进行标准化处理和样本集划分，所述样本集U包括垃圾满溢的正样本和未满溢的负样本，利用softmax回归层作为分类器进行分类处理，获取分类结果，当检测结果为垃圾溢出时，则向报警模块发送报警信息。
更进一步地，训练基于GRU网络的溢出检测模型包括：对基于GRU网络的溢出检测模型进行初始化，采用大于0的小随机数初始化网络中待训练参数；向初始化后的模型中输入训练样本集来训练该模型并得到实际输出结果，其中，所述的训练样本包括降维之后的特征向量和真实垃圾溢出类别标签，当特征向量输入模型中后经过逐层变换，得到模型预测的垃圾溢出类别标签，采用交叉熵损失函数，结合反向传播BP算法调整各层参数，利用softmax回归作为分类算法，完成模型的训练，得到最优模型。
更进一步地，所述设定模式包括A模式、B模式和C模式三种报警模式，A模式在检测到垃圾满溢时，向用户的移动监测端和现场报警终端同时发送报警信息，进行语音提醒；B模式在检测到垃圾满溢时，向用户的移动监测端和现场报警终端同时发送报警信息，进行灯光提醒；C模式在检测到垃圾满溢时，向用户的移动监测端和现场报警终端同时发送报警信息，同时进行语音和灯光提醒。
从上述的技术方案可以看出，本发明的有益效果是：可提高垃圾桶检测精度和速度，计算量较少，且成本较低，并能及时进行报警。
除了上面所描述的目的、特征和优点之外，下文中将结合附图对实施本发明的最优实施例进行更详尽的描述，以便能容易地理解本发明的特征和优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下文将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，其中，附图仅仅用于展示本发明的一些实施例，而非将本发明的全部实施例限制于此。
图1为本发明一种基于时序门控循环单元模型的溢出监测方法的具体步骤示意图。
图2为本实施例中像素分类过程的具体步骤示意图。
图3为本实施例中基GRU层的组成组成结构示意图。
具体实施方式
为了使得本发明的技术方案的目的、技术方案和优点更加清楚，下文中将结合本发明具体实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。附图中相同的附图标记代表相同的部件。需要说明的是，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1至图3所示，一种基于时序门控循环单元模型的溢出监测方法具体包括：步骤Step1：获取垃圾桶的监控视频，并通过视频信息处理模块对所述监控视频进行预处理，得到数据训练集、数据测试集和数据验证集。
所述视频信息处理模块对垃圾桶的监控视频进行分帧处理，得到垃圾桶监测的序列图像数据集，将序列图像数据集进行双边滤波预处理后按照一定比例划分为数据训练集、数据测试集和数据验证集，并对所述数据训练集进行随机剪裁、镜像、缩放和随机角度旋转处理，然后对图片人工标注，将垃圾溢出训练样本记为正样本，将垃圾未溢出训练样本记为负样本，最后将标注结果制作成成pascal_voc数据集格式。
步骤Step2：特征提取模块利用SSD目标检测网络从视频图像中提取垃圾桶内垃圾信息，获取垃圾特征信息。
所述利用SSD目标检测网络从视频图像中提取垃圾桶内垃圾信息包括：将经过处理后的数据训练集图像信息传入到卷积层，利用基于SSD的目标特征提取网络对输入的垃圾桶监测图片进行特征提取；对提取出的特征图进行分类识别，得出识别结果图，其中，SSD是基于卷积神经网络的一种网络结构,相比于R-CNN、Fast-RCNN,SSD的准确性更高,实时性的预测速度表现更好，SSD的网络架构以VGG-16为基础,因为VGG-16拥有高质量的图像分类和迁移学习的能力。本方法中，所述基于SSD的目标特征提取网络的构建过程包括：在VGG-16网络的基础上，将VGG16网络的两个全连接层换成卷积层，然后添加四个卷积层得到SSD网络结构，基础网络用来提取图像特征，后面添加的四个卷积层用来预测不同尺度和宽高比的目标检测框的偏移量及其相关置信度，图像经过每层网络进行卷积后，生成大小不同的特征图，利用多个特征图可同时进行Softmax分类和位置回归。并根据
计算所述目标检测框的大小,其中，Ri表示第i个特征图的大小，m为特征图的个数，Rmin为最小特征图的大小，Rmax为最大特征图的大小，在对SSD网络进行模型训练时，将目标检测框设定为不同的宽高比。
具体地，所述对提取出的特征图进行分类识别，得出识别结果图包括：采用非极大值抑制算法获取最佳的目标检测框，依据获取的目标检测框置信度大小，对所有的目标检测框进行排序；计算所有预测框的面积，计算置信度最高的目标检测框与剩余候选框的IoU，根据设置的阈值删除IoU值大于所述阈值的候选框，输出最终垃圾与背景的检测检结果，而IoU相当于两个区域重叠的部分除以两个区域的集合部分得出的结果。
步骤Step3：由检测模块构建基于GRU网络的溢出检测模型，采用所述基于GRU网络的溢出检测模型对目标特征提取网络输出的识别结果图进行学习分类，具体为将所述垃圾特征信息输入所述基于GRU网络的溢出检测模型进行垃圾溢出检测，基于所述检测结果，所述检测模块向报警模块发送报警信息。
通过SSD网络得到垃圾桶中垃圾和背景检测结果，然后由GRU网络的溢出检测模型对圾桶中垃圾图像信息进行特征提取，并学习分类是否存在垃圾满溢问题，如图2所示，将所述垃圾特征信息输入所述基于GRU网络的溢出检测模型进行垃圾溢出检测之前，需构建并训练得到基于GRU网络的溢出检测模型，所述构建基于GRU网络的溢出检测模型包括：所述基于GRU网络的溢出检测模型包含第一卷积层、第一激活层、第一池化层、第一dropout层、第二卷积层、第二激活层、第二池化层、第二dropout层、GRU层、全连接层和softmax回归层，采用ReLu非线性函数作为激活函数，将目标特征提取网络输出的识别结果图作为模型的输入，利用softmax回归作为分类算法，得到垃是否满溢的检测结果；
所述第一卷积层通过设置好大小的滤波器来完成对输入垃圾信息图像的特征提取，得到激活二维图M＝[m1,m2,…,mt]，其中，mj为一个卷积核得到的激活二维图，t为卷积核个数，单个输入数据尺寸为20*72*72*16，第一卷积层包括16个3*3卷积核；20为样本帧数、72为图像宽度和图像高度。
第一池化层对所述第一卷积层的输出做最大池化，在2*2的滑动区域内取最大值作为输出，以减少维度抑制过拟合，第一池化层的输出数据尺寸为20*36*36*16，并通过第一dropout层进行正则化；
第二卷积层包括32个3*3卷积核用于对高维特征进行提取，第二池化层对所述第二卷积层的输出做最大池化，最终输出的数据体尺寸为20*18*18*32；
将经过第二dropout层随机失活和变换的2阶张量输入GRU层，通过横向连接提取时间维度上的相关性特征，最后通过全连接层和softmax分类层将预测结果输出，一个具有softmax激活的完全连接层，包含2个神经元用于预测2分类，即垃圾满溢和垃圾未满溢。而门控循环单元GRU，是由choK等人提出的一种LSTM改进模型,如图3所示，其将遗忘门和输入门合并成一个更新，在进行非线性变换前应用了一个重置门，并且将胞元状态和隐藏层状态合二为一,GRU网络各个们结构和状态的计算公式包括：
zt＝σ(wz·[ht-1,xt]),
rt＝σ(wr·[ht-1,xt]),
在本方法中，训练所述基于GRU网络的溢出检测模型需先获取样本集，对采集的不同状态的垃圾桶图像数据进行标注，构成样本集U，对样本集U进行预处理，所述预处理包括对数据进行标准化处理和样本集划分，所述样本集U包括垃圾满溢的正样本和未满溢的负样本，利用softmax回归层作为分类器进行分类处理，获取分类结果，当检测结果为垃圾溢出时，则向报警模块发送报警信息。而训练基于GRU网络的溢出检测模型包括：对基于GRU网络的溢出检测模型进行初始化，采用大于0的小随机数初始化网络中待训练参数；向初始化后的模型中输入训练样本集来训练该模型并得到实际输出结果，其中，所述的训练样本包括降维之后的特征向量和真实垃圾溢出类别标签，当特征向量输入模型中后经过逐层变换，得到模型预测的垃圾溢出类别标签，采用交叉熵损失函数，结合反向传播BP算法调整各层参数，利用softmax回归作为分类算法，完成模型的训练，得到最优模型。
步骤Step4：所述报警模块根据设定模式进行溢出报警，其中，所述设定模式包括A模式、B模式和C模式三种报警模式，A模式在检测到垃圾满溢时，向用户的移动监测端和现场报警终端同时发送报警信息，进行语音提醒；B模式在检测到垃圾满溢时，向用户的移动监测端和现场报警终端同时发送报警信息，进行灯光提醒；C模式在检测到垃圾满溢时，向用户的移动监测端和现场报警终端同时发送报警信息，同时进行语音和灯光提醒。
应当说明的是，本发明所述的实施方式仅仅是实现本发明的优选方式，对属于本发明整体构思，而仅仅是显而易见的改动，均应属于本发明的保护范围之内。
Claims (10)
1.一种基于时序门控循环单元模型的溢出监测方法，其特征在于，包括以下步骤：
步骤Step1：获取垃圾桶的监控视频，并通过视频信息处理模块对所述监控视频进行预处理，得到数据训练集、数据测试集和数据验证集；
步骤Step2：特征提取模块利用SSD目标检测网络从视频图像中提取垃圾桶内垃圾信息，获取垃圾特征信息；
步骤Step3：由检测模块构建基于GRU网络的溢出检测模型，采用所述基于GRU网络的溢出检测模型对目标特征提取网络输出的识别结果图进行学习分类，具体为将所述垃圾特征信息输入所述基于GRU网络的溢出检测模型进行垃圾溢出检测，基于所述检测结果，所述检测模块向报警模块发送报警信息；
步骤Step4：所述报警模块根据设定模式进行溢出报警。
2.如权利要求1所述的基于时序门控循环单元模型的溢出监测方法，其特征在于，所述视频信息处理模块对垃圾桶的监控视频进行分帧处理，得到垃圾桶监测的序列图像数据集，将序列图像数据集进行双边滤波预处理后按照一定比例划分为数据训练集、数据测试集和数据验证集，并对所述数据训练集进行随机剪裁、镜像、缩放和随机角度旋转处理，然后对图片人工标注，将垃圾溢出训练样本记为正样本，将垃圾未溢出训练样本记为负样本，最后将标注结果制作成成pascal_voc数据集格式。
3.如权利要求2所述的基于时序门控循环单元模型的溢出监测方法，其特征在于，所述利用SSD目标检测网络从视频图像中提取垃圾桶内垃圾信息包括：将经过处理后的数据训练集图像信息传入到卷积层，利用基于SSD的目标特征提取网络对输入的垃圾桶监测图片进行特征提取；对提取出的特征图进行分类识别，得出识别结果图。
4.如权利要求3所述的基于时序门控循环单元模型的溢出监测方法，其特征在于，所述基于SSD的目标特征提取网络的构建过程包括：在VGG-16网络的基础上，将VGG16网络的两个全连接层换成卷积层，然后添加四个卷积层得到SSD网络结构，基础网络用来提取图像特征，后面添加的四个卷积层用来预测不同尺度和宽高比的目标检测框的偏移量及其相关置信度，图像经过每层网络进行卷积后，生成大小不同的特征图，利用多个特征图可同时进行Softmax分类和位置回归。
5.如权利要求4所述的基于时序门控循环单元模型的溢出监测方法，其特征在于，根据
计算所述目标检测框的大小,其中，Ri表示第i个特征图的大小，m为特征图的个数，Rmin为最小特征图的大小，Rmax为最大特征图的大小，在对SSD网络进行模型训练时，将目标检测框设定为不同的宽高比。
6.如权利要求5所述的基于时序门控循环单元模型的溢出监测方法，其特征在于，所述对提取出的特征图进行分类识别，得出识别结果图包括：采用非极大值抑制算法获取最佳的目标检测框，依据获取的目标检测框置信度大小，对所有的目标检测框进行排序；计算所有预测框的面积，计算置信度最高的目标检测框与剩余候选框的IoU，根据设置的阈值删除IoU值大于所述阈值的候选框，输出最终垃圾与背景的检测检结果。
7.如权利要求6所述的基于时序门控循环单元模型的溢出监测方法，其特征在于，将所述垃圾特征信息输入所述基于GRU网络的溢出检测模型进行垃圾溢出检测之前，需构建并训练得到基于GRU网络的溢出检测模型，所述构建基于GRU网络的溢出检测模型包括：所述基于GRU网络的溢出检测模型包含第一卷积层、第一激活层、第一池化层、第一dropout层、第二卷积层、第二激活层、第二池化层、第二dropout层、GRU层、全连接层和softmax回归层，采用ReLu非线性函数作为激活函数，将目标特征提取网络输出的识别结果图作为模型的输入，利用softmax回归作为分类算法，得到垃是否满溢的检测结果；
所述第一卷积层通过设置好大小的滤波器来完成对输入垃圾信息图像的特征提取，得到激活二维图M＝[m1,m2,…,mt]，其中，mj为一个卷积核得到的激活二维图，t为卷积核个数，单个输入数据尺寸为20*72*72*16，第一卷积层包括16个3*3卷积核；
第一池化层对所述第一卷积层的输出做最大池化，在2*2的滑动区域内取最大值作为输出，以减少维度抑制过拟合，第一池化层的输出数据尺寸为20*36*36*16，并通过第一dropout层进行正则化；
第二卷积层包括32个3*3卷积核用于对高维特征进行提取，第二池化层对所述第二卷积层的输出做最大池化，最终输出的数据体尺寸为20*18*18*32；
将经过第二dropout层随机失活和变换的2阶张量输入GRU层，通过横向连接提取时间维度上的相关性特征，最后通过全连接层和softmax分类层将预测结果输出，一个具有softmax激活的完全连接层，包含2个神经元用于预测2分类，即垃圾满溢和垃圾未满溢。
8.如权利要求7所述的基于时序门控循环单元模型的溢出监测方法，其特征在于，训练所述基于GRU网络的溢出检测模型需先获取样本集，对采集的不同状态的垃圾桶图像数据进行标注，构成样本集U，对样本集U进行预处理，所述预处理包括对数据进行标准化处理和样本集划分，所述样本集U包括垃圾满溢的正样本和未满溢的负样本，利用softmax回归层作为分类器进行分类处理，获取分类结果，当检测结果为垃圾溢出时，则向报警模块发送报警信息。
9.如权利要求8所述的基于时序门控循环单元模型的溢出监测方法，其特征在于，训练基于GRU网络的溢出检测模型包括：对基于GRU网络的溢出检测模型进行初始化，采用大于0的小随机数初始化网络中待训练参数；向初始化后的模型中输入训练样本集来训练该模型并得到实际输出结果，其中，所述的训练样本包括降维之后的特征向量和真实垃圾溢出类别标签，当特征向量输入模型中后经过逐层变换，得到模型预测的垃圾溢出类别标签，采用交叉熵损失函数，结合反向传播BP算法调整各层参数，利用softmax回归作为分类算法，完成模型的训练，得到最优模型。
10.如权利要求8所述的基于时序门控循环单元模型的溢出监测方法，其特征在于，所述设定模式包括A模式、B模式和C模式三种报警模式，A模式在检测到垃圾满溢时，向用户的移动监测端和现场报警终端同时发送报警信息，进行语音提醒；B模式在检测到垃圾满溢时，向用户的移动监测端和现场报警终端同时发送报警信息，进行灯光提醒；C模式在检测到垃圾满溢时，向用户的移动监测端和现场报警终端同时发送报警信息，同时进行语音和灯光提醒。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110657146.3A CN113673298A (zh) | 2021-06-11 | 2021-06-11 | 一种基于时序门控循环单元模型的溢出监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110657146.3A CN113673298A (zh) | 2021-06-11 | 2021-06-11 | 一种基于时序门控循环单元模型的溢出监测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113673298A true CN113673298A (zh) | 2021-11-19 |
Family
ID=78538197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110657146.3A Pending CN113673298A (zh) | 2021-06-11 | 2021-06-11 | 一种基于时序门控循环单元模型的溢出监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113673298A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114202725A (zh) * | 2021-12-07 | 2022-03-18 | 牧原食品股份有限公司 | 一种基于智能视觉的沼液外溢监视方法及系统 |
| CN114494884A (zh) * | 2022-02-10 | 2022-05-13 | 北京工业大学 | 一种垃圾自动分拣多目标检测方法 |
| CN115331166A (zh) * | 2022-08-12 | 2022-11-11 | 广州市净水有限公司 | 一种格栅智能监控预警方法和系统 |
| CN114494884B (zh) * | 2022-02-10 | 2024-06-07 | 北京工业大学 | 一种垃圾自动分拣多目标检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490156A (zh) * | 2019-08-23 | 2019-11-22 | 哈尔滨理工大学 | 一种基于卷积神经网络的快速车辆检测方法 |
| CN110956104A (zh) * | 2019-11-20 | 2020-04-03 | 河南华衍智能科技有限公司 | 一种检测垃圾桶溢出的方法、装置及系统 |
| CN112906892A (zh) * | 2021-03-08 | 2021-06-04 | 南京航空航天大学 | 一种基于深度学习与知识图谱的设备故障智能诊断方法 |
-
2021
- 2021-06-11 CN CN202110657146.3A patent/CN113673298A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490156A (zh) * | 2019-08-23 | 2019-11-22 | 哈尔滨理工大学 | 一种基于卷积神经网络的快速车辆检测方法 |
| CN110956104A (zh) * | 2019-11-20 | 2020-04-03 | 河南华衍智能科技有限公司 | 一种检测垃圾桶溢出的方法、装置及系统 |
| CN112906892A (zh) * | 2021-03-08 | 2021-06-04 | 南京航空航天大学 | 一种基于深度学习与知识图谱的设备故障智能诊断方法 |
Non-Patent Citations (2)
| Title |
|---|
| WEI LIU等: "SSD: Single Shot MultiBox Detector", 《ARXIV》, pages 1 - 16 * |
| 牛哲文;余泽远;李波;唐文虎;: "基于深度门控循环单元神经网络的短期风功率预测模型", 电力自动化设备, no. 05 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114202725A (zh) * | 2021-12-07 | 2022-03-18 | 牧原食品股份有限公司 | 一种基于智能视觉的沼液外溢监视方法及系统 |
| CN114494884A (zh) * | 2022-02-10 | 2022-05-13 | 北京工业大学 | 一种垃圾自动分拣多目标检测方法 |
| CN114494884B (zh) * | 2022-02-10 | 2024-06-07 | 北京工业大学 | 一种垃圾自动分拣多目标检测方法 |
| CN115331166A (zh) * | 2022-08-12 | 2022-11-11 | 广州市净水有限公司 | 一种格栅智能监控预警方法和系统 |
| CN115331166B (zh) * | 2022-08-12 | 2023-10-27 | 广州市净水有限公司 | 一种格栅清污机智能监控预警方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108564097B (zh) | 一种基于深度卷积神经网络的多尺度目标检测方法 | |
| CN111027493B (zh) | 一种基于深度学习多网络软融合的行人检测方法 | |
| CN109800682B (zh) | 驾驶员属性识别方法及相关产品 | |
| CN111178182A (zh) | 一种丢垃圾行为的实时检测方法 | |
| CN113673298A (zh) | 一种基于时序门控循环单元模型的溢出监测方法 | |
| CN108563977A (zh) | 一种高速公路出入口的行人预警方法及系统 | |
| CN111368634B (zh) | 基于神经网络的人头检测方法、系统及存储介质 | |
| CN112801227B (zh) | 一种台风识别模型的生成方法、装置、设备及存储介质 | |
| CN111898432A (zh) | 一种基于改进YOLOv3算法的行人检测系统及方法 | |
| CN111738074B (zh) | 基于弱监督学习的行人属性识别方法、系统及装置 | |
| CN115760921A (zh) | 基于多目标跟踪的行人轨迹预测方法及系统 | |
| CN115113165A (zh) | 雷达回波外推方法、装置及系统 | |
| CN113688826A (zh) | 基于特征融合的花粉图像检测方法及系统 | |
| CN113269038A (zh) | 一种基于多尺度的行人检测方法 | |
| CN112487874A (zh) | 一种基于事件相机消除背景噪声的方法及系统 | |
| Alsaedi et al. | Design and Simulation of Smart Parking System Using Image Segmentation and CNN | |
| CN116110005A (zh) | 一种人群行为属性的计数方法、系统及产品 | |
| CN115273131A (zh) | 基于双通路特征融合的动物识别方法 | |
| CN115035442A (zh) | 基于改进的YOLOv3网络的垃圾分类收运监管方法 | |
| CN111191575B (zh) | 一种基于火苗跳动建模的明火检测方法及系统 | |
| CN111160078B (zh) | 一种基于视频图像的人体交互行为识别方法、系统及装置 | |
| CN114186857A (zh) | 一种环境管理监控方法及系统 | |
| CN114092746A (zh) | 一种多属性识别方法、装置、存储介质及电子设备 | |
| Hernandez et al. | A hybrid convolutional neural network-gradient boosted classifier for vehicle classification | |
| Saranya et al. | The Proficient ML method for Vehicle Detection and Recognition in Video Sequence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |