CN114119959A - 一种基于视觉的垃圾桶满溢检测方法及装置 - Google Patents

Abstract

本发明公开一种基于视觉的垃圾桶满溢检测方法及装置，其方法包括：训练得到用于检测垃圾桶位置的目标检测模型；利用训练好的教师模型为无标签的数据分配伪标签，利用带真实标签的数据和伪标签数据训练学生模型，通过不断迭代，训练得到垃圾满溢分类模型；将待检测监控图片输入到目标检测模型，得到每个垃圾桶的位置坐标，根据位置坐标提取每张图片的特征信息，将特征信息输入垃圾满溢分类模型，判断是否满溢。本申请通过上述方案提出一种新的垃圾桶满溢检测方法，先用目标检测算法检测出垃圾桶的位置然后利用分类网络对垃圾桶是否满溢进行判别，对比传统的单一的检测算法，该方法不仅可以达到更高的精度，而且也适用新型的垃圾分类垃圾箱。

Description

一种基于视觉的垃圾桶满溢检测方法及装置

技术领域

本发明属于人工智能技术领域，具体涉及一种垃圾桶满溢检测方法。

背景技术

随着社会文明的进步，人们对城市环境的要求越来越高，以往针对城市中的垃圾桶是否满溢是需要人工时时监管的，不仅需要大量的人工劳动力还会存在监管不及时的情况，如果监管不及时可能会出现垃圾溢出的现象，不仅影响市容还会对环境造成污染。现如今在智慧城市的大背景下，可以依靠人工智能技术基于视觉对垃圾桶是否满溢自动做出判断，不仅可以做到实时监管，还大大节省了人工监管的成本。

针对垃圾桶是否满溢的判断，传统的方法都是简单地通过目标检测来做的。考虑到现实场景摄像头安装的高低和角度的不同，仅仅通过目标检测来判断垃圾是否满溢的方法只适用于垃圾桶满溢明显的情况，对于大多能看到桶内垃圾但还没有满溢的情况会产生误报，认为已经满溢并需要人工处理。特别是新型的垃圾分类垃圾箱，垃圾满溢时的特征并不明显，这时，仅仅依靠目标检测来判断是否满溢就需要大量的样本和标注作为训练支撑，这无疑增加了人工成本。

发明内容

在下文中给出了关于本发明实施例的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，以下概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

根据本申请的一个方面，提供一种基于视觉的垃圾桶满溢检测方法，其包括：

步骤S1：训练得到用于检测垃圾桶位置的目标检测模型；

步骤S2：利用训练好的教师模型为无标签的数据分配伪标签，利用带真实标签的数据和伪标签数据训练学生模型，通过不断迭代，训练得到垃圾满溢分类模型；

步骤S3：将待检测监控图片输入到步骤S1的目标检测模型，得到每个垃圾桶的位置坐标，根据位置坐标获得垃圾桶的中心坐标和宽高，并根据垃圾桶的中心坐标获取每张图片的特征信息，将特征信息输入步骤S2的垃圾满溢分类模型，判断是否满溢。其中，所述待检测监控图片为摄像头现场拍摄的垃圾桶图片。

优选地，每张图片的特征信息为每张图片的感兴趣区域roi。感兴趣区域roi，是机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域，其是现有技术，这里不再赘述。

上述垃圾满溢分类模型为半监督训练模块，该方法不需要大量人工标注就能训练出高精度的模型，可以大大减少人工成本。

进一步的，所述步骤S1中，目标检测模型基于YOLO算法而实现，用于检测垃圾桶的位置。

进一步的，所述步骤S2包括：

步骤S21：准备分类所需的垃圾桶数据集D₁{(x₁,y₁),(x₂,y₂),...,(x_n,y_n)}和

其中D₁是带有真实的是否满溢标签的数据，是否满溢标签包括垃圾桶满溢标签和垃圾桶未满溢标签，x_n表示第n个带标签的样本，对应的标签为y_n，D₂是海量的无标签数据，

表示第m个无标签的样本。

步骤S22：利用数据集D₁训练教师模型T，通过不断减少交叉熵损失，直至模型收敛，其网络损失函数为：

其中，x_n表示第n个样本，x_i表示第i个样本，i＝{1，2，……，n}；

网络损失函数是判断模型是否收敛的依据，损失函数计算值越小证明收敛的越好；

步骤S23：利用教师模型T为无标签数据集D₂的每一个样本生成分类概率和伪标签，并根据阈值h过滤掉分类概率小于阈值的样本后生成数据集D₃：

其中，

为样本

对应的伪标签，p_i为其对应的分类概率。分类概率即是每个样本输入教师模型的输出结果，阈值h一般可设为0.5。

步骤S24：对数据集D₁和D₃进行数据增强；

步骤S25：利用步骤S24增强后的数据集D₁和D₃训练学生模型S，通过不断减少交叉熵损失，直至模型收敛，网络的损失函数为：

其中，x_i表示第i个样本；

步骤S26：把收敛的学生模型S当做教师模型，重复步骤S23-步骤S25；

步骤S27：经过n轮迭代，得到最终的垃圾满溢分类模型S_n。n为网络收敛所经历的次数。

使用时，将摄像头现场拍摄的垃圾桶图片输入到的目标检测模型，得到每个垃圾桶的位置坐标，根据位置坐标根据位置坐标获得垃圾桶的中心坐标和宽高，并根据垃圾桶的中心坐标获取每张图片的感兴趣区域roi，将roi输入垃圾满溢分类模型S_n，判断是否满溢。

根据本申请的另一方面，提供一种基于视觉的垃圾桶满溢检测装置，其包括：

目标检测模型获取模块，该目标检测模型获取模块用于训练得到用于检测垃圾桶位置的目标检测模型；

垃圾满溢分类模型训练模块，该垃圾满溢分类模型训练模块利用训练好的教师模型为无标签的数据分配伪标签，利用带真实标签的数据和伪标签数据训练学生模型，通过不断迭代，训练得到垃圾满溢分类模型；

执行检测模块，该执行检测模块用于将待检测监控图片输入到目标检测模型获取模块训练得到的目标检测模型，得到每个垃圾桶的位置坐标，根据位置坐标提取每张图片的特征信息，将特征信息输入垃圾满溢分类模型训练模块训练得到的垃圾满溢分类模型，以判断是否满溢。

进一步的，垃圾满溢分类模型训练模块执行如下操作：

步骤S21：准备分类所需的垃圾桶数据集D₁{(x₁,y₁),(x₂,y₂),...,(x_n,y_n)}和

其中D₁是带有真实的是否满溢标签的数据，x_n表示第n个带标签的样本，对应的标签为y_n，D₂是海量的无标签数据，

表示第m个无标签的样本。

步骤S22：利用数据集D₁训练教师模型T，通过不断减少交叉熵损失，直至模型收敛，网络的损失函数为：

步骤S23：利用教师模型T为无标签数据集D₂的每一个样本生成分类概率和伪标签，并根据阈值h过滤掉分类概率小于阈值的样本，生成数据集D₃：

其中，

为样本

对应的伪标签，p_i为其对应的分类概率。

步骤S24：对数据集D₁和D₃进行数据增强；

步骤S25：利用数据集D₁和D₃训练学生模型S，通过不断减少交叉熵损失，直至模型收敛，网络的损失函数为：

步骤S26：把收敛的学生模型S当做教师模型，重复步骤S23-步骤S25；

步骤S27：经过n轮迭代，得到最终的垃圾满溢分类模型S_n。

本申请通过上述方案提出一种新的垃圾桶满溢检测方法，先用目标检测算法检测出垃圾桶的位置然后利用垃圾满溢分类模型对垃圾桶是否满溢进行判别，对比传统的单一的检测算法，该方法不仅可以达到更高的精度，而且也适用新型的垃圾分类垃圾箱。此外，该方法先用目标检测算法检测出垃圾桶的位置，然后利用利用垃圾满溢分类模型(分类网络)对垃圾桶是否满溢进行判别，特别地，其垃圾满溢分类模型是一种半监督的模型训练方法，该方法可以为海量的无标签数据自动生成准确的标签，通过不断迭代来提高分类模型的精度，进而大大提高了垃圾分类垃圾箱的分类判断精度。综上，该垃圾桶满溢检测方法和装置减少了人力资源的浪费，及时处理垃圾并同时能实现精确的分类检测，保证垃圾的资源价值和经济价值，力争物尽其用，减少垃圾处理量和处理设备的使用。

附图说明

本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附

图中：

图1为本发明实施例1中垃圾满溢分类方法示意图；

图2为本发明实施例1中垃圾满溢分类模型的训练过程的示意图；

图3为本发明实施例1垃圾满溢分类中判断满溢的流程图；

图4为本发明实施例2中基于视觉的垃圾桶满溢检测装置的示意图。

具体实施方式

下面将参照附图来说明本发明的实施例。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

实施例1

作为一个具体的实施例，参见图1，本发明的基于视觉的垃圾桶满溢检测方法包括：

步骤S1：训练得到用于检测垃圾桶位置的目标检测模型；

步骤S2：利用训练好的教师模型为无标签的数据分配伪标签，利用带真实标签的数据和伪标签数据训练学生模型，通过不断迭代，训练得到垃圾满溢分类模型；

步骤S3：将待检测监控图片输入到步骤S1的目标检测模型，得到每个垃圾桶的位置坐标，根据位置坐标获得垃圾桶的中心坐标和宽高，并根据垃圾桶的中心坐标获取每张图片的特征信息，将特征信息输入步骤S2的垃圾满溢分类模型，判断是否满溢。

需要说明的是，在步骤S1中，采用YOLO算法，训练目标检测模型，用于检测垃圾桶的位置。

如图2所示，步骤S2中，垃圾满溢分类模型的训练过程包括步骤S21-S27。下面分别进行说明。

步骤S21：准备分类所需的垃圾桶数据集D₁{(x₁,y₁),(x₂,y₂),...,(x_n,y_n)}和

其中D₁是带有真实的是否满溢标签的数据，x_n表示第n个带标签的样本，对应的标签为y_n，D₂是海量的无标签数据，

表示第m个无标签的样本。

步骤S22：利用数据集D₁训练教师模型T，通过不断减少交叉熵损失，直至模型收敛，网络的损失函数为：

其中，x_n表示第n个样本，x_i表示第i个样本，i＝{1，2，……，n}。

步骤S23：利用教师模型T为无标签数据集D₂的每一个样本生成分类概率和伪标签，并根据阈值h过滤掉分类概率小于阈值的样本，生成数据集D₃：其中，分类概率通过如下公式进行计算：

其中，

为样本

对应的伪标签，p_i为其对应的分类概率。

步骤S24：对数据集D₁和D₃进行数据增强，以增加数据集的数据量；数据增强为现有技术，其目的是增加数据量，可采用的方式有很多，对于图像的数据增强，可以通过几何变换和颜色变换来实现，这里不进行详述。

步骤S25：利用步骤S24增强后的数据集D₁和D₃训练学生模型S，通过不断减少交叉熵损失，直至模型收敛，网络的损失函数为：

步骤S26：把收敛的学生模型S当做教师模型，重复步骤S23-步骤S25。

步骤S27：经过n轮迭代，得到最终的垃圾满溢分类模型S_n。

如附图3所示，得到目标检测模型和垃圾满溢分类模型S_n后，在步骤S3中，将摄像头现场拍摄的垃圾桶图片输入到的目标检测模型，得到每个垃圾桶的位置坐标，根据位置坐标获得垃圾桶的中心坐标和宽高，并根据垃圾桶的中心坐标获取每张垃圾桶图片的感兴趣区域roi，将感兴趣区域roi输入垃圾满溢分类模型S_n，判断是否满溢。

本申请通过上述方案提出一种新的垃圾桶满溢检测方法，该方法先用目标检测算法检测出垃圾桶的位置，然后利用分类网络对垃圾桶是否满溢进行判别，特别地，本发明的垃圾满溢分类模型是一种半监督的模型训练方法，该方法可以为海量的无标签数据自动生成准确的标签，通过不断迭代来提高分类模型的精度。

与现有技术相比，本发明的垃圾满溢分类模型为半监督训练模块，其利用训练好的教师模型为无标签的数据分配伪标签，利用带真实标签的数据和伪标签数据训练学生模型，通过不断迭代，训练出最终的分类模型，该方法不需要大量人工标注就能训练出高精度的模型，可以大大减少人工成本。

实施例2

本实施例提供一种基于视觉的垃圾桶满溢检测装置，参见图3，其包括：

目标检测模型获取模块1，该目标检测模型获取模块用于训练得到用于检测垃圾桶位置的目标检测模型；

垃圾满溢分类模型训练模块2，该垃圾满溢分类模型训练模块利用训练好的教师模型为无标签的数据分配伪标签，利用带真实标签的数据和伪标签数据训练学生模型，通过不断迭代，训练得到垃圾满溢分类模型；

执行检测模块3，该执行检测模块用于将待检测监控图片输入到目标检测模型获取模块训练得到的目标检测模型，得到每个垃圾桶的位置坐标，根据位置坐标提取每张图片的特征信息，将特征信息输入垃圾满溢分类模型训练模块训练得到的垃圾满溢分类模型，以判断是否满溢。

其中，垃圾满溢分类模型训练模块执行实施例1中的步骤S1-步骤S8。

此外，与现有技术直接检测的流程相比，本发明采用先检测再分类的流程：先用目标检测算法检测出垃圾桶的位置然后利用分类网络对垃圾桶是否满溢进行判别，对比传统的单一的检测算法，该方法不仅可以达到更高的精度，而且也适用新型的垃圾分类垃圾箱。

此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。

尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应该理解，上述的所有实施例和示例均是示例性的，而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。

Claims (5)

1.一种基于视觉的垃圾桶满溢检测方法，其特征在于：包括：

步骤S1：训练得到用于检测垃圾桶位置的目标检测模型；

步骤S2：利用训练好的教师模型为无标签的数据分配伪标签，利用带真实标签的数据和伪标签数据训练学生模型，通过不断迭代，训练得到垃圾满溢分类模型；

步骤S3：将待检测监控图片输入到步骤S1的目标检测模型，得到每个垃圾桶的位置坐标，根据位置坐标获得垃圾桶的中心坐标和宽高，并根据垃圾桶的中心坐标获取每张图片的特征信息，将特征信息输入步骤S2的垃圾满溢分类模型，判断是否满溢。

2.根据权利要求1所述的基于视觉的垃圾桶满溢检测方法，其特征在于：所述步骤S1中，目标检测模型基于YOLO算法而实现，用于检测垃圾桶的位置。

3.根据权利要求1所述的基于视觉的垃圾桶满溢检测方法，其特征在于：所述步骤S2包括：

步骤S21：准备分类所需的垃圾桶数据集D₁{(x₁,y₁),(x₂,y₂),...,(x_n,y_n)}和

其中D₁是带有真实的是否满溢标签的数据，x_n表示第n个带标签的样本，对应的标签为y_n，D₂是海量的无标签数据，

表示第m个无标签的样本；

步骤S22：利用数据集D₁训练教师模型T，通过不断减少交叉熵损失，直至模型收敛，网络的损失函数为：

其中，x_n表示第n个样本，x_i表示第i个样本，i＝{1，2，……，n}；

步骤S23：利用教师模型T为无标签数据集D₂的每一个样本生成分类概率和伪标签，并根据阈值h过滤掉分类概率小于阈值的样本，生成数据集D₃：

其中，

为样本

对应的伪标签，p_i为其对应的分类概率；

步骤S24：对数据集D₁和D₃进行数据增强；

步骤S25：利用步骤S24增强后的数据集D₁和D₃训练学生模型S，通过不断减少交叉熵损失，直至模型收敛，网络的损失函数为：

步骤S26：把收敛的学生模型S当做教师模型，重复步骤S23-步骤S25；

步骤S27：经过n轮迭代，得到最终的垃圾满溢分类模型S_n。

4.一种基于视觉的垃圾桶满溢检测装置，其特征在于：包括：

目标检测模型获取模块，该目标检测模型获取模块用于训练得到用于检测垃圾桶位置的目标检测模型；

垃圾满溢分类模型训练模块，该垃圾满溢分类模型训练模块利用训练好的教师模型为无标签的数据分配伪标签，利用带真实标签的数据和伪标签数据训练学生模型，通过不断迭代，训练得到垃圾满溢分类模型；

执行检测模块，该执行检测模块用于将待检测监控图片输入到目标检测模型获取模块训练得到的目标检测模型，得到每个垃圾桶的位置坐标，根据位置坐标提取每张图片的特征信息，将特征信息输入垃圾满溢分类模型训练模块训练得到的垃圾满溢分类模型，以判断是否满溢。

5.根据权利要求4所述的一种基于视觉的垃圾桶满溢检测装置，其特征在于：所述垃圾满溢分类模型训练模块执行如下操作：

步骤S21：准备分类所需的垃圾桶数据集D₁{(x₁,y₁),(x₂,y₂),...,(x_n,y_n)}和

其中D₁是带有真实的是否满溢标签的数据，x_n表示第n个带标签的样本，对应的标签为y_n，D₂是海量的无标签数据，

表示第m个无标签的样本；

步骤S22：利用数据集D₁训练教师模型T，通过不断减少交叉熵损失，直至模型收敛，网络的损失函数为：

步骤S23：利用教师模型T为无标签数据集D₂的每一个样本生成分类概率和伪标签，并根据阈值h过滤掉分类概率小于阈值的样本，生成数据集D₃：

其中，

为样本

对应的伪标签，p_i为其对应的分类概率；

步骤S24：对数据集D₁和D₃进行数据增强；

步骤S25：利用数据集D₁和D₃训练学生模型S，通过不断减少交叉熵损失，直至模型收敛，网络的损失函数为：

步骤S26：把收敛的学生模型S当做教师模型，重复步骤S23-步骤S25；

步骤S27：经过n轮迭代，得到最终的垃圾满溢分类模型S_n。

Images