CN113420673A - 垃圾分类方法、装置、设备及存储介质 - Google Patents

Abstract

本申请涉及一种垃圾分类方法、装置、设备及存储介质，属于计算机技术领域，该方法包括：将目标图像输入目标检测模型，得到目标检测结果；在目标检测结果指示目标图像中存在垃圾桶时，将目标图像输入分类模型，得到目标分类结果；目标分类结果用于指示目标图像中垃圾桶的分类为满垃圾桶或未满垃圾桶；在目标检测结果指示所述目标图像中存在垃圾和垃圾桶时，基于目标分类结果确定垃圾的分类，垃圾的分类为暴露垃圾和满溢垃圾中的一种；可以解决目标检测算法无法检测出垃圾是暴露于地面的还是满溢于垃圾桶上的问题；能够实现对暴露垃圾和满溢垃圾的分类。

Description

垃圾分类方法、装置、设备及存储介质

【技术领域】

本申请涉及一种垃圾分类方法、装置、设备及存储介质，属于计算机技术领域。

【背景技术】

随着人们对生活环境的要求逐渐增高，能够及时发现垃圾，尤其是暴露的垃圾或是垃圾桶已经满溢的垃圾，并及时处理显得尤为重要。

目前，除了定时定点对垃圾进行清运之外，垃圾的发现大多来自于人工，包括相关工作人员的巡查发现或是群众的投诉，然而此类方式存在一定的滞后性。同时由于相关人员对暴露垃圾与满溢垃圾的处理并不相同，比如针对暴露垃圾，通常需要将其清扫干净，而若是满溢垃圾则需要使用垃圾清运车清理对应的垃圾桶，所以对暴露垃圾与满溢垃圾的区分也显得比较重要。

而现有的目标检测算法虽然能够在一定程度上检测出垃圾，但由于垃圾自身的相似性，因此难以区分垃圾是暴露于地面的还是满溢于垃圾桶上的。

【发明内容】

本申请提供了一种垃圾分类方法、装置、设备及存储介质，可以解决现有的目标检测算法无法检测出垃圾是暴露于地面的还是满溢于垃圾桶上的，从而导致相关人员无法针对不同分类的垃圾采取不同的处理策略的问题。本申请提供如下技术方案：

第一方面，提供一种垃圾分类方法，所述方法包括：

获取目标图像；

将所述目标图像输入预先训练的目标检测模型，得到目标检测结果；所述目标检测结果用于指示所述目标图像中是否存在垃圾和垃圾桶；

在所述目标检测结果指示所述目标图像中存在垃圾桶时，将所述目标图像输入预先训练的分类模型，得到目标分类结果；所述目标分类结果用于指示所述目标图像中垃圾桶的分类为满垃圾桶或未满垃圾桶；

在所述目标检测结果指示所述目标图像中存在垃圾和所述垃圾桶时，基于所述目标分类结果确定所述垃圾的分类，所述垃圾的分类为暴露垃圾和满溢垃圾中的一种。

可选地，所述基于所述目标分类结果确定所述垃圾的分类，包括：

在所述目标分类结果指示所述垃圾桶的分类为所述未满垃圾桶时，确定所述垃圾为所述暴露垃圾；

在所述目标分类结果指示所述垃圾桶的分类为所述满垃圾桶时，确定所述垃圾是否符合预设的满溢垃圾规则；

在所述垃圾符合所述满溢垃圾规则时，确定所述垃圾为所述满溢垃圾；

在所述垃圾不符合所述满溢垃圾规则时，确定所述垃圾为所述暴露垃圾。

可选地，所述确定所述垃圾是否符合预设的满溢垃圾规则，包括：

基于所述目标检测结果获取所述垃圾的第一位置信息与所述垃圾桶的第二位置信息；

根据所述第一位置信息和所述第二位置信息确定所述垃圾是否位于所述垃圾桶的上方，且所述垃圾与所述垃圾桶之间是否存在重叠；

在所述垃圾位于所述垃圾桶的上方、且所述垃圾与所述垃圾桶之间存在重叠时，确定所述垃圾符合所述满溢垃圾规则。

可选地，所述方法还包括：

在所述目标检测结果指示所述目标图像中不存在垃圾桶、且存在垃圾时，确定所述垃圾为所述暴露垃圾。

可选地，所述在所述目标检测结果指示所述目标图像中存在垃圾时，，所述方法还包括：

确定所述垃圾的存在时长是否达到预设的时长阈值；

在所述垃圾的存在时长达到所述时长阈值时输出报警信号。

可选地，所述目标图像为目标视频流中的一帧图像；所述确定所述垃圾的存在时长是否达到预设的时长阈值，包括：

基于所述垃圾在所述目标图像中的第一位置信息，确定所述目标图像的前一帧图像是否存在同一垃圾；

在前一帧图像存在所述同一垃圾时，确定存在同一垃圾的连续n帧图像对应的时长是否达到预设的时长阈值；

在连续n帧图像对应的时长达到时长阈值时，确定垃圾的存在时长达到所述时长阈值，所述n为大于1的整数。

可选地，所述基于所述垃圾在所述目标图像中的第一位置信息，确定所述目标图像的前一帧图像是否存在同一垃圾，包括：

获取所述前一帧图像中垃圾的第三位置信息；

计算所述第三位置信息对应的区域与所述第一位置信息对应的区域之间的交并比；

在所述交并比大于预设阈值时，确定所述目标图像的前一帧图像存在同一垃圾。

第二方面，提供一种垃圾分类装置，所述装置包括：

图像获取模块，用于获取目标图像；

目标检测模块，用于将所述目标图像输入预先训练的目标检测模型，得到目标检测结果；所述目标检测结果用于指示所述目标图像中是否存在垃圾和垃圾桶；

垃圾桶分类模块，用于在所述目标检测结果指示所述目标图像中存在垃圾桶时，将所述目标图像输入预先训练的分类模型，得到目标分类结果；所述目标分类结果用于指示所述目标图像中垃圾桶的分类为满垃圾桶或未满垃圾桶；

垃圾分类模块，用于在所述目标检测结果指示所述目标图像中存在垃圾和所述垃圾桶时，基于所述目标分类结果确定所述垃圾的分类，所述垃圾的分类为暴露垃圾和满溢垃圾中的一种。

第三方面，提供一种电子设备，所述设备包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现第一方面提供的垃圾分类方法。

第四方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序被处理器执行时用于实现第一方面提供的垃圾分类方法。

本申请的有益效果至少包括：通过获取目标图像；将目标图像输入预先训练的目标检测模型，得到目标检测结果；目标检测结果用于指示目标图像中是否存在垃圾和垃圾桶；在目标检测结果指示目标图像中存在垃圾桶时，将目标图像输入预先训练的分类模型，得到目标分类结果；目标分类结果用于指示目标图像中垃圾桶的分类为满垃圾桶或未满垃圾桶；在目标检测结果指示目标图像中存在垃圾和所述垃圾桶时，基于目标分类结果确定垃圾的分类，垃圾的分类为暴露垃圾和满溢垃圾中的一种；可以解决现有的目标检测算法无法检测出垃圾是暴露于地面的还是满溢于垃圾桶上的，从而导致相关人员无法针对不同分类的垃圾采取不同的处理策略的问题；通过将目标检测模型与分类模型相互结合，并增加了暴露垃圾与满溢垃圾的判定规则，从而能够从目标图像中检测出垃圾并区分出垃圾是暴露的还是满溢的，实现对暴露垃圾和满溢垃圾的分类。

另外，通过按照垃圾桶与垃圾之间的相对位置关系确定满溢垃圾规则，以对垃圾是否为满溢垃圾进行判定，可以提高满溢垃圾分类的准确性。

另外，通过在垃圾存在时长达到时长阈值时，输出报警信号，可以提高垃圾清理的及时性。

另外，通过在连续n帧图像均存在同一垃圾、且连续n帧图像对应的时长达到时长阈值时，才输出报警信号，可以保证在垃圾是需要清除的垃圾时才输出报警信号，提高报警准确性。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。

【附图说明】

图1是本申请一个实施例提供的垃圾分类方法的流程图；

图2是本申请一个实施例提供的垃圾分类过程的示意图；

图3是本申请一个实施例提供的输出报警信号过程的示意图；

图4是本申请一个实施例提供的垃圾分类装置的框图；

图5是本申请一个实施例提供的电子设备的框图。

【具体实施方式】

下面结合附图和实施例，对本申请的具体实施方式做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

首先，对于本申请涉及的若干名词进行介绍。

目标检测：用于找出图像中所有感兴趣的目标(物体)，确定它们的类别和位置，是计算机视觉领域的核心问题之一。目标检测任务可分为两个关键的子任务：目标分类和目标定位。目标分类任务负责判断输入图像或所选择图像区域(Proposals)中是否有感兴趣类别的物体出现，输出一系列带分数的标签表明感兴趣类别的物体出现在输入图像或所选择图像区域(Proposals)中的可能性。目标定位任务负责确定输入图像或所选择图像区域(Proposals)中感兴趣类别的物体的位置和范围，输出物体的包围盒、或物体中心、或物体的闭合边界等，通常使用方形包围盒，即Bounding Box用来表示物体的位置信息。

感兴趣区域(region of interest，ROI)：机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域。

可选地，本申请以各个实施例提供的垃圾分类方法用于电子设备中为例进行说明，该电子设备为终端或服务器，终端可以为手机、计算机、平板电脑、扫描仪、电子眼、监控摄像头等，本实施例不对电子设备的类型作限定。

图1是本申请一个实施例提供的垃圾分类方法的流程图，该方法至少包括以下几个步骤：

步骤101，获取目标图像。

目标图像是对待进行垃圾检测的环境进行拍摄得到的图像。在一个示例中，目标图像是来自于目标视频流中的一帧图像。此时，获取目标图像包括：对目标视频流进行抽帧处理，得到多帧图像，每帧图像均为目标图像，即待进行垃圾分类的图像。

多帧图像用于供电子设备按照时间顺序依次进行垃圾检测和分类，并获取每一帧图像的推断结果，从而得到每帧图像中是否存在暴露垃圾与满溢垃圾。

在其它实施方式中，目标图像也可以是相机拍摄到的单张图片，而不是来自于视频流，本实施例不对目标图像的获取方式作限定。

步骤102，将目标图像输入预先训练的目标检测模型，得到目标检测结果；该目标检测结果用于指示目标图像中是否存在垃圾和垃圾桶。

在本步骤之前，需要训练得到目标检测模型。目标检测模型的训练过程包括以下步骤：

步骤1、获取训练数据，该训练数据包括样本图像和该样本图像的标签；其中，样本图像为包括垃圾和/或垃圾桶的图像，样本图像的标签用于指示图像中的垃圾和/或垃圾桶。

可选地，样本图像可以是人工对具有垃圾和垃圾桶的区域进行拍摄得到的，和/或是使用爬虫工具采集互联网中的相关垃圾与垃圾桶得到的，本实施例不对样本图像的采集方式作限定。

样本图像的标签可以是：对样本图像中垃圾、垃圾桶的位置进行框选的多边形框。可选地，样本图像的标签可以是人工标注的，或者是使用图像标注工具自动标注的，本实施例不对样本图像的标签的标注方式作限定。

步骤2、将样本图像输入预先构造的神经网络模型中，得到网络预测结果。

在一个示例中，用于进行目标检测的神经网络模型是基于深度学习的神经网络。该神经网络模型由两部分组成分别为：骨干(backbone)网络、和位于backbone网络之后且与backbone网络相连的检测头(detection head)网络。其中，backbone网络用于对输入图像进行处理并提取图像特征。detection head网络用于处理backbone提取的特征并输出目标类别、位置以及置信度。

步骤3、基于网络预测结果与样本图像的标签之间的差异，对神经网络模型进行迭代训练，更新模型参数，得到目标检测模型。

步骤4、每隔一定的迭代轮次使用验证集验证目标检测模型的准确率，当目标检测模型在验证集上的准确率在一定的轮数内不再提高，则停止训练，并将当前目标检测模型保存，得到最终使用的目标检测模型。

其中，验证集和训练数据所在的训练集可以来源于同一数据集，换言之，验证集和训练集是对该同一数据集按照比例进行划分得到的。

基于上述训练过程可知，在将目标图像输入预先训练的目标检测模型后，若目标图像中存在垃圾，则目标检测结果包括垃圾的第一位置信息和分类信息。其中，第一位置信息可以通过多边形框指示，和/或通过像素坐标指示；分类信息用于指示目标的分类为垃圾。若目标图像中存在垃圾桶，则目标检测结果包括垃圾桶的第二位置信息和分类信息。其中，第二位置信息可以通过多边形框指示，和/或通过像素坐标指示；分类信息用于指示目标的分类为垃圾桶。

步骤103，在目标检测结果指示目标图像中存在垃圾桶时，将目标图像输入预先训练的分类模型，得到目标分类结果；目标分类结果用于指示目标图像中垃圾桶的分类为满垃圾桶或未满垃圾桶。

在本步骤之前，需要训练得到分类模型。分类模型的训练过程包括以下步骤：

步骤1、获取训练数据，该训练数据包括样本图像和该样本图像的标签；其中，样本图像为包括垃圾桶的图像，样本图像的标签用于指示垃圾桶是否已满。

可选地，用于训练分类模型的样本图像是对用于训练目标检测模型的样本图像进行处理得到的。具体地，获取用于训练分类模型的样本图像，包括：对用于训练目标检测模型的样本图像进行裁剪，得到垃圾桶区域。

在得到垃圾桶区域后，按照垃圾桶是否已满分成两类，得到样本图像的标签。样本图像的标签可以通过“1”标识垃圾桶已满；通过“0”标识垃圾桶未满。

在其它实施例中，用于训练分类模型的样本图像也可以是额外采集的包括垃圾桶的图像，即与用于训练目标检测模型的样本图像无关的图像，本实施例不对用于训练分类模型的样本图像的获取方式作限定。

步骤2、将用于训练分类模型的样本图像输入预先构造的二分类模型中，得到网络预测结果。

在一个示例中，二分类模型是基于深度学习的卷积神经网络分类模型。二分类模型包括若干卷积层、激活层等。在其它示例中，二分类模型也可以是其它数学模型，比如：支持向量机(support vector machine model，SVM)或者决策树等，本实施例不对二分类模型的实现方式作限定。

步骤3、基于网络预测结果与样本图像的标签之间的差异，对二分类模型进行迭代训练，更新模型参数。

步骤4、每隔一定的迭代轮次使用验证集验证训练得到的分类模型的准确率，当分类模型在验证集上的准确率在一定的轮数内不再提高，则停止训练，并将当前分类模型保存，得到最终使用的分类模型。

其中，验证集和训练数据所在的训练集可以来源于同一数据集，换言之，验证集和训练集是对该同一数据集按照比例进行划分得到的。

根据上述训练的过程可知，在目标检测结果指示目标图像中存在垃圾桶时，将目标图像输入分类模型后，分类模型会计算出垃圾桶是满垃圾桶还是未满垃圾桶。

本实施例中，可以将完整的目标图像输入分类模型；或者，也可以将目标图像中垃圾桶区域剪裁出后输入分类模型，即，输入分类模型的图像为具有垃圾桶的图像，本实施例不对具有垃圾桶的图像的类型作限定。

步骤104，在目标检测结果指示目标图像中存在垃圾和垃圾桶时，基于目标分类结果确定垃圾的分类，垃圾的分类为暴露垃圾和满溢垃圾中的一种。

本实施例中，通过在目标图像中存在垃圾和垃圾桶时，进一步结合目标分类结果检测垃圾是暴露垃圾还是满溢垃圾，可以实现暴露垃圾和满溢垃圾的分类。

本实施例中，暴露垃圾是指位于垃圾桶之外的垃圾。暴露垃圾的清除方式可以为扫除、或捡除等。满溢垃圾是指位于垃圾桶内、但即将溢出垃圾桶的垃圾。满溢垃圾的清除方式与暴露垃圾的清除方式不同，满溢垃圾的清除方式可以为对垃圾桶内垃圾进行倾倒或对垃圾桶(连带桶内垃圾)进行更换等。

在一个示例中，基于目标分类结果确定垃圾的分类，包括：在目标分类结果指示垃圾桶的分类为未满垃圾桶时，确定垃圾为暴露垃圾。

由于在垃圾桶为未满垃圾桶时，垃圾桶内的垃圾不会暴露出来被相机采集到，即不会出现在目标图像中。基于此，若垃圾桶为未满垃圾桶，且目标图像中存在垃圾，说明该垃圾不是垃圾桶内的垃圾，因此，可以确定垃圾为暴露垃圾。

在另一个示例中，基于目标分类结果确定垃圾的分类，包括：在目标分类结果指示垃圾桶的分类为满垃圾桶时，确定垃圾是否符合预设的满溢垃圾规则；在垃圾符合满溢垃圾规则时，确定垃圾为满溢垃圾；在垃圾不符合满溢垃圾规则时，确定垃圾为暴露垃圾。

由于在垃圾桶为满垃圾桶时，垃圾桶内的垃圾会暴露出来被相机采集到，即会出现在目标图像中，而未位于垃圾桶内的垃圾也会被相机采集到。基于此，需要进一步确定暴露出的垃圾是否是垃圾桶内的垃圾，即需要进一步确定垃圾是暴露垃圾还是满溢垃圾。

由于满溢垃圾与垃圾桶之间的相对位置关系不同于暴露垃圾与垃圾桶之间的相对位置关系，基于此，满溢垃圾规则可以基于满溢垃圾与垃圾桶之间的相对位置关系确定。

具体地，确定垃圾是否符合预设的满溢垃圾规则，包括：基于目标检测结果获取垃圾的第一位置信息与垃圾桶的第二位置信息；根据第一位置信息和第二位置信息确定垃圾是否位于垃圾桶的上方，且垃圾与垃圾桶之间是否存在重叠；在垃圾位于垃圾桶的上方、且垃圾与垃圾桶之间存在重叠时，确定垃圾符合满溢垃圾规则。

可选地，满溢垃圾规则也可以基于神经网络模型建立，即将目标检测结果和目标分类结果输入该神经网络模型即可得到垃圾的分类。其中，神经网络可以是概率生成模型或者为决策树等，本实施例不对神经网络模型的类型作限定。

在其它实施方式中，电子设备中也可以设置暴露垃圾规则，该暴露垃圾规则可以基于暴露垃圾与垃圾桶之间的相对位置关系确定；确定垃圾是否符合预设的满溢垃圾规则；在垃圾符合暴露垃圾规则时，确定垃圾为暴露垃圾；在垃圾不符合暴露垃圾规则时，确定垃圾为满溢垃圾。相应地，电子设备确定垃圾是否符合预设的满溢垃圾规则，包括：基于目标检测结果获取垃圾的第一位置信息与垃圾桶的第二位置信息；根据第一位置信息和第二位置信息确定垃圾是否未位于垃圾桶的上方，或者垃圾与垃圾桶之间不存在重叠；在垃圾未位于垃圾桶的上方、或者垃圾与垃圾桶之间不存在重叠时，确定垃圾符合暴露垃圾规则。

由于在环境中只存在垃圾、但不存在垃圾桶时，该垃圾必然是暴露在垃圾桶之外的垃圾，因此，本实施例中，在目标检测结果指示目标图像中不存在垃圾桶、且存在垃圾时，确定垃圾为暴露垃圾。

另外，在目标检测结果指示目标图像中不存在垃圾，则确定当前环境不存在垃圾，无需执行垃圾分类的步骤，流程结束。为了更清楚地理解本申请提供的垃圾分类方法，下面对该方法举一个实例进行说明，参考图2，对于每张目标图像，将该目标图像输入目标检测模型后进行疑似目标(即垃圾和垃圾桶)的检测。如果目标检测结果中存在垃圾桶，则对垃圾桶区域继续使用分类模型进行分类，并判断出其是否为满垃圾桶。如果目标检测结果中存在垃圾，则进一步判断垃圾是暴露垃圾还是满溢垃圾，判定规则如下：

1、若存在垃圾，不存在垃圾桶，则确定垃圾为暴露垃圾；

2、若存在垃圾，且存在垃圾桶；

a)若垃圾桶为未满垃圾桶，则垃圾为暴露垃圾；

b)若垃圾桶为满垃圾桶，则根据垃圾与垃圾桶的位置关系判定垃圾是否符合满溢垃圾规则：

i.若符合满溢垃圾规则，则合并垃圾与垃圾桶的区域，并输出垃圾的分类为满溢垃圾；

ii.若不符合满溢垃圾规则，则输出垃圾的分类为暴露垃圾；

满溢垃圾规则需同时满足如下条件：

1.垃圾与垃圾桶同时存在，且垃圾桶为满垃圾桶；

2.垃圾在垃圾桶上方，并且垃圾与垃圾桶存在部分重叠。

由于单帧目标图像中的垃圾可能是短暂存在的垃圾，无需清除，因此，无需进行报警。基于此，电子设备在确定出目标图像中存在垃圾时，进一步确定该垃圾是否是需要清除的垃圾。具体地，在目标检测结果指示目标图像中存在垃圾时，还包括：确定垃圾的存在时长是否达到预设的时长阈值；在垃圾的存在时长达到时长阈值时输出报警信号。

由于垃圾存在的时长达到时长阈值时，说明该垃圾不是短暂存在的垃圾，即是需要清除的垃圾，此时可以输出报警信号，以提示人员进行处理。

其中，报警信号包括但不限于以下几种中的至少一种：音频信号(如通过蜂鸣器或报警器输出的音频)、光信号(如通过指示灯输出的灯光)、振动信号、视频信号(如通过显示屏显示的视频)等，本实施例不对报警信号的实现方式作限定。

可选地，垃圾的分类不同对应的报警信号不同。比如：垃圾分类为暴露垃圾时，报警信号为音频信号；垃圾分类为满溢垃圾时，报警信号为音频信号和光信号的结合。

在一个示例中，目标图像为目标视频流中的一帧图像；确定垃圾的存在时长是否达到预设的时长阈值，包括：基于垃圾在目标图像中的第一位置信息，确定目标图像的前一帧图像是否存在同一垃圾；在前一帧图像存在同一垃圾时，确定存在同一垃圾的连续n帧图像对应的时长是否达到预设的时长阈值；在连续n帧图像对应的时长达到时长阈值时，确定垃圾的存在时长达到时长阈值，n为大于1的整数。

具体地，基于垃圾在目标图像中的第一位置信息，确定目标图像的前一帧图像是否存在同一垃圾，包括：获取前一帧图像中垃圾的第三位置信息；计算第三位置信息对应的区域与第一位置信息对应的区域之间的交并比；在交并比大于预设阈值时，确定目标图像的前一帧图像存在同一垃圾。

可选地，垃圾在目标图像中的第一位置信息通过多边形框表示(即目标图像中的ROI)、垃圾在前一帧图像中的第三位置信息也通过多边形框表示(即目标图像中的ROI)，此时，可以计算两个多边形框之间的交并比。

在实际实现时，第一位置信息和第三位置信息也可以通过像素坐标表示，此时，可以根据像素坐标覆盖的区域计算第三位置信息对应的区域与第一位置信息对应的区域之间的交并比，本实施例不对交并比的计算方式作限定。

需要补充说明的是，在前一帧图像中第三位置信息指示的垃圾的分类与目标图像中垃圾的分类相同。

为了更清楚地理解本申请输出报警信号的过程，下面对该过程举一个实例进行说明，参考图3，通过目标检测模型和分类模型分别对第1帧和第2帧图像进行推断后，得到每帧图像中垃圾的分类；确定第1帧和第2帧图像中垃圾区域的交并比是否大于预设阈值；若是，则第1帧图像和第2帧图像存在同一垃圾；之后，确定第1帧图像和第2帧图像对应的时长是否达到时长阈值；若否，则对第3帧图像进行推断后，得到第3帧图像中垃圾的分类，并继续确定第2帧和第3帧图像中垃圾区域的交并比是否大于预设阈值；若是，则第2帧图像和第3帧图像存在同一垃圾；之后，确定第1帧图像至第3帧图像对应的时长是否达到时长阈值；若否，则再次对第3帧图像和第4帧图像中垃圾区域的交并比进行比较，依次循环，若第1帧图像至第n-1帧图像对应的时长未达到时长阈值，且图像中均存在同一垃圾，则继续确定第n-1帧图像和第n帧图像中垃圾区域的交并比是否大于预设阈值；若是，则确定第1帧图像至第n帧图像对应的时长是否达到时长阈值；若是，则输出报警信号。

在其它实施方式中，在确定垃圾的存在时长是否达到预设的时长阈值时，也可以在前一帧图像存在同一垃圾时，确定存在同一垃圾的连续图像帧的数量是否达到预设数量，若是，则确定垃圾的存在时长达到预设的时长阈值。若否，则确定垃圾的存在时长未达到预设的时长阈值。本实施例方式中，由于相邻两帧目标图像之间的时长固定，因此，根据时长阈值可以确定出预设数量的取值，即预设数量的连续目标图像对应的视频时长大于或等于时长阈值，本实施例不对确定存在同一垃圾的连续图像帧的数量是否达到预设数量的方式作限定。

需要补充说明的是，在实际实现时，电子设备也可以仅根据单帧图像的分类结果进行报警处理，本实施例不对报警的时机作限定。

综上所述，本实施例提供的垃圾分类方法，通过获取目标图像；将目标图像输入预先训练的目标检测模型，得到目标检测结果；目标检测结果用于指示目标图像中是否存在垃圾和垃圾桶；在目标检测结果指示目标图像中存在垃圾桶时，将目标图像输入预先训练的分类模型，得到目标分类结果；目标分类结果用于指示目标图像中垃圾桶的分类为满垃圾桶或未满垃圾桶；在目标检测结果指示目标图像中存在垃圾和所述垃圾桶时，基于目标分类结果确定垃圾的分类，垃圾的分类为暴露垃圾和满溢垃圾中的一种；可以解决现有的目标检测算法无法检测出垃圾是暴露于地面的还是满溢于垃圾桶上的，从而导致相关人员无法针对不同分类的垃圾采取不同的处理策略的问题；通过将目标检测模型与分类模型相互结合，并增加了暴露垃圾与满溢垃圾的判定规则，从而能够从目标图像中检测出垃圾并区分出垃圾是暴露的还是满溢的，实现对暴露垃圾和满溢垃圾的分类。

另外，通过按照垃圾桶与垃圾之间的相对位置关系确定满溢垃圾规则，以对垃圾是否为满溢垃圾进行判定，可以提高满溢垃圾分类的准确性。

另外，通过在垃圾存在时长达到时长阈值时，输出报警信号，可以提高垃圾清理的及时性。

另外，通过在连续n帧图像均存在同一垃圾、且连续n帧图像对应的时长达到时长阈值时，才输出报警信号，可以保证在垃圾是需要清除的垃圾时才输出报警信号，提高报警准确性。

图4是本申请一个实施例提供的垃圾分类装置的框图。该装置至少包括以下几个模块：图像获取模块410、目标检测模块420、垃圾桶分类模块430和垃圾分类模块440。

图像获取模块410，用于获取目标图像；

目标检测模块420，用于将所述目标图像输入预先训练的目标检测模型，得到目标检测结果；所述目标检测结果用于指示所述目标图像中是否存在垃圾和垃圾桶；

垃圾桶分类模块430，用于在所述目标检测结果指示所述目标图像中存在垃圾桶时，将所述目标图像输入预先训练的分类模型，得到目标分类结果；所述目标分类结果用于指示所述目标图像中垃圾桶的分类为满垃圾桶或未满垃圾桶；

垃圾分类模块440，用于在所述目标检测结果指示所述目标图像中存在垃圾和所述垃圾桶时，基于所述目标分类结果确定所述垃圾的分类，所述垃圾的分类为暴露垃圾和满溢垃圾中的一种。

相关细节参考上述方法实施例。

需要说明的是：上述实施例中提供的垃圾分类装置在进行垃圾分类时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将垃圾分类装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的垃圾分类装置与垃圾分类方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图5是本申请一个实施例提供的电子设备的框图。该设备至少包括处理器501和存储器502。

处理器501可以包括一个或多个处理核心，比如：4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的垃圾分类方法。

在一些实施例中，电子设备还可选包括有：外围设备接口和至少一个外围设备。处理器501、存储器502和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地，外围设备包括但不限于：射频电路、触摸显示屏、音频电路、和电源等。

当然，电子设备还可以包括更少或更多的组件，本实施例对此不作限定。

可选地，本申请还提供有一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的垃圾分类方法。

可选地，本申请还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的垃圾分类方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种垃圾分类方法，其特征在于，所述方法包括：

获取目标图像；

将所述目标图像输入预先训练的目标检测模型，得到目标检测结果；所述目标检测结果用于指示所述目标图像中是否存在垃圾和垃圾桶；

在所述目标检测结果指示所述目标图像中存在垃圾桶时，将所述目标图像输入预先训练的分类模型，得到目标分类结果；所述目标分类结果用于指示所述目标图像中垃圾桶的分类为满垃圾桶或未满垃圾桶；

在所述目标检测结果指示所述目标图像中存在垃圾和所述垃圾桶时，基于所述目标分类结果确定所述垃圾的分类，所述垃圾的分类为暴露垃圾和满溢垃圾中的一种。

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标分类结果确定所述垃圾的分类，包括：

在所述目标分类结果指示所述垃圾桶的分类为所述未满垃圾桶时，确定所述垃圾为所述暴露垃圾；

在所述目标分类结果指示所述垃圾桶的分类为所述满垃圾桶时，确定所述垃圾是否符合预设的满溢垃圾规则；

在所述垃圾符合所述满溢垃圾规则时，确定所述垃圾为所述满溢垃圾；

在所述垃圾不符合所述满溢垃圾规则时，确定所述垃圾为所述暴露垃圾。

3.根据权利要求2所述的方法，其特征在于，所述确定所述垃圾是否符合预设的满溢垃圾规则，包括：

基于所述目标检测结果获取所述垃圾的第一位置信息与所述垃圾桶的第二位置信息；

根据所述第一位置信息和所述第二位置信息确定所述垃圾是否位于所述垃圾桶的上方，且所述垃圾与所述垃圾桶之间是否存在重叠；

在所述垃圾位于所述垃圾桶的上方、且所述垃圾与所述垃圾桶之间存在重叠时，确定所述垃圾符合所述满溢垃圾规则。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述目标检测结果指示所述目标图像中不存在垃圾桶、且存在垃圾时，确定所述垃圾为所述暴露垃圾。

5.根据权利要求1所述的方法，其特征在于，所述在所述目标检测结果指示所述目标图像中存在垃圾时，所述方法还包括：

确定所述垃圾的存在时长是否达到预设的时长阈值；

在所述垃圾的存在时长达到所述时长阈值时输出报警信号。

6.根据权利要求5所述的方法，其特征在于，所述目标图像为目标视频流中的一帧图像；所述确定所述垃圾的存在时长是否达到预设的时长阈值，包括：

基于所述垃圾在所述目标图像中的第一位置信息，确定所述目标图像的前一帧图像是否存在同一垃圾；

在前一帧图像存在所述同一垃圾时，确定存在同一垃圾的连续n帧图像对应的时长是否达到预设的时长阈值；

在连续n帧图像对应的时长达到时长阈值时，确定垃圾的存在时长达到所述时长阈值，所述n为大于1的整数。

7.根据权利要求6所述的方法，其特征在于，所述基于所述垃圾在所述目标图像中的第一位置信息，确定所述目标图像的前一帧图像是否存在同一垃圾，包括：

获取所述前一帧图像中垃圾的第三位置信息；

计算所述第三位置信息对应的区域与所述第一位置信息对应的区域之间的交并比；

在所述交并比大于预设阈值时，确定所述目标图像的前一帧图像存在同一垃圾。

8.一种垃圾分类装置，其特征在于，所述装置包括：

图像获取模块，用于获取目标图像；

目标检测模块，用于将所述目标图像输入预先训练的目标检测模型，得到目标检测结果；所述目标检测结果用于指示所述目标图像中是否存在垃圾和垃圾桶；

垃圾桶分类模块，用于在所述目标检测结果指示所述目标图像中存在垃圾桶时，将所述目标图像输入预先训练的分类模型，得到目标分类结果；所述目标分类结果用于指示所述目标图像中垃圾桶的分类为满垃圾桶或未满垃圾桶；

垃圾分类模块，用于在所述目标检测结果指示所述目标图像中存在垃圾和所述垃圾桶时，基于所述目标分类结果确定所述垃圾的分类，所述垃圾的分类为暴露垃圾和满溢垃圾中的一种。

9.一种电子设备，其特征在于，所述设备包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的垃圾分类方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有程序，所述程序被处理器执行时用于实现如权利要求1至7任一项所述的垃圾分类方法。

Images