CN110844403B - 一种基于目标识别的垃圾分类识别方法及装置 - Google Patents

Abstract

本发明公开了一种基于目标识别的垃圾分类识别方法及装置，该方法包括获取垃圾投放区的监控视频，确定出目标的属性信息，根据垃圾桶的目标颜色和目标坐标确定垃圾投放区的各垃圾桶的放置位置信息，根据垃圾袋的目标坐标确定出垃圾袋的状态，并确定出垃圾袋的状态与垃圾桶的对应关系，基于垃圾桶的目标颜色、垃圾袋的目标颜色以及垃圾袋和垃圾桶的对应关系，确定出垃圾袋中垃圾的投放结果。通过依据垃圾桶或垃圾袋的颜色和坐标等信息来确定垃圾桶的放置位置以及通过对垃圾袋的状态的分析，可以确定出垃圾投放行为，从而加强对垃圾分类行为和垃圾桶放置行为的监督和管理，进一步帮助人们养成正确分类投放垃圾的习惯、约束保洁人员正确放置垃圾桶。

Description

一种基于目标识别的垃圾分类识别方法及装置

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种基于目标识别的垃圾分类识别方法及装置。

背景技术

随着城市垃圾总量的逐年增加，垃圾处理已经成为影响城市发展的重要因素之一。为了提高垃圾处理能力，需要在生活垃圾投放时就做好分类工作。尽管我国垃圾分类已经普及并提倡了多年，但由于监管力度不够，生活垃圾分类工作并不尽如人意。随着生活垃圾强制分类政策的提出，在进行垃圾分类监管时，传统的人工监管的方式耗费人力较大，且效率低下。

我国对垃圾分类技术研究起步较晚，现阶段垃圾分类识别系统的智能化普遍较低，很大程度上还依赖人工，并不能实现真正意义的智能垃圾分类与识别。其中，目前的智能垃圾回收系统虽然能够对生活垃圾分类进行识别，但该系统仅支持对部分常见可回收垃圾的识别与回收，并不能对厨余垃圾、有害垃圾、其他垃圾的识别，因此该系统无法从根本上解决垃圾分类识别的问题，不能满足我国对生活垃圾分类的要求。

从源头做好生活垃圾分类工作已成为亟待解决的问题，目前急需一种可进行智能垃圾分类识别的装置，更好地进行垃圾分类普及和监管。

发明内容

本发明实施例提供一种基于目标识别的垃圾分类识别方法及装置，用以实现对垃圾分类行为和垃圾桶放置行为的监督和管理。

第一方面，本发明实施例提供一种基于目标识别的垃圾分类识别方法，包括：

获取垃圾投放区的监控视频；

对所述监控视频进行目标识别，确定出目标的属性信息，所述目标的属性信息包括目标ID、目标类型、目标颜色和目标坐标；所述目标类型包括垃圾桶和垃圾袋；

根据所述垃圾桶的目标ID、目标颜色和目标坐标确定所述垃圾投放区的各垃圾桶的放置位置信息；

根据所述垃圾袋的目标ID、目标坐标确定出所述垃圾袋的状态，并基于所述垃圾袋的状态以及所述垃圾桶的目标坐标对所述垃圾袋中垃圾投放行为进行分析，确定出所述垃圾袋的状态与垃圾桶的对应关系；

基于所述垃圾桶的目标颜色、所述垃圾袋的目标颜色以及所述垃圾袋的状态和所述垃圾桶的对应关系，确定出所述垃圾袋中垃圾的投放结果。

上述技术方案中，通过依据垃圾桶或垃圾袋的颜色和坐标等信息来确定垃圾桶的放置位置以及通过对垃圾袋的状态的分析，可以确定出垃圾投放行为，从而加强对垃圾分类行为和垃圾桶放置行为的监督和管理，从而帮助人们养成正确分类投放垃圾的习惯、约束保洁人员正确放置垃圾桶。

可选的，所述根据所述垃圾桶的目标ID、目标颜色和目标坐标确定所述垃圾投放区的各垃圾桶的放置位置信息，包括：

基于各垃圾桶的目标ID，根据所述垃圾投放区的各垃圾桶的目标颜色和目标坐标，确定所述垃圾投放区的各垃圾桶的摆放顺序是否正确且摆放是否整齐；

若是，则确定所述垃圾投放区的各垃圾桶的放置位置信息为正确；否则确定所述垃圾投放区的各垃圾桶的放置位置信息为错误，并发出告警信息。

可选的，所述根据所述垃圾投放区的各垃圾桶的目标颜色和目标坐标，确定所述垃圾投放区的各垃圾桶的摆放顺序是否正确且摆放是否整齐，包括；

当所述垃圾投放区中各目标颜色的垃圾桶的目标坐标中的横坐标满足第一顺序时，确定所述垃圾投放区的各垃圾桶的摆放顺序为正确，否则确定所述垃圾投放区的各垃圾桶的摆放顺序为不正确；

当所述垃圾投放区中各目标颜色的垃圾桶的目标坐标中的纵坐标的差值小于第一阈值时，确定所述垃圾投放区的各垃圾桶的摆放整齐，否则确定所述垃圾投放区的各垃圾桶的摆放不整齐。

可选的，所述确定所述垃圾投放区的各垃圾桶的放置位置信息为错误，包括：

当所述垃圾投放区中各目标颜色的垃圾桶的目标坐标中的横坐标不满足第一顺序且各目标颜色的垃圾桶的目标坐标中的纵坐标的差值小于第一阈值时，确定所述垃圾投放区的各垃圾桶的放置位置信息为顺序错误；

当所述垃圾投放区中各目标颜色的垃圾桶的目标坐标中的横坐标满足第一顺序且各目标颜色的垃圾桶的目标坐标中的纵坐标的差值大于等于第一阈值时，确定所述垃圾投放区的各垃圾桶的放置位置信息为摆放不整齐；

当所述垃圾投放区中各目标颜色的垃圾桶的目标坐标中的横坐标不满足第一顺序且各目标颜色的垃圾桶的目标坐标中的纵坐标的差值大于等于第一阈值时，确定所述垃圾投放区的各垃圾桶的放置位置信息为垃圾桶乱放。

可选的，所述根据所述垃圾袋的目标ID、目标坐标确定出所述垃圾袋的状态，包括：

当属于同一目标ID的垃圾袋连续预设时间内未检测到目标坐标时，确定所述垃圾袋的状态为消失状态；

当属于同一目标ID的垃圾袋连续预设时间内目标坐标的变化率小于第一阈值时，确定所述垃圾袋的状态为定格状态。

可选的，所述基于所述垃圾袋的状态以及所述垃圾桶的目标坐标对所述垃圾袋中垃圾投放行为进行分析，确定出所述垃圾袋的状态与垃圾桶的对应关系，包括：

当所述垃圾袋的状态为消失状态时，确定所述垃圾袋消失前的最后一次出现的目标坐标与垃圾桶的目标坐标是否符合第一预设条件，若是，则确定所述垃圾袋中的垃圾投放入所述符合第一预设条件的垃圾桶，并建立所述垃圾袋的状态与所述垃圾桶的对应关系；若否，则确定投放结果为未入桶；

当所述垃圾袋的状态为定格状态时，确定所述垃圾袋定格时的目标坐标和垃圾桶的目标坐标是否符合第二预设条件，若是，则确定所述垃圾袋中的垃圾投放入所述符合第二预设条件的垃圾桶，并建立所述垃圾袋的状态与所述垃圾桶的对应关系；若否，则确定投放结果为未入桶。

可选的，所述基于所述垃圾桶的目标颜色、所述垃圾袋的目标颜色以及所述垃圾袋的状态和所述垃圾桶的对应关系，确定出所述垃圾袋中垃圾的投放结果，包括：

在所述垃圾袋的状态和所述垃圾桶的对应关系为匹配时，若所述垃圾袋的目标颜色与所述垃圾桶匹配到的垃圾桶的目标颜色相同，则确定所述垃圾袋中的垃圾投放正确，否则确定所述垃圾袋中的垃圾投放错误，并发出告警信息。

第二方面，本发明实施例提供一种基于目标识别的垃圾分类识别装置，包括：

获取单元，用于获取垃圾投放区的监控视频；

处理单元，用于对所述监控视频进行目标识别，确定出目标的属性信息，所述目标的属性信息包括目标ID、目标类型、目标颜色和目标坐标；所述目标类型包括垃圾桶和垃圾袋；根据所述垃圾桶的目标ID、目标颜色和目标坐标确定所述垃圾投放区的各垃圾桶的放置位置信息；根据所述垃圾袋的目标ID、目标坐标确定出所述垃圾袋的状态，并基于所述垃圾袋的状态以及所述垃圾桶的目标坐标对所述垃圾袋中垃圾投放行为进行分析，确定出所述垃圾袋的状态与垃圾桶的对应关系；基于所述垃圾桶的目标颜色、所述垃圾袋的目标颜色以及所述垃圾袋的状态和所述垃圾桶的对应关系，确定出所述垃圾袋中垃圾的投放结果。

可选的，所述处理单元具体用于：

基于各垃圾桶的目标ID，根据所述垃圾投放区的各垃圾桶的目标颜色和目标坐标，确定所述垃圾投放区的各垃圾桶的摆放顺序是否正确且摆放是否整齐；

若是，则确定所述垃圾投放区的各垃圾桶的放置位置信息为正确；否则确定所述垃圾投放区的各垃圾桶的放置位置信息为错误，并发出告警信息。

可选的，所述处理单元具体用于：

当所述垃圾投放区中各目标颜色的垃圾桶的目标坐标中的横坐标满足第一顺序时，确定所述垃圾投放区的各垃圾桶的摆放顺序为正确，否则确定所述垃圾投放区的各垃圾桶的摆放顺序为不正确；

当所述垃圾投放区中各目标颜色的垃圾桶的目标坐标中的纵坐标的差值小于第一阈值时，确定所述垃圾投放区的各垃圾桶的摆放整齐，否则确定所述垃圾投放区的各垃圾桶的摆放不整齐。

可选的，所述处理单元具体用于：

当所述垃圾投放区中各目标颜色的垃圾桶的目标坐标中的横坐标不满足第一顺序且各目标颜色的垃圾桶的目标坐标中的纵坐标的差值小于第一阈值时，确定所述垃圾投放区的各垃圾桶的放置位置信息为顺序错误；

当所述垃圾投放区中各目标颜色的垃圾桶的目标坐标中的横坐标满足第一顺序且各目标颜色的垃圾桶的目标坐标中的纵坐标的差值大于等于第一阈值时，确定所述垃圾投放区的各垃圾桶的放置位置信息为摆放不整齐；

当所述垃圾投放区中各目标颜色的垃圾桶的目标坐标中的横坐标不满足第一顺序且各目标颜色的垃圾桶的目标坐标中的纵坐标的差值大于等于第一阈值时，确定所述垃圾投放区的各垃圾桶的放置位置信息为垃圾桶乱放。

可选的，所述处理单元具体用于：

当属于同一目标ID的垃圾袋连续预设时间内未检测到目标坐标时，确定所述垃圾袋的状态为消失状态；

当属于同一目标ID的垃圾袋连续预设时间内目标坐标的变化率小于第一阈值时，确定所述垃圾袋的状态为定格状态。

可选的，所述处理单元具体用于：

当所述垃圾袋的状态为消失状态时，确定所述垃圾袋消失前的最后一次出现的目标坐标与垃圾桶的目标坐标是否符合第一预设条件，若是，则确定所述垃圾袋中的垃圾投放入所述符合第一预设条件的垃圾桶，并建立所述垃圾袋的状态与所述垃圾桶的对应关系；若否，则确定投放结果为未入桶；

当所述垃圾袋的状态为定格状态时，确定所述垃圾袋定格时的目标坐标和垃圾桶的目标坐标是否符合第二预设条件，若是，则确定所述垃圾袋中的垃圾投放入所述符合第二预设条件的垃圾桶，并建立所述垃圾袋的状态与所述垃圾桶的对应关系；若否，则确定投放结果为未入桶。

可选的，所述处理单元具体用于：

在所述垃圾袋的状态和所述垃圾桶的对应关系为匹配时，若所述垃圾袋的目标颜色与所述垃圾桶匹配到的垃圾桶的目标颜色相同，则确定所述垃圾袋中的垃圾投放正确，否则确定所述垃圾袋中的垃圾投放错误，并发出告警信息。

第三方面，本发明实施例还提供一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述基于目标识别的垃圾分类识别方法。

第四方面，本发明实施例还提供一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述基于目标识别的垃圾分类识别方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种系统架构的示意图；

图2为本发明实施例提供的一种基于目标识别的垃圾分类识别方法的流程示意图；

图3为本发明实施例提供的一种摄像头杆件的示意图；

图4为本发明实施例提供的一种摄像头安装位置的示意图；

图5为本发明实施例提供的一种基于目标识别的垃圾分类识别装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1示例性的示出了本发明实施例所适用的一种系统架构该系统架构可以服务器100，该服务器100可以包括处理器110、通信接口120和存储器130。

其中，通信接口120用于与摄像头设备进行通信，收发摄像头设备传输的数据，实现通信。

处理器110是服务器100的控制中心，利用各种接口和路线连接整个服务器100的各个部分，通过运行或执行存储在存储器130内的软件程序/或模块，以及调用存储在存储器130内的数据，执行服务器100的各种功能和处理数据。可选地，处理器110可以包括一个或多个处理单元。

存储器130可用于存储软件程序以及模块，处理器110通过运行存储在存储器130的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器130可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据业务处理所创建的数据等。此外，存储器130可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。

基于上述描述，图2详细的示出了本发明实施例提供的一种基于目标识别的垃圾分类识别方法的流程，该流程可以由基于目标识别的垃圾分类识别装置执行，该装置可以位于如图1所示服务器100内，也可以是该服务器100。

如图2所示，该流程具体包括：

步骤201，获取垃圾投放区的监控视频。

通过放置在垃圾投放区内的摄像头可以实时监控垃圾投放区，从而可以实时获取垃圾投放区的监控视频。其中，摄像头可以放置在垃圾桶的后面，如图3所示，摄像头可以安装在摄像头杆件上，该摄像头杆件相对垃圾桶的安装位置可以如图4所示，一般情况下，摄像头杆件安装在垃圾桶背后的花丛中。摄像头杆件也可安装在垃圾桶任一侧面。

步骤202，对所述监控视频进行目标识别，确定出目标的属性信息。

在本发明实施例中，通过对监控视频目标识别时主要采用目标检测识别算法，其中，目标检测识别算法的训练过程可以如下：

首先模拟搭建存放垃圾桶及投放垃圾的环境，包括一个长宽高分别为2400mm*800mm*600mm的围栏、4个标准颜色(蓝色、红色、灰色、绿色)的真实垃圾桶(尺寸为730mm*530mm*107mm)，摄像头杆件及摄像头，摄像头高度为2米，可根据实际情况进行调节。在如图4的位置放置。

实验模拟放置垃圾桶、投放垃圾的行为，分别选择晴天、阴雨天的早5:00、中午12:00、晚上23:00(有灯光)这6类时间进行。摄像头存储记录垃圾桶、垃圾袋变动的视频流。

对上述视频流进行抽帧。即对视频记录进行截图，6类时间每一类有1000张监控画面图片。

对图片进行标注。即人工标注出每一张图片中的每一个蓝色垃圾桶、每一个红色垃圾桶、每一个绿色垃圾桶、每一个灰色垃圾桶和每一个蓝色垃圾袋、每一个红色垃圾袋、每一个绿色垃圾袋、每一个灰色垃圾袋，共8类目标。

将标注结果输入计算机，进行学习与训练。通过计算机程序抽取上述8类目标的特征。经过学习训练的计算机程序即成为目标检测识别算法。

通过上述训练过程训练出的目标检测识别算法，对监控视频进行目标识别，可以得到目标的属性信息，其中，目标的属性信息可以包括目标ID、目标类型、目标颜色、目标坐标(x，y，w，h)。目标类型可以有垃圾桶、垃圾袋两类。目标颜色可以有灰色、蓝色、绿色、红色四类。目标坐标中的x、y表示在画面中的横纵坐标值，w、h表示画面中目标的宽和高。其中，目标颜色可以不限于上述四种分类，在具体应用的过程中可以自由增加或减少。

步骤203，根据所述垃圾桶的目标ID、目标颜色和目标坐标确定所述垃圾投放区的各垃圾桶的放置位置信息。

基于各垃圾桶的目标ID，进行垃圾桶的放置位置信息的确认时，具体可以为：

基于各垃圾桶的目标ID，首先可以根据垃圾投放区的各垃圾桶的目标颜色和目标坐标，确定垃圾投放区的各垃圾桶的摆放顺序是否正确且摆放是否整齐，若是，则可以确定垃圾投放区的各垃圾桶的放置位置信息为正确，否则可以确定垃圾投放区的各垃圾桶的放置位置信息为错误，并发出告警信息。

为了更好的判断垃圾投放区的各垃圾桶的放置位置信息是否正确，在确定垃圾投放区的各垃圾桶的摆放顺序是否正确时，主要是通过垃圾投放区中各目标颜色的垃圾桶的目标坐标中的横坐标是否满足第一顺序来确定的，当垃圾投放区中各目标颜色的垃圾桶的目标坐标中的横坐标满足第一顺序时，确定垃圾投放区的各垃圾桶的摆放顺序为正确，否则确定垃圾投放区的各垃圾桶的摆放顺序为不正确。

相应的，在确定垃圾投放区的各垃圾桶的摆放是否整齐时，主要是通过垃圾投放区中各目标颜色的垃圾桶的目标坐标中的纵坐标的差值是否小于第一阈值来确定的，当垃圾投放区中各目标颜色的垃圾桶的目标坐标中的纵坐标的差值小于第一阈值时，确定垃圾投放区的各垃圾桶的摆放整齐，否则确定垃圾投放区的各垃圾桶的摆放不整齐。

需要说明的是，当垃圾桶的摆放整齐时，理论上各垃圾桶是位于一条直线上的，此时各垃圾桶的纵坐标可以视为是相同的，其差值理论上可以为0。但是在具体实施过程中，各垃圾桶的摆放不一定是理论上的一条直线，因此，可以通过纵坐标的差值小于第一阈值的方式来确定各垃圾桶是否摆放整齐。

相当于当垃圾投放区中各目标颜色的垃圾桶的目标坐标中的横坐标满足第一顺序且各目标颜色的垃圾桶的目标坐标中的纵坐标的差值小于第一阈值时，才能确定垃圾投放区的各垃圾桶的放置位置信息为正确。

进一步的，垃圾投放区的各垃圾桶的放置位置信息为错误的情况可以分为顺序错误、摆放不整齐、垃圾桶乱放等三种情况，具体可以为：

当垃圾投放区中各目标颜色的垃圾桶的目标坐标中的横坐标不满足第一顺序且各目标颜色的垃圾桶的目标坐标中的纵坐标的差值小于第一阈值时，确定垃圾投放区的各垃圾桶的放置位置信息为顺序错误。

当垃圾投放区中各目标颜色的垃圾桶的目标坐标中的横坐标满足第一顺序且各目标颜色的垃圾桶的目标坐标中的纵坐标的差值大于等于第一阈值时，确定垃圾投放区的各垃圾桶的放置位置信息为摆放不整齐。

当垃圾投放区中各目标颜色的垃圾桶的目标坐标中的横坐标不满足第一顺序且各目标颜色的垃圾桶的目标坐标中的纵坐标的差值大于等于第一阈值时，确定垃圾投放区的各垃圾桶的放置位置信息为垃圾桶乱放。

上述第一顺序和第一阈值可以依据经验设置，例如，第一顺序可以根据目标颜色的不同进行设置，如灰色、蓝色、绿色、红色4个垃圾桶，目标坐标分别为(x₁，y₁)、(x₂，y₂)、(x₃，y₃)、(x₄，y₄)，则第一顺序可以为x₁＜x₂＜x₃＜x₄。本发明实施例仅是示例作用对此不作具体限定。

通过对比各垃圾桶的目标坐标，判断画面中垃圾桶的顺序正误，并记录结果。画面中垃圾桶的数量、顺序均与规则一致，则为正确，否则为错误。在实际应用中，具体的判断规则可以如下：

摄像头安装在垃圾桶背后的情况下，监控画面中，灰色、蓝色、绿色、红色垃圾桶坐标值(x₁，y₁)、(x₂，y₂)、(x₃，y₃)、(x₄，y₄)。若满足x₁＜x₂＜x₃＜x₄(第一顺序)且4个y轴值差异在10％(第一阈值)以内，则判断为正确；否则，判断为错误。

若不满足x₁＜x₂＜x₃＜x₄但满足“4个y轴值差异在10％以内”，判断为错误1-顺序错误。

若满足x₁＜x₂＜x₃＜x₄但不满足“4个y轴值差异在10％以内”，判断为错误4-不整齐；若均不满足，判断为错误5-垃圾桶乱放。

服务器可以对放置垃圾桶结果作出记录，并可根据现场要求作出相应动作(例如发送报警等)。放置垃圾桶结果记录包括摄像头编号、监控画面流水号、判断结果(正确或错误类型)、抓取的监控画面等。

步骤204，根据所述垃圾袋的目标ID、目标坐标确定出所述垃圾袋的状态，并基于所述垃圾袋的状态以及所述垃圾桶的目标坐标对所述垃圾袋中垃圾投放行为进行分析，确定出所述垃圾袋的状态与垃圾桶的对应关系。

基于步骤202中识别出的垃圾桶的目标坐标，可以通过下述方式来确定垃圾袋的状态，该垃圾袋的状态可以分为投放中、消失和定格。具体的：

当属于同一目标ID的垃圾袋连续预设时间内未检测到目标坐标时，确定垃圾袋的状态为消失状态。

当属于同一目标ID的垃圾袋连续预设时间内目标坐标的变化率小于第二阈值时，确定垃圾袋的状态为定格状态。

其中，预设时间和第二阈值可以依据经验设置。

举例来说，通过对监控视频进行实时(例如每隔1秒)抓取，并识别画面中的目标及其属性。目标属性包括目标ID、目标类型、目标颜色、目标坐标(x，y，w，h)。目标类型有垃圾桶、垃圾袋两类。目标颜色有灰色、蓝色、绿色、红色四类。目标坐标x、y表示在画面中的横纵坐标值，w、h表示画面中目标的宽和高。

持续地进行实时分析比对，根据摄像头反馈信息，判断各个垃圾袋当前的状态，并记录。判断的规则可以如下：

判断垃圾袋的状态为消失的逻辑规则为：同一垃圾袋ID连续15s(第一时间)，摄像头没有返回数据，则判断该垃圾袋的状态为消失。

判断垃圾袋的状态为定格的逻辑规则为：同一垃圾袋ID连续15s，摄像头返回的x和y坐标值变化率控制在10％(第二阈值)以内。

除此之外的垃圾袋的状态为投放中。

基于上述垃圾袋的状态，以及垃圾桶的目标坐标，可以进行垃圾袋中垃圾投放行为的分析，具体的：

当垃圾袋的状态为消失状态时，确定垃圾袋消失前的最后一次出现的目标坐标与垃圾桶的目标坐标是否符合第一预设条件，若是，则确定垃圾袋中的垃圾投放入符合第一预设条件的垃圾桶，并建立垃圾袋的状态与垃圾桶的对应关系；若否，则确定投放结果为未入桶。

当垃圾袋的状态为定格状态时，确定垃圾袋定格时的目标坐标和垃圾桶的目标坐标是否符合第二预设条件，若是，则确定垃圾袋中的垃圾投放入符合第二预设条件的垃圾桶，并建立垃圾袋的状态与垃圾桶的对应关系；若否，则确定投放结果为未入桶。

其中，第一预设条件和第二预设条件可以依据经验设置，在具体实施过程中，该第一预设条件可以依据目标坐标来设置，该第二预设条件也可以依据目标坐标来设置。

也就是说，垃圾袋消失前的最后一个坐标为(x₁，y₁，w₁，h₁)，垃圾桶的坐标(x₂，y₂，w₂，h₂)，若满足(x₂-w₂/2)≤x₁≤(x₂+w₂/2)(第一预设条件)，则判断为此垃圾袋被投放到了此垃圾桶中；若与画面中的任一个垃圾桶均不匹配，则判断为错误1-未入桶。

垃圾袋定格的坐标为(x₁，y₁，w₁，h₁)，垃圾桶的坐标(x₂，y₂，w₂，h₂)，若(x₂-w₂/2)≤x₁≤(x₂+w₂/2)且(第二预设条件)，则判断为此垃圾袋被投放到了此垃圾桶中；若与画面中的任一个垃圾桶均不匹配，则判断为错误1-未入桶。

步骤205，基于所述垃圾桶的目标颜色、所述垃圾袋的目标颜色以及所述垃圾袋的状态和所述垃圾桶的对应关系，确定出所述垃圾袋中垃圾的投放结果。

具体的，在垃圾袋的状态和垃圾桶的对应关系为匹配时，若垃圾袋的目标颜色与垃圾桶匹配到的垃圾桶的目标颜色相同，则确定垃圾袋中的垃圾投放正确，否则确定垃圾袋中的垃圾投放错误，并发出告警信息。

也就是说，在垃圾袋的状态和垃圾桶的判断为匹配时，做进一步判断：若垃圾袋和匹配的垃圾桶颜色相同，则判断为投放正确；若垃圾袋和匹配的垃圾桶颜色不同，则判断为错误2-投放错误。

可选的，服务器可以对垃圾袋最终状态进行记录，并可根据现场要求作出相应动作(例如发送报警等)。垃圾袋投放行为识别结果记录包括摄像头编号、监控画面流水号、垃圾袋ID、投放结果(正确或错误类型)、抓取的监控画面等。

通过上述垃圾分类识别方法，可以将实时监控视频流分解为一帧帧画面，并能识别出画面中的目标及目标属性。通过服务器中的后台分析系统，能实时对每一帧画面的识别结果进行分析判断，判断垃圾桶放置位置是否正确、判断是否为投放垃圾行为、判断投放垃圾行为类别。可识别垃圾桶放置位置是否正确，以及放置垃圾桶行为的类别。可识别垃圾投放行为，若为垃圾投放行为，则继续对此行为进行分析。可识别垃圾投放行为类别：投放过程、投放正确、错误1-未入桶、错误2-投放错误。可对识别结果进行记录，记录包括时间、摄像头编号、行为类别(放置垃圾桶行为、投放垃圾行为)、行为结果、详情(放置垃圾桶行为详情为其4种行为类别，投放垃圾行为详情为其5种行为类别)、抓拍照片1张。

可以通过网络(宽带、WiFi、4G、5G、LoRa、NBIoT等均可)将监控视频流从摄像头传至服务器的后台分析系统。

上述实施例表明，获取垃圾投放区的监控视频，确定出目标的属性信息，根据垃圾桶的目标颜色和目标坐标确定垃圾投放区的各垃圾桶的放置位置信息，根据垃圾袋的目标坐标确定出垃圾袋的状态，并确定出垃圾袋的状态与垃圾桶的对应关系，基于垃圾桶的目标颜色、垃圾袋的目标颜色以及垃圾袋和垃圾桶的对应关系，确定出垃圾袋中垃圾的投放结果。通过依据垃圾桶或垃圾袋的颜色和坐标等信息来确定垃圾桶的放置位置以及通过对垃圾袋的状态的分析，可以确定出垃圾投放行为，从而加强对垃圾分类行为和垃圾桶放置行为的监督和管理，进一步帮助人们养成正确分类投放垃圾的习惯、约束保洁人员正确放置垃圾桶。

本发明实施例中的垃圾分类识别方法，可对社区居民投放垃圾的行为、社区保洁人员放置垃圾桶的行为进行判断与记录，准确率达80％以上。在垃圾分类政策施行初期，可使用摄像画面与分析判断的记录，辅助政府执法。使用技术手段监督投放垃圾行为，可帮助人们养成正确分类投放垃圾的习惯、约束保洁人员正确放置垃圾桶。

同时对每次投放行为正误，可在现场进行实时反馈，及时提示乱丢垃圾、乱放垃圾桶的行为，协助人们正确分类投放垃圾。同时，技术手段权威性配合政府强制执法，对乱丢垃圾、乱放垃圾桶的行为也能起到有效的威慑和管控，实现强制按要求分类投放垃圾的目的，久而久之养成正确分类投放垃圾的习惯。

基于相同的技术构思，图5示例性的示出了本发明实施例提供的一种基于目标识别的垃圾分类识别装置的结构，该装置可以执行基于目标识别的垃圾分类识别流程，该装置可以位于图1所示的服务器100内，也可以是该服务器100。

如图5所示，该装置具体包括：

获取单元501，用于获取垃圾投放区的监控视频；

处理单元502，用于对所述监控视频进行目标识别，确定出目标的属性信息，所述目标的属性信息包括目标ID、目标类型、目标颜色和目标坐标；所述目标类型包括垃圾桶和垃圾袋；根据所述垃圾桶的目标ID、目标颜色和目标坐标确定所述垃圾投放区的各垃圾桶的放置位置信息；根据所述垃圾袋的目标ID、目标坐标确定出所述垃圾袋的状态，并基于所述垃圾袋的状态以及所述垃圾桶的目标坐标对所述垃圾袋中垃圾投放行为进行分析，确定出所述垃圾袋的状态与垃圾桶的对应关系；基于所述垃圾桶的目标颜色、所述垃圾袋的目标颜色以及所述垃圾袋的状态和所述垃圾桶的对应关系，确定出所述垃圾袋中垃圾的投放结果。

可选的，所述处理单元502具体用于：

基于各垃圾桶的目标ID，根据所述垃圾投放区的各垃圾桶的目标颜色和目标坐标，确定所述垃圾投放区的各垃圾桶的摆放顺序是否正确且摆放是否整齐；

若是，则确定所述垃圾投放区的各垃圾桶的放置位置信息为正确；否则确定所述垃圾投放区的各垃圾桶的放置位置信息为错误，并发出告警信息。

可选的，所述处理单元502具体用于：

当所述垃圾投放区中各目标颜色的垃圾桶的目标坐标中的横坐标满足第一顺序时，确定所述垃圾投放区的各垃圾桶的摆放顺序为正确，否则确定所述垃圾投放区的各垃圾桶的摆放顺序为不正确；

当所述垃圾投放区中各目标颜色的垃圾桶的目标坐标中的纵坐标的差值小于第一阈值时，确定所述垃圾投放区的各垃圾桶的摆放整齐，否则确定所述垃圾投放区的各垃圾桶的摆放不整齐。

可选的，所述处理单元502具体用于：

当所述垃圾投放区中各目标颜色的垃圾桶的目标坐标中的横坐标不满足第一顺序且各目标颜色的垃圾桶的目标坐标中的纵坐标的差值小于第一阈值时，确定所述垃圾投放区的各垃圾桶的放置位置信息为顺序错误；

当所述垃圾投放区中各目标颜色的垃圾桶的目标坐标中的横坐标满足第一顺序且各目标颜色的垃圾桶的目标坐标中的纵坐标的差值大于等于第一阈值时，确定所述垃圾投放区的各垃圾桶的放置位置信息为摆放不整齐；

当所述垃圾投放区中各目标颜色的垃圾桶的目标坐标中的横坐标不满足第一顺序且各目标颜色的垃圾桶的目标坐标中的纵坐标的差值大于等于第一阈值时，确定所述垃圾投放区的各垃圾桶的放置位置信息为垃圾桶乱放。

可选的，所述处理单元502具体用于：

当属于同一目标ID的垃圾袋连续预设时间内未检测到目标坐标时，确定所述垃圾袋的状态为消失状态；

当属于同一目标ID的垃圾袋连续预设时间内目标坐标的变化率小于第一阈值时，确定所述垃圾袋的状态为定格状态。

可选的，所述处理单元502具体用于：

当所述垃圾袋的状态为消失状态时，确定所述垃圾袋消失前的最后一次出现的目标坐标与垃圾桶的目标坐标是否符合第一预设条件，若是，则确定所述垃圾袋中的垃圾投放入所述符合第一预设条件的垃圾桶，并建立所述垃圾袋的状态与所述垃圾桶的对应关系；若否，则确定投放结果为未入桶；

当所述垃圾袋的状态为定格状态时，确定所述垃圾袋定格时的目标坐标和垃圾桶的目标坐标是否符合第二预设条件，若是，则确定所述垃圾袋中的垃圾投放入所述符合第二预设条件的垃圾桶，并建立所述垃圾袋的状态与所述垃圾桶的对应关系；若否，则确定投放结果为未入桶。

可选的，所述处理单元502具体用于：

在所述垃圾袋的状态和所述垃圾桶的对应关系为匹配时，若所述垃圾袋的目标颜色与所述垃圾桶匹配到的垃圾桶的目标颜色相同，则确定所述垃圾袋中的垃圾投放正确，否则确定所述垃圾袋中的垃圾投放错误，并发出告警信息。

基于相同的技术构思，本发明实施例还提供了一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用存储器中存储的程序指令，按照获得的程序执行上述基于目标识别的垃圾分类识别方法。

基于相同的技术构思，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行计算机可读指令时，使得计算机执行上述基于目标识别的垃圾分类识别方法。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于目标识别的垃圾分类识别方法，其特征在于，包括：

获取垃圾投放区的监控视频；

对所述监控视频进行目标识别，确定出目标的属性信息，所述目标的属性信息包括目标ID、目标类型、目标颜色和目标坐标；所述目标类型包括垃圾桶和垃圾袋；

根据所述垃圾桶的目标ID、目标颜色和目标坐标确定所述垃圾投放区的各垃圾桶的放置位置信息；

根据所述垃圾袋的目标ID、目标坐标确定出所述垃圾袋的状态，并基于所述垃圾袋的状态以及所述垃圾桶的目标坐标对所述垃圾袋中垃圾投放行为进行分析，确定出所述垃圾袋的状态与垃圾桶的对应关系；

基于所述垃圾桶的目标颜色、所述垃圾袋的目标颜色以及所述垃圾袋的状态和所述垃圾桶的对应关系，确定出所述垃圾袋中垃圾的投放结果；

所述根据所述垃圾桶的目标ID、目标颜色和目标坐标确定所述垃圾投放区的各垃圾桶的放置位置信息，包括：

基于各垃圾桶的目标ID，根据所述垃圾投放区的各垃圾桶的目标颜色和目标坐标，确定所述垃圾投放区的各垃圾桶的摆放顺序是否正确且摆放是否整齐；

若是，则确定所述垃圾投放区的各垃圾桶的放置位置信息为正确；否则确定所述垃圾投放区的各垃圾桶的放置位置信息为错误，并发出告警信息。

2.如权利要求1所述的方法，其特征在于，所述根据所述垃圾投放区的各垃圾桶的目标颜色和目标坐标，确定所述垃圾投放区的各垃圾桶的摆放顺序是否正确且摆放是否整齐，包括：

当所述垃圾投放区中各目标颜色的垃圾桶的目标坐标中的横坐标满足第一顺序时，确定所述垃圾投放区的各垃圾桶的摆放顺序为正确，否则确定所述垃圾投放区的各垃圾桶的摆放顺序为不正确；

当所述垃圾投放区中各目标颜色的垃圾桶的目标坐标中的纵坐标的差值小于第一阈值时，确定所述垃圾投放区的各垃圾桶的摆放整齐，否则确定所述垃圾投放区的各垃圾桶的摆放不整齐。

3.如权利要求2所述的方法，其特征在于，所述确定所述垃圾投放区的各垃圾桶的放置位置信息为错误，包括：

当所述垃圾投放区中各目标颜色的垃圾桶的目标坐标中的横坐标不满足第一顺序且各目标颜色的垃圾桶的目标坐标中的纵坐标的差值小于第一阈值时，确定所述垃圾投放区的各垃圾桶的放置位置信息为顺序错误；

当所述垃圾投放区中各目标颜色的垃圾桶的目标坐标中的横坐标满足第一顺序且各目标颜色的垃圾桶的目标坐标中的纵坐标的差值大于等于第一阈值时，确定所述垃圾投放区的各垃圾桶的放置位置信息为摆放不整齐；

当所述垃圾投放区中各目标颜色的垃圾桶的目标坐标中的横坐标不满足第一顺序且各目标颜色的垃圾桶的目标坐标中的纵坐标的差值大于等于第一阈值时，确定所述垃圾投放区的各垃圾桶的放置位置信息为垃圾桶乱放。

4.如权利要求1所述的方法，其特征在于，所述根据所述垃圾袋的目标ID、目标坐标确定出所述垃圾袋的状态，包括：

当属于同一目标ID的垃圾袋连续预设时间内未检测到目标坐标时，确定所述垃圾袋的状态为消失状态；

当属于同一目标ID的垃圾袋连续预设时间内目标坐标的变化率小于第二阈值时，确定所述垃圾袋的状态为定格状态。

5.如权利要求4所述的方法，其特征在于，所述基于所述垃圾袋的状态以及所述垃圾桶的目标坐标对所述垃圾袋中垃圾投放行为进行分析，确定出所述垃圾袋的状态与垃圾桶的对应关系，包括：

当所述垃圾袋的状态为消失状态时，确定所述垃圾袋消失前的最后一次出现的目标坐标与垃圾桶的目标坐标是否符合第一预设条件，若是，则确定所述垃圾袋中的垃圾投放入所述符合第一预设条件的垃圾桶，并建立所述垃圾袋的状态与所述垃圾桶的对应关系；若否，则确定投放结果为未入桶；

当所述垃圾袋的状态为定格状态时，确定所述垃圾袋定格时的目标坐标和垃圾桶的目标坐标是否符合第二预设条件，若是，则确定所述垃圾袋中的垃圾投放入所述符合第二预设条件的垃圾桶，并建立所述垃圾袋的状态与所述垃圾桶的对应关系；若否，则确定投放结果为未入桶。

6.如权利要求1至5任一项所述的方法，其特征在于，所述基于所述垃圾桶的目标颜色、所述垃圾袋的目标颜色以及所述垃圾袋的状态和所述垃圾桶的对应关系，确定出所述垃圾袋中垃圾的投放结果，包括：

在所述垃圾袋的状态和所述垃圾桶的对应关系为匹配时，若所述垃圾袋的目标颜色与所述垃圾桶匹配到的垃圾桶的目标颜色相同，则确定所述垃圾袋中的垃圾投放正确，否则确定所述垃圾袋中的垃圾投放错误，并发出告警信息。

7.一种基于目标识别的垃圾分类识别装置，其特征在于，包括：

获取单元，用于获取垃圾投放区的监控视频；

处理单元，用于对所述监控视频进行目标识别，确定出目标的属性信息，所述目标的属性信息包括目标ID、目标类型、目标颜色和目标坐标；所述目标类型包括垃圾桶和垃圾袋；根据所述垃圾桶的目标ID、目标颜色和目标坐标确定所述垃圾投放区的各垃圾桶的放置位置信息；根据所述垃圾袋的目标ID、目标坐标确定出所述垃圾袋的状态，并基于所述垃圾袋的状态以及所述垃圾桶的目标坐标对所述垃圾袋中垃圾投放行为进行分析，确定出所述垃圾袋的状态与垃圾桶的对应关系；基于所述垃圾桶的目标颜色、所述垃圾袋的目标颜色以及所述垃圾袋的状态和所述垃圾桶的对应关系，确定出所述垃圾袋中垃圾的投放结果；

所述处理单元具体用于：

基于各垃圾桶的目标ID，根据所述垃圾投放区的各垃圾桶的目标颜色和目标坐标，确定所述垃圾投放区的各垃圾桶的摆放顺序是否正确且摆放是否整齐；

若是，则确定所述垃圾投放区的各垃圾桶的放置位置信息为正确；否则确定所述垃圾投放区的各垃圾桶的放置位置信息为错误，并发出告警信息。

8.如权利要求7所述的装置，其特征在于，所述处理单元具体用于：

当所述垃圾投放区中各目标颜色的垃圾桶的目标坐标中的横坐标满足第一顺序时，确定所述垃圾投放区的各垃圾桶的摆放顺序为正确，否则确定所述垃圾投放区的各垃圾桶的摆放顺序为不正确；

当所述垃圾投放区中各目标颜色的垃圾桶的目标坐标中的纵坐标的差值小于第一阈值时，确定所述垃圾投放区的各垃圾桶的摆放整齐，否则确定所述垃圾投放区的各垃圾桶的摆放不整齐。

Images