CN113989743A - 垃圾满溢检测方法、检测设备及系统 - Google Patents

Abstract

本申请公开了一种垃圾满溢检测方法、检测设备及系统。检测设备获取到监控图像后，不仅能够通过目标识别模型对该监控图像中的垃圾进行识别，还可以采用帧间差算法确定监控图像与参考图像之间的图像差异，并采用轮廓查找法确定差异对象的面积。检测设备在基于目标识别模型输出的识别结果，确定监控图像中存在垃圾，且基于图像差异和差异对象的面积确定该监控图像中存在垃圾后，才会确定该监控区域存在垃圾，并发出告警信息。由于检测设备能够采用多种不同的方式来确定监控区域中是否存在垃圾，因此有效提高了识别和检测垃圾的准确性，进而降低了误告警的概率。

Description

垃圾满溢检测方法、检测设备及系统

技术领域

本申请涉及电子技术领域，特别涉及一种垃圾满溢检测方法、检测设备及系统。

背景技术

社区中的垃圾桶附近一般设置有摄像头。社区的工作人员可以通过查看该摄像头采集到的监控图像，确定垃圾桶是否存在垃圾满溢现象。若存在垃圾满溢现象，则可以及时安排保洁人员对垃圾桶进行清理。

但是，上述垃圾满溢检测的方式的效率较低。

发明内容

本申请提供了一种垃圾满溢检测方法、检测设备及系统，可以解决相关技术中垃圾满溢检测效率较低的问题。所述技术方案如下：

一方面，提供了一种垃圾满溢检测方法，应用于检测设备；所述方法包括：

基于摄像头对监控区域的图像采集，得到至少一帧监控图像，所述监控区域为垃圾桶所在区域；

将所述至少一帧监控图像输入至目标识别模型，得到所述目标识别模型输出的每帧所述监控图像的识别结果，所述识别结果用于指示所述监控图像中是否存在垃圾；

采用帧间差算法确定每帧所述监控图像与参考图像之间的图像差异，所述参考图像为所述摄像头在所述监控区域中不存在所述垃圾时采集到的图像；

若任一帧监控图像与所述参考图像之间的图像差异不大于差异阈值，则采用轮廓查找算法确定所述任一帧监控图像中的差异对象，所述参考图像中不包括所述差异对象；

若基于所述识别结果确定所述监控图像中存在垃圾，且基于所述图像差异和差异对象的面积确定所述监控图像中存在垃圾，则发出告警信息，所述告警信息用于指示所述监控区域中存在垃圾满溢。

另一方面，提供了一种检测设备，所述检测设备包括：处理器和告警模块。

所述处理器，用于：

基于摄像头对监控区域的图像采集，得到至少一帧监控图像；

将所述至少一帧监控图像输入至目标识别模型，得到所述目标识别模型输出的每帧所述监控图像的识别结果，所述识别结果用于指示所述监控图像中是否存在垃圾；

采用帧间差算法确定每帧所述监控图像与参考图像之间的图像差异，所述参考图像为所述摄像头在所述监控区域中不存在所述垃圾时采集到的图像；

若任一帧监控图像与所述参考图像之间的图像差异不大于差异阈值，则采用轮廓查找算法确定所述任一帧监控图像中的差异对象，所述参考图像中不包括所述差异对象；

所述告警模块，用于若所述处理器基于所述识别结果确定所述监控图像存在垃圾，且基于所述图像差异和所述差异对象的面积确定所述监控图像中存在垃圾，则发出告警信息，所述告警信息用于指示所述监控区域中存在垃圾满溢。

可选地，所述处理器用于，若所述至少一帧监控图像中存在连续的第一数量个第一监控图像，则确定所述监控图像中存在垃圾，所述第一数量为大于1的整数；其中，所述第一监控图像包括与所述参考图像之间的图像差异大于差异阈值的监控图像，以及与所述参考图像之间的图像差异不大于所述差异阈值，且图像中存在面积大于面积阈值的差异对象的监控图像；其中，所述参考图像中不包括所述差异对象。

可选地，所述处理器还用于：

采用轮廓查找算法对所述监控图像中的各个监控对象进行轮廓标记；

确定所述多个监控对象中除固定对象之外的差异对象的面积；其中，所述固定对象是指所述参考图像中包括的监控对象。

可选地，所述处理器用于，若所述至少一帧监控图像中存在连续的第二数量个第二监控图像，则确定所述监控图像中存在垃圾，所述第二数量为大于1的整数；其中，所述第二监控图像是指识别结果为存在所述垃圾的监控图像。

可选地，所述告警信息包括：提示信息，所述监控区域的位置信息，以及所述识别结果为存在所述垃圾的监控图像；其中，所述提示信息用于提示所述监控区域中存在垃圾满溢。

可选地，所述处理器用于：

获取摄像头采集到的至少一帧初始图像；

从每帧所述初始图像中截取目标区域的监控图像，得到多帧监控图像；其中，所述目标区域为所述初始图像的部分区域。

又一方面，提供了一种检测设备，所述检测设备包括：存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方面所述的垃圾满溢检测方法。

再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上述方面所述的垃圾满溢检测方法。

再一方面，提供了一种包含指令的计算机程序产品，当所述计算机程序产品在所述计算机上运行时，使得所述计算机执行上述方面所述的垃圾满溢检测方法。

再一方面，提供了一种垃圾满溢检测系统，所述系统包括：摄像头，以及如上述任一方面所述的检测设备；所述摄像头用于对监控区域进行图像采集，并将采集的图像发送至所述检测设备。

本申请提供的技术方案带来的有益效果至少包括：

本申请提供了一种垃圾满溢检测方法、检测设备及系统。在本申请提供的方案中，检测设备获取到监控图像后，不仅能够通过目标识别模型对该监控图像中的垃圾进行识别，还可以采用帧间差算法确定监控图像与参考图像之间的图像差异，并采用轮廓查找法确定差异对象的面积。检测设备在基于目标识别模型输出的识别结果，确定监控图像中存在垃圾，且基于图像差异确定该监控图像存在垃圾后，才会确定该监控区域存在垃圾，并发出告警信息。由于检测设备能够采用多种不同的方式来确定监控区域中是否存在垃圾，因此有效提高了识别和检测垃圾的准确性，进而降低了误告警的概率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种垃圾满溢检测系统的结构示意图；

图2是本申请实施例提供的一种垃圾满溢检测方法的流程图；

图3是本申请实施例提供的另一种垃圾满溢检测方法的流程图；

图4是本申请实施例提供的一种检测设备截取目标区域的示意图；

图5是本申请实施例提供的一种参考图像的示意图；

图6是本申请实施例提供的一种监控图像的示意图；

图7是本申请实施例提供的一种显示有告警信息的界面的示意图；

图8是本申请实施例提供的一种确定第一监控图像的方法的流程图；

图9是本申请实施例提供的一种检测设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

图1是本申请实施例提供的一种垃圾满溢检测系统的结构示意图。参见图1，该系统可以包括检测设备110和至少一个摄像头120。该服务器110与至少一个摄像头120之间建立有线或无线通信连接。

其中，该至少一个摄像头120用于对监控区域的图像进行采集，并将采集到的图像发送至检测设备110。检测设备110进而可以对接收到的图像进行分析和处理，以检测该监控区域是否存在垃圾。

可选地，该检测设备110可以是服务器。例如，可以是一台服务器或者可以是由若干台服务器组成的服务器集群，又或者还可以是一个云计算服务中心。或者，该检测设备110可以是具有显示屏的监控设备。

在本申请实施例提供的垃圾满溢检测系统中，该系统中的摄像头120可以安装在垃圾桶附近，并用于采集垃圾桶周边区域的图像。也即是，该监控区域包括垃圾桶所在区域以及垃圾桶的周边区域，该垃圾为位于垃圾桶附近的垃圾。

本申请实例提供了一种垃圾满溢检测方法，该方法可以应用于检测设备，例如图1所示系统中的检测设备110。参见图2，该方法包括：

步骤101、基于摄像头对监控区域的图像采集，得到至少一帧监控图像。

其中，该监控区域为垃圾桶所在的区域。摄像头能够对其监控区域的图像进行采集，并将采集到的图像发送至服务器，服务器进而能够得到至少一帧监控图像。

可选地，摄像头对其监控区域的图像进行采集后，能够以一个固定帧率将采集到的图像传送至检测设备。检测设备能够以一个小于该固定帧率的频率来读取摄像头传送的图像，进而得到至少一帧监控图像。

示例的，摄像头能够以60帧/秒(frames per second，fps)的固定帧率将采集到的图像传送至检测设备，而检测设备能够以1fps的帧率来读取摄像头传送的图像。相应的，检测设备每分钟可以获取到60帧监控图像。

步骤102、将至少一帧监控图像输入至目标识别模型，得到目标识别模型输出的每帧监控图像的识别结果。

在本申请实施例中，检测设备中预先存储有目标识别模型，该目标识别模型能够对检测设备选取的每一帧监控图像中的对象进行识别。该检测设备获取到多帧监控图像后，可以将该多帧监控图像依次输入至目标识别模型，得到该目标识别模型输出的每帧监控图像的识别结果。该识别结果用于指示监控图像中是否存在垃圾。

步骤103、采用帧间差算法确定每帧监控图像与参考图像之间的图像差异。

其中，该参考图像为摄像头在监控区域中不存在垃圾时采集到的图像。检测设备获取到多帧监控图像后，还可以采用帧间差算法，将每帧监控图像与参考图像作帧间差分运算，从而确定每帧监控图像与参考图像之间的图像差异。由于该参考图像为监控区域中不存在垃圾时的图像，因此基于该图像差异也可以确定监控区域是否存在垃圾。例如，检测设备可以在检测到该图像差异大于差异阈值时，确定监控图像中存在垃圾。

步骤104、若任一帧监控图像与参考图像之间的图像差异不大于差异阈值，则采用轮廓查找算法确定任一帧监控图像中的差异对象。

其中，该参考图像中不包括所述差异对象。当检测设备采用帧差法确定出一帧监控图像与参考图像之间的图像差异不大于差异阈值时，可以采用轮廓查找算法对该帧监控图像中的各个监控对象进行轮廓标记。之后，检测设备可以确定该多个监控对象中除固定对象之外的差异对象，并确定差异对象的面积。若任一帧监控图像中存在差异对象，且该差异对象的面积大于面积阈值，则检测设备可以确定该帧监控图像中存在垃圾。

其中，固定对象是指该参考图像中包括的监控对象，且该固定对象可以是采用轮廓查找算法对参考图像中的监控对象进行轮廓查找得到的。例如，该固定对象可以包括监控图像中的垃圾桶。可以理解的是，当检测设备确定出一帧监控图像与参考图像之间的图像差异不大于差异阈值时，该帧监控图像中也可能存在面积较小的垃圾。因此，检测设备可以采用轮廓查找算法对该帧监控图像中的各个监控对象进行轮廓标记，以检测该帧监控图像中是否存在垃圾。由此，可以有效提高垃圾检测的可靠性。

步骤105、若基于识别结果确定监控图像中存在垃圾，且基于图像差异和差异对象的面积确定监控图像中存在垃圾，则发出告警信息。

在本申请实施例中，检测设备可以在目标识别模型识别结果指示该监控图像存在垃圾，且基于图像差异和差异对象的面积确定该监控图像存在垃圾时，才发出告警信息。其中，该告警信息用于指示监控区域中存在垃圾满溢。可选地，检测设备可以直接显示该告警信息。或者，参见图1，若垃圾满溢检测系统还包括终端，则检测设备可以将该告警信息发送至终端(手机或电脑)，以供终端显示。

可以理解的是，若检测设备仅采用单一的目标识别模型对垃圾进行识别，则外界环境因素(例如光照，或物体遮挡等)均会对目标识别模型输出的识别结果造成影响。而在本申请实施例中，检测设备在不仅能够通过目标识别模型对监控图像中的垃圾进行识别，而且还能够采用帧间差算法和轮廓查找算法确定监控图像中是否存在垃圾。由此，有效降低了外界环境因素对垃圾的识别结果的影响，提高了对垃圾检测和识别的准确性。

综上所述，本申请实施例提供了一种垃圾满溢检测方法，检测设备获取到监控图像后，不仅能够通过目标识别模型对该监控图像中的垃圾进行识别，还可以采用帧间差算法确定监控图像与参考图像之间的图像差异，并采用轮廓查找算法确定差异对象的面积。检测设备在基于目标识别模型输出的识别结果，确定监控图像中存在垃圾，且基于图像差异和差异对象的面积确定该监控图像存在垃圾后，才会确定该监控区域存在垃圾，并发出告警信息。由于检测设备能够采用多种不同的方式来确定监控区域中是否存在垃圾，因此有效提高了识别和检测垃圾的准确性，进而降低了误告警的概率。

图3是本申请实施例提供的另一种垃圾满溢检测方法的流程图，该方法可以应用于检测设备，例如图1所示系统中的检测设备，参考图3，该方法包括：

步骤201、获取摄像头采集到的至少一帧初始图像。

在本申请实施例中，摄像头能够对其监控区域的图像进行采集，得到初始图像，并能够按照固定的帧率向检测设备发送其采集到的初始图像。相应的，检测设备可以接收到摄像头采集到的至少一帧初始图像。

可选地，检测设备能够以一个低于该固定帧率的频率来读取摄像头采集到的初始图像，从而得到至少一帧待处理的初始图像。

步骤202、从每帧初始图像中截取目标区域的监控图像，得到至少一帧监控图像。

由于摄像头的监控区域通常较大，而检测设备需检测的垃圾可能仅在该监控区域中的部分区域出现，即监控区域中的部分区域为需检测的检测区域。因此，检测设备可以仅对该检测区域的图像进行检测。在本申请实施例中，检测设备中可以预先存储有初始图像中目标区域的位置，该目标区域即为该检测区域的图像在初始图像中所处的区域。检测设备获取到初始图像后，可以在初始图像中截取目标区域的监控图像，得到监控图像。其中，该目标区域为初始图像的部分区域。

可选地，该目标区域可以为矩形，且该目标区域在初始图像中的位置可以由目标区域的边长和参考点的坐标表示。该参考点可以为目标区域的中心点，或者可以为目标区域的任一顶点。

由于检测设备在初始图像中截取目标区域，得到监控图像后，只需对该目标区域进行检测，从而有效提高了检测效率。

在本申请实施例中，该摄像头可以安装在垃圾桶附近，该目标区域可以为初始图像中与垃圾桶的距离小于一定距离的区域。示例的，参考图4，假设初始图像04a是摄像头对垃圾桶周围较大范围的区域进行图像采集得到的，则检测设备获取到该初始图像04a后，可以对该初始图像04a中目标区域a的图像进行截取，得到监控图像04b。从图4可以看出，该监控图像04b的尺寸较小，且该监控图像04b所对应的检测区域为垃圾桶发生满溢时，垃圾可能出现的区域。

步骤203、采用帧间差算法确定每帧监控图像与参考图像之间的图像差异。

检测设备获取到监控图像后，可以采用帧间差算法，将每帧监控图像与一帧参考图像做帧间差分运算，从而得到每帧监控图像与一帧参考图像的图像差异。其中，检测设备采用帧间差算法确定图像差异时，可以将监控图像中每个像素点的灰度值与参考图像中对应像素点的灰度值作差，得到监控图像中各个像素点的灰度差的绝对值。之后，检测设备可以将该多个像素点的灰度差的绝对值之和确定为图像差异，或者将该多个像素点的灰度差的绝对值的平均值确定为图像差异。其中，该参考图像为检测设备中预先存储的图像，且该参考图像为摄像头在监控区域中不存在垃圾时采集到的图像。该参考图像也可以称为背景图像。

可以理解的是，若任一帧监控图像与参考图像之间的图像差异较大，则检测设备可以确定该帧监控图像中存在垃圾。若任一帧监控图像与参考图像之间的图像差异较小，则检测设备可以确定该帧监控图像中不存在垃圾。

步骤204、若任一帧监控图像与参考图像之间的图像差异不大于差异阈值，则采用轮廓查找算法确定任一帧监控图像中的差异对象。

在本申请实施例中，检测设备采用帧间差算法确定每帧监控图像与参考图像之间的图像差异后，可以检测该图像差异是否大于差异阈值。若某一帧监控图像的图像差异大于差异阈值，则检测设备可以确定该帧监控图像中存在垃圾。若某一帧监控图像的图像差异不大于差异阈值，则检测设备可以继续采用轮廓查找算法对该帧监控图像中的各个监控对象进行轮廓标记。之后，检测设备可以确定该多个监控对象中除固定对象之外的差异对象。

其中，差异对象为参考图像中不包括的监控对象，即该差异对象为监控图像中的垃圾桶发生满溢时，溢出至垃圾桶周围的垃圾。因此，检测设备可以将该帧监控图像中包括的监控对象与参考图像中包括的监控对象进行对比，若监控图像中存在与参考图像中的任一监控对象不同的监控对象，则可以将该监控对象确定为差异对象。

可以理解的是，该差异阈值为检测设备中预先存储的固定值。该差异阈值设置的越小，检测设备采用帧间差算法所能够识别出的垃圾也越小。但是，由于监控图像采集过程中，以及采用帧间差算法确定图像差异的过程中，均不可避免的会产生图像噪声。因此，若该差异阈值设置的过小，则可能导致图像采集和处理过程中产生的图像噪声被误认为是垃圾，由此影响检测的准确性。而在本申请实施例中，检测设备在检测到任一帧监控图像与参考图像之间的图像差异不大于差异阈值时，还可以采用轮廓查找算法确定任一帧监控图像中的差异对象。由此，可以基于该差异对象的面积进一步判断监控图像是否存在垃圾，从而有效提高了检测的准确性。

示例的，假设参考图像如图5所示，监控图像如图6所示。则对比图5和图6可以看出，采用轮廓查找算法对图5所示的参考图像中的监控对象进行标记后，可以确定出固定对象05a。采用轮廓查找算法对图6所示的监控图像中的监控对象进行标记后，可以确定出的监控对象06a和06b。由于监控对象06a与参考图像中的固定对象05a相同，监控对象06b与该固定对象05a不同，因此检测设备可以确定该监控对象06b为差异对象。参见图6，该差异对象为垃圾桶06a发生满溢时，溢出至垃圾桶06a周围的垃圾。

步骤205、判断至少一帧监控图像中是否存在连续的第一数量个第一监控图像。

在本申请实施例中，第一数量为检测设备中预先配置的大于1的整数。第一监控图像包括与参考图像之间的图像差异大于差异阈值的监控图像，以及与参考图像之间的图像差异不大于该差异阈值，且图像中存在面积大于面积阈值的差异对象的监控图像。

检测设备确定每帧监控图像与参考图像之间的图像差异后，可以判断该图像差异是否大于差异阈值。若任一帧监控图像与参考图像之间的图像差异大于差异阈值，则检测设备可以将该帧监控图像确定为第一监控图像。若任一帧监控图像与参考图像之间的图像差异不大于差异阈值，则可以继续判断该帧监控图像中是否存在面积大于面积阈值的差异对象。若该帧监控图像中存在面积大于面积阈值的差异对象，则也可以将该帧监控图像也确定为第一监控图像。

其中，该面积阈值可以是基于待检测的垃圾在初始图像中占用的像素的个数确定的。示例的，在本申请实施例中，该差异阈值可以为18，该面积阈值可以为2000个像素。

可选地，该检测设备可以每隔检测周期执行一次垃圾满溢检测的操作，即每隔检测周期执行一次本申请实施例提供的垃圾满溢检测方法。在每次检测时，检测设备可以对检测时长内获取到的至少一帧监控图像进行检测。其中，该检测时长可以小于该检测周期，例如，该检测周期可以为30分钟或1小时，该检测时长可以为1分钟。

相应的，在每次检测时，检测设备可以判断在每个检测时长内获取到的至少一帧监控图像中，是否存在连续的第一数量个第一监控图像。若存在连续的第一数量个第一监控图像，则检测设备可以确定监控图像中存在垃圾满溢现象，并继续执行步骤208；若不存在连续的第一数量个第一监控图像，则检测设备可以结束本次垃圾满溢检测操作。

可以理解的是，在对垃圾满溢检测的过程中，可能存在垃圾仅短暂出现在监控区域的情况。例如，可能存在垃圾桶附近有垃圾掉落后，又被人捡走并投入垃圾桶的情况。而上述情况并不需要告警，因此在本申请实施例中，检测设备可以在检测到连续的第一数量个第一监控图像后，才确定该监控图像中存在垃圾。

示例的，假设该检测周期为1小时，检测时长为1分钟，且该检测设备能够在1分钟内获取60帧监控图像。则检测设备可以每隔1小时，获取60帧监控图像以对垃圾进行检测。若第一数量为30，则检测设备可以分别确定该60帧监控图像中每帧监控图像与参考图像的图像差异，并基于该图像差异判断该60帧监控图像中是否存在连续的30帧第一监控图像。

步骤206、将至少一帧监控图像输入至目标识别模型，得到目标识别模型输出的每帧监控图像的识别结果。

检测设备中预先存储有目标识别模型，该目标识别模型能够对检测设备选取的每一帧监控图像中的对象进行识别。进而，检测设备能够得到该目标识别模型输出的每帧监控图像的识别结果。其中，该识别结果用于指示监控图像中是否存在垃圾满溢现象。

可选地，该目标识别模型可以为视网膜网络(RetinaNet)模型，密集卷积网络(dense convolutional network，DenseNet)模型或其它具有目标检测功能的神经网络模型。其中，对于分辨率为640×640的监控图像，该RetinaNet网络处理监控图像的速率可以达到25帧/秒。

示例的，假设该目标识别模型为RetinaNet模型，该RetinaNet模型包括骨干网络、第一子任务网络以及第二子任务网络。相应的，当检测设备获取到每帧监控图像后，可以先将该帧监控图像输入至RetinaNet网络模型的骨干网络。该骨干网络能够通过计算，得到该帧监控图像的特征图。第一子任务网络基于主干网络输出的特征图，能够通过卷积计算得到该帧监控图像中包括的各个监控对象的标准类别，从而确定该帧监控图像中是否存在垃圾。

若该帧监控图像中存在垃圾，则第二子任务网络能够基于主干网络输出的特征图，通过卷积计算得到该帧监控图像中垃圾的边界框的回归值。也即是，该第一子任务网络能够输出监控图像的识别结果，第二子任务网络能够在监控图像中存在垃圾时，在该监控图像中标记该垃圾的边界框，也称为检测框。

可以理解的是，检测设备可以采用机器学习的方法，采用包含多个样本的数据集对初始模型进行训练，得到目标识别模型。其中，每个样本可以包括图像以及图像的识别结果，且每个样本中的图像可以包含有垃圾，也可以不包含该垃圾。该数据集中的各个样本可以是对监控区域进行图像采集得到的，或者可以是从已有的数据库中获取到的。

可选地，每个样本中图像的识别结果不仅可以用于指示图像中是否存在垃圾，还可以用于指示垃圾的类别。并且，垃圾的类别可以是工作人员根据预设的分类标准手动标注的。

在对初始模型进行训练时，可以将该数据集中的各个样本按照一定的比例分为训练集、验证集以及测试集。其中，该训练集用于对初始模型进行训练。该验证集用于在训练过程中，验证该初始模型的性能。该测试集用于在训练完成后，对训练得到的目标识别模型进行整体性能评估。

示例的，训练集中样本的数量可以占数据集中样本总数的85％，验证集中样本的数量可以占数据集中样本总数的10％，测试集中样本的数量可以占数据集中样本总数的5％。

可以理解的是，若数据集中的正样本的数量和负样本的数量相差较大，则可能产生正负样本比例失衡的问题。由于RetinaNet模型的垃圾满溢检测性能较好，因此，若检测设备采用RetinaNet模型作为目标识别模型，则数据集中正负样本的比例失衡对RetinaNet模型的检测性能的影响较低。

可选地，对于不同的垃圾满溢检测场景，检测设备可以采用不同的数据集对一个初始模型进行训练，从而得到能够应用于不同场景的目标识别模型。示例的，假设该检测设备应用于社区垃圾桶的满溢检测，则检测设备可以采用该社区中较为常见的生活垃圾数据对初始模型进行训练，从而得到能够应用于该社区垃圾满溢检测的目标识别模型。

步骤207、判断至少一帧监控图像中是否存在连续的第二数量个第二监控图像。

其中，第二数量为为检测设备中预先配置的大于1的整数，且该第二数量可以和第一数量相同，也可以不同。第二监控图像是指识别结果为存在垃圾的监控图像。检测设备若基于目标识别模型输出的识别结果，确定任一帧监控图像中存在垃圾，则可以将该帧监控图像确定为第二监控图像。之后，检测设备可以判断至少一帧监控图像中是否存在连续的第二数量个第二监控图像。若存在连续的第二数量个第二监控图像，则检测设备可以确定监控图像中存在垃圾，并继续执行步骤208；若不存在连续的第二数量个第二监控图像，则检测设备可以结束本次垃圾满溢检测操作。

步骤208、若基于识别结果确定监控图像中存在垃圾，且基于图像差异和差异对象的面积确定监控图像中存在垃圾，则发出告警信息。

在本申请实施例中，检测设备若基于监控图像与参考图像之间的图像差异，以及监控图像中差异对象的面积，确定至少一帧监控图像中存在连续的第一数量个第一监控图像，且基于目标识别模型输出的识别结果，确定至少一帧监控图像中存在连续的第二数量个第二监控图像，则发出告警信息。

其中，该告警信息可以包括：提示信息，监控区域的位置信息，以及识别结果为存在垃圾的监控图像。其中，该提示信息用于提示监控区域存在垃圾满溢现象。该监控区域的位置信息可以是基于上报初始图像的摄像头的标识确定的。例如，检测设备中可以预先存储有摄像头的标识与该摄像头所监控的监控区域的位置信息的对应关系，检测设备在可以根据该对应关系确定监控区域的位置信息。可选地，该告警信息中的监控图像中还可以显示有用于标记垃圾的检测框。

在本申请实施例中，该检测设备可以直接显示该告警信息。或者，若垃圾满溢检测系统还包括终端，则检测设备可以将该告警信息发送至终端(手机或电脑)，以供终端显示。

示例的，当检测设备确定垃圾桶存在满溢时，可以在其显示屏上显示如图7所示的告警信息。参见图7，该告警信息可以包括提示信息07a“垃圾满溢提示”，监控区域的位置信息07b“位置：XX小区公园草坪处”，以及监控图像07c。如图7所示，该监控图像07c中显示有用于标记垃圾的检测框07c1。

可以理解的是，该检测设备可以包括图形处理器(graphics processing unit，GPU)和中央处理器(central processing unit，CPU)。其中，GPU用于通过目标识别模型对监控图像进行处理，CPU用于采用帧间差算法确定监控图像与参考图像之间的图像差异。由于检测设备中的两种处理器可以采用不同的检测方法对监控图像中的垃圾进行检测，因此可以在保证图像处理速度的前提下，有效提高对垃圾的识别精度。例如，相比于基于单一检测方法检测垃圾，本申请实施例提供的将两种检测方式结合的检测方法能够将识别精度提升20％。

下文对上述步骤203、步骤204以及步骤205的实现过程进行介绍。参考图8，该实现过程可以包括：

步骤S1、获取第一参考图像，并配置第二参考图像的值为空值。

其中，该第一参考图像是指摄像头在其监控区域中不存在垃圾时采集到的图像。

示例的，该第一参考图像可以表示为bg0，第二参考图像可以表示为bg1，则在该步骤S1中，bg1＝0。

可选地，检测设备中还可以存储有告警标志位，该告警标志位的初始值可以为“0”。

步骤S2、按照检测设备读取监控图像的先后顺序，每次获取一帧监控图像。

在本申请实施例中，检测设备可以每隔检测周期执行一次检测流程。在每个检测周期内，检测设备可以在检测时长内按照一定的频率逐帧获取监控图像。例如，假设检测时长为1分钟，检测设备获取监控图像的频率为1帧/秒，则检测设备在该检测时长内可以获取到60帧监控图像。对于每个检测周期，若检测设备确定当前获取监控图像的时长未达到该检测时长，则可以继续获取下一帧监控图像，并执行下述步骤S3，若检测设备确定当前获取监控图像的时长已达到该检测时长，则可以停止获取监控图像并执行下述步骤S12。

步骤S3、判断第二参考图像的值是否为空值。

若该第二参考图像的值为空值，则执行步骤S4；若该第二参考图像的值不为空值，则执行步骤S7。

可以理解的是，若检测设备获取到的监控图像为当前检测周期的第一帧监控图像，则该第二参考图像的值为空值，检测设备进而可以执行步骤S4。

步骤S4、判断获取到的一帧监控图像与第一参考图像之间的图像差异是否大于差异阈值。

检测设备可以采用帧间差算法，将获取到的一帧监控图像与第一参考图像做帧间差分运算，从而得到该帧监控图像与第一参考图像的图像差异。之后，检测设备可以判断该帧监控图像与第一参考图像之间的图像差异是否大于差异阈值。若该图像差异不大于差异阈值，则执行步骤S5；若该图像差异大于差异阈值，则执行步骤S6。

步骤S5、将该帧监控图像作为第一参考图像。

若检测设备当前获取到的一帧监控图像与第一参考图像之间的图像差异不大于差异阈值，则可以将该帧监控图像作为第一参考图像。也即是，检测设备可以对第一参考图像进行更新，更新后的第一参考图像与该帧监控图像相同。之后，检测设备可以继续执行步骤S2，即继续获取下一帧监控图像。可以理解的是，在该步骤S5中，第二参考图像的内容保持不变。

示例的，当前获取到的一帧监控图像可以表示为frame，则在该步骤S5中，bg0＝frame，bg1＝0。

步骤S6、将该帧监控图像作为第二参考图像，并将该帧监控图像确定为第一监控图像。

若检测设备当前获取到的一帧监控图像与第一参考图像之间的图像差异大于差异阈值，则可以将该帧监控图像作为第二参考图像。也即是，可以对第二参考图像进行更新，更新后的第二参考图像与该帧监控图像相同，即bg1＝frame。可以理解的是，在步骤S6中，第一参考图像的内容保持不变。

之后，检测设备可以继续执行步骤S2。即继续获取下一帧监控图像。

步骤S7、判断该帧监控图像与第二参考图像之间的图像差异是否大于差异阈值。

在上述步骤S3中，若第二参考图像的值不为空值，则检测设备可以继续采用帧间差算法计算当前获取到的一帧监控图像与第二参考图像之间的图像差异。之后，检测设备可以判断该图像差异是否大于差异阈值。若该图像差异不大于差异阈值，则执行步骤S8；若该图像差异大于差异阈值，则执行步骤S9。

步骤S8、将该帧监控图像确定为第一监控图像。

若检测设备当前获取到的一帧监控图像与第二参考图像之间的图像差异不大于差异阈值，则可以将该帧监控图像确定为第一监控图像。之后，检测设备可以继续执行步骤S2。

步骤S9、判断该帧监控图像与第一参考图像之间的图像差异是否大于差异阈值。

在上述步骤S7中，若该帧监控图像与第二参考图像之间的图像差异大于差异阈值，则检测设备可以继续判断该帧监控图像与第一参考图像之间的图像差异是否大于差异阈值。

可以理解的是，当该帧监控图像与第二参考图像之间的图像差异大于差异阈值时，则检测设备可以确定，当前获取到的一帧监控图像相比于第二参考图像存在较大差异。该差异可能是由于当前获取到的一帧监控图像中垃圾的数量增多或减少导致的。因此，检测设备还需继续判断该帧监控图像与第一参考图像之间的图像差异是否大于差异阈值。若该图像差异不大于差异阈值，则执行步骤S10；若该图像差异大于差异阈值，则执行步骤S6，即将该帧监控图像确定为第一监控图像。

S10、判断该帧监控图像中是否存在面积大于面积阈值的差异对象。

在上述步骤S9中，若检测设备确定该帧监控图像与第一参考图像之间的图像差异不大于差异阈值，则可以采用轮廓标记法对该帧监控图像中的监控对象进行标记。之后，检测设备可以判断该帧监控图像中是否存在面积大于面积阈值的差异对象，该差异对象是指第一参考图像中不包括的监控对象。

若该帧监控图像中存在面积大于面积阈值的差异对象，则执行步骤S6，即将该帧监控图像确定为第一监控图像。若该帧监控图像中不存在面积大于面积阈值的差异对象，则执行步骤S11。

步骤S11、将该帧监控图像作为第一参考图像，并配置第二参考图像的值为空值。

在上述步骤S10中，若该帧监控图像中不存在面积大于面积阈值的差异对象，则检测设备可以确定该帧监控图像中不存在垃圾。因此，检测设备可以将该帧监控图像作为第一参考图像，并配置第二参考图像的值为空值。之后，检测设备可以继续执行上述步骤S2。

示例的，在该步骤S11中，bg0＝frame，bg1＝0。

步骤S12、判断获取到的至少一帧监控图像中是否存在连续的第一数量个第一监控图像。

检测设备可以判断在一个检测时长内获取到的至少一帧监控图像中，是否存在连续的第一数量个第一监控图像。若存在，则检测设备可以继续执行步骤208；若不存在，则检测设备结束本次垃圾满溢检测操作。

可以理解的是，在步骤208中，检测设备若基于目标识别模型的识别结果确定监控图像存在垃圾，且基于图像差异和差异对象的面积确定监控图像存在垃圾，以及确定告警标志位的值为“0”，则发出告警信息。之后，检测设备可以将告警标志位由初始值“0”更新为目标值，该目标值可以为“1”。

应理解的是，本申请实施例提供的垃圾满溢检测方法的步骤的先后顺序可以进行适当调整。例如，上述步骤206和207可以在步骤203之前执行。或者，步骤206和203可以同步执行。任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本申请的保护范围之内，因此不再赘述。

综上所述，本申请实施例提供了一种垃圾满溢检测方法，检测设备获取到监控图像后，不仅能够通过目标识别模型对该监控图像中的垃圾进行识别，还可以采用帧间差算法确定监控图像与参考图像之间的图像差异，并采用轮廓查找算法确定差异对象的面积。检测设备在基于目标识别模型输出的识别结果，确定监控图像中存在垃圾，且基于图像差异和差异对象的面积确定该监控图像存在垃圾后，才会确定该监控区域存在垃圾，并发出告警信息。由于检测设备能够采用两种不同的方式来确定监控区域中是否存在垃圾，因此有效提高了识别和检测垃圾的准确性，进而降低了误告警的概率。

图9是本申请实施例提供的一种检测设备的结构示意图，该检测设备可以执行上述方法实施例提供的垃圾满溢检测方法。如图9所示，该检测设备110可以包括：处理器1101和告警模块1102。该处理器1101，用于：

基于摄像头对监控区域的图像采集，得到至少一帧监控图像，该监控区域为垃圾桶所在区域；将至少一帧监控图像输入至目标识别模型，得到目标识别模型输出的每帧监控图像的识别结果，该识别结果用于指示监控图像中是否存在垃圾；采用帧间差算法确定每帧监控图像与参考图像之间的图像差异，该参考图像为摄像头在监控区域中不存在垃圾时采集到的图像；若任一帧监控图像与参考图像之间的图像差异不大于差异阈值，则采用轮廓查找算法确定任一帧监控图像中的差异对象，该参考图像中不包括差异对象。。

该告警模块1102，用于若处理器基于识别结果确定监控图像中存在垃圾，且基于图像差异确定监控图像中存在垃圾，则发出告警信息，该告警信息用于指示监控区域中存在垃圾。

作为一种可能的实现方式，该告警模块1102可以包括显示屏，该显示屏用于显示告警信息；告警模块1102还可以包括扬声器，该扬声器用于语音播报该告警信息。

作为另一种可能的实现方式，该告警模块1102可以为通信模块，该通信模块可以用于向终端发送告警信息，以供终端显示或播报该告警信息。

可选地，该处理器1101用于，若至少一帧监控图像中存在连续的第一数量个第一监控图像，则确定该监控图像中存在垃圾，该第一数量为大于1的整数。其中，第一监控图像包括与参考图像之间的图像差异大于差异阈值的监控图像，以及与参考图像之间的图像差异不大于差异阈值，且图像中存在面积大于面积阈值的差异对象的监控图像。其中，参考图像中不包括差异对象。

可选地，该处理器1101还用于：采用轮廓查找算法对监控图像中的各个监控对象进行轮廓标记；确定多个监控对象中除固定对象之外的差异对象的面积。其中，该固定对象是指参考图像中包括的监控对象。

可选地，该处理器1101用于，若至少一帧监控图像中存在连续的第二数量个第二监控图像，则确定监控图像中存在垃圾，该第二数量为大于1的整数。其中，第二监控图像是指识别结果为存在垃圾的监控图像。

可选地，该告警信息包括：提示信息，监控区域的位置信息，以及识别结果为存在垃圾的监控图像。其中，该提示信息用于提示监控区域存在垃圾。

可选地，该处理器1101用于：获取摄像头采集到的至少一帧初始图像；从每帧初始图像中截取目标区域的监控图像，得到多帧监控图像。其中，目标区域为初始图像的部分区域。

综上所述，本申请实施例提供了一种检测设备，该检测设备获取到监控图像后，不仅能够通过目标识别模型对该监控图像中的垃圾进行识别，还可以采用帧间差算法确定监控图像与参考图像之间的图像差异，并采用轮廓查找算法确定差异对象的面积。检测设备在基于目标识别模型输出的识别结果，确定监控图像中存在垃圾，且基于图像差异和差异对象的面积确定该监控图像存在垃圾后，才会确定该监控区域存在垃圾，并发出告警信息。由于检测设备能够采用多种不同的方式来确定监控区域中是否存在垃圾，因此有效提高了识别和检测垃圾的准确性，进而降低了误告警的概率。

本申请实施例提供了一种检测设备，该检测设备可以包括存储器，处理器及存储在该存储器上并可在该处理器上运行的计算机程序，该处理器执行该计算机程序时实现如上述实施例提供的垃圾满溢检测方法，例如图2、图3或图8所示的方法。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序由处理器加载并执行以上述实施例提供的垃圾满溢检测方法，例如图2、图3、或图8所示的方法。

本申请实施例还提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述方法实施例提供的垃圾满溢检测方法，例如图2、图3或图8所示的方法。

本申请实施例提供了一种垃圾满溢检测系统。如图1所示，该系统包括：检测设备110和至少一个摄像头120。该检测设备110可以为上述实施例提供的如图9所示的检测设备。该摄像头120用于对监控区域进行图像采集，并将采集的图像发送至检测设备110。该检测设备110用于通过上述方法实施例提供的垃圾满溢检测方法对摄像头发送的图像进行处理，以检测该监控区域是否存在垃圾。

可选地，参见图1，该垃圾满溢检测系统还可以包括终端130，该终端130可以用于接收检测设备110发送的告警信息，并显示或播报该告警信息。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

应当理解的是，本申请中术语“至少一个”的含义是指一个或多个，本申请中术语“多个”的含义是指两个或两个以上。

本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。

以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种垃圾满溢检测方法，其特征在于，应用于检测设备，所述方法包括：

基于摄像头对监控区域的图像采集，得到至少一帧监控图像，所述监控区域为垃圾桶所在区域；

将所述至少一帧监控图像输入至目标识别模型，得到所述目标识别模型输出的每帧所述监控图像的识别结果，所述识别结果用于指示所述监控图像中是否存在垃圾；

采用帧间差算法确定每帧所述监控图像与参考图像之间的图像差异，所述参考图像为所述摄像头在所述监控区域中不存在垃圾时采集到的图像；

若任一帧监控图像与所述参考图像之间的图像差异不大于差异阈值，则采用轮廓查找算法确定所述任一帧监控图像中的差异对象，所述参考图像中不包括所述差异对象；

若基于所述识别结果确定所述监控图像中存在垃圾，且基于所述图像差异和所述差异对象的面积确定所述监控图像中存在垃圾，则发出告警信息，所述告警信息用于指示所述监控区域中存在垃圾满溢。

2.根据权利要求1所述的方法，其特征在于，所述基于所述图像差异和所述差异对象的面积确定所述监控图像中存在垃圾，包括：

若所述至少一帧监控图像中存在连续的第一数量个第一监控图像，则确定所述监控图像中存在垃圾，所述第一数量为大于1的整数；

其中，所述第一监控图像包括与所述参考图像之间的图像差异大于差异阈值的监控图像，以及与所述参考图像之间的图像差异不大于所述差异阈值，且图像中存在面积大于面积阈值的差异对象的监控图像。

3.根据权利要求1所述的方法，其特征在于，所述采用轮廓查找算法确定所述任一帧监控图像中的差异对象，包括：

采用轮廓查找算法对所述监控图像中的各个监控对象进行轮廓标记；

确定所述多个监控对象中除固定对象之外的差异对象的面积；

其中，所述固定对象是指所述参考图像中包括的监控对象。

4.根据权利要求1至3任一所述的方法，其特征在于，所述基于所述识别结果确定所述监控图像中存在垃圾，包括：

若所述至少一帧监控图像中存在连续的第二数量个第二监控图像，则确定所述监控图像中存在垃圾，所述第二数量为大于1的整数；

其中，所述第二监控图像是指识别结果为存在所述垃圾的监控图像。

5.根据权利要求1至3任一所述的方法，其特征在于，所述告警信息包括：提示信息，所述监控区域的位置信息，以及所述识别结果为存在垃圾的监控图像；

其中，所述提示信息用于提示所述监控区域中存在垃圾满溢。

6.根据权利要求1至3任一所述的方法，其特征在于，所述基于摄像头对监控区域的图像采集，得到至少一帧监控图像，包括：

获取摄像头采集到的至少一帧初始图像；

从每帧所述初始图像中截取目标区域的监控图像，得到多帧监控图像；

其中，所述目标区域为所述初始图像的部分区域。

7.一种检测设备，其特征在于，所述检测设备包括：处理器和告警模块；

所述处理器，用于：

基于摄像头对监控区域的图像采集，得到至少一帧监控图像，所述监控区域为垃圾桶所在区域；

将所述至少一帧监控图像输入至目标识别模型，得到所述目标识别模型输出的每帧所述监控图像的识别结果，所述识别结果用于指示所述监控图像中是否存在垃圾；

采用帧间差算法确定每帧所述监控图像与参考图像之间的图像差异，所述参考图像为所述摄像头在所述监控区域中不存在垃圾时采集到的图像；

若任一帧监控图像与所述参考图像之间的图像差异不大于差异阈值，则采用轮廓查找算法确定所述任一帧监控图像中的差异对象，所述参考图像中不包括所述差异对象；

所述告警模块，用于若所述处理器基于所述识别结果确定所述监控图像存在垃圾，且基于所述图像差异和所述差异对象的面积确定所述监控图像存在垃圾，则发出告警信息，所述告警信息用于指示所述监控区域中存在垃圾满溢。

8.根据权利要求7所述的检测设备，其特征在于，所述处理器用于：

若所述至少一帧监控图像中存在连续的第一数量个第一监控图像，则确定所述监控图像中存在垃圾，所述第一数量为大于1的整数；

其中，所述第一监控图像包括与所述参考图像之间的图像差异大于差异阈值的监控图像，以及与所述参考图像之间的图像差异不大于所述差异阈值，且图像中存在面积大于面积阈值的差异对象的监控图像。

9.根据权利要求7或8所述的检测设备，其特征在于，所述处理器用于：

采用轮廓查找算法对所述监控图像中的各个监控对象进行轮廓标记；

确定所述多个监控对象中除固定对象之外的差异对象的面积；

其中，所述固定对象是指所述参考图像中包括的监控对象。

10.一种垃圾满溢检测系统，其特征在于，所述系统包括：摄像头，以及如权利要求7至9任一所述的检测设备；

所述摄像头用于对监控区域进行图像采集，并将采集的图像发送至所述检测设备。

Images