CN111753612A - 一种抛洒物检测方法、装置及存储介质 - Google Patents

Abstract

本申请公开了一种抛洒物检测方法、装置及存储介质，属于图像处理领域。所述方法包括：将第一视频图像作为抛洒物检测模型的输入，通过所述抛洒物检测模型确定第一视频图像中每个像素点属于多个类别的概率，基于第一视频图像中每个像素点属于多个类别的概率，确定第一视频图像中每个像素点所属的类别，若第一视频图像中存在属于抛洒物类别的像素点，则基于第一视频图像中属于抛洒物类别的像素点，确定抛洒物目标。本申请通过抛洒物检测模型来检测抛洒物，不易受抖动、光照和阴影等因素的影响，且误判率较低，提高了检测抛洒物的准确度和有效率。

Description

一种抛洒物检测方法、装置及存储介质

技术领域

本申请涉及图像处理领域，特别涉及一种抛洒物检测方法、装置及存储介质。

背景技术

车辆在道路上行驶时，可能会将货物、石头、废弃轮胎、废弃纸箱或遮挡物等物品抛洒在路面上，这种被车辆在行驶过程中抛洒在路面上的物品称为抛洒物。由于车辆的抛洒物存在安全隐患，可能会引发交通事故，带来生命和经济财产的损失，因此，需要对道路上的抛洒物进行检测，以维护交通道路安全。

在相关技术中，一般通过背景建模方法建立的背景模型来进行抛洒物检测。具体地，可以预先基于检测区域的多张背景图像，通过背景建模方法建立检测区域的背景模型，然后获取检测区域的监控视频，将监控视频中的视频图像与背景模型进行比较，来确定视频图像中的前景，再获取前景的相关信息，判断前景的相关信息是否满足设定阈值，如果满足，则确定前景为抛洒物，如果不满足，则确定前景不是抛洒物。其中，前景的相关信息可以为前景的周长、面积和重心等信息。

但是，由于根据背景建模方法来检测抛洒物时容易受相机抖动、光照和阴影等因素的影响，导致检测结果不准确，而且检测时也容易将不属于抛洒物的目标误判为抛洒物，因此，检测准确度和有效率较低。

发明内容

本申请提供了一种抛洒物检测方法、装置及存储介质，可以解决相关技术的由于根据背景建模方法来检测抛洒物时容易受相机抖动、光照和阴影等因素的影响，导致检测结果不准确，而且检测时也容易将不属于抛洒物的目标误判为抛洒物，进而导致抛洒物检测的准确度和有效率较低的问题。所述技术方案如下：

一方面，提供了一种抛洒物检测方法，所述方法包括：

将第一视频图像作为抛洒物检测模型的输入，通过所述抛洒物检测模型确定所述第一视频图像中每个像素点属于多个类别的概率，所述第一视频图像为监控视频中的任一视频帧，所述多个类别包括背景类别和抛洒物类别，所述抛洒物检测模型用于确定任一图像中每个像素点属于所述多个类别的概率；

基于所述第一视频图像中每个像素点属于所述多个类别的概率，确定所述第一视频图像中每个像素点所属的类别；

若所述第一视频图像中存在属于抛洒物类别的像素点，则基于所述第一视频图像中属于抛洒物类别的像素点，确定抛洒物目标。

可选地，所述基于所述第一视频图像中每个像素点属于所述多个类别的概率，确定所述第一视频图像中每个像素点所属的类别，包括：

对于所述第一视频图像中的参考像素点，将所述参考像素点属于多个类别的概率中的最大概率对应的类别，确定为所述参考像素点所属的类别，所述参考像素点为所述第一视频图像中的任一像素点。

可选地，所述基于所述第一视频图像中属于抛洒物类别的像素点，确定抛洒物目标，包括：

基于所述第一视频图像中属于抛洒物类别的像素点，确定至少一个疑似抛洒物目标；

若所述至少一个疑似抛洒物目标中存在静态目标，则基于所述至少一个疑似抛洒物目标中的静态目标，确定抛洒物目标。

可选地，所述基于所述第一视频图像中属于抛洒物类别的像素点，确定至少一个疑似抛洒物目标，包括：

对所述第一视频图像中属于抛洒物类别的像素点进行连通区域标记处理，得到至少一个连通区域；

将所述至少一个连通区域内的目标，确定为所述至少一个疑似抛洒物目标。

可选地，所述基于所述至少一个疑似抛洒物目标中的静态目标，确定抛洒物目标之前，还包括：

获取所述监控视频中位于所述第一视频图像之后的n个视频帧，将所述n个视频帧作为n个第二视频图像，所述n为正整数；

基于所述第一视频图像和所述n个第二视频图像，对所述至少一个疑似抛洒物目标进行目标跟踪，得到所述至少一个疑似抛洒物目标的跟踪信息；

对于所述至少一个疑似抛洒物目标中的参考疑似抛洒物目标，若基于所述参考疑似抛洒物目标的跟踪信息确定所述参考疑似抛洒物目标满足静止条件，则确定所述参考疑似抛洒物目标为静态目标；

若基于所述参考疑似抛洒物目标的跟踪信息确定所述参考疑似抛洒物目标不满足静止条件，则确定所述参考疑似抛洒物目标为动态目标。

可选地，所述基于所述至少一个疑似抛洒物目标中的静态目标，确定抛洒物目标，包括：

从所述至少一个疑似抛洒物目标中的静态目标中确定异常目标，所述异常目标包括尺寸异常目标和/或位置异常目标；

将所述至少一个疑似抛洒物目标包括的静态目标中除所述异常目标之外的静态目标，确定为抛洒物目标。

可选地，所述从所述至少一个疑似抛洒物目标中的静态目标中确定异常目标，包括：

确定参考静态目标的尺寸，所述参考静态目标为所述至少一个疑似抛洒物目标中的任一静态目标；

若所述参考静态目标的尺寸不满足参考尺寸条件，则将所述参考静态目标确定为异常目标。

可选地，所述从所述至少一个疑似抛洒物目标中的静态目标中确定异常目标之前，还包括：

对所述第一视频图像进行目标检测，以确定所述第一视频图像中的参考目标，所述参考目标包括车辆目标和行人目标中的至少一种；

所述从所述至少一个疑似抛洒物目标中的静态目标中确定异常目标，包括：

确定参考静态目标与所述第一视频图像中的参考目标的交并比，所述参考静态目标为所述至少一个疑似抛洒物目标中的任一静态目标；

若所述参考静态目标与所述第一视频图像中的参考目标的交并比大于交并比阈值，则将所述参考静态目标目标确定为异常目标。

可选地，所述基于所述第一视频图像中属于抛洒物类别的像素点，确定至少一个疑似抛洒物目标之后，还包括：

若所述第一视频图像中不存在属于抛洒物类别的像素点，则确定所述第一视频图像中不存在抛洒物目标。

可选地，所述通过抛洒物检测模型，确定第一视频图像中每个像素点属于多个类别的概率之前，还包括：

获取多张样本图像，每张样本图像均为存在抛洒物的图像；

基于所述多张样本图像，确定多个样本数据，每个样本数据包括一张样本图像和所述样本图像中每个像素点的类别标签，所述类别标签用于指示背景类别或抛洒物类别；

基于所述多个样本数据，对待训练抛洒物检测模型进行训练，得到所述抛洒物检测模型。

可选地，所述获取多张样本图像，包括：

从样本数据库中，获取存在抛洒物的多张第一样本图像；

从网络上的监控图像中，获取存在抛洒物的多张监控图像，将所述多张监控图像作为多张第二样本图像；

分别提取所述多张第一样本图像和所述多张第二样本图像中的抛洒物目标，得到多张抛洒物目标图像；

获取多张背景图像，所述多张背景图像为不同监控场景的背景图像；

将所述多张抛洒物目标图像中的每张抛洒物目标图像分别叠加在所述多张背景图上，得到所述多张样本图像。

另一方面，提供了一种抛洒物检测装置，所述装置包括：

第一确定模块，用于将第一视频图像作为抛洒物检测模型的输入，通过所述抛洒物检测模型确定所述第一视频图像中每个像素点属于多个类别的概率，所述第一视频图像为监控视频中的任一视频帧，所述多个类别包括背景类别和抛洒物类别，所述抛洒物检测模型用于确定任一图像中每个像素点属于所述多个类别的概率；

第二确定模块，用于基于所述第一视频图像中每个像素点属于所述多个类别的概率，确定所述第一视频图像中每个像素点所属的类别；

第三确定模块，用于若所述第一视频图像中存在属于抛洒物类别的像素点，则基于所述第一视频图像中属于抛洒物类别的像素点，确定抛洒物目标。

可选地，所述第二确定模块用于：

对于所述第一视频图像中的参考像素点，将所述参考像素点属于多个类别的概率中的最大概率对应的类别，确定为所述参考像素点所属的类别，所述参考像素点为所述第一视频图像中的任一像素点。

可选地，所述第三确定模块包括：

第一确定单元，用于基于所述第一视频图像中属于抛洒物类别的像素点，确定至少一个疑似抛洒物目标；

第二确定单元，用于若所述至少一个疑似抛洒物目标中存在静态目标，则基于所述至少一个疑似抛洒物目标中的静态目标，确定抛洒物目标。

可选地，所述第一确定单元用于：

对所述第一视频图像中属于抛洒物类别的像素点进行连通区域标记处理，得到至少一个连通区域；

将所述至少一个连通区域内的目标，确定为所述至少一个疑似抛洒物目标。

可选地，所述第三确定模块还包括：

获取单元，用于获取所述监控视频中位于所述第一视频图像之后的n个视频帧，将所述n个视频帧作为n个第二视频图像，所述n为正整数；

第三确定单元，用于基于所述第一视频图像和所述n个第二视频图像，对所述至少一个疑似抛洒物目标进行目标跟踪，得到所述至少一个疑似抛洒物目标的跟踪信息；

第四确定单元，用于对于所述至少一个疑似抛洒物目标中的参考疑似抛洒物目标，若基于所述参考疑似抛洒物目标的跟踪信息确定所述参考疑似抛洒物目标满足静止条件，则确定所述参考疑似抛洒物目标为静态目标；

第五确定单元，用于若基于所述参考疑似抛洒物目标的跟踪信息确定所述参考疑似抛洒物目标不满足静止条件，则确定所述参考疑似抛洒物目标为动态目标。

可选地，所述第二确定单元包括：

第一确定子单元，用于从所述至少一个疑似抛洒物目标中的静态目标中确定异常目标，所述异常目标包括尺寸异常目标和/或位置异常目标；

第二确定子单元，用于将所述至少一个疑似抛洒物目标包括的静态目标中除所述异常目标之外的静态目标，确定为抛洒物目标。

可选地，所述第一确定子单元用于：

确定参考静态目标的尺寸，所述参考静态目标为所述至少一个疑似抛洒物目标中的任一静态目标；

若所述参考静态目标的尺寸不满足参考尺寸条件，则将所述参考静态目标确定为异常目标。

可选地，所述第二确定单元还包括：

对所述第一视频图像进行目标检测，以确定所述第一视频图像中的参考目标，所述参考目标包括车辆目标和行人目标中的至少一种；

所述第一子单元用于：

确定参考静态目标与所述第一视频图像中的参考目标的交并比，所述参考静态目标为所述至少一个疑似抛洒物目标中的任一静态目标；

若所述参考静态目标与所述第一视频图像中的参考目标的交并比大于交并比阈值，则将所述参考静态目标目标确定为异常目标。

可选地，所述第三确定模块还包括：

第六确定单元，用于若所述第一视频图像中不存在属于抛洒物类别的像素点，则确定所述第一视频图像中不存在抛洒物目标。

可选地，所述装置还包括：

获取模块，用于获取多张样本图像，每张样本图像均为存在抛洒物的图像；

第四确定模块，用于基于所述多张样本图像，确定多个样本数据，每个样本数据包括一张样本图像和所述样本图像中每个像素点的类别标签，所述类别标签用于指示背景类别或抛洒物类别；

训练模块，用于基于所述多个样本数据，对待训练抛洒物检测模型进行训练，得到所述抛洒物检测模型。

可选地，所述获取模块用于：

从样本数据库中，获取存在抛洒物的多张第一样本图像；

从网络上的监控图像中，获取存在抛洒物的多张监控图像，将所述多张监控图像作为多张第二样本图像；

分别提取所述多张第一样本图像和所述多张第二样本图像中的抛洒物目标，得到多张抛洒物目标图像；

获取多张背景图像，所述多张背景图像为不同监控场景的背景图像；

将所述多张抛洒物目标图像中的每张抛洒物目标图像分别叠加在所述多张背景图上，得到所述多张样本图像。

另一方面，提供了一种计算机设备，所述计算机设备包括处理器、通信接口、存储器和通信总线，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信，所述存储器用于存放计算机程序，所述处理器用于执行所述存储器上所存放的程序，以实现上述所述抛洒物检测方法的步骤。

另一方面，提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述所述抛洒物检测方法的步骤。

另一方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述的抛洒物检测方法的步骤。

本申请提供的技术方案至少可以带来以下有益效果：

本申请实施例中，可以将视频的视频帧作为抛洒物检测模型的输入，通过抛洒物检测模型确定视频帧中每个像素点属于多个类别的概率，基于视频帧中每个像素点属于多个类别的概率，确定视频帧中每个像素点所属的类别，若视频帧中存在属于抛洒物类别的像素点，则基于视频帧中属于抛洒物类别的像素点，确定抛洒物目标。本申请通过抛洒物检测模型来检测抛洒物，由于抛洒物检测模型不易受抖动、光照和阴影等因素的影响，检测抛洒物的时候不易造成误判，提高了检测抛洒物的准确度和有效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种实施环境的示意图；

图2是本申请实施例提供的一种抛洒物检测模型的训练方法的流程图；

图3是本申请实施例提供的一种待抛洒物检测模型训练示意图；

图4是本申请实施例提供的一种抛洒物检测方法的流程图；

图5是本申请实施例提供的一种抛洒物检测方法的示意图；

图6是本申请实施例提供的一种抛洒物检测装置的结构示意图；

图7是本申请实施例提供的一种计算机设备600的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在对本申请实施例提供的抛洒物检测方法进行详细的解释说明之前，先对本申请实施例提供的应用场景进行介绍。

本申请实施例提供的抛洒物检测方法应用于检测车辆行驶过程中被抛洒的物品的场景中，车辆在行驶过程中被抛洒在路面上的物品称为抛洒物，该抛洒物可以为货物、石头、废弃轮胎、废弃纸箱或遮挡物等物品。比如，可以对高速公路、隧道、城市道路、警示区或卡口等场景中的抛洒物进行检测。当然，本申请实施例提供的抛洒物检测方法也可以应用于其他场景，本申请实施例对此不做限定。

需要说明的是，本申请中的术语“第一”和“第二”等是为了区别不同对象，而不是用于描述特定顺序。

接下来对本申请实施例提供的实施环境进行介绍。

图1是本申请实施例提供的一种实施环境的示意图。如图1所示，该实施环境包括监控设备10和检测设备20，监控设备10和检测设备20可以通过有线网络或者无线网络进行通信。监控设备10用于对预先设置的监控区域进行监控，采集监控区域的监控视频。监控区域可以是车道的部分区域、警示区或卡口等。监控设备10可以为摄像头等图像采集设备，摄像头可以为网络摄像头、模拟摄像头、智能摄像头和微型摄像头等。比如，可以在车道上架设多个摄像头，通过这多个摄像头来对车道进行监控。检测设备20用于获取监控设备10采集的监控视频，通过按照本申请实施例提供的方法对监控视频进行检测，确定监控设备10对应的监控区域中的抛洒物。检测设备20可以为计算机设备，该计算机设备可以为终端或服务器。

需要说明的是，本申请实施例可以利用抛洒物检测模型来对监控视频的视频帧进行抛洒物检测，以确定监控区域中的抛洒物目标。其中，该抛洒物检测模型用于确定任一图像中每个像素点属于多个类别的概率，在利用该模型对监控视频的视频帧进行抛洒物检测之前，需要先根据样本图片进行模型训练来得到该抛洒物检测模型。接下来，先对该抛洒物检测模型的训练过程进行介绍。

图2是本申请实施例提供的一种抛洒物检测模型的训练方法的流程图，该方法可以应用于上述图1所示的检测设备中，如图2所示，该方法包括如下步骤：

步骤201：获取多张样本图像，每张样本图像均为存在抛洒物的图像。

其中，样本图像是为训练抛洒物检测模型所选定的存在抛洒物的图像，样本图像中含有的抛洒物可以为货物、石头、废弃轮胎、纸箱、包裹、泥土、砖头和遮挡物等物品中的至少一种，当然也可以包括其他类型的抛洒物，本申请实施例在此不再一一列举。

作为一个示例，这多张样本图像可以为在不同场景下出现抛洒物的场景图像，比如，这多种样本图像可以包括高速公路、城市道路、隧道、警示区或卡口等场景下出现抛洒物的场景图像。通过将在不同场景下出现抛洒物的场景图像作为训练抛洒物检测模型的样本图像，可以使得抛洒物检测模型能够对不同场景中的抛洒物进行准确识别。

其中，这多张样本图像可以通过现场收集得到，可以通过人工模拟得到，也可以通过对收集的图像进行合成处理得到，本申请实施例对此不做限定。

需要说明的是，基于深度学习方法对抛洒物检测模型进行训练时，对样本图像的数量和种类有一定的要求，但是目前抛洒物事件出现的概率非常低，通过现场收集或人工模拟方法已获得的样本图像可能无法满足抛洒物检测模的训练需求。目前已有的抛洒物事件对应的样本图像存在如下问题：1，样本图像的数量较少，仅有2000多张；2，样本图像中抛洒物的种类较少，目前仅以纸箱为主，其他种类的抛洒物几乎没有；3，现有样本场景不够丰富，可能会导致过拟合的问题。

本申请实施例中，为了解决目前已有的样本图像无法满足训练需求的问题，在已有的样本图像之外，还可以额外获取不同场景出现抛洒物的场景图像，然后基于已有样本图像和额外获取的图像，来确定最终的多张样本图像。

在一些实施例中，获取多张样本图像的具体实施方式可以包括如下步骤：

1)从样本数据库中，获取存在抛洒物的多张第一样本图像。

其中，该样本数据库用于存储现有的抛洒物事件对应的样本图像，比如，可以存储现有的2000多张抛洒物事件对应的样本图像。本申请实施例中，可以将样本数据库中存储的现有抛洒物事件对应的样本图像确定为多张第一样本图像。该多张第一样本图像可以通过现场收集或人工模拟等方法获得。

2)从网络上的监控图像中，获取存在抛洒物的多张监控图像，将多张监控图像作为多张第二样本图像。

其中，网络上的监控图像包括多种监控场景下出现抛洒物的场景图像，可以由多种监控场景对应的监控设备采集并上传至网络，相应地，该多张第二样本图像也包括不同监控场景下出现抛洒物的场景图像。如此，可以丰富样本图像的场景，避免模型过拟合的问题。

其中，该多张第二样本图像的数量可以预先设置，示例的，该多张第二样本图像的数量可以为500张左右。其中，该多张第二样本图像可以包括相同种类的抛洒物，也可以包括多种不同种类的抛洒物。

作为一个示例，可以基于网络爬虫技术，从网络上的监控图像中搜索不同监控场景下存在抛洒物的k张监控图像，然后将这k张监控图像作为多张第二样本图像。其中，k为正整数，比如k为500。

3)基于多张第一样本图像和多张第二样本图像，确定作为模型训练数据的多张样本图像。

作为一个示例，基于多张第一样本图像和多张第二样本图像，确定多张样本图像的操作可以包括以下两张实现方式：

第一种实现方式：将该多张第一样本图像和多张第二样本图像，确定为多张样本图像。

第二种实现方式：分别提取多张第一样本图像和多张第二样本图像中的抛洒物目标，得到多张抛洒物目标图像；获取多张背景图像，多张背景图像为不同监控场景的背景图像；将多张抛洒物目标图像中的每张抛洒物目标图像分别叠加在多张背景图上，得到多张样本图像。

作为一个示例，对于多张第一样本图像和多张第二样本图像中的每张样本图像，可以对每张样本图像进行逐像素标定，以标定样本图像中的每个像素点的类别，该类别包括背景和抛洒物，背景是指样本图像中除抛洒物之外的部分，例如，背景可以包括公司、树、行人或车辆等。然后，基于每张样本图像的像素标定结果，提取每张样本图像的抛洒物目标。比如，可以将每张样本图像中标定为抛洒物的像素点，提取为抛洒物目标。

作为一个示例，在对每张样本图像进行逐像素标定的过程中，将属于抛洒物的像素点标定为第一颜色，可以将属于背景的像素点标定为与第一颜色不同的第二颜色，以通过不同的颜色指示不同的类别。比如，第一颜色为绿色，代表抛洒物；第二颜色为黑色，代表背景。

作为另一示例，可以利用python(蟒蛇)编写脚本工具，通过编写的脚本工具，从分别提取多张第一样本图像和多张第二样本图像中的抛洒物目标，得到多张抛洒物目标图像。

其中，背景图像是指未出现抛洒物的监控场景图像。不同监控场景可以包括高速公路、城市道路、隧道、警示区或卡口等监控场景，可以从不同监控场景的监控视频中获取得的。

本申请实施例中，得到多张抛洒物目标图像和多张背景图像之后，可以将多张抛洒物目标图像中的每张抛洒物目标图像分别叠加在多张背景图上，得到多张样本图像。

作为一个示例，还可以先对多张抛洒物目标图像进行预处理，得到预处理后的多张抛洒物目标图像，以及对多张背景图像进行预处理，得到预处理后的多张背景图像，然后将预处理后的多张抛洒物目标图像中的每张抛洒物目标图像分别叠加在预处理后的多张背景图像上，得的多张样本图像。其中，对抛洒物目标图像进行预处理的操作可以包括仿射、镜像和对比度调整等操作，对背景图像进行预处理的操作可以包括亮度调整等操作。

作为一个示例，可以通过利用python编写的脚本工具，分别对多张抛洒物目标图像和多张背景图像进行预处理，然后将预处理后的多张抛洒物目标图像中的每张抛洒物目标图像分别叠加在预处理后的多张背景图像上，得到多张样本图像。

作为一个示例，假设可以获取已有的2000张抛洒物图像对应的样本图像，得的2000张第一样本图像，然后基于网络爬虫技术，获取不同监控场景下出现抛洒物的500张监控图像，得到500张第二样本图像，然后获取1200张不同监控场景下的背景图像，得到1200张背景图像，然后，通过利用python编写的脚本工具，将2000张第一样本图像和500张第二样本图像中的抛洒物目标扣取下来，得到m张抛洒物目标图像，分别对m张抛洒物目标图像和1200张背景图像进行预处理，然后将预处理后的每张抛洒物目标图像分别叠加在预处理后的1200张背景图像上，得到最终的n张样本图像用于模型训练。其中，m大于或等于2500，n大概为7.3万。

步骤202：基于多张样本图像，确定多个样本数据，每个样本数据包括一张样本图像和样本图像中每个像素点的类别标签，类别标签用于指示背景类别或抛洒物类别。

其中，样本图像中每个像素点的类别标签用于指示该像素点所属的类别，类别标签包括第一类别标签和第二类别标签，第一类别标签用于指示抛洒物类别，第二类别标签用于指示背景类别。示例的，第一类别标签为1，代表抛洒物类别，第二类别标签为0，代表背景类别。

作为一个示例，类别标签还可以为颜色标签，以用不同的颜色来指示不同的类别。比如，颜色标签包括第一颜色标签和第二颜色标签，第一颜色标签与抛洒物类别对应，用于指示抛洒物类别，第二颜色标签与背景类别对应，用于指示背景类别。示例的，第一颜色标签为绿色，第二颜色标签为黑色。

其中，样本图像中每个像素点的类别标签可以通过对样本图像中的每个像素点进行标定得到，可以由检测设备自动标定，也可以由人工标定，本申请实施例对此不做限定。例如，若采用人工标定，则对于待标定的任一张样本图像，可以将该样本图像中的抛洒物像素点标定为绿色，将样本图像中的背景像素点标定为黑色，绿色代表抛洒物，黑色代表背景。

步骤203：基于多个样本数据，对待训练抛洒物检测模型进行训练，得到该抛洒物检测模型。

其中，待抛洒物检测模型为深度学习模型，可以为CNN(Convolutional NeuralNetworks，卷积神经网络)模型、RNN(Recurrent Neural Networks，循环神经网络)模型或SegNet(Semantic Segmentation，语义分割神经网络)模型等。该抛洒物检测模型用于确定任一图像中每个像素点属于多个类别的概率，多个类别包括背景类别和抛洒物类别。

作为一个示例，如图3所示，该抛洒物检测模型为SegNet模型，该抛洒物检测模型包括CNN层、pooling(池化)层、反卷积层、upsampling(上采样)层和softmax层。其中，CNN层用于对输入图像进行特征提取，得到输入图像的第一图像特征，pooling层用于对第一图像特征进行降维操作，得到第二图像特征。通过对第一图像特征进行降维操作，可以改变对应图像的高度和宽度，使图像变小。反卷积层用于对第二图像特征进行反卷积处理，upsampling层用于对反卷积层输出数据进行还原，softmax层用于对upsampling层输出数据进行概率转换，得到输入图像中每个像素点属于多个类别中每个类别的概率。

作为一个示例，基于多个样本数据，对待训练抛洒物检测模型进行训练的操作可以包括：将多张样本图像中的每张样本图像作为待训练抛洒物检测模型的输入，通过待训练抛洒物检测模型确定每张样本图像中的每个像素点属于多个类别中每个类别的预测概率，基于每张样本图像中的每个像素点属于多个类别中每个类别的预测概率与每张样图图像中每个像素点的类别标签，确定预测误差，采用随机梯度下降法，对预测误差进行反向传播，以对待训练抛洒物检测模型的模型参数进行更新，将模型参数更新后的待训练抛洒物检测模型确定该抛洒物检测模型。

训练得到该抛洒物检测模型之后，可以将该抛洒物检测模型应用于抛洒物检测。作为一个示例，抛洒物检测模型可以作为事件检测模型的一个子模型，即抛洒物检测为事件检测的一个子功能项目，事件检测用于对交通违章事件进行检测。由于事件检测模型通常需要同时处理车辆检测和车牌检测，因此，事件检测模型的模型分辨率不能过大，相应地，作为事件检测模型的一个子模型的抛洒物检测模型的模型分辨率也不能过大。示例的，抛洒物检测模型的模型分辨率小于或等于模型分辨率阈值，例如，抛洒物检测模型的模型分辨率可以为480*270。

本申请实施例中，可以获取多个样本图像，基于多张样本图像，确定多个样本数据，基于多个样本数据，对待抛洒物检测模型进行训练，保证训练出来的抛洒物检测模型能够确定任一图像中每个像素点属于多个类别中每个类别的概率，便于后续利用训练好的抛洒物检测模型进行抛洒物检测，使得抛洒物检测结果更加准确。

需要说明的是，在对待抛洒物检测模型训练完成之后，即可利用训练好的抛洒物检测模型进行抛洒物检测。接下来，对本申请实施例提供的抛洒物检测过程进行详细介绍。

图4是本申请实施例提供的一种抛洒物检测方法的流程图，该方法可以应用于上述图1所示的检测设备中。请参考图4，该方法包括如下步骤。

步骤401：将第一视频图像作为抛洒物检测模型的输入，通过抛洒物检测模型确定第一视频图像中每个像素点属于多个类别的概率，第一视频图像为监控视频中的任一视频帧，多个类别包括背景类别和抛洒物类别，抛洒物检测模型用于确定任一图像中每个像素点属于多个类别的概率。

本申请实施例中，可以获取监控视频中的任一视频帧，将该任一视频帧作为第一视频图像，并按照本申请实施例的抛洒物检测方法对第一视频图像进行抛洒物检测。该监控视频可以为任意监控场景的监控视频，该监控场景可以为高速公路、城市道路、隧道、警示区域或卡口等监控场景。

其中，通过抛洒物检测模型，确定第一视频图像中每个像素点属于多个类别的概率的操作包括：将第一视频图像作为抛洒物检测模型的输入，通过该抛洒物检测模型确定第一视频图像中每个像素点属于多个类别的概率。比如，对于第一视频图像中的某个像素点，该像素点属于抛洒物类别的概率为0.8，属于背景类别的概率为0.2。

作为一个示例，若抛洒物检测模型为图3所示的抛洒物检测模型，包括CNN层、pooling层、反卷积层、upsampling层和softmax层，则将第一视频图像作为抛洒物检测模型的输入后，可以通过CNN层对第一视频图像进行特征提取，得到第一视频图像的第一图像特征；通过pooling层对第一图像特征进行降维操作，得到第二图像特征；通过反卷积层对第二图像特征进行反卷积处理；通过psampling层对反卷积层输出数据进行还原；通过softmax层对upsampling层输出数据进行概率转换，得到第一视频图像中每个像素点属于多个类别中每个类别的概率。

步骤402：基于第一视频图像中每个像素点属于多个类别的概率，确定第一视频图像中每个像素点所属的类别。

也即是，可以基于第一视频图像中每个像素点属于多个类别的概率，得到第一视频图像的像素级分类。为了便于说明，可以将步骤401的处理过程称为模型处理过程，步骤402的处理过程称为后处理过程。

作为一个示例，后处理过程的操作可以包括：对于第一视频图像中的参考像素点，将参考像素点属于多个类别的概率中的最大概率对应的类别，确定为参考像素点所属的类别，参考像素点为第一视频图像中的任一像素点。例如，若参考像素点属于抛洒物类别的概率为0.8，属于背景类别的概率为0.2，则可以确定参考像素点属于抛洒物类别。

由于第一视频图像为监控视频的任一视频帧，有的视频帧有可能有抛洒物，而有的视频帧可能并没有抛洒物，仅仅只有背景，因此，在定第一视频图像中每个像素点所属的类别之后，还可以先判断第一视频图像中是否存在属于抛洒物类别的像素点，若第一视频图像中不存在属于抛洒物类别的像素点，则直接确定第一视频图像中不存在抛洒物目标，继续对下一视频帧进行检测，若第一视频图像中存在属于抛洒物类别的像素点，再跳转至步骤403，执行基于第一视频图像中属于抛洒物类别的像素点，确定抛洒物目标的步骤。

作为另一示例，为了减小误差，提高检测准确度，还可以判断第一视频图像中属于抛洒物类别的像素点的数目是否大于或等于预设数目，若小于预设数目，则直接确定第一视频图像中不存在抛洒物目标，继续对下一视频帧进行检测，若大于或等于预设数目，则跳转至步骤403，执行基于第一视频图像中属于抛洒物类别的像素点，确定抛洒物目标的步骤。其中，预设数目可以预先设置，例如预设数目可以为3、5或8等。

作为一个示例，在通过步骤402确定出第一视频图像中每个像素点所属的类别之后，还可以基于第一视频图像中每个像素点所属的类别，对第一视频图像进行分割处理，得到第一视频图像的分割图。其中，该分割图包括不同颜色的像素点，不同的颜色用于指示不同的类别，也即是，可以通过不同的颜色来区分类别。例如，该分割图包括两种颜色的像素点，第一种颜色用于指示抛洒物，第二种颜色用于指示背景，且第一种颜色与第二种颜色不同。

示例的，基于第一视频图像中每个像素点所属的类别，对第一视频图像进行分割处理的操作包括：将第一视频图像中属于抛洒物类别的像素点的颜色设置为第一颜色，将第一视频图像中属于背景类别的像素点的颜色设置为第二颜色，第一颜色和第二颜色不同。其中，第一颜色和第二颜色可以预先设置，可以由检测设备默认设置，也可以由用户根据需要进行设置，本申请实施例对此不做限定。例如，第一颜色为绿色，第二颜色为黑色。

相应地，检测第一视频图像中是否存在属于抛洒物类别的像素点的操作包括：检测第一视频图像中是否存在颜色为第一颜色的像素点，若存在，则确定第一视频图像中存在属于抛洒物类别的像素点。判断第一视频图像中属于抛洒物类别的像素点的数目是否大于或等于预设数目的操作之前，还可以先确定第一视频图像中颜色为第一颜色的像素点的数目，然后，将第一视频图像中颜色为第一颜色的像素点的数目确定为第一视频图像中类别属于抛洒物类别的像素点的数目。

将第一视频图像中的抛洒物像素点置1，将第一视频图像中的背景像素点置0。其中，疑似抛洒物指的是在第一视频图像通过抛洒物检测模型所判断的结果，比如，将第一视频图像通过抛洒物检测模型之后，得到第一视频图像中哪些像素点为抛洒物类别，哪些像素点为背景类别，但是否为抛洒物还需要经过进一步的判断。将第一视频图像中的抛洒物像素点置1，将第一视频图像中的背景像素点置0是为了对第一视频图像做CCL(ConnectedComponent Labeling，连通区域标记)处理，对第一图像做CCL处理的目的是将至少一个连通区域内的目标确定为疑似抛洒物目标。

需要说明的是，在利用检测设备的当前硬件平台，按照步骤401-402对第一视频图像进行像素级分类时，耗时较长，无法满足实际检测需求。比如，若第一视频图像的图像分辨率为480*270，则经过测试发现，在利用当前硬件平台按照步骤401-402对第一视频图像进行像素级分类时，模型处理过程耗时为150ms，后处理过程耗时为100ms，也即是，单帧图像的像素级分类过程耗时为250ms，耗时较长。

本申请实施例中，为了解决耗时的问题，可以对像素级分类过程进行耗时优化。耗时优化方案可以包括以下几种：

1)调整抛洒物检测模型的网络结构。也即是，对抛洒物检测模型的网络结构进行适当裁剪，裁剪掉不必要的网络层，如此，可以将480*270分辨率的模型处理耗时从150ms降低到100ms左右。

2)通过检测设备的CPU(Central Processing Unit，中央处理器)执行模型处理，通过检测设备的DSP执行后处理。现有技术中，模型处理过程和后处理过程一般都是在CPU上执行，但是CPU处理能力较低，从而导致耗时较长。本申请实施例中，通过在CPU上执行模型处理过程，在DSP上执行后处理过程，可以减小CPU的处理负担，降低耗时。

3)将分类组件的处理帧率设置为预设处理帧率，分类组件用于进行模型处理和后处理，预设处理帧率小于或等于帧率阈值，也即是，将分类组件的处理帧率设置的较小。其中，处理帧率用于指示分类组件每秒处理的视频帧数目，示例的，预设处理帧率可以为1fps(frames per second，每秒传输帧数)。由于抛洒物事件只需要体现从无到有的过程，事件发生的速度较慢，因此，对处理帧率的要求较低，通过将分类组件的处理帧率设置的较小，可以降低分类组件耗时对其他功能组件的影响。

步骤403：若第一视频图像中存在属于抛洒物类别的像素点，则基于第一视频图像中属于抛洒物类别的像素点，确定抛洒物目标。

作为一个示例，基于第一视频图像中属于抛洒物类别的像素点，确定抛洒物目标的操作包括：基于第一视频图像中属于抛洒物类别的像素点，确定至少一个疑似抛洒物目标；从该至少一个疑似抛洒物目标，确定抛洒物目标。其中，疑似抛洒物目标是指可能是抛洒物目标的目标。

作为一个示例，基于第一视频图像中属于抛洒物类别的像素点，确定至少一个疑似抛洒物目标的操作包括：对第一视频图像中属于抛洒物类别的像素点进行连通区域标记处理，得到至少一个连通区域；将该至少一个连通区域内的目标，确定为至少一个疑似抛洒物目标。

作为一个示例，可以先基于第一视频图像中属于抛洒物类别的像素点，对第一视频图像进行解析，得到第一视频图像的解析图，然后基于解析图，对第一视频图像进行连通区域标记处理，得到至少一个连通区域。其中，解析操作包括：将第一视频图像中属于抛洒物类别的像素点的像素值置1，将第一视频图像中属于背景类别的像素点的像素值置0，得到解析图。由此可知，解析图就是一个二值图，1代表抛洒物，0代表背景。

作为一个示例，若在得到第一视频图像中每个像素点所属的类别之后，还基于每个像素点所属的类别对第一视频图像进行分割处理，得到第一视频图像的分割图，则还可以对分割图进行解析得到第一视频图像的解析图。解析操作包括：将分割图中颜色为第一颜色的像素点的像素点置1，以将属于抛洒物类别的像素点的像素值置1；将第一视频图像中颜色为第二颜色的像素点置0，以将第一视频图像中属于背景类别的像素点的像素值置0。

作为一个示例，从该至少一个疑似抛洒物目标，确定抛洒物目标的操作包括：检测该至少一个疑似抛洒物目标中是否存在静态目标；若该至少一个疑似抛洒物目标中存在静态目标，则基于该至少一个疑似抛洒物目标中的静态目标，确定抛洒物目标；若该至少一个疑似抛洒物目标中不存在静态目标，则确定该至少一个疑似抛洒物目标均不是抛洒物目标。

也即是，对该至少一个疑似抛洒物目标进行静态分析，过滤掉动态目标，仅基于静态目标，确定抛洒物目标。如此，可以避免将道路上动态移动的目标误判为抛洒物，比如，可以避免将道路上行驶的车辆或移动的行人误判为抛洒物，提高检测准确度。

本申请示例中，可以通过对该至少一个疑似抛洒物目标进行目标跟踪，来识别每个疑似抛洒物目标是否为静态目标。例如，获取监控视频中位于第一视频图像之后的n个视频帧，将n个视频帧作为n个第二视频图像，n为正整数；基于第一视频图像和n个第二视频图像，基于第一视频图像与第二视频图像的交并比对至少一个疑似抛洒物目标进行目标跟踪，得到至少一个疑似抛洒物目标的跟踪信息，然后根据该至少一个疑似抛洒物目标的跟踪信息，确定该至少一个疑似抛洒物目标中是否存在静态目标。

其中，跟踪信息可以包括目标编号和位置信息，位置信息可以为坐标信息。例如，若第一视频图像中包括3个疑似抛洒物目标，则这3个疑似抛洒物目标的目标编号可以分别为1、2和3。通过为至少一个疑似抛洒物目标设置目标编号，可以便于根据目标编号对不同疑似抛洒物目标进行区分。

作为一个示例，根据该至少一个疑似抛洒物目标的跟踪信息，确定该至少一个疑似抛洒物目标中是否存在静态目标的操作包括：对于至少一个疑似抛洒物目标中的参考疑似抛洒物目标，若基于参考疑似抛洒物目标的跟踪信息确定参考疑似抛洒物目标满足静止条件，则确定参考疑似抛洒物目标为静态目标；若基于参考疑似抛洒物目标的跟踪信息确定参考疑似抛洒物目标不满足静止条件，则确定参考疑似抛洒物目标为动态目标。

其中，静止条件可以为参考疑似抛洒物目标的位置未发生变化，或者位置变化信息小于或等于预设变化阈值。其中，预设变化阈值用于指示一个微小的位置变化，用于提高检测准确度。例如，可以先基于参考疑似抛洒物目标的跟踪信息确定参考疑似抛洒物目标的位置变化信息，若基于位置变化信息确定参考疑似抛洒物目标的位置未发生变化，则确定参考疑似抛洒物目标满足静止条件，为静态目标，否则为动态目标。或者，若参考疑似抛洒物目标的位置变化信息小于或等于预设变化阈值，则确定参考疑似抛洒物目标满足静止条件，为静态目标，否则为动态目标。

参考疑似抛洒物目标为第一视频图像通过抛洒物检测模型经过CCL处理后的至少一个连通区域内的目标，静止条件可以为疑似抛洒物目标在第一视频图像和第二视频图像中的位置变化信息，疑似抛洒物目标的位置变化信息可以为疑似抛洒物目标的坐标变化信息。若疑似抛洒物目标在第一视频图像和第二视频图像中的坐标未发生变化，则确定则确定参考疑似抛洒物目标为静态目标；若疑似抛洒物目标在第一视频图像和第二视频图像中的坐标发生变化，则确定则确定参考疑似抛洒物目标为动态目标，对动态目标进行过滤。

作为一个示例，基于该至少一个疑似抛洒物目标中的静态目标，确定抛洒物目标的操作可以包括如下两种实现方式：

第一种实现方式：将该至少一个疑似抛洒物目标中的静态目标，确定为抛洒物目标。

第二种实现方式：从至少一个疑似抛洒物目标中的静态目标中确定异常目标，异常目标包括尺寸异常目标和/或位置异常目标；将至少一个疑似抛洒物目标包括的静态目标中除异常目标之外的静态目标，确定为抛洒物目标。

也即是，可以将至少一个疑似抛洒物目标包括的静态目标中除异常目标之外的静态目标，确定为抛洒物目标，可以将静态目标中的异常目标进行过滤，提高检测准确度。

其中，尺寸异常目标可以包括尺寸过大或尺寸过小的静态目标，如此，过滤掉尺寸大于车辆或尺寸特别微小的目标，提高检测准确度。位置异常目标可以包括与车辆或行人有重叠的目标，如此，可以过滤掉静止的车辆或行人等目标，避免将静止的车辆或行人等目标误判为抛洒物目标。

作为一个示例，从至少一个疑似抛洒物目标中的静态目标中确定异常目标的操作包括：确定参考静态目标的尺寸，若参考静态目标的尺寸不满足参考尺寸条件，则将参考静态目标确定为异常目标，对异常目标进行过滤。

其中，参考尺寸条件为预设尺寸范围，示例的，该预设尺寸范围为[第一预设尺寸，第二预设尺寸]。示例的，确定参考静态目标的尺寸之后，可以判断参考静态目标的尺寸是否大于第一预设尺寸且小于第二预设尺寸，若参考静态目标的尺寸大于第一预设尺寸且小于第二预设尺寸，则确定参考静态目标的尺寸满足参考尺寸条件，否则，确定其不满足参考尺寸条件。

其中，参考静态目标的尺寸可以根据参考静态目标的像素面积确定。示例的，第一预设尺寸为一个较小的尺寸，比如，可以为预设像素面积，该预设像素面积为10像素。第二预设尺寸接近车辆尺寸。

作为另一示例，通过参考静态目标与第一视频图像中的参考目标的交并比来确定异常目标。比如，先对第一视频图像进行目标检测，以确定第一视频图像中的参考目标，然后确定参考静态目标与第一视频图像中的参考目标的交并比，若参考静态目标与第一视频图像中的参考目标的交并比大于交并比阈值，则将参考静态目标目标确定为异常目标。

其中，参考目标包括车辆目标和行人目标中的至少一种，参考静态目标为至少一个疑似抛洒物目标中的任一静态目标。参考静态目标与第一视频图像中的参考目标的交并比用于指示参考静态目标与参考目标的重叠区域的大小，且若交并比为0，表示两者无重叠区域，若交并比越大，则两者的重叠区域越大。

通过将与参考目标的交并比大于交并比阈值的静态目标确定异常目标，进而对其进行过滤，可以避免将静止的车辆或行人误判为抛洒物目标，也可以将与车辆或行人重叠区域较大的静态目标误判为抛洒物目标，进一步提高了检测的准确度。

在一些实施例中，从第一视频图像中检测到抛洒物目标之后，还可以发出报警信息，以提示用户检测到抛洒物。其中，发出报警信息的形式包括：在显示界面显示报警信息，发出报警声音或者向指定终端发出报警信息中的至少一种。其中，指定终端为与检测设备绑定的终端。

作为一个示例，如图5所示，将输入图像输入至抛洒物检测模型进行处理，根据抛洒物检测模型的输出结果确定分割图，即基于输入图像每个像素点所属的类别对输入图像进行分割处理得到输入图像的分割图；然后，对分割图进行目标解析得到解析图，其中目标解析操作包括将分割图中属于抛洒物类别的像素点的像素值置1，将属于背景类别的像素点的像素值置0；之后，对解析图进行目标检测处理，即对解析图进行CCL处理，将至少一个连通区域内的目标确定为疑似抛洒物目标；为从至少一个疑似抛洒物目标确定抛洒物目标，需要判断疑似抛洒物是否为静态目标并对动态目标进行过滤，可以通过对该至少一个疑似抛洒物目标进行目标跟踪，来获取至少一个疑似抛洒物目标的跟踪信息；然后根据然后根据该至少一个疑似抛洒物目标的跟踪信息，通过静态分析确定该至少一个疑似抛洒物目标中是否存在静态目标并且对动态目标进行过滤；为进一步提高检测抛洒物的准确度，可以对静态目标进行误报过滤，即过滤异常目标提高检测准确度。

本申请实施例中，可以通过抛洒物检测模型，确定第一视频图像中每个像素点属于多个类别的概率，基于第一视频图像中每个像素点属于多个类别的概率，确定第一视频图像中每个像素点所属的类别，若第一视频图像中存在属于抛洒物类别的像素点，则基于第一视频图像中属于抛洒物类别的像素点，确定抛洒物目标。本申请中，通过抛洒物检测模型来检测抛洒物，由于不易受抖动、光照和阴影等因素的影响，因此避免了相关技术中使用背景模型检测时容易受抖动、光照和阴影等因素的影响，导致检测准确度较低的问题，而且通过抛洒物检测模型进行检测的检测方式误判率较低，提高了检测抛洒物的准确度和有效率。另外，通过过滤掉动态目标和异常目标，可以避免将动态移动的目标、尺寸过大或过小的目标、或者静止的车辆或行人误判为抛洒物目标，提高了检测准确度。

图6是本申请实施例提供的一种抛洒物检测装置的结构示意图，该抛洒物检测装置可以由软件、硬件或者两者的结合实现成为检测设备的部分或者全部，检测设备可以为图1所示的检测设备。请参考图6，该装置包括：第一确定模块601、第二确定模块602和第三确定模块603。

第一确定模块601，用于将第一视频图像作为抛洒物检测模型的输入，通过抛洒物检测模型确定第一视频图像中每个像素点属于多个类别的概率，第一视频图像为监控视频中的任一视频帧，多个类别包括背景类别和抛洒物类别，抛洒物检测模型用于确定任一图像中每个像素点属于多个类别的概率；

第二确定模块602，用于基于第一视频图像中每个像素点属于多个类别的概率，确定第一视频图像中每个像素点所属的类别；

第三确定模块603，用于若第一视频图像中存在属于抛洒物类别的像素点，则基于第一视频图像中属于抛洒物类别的像素点，确定抛洒物目标。

可选地，参见图6，该第二确定模块602用于：

若第一视频图像中存在属于抛洒物类别的像素点，则基于第一视频图像中属于抛洒物类别的像素点，确定抛洒物目标。

可选地，参见图6，该第三确定模块603包括：

第一确定单元，用于基于第一视频图像中属于抛洒物类别的像素点，确定至少一个疑似抛洒物目标；

第二确定单元，用于若至少一个疑似抛洒物目标中存在静态目标，则基于所述至少一个疑似抛洒物目标中的静态目标，确定抛洒物目标。

可选地，该第一确定单元用于：

对第一视频图像中属于抛洒物类别的像素点进行连通区域标记处理，得到至少一个连通区域；

将至少一个连通区域内的目标，确定为至少一个疑似抛洒物目标。

可选地，该第三确定模块还包括：

获取单元，用于获取监控视频中位于第一视频图像之后的n个视频帧，将n个视频帧作为n个第二视频图像，n为正整数；

第三确定单元，用于基于第一视频图像和所述n个第二视频图像，对至少一个疑似抛洒物目标进行目标跟踪，得到至少一个疑似抛洒物目标的跟踪信息；

第四确定单元，用于对于至少一个疑似抛洒物目标中的参考疑似抛洒物目标，若基于参考疑似抛洒物目标的跟踪信息确定参考疑似抛洒物目标满足静止条件，则确定参考疑似抛洒物目标为静态目标；

第五确定单元，用于若基于参考疑似抛洒物目标的跟踪信息确定参考疑似抛洒物目标不满足静止条件，则确定参考疑似抛洒物目标为动态目标。

可选地，该第二确定单元包括：

第一确定子单元，用于从至少一个疑似抛洒物目标中的静态目标中确定异常目标，异常目标包括尺寸异常目标和/或位置异常目标；

第二确定子单元，用于将至少一个疑似抛洒物目标包括的静态目标中除异常目标之外的静态目标，确定为抛洒物目标。

可选地，该第一确定子单元用于：

确定参考静态目标的尺寸，参考静态目标为所述至少一个疑似抛洒物目标中的任一静态目标；

若参考静态目标的尺寸不满足参考尺寸条件，则将参考静态目标确定为异常目标。

可选地，该第二确定单元还包括：

对第一视频图像进行目标检测，以确定第一视频图像中的参考目标，参考目标包括车辆目标和行人目标中的至少一种；

该第一子单元用于：

确定参考静态目标与第一视频图像中的参考目标的交并比，参考静态目标为至少一个疑似抛洒物目标中的任一静态目标；

若参考静态目标与所述第一视频图像中的参考目标的交并比大于交并比阈值，则将参考静态目标目标确定为异常目标。

可选地，该第三确定模块还包括：

第六确定单元，用于若第一视频图像中不存在属于抛洒物类别的像素点，则确定第一视频图像中不存在抛洒物目标。

可选地，该装置还包括：

获取模块，用于获取多张样本图像，每张样本图像均为存在抛洒物的图像；

第四确定模块，用于基于多张样本图像，确定多个样本数据，每个样本数据包括一张样本图像和样本图像中每个像素点的类别标签，类别标签用于指示背景类别或抛洒物类别；

训练模块，用于基于多个样本数据，对待训练抛洒物检测模型进行训练，得到该抛洒物检测模型。

可选地，该获取模块用于：

从样本数据库中，获取存在抛洒物的多张第一样本图像；

从网络上的监控图像中，获取存在抛洒物的多张监控图像，将多张监控图像作为多张第二样本图像；

分别提取多张第一样本图像和所述多张第二样本图像中的抛洒物目标，得到多张抛洒物目标图像；

获取多张背景图像，多张背景图像为不同监控场景的背景图像；

将多张抛洒物目标图像中的每张抛洒物目标图像分别叠加在多张背景图上，得到多张样本图像。

在本申请实施例中，通过抛洒物检测模型，确定第一视频图像中每个像素点属于多个类别的概率，基于所述第一视频图像中每个像素点属于所述多个类别的概率，确定所述第一视频图像中每个像素点所属的类别，若所述第一视频图像中存在属于抛洒物类别的像素点，则基于所述第一视频图像中属于抛洒物类别的像素点，确定抛洒物目标。本申请通过抛洒物检测模型来检测抛洒物，由于抛洒物检测模型不易受受抖动、光照和阴影等因素的影响，检测抛洒物的时候不易造成误判，提高了检测抛洒物的准确度和有效率。

需要说明的是：上述实施例提供的抛洒物检测装置在检测抛洒物时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供抛洒物检测装置与抛洒物检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图7是本申请实施例提供的一种计算机设备700的结构示意图，该计算机设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)701和一个或一个以上的存储器702，其中，所述存储器702中存储有至少一条指令，所述至少一条指令由所述处理器701加载并执行以实现上述各个方法实施例提供的抛洒物检测方法。当然，该计算机设备700还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备700还可以包括其他用于实现设备功能的部件，在此不做赘述。

在一些实施例中，还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述实施例中的抛洒物检测方法。例如，所述计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。

值得注意的是，本申请提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。

应当理解的是，实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。所述计算机指令可以存储在上述计算机可读存储介质中。

也即是，在一些实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述的抛洒物检测方法。

以上所述为本申请提供的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种抛洒物检测方法，其特征在于，所述方法包括：

将第一视频图像作为抛洒物检测模型的输入，通过所述抛洒物检测模型确定所述第一视频图像中每个像素点属于多个类别的概率，所述第一视频图像为监控视频中的任一视频帧，所述多个类别包括背景类别和抛洒物类别，所述抛洒物检测模型用于确定任一图像中每个像素点属于所述多个类别的概率；

基于所述第一视频图像中每个像素点属于所述多个类别的概率，确定所述第一视频图像中每个像素点所属的类别；

若所述第一视频图像中存在属于抛洒物类别的像素点，则基于所述第一视频图像中属于抛洒物类别的像素点，确定抛洒物目标。

2.如权利要求1所述的方法，其特征在于，所述基于所述第一视频图像中每个像素点属于所述多个类别的概率，确定所述第一视频图像中每个像素点所属的类别，包括：

对于所述第一视频图像中的参考像素点，将所述参考像素点属于多个类别的概率中的最大概率对应的类别，确定为所述参考像素点所属的类别，所述参考像素点为所述第一视频图像中的任一像素点。

3.如权利要求1所述的方法，其特征在于，所述基于所述第一视频图像中属于抛洒物类别的像素点，确定抛洒物目标，包括：

基于所述第一视频图像中属于抛洒物类别的像素点，确定至少一个疑似抛洒物目标；

若所述至少一个疑似抛洒物目标中存在静态目标，则基于所述至少一个疑似抛洒物目标中的静态目标，确定抛洒物目标。

4.如权利要求3所述的方法，其特征在于，所述基于所述第一视频图像中属于抛洒物类别的像素点，确定至少一个疑似抛洒物目标，包括：

对所述第一视频图像中属于抛洒物类别的像素点进行连通区域标记处理，得到至少一个连通区域；

将所述至少一个连通区域内的目标，确定为所述至少一个疑似抛洒物目标。

5.如权利要求3所述的方法，其特征在于，所述基于所述至少一个疑似抛洒物目标中的静态目标，确定抛洒物目标之前，还包括：

获取所述监控视频中位于所述第一视频图像之后的n个视频帧，将所述n个视频帧作为n个第二视频图像，所述n为正整数；

基于所述第一视频图像和所述n个第二视频图像，对所述至少一个疑似抛洒物目标进行目标跟踪，得到所述至少一个疑似抛洒物目标的跟踪信息；

对于所述至少一个疑似抛洒物目标中的参考疑似抛洒物目标，若基于所述参考疑似抛洒物目标的跟踪信息确定所述参考疑似抛洒物目标满足静止条件，则确定所述参考疑似抛洒物目标为静态目标；

若基于所述参考疑似抛洒物目标的跟踪信息确定所述参考疑似抛洒物目标不满足静止条件，则确定所述参考疑似抛洒物目标为动态目标。

6.如权利要求3所述的方法，其特征在于，所述基于所述至少一个疑似抛洒物目标中的静态目标，确定抛洒物目标，包括：

从所述至少一个疑似抛洒物目标中的静态目标中确定异常目标，所述异常目标包括尺寸异常目标和/或位置异常目标；

将所述至少一个疑似抛洒物目标包括的静态目标中除所述异常目标之外的静态目标，确定为抛洒物目标。

7.如权利要求6所述的方法，其特征在于，所述从所述至少一个疑似抛洒物目标中的静态目标中确定异常目标之前，还包括：

对所述第一视频图像进行目标检测，以确定所述第一视频图像中的参考目标，所述参考目标包括车辆目标和行人目标中的至少一种；

所述从所述至少一个疑似抛洒物目标中的静态目标中确定异常目标，包括：

确定参考静态目标与所述第一视频图像中的参考目标的交并比，所述参考静态目标为所述至少一个疑似抛洒物目标中的任一静态目标；

若所述参考静态目标与所述第一视频图像中的参考目标的交并比大于交并比阈值，则将所述参考静态目标目标确定为异常目标。

8.如权利要求1-7任一所述的方法，其特征在于，所述通过抛洒物检测模型，确定第一视频图像中每个像素点属于多个类别的概率之前，还包括：

获取多张样本图像，每张样本图像均为存在抛洒物的图像；

基于所述多张样本图像，确定多个样本数据，每个样本数据包括一张样本图像和所述样本图像中每个像素点的类别标签，所述类别标签用于指示背景类别或抛洒物类别；

基于所述多个样本数据，对待训练抛洒物检测模型进行训练，得到所述抛洒物检测模型。

9.如权利要求8所述的方法，其特征在于，所述获取多张样本图像，包括：

从样本数据库中，获取存在抛洒物的多张第一样本图像；

从网络上的监控图像中，获取存在抛洒物的多张监控图像，将所述多张监控图像作为多张第二样本图像；

分别提取所述多张第一样本图像和所述多张第二样本图像中的抛洒物目标，得到多张抛洒物目标图像；

获取多张背景图像，所述多张背景图像为不同监控场景的背景图像；

将所述多张抛洒物目标图像中的每张抛洒物目标图像分别叠加在所述多张背景图上，得到所述多张样本图像。

10.一种抛洒物检测装置，其特征在于，所述装置包括：

第一确定模块，用于将第一视频图像作为抛洒物检测模型的输入，通过所述抛洒物检测模型确定所述第一视频图像中每个像素点属于多个类别的概率，所述第一视频图像为监控视频中的任一视频帧，所述多个类别包括背景类别和抛洒物类别，所述抛洒物检测模型用于确定任一图像中每个像素点属于所述多个类别的概率；

第二确定模块，用于基于所述第一视频图像中每个像素点属于所述多个类别的概率，确定所述第一视频图像中每个像素点所属的类别；

第三确定模块，用于若所述第一视频图像中存在属于抛洒物类别的像素点，则基于所述第一视频图像中属于抛洒物类别的像素点，确定抛洒物目标。

11.一种计算机设备，其特征在于，所述计算机设备包括处理器、通信接口、存储器和通信总线，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信，所述存储器用于存放计算机程序，所述处理器用于执行所述存储器上所存放的程序，以实现权利要求1-9任一所述方法的步骤。

12.一种计算机可读存储介质，其特征在于，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9任一所述方法的步骤。

Images