CN114119653A - 抛洒物检测方法、装置、电子装置和存储介质 - Google Patents

Abstract

本申请涉及一种抛洒物检测方法、装置、电子装置和存储介质，其中，该抛洒物检测方法包括：检测待检测图像中的运动目标，得到所述运动目标的第一位置信息，并基于所述第一位置信息建立第一掩码图；检测所述待检测图像中的疑似抛洒物，得到所述疑似抛洒物的第二位置信息；基于所述第一掩码图以及所述第二位置信息确定所述疑似抛洒物是否为目标抛洒物。通过本申请，解决了传统的抛洒物检测方法容易产生误检的问题，实现了减小误检概率，提高检测准确性的技术效果。

Description

抛洒物检测方法、装置、电子装置和存储介质

技术领域

本申请涉及图像检测技术领域，特别是涉及一种抛洒物检测方法、装置、电子装置和存储介质。

背景技术

当今在城市不断发展建设的过程中，存在大量渣土车、混凝土搅拌车向建筑工地运输建筑砂石、水泥材料，或从建筑工地向外运输泥土、建筑垃圾等现象。由于超载、颠簸等原因，渣土车运输过程中经常出现砂石抛洒滴漏现象。这严重影响了城市道路的整洁，增加了环卫工人的工作负担，并且道路抛洒物对后续车辆行驶存在较大的安全隐患。

传统的抛洒物检测方法，仅是简单通过图像检测算法判断图像中是否存在抛洒物，容易产生误检，准确率低。

针对相关技术中存在传统的抛洒物检测方法容易产生误检，准确率低的技术问题，目前还没有提出有效的解决方案。

发明内容

在本实施例中提供了一种抛洒物检测方法、装置、电子装置和存储介质，以解决相关技术中传统的抛洒物检测方法容易产生误检，准确率低的问题。

第一个方面，在本实施例中提供了一种抛洒物检测方法，包括：

检测待检测图像中的运动目标，得到所述运动目标的第一位置信息，并基于所述第一位置信息建立第一掩码图；

检测所述待检测图像中的疑似抛洒物，得到所述疑似抛洒物的第二位置信息；

基于所述第一掩码图以及所述第二位置信息确定所述疑似抛洒物是否为目标抛洒物。

在其中的一个实施例中，所述第一掩码图上标识有基于所述第一位置信息得到的运动目标检测框，所述基于所述第一掩码图以及所述第二位置信息确定所述疑似抛洒物是否为目标抛洒物包括：基于所述第二位置信息确定所述疑似抛洒物是否位于所述运动目标检测框内；若所述疑似抛洒物位于所述运动目标检测框外，则确定为目标抛洒物。

在其中的一个实施例中，所述第一掩码图上标识有基于所述第一位置信息得到的运动目标检测框，所述基于所述第一掩码图以及所述第二位置信息确定所述疑似抛洒物是否为目标抛洒物还包括：基于所述运动目标的类型确定第一运动目标，所述第一运动目标包括渣土车；基于目标跟踪算法确定所述第一运动目标在多帧所述待检测图像中的运动轨迹；基于所述第二位置信息确定所述疑似抛洒物是否位于所述运动目标检测框内；基于所述第二位置信息确定所述疑似抛洒物是否位于所述运动轨迹的范围内；若所述疑似抛洒物位于所述运动目标检测框外且位于所述运动轨迹的范围内，则确定为目标抛洒物，并将所述目标抛洒物与所述第一运动目标进行关联。

在其中的一个实施例中，所述第一掩码图上标识有基于所述第一位置信息得到的运动目标检测框，所述基于所述第一掩码图以及所述第二位置信息确定所述疑似抛洒物是否为目标抛洒物还包括：获取参考图像，所述参考图像为所述待检测图像的历史图像；基于所述第二位置信息确定所述疑似抛洒物是否位于所述运动目标检测框内；确定所述待检测图像以及所述参考图像的第一相似度；若所述疑似抛洒物位于所述运动目标检测框外，且所述第一相似度小于第一预设阈值，则确定所述疑似抛洒物为目标抛洒物。

在其中的一个实施例中，所述获取参考图像包括：基于预设帧数的所述第一掩码图以及第二位置信息，确定背景区域图像；基于所述背景区域图像确定参考图像。

在其中的一个实施例中，所述第一掩码图上标识有基于所述第一位置信息得到的运动目标检测框，所述基于所述第一掩码图以及所述第二位置信息确定所述疑似抛洒物是否为目标抛洒物还包括：获取历史抛洒物的历史位置信息；基于所述第二位置信息确定所述疑似抛洒物是否位于所述运动目标检测框内；确定所述第二位置信息对应的图像区域与所述历史位置信息对应的图像区域的交并比；若所述疑似抛洒物位于所述运动目标检测框外，且所述交并比小于第二预设阈值，则确定所述疑似抛洒物为目标抛洒物。

在其中的一个实施例中，所述第一掩码图上标识有基于所述第一位置信息得到的运动目标检测框，所述基于所述第一掩码图以及所述第二位置信息确定所述疑似抛洒物是否为目标抛洒物之后还包括：获取预设帧数的待检测图像的目标抛洒物检测结果；基于所述目标抛洒物检测结果确定预设帧数中所述目标抛洒物存在的第一帧数；若所述第一帧数与所述预设帧数的比例大于第二预设阈值，则报警。

第二个方面，在本实施例中提供了一种抛洒物检测装置，包括：

第一检测模块，用于检测待检测图像中的运动目标，得到所述运动目标的第一位置信息，并基于所述第一位置信息建立第一掩码图；

第二检测模块，用于检测所述待检测图像中的疑似抛洒物，得到所述疑似抛洒物的第二位置信息；

目标确定模块，用于基于所述第一掩码图以及所述第二位置信息确定所述疑似抛洒物是否为目标抛洒物。

第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的抛洒物检测方法。

第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的抛洒物检测方法。

与相关技术相比，在本实施例中提供的抛洒物检测方法、装置、电子装置和存储介质，通过检测待检测图像中的运动目标，得到所述运动目标的第一位置信息，并基于所述第一位置信息建立第一掩码图；检测所述待检测图像中的疑似抛洒物，得到所述疑似抛洒物的第二位置信息；基于所述第一掩码图以及所述第二位置信息确定所述疑似抛洒物是否为目标抛洒物的方式，综合考虑运动目标与疑似抛洒物的位置信息，再判断疑似抛洒物是否为目标抛洒物，减小误检概率，提高检测准确性。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的抛洒物检测方法的终端的硬件结构框图；

图2是根据本申请实施例的抛洒物检测方法的流程图；

图3是根据本申请另一实施例的抛洒物检测方法的示意图；

图4是根据本申请实施例的抛洒物检测装置的结构框图。

具体实施方式

为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。

除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。

在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是根据本申请实施例的抛洒物检测方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的抛洒物检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(NetworkInterface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

随着计算机视觉技术的发展，抛洒物的检测技术也在不断进步。现有的一种抛洒物检测方法是通过去除运动物体后的图像作为历史背景图像，基于历史背景图像确定当前背景图像中的变化区域，然后将变化区域的图像输入二分类模型判断该图像中是否存在抛洒物。所谓二分类模型，就是待检测图像输入抛洒物检测模型后，只能识别出该图像中包含抛洒物或者不包含抛洒物的识别模型。这种方法的缺点在于，道路雨雪、光影、水渍、落叶等目标的变化也会频繁生成变化区域，这不仅会导致计算量增大，而且这些目标的形态与抛洒物类似，直接输入到抛洒物检测的二分类模型中会产生大量误检。另一种抛洒物检测方法是对图像中每一个像素点建立高斯混合模型，利用高斯混合模型实现运动目标与背景的分离，然后使用二分类模型对运动目标图像进行抛洒物检测。相较于前面提出的通过比对确定变化区域的方法，这种方法通过高斯混合模型能够直接从图像中分离出运动目标，但实际道路场景复杂多样，在这种场景下直接使用抛洒物检测的二分类模型仍然会产生误检的情况。同时，由于抛洒物滴漏后大多成为静止目标，这种方法会将静止目标处理为背景，造成抛洒物的漏判。因此，如何提高抛洒物的检测准确率，依然是亟待解决的重要问题。

在本实施例中提供了一种抛洒物检测方法，图2是根据本申请实施例的抛洒物检测方法的流程图，如图2所示，该流程包括如下步骤：

步骤S201，检测待检测图像中的运动目标，得到所述运动目标的第一位置信息，并基于所述第一位置信息建立第一掩码图。

具体的，本实施例的待检测图像通过安置在交通道路卡口处的摄像机以及安装在电子警察的摄像机获取。运动目标是指交通道路场景下的常见运动目标物体，如行人、机动车、非机动车等。通过对待检测图像中运动目标的检测，获取图像中运动目标的位置信息，将其作为第一位置信息。运动目标的类型位置信息可通过目标识检测算法或者预先训练好的深度学习模型得到。掩码图即掩码位图，是一个单色位图。在本实施例中，第一掩码图是一张与输入图片同样大小的二值图片，构建第一掩码图时，图上所有目标对应区域的值填充为1，其余位置的值填充为0。

步骤S202，检测所述待检测图像中的疑似抛洒物，得到所述疑似抛洒物的第二位置信息。

具体的，疑似抛洒物的类型和第二位置信息可以通过预先训练好的深度学习模型确定。抛洒物是指车辆运输过程中抛洒滴漏到道路上的物品，例如泥土、砂石、污水污渍、建筑材料、建筑垃圾等。疑似抛洒物是指经过初步判断认定可能是抛洒物的物体。这是由于在实际场景下，存在深度学习模型将车辆自身的脏污误检为抛洒物的情况，因此本实施例中仅将初步识别结果作为疑似抛洒物，以供进一步的检测。

步骤S203，基于所述第一掩码图以及所述第二位置信息确定所述疑似抛洒物是否为目标抛洒物。

具体的，根据第一掩码图中运动目标和疑似抛洒物的位置关系，进一步确定疑似抛洒物是否为目标抛洒物。例如：根据第一掩码图中运动目标的中心到疑似抛洒物的中心的距离是否超过预设距离进行判断。又例如：根据疑似抛洒物的中心与运动目标检测框的位置关系进行判断。在其中的一个实施例中，还可以是运动目标检测框与疑似抛洒物检测框的交并比进行判断。

通过上述步骤，本申请通过获取运动目标与疑似抛洒物的位置信息，根据运动目标与疑似抛洒物的位置关系判断待检测图像中是否存在抛洒物，在传统的使用二分类模型直接进行物品识别的基础上，依据实际场景中抛洒物从车辆滴漏的特点，将图中的目标分为运动目标和疑似抛洒物两种，再根据这两种目标的位置关系对疑似抛洒物作出进一步的筛选和识别，滤除将车辆自身脏污误检为抛洒物的情况，最终确定目标抛洒物。解决了传统检测方案中容易产生误检，准确率低的技术问题，提高了检测准确率。

图3是根据本申请另一实施例的抛洒物检测方法的示意图，如图3所示，在开启摄像机的渣土车抛洒滴漏检测功能后，获取监控视频中的图像，经过滤波去噪等图像预处理过程后，将图像分别输入到目标检测的第一深度学习模型和第二深度学习模型中。图像预处理过程可以提高图像的清晰度和对比度，进而提高目标识别的准确度。

第一深度学习模型用于检测交通道路场景下的行人、机动车、非机动车等常见运动目标物体。针对机动车目标，第一深度学习模型会进一步区分机动车类型，如小轿车、面包车、公交车、渣土车、混凝土搅拌车、工程车等。第一深度学习模型的输出结果包括运动目标的矩形框坐标和目标类别的置信度，第一深度学习模型基于第一样本图像和第一样本图像的标注标签训练得到。第一样本图像为：交通道路场景图像。标注标签为：行人、多种机动车类型和非机动车。基于第一深度学习模型，可以快速高精度识别道路场景下常见的运动目标物体。并且第一深度学习模型能区分机动车的种类，有利于后续抛洒物关联不同类型的车辆。

第二深度学习模型用于检测道路场景下的抛洒物、以及形态外观与抛洒物相似的负样本类别。第二深度学习模型的输出结果包括疑似抛洒物的目标检测框坐标和目标类别置信度，第二深度学习模型基于第二样本图像和第二样本图像的标注标签训练得到。第二样本图像为：交通道路场景图像。标注标签为：多种抛洒物类型和多种负样本类型。抛洒物类型包括：泥土、砂石、污水污渍、建筑材料、建筑垃圾等。负样本类型包括：阳光、灯光、积水、水渍、雨雪、落叶、车道线、破损路面、汽车尾气、烟雾、普通垃圾等。本实施例的第二深度学习模型，使用道路抛洒物和常见的多种负样本类别共同进行训练，相比于只采用抛洒物进行训练的识别模型，本实施例的第二深度学习模型可以大幅度提高识别抛洒物的准确率与召回率。

在本实施例中，进行目标检测的第一深度学习模型和第二深度学习模型的网络结构不作具体限定。可结合项目需求与硬件条件灵活配置，选择合适的网络结构，如FasterRCNN系列、YOLO系列、SSD系列、CenterNet系列、DETR系列等。

现有的抛洒物识别方法采用的是二分类模型训练单一抛洒物模型。然而在真实的交通道路场景下，由于时间、天气、光照、周围环境等多种复杂因素干扰，多种负样本类别与抛洒物类别在形态外观上十分相似，单类别模型难以分辨，存在大量的误检情况。因此通过抛洒物类别和多种负样本类别进行多分类模型训练，通过神经网络强大的学习能力，让模型自适应学习并区分不同类别。相比于只采用抛洒物进行训练的单类模型，抛洒物识别的准确率和召回率均有大幅度提高，实现了准确识别抛洒物的技术效果。

在其中的一个实施例中，针对深度学习模型预先配置置信度阈值，当第一深度学习模型的检测目标的置信度超过第一置信度阈值时，根据所有超过第一置信度阈值的运动目标的矩形坐标框构建第一背景掩码图，即第一掩码图。第一掩码图是一张与输入图片同样大小的二值图片，构建第一掩码图时，图上所有运动目标坐标框范围内的值填充为1，其余位置的值填充为0。第一掩码图表示当前输入图像帧中，所有运动目标的位置与范围。通过设置第一置信度阈值，实现了对检测目标的初次过滤，基于可信度较高的运动目标的矩形坐标框构建第一掩码图，有利于降低计算量，提高抛洒物识别效率。进一步的，通过对检测目标的初次过滤，去除了在行人、机动车、非机动车等目标自身检测到的误检测抛洒物，避免对可信度较低的检测目标进行抛洒物识别，可以在源头上降低误检的概率。

在其中的一个实施例中，所述第一掩码图上标识有基于所述第一位置信息得到的运动目标检测框，所述基于所述第一掩码图以及所述第二位置信息确定所述疑似抛洒物是否为目标抛洒物包括：基于所述第二位置信息确定所述疑似抛洒物是否位于所述运动目标检测框内；若所述疑似抛洒物位于所述运动目标检测框外，则确定为目标抛洒物。

具体的，当第二深度学习模型的检测目标的置信度超过相应的第二置信度阈值时，对所有预测为抛洒物类型的目标，利用第一掩码图，判断其是否位于运动目标范围内。计算方法为：根据疑似抛洒物的检测框坐标，计算疑似抛洒物的检测框的中心点坐标，将中心点坐标对应到第一掩码图上，若第一掩码图上的值为1，则表明该疑似抛洒物位于运动目标范围内，是运动目标自身的脏污，不属于抛洒物，应当过滤忽略这部分疑似抛洒物检测目标。若第一掩码图上的值为0，则表明该疑似抛洒物位于输入图像的背景，可以确定为目标抛洒物，并对其进行后续分析。通过预先建立的第一掩码图，将复杂的位置关系计算过程转化为疑似抛洒物中心点和运动目标检测框中心点的码值比对过程。极大降低了计算量，提高了抛洒物识别效率。

在其中的一个实施例中，所述第一掩码图上标识有基于所述第一位置信息得到的运动目标检测框，所述基于所述第一掩码图以及所述第二位置信息确定所述疑似抛洒物是否为目标抛洒物还包括：基于所述运动目标的类型确定第一运动目标，所述第一运动目标包括渣土车；基于目标跟踪算法确定所述第一运动目标在多帧所述待检测图像中的运动轨迹；基于所述第二位置信息确定所述疑似抛洒物是否位于所述运动目标检测框内；基于所述第二位置信息确定所述疑似抛洒物是否位于所述运动轨迹的范围内；若所述疑似抛洒物位于所述运动目标检测框外且位于所述运动轨迹的范围内，则确定为目标抛洒物，并将所述目标抛洒物与所述第一运动目标进行关联。

具体的，在本实施中以渣土车作为第一运动目标进行抛洒物识别。在实际检测场景中，第一运动目标还可以是混凝土搅拌车等其他可能产生抛洒物的车辆类型。对所有超过第一置信度阈值的渣土车使用目标跟踪算法进行跟踪，保存记录所有渣土车目标的轨迹点信息。该轨迹点信息用于表征渣土车在多帧待检测图像中的运动轨迹。轨迹点信息为：渣土车在每个输入图像帧上的运动目标检测框位置坐标。

利用渣土车在多帧图像的运动目标检测框位置坐标，构建联通区域，生成该渣土车在监控摄像机视角下的运动轨迹掩码图。运动轨迹掩码图与第一掩码图的构建过程类似，将渣土车多帧的运动目标检测框对应在运动轨迹掩码图上的位置填充为1，其余位置填充为0。

然后根据疑似抛洒物检测框坐标，计算疑似抛洒物检测框的中心点坐标，将中心点坐标对应到渣土车的运动轨迹掩码图上。

若运动轨迹掩码图上的值为1，则表明该疑似抛洒物位于渣土车的运动轨迹范围内，可以确定为目标抛洒物。将该疑似抛洒物与渣土车进行关联，这样即可找到疑似抛洒物对应发生抛洒的渣土车。

若运动轨迹掩码图上的值为0，则表明该疑似抛洒物不在当前渣土车的运动轨迹范围内。若遍历完所有的渣土车，疑似抛洒物均不在其运动轨迹范围内，则表明该疑似抛洒物为误检，记录其误检信息。

需要强调的是，在本申请中实施例中，对于进行目标跟踪的算法本申请不作具体限定，可结合项目需求与硬件条件灵活设置，选择合适的方法，如传统方法的meanshift算法、基于Kalman滤波的目标跟踪、基于粒子滤波的目标跟踪、基于轮廓的跟踪、质心跟踪算法、基于运动目标建模的目标跟踪，或者基于深度学习的FlowTrack等。

通过上述步骤，本实施例通过计算渣土车目标的轨迹点信息以及构建运动轨迹掩码图，完成了对疑似抛洒物是否位于渣土车的运动轨迹范围内的判断。实现了将抛洒物与渣土车进行关联，对抛洒物产生车辆进行定位和追踪的技术效果。基于该关联结果，有关部门可以摆脱只能被动清理道路的窘境，主动寻找发生抛洒的肇事车辆并对其进行教育处罚，从根源上解决道路抛洒问题。

在其中的一个实施例中，所述第一掩码图上标识有基于所述第一位置信息得到的运动目标检测框，所述基于所述第一掩码图以及所述第二位置信息确定所述疑似抛洒物是否为目标抛洒物还包括：获取参考图像，所述参考图像为所述待检测图像的历史图像；基于所述第二位置信息确定所述疑似抛洒物是否位于所述运动目标检测框内；确定所述待检测图像以及所述参考图像的第一相似度；若所述疑似抛洒物位于所述运动目标检测框外，且所述第一相似度小于第一预设阈值，则确定所述疑似抛洒物为目标抛洒物。

具体的，将疑似抛洒物对应区域图像和该区域的待检测图像的历史图像输入到第三深度学习模型中，计算两者的相似度。第三深度学习模型为孪生网络，其作用是同时接收两张输入图像，使两张图像分别进入两个不同的网络分支中提取特征，根据两个子网络提取到特征向量，进行相似度计算，输出两张图片的第一相似度。

预先配置第一相似度阈值，即第一预设阈值，其具体数值可根据具体情况进行调整，例如设置为0.7。本实施例中对此不作具体限定。当两张图片的第一相似度小于等于第一预设阈值时，则将疑似抛洒物确定为目标抛洒物，认为监控摄像机当前拍摄的图片帧中存在新增抛洒物，保存记录该抛洒物的第一预警信息。第一预警信息包含该抛洒物的第一次检出时间、检出矩形框位置坐标、检出置信度、第一相似度和累计检出帧数。

若两张图片的第一相似度高于第一预设阈值，则认为该疑似抛洒物是路面已有抛洒物，或者是误检抛洒物，记录其误检信息。

通过对上述步骤，本申请在目标抛洒物的判定过程中引入历史数据作为支撑，通过第三深度学习模型，即孪生网络模型，将历史图像与当前疑似抛洒物对应区域图像进行比对，判断当前检测到的疑似抛洒物是否为新增抛洒物，只对新增抛洒物进行立案处理。并且，本申请可以对第二深度学习模型可能存在的误检情况进行修正，即对第二深度学习模型将普通路面识别为目标抛洒物的情况进行进一步的识别和判断。能够准确判断出检出的抛洒物是否为到了新增抛洒物，避免抛洒物的误报警。

在其中的一个实施例中，所述获取参考图像包括：基于预设帧数的所述第一掩码图以及第二位置信息，确定背景区域图像；基于所述背景区域图像确定参考图像。

具体的，在第一掩码图的基础上，将所有抛洒物中记录为非误检的抛洒物对应矩形坐标框区域填充为1，由此得到第二背景掩码图。第二背景掩码图上值为1的点表示该位置存在待分析目标，不属于背景图像。根据第二背景掩码图上所有位置为0的点，从输入图像帧上拷贝像素值，并记录更新该点的图像帧号，由此生成第二背景图，即背景区域图像。在渣土车运动轨迹范围内的抛洒物，根据其抛洒物检测框，在于背景区域图像上进行抠图，得到图像中抛洒物的历史图像，即参考图像。获取当前抛洒物对应区域图像与参考图像的相似度，若两张图片的第一相似度高于第一预设阈值，则认为该抛洒物是路面已有抛洒物，或者是误检抛洒物，记录其误检信息，在当前帧分析完后将误检信息更新到背景区域图像中。

在其中的一个实施例中，背景区域图像上未拷贝到像素值的点，图像帧号填充为-1，表示该区域的背景尚未得到建立。背景区域图像在抛洒物检测功能中一直存在，并随着图像帧的输入，不断更新。每个点可设置为间隔一段时间后再进行更新，间隔时间可以是10分钟，具体数值可根据实际应用情况进行调整。通过设置更新间隔时间，可以避免频繁更新背景区域图像耗费大量时间。

需要注意的是，为保证背景区域图像不会因运动目标和抛洒物目标的频繁遮挡导致背景未建立。在抛洒物检测功能开启的前N帧，例如前30帧不进行抛洒物报警，只用于构建背景区域图像，此时，检测到的所有抛洒物均忽略，认为是已有抛洒物，不触发报警。有利于提高背景建立的稳定性，并避免抛洒物检测功能启动时产生误报警的情况。

若一个抛洒物最终触发了抛洒物报警，则需要将该抛洒物对应图像范围同步更新到背景区域图像中。表明该区域已经触发了抛洒物报警，避免后续对该抛洒物重复报警。

在其中的一个实施例中，所述第一掩码图上标识有基于所述第一位置信息得到的运动目标检测框，所述基于所述第一掩码图以及所述第二位置信息确定所述疑似抛洒物是否为目标抛洒物还包括：获取历史抛洒物的历史位置信息；基于所述第二位置信息确定所述疑似抛洒物是否位于所述运动目标检测框内；确定所述第二位置信息对应的图像区域与所述历史位置信息对应的图像区域的交并比；若所述疑似抛洒物位于所述运动目标检测框外，且所述交并比小于第二预设阈值，则确定所述疑似抛洒物为目标抛洒物。

具体的，渣土车抛洒滴漏检测功能继续对监控摄像机的后续图像帧进行检测。若后续图像帧中继续检出新增抛洒物，并且与已保存的第一预警信息中抛洒物的矩形框重叠率超过阈值，例如阈值设置为0.6，则认为是同一个抛洒物，对该抛洒物的第一预警信息的检出帧数进行累计，同时更新矩形框坐标、检出置信度、和第一相似度。新建出抛洒物与已保存的抛洒物的矩形框重叠率按照以下交并比公式进行计算：

式中，Area₁和Area₂分别表示两个矩形框的面积。分子表示两矩形框面积的交集，即两矩形框的重叠面积。分母为两矩形框面积的并集，即Area₁+Area₂-Area₁∩Area₂。

在其中的一个实施例中，所述第一掩码图上标识有基于所述第一位置信息得到的运动目标检测框，所述基于所述第一掩码图以及所述第二位置信息确定所述疑似抛洒物是否为目标抛洒物之后还包括：获取预设帧数的待检测图像的目标抛洒物检测结果；基于所述目标抛洒物检测结果确定预设帧数中所述目标抛洒物存在的第一帧数；若所述第一帧数与所述预设帧数的比例大于第二预设阈值，则报警。

由于路面短时间内的光影变化、水渍变化、或其他杂物变化通常会被误检为抛洒物，或者部分不明显抛洒物停留一段时间后自然消失，则有关部门更加关注长时间停留在路面，造成持续污染的抛洒物。因此，针对处于第一预警状态的抛洒物，若间隔一段时间后，例如间隔30分钟后，抛洒物的第一预警信息中累计检出帧数比例超过第一预警阈值，例如该第一预警阈值设置为0.8，则最终确定为长时间停留的新增抛洒物。累计检出帧数即第一帧数，第一预警阈值即第二预设阈值。将该抛洒物以及与该抛洒物关联的渣土车，进行未上报新增抛洒物报警。累计检出帧数比例按照以下公式进行计算：

若抛洒物第一预警信息中累计检出帧数比例未超过第一预警阈值，则认为该抛洒物为误检或短时间内已经自然消失，当前帧分析完后，将已报警抛洒物区域和不满足报警的抛洒物区域更新到背景区域图像中，避免后续对该抛洒物的重复报警。

通过抛洒物长时间多帧累计的第一预警信息来最终判定检出的抛洒物是否为真实抛洒物，并且去除道路短时间内光影变化、水渍变化、其他杂物等目标的误检和短时间自然消失的抛洒物，提高了抛洒物报警的可靠性和准确率。

通过以上步骤，本申请的抛洒物检测方法，综合利用第二深度学习模型、第一掩码图、第三深度学习模型、背景区域图像以及长时间累计第一预警信息等多种技术手段，大幅度提高了渣土车抛洒滴漏报警时间的准确率。另外，利用抛洒物位置信息和渣土车运动轨迹信息，实现了抛洒物与发生抛洒的渣土车的关联，有利于辅助执法部门快速找到肇事渣土车辆。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中还提供了一种抛洒物检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是根据本申请实施例的抛洒物检测装置的结构框图，如图4所示，该装置包括：

第一检测模块10，用于检测待检测图像中的运动目标，得到所述运动目标的第一位置信息，并基于所述第一位置信息建立第一掩码图；

第二检测模块20，用于检测所述待检测图像中的疑似抛洒物，得到所述疑似抛洒物的第二位置信息；

目标确定模块30，用于基于所述第一掩码图以及所述第二位置信息确定所述疑似抛洒物是否为目标抛洒物。

所述目标确定模块30，还用于基于所述第二位置信息确定所述疑似抛洒物是否位于所述运动目标检测框内；若所述疑似抛洒物位于所述运动目标检测框外，则确定为目标抛洒物。

所述目标确定模块30，还用于基于所述运动目标的类型确定第一运动目标，所述第一运动目标包括渣土车；基于目标跟踪算法确定所述第一运动目标在多帧所述待检测图像中的运动轨迹；基于所述第二位置信息确定所述疑似抛洒物是否位于所述运动目标检测框内；基于所述第二位置信息确定所述疑似抛洒物是否位于所述运动轨迹的范围内；若所述疑似抛洒物位于所述运动目标检测框外且位于所述运动轨迹的范围内，则确定为目标抛洒物，并将所述目标抛洒物与所述第一运动目标进行关联。

所述目标确定模块30，还用于获取参考图像，所述参考图像为所述待检测图像的历史图像；基于所述第二位置信息确定所述疑似抛洒物是否位于所述运动目标检测框内；确定所述待检测图像以及所述参考图像的第一相似度；若所述疑似抛洒物位于所述运动目标检测框外，且所述第一相似度小于第一预设阈值，则确定所述疑似抛洒物为目标抛洒物。

所述目标确定模块30，还用于基于预设帧数的所述第一掩码图以及第二位置信息，确定背景区域图像；基于所述背景区域图像确定参考图像。

所述目标确定模块30，还用于获取历史抛洒物的历史位置信息；基于所述第二位置信息确定所述疑似抛洒物是否位于所述运动目标检测框内；确定所述第二位置信息对应的图像区域与所述历史位置信息对应的图像区域的交并比；若所述疑似抛洒物位于所述运动目标检测框外，且所述交并比小于第二预设阈值，则确定所述疑似抛洒物为目标抛洒物。

所述目标确定模块30，还用于获取预设帧数的待检测图像的目标抛洒物检测结果；基于所述目标抛洒物检测结果确定预设帧数中所述目标抛洒物存在的第一帧数；若所述第一帧数与所述预设帧数的比例大于第二预设阈值，则报警。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，检测待检测图像中的运动目标，得到所述运动目标的第一位置信息，并基于所述第一位置信息建立第一掩码图。

S2，检测所述待检测图像中的疑似抛洒物，得到所述疑似抛洒物的第二位置信息。

S3，基于所述第一掩码图以及所述第二位置信息确定所述疑似抛洒物是否为目标抛洒物。

需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。

此外，结合上述实施例中提供的抛洒物检测方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种抛洒物检测方法。

应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。

显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。

“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种抛洒物检测方法，其特征在于，包括：

检测待检测图像中的运动目标，得到所述运动目标的第一位置信息，并基于所述第一位置信息建立第一掩码图；

检测所述待检测图像中的疑似抛洒物，得到所述疑似抛洒物的第二位置信息；

基于所述第一掩码图以及所述第二位置信息确定所述疑似抛洒物是否为目标抛洒物。

2.根据权利要求1所述的抛洒物检测方法，其特征在于，所述第一掩码图上标识有基于所述第一位置信息得到的运动目标检测框，所述基于所述第一掩码图以及所述第二位置信息确定所述疑似抛洒物是否为目标抛洒物包括：

基于所述第二位置信息确定所述疑似抛洒物是否位于所述运动目标检测框内；

若所述疑似抛洒物位于所述运动目标检测框外，则确定为目标抛洒物。

3.根据权利要求1所述的抛洒物检测方法，其特征在于，所述第一掩码图上标识有基于所述第一位置信息得到的运动目标检测框，所述基于所述第一掩码图以及所述第二位置信息确定所述疑似抛洒物是否为目标抛洒物还包括：

基于所述运动目标的类型确定第一运动目标，所述第一运动目标包括渣土车；

基于目标跟踪算法确定所述第一运动目标在多帧所述待检测图像中的运动轨迹；

基于所述第二位置信息确定所述疑似抛洒物是否位于所述运动目标检测框内；

基于所述第二位置信息确定所述疑似抛洒物是否位于所述运动轨迹的范围内；

若所述疑似抛洒物位于所述运动目标检测框外且位于所述运动轨迹的范围内，则确定为目标抛洒物，并将所述目标抛洒物与所述第一运动目标进行关联。

4.根据权利要求1所述的抛洒物检测方法，其特征在于，所述第一掩码图上标识有基于所述第一位置信息得到的运动目标检测框，所述基于所述第一掩码图以及所述第二位置信息确定所述疑似抛洒物是否为目标抛洒物还包括：

获取参考图像，所述参考图像为所述待检测图像的历史图像；

基于所述第二位置信息确定所述疑似抛洒物是否位于所述运动目标检测框内；

确定所述待检测图像以及所述参考图像的第一相似度；

若所述疑似抛洒物位于所述运动目标检测框外，且所述第一相似度小于第一预设阈值，则确定所述疑似抛洒物为目标抛洒物。

5.根据权利要求4所述的抛洒物检测方法，其特征在于，所述获取参考图像包括：

基于预设帧数的所述第一掩码图以及第二位置信息，确定背景区域图像；

基于所述背景区域图像确定参考图像。

6.根据权利要求1所述的抛洒物检测方法，其特征在于，所述第一掩码图上标识有基于所述第一位置信息得到的运动目标检测框，所述基于所述第一掩码图以及所述第二位置信息确定所述疑似抛洒物是否为目标抛洒物还包括：

获取历史抛洒物的历史位置信息；

基于所述第二位置信息确定所述疑似抛洒物是否位于所述运动目标检测框内；

确定所述第二位置信息对应的图像区域与所述历史位置信息对应的图像区域的交并比；

若所述疑似抛洒物位于所述运动目标检测框外，且所述交并比小于第二预设阈值，则确定所述疑似抛洒物为目标抛洒物。

7.根据权利要求1所述的抛洒物检测方法，其特征在于，所述第一掩码图上标识有基于所述第一位置信息得到的运动目标检测框，所述基于所述第一掩码图以及所述第二位置信息确定所述疑似抛洒物是否为目标抛洒物之后还包括：

获取预设帧数的待检测图像的目标抛洒物检测结果；

基于所述目标抛洒物检测结果确定预设帧数中所述目标抛洒物存在的第一帧数；

若所述第一帧数与所述预设帧数的比例大于第二预设阈值，则报警。

8.一种抛洒物检测装置，其特征在于，包括：

第一检测模块，用于检测待检测图像中的运动目标，得到所述运动目标的第一位置信息，并基于所述第一位置信息建立第一掩码图；

第二检测模块，用于检测所述待检测图像中的疑似抛洒物，得到所述疑似抛洒物的第二位置信息；

目标确定模块，用于基于所述第一掩码图以及所述第二位置信息确定所述疑似抛洒物是否为目标抛洒物。

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的抛洒物检测方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的抛洒物检测方法的步骤。

Images