CN113076934A - 车辆抛洒物检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种车辆抛洒物检测方法、装置、电子设备及存储介质，该方法包括：获取目标视频中的目标图像帧；在从目标图像帧中检测到目标车辆的情况下，从目标视频中确定在目标图像帧之前的参考图像帧；参考图像帧包括目标车辆，且为除目标车辆外其他目标对象最少的图像帧；基于目标图像帧和参考图像帧，确定目标车辆上是否有抛洒物落下。本公开实施例，避免了人工查看目标视频，进而降低了人力成本，提高了监管效率。

Description

车辆抛洒物检测方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机视觉技术领域，具体而言，涉及一种车辆抛洒物检测方法、装置、电子设备及存储介质。

背景技术

目前，随着城市发展城市道路中大型工程车辆以及其他机动车辆日益增多，车辆抛洒事件频发，严重影响城市环境和道路安全。

为了实现对城市道路中车辆抛洒事件的监管，现有技术中，通常在需要监管的区域设置摄像头，然后通过人工查看目标视频的方式，来监控经过车辆上是否有抛洒物落下。然而，该方法虽能实现对车辆抛洒事件的监管，但却需要安排专门的人员去观看视频，进而导致需要较高的人力成本，且需要花费大量的时间。

发明内容

本公开实施例至少提供一种车辆抛洒物检测方法、装置、电子设备及计算机可读存储介质。

第一方面，本公开实施例提供了一种车辆抛洒物检测方法，包括：

获取目标视频中的目标图像帧；

在从所述目标图像帧中检测到目标车辆的情况下，从所述目标视频中确定在所述目标图像帧之前的参考图像帧；所述参考图像帧包括所述目标车辆，且为除所述目标车辆外其他目标对象最少的图像帧；

基于所述目标图像帧和所述参考图像帧，确定所述目标车辆上是否有抛洒物落下。

本公开实施例中，可以对获取目标视频中的目标图像帧进行检测，并在从目标图像帧中检测到目标车辆的情况下，从目标视频中确定在目标图像帧之前的参考图像帧，再基于目标图像帧和参考图像帧，确定目标车辆上是否有抛洒物落下，如此，可以实现对抛洒物的检测，避免了人工查看，进而降低了人力成本，提高了监管效率。另外，本申请实施例中，将包括目标车辆，且除目标车辆外其他目标对象最少的图像帧作为参考图像帧，可以避免其他目标对象对判断抛洒物造成的误判，进而可以提高识别抛洒物的精准度。

根据第一方面，在一种可能的实施方式中，所述基于所述目标图像帧和所述参考图像帧，确定所述目标车辆上是否有抛洒物落下，包括：

将所述目标图像帧中位于所述目标车辆周围的目标区域内的图像信息和所述参考图像帧中位于所述目标车辆周围的参考区域内的图像信息进行比对；

根据所述目标区域内的图像信息相对于所述参考区域内的图像信息的变化信息，确定所述目标车辆上是否有抛洒物落下。

本公开实施例中，通过将目标车辆周围的场景图像信息和参考图像帧相对应的参考区域内的场景图像信息进行比对，可以判断目标车辆的周围场景是否发生变化，进而可以清晰准确地判定出目标车辆上是否有抛洒物落下，检测精度和检测效率更高。

根据第一方面，在一种可能的实施方式中，所述将所述目标图像帧中位于所述目标车辆周围的目标区域内的图像信息和所述参考图像帧中位于所述目标车辆周围的参考区域内的图像信息进行比对，包括：

将所述目标区域划分为多个子目标区域，并将所述参考区域划分为多个子参考区域；所述子目标区域的数量与所述子参考区域的数量相同且一一对应；

将所述子目标区域内的图像信息和与所述子目标区域对应的子参考区域内的图像信息进行比对；

所述根据所述目标区域内的图像信息相对于所述参考区域内的图像信息的变化信息，确定所述目标车辆上是否有抛洒物落下，包括：

在存在至少一个子目标区域的图像信息与所述子参考区域的图像信息相比发生改变的情况下，确定所述目标车辆上有抛洒物落下。

本公开实施例中，将目标车辆周围的目标区域划分为多个子目标区域，并在存在至少一个子目标区域的图像信息与相对应的子参考区域的图像信息发生改变的情况下，确定目标车辆上有抛洒物落下，进而实现了对目标车辆的目标区域的全面检测，提高了抛洒物的检测精度。

根据第一方面，在一种可能的实施方式中，在所述目标图像帧包括第一目标车辆和第二目标车辆的情况下，所述将所述目标区域划分为多个子目标区域，包括：

将所述第一目标车辆周围的目标区域划分为多个第一子区域，并将所述第二目标车辆周围的目标区域划分为多个第二子区域；

将位于所述第一目标车辆下方的第一子区域按照预设缩减尺度进行缩减，并缩减与所述第二子区域重叠的所述第一子区域，得到已缩减的第一子区域；

从所述已缩减的第一子区域中选取出满足预设条件的第一子区域，与所述多个第一子区域中未缩减的第一子区域组成所述多个子目标区域。

本公开实施例中，可以避免将目标图像帧中目标车辆之外其他车辆的抛洒物误判成目标车辆的抛洒物，提高抛洒物检测的准确度。

根据第一方面，在一种可能的实施方式中，所述从所述目标图像帧中检测到目标车辆，包括：

将所述目标图像帧输入至车辆检测模型，对所述目标车辆进行检测，以检测到所述目标车辆；所述车辆检测模型通过对图像样本集合进行训练获得，所述图像样本集合包括不同类型车辆的图像样本。

本公开实施例中，通过利用车辆检测模型对所述目标车辆进行检测，可以提高检测效率。

根据第一方面，在一种可能的实施方式中，所述将所述目标图像帧输入至车辆检测模型之前，所述方法还包括：

将所述目标图像帧中每个像素点在不同色彩通道上分别作差后取绝对值，并对得到的不同色彩通道的绝对差值取均值，得到第一差值矩阵；

对所述第一差值矩阵进行低通滤波处理，得到第二差值矩阵；

对所述第二差值矩阵取均值，得到目标评估均值；

在所述目标评估均值大于预设均值阈值的情况下，将所述目标图像帧输入至车辆检测模型。

本公开实施例中，通过预先判断目标图像帧中的车辆是否为疑似车辆，可以减少处理量，提高检测效率。

根据第一方面，在一种可能的实施方式中，所述从所述目标视频中确定在所述目标图像帧之前的参考图像帧，包括：

从所述目标图像帧所对应的采集时刻之前的多个时刻分别采集的图像帧中确定所述参考图像帧。

本公开实施例中，可以缩小参考图像帧的寻找范围，提高寻找参考图像帧的效率。

根据第一方面，在一种可能的实施方式中，所述确定所述目标车辆上有抛洒物落下之后，还包括：

从所述目标图像帧或参考图像帧中提取所述目标车辆的车辆属性信息，并输出包括所述车辆属性信息的告警信息；所述车辆属性信息包括车辆号牌、车辆类型、车辆颜色、车牌颜色、车牌类型中的至少一种。

本公开实施例中，通过获取目标车辆的车辆属性信息并自动输出告警信息，方便了监管方对存在抛洒物车辆的追溯，节省了监管方通过目标视频人工查看车辆抛洒事件的时间，提高了监管效率。

根据第一方面，在一种可能的实施方式中，所述确定所述目标车辆上有抛洒物落下之后，还包括：

从所述目标图像帧中识别所述抛洒物属性信息，并输出包括所述抛洒物图片信息以及所述抛洒物属性信息的告警信息；所述抛洒物属性信息包括所述抛洒物的类型、形状、体积中的至少一种；

所述告警信息包括抛洒事件发生的时间、抛洒事件发生的地点、抛洒事件发生的置信度中的至少一种。

本公开实施例中，通过向监管方输出抛洒物的属性信息，可以起到警示作用，如果抛洒物是石块等能够严重威胁到道路交通安全的物品，可以警示监管方该车辆存在安全隐患。

根据第一方面，在一种可能的实施方式中，所述获取目标视频中的目标图像帧，包括：

对所述目标视频进行解码，以得到图像帧；

每隔预设帧或预设时间间隔从所述图像帧中获取一帧，得到所述目标图像帧。

第二方面，本公开实施例还提供一种车辆抛洒物检测装置，包括：

获取模块，用于获取目标视频中的目标图像帧；

第一确定模块，用于在从所述目标图像帧中检测到目标车辆的情况下，从所述目标视频中确定在所述目标图像帧之前的参考图像帧；所述参考图像帧包括所述目标车辆，且为除所述目标车辆外其他目标对象最少的图像帧；

第二确定模块，用于基于所述目标图像帧和所述参考图像帧，确定所述目标车辆上是否有抛洒物落下。

根据第二方面，在一种可能的实施方式中，所述第二确定模块具体用于：

将所述目标图像帧中位于所述目标车辆周围的目标区域内的图像信息和所述参考图像帧中位于所述目标车辆周围的参考区域内的图像信息进行比对；

根据所述目标区域内的图像信息相对于所述参考区域内的图像信息的变化信息，确定所述目标车辆上是否有抛洒物落下。

根据第二方面，在一种可能的实施方式中，所述第二确定模块具体用于：

将所述目标区域划分为多个子目标区域，并将所述参考区域划分为多个子参考区域；所述子目标区域的数量与所述子参考区域的数量相同且一一对应；

将所述子目标区域内的图像信息和与所述子目标区域对应的子参考区域内的图像信息进行比对；

在存在至少一个子目标区域的图像信息与所述子参考区域的图像信息相比发生改变的情况下，确定所述目标车辆上有抛洒物落下。

根据第二方面，在一种可能的实施方式中，在所述目标图像帧包括第一目标车辆和第二目标车辆的情况下，所述第二确定模块具体用于：

将所述第一目标车辆周围的目标区域划分为多个第一子区域，并将所述第二目标车辆周围的目标区域划分为多个第二子区域；

将位于所述第一目标车辆下方的第一子区域按照预设缩减尺度进行缩减，并缩减与所述第二子区域重叠的所述第一子区域，得到已缩减的第一子区域；

从所述已缩减的第一子区域中选取出满足预设条件的第一子区域，与所述多个第一子区域中未缩减的第一子区域组成所述多个子目标区域。

根据第二方面，在一种可能的实施方式中，所述第一确定模块具体用于：

将所述目标图像帧输入至车辆检测模型，对所述目标车辆进行检测，以检测到所述目标车辆；所述车辆检测模型通过对图像样本集合进行训练获得，所述图像样本集合包括不同类型车辆的图像样本。

根据第二方面，在一种可能的实施方式中，所述第一确定模块还用于：

将所述目标图像帧中每个像素点在不同色彩通道上分别作差后取绝对值，并对得到的不同色彩通道的绝对差值取均值，得到第一差值矩阵；

对所述第一差值矩阵进行低通滤波处理，得到第二差值矩阵；

对所述第二差值矩阵取均值，得到目标评估均值；

在所述目标评估均值大于预设均值阈值的情况下，将所述目标图像帧输入至车辆检测模型。

根据第二方面，在一种可能的实施方式中，所述第一确定模块具体用于：

从所述目标图像帧所对应的采集时刻之前的多个时刻分别采集的图像帧中确定所述参考图像帧。

根据第二方面，在一种可能的实施方式中，所述装置还包括：

提取模块，从所述目标图像帧或参考图像帧中提取所述目标车辆的车辆属性信息，并输出包括所述车辆属性信息的告警信息；所述车辆属性信息包括车辆号牌、车辆类型、车辆颜色、车牌颜色、车牌类型中的至少一种。

根据第二方面，在一种可能的实施方式中，所述装置还包括：

识别模块，用于从所述目标图像帧中识别所述抛洒物属性信息，并输出包括所述抛洒物图片信息以及所述抛洒物属性信息的告警信息；所述抛洒物属性信息包括所述抛洒物的类型、形状、体积中的至少一种；

所述告警信息包括抛洒事件发生的时间、抛洒事件发生的地点、抛洒事件发生的置信度中的至少一种。

根据第二方面，在一种可能的实施方式中，所述获取模块具体用于：

对所述目标视频进行解码，以得到图像帧；

每隔预设帧或预设时间间隔从所述图像帧中获取一帧，得到所述目标图像帧。

第三方面，本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中所述的车辆抛洒物检测方法的步骤。

第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中所述的车辆抛洒物检测方法的步骤。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的第一种车辆抛洒物检测方法的流程图；

图2示出了本公开实施例所提供的一种确定抛洒物落下的具体方法的流程图；

图3示出了本公开实施例所提供的一种目标图像帧和参考图像帧比对的示意图；

图4示出了本公开实施例所提供的第二种车辆抛洒物检测方法的流程图；

图5示出了本公开实施例所提供的第三种车辆抛洒物检测方法的流程图；

图6示出了本公开实施例所提供的一种告警信息的示意图；

图7示出了本公开实施例所提供的一种车辆抛洒物检测装置的结构示意图；

图8示出了本公开实施例所提供的另一种车辆抛洒物检测装置的结构示意图；

图9示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

近年来，随着城市发展，各项基础工程建设紧锣密鼓，渣土车、石料车、混凝土、搅拌车等工程车辆及其它机动车辆日益增多。超载、超速、逆行、闯红灯、不按规定车道行驶导致运载物抛撒滴漏等交通违法行为日益突出，道路交通事故频发，严重影响城市环境和道路安全。

经研究发现，为了实现对城市道路中车辆抛洒事件的监管，现有技术中，通常在需要监管的区域设置摄像头，然后通过人工查看目标视频的方式，来监控经过车辆上是否有抛洒物落下。然而，该方法虽能实现对车辆抛洒事件的监管，但却需要安排专门的人员去观看视频，进而导致需要较高的人力成本，且需要花费大量的时间。因此，如何节省监管的人力成本和提高监管的效率，为本公开要解决的技术问题。

基于上述研究，本公开提供了一种车辆抛洒物检测方法，可以对获取目标视频中的目标图像帧进行检测，并在从目标图像帧中检测到目标车辆的情况下，从目标视频中确定在目标图像帧之前的参考图像帧，再基于目标图像帧和参考图像帧，确定目标车辆上是否有抛洒物落下，如此，可以实现对抛洒物的检测，避免了人工查看，进而降低了人力成本，提高了监管效率。另外，本申请实施例中，将包括目标车辆，且除目标车辆外其他目标对象最少的图像帧作为参考图像帧，可以避免其他目标对象对判断抛洒物造成的误判，进而可以提高识别抛洒物的精准度。

针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。

下面将结合本公开中附图，对本公开中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种车辆抛洒物检测方法进行详细介绍，本公开实施例所提供的车辆抛洒物检测方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实施方式中，该车辆抛洒物检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例提供的一种车辆抛洒物检测方法的流程示意图，其中，该方法可以应用于上述电子设备中，或应用于本地或云端的服务器中。图1所示的车辆抛洒物检测方法包括以下S101～S103

S101，获取目标视频中的目标图像帧。

其中，目标视频是连续的图像序列，其实质是由一组组连续的图像构成的，而图像帧(Frame)是组成视频的最小视觉单位，是一幅静态的图像。将时间上连续的图像帧序列合成到一起便形成动态视频。因此，为了方便后续的检测，需要获取目标视频中的图像帧。

需要说明的是，在对图像帧进行检测的过程中，可以只对图像帧中的ROI区域进行检测，其中ROI是感兴趣区域(region of interest)，在图像处理领域，ROI是从图像中选择的一个图像区域，这个区域是图像分析所关注的重点，圈定该区域以便进行进一步处理。使用ROI圈定检测的目标，将监测范围缩小，本实施例中，ROI可以是目标车辆以及目标车辆所在的区域之外的预设范围所对应的区域(参见图3中虚线框所对应的区域)，如此，可以减少处理时间，增加精度。

具体地，在一些实施方式中，所述获取目标视频中的目标图像帧，包括：对所述目标视频进行解码，以得到图像帧；每隔预设帧或预设时间间隔从所述图像帧中获取一帧，得到所述目标图像帧。

示例地，一般的视频中每秒钟通常有很多帧，比如每秒钟有24帧，也即每一帧图像的间隔时间很短，通常肉眼是无法察觉的，因此没有必要去获取每一帧的图像帧，可以每隔10帧获取一次图像帧，或者每隔20帧获取一次图像帧，在此不做限定。如此，可以减少处理量，节省不必要的时间。

S102，在从目标图像帧中检测到目标车辆的情况下，从目标视频中确定在目标图像帧之前的参考图像帧；参考图像帧包括所述目标车辆，且为除目标车辆外其他目标对象最少的图像帧。

在一些实施方式中，可以利用车辆检测模型对目标图像帧进行结构化车辆检测，判断目标图像帧中是否存在目标车辆。所述车辆检测模型为一种神经网络模型，可以通过对图像样本集合进行训练获得，所述图像样本集合包括不同类型车辆的图像样本。例如，可以采集多种混凝土车的结构特征，也可以采集多种石料车的结构特征，还可以采集多种小轿车的结构特征，然后通过对这些样本进行训练，而得到相应的神经网络模型。如此，在通过该车辆检测模型对当前图像帧进行检测时，即可识别出当前图像帧中的目标车辆。本实施方式中，由于车辆检测模型是通过不同类型车辆的图像样本训练而获得，进而可以对不同类型的车辆进行检测，提高模型的适用性。

在一些实施方式中，在将目标图像帧输入至车辆检测模型之前，还可以通过一些方式预先判断目标图像帧中的车辆是否为疑似车辆，在确定是疑似车辆的情况下，再利用车辆检测模型进行车辆检测，如此可以减少处理量，提高检测效率。比如，可以将目标图像帧中每个像素点，在不同的色彩通道上分别作差后取绝对值，并进一步在不同的色彩通道上取均值，从而得到第一差值矩阵。之后，对第一差值矩阵进行低通滤波处理，得到第二差值矩阵；再对所述第二差值矩阵取均值，得到目标评估均值。如果目标评估均值大于预设均值阈值，即判断结果为疑似车辆，即表征目标图像帧整体图像信息发生了较大变化，因此，目标图像帧中很可能存在疑似车辆。如果目标评估均值不大于预设均值阈值，即判断结果为非疑似车辆，则表征目标图像帧整体图像信息没有较大变化，因此，目标图像帧中不存在疑似车辆，后续不需要利用车辆检测模型对目标图像帧进行车辆检测。

可以理解，为了判断目标车辆上是否落下抛洒物，除了获取当前的目标图像帧，还需要获取目标图像帧之前的某一帧图像作为参考图像帧进行比对，具体比对方式在后文阐述。而为了尽可能地排除其他障碍物的干扰，让比对更加精准，需要从当前图像帧向前查找到除了目标车辆外其他干扰物最少的那一帧，例如，当某一帧有多个其他车辆时，或者某一帧除了目标车辆存在其他杂物时，便无法判断当前图像帧是否存在抛洒物，对结果的判断造成了干扰。如此，通过该方法确定参考图像帧，可以避免其他目标对象对判断抛洒物造成的误判，提高识别抛洒物的精准度。

在一些实施方式中，所述从所述目标视频中确定在所述目标图像帧之前的参考图像帧，包括：从所述目标图像帧所对应的采集时刻之前的多个时刻分别采集的图像帧中确定所述参考图像帧。

示例地，判断当前目标车辆上有无抛洒物落下，是发生在当前图像帧之前的某一时刻发生的，因此需要从当前目标图像帧所对应的时刻向前寻找参考图像帧，那么当前目标图像帧之后的那些图像帧也就没有了参考意义，而如果当前目标图像帧是第一帧，则没有参考图像帧。如此，可以缩小参考图像帧的寻找范围，提高寻找参考图像帧的效率。

S103，基于目标图像帧和参考图像帧，确定目标车辆上是否有抛洒物落下。

可以理解，本实施例是通过将目标图像帧和参考图像帧进行比对，判断两帧图像是否发生变化，进而确定目标车辆上是否有抛洒物落下。

本公开实施例中，可以对获取目标视频中的目标图像帧进行检测，并在从目标图像帧中检测到目标车辆的情况下，从目标视频中确定在目标图像帧之前的参考图像帧，再基于目标图像帧和参考图像帧，确定目标车辆上是否有抛洒物落下，如此，可以实现对抛洒物的检测，避免了人工查看，进而降低了人力成本，提高了监管效率。另外，本申请实施例中，将包括目标车辆，且除目标车辆外其他目标对象最少的图像帧作为参考图像帧，可以避免其他目标对象对判断抛洒物造成的误判，进而可以提高识别抛洒物的精准度。

针对上述S103，在将目标图像帧和参考图像帧进行比对以确定目标车辆是否有抛洒物落下时，参见图2所示，包括以下S1031～S1032：

S1031，将所述目标图像帧中位于所述目标车辆周围的目标区域内的图像信息和所述参考图像帧中位于所述目标车辆周围的参考区域内的图像信息进行比对。

示例地，针对截取的整张图像帧，只需要比对目标车辆的周边场景区域的图像信息即可，而不需要对整张图像帧进行比对分析，比如目标车辆行驶中视频中出现的树木、花草、建筑物、公路等等的背景信息，对比对分析过程来说没有实际的意义。

示例地，在将目标图像帧中位于目标车辆周围的目标区域内的图像信息和参考图像帧中位于所述目标车辆周围的的参考区域内的图像信息进行比对时，可以包括：将目标车辆周围的目标区域划分为多个子目标区域，并将所述参考区域划分为多个子参考区域，其中子目标区域的数量与子参考区域的数量相同且一一对应，然后将每一子目标区域内的图像信息和子目标区域对应的子参考区域内的图像信息进行比对。

示例地，可以在目标车辆周围的目标区域划分为多个子目标区域，也即，可以在目标车辆周边生成多个对比候选框，通过和参考图像帧中多个参考框进行一一比对，如此，可以对目标车辆周围的目标区域进行小区域一一检测，提高了检测精度。本实施方式中，对比候选框的数量为12个，且该12个候选框的位置是离目标车辆较近的框，其他实施方式中，对比候选框的数量可以根据车辆大小的不同而具体设定，在此不做限定。

可以理解，由于抛洒物是从目标车辆中抛洒出去的，而距离目标车辆较远的物体未必是从该目标车辆中抛洒出去的，因此，在将目标车辆周围的目标区域划分为多个子目标区域时，应尽可能选取距离目标车辆较近的子目标区域，以避免将目标车辆周围较远的物体误判成该目标车辆的抛洒物。

另外，由于光照的存在，会导致目标车辆的下方存在影子，进而影响车辆检测框以及候选框的位置，因此，为了避免影子对候选框位置的影响，一些实施方式中，可以将位于目标车辆下方的第一子区域按照预设缩减尺度进行缩减，比如可以缩减10％，也可以缩减20％，在此不做限定；其中，所述目标车辆的下方是指存在所述目标车辆影子的一方，如此，可以避免由目标车辆影子所引起的误判的情况。

在一些实施方式中，还有可能存在目标图像帧中存在至少两个目标车辆的情况，比如可以存在第一目标车辆和第二目标车辆，此时第一目标车辆周围的多个第一子区域与第二目标车辆周围的多个第二子区域可能存在重叠的情况，因此，还需要缩减掉与所述第二子区域重叠的区域，此外，还可以根据实际需求设定其他具体的缩减规则，在此不做限定。

然后从已缩减的第一子区域中选取出满足预设条件的第一子区域，所述预设条件可以是预设长度、预设宽度、预设长宽比等，在此不做限定。然后，将满足预设条件的已缩减的第一子区域和未缩减的第一子区域组成所述多个子目标区域。如此，可以避免将目标图像帧中目标车辆之外其他车辆的抛洒物误判成目标车辆的抛洒物，提高抛洒物检测的准确度。

S1032，根据目标区域内的图像信息相对于参考区域内的图像信息的变化信息，确定目标车辆上是否有抛洒物落下。

示例地，当车辆出现在目标视频里的时候，截取的当前图像帧和当前时刻所对应的地理位置的之前的某一参考帧的车辆周围的场景图像信息是不发生变化的，而当该车辆上有抛洒物落下的时候，当前图像帧中该车辆的周围场景的图像信息与参考图像帧相比是发生变化的，比如当一辆石料车经过某一监控区域时，刚好有一个石块从车辆上掉落，那么该车辆的当前图像帧和之前某一时刻的参考图像帧比对，它的周围的场景是发生变化的，那么便可以判定该车辆存在抛洒物落下的情况。如此，通过将目标车辆周围的场景图像信息和参考图像帧相对应的参考区域内的场景图像信息进行比对，可以判断目标车辆的周围场景是否发生变化，进而可以清晰准确地判定出目标车辆上是否有抛洒物落下，检测精度和检测效率更高。

示例地，根据目标区域内的图像信息相对于参考区域内的图像信息的变化信息，确定目标车辆上是否有抛洒物落下，包括：在存在至少一个子目标区域的图像信息与子参考区域的图像信息相比发生改变的情况下，确定目标车辆上有抛洒物落下。

示例地，参见图3所示，为一辆石料车目标图像帧和参考图像帧的比对示意图，石料车的周边区域生成12个对比候选框，也即将车辆周围的目标区域划分为12个子区域，通过目标图像帧和参考图像帧的对比可以直观地看出该石料车尾端有石块掉落。

参见图4所示，为本公开提供的第二种车辆抛洒物检测方法的流程图，该检测方法包括以下S201～S204：

S201，获取目标视频中的目标图像帧。

该步骤与图1中的步骤S101类似，在此不再赘述。

S202，在从目标图像帧中检测到目标车辆的情况下，从目标视频中确定在目标图像帧之前的参考图像帧；参考图像帧包括目标车辆，且为除目标车辆外其他目标对象最少的图像帧。

该步骤与图1中的步骤S102类似，在此不再赘述。

S203，基于目标图像帧和参考图像帧，确定目标车辆上是否有抛洒物落下。

该步骤与图1中的步骤S103类似，在此不再赘述。

S204，在目标车辆上有抛洒物落下的情况下，从所述目标图像帧或参考图像帧中提取所述目标车辆的车辆属性信息，并输出包括所述车辆属性信息的告警信息。

示例地，从目标图像帧或参考图像帧中提取的目标车辆属性信息可以包括但不限于：车辆号牌、车辆类型、车辆颜色、车牌颜色、车牌类型等，在此不做限定。

获取目标车辆的车辆属性信息之后，会向监测方输出该目标车辆上有抛洒物落下的告警信息，其中告警信息包括车辆属性信息。

示例性地，告警信息的形式可以是但不限于：文字、图片、语音等，在此不做限定。比如，输出信息可以是“一辆车牌号为京AXXXXX的白色大型货车于2020年11月25日9：00在XX街道XX马路有抛洒物落下”，并附有该车辆有抛洒物落下时的图片和提示语音。

本公开实施例中，通过获取目标车辆的车辆属性信息并自动输出告警信息，方便了监管方对存在抛洒物车辆的追溯，节省了监管方通过目标视频人工查看车辆抛洒事件的时间，提高了监管效率。

参见图5所示，为本公开提供的第三种车辆抛洒物检测方法的流程图，该检测方法包括以下S301～S304：

S301，获取目标视频中的目标图像帧。

该步骤与图1中的步骤S101类似，在此不再赘述。

S302，在从目标图像帧中检测到目标车辆的情况下，从目标视频中确定在目标图像帧之前的参考图像帧；参考图像帧包括目标车辆，且为除目标车辆外其他目标对象最少的图像帧。

该步骤与图1中的步骤S102类似，在此不再赘述。

S303，基于目标图像帧和参考图像帧，确定目标车辆上是否有抛洒物落下。

该步骤与图1中的步骤S103类似，在此不再赘述。

S304，在目标车辆上有抛洒物落下的情况下，从所述目标图像帧中识别所述抛洒物属性信息，并输出包括所述抛洒物图片信息以及所述抛洒物属性信息的告警信息。

示例地，除了可以获取目标车辆的车辆属性信息、号牌信息外，还可以获取抛洒物属性信息，并输出包括抛洒物图片信息以及属性信息的告警信息。其中，所述抛洒物属性信息包括但不限于：抛洒物的类型、形状、体积等。其中，抛洒物的类型可以是但不限于沙石、纸张、果皮、烟头等，在此不做限定。如此，通过向监管方输出抛洒物属性信息，可以起到警示作用，如果抛洒物是石块等能够严重威胁到道路交通安全的物品，可以警示监管方该车辆存在安全隐患。

另外，所述告警信息还可以包括：抛洒事件发生时间、发生地点、置信度等。其中，置信度指该输出结果的一个置信分数，比如在雨天或者雾霾天，获取的视频可能不清晰，导致检测和输出的结果不准，此时会生成一个置信度分数。

示例地，如图6所示，为一张告警信息的示意图，该告警信息框出了存在抛洒物的车辆以及具体的抛洒物，并以文字形式输出了“一辆车牌号为京AXXXXX的白色大型货车于2020年11月25日9：00在XX街道XX马路有石块落下”，告警形式直观、醒目，方便监管方对抛洒物事件的监管。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与车辆抛洒物检测方法对应的车辆抛洒物检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述车辆抛洒物检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图7所示，为本公开实施例提供的一种车辆抛洒物检测装置的结构示意图，所述装置500包括：

获取模块501，用于获取目标视频中的目标图像帧；

第一确定模块502，用于在从所述目标图像帧中检测到目标车辆的情况下，从所述目标视频中确定在所述目标图像帧之前的参考图像帧；所述参考图像帧包括所述目标车辆，且为除所述目标车辆外其他目标对象最少的图像帧；

第二确定模块503，用于基于所述目标图像帧和所述参考图像帧，确定所述目标车辆上是否有抛洒物落下。

在一种可能的实施方式中，所述第二确定模块503具体用于：

将所述目标图像帧中位于所述目标车辆周围的目标区域内的图像信息和所述参考图像帧中位于所述目标车辆周围的参考区域内的图像信息进行比对；

根据所述目标区域内的图像信息相对于所述参考区域内的图像信息的变化信息，确定所述目标车辆上是否有抛洒物落下。

在一种可能的实施方式中，所述第二确定模块503具体用于：

将所述目标区域划分为多个子目标区域，并将所述参考区域划分为多个子参考区域；所述子目标区域的数量与所述子参考区域的数量相同且一一对应；

将所述子目标区域内的图像信息和与所述子目标区域对应的子参考区域内的图像信息进行比对；

在存在至少一个子目标区域的图像信息与所述子参考区域的图像信息相比发生改变的情况下，确定所述目标车辆上有抛洒物落下。

在一种可能的实施方式中，在所述目标图像帧包括第一目标车辆和第二目标车辆的情况下，所述第二确定模块503具体用于：

将所述第一目标车辆周围的目标区域划分为多个第一子区域，并将所述第二目标车辆周围的目标区域划分为多个第二子区域；

将位于所述第一目标车辆下方的第一子区域按照预设缩减尺度进行缩减，并缩减与所述第二子区域重叠的所述第一子区域，得到已缩减的第一子区域；

从所述已缩减的第一子区域中选取出满足预设条件的第一子区域，与所述多个第一子区域中未缩减的第一子区域组成所述多个子目标区域。

在一种可能的实施方式中，所述第一确定模块502具体用于：

将所述目标图像帧输入至车辆检测模型，对所述目标车辆进行检测，以检测到所述目标车辆；所述车辆检测模型通过对图像样本集合进行训练获得，所述图像样本集合包括不同类型车辆的图像样本。

在一种可能的实施方式中，所述第一确定模块502还用于：

将所述目标图像帧中每个像素点在不同色彩通道上分别作差后取绝对值，并对得到的不同色彩通道的绝对差值取均值，得到第一差值矩阵；

对所述第一差值矩阵进行低通滤波处理，得到第二差值矩阵；

对所述第二差值矩阵取均值，得到目标评估均值；

在所述目标评估均值大于预设均值阈值的情况下，将所述目标图像帧输入至车辆检测模型。

在一种可能的实施方式中，所述第一确定模块502具体用于：

从所述目标图像帧所对应的采集时刻之前的多个时刻分别采集的图像帧中确定所述参考图像帧。

参照图8所示，为本公开实施例提供的另一种车辆抛洒物检测装置的结构示意图，在一种可能的实施方式中，所述装置500还包括：

提取模块504，用于从所述目标图像帧或参考图像帧中提取所述目标车辆的车辆属性信息，并输出包括所述车辆属性信息的告警信息；所述车辆属性信息包括车辆号牌、车辆类型、车辆颜色、车牌颜色、车牌类型中的至少一种。

在一种可能的实施方式中，所述装置500还包括：

识别模块505，用于从所述目标图像帧中识别所述抛洒物属性信息，并输出包括所述抛洒物图片信息以及所述抛洒物属性信息的告警信息；所述抛洒物属性信息包括所述抛洒物的类型、形状、体积中的至少一种；

所述告警信息包括抛洒事件发生的时间、抛洒事件发生的地点、抛洒事件发生的置信度中的至少一种。

在一种可能的实施方式中，所述获取模块501具体用于：

对所述目标视频进行解码，以得到图像帧；

每隔预设帧或预设时间间隔从所述图像帧中获取一帧，得到所述目标图像帧。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

基于同一技术构思，本公开实施例还提供了一种电子设备。参照图9所示，为本公开实施例提供的电子设备700的结构示意图，包括处理器701、存储器702、和总线703。其中，存储器702用于存储执行指令，包括内存7021和外部存储器7022；这里的内存7021也称内存储器，用于暂时存放处理器701中的运算数据，以及与硬盘等外部存储器7022交换的数据，处理器701通过内存7021与外部存储器7022进行数据交换。

本申请实施例中，存储器702具体用于存储执行本申请方案的应用程序代码，并由处理器701来控制执行。也即，当电子设备700运行时，处理器701与存储器702之间通过总线703通信，使得处理器701执行存储器702中存储的应用程序代码，进而执行前述任一实施例中所揭示的方法。

其中，存储器702可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。

处理器701可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备700的具体限定。在本申请另一些实施例中，电子设备700可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的车辆抛洒物检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的车辆抛洒物检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种车辆抛洒物检测方法，其特征在于，包括：

获取目标视频中的目标图像帧；

在从所述目标图像帧中检测到目标车辆的情况下，从所述目标视频中确定在所述目标图像帧之前的参考图像帧；所述参考图像帧包括所述目标车辆，且为除所述目标车辆外其他目标对象最少的图像帧；

基于所述目标图像帧和所述参考图像帧，确定所述目标车辆上是否有抛洒物落下。

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标图像帧和所述参考图像帧，确定所述目标车辆上是否有抛洒物落下，包括：

将所述目标图像帧中位于所述目标车辆周围的目标区域内的图像信息和所述参考图像帧中位于所述目标车辆周围的参考区域内的图像信息进行比对；

根据所述目标区域内的图像信息相对于所述参考区域内的图像信息的变化信息，确定所述目标车辆上是否有抛洒物落下。

3.根据权利要求2所述的方法，其特征在于，所述将所述目标图像帧中位于所述目标车辆周围的目标区域内的图像信息和所述参考图像帧中位于所述目标车辆周围的参考区域内的图像信息进行比对，包括：

将所述目标区域划分为多个子目标区域，并将所述参考区域划分为多个子参考区域；所述子目标区域的数量与所述子参考区域的数量相同且一一对应；

将所述子目标区域内的图像信息和与所述子目标区域对应的子参考区域内的图像信息进行比对；

所述根据所述目标区域内的图像信息相对于所述参考区域内的图像信息的变化信息，确定所述目标车辆上是否有抛洒物落下，包括：

在存在至少一个子目标区域的图像信息与所述子参考区域的图像信息相比发生改变的情况下，确定所述目标车辆上有抛洒物落下。

4.根据权利要求3所述的方法，其特征在于，在所述目标图像帧包括第一目标车辆和第二目标车辆的情况下，所述将所述目标区域划分为多个子目标区域，包括：

将所述第一目标车辆周围的目标区域划分为多个第一子区域，并将所述第二目标车辆周围的目标区域划分为多个第二子区域；

将位于所述第一目标车辆下方的第一子区域按照预设缩减尺度进行缩减，并缩减与所述第二子区域重叠的所述第一子区域，得到已缩减的第一子区域；

从所述已缩减的第一子区域中选取出满足预设条件的第一子区域，与所述多个第一子区域中未缩减的第一子区域组成所述多个子目标区域。

5.根据权利要求1所述的方法，其特征在于，所述从所述目标图像帧中检测到目标车辆，包括：

将所述目标图像帧输入至车辆检测模型，对所述目标车辆进行检测，以检测到所述目标车辆；所述车辆检测模型通过对图像样本集合进行训练获得，所述图像样本集合包括不同类型车辆的图像样本。

6.根据权利要求5所述的方法，其特征在于，所述将所述目标图像帧输入至车辆检测模型之前，所述方法还包括：

将所述目标图像帧中每个像素点在不同色彩通道上分别作差后取绝对值，并对得到的不同色彩通道的绝对差值取均值，得到第一差值矩阵；

对所述第一差值矩阵进行低通滤波处理，得到第二差值矩阵；

对所述第二差值矩阵取均值，得到目标评估均值；

在所述目标评估均值大于预设均值阈值的情况下，将所述目标图像帧输入至车辆检测模型。

7.根据权利要求1-6任一所述的方法，其特征在于，所述从所述目标视频中确定在所述目标图像帧之前的参考图像帧，包括：

从所述目标图像帧所对应的采集时刻之前的多个时刻分别采集的图像帧中确定所述参考图像帧。

8.根据权利要求1-7任一所述的方法，其特征在于，所述确定所述目标车辆上有抛洒物落下之后，还包括：

从所述目标图像帧或参考图像帧中提取所述目标车辆的车辆属性信息，并输出包括所述车辆属性信息的告警信息；所述车辆属性信息包括车辆号牌、车辆类型、车辆颜色、车牌颜色、车牌类型中的至少一种。

9.根据权利要求1-8任一所述的方法，其特征在于，所述确定所述目标车辆上有抛洒物落下之后，还包括：

从所述目标图像帧中识别所述抛洒物属性信息，并输出包括所述抛洒物图片信息以及所述抛洒物属性信息的告警信息；所述抛洒物属性信息包括所述抛洒物的类型、形状、体积中的至少一种；

所述告警信息包括抛洒事件发生的时间、抛洒事件发生的地点、抛洒事件发生的置信度中的至少一种。

10.根据权利要求1-9任一所述的方法，其特征在于，所述获取目标视频中的目标图像帧，包括：

对所述目标视频进行解码，以得到图像帧；

每隔预设帧或预设时间间隔从所述图像帧中获取一帧，得到所述目标图像帧。

11.一种车辆抛洒物检测装置，其特征在于，包括：

获取模块，用于获取目标视频中的目标图像帧；

第一确定模块，用于在从所述目标图像帧中检测到目标车辆的情况下，从所述目标视频中确定在所述目标图像帧之前的参考图像帧；所述参考图像帧包括所述目标车辆，且为除所述目标车辆外其他目标对象最少的图像帧；

第二确定模块，用于基于所述目标图像帧和所述参考图像帧，确定所述目标车辆上是否有抛洒物落下。

12.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至10任一所述的车辆抛洒物检测方法的步骤。

13.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至10任意一项所述的车辆抛洒物检测方法的步骤。

Images