CN113191270B - 抛洒事件检测方法、装置、电子设备及存储介质 - Google Patents

抛洒事件检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113191270B
CN113191270B CN202110483379.6A CN202110483379A CN113191270B CN 113191270 B CN113191270 B CN 113191270B CN 202110483379 A CN202110483379 A CN 202110483379A CN 113191270 B CN113191270 B CN 113191270B
Authority
CN
China
Prior art keywords
vehicle
frame
detected
detection
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110483379.6A
Other languages
English (en)
Other versions
CN113191270A (zh
Inventor
王意如
甘伟豪
孙献峰
李七星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202110483379.6A priority Critical patent/CN113191270B/zh
Publication of CN113191270A publication Critical patent/CN113191270A/zh
Priority to PCT/CN2021/133487 priority patent/WO2022227548A1/zh
Application granted granted Critical
Publication of CN113191270B publication Critical patent/CN113191270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开实施例公开了一种抛洒事件检测方法、装置、电子设备及存储介质，方法包括：利用车辆检测模型对当前帧进行车辆检测，并将检测出的每一个车辆确定为一个待测车辆，得到至少一个待测车辆；获取当前帧对应的参考帧，并针对至少一个待测车辆中每个待测车辆，将当前帧和参考帧中对应同一位置的图像进行拼接，得到至少一个待测车辆对应的至少一组拼接图像；同一位置为当前帧和参考帧中待测车辆周围的位置；利用抛洒事件检测模型，针对至少一个待测车辆中每个车辆，基于至少一组拼接图像中对应的一组拼接图像进行抛洒事件检测，得到至少一个抛洒事件检测结果。

Description

抛洒事件检测方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种抛洒事件检测方法、装置、电子设备及存储介质。
背景技术
在视频监控分析中，机动车异物抛洒事件检测是使用需求较高的分析事件。目前，对于机动车异物抛洒事件检测的方式，主要是基于目标检测算法，直接在视频图像中进行抛洒物的识别。
然而，基于目标检测算法的抛洒事件检测，仅能识别出图像中的抛洒物，检测得到的信息单一。
发明内容
本公开实施例期望提供一种抛洒事件检测方法、装置、电子设备及存储介质。
本公开实施例的技术方案是这样实现的：
本公开实施例提供了一种抛洒事件检测方法，所述方法包括：
利用车辆检测模型对当前帧进行车辆检测，并将检测出的每一个车辆确定为一个待测车辆，得到至少一个待测车辆；
获取所述当前帧对应的参考帧，并针对所述至少一个待测车辆中每个待测车辆，将所述当前帧和所述参考帧中对应同一位置的图像进行拼接，得到所述至少一个待测车辆对应的至少一组拼接图像；所述同一位置为所述当前帧和所述参考帧中所述待测车辆周围的位置；
利用抛洒事件检测模型，针对所述至少一个待测车辆中每个待测车辆，基于所述至少一组拼接图像中对应的一组拼接图像进行抛洒事件检测，得到至少一个抛洒事件检测结果。
在上述方法中，所述获取所述当前帧对应的参考帧，包括：
获取采集到所述当前帧之前预设时长内采集到的至少一帧图像；
利用所述车辆检测模型，对所述至少一帧图像中每一帧图像分别进行车辆检测，并统计每一帧图像检测出的车辆数量；
将所述至少一帧图像中检测出的所述车辆数量最少的帧图像确定为所述参考帧。
在上述方法中，所述利用抛洒事件检测模型，基于所述至少一组拼接图像对所述至少一个待测车辆中每个待测车辆进行抛洒事件检测之前，所述方法还包括：
利用所述参考帧对所述当前帧进行疑似抛洒样本判断，得到样本判断结果；
所述利用抛洒事件检测模型，基于所述至少一组拼接图像对所述至少一个待测车辆中每个待测车辆进行抛洒事件检测，包括：
在所述样本判断结果为疑似抛洒样本的情况下，利用所述抛洒事件检测模型，基于所述至少一组拼接图像对所述至少一个待测车辆中每个待测车辆进行抛洒事件检测。
在上述方法中，所述利用所述参考帧对所述当前帧进行疑似抛洒样本判断，得到样本判断结果，包括：
将所述当前帧中每个像素点与所述参考帧中与所述每个像素点对应位置的像素点，在不同色彩通道上分别作差后取绝对值，并对得到的不同色彩通道的绝对差值取均值，得到第一差值矩阵；
对所述第一差值矩阵进行低通滤波处理，得到第二差值矩阵；
对所述第二差值矩阵取均值，得到目标评估均值；
在所述目标评估均值大于预设均值阈值的情况下，确定所述样本判断结果为疑似抛洒样本；
在所述目标评估均值不大于所述预设均值阈值的情况下，确定所述样本判断结果为非疑似抛洒样本。
在上述方法中，所述利用所述参考帧对所述当前帧进行疑似抛洒样本判断，得到样本判断结果之前，所述方法还包括；
基于所述当前帧和所述参考帧进行拍摄镜头移动判断，得到移动判断结果；
所述利用所述参考帧对所述当前帧进行疑似抛洒样本判断，得到样本判断结果，包括：
在所述移动判断结果为未移动的情况下，利用所述参考帧对所述当前帧进行疑似抛洒样本判断，得到所述样本判断结果。
在上述方法中，所述基于所述当前帧和所述参考帧进行拍摄镜头移动判断，得到移动判断结果，包括：
利用所述车辆检测模型对所述参考帧进行车辆检测，得到所述参考帧包括的车辆；
将所述当前帧中每个像素点与所述参考帧中与所述每个像素点对应位置的像素点，在不同色彩通道上分别作差，并对得到的不同色彩通道的差值取均值，得到待处理差值矩阵；
将所述待处理差值矩阵中，所述参考帧包括的车辆和所述当前帧中所述至少一个待测车辆对应的元素替换为零，并对替换后的差值矩阵取绝对值，得到已处理差值矩阵；
计算所述已处理差值矩阵的平均值，得到背景差异值；
在所述背景差异值大于预设差异阈值的情况下，确定所述移动判断结果为移动；
在所述背景差异值不大于所述预设差异阈值的情况下，确定所述移动判断结果为未移动。
在上述方法中，所述针对所述至少一个待测车辆中每个待测车辆，将所述当前帧和所述参考帧中对应同一位置的图像进行拼接，得到所述至少一个待测车辆对应的至少一组拼接图像，包括：
在所述当前帧中，所述至少一个待测车辆的每个待测车辆周围生成一组检测候选框，得到至少一组检测候选框；
从所述参考帧中，分别选取与所述至少一组检测候选框位置一一对应的至少一组匹配候选框；
将所述至少一组检测候选框与所述至少一组匹配候选框中，位置对应的候选框进行拼接，得到所述至少一组拼接图像。
在上述方法中，所述在所述当前帧中，所述至少一个待测车辆的每个待测车辆周围生成一组检测候选框，得到至少一组检测候选框，包括：
在所述当前帧中，第一车辆周围生成第一候选框；所述第一车辆为所述至少一个待测车辆中任一待测车辆；
对所述第一候选框中至少一部分候选框进行缩减；
从缩减后的候选框中选取出满足预设尺寸条件的候选框，与所述第一候选框中未缩减的候选框组成所述第一车辆对应的一组检测候选框。
在上述方法中，所述对所述第一候选框中至少一部分候选框进行缩减，包括：
对所述第一候选框中，位于所述第一车辆下方的候选框，按照预设缩减尺度进行缩减。
在上述方法中，所述对所述第一候选框中至少一部分候选框进行缩减，包括：
缩减所述第一候选框中，与第二车辆周围生成的第二候选框重叠的候选框；其中，所述第二车辆为所述至少一个待测车辆中与所述第一车辆不同的待测车辆。
在上述方法中，所述利用车辆检测模型对当前帧进行车辆检测之前，所述方法还包括：
获取车辆检测样本和预设检测模型；
利用所述车辆检测样本对所述预设检测模型进行车辆检测训练，得到所述车辆检测模型；
所述利用抛洒事件检测模型，针对所述至少一个待测车辆中每个待测车辆，基于所述至少一组拼接图像中对应的一组拼接图像进行抛洒事件检测之前，所述方法还包括：
获取车辆抛洒样本和预设时序差值神经网络；
利用所述车辆抛洒样本对所述预设时序差值神经网络进行车辆抛洒事件检测训练，得到所述抛洒事件检测模型。
本公开实施例提供了一种抛洒事件检测装置，包括：
检测模块，用于利用车辆检测模型对当前帧进行车辆检测，并将检测出的每一个车辆确定为一个待测车辆，得到至少一个待测车辆；
拼接模块，用于获取所述当前帧对应的参考帧，并针对所述至少一个待测车辆中每个待测车辆，将所述当前帧和所述参考帧中对应同一位置的图像进行拼接，得到所述至少一个待测车辆对应的至少一组拼接图像；所述同一位置为所述当前帧和所述参考帧中所述待测车辆周围的位置；
所述检测模块，还用于利用抛洒事件检测模型，针对所述至少一个待测车辆中每个待测车辆，基于所述至少一组拼接图像中对应的一组拼接图像进行抛洒事件检测，得到至少一个抛洒事件检测结果。
在上述装置中，所述拼接模块，具体用于获取采集到所述当前帧之前预设时长内采集到的至少一帧图像；利用所述车辆检测模型，对所述至少一帧图像中每一帧图像分别进行车辆检测，并统计所述每一帧图像检测出的车辆数量；将所述至少一帧图像中检测出的所述车辆数量最少的帧图像确定为所述参考帧。
在上述装置中，所述检测模块，还用于利用所述参考帧对所述当前帧进行疑似抛洒样本判断，得到样本判断结果；
所述检测模块，具体用于在所述样本判断结果为疑似抛洒样本的情况下，利用所述抛洒事件检测模型，基于所述至少一组拼接图像对所述至少一个待测车辆中每个待测车辆进行抛洒事件检测。
在上述装置中，所述检测模块，具体用于将所述当前帧中每个像素点与所述参考帧中与所述每个像素点对应位置的像素点，在不同色彩通道上分别作差后取绝对值，并对得到的不同色彩通道的绝对差值取均值，得到第一差值矩阵；对所述第一差值矩阵进行低通滤波处理，得到第二差值矩阵；对所述第二差值矩阵取均值，得到目标评估均值；在所述目标评估均值大于预设均值阈值的情况下，确定所述样本判断结果为疑似抛洒样本；在所述目标评估均值不大于所述预设均值阈值的情况下，确定所述样本判断结果为非疑似抛洒样本。
在上述装置中，所述检测模块，还用于基于所述当前帧和所述参考帧进行拍摄镜头移动判断，得到移动判断结果；
所述检测模块，具体用于在所述移动判断结果为未移动的情况下，利用所述参考帧对所述当前帧进行疑似抛洒样本判断，得到所述样本判断结果。
在上述装置中，所述检测模块，具体用于利用所述车辆检测模型对所述参考帧进行车辆检测，得到所述参考帧包括的车辆；将所述当前帧中每个像素点与所述参考帧中与所述每个像素点对应位置的像素点，在不同色彩通道上分别作差，并对得到的不同色彩通道的差值取均值，得到待处理差值矩阵；将所述待处理差值矩阵中，所述参考帧包括的车辆和所述当前帧中所述至少一个待测车辆对应的元素替换为零，并对替换后的差值矩阵取绝对值，得到已处理差值矩阵；计算所述已处理差值矩阵的平均值，得到背景差异值；在所述背景差异值大于预设差异阈值的情况下，确定所述移动判断结果为移动；在所述背景差异值不大于所述预设差异阈值的情况下，确定所述移动判断结果为未移动。
在上述装置中，所述拼接模块，具体用于在所述当前帧中，所述至少一个待测车辆中每个待测车辆周围生成一组检测候选框，得到至少一组检测候选框；从所述参考帧中，分别选取与所述至少一组检测候选框位置一一对应的至少一组匹配候选框；将所述至少一组检测候选框与所述至少一组匹配候选框中，位置对应的候选框进行拼接，得到所述至少一组拼接图像。
在上述装置中，所述拼接模块，具体用于在所述当前帧中，第一车辆周围生成第一候选框；所述第一车辆为所述至少一个待测车辆中任一待测车辆；对所述第一候选框中至少一部分候选框进行缩减；从缩减后的候选框中选取出满足预设尺寸条件的候选框，与所述第一候选框中未缩减的候选框组成所述第一车辆对应的一组检测候选框。
在上述装置中，所述拼接模块，具体用于对所述第一候选框中，位于所述第一车辆下方的候选框，按照预设缩减尺度进行缩减。
在上述装置中，所述拼接模块，具体用于缩减所述第一候选框中，与第二车辆周围生成的第二候选框重叠的候选框；其中，所述第二车辆为所述至少一个待测车辆中与所述第一车辆不同的待测车辆。
在上述装置中，还包括训练模块；
所述训练模块，用于获取车辆检测样本和预设检测模型；利用所述车辆检测样本对所述预设检测模型进行车辆检测训练，得到所述车辆检测模型；
以及，获取车辆抛洒样本和预设时序差值神经网络；利用所述车辆抛洒样本对所述预设时序差值神经网络进行车辆抛洒事件检测训练，得到所述抛洒事件检测模型。
本公开实施例提供了一种电子设备，包括：处理器、存储器和通信总线；
所述通信总线，用于实现所述处理器和所述存储器之间的通信连接；
所述处理器，用于执行所述存储器中存储的一个或多个程序，以实现上述抛洒事件检测方法。
本公开实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可以被一个或者多个处理器执行，以实现上述抛洒事件检测方法。
本公开实施例提供了一种抛洒事件检测方法、装置、电子设备及存储介质，方法包括：利用车辆检测模型对当前帧进行车辆检测，并将检测出的每一个车辆确定为一个待测车辆，得到至少一个待测车辆；获取当前帧对应的参考帧，并针对至少一个待测车辆中每个待测车辆，将当前帧和参考帧中对应同一位置的图像进行拼接，得到至少一个待测车辆对应的至少一组拼接图像；同一位置为当前帧和参考帧中待测车辆周围的位置；利用抛洒事件检测模型，针对至少一个待测车辆中每个待测车辆，基于至少一组拼接图像中对应的一组拼接图像进行抛洒事件检测，得到至少一个抛洒事件检测结果。本公开的抛洒事件检测方法，采用车辆检测模型先从图像中进行车辆检测，再利用抛洒事件检测模型，基于车辆对应的拼接图像进行抛洒事件检测，不仅将抛洒事件与具体车辆关联起来，还提高了抛洒事件检测性能。
附图说明
图1为本公开实施例提供的一种抛洒事件检测方法的流程示意图；
图2为本公开实施例提供的一种示例性的预设检测模型的结构示意图；
图3为本公开实施例提供的一种示例性的第一候选框示意图；
图4为本公开实施例提供的一种示例性的拼接图像；
图5为本公开实施例提供的一种抛洒事件检测装置的结构示意图；
图6为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
本公开实施例提供了一种抛洒事件检测方法，其执行主体可以是抛洒事件检测装置，例如，抛洒事件检测方法可以由终端设备或服务器或其它电子设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，抛洒事件检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
图1为本公开实施例提供的一种抛洒事件检测方法的流程示意图。如图1所示，抛洒事件检测方法主要包括以下步骤：
S101、利用车辆检测模型对当前帧进行车辆检测，并将检测出的每一个车辆确定为待测车辆，得到至少一个待测车辆。
在本公开的实施例中，抛洒事件检测装置在获取到当前帧的情况下，可以利用车辆检测模型对当前帧进行车辆检测，并将检测出的每一个车辆确定为待测车辆，得到至少一个待测车辆。
需要说明的是，在本公开的实施例中，抛洒事件检测装置可以包括拍摄镜头，用于实现当前帧的获取，当前帧为当前需要进行抛洒事件检测的帧图像，可以是当前采集到的。此外，拍摄镜头也与抛洒事件检测装置为两个独立的设备，由拍摄镜头将采集到的当前帧传输至抛洒事件检测模型。具体的当前帧的来源本公开实施例不作限定。
需要说明的是，在本公开的实施例中，抛洒事件检测装置中存储有车辆检测模型，其可以对输入的图像进行车辆检测，识别出输入的图像中的车辆。具体的车辆检测模型本公开实施例不作限定。
需要说明的是，在本公开的实施例中，抛洒事件检测装置将当前帧输入车辆检测模块，车辆检测模型可以从当前帧中，针对每一个车辆定位出一个车辆检测框，每个车辆检测框中包含了一个车辆的图像。
需要说明的是，在本公开的实施例中，抛洒事件检测装置在利用车辆检测模型对当前帧进行车辆检测之前，还可以执行以下步骤：获取车辆检测样本和预设检测模型；利用车辆检测样本对预设检测模型进行车辆检测训练，得到车辆检测模型。
可以理解的是，在本公开的实施例中，抛洒事件检测装置获取车辆检测样本，用于进行预设检测模型的训练，从而可以得到精度较高的车辆检测模型，保证车辆检测的准确性。
可以理解的是，在本公开的实施例中，车辆检测模型可以是抛洒事件检测装置利用车辆检测样本对预设检测模型训练后得到的，具体的车辆检测样本和预设检测模型可以根据实际需求设置和选择，本公开实施例不作限定。
图2为本公开实施例提供的一种示例性的预设检测模型的结构示意图。如图2所示，预设检测模型可以包括卷积层、池化层和全连接层等。抛洒事件检测装置可以将车辆检测样本输入预设检测模型，通过不同处理层依次进行处理，从而得到最终的车辆检测结果与预设的标准检测结果进行比较，从而调整预设检测模型中的相关参数，最终得到车辆检测模型。
需要说明的是，在本申请的实施例中，抛洒事件检测装置将当前帧输入车辆检测模型，从而从车辆检测模型输出从当前帧中检测出的每一个车辆，即为待测车辆。具体的待测车辆的数量本公开实施例不作限定。
S102、获取当前帧对应的参考帧，并针对至少一个待测车辆中每个待测车辆，将当前帧和参考帧对应同一位置的图像进行拼接，得到至少一个待测车辆对应的至少一组拼接图像；同一位置为当前帧和参考帧中待测车辆周围的位置。
在本申请的实施例中，抛洒事件检测装置在获取到当前帧的情况下，可以获取当前帧对应的参考帧，从而针对至少一个待测车辆中每个待测车辆，将当前帧和参考帧对应同一位置的图像进行拼接，得到至少一个待测车辆对应的至少一组拼接图像。
具体的，在本公开的实施例中，抛洒事件检测装置获取当前帧对应的参考帧，包括：获取采集到当前帧之间预设时长内采集到的至少一帧图像；利用车辆检测模型，对至少一帧图像中每一帧图像分别进行车辆检测，并统计每一帧图像检测出的车辆数量；将至少一帧图像中检测出的车辆数量最少的帧图像确定为参考帧。
可以理解的是，在本公开的实施例中，抛洒事件检测装置中存储有预设时长，抛洒事件检测装置可以以采集到当前帧的时刻为基准，获取该时刻之间预设时长内采集到的至少一帧图像。具体的预设时长可以根据实际需求和应用场景设定，本公开实施例不作限定。
需要说明的是，在本公开的实施例中，抛洒事件检测装置可以将至少一帧图像中每一帧图像分别输入车辆检测模型，进行车辆检测，从而统计每一帧图像包括的车辆数量，进一步的，将其中车辆数量最少的帧图像作为当前帧对应的参考帧，这是因为，采用车辆数量最少的帧图像作为参考帧，可以最大限度的减少后续进行检测的干扰，避免大量车辆对抛洒物的遮挡，导致无法正确检测抛洒事件等问题。
需要说明的是，在本公开的实施例中，抛洒事件检测装置可以采用上述方式获取当前帧对应参考帧，还可以采用其它方式确定参考帧，例如，将当前帧的前一帧图像确定为参考帧。具体的获取当前帧对应的参考帧的方式可以根据实际需求和应用场景设定，本公开实施例不作限定。
具体的，在本公开的实施例中，抛洒事件检测装置针对至少一个待测车辆中每个待测车辆，将当前帧和参考帧中对应同一位置的图像进行拼接，得到至少一个待测车辆对应的至少一组图像，包括：在当前帧中，至少一个待测车辆中每个待测车辆周围生成一组检测候选框，得到至少一组检测候选框；从参考帧中，分别选取与至少一组检测候选框一一对应的至少一组匹配候选框；将至少一组检测候选框与至少一组匹配候选框中，位置对应的候选框进行拼接，得到至少一组拼接图像。
需要说明的是，在本公开的实施例中，抛洒事件检测装置在当前帧中，至少一个待测车辆中每个待测车辆周围生成一组检测候选框，得到至少一组检测候选框，包括：在当前帧中，第一车辆周围生成第一候选框；第一车辆为至少一个待测车辆中任一待测车辆；对第一候选框中至少一部分候选框进行缩减；从缩减后的候选框中选取出满足预设尺寸条件的候选框，与第一候选框中未缩减的候选框组成第一车辆对应的一组检测候选框。
需要说明的是，在本公开的实施例中，抛洒事件检测装置在当前帧中，第一车辆周围生成第一候选框，实际上就是在包含第一车辆的车辆检测框周围生成第一候选框。
图3为本公开实施例提供的一种示例性的第一候选框示意图。如图3所示，在本公开的实施例中，抛洒事件检测装置可以利用车辆检测模型，从当前帧中中检测出第一车辆，从而定位出包含第一车辆的车辆检测框，该车辆检测框为一个矩形框，抛洒事件检测装置具体在车辆检测框的周围生成12个第一候选框，每个第一候选框也为一个矩形框，其中，位于车辆检测框两侧的第一候选框，宽为车辆检测框的宽的一半，位于车辆检测框上下的第一候选框，长为车辆检测框的长的一半。具体的第一候选框的数量和尺寸可以根据实际需求设定，本公开实施例不作限定。
可以理解的是，在本公开的实施例中，由于在实际进行抛洒事件检测的场景中，检测频率较高，并且，距离待测车辆越远的位置，即使检测到抛洒事件，与待测车辆的关联性也很小，即，很大程度上并非是待测车辆对应的抛洒事件，因此，抛洒事件检测装置仅在包含第一车辆的车辆检测框的周围，按照上述尺寸生成一定数量的候选框，这样，在后续进行抛洒事件检测时，不仅检测效率较高，而且可以避免误检测。
具体的，在本公开的实施例中，抛洒事件检测装置对第一候选框中至少一部分候选框进行缩减，包括：对第一候选框中，位于第一车辆下方的候选框，按照预设缩减尺度进行缩减。
需要说明的是，在本公开的实施例中，抛洒事件检测装置对第一候选框中，位于第一车辆下方的候选框，按照预设缩减尺度进行缩减，可以是对第一候选框中，位于包含第一车辆的车辆检测框下方的候选框，长宽分别缩减10％，其形状不变。当然，具体的缩减程度可以根据实际需求和应用场景设定，本公开实施例不作限定。
可以理解的是，在本公开的实施例中，包含第一车辆的车辆检测框，其底部实际上已经距离第一车辆车体底部存在一定距离，而距离车辆检测框较远的位置进行抛洒事件检测，实际上与第一车辆之间不具备关联性，因此，抛洒事件检测装置可以适当的将车辆检测框下方的候选框进行尺寸缩减，从而避免误检。
具体的，在本公开的实施例中，抛洒事件检测装置对第一候选框中至少一部分候选框进行缩减，包括：缩减第一候选框中，与第二车辆周围生成的第二候选框重叠的候选框；其中，第二车辆为至少一个待测车辆中与第一车辆不同的待测车辆。
可以理解的是，在本公开的实施例中，对于不同待测车辆周围，也就是包含不同待测车辆的车辆检测框周围，抛洒事件检测装置均可以在周围生成对应的候选框，不同的车辆检测框周围的候选框可能存在重叠，在重叠区域检测到抛洒事件，实际上是难以准确区分对应的待测车辆，因此，抛洒事件检测装置缩减第一候选框中，与其它待测车辆周围生成的候选框重叠的候选框，从而后续进行检测可以避免误检，得到最优的检测结果。
具体的，在本公开的实施例中，在本公开的实施例中，抛洒事件检测装置对第一候选框中至少一部分候选框进行缩减，还可以包括：对第一候选框中，位于第一车辆下方的候选框，按照预设缩减尺度进行缩减，以及，缩减第一候选框中，与第二车辆周围生成的第二候选框重叠的候选框；其中，第二车辆为至少一个待测车辆中与第一车辆不同的待测车辆。
可以理解的是，在本公开的实施例中，抛洒事件检测装置可以采用上述两种缩减候选框的方式中任意一种，进行候选框缩减，当然，抛洒事件检测装置还可以同时采用上述两种缩减候选框的方式进行候选框缩减，本公开实施例不作限定。
需要说明的是，在本公开的实施例中，抛洒事件检测装置从缩减后的候选框中，选取出尺寸满足预设尺寸条件的每一个候选框，与第一候选框中未缩减的候选框组成第一车辆对应的一组检测候选框。具体的预设尺寸条件，可以包括预设长度、预设宽度，以及预设长宽比等，本公开实施例不作限定。
需要说明的是，在本公开的实施例中，抛洒事件检测装置对于至少一个待测车辆中每个待测车辆均生成一组检测候选框，针对于每一组检测候选框中每个候选框，均可以从参考帧中获取位置对应的候选框，从而组成对应的一组匹配候选框。
需要说明的是，在本公开的实施例中，抛洒事件检测装置在获得每个待测车辆对应的一组检测候选框和一组匹配候选框之后，对于每个待测车辆，可以将其对应的一组检测候选框中每个候选框，与其对应的一组匹配候选框中位置对应的候选框拼接，得到该位置相应的一个拼接图像。
图4为本公开实施例提供的一种示例性的拼接图像。如图4所示，该拼接图像左右分别为当前帧和参考帧中同一位置的候选框，两者可以实现拼接，从而得到拼接图像。
S103、利用抛洒事件检测模型，针对至少一个待测车辆中每个待测车辆，基于至少一组拼接图像中对应的一组拼接图像进行抛洒事件检测，得到至少一个抛洒事件检测结果。
在本公开的实施例中，抛洒事件检测装置在获得至少一个待测车辆对应的至少一组拼接图像的情况下，即可利用抛洒事件检测模型，基于至少一组拼接图像对至少一个待测车辆进行抛洒事件检测，得到至少一个抛洒事件检测结果。
需要说明的是，在本公开的实施例中，抛洒事件检测装置利用抛洒事件检测模型，针对至少一个待测车辆中每个待测车辆，基于至少一组拼接图像中对应的一组拼接图像进行抛洒事件检测之前，还可以执行以下步骤：获取车辆抛洒样本和预设时序差值神经网络；利用车辆抛洒样本对预设时序差值神经网络进行车辆抛洒事件检测训练，得到抛洒事件检测模型。
可以理解的是，在本公开的实施例中，抛洒事件检测装置获取车辆抛洒样本，用于进行预设时序差值神经网络的训练，从而可以得到精度较高的抛洒事件检测模型，保证抛洒事件检测的准确性。此外，抛洒事件检测模型本质上为一个已训练的时序差值神经网络，该网络可以从拼接图像中获得同一位置，不同时间的图像信息，从而可以准确进行抛洒事件检测，简单且高效。
可以理解的是，在本公开的实施例中，抛洒事件检测模型可以是抛洒事件检测装置利用车辆抛洒样本对预设时序差值神经网络训练后得到的，具体的车辆抛洒样本和预设时序差值神经网络的结构可以根据实际需求设置和选择，本公开实施例不作限定。
需要说明的是，在本公开的实施例中，抛洒事件检测装置在获取到一个待测车辆对应的一组拼接图像之后，可以将其输入抛洒事件检测模型，针对该组拼接图像组中的每个图像拼接的两部分进行差异比较，输出差异分数，即可根据差异分数确定出该待测车辆是否存在抛洒事件，例如，在差异分数超过预设差异阈值时，确定该待测车辆存在抛洒事件，在差异分数小于预设差异阈值时，确定该待测车辆不存在抛洒事件。
需要说明的是，在本公开的实施例中，抛洒事件检测装置在执行步骤S103之前，即利用抛洒事件检测模型，基于至少一组拼接图像对至少一个待测车辆中每个待测车辆进行抛洒事件检测之前，还可以执行以下步骤：利用参考帧对当前帧进行疑似抛洒样本判断，得到样本判断结果。抛洒事件检测装置利用抛洒事件检测模型，基于至少一组拼接图像对至少一个待测车辆中每个待测车辆进行抛洒事件检测，可以包括：在样本判断结果为疑似抛洒样本的情况下，利用抛洒事件检测模型，基于至少一组拼接图像对至少一个待测车辆中每个待测车辆进行抛洒事件检测。
具体的，在本公开的实施例中，抛洒事件检测装置利用参考帧对当前帧进行疑似抛洒样本判断，得到样本判断结果，包括：将当前帧中每个像素点与参考帧中与每个像素点对应位置的像素点，在不同色彩通道上分别作差后取绝对值，并对得到的不同色彩通道的绝对差值取均值，得到第一差值矩阵；对第一差值矩阵进行低通滤波处理，得到第二差值矩阵；对第二差值矩阵取均值，得到目标评估均值；在目标评估均值大于预设均值阈值的情况下，确定样本判断结果为疑似抛洒样本；在目标评估均值不大于预设均值阈值的情况下，确定样本判断结果为非疑似抛洒样本。
需要说明的是，在本公开的实施例中，抛洒事件检测装置可以将当前帧中每个像素点，与参考帧中对应位置的像素点，在RGB通道上分别作差后取绝对值，并进一步在RGB通道取均值，从而得到第一差值矩阵。之后，抛洒事件检测装置在第一差值矩阵上进行低通滤波后取均值，得到目标评估均值。如果目标评估均值大于预设均值阈值，即样本判断结果为疑似抛洒样本，即表征当前帧与参考帧整体图像信息差异较大，因此，当前帧包括的待测车辆很可能存在抛洒事件，即可以执行步骤S103。如果目标评估均值不大于预设均值阈值，即样本判断结果为非疑似抛洒样本，则表征当前帧与参考帧整体图像信息基本一致，因此，当前帧包括的待测车辆大概率不存在抛洒事件，后续抛洒事件检测装置可以不对待测车辆进行抛洒事件检测，即可以不执行步骤S103，避免不必要的检测，从而提高检测效率，降低抛洒事件检测装置的功耗。
需要说明的是，在本公开的实施例中，抛洒事件检测装置利用参考帧对当前帧进行疑似抛洒样本检测，得到样本判断结果之前，还可以执行以下步骤：基于当前帧和参考帧进行拍摄镜头移动判断，得到移动判断结果。抛洒事件检测装置利用参考帧对当前帧进行疑似抛洒样本判断，得到样本判断结果，包括：在移动判断结果为未移动的情况下，利用参考帧对当前帧进行疑似抛洒样本判断，得到样本判断结果。
具体的，在本公开的实施例中，抛洒事件检测装置基于当前帧和参考帧进行拍摄镜头移动判断，得到移动判断结果，包括：利用车辆检测模型对参考帧进行车辆检测，得到参考帧包括的车辆；将当前帧中每个像素点与参考帧中与每个像素点对应位置的像素点，在不同色彩通道上分别作差，并对得到的不同色彩通道的差值取均值，得到待处理差值矩阵；将待处理差值矩阵中，参考帧包括的车辆和当前帧中至少一个待测车辆对应的元素替换为零，并对替换后的差值矩阵取绝对值，得到已处理差值矩阵；计算已处理差值矩阵的平均值，得到背景差异值；在背景差异值大于预设差异阈值的情况下，确定移动判断结果为移动；在背景差异值不大于预设差异阈值的情况下，确定移动判断结果为未移动。
需要说明的是，在本公开的实施例中，抛洒事件检测装置可以将当前帧中每个像素点，与参考帧中对应位置的像素点，在RGB通道上分别作差，并进一步在RGB通道取均值，从而得到待处理差值矩阵。由于判断拍摄镜头移动是基于图像背景的差异，因此，将待处理差值矩阵中两帧图像对应的元素替换为零，并进一步取绝对值，从而得到已处理差值矩阵，最后进行已处理差值矩阵的均值计算，得到背景差异值。如果背景差异值大于预设差异阈值，即移动判断结果为移动，则表征拍摄镜头采集当前帧和参考帧时并非处于同一位置，拍摄镜头在采集当前帧和参考帧的过程中出现移动，参考帧与当前帧并非不同时刻同一位置的图像，因此，不能利用该参考帧进行后续抛洒事件检测。如果背景差异值不大于预设差异阈值，即移动判断结果为未移动，则表征拍摄镜头采集当前帧和参考帧时处于同一位置，拍摄镜头在采集当前帧和参考帧的过程中未移动，参考帧与当前帧为不同时刻同一位置的图像，因此，可以利用该参考帧进行后续抛洒事件检测，从而提高检测效率。
需要说明的是，在本公开的实施例中，抛洒事件检测装置中存储有预设差异阈值，用于衡量参考帧和当前帧的背景差异程度。具体的预设差异阈值可以根据实际需求和应用场景设定，本公开实施例不作限定。
需要说明的是，在本公开的实施例中，抛洒事件检测装置可以采用上述方式进行拍摄镜头移动判断，还可以采用其它方式进行判断，例如，从当前帧和参考帧中分别对应选取四个边角位置的图像区域进行差异比较。具体的拍摄镜头移动判断方式本公开实施例不作限定。
本公开实施例提供了一种抛洒事件检测方法，包括：利用车辆检测模型对当前帧进行车辆检测，并将检测出的每一个车辆确定为一个待测车辆，得到至少一个待测车辆；获取当前帧对应的参考帧，并针对至少一个待测车辆中每个待测车辆，将当前帧和参考帧中对应同一位置的图像进行拼接，得到至少一个待测车辆对应的至少一组拼接图像；同一位置为当前帧和参考帧中待测车辆周围的位置；利用抛洒事件检测模型，针对至少一个待测车辆中每个待测车辆，基于至少一组拼接图像中对应的一组拼接图像进行抛洒事件检测，得到至少一个抛洒事件检测结果。本公开的抛洒事件检测方法，采用车辆检测模型先从图像中进行车辆检测，再利用抛洒事件检测模型，基于车辆对应的拼接图像进行抛洒事件检测，不仅将抛洒事件与具体车辆关联起来，还提高了抛洒事件检测性能。
本公开实施例还提供了一种抛洒事件检测装置。图5为本公开实施例提供的一种抛洒事件检测装置的结构示意图。如图5所示，抛洒事件检测装置包括：
检测模块501，用于利用车辆检测模型对当前帧进行车辆检测，并将检测出的每一个车辆确定为一个待测车辆，得到至少一个待测车辆；
拼接模块502，用于获取所述当前帧对应的参考帧，并针对所述至少一个待测车辆中每个待测车辆，将所述当前帧和所述参考帧中对应同一位置的图像进行拼接，得到所述至少一个待测车辆对应的至少一组拼接图像；所述同一位置为所述当前帧和所述参考帧中所述待测车辆周围的位置；
所述检测模块501，还用于利用抛洒事件检测模型，阵对所述至少一个待测车辆中每个待测车辆，基于所述至少一组拼接图像中对应的一组拼接图像进行抛洒事件检测，得到至少一个抛洒事件检测结果。
在本公开一实施例中，所述拼接模块502，具体用于获取采集到所述当前帧之前预设时长内采集到的至少一帧图像；利用所述车辆检测模型，对所述至少一帧图像中每一帧图像分别进行车辆检测，并统计所述每一帧图像检测出的车辆数量；将所述至少一帧图像中检测出的所述车辆数量最少的帧图像确定为所述参考帧。
在本公开一实施例中，所述检测模块501，还用于利用所述参考帧对所述当前帧进行疑似抛洒样本判断，得到样本判断结果；
所述检测模块501，具体用于在所述样本判断结果为疑似抛洒样本的情况下，利用所述抛洒事件检测模型，基于所述至少一组拼接图像对所述至少一个待测车辆中每个待测车辆进行抛洒事件检测。
在本公开一实施例中，所述检测模块501，具体用于将所述当前帧中每个像素点与所述参考帧中与所述每个像素点对应位置的像素点，在不同色彩通道上分别作差后取绝对值，并对得到的不同色彩通道的绝对差值取均值，得到第一差值矩阵；对所述第一差值矩阵进行低通滤波处理，得到第二差值矩阵；对所述第二差值矩阵取均值，得到目标评估均值；在所述目标评估均值大于预设均值阈值的情况下，确定所述样本判断结果为疑似抛洒样本；在所述目标评估均值不大于所述预设均值阈值的情况下，确定所述样本判断结果为非疑似抛洒样本。
在本公开一实施例中，所述检测模块501，还用于基于所述当前帧和所述参考帧进行拍摄镜头移动判断，得到移动判断结果；
所述检测模块501，具体用于在所述移动判断结果为未移动的情况下，利用所述参考帧对所述当前帧进行疑似抛洒样本判断，得到所述样本判断结果。
在本公开一实施例中，所述检测模块501，具体用于利用所述车辆检测模型对所述参考帧进行车辆检测，得到所述参考帧包括的车辆；将所述当前帧中每个像素点与所述参考帧中与所述每个像素点对应位置的像素点，在不同色彩通道上分别作差，并对得到的不同色彩通道的差值取均值，得到待处理差值矩阵；将所述待处理差值矩阵中，所述参考帧包括的车辆和所述当前帧中所述至少一个待测车辆对应的元素替换为零，并对替换后的差值矩阵取绝对值，得到已处理差值矩阵；计算所述已处理差值矩阵的平均值，得到背景差异值；在所述背景差异值大于预设差异阈值的情况下，确定所述移动判断结果为移动；在所述背景差异值不大于所述预设差异阈值的情况下，确定所述移动判断结果为未移动。
在本公开一实施例中，所述拼接模块502，具体用于在所述当前帧中，所述至少一个待测车辆中每个待测车辆周围生成一组检测候选框，得到至少一组检测候选框；从所述参考帧中，分别选取与所述至少一组检测候选框位置一一对应的至少一组匹配候选框；将所述至少一组检测候选框与所述至少一组匹配候选框中，位置对应的候选框进行拼接，得到所述至少一组拼接图像。
在本公开一实施例中，所述拼接模块502，具体用于在所述当前帧中，第一车辆周围生成第一候选框；所述第一车辆为所述至少一个待测车辆中任一待测车辆；对所述第一候选框中至少一部分候选框进行缩减；从缩减后的候选框中选取出满足预设尺寸条件的候选框，与所述第一候选框中未缩减的候选框组成所述第一车辆对应的一组检测候选框。
在上述装置中，所述拼接模块502，具体用于对所述第一候选框中，位于所述第一车辆下方的候选框，按照预设缩减尺度进行缩减。
在上述装置中，所述拼接模块502，具体用于缩减所述第一候选框中，与第二车辆周围生成的第二候选框重叠的候选框；其中，所述第二车辆为所述至少一个待测车辆中与所述第一车辆不同的待测车辆。
在本公开一实施例中，抛洒事件检测装置还包括训练模块(图中未示出)；
所述训练模块，用于获取车辆检测样本和预设检测模型；利用所述车辆检测样本对所述预设检测模型进行车辆检测训练，得到所述车辆检测模型；
以及，获取车辆抛洒样本和预设时序差值神经网络；利用所述车辆抛洒样本对所述预设时序差值神经网络进行车辆抛洒事件检测训练，得到所述抛洒事件检测模型。
本公开实施例还提供了一种电子设备。图6为本公开实施例提供的一种电子设备的结构示意图。如图6所示，电子设备包括：处理器601、存储器602和通信总线603；
所述通信总线603，用于实现所述处理器601和所述存储器602之间的通信连接；
所述处理器601，用于执行所述存储器602中存储的一个或多个程序，以实现上述抛洒事件检测方法。
本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可以被一个或者多个处理器执行，以实现上述抛洒事件检测方法。计算机可读存储介质可以是是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatilememory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；也可以是包括上述存储器之一或任意组合的各自设备，如移动电话、计算机、平板设备、个人数字助理等。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程信号处理设备的处理器以产生一个机器，使得通过计算机或其他可编程信号处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程信号处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程信号处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本公开的较佳实施例而已，并非用于限定本公开的保护范围。

Claims (14)

1.一种抛洒事件检测方法，其特征在于，所述方法包括：
利用车辆检测模型对当前帧进行车辆检测，并将检测出的每一个车辆确定为一个待测车辆，得到至少一个待测车辆；
获取所述当前帧对应的参考帧，并针对所述至少一个待测车辆中每个待测车辆，将所述当前帧和所述参考帧中对应同一位置的图像进行拼接，得到所述至少一个待测车辆对应的至少一组拼接图像；所述同一位置为所述当前帧和所述参考帧中所述待测车辆周围的位置；
利用抛洒事件检测模型，针对所述至少一个待测车辆中每个待测车辆，基于所述至少一组拼接图像中对应的一组拼接图像进行抛洒事件检测，得到至少一个抛洒事件检测结果。
2.根据权利要求1所述的方法，其特征在于，所述获取所述当前帧对应的参考帧，包括：
获取采集到所述当前帧之前预设时长内采集到的至少一帧图像；
利用所述车辆检测模型，对所述至少一帧图像中每一帧图像分别进行车辆检测，并统计所述每一帧图像检测出的车辆数量；
将所述至少一帧图像中检测出的所述车辆数量最少的帧图像确定为所述参考帧。
3.根据权利要求1所述的方法，其特征在于，所述利用抛洒事件检测模型，基于所述至少一组拼接图像对所述至少一个待测车辆中每个待测车辆进行抛洒事件检测之前，所述方法还包括：
利用所述参考帧对所述当前帧进行疑似抛洒样本判断，得到样本判断结果；
所述利用抛洒事件检测模型，基于所述至少一组拼接图像对所述至少一个待测车辆中每个待测车辆进行抛洒事件检测，包括：
在所述样本判断结果为疑似抛洒样本的情况下，利用所述抛洒事件检测模型，基于所述至少一组拼接图像对所述至少一个待测车辆中每个待测车辆进行抛洒事件检测。
4.根据权利要求3所述的方法，其特征在于，所述利用所述参考帧对所述当前帧进行疑似抛洒样本判断，得到样本判断结果，包括：
将所述当前帧中每个像素点与所述参考帧中与所述每个像素点对应位置的像素点，在不同色彩通道上分别作差后取绝对值，并对得到的不同色彩通道的绝对差值取均值，得到第一差值矩阵；
对所述第一差值矩阵进行低通滤波处理，得到第二差值矩阵；
对所述第二差值矩阵取均值，得到目标评估均值；
在所述目标评估均值大于预设均值阈值的情况下，确定所述样本判断结果为疑似抛洒样本；
在所述目标评估均值不大于所述预设均值阈值的情况下，确定所述样本判断结果为非疑似抛洒样本。
5.根据权利要求3所述的方法，其特征在于，所述利用所述参考帧对所述当前帧进行疑似抛洒样本判断，得到样本判断结果之前，所述方法还包括；
基于所述当前帧和所述参考帧进行拍摄镜头移动判断，得到移动判断结果；
所述利用所述参考帧对所述当前帧进行疑似抛洒样本判断，得到样本判断结果，包括：
在所述移动判断结果为未移动的情况下，利用所述参考帧对所述当前帧进行疑似抛洒样本判断，得到所述样本判断结果。
6.根据权利要求5所述的方法，其特征在于，所述基于所述当前帧和所述参考帧进行拍摄镜头移动判断，得到移动判断结果，包括：
利用所述车辆检测模型对所述参考帧进行车辆检测，得到所述参考帧包括的车辆；
将所述当前帧中每个像素点与所述参考帧中与所述每个像素点对应位置的像素点，在不同色彩通道上分别作差，并对得到的不同色彩通道的差值取均值，得到待处理差值矩阵；
将所述待处理差值矩阵中，所述参考帧包括的车辆和所述当前帧中所述至少一个待测车辆对应的元素替换为零，并对替换后的差值矩阵取绝对值，得到已处理差值矩阵；
计算所述已处理差值矩阵的平均值，得到背景差异值；
在所述背景差异值大于预设差异阈值的情况下，确定所述移动判断结果为移动；
在所述背景差异值不大于所述预设差异阈值的情况下，确定所述移动判断结果为未移动。
7.根据权利要求1所述的方法，其特征在于，所述针对所述至少一个待测车辆中每个待测车辆，将所述当前帧和所述参考帧中对应同一位置的图像进行拼接，得到所述至少一个待测车辆对应的至少一组拼接图像，包括：
在所述当前帧中，所述至少一个待测车辆的每个待测车辆周围生成一组检测候选框，得到至少一组检测候选框；
从所述参考帧中，分别选取与所述至少一组检测候选框位置一一对应的至少一组匹配候选框；
将所述至少一组检测候选框与所述至少一组匹配候选框中，位置对应的候选框进行拼接，得到所述至少一组拼接图像。
8.根据权利要求7所述的方法，其特征在于，所述在所述当前帧中，所述至少一个待测车辆的每个待测车辆周围生成一组检测候选框，得到至少一组检测候选框，包括：
在所述当前帧中，第一车辆周围生成第一候选框；所述第一车辆为所述至少一个待测车辆中任一待测车辆；
对所述第一候选框中至少一部分候选框进行缩减；
从缩减后的候选框中选取出满足预设尺寸条件的候选框，与所述第一候选框中未缩减的候选框组成所述第一车辆对应的一组检测候选框。
9.根据权利要求8所述的方法，其特征在于，所述对所述第一候选框中至少一部分候选框进行缩减，包括：
对所述第一候选框中，位于所述第一车辆下方的候选框，按照预设缩减尺度进行缩减。
10.根据权利要求8所述的方法，其特征在于，所述对所述第一候选框中至少一部分候选框进行缩减，包括：
缩减所述第一候选框中，与第二车辆周围生成的第二候选框重叠的候选框；其中，所述第二车辆为所述至少一个待测车辆中与所述第一车辆不同的待测车辆。
11.根据权利要求1所述的方法，其特征在于，所述利用车辆检测模型对当前帧进行车辆检测之前，所述方法还包括：
获取车辆检测样本和预设检测模型；
利用所述车辆检测样本对所述预设检测模型进行车辆检测训练，得到所述车辆检测模型；
所述利用抛洒事件检测模型，针对所述至少一个待测车辆中每个待测车辆，基于所述至少一组拼接图像中对应的一组拼接图像进行抛洒事件检测之前，所述方法还包括：
获取车辆抛洒样本和预设时序差值神经网络；
利用所述车辆抛洒样本对所述预设时序差值神经网络进行车辆抛洒事件检测训练，得到所述抛洒事件检测模型。
12.一种抛洒事件检测装置，其特征在于，包括：
检测模块，用于利用车辆检测模型对当前帧进行车辆检测，并将检测出的每一个车辆确定为一个待测车辆，得到至少一个待测车辆；
拼接模块，用于获取所述当前帧对应的参考帧，并针对所述至少一个待测车辆中每个待测车辆，将所述当前帧和所述参考帧中对应同一位置的图像进行拼接，得到所述至少一个待测车辆对应的至少一组拼接图像；所述同一位置为所述当前帧和所述参考帧中所述待测车辆周围的位置；
所述检测模块，还用于利用抛洒事件检测模型，针对所述至少一个待测车辆中每个待测车辆，基于所述至少一组拼接图像中对应的一组拼接图像进行抛洒事件检测，得到至少一个抛洒事件检测结果。
13.一种电子设备，其特征在于，包括：处理器、存储器和通信总线；
所述通信总线，用于实现所述处理器和所述存储器之间的通信连接；
所述处理器，用于执行所述存储器中存储的一个或多个程序，以实现权利要求1-11任一项所述的抛洒事件检测方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可以被一个或者多个处理器执行，以实现权利要求1-11任一项所述的抛洒事件检测方法。
CN202110483379.6A 2021-04-30 2021-04-30 抛洒事件检测方法、装置、电子设备及存储介质 Active CN113191270B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110483379.6A CN113191270B (zh) 2021-04-30 2021-04-30 抛洒事件检测方法、装置、电子设备及存储介质
PCT/CN2021/133487 WO2022227548A1 (zh) 2021-04-30 2021-11-26 抛洒事件检测方法、装置、电子设备、存储介质及计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110483379.6A CN113191270B (zh) 2021-04-30 2021-04-30 抛洒事件检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113191270A CN113191270A (zh) 2021-07-30
CN113191270B true CN113191270B (zh) 2022-11-11

Family

ID=76983353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110483379.6A Active CN113191270B (zh) 2021-04-30 2021-04-30 抛洒事件检测方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN113191270B (zh)
WO (1) WO2022227548A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191270B (zh) * 2021-04-30 2022-11-11 北京市商汤科技开发有限公司 抛洒事件检测方法、装置、电子设备及存储介质
CN115546704B (zh) * 2022-11-28 2023-02-17 城云科技（中国）有限公司 一种车辆抛洒物识别方法、装置及应用

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106297278A (zh) * 2015-05-18 2017-01-04 杭州海康威视数字技术股份有限公司 一种用于查询抛洒物车辆的方法和系统
CN110991466A (zh) * 2019-11-21 2020-04-10 同济大学 一种基于新型视觉传感设备的高速公路路面状况检测系统
CN111507237A (zh) * 2020-04-13 2020-08-07 北京巨视科技有限公司 一种应用在高速公路上基于视频的异常事件检测方法与装置
CN111753612A (zh) * 2019-09-11 2020-10-09 上海高德威智能交通系统有限公司 一种抛洒物检测方法、装置及存储介质
CN112560546A (zh) * 2019-09-10 2021-03-26 杭州海康威视数字技术股份有限公司 抛洒行为检测方法、装置及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10325165B2 (en) * 2014-09-30 2019-06-18 Conduent Business Services, Llc Vision-based on-street parked vehicle detection via normalized-view classifiers and temporal filtering
US10254763B2 (en) * 2016-12-29 2019-04-09 Intel Corporation Detection of traffic dynamics and road changes in autonomous driving
CN109886219A (zh) * 2019-02-26 2019-06-14 中兴飞流信息科技有限公司 抛洒物检测方法、装置及计算机可读存储介质
CN110889371B (zh) * 2019-11-26 2022-06-07 浙江大华技术股份有限公司 一种渣土车抛洒检测的方法及装置
CN111274982B (zh) * 2020-02-04 2023-04-07 浙江大华技术股份有限公司 抛洒物的识别方法、装置及存储介质
CN111797727B (zh) * 2020-06-18 2023-04-07 浙江大华技术股份有限公司 一种检测路面抛洒物的方法、装置及存储介质
CN113191270B (zh) * 2021-04-30 2022-11-11 北京市商汤科技开发有限公司 抛洒事件检测方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106297278A (zh) * 2015-05-18 2017-01-04 杭州海康威视数字技术股份有限公司 一种用于查询抛洒物车辆的方法和系统
CN112560546A (zh) * 2019-09-10 2021-03-26 杭州海康威视数字技术股份有限公司 抛洒行为检测方法、装置及存储介质
CN111753612A (zh) * 2019-09-11 2020-10-09 上海高德威智能交通系统有限公司 一种抛洒物检测方法、装置及存储介质
CN110991466A (zh) * 2019-11-21 2020-04-10 同济大学 一种基于新型视觉传感设备的高速公路路面状况检测系统
CN111507237A (zh) * 2020-04-13 2020-08-07 北京巨视科技有限公司 一种应用在高速公路上基于视频的异常事件检测方法与装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Abandoned Object Detection in Video-Surveillance:Survey and Comparison;Elena Luna等;《sensors》;20181205;第1-32页 *
基于帧间差分自适应法的车辆抛洒物检测;李清瑶等;《长春理工大学学报(自然科学版)》;20180815(第04期);第112-117页 *
高速公路抛洒物事件图像检测算法;汪贵平等;《长安大学学报(自然科学版)》;20170915(第05期);第85-92页 *

Also Published As

Publication number Publication date
CN113191270A (zh) 2021-07-30
WO2022227548A1 (zh) 2022-11-03

Similar Documents

Publication Publication Date Title
CN113191270B (zh) 抛洒事件检测方法、装置、电子设备及存储介质
CN112329719B (zh) 行为识别方法、装置以及计算机可读存储介质
CN111368587B (zh) 场景检测方法、装置、终端设备及计算机可读存储介质
WO2023025010A1 (zh) 频闪条带信息识别方法、装置和电子设备
CN111582032A (zh) 行人检测方法、装置、终端设备及存储介质
CN103810696A (zh) 一种目标对象图像检测方法及装置
CN111444555B (zh) 一种测温信息显示方法、装置及终端设备
CN114897762B (zh) 一种煤矿工作面采煤机自动定位方法及装置
CN113256683B (zh) 目标跟踪方法及相关设备
CN114170565A (zh) 一种基于无人机航拍的图像对比方法、装置及终端设备
CN115690747B (zh) 车辆盲区检测模型测试方法、装置、电子设备及存储介质
CN117132768A (zh) 车牌及人脸检测和脱敏方法、装置、电子设备和存储介质
CN111160340B (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN116681677A (zh) 一种锂电池缺陷检测方法、装置及系统
CN113409317B (zh) 缺陷检测方法、电子装置、装置及计算机可读存储介质
CN112016514B (zh) 一种交通标志识别方法、装置、设备及储存介质
CN113553950A (zh) 一种异常事件检测方法、装置、电子设备及存储介质
CN114841255A (zh) 检测模型的训练方法、装置、设备、存储介质及程序产品
CN116363542A (zh) 到离岗事件检测方法、装置、设备及计算机可读存储介质
CN109781008B (zh) 一种距离测量方法、装置、设备及介质
CN113393494A (zh) 模型训练及目标跟踪方法、装置、电子设备和存储介质
CN112508891A (zh) 基于手机的ai智能识别缺陷的磁粉探伤系统及其方法
CN113379747B (zh) 木材的缺陷检测方法、电子装置、装置及存储介质
CN113538900B (zh) 停车场中车辆逆向行驶检测方法
CN111080576B (zh) 一种关键点检测方法及装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40051319

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant