CN112800860A - 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统 - Google Patents

一种事件相机和视觉相机协同的高速抛撒物检测方法和系统 Download PDF

Info

Publication number
CN112800860A
CN112800860A CN202110023238.6A CN202110023238A CN112800860A CN 112800860 A CN112800860 A CN 112800860A CN 202110023238 A CN202110023238 A CN 202110023238A CN 112800860 A CN112800860 A CN 112800860A
Authority
CN
China
Prior art keywords
camera
event
objects
time
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110023238.6A
Other languages
English (en)
Other versions
CN112800860B (zh
Inventor
徐庶
刘庆杰
戚后林
马金艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETHIK Group Ltd
Original Assignee
CETHIK Group Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETHIK Group Ltd filed Critical CETHIK Group Ltd
Priority to CN202110023238.6A priority Critical patent/CN112800860B/zh
Publication of CN112800860A publication Critical patent/CN112800860A/zh
Application granted granted Critical
Publication of CN112800860B publication Critical patent/CN112800860B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种事件相机和视觉相机协同的高速抛撒物检测方法和系统，方法包括：基于事件相机获取高速公路的监控场景下的事件流数据；对所获取的事件流数据进行车辆的抛撒物异常行为检测，得到抛撒物在监控场景中的空间坐标信息和抛撒时间信息；根据得到的空间坐标信息和抛撒时间信息，获取视觉相机中在对应坐标和时间的RGB图像；将RGB图像输入预训练的检测模型中，若检测模型输出为非抛物类型，则本次检测到的抛撒物异常行为为非抛撒物行为，不保存抛撒物的轨迹；否则本次检测到的抛撒物异常行为为抛撒物行为，提取抛撒物的轨迹并保存。本发明的事件相机和视觉相机协同的高速抛撒物检测方法和系统，抛撒物检测准确率高。

Description

一种事件相机和视觉相机协同的高速抛撒物检测方法和系统
技术领域
本申请属于智慧交通领域，具体涉及一种事件相机和视觉相机协同的高速抛撒物检测方法和系统。
背景技术
随着人们生活水平的提高，高速公路的车辆也日渐增多，与之相对应的是高速公路抛撒物事件频发，这给司乘人员及拾取人员带来严重的安全隐患，经常诱发交通事故。因此，对高速公路抛撒物进行实时、准确地检测，成为智慧交通领域一个很有价值且亟待解决的问题。
视觉相机(传统相机)即普通基于帧的高清RGB监控相机(Traditional Frame-based Camera)，输出一般为25帧图像帧，包含丰富的纹理和细节信息，在计算机视觉领域应用广泛，有助于辅助事件相机进行最终的识别确认。
当前主流抛撒物事件检测方法多为采用传统RGB相机，结合目标检测算法，应用于抛撒物事件检测问题，如专利号为CN111274982A的专利文献公开的抛撒物的识别方法、装置及存储介质，又如专利号为CN111127507A的专利文献公开的一种抛撒物的确定方法和系统，再如专利号为CN109886219A的专利文献公开的抛撒物检测方法、装置及计算机可读存储介质等。但是这类基于传统的视觉帧图像方式存在以下问题：
1)视觉相机帧率有限，无法完整捕获高速运动目标的完整轨迹；
2)视觉相机在目标高速移动过程中，捕获图像存在模糊现象，影响分析判断准确率；
3)基于视觉帧图像+深度学习方案，需要逐帧逐像素卷积运算，资源消耗高，且不同环境下(如白天、夜晚，雨天等)依赖大量训练样本，泛化能力不强。
发明内容
本申请的目的在于提供一种事件相机和视觉相机协同的高速抛撒物检测方法和系统，抛撒物检测准确率高。
为实现上述目的，本申请所采取的技术方案为：
一种事件相机和视觉相机协同的高速抛撒物检测方法，所述事件相机和视觉相机保持同步的时间轴以及配准的监控场景，所述事件相机和视觉相机协同的高速抛撒物检测方法，包括：
步骤S1、基于事件相机获取高速公路的监控场景下的事件流数据；
步骤S2、对所获取的事件流数据进行车辆的抛撒物异常行为检测，得到抛撒物在监控场景中的空间坐标信息和抛撒时间信息；
步骤S3、根据得到的空间坐标信息和抛撒时间信息，获取视觉相机中在对应坐标和时间的RGB图像；
步骤S4、将所述RGB图像输入预训练的检测模型中，若检测模型输出为非抛物类型，则本次检测到的抛撒物异常行为为非抛撒物行为，不保存抛撒物的轨迹；否则本次检测到的抛撒物异常行为为抛撒物行为，提取抛撒物的轨迹并保存。
以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。
作为优选，所述步骤S2，对所获取的事件流数据进行车辆的抛撒物异常行为检测，得到抛撒物在监控场景中的空间坐标信息和抛撒时间信息，包括：
步骤S21、对所获取的事件流数据进行自适应去噪；
步骤S22、对去噪后的事件流数据进行网格化表征，得到网格图像；
步骤S23、基于网格图像进行稠密光流计算得到光流估计图；
步骤S24、利用光流估计图中的角度和方向矩阵，采用DBSCAN基于密度的聚类算法获得运动目标聚类中心以及其边界范围；
步骤S25、利用Kalman Filter预测算法和匈牙利匹配算法，计算得到运动目标的运动轨迹，输出抛撒物当前的空间坐标位置和抛撒时间信息。
作为优选，所述步骤S22，对去噪后的事件流数据进行网格化表征，得到网格图像，包括：
所述网格图像为三通道网格图像，则对去噪后的事件流数据进行网格化表征包括：
构建三通道网格图像的第一通道：选取设定时间Δt内，像素位置(x,y)处累积发生的脉冲事件的次数表征为网格图像输入的第一通道，张量表示为C[0]＝[Batch,Width,Height,1]；
构建三通道网格图像的第二通道：在设定时间Δt内，像素位置(x,y)处发生脉冲事件的最近时间，最近时间归一化后表征为网格图像输入的第二通道，张量表示为C[1]＝[Batch,Width,Height,1]；
构建三通道网格图像的第三通道：采用0-1极性编码作为网格图像输入的第三通道，在设定时间Δt内，若像素位置(x,y)处有脉冲时间发生，则赋予正极性值为1，否则赋为0，张量表示为C[2]＝[Batch,Width,Height,1]；
合并三个通道得到三通道网格图像的张量表示为[Batch,Width,Height,channel]，其中channel表示通道数，且channel＝3。
作为优选，所述步骤S3，根据得到的空间坐标信息和抛撒时间信息，获取视觉相机中在对应坐标和时间的RGB图像，包括：
根据抛撒时间信息，确定视觉相机中对应于抛撒时间信息的RGB图像；
基于事件相机和视觉相机在监控场景配准时得到的变换矩阵参数，将原始获取的RGB图像转化为适配事件相机的成像大小的配准后图像；
根据所述空间坐标信息，确定所述配准后图像中的感兴趣区域，将感兴趣区域作为对应坐标和时间的RGB图像。
作为优选，所述事件相机和视觉相机的监控场景配准，包括：
分别对视觉相机获取的RGB图像以及事件相机对应的网格图像进行灰度化，并分别对灰度化后的两幅灰度图像进行SIFT特征点检测；
根据特征点检测结果提取得到特征点描述信息；
基于特征点描述信息，通过相似性度量方法匹配两幅灰度图像中的特征点对，并通过特征点对计算得到两幅灰度图像的变换矩阵参数。
本申请还提供一种事件相机和视觉相机协同的高速抛撒物检测系统，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器读取所述存储器中的计算机程序并运行以实现所述的事件相机和视觉相机协同的高速抛撒物检测方法的步骤。
本申请提供的事件相机和视觉相机协同的高速抛撒物检测方法和系统，利用脉冲数据的编码表征和处理方法，结合脉冲版光流估计，可利用较低计算量实现高速运动目标(如车辆、抛撒物)的轨迹跟踪，并通过视觉相机对发生抛物时刻的那帧图像进行识别，既保证了高速运动目标捕获的实时性，又结合视觉相机的丰富纹理信息，二次识别确认，降低误判率；同时只对发生异常行为的某几帧图像中特定位置图像进行识别，大大减少了算力消耗。
附图说明
图1为本申请视觉相机和事件相机的配准示意图；
图2为本申请原始的RGB图像经过变换后的配准后图像示意图；
图3为本申请的事件相机和视觉相机协同的高速抛撒物检测方法的流程图；
图4为本申请表征后得到的网格图像；
图5为本申请稠密光流计算后得到的光流估计图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。
其中一个实施例中，提供一种事件相机和视觉相机协同的高速抛撒物检测方法，解决当前高速公路场景抛撒物事件发现难、溯源难的问题，同时克服现有技术中基于视觉相机检测误判率高的问题。
本申请采用事件相机(事件相机(Event-based Camera)是一种以动态视觉传感器(Dynamic Vision Sensor)为核心器件，模仿生物视觉的工作机理，仅输出光强变化达到一定阈值时，输出像素的地址和信息，从源头上消除冗余数据)进行运动目标捕获，协同视觉相机丰富的纹理信息进行二次识别确认的方案，通过事件相机分析捕获高速运动目标的完整轨迹和异常行为，触发视觉相机进行二次识别，判断是否属于真正抛撒物事件，有效解决高速移动目标的轨迹跟踪问题和低算力要求。
由于事件相机和视觉相机需要协同工作，因此事先需要对事件相机和视觉相机进行设置，设置事件相机和视觉相机保持同步的时间轴以及配准的监控场景。其中事件相机和视觉相机共用第三方设备(例如中心服务器)的时间，时间轴保持同步。
事件相机和视觉相机均固定安装在高速公路龙门架上能更容易捕获到抛撒物，如轮胎、货物，饮料瓶、棍状物、纸箱等；拍摄范围为20～100米区间。在对事件相机和视觉相机进行场景配准时，通过特征点匹配的方式实现，并对视觉相机场景进行旋转平移等变换，以适配事件相机的场景画面。
本实施例中在安装好事件相机和视觉相机后即进行场景配准，以便于在实际检测过程中，可直接利用配准后的变换矩阵参数进行识别，避免再检测中执行配准而降低检测效率。
在一个实施例中，提供的监控场景配准方法如下：分别对视觉相机获取的RGB图像以及事件相机对应的网格图像进行灰度化，并分别对灰度化后的两幅灰度图像进行SIFT特征点检测；根据特征点检测结果提取得到特征点描述信息；基于特征点描述信息，通过相似性度量方法(如欧式距离、夹角余弦等)匹配两幅灰度图像中的特征点对，并通过特征点对计算得到两幅灰度图像的变换矩阵参数。特征点即为感兴趣点，它表示图像中重要或独特的内容(边角，边缘等)，特征点描述基本特征的特征向量。特征描述符使得特征点具有更多不变性和鲁棒性(定位，缩放，亮度、旋转等)。采用SIFT特征点检测具有稳定性高、信息量丰富、点数量多等特点。
需要说明的是，SIFT特征点检测为特征点提取领域较为成熟的技术，本实施例中不做赘述。并且根据特征点检测结果提取得到的特征点描述信息应理解为对每个检测得到的关键点用一个128维特征向量来描述。
为了便于配准的进行，在配准过程中事件相机运行的为灰度图像帧模式，如图1所示，图左侧为视觉相机获取的RGB图像，图右侧为事件相机获取的灰度图像，由于事件相机的成像大小与视觉相机的成像大小不一致，因此需要对事件相机和视觉相机进行配准，图中连线两端对应的点即为配准中获取的特征点对，根据这些特征点多即可计算得到变换矩阵参数。基于变换矩阵参数将原始获取的RGB图像变化为与事件相机的成像大小一致的配准后图像，例如将图1左侧的原始RGB图像进行配准后得到的配准后图像如图2所示，与事件相机对应的灰度图像一致，基于此即可建立事件相机与视觉相机中的像素点的对应关系。
容易理解的是，在实际应用过程中，事件相机运行的为事件流模式，得到的不是灰度图像而是事件流数据，但是事件流数据在事件相机成像大小范围内的坐标是与灰度图像一致的，即事件相机运动事件流模式下也可以基于灰度图像帧模式获取得到的变换矩阵参数对RGB图像进行配准。
如图3所示，本实施例的事件相机和视觉相机协同的高速抛撒物检测方法，包括以下步骤：
步骤S1、基于事件相机获取高速公路的监控场景下的事件流数据。
由于事件相机获取的为离散的脉冲事件(即离散脉冲)，因此事件流数据的形式为[n*4]矩阵，其中n为离散脉冲的数量，4表示离散脉冲的维度，其中4维离散脉冲为离散的(x,y,p,t)数据，x,y表示脉冲事件的发生位置，对应图像中像素点坐标，p表示脉冲事件的极性(光强变强时输出正极性1，光强变暗时输出负极性-1)，t表示脉冲事件发生的时间。
事件相机采集的是场景内动态物体的运动图像，是将物体反射光线的变化强弱转化为对应位置的像素值，是场景的动态信息。因此，事件相机从源头上屏蔽掉视野内的静态背景，只记录动态物体信息，天然适合高速场景下抛撒物的轨迹追踪。
步骤S2、对所获取的事件流数据进行车辆的抛撒物异常行为检测，得到抛撒物在监控场景中的空间坐标信息和抛撒时间信息。步骤S21、对所获取的事件流数据进行自适应去噪。
由于事件相机输出的是离散脉冲数据，本身包含机械噪声，采集过程中又会生成很多随机噪声，因此为提高事件相机输出脉冲事件的质量，采用自适应去噪网络DeNoiseNet对事件流数据进行去噪，提高在不同场景下的环境适应性，本实施例基于深度学习方法自动消除不同场景下的机械噪声和随机噪声，鲁棒性较高。
步骤S22、对去噪后的事件流数据进行网格化表征，得到网格图像。
由于事件相机中所有事件都是异步生成的离散脉冲，基于离散脉冲无法进行神经网络的训练，因此需要将离散脉冲表征成网格图像形式。本实施例提供一种表征方法如下：
将事件流数据表征为三通道网格图像，则需要根据事件流数据构建对应的三通道，得到每个像素位置的三通道数据后，将三通道数据映射至RGB三通道中，完成网格图像的构建。
具体包括：构建三通道网格图像的第一通道：理论上时间Δt内同一位置发生脉冲的次数越多，属于运动目标的可能性越大。基于此，选取设定时间Δt内，像素位置(x,y)处累积发生的脉冲事件的次数表征为网格图像输入的第一通道，张量表示为C[0]＝[Batch,Width,Height,1]。
构建三通道网格图像的第二通道：在网格图像中加入时间戳信息是具有挑战性的任务，而将非空间的时间信息编码到网格数据中是十分有用的。因此本实施例在设定时间Δt内，像素位置(x,y)处发生脉冲事件的最近时间，最近时间归一化后表征为网格图像输入的第二通道，张量表示为C[1]＝[Batch,Width,Height,1]。虽然本质上丢弃了所有时间信息，但最近时间仍足以表征事件流中目标的移动。这里对最近时间的归一化基于预设时间Δt内的最大时间和最小时间实现。
构建三通道网格图像的第三通道：采用0-1极性编码作为网格图像输入的第三通道，在设定时间Δt内，若像素位置(x,y)处有脉冲时间发生，则赋予正极性值为1，否则赋为0，张量表示为C[2]＝[Batch,Width,Height,1]。
完成对每一像素位置的三通道构建后，按照RGB三通道的表示即可得到编码表征后的网格图像，最终得到的三通道网格图像的张量表示可为[Batch,Width,Height,channel]，其中channel表示通道数，且channel＝3。
将异步脉冲序列表征成网格形式后与主流深度学习方法相结合，一方面利用深度学习强大的特征学习表达能力，另一方面利用事件流数据的高时间分辨率和时序特性，相比25帧同步RGB视觉相机，事件相机的高时间分辨率特性结合编码表征方法更有可能捕获高速运动目标的移动轨迹。表征后得到的网格图像如图4所示。
步骤S23、基于网格图像进行稠密光流计算得到光流估计图。
由于事件相机输出的为脉冲事件，没有丰富的纹理信息，这为后续检测和识别跟踪带来了困难。而车辆行驶轨迹和抛撒物运动轨迹之间，存在方向和速度的不同，因此本申请提出与光流估计方法结合，以进一步凸显出异常轨迹和正常轨迹之间的区别。
本实施例在进行稠密光流计算时，构建高效、鲁棒的脉冲-光流估计网络Spike-FlowNet进行稠密光流计算，光流的结果通过不同颜色编码表示：不同色调代表光流不同方向，不同颜色强度表示了光流值的大小。
通过计算稠密光流的方式，可区分不同方向和速度的运动目标，如高速行驶车辆中扔出来的可乐瓶。如图5所示，利用不同颜色表示不同的方向和速度的运动目标，由于高速公路上的车存在一定的行驶方向，而抛撒物与车之间通常存在垂直于车行驶方向的速度分量，因此可以基于车的行驶方向，区分不同的方向和速度的运动目标中的车和抛撒物，例如图5中的绿色为行进中的车辆，红色为抛撒物。
步骤S24、利用光流估计图中的角度和方向矩阵，采用DBSCAN基于密度的聚类算法获得运动目标聚类中心以及其边界范围。
角度和方向矩阵为光流估计图计算后携带的信息，基于该信息可得到当前获取的事件流数据中每个运动目标的聚类中心和边界范围，以便于对目标的确定。应该理解的是，事件相机对像素的变化进行输出，因此能够捕捉到高速公路上的所有运动目标(包括车、抛撒物、飞翔中的鸟等等)，即聚类算法处理后同样能够得到所有运动目标的聚类中心以及其边界范围。
步骤S25、利用Kalman Filter预测算法和匈牙利匹配算法，计算得到运动目标的运动轨迹，输出抛撒物当前的空间坐标位置和抛撒时间信息。
由于高速公路上经常出现车流较大的情况，在大车流下车辆和抛撒物都存在被遮挡的可能，也存在两个目标过于相近导致目标跟踪出错的情况。因此本实施例利用KalmanFilter预测算法和匈牙利匹配算法实现目标的持续性跟踪。
若出现目标遮挡(即上一帧存在该目标而当前帧未检测到该目标)，则采用KalmanFilter预测算法结合历史帧目标的信息预测当前帧的目标位置；若出现目标交叉，则利用匈牙利匹配算法对预测的目标进行特征匹配，不同方向的目标光流图颜色不一致，通过前后帧关联实现跟踪，避免出现目标跟踪错乱的现象。
需要说明的是，若在检测过程中未出现目标遮挡或交叉，也可以不采用KalmanFilter预测算法(卡尔曼滤波算法)或匈牙利匹配算法。
本实施例中输出的空间坐标位置基于运动目标的边界范围得到，可以是包围抛撒物对应的边界范围的最小矩形的四个顶点坐标，以便于后续得到矩形区域作为感兴趣区域。
步骤S3、根据得到的空间坐标信息和抛撒时间信息，获取视觉相机中在对应坐标和时间的RGB图像。
本实施例利用坐标和时间确定对应的RGB图像，以实现抛撒物的二次识别判断，有效提高抛撒事件检测的准确性。在一个实施例中提供的RGB图像获取方法如下：
根据抛撒时间信息，确定视觉相机中对应于抛撒时间信息的RGB图像；基于事件相机和视觉相机在监控场景配准时得到的变换矩阵参数，将原始获取的RGB图像转化为适配事件相机的成像大小的配准后图像；根据所述空间坐标信息，确定所述配准后图像中的感兴趣区域(ROI，region of interest)，将感兴趣区域作为对应坐标和时间的RGB图像。
本实施例利用像素对应从完整的RGB图像中提取出抛撒物所在的感兴趣区域作为二次识别的图像基础，即可有效降低识别计算压力，又可提升识别的针对性以及识别效率。
步骤S4、将所述RGB图像输入预训练的检测模型中，若检测模型输出为非抛物类型，则本次检测到的抛撒物异常行为为非抛撒物行为，不保存抛撒物的轨迹；否则本次检测到的抛撒物异常行为为抛撒物行为，提取抛撒物的轨迹并保存。本实施例中提取抛撒物的轨迹并保存优选为提取抛撒物的轨迹的起始点和结束点之间的图像帧组合得到视频进行保存。
本实施例采用视觉相机和事件相机的配合进行抛撒物检测，既考虑了检测效率的提升，又考虑了检测准确度的提升。在实际应用中整个抛物过程一般持续数秒，从相机角度来看等效于几十帧，本申请首先基于事件相机进行抛撒物异常行为判断，对异常行为采取一定帧间隔数据进行采样，比如每20帧抓拍获取当前时间和坐标，并在确定时间和坐标时触发配准后的RGB图像进行二次识别，如果二次识别结果是真实的抛撒物行为，则当前异常行为无需进行二次识别，保持一定帧间隔数据进行采样跟踪，直到抛物结束得到完整的轨迹片段生成视频进行佐证；若二次识别结果为非抛撒物行为，则仍需保持一定帧间隔数据进行采样跟踪，以明确该轨迹为非抛撒物行为，避免重复进行二次识别。
本实施例采用卷积神经网络-检测模型作为二次识别抛撒物，不仅能够提升抛撒物识别的准确度，而且根据对检测模型的训练还能够直接输出抛撒物的类型，实现在检测是否发生抛物行为的同时确定抛撒物的类型，以便于后续对责任的追溯或者对抛撒物产生的风险的预警。
需要说明的是，本实施例采用二次识别进行最终判定，但对二次识别的次数不做限定，例如可以是在当前抛撒物异常行为首次确定发生的时间和坐标时进行二次识别；也可以基于当前抛撒物异常行为连续多个确定的时间和坐标时进行连续多次二次识别，若连续多次识别均输出为非抛物类型，则判断为非抛撒物行为，若连续多次识别均输出为抛物类型(包括具体的抛撒物的类型)，则判断为抛撒物行为。
本实施例中的抛物类型包括但不限于：轮胎、饮料瓶、纸箱、棍状物和袋状物等五类真实抛物种类。利用视觉相机进行二次识别可以进一步确认是否为真的抛物，以消除落叶、飞鸟、阴影和雨滴等造成的误报。
本实施例中的检测模型采用全卷积神经网络模型，在模型训练时定义轮胎、饮料瓶、纸箱、棍状物和袋状物等五类真实抛物种类，以及地面、树叶、车辆、标识牌等非抛物类型作为训练样，结合交叉熵损失函数进行模型训练。需要说明的是，卷积神经网络的训练为深度学习邻域较为常规的手段，本实施例中不进行限制。
本申请所提出的事件相机和视觉相机协同的高速抛撒物检测方法，同样适用于普通道路上发生的抛撒物和掉落物情形。
应该理解的是，图3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在另一个实施例中，提供一种事件相机和视觉相机协同的高速抛撒物检测系统，即一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。
该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种事件相机和视觉相机协同的高速抛撒物检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种事件相机和视觉相机协同的高速抛撒物检测方法，其特征在于，所述事件相机和视觉相机保持同步的时间轴以及配准的监控场景，所述事件相机和视觉相机协同的高速抛撒物检测方法，包括：
步骤S1、基于事件相机获取高速公路的监控场景下的事件流数据；
步骤S2、对所获取的事件流数据进行车辆的抛撒物异常行为检测，得到抛撒物在监控场景中的空间坐标信息和抛撒时间信息；
步骤S3、根据得到的空间坐标信息和抛撒时间信息，获取视觉相机中在对应坐标和时间的RGB图像；
步骤S4、将所述RGB图像输入预训练的检测模型中，若检测模型输出为非抛物类型，则本次检测到的抛撒物异常行为为非抛撒物行为，不保存抛撒物的轨迹；否则本次检测到的抛撒物异常行为为抛撒物行为，提取抛撒物的轨迹并保存。
2.如权利要求1所述的事件相机和视觉相机协同的高速抛撒物检测方法，其特征在于，所述步骤S2，对所获取的事件流数据进行车辆的抛撒物异常行为检测，得到抛撒物在监控场景中的空间坐标信息和抛撒时间信息，包括：
步骤S21、对所获取的事件流数据进行自适应去噪；
步骤S22、对去噪后的事件流数据进行网格化表征，得到网格图像；
步骤S23、基于网格图像进行稠密光流计算得到光流估计图；
步骤S24、利用光流估计图中的角度和方向矩阵，采用DBSCAN基于密度的聚类算法获得运动目标聚类中心以及其边界范围；
步骤S25、利用Kalman Filter预测算法和匈牙利匹配算法，计算得到运动目标的运动轨迹，输出抛撒物当前的空间坐标位置和抛撒时间信息。
3.如权利要求2所述的事件相机和视觉相机协同的高速抛撒物检测方法，其特征在于，所述步骤S22，对去噪后的事件流数据进行网格化表征，得到网格图像，包括：
所述网格图像为三通道网格图像，则对去噪后的事件流数据进行网格化表征包括：
构建三通道网格图像的第一通道：选取设定时间Δt内，像素位置(x,y)处累积发生的脉冲事件的次数表征为网格图像输入的第一通道，张量表示为C[0]＝[Batch,Width,Height,1]；
构建三通道网格图像的第二通道：在设定时间Δt内，像素位置(x,y)处发生脉冲事件的最近时间，最近时间归一化后表征为网格图像输入的第二通道，张量表示为C[1]＝[Batch,Width,Height,1]；
构建三通道网格图像的第三通道：采用0-1极性编码作为网格图像输入的第三通道，在设定时间Δt内，若像素位置(x,y)处有脉冲时间发生，则赋予正极性值为1，否则赋为0，张量表示为C[2]＝[Batch,Width,Height,1]；
合并三个通道得到三通道网格图像的张量表示为[Batch,Width,Height,channel]，其中channel表示通道数，且channel＝3。
4.如权利要求2所述的事件相机和视觉相机协同的高速抛撒物检测方法，其特征在于，所述步骤S3，根据得到的空间坐标信息和抛撒时间信息，获取视觉相机中在对应坐标和时间的RGB图像，包括：
根据抛撒时间信息，确定视觉相机中对应于抛撒时间信息的RGB图像；
基于事件相机和视觉相机在监控场景配准时得到的变换矩阵参数，将原始获取的RGB图像转化为适配事件相机的成像大小的配准后图像；
根据所述空间坐标信息，确定所述配准后图像中的感兴趣区域，将感兴趣区域作为对应坐标和时间的RGB图像。
5.如权利要求4所述的事件相机和视觉相机协同的高速抛撒物检测方法，其特征在于，所述事件相机和视觉相机的监控场景配准，包括：
分别对视觉相机获取的RGB图像以及事件相机对应的网格图像进行灰度化，并分别对灰度化后的两幅灰度图像进行SIFT特征点检测；
根据特征点检测结果提取得到特征点描述信息；
基于特征点描述信息，通过相似性度量方法匹配两幅灰度图像中的特征点对，并通过特征点对计算得到两幅灰度图像的变换矩阵参数。
6.一种事件相机和视觉相机协同的高速抛撒物检测系统，包括处理器和存储器，所述存储器存储有计算机程序，其特征在于，所述处理器读取所述存储器中的计算机程序并运行以实现权利要求1～5任一项所述的事件相机和视觉相机协同的高速抛撒物检测方法的步骤。
CN202110023238.6A 2021-01-08 2021-01-08 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统 Active CN112800860B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110023238.6A CN112800860B (zh) 2021-01-08 2021-01-08 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110023238.6A CN112800860B (zh) 2021-01-08 2021-01-08 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统

Publications (2)

Publication Number Publication Date
CN112800860A true CN112800860A (zh) 2021-05-14
CN112800860B CN112800860B (zh) 2023-10-17

Family

ID=75809224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110023238.6A Active CN112800860B (zh) 2021-01-08 2021-01-08 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统

Country Status (1)

Country Link
CN (1) CN112800860B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022237591A1 (zh) * 2021-05-08 2022-11-17 北京灵汐科技有限公司 运动对象的识别方法、装置、电子设备及可读存储介质
CN115578295A (zh) * 2022-11-17 2023-01-06 中国科学技术大学 一种视频去雨方法、系统、设备及存储介质
CN115705708A (zh) * 2021-08-05 2023-02-17 豪威科技股份有限公司 用于检测人-物交互的成像系统及用于检测人-物交互的方法
CN115937321A (zh) * 2022-09-27 2023-04-07 荣耀终端有限公司 一种电子设备的姿态检测方法和装置
CN116912798A (zh) * 2023-09-14 2023-10-20 南京航空航天大学 基于跨模态噪声感知的自动驾驶事件相机目标检测方法
CN116958142A (zh) * 2023-09-20 2023-10-27 安徽大学 基于复眼事件成像与高速转台的目标检测与跟踪方法
CN117237676A (zh) * 2023-11-09 2023-12-15 中核国电漳州能源有限公司 一种核电厂基于事件相机对小目标掉落轨迹的处理方法
CN117689881A (zh) * 2024-02-02 2024-03-12 盛视科技股份有限公司 基于事件相机和cmos相机的抛洒物追踪方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US20070003141A1 (en) * 2005-06-30 2007-01-04 Jens Rittscher System and method for automatic person counting and detection of specific events
US20130038694A1 (en) * 2010-04-27 2013-02-14 Sanjay Nichani Method for moving object detection using an image sensor and structured light
CN105865462A (zh) * 2015-01-19 2016-08-17 北京雷动云合智能技术有限公司 带有深度增强视觉传感器的基于事件的三维slam方法
US20190356849A1 (en) * 2018-05-18 2019-11-21 Samsung Electronics Co., Ltd. Cmos-assisted inside-out dynamic vision sensor tracking for low power mobile platforms
CN110544271A (zh) * 2019-09-03 2019-12-06 浙江大华技术股份有限公司 抛物动作检测方法及相关装置
CN111052183A (zh) * 2017-09-04 2020-04-21 苏黎世大学 利用事件相机的视觉惯性里程计
CN111696044A (zh) * 2020-06-16 2020-09-22 清华大学 一种大场景动态视觉观测方法及装置
CN111881773A (zh) * 2020-07-06 2020-11-03 武汉大学 一种基于位置偏移的事件相机人体姿态估计方法及系统
CN112037269A (zh) * 2020-08-24 2020-12-04 大连理工大学 一种基于多域协同特征表达的视觉运动目标跟踪方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US20070003141A1 (en) * 2005-06-30 2007-01-04 Jens Rittscher System and method for automatic person counting and detection of specific events
US20130038694A1 (en) * 2010-04-27 2013-02-14 Sanjay Nichani Method for moving object detection using an image sensor and structured light
CN105865462A (zh) * 2015-01-19 2016-08-17 北京雷动云合智能技术有限公司 带有深度增强视觉传感器的基于事件的三维slam方法
CN111052183A (zh) * 2017-09-04 2020-04-21 苏黎世大学 利用事件相机的视觉惯性里程计
US20190356849A1 (en) * 2018-05-18 2019-11-21 Samsung Electronics Co., Ltd. Cmos-assisted inside-out dynamic vision sensor tracking for low power mobile platforms
CN110544271A (zh) * 2019-09-03 2019-12-06 浙江大华技术股份有限公司 抛物动作检测方法及相关装置
CN111696044A (zh) * 2020-06-16 2020-09-22 清华大学 一种大场景动态视觉观测方法及装置
CN111881773A (zh) * 2020-07-06 2020-11-03 武汉大学 一种基于位置偏移的事件相机人体姿态估计方法及系统
CN112037269A (zh) * 2020-08-24 2020-12-04 大连理工大学 一种基于多域协同特征表达的视觉运动目标跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GEREON HINZ,ET AL: "Online Multi-object Tracking-by-Clustering for Intelligent Transportation System with Neuromorphic Vision Sensor", 《KI 2017: KI 2017: ADVANCES IN ARTIFICIAL INTELLIGENCE》, pages 142 - 154 *
刘庆杰: "面向智能避障场景的深度强化学习研究", 《智能物联技术》, vol. 1, no. 02, pages 18 - 22 *
李清瑶: "基于视频流的高速公路抛洒物检测", 《中国优秀硕士学位论文全文数据库（工程科技Ⅱ辑）》, no. 01, pages 034 - 1282 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022237591A1 (zh) * 2021-05-08 2022-11-17 北京灵汐科技有限公司 运动对象的识别方法、装置、电子设备及可读存储介质
CN115705708A (zh) * 2021-08-05 2023-02-17 豪威科技股份有限公司 用于检测人-物交互的成像系统及用于检测人-物交互的方法
CN115705708B (zh) * 2021-08-05 2024-02-20 豪威科技股份有限公司 用于检测人-物交互的成像系统及用于检测人-物交互的方法
CN115937321A (zh) * 2022-09-27 2023-04-07 荣耀终端有限公司 一种电子设备的姿态检测方法和装置
CN115937321B (zh) * 2022-09-27 2023-09-22 荣耀终端有限公司 一种电子设备的姿态检测方法和装置
CN115578295A (zh) * 2022-11-17 2023-01-06 中国科学技术大学 一种视频去雨方法、系统、设备及存储介质
CN116912798B (zh) * 2023-09-14 2023-12-19 南京航空航天大学 基于跨模态噪声感知的自动驾驶事件相机目标检测方法
CN116912798A (zh) * 2023-09-14 2023-10-20 南京航空航天大学 基于跨模态噪声感知的自动驾驶事件相机目标检测方法
CN116958142B (zh) * 2023-09-20 2023-12-15 安徽大学 基于复眼事件成像与高速转台的目标检测与跟踪方法
CN116958142A (zh) * 2023-09-20 2023-10-27 安徽大学 基于复眼事件成像与高速转台的目标检测与跟踪方法
CN117237676A (zh) * 2023-11-09 2023-12-15 中核国电漳州能源有限公司 一种核电厂基于事件相机对小目标掉落轨迹的处理方法
CN117237676B (zh) * 2023-11-09 2024-03-01 中核国电漳州能源有限公司 一种核电厂基于事件相机对小目标掉落轨迹的处理方法
CN117689881A (zh) * 2024-02-02 2024-03-12 盛视科技股份有限公司 基于事件相机和cmos相机的抛洒物追踪方法
CN117689881B (zh) * 2024-02-02 2024-05-28 盛视科技股份有限公司 基于事件相机和cmos相机的抛洒物追踪方法

Also Published As

Publication number Publication date
CN112800860B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
CN112800860B (zh) 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统
WO2021208275A1 (zh) 一种交通视频背景建模方法及系统
US9652863B2 (en) Multi-mode video event indexing
Rakibe et al. Background subtraction algorithm based human motion detection
CN108596169B (zh) 基于视频流图像的分块信号转换与目标检测方法及装置
CN106128121B (zh) 基于局部特征分析的车辆排队长度快速检测算法
AU2009295350A1 (en) Detection of vehicles in an image
CN104134222A (zh) 基于多特征融合的车流监控图像检测和跟踪系统及方法
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN112446246B (zh) 一种图像遮挡检测方法及车载终端
CN103093198A (zh) 一种人群密度监测方法及装置
CN111881832A (zh) 车道目标检测方法、装置、设备及计算机可读存储介质
Buch et al. Vehicle localisation and classification in urban CCTV streams
Ekinci et al. Background estimation based people detection and tracking for video surveillance
Landabaso et al. Robust tracking and object classification towards automated video surveillance
Płaczek A real time vehicle detection algorithm for vision-based sensors
Lagorio et al. Automatic detection of adverse weather conditions in traffic scenes
Muniruzzaman et al. Deterministic algorithm for traffic detection in free-flow and congestion using video sensor
Huang et al. A vehicle flow counting system in rainy environment based on vehicle feature analysis.
CN113052118A (zh) 基于高速快球摄像机实现场景变换视频分析检测的方法、系统、装置、处理器及存储介质
Zhao et al. Research on vehicle detection and vehicle type recognition under cloud computer vision
Yu et al. A Video-Based Method for Traffic Flow Detection of Multi-lane Road
Tan et al. Moving target detection based on background modeling and frame difference
Yu et al. A novel traffic flow detection method using multiple statistical parameters
Yu et al. A Spatial-Temporal Information based Traffic-Flow Detection Method for video Surveillance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant