CN112800868A - 一种基于事件相机采集分析装置的高空抛物监测方法 - Google Patents

一种基于事件相机采集分析装置的高空抛物监测方法 Download PDF

Info

Publication number
CN112800868A
CN112800868A CN202110041952.8A CN202110041952A CN112800868A CN 112800868 A CN112800868 A CN 112800868A CN 202110041952 A CN202110041952 A CN 202110041952A CN 112800868 A CN112800868 A CN 112800868A
Authority
CN
China
Prior art keywords
event information
event
pixel
analysis device
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110041952.8A
Other languages
English (en)
Other versions
CN112800868B (zh
Inventor
裴海龙
袁洪元
李征
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110041952.8A priority Critical patent/CN112800868B/zh
Publication of CN112800868A publication Critical patent/CN112800868A/zh
Application granted granted Critical
Publication of CN112800868B publication Critical patent/CN112800868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于事件相机采集分析装置的高空抛物监测方法,首先,采用事件相机采集分析装置固有的光强变化引起事件输出的特性,触发分析装置计算分析,检测高空抛物,对目标事件进行存储,相比持续不断对帧相机的图像进行计算分析和存储,降低了资源消耗;其次,装置基于像素的异步采集机制,具有较高的采集频率,避免高空抛物高速运动的情况下在固定时空上数据采集不足的问题;再次,装置的输出图像动态范围较高,使得图像细节显示能力很强,便于监测细小物体的运动;最后,采用监测冗余区间、利用物理定律过滤非高空抛物事件,采用高空抛物运动轨迹的特征识别目标事件,减少了无效计算量和误报情况,提高了报警的精度。

Description

一种基于事件相机采集分析装置的高空抛物监测方法
技术领域
本发明涉及机器视觉技术领域,具体涉及一种基于事件相机采集分析装置的高空抛物监测方法。
背景技术
高空抛物是目前物业管理面临的难题,目前大多通过视频监控存储视频图像,造成严重后果时调出监控人工查找追溯,在此之前无法预警和管理,由于抛物坠落速度快,甚至会出现人工追溯时视频不清晰、无法准确定位的情况。
随着机器视觉技术的兴起,部分物业管理单位开始采用机器视觉技术对相机采集的视频进行实时监测和报警,以便在造成严重后果前对高空抛物行为进行管理。目前主要基于帧相机做分析,由于需要整帧图像曝光后输出,帧相机在输出频率上是相对较低的,目前的主流帧相机每秒输出30到60帧,行业应用的工业高速帧相机可以达上万帧,但频率仍不够且成本极高。帧相机的低频的输出会导致相机在固定时空采集的图像数据较少,采集和分析成本较高,且易误报和漏报;同时,帧相机动态范围较小,一般不超过60db,使得图像细节显示能力不足,监测细小物体的能力不足。
事件相机采集分析装置的出现为解决以上问题提供了一个新的方向,事件相机采集分析装置采用基于单个像素的异步传感器,每个像素独立工作,不需要等待帧的全局曝光,一检测到变化即刻输出,因此,事件摄像机具有微秒的延迟,根据不同的芯片和硬件接口,事件相机采集分析装置的频率在2MHz到1200MHz之间,是普通帧相机近百万倍至近亿倍,比工业级的高速帧相机也要高出数百倍至几万倍,可以在极短的时间内采集到大量的图像信息;事件相机采集分析装置的动态范围一般高于120dB,非常高档帧相机一般都不超过60dB,事件相机具备明显的高动态范围,使得图像细节显示能力很强,便于检测细小物体的运动。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷,提供一种基于事件相机采集分析装置的高空抛物监测方法。
本发明的目的可以通过采取如下技术方案达到:
一种基于事件相机采集分析装置的高空抛物监测方法,所述高空抛物监测方法包括以下步骤:
S1、采集装置主体采集监控固定区域空间的图像,采集图像窗口的竖直方向与地心垂线平行,采集装置主体采集区域比目标检测区域在水平方向和竖直方向的各边长度均延伸3.1~3.3m;采集装置主体基于采集图像上每个像素点获取光照强度的变化,判断光照强度的变化是否超过事先指定的阈值,若没超过,采集装置主体重复执行步骤S1,若超过,则由采集装置的事件消息输出模块执行步骤S2,采集装置主体同时重复执行步骤S1;
S2、事件消息输出模块输出包括时间戳、像素坐标与极性三要素的事件信息图像,单位时间内,若光照强度增加超过事先指定的第一比较阈值,像素点输出极性为1,若光照强度减少超过事先指定的第二比较阈值,像素点输出极性为-1;
S3、分析装置的事件消息监听模块持续监听事件消息输出接口的事件信息,判断是否有新的事件信息图像输出,若没有,分析装置持续本步骤,若有,则分析装置执行步骤S4;
S4、计算模块读取事件消息输出接口的事件信息图像至分析装置的缓存中,判断在相机采集周期上读取到连续事件信息图像的时间长度是否超过事先指定的时间阈值,若有,分析装置执行步骤S5,若没有,则分析装置执行步骤S6;
S5、计算模块对事件消息输出接口输出的事件信息图像按其时间戳先后顺序排序形成时间序列事件信息图像,对每个时间戳上的事件信息图像极性为1和-1的像素坐标点根据位置距离聚类形成像素点组,对每个像素点组进行特征分析和特征匹配,判断连续多个时间序列上,是否有事件信息图像的聚类像素点组的运动轨迹是抛物线,若不是,分析装置执行步骤S6,若是,则分析装置执行步骤S7;
S6、计算模块将缓存清零,停止处理本次数据,分析装置执行步骤S3;
S7、分析装置的告警信息输出模块输出告警事件信息的时间戳,计算模块将缓存信息存储到硬盘,将缓存清零,分析装置执行步骤S3。
进一步的,所述步骤S4中,事先指定的时间阈值为0.1秒。目的在于过滤非高空抛物事件信息,如瞬时光照的变化、高速的飞鸟、飞虫等,参考人类投掷标枪的最高起始速度为32.2m/s,普通人抛物的起始速度一般不超过30m/s,不考虑重力加速度和空气阻力的影响,起始抛物方向上0.1秒内运行的距离为30×0.1=3m;同时,不考虑空气阻力的影响,重力加速度g=9.8,0.1秒内抛物/坠物从起始点开始的垂直地面方向的最大运动距离为
Figure BDA0002895669000000031
同时考虑初始速度和重力加速度的影响,0.1秒内抛物在水平方向运行的最大距离为3m,垂直方向上最大的运动距离为3+0.049=3.049m,事件相机采集分析装置的采集区域在竖直方向和水平方向各边预留约3.1~3.3m的冗余空间即可过滤瞬时光照的变化、高速的飞鸟、飞虫等非高空抛物事件的同时捕获其他可能是高空抛物事件的事件信息,考虑3.1~3.3m以内的抛物危害较小,不纳入监测范围,因此水平下边方向预留3.1~3.3m做冗余也是可行的。
进一步地,所述步骤S5过程如下:
S51、分析装置的计算模块对采集装置输出的事件信息图像按其时间戳先后顺序排序形成时间序列事件信息图像,对每个时间戳上的事件信息图像极性为1和-1的像素坐标点根据位置距离聚类形成像素点组;
S52、假设物体为刚体且没有旋转,对采集装置输出的前后时间序列上事件信息图像的聚类像素点组采用形状上下文算法进行直方图矩阵的构建及相似度度量;
S53、用匈牙利算法进行二分图匹配,其中,形状上下文的相似度度量矩阵为CMM或CNN的行向量和列向量序号构成了点集V的两个互不相交的子集,矩阵中的值构成了边的值,用于判断是否匹配;
S54、计算前后时间序列事件图像上匹配成对的聚类像素点组的质心,计算质心的位移矩阵;
S55、判断前后时间序列事件信息图像上匹配聚类像素点组的运动轨迹是抛物线。
进一步地,所述步骤S52中对采集装置输出的前后时间序列上事件信息图像的聚类像素点组采用形状上下文算法进行直方图矩阵的构建及相似度度量的过程如下:
S521、对每个时间戳上事件信息图像的聚类像素点组,求出点对的距离矩阵,除以距离均值,得到归一聚类化距离矩阵;
S522、对于聚类像素点组的每个像素点,依据归一化距离矩阵构建以该像素为中心的极对数坐标系,按半径0.125、0.25、0.5、1.0、2.0分5个距离区域,按极角等分为12个角度区域,总计60个区域,将其周围的像素点映射到每个区域内,统计落在每个区域的像素点数,并进行归一化处理,即除以落在所有区域中的像素点数,生成形状上下文直方图矩阵;
S523、使用卡方统计前后两个时间序列上比对的聚类像素点组的相似度,记前序聚类像素点组有N个像素点,前序像素点组的直方图矩阵GN(k),k=1、2、3…60,后续聚类像素点组有M个像素点,后续像素点组的直方图矩阵为HM(k),k=1、2、3…60,前后序像素点组形状上下文的相似度度量矩阵为
Figure BDA0002895669000000051
S524、若M>N,将前序像素点组的矩阵添加(M-N)行,设置值为门限值8,将前序像素点组的矩阵补全为方阵CMM,若M<N,将后续序像素点组的矩阵添加(N-M)行,设置值为门限值8,将前序像素点组的矩阵补全为方阵CNN,添加的点称为伪点。
进一步地,所述步骤S53中,设G=(V,E)是一个无向图,如果顶点V可分割为两个互不相交的子集,并且图中的每条边(i,j)所关联的两个顶点i和j分别属于这两个不同的顶点集,则称图G为一个二分图;给定图G的一个匹配Ma,如果一条路径的边交替出现在Ma中和不出现在M中,称之为交错路;如果一条Ma的交错路,它的两个端点都不与Ma中的边关联,这条路径叫做增广路;匈牙利算法即寻找增广路的过程,通过找到目标后改变之前匹配的结果完成最终的匹配,过程如下:
S531、置Ma为空;
S532、找出一条增广路径Pa,通过取反操作获得更大的匹配Ma’代替Ma;
S533、重复步骤S532直到找不出增广路径为止;
S534、删除与伪点相匹配的点。
进一步地,所述步骤S54的过程如下:
以事件信息图像横坐标为x轴,物体随时间运动的横向坐标数值增长的方向为正向,以事件信息图像纵坐标为y轴,向上为正向,t时间戳上某个聚类像素点组中含P个非0像素点,某非0像素点的坐标表示为(xtk,ytk),k=1、2、3…N,则该聚类像素点组的质心位置坐标定义为:
Figure BDA0002895669000000052
取3个连续的时间戳t1、t2、t3上的事件信息图像的匹配聚类像素点组,计算其质心位置坐标分别为(xt1,yt1)、(xt2,yt2)、(xt3,yt3)。
进一步地,所述步骤S55的过程如下:
判断聚类像素点组在t1至t3时间序列间运动轨迹是否是抛物线的问题即是要判断其质心运动曲线的斜率是否在减小,即判断斜率
Figure BDA0002895669000000061
Figure BDA0002895669000000062
的大小;若斜率在减小,说明是抛物线,其中,当分子xt2-xt1或xt3-xt2是0时,是垂直地面方向向上或向下抛物的情况。
本发明相对于现有技术具有如下的优点及效果:
1)、本发明公开的基于事件相机采集分析装置的高空抛物监测方法,采用事件相机采集分析装置固有的光强变化引起事件信息输出的特性,触发分析装置计算分析,检测高空抛物,对目标事件进行存储,相比持续不断对帧相机的图像进行计算分析和存储,有效的降低了资源消耗;
2)、本发明公开的基于事件相机采集分析装置的高空抛物监测方法,利用事件相机采集分析装置异步采集机制,具有较高的采集频率,解决了高空抛物高速运动的情况下在固定时空上数据采集不足的问题;
3)、本发明公开的基于事件相机采集分析装置的高空抛物监测方法,利用事件相机采集分析装置的输出事件信息图像动态范围较高的特性,使得图像细节显示能力比帧相机更强,更便于监测细小物体的运动;
4)、本发明公开的基于事件相机采集分析装置的高空抛物监测方法,利用物理定律过滤非高空抛物事件,采用高空抛物运动轨迹的特征识别目标事件,减少了无效计算量和误报情况,提高了报警的精度。
附图说明
图1是本发明公开的一种基于事件相机采集分析装置的高空抛物监测方法流程图;
图2是本发明公开的一种基于事件相机采集分析装置的高空抛物监测的应用结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
本实施例公开了一种基于事件相机采集分析装置的高空抛物监测方法。
其中,事件相机采集分析装置由采集装置主体和事件消息输出接口模块组成,事件相机采集分析装置监测固定区域空间的图像光强变化,变化超过一定域值时触发事件消息输出接口模块输出事件信息图像。
其中,分析装置由事件消息监听模块、计算模块、缓存、硬盘和告警信息输出模块组成,分析装置接收事件相机采集分析装置事件信息图像,分析图像特征,并对连续时间序列上的图像特征进行匹配,求出位移轨迹,判断轨迹是否是抛物线以判断是否是高空抛物轨迹,对匹配情况输出告警信息。
该基于事件相机采集分析装置的高空抛物监测方法包括以下步骤:
事件相机采集分析装置采集监控固定区域空间的图像,采集图像窗口的竖直方向与地心垂线平行,采集区域比目标检测区域在水平方向和竖直方向的各边长度均延伸3.1~3.3m;采集装置基于采集图像上每个像素点获取光照强度的变化,判断光照强度的变化是否超过事先指定的阈值;采集装置的事件消息输出模块输出包括时间戳、像素坐标与极性三要素的事件信息图像,单位时间内,若光照强度增加超过事先指定的第一比较阈值,像素点输出极性为1,若光照强度减少超过事先指定的第二比较阈值,像素点输出极性为-1;分析装置的事件消息监听模块持续监听采集装置事件消息输出接口的事件信息,判断是否有新的事件信息图像输出;分析装置的计算模块读取采集装置的输出事件信息图像至分析装置的缓存中,判断能够在相机采集周期上读取到连续事件信息图像的时间长度是否超过事先指定的时间阈值;计算模块对采集装置输出的事件信息图像按其时间戳先后顺序排序形成时间序列事件信息图像,对每个时间戳上的事件信息图像极性为1和-1的像素坐标点根据位置距离聚类形成像素点组,对每个像素点组进行特征分析和特征匹配,判断连续多个时间序列上,是否有事件信息图像的聚类像素点组的运动轨迹是抛物线;若运动轨迹是抛物线,则分析装置的告警信息输出模块输出告警事件信息的时间戳,计算模块将分析装置的缓存信息存储到分析装置的硬盘,将缓存清零;若不满0.1秒,则分析装置停止处理本次数据,将缓存清零。
本实施例中,采用事件相机采集分析装置固有的光强变化引起事件输出的特性,触发分析装置计算分析,监测高空抛物,对目标事件进行存储,相比持续不断对帧相机的图像进行计算分析和存储,有效的降低了资源消耗。
本实施例中,事件相机采集分析装置基于像素的异步采集机制,具有较高的采集频率,规避了高空抛物高速运动的情况下在固定采集时空上可采集数据不足的问题。事件摄像机具有微秒的延迟,根据不同的芯片和硬件接口,事件相机采集分析装置的频率在2MHz到1200MHz之间,是普通帧相机近百万倍至近亿倍,比工业级的高速帧相机也要高出数百倍至几万倍,可以在极短的时间内采集到大量的事件信息图像。
本实施例中,事件相机采集分析装置的输出事件图像动态范围较高,事件相机采集分析装置的动态范围一般高于120dB,明显超过了基于帧的高质量相机的60dB,使得图像细节显示能力很强,便于监测细小物体的运动。
本实施例中,采用监测冗余区间、利用了物理定律有效过滤非高空抛物事件,如瞬时光照的变化、高速的飞鸟、飞虫等,采用高空抛物运动轨迹的特征识别目标事件,减少了无效计算量和误报情况,提高了报警的精度。
实施例二
下面结合附图,进一步公开基于事件相机采集分析装置的高空抛物监测方法的具体实施过程。图2是本实施例公开的一种基于事件相机采集分析装置的高空抛物监测的应用结构框图,
如图1所示,本实施例公开了一种基于事件相机采集分析装置的高空抛物监测方法流程图,包括下列步骤:
S1、采集装置主体采集监控固定区域空间的图像,采集图像窗口的竖直方向与地心垂线平行,采集装置主体采集区域比目标检测区域在水平方向和竖直方向的各边长度均延伸31~3.3m;采集装置主体基于采集图像上每个像素点获取光照强度的变化,判断光照强度的变化是否超过事先指定的阈值,若没超过,则采集装置主体重复执行步骤S1,若超过,则由采集装置的事件消息输出模块执行步骤S2,采集装置主体同时重复执行步骤S1;
S2、采集装置的事件消息输出模块输出包括时间戳、像素坐标与极性三要素的事件信息图像,单位时间内,若光照强度增加超过事先指定的第一比较阈值,像素点输出极性为1,若光照强度减少超过事先指定的第二比较阈值,像素点输出极性为-1;
S3、分析装置的事件消息监听模块持续监听事件消息输出接口的事件信息,判断是否有新的事件信息图像输出,若没有,分析装置持续本步骤,若有,则分析装置执行步骤S4;
S4、计算模块读取事件消息输出接口的事件信息图像至分析装置的缓存中,判断在相机采集周期上读取到连续事件信息图像的时间长度是否超过事先指定的时间阈值,若有,分析装置执行步骤S5,若没有,则分析装置执行步骤S6;
S5、计算模块对事件消息输出接口输出的事件信息图像按其时间戳先后顺序排序形成时间序列事件信息图像,对每个时间戳上的事件信息图像极性为1和-1的像素坐标点根据位置距离聚类形成像素点组,对每个像素点组进行特征分析和特征匹配,判断连续多个时间序列上,是否有事件信息图像的聚类像素点组的运动轨迹是抛物线,若不是,分析装置执行步骤S6,若是,则分析装置执行步骤S7;
S6、计算模块将缓存清零,停止处理本次数据,分析装置执行步骤S3;
S7、分析装置的告警信息输出模块输出告警事件信息的时间戳,计算模块将缓存信息存储到硬盘,将缓存清零,分析装置执行步骤S3。
本实施例步骤S4中,事先指定的时间阈值为0.1秒。目的在于过滤非高空抛物事件信息,如瞬时光照的变化、高速的飞鸟、飞虫等,参考人类投掷标枪的最高起始速度为32.2m/s,普通人抛物的起始速度一般不超过30m/s,不考虑重力加速度和空气阻力的影响,起始抛物方向上0.1秒内运行的距离为30×0.1=3m;同时,不考虑空气阻力的影响,重力加速度g=9.8,0.1秒内抛物/坠物从起始点开始的垂直地面方向的最大运动距离为
Figure BDA0002895669000000101
同时考虑初始速度和重力加速度的影响,0.1秒内抛物在水平方向运行的最大距离为3m,垂直方向上最大的运动距离为3+0.049=3.049m,事件相机采集分析装置的采集区域在竖直方向和水平方向各边预留约3.1-3.3m的冗余空间即可过滤瞬时光照的变化、高速的飞鸟、飞虫等非高空抛物事件的同时捕获其他可能是高空抛物事件的事件信息,考虑到一般高度为3.1-3.3m以内的抛物危害较小,不纳入监测范围,因此水平下边方向预留3.1-3.3m做冗余也是可行的。
该实施例中,步骤S5过程如下:
S51、计算模块对事件消息输出接口输出的事件信息图像按其时间戳先后顺序排序形成时间序列事件信息图像,对每个时间戳上的事件信息图像极性为1和-1的像素坐标点根据位置距离聚类形成像素点组;
S52、假设物体为刚体且没有旋转,对事件消息输出接口输出的前后时间序列上事件信息图像的聚类像素点组采用形状上下文算法进行直方图矩阵的构建及相似度度量;该步骤S52中对采集装置输出的前后时间序列上事件信息图像的聚类像素点组采用形状上下文算法进行直方图矩阵的构建及相似度度量的过程如下:
S521、对每个时间戳上事件信息图像的聚类像素点组,求出点对的距离矩阵,除以距离均值,得到归一聚类化距离矩阵;
S522、对于聚类像素点组的每个像素点,依据归一化距离矩阵构建以该像素为中心的极对数坐标系,按半径0.125、0.25、0.5、1.0、2.0分5个距离区域,按极角等分为12个角度区域,总计60个区域,将其周围的像素点映射到每个区域内,统计落在每个区域的像素点数,并进行归一化处理,即除以落在所有区域中的像素点数,生成形状上下文直方图矩阵;
S523、使用卡方统计前后两个时间序列上比对的聚类像素点组的相似度,记前序聚类像素点组有N个像素点,前序像素点组的直方图矩阵GN(k),k=1、2、3…60,后续聚类像素点组有M个像素点,后续像素点组的直方图矩阵为HM(k),k=1、2、3…60,前后序像素点组形状上下文的相似度度量矩阵为
Figure BDA0002895669000000111
S524、若M>N,将前序像素点组的矩阵添加(M-N)行,设置值为门限值8,将前序像素点组的矩阵补全为方阵CMM,若M<N,将后续序像素点组的矩阵添加(N-M)行,设置值为门限值8,将前序像素点组的矩阵补全为方阵CNN,添加的点称为伪点。
S53、用匈牙利算法进行二分图匹配,其中,形状上下文的相似度度量矩阵为CMM或CNN的行向量和列向量序号构成了点集V的两个互不相交的子集,矩阵中的值构成了边的值,用于判断是否匹配;
该步骤S53中,设G=(V,E)是一个无向图,如果顶点V可分割为两个互不相交的子集,并且图中的每条边(i,j)所关联的两个顶点i和j分别属于这两个不同的顶点集,则称图G为一个二分图;给定图G的一个匹配Ma,如果一条路径的边交替出现在Ma中和不出现在M中,称之为交错路;如果一条Ma的交错路,它的两个端点都不与Ma中的边关联,这条路径叫做增广路;匈牙利算法即寻找增广路的过程,通过找到目标后改变之前匹配的结果完成最终的匹配,过程如下:
S531、置Ma为空;
S532、找出一条增广路径Pa,通过取反操作获得更大的匹配Ma’代替Ma;
S533、重复步骤S532直到找不出增广路径为止;
S534、删除与伪点相匹配的点。
S54、计算前后时间序列事件图像上匹配成对的聚类像素点组的质心,计算质心的位移矩阵;该步骤S54的过程如下:
以事件信息图像横坐标为x轴,物体随时间运动的横向坐标数值增长的方向为正向,以事件信息图像纵坐标为y轴,向上为正向,t时间戳上某个聚类像素点组中含P个非0像素点,某非0像素点的坐标表示为(xtk,ytk),k=1、2、3…N,则该聚类像素点组的质心位置坐标定义为:
Figure BDA0002895669000000121
取3个连续的时间戳t1、t2、t3上的事件信息图像的匹配聚类像素点组,计算其质心位置坐标分别为(xt1,yt1)、(xt2,yt2)、(xt3,yt3)。
S55、判断前后时间序列事件信息图像上匹配聚类像素点组的运动轨迹是抛物线。该步骤S55的过程如下:
判断聚类像素点组在t1至t3时间序列间运动轨迹是否是抛物线的问题即是要判断其质心运动曲线的斜率是否在减小,即判断斜率
Figure BDA0002895669000000122
Figure BDA0002895669000000123
的大小;若斜率在减小,说明是抛物线,其中,当分子xt2-xt1或xt3-xt2是0时,是垂直地面方向向上或向下抛物的情况。
综上所述,现有的方法采用帧相机图像做分析,需要持续的计算分析和存储,资源消耗大;同时,帧相机需要整帧图像曝光后输出,输出频率较低,低频的输出会导致相机在固定时空上采集的图像数据较少,采集和分析成本都比较高,且易出现误报和漏报;另外,帧相机动态范围较小,使得图像细节显示能力不足,监测细小物体的能力不足。上述实施例提出一种基于事件相机采集分析装置的高空抛物监测方法,采用事件相机采集分析装置固有的光强变化引起事件输出的特性,触发分析装置计算分析,检测高空抛物,对目标事件进行存储,相比持续不断对帧相机的图像进行计算分析和存储,有效的降低了资源消耗;利用事件相机采集分析装置基于像素异步传感器的机制,采集频率高出普通帧相机近百万倍至近亿倍、工业级的高速帧相机数百倍至几万倍,在固定时空上可采集大量的图像数据;利用事件相机采集分析装置的动态范围明显高于基于帧的相机的特性,便于检测情况下的细小物体的运动;利用物理定律过滤非高空抛物事件,采用高空抛物运动轨迹的特征识别目标事件,减少了无效计算量和误报情况,提高了报警的精度。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (7)

1.一种基于事件相机采集分析装置的高空抛物监测方法,其特征在于,所述高空抛物监测方法包括以下步骤:
S1、采集装置主体采集监控固定区域空间的图像,采集图像窗口的竖直方向与地心垂线平行,采集装置主体采集区域比目标检测区域在水平方向和竖直方向的各边长度均延伸3.1~3.3m;采集装置主体基于采集图像上每个像素点获取光照强度的变化,判断光照强度的变化是否超过事先指定的阈值,若没超过,采集装置主体重复执行步骤S1,若超过,则由采集装置的事件消息输出模块执行步骤S2,采集装置主体同时重复执行步骤S1;
S2、事件消息输出模块输出包括时间戳、像素坐标与极性三要素的事件信息图像,单位时间内,若光照强度增加超过事先指定的第一比较阈值,像素点输出极性为1,若光照强度减少超过事先指定的第二比较阈值,像素点输出极性为-1;
S3、分析装置的事件消息监听模块持续监听事件消息输出接口的事件信息,判断是否有新的事件信息图像输出,若没有,分析装置持续本步骤,若有,则分析装置执行步骤S4;
S4、计算模块读取事件消息输出接口的事件信息图像至分析装置的缓存中,判断在相机采集周期上读取到连续事件信息图像的时间长度是否超过事先指定的时间阈值,若有,分析装置执行步骤S5,若没有,则分析装置执行步骤S6;
S5、计算模块对事件消息输出接口输出的事件信息图像按其时间戳先后顺序排序形成时间序列事件信息图像,对每个时间戳上的事件信息图像极性为1和-1的像素坐标点根据位置距离聚类形成像素点组,对每个像素点组进行特征分析和特征匹配,判断连续多个时间序列上,是否有事件信息图像的聚类像素点组的运动轨迹是抛物线,若不是,分析装置执行步骤S6,若是,则分析装置执行步骤S7;
S6、计算模块将缓存清零,停止处理本次数据,分析装置执行步骤S3;
S7、分析装置的告警信息输出模块输出告警事件信息的时间戳,计算模块将缓存信息存储到硬盘,将缓存清零,分析装置执行步骤S3。
2.根据权利要求1所述的一种基于事件相机采集分析装置的高空抛物监测方法,其特征在于,所述步骤S4中,事先指定的时间阈值为0.1秒。
3.根据权利要求1所述的一种基于事件相机采集分析装置的高空抛物监测方法,其特征在于,所述步骤S5过程如下:
S51、计算模块对事件消息输出接口输出的事件信息图像按其时间戳先后顺序排序形成时间序列事件信息图像,对每个时间戳上的事件信息图像极性为1和-1的像素坐标点根据位置距离聚类形成像素点组;
S52、假设物体为刚体且没有旋转,对事件消息输出接口输出的前后时间序列上事件信息图像的聚类像素点组采用形状上下文算法进行直方图矩阵的构建及相似度度量;
S53、用匈牙利算法进行二分图匹配,其中,形状上下文的相似度度量矩阵为CMM或CNN的行向量和列向量序号构成了点集V的两个互不相交的子集,矩阵中的值构成了边的值,用于判断是否匹配;
S54、计算前后时间序列事件图像上匹配成对的聚类像素点组的质心,计算质心的位移矩阵;
S55、判断前后时间序列事件信息图像上匹配聚类像素点组的运动轨迹是抛物线。
4.根据权利要求1所述的一种基于事件相机采集分析装置的高空抛物监测方法,其特征在于,所述步骤S52中对事件消息输出接口输出的前后时间序列上事件信息图像的聚类像素点组采用形状上下文算法进行直方图矩阵的构建及相似度度量的过程如下:
S521、对每个时间戳上事件信息图像的聚类像素点组,求出点对的距离矩阵,除以距离均值,得到归一聚类化距离矩阵;
S522、对于聚类像素点组的每个像素点,依据归一化距离矩阵构建以该像素为中心的极对数坐标系,按半径0.125、0.25、0.5、1.0、2.0分5个距离区域,按极角等分为12个角度区域,总计60个区域,将其周围的像素点映射到每个区域内,统计落在每个区域的像素点数,并进行归一化处理,即除以落在所有区域中的像素点数,生成形状上下文直方图矩阵;
S523、使用卡方统计前后两个时间序列上比对的聚类像素点组的相似度,记前序聚类像素点组有N个像素点,前序像素点组的直方图矩阵GN(k),k=1、2、3…60,后续聚类像素点组有M个像素点,后续像素点组的直方图矩阵为HM(k),k=1、2、3…60,前后序像素点组形状上下文的相似度度量矩阵为
Figure FDA0002895668990000031
S524、若M>N,将前序像素点组的矩阵添加(M-N)行,设置值为门限值8,将前序像素点组的矩阵补全为方阵CMM,若M<N,将后续序像素点组的矩阵添加(N-M)行,设置值为门限值8,将前序像素点组的矩阵补全为方阵CNN,添加的点称为伪点。
5.根据权利要求1所述的一种基于事件相机采集分析装置的高空抛物监测方法,其特征在于,所述步骤S53中,设G=(V,E)是一个无向图,如果顶点V可分割为两个互不相交的子集,并且图中的每条边(i,j)所关联的两个顶点i和j分别属于这两个不同的顶点集,则称图G为一个二分图;给定图G的一个匹配Ma,如果一条路径的边交替出现在Ma中和不出现在M中,称之为交错路;如果一条Ma的交错路,它的两个端点都不与Ma中的边关联,这条路径叫做增广路;匈牙利算法即寻找增广路的过程,通过找到目标后改变之前匹配的结果完成最终的匹配,过程如下:
S531、置Ma为空;
S532、找出一条增广路径Pa,通过取反操作获得更大的匹配Ma’代替Ma;
S533、重复步骤S532直到找不出增广路径为止;
S534、删除与伪点相匹配的点。
6.根据权利要求1所述的一种基于事件相机采集分析装置的高空抛物监测方法,其特征在于,所述步骤S54的过程如下:
以事件信息图像横坐标为x轴,物体随时间运动的横向坐标数值增长的方向为正向,以事件信息图像纵坐标为y轴,向上为正向,t时间戳上某个聚类像素点组中含P个非0像素点,某非0像素点的坐标表示为(xtk,ytk),k=1、2、3…N,则该聚类像素点组的质心位置坐标定义为:
Figure FDA0002895668990000041
取3个连续的时间戳t1、t2、t3上的事件信息图像的匹配聚类像素点组,计算其质心位置坐标分别为(xt1,yt1)、(xt2,yt2)、(xt3,yt3)。
7.根据权利要求6所述的一种基于事件相机采集分析装置的高空抛物监测方法,其特征在于,所述步骤S55的过程如下:
判断聚类像素点组在t1至t3时间序列间运动轨迹是否是抛物线的问题即是要判断其质心运动曲线的斜率是否在减小,即判断斜率
Figure FDA0002895668990000042
Figure FDA0002895668990000043
的大小;若斜率在减小,说明是抛物线,其中,当分子xt2-xt1或xt3-xt2是0时,是垂直地面方向向上或向下抛物的情况。
CN202110041952.8A 2021-01-13 2021-01-13 一种基于事件相机采集分析装置的高空抛物监测方法 Active CN112800868B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110041952.8A CN112800868B (zh) 2021-01-13 2021-01-13 一种基于事件相机采集分析装置的高空抛物监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110041952.8A CN112800868B (zh) 2021-01-13 2021-01-13 一种基于事件相机采集分析装置的高空抛物监测方法

Publications (2)

Publication Number Publication Date
CN112800868A true CN112800868A (zh) 2021-05-14
CN112800868B CN112800868B (zh) 2022-10-25

Family

ID=75810452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110041952.8A Active CN112800868B (zh) 2021-01-13 2021-01-13 一种基于事件相机采集分析装置的高空抛物监测方法

Country Status (1)

Country Link
CN (1) CN112800868B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037741A (zh) * 2021-10-12 2022-02-11 中国电子科技南湖研究院 一种基于事件相机的自适应目标检测方法及装置
CN115496920A (zh) * 2022-11-21 2022-12-20 中国科学技术大学 基于事件相机的自适应目标检测方法、系统与设备
CN116437539A (zh) * 2023-06-12 2023-07-14 良业科技集团股份有限公司 多自由度的舞美灯光控制方法及系统
CN116719227A (zh) * 2023-08-11 2023-09-08 北京瞭望神州科技有限公司 一种应用于耕地智保场景的保护方法及保护系统
CN117237676A (zh) * 2023-11-09 2023-12-15 中核国电漳州能源有限公司 一种核电厂基于事件相机对小目标掉落轨迹的处理方法
CN117689881A (zh) * 2024-02-02 2024-03-12 盛视科技股份有限公司 基于事件相机和cmos相机的抛洒物追踪方法
WO2024105618A1 (en) * 2022-11-17 2024-05-23 National Research Council Of Canada Increased drone detection range with asymmetric depth of focus

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079663A (zh) * 2019-12-19 2020-04-28 深圳云天励飞技术有限公司 高空抛物的监测方法、装置、电子设备及存储介质
CN111260693A (zh) * 2020-01-20 2020-06-09 北京中科晶上科技股份有限公司 一种高空抛物的检测方法
CN211184036U (zh) * 2017-09-19 2020-08-04 谷歌有限责任公司 用于部署在智能住家环境中的相机组件
CN111553274A (zh) * 2020-04-28 2020-08-18 青岛聚好联科技有限公司 一种基于轨迹分析的高空抛物检测方法及装置
WO2020204035A1 (ja) * 2019-04-04 2020-10-08 株式会社デンソー 落下物判別装置、運転支援システムおよび落下物判別方法
CN111931752A (zh) * 2020-10-13 2020-11-13 中航金城无人系统有限公司 一种基于事件相机的动态目标检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN211184036U (zh) * 2017-09-19 2020-08-04 谷歌有限责任公司 用于部署在智能住家环境中的相机组件
WO2020204035A1 (ja) * 2019-04-04 2020-10-08 株式会社デンソー 落下物判別装置、運転支援システムおよび落下物判別方法
CN111079663A (zh) * 2019-12-19 2020-04-28 深圳云天励飞技术有限公司 高空抛物的监测方法、装置、电子设备及存储介质
CN111260693A (zh) * 2020-01-20 2020-06-09 北京中科晶上科技股份有限公司 一种高空抛物的检测方法
CN111553274A (zh) * 2020-04-28 2020-08-18 青岛聚好联科技有限公司 一种基于轨迹分析的高空抛物检测方法及装置
CN111931752A (zh) * 2020-10-13 2020-11-13 中航金城无人系统有限公司 一种基于事件相机的动态目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈杏源等: "基于Camshift和SURF的目标跟踪系统", 《计算机工程与设计》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037741B (zh) * 2021-10-12 2023-09-19 中国电子科技南湖研究院 一种基于事件相机的自适应目标检测方法及装置
CN114037741A (zh) * 2021-10-12 2022-02-11 中国电子科技南湖研究院 一种基于事件相机的自适应目标检测方法及装置
WO2024105618A1 (en) * 2022-11-17 2024-05-23 National Research Council Of Canada Increased drone detection range with asymmetric depth of focus
CN115496920A (zh) * 2022-11-21 2022-12-20 中国科学技术大学 基于事件相机的自适应目标检测方法、系统与设备
CN115496920B (zh) * 2022-11-21 2023-03-10 中国科学技术大学 基于事件相机的自适应目标检测方法、系统与设备
CN116437539A (zh) * 2023-06-12 2023-07-14 良业科技集团股份有限公司 多自由度的舞美灯光控制方法及系统
CN116437539B (zh) * 2023-06-12 2023-08-29 良业科技集团股份有限公司 多自由度的舞美灯光控制方法及系统
CN116719227A (zh) * 2023-08-11 2023-09-08 北京瞭望神州科技有限公司 一种应用于耕地智保场景的保护方法及保护系统
CN116719227B (zh) * 2023-08-11 2023-10-24 北京瞭望神州科技有限公司 一种应用于耕地智保场景的保护方法及保护系统
CN117237676A (zh) * 2023-11-09 2023-12-15 中核国电漳州能源有限公司 一种核电厂基于事件相机对小目标掉落轨迹的处理方法
CN117237676B (zh) * 2023-11-09 2024-03-01 中核国电漳州能源有限公司 一种核电厂基于事件相机对小目标掉落轨迹的处理方法
CN117689881A (zh) * 2024-02-02 2024-03-12 盛视科技股份有限公司 基于事件相机和cmos相机的抛洒物追踪方法
CN117689881B (zh) * 2024-02-02 2024-05-28 盛视科技股份有限公司 基于事件相机和cmos相机的抛洒物追踪方法

Also Published As

Publication number Publication date
CN112800868B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN112800868B (zh) 一种基于事件相机采集分析装置的高空抛物监测方法
CN109887281B (zh) 一种监控交通事件的方法及系统
CN111931752B (zh) 一种基于事件相机的动态目标检测方法
CN106022244B (zh) 基于递归神经网络建模的无监督人群异常监测及定位方法
CN103761748B (zh) 异常行为检测方法和装置
CN108230364B (zh) 一种基于神经网络的前景物体运动状态分析方法
CN106128053A (zh) 一种智慧金睛识别人员逗留徘徊报警方法和装置
CN105809954B (zh) 交通事件检测方法以及系统
CN105631418A (zh) 一种人数统计的方法和装置
CN105023019B (zh) 一种用于视频监控自动探测人群异常行为的特征描述方法
KR101472674B1 (ko) 군중 궤적 추출을 이용한 비정상 행동 검출에 기초한 영상 감시 방법 및 영상 감시 장치
CN106127814A (zh) 一种智慧金睛识别人员聚集打斗报警方法和装置
CN106845325A (zh) 一种信息检测方法及装置
KR101030257B1 (ko) 카메라의 영상을 이용한 보행자 계수 방법 및 장치
CN114078100A (zh) 聚类降噪装置、方法、芯片、事件成像装置及电子设备
Nghiem et al. Background subtraction in people detection framework for RGB-D cameras
CN106548158A (zh) 基于机器视觉的人群密度智能监测系统及方法
CN109299700A (zh) 基于人群密度分析的地铁群体异常行为检测方法
Choudhary et al. Real-time crowd behavior detection using SIFT feature extraction technique in video sequences
Shevchenko et al. Fish detection from low visibility underwater videos
KR102285745B1 (ko) 전자 장치 및 이의 이상 상황 탐지 방법
KR20160044757A (ko) 교통상황 분석 방법 및 장치
CN115661698A (zh) 扶梯乘客异常行为检测方法、系统、电子设备及存储介质
CN113781516B (zh) 一种高空抛物检测方法
CN111768429A (zh) 一种基于卡尔曼滤波和行人重识别算法的隧道环境下行人目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant