CN114387544A - 一种高空抛物检测方法、系统、电子设备及存储介质 - Google Patents
一种高空抛物检测方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114387544A CN114387544A CN202111652608.9A CN202111652608A CN114387544A CN 114387544 A CN114387544 A CN 114387544A CN 202111652608 A CN202111652608 A CN 202111652608A CN 114387544 A CN114387544 A CN 114387544A
- Authority
- CN
- China
- Prior art keywords
- frame
- target
- image
- detection
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种高空抛物检测方法、系统、电子设备及存储介质,所述方法包括:获取待进行高空抛物检测的目标图像序列,在目标图像序列的每一帧图像中确定目标对象的检测框;在目标对象的检测框的运动情况满足高空抛物条件时,确定检测框停止运动时的停止运动检测框的目标位置信息、第一时间戳,及包含目标帧图像和目标帧图像之前预设数量图像的回放图像序列;基于目标位置信息确定回放图像序列中每一帧图像预定范围内的目标区域,以目标帧图像为起始帧反向行为检测,确定反向停止运动检测框的第二时间戳;将第二时间戳和第一时间戳之间的视频片段,确定为目标图像序列的检测结果。本发明实施例,能够提高高空抛物检测的准确度。
Description
技术领域
本发明涉及大数据技术领域,尤其涉及人工智能、视频处理等技术领域,具体涉及一种高空抛物检测方法、系统、电子设备及存储介质。
背景技术
随着城市的发展和建设,越来越多的高楼遍布在城市的各个角落,高空抛物事件随之而来。高空抛物事件会导致巨大的社会危害,存在着溯源难、取证难等问题。目前,在智慧社区、智慧城市等项目中已将高空抛物视频监控系统列为城市建设的内容之一。
相关技术中,采用如下方式对高空抛物进行检测:预先安装面对目标高楼的视频监控设备,对目标监控区域进行实时监测以及移动侦测,当侦测到视频画面中发生物体移动时,产生告警信息,并采用人工审核的方式对告警信息对应的视频片段进行审核,查找高空抛物对应的取证信息,以实现对高空抛物的检测。
然而,上述对高空抛物的检测过程中,当侦测到视频画面中出现飞鸟、摆动的树叶、人员移动等情形时,容易产生非高空抛物的移动侦测误报,影响高空抛物检测的准确度,且需要人工二次审核筛选,耗费人力、物力等资源。
发明内容
本发明实施例的目的在于提供一种高空抛物检测方法、系统、电子设备及存储介质,以提高高空抛物检测的准确度。具体技术方案如下:
第一方面,本发明实施例提供了一种高空抛物检测方法,所述方法包括:
获取待进行高空抛物检测的目标图像序列,其中,所述目标图像序列包括多帧按照时序排列的图像;
针对所述目标图像序列中的每一帧图像,在该帧图像中确定目标对象对应的检测框;
在所述目标对象的检测框的运动情况满足高空抛物条件的情况下,根据所述目标对象的检测框,确定检测框停止运动时的停止运动检测框的目标位置信息,所述目标位置信息对应的第一时间戳,以及包含目标帧图像和所述目标帧图像之前预设数量的图像的回放图像序列;其中,所述目标帧图像为停止运动检测框对应的帧图像;
基于所述目标位置信息,确定所述回放图像序列中每一帧图像预定范围内的目标区域;
基于所述回放图像序列中每一帧图像预定范围内的目标区域,以所述目标帧图像为起始帧进行反向行为检测,确定反向停止运动检测框的第二时间戳,其中,所述反向停止运动检测框为所述目标对象开始运动时的检测框;
将所述第二时间戳和所述第一时间戳之间的视频片段,确定为所述目标图像序列的检测结果。
可选的,所述获取待进行高空抛物检测的目标图像序列,包括:
获取待进行高空抛物检测的待检测视频流;
对所述待检测视频流进行抽帧处理,得到抽帧后的图像;
对所述抽帧后的图像进行模糊处理,得到目标图像序列。
可选的,所述针对所述目标图像序列中的每一帧图像,在该帧图像中确定目标对象对应的检测框,包括:
针对所述目标图像序列中的每一帧图像,对该帧图像中的目标对象进行前景提取,得到所述目标对象的前景区域;
将所述前景区域的主体框,确定为所述目标对象的检测框。
可选的,所述方法还包括:
基于所述目标图像序列中当前帧图像的目标对象的检测框中心位置,与和所述当前帧图像相邻的前一帧图像的目标对象的检测框中心位置,确定当前帧图像的目标对象的检测框的运动速度,所述运动速度包括横向速度和纵向速度;
在所述当前帧图像的目标对象的检测框的纵向速度大于横向速度,且纵向速度大于第一速度阈值的情况下,确定所述目标对象的检测框的运动情况满足高空抛物条件。
可选的,所述根据所述目标对象的检测框,确定检测框停止运动时的停止运动检测框的目标位置信息,所述目标位置信息对应的第一时间戳,以及包含目标帧图像和所述目标帧图像之前预设数量的图像的回放图像序列,包括:
对所述目标对象的检测框进行跟踪,计算相邻帧图像中目标对象的检测框的运动速度;
在连续多个帧图像的目标对象的检测框的横向速度和纵向速度均为零的情况下,将所述多个帧图像中的第一个帧图像确定为目标帧图像,并将所述目标帧图像的目标对象的检测框的位置信息,确定为检测框停止运动时的停止运动检测框的目标位置信息,以及将所述目标帧图像对应的时间戳确定为所述目标位置信息对应的第一时间戳,并确定包含所述目标帧图像和所述目标帧图像之前预设数量的图像的回放图像序列。
可选的,所述基于所述回放图像序列中每一帧图像预定范围内的目标区域,以所述目标帧图像为起始帧进行反向行为检测,确定反向停止运动检测框的第二时间戳,包括:
基于所述回放图像序列中每一帧图像预定范围内的目标区域,以所述目标帧图像为起始帧进行反向行为检测,计算相邻帧图像中目标对象的检测框的运动速度;
在连续多个反向帧图像的目标对象的检测框的横向速度和纵向速度均小于第二速度阈值的情况下,将多个反向帧图像中的第一个反向帧图像确定为起始帧图像,并将所述起始帧图像的时间戳,确定为反向停止运动检测框的第二时间戳。
可选的,所述方法还包括:
对所述第二时间戳和所述第一时间戳、所述第二时间戳和所述第一时间戳之间的视频片段、所述起始帧图像、所述目标帧图像、所述第二时间戳和所述第一时间戳之间的视频片段中的目标关键帧中的至少一个进行展示。
第二方面,本发明实施例提供了一种高空抛物检测系统,包括:
图像获取模块,用于获取待进行高空抛物检测的目标图像序列,其中,所述目标图像序列包括多帧按照时序排列的图像;
检测框确定模块,用于针对所述目标图像序列中的每一帧图像,在该帧图像中确定目标对象对应的检测框;
行为检测模块,用于在所述目标对象的检测框的运动情况满足高空抛物条件的情况下,根据所述目标对象的检测框,确定检测框停止运动时的停止运动检测框的目标位置信息,所述目标位置信息对应的第一时间戳,以及包含目标帧图像和所述目标帧图像之前预设数量的图像的回放图像序列;其中,所述目标帧图像为停止运动检测框对应的帧图像;
区域确定模块,用于基于所述目标位置信息,确定所述回放图像序列中每一帧图像预定范围内的目标区域;
轨迹回溯模块,用于基于所述回放图像序列中每一帧图像预定范围内的目标区域,以所述目标帧图像为起始帧进行反向行为检测,确定反向停止运动检测框的第二时间戳,其中,所述反向停止运动检测框为所述目标对象开始运动时的检测框;
结果检测模块,用于将所述第二时间戳和所述第一时间戳之间的视频片段,确定为所述目标图像序列的检测结果。
可选的,所述图像获取模块,具体用于:
获取待进行高空抛物检测的待检测视频流;
对所述待检测视频流进行抽帧处理,得到抽帧后的图像;
对所述抽帧后的图像进行模糊处理,得到目标图像序列。
可选的,所述检测框确定模块,具体用于:
针对所述目标图像序列中的每一帧图像,对该帧图像中的目标对象进行前景提取,得到所述目标对象的前景区域;
将所述前景区域的主体框,确定为所述目标对象的检测框。
可选的,所述系统还包括:
速度确定模块,用于基于所述目标图像序列中当前帧图像的目标对象的检测框中心位置,与和所述当前帧图像相邻的前一帧图像的目标对象的检测框中心位置,确定当前帧图像的目标对象的检测框的运动速度,所述运动速度包括横向速度和纵向速度;
高空抛物确定模块,用于在所述当前帧图像的目标对象的检测框的纵向速度大于横向速度,且纵向速度大于第一速度阈值的情况下,确定所述目标对象的检测框的运动情况满足高空抛物条件。
可选的,所述行为检测模块,具体用于:
对所述目标对象的检测框进行跟踪,计算相邻帧图像中目标对象的检测框的运动速度;
在连续多个帧图像的目标对象的检测框的横向速度和纵向速度均为零的情况下,将所述多个帧图像中的第一个帧图像确定为目标帧图像,并将所述目标帧图像的目标对象的检测框的位置信息,确定为检测框停止运动时的停止运动检测框的目标位置信息,以及将所述目标帧图像对应的时间戳确定为所述目标位置信息对应的第一时间戳,并确定包含所述目标帧图像和所述目标帧图像之前预设数量的图像的回放图像序列。
可选的,所述轨迹回溯模块,具体用于:
基于所述回放图像序列中每一帧图像预定范围内的目标区域,以所述目标帧图像为起始帧进行反向行为检测,计算相邻帧图像中目标对象的检测框的运动速度;
在连续多个反向帧图像的目标对象的检测框的横向速度和纵向速度均小于第二速度阈值的情况下,将多个反向帧图像中的第一个反向帧图像确定为起始帧图像,并将所述起始帧图像的时间戳,确定为反向停止运动检测框的第二时间戳。
可选的,所述系统还包括:
结果展示模块,用于对所述第二时间戳和所述第一时间戳、所述第二时间戳和所述第一时间戳之间的视频片段、所述起始帧图像、所述目标帧图像、所述第二时间戳和所述第一时间戳之间的视频片段中的目标关键帧中的至少一个进行展示。
第三方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现第一方面任一所述的方法步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。
本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面任一所述的方法步骤。
本发明实施例有益效果:
本发明实施例提供的一种高空抛物检测方法、系统、电子设备及存储介质,获取待进行高空抛物检测的目标图像序列,该目标图像序列包括多帧按照时序排列的图像,针对目标图像序列中的每一帧图像,在该帧图像中确定目标对象对应的检测框,以及在目标对象的检测框的运动情况满足高空抛物条件的情况下,根据目标对象的检测框,确定检测框停止运动时的停止运动检测框的目标位置信息,目标位置信息对应的第一时间戳,以及包含目标帧图像和目标帧图像之前预设数量的图像的回放图像序列,并基于目标位置信息,确定回放图像序列中每一帧图像预定范围内的目标区域,再基于回放图像序列中每一帧图像预定范围内的目标区域,以目标帧图像为起始帧进行反向行为检测,确定反向停止运动检测框的第二时间戳,将第二时间戳和第一时间戳之间的视频片段,确定为目标图像序列的检测结果。本发明实施例,能够基于目标对象的检测框的运动情况,确定检测框停止运动时的停止运动检测框的目标位置信息,目标位置信息对应的第一时间戳,以及反向停止运动检测框的第二时间戳,进而能够确定高空抛物的轨迹,避免了移动侦测造成的非高空抛物的误报,提高了高空抛物检测的准确度,且无需人工二次审核,节省了人力、物力。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的一种高空抛物检测方法的流程示意图;
图2为本发明实施例提供的一种获取目标图像序列的实施方式流程示意图;
图3为本发明实施例提供的一种图像序列示意图;
图4为本发明实施例提供的一种高空抛物检测方式示意图;
图5为本发明实施例提供的一种反向行为检测示意图;
图6为本发明实施例提供的一种高空抛物检测示意图;
图7为本发明实施例提供的另一种高空抛物检测示意图;
图8为本发明实施例提供的再一种高空抛物检测示意图;
图9为本发明实施例提供的一种高空抛物检测系统的结构示意图;
图10为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本发明保护的范围。
为解决相关技术对高空抛物的检测过程中,当侦测到视频画面中出现飞鸟、摆动的树叶、人员移动等情形时,容易产生非高空抛物的移动侦测误报,影响高空抛物检测的准确度,且需要人工二次审核筛选,耗费人力、物力等资源的问题,本发明实施例提供了一种高空抛物检测方法,包括:
获取待进行高空抛物检测的目标图像序列。其中,目标图像序列包括多帧按照时序排列的图像;
针对目标图像序列中的每一帧图像,在该帧图像中确定目标对象对应的检测框;
在目标对象的检测框的运动情况满足高空抛物条件的情况下,根据目标对象的检测框,确定检测框停止运动时的停止运动检测框的目标位置信息,目标位置信息对应的第一时间戳,以及包含目标帧图像和目标帧图像之前预设数量的图像的回放图像序列;其中,目标帧图像为停止运动检测框对应的帧图像;
基于目标位置信息,确定回放图像序列中每一帧图像预定范围内的目标区域;
基于回放图像序列中每一帧图像预定范围内的目标区域,以目标帧图像为起始帧进行反向行为检测,确定反向停止运动检测框的第二时间戳,其中,反向停止运动检测框为目标对象开始运动时的检测框;
将第二时间戳和第一时间戳之间的视频片段,确定为目标图像序列的检测结果。
本发明实施例,能够基于目标对象的检测框的运动情况,确定检测框停止运动时的停止运动检测框的目标位置信息,目标位置信息对应的第一时间戳,以及反向停止运动检测框的第二时间戳,进而能够确定高空抛物的轨迹,避免了移动侦测造成的非高空抛物的误报,提高了高空抛物检测的准确度,且无需人工二次审核,节省了人力、物力。
下面通过具体实施例对本发明提供的高空抛物检测方法进行详细说明。
本发明实施例提供的高空抛物检测方法可以应用于智慧社区、智慧城市建设等应用场景中。本发明实施例提供的高空抛物检测方法可以应用于电子设备,如终端、服务器等设备。
参见图1,图1为本发明实施例提供的一种高空抛物检测方法,可以包括:
S101,获取待进行高空抛物检测的目标图像序列。
本发明实施例中,可以针对待进行高空抛物检测的建筑物,例如楼体等,安装视频采集设备,该视频采集设备包括摄像头,进而可以通过该视频采集设备的摄像头获取待进行高空抛物检测建筑物的待检测视频流,进一步对所获取的待检测视频流进行处理,得到待进行高空抛物检测的目标图像序列,该目标图像序列可以包括多帧按照时序排列的图像。
一种可选的实施方式中,上述视频采集设备可以是监控摄像头,该监控摄像头的分辨率可以是不低于1080P的摄像头。
一种可选的实施方式中,上述所获取的待进行高空抛物检测的待检测视频流或目标图像序列中每一帧图像,均应包含完整的待进行高空抛物检测的建筑物。示例性的,对一栋20层高的楼体进行高空抛物检测时,视频采集设备所获取的待检测视频流或目标图像序列中每一帧图像均覆盖该楼体的全部20层。
S102,针对目标图像序列中的每一帧图像,在该帧图像中确定目标对象对应的检测框。
在获取待进行高空抛物检测的目标图像序列之后,可以在该目标图像序列的每一帧图像中确定目标对象对应的检测框。示例性的,目标对象可以是每一帧图像中除楼体之外的移动物体,例如高空抛物等。
在图像中确定目标对象对应的检测框,可以是先对图像进行背景建模,提取图像的前景部分,该前景部分可以为目标对象对应的前景,进而,通过阈值二分法得到该目标对象对应的检测框。
S103,在目标对象的检测框的运动情况满足高空抛物条件的情况下,根据目标对象的检测框,确定检测框停止运动时的停止运动检测框的目标位置信息,目标位置信息对应的第一时间戳,以及包含目标帧图像和目标帧图像之前预设数量的图像的回放图像序列。
在目标图像序列的每一帧图像中确定目标对象对应的检测框之后,可以根据各图像中目标对象的检测框的运动情况,判断目标对象的检测框的运行情况是否满足高空抛物条件。具体的,可以判断目标对象的检测框的运动方向以及运动速度,是否满足高空抛物条件,以滤除无关物体运动的干扰。示例性的,高空抛物条件可以是目标对象的检测框向下运动,且纵向运动速度大于设定的速度阈值等。
在目标对象的检测框的运动情况满足高空抛物条件的情况下,对目标对象的检测框进行跟踪,进而根据相邻帧图像中目标对象的检测框的位置信息,确定目标对象的检测框的运动情况,该运动情况可以是运动速度等,进一步判断该运动速度是否满足运动停止条件,例如运动速度为零等,并在确定出目标对象的检测框停止运动时,确定检测框停止运动时的停止运动检测框对应的目标位置信息,目标位置信息对应的第一时间戳,以及包含目标帧图像和目标帧图像之前预设数量的图像的回放图像序列,实现对目标对象的检测框的行为检测。
其中,目标帧图像为停止运动检测框对应的帧图像,预设数量的数值本领域技术人员可以根据实际需求进行设置,例如根据高空抛物下落的时间等进行设置。目标位置信息可以是以图像中像素点为坐标点表示的坐标信息等。目标位置信息对应的第一时间戳可以是停止运动检测框对应帧图像在待检测视频流中对应的时间戳,即目标对象停止运动对应的时间戳。
S104,基于目标位置信息,确定回放图像序列中每一帧图像预定范围内的目标区域。
在确定检测框停止运动时的停止运动检测框对应的目标位置信息,即高空抛物目标对象停止运动时对应检测框的目标位置信息后,可以进一步根据该目标位置信息,以及各检测框在对应图像中的位置信息,确定回放图像序列中每一帧图像预定范围内的目标区域。目标位置信息可以是检测框停止运动时的停止运动检测框四个顶点的位置信息,也可以是检测框停止运动时的停止运动检测框中心的位置信息等。
本发明实施例中,以目标位置信息为检测框停止运动时的停止运动检测框中心的位置信息为例进行说明,目标位置信息所表示的位置坐标为(X,Y),相应的,上述目标帧图像中预定范围内的目标区域可以表示为:目标位置信息周边以(N,M)个像素点所构成的区域,具体可以表示为:[(X-N,Y-M)、(X-N,Y+M)、(X+N,Y-M)、(X+N,Y+M)]构成的区域。
相应的,回放图像序列中目标帧图像之前任一帧的目标对象的检测框的位置坐标为(X-n,Y-m),那么,该帧图像中预定范围内的目标区域为:[(X2-n-N,Y2-m-M)、(X2-n-N,Y2-m+M)、(X2-n+N,Y2-m-M)、(X2-n+N,Y2-m+M)]构成的区域。
其中,X,Y,N,M,n,m均为正整数,可选地,上述预定范围内的目标区域应比完整图像帧原始像素范围更小,即2*N以及2*M小于完整图像帧的长或高对应的像素点的个数。
S105,基于回放图像序列中每一帧图像预定范围内的目标区域,以目标帧图像为起始帧进行反向行为检测,确定反向停止运动检测框的第二时间戳。
在确定回放图像序列中每一帧图像预定范围内的目标区域之后,在回放图像序列中每一帧图像预定范围内的目标区域内,以目标帧图像为起始帧进行反向行为检测。
示例性的,N,M均为50,也就是在目标位置(X,Y)周边50个像素点构成的正方形区域,即[(X-50,Y-50)、(X-50,Y+50)、(X+50,Y-50)、(X+50,Y+50)]构成的正方形区域内进行反向行为检测。当目标位置(X,Y)在回放图像序列中更新时,如在回放图像序列的倒数第二帧中更新为(X-0.7,Y-1)时,相应的,在[(X-0.7-50,Y-1-50)、(X-0.7-50,Y-1+50)、(X-0.7+50,Y-1-50)、(X-0.7+50,Y-1+50)]构成的正方形区域内进行反向行为检测。
相似的,可以在回放图像序列中根据反向相邻帧图像的预定范围内的目标区域的位置信息,确定目标对象的检测框的运动情况,该运动情况可以是运动速度等,进一步判断该运动速度是否满足运动停止条件,例如运动速度为零等,并在确定出目标对象的检测框停止运动时,确定反向停止运动检测框的第二时间戳。
其中,反向停止运动检测框为目标对象开始运动时的检测框,相应的,第二时间戳可以是反向停止运动检测框对应帧图像在待检测视频流中对应的时间戳,即目标对象开始运动对应的时间戳。
本发明实施例中,在确定回放图像序列中每一帧图像预定范围内的目标区域后,在各预定范围内的目标区域内以目标帧图像为起始帧进行反向行为检测,缩小了检测的范围,能够达到减少全局图像噪声影响,同时追踪目标对象轨迹的目的。
S106,将第二时间戳和第一时间戳之间的视频片段,确定为目标图像序列的检测结果。
第二时间戳为目标对象开始运动对应的时间戳,第一时间戳为目标对象停止运动对应的时间戳,第二时间戳和第一时间戳之间的视频片段即为目标对象从开始运动到停止运动对应的视频片段,完整的展示了高空抛物的运动轨迹。
本发明实施例提供的一种高空抛物检测方法,能够基于目标对象的检测框的运动情况,确定检测框停止运动时的停止运动检测框的目标位置信息,目标位置信息对应的第一时间戳,以及反向停止运动检测框的第二时间戳,进而能够确定高空抛物的轨迹,避免了移动侦测造成的非高空抛物的误报,提高了高空抛物检测的准确度,且无需人工二次审核,节省了人力、物力。
在一种可选的实施方式中,如图2所示,上述步骤S101获取待进行高空抛物检测的目标图像序列,可以包括:
S201,获取待进行高空抛物检测的待检测视频流。
本发明实施例中,可以针对待进行高空抛物检测的建筑物,例如楼体等,安装视频采集设备,该视频采集设备包括摄像头,进而可以通过该视频采集设备的摄像头获取待进行高空抛物检测的待检测视频流。
一种可选的实施方式中,上述所获取的待进行高空抛物检测的待检测视频流可以是实时视频流。
S202,对待检测视频流进行抽帧处理,得到抽帧后的图像。
本发明实施例中,可以对上述获取的待检测视频流进行抽帧处理,得到以帧为单位的图像,即抽帧后的图像,该抽帧后的图像可以是多帧按照时序排列的图像。示例性的,针对上述获取的待检测视频流,可以每秒抽取一定数量的帧图像,得到抽帧后的图像,该一定数量例如可以是20、25或30帧等。
以每秒抽取30帧图像为例,待检测视频流可以是实时视频流,通常高空抛物下落的完整时间不超过5秒钟,进而可以对上述获取的待检测视频流对应的视频序列进行抽帧处理后,维护一个长度为150帧的图像序列。例如在处理待检测视频流中当前帧时,可以维护一个包含当前帧以及当前帧之前帧图像的150帧图像序列,并在获取待检测视频流的过程中,不断更新该150图像序列。对待检测视频流对应的视频序列进行抽帧处理,所维护的图像序列如图3所示。
本发明实施例中,维护一个图像序列,以便于后续在目标对象的检测框的运动情况满足高空抛物条件的情况下,能够快速的确定包含目标帧图像和目标帧图像之前预设数量的图像的回放图像序列。
S203,对抽帧后的图像进行模糊处理,得到目标图像序列。
可以对抽帧后的每一帧图像进行高斯模糊处理,以减少图像中的噪声,得到待进行高空抛物检测的待检测视频流对应的目标图像序列。
在一种可选的实施方式中,上述步骤S102针对目标图像序列中的每一帧图像,在该帧图像中确定目标对象对应的检测框,可以包括:
针对目标图像序列中的每一帧图像,对该帧图像中的目标对象进行前景提取,得到目标对象的前景区域;将前景区域的主体框,确定为目标对象的检测框。
在得到目标图像序列后,可以针对目标图像序列中的每一帧图像进行背景建模,检测并提取每一帧图像中的前景部分,当图像的前景部分中出现目标对象时,得到目标对象的前景区域,进一步通过阈值二分法得到前景区域的主体框,将该主体框确定为目标对象的检测框。
在一种可选的实施方式中,可以通过以下方式,确定目标对象的检测框的运动情况是否满足高空抛物条件:
基于目标图像序列中当前帧图像的目标对象的检测框中心位置,与和当前帧图像相邻的前一帧图像的目标对象的检测框中心位置,确定当前帧图像的目标对象的检测框的运动速度,运动速度包括横向速度和纵向速度;
在当前帧图像的目标对象的检测框的纵向速度大于横向速度,且纵向速度大于第一速度阈值的情况下,确定目标对象的检测框的运动情况满足高空抛物条件。
本发明实施例中,以像素点/帧表示对象运动的速度。可以根据目标图像序列中当前帧图像的目标对象的检测框中心位置,与和当前帧图像相邻的前一帧图像的目标对象的检测框中心位置,确定当前帧图像的目标对象的检测框的运动速度。示例性的,当前帧图像表示为Pt,和当前帧图像相邻的前一帧图像表示为Pt-1,那么,当前帧图像的目标对象的检测框的横向速度=(Pt的目标对象的检测框中心位置横坐标-Pt-1的目标对象的检测框中心位置横坐标)/帧;当前帧图像的目标对象的检测框的纵向速度=(Pt的目标对象的检测框中心位置纵坐标-Pt-1的目标对象的检测框中心位置纵坐标)/帧。
进一步,判断目标对象的检测框的运动方向以及运动速度,是否满足高空抛物条件,以滤除无关物体运动的干扰。可以判断当前帧图像的目标对象的检测框的纵向速度是否大于横向速度,且纵向速度是否大于第一速度阈值,在当前帧图像的目标对象的检测框的纵向速度大于横向速度,且纵向速度大于第一速度阈值的情况下,确定目标对象的检测框的运动情况满足高空抛物条件。
示例性的,如图4所示,在V2大于V1且V2大于第一速度阈值V0的情况下,确定目标对象的检测框的运动情况满足高空抛物条件。其中,V2表示纵向速度,V1表示横向速度,第一速度阈值V0表示纵向速度阈值,第一速度阈值V0可以根据实际需求进行设置,例如可以设置为3像素点/帧,或者2像素点/帧等。
在一种可选的实施方式中,上述维护的图像序列中可以包含每一帧图像的运动速度信息。
在一种可选的实施方式中,上述步骤S103中根据目标对象的检测框,确定检测框停止运动时的停止运动检测框的目标位置信息,目标位置信息对应的第一时间戳,以及包含目标帧图像和目标帧图像之前预设数量的图像的回放图像序列,可以包括:
对目标对象的检测框进行跟踪,计算相邻帧图像中目标对象的检测框的运动速度;
在连续多个帧图像的目标对象的检测框的横向速度和纵向速度均为零的情况下,将多个帧图像中的第一个帧图像确定为目标帧图像,并将目标帧图像的目标对象的检测框的位置信息,确定为检测框停止运动时的停止运动检测框的目标位置信息,以及将目标帧图像对应的时间戳确定为目标位置信息对应的第一时间戳,并确定包含目标帧图像和目标帧图像之前预设数量的图像的回放图像序列。
本发明实施例中,可以对接收到的待检测视频流对应的目标图像序列中,每一帧图像的目标对象的检测框进行跟踪,使用上述目标对象的检测框的运动速度计算方式,计算相邻帧图像中目标对象的检测框的运动速度。
在连续多个帧图像的目标对象的检测框的横向速度和纵向速度均为零的时,表示目标对象的检测框停止运动,此时将多个帧图像中的第一个帧图像确定为目标帧图像,并将目标帧图像的目标对象的检测框的位置信息,确定为检测框停止运动时的停止运动检测框的目标位置信息,以及将目标帧图像对应的时间戳确定为目标位置信息对应的第一时间戳,并确定包含目标帧图像和目标帧图像之前预设数量的图像的回放图像序列。
其中,连续多个帧图像可以是3帧、4帧或5帧等,通常高空抛物下落的完整时间不超过5秒钟,进而预设数量可以根据抽帧情况确定。示例性的,每秒抽帧30帧,对应的预设数量可以设置为150帧,每秒抽帧20帧,预设数量可以设置为100帧等。在上述维护图像序列的情况下,可以直接将目标对象的检测框停止运动对应的目标帧图像确定为维护的图像序列的最后一帧,得到含目标帧图像和目标帧图像之前预设数量的图像的回放图像序列。
在一种可选的实施方式中,回放图像序列中每一帧图像可以包括:目标对象的检测框的运动速度,目标对象的检测框的位置信息,以及该帧图像对应的时间戳等。
在一种可选的实施方式中,上述步骤S105基于回放图像序列中每一帧图像预定范围内的目标区域,以目标帧图像为起始帧进行反向行为检测,确定反向停止运动检测框的第二时间戳,可以包括:
基于回放图像序列中每一帧图像预定范围内的目标区域,以目标帧图像为起始帧进行反向行为检测,计算相邻帧图像中目标对象的检测框的运动速度;
在连续多个反向帧图像的目标对象的检测框的横向速度和纵向速度均小于第二速度阈值的情况下,将多个反向帧图像中的第一个反向帧图像确定为起始帧图像,并将起始帧图像的时间戳,确定为反向停止运动检测框的第二时间戳。
在确定目标帧图像以及回放图像序列中每一帧图像预定范围内的目标区域之后,该目标帧图像为停止运动检测框对应的帧图像,在回放图像序列中每一帧图像预定范围内的目标区域内,以目标帧图像为起始帧进行反向行为检测。
反向行为检测过程中,在连续多个反向帧图像的目标对象的检测框的横向速度和纵向速度均小于第二速度阈值的情况下,确定目标对象的检测框停止运动,此时将多个反向帧图像中的第一个反向帧图像确定为起始帧图像,该起始帧图像即目标对象开始运动对应的帧图像,并将起始帧图像的时间戳,确定为反向停止运动检测框的第二时间戳。其中,连续多个反向帧图像可以是3帧、4帧或5帧等,第二速度阈值可以小于第一速度阈值,例如可以设置为2像素点/帧,或者1像素点/帧等。
如图5所示,图5中展示了从待检测视频流对应的视频序列中,确定回放图像序列,进而确定检测框停止运动时停止运动检测框对应的目标帧图像,以及通过反向行为检测,确定反向停止运动检测框对应的起始帧图像,进而得到检测结果。
上述所确定的第二时间戳为目标对象开始运动对应的时间戳,第一时间戳为目标对象停止运动对应的时间戳,进而,可以根据第二时间戳和第一时间戳确定目标对象的运动轨迹,实现高空抛物的检测。
在一种可选的实施方式中,还可以对第二时间戳和第一时间戳、第二时间戳和第一时间戳之间的视频片段、起始帧图像、目标帧图像、第二时间戳和第一时间戳之间的视频片段中的目标关键帧中的至少一个进行展示。
本发明实施例,在确定目标对象开始运动对应的第二时间戳,目标对象停止运动对应的第一时间戳之后,可以确定第二时间戳和第一时间戳之间的视频片段,即目标对象从开始运动到停止运动对应的视频片段,以及该视频片段中起始帧图像(即第一帧图像),目标帧图像(即最后一帧图像),以及起始帧图像与目标帧图像之间的目标关键帧图像,该目标关键帧图像可以是起始帧图像与目标帧图像之间的能够完整清晰显示整个待进行高空抛物检测的帧图像。
在一种可选的实施方式中,可以通过移动终端APP、WEB界面、应用程序接口、短信网关等对上述第二时间戳和第一时间戳、第二时间戳和第一时间戳之间的视频片段、起始帧图像、目标帧图像、第二时间戳和第一时间戳之间的视频片段中的目标关键帧中的至少一个进行展示,以实现对高空抛物的溯源追踪。
在一种可选的实施方式中,如图6和图7所示,上述高空抛物检测方法可以通过高空抛物检测装置来实现,该装置可以包括视频采集与传输模块,行为检测模块,轨迹回溯模块以及结果展示与告警模块。
视频采集与传输模块,对待进行高空抛物检测的待检测视频流进行采集,并将采集的待检测视频流传输至行为检测模块。其中,视频采集采用的摄像头分辨率不低于1080P,待检测视频流的传输支持H.264、H.265、RSTP(Rapid Spanning Tree Protocol,快速生成树协议)或RTMP(Real Time Messaging Protocol,实时消息传输协议)等协议。
视频采集与传输模块可以通过网络传输介质将待检测视频流传输至行为检测模块,网络传输介质可以是互联网专线、数字电路、FTTH(Fiber To The Home,光纤到户)等具有网络信号传输功能的网络介质。
行为检测模块对待检测视频流中每一帧以及相邻帧进行检测,确定回放图像序列,并将回放图像序列传输至轨迹回溯模块。具体的,对待检测视频流进行抽帧处理,得到抽帧后的图像,对抽帧后的图像进行模糊处理,得到目标图像序列,针对目标图像序列中的每一帧图像,在该帧图像中确定目标对象对应的检测框,在目标对象的检测框的运动情况满足高空抛物条件的情况下,根据目标对象的检测框,确定检测框停止运动时的停止运动检测框的目标位置信息,目标位置信息对应的第一时间戳,以及包含目标帧图像和目标帧图像之前预设数量的图像的回放图像序列,其中,目标帧图像为停止运动检测框对应的帧图像。
轨迹回溯模块基于回放图像序列,进行反向行为检测,得到检测结果。具体的,基于目标位置信息,确定回放图像序列中每一帧图像预定范围内的目标区域,基于回放图像序列中每一帧图像预定范围内的目标区域,以目标帧图像为起始帧进行反向行为检测,确定反向停止运动检测框的第二时间戳,其中,反向停止运动检测框为目标对象开始运动时的检测框,得到目标对象开始运动对应的第二时间戳,目标对象停止运动对应的第一时间戳、第二时间戳和第一时间戳之间的视频片段、起始帧图像、目标帧图像、第二时间戳和第一时间戳之间的视频片段中的目标关键帧(即检测结果,表示了目标对象的轨迹信息),并将检测结果信息传输至结果展示与告警模块。
结果展示与告警模块通过移动终端APP、WEB界面、应用程序接口、短信网关等对上述第二时间戳和第一时间戳、第二时间戳和第一时间戳之间的视频片段、起始帧图像、目标帧图像、第二时间戳和第一时间戳之间的视频片段中的目标关键帧中的至少一个进行展示,以实现对高空抛物的溯源追踪和告警。
本发明实施例图6和7中,视频采集与传输模块采集待进行高空抛物检测的待检测视频流,并将待检测视频流传输至行为检测模块,行为检测模块对待检测视频流对应的视频序列中每一帧图像进行高斯模糊处理减少噪音,通过阈值二分法得到每一帧图像中目标对象对应的检测框,再通过对比相邻帧中目标对象的检测框的运动情况,在目标对象的检测框的运动情况满足高空抛物条件的情况下,确定包含目标帧图像和目标帧图像之前预设数量的图像的回放图像序列,目标帧图像为停止运动检测框对应的帧图像,将回放图像序列传输至轨迹回溯模块。轨迹回溯模块基于所确定的回放图像序列中每一帧图像预定范围内的目标区域,以目标帧图像为起始帧进行反向行为检测,即以更小像素范围进行反向行为检测,确定反向停止运动检测框的第二时间戳,得到检测结果。
上述过程还可以如图8所示,从待检测视频流对应的视频序列中,在目标对象的检测框的运动情况满足高空抛物条件的情况下,确定回放图像序列,进而确定检测框停止运动时停止运动检测框对应的目标帧图像,以及通过反向行为检测,确定反向停止运动检测框对应的起始帧图像,进而得到检测结果。
针对本发明实施例,一相关技术中,通过大量的样本数据,训练用于目标跟踪的神经网络模型,进而在对高空抛物进行检测时,将所获取的监控视频输入所训练的神经网络模型中,判断监控视频中目标物体的运动轨迹是否为高空抛物。通过此方法实现的高空抛物检测,需要大量的高空抛物样本数据以支撑神经网络模型的训练,同时,神经网络等深度学习模型对计算资源的要求较高,实际运用难度较大。
相较于该相关技术中高空抛物的检测方式,本发明实施例中,无需训练复杂的神经网络模型,降低了高空抛物检测对深度学习计算资源的依赖,容易部署。
对应于上述实施例提供的高空抛物检测方法,本发明实施例还提供了一种高空抛物检测系统,如图9所示,包括:
图像获取模块901,用于获取待进行高空抛物检测的目标图像序列,其中,目标图像序列包括多帧按照时序排列的图像;
检测框确定模块902,用于针对目标图像序列中的每一帧图像,在该帧图像中确定目标对象对应的检测框;
行为检测模块903,用于在目标对象的检测框的运动情况满足高空抛物条件的情况下,根据目标对象的检测框,确定检测框停止运动时的停止运动检测框的目标位置信息,目标位置信息对应的第一时间戳,以及包含目标帧图像和目标帧图像之前预设数量的图像的回放图像序列;其中,目标帧图像为停止运动检测框对应的帧图像;
区域确定模块904,用于基于目标位置信息,确定回放图像序列中每一帧图像预定范围内的目标区域;
轨迹回溯模块905,用于基于回放图像序列中每一帧图像预定范围内的目标区域,以目标帧图像为起始帧进行反向行为检测,确定反向停止运动检测框的第二时间戳,其中,反向停止运动检测框为目标对象开始运动时的检测框;
结果检测模块906,用于将第二时间戳和第一时间戳之间的视频片段,确定为目标图像序列的检测结果。
本发明实施例提供的一种高空抛物检测系统,能够基于目标对象的检测框的运动情况,确定检测框停止运动时的停止运动检测框的目标位置信息,目标位置信息对应的第一时间戳,以及反向停止运动检测框的第二时间戳,进而能够确定高空抛物的轨迹,避免了移动侦测造成的非高空抛物的误报,提高了高空抛物检测的准确度,且无需人工二次审核,节省了人力、物力。
可选地,上述图像获取模块901,具体用于:
获取待进行高空抛物检测的待检测视频流;
对待检测视频流进行抽帧处理,得到抽帧后的图像;
对抽帧后的图像进行模糊处理,得到目标图像序列。
可选地,上述检测框确定模块902,具体用于:
针对目标图像序列中的每一帧图像,对该帧图像中的目标对象进行前景提取,得到目标对象的前景区域;
将前景区域的主体框,确定为目标对象的检测框。
可选地,上述系统还包括:
速度确定模块,用于基于目标图像序列中当前帧图像的目标对象的检测框中心位置,与和当前帧图像相邻的前一帧图像的目标对象的检测框中心位置,确定当前帧图像的目标对象的检测框的运动速度,运动速度包括横向速度和纵向速度;
高空抛物确定模块,用于在当前帧图像的目标对象的检测框的纵向速度大于横向速度,且纵向速度大于第一速度阈值的情况下,确定目标对象的检测框的运动情况满足高空抛物条件。
可选地,上述行为检测模块903,具体用于:
对目标对象的检测框进行跟踪,计算相邻帧图像中目标对象的检测框的运动速度;
在连续多个帧图像的目标对象的检测框的横向速度和纵向速度均为零的情况下,将多个帧图像中的第一个帧图像确定为目标帧图像,并将目标帧图像的目标对象的检测框的位置信息,确定为检测框停止运动时的停止运动检测框的目标位置信息,以及将目标帧图像对应的时间戳确定为目标位置信息对应的第一时间戳,并确定包含目标帧图像和目标帧图像之前预设数量的图像的回放图像序列。
可选地,上述轨迹回溯模块904,具体用于:
基于回放图像序列中每一帧图像预定范围内的目标区域,以目标帧图像为起始帧进行反向行为检测,计算相邻帧图像中目标对象的检测框的运动速度;
在连续多个反向帧图像的目标对象的检测框的横向速度和纵向速度均小于第二速度阈值的情况下,将多个反向帧图像中的第一个反向帧图像确定为起始帧图像,并将起始帧图像的时间戳,确定为反向停止运动检测框的第二时间戳。
可选地,上述系统还包括:
结果展示模块,用于对第二时间戳和第一时间戳、第二时间戳和第一时间戳之间的视频片段、起始帧图像、目标帧图像、第二时间戳和第一时间戳之间的视频片段中的目标关键帧中的至少一个进行展示。
本发明实施例还提供了一种电子设备,如图10所示,包括处理器101、通信接口102、存储器103和通信总线104,其中,处理器101,通信接口102,存储器103通过通信总线104完成相互间的通信,
存储器103,用于存放计算机程序;
处理器101,用于执行存储器103上所存放的程序时,实现如下步骤:
获取待进行高空抛物检测的目标图像序列,其中,目标图像序列包括多帧按照时序排列的图像;
针对目标图像序列中的每一帧图像,在该帧图像中确定目标对象对应的检测框;
在目标对象的检测框的运动情况满足高空抛物条件的情况下,根据目标对象的检测框,确定检测框停止运动时的停止运动检测框的目标位置信息,目标位置信息对应的第一时间戳,以及包含目标帧图像和目标帧图像之前预设数量的图像的回放图像序列;其中,目标帧图像为停止运动检测框对应的帧图像;
基于目标位置信息,确定回放图像序列中每一帧图像预定范围内的目标区域;
基于回放图像序列中每一帧图像预定范围内的目标区域,以目标帧图像为起始帧进行反向行为检测,确定反向停止运动检测框的第二时间戳,其中,反向停止运动检测框为目标对象开始运动时的检测框;
将第二时间戳和第一时间戳之间的视频片段,确定为目标图像序列的检测结果。
本发明实施例提供的一种电子设备,能够基于目标对象的检测框的运动情况,确定检测框停止运动时的停止运动检测框的目标位置信息,目标位置信息对应的第一时间戳,以及反向停止运动检测框的第二时间戳,进而能够确定高空抛物的轨迹,避免了移动侦测造成的非高空抛物的误报,提高了高空抛物检测的准确度,且无需人工二次审核,节省了人力、物力。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一高空抛物检测方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一高空抛物检测方法的步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统/电子设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (16)
1.一种高空抛物检测方法,其特征在于,所述方法包括:
获取待进行高空抛物检测的目标图像序列,其中,所述目标图像序列包括多帧按照时序排列的图像;
针对所述目标图像序列中的每一帧图像,在该帧图像中确定目标对象对应的检测框;
在所述目标对象的检测框的运动情况满足高空抛物条件的情况下,根据所述目标对象的检测框,确定检测框停止运动时的停止运动检测框的目标位置信息,所述目标位置信息对应的第一时间戳,以及包含目标帧图像和所述目标帧图像之前预设数量的图像的回放图像序列;其中,所述目标帧图像为停止运动检测框对应的帧图像;
基于所述目标位置信息,确定所述回放图像序列中每一帧图像预定范围内的目标区域;
基于所述回放图像序列中每一帧图像预定范围内的目标区域,以所述目标帧图像为起始帧进行反向行为检测,确定反向停止运动检测框的第二时间戳,其中,所述反向停止运动检测框为所述目标对象开始运动时的检测框;
将所述第二时间戳和所述第一时间戳之间的视频片段,确定为所述目标图像序列的检测结果。
2.根据权利要求1所述的方法,其特征在于,所述获取待进行高空抛物检测的目标图像序列,包括:
获取待进行高空抛物检测的待检测视频流;
对所述待检测视频流进行抽帧处理,得到抽帧后的图像;
对所述抽帧后的图像进行模糊处理,得到目标图像序列。
3.根据权利要求1所述的方法,其特征在于,所述针对所述目标图像序列中的每一帧图像,在该帧图像中确定目标对象对应的检测框,包括:
针对所述目标图像序列中的每一帧图像,对该帧图像中的目标对象进行前景提取,得到所述目标对象的前景区域;
将所述前景区域的主体框,确定为所述目标对象的检测框。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述目标图像序列中当前帧图像的目标对象的检测框中心位置,与和所述当前帧图像相邻的前一帧图像的目标对象的检测框中心位置,确定当前帧图像的目标对象的检测框的运动速度,所述运动速度包括横向速度和纵向速度;
在所述当前帧图像的目标对象的检测框的纵向速度大于横向速度,且纵向速度大于第一速度阈值的情况下,确定所述目标对象的检测框的运动情况满足高空抛物条件。
5.根据权利要求4所述的方法,其特征在于,所述根据所述目标对象的检测框,确定检测框停止运动时的停止运动检测框的目标位置信息,所述目标位置信息对应的第一时间戳,以及包含目标帧图像和所述目标帧图像之前预设数量的图像的回放图像序列,包括:
对所述目标对象的检测框进行跟踪,计算相邻帧图像中目标对象的检测框的运动速度;
在连续多个帧图像的目标对象的检测框的横向速度和纵向速度均为零的情况下,将所述多个帧图像中的第一个帧图像确定为目标帧图像,并将所述目标帧图像的目标对象的检测框的位置信息,确定为检测框停止运动时的停止运动检测框的目标位置信息,以及将所述目标帧图像对应的时间戳确定为所述目标位置信息对应的第一时间戳,并确定包含所述目标帧图像和所述目标帧图像之前预设数量的图像的回放图像序列。
6.根据权利要求4所述的方法,其特征在于,所述基于所述回放图像序列中每一帧图像预定范围内的目标区域,以所述目标帧图像为起始帧进行反向行为检测,确定反向停止运动检测框的第二时间戳,包括:
基于所述回放图像序列中每一帧图像预定范围内的目标区域,以所述目标帧图像为起始帧进行反向行为检测,计算相邻帧图像中目标对象的检测框的运动速度;
在连续多个反向帧图像的目标对象的检测框的横向速度和纵向速度均小于第二速度阈值的情况下,将多个反向帧图像中的第一个反向帧图像确定为起始帧图像,并将所述起始帧图像的时间戳,确定为反向停止运动检测框的第二时间戳。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
对所述第二时间戳和所述第一时间戳、所述第二时间戳和所述第一时间戳之间的视频片段、所述起始帧图像、所述目标帧图像、所述第二时间戳和所述第一时间戳之间的视频片段中的目标关键帧中的至少一个进行展示。
8.一种高空抛物检测系统,其特征在于,所述系统包括:
图像获取模块,用于获取待进行高空抛物检测的目标图像序列,其中,所述目标图像序列包括多帧按照时序排列的图像;
检测框确定模块,用于针对所述目标图像序列中的每一帧图像,在该帧图像中确定目标对象对应的检测框;
行为检测模块,用于在所述目标对象的检测框的运动情况满足高空抛物条件的情况下,根据所述目标对象的检测框,确定检测框停止运动时的停止运动检测框的目标位置信息,所述目标位置信息对应的第一时间戳,以及包含目标帧图像和所述目标帧图像之前预设数量的图像的回放图像序列;其中,所述目标帧图像为停止运动检测框对应的帧图像;
区域确定模块,用于基于所述目标位置信息,确定所述回放图像序列中每一帧图像预定范围内的目标区域;
轨迹回溯模块,用于基于所述回放图像序列中每一帧图像预定范围内的目标区域,以所述目标帧图像为起始帧进行反向行为检测,确定反向停止运动检测框的第二时间戳,其中,所述反向停止运动检测框为所述目标对象开始运动时的检测框;
结果检测模块,用于将所述第二时间戳和所述第一时间戳之间的视频片段,确定为所述目标图像序列的检测结果。
9.根据权利要求8所述的系统,其特征在于,所述图像获取模块,具体用于:
获取待进行高空抛物检测的待检测视频流;
对所述待检测视频流进行抽帧处理,得到抽帧后的图像;
对所述抽帧后的图像进行模糊处理,得到目标图像序列。
10.根据权利要求8所述的系统,其特征在于,所述检测框确定模块,具体用于:
针对所述目标图像序列中的每一帧图像,对该帧图像中的目标对象进行前景提取,得到所述目标对象的前景区域;
将所述前景区域的主体框,确定为所述目标对象的检测框。
11.根据权利要求8所述的系统,其特征在于,所述系统还包括:
速度确定模块,用于基于所述目标图像序列中当前帧图像的目标对象的检测框中心位置,与和所述当前帧图像相邻的前一帧图像的目标对象的检测框中心位置,确定当前帧图像的目标对象的检测框的运动速度,所述运动速度包括横向速度和纵向速度;
高空抛物确定模块,用于在所述当前帧图像的目标对象的检测框的纵向速度大于横向速度,且纵向速度大于第一速度阈值的情况下,确定所述目标对象的检测框的运动情况满足高空抛物条件。
12.根据权利要求11所述的系统,其特征在于,所述行为检测模块,具体用于:
对所述目标对象的检测框进行跟踪,计算相邻帧图像中目标对象的检测框的运动速度;
在连续多个帧图像的目标对象的检测框的横向速度和纵向速度均为零的情况下,将所述多个帧图像中的第一个帧图像确定为目标帧图像,并将所述目标帧图像的目标对象的检测框的位置信息,确定为检测框停止运动时的停止运动检测框的目标位置信息,以及将所述目标帧图像对应的时间戳确定为所述目标位置信息对应的第一时间戳,并确定包含所述目标帧图像和所述目标帧图像之前预设数量的图像的回放图像序列。
13.根据权利要求11所述的系统,其特征在于,所述轨迹回溯模块,具体用于:
基于所述回放图像序列中每一帧图像预定范围内的目标区域,以所述目标帧图像为起始帧进行反向行为检测,计算相邻帧图像中目标对象的检测框的运动速度;
在连续多个反向帧图像的目标对象的检测框的横向速度和纵向速度均小于第二速度阈值的情况下,将多个反向帧图像中的第一个反向帧图像确定为起始帧图像,并将所述起始帧图像的时间戳,确定为反向停止运动检测框的第二时间戳。
14.根据权利要求8所述的系统,其特征在于,所述系统还包括:
结果展示模块,用于对所述第二时间戳和所述第一时间戳、所述第二时间戳和所述第一时间戳之间的视频片段、所述起始帧图像、所述目标帧图像、所述第二时间戳和所述第一时间戳之间的视频片段中的目标关键帧中的至少一个进行展示。
15.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-7任一所述的方法步骤。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111652608.9A CN114387544A (zh) | 2021-12-30 | 2021-12-30 | 一种高空抛物检测方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111652608.9A CN114387544A (zh) | 2021-12-30 | 2021-12-30 | 一种高空抛物检测方法、系统、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114387544A true CN114387544A (zh) | 2022-04-22 |
Family
ID=81199564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111652608.9A Pending CN114387544A (zh) | 2021-12-30 | 2021-12-30 | 一种高空抛物检测方法、系统、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114387544A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115294744A (zh) * | 2022-07-29 | 2022-11-04 | 杭州海康威视数字技术股份有限公司 | 一种图像显示系统、方法、装置及设备 |
-
2021
- 2021-12-30 CN CN202111652608.9A patent/CN114387544A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115294744A (zh) * | 2022-07-29 | 2022-11-04 | 杭州海康威视数字技术股份有限公司 | 一种图像显示系统、方法、装置及设备 |
CN115294744B (zh) * | 2022-07-29 | 2024-03-22 | 杭州海康威视数字技术股份有限公司 | 一种图像显示系统、方法、装置及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111654700B (zh) | 一种隐私遮蔽处理方法、装置、电子设备及监控系统 | |
US20230005176A1 (en) | Throwing position acquisition method and apparatus, computer device and storage medium | |
CN113409587B (zh) | 异常车辆的检测方法、装置、设备及存储介质 | |
CN112733690B (zh) | 一种高空抛物检测方法、装置及电子设备 | |
US20160148383A1 (en) | Estimating rainfall precipitation amounts by applying computer vision in cameras | |
CN110659391A (zh) | 一种视频侦查方法及装置 | |
CN111368615B (zh) | 一种违章建筑预警方法、装置及电子设备 | |
CN113343779B (zh) | 环境异常检测方法、装置、计算机设备和存储介质 | |
CN110047092B (zh) | 一种复杂环境下多目标实时跟踪方法 | |
CN113096158A (zh) | 运动对象的识别方法、装置、电子设备及可读存储介质 | |
CN112017323A (zh) | 一种巡检报警方法、装置、可读存储介质及终端设备 | |
CN111402293A (zh) | 面向智能交通的一种车辆跟踪方法及装置 | |
CN115690496A (zh) | 基于YOLOv5的实时区域入侵检测方法 | |
CN114387544A (zh) | 一种高空抛物检测方法、系统、电子设备及存储介质 | |
CN113505643A (zh) | 违章目标物检测方法及相关装置 | |
KR20210075533A (ko) | 딥러닝을 활용한 영상 기반의 강수 정보 제공 시스템 및 방법 | |
CN110390226B (zh) | 人群事件识别方法、装置、电子设备及系统 | |
CN111914784B (zh) | 轨旁障碍物入侵实时检测方法、装置及电子设备 | |
CN113947744A (zh) | 基于视频的火灾图像检测方法、系统、设备及存储介质 | |
CN113052019A (zh) | 目标跟踪方法及装置、智能设备和计算机存储介质 | |
CN113947795B (zh) | 口罩佩戴检测方法、装置、设备及存储介质 | |
CN116128922A (zh) | 基于事件相机的物体掉落检测方法、装置、介质及设备 | |
CN112241671B (zh) | 一种人员身份识别方法、装置及系统 | |
CN114820692B (zh) | 跟踪目标的状态分析方法、装置、存储介质和终端 | |
CN113435352B (zh) | 文明城市评分方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |