CN109934075A - 异常事件检测方法、装置、系统及电子设备 - Google Patents
异常事件检测方法、装置、系统及电子设备 Download PDFInfo
- Publication number
- CN109934075A CN109934075A CN201711377891.2A CN201711377891A CN109934075A CN 109934075 A CN109934075 A CN 109934075A CN 201711377891 A CN201711377891 A CN 201711377891A CN 109934075 A CN109934075 A CN 109934075A
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- monitoring
- undetermined
- monitoring objective
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
本发明实施例提供了一种异常事件检测方法、装置、系统及电子设备,该方法会在待检测图像中检测监控目标;判断待检测图像中是否存在交叠目标对;如果存在交叠目标对,判断待检测图像以及后续的至少一帧图像所对应的监控时间内,交叠目标对中是否存在出现静止状态的待定监控目标;如果存在出现静止状态的待定监控目标,判定待检测图像所处场景中发生异常事件,其中,上述交叠目标对为待检测图像中相交或者重合的一组监控目标。本发明实施例提供的方案能够通过监控视频图像及时、有效地检测碰撞异常事件。
Description
技术领域
本发明涉及视频监控技术领域,特别是涉及异常事件检测方法、装置、系统及电子设备。
背景技术
碰撞异常事件是异常事件中的一种,其是指在一般的监控场景下,由于机动车司机、非机动车司机以及行人的主观或者客观的原因,导致机动车、非机动车、行人等道路运行目标发生碰撞的一类事件。
针对于上述碰撞异常事件,并没有十分有效的异常事件检测方法,以便及时救援,挽救伤员,阻止财产损失。
发明内容
本发明实施例的目的在于提供一种异常事件检测方法、装置、系统及电子设备,以通过视频监控实现对道路等场景下所发生的碰撞异常事件进行有效检测。具体技术方案如下:
为达上述目的,第一方面,本发明实施例提供了一种异常事件检测方法,所述方法包括:
在待检测图像中检测监控目标;
判断所述待检测图像中是否存在交叠目标对;其中,所述交叠目标对为所述待检测图像中相交或者重合的一组监控目标;
如果存在交叠目标对,判断所述待检测图像以及后续的至少一帧图像所对应的监控时间内,所述交叠目标对中是否存在出现静止状态的待定监控目标;
如果存在出现静止状态的待定监控目标,判定所述待检测图像所处场景中发生异常事件。
可选的,所述待检测图像后续的至少一帧图像包括:与所述待检测图像处于同一场景下、并在所述待检测图像后采集的至少一帧图像。
可选的,所述在待检测图像中检测监控目标的步骤,包括:
采用基于深度学习的目标检测方法,在待检测图像中检测监控目标的类别和位置区域。
可选的,在判定出存在所述待定监控目标的情况下,在所述判定所述待检测图像所处场景中发生异常事件的步骤之前,所述方法还包括:
判断与所述待检测图像在同一场景下的、所述待检测图像后存在所述待定监控目标的图像中,所述待定监控目标所处位置区域相同的图像的数量是否大于第一预设阈值,如果大于,执行所述判定所述待检测图像所处场景中发生异常事件的步骤。
可选的,在判定出存在所述待定监控目标的情况下,在所述判定所述待检测图像所处场景中发生异常事件的步骤之前,所述方法还包括:
判断与所述待检测图像在同一场景下的、所述待检测图像后存在所述待定监控目标的图像中,满足预设条件的目标图像的数量是否大于第二预设阈值,如果大于,执行所述判定所述待检测图像所处场景中发生异常事件的步骤;
所述预设条件包括:所述待定监控目标在所述目标图像中与所述目标图像的前一帧图像中分别所处的位置区域相同,且所述目标图像中所述待定监控目标所处行驶区域中所有监控目标的平均运动速度大于第三预设阈值,所述目标图像中所述待定监控目标所处行驶区域中所有监控目标的密度小于第四预设阈值。
可选的,在判定出存在所述待定监控目标的情况下,在所述判定所述待检测图像所处场景中发生异常事件的步骤之前,所述方法还包括:
判断与所述待检测图像在同一场景下的、所述待检测图像后存在所述待定监控目标的图像所对应监控时间内,所述待检测图像所处场景下是否存在车辆目标绕过所述待定监控目标行驶的情况,如果存在,执行所述判定所述待检测图像所处场景中发生异常事件的步骤。
可选的,在判定出存在所述待定监控目标的情况下,在所述判定所述待检测图像所处场景中发生异常事件的步骤之前,所述方法还包括:
判断与所述待检测图像在同一场景下的、所述待检测图像后存在所述待定监控目标的图像所对应监控时间内,所述待检测图像所处场景下是否存在行人围绕所述待定监控目标的情况,如果存在行人围绕所述待定监控目标的情况,执行所述判定所述待检测图像所处场景中发生异常事件的步骤。
可选的,在所述判定所述待检测图像所处场景中发生异常事件的步骤之后,所述方法还包括:
针对所发生的异常事件生成并发出报警信息。
第二方面,本发明实施例提供了一种异常事件检测装置,所述装置包括:
检测模块,用于在待检测图像中检测监控目标;
第一判断模块,用于判断所述待检测图像中是否存在交叠目标对;其中,所述交叠目标对为所述待检测图像中相交或者重合的一组监控目标;
第二判断模块,用于在所述第一判断模块的判断结果为是的情况下,判断所述待检测图像以及后续的至少一帧图像所对应的监控时间内,所述交叠目标对中是否存在出现静止状态的待定监控目标;
判定模块,用于在所述第二判断模块的判断结果为是的情况下,判定所述待检测图像所处场景中发生异常事件。
可选的,所述待检测图像后续的至少一帧图像包括:与所述待检测图像处于同一场景下、并在所述待检测图像后采集的至少一帧图像。
可选的,所述检测模块,具体用于:
采用基于深度学习的目标检测方法,在待检测图像中检测监控目标的类别和位置区域。
可选的,所述装置还包括:
第三判断模块,用于在所述第二判断模块的判断结果为是的情况下,判断与所述待检测图像在同一场景下的、所述待检测图像后存在所述待定监控目标的图像中,所述待定监控目标所处位置区域相同的图像的数量是否大于第一预设阈值;
相应的,所述判定模块,具体用于:在所述第三判断模块的判断结果为是的情况下,判定所述待检测图像所处场景中发生异常事件。
可选的,所述装置还包括:
第四判断模块,用于在所述第二判断模块的判断结果为是的情况下,判断与所述待检测图像在同一场景下的、所述待检测图像后存在所述待定监控目标的图像中,满足预设条件的目标图像的数量是否大于第二预设阈值;
所述预设条件包括:所述待定监控目标在所述目标图像中与所述目标图像的前一帧图像中分别所处的位置区域相同,且所述目标图像中所述待定监控目标所处行驶区域中所有监控目标的平均运动速度大于第三预设阈值,所述目标图像中所述待定监控目标所处行驶区域中所有监控目标的密度小于第四预设阈值;
相应的,所述判定模块,具体用于:在所述第四判断模块的判断结果为是的情况下,判定所述待检测图像所处场景中发生异常事件。
可选的,所述装置还包括:
第五判断模块,用于在所述第二判断模块的判断结果为是的情况下,判断与所述待检测图像在同一场景下的、所述待检测图像后存在所述待定监控目标的图像所对应监控时间内,所述待检测图像所处场景下是否存在车辆目标绕过所述待定监控目标行驶的情况;
相应的,所述判定模块,具体用于:在所述第五判断模块的判断结果为是的情况下,判定所述待检测图像所处场景中发生异常事件。
可选的,所述装置还包括:
第六判断模块,用于在所述第二判断模块的判断结果为是的情况下,判断与所述待检测图像在同一场景下的、所述待检测图像后存在所述待定监控目标的图像所对应监控时间内,所述待检测图像所处场景下是否存在行人围绕所述所述待定监控目标的情况;
相应的,所述判定模块,具体用于:在所述第六判断模块的判断结果为是的情况下,判定所述待检测图像所处场景中发生异常事件。
可选的,所述装置还包括:
生成模块,用于在判定所述待检测图像所处场景中发生异常事件后,针对所发生的异常事件生成并发出报警信息。
第三方面,本发明实施例提供了一种异常事件检测系统,所述系统包括图像采集设备及异常事件检测设备,其中,
所述图像采集设备,用于采集图像,并将所采集的图像发送给所述异常事件检测设备;
所述异常事件检测设备,用于接收所述图像采集设备发送的图像,并将所所接收的图像作为待检测图像执行权利要求1~7任一项所述的异常事件检测方法。
可选的,所述系统还包括服务器;
所述异常事件检测设备,还用于针对所发生的异常事件生成报警信息,并将所述报警信息发送给所述服务器;
所述服务器,用于接收并展示所述报警信息。
第四方面,本发明实施例提供了一种电子设备,包括处理器和存储器,其中:
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一异常事件检测方法所述的方法步骤。
由以上可知,本发明实施例提供的方案中,在待检测图像中检测监控目标;判断待检测图像中是否存在交叠目标对;如果存在交叠目标对,判断待检测图像以及后续的至少一帧图像所对应的监控时间内,交叠目标对中是否存在出现静止状态的待定监控目标;如果存在出现静止状态的待定监控目标,判定待检测图像所处场景中发生异常事件,其中,上述交叠目标对为待检测图像中相交或者重合的一组监控目标。本发明实施例提供的方案中,根据待检测图像以及其后续的图像,获得待检测图像中交叠目标对中的监控目标的运动信息,如果交叠目标对中的监控目标的出现静止状态,则可以判定待检测图像所处场景中发生异常事件,本方案能够通过监控视频图像及时、有效地检测出图像所处场景下所发生的碰撞异常事件。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种异常事件检测方法的流程示意图;
图2为本发明实施例涉及的利用基于深度学习的目标检测方法所进行的目标检测的过程示意图;
图3为本发明另一实施例提供的一种异常事件检测方法的流程示意图;
图4为本发明又一实施例提供的一种异常事件检测方法的流程示意图;
图5为本发明一实施例提供的一种异常事件检测装置的结构示意图;
图6为本发明另一实施例提供的一种异常事件检测装置的结构示意图;
图7为本发明一实施例提供的一种异常事件检测系统的结构示意图;
图8为本发明另一实施例提供的一种异常事件检测系统的结构示意图;
图9为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了通过视频监控实现对图像所处场景下所发生的碰撞异常事件进行有效检测,本发明实施例提供了一种异常事件检测方法、装置、系统及电子设备。
下面通过具体实施方式来对本发明实施例提供的一种异常事件检测方法进行详细介绍。
首先需要说明的是,本发明实施例提供的异常事件检测方法可以应用在具有图像处理能力的异常事件检测设备中,该设备可以是图像采集设备,例如,具有图像处理能力的电子警察;该设备还可以是监控系统中作为后端的服务器,例如,监控系统中作为前端的图像采集设备采集视频图像后,将所采集的视频图像传回给服务器,然后由该服务器执行本发明实施例的异常事件检测方法;所以,在本发明实施例中,并不对该异常事件检测设备的具体种类做限定。
另外,本发明实施例提供的异常事件检测方法通常应用在实时监控的场景下,该异常事件检测设备一帧帧地获得实时采集的视频图像,并同时根据实时采集的视频图像进行异常事件的检测;可选的,该方法还可以针对所采集完整的视频文件进行异常事件的检测,这都是合理的。
如图1所示,本发明实施例提供的一种异常事件检测方法,该方法包括:
S101:在待检测图像中检测监控目标。
可以理解,本发明实施例提供的异常事件检测方法是针对监控场景所执行的,所以该待检测图像可以是从监控场景下采集的一帧图像。
上述待检测图像可以是由异常事件检测设备自身所采集的,例如,该异常事件检测设备为上述具有图像处理能力的电子警察;上述待检测图像还可以是其它设备所采集的,例如,图像采集设备采集了待检测图像,并将该待检测图像发送给异常事件检测设备。需要说明的是,采集该待检测图像的设备为应用在监控场景下用以实现视频监控的设备,所以,该设备还会持续采集该场景下在该待检测图像后的后续图像;另外,本发明实施例中,该待检测图像是该设备所采集的视频图像序列中的每一帧图帧,并不限于视频图像序列中固定帧号的任何一帧。
从图像中检测目标,是指利用目标检测方法从图像中检测出预先设置的待检测目标,如人、汽车等,目标检测的过程中,可以确定出待检测目标在图像中的区域,以及待检测目标的种类等。所以在本发明实施例中,步骤S101可以是:利用目标检测方法在上述待检测图像中检测监控目标,该监控目标可以是前述背景技术中所述的机动车、非机动车和行人等道路运行目标。
本发明实施例中可以采用的目标检测方法多种多样,如基于背景的目标检测算法、基于混合高斯模型(GMM)的目标检测算法及其衍生算法,再如基于运动前景的帧差法及其衍生算法;又如2001年Viola与Jones等人提出的基于Haar特征(一种反映图像的灰度变化的、像素分模块求差值的一种特征)和AdaBoost学习算法(一种迭代算法)的目标检测方法;又如2005年Dalal N等人提出的一种基于HOG(Histogram of Oriented Gradient,方向梯度直方图)特征和SVM(Support Vector Machines,支持向量机)学习算法的目标检测方法;又如2008年Felzenszwalb等人提出了DPM(Deformable Parts Model)目标检测方法;又如2015年Ross Girshick等人提出的基于深度学习的目标检测方法(Fast R-CNN)。
在碰撞异常事件中,监控目标通常会被遮挡、发生形变,所以针对碰撞异常事件的监控图像,从监控图像中检测出监控目标的目标检测方法的必须具有高的检测效率,以准确及时地从监控图像中检出监控目标,为后续的异常检测提供保障。本发明实施例中,为了准确及时地从待检测图像中检出监控目标,作为一种可选的实现方式,上述在待检测图像中检测监控目标(S101)的步骤,可以包括:
采用基于深度学习的目标检测方法,在待检测图像中检测监控目标的类别和位置区域。
其中,上述监控目标的类别可以理解为监控目标的具体种类,例如,监控目标的类别可以包括车辆、行人等。
示例性的,基于深度学习的目标检测方法进行目标检测的具体实现过程可以参照图2。如图2所示,利用基于深度学习的目标检测方法对待检测图像进行目标检测时,首先将整个待检测图像以及一组object proposal(候选目标)送入训练好的深度学习网络,并进行感兴趣区域的映射(RoI projection),原始图像经过卷积池化后的卷积特征图(Convfeature map)和候选区域一同送入感兴趣区域池化层(Roi pooling layer),得到一个1维的特征向量(RoI feature vector)。然后特征向量分别送入并行的两个全连接层(FCs)获得两个输出,第一个是softmax的输出,得到目标的类别,第二个是box regressor的输出,表征目标所处在待检测图像中的区域位置。
基于深度学习的目标检测方法能够很好地在待检测图像中检出半遮挡、大部分遮挡的监控目标,目标检测准确且稳定,为后续的异常事件检测过程提供了强力支撑。
S102:判断待检测图像中是否存在交叠目标对;其中,上述交叠目标对为待检测图像中相交或者重合的一组监控目标。
可以理解,如果待检测图像中存在监控目标,对待检测图像进行目标检测后,可以确定所检测出的监控目标在待检测图像中的位置区域,如果待检测图像中至少两个监控目标的位置区域相交或者重合,即表明待检测图像中该至少两个监控目标相交或者重合,则此处的至少两个监控目标为交叠目标对。
示例性的,对待检测图像进行目标检测后,发现:待检测图像中存在监控目标A和监控目标B,监控目标A在待检测图像中的坐标区域为(x,y)至(x+100,y+200)的矩形区域,监控目标A在待检测图像中的坐标区域为(x+50,y+100)至(x+300,y+300)的矩形区域,显然的,待检测图像中监控目标A和监控目标B分别所处的坐标区域相交,所以此情况下可以判定待检测图像中是否存在交叠目标对。
当然,上述实例仅是对步骤S102具体实现过程的示例性说明,并不构成对本发明实施例的限定,在具体应用过程中,还可以使用其他实现方式完成步骤S102的具体过程。
需要说明的是,在图1中,当步骤S102的判断结果为否时,整个异常事件检测方法直接指向“结束”,图中的“结束”表明以该待检测图像作为起始图像进行的异常事件检测方法并不会被执行。
在本发明实施例中,在两种情况下都会导致步骤S102的判断结果为否。一种情况下,对待检测图像进行目标检测后,目标检测的结果表明:待检测图像中不存在监控目标,或者仅存在一个监控目标,则上述步骤S102的判断结果为否;另一种情况下,对待检测图像进行目标检测后,目标检测的结果表明:待检测图像中存在至少两个监控目标,但待检测图像中每一监控目标的位置区域均不与其它监控目标相交或者重合。
如果步骤S102的判断的结果为是,执行步骤S103:判断待检测图像以及后续的至少一帧图像所对应的监控时间内,交叠目标对中是否存在出现静止状态的待定监控目标。
上述待检测图像后续的至少一帧图像是在监控场景下采集得到的,所以上述待检测图像以及后续的至少一帧图像对应的监控时间即为采集该待检测图像以及后续的至少一帧图像对应的时间段。
可以理解,异常事件检测设备对在待检测图像后续采集的图像也会利用目标检测方法进行目标检测,得到每一帧图像中的监控目标的位置区域以及监控目标的种类,显然的,此处所用到的目标检测方法同样可以是上述基于深度学习的目标检测方法。
可以理解的是,在待检测图像中至少两个监控目标相交或者重合,并不是一定表明此处的至少两个监控目标发生了碰撞,大部分情况下,即使监控目标之间并没有发生碰撞,也会因为监控角度的原因导致待检测图像中存在交叠目标对。
在监控场景下该待检测图像及其后续图像组成的监控视频中,交叠目标对中的各个监控目标的运动情况可以分为如下几种:
第一种情况下,交叠目标对中各个监控目标在监控视频中交叠,即监控目标在图像中相交或者重叠后,所有的监控目标离开监控场景。
第二种情况下,交叠目标对中各个监控目标在监控视频中交叠后,所有的监控目标均立即停止在监控场景中。
第三种情况下,交叠目标对中各个监控目标在监控视频中交叠后,所有的监控目标分开,而后所有的监控目标均停止在监控场景中。
第四种情况下,交叠目标对中各个监控目标在监控视频中交叠后,所有的监控目标分开,而后所有的监控目标中,至少一个监控目标停止在监控场景中,其他的监控目标从监控场景中消失。
可以理解,当真实的监控场景下发生碰撞异常事件时,发生碰撞的各个监控目标中,通常至少有一个监控目标会停止在道路场景中,并且,发生碰撞的监控目标并不一定会立刻停止在监控场景中,所以本发明实施例中,可以认为在上述第二、三和四种情况下,该监控场景下发生异常事件。
如前所述,在监控场景下,监控图像是连续采集的,进而获得由连续采集的监控图像所组成的监控视频,所以在待检测图像之后,还存在在监控场景下采集的后续图像,例如,在实时监控系统中,监控前端将一帧一帧采集的图像发送给作为监控系统后端的服务器,如果服务器以某一帧图像a作为待检测图像,图像a后可以存在至少一帧图像。
需要说明的是,待检测图像后续的至少一帧图像可以理解为待检测图像后续的第一预设数量帧图像,并且,该第一预设数量的数值大于或等于1。在某些特殊情况下,待检测图像存在后续图像,但是,待检测图像后续图像的数量可能小于该第一预设数量,此情况下,步骤S102可以理解为是判断待检测图像以及后续所有图像所对应的监控时间内,交叠目标对中是否存在出现静止状态的待定监控目标。
在本发明实施例中,待检测图像后续的至少一帧图像可以包括:与待检测图像处于同一场景下、并在待检测图像后采集的至少一帧图像。
一种情况下,待检测图像后续的至少一帧图像,可以是在待检测图像后不连续的多帧图像,例如,上述至少一帧图像为5帧图像,假设待检测图像的帧号为n,则该5帧图像可以为待检测图像后帧号分别为n+1、n+3、n+5、n+7和n+9的5帧图像,或者为待检测图像后帧号分别为n+2、n+3、n+6、n+7和n+9的5帧图像,这都是可行的。
待检测图像后续的至少一帧图像,还可以是紧接在待检测图像后连续的多帧预想,例如,上述至少一帧图像为6帧图像,假设待检测图像的帧号为m,则该6帧图像可以为待检测图像后帧号分别为m+1、m+2、m+3、m+4、m+5和m+6的6帧图像。
可选的,该至少一帧图像所对应的图像帧数可以基于监控图像的采集速度所确定,本发明实施例并不限定该至少一帧图像所对应图像帧数的具体取值。
考虑到发生碰撞的监控目标并不一定会立刻停止在监控场景中,所以本发明实施例对该待检测图像以及后续的至少一帧图像对应的监控时间内,上述交叠目标对中是否存在出现静止状态的监控目标进行判断;在该监控时间内,监控目标出现静止状态,一种情况是在该整个监控时间内,监控目标都是静止的,另一种情况是该整个监控时间的某个或某些时间段内,监控目标出现静止状态。
对于异常事件检测设备而言,其可以通过连续的监控图像获得连续的监控图像所对应监控时间内各个监控目标的运动信息,例如,监控目标的位置、运动轨迹、方向,进而确定监控目标的运动状态,从而判定监控目标是否出现静止状态。
在本发明实施例中,同样可以利用上述待检测图像以及后续的至少一帧图像,获得该待检测图像以及后续的至少一帧图像对应的监控时间内交叠目标对中各个监控目标的运动信息,进而判断上述待检测图像以及后续的至少一帧图像对应的监控时间内,交叠目标对中是否存在出现静止状态的待定监控目标。
示例性的,异常事件检测设备首先确定上述待检测图像以及后续的至少一帧图像中的每帧图像中,上述交叠目标对中每一个监控目标的位置区域;然后判断在上述待检测图像以及后续的至少一帧图像中是否存在:连续的多帧图像中,上述交叠目标对中的某一个监控目标的位置区域相同;如果存在,则判定上述待检测图像以及后续的至少一帧图像所对应的监控时间内,交叠目标对中存在出现静止状态的待定监控目标。
例如,在待检测图像的后30帧图像内,某一组连续的10帧图像中,交叠目标对中的监控目标a在此10帧连续图像中的位置区域都是(m,n)至(m+100,n+50)的矩形区域,则此时异常事件检测设备判定上述待检测图像以及后续的至少一帧图像对应的监控时间内,交叠目标对中存在出现静止状态的待定监控目标。
上述实例仅是对本发明实施例中利用监控目标的运动信息判断上述待检测图像以及后续的至少一帧图像对应的监控时间内,交叠目标对中是否存在出现静止状态的待定监控目标所进行的示例性说明,并不构成对本发明实施例的限定。例如,还可以利用运动轨迹提取算法,得到上述待检测图像以及后续的至少一帧图像对应的监控时间内,交叠目标对中各个监控目标的运动轨迹,进而判断上述待检测图像以及后续的至少一帧图像对应的监控时间内,交叠目标对中存在出现静止状态的待定监控目标。
如果步骤S103的判断的结果为是,执行步骤S104:判定待检测图像所处场景中发生异常事件。
判定待检测图像所处场景中发生异常事件,即表示待检测图像所对应的监控场景下发生异常事件。在本发明实施例中,当步骤S103的判断结果为是时,可以直接判断上述待检测图像所处场景下发生发生异常事件,完成异常事件的检测。例如,上述待检测图像所处场景为高速公路场景,机动车为监控目标,可以理解,在高速公路上,机动车出现静止状态是十分异常的,所以此处可以直接判定待检测图像所处场景中发生异常事件。
本发明实施例中,为了协助视频监控的管理部门,如交通管理部门对于突发的异常事件进行及时反应,以及时挽救伤员,避免国家财产的更大的损失。异常事件检测设备可以针对当前检测到的异常事件进行报警,以提醒视频监控的管理部门及时得知所发生的异常事件。
即作为本发明实施例的一种可选实现方式,在上述判定述待检测图像所处场景中发生异常事件(S104)的步骤之后,上述方法还可以包括:
针对所发生的异常事件生成并发出报警信息。
该报警信息可以是文字报警信息,例如,文字报警信息“在xxx发生碰撞异常事件”,该报警信息还可以是上述待检测图像及其后续的至少一帧图像中的任意一帧图像;可选的,该报警信息还可以是上述文字报警信息与图像的结合,本发明实施例并不限定该报警信息的具体形式。
在本发明实施例中,异常事件检测设备可以为监控系统的前端,该监控系统中还可以有作为后端的服务器,则异常事件检测设备发出报警信息可以理解为向服务器发送该报警信息。
可以理解,服务器接收到报警信息后,可以将报警信息存储到本地,同时警示服务器的操作人员,例如,将报警信息显示在服务器的显示屏时,同时还可以发出报警声音,完成报警信息的展示。
由以上可知,本实施例提供的方案中,根据待检测图像以及其后续的监控图像,获得待检测图像中交叠目标对中的监控目标的运动信息,如果交叠目标对中的监控目标的出现静止状态,则可以判定待检测图像所处场景中发生异常事件。本方案能够通过监控视频图像及时、有效地检测出待检测图像所处场景下所发生的碰撞异常事件。
在某些监控场景下,监控目标出现短暂的静止状态是正常的,并不一定表明监控场景下发生了碰撞异常事件。所以为了提高碰撞异常事件检测的准确度,本发明实施例还提供了四种可选的、具有更高准确度的异常事件检测的实现方式。
作为本发明实施例的第一种可选实现方式,在上述图1所示方法实施例的基础上,在判定出存在待定监控目标的情况下,在上述判定待检测图像所处场景中发生异常事件(S104)的步骤之前,上述方法还可以包括下述步骤a1:
步骤a1:判断与待检测图像在同一场景下的、待检测图像后存在待定监控目标的图像中,待定监控目标所处位置区域相同的图像的数量是否大于第一预设阈值。
如果大于,执行上述判定述待检测图像所处场景中发生异常事件(S104)的步骤。
可以理解,在步骤a1执行之前,异常事件检测设备还需要确定出待定监控目标,待定监控目标为待检测图像中检测到的交叠目标对中的监控目标,且在上述待检测图像以及后续的至少一帧图像对应的监控时间内,该监测目标在判定待检测图像所处场景下出现静止状态。
在与待检测图像在同一场景下的、待检测图像后存在待定监控目标的图像中,待定监控目标所处位置区域相同的图像的数量大于第一预设阈值,可以表明待定监控目标在判定待检测图像所处场景中静止的时长超过了预设时长阈值。
具体的,当步骤S103判断结果为是时,异常事件检测设备可以按序统计待检测图像后存在待定监控目标的图像中,待定监控目标所处位置区域相同的图像,当所统计待定监控目标所处位置区域相同的图像的数量大于第一预设阈值时,即判定与待检测图像在同一场景下的、待检测图像后存在待定监控目标的图像中,待定监控目标所处位置区域相同的图像的数量大于第一预设阈值。
可选的,当异常事件检测设备按序统计发现待检测图像后的某一图像中不再存在待定监控目标,且当前统计的待定监控目标所处位置区域相同的图像的数量不大于上述第一预设阈值,则可以表明步骤a1的判断结果为否,则异常事件检测设备可以判定上述交叠目标对中的各个监测目标未发生碰撞异常事件。
针对此实现方式,示例性的,该第一预设阈值为100,上述异常事件检测设备为图像采集设备,图像采集设备一帧一帧的采集监控场景下的图像,图像采集设备采集到待检测图像的后第150帧图像时发现:待检测图像的后150帧图像中,有连续101帧图像中待定监控目标a的位置区域均为(m,n)至(m+123,n+201)的矩形区域,则执行上述判定待检测图像所处场景中发生异常事件(S104)的步骤。
作为本发明实施例的第二种可选实现方式,在上述图1所示方法实施例的基础上,在判定出存在待定监控目标的情况下,在上述判定待检测图像所处场景中发生异常事件(S104)的步骤之前,上述方法还可以包括:
判断与所述待检测图像在同一场景下的、待检测图像后存在待定监控目标的图像中,满足预设条件目标图像的数量是否大于第二预设阈值;
如果大于,执行上述判定待检测图像所处场景中发生异常事件(S104)的步骤;
上述预设条件包括:待定监控目标在目标图像中与目标图像的前一帧图像中分别所处的位置区域相同,且目标图像中待定监控目标所处行驶区域中所有监控目标的平均运动速度大于第三预设阈值,目标图像中待定监控目标所处行驶区域中所有监控目标的密度小于第四预设阈值。
即在本发明实施例中,如图3所示,该异常事件检测方法包括:
S201:在待检测图像中检测监控目标。
S202:判断待检测图像中是否存在交叠目标对;其中,上述交叠目标对为待检测图像中相交或者重合的一组监控目标。
如果步骤S202的判断的结果为是,执行步骤S203:判断待检测图像以及后续的至少一帧图像所对应的监控时间内,交叠目标对中是否存在出现静止状态的待定监控目标。
如果步骤S203的判断的结果为是,执行步骤S204:判断与待检测图像在同一场景下的、待检测图像后存在上述待定监控目标的图像中,满足预设条件的目标图像的数量是否大于第二预设阈值;
该预设条件包括:待定监控目标在目标图像中与目标图像的前一帧图像中分别所处的位置区域相同,且目标图像中该待定监控目标所处行驶区域中所有监控目标的平均运动速度大于第三预设阈值,目标图像中待定监控目标所处行驶区域中所有监控目标的密度小于第四预设阈值。
如果步骤S204的判断的结果为是,执行步骤S205:判定待检测图像所处场景中发生异常事件。
可以理解,如果与待检测图像在同一场景下的、待检测图像后存在待定监控目标的一帧图像为上述目标图像,则表明:待定监控目标在该图像及其前一帧图像中分别所处的位置区域相同;并且,在该图像中该待定监控目标所处行驶区域中所有监控目标的平均运动速度大于第三预设阈值,密度小于第四预设阈值。其中,监控目标的平均速度的获取方式较为常见,例如,可以计算该图像的前第二预设数量帧图像对应的监控时间内,待定监控目标所处行驶区域中所有监控目标的平均运动速度。
为便于说明,称图像的前第二预设数量帧图像对应的监控时间内,待定监控目标所处道路区域中所有监控目标的平均运动速度和密度为该图像对应的历史运动信息,可以理解,计算每一图像对应的历史运动信息所利用的图像是不同的。
在本发明实施例中,针对每一图像对应的历史信息的获取方式可以是:异常事件检测设备在需要判断该图像是否为上述目标图像时,计算出该图像对应的历史运动信息。还可以是:异常事件检测设备针对其所获得的每一帧图像,在获得到该图像后,就计算出该图像对应的历史运动信息,在需要判断该图像是否为目标图像时,直接用已计算出的该图像所对应历史运动信息,判断该图像是否为目标图像,以快速得到此判断结果。
另外需要说明的是,本发明实施例中的行驶区域表示车辆等监控目标可以行驶的区域,例如停车区域等,但上述行驶区域可以主要指普通的道路区域,可以理解,道路可以被划分为路口区域、两个方向的快车道区域、慢车道区域以及人行道区域等道路区域,所以本发明实施例所涉及的道路区域可以为上述道路区域,例如待定监控目标处于某一方向上的快车道区域。
针对此实现方式,示例性的,该第二预设阈值为200,上述异常事件检测设备为图像采集设备,图像采集设备一帧一帧的采集监控场景下的图像,图像采集设备采集到待检测图像的后第220帧图像时发现:待检测图像的后220帧图像中,有200帧图像为上述目标图像,则执行上述判定待检测图像所处场景中发生异常事件(S104)的步骤。
应该说明的是,图3所示方法实施例中的步骤S201、S202、S203和S205分别对应与图1所示方法实施例中的S101~S104相同,步骤S201、S202、S203和S205的解释说明和具体实现可以参照图1所示方法实施例,本实施例在此不再赘述。
可以理解,当待定监控目标所处行驶区域出现拥堵情况,如待检测图像所处场景下发生堵车情况时,很有可能导致上述步骤S203的判断结果为是,此时直接判定待检测图像所处场景下发生异常事件是不准确的。而在本实现方式中,由于结合了每帧图像对应的历史运动信息,则可以排除上述拥堵情况,具体的,当存在拥堵情况时,待定监控目标所处行驶区域中所有监控目标的平均运动速度将不大于上述第三预设阈值,密度不小于上述第四预设阈值,所以步骤S204的判断结果为否,也就不会执行上述判定待检测图像所处场景中发生异常事件的步骤,避免拥堵情况下对异常事件检测的误判。
作为本发明实施例的第三种可选实现方式,在上述图1所示方法实施例的基础上,在判定出存在待定监控目标的情况下,在上述判定待检测图像所处场景中发生异常事件(S104)的步骤之前,上述方法还可以包括下述步骤b1:
b1:判断与待检测图像在同一场景下的、待检测图像后存在待定监控目标的图像所对应监控时间内,该待检测图像所处场景下是否存在车辆目标绕过待定监控目标行驶的情况;
如果存在车辆目标绕过待定监控目标行驶的情况,执行上述判定待检测图像所处场景中发生异常事件(S104)的步骤。
如前所述,对图像进行目标检测时可以检测出图像中监控目标的种类,而在本实现方式中,通过监控目标中的车辆目标的运动信息,来进一步判断待检测图像所处场景下是否发生异常事件,该车辆目标可以包括机动车和/或非机动车。
具体的,异常事件检测设备可以利用所采集的图像,获得在待检测图像后存在待定监控目标的图像所对应监控时间内,待定监控目标所处行驶区域中除待定监控目标外的各个监控目标的运动信息,如果待定监控目标所处行驶区域中除待定监控目标外的各个监控目标都是处于运动状态,则可以判定待检测图像所处场景下存在车辆目标绕过待定监控目标行驶的情况。
作为本发明实施例的第四种可选实现方式,在上述图1所示方法实施例的基础上,判定出存在待定监控目标的情况下,在上述判定待检测图像所处场景中发生异常事件(S104)的步骤之前,上述方法还可以包括下述步骤c1:
c1:判断与待检测图像在同一场景下的、待检测图像后存在待定监控目标的图像所对应监控时间内,该待检测图像所处场景下是否存在行人围绕待定监控目标的情况;
如果存在行人围绕待定监控目标的情况,执行上述判定待检测图像所处场景中发生异常事件(S104)的步骤。
如前所述,对图像进行目标检测时可以检测出图像中监控目标的种类,而在本实现方式中,通过监控目标中的行人的运动信息,来进一步判断待检测图像所处场景下是否发生异常事件。
具体的,异常事件检测设备可以利用所采集的图像,获得在待检测图像后存在待定监控目标的图像所对应监控时间内,待检测图像所处场景下各个行人的运动信息,并利用各个行人的运动信息,判断该待检测图像所处场景下采集的、待检测图像后存在待定监控目标的图像所对应监控时间内,是否存在行人围绕待定监控目标的情况。
例如,如果检测到上述待检测图像后存在待定监控目标的图像中,存在:连续的多帧图像里,在待定监控目标所处位置区域的周围区域中,行人的数量均大于预设阈值,则判定步骤c1的判断结果为是。其中该周围区域可以是距离待定监控目标不超过预设距离的区域。
再如,如果检测到上述待检测图像后存在待定监控目标的图像中,存在:连续的多帧图像里,在待定监控目标所处位置区域的周围区域中,行人的数量逐渐增加至预设阈值,且行人的运动不具有水平垂直趋势,则判定步骤c1的判断结果为是。
可以理解,在人行道上,行人目标较多,所以为了避免人行道上的行人对异常事件检测的干扰,可以利用判断行人的运动是否具有水平垂直趋势来避免人行道上的行人对异常事件检测的干扰。
具体的,异常事件检测设备判断行人的运动是否具有水平垂直趋势的方式可以为:在上述待检测图像后存在待定监控目标的连续多帧图像中,统计监控场景下每个行人的运动方向和平均速度;利用所统计每个行人的运动方向和平均速度,计算该行人分别在水平方向和垂直方向的运动速度分量;再计算所有行人在水平方向的运动速度分量之和与所有行人在垂直方向的运动速度分量之和的差值;判断该差值的绝对值是否小于预设阈值,如果小于,则判定行人的运动不具有水平垂直趋势。
需要说明的是,在本发明实施例中,上述第二预设阈值、第三预设阈值、第四预设阈值以及第二预设数量的具体取值可以基于需求确定,本发明实施例中并不限定这些数值的具体取值。
另外,异常检测设备可以结合上述四种实现方式中的至少两个来进行异常事件的检测,例如,结合上述第三种实现方式以及第四种实现方式,只要步骤b1和步骤c1中的至少一个步骤对应的判断结果为是,则可判定监控场景中发生异常事件。
示例性的,如图4所示,该异常检测方法可以包括:
S301:在待检测图像中检测监控目标。
S302:判断待检测图像中是否存在交叠目标对;其中,上述交叠目标对为待检测图像中相交或者重合的一组监控目标。
如果步骤S302的判断的结果为是,执行步骤S303:判断待检测图像以及后续的至少一帧图像所对应的监控时间内,交叠目标对中是否存在出现静止状态的待定监控目标。
如果步骤S303的判断的结果为是,执行步骤S304:判断与待检测图像在同一场景下的、待检测图像后存在待定监控目标的图像所对应监控时间内,该待检测图像所处场景下是否存在车辆目标绕过待定监控目标行驶的情况。
如果步骤S304的判断的结果为是,执行步骤S306:判定待检测图像所处场景中发生异常事件。
如果步骤S304的判断的结果为否,执行步骤S305:判断与待检测图像在同一场景下的、待检测图像后存在待定监控目标的图像所对应监控时间内,该待检测图像所处场景下是否存在行人围绕待定监控目标的情况。
如果步骤S305的判断的结果为是,执行步骤S306:判定待检测图像所处场景中发生异常事件。
下面通过一个具体实例来对本发明实施例进行简单介绍。
假设本发明实施例涉及的异常事件检测方法应用于具有图像处理能力的图像采集设备中,该图像采集设备为监控系统的前端,监控系统还包括作为后端的服务器;异常事件检测方法所针对的检测目标包括行人、机动车和非机动车。另外,图像采集设备每采集一帧图像,就计算出该图像的前第二预设数量帧图像对应的监控时间内,待定监控目标所处行驶区域中所有监控目标的平均运动速度和密度。
图像采集设备首先利用基于深度学习的目标检测方法,在从监控场景下采集的待检测图像中检测出各个监控目标,然后判断待检测图像中是否存在交叠目标对。
假设检测结果表明待检测图像中存在交叠目标对,则图像采集设备判断待检测图像以及后续的至少一帧图像所对应的监控时间内,交叠目标对中是否存在出现静止状态的待定监控目标。
假设存在现静止状态的监控目标,判断与待检测图像在同一场景下的、待检测图像后存在上述待定监控目标的图像中,满足前述预设条件的目标图像的数量是否大于第二预设阈值;,假设大于第二预设阈值,则图像采集设备判定监控场景中发生异常事件。
然后,图像采集设备生成包含上述待检测图像的报警信息,并将报警信息发送给监控系统中作为后端的服务器。后端服务器接收到报警信息后,将报警信息存储到本地,同时警示服务器的操作人员。
相应于图1所示方法实施例,本发明实施例还提供了一种异常事件检测装置,如图5所示,所述装置包括:
检测模块110,用于在待检测图像中检测监控目标;
第一判断模块120,用于判断所述待检测图像中是否存在交叠目标对;其中,所述交叠目标对为所述待检测图像中相交或者重合的一组监控目标;
第二判断模块130,用于在所述第一判断模块120的判断结果为是的情况下,判断所述待检测图像以及后续的至少一帧图像所对应的监控时间内,所述交叠目标对中是否存在出现静止状态的待定监控目标;
判定模块140,用于在所述第二判断模块130的判断结果为是的情况下,判定待检测图像所处监控场景中发生异常事件。
具体的,所述待检测图像后续的至少一帧图像可以包括:与所述待检测图像处于同一场景下、并在所述待检测图像后采集的至少一帧图像。
具体的,所述检测模块,可以具体用于:
采用基于深度学习的目标检测方法,在待检测图像中检测监控目标的类别和位置区域。
作为本发明实施例的一种可选实现方式,所述装置还可以包括:
第三判断模块,用于在所述第二判断模块130的判断结果为是的情况下,判断与所述待检测图像在同一场景下的、所述待检测图像后存在待定监控目标的图像中,所述待定监控目标所处位置区域相同的图像的数量是否大于第一预设阈值;
相应的,所述判定模块140,可以具体用于:在所述第三判断模块的判断结果为是的情况下,判定所述待检测图像所处场景中发生异常事件。
相应于图3所示方法实施例,作为本发明实施例的另一种可选实现方式,所述装置还可以包括:
第四判断模块150,用于在所述第二判断模块130的判断结果为是的情况下,判断与所述待检测图像在同一场景下的、所述待检测图像后存在待定监控目标的图像中,满足预设条件的目标图像的数量是否大于第二预设阈值;
所述预设条件包括:所述待定监控目标在所述目标图像中与所述目标图像的前一帧图像中分别所处的位置区域相同,且所述目标图像中所述待定监控目标所处行驶区域中所有监控目标的平均运动速度大于第三预设阈值,所述目标图像中所述待定监控目标所处行驶区域中所有监控目标的密度小于第四预设阈值;
相应的,所述判定模块140,具体用于:在所述第四判断模块150的判断结果为是的情况下,判定所述待检测图像所处场景中发生异常事件。
作为本发明实施例的又一种可选实现方式,所述装置还可以包括:
第五判断模块,用于在所述第二判断模块130的判断结果为是的情况下,判断与所述待检测图像在同一场景下的、所述待检测图像后存在待定监控目标的图像所对应监控时间内,所述监控场景下是否存在车辆目标绕过所述待定监控目标行驶的情况;
相应的,所述判定模块140,可以具体用于:在所述第五判断模块的判断结果为是的情况下,判定所述待检测图像所处场景中发生异常事件。
作为本发明实施例的再一种可选实现方式,所述装置还可以包括:
第六判断模块,用于在所述第二判断模块130的判断结果为是的情况下,判断所述与所述待检测图像在同一场景下的、所述待检测图像后存在待定监控目标的图像所对应监控时间内,所述待检测图像所处场景下是否存在行人围绕所述待定监控目标的情况;
相应的,所述判定模块140,可以具体用于:在所述第六判断模块的判断结果为是的情况下,判定所述待检测图像所处场景中发生异常事件。
具体的,所述装置还可以包括:
生成模块,用于在判定所述待检测图像所处场景中发生异常事件后,针对所发生的异常事件生成并发出报警信息。
由以上可知,本实施例提供的方案中,根据待检测图像以及其后续的监控图像,获得待检测图像中交叠目标对中的监控目标的运动信息,如果交叠目标对中的监控目标的出现静止状态,则可以判定待检测图像所处场景中发生异常事件。本方案能够通过监控视频图像及时、有效地检测出待检测图像所处场景下所发生的碰撞异常事件。
相应于上述方法实施例,本发明实施例还提供了一种异常事件检测系统,如图7所示,所述系统包括图像采集设备及异常事件检测设备,其中,
所述图像采集设备,用于采集图像,并将所采集的图像发送给所述异常事件检测设备;
所述异常事件检测设备,用于接收所述图像采集设备发送的图像,并将所所接收的图像作为待检测图像执行图1、图3和图4所示的任一异常事件检测方法。
具体的,在图7所示系统实施例的基础上,如图8所示,所述系统还可以包括服务器;
所述异常事件检测设备,还用于针对所发生的异常事件生成报警信息,并将所述报警信息发送给所述服务器;
所述服务器,用于接收并展示所述报警信息。
在此需要说明的是,图7和图8所示系统实施例中,各个设备都可以看作是从功能上定义的虚拟设备,各个设备可以处于相同的物理设备中,也可以处于不同的物理设备中。具体的,在图7所示系统实施例中,图像采集设备与异常事件检测设备可以处以同一物理设备中,也可以处于不同的物理设备中;而在在图7所示系统实施例中,图像采集设备、异常事件检测设备以及服务器可以同处于同一物理设备中,或者分别处于三个物理设备中,更或者异常事件检测设备与图像采集设备处于同一物理设备,服务器处于另一物理设备中,亦或是异常事件检测设备与服务器处于同一物理设备,图像采集设备处于另一物理设备中。
由以上可知,本实施例提供的方案中,根据待检测图像以及其后续的监控图像,获得待检测图像中交叠目标对中的监控目标的运动信息,如果交叠目标对中的监控目标的出现静止状态,则可以判定待检测图像所处场景中发生异常事件。本方案能够通过监控视频图像及时、有效地检测出待检测图像所处场景下所发生的碰撞异常事件。
本发明实施例还提供了一种电子设备,如图9所示,包括处理器210和存储器220,其中,
存储器220,用于存放计算机程序;
处理器210,用于执行存储器220上所存放的程序时,实现如下步骤:
在待检测图像中检测监控目标;
判断待检测图像中是否存在交叠目标对;其中,上述交叠目标对为待检测图像中相交或者重合的一组监控目标。
如果存在交叠目标对,判断待检测图像以及后续的至少一帧图像所对应的监控时间内,交叠目标对中是否存在出现静止状态的待定监控目标。
如果存在出现静止状态的待定监控目标,判定待检测图像所处场景中发生异常事件。
关于该方法各个步骤的具体实现以及相关解释内容可以参见上述图1和3所示的方法实施例,在此不做赘述。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
由以上可知,本实施例提供的方案中,根据待检测图像以及其后续的监控图像,获得待检测图像中交叠目标对中的监控目标的运动信息,如果交叠目标对中的监控目标的出现静止状态,则可以判定待检测图像所处场景中发生异常事件。本方案能够通过监控视频图像及时、有效地检测出待检测图像所处场景下所发生的碰撞异常事件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的异常事件检测方法。
由以上可知,本实施例提供的方案中,根据待检测图像以及其后续的监控图像,获得待检测图像中交叠目标对中的监控目标的运动信息,如果交叠目标对中的监控目标的出现静止状态,则可以判定监控场景中发生异常事件。本方案能够通过监控视频图像及时、有效地检测出监控场景下所发生的碰撞异常事件。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、系统及电子设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (19)
1.一种异常事件检测方法,其特征在于,所述方法包括:
在待检测图像中检测监控目标;
判断所述待检测图像中是否存在交叠目标对;其中,所述交叠目标对为所述待检测图像中相交或者重合的一组监控目标;
如果存在交叠目标对,判断所述待检测图像以及后续的至少一帧图像所对应的监控时间内,所述交叠目标对中是否存在出现静止状态的待定监控目标;
如果存在出现静止状态的待定监控目标,判定所述待检测图像所处场景中发生异常事件。
2.根据权利要求1所述的方法,其特征在于,所述待检测图像后续的至少一帧图像包括:与所述待检测图像处于同一场景下、并在所述待检测图像后采集的至少一帧图像。
3.根据权利要求1所述的方法,其特征在于,所述在待检测图像中检测监控目标的步骤,包括:
采用基于深度学习的目标检测方法,在待检测图像中检测监控目标的类别和位置区域。
4.根据权利要求1~3任一所述的方法,其特征在于,在判定出存在所述待定监控目标的情况下,在所述判定所述待检测图像所处场景中发生异常事件的步骤之前,所述方法还包括:
判断与所述待检测图像在同一场景下的、所述待检测图像后存在所述待定监控目标的图像中,所述待定监控目标所处位置区域相同的图像的数量是否大于第一预设阈值,如果大于,执行所述判定所述待检测图像所处场景中发生异常事件的步骤。
5.根据权利要求1~3任一所述的方法,其特征在于,在判定出存在所述待定监控目标的情况下,在所述判定所述待检测图像所处场景中发生异常事件的步骤之前,所述方法还包括:
判断与所述待检测图像在同一场景下的、所述待检测图像后存在所述待定监控目标的图像中,满足预设条件的目标图像的数量是否大于第二预设阈值,如果大于,执行所述判定所述待检测图像所处场景中发生异常事件的步骤;
所述预设条件包括:所述待定监控目标在所述目标图像中与所述目标图像的前一帧图像中分别所处的位置区域相同,且所述目标图像中所述待定监控目标所处行驶区域中所有监控目标的平均运动速度大于第三预设阈值,所述目标图像中所述待定监控目标所处行驶区域中所有监控目标的密度小于第四预设阈值。
6.根据权利要求1~3任一所述的方法,其特征在于,在判定出存在所述待定监控目标的情况下,在所述判定所述待检测图像所处场景中发生异常事件的步骤之前,所述方法还包括:
判断与所述待检测图像在同一场景下的、所述待检测图像后存在所述待定监控目标的图像所对应监控时间内,所述待检测图像所处场景下是否存在车辆目标绕过所述待定监控目标行驶的情况,如果存在,执行所述判定所述待检测图像所处场景中发生异常事件的步骤。
7.根据权利要求1~3任一所述的方法,其特征在于,在判定出存在所述待定监控目标的情况下,在所述判定所述待检测图像所处场景中发生异常事件的步骤之前,所述方法还包括:
判断与所述待检测图像在同一场景下的、所述待检测图像后存在所述待定监控目标的图像所对应监控时间内,所述待检测图像所处场景下是否存在行人围绕所述待定监控目标的情况,如果存在行人围绕所述待定监控目标的情况,执行所述判定所述待检测图像所处场景中发生异常事件的步骤。
8.根据权利要求1~3任一所述的方法,其特征在于,
在所述判定所述待检测图像所处场景中发生异常事件的步骤之后,所述方法还包括:
针对所发生的异常事件生成并发出报警信息。
9.一种异常事件检测装置,其特征在于,所述装置包括:
检测模块,用于在待检测图像中检测监控目标;
第一判断模块,用于判断所述待检测图像中是否存在交叠目标对;其中,所述交叠目标对为所述待检测图像中相交或者重合的一组监控目标;
第二判断模块,用于在所述第一判断模块的判断结果为是的情况下,判断所述待检测图像以及后续的至少一帧图像所对应的监控时间内,所述交叠目标对中是否存在出现静止状态的待定监控目标;
判定模块,用于在所述第二判断模块的判断结果为是的情况下,判定所述待检测图像所处场景中发生异常事件。
10.根据权利要求9所述的装置,其特征在于,所述待检测图像后续的至少一帧图像包括:与所述待检测图像处于同一场景下、并在所述待检测图像后采集的至少一帧图像。
11.根据权利要求9所述的装置,其特征在于,所述检测模块,具体用于:
采用基于深度学习的目标检测方法,在待检测图像中检测监控目标的类别和位置区域。
12.根据权利要求9~11任一所述的装置,其特征在于,所述装置还包括:
第三判断模块,用于在所述第二判断模块的判断结果为是的情况下,判断与所述待检测图像在同一场景下的、所述待检测图像后存在所述待定监控目标的图像中,所述待定监控目标所处位置区域相同的图像的数量是否大于第一预设阈值;
相应的,所述判定模块,具体用于:在所述第三判断模块的判断结果为是的情况下,判定所述待检测图像所处场景中发生异常事件。
13.根据权利要求9~11任一所述的装置,其特征在于,所述装置还包括:
第四判断模块,用于在所述第二判断模块的判断结果为是的情况下,判断与所述待检测图像在同一场景下的、所述待检测图像后存在所述待定监控目标的图像中,满足预设条件的目标图像的数量是否大于第二预设阈值;
所述预设条件包括:所述待定监控目标在所述目标图像中与所述目标图像的前一帧图像中分别所处的位置区域相同,且所述目标图像中所述待定监控目标所处行驶区域中所有监控目标的平均运动速度大于第三预设阈值,所述目标图像中所述待定监控目标所处行驶区域中所有监控目标的密度小于第四预设阈值;
相应的,所述判定模块,具体用于:在所述第四判断模块的判断结果为是的情况下,判定所述待检测图像所处场景中发生异常事件。
14.根据权利要求9~11任一所述的装置,其特征在于,所述装置还包括:
第五判断模块,用于在所述第二判断模块的判断结果为是的情况下,判断与所述待检测图像在同一场景下的、所述待检测图像后存在所述待定监控目标的图像所对应监控时间内,所述待检测图像所处场景下是否存在车辆目标绕过所述待定监控目标行驶的情况;
相应的,所述判定模块,具体用于:在所述第五判断模块的判断结果为是的情况下,判定所述待检测图像所处场景中发生异常事件。
15.根据权利要求9~11任一所述的装置,其特征在于,所述装置还包括:
第六判断模块,用于在所述第二判断模块的判断结果为是的情况下,判断与所述待检测图像在同一场景下的、所述待检测图像后存在所述待定监控目标的图像所对应监控时间内,所述待检测图像所处场景下是否存在行人围绕所述所述待定监控目标的情况;
相应的,所述判定模块,具体用于:在所述第六判断模块的判断结果为是的情况下,判定所述待检测图像所处场景中发生异常事件。
16.根据权利要求9~11任一所述的装置,其特征在于,
所述装置还包括:
生成模块,用于在判定所述待检测图像所处场景中发生异常事件后,针对所发生的异常事件生成并发出报警信息。
17.一种异常事件检测系统,其特征在于,所述系统包括图像采集设备及异常事件检测设备,其中,
所述图像采集设备,用于采集图像,并将所采集的图像发送给所述异常事件检测设备;
所述异常事件检测设备,用于接收所述图像采集设备发送的图像,并将所所接收的图像作为待检测图像执行权利要求1~8任一项所述的异常事件检测方法。
18.根据权利要求17所述的系统,其特征在于,所述系统还包括服务器;
所述异常事件检测设备,还用于针对所发生的异常事件生成报警信息,并将所述报警信息发送给所述服务器;
所述服务器,用于接收并展示所述报警信息。
19.一种电子设备,其特征在于,包括处理器和存储器,其中:
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-8任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711377891.2A CN109934075A (zh) | 2017-12-19 | 2017-12-19 | 异常事件检测方法、装置、系统及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711377891.2A CN109934075A (zh) | 2017-12-19 | 2017-12-19 | 异常事件检测方法、装置、系统及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109934075A true CN109934075A (zh) | 2019-06-25 |
Family
ID=66984072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711377891.2A Pending CN109934075A (zh) | 2017-12-19 | 2017-12-19 | 异常事件检测方法、装置、系统及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109934075A (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110458009A (zh) * | 2019-07-04 | 2019-11-15 | 浙江大华技术股份有限公司 | 图片信息、人脸检测、以图搜图的处理方法及相关设备 |
CN111507237A (zh) * | 2020-04-13 | 2020-08-07 | 北京巨视科技有限公司 | 一种应用在高速公路上基于视频的异常事件检测方法与装置 |
CN111767850A (zh) * | 2020-06-29 | 2020-10-13 | 北京百度网讯科技有限公司 | 突发事件的监控方法、装置、电子设备和介质 |
CN111968102A (zh) * | 2020-08-27 | 2020-11-20 | 中冶赛迪重庆信息技术有限公司 | 一种目标设备检测方法、系统、介质及电子终端 |
CN112164223A (zh) * | 2020-02-27 | 2021-01-01 | 周国霞 | 基于云平台的智能交通信息处理方法及装置 |
CN112200835A (zh) * | 2020-09-27 | 2021-01-08 | 浙江大华技术股份有限公司 | 一种交通事故检测方法、装置、电子设备及存储介质 |
CN112767723A (zh) * | 2019-11-05 | 2021-05-07 | 深圳市大富科技股份有限公司 | 路况检测方法、计算机存储设备、车载终端和车辆 |
WO2021093329A1 (zh) * | 2019-11-12 | 2021-05-20 | 苏宁易购集团股份有限公司 | 交互行为识别方法、装置、计算机设备和存储介质 |
CN113052047A (zh) * | 2021-03-18 | 2021-06-29 | 北京百度网讯科技有限公司 | 交通事件的检测方法、路侧设备、云控平台及系统 |
CN113360541A (zh) * | 2020-03-06 | 2021-09-07 | 纳博特斯克有限公司 | 状态估计装置、控制阀、存储介质以及状态估计方法 |
CN113409587A (zh) * | 2021-06-16 | 2021-09-17 | 北京字跳网络技术有限公司 | 异常车辆的检测方法、装置、设备及存储介质 |
CN113674311A (zh) * | 2021-06-30 | 2021-11-19 | 浙江大华技术股份有限公司 | 异常行为检测方法、装置、电子设备、存储介质 |
CN114049771A (zh) * | 2022-01-12 | 2022-02-15 | 华砺智行(武汉)科技有限公司 | 基于双模态的交通异常检测方法、系统和存储介质 |
CN114969167A (zh) * | 2022-04-07 | 2022-08-30 | 江苏尚蓝信息技术有限公司 | 基于数据化的智能电网监控综合管理系统及方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102945603A (zh) * | 2012-10-26 | 2013-02-27 | 青岛海信网络科技股份有限公司 | 检测交通事件的方法及电子警察装置 |
CN103226891A (zh) * | 2013-03-26 | 2013-07-31 | 中山大学 | 一种基于视频的车辆碰撞事故检测方法及系统 |
CN103971521A (zh) * | 2014-05-19 | 2014-08-06 | 清华大学 | 道路交通异常事件实时检测方法及装置 |
CN104809874A (zh) * | 2015-04-15 | 2015-07-29 | 东软集团股份有限公司 | 一种交通事件检测方法和装置 |
CN105208339A (zh) * | 2015-09-24 | 2015-12-30 | 深圳市哈工大交通电子技术有限公司 | 一种监控视频识别车辆碰撞的事故检测方法 |
CN105206055A (zh) * | 2015-09-24 | 2015-12-30 | 深圳市哈工大交通电子技术有限公司 | 一种交通监控视频识别车辆碰撞的事故检测方法 |
US20170025000A1 (en) * | 2004-11-03 | 2017-01-26 | The Wilfred J. And Louisette G. Lagassey Irrevocable Trust, Roger J. Morgan, Trustee | Modular intelligent transportation system |
-
2017
- 2017-12-19 CN CN201711377891.2A patent/CN109934075A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170025000A1 (en) * | 2004-11-03 | 2017-01-26 | The Wilfred J. And Louisette G. Lagassey Irrevocable Trust, Roger J. Morgan, Trustee | Modular intelligent transportation system |
CN102945603A (zh) * | 2012-10-26 | 2013-02-27 | 青岛海信网络科技股份有限公司 | 检测交通事件的方法及电子警察装置 |
CN103226891A (zh) * | 2013-03-26 | 2013-07-31 | 中山大学 | 一种基于视频的车辆碰撞事故检测方法及系统 |
CN103971521A (zh) * | 2014-05-19 | 2014-08-06 | 清华大学 | 道路交通异常事件实时检测方法及装置 |
CN104809874A (zh) * | 2015-04-15 | 2015-07-29 | 东软集团股份有限公司 | 一种交通事件检测方法和装置 |
CN105208339A (zh) * | 2015-09-24 | 2015-12-30 | 深圳市哈工大交通电子技术有限公司 | 一种监控视频识别车辆碰撞的事故检测方法 |
CN105206055A (zh) * | 2015-09-24 | 2015-12-30 | 深圳市哈工大交通电子技术有限公司 | 一种交通监控视频识别车辆碰撞的事故检测方法 |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110458009B (zh) * | 2019-07-04 | 2022-02-18 | 浙江大华技术股份有限公司 | 图片信息、人脸检测、以图搜图的处理方法及相关设备 |
CN110458009A (zh) * | 2019-07-04 | 2019-11-15 | 浙江大华技术股份有限公司 | 图片信息、人脸检测、以图搜图的处理方法及相关设备 |
CN112767723A (zh) * | 2019-11-05 | 2021-05-07 | 深圳市大富科技股份有限公司 | 路况检测方法、计算机存储设备、车载终端和车辆 |
WO2021093329A1 (zh) * | 2019-11-12 | 2021-05-20 | 苏宁易购集团股份有限公司 | 交互行为识别方法、装置、计算机设备和存储介质 |
CN112164223B (zh) * | 2020-02-27 | 2022-04-29 | 浙江恒隆智慧科技集团有限公司 | 基于云平台的智能交通信息处理方法及装置 |
CN112164223A (zh) * | 2020-02-27 | 2021-01-01 | 周国霞 | 基于云平台的智能交通信息处理方法及装置 |
CN113360541A (zh) * | 2020-03-06 | 2021-09-07 | 纳博特斯克有限公司 | 状态估计装置、控制阀、存储介质以及状态估计方法 |
CN111507237A (zh) * | 2020-04-13 | 2020-08-07 | 北京巨视科技有限公司 | 一种应用在高速公路上基于视频的异常事件检测方法与装置 |
CN111767850A (zh) * | 2020-06-29 | 2020-10-13 | 北京百度网讯科技有限公司 | 突发事件的监控方法、装置、电子设备和介质 |
CN111968102B (zh) * | 2020-08-27 | 2023-04-07 | 中冶赛迪信息技术(重庆)有限公司 | 一种目标设备检测方法、系统、介质及电子终端 |
CN111968102A (zh) * | 2020-08-27 | 2020-11-20 | 中冶赛迪重庆信息技术有限公司 | 一种目标设备检测方法、系统、介质及电子终端 |
CN112200835A (zh) * | 2020-09-27 | 2021-01-08 | 浙江大华技术股份有限公司 | 一种交通事故检测方法、装置、电子设备及存储介质 |
CN112200835B (zh) * | 2020-09-27 | 2023-04-07 | 浙江大华技术股份有限公司 | 一种交通事故检测方法、装置、电子设备及存储介质 |
CN113052047A (zh) * | 2021-03-18 | 2021-06-29 | 北京百度网讯科技有限公司 | 交通事件的检测方法、路侧设备、云控平台及系统 |
CN113052047B (zh) * | 2021-03-18 | 2023-12-29 | 阿波罗智联(北京)科技有限公司 | 交通事件的检测方法、路侧设备、云控平台及系统 |
CN113409587A (zh) * | 2021-06-16 | 2021-09-17 | 北京字跳网络技术有限公司 | 异常车辆的检测方法、装置、设备及存储介质 |
CN113409587B (zh) * | 2021-06-16 | 2022-11-22 | 北京字跳网络技术有限公司 | 异常车辆的检测方法、装置、设备及存储介质 |
CN113674311A (zh) * | 2021-06-30 | 2021-11-19 | 浙江大华技术股份有限公司 | 异常行为检测方法、装置、电子设备、存储介质 |
CN114049771A (zh) * | 2022-01-12 | 2022-02-15 | 华砺智行(武汉)科技有限公司 | 基于双模态的交通异常检测方法、系统和存储介质 |
CN114969167A (zh) * | 2022-04-07 | 2022-08-30 | 江苏尚蓝信息技术有限公司 | 基于数据化的智能电网监控综合管理系统及方法 |
CN114969167B (zh) * | 2022-04-07 | 2024-02-06 | 江苏尚蓝信息技术有限公司 | 基于数据化的智能电网监控综合管理系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109934075A (zh) | 异常事件检测方法、装置、系统及电子设备 | |
US9224049B2 (en) | Detection of static object on thoroughfare crossings | |
CN102945603B (zh) | 检测交通事件的方法及电子警察装置 | |
CN104376554B (zh) | 一种基于图像纹理的违章停车检测方法 | |
US20210004607A1 (en) | Identification and classification of traffic conflicts | |
CN109326124A (zh) | 一种基于机器视觉的城市环境停放车辆行为识别系统 | |
CN105493502A (zh) | 视频监控方法、视频监控系统以及计算机程序产品 | |
Al-Absi et al. | Vision-based automated parking system | |
JP6747537B2 (ja) | 監視システム、監視方法および監視プログラム | |
JP2007026301A (ja) | 停止低速車両検出装置及び停止低速車両検出方法 | |
CN114495011A (zh) | 基于目标检测的非机动车和行人非法闯入识别方法、存储介质和计算机设备 | |
CN112241974A (zh) | 交通事故检测方法及处理方法、系统、存储介质 | |
CN105957352B (zh) | 违章停车检测方法和装置 | |
CN110223505A (zh) | 一种行人闯红灯行为的确定方法及装置 | |
CN112562406A (zh) | 一种越线行驶的识别方法及装置 | |
CN113674314A (zh) | 抛洒事件检测方法、装置、电子装置和存储介质 | |
CN101877132B (zh) | 用于运动跟踪的交互事件处理方法和装置 | |
CN112560546B (zh) | 抛洒行为检测方法、装置及存储介质 | |
Suttiponpisarn et al. | Detection of wrong direction vehicles on two-way traffic | |
Chen et al. | Traffic extreme situations detection in video sequences based on integral optical flow | |
CN113963316A (zh) | 目标事件的确定方法、装置、存储介质及电子装置 | |
US20140037141A1 (en) | Method for evaluating a plurality of time-offset pictures, device for evaluating pictures, and monitoring system | |
Hashmi et al. | Analysis and monitoring of a high density traffic flow at T-intersection using statistical computer vision based approach | |
CN116153067A (zh) | 一种交通事件的视频轮巡系统 | |
KR101407394B1 (ko) | 방치물 및 도난물 탐지 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |