CN115019242A - 一种交通场景的异常事件检测方法、装置和处理设备 - Google Patents
一种交通场景的异常事件检测方法、装置和处理设备 Download PDFInfo
- Publication number
- CN115019242A CN115019242A CN202210937075.7A CN202210937075A CN115019242A CN 115019242 A CN115019242 A CN 115019242A CN 202210937075 A CN202210937075 A CN 202210937075A CN 115019242 A CN115019242 A CN 115019242A
- Authority
- CN
- China
- Prior art keywords
- analyzed
- target
- frame image
- determining
- traffic scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种交通场景的异常事件检测方法、装置、处理设备和存储介质,方法包括:确定与目标交通场景对应的目标监测时长;目标监测时长为单次进行异常事件监测的时长,目标监测时长与目标交通场景的紧急程度呈负相关;获取目标交通场景对应的视频流;根据目标监测时长对视频流进行图像识别,并确定目标交通场景中是否存在异常事件。由于目标监测时长与目标交通场景的紧急程度呈负相关,即目标交通场景的紧急程度越高,目标监测时长越短,能及时确定出交通场景中是否存在异常事件;目标交通场景的紧急程度越低,目标监测时长越长,因此能避免过于频繁地检测交通场景中是否存在异常事件;本方案能够及时有效地检测交通场景中是否存在异常事件。
Description
技术领域
本申请涉及交通安全技术领域,尤其涉及一种交通场景的异常事件检测方法、装置、处理设备和计算机可读存储介质。
背景技术
随着城市建设的快速发展,道路交通路况越来越复杂。为了检测交通场景中的异常事件,以对异常事件进行提示。传统技术方案是利用拍摄装置对需监控的交通场景进行拍摄,并对拍摄装置实时拍摄的视频流进行图像识别分析,以确定交通场景中是否存在异常事件。
但是,目前的技术方案中,要么是检测交通场景存在异常事件的检测时效性较低,无法针对紧急的交通场景中的异常事件进行危险提示,如行人闯入道路的情况;要么是检测交通场景存在异常事件的检测时效性过高,对不紧急的交通场景中的异常事件进行过于频繁的异常提示,造成信息干扰,如车辆异常拥堵的情况。
因此,如何及时有效地检测交通场景中是否存在异常事件,是本领域技术人员目前需要解决的技术问题。
发明内容
本申请的目的在于提供一种交通场景的异常事件检测方法、装置、处理设备和计算机可读存储介质,能够及时有效地检测交通场景中是否存在异常事件。
第一方面,本申请提供了一种交通场景的异常事件检测方法。所述方法包括:
确定与目标交通场景对应的目标监测时长;所述目标监测时长为单次进行异常事件监测的时长,所述目标监测时长与所述目标交通场景的紧急程度呈负相关;
获取所述目标交通场景对应的视频流;
根据所述目标监测时长对所述视频流进行图像识别,并确定所述目标交通场景中是否存在异常事件。
在其中一个实施例中,所述根据所述目标监测时长对所述视频流进行图像识别,并确定所述目标交通场景中是否存在异常事件,包括:
根据所述目标监测时长,确定所述视频流中的一个或多个待分析帧图像;
针对各所述待分析帧图像分别进行图像识别,确定一个或多个所述待分析帧图像中存在异常场景的所述待分析帧图像;
根据存在异常场景的所述待分析帧图像的数量是否达到预设阈值,确定所述目标交通场景中是否存在异常事件。
在其中一个实施例中,所述异常事件包括车辆异常拥堵;所述针对各所述待分析帧图像分别进行图像识别,确定一个或多个所述待分析帧图像中存在异常场景的所述待分析帧图像,包括:
针对各所述待分析帧图像分别进行图像识别,确定各所述待分析帧图像中静止车辆数量和过车数量;
根据各所述待分析帧图像中所述静止车辆数量和所述过车数量,从一个或多个所述待分析帧图像中确定存在异常场景的所述待分析帧图像。
在其中一个实施例中,确定所述待分析帧图像中所述静止车辆数量的过程,包括:
识别所述待分析帧图像中的待确认静止车辆;
识别所述待分析帧图像中的干扰车辆对象,并删除所述待确认静止车辆中的所述干扰车辆对象;
根据更新后的待确认静止车辆,确定所述待分析帧图像中所述静止车辆数量。
在其中一个实施例中,所述识别所述待分析帧图像中的待确认静止车辆,包括:
对所述待分析帧图像进行前景检测,得到与所述待分析帧图像对应的静态帧;
确定所述待分析帧图像和所述静态帧的目标交叠度,并根据所述目标交叠度判断所述待分析帧图像中的各车辆目标是否为静止,以确定所述待分析帧图像中的待确认静止车辆。
在其中一个实施例中,所述异常事件包括存在闯入对象;所述针对各所述待分析帧图像分别进行图像识别,确定一个或多个所述待分析帧图像中存在异常场景的所述待分析帧图像,包括:
针对各所述待分析帧图像分别进行图像识别,识别出所述待分析帧图像中的待确认闯入对象;
识别所述待分析帧图像中的干扰闯入对象,并删除所述待确认闯入对象中的所述干扰闯入对象;
根据更新后的待确认闯入对象,确定一个或多个所述待分析帧图像中存在异常场景的所述待分析帧图像。
在其中一个实施例中,所述干扰闯入对象为预设类型对象;所述识别所述待分析帧图像中的干扰闯入对象,并删除所述待确认闯入对象中的所述干扰闯入对象,包括:
利用预设的对象分类模型判断所述待确认闯入对象是否为预设类型对象;
若是,则确定所述待确认闯入对象为干扰闯入对象,并删除所述待确认闯入对象中的所述干扰闯入对象。
在其中一个实施例中,所述识别所述待分析帧图像中的干扰闯入对象,包括:
确定所述待分析帧图像中人物目标框的第一面积和车辆目标框的第二面积;
确定所述第一面积和所述第二面积的相交面积;
当所述相交面积和所述第一面积的比值大于或等于比值阈值时,确定所述人物目标框中的待确认闯入对象为干扰闯入对象。
在其中一个实施例中,所述方法还包括:
接收操作指令,根据所述操作指令切换对应的配置表;所述配置表中包括用于指示视频流的获取途径的第一指示信息、用于指示检测的异常事件的类型的第二指示信息以及用于指示目标交通场景的第三指示信息。
在其中一个实施例中,所述方法还包括:
获取帧图像采样频率;
所述根据所述目标监测时长,确定所述视频流中的一个或多个待分析帧图像,包括:
根据所述目标监测时长和所述帧图像采样频率确定所述视频流中的一个或多个待分析帧图像。
第二方面,本申请还提供了一种交通场景的异常事件检测装置。所述装置包括:
确定模块,用于确定与目标交通场景对应的目标监测时长;所述目标监测时长为单次进行异常事件监测的时长,所述目标监测时长与所述目标交通场景的紧急程度呈负相关;
获取模块,用于获取所述目标交通场景对应的视频流;
检测模块,用于根据所述目标监测时长对所述视频流进行图像识别,并确定所述目标交通场景中是否存在异常事件。
第三方面,本申请还提供了一种处理设备。所述处理设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述方法的步骤。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述方法的步骤。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如上述方法的步骤。
本申请实施例提供的交通场景的异常事件检测方法,首先确定与目标交通场景对应的单次进行异常事件检测的目标监测时长,并在获取目标交通场景对应的视频流后,根据目标监测时长对视频流进行图像识别,并确定目标交通场景中是否存在异常事件。由于目标监测时长与目标交通场景的紧急程度呈负相关,即目标交通场景的紧急程度越高,目标监测时长越短,因此能及时确定出交通场景中是否存在异常事件;目标交通场景的紧急程度越低,目标监测时长越长,能避免过于频繁地检测交通场景中是否存在异常事件;因此本方案能够及时有效地检测交通场景中是否存在异常事件。
可以理解的是,本申请实施例提供的一种交通场景的异常事件检测装置、处理设备、计算机可读存储介质以及计算机程序产品的有益效果可以参见上述一种交通场景的异常事件检测方法的有益效果的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种交通场景的异常事件检测方法的流程图;
图2为本申请另一实施例中一种交通场景的异常事件检测方法对应的资源调度框架的示意图;
图3为本申请另一实施例提供的一种交通场景的异常事件检测方法的流程图;
图4为本申请又一实施例提供的一种交通场景的异常事件检测方法的流程图;
图5为本申请再一实施例提供的一种交通场景的异常事件检测方法的流程图;
图6是本申请实施例提供的一种交通场景的异常事件检测装置的结构示意图;
图7是本申请实施例提供的一种处理设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、设备、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。“多个”表示“两个或两个以上”。
图1示出了本申请第一实施例提供的一种交通场景的异常事件检测方法的流程图,方法可以由处理设备或者处理设备中的处理器在运行相应的计算机程序时执行,作为一种示例,该处理设备可以是终端设备也可以是服务器,为了便于说明,仅示出了与本实施例相关的部分,本实施例提供的方法包括如下步骤:
S100:确定与目标交通场景对应的目标监测时长;目标监测时长为单次进行异常事件监测的时长,目标监测时长与目标交通场景的紧急程度呈负相关。
其中,目标交通场景指的是需要进行异常事件检测的交通场景,交通场景一般包括不同的位置,如路口、路段、街道、区域或者城市等;交通场景也可以包括相同位置的不同时间段,如同一路口的白天和夜晚对应为不同的交通场景;本实施例对交通场景的具体类型不做限定。针对不同的交通场景,需要检测的异常事件的类型可能对应不同;且可以检测同一交通场景中是否存在多种类型的异常事件。
其中,目标监测时长指的是单次进行异常事件检测的时长,也就是单次得出异常事件检测的检测结果的周期。例如,采集某目标交通场景的视频流的时间段为每天的8:00~20:00,在该时间段中,每分钟确定该目标交通场景中是否存在异常事件;其中,8:00~20:00为该目标交通场景的监测全时段,目标监测时长为1分钟。
针对不同的交通场景,所设置的监测时长对应不同。在本实施例中,目标监测时长与目标交通场景的紧急程度呈负相关。也就是说,目标交通场景的紧急程度越高,目标监测时长越短;目标交通场景的紧急程度越低,目标监测时长越长。在一种具体的实施方式中,可以预先根据交通场景不同的紧急程度设置对应的评级,针对紧急程度评级设置对应的监测时长。如紧急程度包括1至5级,1级紧急程度最低,5级紧急程度最高;针对紧急程度为1级的目标交通场景,设置目标监测时长为10分钟;针对紧急程度为5级的目标交通场景,设置目标监测时长为3秒。
在实际操作中,可以通过响应用户的输入操作,获取到与目标交通场景对应的目标监测时长;也可以预设监测时长映射关系表,在监测时长映射关系表中设置交通场景、交通场景的紧急程度以及交通场景的监测时长三者的对应关系,在确定出目标交通场景后,基于监测时长映射关系表查找与目标交通场景对应的目标监测时长,即确定出与目标交通场景对应的目标监测时长;本实施例对确定目标监测时长的具体方式不做限定。
S200:获取目标交通场景对应的视频流。
在实际操作中,一般为目标交通场景配置一个或者多个对应的拍摄装置,利用一个或者多个拍摄装置对目标交通场景进行实时拍摄,得到与目标交通场景对应的视频流。也就是说,与目标交通场景对应的视频流可以是一个或者多个;当获取到多个视频流时,可以对多个视频流并行进行图像识别,利用不同的视频流检测不同类型的异常事件。
S300:根据目标监测时长对视频流进行图像识别,并确定目标交通场景中是否存在异常事件。
其中,异常事件指的是交通场景中出现的异常情况,如车辆异常拥堵、存在闯入对象等,本实施例对异常事件的具体类型不做限定。
可以理解的是,在对视频流进行图像识别时,实质上是对视频流中的各帧图像进行图像识别,因此需要从视频流中提取出用于图像识别的待分析帧图像。一般来说,目标监测时长越长,确定出的待分析帧图像的数量越多;目标监测时长越短,确定出的待分析帧图像的数量越少。在本实施例中,根据目标监测时长确定视频流中的待分析帧图像。在确定出待分析帧图像后,对确定出的各待分析帧图像进行图像识别,以确定目标交通场景中是否存在异常事件。
本申请实施例提供的一种交通场景的异常事件检测方法,首先确定与目标交通场景对应的单次进行异常事件检测的目标监测时长,并在获取目标交通场景对应的视频流后,根据目标监测时长对视频流进行图像识别,并确定目标交通场景中是否存在异常事件。由于目标监测时长与目标交通场景的紧急程度呈负相关,即目标交通场景的紧急程度越高,目标监测时长越短,能及时确定出交通场景中是否存在异常事件;目标交通场景的紧急程度越低,目标监测时长越长,能避免过于频繁地检测交通场景中是否存在异常事件;因此本方案能够及时有效地检测交通场景中是否存在异常事件。
在上述实施例的基础上,本实施例对技术方案作了进一步的说明和优化,具体的,本实施例中,根据目标监测时长对视频流进行图像识别,并确定目标交通场景中是否存在异常事件,包括:
步骤一:根据目标监测时长,确定视频流中的一个或多个待分析帧图像。
本步骤中,是根据目标监测时长,从视频流中提取出一个或者多个帧图像作为待分析帧图像进行图像识别。具体的,通过获取目标监测时长以及视频流对应的帧率,根据目标监测时长和帧率确定需要从视频流中抽取的视频帧数,即确定待分析帧图像的数量,再依据视频帧数从视频流中抽取对应的待分析帧图像。例如,假设目标监测时长为10秒,帧率为25,则表示需要从视频流中抽取250帧待分析帧图像。
步骤二:针对各待分析帧图像分别进行图像识别,确定一个或多个待分析帧图像中存在异常场景的待分析帧图像。
其中,异常场景指的是待分析帧图像中的异常情况,如识别出待分析帧图像中静止车辆数量大于第一数量阈值、过车数量小于第二数量阈值或者道路中出现闯入对象等。
在实际操作中,可以先将确定出的一个或多个待分析帧图像进行存储,再对存储的各待分析帧图像进行图像识别,确定各待分析帧图像中是否存在异常场景,即确定一个或多个待分析帧图像中存在异常场景的待分析帧图像。或者,可以先对视频流中确定出的一个或多个待分析帧图像进行标记,通过抽取标记的待分析帧图像进行图像识别,确定各待分析帧图像中是否存在异常场景,即确定一个或多个待分析帧图像中存在异常场景的待分析帧图像。
步骤三:根据存在异常场景的待分析帧图像的数量是否达到预设阈值,确定目标交通场景中是否存在异常事件。
可以理解的是,为了避免误检测异常事件的情况,本实施例是在确定各待分析帧图像中是否存在异常事件后,统计存在异常场景的待分析帧图像的数量,并将统计出的数量与预设阈值进行比较,判断统计的数量是否大于预设阈值;若大于预设阈值,则确定目标交通场景中存在异常事件;否则表示目标交通场景中不存在异常事件。其中,预设阈值可以是定值,也可以是根据待分析帧图像的数量确定出的值,例如,预设阈值为待分析帧图像的数量与预设比例的乘积对应的值;本实施例对预设阈值的具体取值不做限定。
在一种实际操作中,依次对各待分析帧图像进行图像识别,每当识别出待分析帧图像中存在异常场景时,更新存在异常场景的待分析帧图像的数量,并逐帧保存待分析帧图像;在统计出存在异常场景的待分析帧图像的数量M后,计算统计出的数量与待分析帧图像的数量N的比值(M/N),并判断该比值(M/N)是否大于预设比例x;若比值(M/N)大于预设比例x,则确定目标交通场景中存在异常事件;否则表示目标交通场景中不存在异常事件。假设待分析帧图像的数量N=250,x=0.70,则逐帧保存的待分析帧图像的数量有250帧,设有200帧被判定为存在异常场景,即M=200,则存在异常场景的待分析帧图像的数量与待分析帧图像的数量的比值M/N=200/250=0.80>0.70,因此确定目标交通场景中存在异常事件,可以推送对应的提示信息,以提示目标交通场景中存在异常事件。
可见,按照本实施例的方式,能便捷精准地确定目标交通场景中是否存在异常事件。
在上述实施例的基础上,本实施例对技术方案作了进一步的说明和优化,具体的,本实施例中,异常事件包括车辆异常拥堵;针对各待分析帧图像分别进行图像识别,确定一个或多个待分析帧图像中存在异常场景的待分析帧图像,包括:
针对各待分析帧图像分别进行图像识别,确定各待分析帧图像中静止车辆数量和过车数量;
根据各待分析帧图像中静止车辆数量和过车数量,从一个或多个待分析帧图像中确定存在异常场景的待分析帧图像。
其中,静止车辆数量指的是没有发生位移的车辆目标的数量,即处于静止状态的车辆目标的数量;过车数量是的是在待分析帧图像中行驶通过目标交通场景中的车辆目标的数量。本实施例中,当异常事件为车辆异常拥堵时,异常场景为静止车辆数量大于第一数量阈值且过车数量小于第二数量阈值。
具体的,针对各待分析帧图像分别进行图像识别,并分别确定每一待分析帧图像中静止车辆数量和过车数量;然后根据各待分析帧图像中静止车辆数量是否大于第一数量阈值和过车数量是否小于第二数量阈值,确定待分析帧图像中是否存在异常场景,即从一个或多个待分析帧图像中确定存在异常场景的待分析帧图像。其中,第一数量阈值和第二数量阈值根据实际场景需求设置,本实施例对此不做限定。
本实施例中,根据待分析帧图像中静止车辆数量和过车数量确定待分析帧图像中是否存在异常场景,能便捷精准地确定存在异常场景的待分析帧图像,因此能提高交通场景的异常事件检测的精准度。
在其中一个实施例中,确定待分析帧图像中静止车辆数量的过程,包括:
识别待分析帧图像中的待确认静止车辆;
识别待分析帧图像中的干扰车辆对象,并删除待确认静止车辆中的干扰车辆对象;
根据更新后的待确认静止车辆,确定待分析帧图像中静止车辆数量。
其中,待确认静止车辆指的是初步确定出待分析帧图像中处于静止状态的车辆目标;待确认闯入对象中可能包括干扰车辆对象,因此,需要识别待分析帧图像中的干扰车辆对象,并删除待确认静止车辆中的干扰车辆对象,得到更新后的待确认静止车辆;更新后的待确认静止车辆指的是排除了干扰车辆对象的处于静止状态的车辆目标,也就是用于判断是否存在异常场景的车辆目标。
其中,干扰车辆对象可以是特种车,如工程救险车、施工作业车等,本实施例对干扰车辆对象的具体类型不做限定。在实际操作中,由于一个区域中相同类型的特种车的车型、颜色等特征是相似的,因此可以提取相同区域中的特种车的车辆图像,并提取车辆图像的HOG(Histogram of Oriented Gradient,方向梯度直方图)特征,根据提取出的HOG特征训练出对应的对象分类模型,如支持向量机SVM (Support Vector Machines);后续利用对象分类模型判断待分析帧图像中的待确认静止车辆是否为特种车,即确定待确认静止车辆是否为干扰车辆对象。按照上述方式识别待分析帧图像中的干扰车辆对象,所需的计算量较小,因此能提高识别干扰车辆对象的效率。并且,当需要增加新的类型的特种车为干扰车辆对象时,只需要根据新的类型的特种车的车辆图像训练更新对象分类模型即可,因此识别干扰车辆对象的灵活性和可扩展性强。
在排除待确认静止车辆中的干扰车辆对象后,更新后的待确认静止车辆即为确定出的静止车辆目标,也就是异常停车的车辆目标;统计更新后的待确认静止车辆的数量,即得到待分析帧图像中静止车辆数量。
可见,按照本实施例的方式,能够便捷精准地确定待分析帧图像中静止车辆数量。
在其中一个实施例中,识别待分析帧图像中的待确认静止车辆,包括:
对待分析帧图像进行前景检测,得到与待分析帧图像对应的静态帧;
确定待分析帧图像和静态帧的目标交叠度,并根据目标交叠度判断待分析帧图像中的各车辆目标是否为静止,以确定待分析帧图像中的待确认静止车辆。
其中,前景检测指的是识别图像中的感兴趣区域或识别图像中的运动目标(前景)和静态部分(背景)的过程;常用的前景检测算法包括帧差法、背景建模法、光流法、平均背景法、背景非参数估计、前景建模法等。
在本实施例中,通过对待分析帧图像进行背景建模,得到与待分析帧图像对应的静态帧。在进行背景建模时,通过设置变量k,k表示待处理数量,每次获取待分析帧图像后,更新k递减1,直至k等于0;设置变量k的作用是控制背景建模的预启动时长,排除存在于第一帧待分析帧图像中但是并不静止的车辆目标。
并且,使用现阶段mAP(mean Average Precision,各类别AP(average precision)的平均值)指标最高的深度学习目标检测方法,检测待分析帧视频和静态帧中的车辆目标;再确定待分析帧图像和静态帧的目标交叠度,并根据目标交叠度判断待分析帧图像中的各车辆目标是否为静止,得到判断结果。
其中,计算待分析帧图像和静态帧的目标交叠度IoU的过程如下:
其中,O1表示待分析帧图像中的车辆目标的面积,O2表示静态帧中的车辆目标的面积;O1∩O2表示两目标的相交面积,O1∪O2表示两目标的与或面积。当计算出的目标交叠度超过交叠度阈值时,确定该车辆目标为待确认静止车辆;否则表示该车辆目标不是待确认静止车辆。
可见,按照本实施例的方法,能精准便捷地识别待分析帧图像中的待确认静止车辆。
作为优选的实施方式,确定待分析帧图像中的过车数量的过程如下:
步骤1:确定当前的待分析帧图像中的当前车辆数量(cur);
步骤2:获取上一帧待分析帧图像中的历史车辆数量(pre),并判断历史车辆数量(pre)是否为0;
步骤3:若历史车辆数量(pre)为0,则更新历史车辆数量(pre)=当前车辆数量(cur),并将下一帧待分析帧图像设置为当前的待分析帧图像,返回步骤1;
步骤4:若历史车辆数量(pre)不为0,则计算当前车辆数量和历史车辆数量的数量差值(cur-pre),并确定数量差值是否小于等于0;
步骤5:若是,则更新历史车辆数量(pre)=当前车辆数量(cur),并将下一帧待分析帧图像设置为当前的待分析帧图像,返回步骤1;
步骤6:否则,则利用数量差值更新过车数量(total);total=total+(cur-pre),并将下一帧待分析帧图像设置为当前的待分析帧图像,返回步骤1。
可以理解的是,在按照上述方式确定过车数量时,只有通过区域的车辆目标的数量等于进入区域的车辆目标的数量时,才会产生误统计的情况;而城市道路监控的帧率通常为25,一个循环周期为1/25秒,即每帧待分析帧图像对应1/25秒;车身长度按最小3米计算,若要产生误统计,对应的车速应达到3米/(1/25)秒=75米/秒=270km/h,远远大于城市道路的常规车速。换句话说,按照上述方式确定过车数量,一般不会产生误统计的情况,即按照上述步骤能够便捷精准地确定出过车数量。
在上述实施例的基础上,本实施例对技术方案作了进一步的说明和优化,具体的,本实施例中,异常事件包括存在闯入对象;针对各待分析帧图像分别进行图像识别,确定一个或多个待分析帧图像中存在异常场景的待分析帧图像,包括:
针对各待分析帧图像分别进行图像识别,识别出待分析帧图像中的待确认闯入对象;
识别待分析帧图像中的干扰闯入对象,并删除待确认闯入对象中的干扰闯入对象;
根据更新后的待确认闯入对象,确定一个或多个待分析帧图像中存在异常场景的待分析帧图像。
其中,闯入对象包括行人对象、骑行对象以及动物对象等,本实施例对闯入对象的具体类型不做限定。当异常事件为存在闯入对象时,异常场景为待分析帧图像中存在闯入对象。
在实际操作中,针对各待分析帧图像分别进行图像识别,识别出待分析帧图像中的待确认闯入对象;待确认闯入对象指的是初步确定出待分析帧图像中的闯入对象;待确认闯入对象中可能包括干扰闯入对象,因此,需要识别待分析帧图像中的干扰闯入对象,并删除待确认闯入对象中的干扰闯入对象,得到更新后的待确认闯入对象;更新后的待确认闯入对象指的是排除了干扰车闯入对象的闯入对象,也就是用于判断是否存在异常场景的目标;因此根据更新后的待确认闯入对象,确定待分析帧图像中是否存在异常场景,从而确定一个或多个待分析帧图像中存在异常场景的待分析帧图像。
可见,按照本实施例的方法,能便捷精准地确定待分析帧图像中是否存在异常场景,便捷精准地确定存在异常场景的待分析帧图像,提高交通场景的异常事件检测的便捷精准度。
作为优选的实施方式,干扰闯入对象为预设类型对象;识别待分析帧图像中的干扰闯入对象,并删除待确认闯入对象中的干扰闯入对象,包括:
利用预设的对象分类模型判断待确认闯入对象是否为预设类型对象;
若是,则确定待确认闯入对象为干扰闯入对象,并删除待确认闯入对象中的干扰闯入对象。
其中,预设类型对象指的是预先设置的对象目标的类型,一般为会被误判为闯入对象的对象目标。具体的,当闯入对象为行人对象时,对应的干扰闯入对象包括工程作业人员、执法工作人员等预设类型对象;当闯入对象为骑行对象时,对应的干扰闯入对象包括骑行执法工作人员等预设类型对象。
在实际操作中,由于一个区域中相同类型的预设类型对象的特征是相似的,例如,相同类型的执法工作人员的工作服是相似的,因此可以提取相同区域中的预设类型对象的对象图像,并提取对象图像的HOG(Histogram of Oriented Gradient,方向梯度直方图)特征,根据提取出的HOG特征训练出对应的对象分类模型,如支持向量机SVM (SupportVector Machines);后续利用对象分类模型判断待分析帧图像中的闯入对象是否为预设类型对象,即确定闯入对象是否为干扰闯入对象。按照上述方式识别待分析帧图像中的干扰闯入对象,所需的计算量较小,因此能提高识别干扰闯入对象的效率。并且,当需要增加新的类型的预设类型对象为干扰闯入对象时,只需要根据新的类型的干扰闯入对象的对象图像训练更新对象分类模型即可,因此识别干扰闯入对象的灵活性和可扩展性强。
在排除待确认闯入对象中的干扰闯入对象后,更新后的待确认闯入对象即为异常闯入道路或者其他预设区域的闯入对象;依据更新后的待确认闯入对象确定待分析帧图像中是否存在异常场景。
可见,按照本实施例的方式,能够便捷精准地确定待分析帧图像中是否存在异常场景。
需要说明的是,在实际操作中,是通过识别待分析帧图像中的行人,来确定待分析帧图像中是否存在待确认闯入对象,但是部分乘客或司机(驾乘人员)透过车窗也会被识别成为行人,将影响确定出的闯入对象的精准度,从而影响确定待分析帧图像中是否存在异常场景的精准度。因此在上述实施例的基础上,本实施例对技术方案作了进一步的说明和优化,具体的,本实施例中,识别待分析帧图像中的干扰闯入对象,包括:
确定待分析帧图像中人物目标框的第一面积和车辆目标框的第二面积;
确定第一面积和第二面积的相交面积;
当相交面积和第一面积的比值大于或等于比值阈值时,确定人物目标框中的待确认闯入对象为干扰闯入对象。
具体的,在对每帧待分析帧图像进行图像识别时,确定待分析帧图像中人物目标框的第一面积和车辆目标框的第二面积,并确定第一面积和第二面积的相交面积,再确定相交面积和第一面积的比值,并判断该比值是否大于或等于比值阈值,若计算出的比值大于或等于比值阈值,则认为人物目标框中的待确认闯入对象为驾乘人员,即该待确认闯入对象为干扰闯入对象;否则,确定人物目标框中的待确认闯入对象为异常闯入道路或者其他预设区域的行人对象。
其中,计算比值的方式如下:
其中,O人表示待分析帧图像中人物目标框的第一面积,O车表示待分析帧图像中的车辆目标框的第二面积,O车∩O人表示第一面积和第二面积的相交面积。其中,比值阈值为预设的接近1的常数,本实施例对比值阈值的具体取值不做限定。
可见,按照本实施例的方法,在闯入对象为行人对象时,进一步排除驾乘人员对确定闯入对象的干扰,能进一步提高交通场景的异常事件检测的精准度。
在上述实施例的基础上,本实施例对技术方案作了进一步的说明和优化,具体的,本实施例中,方法还包括:
接收操作指令,根据操作指令切换对应的配置表;配置表中包括用于指示视频流的获取途径的第一指示信息、用于指示检测的异常事件的类型的第二指示信息以及用于指示目标交通场景的第三指示信息。
其中,视频流的获取途径指的是具体是获取哪些拍摄装置对应的视频流;第一指示信息为用于指示视频流的获取途径的信息。检测的异常事件的类型包括车辆异常拥堵、存在行人闯入对象、骑行闯入对象等;第二指示信息为用于指示具体进行哪些异常事件检测的信息。目标交通场景指的是需要进行异常事件检测的交通场景;第三指示信息为用于指示目标交通场景的信息。并且,针对一个交通场景,可以设置一个或者多个拍摄装置,即对应一个或者多个视频流;针对每个视频流,可以进行一项或者多项异常事件检测。
在实际操作中,通过推送输入或选择窗口,用户自定义设置视频流的获取途径、检测的异常事件的类型和目标交通场景这三种信息;即服务器直接响应用户的输入操作,获取视频流的获取途径、检测的异常事件的类型和目标交通场景等信息。
作为优选的实施方式,可以预先设置多个配置表,各配置表中分别设置有用于指示视频流的获取途径的第一指示信息、用于指示检测的异常事件的类型的第二指示信息以及用于指示目标交通场景的第三指示信息;在接收到操作指令后,根据操作指令切换对应的配置表,即根据所切换的配置表确定对应的视频流的获取途径、检测的异常事件的类型和目标交通场景。其中,可以是通过响应用户的点选操作获取对应的操作指令,也可以是通过预设的定时器按照预设时间周期生成操作指令,本实施例对生成操作指令的具体方式不做限定。
例如,某区域的早上和晚上发生异常事件的发生地点和异常事件的类型均不相同,因此可以针对早上和晚上分别对应的异常事件的发生地点和异常事件的类型设置对应的配置表;异常事件的发生地点即为目标交通场景;利用定时器设置早上和晚上的切换时间点,在切换时间点生成操作指令,切换对应的配置表,并按照配置表中的配置信息对目标交通场景进行异常事件检测。
可见,按照本实施例的方法,能够灵活针对各不同的实际需求设置视频流的获取途径、检测的异常事件的类型和目标交通场景等信息,并且通过切换配置表的方式设置对应的信息,操作方式便捷。
在上述实施例的基础上,本实施例对技术方案作了进一步的说明和优化,具体的,本实施例提供的方法还包括:
获取帧图像采样频率;
根据目标监测时长,确定视频流中的一个或多个待分析帧图像,包括:
根据目标监测时长和帧图像采样频率确定视频流中的一个或多个待分析帧图像。
其中,帧图像采样频率指的是在从视频流的视频帧中抽取待分析帧图像的过程中,每间隔预设数量的帧图像则采集一个待分析帧图像时所对应的预设数量;帧图像采样频率可以是0,也可以是其他整数;本实施例对帧图像采样频率的具体取值不做限定,可根据实际需求设置。
在实际操作中,在获取到目标监测时长和帧图像采样频率后,根据目标监测时长和帧图像采样频率确定视频流中的待分析帧图像。更具体的,先根据目标监测时长和帧率确定从视频流中抽取的视频帧数,即确定待分析帧图像的数量;再根据帧图像采样频率和视频帧数从视频流中抽取对应的待分析帧图像,即确定视频流中的一个或多个待分析帧图像。
本实施例通过根据目标监测时长和帧图像采样频率确定视频流中的待分析帧图像,因此能够灵活确定待分析帧图像。一般来说,帧图像采样频率越小,能识别出待分析帧图像中的特征细节越多,能够更加精准地进行交通场景的异常事件检测。
为了使本技术领域的人员更好地理解本申请中的技术方案,下面结合实际应用场景对本申请实施例中的技术方案进行详细说明。在本申请实施例提供的一种交通场景的异常事件检测方法的步骤如下:
步骤1:根据预设的资源调度框架设置配置表;配置表中包括用于指示视频流的获取途径的第一指示信息、用于指示检测的异常事件的类型的第二指示信息以及用于指示目标交通场景的第三指示信息;如图2为本发明实施例提供的一种交通场景的异常事件检测方法对应的资源调度框架的示意图;资源调度框架(System Table)中包括多个服务器(Server),各服务器(Server)配置对应的数量的硬件计算资源,如GPU(GraphicsProcessing Unit,图形处理器)、NPU(Neural-network Processing Unit,嵌入式神经网络处理器)和TPU(Tensor Processing Unit,张量处理单元)等,每个硬件计算资源配置对应数量的拍摄装置(Camera),每个拍摄装置对应设置一个或者多个算法模型(AI Model);各算法模型(AI Model)为与各异常事件对应,用于进行图像识别以确定是否存在异常事件的模型。系统进程(System Process)每过一个计算周期将调用一次算法模型(AI Model);计算周期的长短由算法模型的特点和设定的时间来决定;系统进程(System Process)的总数量Num(System Process)=Num(Servers)*Num(GPUs)*Num(Cameras)*Num(AI Model)。其中,服务器的数量由具体的计算需求决定,硬件计算资源的最大数量为相应服务器型号可配置硬件计算资源的最大数量,硬件计算资源可承载的拍摄装置(Camera)和算法模型(AIModel)的数量由硬件计算资源的型号和显存大小决定。
步骤2:接收操作指令,根据操作指令切换对应的配置表,确定出当前检测对应的视频流的获取途径、检测的异常事件的类型和目标交通场景;
步骤3:确定与目标交通场景对应的目标监测时长;目标监测时长为单次进行异常事件监测的时长,目标监测时长与目标交通场景的紧急程度呈负相关;
步骤4:获取目标交通场景对应的视频流;
步骤5:获取帧图像采样频率,根据目标监测时长和帧图像采样频率确定视频流中的多个待分析帧图像;
步骤6:针对各待分析帧图像分别进行图像识别,确定各待分析帧图像中是否存在异常场景;
步骤7:根据存在异常场景的待分析帧图像的数量是否达到预设阈值,确定目标交通场景中是否存在异常事件。
针对异常事件的三种类型,交通场景的异常事件检测方法的具体执行过程对应不同,以下针对三种类型分别进行说明:
类型一:异常事件为车辆异常拥堵;结合图3所示的另一种交通场景的异常事件检测方法的流程图,过程如下:
S301:对待分析帧图像进行前景检测,得到与待分析帧图像对应的静态帧;
S302:确定待分析帧图像和静态帧的目标交叠度,并根据目标交叠度判断待分析帧图像中的各车辆目标是否为静止,以确定待分析帧图像中的待确认静止车辆;
S303:识别待分析帧图像中的干扰车辆对象,并删除待确认静止车辆中的干扰车辆对象;
S304:根据更新后的待确认静止车辆,确定待分析帧图像中静止车辆数量;
S305:确定待分析帧图像中的过车数量;
S306:根据静止车辆数量是否大于第一数量阈值以及过车数量是否小于第二数量阈值,确定待分析帧图像中是否存在异常场景;
S307:统计存在异常场景的待分析帧图像的数量,计算统计出的数量与待分析帧图像的数量的比值;
S308:判断比值是否大于第一预设比例;
S309:若比值大于第一预设比例,则确定目标交通场景中存在异常事件;
S310:否则,确定目标交通场景中不存在异常事件。
类型二:异常事件为存在行人对象闯入;结合图4所示的又一种交通场景的异常事件检测方法的流程图,过程如下:
S401:针对各待分析帧图像分别进行图像识别,识别出待分析帧图像中的待确认闯入对象(待确认行人对象);
S402:利用预设的对象分类模型判断待确认闯入对象是否为预设类型对象(工程作业人员和执法工作人员等);
S403:若是,则确定待确认闯入对象为干扰闯入对象;
S404:若否,则确定待确认闯入对象不是干扰闯入对象,保留待确认闯入对象;
S405:确定待确认闯入对象是否为干扰闯入对象(驾乘对象):确定待分析帧图像中人物目标框的第一面积和车辆目标框的第二面积,确定第一面积和第二面积的相交面积;当相交面积和第一面积的比值大于或等于比值阈值时,确定人物目标框中的待确认闯入对象为干扰闯入对象(驾乘对象);
S406:删除待确认闯入对象中的干扰闯入对象,并根据更新后的待确认闯入对象,确定待分析帧图像中是否存在异常场景;
S407:统计存在异常场景的待分析帧图像的数量,计算统计出的数量与待分析帧图像的数量的比值;
S408:判断比值是否大于第二预设比例;
S409:若比值大于第二预设比例,则确定目标交通场景中存在异常事件;
S410:否则,确定目标交通场景中不存在异常事件。
类型三:异常事件为存在骑行对象闯入;结合图5所示的再一种交通场景的异常事件检测方法的流程图,过程如下:
S501:针对各待分析帧图像分别进行图像识别,识别出待分析帧图像中的待确认闯入对象(待确认骑行对象);
S502:利用预设的对象分类模型判断待确认闯入对象是否为预设类型对象(执法工作人员);
S503:若是,则确定待确认闯入对象为干扰闯入对象,并删除待确认闯入对象中的干扰闯入对象;
S504:若否,则确定待确认闯入对象不是干扰闯入对象,保留待确认闯入对象;
S505:根据更新后的待确认闯入对象,确定待分析帧图像中是否存在异常场景;
S506:统计存在异常场景的待分析帧图像的数量,计算统计出的数量与待分析帧图像的数量的比值;
S507:判断比值是否大于第三预设比例;
S508:若比值大于第三预设比例,则确定目标交通场景中存在异常事件;
S509:否则,确定目标交通场景中不存在异常事件。
本申请实施例提供的一种交通场景的异常事件检测方法,首先确定与目标交通场景对应的单次进行异常事件检测的目标监测时长,并在获取目标交通场景对应的视频流后,根据目标监测时长对视频流进行图像识别,并确定目标交通场景中是否存在异常事件。由于目标监测时长与目标交通场景的紧急程度呈负相关,即目标交通场景的紧急程度越高,目标监测时长越短,能及时确定出交通场景中是否存在异常事件;目标交通场景的紧急程度越低,目标监测时长越长,能避免过于频繁地检测交通场景中是否存在异常事件;因此本方案能够及时有效地检测交通场景中是否存在异常事件。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
图6所示是本申请一实施例提供的一种交通场景的异常事件检测装置的结构示意图。如图6所示,该实施例的交通场景的异常事件检测装置包括确定模块601、获取模块602和检测模块603;其中,
确定模块601,用于确定与目标交通场景对应的目标监测时长;目标监测时长为单次进行异常事件监测的时长,目标监测时长与目标交通场景的紧急程度呈负相关;
获取模块602,用于获取目标交通场景对应的视频流;
检测模块603,用于根据目标监测时长对视频流进行图像识别,并确定目标交通场景中是否存在异常事件。
本申请实施例提供的一种交通场景的异常事件检测装置,具有与上述一种交通场景的异常事件检测方法相同的有益效果。
在其中一个实施例中,检测模块包括:
图像确定子模块,用于根据目标监测时长,确定视频流中的一个或多个待分析帧图像;
异常场景确定子模块,用于针对各待分析帧图像分别进行图像识别,确定一个或多个待分析帧图像中存在异常场景的待分析帧图像;
异常事件确定子模块,用于根据存在异常场景的待分析帧图像的数量是否达到预设阈值,确定目标交通场景中是否存在异常事件。
在其中一个实施例中,异常事件包括车辆异常拥堵;异常场景确定子模块包括:
数量确定单元,用于针对各待分析帧图像分别进行图像识别,确定各待分析帧图像中静止车辆数量和过车数量;
第一结果确定单元,用于各待分析帧图像中静止车辆数量和过车数量,从一个或多个待分析帧图像中确定存在异常场景的待分析帧图像。
在其中一个实施例中,数量确定单元包括:
第一识别子单元,用于识别待分析帧图像中的待确认静止车辆;
第二识别子单元,用于识别待分析帧图像中的干扰车辆对象,并删除待确认静止车辆中的干扰车辆对象;
第一确定子单元,用于根据更新后的待确认静止车辆,确定待分析帧图像中静止车辆数量。
在其中一个实施例中,第一识别子单元包括:
处理子单元,用于对待分析帧图像进行前景检测,得到与待分析帧图像对应的静态帧;
判断子单元,用于确定待分析帧图像和静态帧的目标交叠度并根据目标交叠度判断待分析帧图像中的各车辆目标是否为静止,以确定待分析帧图像中的待确认静止车辆。
在其中一个实施例中,异常事件包括存在闯入对象;异常场景确定子模块包括:
第一对象识别单元,用于针对各待分析帧图像分别进行图像识别,识别出待分析帧图像中的待确认闯入对象;
第二对象识别单元,用于识别待分析帧图像中的干扰闯入对象,并删除待确认闯入对象中的干扰闯入对象;
第二结果确定单元,用于根据更新后的待确认闯入对象,确定一个或多个待分析帧图像中存在异常场景的待分析帧图像。
在其中一个实施例中,干扰闯入对象为预设类型对象;第二对象识别单元包括:
对象判断子单元,用于利用预设的对象分类模型判断待确认闯入对象是否为预设类型对象;若是,则调用执行子单元;
执行子单元,用于确定待确认闯入对象为干扰闯入对象,并删除待确认闯入对象中的干扰闯入对象。
在其中一个实施例中,第一识别子单元包括:
面积确定子单元,用于确定待分析帧图像中人物目标框的第一面积和车辆目标框的第二面积;
相交面积确定子单元,用于确定第一面积和第二面积的相交面积;
对象确定子单元,用于当相交面积和第一面积的比值大于或等于比值阈值时,确定人物目标框中的待确认闯入对象为干扰闯入对象。
在其中一个实施例中,一种交通场景的异常事件检测装置还包括:
切换模块,用于接收操作指令,根据操作指令切换对应的配置表;配置表中包括用于指示视频流的获取途径的第一指示信息、用于指示检测的异常事件的类型的第二指示信息以及用于指示目标交通场景的第三指示信息。
在其中一个实施例中,一种交通场景的异常事件检测装置还包括:
频率获取模块,用于获取帧图像采样频率;
检测模块包括:
检测子模块,用于根据目标监测时长和帧图像采样频率确定视频流中的一个或多个待分析帧图像。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图7是本申请一实施例提供的一种处理设备的示意图。如图7所示,该实施例的处理设备700包括存储器701、处理器702以及存储在存储器701中并可在处理器702上运行的计算机程序703;处理器701执行计算机程序703时实现上述各个交通场景的异常事件检测方法实施例中的步骤,例如图1所示的S100至S300;或者处理器702执行计算机程序703时实现上述各装置实施例中各模块/单元的功能,例如图6所示确定模块601、获取模块602和检测模块603的功能。
示例性的,计算机程序703可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器701中,并由处理器703执行,以实现本申请实施例的方法。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序703在处理设备700中的执行过程。例如,计算机程序703可以被分割成确定模块、获取模块和检测模块,各模块具体功能如下:
确定模块,用于确定与目标交通场景对应的目标监测时长;目标监测时长为单次进行异常事件监测的时长,目标监测时长与目标交通场景的紧急程度呈负相关;
获取模块,用于获取目标交通场景对应的视频流;
检测模块,用于根据目标监测时长对视频流进行图像识别,并确定目标交通场景中是否存在异常事件。
在应用中,处理设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。处理设备可包括但不仅限于处理器和存储器。本领域技术人员可以理解,图7仅仅是处理设备的示例,并不构成对处理设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如处理设备还可以包括输入输出设备、网络接入设备、总线等;其中,输入输出设备可以包括摄像头、音频采集/播放器件、显示屏等;网络接入设备可以包括通信模块,用于与外部设备进行无线通信。
在应用中,处理器可以是中央处理单元(Central Processing Unit,CPU),也可以是其他通用处理器、数字信号处理器 (Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列 (Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在应用中,存储器可以是处理设备的内部存储单元,例如处理设备的硬盘或内存;也可以是处理设备的外部存储设备,例如,处理设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等;还可以既包括处理设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等,例如计算机程序的程序代码等。存储器还可以用于暂时存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
本申请实施例提供的一种计算机可读存储介质,具有与上述一种交通场景的异常事件检测方法相同的有益效果。
本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到处理设备的任何实体或设备、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的设备及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,设备间接耦合或通讯连接,可以是电性,机械或其它的形式。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (13)
1.一种交通场景的异常事件检测方法,其特征在于,所述方法包括:
确定与目标交通场景对应的目标监测时长;所述目标监测时长为单次进行异常事件监测的时长,所述目标监测时长与所述目标交通场景的紧急程度呈负相关;
获取所述目标交通场景对应的视频流;
根据所述目标监测时长对所述视频流进行图像识别,并确定所述目标交通场景中是否存在异常事件。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标监测时长对所述视频流进行图像识别,并确定所述目标交通场景中是否存在异常事件,包括:
根据所述目标监测时长,确定所述视频流中的一个或多个待分析帧图像;
针对各所述待分析帧图像分别进行图像识别,确定一个或多个所述待分析帧图像中存在异常场景的所述待分析帧图像;
根据存在异常场景的所述待分析帧图像的数量是否达到预设阈值,确定所述目标交通场景中是否存在异常事件。
3.根据权利要求2所述的方法,其特征在于,所述异常事件包括车辆异常拥堵;所述针对各所述待分析帧图像分别进行图像识别,确定一个或多个所述待分析帧图像中存在异常场景的所述待分析帧图像,包括:
针对各所述待分析帧图像分别进行图像识别,确定各所述待分析帧图像中静止车辆数量和过车数量;
根据各所述待分析帧图像中所述静止车辆数量和所述过车数量,从一个或多个所述待分析帧图像中确定存在异常场景的所述待分析帧图像。
4.根据权利要求3所述的方法,其特征在于,确定所述待分析帧图像中所述静止车辆数量的过程,包括:
识别所述待分析帧图像中的待确认静止车辆;
识别所述待分析帧图像中的干扰车辆对象,并删除所述待确认静止车辆中的所述干扰车辆对象;
根据更新后的待确认静止车辆,确定所述待分析帧图像中所述静止车辆数量。
5.根据权利要求4所述的方法,其特征在于,所述识别所述待分析帧图像中的待确认静止车辆,包括:
对所述待分析帧图像进行前景检测,得到与所述待分析帧图像对应的静态帧;
确定所述待分析帧图像和所述静态帧的目标交叠度,并根据所述目标交叠度判断所述待分析帧图像中的各车辆目标是否为静止,以确定所述待分析帧图像中的待确认静止车辆。
6.根据权利要求2所述的方法,其特征在于,所述异常事件包括存在闯入对象;所述针对各所述待分析帧图像分别进行图像识别,确定一个或多个所述待分析帧图像中存在异常场景的所述待分析帧图像,包括:
针对各所述待分析帧图像分别进行图像识别,识别出所述待分析帧图像中的待确认闯入对象;
识别所述待分析帧图像中的干扰闯入对象,并删除所述待确认闯入对象中的所述干扰闯入对象;
根据更新后的待确认闯入对象,确定一个或多个所述待分析帧图像中存在异常场景的所述待分析帧图像。
7.根据权利要求6所述的方法,其特征在于,所述干扰闯入对象为预设类型对象;所述识别所述待分析帧图像中的干扰闯入对象,并删除所述待确认闯入对象中的所述干扰闯入对象,包括:
利用预设的对象分类模型判断所述待确认闯入对象是否为预设类型对象;
若是,则确定所述待确认闯入对象为干扰闯入对象,并删除所述待确认闯入对象中的所述干扰闯入对象。
8.根据权利要求6所述的方法,其特征在于,所述识别所述待分析帧图像中的干扰闯入对象,包括:
确定所述待分析帧图像中人物目标框的第一面积和车辆目标框的第二面积;
确定所述第一面积和所述第二面积的相交面积;
当所述相交面积和所述第一面积的比值大于或等于比值阈值时,确定所述人物目标框中的所述待确认闯入对象为干扰闯入对象。
9.根据权利要求1至8任一项所述的方法,其特征在于,所述方法还包括:
接收操作指令,根据所述操作指令切换对应的配置表;所述配置表中包括用于指示视频流的获取途径的第一指示信息、用于指示检测的异常事件的类型的第二指示信息以及用于指示目标交通场景的第三指示信息。
10.根据权利要求1至8任一项所述的方法,其特征在于,所述方法还包括:
获取帧图像采样频率;
所述根据所述目标监测时长,确定所述视频流中的一个或多个待分析帧图像,包括:
根据所述目标监测时长和所述帧图像采样频率确定所述视频流中的一个或多个待分析帧图像。
11.一种交通场景的异常事件检测装置,其特征在于,所述装置包括:
确定模块,用于确定与目标交通场景对应的目标监测时长;所述目标监测时长为单次进行异常事件监测的时长,所述目标监测时长与所述目标交通场景的紧急程度呈负相关;
获取模块,用于获取所述目标交通场景对应的视频流;
检测模块,用于根据所述目标监测时长对所述视频流进行图像识别,并确定所述目标交通场景中是否存在异常事件。
12.一种处理设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至10任一项所述方法的步骤。
13.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至10任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210937075.7A CN115019242B (zh) | 2022-08-05 | 2022-08-05 | 一种交通场景的异常事件检测方法、装置和处理设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210937075.7A CN115019242B (zh) | 2022-08-05 | 2022-08-05 | 一种交通场景的异常事件检测方法、装置和处理设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115019242A true CN115019242A (zh) | 2022-09-06 |
CN115019242B CN115019242B (zh) | 2022-11-04 |
Family
ID=83065340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210937075.7A Active CN115019242B (zh) | 2022-08-05 | 2022-08-05 | 一种交通场景的异常事件检测方法、装置和处理设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115019242B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117314890A (zh) * | 2023-11-07 | 2023-12-29 | 东莞市富明钮扣有限公司 | 打扣加工的安全控制方法、装置、设备及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1139589A (ja) * | 1997-07-18 | 1999-02-12 | Fuji Electric Co Ltd | 交通監視装置および交通監視方法 |
CN104376554A (zh) * | 2014-10-16 | 2015-02-25 | 中海网络科技股份有限公司 | 一种基于图像纹理的违章停车检测方法 |
CN109285341A (zh) * | 2018-10-31 | 2019-01-29 | 中电科新型智慧城市研究院有限公司 | 一种基于实时视频的城市道路车辆异常停驶检测方法 |
CN111383448A (zh) * | 2018-12-29 | 2020-07-07 | 阿里巴巴集团控股有限公司 | 一种基于道路区段的交通信息处理方法及装置 |
US20200327313A1 (en) * | 2019-04-09 | 2020-10-15 | Avigilon Corporation | Anomaly detection method, system and computer readable medium |
CN111953541A (zh) * | 2020-08-10 | 2020-11-17 | 腾讯科技(深圳)有限公司 | 告警信息处理方法、装置、计算机设备及存储介质 |
CN112419537A (zh) * | 2019-08-22 | 2021-02-26 | 合肥杰发科技有限公司 | 影像存储方法、行车记录仪及具有存储功能的装置 |
CN112507844A (zh) * | 2020-12-02 | 2021-03-16 | 博云视觉科技(青岛)有限公司 | 基于视频分析的交通拥堵检测方法 |
CN114781479A (zh) * | 2022-03-15 | 2022-07-22 | 合肥科大立安安全技术有限责任公司 | 交通事件检测方法及装置 |
-
2022
- 2022-08-05 CN CN202210937075.7A patent/CN115019242B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1139589A (ja) * | 1997-07-18 | 1999-02-12 | Fuji Electric Co Ltd | 交通監視装置および交通監視方法 |
CN104376554A (zh) * | 2014-10-16 | 2015-02-25 | 中海网络科技股份有限公司 | 一种基于图像纹理的违章停车检测方法 |
CN109285341A (zh) * | 2018-10-31 | 2019-01-29 | 中电科新型智慧城市研究院有限公司 | 一种基于实时视频的城市道路车辆异常停驶检测方法 |
CN111383448A (zh) * | 2018-12-29 | 2020-07-07 | 阿里巴巴集团控股有限公司 | 一种基于道路区段的交通信息处理方法及装置 |
US20200327313A1 (en) * | 2019-04-09 | 2020-10-15 | Avigilon Corporation | Anomaly detection method, system and computer readable medium |
CN112419537A (zh) * | 2019-08-22 | 2021-02-26 | 合肥杰发科技有限公司 | 影像存储方法、行车记录仪及具有存储功能的装置 |
CN111953541A (zh) * | 2020-08-10 | 2020-11-17 | 腾讯科技(深圳)有限公司 | 告警信息处理方法、装置、计算机设备及存储介质 |
CN112507844A (zh) * | 2020-12-02 | 2021-03-16 | 博云视觉科技(青岛)有限公司 | 基于视频分析的交通拥堵检测方法 |
CN114781479A (zh) * | 2022-03-15 | 2022-07-22 | 合肥科大立安安全技术有限责任公司 | 交通事件检测方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117314890A (zh) * | 2023-11-07 | 2023-12-29 | 东莞市富明钮扣有限公司 | 打扣加工的安全控制方法、装置、设备及存储介质 |
CN117314890B (zh) * | 2023-11-07 | 2024-04-23 | 东莞市富明钮扣有限公司 | 打扣加工的安全控制方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115019242B (zh) | 2022-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110390262B (zh) | 视频分析方法、装置、服务器及存储介质 | |
KR102189262B1 (ko) | 엣지 컴퓨팅을 이용한 교통 정보 수집 장치 및 방법 | |
CN108986465B (zh) | 一种车流量检测的方法、系统及终端设备 | |
CN106952303B (zh) | 车距检测方法、装置和系统 | |
CN111126235A (zh) | 一种船只违章停泊检测处理方法及装置 | |
CN110659391A (zh) | 一种视频侦查方法及装置 | |
CN110032947B (zh) | 一种监控事件发生的方法及装置 | |
CN107529659B (zh) | 安全带佩戴检测方法、装置及电子设备 | |
CN111507278B (zh) | 一种检测路障的方法、装置及计算机设备 | |
CN111666821B (zh) | 人员聚集的检测方法、装置及设备 | |
CN112434260A (zh) | 一种公路的交通状态检测方法、装置、存储介质及终端 | |
CN111079621A (zh) | 检测对象的方法、装置、电子设备和存储介质 | |
CN112818839A (zh) | 驾驶员违章行为识别方法、装置、设备及介质 | |
CN114926791A (zh) | 一种路口车辆异常变道检测方法、装置、存储介质及电子设备 | |
CN114005093A (zh) | 基于视频分析的驾驶行为告警方法、装置、设备及介质 | |
CN115019242B (zh) | 一种交通场景的异常事件检测方法、装置和处理设备 | |
CN113239746A (zh) | 电动车检测方法、装置、终端设备及计算机可读存储介质 | |
CN113763425A (zh) | 道路区域标定方法及电子设备 | |
CN111179610B (zh) | 一种交通信号设备的控制方法及装置 | |
CN113160272A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
CN112562315A (zh) | 一种获取车流信息的方法、终端及存储介质 | |
CN111985304A (zh) | 巡防告警方法、系统、终端设备及存储介质 | |
CN112037541A (zh) | 一种交通灯的控制方法、装置及计算机设备 | |
CN116363865A (zh) | 交通拥堵评估方法、装置、电子设备及存储介质 | |
CN112597924B (zh) | 电动自行车轨迹追踪方法、摄像机装置和服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |