CN113673311A - 一种交通异常事件检测方法、设备及计算机存储介质 - Google Patents

一种交通异常事件检测方法、设备及计算机存储介质 Download PDF

Info

Publication number
CN113673311A
CN113673311A CN202110758806.7A CN202110758806A CN113673311A CN 113673311 A CN113673311 A CN 113673311A CN 202110758806 A CN202110758806 A CN 202110758806A CN 113673311 A CN113673311 A CN 113673311A
Authority
CN
China
Prior art keywords
key
frame
video
video frame
abnormal event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110758806.7A
Other languages
English (en)
Inventor
吴成路
余言勋
张震
王亚运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110758806.7A priority Critical patent/CN113673311A/zh
Priority to PCT/CN2021/127622 priority patent/WO2023279597A1/en
Publication of CN113673311A publication Critical patent/CN113673311A/zh
Priority to US18/396,640 priority patent/US20240135710A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种交通异常事件检测方法、设备以及计算机存储介质。该交通异常事件检测方法包括：获取监控视频流；基于监控视频流中，各个视频帧与各个视频帧的关联视频帧的时空特征相关性，估计各个视频帧的关键帧参考值；以及基于各个视频帧的关键帧参考值，从监控视频流中确定出关键视频帧；基于关键视频帧，确定监控视频流中是否存在异常事件。通过上述方式，本申请的交通异常事件检测方法提高了交通异常事件的检测效率。

Description

一种交通异常事件检测方法、设备及计算机存储介质
技术领域
本申请涉及视频处理技术领域，特别是涉及一种交通异常事件检测方法、设备以及计算机存储介质。
背景技术
为保障交通运输经济平稳有序发展，当前对交通异常事件的检查和分析需求不断增加，越来越多的交通监控相机被安装在各种交通道路中。然而，由于目前的交通监控系统大多依赖于人眼观察，很难同时监控大量的摄像场景并准确识别异常的交通事件，导致检测效率低下问题。
发明内容
本申请提供了一种交通异常事件检测方法、设备以及计算机存储介质。
本申请提供了一种交通异常事件检测方法，所述交通异常事件检测方法包括：
获取监控视频流；
基于所述监控视频流中，各个视频帧与所述各个视频帧的关联视频帧的时空特征相关性，估计所述各个视频帧的关键帧参考值；以及基于所述各个视频帧的关键帧参考值，从所述监控视频流中确定出关键视频帧；
基于所述关键视频帧，确定所述监控视频流中是否存在异常事件。
本申请还提供了一种终端设备，所述终端设备包括存储器和处理器，其中，所述存储器与所述处理器耦接；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的交通异常事件检测方法。
本申请还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现上述的交通异常事件检测方法。
本申请的有益效果是：终端设备利用监控视频流中各个视频帧与各个视频帧的关联视频帧的时空特性相关性，估计各个视频帧的关键帧参考值，进而根据各个视频帧的关键帧参考值得到能够检测监控视频流中异常事件的关键视频帧，避免非关键视频帧对交通异常事件检测的影响，提高了交通异常事件的检测效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的交通异常事件检测方法一实施例的流程示意图；
图2是本申请提供的交通异常事件方法的另一实施例的流程示意图；
图3是本申请提供的交通异常事件检测方法中视频片段存储单元和关键帧推荐网络的示意图；
图4是本申请提供的交通异常事件检测方法中视频片段存储单元的示意图；
图5是本申请提供的交通异常事件检测方法中关键帧推荐网络的示意图；
图6是图2所示的交通异常事件检测方法中S205一实施例的流程示意图；
图7是图2所示的交通异常事件检测方法中S206一实施例的流程示意图；
图8是图7所示的交通异常事件检测方法中S404一实施例的流程示意图；
图9是图2所示的交通异常事件检测方法中预检测网络的示意图；
图10是图2所示的交通异常事件方法中S206另一实施例的流程示意图；
图11是图1所示的交通异常事件检测方法中获取关键帧推荐网络的流程示意图；
图12是本申请提供的终端设备一实施例的结构示意图；
图13是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1是本申请提供的交通异常事件检测方法一实施例的流程示意图。
其中，本申请的交通异常事件检测方法应用于一种终端设备，其中，本申请的终端设备可以为服务器，也可以为由服务器和终端设备相互配合的系统。相应地，终端设备包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以分别设置于服务器和终端设备中。
进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。在一些可能的实现方式中，本申请实施例的交通异常事件检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。具体而言，如图1所示，本申请实施例的交通异常事件检测方法具体包括以下步骤：
S101：获取监控视频流。
本公开实施例中，终端设备获取监控视频流。在具体实施例中，安装于交通道路路面上空的摄像机拍摄监控视频流，并将监控视频流发送至与摄像机连接的终端设备。在其他实施例中，终端设备也可以为带有视频拍摄及处理功能的设备，安装于交通道路路面上空的终端设备直接拍摄监控视频流。
进一步地，考虑到监控视频流中的监控区域包括道路路面区域和非道路路面区域，为了实现针对性地交通异常事件检测，避免检测非道路路面区域对应的监控视频流而造成资源浪费。本实施例的终端设备还可以过滤非道路路面区域信息。具体地，终端设备识别监控视频流中的道路路面区域，也即待检道路路面区域，并根据待检道路路面区域设置检测区域。其中，终端设备可直接将待检道路路面区域设置为检测区域。
S102：基于监控视频流中各个视频帧与前后视频帧的前后时空特征相关性，估计各个视频帧的关键帧参考值，以及基于各个视频帧的关键帧参考值，从监控视频流中确定出关键视频帧。
其中，监控视频流中包括关键视频帧和非关键视频帧，为了避免非关键视频帧对关键视频帧的检测影响。本实施例的终端设备过滤监控视频流中的非关键视频帧，确定监控视频流中的关键视频帧。具体地，终端设备利用监控视频流中各个视频帧和与其关联视频帧之间的时空特性相关性，估计各个视频帧的关键帧参考值。进而基于各个视频帧的关键帧参考值确定关键视频帧。
其中，监控视频流中一个视频帧的关联视频帧可以为监控视频流中一个视频帧之前的第一数量的视频帧。还可以为监控视频流中一个视频帧之后的第二数量的视频帧。需要说明的是，第一数量为至少一个数量。第二数量也为至少一个数量。具体地，一个视频帧的关联视频帧可以为当前视频帧所在监控视频流中帧序位于当前视频帧之前的一视频帧或多个视频帧。也可以为当前视频帧所在监控视频流中帧序位于当前视频帧之后的一视频帧或多个视频帧。
进一步地，考虑交通异常事件的多变性，本实施例的终端设备可利用具有可训练性的网络模型提取监控视频流中的关键视频帧。具体地，终端设备将监控视频流输入关键帧推荐网络，得到关键帧推荐网络输出的关键视频帧。进而减少相邻视频帧重复分析的冗余，提高交通异常事件检测的准确性和实时性。
具体地，关键帧推荐网络包含三个单元：2D特征编码单元、双向LSTM单元以及前馈网路单元。其中，2D特征编码单元用于提取视频片段缓存单元输入每帧视频帧的空间特征，该单元复用ImageNet公开数据集训练的网络(如Resnet-101)。双向LSTM单元用于关联监控视频流中N张视频帧的前后时空特征相关性，增加视频片段特征的利用率。前馈网络单元用于融合经过双向LSTM单元关联的高级语义特征，并输出每帧视频帧的重要性分数，即关键帧参考值。
S103：基于关键视频帧，确定监控视频流中是否存在异常事件。
其中，异常事件可以为货物抛洒、交通事故、烟火团雾及道路施工等。其中，终端设备根据关键视频帧确定监控视频流中是否存在货物抛洒、交通事故、烟火团雾及道路施工等异常事件中的至少一种。
上述方案中，终端设备利用监控视频流中各个视频帧与各个视频帧的关联视频帧的时空特性相关性，估计各个视频帧的关键帧参考值，进而根据各个视频帧的关键帧参考值得到能够检测监控视频流中异常事件的关键视频帧，避免非关键视频帧对交通异常事件检测的影响，提高了交通异常事件的检测效率。
可继续参阅图2，图2是本申请提供的交通异常事件方法的另一实施例的流程示意图。具体地，本实施例的交通异常事件方法还包括以下步骤：
S201：获取监控视频流。
其中，本实施例S201的详细描述可参阅上述实施例中的S101，在此不进行重复赘述。
S202：预设第一缓存单元和第二缓存单元。
可参阅图3，图3是本申请提供的交通异常事件检测方法中视频片段存储单元和关键帧推荐网络的示意图。由于本实施例的交通异常事件主要包括货物抛洒、交通事故、烟火团雾及道路施工等。其具有明显的突发性和相邻帧的相关性。若直接基于单帧图像检测交通异常事件而不考虑异常事件的突发性和相邻帧的相关性，将导致检测结果的低精度问题。为避免上述问题的发生，本实施例的终端设备首先利用视频片段缓存单元存储监控视频流中的视频帧，进而利用关键帧推荐网络关联相邻帧视频帧的相关性和突发性。其中，视频片段缓存单元包括第一缓存单元和第二缓存单元，且视频片段缓存单元中共存储有N帧图像。
S203：将监控视频流中的预设帧数视频帧存入第一缓存单元和第二缓存单元。
继续参阅图4。终端设备可以根据关键帧推荐网络的计算能力确定预设帧数视频帧的数量，并将预设帧数视频帧的一半存储于第一缓存单元，将预设帧数视频帧的另一半存储于第二缓存单元。详情可参阅图4。图4中的A和B分别为视频片段缓存单元中的第一缓存单元和第二缓存单元。
具体地，监控视频流以单帧图像的形式交替存储于第一缓存单元和第二缓存单元中，使得第一缓存单元和第二缓存单元中分别存储有N/2帧图像。在实际应用中，视频片段存储单元与关键帧推荐网络首次开启计算时应保证第一缓存单元和第二缓存单元中存储满图像帧。然后，间隔N/2帧进行计算。例如，若设置开始计算时刻为t，t-2时刻存储N/2帧图像于第一缓存单元中，t-1时刻持续存储N/2帧图像于第二缓存单元中，t+1时刻实时存储N/2帧图像于第一缓存单元中，此时第二缓存单元不做变动。依次重复上述过程，以将单帧图像交替存储于第一缓存单元和第二缓存单元中。
S204：利用关键帧推荐网络分别获取第一缓存单元和第二缓存单元中视频帧的关键帧参考值。
其中，关键帧推荐网络的网络示意图可参阅图5。关键帧推荐网络包括2D特征编码单元、双向LSTM(Long Short-Term Memory)单元和前馈网络单元。其中，2D特征编码单元用于提取第一缓存单元和第二缓存单元中每帧视频帧的空间特征。在具体实施例中，2D特征编码单元可以为ImageNet公开数据集训练的网络，例如快速训练残差网络Resnet-101。双向LSTM单元用于关联第一缓存单元和第二缓存单元中N帧视频帧前后时空特征之间的相关性，以增加视频帧特征的利用率。前馈网络单元用于融合经双向LSTM单元关联的高级语义特征，以输出第一缓存单元和第二缓存单元中每帧视频帧的关键帧得分，即关键帧参考值。
S205：基于所有视频帧的关键帧参考值筛选出关键视频帧。
可选地，本实施例可以采用图6实施例实现S205，具体包括S301至S304：
S301：按照各个视频帧在监控视频流中的先后顺序，依次将各个视频帧的关键帧参考值与预设的关键帧参考值阈值比较。
为了确保关键帧推荐网络输出的视频帧的关键帧参考值的准确性，终端设备对关键帧推荐网络输出的视频帧的关键帧参考值进行推断处理。具体地，关键帧推荐网络还包括后处理单元，后处理单元用于输出对应视频帧的索引号，以实现所有视频帧中关键帧参考值判定。
进一步地，终端设备判断各个视频帧的关键帧参考值是否大于预设的关键帧参考值阈值，若是，则执行S302。若否，则将关键帧参考值比预设的关键帧参考阈值小的视频帧丢弃。
S302：将关键帧参考值大于关键帧参考值阈值的视频帧，确定为第一关键视频帧。
其中，终端设备在判定视频帧的关键帧参考值大于预设关键帧参考值阈值时，将当前视频帧确定为第一关键视频帧。
S303：按照各个第一关键视频帧在监控视频流中的先后顺序，依次计算一个第一关键视频帧与之前的一个第一关键视频帧的相似度。
为了过滤重复关键视频帧，终端设备按照各个第一关键视频帧在监控视频流中的先后顺序，依次计算一个第一关键视频帧与之前的一个第一关键视频帧的相似度。
S304：判断相似度是否大于预设的相似度阈值。
其中，终端设备判断当前第一关键视频帧与上一个第一关键视频帧的相似度是否大于预设相似度阈值，若是，则执行S305。若否，则执行S306。
S305：将之前的一个第一关键视频帧作为最终输出的关键视频帧。
其中，终端设备在判定当前第一关键视频帧与上一个第一关键视频帧的相似度大于预设相似度阈值时，将当前第一关键视频帧作为最终输出的关键视频帧。
S306：将之前的一个第一关键视频帧丢弃，将一个第一关键视频帧作为最终输出的第二关键视频帧。
其中，终端设备在判定一个第一关键视频帧与上一个第一关键视频帧的相似度小于等于预设相似度阈值时，将一个第一关键视频帧丢弃，将上一个第一关键视频帧作为最终输出的关键视频帧。
S206：检测关键视频帧中的异常事件。
可选地，本实施例可以采用图7实施例实现S206，具体包括S401至S403：
S401：提取关键视频帧的事件特征。
在具体实施例中，终端设备可通过比较关键视频帧中的事件特征与预设事件特征之间的事件相似度确定关键视频帧中是否存在异常事件。具体地，终端设备提取关键视频帧的事件特征。
S402：获取事件特征与预设异常事件特征的事件相似度。
其中，预设异常事件特征可以为货物抛洒事件特征、交通事故事件特征、烟火团雾事件特征及道路施工事件特征等。终端设备计算事件特征与预设异常事件特征之间的事件相似度。
S403：判断事件相似度是否大于或等于相似度阈值。
其中，终端设备判断事件特征与预设异常事件特征之间的事件相似度是否大于或等于相似度阈值，若是，则执行S404。若否，则确定监控视频流中不存在异常事件。
S404：则确定监控视频流中存在异常事件。
其中，终端设备在判断事件相似度大于或等于相似度阈值时，确定监控视频流中存在异常事件。
上述方案中，终端设备通过设置第一缓存单元和第二缓存单元，并利用第一缓存单元和第二缓存单元存储预设帧数视频帧，避免了监控视频流片段存储空间的浪费，同时提高了交通异常事件检测的实时性；利用关键帧推荐网络中的2D特征编码单元提取第一缓存单元和第二缓存单元中每帧视频帧的空间特征，利用双向LSTM单元关联第一缓存单元和第二缓存单元中N帧视频帧前后时空特征之间的相关性，增加了视频片段特征利用率，以及利用前馈网络单元融合经双向LSTM单元关联的高级语义特征，提高了监控视频流异常事件检测的实时性及准确性；对关键帧网络输出的视频帧的得分进行推断处理，进一步确定交通异常事件检测的准确性；利用关键视频帧的事件特征与预设事件特征之间的事件相似度确定监控视频流是否存在异常事件，提高了交通异常检测准确性。
进一步地，在上述实施例终端设备利用关键帧的事件特征与预设事件特征之间的事件相似度确定异常事件的基础上。本实施例的终端设备利用关键视频帧中异常事件的异常事件区域的中心点是否处于检测区域内，进而确定关键视频帧中异常事件的异常事件类别以及异常事件区域。可参阅图8，S404之后还包括以下步骤：
S501：检测关键视频帧中异常事件的异常事件类别以及异常事件区域。
为了提高关键视频帧中异常事件的异常事件类别及异常事件区域的检测准确性，终端设备对关键视频进行预检测处理，得到预检测结果。预检测结果包括异常事件类别及异常事件区域。具体地，终端设备利用预检测网络对关键视频帧进行预检测处理。其中，预检测网络的详细示意图可参阅图9。具体地，图9中的label为异常事件类别。异常事件类别为货物抛洒、交通事故、烟火团雾及道路施工等。Location为异常事件区域。异常事件区域为关键视频帧中异常事件区域坐标。
另外，预检测网络可以为YOLO(You Only Look Once)、SSD(Single ShotMultiBox Detector)、Faster-Rcnn(Faster-Region-Convolutional Neural Networks)、CenterNet等神经网络。本实施例对此不作限定。
S502：获取预设的检测区域，判断关键视频帧中异常事件的异常事件区域的中心点是否处于检测区域内。
为了进一步确定预检测结果，终端设备判断关键视频帧中异常事件的异常事件区域的中心点是否处于检测区域内，若是，则执行S503。
S503：则输出关键视频帧中异常事件的异常事件类别以及异常事件区域。
其中，终端设备在判定异常事件区域的中心点处于检测区域内时，确定预检测结果为最终检测结果，并输出关键视频帧中异常事件的异常事件类别及异常事件区域。
上述方案中，终端设备利用关键视频帧中异常事件的异常事件区域的中心点是否处于检测区域内，进而输出关键视频帧中异常事件的异常事件类别以及异常事件区域，从而提高了交通异常检测的准确性。
可继续参阅图10，图10是图2所示的交通异常事件方法中S206另一实施例的流程示意图。具体而言，S206还包括以下步骤：
S601：检测关键视频帧中异常事件的异常事件类别以及异常事件区域。
S602：获取预设的检测区域，判断关键视频帧中异常事件的异常事件区域的中心点是否处于检测区域内。
其中，本实施例的S601～S602的详细描述可参阅上述实施例的S501～S502。
S603：获取异常事件的事件置信度。
为了提高检测结果的准确性，本实施例的终端设备还可对预检测结果进行过滤处理。具体地，终端设备考虑事件置信度对异常事件类别及异常事件区域的影响，并利用事件置信度过滤预检测结果，从而确定最终的检测结果。具体地，终端设备首先获取异常事件的事件置信度。
S604：判断事件置信度是否大于等于预设置信度阈值。
其中，终端设备判断事件置信度是否大于等于预设置信度阈值，若是，则执行S605。若否，则直接过滤当前视频帧的检测结果。
进一步地，在具体实施例中，终端设备还可考虑周界区域对异常事件类别及异常事件区域的影响。具体地，终端设备可在判定事件置信度大于等于预设置信度阈值时，获取异常事件类别与当前异常事件相同的上一个异常事件。并计算当前异常事件的异常事件区域和上一个异常事件的异常事件区域的区域交并比。进而判断区域交并比是否小于等于预设交并比阈值，若是，则执行S605。
在其他实施例中，终端设备还可考虑同一位置重复报警过滤对异常事件类别及异常事件区域的影响。具体地，终端设备可在判定事件置信度大于等于预设置信度阈值时，获取当前异常事件对应的第一视频帧序号，以及获取上一个异常事件对应的第二视频帧序号。进而判断第一视频帧序号与第二视频帧序号的帧序号差值是否大于等于预设帧序号差值阈值，若是，则执行S605。
需要说明的是，在实际应用中，终端设备可考虑事件置信度、周界区域及同一位置重复报警中的至少一个对异常事件类别及异常事件区域的影响。当然，终端设备也可考虑事件置信度、周界区域及同一位置重复报警中的至少二个对异常事件类别及异常事件区域的影响。本实施例对此不进行限定。另外，终端设备对预检测结果过滤的方式包括但不限于事件置信度、周界区域及同一位置重复报警。
S605：输出异常事件类别以及异常事件区域。
其中，终端设备输出异常事件类别及异常事件区域。
上述方案中，终端设备考虑事件置信度、周界区域及同一位置重复报警中的至少一个对异常事件类别及异常事件区域的影响，并利用事件置信度、周界区域及同一位置重复报警中的至少一个对预检测结果进行过滤，提高了异常事件类别以及异常事件区域的检测准确性，实现了检测异常事件类别以及异常事件区域精度和实时性的平衡。
可继续参阅图11，图11是图1所示的交通异常事件检测方法中获取关键帧推荐网络的流程示意图。具体而言，本实施例的交通异常事件检测方法还包括以下步骤：
S701：获取若干训练图像，并获取每一训练图像的标签分数；以及获取参考图像，参考图像包括标签分数大于标签分数阈值的图像。
其中，关键帧推荐网络的训练集的获取方式可以为在交通道路路面上空设置摄像头，拍摄摄像头监控区域中的监控图像，并将监控图像存储于关键帧推荐网络应用的终端设备中。也可在数据库中提取历史监控图像。采用在交通道路路面上空设置摄像头的方式，摄像头可安装在交通道路路面上空的任意位置，使摄像头足以拍摄交通道路路面情况，摄像头数量可设置一个或多个。本实施例中，将摄像头安装在交通道路路面正上空，以便摄像头获取较好的训练集。另外，参考图像为人工选定。具体可以为训练集中包括货物抛洒、交通事故、烟火团雾及道路施工的图像。标签分数阈值的范围为0～1。具体可以为0.95，或者1。本实施例对此不作限定。每一训练图像的标签分数也可为人工设置。
S702：将每一训练图像输入关键帧推荐网络，获取每一训练图像与参考图像之间余弦相似度，作为每一训练图像的预测分数。
其中，每一训练图像与参考图像之间的余弦相似度满足以下公式：
Figure BDA0003148833960000121
其中，A表示训练图像的特征，B表示参考图像的特征，cosθ/similarity为训练图像和参考图像之间的余弦相似度。
具体地，终端设备将每一训练图像与参考图像之间的余弦相似度，作为每一训练图像的预测分数。
S703：基于每一训练图像的标签分数和预测分数计算关键帧推荐网络的损失函数。
为了约束图像之间的相关性，提取图像之间的事件结构特征，本实施例的终端设备利用每一训练图像的标签分数和预测分数的均方差、相邻帧训练图像的预测分数偏差值，以及相邻帧训练图像的标签分数偏差值确定每一训练图像的标签分数和预测分数之间的损失函数。
具体地，终端设备分别计算每一训练图像的标签分数和预测分数的均方差、相邻帧训练图像的预测分数偏差值，以及相邻帧训练图像的标签分数偏差值。并利用利用均方差、预测分数偏差值以及标签分数偏差值计算关键帧推荐网络的损失函数。其中，损失函数包括每一训练图像的标签分数和预测分数之间的差距程度。
具体地，关键帧推荐网络的损失函数满足下式：
Figure BDA0003148833960000131
其中，SobLoss(s，t)为训练图像的标签分数和预测分数之间的损失函数，s为预测分数，t为训练图像的标签分数，
Figure BDA0003148833960000132
为每一训练图像的标签分数和预测分数的均方差，si+1-si为相邻帧训练图像的预测分数偏差值，ti+1-ti相邻帧训练图像的标签分数偏差值。
S704：利用损失函数对关键帧推荐网络进行训练。
基于S703获取的损失函数，终端设备以每一训练图像的标签分数和预测分数之间的损失变小为目标训练关键帧推荐网络，得到满足要求的关键帧推荐网络。具体地，终端设备可判断每一训练图像的标签分数和预测分数之间的损失是否小于等于损失阈值，若是，则得到关键帧推荐网络。
上述方案中，终端设备利用每一训练图像的标签分数和预测分数的均方差、相邻帧训练图像的预测分数偏差值，以及相邻帧训练图像的标签分数偏差值确定每一训练图像的标签分数和预测分数之间的损失函数，以基于损失函数确定关键帧推荐网络，从而约束图像之间的相关性，提取了图像之间的事件结构特征，实现异常事件关键帧的直接输出。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
为实现上述实施例的交通异常事件检测方法，本申请还提出了一种终端设备，具体请参阅图12，图12是本申请提供的终端设备一实施例的结构示意图。
本申请实施例的终端设备120包括存储器121和处理器122，其中，存储器121和处理器122耦接。
存储器121用于存储程序数据，处理器122用于执行程序数据以实现上述实施例所述的获取监控视频流；基于监控视频流中，各个视频帧与各个视频帧的关联视频帧的时空特征相关性，估计各个视频帧的关键帧参考值；以及基于各个视频帧的关键帧参考值，从监控视频流中确定出关键视频帧；基于关键视频帧，确定监控视频流中是否存在异常事件。
在本实施例中，处理器122还可以称为CPU(Central Processing Unit，中央处理单元)。处理器122可能是一种集成电路芯片，具有信号的处理能力。处理器122还可以是通用处理器、数字信号处理器(DSP，Digital Signal Process)、专用集成电路(ASIC，Application Specific Integrated Circuit)、现场可编程门阵列(FPGA，FieldProgrammable Gate Array)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器122也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质，如图13所示，计算机存储介质130用于存储程序数据131，程序数据131在被处理器执行时，用以实现如上述实施例所述的获取监控视频流；基于监控视频流中，各个视频帧与各个视频帧的关联视频帧的时空特征相关性，估计各个视频帧的关键帧参考值；以及基于各个视频帧的关键帧参考值，从监控视频流中确定出关键视频帧；基于关键视频帧，确定监控视频流中是否存在异常事件。
本申请还提供一种计算机程序产品，其中，上述计算机程序产品包括计算机程序，上述计算机程序可操作来使计算机执行如本申请实施例所述的交通异常事件检测方法。该计算机程序产品可以为一个软件安装包。
本申请上述实施例所述的交通异常事件检测方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种交通异常事件检测方法，其特征在于，包括
获取监控视频流；
基于所述监控视频流中，各个视频帧与所述各个视频帧的关联视频帧的时空特征相关性，估计所述各个视频帧的关键帧参考值；以及基于所述各个视频帧的关键帧参考值，从所述监控视频流中确定出关键视频帧；
基于所述关键视频帧，确定所述监控视频流中是否存在异常事件。
2.根据权利要求1所述的方法，其特征在于，所述监控视频流中一个视频帧的关联视频帧包括如下至少一种视频帧：
所述监控视频流中，所述一个视频帧之前的第一数量的视频帧；
所述监控视频流中，所述一个视频帧之后的第二数量的视频帧。
3.根据权利要求1所述的方法，其特征在于，所述基于所述监控视频流中，各个视频帧与所述各个视频帧的关联视频帧的时空特征相关性，估计所述各个视频帧的关键帧参考值；以及基于所述各个视频帧的关键帧参考值，从所述监控视频流中确定出关键视频帧，包括：
将所述监控视频流输入关键帧推荐网络，获取所述关键帧推荐网络输出的关键视频帧；所述关键帧推荐网络包含2D特征编码单元、双向LSTM单元以及前馈网络单元。
4.根据权利要求1-3任一项所述的方法，其特征在于，
所述基于所述各个视频帧的关键帧参考值，从所述各视频帧中确定出关键视频帧，包括：
按照所述各个视频帧在所述监控视频流中的先后顺序，依次将各个视频帧的关键帧参考值与预设的关键帧参考值阈值比较；
将所述关键帧参考值大于关键帧参考值阈值的视频帧，确定为第一关键视频帧。
5.根据权利要求4所述的方法，其特征在于，
所述方法，还包括：
按照各个第一关键视频帧在所述监控视频流中的先后顺序，依次计算一个第一关键视频帧与之前的一个第一关键视频帧的相似度；
在所述相似度小于等于预设的相似度阈值的情况下，将所述之前的一个第一关键视频帧丢弃，将所述一个第一关键视频帧作为最终输出的第二关键视频帧。
6.根据权利要求3所述的方法，其特征在于，所述关键帧推荐网络通过如下方式获得：获取若干训练图像，并获取每一训练图像的标签分数；以及获取参考图像，所述参考图像包括标签分数大于标签分数阈值的图像；
将所述每一训练图像输入所述关键帧推荐网络，获取所述每一训练图像与所述参考图像之间余弦相似度，作为所述每一训练图像的预测分数；
基于所述每一训练图像的标签分数和预测分数计算所述关键帧推荐网络的损失函数；
基于所述损失函数调整所述关键帧推荐网络的参数。
7.根据权利要求6所述的方法，其特征在于，
所述基于所述每一训练图像的标签分数和预测分数计算所述关键帧推荐网络的损失函数，包括：
计算所述若干训练图像的标签分数和预测分数的均方差；
计算相邻帧训练图像的预测分数偏差值，以及相邻帧训练图像的标签分数偏差值；
利用所述均方差、所述预测分数偏差值以及所述标签分数偏差值计算所述关键帧推荐网络的损失函数。
8.根据权利要求1所述的方法，其特征在于，
所述基于所述关键视频帧，确定所述监控视频流中是否存在异常事件，包括：
提取所述关键视频帧的事件特征；
获取所述事件特征与预设异常事件特征的事件相似度；
若所述事件相似度大于或等于相似度阈值，则确定所述监控视频流中存在异常事件；
若所述事件相似度小于所述相似度阈值，则确定所述监控视频流中不存在异常事件。
9.根据权利要求8所述的方法，其特征在于，
所述确定所述监控视频流中存在异常事件之后，包括：
检测所述关键视频帧中异常事件的异常事件类别以及异常事件区域；
获取预设的检测区域，检测所述关键视频帧中异常事件的异常事件区域的中心点是否处于所述检测区域内；
若是，则输出所述关键视频帧中异常事件的异常事件类别以及异常事件区域。
10.根据权利要求9所述的方法，其特征在于，
所述方法，还包括：
按照各个关键视频帧在所述监控视频流的先后顺序，依次计算两个存在异常事件类型相同的异常事件的关键视频帧中，异常事件区域的区域交并比；
在所述区域交并比小于等于预设的交并比阈值的情况下，将所述两个存在异常事件类型相同的异常事件的关键视频帧中的一个丢弃，输出另一关键视频帧。
11.根据权利要求9或10所述的方法，其特征在于，
所述方法，还包括：
按照各个关键视频帧在所述监控视频流的先后顺序，依次计算两个存在异常事件类型相同的异常事件的关键视频帧的视频帧序号差值；
在所述视频帧序号差值小于等于预设的帧序号差值阈值的情况下，将所述两个存在异常事件类型相同的异常事件的关键视频帧中的一个丢弃，输出另一关键视频帧。
12.一种终端设备，其特征在于，所述终端设备包括存储器和处理器，其中，所述存储器与所述处理器耦接；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现权利要求1-11中任一项所述的方法。
13.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现权利要求1-11中任一项所述的方法。
CN202110758806.7A 2021-07-05 2021-07-05 一种交通异常事件检测方法、设备及计算机存储介质 Pending CN113673311A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110758806.7A CN113673311A (zh) 2021-07-05 2021-07-05 一种交通异常事件检测方法、设备及计算机存储介质
PCT/CN2021/127622 WO2023279597A1 (en) 2021-07-05 2021-10-29 Systems and methods for video analysis
US18/396,640 US20240135710A1 (en) 2021-07-05 2023-12-26 Systems and methods for video analysis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110758806.7A CN113673311A (zh) 2021-07-05 2021-07-05 一种交通异常事件检测方法、设备及计算机存储介质

Publications (1)

Publication Number Publication Date
CN113673311A true CN113673311A (zh) 2021-11-19

Family

ID=78538759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110758806.7A Pending CN113673311A (zh) 2021-07-05 2021-07-05 一种交通异常事件检测方法、设备及计算机存储介质

Country Status (3)

Country Link
US (1) US20240135710A1 (zh)
CN (1) CN113673311A (zh)
WO (1) WO2023279597A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339156A (zh) * 2021-12-29 2022-04-12 武汉大学 视频流帧率调整方法、装置、设备及可读存储介质
CN116071711A (zh) * 2023-03-20 2023-05-05 广东致盛技术有限公司 一种交通拥堵状况检测方法及装置
CN117455744A (zh) * 2023-12-22 2024-01-26 安盛信达科技股份公司 一种智慧社区物联网数据处理方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664849A (zh) * 2017-03-30 2018-10-16 富士通株式会社 视频中事件的检测装置、方法以及图像处理设备
CN112016500B (zh) * 2020-09-04 2023-08-22 山东大学 基于多尺度时间信息融合的群体异常行为识别方法及系统
CN112418012B (zh) * 2020-11-09 2022-06-07 武汉大学 一种基于时空注意力模型的视频摘要生成方法
CN112836676B (zh) * 2021-03-01 2022-11-01 创新奇智(北京)科技有限公司 一种异常行为检测方法、装置、电子设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339156A (zh) * 2021-12-29 2022-04-12 武汉大学 视频流帧率调整方法、装置、设备及可读存储介质
CN114339156B (zh) * 2021-12-29 2023-03-14 武汉大学 视频流帧率调整方法、装置、设备及可读存储介质
CN116071711A (zh) * 2023-03-20 2023-05-05 广东致盛技术有限公司 一种交通拥堵状况检测方法及装置
CN117455744A (zh) * 2023-12-22 2024-01-26 安盛信达科技股份公司 一种智慧社区物联网数据处理方法及系统
CN117455744B (zh) * 2023-12-22 2024-03-22 安盛信达科技股份公司 一种智慧社区物联网数据处理方法及系统

Also Published As

Publication number Publication date
WO2023279597A1 (en) 2023-01-12
US20240135710A1 (en) 2024-04-25

Similar Documents

Publication Publication Date Title
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN113673311A (zh) 一种交通异常事件检测方法、设备及计算机存储介质
US20220114735A1 (en) Trajectory cluster model for learning trajectory patterns in video data
US20130093895A1 (en) System for collision prediction and traffic violation detection
CN112052804A (zh) 实现安全管理的视频智能分析及报警系统及其方法
CN111401161A (zh) 基于智能视频分析算法实现行为识别的智慧建筑管控系统
CN111738240A (zh) 区域监测方法、装置、设备及存储介质
CN109360362A (zh) 一种铁路视频监控识别方法、系统和计算机可读介质
KR20150100141A (ko) 행동패턴 분석 장치 및 방법
JP2013127716A (ja) 混雑の非通常状態検知システム
KR102028930B1 (ko) 움직임 정보를 이용한 인공지능 학습기반의 이동객체 영상 분류처리 방법
US20150213323A1 (en) Video anomaly detection based upon a sparsity model
CN111898592B (zh) 一种轨迹数据处理方法、装置以及计算机可读存储介质
CN111400550A (zh) 一种目标运动轨迹构建方法、设备以及计算机存储介质
CN112507860A (zh) 一种视频标注方法、装置、设备及存储介质
Madhavi et al. Traffic Congestion Detection from Surveillance Videos using Deep Learning
CN113011322A (zh) 监控视频特定异常行为的检测模型训练方法及检测方法
CN114218992A (zh) 异常对象的检测方法及相关装置
CN112528927A (zh) 基于轨迹分析的置信度确定方法、路侧设备及云控平台
CN114708426A (zh) 目标检测方法、模型训练方法、装置、设备及存储介质
CN115412705A (zh) 具有车辆信息隐私保护的实时视频监控方法及系统
CN114519879A (zh) 人体数据归档方法、装置、设备及存储介质
Wang et al. Vision-based highway traffic accident detection
CN113221791A (zh) 车辆违停检测方法、装置、电子设备和存储介质
CN112949359A (zh) 基于卷积神经网络的异常行为识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination