CN111353352A - 异常行为检测方法及装置 - Google Patents

异常行为检测方法及装置 Download PDF

Info

Publication number
CN111353352A
CN111353352A CN201811581954.0A CN201811581954A CN111353352A CN 111353352 A CN111353352 A CN 111353352A CN 201811581954 A CN201811581954 A CN 201811581954A CN 111353352 A CN111353352 A CN 111353352A
Authority
CN
China
Prior art keywords
behavior data
behavior
video
feature
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811581954.0A
Other languages
English (en)
Other versions
CN111353352B (zh
Inventor
赵飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201811581954.0A priority Critical patent/CN111353352B/zh
Priority to PCT/CN2019/127797 priority patent/WO2020135392A1/zh
Publication of CN111353352A publication Critical patent/CN111353352A/zh
Application granted granted Critical
Publication of CN111353352B publication Critical patent/CN111353352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种异常行为检测方法及装置，属于视频监控领域。所述方法包括：获取待检测的行为数据；将所述行为数据输入特征提取模型，输出所述行为数据的行为特征，所述特征提取模型用于根据正常行为数据输出特征空间范围内的行为特征以及根据异常行为数据输出所述特征空间范围外的行为特征，所述特征空间范围内各个行为特征之间的距离小于距离阈值；根据所述行为数据的行为特征与正常行为特征中心的距离和所述距离阈值，获取所述行为数据的检测结果，所述检测结果用于指示所述行为数据是否为异常行为数据，所述正常行为特征中心用于代表所述特征空间范围内的行为特征。本发明这种基于距离度量的异常行为检测方法，准确性较高。

Description

异常行为检测方法及装置
技术领域
本发明涉及视频监控领域，尤其涉及一种异常行为检测方法及装置。
背景技术
异常行为检测是指在视频监控场景下，计算机设备代替视频监控人员，自动检测出视频监控场景下发生的异常行为，从而可以及时进行报警。其中，异常行为一般是指场景中与其他行为有着明显不同或者在该场景中发生概率较低的行为，如危害他人、损害公共利益的行为。异常行为检测使得视频监控人员可以从海量的监控数据以及繁琐的人工操作中解脱出来，在视频监控领域有着极其广泛的应用。
相关技术中，一般是使用OneClassSVM(One Class Support Vector Machine,一类支持向量机)来实现异常行为的检测，具体地，收集大量发生正常行为的监控视频，从监控视频中抽取图像序列作为正常行为数据，基于正常行为数据训练一个一类分类器。对于一个未知视频，抽取图像序列作为行为数据，提取该行为数据的行为特征，如果该行为特征与该一类分类器包含的行为特征不一致，那么就认为是异常行为。其中，该一类分类器包含的行为特征通过对正常行为数据进行特征提取得到。
上述技术基于正常行为数据提取的行为特征来判断异常行为，由于没有学习正常行为数据和异常行为数据的区别，检测结果容易出现很大偏差，异常行为检测的准确性差。
发明内容
本发明实施例提供了一种异常行为检测方法及装置，可以解决相关技术准确性差的问题。所述技术方案如下：
第一方面，提供了一种异常行为检测方法，所述方法包括：
获取待检测的行为数据；
将所述行为数据输入特征提取模型，输出所述行为数据的行为特征，所述特征提取模型用于根据正常行为数据输出特征空间范围内的行为特征以及根据异常行为数据输出所述特征空间范围外的行为特征，所述特征空间范围内各个行为特征之间的距离小于距离阈值；
根据所述行为数据的行为特征与正常行为特征中心的距离和所述距离阈值，获取所述行为数据的检测结果，所述检测结果用于指示所述行为数据是否为异常行为数据，所述正常行为特征中心用于代表所述特征空间范围内的行为特征。
在一种可能实现方式中，所述特征提取模型的训练过程包括：
根据正常行为数据集合和异常行为数据集合，获取多个第一行为数据对和多个第二行为数据对，每个第一行为数据对包含所述正常行为数据集合中的两个正常行为数据，每个第二行为数据对包含所述正常行为数据集合中的一个正常行为数据和所述异常行为数据集合中的一个异常行为数据；
提取所述多个第一行为数据对的多个第一行为特征对和所述多个第二行为数据对的多个第二行为特征对，每个第一行为特征对包含两个正常行为数据的行为特征，每个第二行为特征对包含一个正常行为数据的行为特征和一个异常行为数据的行为特征；
根据所述每个第一行为特征对包含的两个行为特征之间的距离和所述每个第二行为特征对包含的两个行为特征之间的距离，通过损失函数监督训练，得到所述特征提取模型。
在一种可能实现方式中，所述根据正常行为数据集合和异常行为数据集合，获取多个第一行为数据对和多个第二行为数据对之前，所述方法还包括：
基于多个第一视频，获取所述正常行为数据集合，所述多个第一视频为目标进行正常行为的视频；
基于多个第二视频，获取所述异常行为数据集合，所述多个第二视频为目标进行异常行为的视频。
在一种可能实现方式中，所述基于多个第一视频，获取所述正常行为数据集合，包括：
对于所述多个第一视频中的每个第一视频，对所述第一视频中的目标进行检测和跟踪，获取预设时间段内所述目标的空间运动范围，所述空间运动范围为所述目标运动所覆盖的空间范围，所述预设时间段小于所述第一视频的时间段；
根据所述空间运动范围和所述第一视频，在所述预设时间段对应的第一视频序列中进行图像截取，得到所述第一视频的第一图像序列，所述第一视频序列包含所述第一视频的多帧视频图像，所述第一图像序列包含所述多帧视频图像中所述空间运动范围对应的区域；
将所述多个第一视频的第一图像序列作为所述正常行为数据集合。
在一种可能实现方式中，所述异常行为数据集合的获取过程包括：
对于所述多个第二视频中的每个第二视频，对所述第二视频中的目标进行检测和跟踪，获取预设时间段内所述目标的空间运动范围，所述空间运动范围为所述目标运动所覆盖的空间范围，所述预设时间段小于所述第二视频的时间段；
根据所述空间运动范围和所述第二视频，在所述预设时间段对应的第二视频序列中进行图像截取，得到所述第二视频的第二图像序列，所述第二视频序列包含所述第二视频的多帧视频图像，所述第二图像序列包含所述多帧视频图像中所述空间运动范围对应的区域；
将所述多个第二视频的第二图像序列作为所述异常行为数据集合。
在一种可能实现方式中，所述待检测的行为数据为多个行为数据，
所述根据所述行为数据的行为特征与正常行为特征中心的距离，获取所述行为数据的检测结果之后，所述方法还包括：
根据所述多个行为数据各自的检测结果，确定所述多个行为数据中的异常行为数据；
将所述多个行为数据中的异常行为数据添加至所述异常行为数据集合中；
执行所述特征提取模型的训练过程，获取更新的特征提取模型。
在一种可能实现方式中，所述将所述多个行为数据中的异常行为数据添加至所述异常行为数据集合，包括：
获取所述多个行为数据中异常行为数据的人工确认信息；
将所述人工确认信息指示的异常行为数据添加至所述异常行为数据集合中。
在一种可能实现方式中，所述方法还包括：
获取多个视频；
对于所述多个视频中的每个视频，对所述视频中的目标进行检测和跟踪，获取预设时间段内所述目标的空间运动范围，所述空间运动范围为所述目标运动所覆盖的空间范围，所述预设时间段小于所述视频的时间段；
根据所述空间运动范围和所述视频，在所述预设时间段对应的视频序列中进行图像截取，得到所述视频的图像序列，所述视频序列包含所述视频的多帧视频图像，所述图像序列包含所述多帧视频图像中所述空间运动范围对应的区域；
将所述多个视频的图像序列作为所述多个行为数据。
在一种可能实现方式中，所述方法还包括：
对于所述多个行为数据中的异常行为数据，在播放所述异常行为数据所属视频的过程中，显示所述异常行为数据所属视频的图像序列。
在一种可能实现方式中，所述根据所述行为数据的行为特征与正常行为特征中心的距离和所述距离阈值，获取所述行为数据的检测结果，包括：
当所述行为数据的行为特征与所述正常行为特征中心的距离大于所述距离阈值时，确定所述行为数据为异常行为数据；
当所述行为数据的行为特征与所述正常行为特征中心的距离小于或等于所述距离阈值时，确定所述行为数据为正常行为数据。
在一种可能实现方式中，所述正常行为特征中心的获取过程包括：
获取多个正常行为数据；
对于所述多个正常行为数据中的每个正常行为数据，将所述正常行为数据输入所述特征提取模型，输出所述正常行为数据的行为特征；
根据所述多个正常行为数据的行为特征，获取所述正常行为特征中心。
在一种可能实现方式中，所述多个正常行为数据的行为特征为多个特征向量，
所述根据所述多个正常行为数据的行为特征，获取所述正常行为特征中心，包括：
对所述多个特征向量在每个维度计算平均值，将得到的特征向量作为所述正常行为特征中心。
第二方面，提供了一种异常行为检测装置，所述装置包括：
获取模块，用于获取待检测的行为数据；
提取模块，用于将所述行为数据输入特征提取模型，输出所述行为数据的行为特征，所述特征提取模型用于根据正常行为数据输出特征空间范围内的行为特征以及根据异常行为数据输出所述特征空间范围外的行为特征，所述特征空间范围内各个行为特征之间的距离小于距离阈值；
所述获取模块还用于根据所述行为数据的行为特征与正常行为特征中心的距离和所述距离阈值，获取所述行为数据的检测结果，所述检测结果用于指示所述行为数据是否为异常行为数据，所述正常行为特征中心用于代表所述特征空间范围内的行为特征。
在一种可能实现方式中，所述获取模块还用于：
根据正常行为数据集合和异常行为数据集合，获取多个第一行为数据对和多个第二行为数据对，每个第一行为数据对包含所述正常行为数据集合中的两个正常行为数据，每个第二行为数据对包含所述正常行为数据集合中的一个正常行为数据和所述异常行为数据集合中的一个异常行为数据；
提取所述多个第一行为数据对的多个第一行为特征对和所述多个第二行为数据对的多个第二行为特征对，每个第一行为特征对包含两个正常行为数据的行为特征，每个第二行为特征对包含一个正常行为数据的行为特征和一个异常行为数据的行为特征；
根据所述每个第一行为特征对包含的两个行为特征之间的距离和所述每个第二行为特征对包含的两个行为特征之间的距离，通过损失函数监督训练，得到所述特征提取模型。
在一种可能实现方式中，所述获取模块还用于：
基于多个第一视频，获取所述正常行为数据集合，所述多个第一视频为目标进行正常行为的视频；
基于多个第二视频，获取所述异常行为数据集合，所述多个第二视频为目标进行异常行为的视频。
在一种可能实现方式中，所述获取模块用于：
对于所述多个第一视频中的每个第一视频，对所述第一视频中的目标进行检测和跟踪，获取预设时间段内所述目标的空间运动范围，所述空间运动范围为所述目标运动所覆盖的空间范围，所述预设时间段小于所述第一视频的时间段；
根据所述空间运动范围和所述第一视频，在所述预设时间段对应的第一视频序列中进行图像截取，得到所述第一视频的第一图像序列，所述第一视频序列包含所述第一视频的多帧视频图像，所述第一图像序列包含所述多帧视频图像中所述空间运动范围对应的区域；
将所述多个第一视频的第一图像序列作为所述正常行为数据集合。
在一种可能实现方式中，所述获取模块用于：
对于所述多个第二视频中的每个第二视频，对所述第二视频中的目标进行检测和跟踪，获取预设时间段内所述目标的空间运动范围，所述空间运动范围为所述目标运动所覆盖的空间范围，所述预设时间段小于所述第二视频的时间段；
根据所述空间运动范围和所述第二视频，在所述预设时间段对应的第二视频序列中进行图像截取，得到所述第二视频的第二图像序列，所述第二视频序列包含所述第二视频的多帧视频图像，所述第二图像序列包含所述多帧视频图像中所述空间运动范围对应的区域；
将所述多个第二视频的第二图像序列作为所述异常行为数据集合。
在一种可能实现方式中，所述待检测的行为数据为多个行为数据，
所述获取模块还用于根据所述多个行为数据各自的检测结果，确定所述多个行为数据中的异常行为数据；将所述多个行为数据中的异常行为数据添加至所述异常行为数据集合中；执行所述特征提取模型的训练过程，获取更新的特征提取模型。
在一种可能实现方式中，所述获取模块用于获取所述多个行为数据中异常行为数据的人工确认信息；将所述人工确认信息指示的异常行为数据添加至所述异常行为数据集合中。
在一种可能实现方式中，所述获取模块还用于：
获取多个视频；
对于所述多个视频中的每个视频，对所述视频中的目标进行检测和跟踪，获取预设时间段内所述目标的空间运动范围，所述空间运动范围为所述目标运动所覆盖的空间范围，所述预设时间段小于所述视频的时间段；
根据所述空间运动范围和所述视频，在所述预设时间段对应的视频序列中进行图像截取，得到所述视频的图像序列，所述视频序列包含所述视频的多帧视频图像，所述图像序列包含所述多帧视频图像中所述空间运动范围对应的区域；
将所述多个视频的图像序列作为所述多个行为数据。
在一种可能实现方式中，所述装置还包括：
显示模块，用于对于所述多个行为数据中的异常行为数据，在播放所述异常行为数据所属视频的过程中，显示所述异常行为数据所属视频的图像序列。
在一种可能实现方式中，所述获取模块用于：
当所述行为数据的行为特征与所述正常行为特征中心的距离大于所述距离阈值时，确定所述行为数据为异常行为数据；
当所述行为数据的行为特征与所述正常行为特征中心的距离小于或等于所述距离阈值时，确定所述行为数据为正常行为数据。
在一种可能实现方式中，所述获取模块还用于：
获取多个正常行为数据；
对于所述多个正常行为数据中的每个正常行为数据，将所述正常行为数据输入所述特征提取模型，输出所述正常行为数据的行为特征；
根据所述多个正常行为数据的行为特征，获取所述正常行为特征中心。
在一种可能实现方式中，所述多个正常行为数据的行为特征为多个特征向量，
所述获取模块用于对所述多个特征向量在每个维度计算平均值，将得到的特征向量作为所述正常行为特征中心。
本发明实施例提供的技术方案带来的有益效果至少包括：
通过特征提取模型提取行为数据的行为特征，根据提取到的行为特征与正常行为中心的距离和距离阈值，确定行为数据是否为异常行为数据，由于特征提取模型是基于距离约束的方法训练得到，正常行为数据通过该特征提取模型提取的行为特征处于一个比较小的特征空间范围内，异常行为数据通过该特征提取模型提取的行为特征处于特征空间范围外，这样保证了正常行为特征比较紧凑，异常行为特征与正常行为特征存在明显的距离间距，由于学习到了正常行为和异常行为的区别，这种基于距离度量的异常行为检测方法，准确性较高。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种异常行为检测方法的流程图；
图2是本发明实施例提供的一种异常行为检测方法的流程图；
图3是本发明实施例提供的一种特征提取模型的训练流程图；
图4是本发明实施例提供的一种异常行为检测的流程图；
图5是本发明实施例提供的一种异常行为检测的反馈更新流程图；
图6是本发明实施例提供的一种异常事件检测装置的结构示意图；
图7是本发明实施例提供的一种异常事件检测装置的结构示意图；
图8是本发明实施例提供的一种计算机设备800的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种异常行为检测方法的流程图。参见图1，该方法包括：
101、获取待检测的行为数据。
102、将该行为数据输入特征提取模型，输出该行为数据的行为特征，该特征提取模型用于根据正常行为数据输出特征空间范围内的行为特征以及根据异常行为数据输出该特征空间范围外的行为特征，该特征空间范围内各个行为特征之间的距离小于距离阈值。
103、根据该行为数据的行为特征与正常行为特征中心的距离和该距离阈值，获取该行为数据的检测结果，该检测结果用于指示该行为数据是否为异常行为数据，该正常行为特征中心用于代表该特征空间范围内的行为特征。
本发明实施例提供的方法，通过特征提取模型提取行为数据的行为特征，根据提取到的行为特征与正常行为中心的距离和距离阈值，确定行为数据是否为异常行为数据，由于特征提取模型是基于距离约束的方法训练得到，正常行为数据通过该特征提取模型提取的行为特征处于一个比较小的特征空间范围内，异常行为数据通过该特征提取模型提取的行为特征处于特征空间范围外，这样保证了正常行为特征比较紧凑，异常行为特征与正常行为特征存在明显的距离间距，由于学习到了正常行为和异常行为的区别，这种基于距离度量的异常行为检测方法，准确性较高。
在一种可能实现方式中，该特征提取模型的训练过程包括：
根据正常行为数据集合和异常行为数据集合，获取多个第一行为数据对和多个第二行为数据对，每个第一行为数据对包含该正常行为数据集合中的两个正常行为数据，每个第二行为数据对包含该正常行为数据集合中的一个正常行为数据和该异常行为数据集合中的一个异常行为数据；
提取该多个第一行为数据对的多个第一行为特征对和该多个第二行为数据对的多个第二行为特征对，每个第一行为特征对包含两个正常行为数据的行为特征，每个第二行为特征对包含一个正常行为数据的行为特征和一个异常行为数据的行为特征；
根据该每个第一行为特征对包含的两个行为特征之间的距离和该每个第二行为特征对包含的两个行为特征之间的距离，通过损失函数监督训练，得到该特征提取模型。
在一种可能实现方式中，该根据正常行为数据集合和异常行为数据集合，获取多个第一行为数据对和多个第二行为数据对之前，该方法还包括：
基于多个第一视频，获取该正常行为数据集合，该多个第一视频为目标进行正常行为的视频；
基于多个第二视频，获取该异常行为数据集合，该多个第二视频为目标进行异常行为的视频。
在一种可能实现方式中，该基于多个第一视频，获取该正常行为数据集合，包括：
对于该多个第一视频中的每个第一视频，对该第一视频中的目标进行检测和跟踪，获取预设时间段内该目标的空间运动范围，该空间运动范围为该目标运动所覆盖的空间范围，该预设时间段小于该第一视频的时间段；
根据该空间运动范围和该第一视频，在该预设时间段对应的第一视频序列中进行图像截取，得到该第一视频的第一图像序列，该第一视频序列包含该第一视频的多帧视频图像，该第一图像序列包含该多帧视频图像中该空间运动范围对应的区域；
将该多个第一视频的第一图像序列作为该正常行为数据集合。
在一种可能实现方式中，该异常行为数据集合的获取过程包括：
对于该多个第二视频中的每个第二视频，对该第二视频中的目标进行检测和跟踪，获取预设时间段内该目标的空间运动范围，该空间运动范围为该目标运动所覆盖的空间范围，该预设时间段小于该第二视频的时间段；
根据该空间运动范围和该第二视频，在该预设时间段对应的第二视频序列中进行图像截取，得到该第二视频的第二图像序列，该第二视频序列包含该第二视频的多帧视频图像，该第二图像序列包含该多帧视频图像中该空间运动范围对应的区域；
将该多个第二视频的第二图像序列作为该异常行为数据集合。
在一种可能实现方式中，该待检测的行为数据为多个行为数据，
该根据该行为数据的行为特征与正常行为特征中心的距离，获取该行为数据的检测结果之后，该方法还包括：
根据该多个行为数据各自的检测结果，确定该多个行为数据中的异常行为数据；
将该多个行为数据中的异常行为数据添加至该异常行为数据集合中；
执行该特征提取模型的训练过程，获取更新的特征提取模型。
在一种可能实现方式中，该将该多个行为数据中的异常行为数据添加至该异常行为数据集合，包括：
获取该多个行为数据中异常行为数据的人工确认信息；
将该人工确认信息指示的异常行为数据添加至该异常行为数据集合中。
在一种可能实现方式中，该方法还包括：
获取多个视频；
对于该多个视频中的每个视频，对该视频中的目标进行检测和跟踪，获取预设时间段内该目标的空间运动范围，该空间运动范围为该目标运动所覆盖的空间范围，该预设时间段小于该视频的时间段；
根据该空间运动范围和该视频，在该预设时间段对应的视频序列中进行图像截取，得到该视频的图像序列，该视频序列包含该视频的多帧视频图像，该图像序列包含该多帧视频图像中该空间运动范围对应的区域；
将该多个视频的图像序列作为该多个行为数据。
在一种可能实现方式中，该方法还包括：
对于该多个行为数据中的异常行为数据，在播放该异常行为数据所属视频的过程中，显示该异常行为数据所属视频的图像序列。
在一种可能实现方式中，该根据该行为数据的行为特征与正常行为特征中心的距离和该距离阈值，获取该行为数据的检测结果，包括：
当该行为数据的行为特征与该正常行为特征中心的距离大于该距离阈值时，确定该行为数据为异常行为数据；
当该行为数据的行为特征与该正常行为特征中心的距离小于或等于该距离阈值时，确定该行为数据为正常行为数据。
在一种可能实现方式中，该正常行为特征中心的获取过程包括：
获取多个正常行为数据；
对于该多个正常行为数据中的每个正常行为数据，将该正常行为数据输入该特征提取模型，输出该正常行为数据的行为特征；
根据该多个正常行为数据的行为特征，获取该正常行为特征中心。
在一种可能实现方式中，该多个正常行为数据的行为特征为多个特征向量，
该根据该多个正常行为数据的行为特征，获取该正常行为特征中心，包括：
对该多个特征向量在每个维度计算平均值，将得到的特征向量作为该正常行为特征中心。
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
图2是本发明实施例提供的一种异常事件检测方法的流程图。该方法由计算机设备执行，参见图2，该方法包括：
201、获取正常行为数据集合和异常行为数据集合。
其中，正常行为数据集合包含多个正常行为数据，异常行为数据集合包含多个异常行为数据。
在一种可能实现方式中，该正常行为数据集合和异常行为数据集合中的行为数据可以基于视频得到，相应地，该步骤201可以包括：基于多个第一视频，获取该正常行为数据集合，该多个第一视频为目标进行正常行为的视频；基于多个第二视频，获取该异常行为数据集合，该多个第二视频为目标进行异常行为的视频。
其中，该多个第一视频和多个第二视频可以由相关人员根据预设的正常行为类别进行收集后存储在计算机设备上。针对正常行为和异常行为，由于正常行为类别是可以预设的，因此可以根据应用场景任意指定正常行为的范畴，而与正常行为不同的行为则认为是异常行为。正常行为可以包含但不限于正常行走、静坐和与特定场景相关的一系列正常行为，异常行为包含但不限于暴乱、冲突、与特定场景相关的一系列行为。例如，针对日常生活场景，可以指定正常行走和静坐等为正常行为，而暴乱和冲突等为异常行为。针对银行柜台场景，可以指定直立坐姿和点钞等行为是正常行为，而打电话和向口袋放纸币等行为是异常行为。
针对正常行为数据集合的获取过程，该基于多个第一视频，获取该正常行为数据集合可以包括以下步骤a1至步骤a3：
步骤a1、对于该多个第一视频中的每个第一视频，对该第一视频中的目标进行检测和跟踪，获取预设时间段内该目标的空间运动范围，该空间运动范围为该目标运动所覆盖的空间范围，该预设时间段小于该第一视频的时间段。
其中，该预设时间段可以是第一视频的一段视频序列的时间段，该视频序列包含第一视频的多帧视频图像，如f1、……、fn。
计算机设备可以采用目标检测和跟踪算法，对第一视频中的目标进行检测和跟踪，确定该目标在该预设时间段的各个时刻的位置，以此确定该目标的空间运动范围。其中，目标检测和跟踪算法包含但不限于DPM(Deformable Part Model，可变形的组件模型)、FRCNN(Faster Region-based Convolutional Neural Networks，基于候选区域的卷积神经网络快速检测模型)、YOLO(You Only Look Once)、SSD(Single Shot multiboxDetector)等，该目标在各个时刻的位置可以通过在视频图像中添加目标框来表示，该目标框的形式包括但不限于外接矩形框、外接圆形框和外接多边形框。
以目标框为外接矩形框为例，在视频序列f1、……、fn中，假设计算机设备采用目标检测和跟踪算法，对该视频序列进行目标检测和跟踪，依次获取到该视频序列包含的多帧视频图像中的目标框，由此可以得到一系列目标框R1、……、Rm，其中，m和n为正整数，m<＝n(跟踪存在丢帧现象)，任一目标框可以表示为：R＝[left_top_x，left_top_y，right_bottom_x，right_bottom_y]，其中，left_top_x和left_top_y用于描述目标框的左上角坐标，right_bottom_x和right_bottom_y用于描述目标框的右下角坐标。获取了一系列目标框后，则目标的空间运动范围可以表示为Rtube＝[min({left_top_x})，min({left_top_y})，max({right_bottom_x}),max({right_bottom_y})]。
步骤a2、根据该空间运动范围和该第一视频，在该预设时间段对应的第一视频序列中进行图像截取，得到该第一视频的第一图像序列，该第一视频序列包含该第一视频的多帧视频图像，该第一图像序列包含该多帧视频图像中该空间运动范围对应的区域。
计算机设备可以根据步骤a1中的空间运动范围，对视频序列包含的每帧视频图像进行图像截取，从每帧视频图像中截取该空间运动范围对应的区域，截取到的所有区域即构成了图像序列，该图像序列能够反映目标在时间和空间上的运动信息。例如，使用Rtube从视频序列f1、……、fn中依次截取相应区域，即可得到图像序列。这种序列提取方式，在保留目标的行为不损失信息的情况下，大幅减少了背景信息，更利于特征提取模型对目标的行为进行特征提取。
步骤a3、将该多个第一视频的第一图像序列作为该正常行为数据集合。
通过步骤a1和步骤a2，计算机设备可以得到多个第一视频中每个第一视频的第一图像序列，将每个第一图像序列作为一个行为数据(或行为序列)，组成正常行为数据集合。
针对异常行为数据集合的获取过程，该基于多个第二视频，获取该异常行为数据集合可以包括以下步骤b1至步骤b3：
步骤b1、对于该多个第二视频中的每个第二视频，对该第二视频中的目标进行检测和跟踪，获取预设时间段内该目标的空间运动范围，该空间运动范围为该目标运动所覆盖的空间范围，该预设时间段小于该第二视频的时间段。
步骤b2、根据该空间运动范围和该第二视频，在该预设时间段对应的第二视频序列中进行图像截取，得到该第二视频的第二图像序列，该第二视频序列包含该第二视频的多帧视频图像，该第二图像序列包含该多帧视频图像中该空间运动范围对应的区域。
步骤b3、将该多个第二视频的第二图像序列作为该异常行为数据集合。
步骤b1至步骤b3与步骤a1至步骤a3同理，具体过程不再赘述。
需要说明的是，由于在任意场景下，正常行为的发生概率远大于异常行为的发生概率，因此相比于第二视频，第一视频更容易收集，可以理解的是，多个第一视频的数量可以远大于多个第二视频的数量，基于多个第一视频获取的正常行为数据集合中可以包含大量的正常行为数据，而基于多个第二视频获取的异常行为数据集合中可以包含少量的异常行为数据。
202、根据正常行为数据集合和异常行为数据集合，获取多个第一行为数据对和多个第二行为数据对，每个第一行为数据对包含该正常行为数据集合中的两个正常行为数据，每个第二行为数据对包含该正常行为数据集合中的一个正常行为数据和该异常行为数据集合中的一个异常行为数据。
本发明实施例中，计算机设备可以基于正常行为数据集合构成多个第一行为数据对(“正常-正常”行为数据对)，基于正常行为数据集合和异常行为数据集合，构成多个第二行为数据对(“正常-异常”行为数据对)。
计算机设备可以将正常行为数据集合中的正常行为数据进行两两组合，得到多个第一行为数据对。对于正常行为数据集合中的每个正常行为数据，计算机设备可以将该正常行为数据与异常行为数据集合中的每个异常行为数据进行组合，得到多个第二行为数据对。
针对正常行为数据集合中包含大量的正常行为数据和异常行为数据集合中包含少量的异常行为数据，计算机设备可以基于大量的正常行为数据和少量的异常行为数据，组成大量的“正常-正常”行为数据对和“正常-异常”行为数据对。
例如，包含正常行为数据的正常行为数据集合为SN＝{n1,n2,...,nk},SN中的每个元素n1,n2,...,nk分别表示一个正常行为数据；包含异常行为数据的异常行为数据集合为
Figure BDA0001918134600000141
其中，k和p均为正整数，SA中的每个元素
Figure BDA0001918134600000142
表示一个异常行为数据，a的下标是指异常行为类别，上标是指异常行为数据。使用SN组建“正常-正常”行为数据对NN_Pair＝{<ni,nj>,i≠j}；使用SN和SA组建“正常-异常”行为数据对
Figure BDA0001918134600000143
其中，sizeof(aq)是指同一异常行为类别的异常行为数据的数量。计算机设备基于NN_Pair和NA_Pair即可进行训练，得到特征提取模型，具体过程参见后续步骤203和步骤204。
203、提取该多个第一行为数据对的多个第一行为特征对和该多个第二行为数据对的多个第二行为特征对，每个第一行为特征对包含两个正常行为数据的行为特征，每个第二行为特征对包含一个正常行为数据的行为特征和一个异常行为数据的行为特征。
在一种可能实现方式中，计算机设备可以利用初始提取模型，对多个第一行为数据对进行行为特征提取，得到多个第一行为特征对，对多个第二行为数据对进行行为特征提取，得到多个第二行为特征对。其中，该初始特征提取模型具有根据输入的行为数据输出行为特征的能力，该初始特征提取模型可以由计算机设备训练得到，也可以由其他设备发送给该计算机设备。该初始特征提取模型的训练过程可以包括：基于多个样本行为数据对卷积神经网络进行训练，得到初始特征提取模型。
具体地，对于多个第一行为数据对中的每个第一行为数据对，计算机设备可以将该第一行为数据对输入初始特征提取模型，输出该第一行为数据对的行为特征对，也即是，第一行为特征对。对于多个第二行为数据对中的每个第二行为数据对，计算机设备可以将该第二行为数据对输入初始特征提取模型，输出该第二行为数据对的行为特征对，也即是，第二行为特征对。
204、根据该每个第一行为特征对包含的两个行为特征之间的距离和该每个第二行为特征对包含的两个行为特征之间的距离，通过损失函数监督训练，得到该特征提取模型。
其中，该特征提取模型用于将正常行为数据的行为特征映射到特征空间范围内以及将异常行为数据的行为特征映射到该特征空间范围外，该特征空间范围内各个行为特征之间的距离小于距离阈值。
本发明实施例中，对于每个第一行为特征对，计算机设备可以采用预设距离算法，计算每个第一行为特征对包含的两个行为特征之间的距离。对于每个第二行为特征对，计算机设备可以采用预设距离算法，计算每个第二行为特征对包含的两个行为特征之间的距离。该距离包括但不限于欧式距离、余弦距离和汉明距离。
进一步地，计算机设备可以根据获取到的距离，通过损失函数监督训练，具体过程包括：计算每个第一行为特征对的距离与第一距离阈值之间的误差，针对多个第一行为特征对的距离，可以获取到多个误差；计算每个第二行为特征对的距离与第二距离阈值之间的误差，针对多个第二行为特征对的距离，可以获取到多个误差。其中，第一距离阈值是第一行为特征对期望的距离，第二距离阈值是第二行为特征对期望的距离，第一距离阈值小于第二距离阈值，例如，该第一距离阈值可以为0，该第二距离阈值可以大于0。进而，计算机设备可以根据获取得到的所有误差，通过损失函数计算损失，如将获取到的所有误差求和，将求和结果作为监督信号回传，更新初始特征提取模型的参数，得到特征提取模型。其中，损失函数包含但不限于Contrastive Loss(对比损失)和Triplet Loss(三元组损失)等损失函数。该特征提取模型可以为3D(三维)卷积神经网络模型，包含但不限于resnet18、resnet50、resnet101、resnet152、inception-v1和VGG。计算机设备通过损失函数监督训练的方法，可以缩小第一行为特征对的第一距离以及增大第二行为特征对的第二距离，最终得到特征提取模型。
需要说明的是，上述步骤202至步骤204是特征提取模型的训练过程。该步骤202至步骤204为可选步骤，是对行为数据进行检测之前需要执行的步骤，并不是每次对行为数据进行检测时均需要执行该步骤，保证在对行为数据进行检测时，已经训练得到该特征提取模型即可。
本发明实施例可以针对特定场景，使用行为数据组建行为数据对进行训练。通过基于行为数据对的距离约束的训练方法，采取端到端的训练方案，提升了系统的自动化程度，对行为特征对的距离进行约束，可以保证正常行为特征更加紧凑，而异常行为特征与正常行为特征存在明显的距离间隔。这种基于距离约束的训练方法，可以适应现实场景中异常数据种类繁多、数据不足的问题，具有检测未知异常行为的能力。
需要说明的是，训练得到的特征提取模型可以根据正常行为数据输出特征空间范围内的行为特征，根据异常行为数据输出该特征空间范围外的行为特征，也即是，如果输入该特征提取模型的是正常行为数据，则输出的行为特征将会处于该特征空间范围内，如果输入该特征提取模型的是异常常行为数据，则输出的行为特征将会处于该特征空间范围外。其中，该特征空间范围为特征空间内一个比较小的空间范围。
205、获取待检测的多个行为数据。
本发明实施例中，计算机设备可以基于海量的视频，获取多个行为数据，将该多个行为数据作为待检测的行为数据，这些视频可以由相关人员进行收集后存储在计算机设备上，这些视频中目标进行的行为类别未知。
在一种可能实现方式中，该步骤205可以包括：获取多个视频；对于该多个视频中的每个视频，对该视频中的目标进行检测和跟踪，获取预设时间段内该目标的空间运动范围，该空间运动范围为该目标运动所覆盖的空间范围，该预设时间段小于该视频的时间段；根据该空间运动范围和该视频，在该预设时间段对应的视频序列中进行图像截取，得到该视频的图像序列，该视频序列包含该视频的多帧视频图像，该图像序列包含该多帧视频图像中该空间运动范围对应的区域；将该多个视频的图像序列作为该多个行为数据。
计算机设备获取多个行为数据的过程与步骤201中获取正常行为数据集合和异常行为数据集合同理，此处不再赘述。
需要说明的是，该步骤205是以待检测的行为数据为多个行为数据为例进行说明，可以理解的是，在该步骤205中，计算机设备也可以仅获取一个待检测的行为数据，本发明实施例对此不做限定。
206、对于该多个行为数据中的每个行为数据，将该行为数据输入特征提取模型，输出该行为数据的行为特征。
本发明实施例中，计算机设备可以利用特征提取模型，提取多个行为数据的行为特征。对于每个行为数据，如果该行为数据为正常行为数据，则通过该特征提取模型提取到的行为特征与各个正常行为数据的行为特征之间的距离较小，如小于或等于距离阈值；如果该行为数据为异常行为数据，则通过该特征提取模型提取到的行为特征与各个正常行为数据的行为特征之间的距离较大，如大于距离阈值。
207、根据该行为数据的行为特征与正常行为特征中心的距离和距离阈值，获取该行为数据的检测结果，该检测结果用于指示该行为数据是否为异常行为数据，该正常行为特征中心用于代表该特征空间范围内的行为特征。
本发明实施例中，计算机设备可以使用正常行为特征中心来代表特征空间范围内的行为特征，也即是，通过该特征提取模型提取到的多个正常行为数据的行为特征。
在一种可能实现方式中，该正常行为特征中心的获取过程可以包括：获取多个正常行为数据；对于该多个正常行为数据中的每个正常行为数据，将该正常行为数据输入该特征提取模型，输出该正常行为数据的行为特征；根据该多个正常行为数据的行为特征，获取该正常行为特征中心。
其中，该多个正常行为数据可以是正常行为数据集合中的多个正常行为数据。该多个正常行为数据的行为特征可以为多个特征向量，如128维的特征向量，计算机设备可以对该多个特征向量在每个维度计算平均值，将得到的特征向量作为该正常行为特征中心。
计算机设备可以分别计算多个行为数据的行为特征与正常行为特征中心的距离，该距离包括但不限于欧式距离、余弦距离和汉明距离。对于多个行为数据中的每个行为数据，当该行为数据的行为特征与该正常行为特征中心的距离大于距离阈值时，计算机设备可以确定该行为数据为异常行为数据，也即是，该行为数据的检测结果指示该行为数据为异常行为数据；当该行为数据的行为特征与该正常行为特征中心的距离小于或等于距离阈值时，计算机设备可以确定该行为数据为正常行为数据，也即是，该行为数据的检测结果指示该行为数据为正常行为数据。
需要说明的是，本发明实施例是以计算机设备获取一个正常行为特征中心，用该一个正常行为特征中心代表所有正常行为数据的行为特征为例进行说明，当然，计算机设备也可以获取多个正常行为特征中心，每个正常行为特征中心用于代表一类或多类正常行为数据的行为特征，这样对于多个行为数据中的每个行为数据，计算机设备可以分别计算该行为数据的行为特征与该多个正常行为特征中心的距离，然后采用预设判断算法，判断该行为数据是否为异常行为数据，从而得到该行为数据的检测结果。其中，预设判断算法包含但不限于KNN(K-Nearest Neighbor，最近邻算法)算法和聚类算法等。
208、根据该多个行为数据各自的检测结果，确定该多个行为数据中的异常行为数据。
本发明实施例中，计算机设备可以确定多个行为数据中检测结果为异常行为数据的行为数据。可选地，该多个行为数据的数量可以比较大，这样通过对大量行为数据进行测试，并结合简单的人工确认，可以收集到一批异常行为数据，用来扩充已有的异常行为数据集合。
在一种可能实现方式中，对于该多个行为数据中的异常行为数据，在播放该异常行为数据所属视频的过程中，计算机设备可以显示该异常行为数据所属视频的图像序列。
计算机设备可以在视频中突出显示图像序列，具体显示方式包含但不限于对目标的空间运动范围添加矩形框，也即是，将图像序列包含的区域以矩形框的形式标记出来。
该图像序列是一种时空立方图像序列，其包含的图像能够反映目标在时间和空间上的运动信息。通过在原始视频中突出显示时空立方的序列信息的方式，来显示异常行为检测结果，在显示异常行为检测结果的同时，还可以显示异常行为报警结果，如在添加的矩形框对应的区域内显示“异常”和“报警”文字提示信息。
通过显示异常行为检测结果，使得用户可以得知异常行为发生的起始时间、结束时间和空间位置，当任一视频的图像序列为异常行为数据时，可以将该视频中该图像序列包含的区域进行显示，则异常行为发生的起始时间和结束时间为该图像序列的起始时间和结束时间，也即是，该图像序列对应的多帧视频图像中第一帧视频图像和最后一帧视频图像在整个目标视频中的时间。该异常行为发生的空间位置为该图像序列包含的区域所指示的三维空间位置。这种采用时空立方的形式进行记录和显示，可以方便用户进行查看和管理。通过显示报警结果，便于用户进行确认，由于对整个视频的图像序列进行了记录，用户还可以查看报警时间附近的其他异常行为检测结果，以便进行更全面的关联。
本发明实施例使用行为时空立方的结构进行行为测试和分析展示，采用的行为时空立方分析方法，可以有效利用目标行为的信息，大量去除背景无关信息，可以缓解目标占比过小等问题，具有稳定的识别性能，也大幅降低了系统的空间资源消耗。本发明实施例采用的实时异常检测结果展示方法，可以突出长时间视频流中发生的异常行为，能够直观观测到异常行为并进行报警，提高了智能化水平。
209、将该多个行为数据中的异常行为数据添加至该异常行为数据集合中。
本发明实施例中，计算机设备通过步骤206至步骤208确定多个行为数据中的异常行为数据后，可以使用该多个行为数据中的异常行为数据来扩充异常行为数据集合。
步骤205至步骤208是获取多个行为数据，并利用特征提取模型，自动确定多个行为数据中的异常行为数据的过程，为了保证准确性，可以进一步由人工对检测结果进行确认，如果人工确认为异常行为数据，则计算机设备可以执行该步骤209。相应地，在一种可能实现方式中，计算机设备可以获取该多个行为数据中异常行为数据的人工确认信息；将该人工确认信息指示的异常行为数据添加至该异常行为数据集合中。
例如，计算机设备可以将异常行为数据的检测结果进行显示，获取对该检测结果的人工确认信息，如果人工确认信息指示为异常行为数据，则将其添加至异常行为数据集合中，从而实现对异常行为数据的扩充。
需要说明的是，本发明实施例是以扩充异常行为数据集合为例进行说明，可选地，计算机设备也可以扩充正常行为数据集合，例如，计算机设备在步骤208中除了确定多个行为数据中的异常行为数据以外，还可以确定多个行为数据中的正常行为数据，计算机设备可以将其添加至正常行为数据集合中，实现对正常行为数据集合的扩充。
210、执行步骤202至步骤204，获取更新的特征提取模型。
本发明实施例中，计算机设备通过步骤205至步骤209对异常行为数据进行扩充后，可以再次执行步骤202至步骤204(该特征提取模型的训练过程)，得到更新的特征提取模型。
计算机设备可以根据该正常行为数据集合和异常行为数据集合中新添加的异常行为数据(也即是步骤209中添加的异常行为数据)，组建新的第二行为数据对。例如，对于新添加的每个异常行为数据，可以将该异常行为数据与正常行为数据集合中的每个正常行为数据进行组合，得到新的第二行为数据对。计算机设备可以保留原有的多个第一行为数据对和多个第二行为数据对不变，获取新的第二行为数据对，从而达到扩充“正常-异常”行为数据对的目的。
需要说明的是，上述步骤208至步骤210为可选步骤。通过对大量的行为数据进行测试，对测试结果为异常行为数据的行为数据进行人工确认，可以使用人工确认后的异常行为数据扩充异常行为数据集合，扩充完成后，再次执行训练流程获得更新的特征提取模型。然后，计算机设备可以使用更新的特征提取模型对任一视频进行异常行为检测，可以获得更高的检测性能，可以检测出更丰富的异常行为。
需要说明的是，步骤205至步骤210是获取多个行为数据作为测试数据，收集异常行为数据，更新训练数据集，并更新特征提取模型的过程，该过程可以循环执行，每次执行可以更新异常行为数据集合(或正常行为数据集合和异常行为数据集合)，得到更新的特征提取模型，获得更佳的异常行为检测性能。
本发明实施例提供的特征提取模型是一种端到端的深度学习模型，其获取过程可以分为训练阶段(上述步骤201至步骤204)、部署阶段(上述步骤205至步骤207)和反馈更新阶段(上述步骤208至步骤210)。
参见图3，提供了一种特征提取模型的训练流程图，如图3所示，根据行为数据(或称为行为序列)，组建“正常-正常”行为数据对和“正常-异常”行为数据对，训练得到特征提取模型。参见图4，提供了一种异常行为检测的流程图，如图4所示，对测试行为数据(步骤205的多个行为数据中任一行为数据)进行行为特征提取，计算与正常行为特征中心的距离，根据距离进行异常行为判断，然后进行异常行为数据收集。参见图5，提供了一种异常行为检测的反馈更新流程图，如图5所示，使用初始训练数据集(步骤202的多个第一行为数据对和多个第二行为数据对)执行图3所示训练阶段的模型训练流程，使用海量测试数据(步骤205的多个行为数据)执行图4所示的部署阶段的异常行为检测流程，然后根据收集到的异常行为数据更新训练数据集，再执行图3所示的模型训练流程，得到更新的特征提取模型，利用更新的特征提取模型对新的测试数据执行图4所示的异常行为检测流程，获得更准确的检测性能。
通过根据正常行为数据和异常行为数据组建行为数据对，基于行为数据对训练得到特征提取模型，然后可以利用该特征提取模型，收集更多的异常行为数据，扩充“正常-异常”行为数据对，更新该特征提取模型。上述技术方案可以根据大量的正常行为数据和少量的异常行为数据，训练得到特征提取模型，再通过对大量的行为数据进行检测，收集到更多的异常行为数据，解决了现实场景中缺少异常行为数据的问题，基于更多的异常行为数据得到的特征提取模型具有更好的异常行为检测性能。
本发明实施例提供的方法，通过特征提取模型提取行为数据的行为特征，根据提取到的行为特征与正常行为中心的距离和距离阈值，确定行为数据是否为异常行为数据，由于特征提取模型是基于距离约束的方法训练得到，正常行为数据通过该特征提取模型提取的行为特征处于一个比较小的特征空间范围内，异常行为数据通过该特征提取模型提取的行为特征处于特征空间范围外，这样保证了正常行为特征比较紧凑，异常行为特征与正常行为特征存在明显的距离间距，由于学习到了正常行为和异常行为的区别，这种基于距离度量的异常行为检测方法，准确性较高。
图6是本发明实施例提供的一种异常事件检测装置的结构示意图。参照图6，该装置包括：
获取模块601，用于获取待检测的行为数据；
提取模块602，用于将该行为数据输入特征提取模型，输出该行为数据的行为特征，该特征提取模型用于根据正常行为数据输出特征空间范围内的行为特征以及根据异常行为数据输出该特征空间范围外的行为特征，该特征空间范围内各个行为特征之间的距离小于距离阈值；
该获取模块601还用于根据该行为数据的行为特征与正常行为特征中心的距离和该距离阈值，获取该行为数据的检测结果，该检测结果用于指示该行为数据是否为异常行为数据，该正常行为特征中心用于代表该特征空间范围内的行为特征。
在一种可能实现方式中，该获取模块601还用于：
根据正常行为数据集合和异常行为数据集合，获取多个第一行为数据对和多个第二行为数据对，每个第一行为数据对包含该正常行为数据集合中的两个正常行为数据，每个第二行为数据对包含该正常行为数据集合中的一个正常行为数据和该异常行为数据集合中的一个异常行为数据；
提取该多个第一行为数据对的多个第一行为特征对和该多个第二行为数据对的多个第二行为特征对，每个第一行为特征对包含两个正常行为数据的行为特征，每个第二行为特征对包含一个正常行为数据的行为特征和一个异常行为数据的行为特征；
根据该每个第一行为特征对包含的两个行为特征之间的距离和该每个第二行为特征对包含的两个行为特征之间的距离，通过损失函数监督训练，得到该特征提取模型。
在一种可能实现方式中，该获取模块601还用于：
基于多个第一视频，获取该正常行为数据集合，该多个第一视频为目标进行正常行为的视频；
基于多个第二视频，获取该异常行为数据集合，该多个第二视频为目标进行异常行为的视频。
在一种可能实现方式中，该获取模块601用于：
对于该多个第一视频中的每个第一视频，对该第一视频中的目标进行检测和跟踪，获取预设时间段内该目标的空间运动范围，该空间运动范围为该目标运动所覆盖的空间范围，该预设时间段小于该第一视频的时间段；
根据该空间运动范围和该第一视频，在该预设时间段对应的第一视频序列中进行图像截取，得到该第一视频的第一图像序列，该第一视频序列包含该第一视频的多帧视频图像，该第一图像序列包含该多帧视频图像中该空间运动范围对应的区域；
将该多个第一视频的第一图像序列作为该正常行为数据集合。
在一种可能实现方式中，该获取模块601用于：
对于该多个第二视频中的每个第二视频，对该第二视频中的目标进行检测和跟踪，获取预设时间段内该目标的空间运动范围，该空间运动范围为该目标运动所覆盖的空间范围，该预设时间段小于该第二视频的时间段；
根据该空间运动范围和该第二视频，在该预设时间段对应的第二视频序列中进行图像截取，得到该第二视频的第二图像序列，该第二视频序列包含该第二视频的多帧视频图像，该第二图像序列包含该多帧视频图像中该空间运动范围对应的区域；
将该多个第二视频的第二图像序列作为该异常行为数据集合。
在一种可能实现方式中，该待检测的行为数据为多个行为数据，
该获取模块601还用于根据该多个行为数据各自的检测结果，确定该多个行为数据中的异常行为数据；将该多个行为数据中的异常行为数据添加至该异常行为数据集合中；执行该特征提取模型的训练过程，获取更新的特征提取模型。
在一种可能实现方式中，该获取模块601用于获取该多个行为数据中异常行为数据的人工确认信息；将该人工确认信息指示的异常行为数据添加至该异常行为数据集合中。
在一种可能实现方式中，该获取模块601还用于：
获取多个视频；
对于该多个视频中的每个视频，对该视频中的目标进行检测和跟踪，获取预设时间段内该目标的空间运动范围，该空间运动范围为该目标运动所覆盖的空间范围，该预设时间段小于该视频的时间段；
根据该空间运动范围和该视频，在该预设时间段对应的视频序列中进行图像截取，得到该视频的图像序列，该视频序列包含该视频的多帧视频图像，该图像序列包含该多帧视频图像中该空间运动范围对应的区域；
将该多个视频的图像序列作为该多个行为数据。
在一种可能实现方式中，参见图7，该装置还包括：
显示模块603，用于对于该多个行为数据中的异常行为数据，在播放该异常行为数据所属视频的过程中，显示该异常行为数据所属视频的图像序列。
在一种可能实现方式中，该获取模块601用于：
当该行为数据的行为特征与该正常行为特征中心的距离大于该距离阈值时，确定该行为数据为异常行为数据；
当该行为数据的行为特征与该正常行为特征中心的距离小于或等于该距离阈值时，确定该行为数据为正常行为数据。
在一种可能实现方式中，该获取模块601还用于：
获取多个正常行为数据；
对于该多个正常行为数据中的每个正常行为数据，将该正常行为数据输入该特征提取模型，输出该正常行为数据的行为特征；
根据该多个正常行为数据的行为特征，获取该正常行为特征中心。
在一种可能实现方式中，该多个正常行为数据的行为特征为多个特征向量，
该获取模块601用于对该多个特征向量在每个维度计算平均值，将得到的特征向量作为该正常行为特征中心。
本发明实施例中，通过特征提取模型提取行为数据的行为特征，根据提取到的行为特征与正常行为中心的距离和距离阈值，确定行为数据是否为异常行为数据，由于特征提取模型是基于距离约束的方法训练得到，正常行为数据通过该特征提取模型提取的行为特征处于一个比较小的特征空间范围内，异常行为数据通过该特征提取模型提取的行为特征处于特征空间范围外，这样保证了正常行为特征比较紧凑，异常行为特征与正常行为特征存在明显的距离间距，由于学习到了正常行为和异常行为的区别，这种基于距离度量的异常行为检测方法，准确性较高。
需要说明的是：上述实施例提供的异常事件检测装置在异常事件检测时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的异常事件检测装置与异常事件检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图8是本发明实施例提供的一种计算机设备800的结构示意图，该计算机设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(CentralProcessing Units，CPU)801和一个或一个以上的存储器802，其中，该存储器802中存储有至少一条指令，该至少一条指令由该处理器801加载并执行以实现上述各个方法实施例提供的异常事件检测方法。当然，该计算机设备800还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备800还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种存储有至少一条指令的计算机可读存储介质，例如存储有至少一条指令的存储器，上述至少一条指令被处理器执行时实现上述实施例中的异常事件检测方法。例如，该计算机可读存储介质可以是只读内存(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-OnlyMemory，CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，上述程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
上述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (25)

1.一种异常行为检测方法，其特征在于，所述方法包括：
获取待检测的行为数据；
将所述行为数据输入特征提取模型，输出所述行为数据的行为特征，所述特征提取模型用于根据正常行为数据输出特征空间范围内的行为特征以及根据异常行为数据输出所述特征空间范围外的行为特征，所述特征空间范围内各个行为特征之间的距离小于距离阈值；
根据所述行为数据的行为特征与正常行为特征中心的距离和所述距离阈值，获取所述行为数据的检测结果，所述检测结果用于指示所述行为数据是否为异常行为数据，所述正常行为特征中心用于代表所述特征空间范围内的行为特征。
2.根据权利要求1所述的方法，其特征在于，所述特征提取模型的训练过程包括：
根据正常行为数据集合和异常行为数据集合，获取多个第一行为数据对和多个第二行为数据对，每个第一行为数据对包含所述正常行为数据集合中的两个正常行为数据，每个第二行为数据对包含所述正常行为数据集合中的一个正常行为数据和所述异常行为数据集合中的一个异常行为数据；
提取所述多个第一行为数据对的多个第一行为特征对和所述多个第二行为数据对的多个第二行为特征对，每个第一行为特征对包含两个正常行为数据的行为特征，每个第二行为特征对包含一个正常行为数据的行为特征和一个异常行为数据的行为特征；
根据所述每个第一行为特征对包含的两个行为特征之间的距离和所述每个第二行为特征对包含的两个行为特征之间的距离，通过损失函数监督训练，得到所述特征提取模型。
3.根据权利要求2所述的方法，其特征在于，所述根据正常行为数据集合和异常行为数据集合，获取多个第一行为数据对和多个第二行为数据对之前，所述方法还包括：
基于多个第一视频，获取所述正常行为数据集合，所述多个第一视频为目标进行正常行为的视频；
基于多个第二视频，获取所述异常行为数据集合，所述多个第二视频为目标进行异常行为的视频。
4.根据权利要求3所述的方法，其特征在于，所述基于多个第一视频，获取所述正常行为数据集合，包括：
对于所述多个第一视频中的每个第一视频，对所述第一视频中的目标进行检测和跟踪，获取预设时间段内所述目标的空间运动范围，所述空间运动范围为所述目标运动所覆盖的空间范围，所述预设时间段小于所述第一视频的时间段；
根据所述空间运动范围和所述第一视频，在所述预设时间段对应的第一视频序列中进行图像截取，得到所述第一视频的第一图像序列，所述第一视频序列包含所述第一视频的多帧视频图像，所述第一图像序列包含所述多帧视频图像中所述空间运动范围对应的区域；
将所述多个第一视频的第一图像序列作为所述正常行为数据集合。
5.根据权利要求3所述的方法，其特征在于，所述异常行为数据集合的获取过程包括：
对于所述多个第二视频中的每个第二视频，对所述第二视频中的目标进行检测和跟踪，获取预设时间段内所述目标的空间运动范围，所述空间运动范围为所述目标运动所覆盖的空间范围，所述预设时间段小于所述第二视频的时间段；
根据所述空间运动范围和所述第二视频，在所述预设时间段对应的第二视频序列中进行图像截取，得到所述第二视频的第二图像序列，所述第二视频序列包含所述第二视频的多帧视频图像，所述第二图像序列包含所述多帧视频图像中所述空间运动范围对应的区域；
将所述多个第二视频的第二图像序列作为所述异常行为数据集合。
6.根据权利要求2所述的方法，其特征在于，所述待检测的行为数据为多个行为数据，
所述根据所述行为数据的行为特征与正常行为特征中心的距离，获取所述行为数据的检测结果之后，所述方法还包括：
根据所述多个行为数据各自的检测结果，确定所述多个行为数据中的异常行为数据；
将所述多个行为数据中的异常行为数据添加至所述异常行为数据集合中；
执行所述特征提取模型的训练过程，获取更新的特征提取模型。
7.根据权利要求6所述的方法，其特征在于，所述将所述多个行为数据中的异常行为数据添加至所述异常行为数据集合，包括：
获取所述多个行为数据中异常行为数据的人工确认信息；
将所述人工确认信息指示的异常行为数据添加至所述异常行为数据集合中。
8.根据权利要求6所述的方法，其特征在于，所述方法还包括：
获取多个视频；
对于所述多个视频中的每个视频，对所述视频中的目标进行检测和跟踪，获取预设时间段内所述目标的空间运动范围，所述空间运动范围为所述目标运动所覆盖的空间范围，所述预设时间段小于所述视频的时间段；
根据所述空间运动范围和所述视频，在所述预设时间段对应的视频序列中进行图像截取，得到所述视频的图像序列，所述视频序列包含所述视频的多帧视频图像，所述图像序列包含所述多帧视频图像中所述空间运动范围对应的区域；
将所述多个视频的图像序列作为所述多个行为数据。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
对于所述多个行为数据中的异常行为数据，在播放所述异常行为数据所属视频的过程中，显示所述异常行为数据所属视频的图像序列。
10.根据权利要求1所述的方法，其特征在于，所述根据所述行为数据的行为特征与正常行为特征中心的距离和所述距离阈值，获取所述行为数据的检测结果，包括：
当所述行为数据的行为特征与所述正常行为特征中心的距离大于所述距离阈值时，确定所述行为数据为异常行为数据；
当所述行为数据的行为特征与所述正常行为特征中心的距离小于或等于所述距离阈值时，确定所述行为数据为正常行为数据。
11.根据权利要求1所述的方法，其特征在于，所述正常行为特征中心的获取过程包括：
获取多个正常行为数据；
对于所述多个正常行为数据中的每个正常行为数据，将所述正常行为数据输入所述特征提取模型，输出所述正常行为数据的行为特征；
根据所述多个正常行为数据的行为特征，获取所述正常行为特征中心。
12.根据权利要求11所述的方法，其特征在于，所述多个正常行为数据的行为特征为多个特征向量，
所述根据所述多个正常行为数据的行为特征，获取所述正常行为特征中心，包括：
对所述多个特征向量在每个维度计算平均值，将得到的特征向量作为所述正常行为特征中心。
13.一种异常行为检测装置，其特征在于，所述装置包括：
获取模块，用于获取待检测的行为数据；
提取模块，用于将所述行为数据输入特征提取模型，输出所述行为数据的行为特征，所述特征提取模型用于根据正常行为数据输出特征空间范围内的行为特征以及根据异常行为数据输出所述特征空间范围外的行为特征，所述特征空间范围内各个行为特征之间的距离小于距离阈值；
所述获取模块还用于根据所述行为数据的行为特征与正常行为特征中心的距离和所述距离阈值，获取所述行为数据的检测结果，所述检测结果用于指示所述行为数据是否为异常行为数据，所述正常行为特征中心用于代表所述特征空间范围内的行为特征。
14.根据权利要求13所述的装置，其特征在于，所述获取模块还用于：
根据正常行为数据集合和异常行为数据集合，获取多个第一行为数据对和多个第二行为数据对，每个第一行为数据对包含所述正常行为数据集合中的两个正常行为数据，每个第二行为数据对包含所述正常行为数据集合中的一个正常行为数据和所述异常行为数据集合中的一个异常行为数据；
提取所述多个第一行为数据对的多个第一行为特征对和所述多个第二行为数据对的多个第二行为特征对，每个第一行为特征对包含两个正常行为数据的行为特征，每个第二行为特征对包含一个正常行为数据的行为特征和一个异常行为数据的行为特征；
根据所述每个第一行为特征对包含的两个行为特征之间的距离和所述每个第二行为特征对包含的两个行为特征之间的距离，通过损失函数监督训练，得到所述特征提取模型。
15.根据权利要求14所述的装置，其特征在于，所述获取模块还用于：
基于多个第一视频，获取所述正常行为数据集合，所述多个第一视频为目标进行正常行为的视频；
基于多个第二视频，获取所述异常行为数据集合，所述多个第二视频为目标进行异常行为的视频。
16.根据权利要求15所述的装置，其特征在于，所述获取模块用于：
对于所述多个第一视频中的每个第一视频，对所述第一视频中的目标进行检测和跟踪，获取预设时间段内所述目标的空间运动范围，所述空间运动范围为所述目标运动所覆盖的空间范围，所述预设时间段小于所述第一视频的时间段；
根据所述空间运动范围和所述第一视频，在所述预设时间段对应的第一视频序列中进行图像截取，得到所述第一视频的第一图像序列，所述第一视频序列包含所述第一视频的多帧视频图像，所述第一图像序列包含所述多帧视频图像中所述空间运动范围对应的区域；
将所述多个第一视频的第一图像序列作为所述正常行为数据集合。
17.根据权利要求15所述的装置，其特征在于，所述获取模块用于：
对于所述多个第二视频中的每个第二视频，对所述第二视频中的目标进行检测和跟踪，获取预设时间段内所述目标的空间运动范围，所述空间运动范围为所述目标运动所覆盖的空间范围，所述预设时间段小于所述第二视频的时间段；
根据所述空间运动范围和所述第二视频，在所述预设时间段对应的第二视频序列中进行图像截取，得到所述第二视频的第二图像序列，所述第二视频序列包含所述第二视频的多帧视频图像，所述第二图像序列包含所述多帧视频图像中所述空间运动范围对应的区域；
将所述多个第二视频的第二图像序列作为所述异常行为数据集合。
18.根据权利要求14所述的装置，其特征在于，所述待检测的行为数据为多个行为数据，
所述获取模块还用于根据所述多个行为数据各自的检测结果，确定所述多个行为数据中的异常行为数据；将所述多个行为数据中的异常行为数据添加至所述异常行为数据集合中；执行所述特征提取模型的训练过程，获取更新的特征提取模型。
19.根据权利要求18所述的装置，其特征在于，所述获取模块用于获取所述多个行为数据中异常行为数据的人工确认信息；将所述人工确认信息指示的异常行为数据添加至所述异常行为数据集合中。
20.根据权利要求18所述的装置，其特征在于，所述获取模块还用于：
获取多个视频；
对于所述多个视频中的每个视频，对所述视频中的目标进行检测和跟踪，获取预设时间段内所述目标的空间运动范围，所述空间运动范围为所述目标运动所覆盖的空间范围，所述预设时间段小于所述视频的时间段；
根据所述空间运动范围和所述视频，在所述预设时间段对应的视频序列中进行图像截取，得到所述视频的图像序列，所述视频序列包含所述视频的多帧视频图像，所述图像序列包含所述多帧视频图像中所述空间运动范围对应的区域；
将所述多个视频的图像序列作为所述多个行为数据。
21.根据权利要求20所述的装置，其特征在于，所述装置还包括：
显示模块，用于对于所述多个行为数据中的异常行为数据，在播放所述异常行为数据所属视频的过程中，显示所述异常行为数据所属视频的图像序列。
22.根据权利要求13所述的装置，其特征在于，所述获取模块用于：
当所述行为数据的行为特征与所述正常行为特征中心的距离大于所述距离阈值时，确定所述行为数据为异常行为数据；
当所述行为数据的行为特征与所述正常行为特征中心的距离小于或等于所述距离阈值时，确定所述行为数据为正常行为数据。
23.根据权利要求13所述的装置，其特征在于，所述获取模块还用于：
获取多个正常行为数据；
对于所述多个正常行为数据中的每个正常行为数据，将所述正常行为数据输入所述特征提取模型，输出所述正常行为数据的行为特征；
根据所述多个正常行为数据的行为特征，获取所述正常行为特征中心。
24.根据权利要求23所述的装置，其特征在于，所述多个正常行为数据的行为特征为多个特征向量，
所述获取模块用于对所述多个特征向量在每个维度计算平均值，将得到的特征向量作为所述正常行为特征中心。
25.一种计算机设备，其特征在于，包括处理器和存储器；所述存储器，用于存放至少一条指令；所述处理器，用于执行所述存储器上所存放的至少一条指令，实现权利要求1-12任一项所述的方法步骤。
CN201811581954.0A 2018-12-24 2018-12-24 异常行为检测方法及装置 Active CN111353352B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811581954.0A CN111353352B (zh) 2018-12-24 2018-12-24 异常行为检测方法及装置
PCT/CN2019/127797 WO2020135392A1 (zh) 2018-12-24 2019-12-24 异常行为检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811581954.0A CN111353352B (zh) 2018-12-24 2018-12-24 异常行为检测方法及装置

Publications (2)

Publication Number Publication Date
CN111353352A true CN111353352A (zh) 2020-06-30
CN111353352B CN111353352B (zh) 2023-05-09

Family

ID=71127632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811581954.0A Active CN111353352B (zh) 2018-12-24 2018-12-24 异常行为检测方法及装置

Country Status (2)

Country Link
CN (1) CN111353352B (zh)
WO (1) WO2020135392A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113295635A (zh) * 2021-05-27 2021-08-24 河北先河环保科技股份有限公司 一种基于动态更新数据集的水质污染报警方法
CN113989324A (zh) * 2021-10-12 2022-01-28 中国农业大学 鱼类异常行为检测与跟踪方法、装置、电子设备、及介质
CN115454033A (zh) * 2022-09-27 2022-12-09 上海交通大学 一种燃气轮机控制系统未知故障检测方法及系统
CN115690658A (zh) * 2022-11-04 2023-02-03 四川大学 一种融合先验知识的半监督视频异常行为检测方法
CN116049755A (zh) * 2023-03-15 2023-05-02 阿里巴巴（中国）有限公司 时间序列的检测方法、电子设备及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950363B (zh) * 2020-07-07 2022-11-29 中国科学院大学 一种基于开放数据过滤和域适应的视频异常检测方法
CN111860429B (zh) * 2020-07-30 2024-02-13 科大讯飞股份有限公司 高炉风口异常检测方法、装置、电子设备和存储介质
CN112115769A (zh) * 2020-08-05 2020-12-22 西安交通大学 一种基于视频的无监督稀疏人群异常行为检测算法
CN112686114A (zh) * 2020-12-23 2021-04-20 杭州海康威视数字技术股份有限公司 一种行为检测方法、装置及设备
CN112966589A (zh) * 2021-03-03 2021-06-15 中润油联天下网络科技有限公司 一种在危险区域的行为识别方法
CN113673342A (zh) * 2021-07-19 2021-11-19 浙江大华技术股份有限公司 行为检测方法、电子装置和存储介质
CN116049818B (zh) * 2023-02-21 2024-03-01 天翼安全科技有限公司 用于数字化在线业务的大数据异常分析方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571914A (zh) * 2008-04-28 2009-11-04 株式会社日立制作所 异常行为检测装置
WO2013177586A1 (en) * 2012-05-25 2013-11-28 The Johns Hopkins University An integrated real-time tracking system for normal and anomaly tracking and the methods therefor
US20140003710A1 (en) * 2012-06-29 2014-01-02 Behavioral Recognition Systems, Inc. Unsupervised learning of feature anomalies for a video surveillance system
CN103761748A (zh) * 2013-12-31 2014-04-30 北京邮电大学 异常行为检测方法和装置
CN105184818A (zh) * 2015-09-06 2015-12-23 山东华宇航天空间技术有限公司 一种视频监控异常行为检测方法及其检测系统
CN105787472A (zh) * 2016-03-28 2016-07-20 电子科技大学 一种基于时空拉普拉斯特征映射学习的异常行为检测方法
CN106101116A (zh) * 2016-06-29 2016-11-09 东北大学 一种基于主成分分析的用户行为异常检测系统及方法
CN107590427A (zh) * 2017-05-25 2018-01-16 杭州电子科技大学 基于时空兴趣点降噪的监控视频异常事件检测方法
CN107766823A (zh) * 2017-10-25 2018-03-06 中国科学技术大学 基于关键区域特征学习的视频中异常行为检测方法
CN108462708A (zh) * 2018-03-16 2018-08-28 西安电子科技大学 一种基于hdp-hmm的行为序列的建模和检测方法
CN108737410A (zh) * 2018-05-14 2018-11-02 辽宁大学 一种基于特征关联的有限知工业通信协议异常行为检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108809745A (zh) * 2017-05-02 2018-11-13 中国移动通信集团重庆有限公司 一种用户异常行为检测方法、装置及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571914A (zh) * 2008-04-28 2009-11-04 株式会社日立制作所 异常行为检测装置
WO2013177586A1 (en) * 2012-05-25 2013-11-28 The Johns Hopkins University An integrated real-time tracking system for normal and anomaly tracking and the methods therefor
US20160132754A1 (en) * 2012-05-25 2016-05-12 The Johns Hopkins University Integrated real-time tracking system for normal and anomaly tracking and the methods therefor
US20140003710A1 (en) * 2012-06-29 2014-01-02 Behavioral Recognition Systems, Inc. Unsupervised learning of feature anomalies for a video surveillance system
CN103761748A (zh) * 2013-12-31 2014-04-30 北京邮电大学 异常行为检测方法和装置
CN105184818A (zh) * 2015-09-06 2015-12-23 山东华宇航天空间技术有限公司 一种视频监控异常行为检测方法及其检测系统
CN105787472A (zh) * 2016-03-28 2016-07-20 电子科技大学 一种基于时空拉普拉斯特征映射学习的异常行为检测方法
CN106101116A (zh) * 2016-06-29 2016-11-09 东北大学 一种基于主成分分析的用户行为异常检测系统及方法
CN107590427A (zh) * 2017-05-25 2018-01-16 杭州电子科技大学 基于时空兴趣点降噪的监控视频异常事件检测方法
CN107766823A (zh) * 2017-10-25 2018-03-06 中国科学技术大学 基于关键区域特征学习的视频中异常行为检测方法
CN108462708A (zh) * 2018-03-16 2018-08-28 西安电子科技大学 一种基于hdp-hmm的行为序列的建模和检测方法
CN108737410A (zh) * 2018-05-14 2018-11-02 辽宁大学 一种基于特征关联的有限知工业通信协议异常行为检测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113295635A (zh) * 2021-05-27 2021-08-24 河北先河环保科技股份有限公司 一种基于动态更新数据集的水质污染报警方法
CN113989324A (zh) * 2021-10-12 2022-01-28 中国农业大学 鱼类异常行为检测与跟踪方法、装置、电子设备、及介质
CN115454033A (zh) * 2022-09-27 2022-12-09 上海交通大学 一种燃气轮机控制系统未知故障检测方法及系统
CN115690658A (zh) * 2022-11-04 2023-02-03 四川大学 一种融合先验知识的半监督视频异常行为检测方法
CN115690658B (zh) * 2022-11-04 2023-08-08 四川大学 一种融合先验知识的半监督视频异常行为检测方法
CN116049755A (zh) * 2023-03-15 2023-05-02 阿里巴巴（中国）有限公司 时间序列的检测方法、电子设备及存储介质

Also Published As

Publication number Publication date
WO2020135392A1 (zh) 2020-07-02
CN111353352B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN111353352A (zh) 异常行为检测方法及装置
JP5487298B2 (ja) ３次元画像生成
CN110807385A (zh) 目标检测方法、装置、电子设备及存储介质
CN109284760B (zh) 一种基于深度卷积神经网络的家具检测方法及装置
CN109376689B (zh) 人群分析方法及装置
WO2022152009A1 (zh) 目标检测方法、装置、设备以及存储介质
CN113822254B (zh) 一种模型训练方法及相关装置
CN113238972B (zh) 一种图像检测方法、装置、设备及存储介质
CN106780551B (zh) 一种三维运动目标检测方法和系统
CN110245609A (zh) 行人轨迹生成方法、装置及可读存储介质
CN111260628A (zh) 基于视频图像的大型苗圃苗木数量统计方法及电子设备
CN112712051B (zh) 对象跟踪方法、装置、计算机设备及存储介质
CN102314591B (zh) 静止前景物体的检测方法和设备
CN112989932A (zh) 基于改进原型网络的少样本森林火灾烟雾识别方法及装置
Guo et al. Deep network with spatial and channel attention for person re-identification
CN114140663A (zh) 一种基于多尺度注意力学习网络的害虫识别方法及系统
CN116958267B (zh) 位姿处理方法、装置、电子设备及存储介质
CN113408332A (zh) 视频分镜方法、装置、设备及计算机可读存储介质
CN117557901A (zh) 一种田间小目标作物的检测模型及构建方法
CN115565253B (zh) 一种动态手势实时识别方法、装置、电子设备和存储介质
CN108133234B (zh) 基于稀疏子集选择算法的社区检测方法、装置及设备
CN105956595A (zh) 图像特征提取方法及系统
CN116912582A (zh) 一种基于表征模型的强鲁棒性高光谱目标检测方法
CN116523957A (zh) 一种多目标跟踪方法、系统、电子设备及存储介质
CN116958724A (zh) 一种产品分类模型的训练方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant