CN104268594B - 一种视频异常事件检测方法及装置 - Google Patents

一种视频异常事件检测方法及装置 Download PDF

Info

Publication number
CN104268594B
CN104268594B CN201410493959.3A CN201410493959A CN104268594B CN 104268594 B CN104268594 B CN 104268594B CN 201410493959 A CN201410493959 A CN 201410493959A CN 104268594 B CN104268594 B CN 104268594B
Authority
CN
China
Prior art keywords
dictionary
detected
video stream
reconstruction
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410493959.3A
Other languages
English (en)
Other versions
CN104268594A (zh
Inventor
田永鸿
陈峥莹
王耀威
黄铁军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
China Security and Fire Technology Co Ltd
Original Assignee
Peking University
China Security and Fire Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University, China Security and Fire Technology Co Ltd filed Critical Peking University
Priority to CN201410493959.3A priority Critical patent/CN104268594B/zh
Publication of CN104268594A publication Critical patent/CN104268594A/zh
Application granted granted Critical
Publication of CN104268594B publication Critical patent/CN104268594B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种视频异常事件检测方法和装置，所述方法包括：提取包含多帧图像的待检测视频流的高层次表示信息，该高层次表示信息中包含所述待检测视频流的时空信息；通过预置的字典，计算用所述字典中的最少数目的基表征所述待检测视频流的高层次表示信息时的重构系数；根据所述重构系数计算重构代价值；当所述重构代价值大于预设阈值时，确定所述待检测视频流中存在异常事件；当所述重构代价值小于或等于预设阈值时，确定所述待检测视频流中不存在异常事件。本发明提供的方法特征表达能力强，能够很好的描述异常事件，提高视频异常事件检测的效率和准确性。

Description

一种视频异常事件检测方法及装置
技术领域
本发明涉及视频分析领域，尤其涉及一种视频异常事件检测方法及装置。
背景技术
随着视频监控设备的日益普及和人们对安防工作的日益重视，对于监控视频的分析，尤其是对视频中异常事件的自动检测的需求越来越迫切。现有技术中主要通过以下两种方法进行视频异常事件的检测：
基于目标轨迹的检测方法：需要先进行目标的检测和跟踪，获取目标的运动轨迹，然后将目标的运动轨迹和预定义的异常事件类型进行匹配，判断目标是否异常。
基于局部的低层次表示的检测方法：该方法中，不需要进行目标的检测和跟踪，需要预定义一些表示正常的低层次表示(low-level representation)，和表示异常的低层次表示。该低层次表示例如边缘、角、点，一般为根据经验手工设计的特征。用该这些预定义的低层次表示进行事件的描述以便于进行异常事件检测。例如提取待检测视频中的低层次表示信息，然后用预定义的低层次表示描述该信息，当用表示异常的低层次表示描述该信息时则确定检测出异常事件。
然而，上述基于目标轨迹的检测方法具有很大的局限性：该方法进行异常检测的结果很大程度上依赖于跟踪获得的运动轨迹，但轨迹跟踪技术仍然不够成熟，不能提供可靠准确的运动轨迹信息；另外，需要根据目标的特征检测出目标，而目标的特征对噪声和遮掩十分敏感，若在拥挤场景下，这一方法因目标受遮掩，而影响准确和快速的确定目标；因此，该方法进行异常事件检测的效率和准确性较低。
基于局部的低层次表示的检测方法虽然适用于拥挤场景下的异常事件检测，因其预定义的低层次表示需要手工设计，造成特征描述存在着精度不够、表达能力不够强等问题，因此该方法难以很好地描述视频中的异常事件，导致异常事件检测的效率和准确性较低。
发明内容
本发明的目的是提供一种视频异常事件检测方法和装置，以克服相关技术中视频异常事件检测的效率和准确性较低的问题。
本发明提供一种视频异常事件检测方法，包括：
提取包含多帧图像的待检测视频流的高层次表示信息，该高层次表示(high-level representation)信息中包含所述待检测视频流的时空信息(spatial-temporalinformation)，所述时空信息表示所述待检测视频流中的每帧图像的纹理特征信息以及所述纹理特征信息之间的时序关系；
通过预置的字典，计算用所述字典中的最少数目的基表征所述待检测视频流的高层次表示信息时的重构系数，所述字典根据以下方式建立并不断更新：将不存在异常事件的视频流作为训练样本，对所述训练样本的每帧图像进行卷积编码，提取每帧图像的纹理特征，然后基于所述训练样本中每帧图像的时序关系，对提取的纹理特征进行时空建模，获取所述训练样本的高层次表示信息，其中，所述训练样本的高层次表示信息中包含所述训练样本的所有的正常特征，去除所述训练样本的高层次表示信息中的冗余的正常特征后生成字典，其中，所述字典中的每一个正常特征为一个基；
根据所述重构系数计算重构代价值；
当所述重构代价值大于预设阈值时，确定所述待检测视频流中存在异常事件。
所述去除所述训练样本的高层次表示信息中的冗余的正常特征后生成字典包括：
由训练样本的高层次表示信息构成一个特征池，对所述特征池进行优化，获得基的数量小于第一预设阈值，且重构误差小于第二预设阈值的字典。
本发明实施例中经过字典优化，可以获得一个能够表达训练样本的最小尺寸的字典。
所述字典中的每一个基对应一个权重系数，其中，根据权重公式确定所述权重系数的初始值，所述权重公式为：
其中所述
其中，所述表示字典中第i基的初始权重系数；所述表示所述字典中每个基对应系数的累加和；所述Xi 0表示初始选择向量的第i维；所述β0表示由组成的矩阵；所述||β0||1表示取L1范数；所述||Xi 0||2表示取L2范数。
所述通过预置的字典，计算用所述字典中的最少数目的基表征所述待检测视频流的高层次表示信息时的重构系数，包括：
通过预置的字典，根据重构系数求解公式计算用所述字典中的最少数目的基，表征所述待检测视频流的高层次表示信息时的重构系数；
其中，所述重构系数求解公式为：
其中，x*表示重构系数；y表示所述待检测视频流的包含时空信息描述的高层次表示；所述Φ表示所述字典；所述W表示所述权重系数构成的矩阵，x表示权重向量；λ表示惩罚系数。
所述方法还包括：
当确定所述待检测视频流中不存在异常事件时，根据所述待检测视频流的重构系数和权重系数更新公式更新目标基的权重系数，其中，所述目标基为按照从大到小的顺序排列，排列靠前的前K个权重系数对应的基；
其中权重系数更新公式为：
其中，
其中，所述表示第i个基第t+1次迭代后的权重系数；所述表示用所述字典表征所述待检测视频流时，第i个基对应的重构系数值；所述t表示第t次迭代；所述t+1表示第t+1次迭代，所述βt+1表示由构成的矩阵；所述X表示选择向量；所述Xi表示选择向量X中的第i个选择向量。
本发明实施例中通过更新字典中的基的权重系数可以使字典不断更新，提高字典的表达能力，从而提高检测异常事件的准确性。
本发明还提供一种视频异常事件检测装置，所述装置包括：
高层次表示提取模块，用于提取包含多帧图像的待检测视频流的高层次表示信息，该高层次表示信息中包含所述待检测视频流的时空信息，所述时空信息表示所述待检测视频流中的每帧图像的纹理特征信息以及所述纹理特征信息之间的时序关系；
重构系数计算模块，用于通过预置的字典，计算用所述字典中的最少数目的基表征所述待检测视频流的高层次表示信息时的重构系数，所述字典根据以下方式建立并不断更新：将不存在异常事件的视频流作为训练样本，对所述训练样本的每帧图像进行卷积编码，提取每帧图像的纹理特征，然后基于所述训练样本中每帧图像的时序关系，对提取的纹理特征进行时空建模，获取所述训练样本的高层次表示信息，其中，所述训练样本的高层次表示信息中包含所述训练样本的所有的正常特征，去除所述训练样本的高层次表示信息中的冗余的正常特征后生成字典，其中，所述字典中的每一个正常特征为一个基；
重构代价值计算模块，用于根据所述重构系数计算重构代价值；
判定模块，用于当所述重构代价值大于预设阈值时，确定所述待检测视频流中存在异常事件。
所述装置还包括：
字典优化模块，用于由训练样本的高层次表示信息构成一个特征池，对所述特征池进行优化，获得基的数量小于第一预设阈值，且重构误差小于第二预设阈值的字典。
所述字典中的每一个基对应一个权重系数，其中，根据权重公式确定所述权重系数的初始值，所述权重公式为：
其中所述
其中，所述表示字典中第i基的初始权重系数；所述表示所述字典中每个基对应系数的累加和；所述Xi 0表示初始选择向量的第i维；所述β0表示由组成的矩阵；所述||β0||1表示取L1范数；所述||Xi 0||2表示取L2范数。
所述重构系数计算模块用于通过预置的字典，根据重构系数求解公式计算用所述字典中的最少数目的基，表征所述待检测视频流的高层次表示信息时的重构系数；
其中，所述重构系数求解公式为：
其中，x*表示重构系数；y表示所述待检测视频流的包含时空信息描述的高层次表示；所述Φ表示所述字典；所述W表示所述权重系数构成的矩阵，x表示权重向量；λ表示惩罚系数。
所述装置还包括：
更新模块，用于当确定所述待检测视频流中不存在异常事件时，根据所述待检测视频流的重构系数和权重系数更新公式更新目标基的权重系数，其中，所述目标基为按照从大到小的顺序排列，排列靠前的前K个权重系数对应的基；
其中权重系数更新公式为：
其中，
其中，所述表示第i个基第t+1次迭代后的权重系数；所述表示用所述字典表征所述待检测视频流时，第i个基对应的重构系数值；所述t表示第t次迭代；所述t+1表示第t+1次迭代，所述βt+1表示由构成的矩阵；所述X表示选择向量；所述Xi表示选择向量X中的第i个选择向量。
本发明至少具有以下有益效果：通过提取训练样本的高层次表示信息，该高层次表示信息中描述了训练样本的时空信息；在异常事件检测阶段，通过基于高层次表示信息建立的字典，计算重构代价值，将重构代价值大于预设阈值的待检测视频流确定为包含异常事件的视频流。由此可见，由于高层次表示信息中包含了时空信息，使得本发明实施例中获得的高层次表示信息，相对于现有技术的低层次表示表达能力强，能够很好的描述异常事件。从而，通过本发明实施例提供的方法能够提高视频异常事件检测的效率和准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
图1为本发明实施例中视频异常事件检测模型的示意图；
图2为本发明实施例中视频异常事件检测方法的示例性流程图；
图3为本发明实施例中条件受限玻尔兹曼机的示意图；
图4为本发明实施例中定义的基结构的示意图；
图5为本发明实施例中视频异常事件检测装置的示意图；
图6为本发明实施例中视频异常事件检测装置的另一示意图。
具体实施方式
以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
人类视觉皮层接收场所具有的特性使得人眼能够稀疏地捕获自然场景中的关键信息。换句话说，视觉系统只耗费了最少数量的神经元来感知信息。基于这一发现，稀疏表示理论通过将事件的特征提取出来组成一个字典，该字典中含有基作为表征特征的基本单元(可以理解为神经元)。进行检测时，是利用字典中的基(可以理解为激活的神经元)来表征待检测的样本。这个重构的过程，可以通过求解重构系数来完成。
本发明实施例基于稀疏重构理论，提供一种视频异常事件检测方法及装置，本发明实施例提供的视频异常事件检测方法的模型，如图1所示：在特征提取阶段，将正常视频流(即不存在异常事件的视频流)作为训练样本，通过卷积自编码器和CRBM(ConditionalRestricted Boltzmann Machines,条件受限玻尔兹曼机)提取训练样本的高层次表示(high-level representation)信息，例如人脸识别中的鼻子特征、眼睛特征，该高层次表示信息中描述了训练样本的时空信息(spatial-temporal information)，该时空信息用于检测时序上的异常事件和/或空间上的异常事件，该时序上的异常事件例如通过多帧图像辨别出正在行走的人摔倒，空间上的异常事件如在一帧图像中辨别出机动车占据了人行道；在字典选择阶段，将获得的包含时空信息描述的高层次表示信息作为一个特征池，对该特征池进行优化，获得一个能够表达训练样本的最小尺寸的字典，并为字典中的基引入对应的权重系数；在异常事件检测阶段，结合权重系数计算重构系数，并通过重构系数计算重构代价值，将重构代价值大于预设阈值的待检测视频流确定为包含异常事件的视频流；此外，在确定待检测视频流为正常事件时，还可以自动更新字典中的基的权重系数，使得字典能够不断的优化。由此可见，本发明实施例中获得的高层次表示信息，相对于现有技术的低层次表示信息表达能力强，能够很好的描述异常事件。从而，通过本发明实施例提供的方法能够提高视频异常事件检测的效率和准确性。下面对本发明实施例中视频异常事件检测方法进行详细说明。
实施例一
如图2所示，为本发明实施例中视频异常事件检测方法的示例性流程图，该方法包括以下步骤：
步骤201：提取包含多帧图像的待检测视频流的高层次表示信息，该高层次表示信息中包含待检测视频流的时空信息，时空信息表示待检测视频流中的每帧图像的纹理特征信息以及纹理特征信息之间的时序关系。
步骤202：通过预置的字典，计算用字典中的最少数目的基表征待检测视频流的高层次表示信息时的重构系数。
字典根据以下方式建立并不断更新：将不存在异常事件的视频流作为训练样本，对训练样本的每帧图像进行卷积编码，提取每帧图像的纹理特征，然后基于训练样本中每帧图像的时序关系，对提取的纹理特征进行时空建模，获取训练样本的高层次表示信息。其中，训练样本的高层次表示信息中包含训练样本的所有的正常特征，去除训练样本的高层次表示信息中的冗余的正常特征后生成字典。其中，字典中的每一个正常特征为一个基。
其中，在一个实施例中，步骤202中的训练样本即包括初始阶段生成字典时所使用的训练样本，也可以包括在模型生成后进行异常检测阶段中确定的用于更新字典的视频流，该用于更新字典的视频流可以为确定为正常事件的视频流。
步骤203：根据重构系数计算重构代价值。
步骤204：当重构代价值大于预设阈值时，确定待检测视频流中存在异常事件。
其中，在一个实施例中，当重构代价值小于或等于预设阈值时，确定待检测视频流中不存在异常事件。
上述步骤201-204说明了本发明实施例中进行视频异常事件检测的模型如何进行异常事件检测的，下面对本发明实施例中进行视频异常事件检测的模型的其他方面详细说明：在该模型中，建立字典需要两个阶段，一是特征提取阶段，二是字典优化选择阶段；当建立字典后，可以为字典中的每个基引入一个权重系数，并在检测阶段，结合权重系数计算待检测视频流的重构系数；此外，该模型中当确定待检测视频流为正常事件时，还可以更新字典的基的权重系数。以下，对该模型的各个部分进行详细说明。
一、特征提取阶段：
该阶段主要完成对训练样本的高层次表示的提取，包括以下步骤A1-A2：
步骤A1：将不存在异常事件的视频流数据作为训练样本，并将训练样本输入给卷积自编码器；针对每一个训练样本，通过卷积自编码器进行降维处理得到训练样本的纹理特征；并按照在训练样本中的时间先后顺序，将降维处理后的结果输入给CRBM。
其中，在一个实施例中，将训练样本中每一帧图像预先划分为预设数量的特征图。例如将9*9像素点的图像，划分为3*3像素点的9块区域，每一区域为一个特征图。
其中，在一个实施例中，可以通过贪婪逐层训练的方法训练卷积自编码器；其中，在训练的过程中，可以使用反向传播算法来进行最优化的求解，即求解卷积自编码器的模型参数。
步骤A2：CRBM根据步骤A1中的降维处理后的结果进行学习，以获得训练样本的高层次表示信息，训练样本的高层次表示信息中包含了训练样本的时空信息。
其中，经过步骤A2即实现对训练样本的纹理特征进行时空建模。
下面对特征提取进行详细说明：
其中，在步骤A1中；
卷积自编码器是一种深度学习技术，本发明实施例中的卷积自编码器是通过使用全卷积操作实现对训练样本的自编码，在解码部分通过使用有效卷积操作。本发明实施例中的卷积自编码器可以包含输入层、隐含层和输出层：输入层用于引入训练样本；隐含层用于对输入层的数据进行降维处理，以便于能够得到训练样本的纹理特征；输出层用于得到最终的纹理特征并可用于对训练样本的重构。卷积自编码器使得输入的图像，在经过卷积自编码器降维处理后能够重构，并且重构的图像等同于输入的图像。
其中，在编码部分使用全卷积操作，记为在解码部分使用有效卷积操作，记为*。其输入和重构输出关系为：
在公式(1)中，hj表示第j个特征图；σ表示sigmoid函数(神经元的非线性作用函数)；x表示输入；Wj表示编码阶段第j个特征图的卷积核参数；bj表示编码阶段第j个特征图的偏置值。
在公式(2)中，表示重构输出；σ表示sigmoid函数；hj为第j个特征图；Vj表示解码阶段对应第j个特征图的卷积核参数；c表示输出图像的偏置值。
其中，在一个实施例中，根据上述公式(1)和(2)可以得到卷积自编码器的损失函数如公式(3)所示，该损失函数用于描述输入和重构输出之间的误差，损失函数越小代表误差越小，重构得到的图像与原始输入图像越相近：
其中，在公式(3)中，L(θ)表示损失代价；θ表示自编码器的模型参数；N表示训练样本的数量；xn表示第n个训练样本；表示第n个训练样本的重构输出。
其中，在一个实施例中，卷积自编码器中还可以包括次采样层，次采样层通过采样操作实现局部的变换不变性。它是一种特殊的卷积层，由于其卷积操作(用表示)时感受野没有重叠，所以能实现降采样的功能。较佳的，可以使用均值次采样方法，即计算局部感受野内像素值的平均值实现降采样，如公式(4)所示：
在公式(4)中，si表示第i个训练样本的局部感受野内像素值的平均值；k表示感受野尺寸；xi表示第i个训练样本；1(k)代表k×k的全一矩阵。
其中，在步骤A2中：
在一个实施例中，通过训练来调整CRBM的模型参数，使之能够输出包含时空信息描述的高层次表示。
CRBM是RBM(Restricted Boltzmann Machines,受限玻尔兹曼机)中的一种。RBM是一种两向的无向图模型。在该模型中，包括可视层单元和隐含层单元，并且限制单元之间的连接只存在于不同层的单元之间，相同层的单元之间则不存在连接。在可视层单元和隐含层单元之间使用不同的条件分布假设，便可以获得不同的RBM模型。加入隐式信息后的RBM被称为CRBM。
其中，在一个实施例中，CRBM的网络结构可以如图3所示：图中描述的是2阶的CRBM，其中阶数可以视应用情况而改变，本发明对此不做限定。
在图3所示的CRBM的网络中包含了两类有向的连接：
(1)如标号1所示，从过去n个时刻的可视层单元指向当前可视层单元，可看作一种自回归(autoregressive)形式的连接。
(2)如标号2所示，从过去时刻的可视层单元指向当前隐含层单元，说明历史信息还可以通过隐含层影响动态模型。
在图3所示的CRBM的模型中，给定t,t-1,...,t-n时刻的数据，其t时刻的隐含层单元仍然是条件独立的，这说明增加了有向连接后的条件受限玻尔兹曼机并没有增加其推断和学习的复杂性。其中，在一个实施例中，可以使用对比散度算法来训练CRBM。需要说明的是任何可以用于训练CRBM的现有方法均适用于本发明实施例，本发明对此不做限定。
二、字典优化选择阶段：
该阶段用于生产字典，具体可执行为：由所有训练样本的高层次表示信息构成一个特征池，对特征池进行优化，获得基的数量小于第一预设阈值，且重构误差小于第二预设阈值的字典。
由此可见，经过字典优化选择阶段，可以获得一个能够表达训练样本的最小尺寸的字典。
其中，在一个实施例中，该阶段可以具体通过以下过程实现：执行步骤A2，获得的特征池，可以记为B＝[b1,b2,…,bk]∈Rm×k，其中bi∈Rm为一个训练样本的特征，k表示训练样本的数目，R表示维度。由于该特征池中包含了冗余的特征和噪声，需要从B中选择出一个尺寸最小的最优子集，可以记为B′∈Rm×n(n＜k)。由该子集组成字典，使得该字典能够使本发明实施例提供的异常事件检测模型更具有鲁棒性，并且能够提高稀疏重构时的计算效率。
可以通过求解以下优化问题，求得最优子集B′，该优化问题如公式(5)所示：
其中，在公式(5)中：B表示特征池；X表示选择向量；λ1表示惩罚系数(penalty)。其中，表示取F范数的平方，代表重构误差，即选择出的最优子集B′与特征池B之间的差异程度。F表示取F范数，||X||1代表稀疏正则化，以便于使解X具有稀疏特性。
为使求得的解X具有稀疏一致性，即使得解X中包含更多元素为“0”的行，可以引入“组稀疏”(group sparsity)的限制，将上述优化问题改为如公式(6)所示的优化问题：
其中，在公式(6)中：B表示特征池；X表示选择向量；λ1表示惩罚系数。其中，在公式(6)中，||X||2,1定义为如公式(7)所示：
其中，在公式(7)中，X表示选择向量；||X||2表示取L2范数。
通过根据公式(6)和(7)得到解X后，便可以获得最优子集B′：即为X中非0行所对应的特征的集合，并将该最优子集作为字典。
其中，在一个实施例中，可以用一个m×m的单位阵对得到的字典进行扩展，即字典Φ＝[B′,Im×m]∈Rm×D，其中m为特征的维度，D＝n+m，Rm×D表示构成一个m行D列的矩阵。这样的扩展可以使字典适应视频中可能会发生的形变或者非预期情况等，从而提高模型的鲁棒性。
其中，在一个实施例中，可以先限定重构误差为小于第二预设阈值中的一固定值，根据该限定条件，通过上述公式(7)求解得到X，当通过X得到的最优子集B′中基的个数小于预设的第一阈值时，则确定该B′为最终的字典。否则，可以继续调整重构误差的值，重复求得字典，直至最终得到的字典的基的数量小于第一预设阈值，且重构误差小于第二预设阈值为止。
当然，需要说明的是，还可以采用其他的方法达到优化特征池获得字典的目的，本发明对此不做限定。
其中，在一个实施例中，为了处理不同场景下发生的局部异常事件(Localabnormal events,LAE)和全局异常事件(Global abnormal events,GAE)，本发明实施例还定义了不同的基结构，以便于根据不同的场景和异常事件选择不同的基结构来构建模型。如图4所示，图中的每一个小方块代表一个单元，其中基结构的一个单元对应于训练样本中每一帧图像的预先划分的一块区域。例如，需要检测与空间纹理相关的异常事件时(如非机动车道出现机动车)，可以选择图4中标记为(a)所示的基结构，该基结构中每一个单元按照其对应在训练样本的图像中的空间位置关系排列；需要检测与时间序列相关的异常事件时(如异常的动作序列)，可以选择图4中标记为(b)所示的基结构，该基结构中每一个单元按照其对应在训练样本的时序关系排列。若需要同时检测与空间和时间信息相关的异常事件，可以选择图4中标记为(c)所示的基结构，该基结构中不同单元间之间的空间位置关系和时序关系，与各单元在训练样本对应的区域在训练样本中空间位置关系和时序位置关系对应。
其中在一个实施例中，训练样本的每一帧可以切分为若干块，每一块对应一个单元，可以将对应每个单元训练得到的高层次表示按照基结构进行拼接，便可以得到一个用于稀疏表达的基特征。
三、结合权重系数计算重构系数
其中，在一个实施例中，字典中的每一个基对应一个权重系数，权重系数的初始值可以根据权重系数公式确定，其中，权重公式，如公式(8)所示：
其中
其中，表示字典中第i基的初始权重系数；表示字典中每个基对应系数的累加和；Xi 0表示初始选择向量的第i维；β0表示由组成的矩阵；||β0||1表示取L1范数；||Xi 0||2表示取L2范数。
当字典中的基具有权重系数时，步骤202计算重构系数的步骤可以执行为：通过预置的字典，根据重构系数求解公式计算用字典中的最少数目的基，表征待检测视频流的高层次表示信息时的重构系数；
其中，重构系数求解公式如公式(9)所示：
其中，x*表示重构系数；y表示待检测视频流的包含时空信息描述的高层次表示；Φ表示字典；W表示权重系数构成的矩阵，x表示权重向量；λ表示惩罚系数。
根据公式(9)求得重构系数之后，可以进一步根据公式(10)求得重构代价值：
其中，在公式(10)中，Sw表示重构代价值；y表示待检测视频流的包含时空信息描述的高层层次表示；Φ表示字典；x*表示重构系数；λ表示惩罚系数；W表示权重系数矩阵。
四、权重系数更新
其中，在一个实施例中，当确定待检测视频流中不存在异常事件时，即确定待检测视频流为正常事件时，还可以根据该待检测视频流的重构系数更新字典中的基的权重系数，该方法包括：根据待检测视频流的重构系数和权重系数更新公式更新目标基的权重系数，其中，目标基为按照从大到小的顺序排列，取前K个权重系数对应的基；
其中权重系数更新公式，如公式(11)所示：
其中，
其中，表示第i个基第t+1次迭代后的权重系数；表示用字典表征待检测视频流时，第i个基对应的重构系数值；t表示第t次迭代；t+1表示第t+1次迭代，βt+1表示由构成的矩阵；X表示选择向量；Xi表示选择向量X中的第i个选择向量。
其中，在一个实施例中，基的权重系数的自我更新可以遵循以下规则：
(1)更新时间：当待检测视频流判定为正常事件，即确定待检测视频流的重构系数大于预设阈值时进行更新。
(2)更新对象：按照从大到小的顺序，将重构系数排序靠前的K个值所对应的基的权重系数进行更新；当然，也可以更新所有的基的权重系数，本发明对此不做限定。其中K可以是预先设定的固定的值，例如5，也可以根据场景因素动态确定，该因素例如是需要检测的异常类型，对计算速度的要求等等。其中，K值越大更新后的字典越能够准确的进行重构，使得用字典检测视频异常事件越准确。
(3)更新方式：通过权重系数更新公式进行更新。
通过更新字典中的基的权重系数可以使字典不断更新，提高字典的表达能力，从而提高检测异常事件的准确性。
综上，本发明实施例中通过卷积自编码器和条件受限玻尔兹曼机的级联，能够获得高层次表示信息，相对于现有技术的低层次表示表达能力强，能够很好的描述异常事件。从而，通过本发明实施例提供的方法能够提高视频异常事件检测的效率和准确性。
基于相同的构思，本发明实施例中还提供一种视频异常事件检测装置，如图5所示，为该装置的示意图，该装置包括：
高层次表示提取模块501，用于提取包含多帧图像的待检测视频流的高层次表示信息，该高层次表示信息中包含待检测视频流的时空信息，时空信息表示待检测视频流中的每帧图像的纹理特征信息以及纹理特征信息之间的时序关系。
重构系数计算模块502，用于通过预置的字典，计算用字典中的最少数目的基表征待检测视频流的高层次表示信息时的重构系数。字典根据以下方式建立并不断更新：将不存在异常事件的视频流作为训练样本，对训练样本的每帧图像进行卷积编码，提取每帧图像的纹理特征，然后基于训练样本中每帧图像的时序关系，对提取的纹理特征进行时空建模，获取训练样本的高层次表示信息，其中，训练样本的高层次表示信息中包含训练样本的所有的正常特征，去除训练样本的高层次表示信息中的冗余的正常特征后生成字典，其中，字典中的每一个正常特征为一个基。
重构代价值计算模块503，用于根据重构系数计算重构代价值。
判定模块504，用于当重构代价值大于预设阈值时，确定待检测视频流中存在异常事件。
其中，在一个实施例中，如图6所示，该装置还包括：
字典优化模块505，用于由训练样本的高层次表示信息构成一个特征池，对特征池进行优化，获得基的数量小于第一预设阈值，且重构误差小于第二预设阈值的字典。
其中，在一个实施例中，字典中的每一个基对应一个权重系数，其中，根据权重公式确定权重系数的初始值，权重公式为：
其中
其中，表示字典中第i基的初始权重系数；表示字典中每个基对应系数的累加和；Xi 0表示初始选择向量的第i维；β0表示由组成的矩阵；||β0||1表示取L1范数；||Xi 0||2表示取L2范数。
其中，在一个实施例中，重构系数计算模块502用于通过预置的字典，根据重构系数求解公式计算用字典中的最少数目的基，表征待检测视频流的高层次表示信息时的重构系数；
其中，重构系数求解公式为：
其中，x*表示重构系数；y表示待检测视频流的包含时空信息描述的高层次表示；Φ表示字典；W表示权重系数构成的矩阵，x表示权重向量；λ表示惩罚系数。
其中，在一个实施例中，如图6所示，该装置还包括：
更新模块506，用于当确定待检测视频流中不存在异常事件时，根据待检测视频流的重构系数和权重系数更新公式更新目标基的权重系数，其中，目标基为按照从大到小的顺序排列，排列靠前的前K个权重系数对应的基；
其中权重系数更新公式为：
其中，
其中，表示第i个基第t+1次迭代后的权重系数；表示用字典表征待检测视频流时，第i个基对应的重构系数值；t表示第t次迭代；t+1表示第t+1次迭代，βt+1表示由构成的矩阵；X表示选择向量；Xi表示选择向量X中的第i个选择向量。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种视频异常事件检测方法，其特征在于，所述方法包括：
提取包含多帧图像的待检测视频流的高层次表示信息，该高层次表示信息中包含所述待检测视频流的时空信息，所述时空信息表示所述待检测视频流中的每帧图像的纹理特征信息以及所述纹理特征信息之间的时序关系；
通过预置的字典，计算用所述字典中的最少数目的基表征所述待检测视频流的高层次表示信息时的重构系数，所述字典根据以下方式建立并不断更新：将不存在异常事件的视频流作为训练样本，利用卷积自编码器对所述训练样本的每帧图像进行降维处理，提取每帧图像的纹理特征，然后基于所述训练样本中每帧图像的时序关系，对提取的纹理特征进行时空建模，获取所述训练样本的高层次表示信息，其中，所述训练样本的高层次表示信息中包含所述训练样本的所有的正常特征；由所述训练样本的高层次表示信息构成一个特征池，对所述特征池进行优化，获得基的数量小于第一预设阈值，且重构误差小于第二预设阈值的字典，其中，所述字典中的每一个正常特征为一个基；
根据所述重构系数计算重构代价值；
当所述重构代价值大于预设阈值时，确定所述待检测视频流中存在异常事件。
2.根据权利要求1所述的方法，其特征在于，所述字典中的每一个基对应一个权重系数，其中，根据权重公式确定所述权重系数的初始值，所述权重公式为：
其中所述
其中，所述表示字典中第i基的初始权重系数；所述表示所述字典中每个基对应系数的累加和；所述Xi 0表示初始选择向量的第i维；所述β0表示由组成的矩阵；所述||β0||1表示取L1范数；所述||Xi 0||2表示取L2范数。
3.根据权利要求2所述的方法，其特征在于，所述通过预置的字典，计算用所述字典中的最少数目的基表征所述待检测视频流的高层次表示信息时的重构系数，包括：
通过预置的字典，根据重构系数求解公式计算用所述字典中的最少数目的基，表征所述待检测视频流的高层次表示信息时的重构系数；
其中，所述重构系数求解公式为：
<mrow> <msup> <mi>x</mi> <mo>*</mo> </msup> <mo>=</mo> <munder> <mrow> <mi>arg</mi> <mi>min</mi> </mrow> <mi>x</mi> </munder> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mo>|</mo> <mo>|</mo> <mi>y</mi> <mo>-</mo> <mi>&amp;Phi;</mi> <mi>x</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>|</mo> <mo>|</mo> <mi>W</mi> <mi>x</mi> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> </mrow>
其中，x*表示重构系数；y表示所述待检测视频流的包含时空信息描述的高层次表示；所述Φ表示所述字典；所述W表示所述权重系数构成的矩阵，x表示权重向量；λ表示惩罚系数。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
当确定所述待检测视频流中不存在异常事件时，根据所述待检测视频流的重构系数和权重系数更新公式更新目标基的权重系数，其中，所述目标基为按照从大到小的顺序排列，排列靠前的前K个权重系数对应的基；
其中权重系数更新公式为：
其中，
其中，所述表示第i个基第t+1次迭代后的权重系数；所述表示用所述字典表征所述待检测视频流时，第i个基对应的重构系数值；所述t表示第t次迭代；所述t+1表示第t+1次迭代，所述βt+1表示由构成的矩阵；所述X表示选择向量；所述Xi表示选择向量X中的第i个选择向量。
5.一种视频异常事件检测装置，其特征在于，所述装置包括：
高层次表示提取模块，用于提取包含多帧图像的待检测视频流的高层次表示信息，该高层次表示信息中包含所述待检测视频流的时空信息，所述时空信息表示所述待检测视频流中的每帧图像的纹理特征信息以及所述纹理特征信息之间的时序关系；
重构系数计算模块，用于通过预置的字典，计算用所述字典中的最少数目的基表征所述待检测视频流的高层次表示信息时的重构系数，所述字典根据以下方式建立并不断更新：将不存在异常事件的视频流作为训练样本，利用卷积自编码器对所述训练样本的每帧图像进行降维处理，提取每帧图像的纹理特征，然后基于所述训练样本中每帧图像的时序关系，对提取的纹理特征进行时空建模，获取所述训练样本的高层次表示信息，其中，所述训练样本的高层次表示信息中包含所述训练样本的所有的正常特征，去除所述训练样本的高层次表示信息中的冗余的正常特征后生成字典，其中，所述字典中的每一个正常特征为一个基；
重构代价值计算模块，用于根据所述重构系数计算重构代价值；
判定模块，用于当所述重构代价值大于预设阈值时，确定所述待检测视频流中存在异常事件；
其中，所述装置还包括：
字典优化模块，用于由训练样本的高层次表示信息构成一个特征池，对所述特征池进行优化，获得基的数量小于第一预设阈值，且重构误差小于第二预设阈值的字典。
6.根据权利要求5所述的装置，其特征在于，所述字典中的每一个基对应一个权重系数，其中，根据权重公式确定所述权重系数的初始值，所述权重公式为：
其中所述
其中，所述表示字典中第i基的初始权重系数；所述表示所述字典中每个基对应系数的累加和；所述Xi 0表示初始选择向量的第i维；所述β0表示由组成的矩阵；所述||β0||1表示取L1范数；所述||Xi 0||2表示取L2范数。
7.根据权利要求6所述的装置，其特征在于，所述重构系数计算模块用于通过预置的字典，根据重构系数求解公式计算用所述字典中的最少数目的基，表征所述待检测视频流的高层次表示信息时的重构系数；
其中，所述重构系数求解公式为：
<mrow> <msup> <mi>x</mi> <mo>*</mo> </msup> <mo>=</mo> <munder> <mrow> <mi>arg</mi> <mi>min</mi> </mrow> <mi>x</mi> </munder> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mo>|</mo> <mo>|</mo> <mi>y</mi> <mo>-</mo> <mi>&amp;Phi;</mi> <mi>x</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>|</mo> <mo>|</mo> <mi>W</mi> <mi>x</mi> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> </mrow>
其中，x*表示重构系数；y表示所述待检测视频流的包含时空信息描述的高层次表示；所述Φ表示所述字典；所述W表示所述权重系数构成的矩阵，x表示权重向量；λ表示惩罚系数。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
更新模块，用于当确定所述待检测视频流中不存在异常事件时，根据所述待检测视频流的重构系数和权重系数更新公式更新目标基的权重系数，其中，所述目标基为按照从大到小的顺序排列，排列靠前的前K个权重系数对应的基；
其中权重系数更新公式为：
其中，
其中，所述表示第i个基第t+1次迭代后的权重系数；所述表示用所述字典表征所述待检测视频流时，第i个基对应的重构系数值；所述t表示第t次迭代；所述t+1表示第t+1次迭代，所述βt+1表示由构成的矩阵；所述X表示选择向量；所述Xi表示选择向量X中的第i个选择向量。
CN201410493959.3A 2014-09-24 2014-09-24 一种视频异常事件检测方法及装置 Expired - Fee Related CN104268594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410493959.3A CN104268594B (zh) 2014-09-24 2014-09-24 一种视频异常事件检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410493959.3A CN104268594B (zh) 2014-09-24 2014-09-24 一种视频异常事件检测方法及装置

Publications (2)

Publication Number Publication Date
CN104268594A CN104268594A (zh) 2015-01-07
CN104268594B true CN104268594B (zh) 2017-12-19

Family

ID=52160114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410493959.3A Expired - Fee Related CN104268594B (zh) 2014-09-24 2014-09-24 一种视频异常事件检测方法及装置

Country Status (1)

Country Link
CN (1) CN104268594B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033014A (zh) * 2019-01-08 2019-07-19 阿里巴巴集团控股有限公司 异常数据的检测方法及其系统

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616023A (zh) * 2015-02-06 2015-05-13 安徽大学 一种物体轮廓检测识别系统及轮廓识别方法
CN106033548B (zh) * 2015-03-13 2021-04-20 中国科学院西安光学精密机械研究所 基于改进字典学习的拥挤人群异常检测方法
CN104794504B (zh) * 2015-04-28 2018-05-22 浙江大学 基于深度学习的图形图案文字检测方法
CN105279485B (zh) * 2015-10-12 2018-12-07 江苏精湛光电仪器股份有限公司 激光夜视下监控目标异常行为的检测方法
CN105354590B (zh) * 2015-10-20 2018-11-27 东方浩联（北京）智能科技有限公司 一种矿车车体载矿区域的检测方法
EP3244344A1 (en) * 2016-05-13 2017-11-15 DOS Group S.A. Ground object tracking system
CN107423306B (zh) * 2016-05-24 2021-01-29 华为技术有限公司 一种图像检索方法及装置
CN106778571B (zh) * 2016-12-05 2020-03-27 天津大学 一种基于深度神经网络的数字视频特征提取方法
CN108268993A (zh) * 2017-01-04 2018-07-10 阿里巴巴集团控股有限公司 基于自编码神经网络的电子业务风险识别方法和装置
CN108509827B (zh) * 2017-02-27 2022-07-08 阿里巴巴集团控股有限公司 视频流中异常内容的识别方法及视频流处理系统和方法
CN107103614B (zh) * 2017-04-12 2019-10-08 合肥工业大学 基于层次独立成分编码的运动异常检测方法
CN107506695A (zh) * 2017-07-28 2017-12-22 武汉理工大学 视频监控设备故障自动检测方法
CN108460320A (zh) * 2017-12-19 2018-08-28 杭州海康威视数字技术股份有限公司 基于改进单元分析的监控视频异常事件检测方法
CN108846844B (zh) * 2018-04-13 2022-02-08 上海大学 一种基于海天线的海面目标检测方法
CN109040747B (zh) * 2018-08-06 2019-11-19 上海交通大学 基于卷积自编码器的立体图像舒适度质量评价方法及系统
CN109495437B (zh) * 2018-08-28 2020-12-08 西安电子科技大学 一种利用在线机器学习算法的工业控制系统中网络异常探测方法
CN109214570A (zh) * 2018-09-03 2019-01-15 安徽优思天成智能科技有限公司 一种基于深度时空修正模型的城市区域尾气污染预测方法
CN109543403B (zh) * 2018-11-30 2020-09-29 网御安全技术（深圳）有限公司 一种系统调用行为序列降维方法、系统、装置及存储介质
CN109902564B (zh) * 2019-01-17 2021-04-06 杭州电子科技大学 一种基于结构相似性稀疏自编码网络的异常事件检测方法
CN109948424A (zh) * 2019-01-22 2019-06-28 四川大学 一种基于加速度运动特征描述子的群体异常行为检测方法
CN110263807A (zh) * 2019-05-13 2019-09-20 杭州安恒信息技术股份有限公司 基于auto-encoder的异常行为检测方法
CN110766056B (zh) * 2019-09-27 2022-05-06 中山大学 一种融合图像生成和多标签分类的异常图像检测方法
CN113836976A (zh) * 2020-06-23 2021-12-24 江苏翼视智能科技有限公司 一种监控视频中全局异常事件的检测方法
CN114007132B (zh) * 2020-07-28 2024-09-13 中国电信股份有限公司 异常检测方法、装置及计算机可读存储介质
CN112202630A (zh) * 2020-09-16 2021-01-08 中盈优创资讯科技有限公司 一种基于无监督模型的网路质量异常检测方法及装置
CN112257760B (zh) * 2020-09-30 2022-06-03 北京航空航天大学 一种基于时序模体的主机网络通信行为异常检测方法
CN114640608B (zh) * 2022-04-01 2024-07-12 上海商汤智能科技有限公司 测试方法及装置、电子设备及计算机可读存储介质
CN118124602B (zh) * 2024-05-06 2024-07-26 广汽埃安新能源汽车股份有限公司 车辆的行人防撞预警方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164270A (zh) * 2011-01-24 2011-08-24 浙江工业大学 具有异常事件发掘功能的智能视频监控方法及系统
CN102938058A (zh) * 2012-11-14 2013-02-20 南京航空航天大学 面向平安城市的视频主动智能感知方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060067562A1 (en) * 2004-09-30 2006-03-30 The Regents Of The University Of California Detection of moving objects in a video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164270A (zh) * 2011-01-24 2011-08-24 浙江工业大学 具有异常事件发掘功能的智能视频监控方法及系统
CN102938058A (zh) * 2012-11-14 2013-02-20 南京航空航天大学 面向平安城市的视频主动智能感知方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Sparse Reconstruction Cost for Abnormal Event Detection;Yang Cong1 et.al;《2011 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》;20110625;第3449-3456页 *
拥挤场景下视频异常事件检测技术研究;独大为;《中国优秀硕士学位论文全文库》;20140115(第1期);第1、6-7、11、17、24-26、30-31、38-41、46-47、51-52页 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033014A (zh) * 2019-01-08 2019-07-19 阿里巴巴集团控股有限公司 异常数据的检测方法及其系统

Also Published As

Publication number Publication date
CN104268594A (zh) 2015-01-07

Similar Documents

Publication Publication Date Title
CN104268594B (zh) 一种视频异常事件检测方法及装置
CN108805015B (zh) 加权卷积自编码长短期记忆网络人群异常检测方法
CN108256562B (zh) 基于弱监督时空级联神经网络的显著目标检测方法及系统
CN106709461B (zh) 基于视频的行为识别方法及装置
US10699151B2 (en) System and method for performing saliency detection using deep active contours
CN113657560B (zh) 基于节点分类的弱监督图像语义分割方法及系统
WO2019136591A1 (zh) 基于弱监督时空级联神经网络的显著目标检测方法及系统
Pizzati et al. Enhanced free space detection in multiple lanes based on single CNN with scene identification
CN113158862A (zh) 一种基于多任务的轻量级实时人脸检测方法
Zeng et al. LEARD-Net: Semantic segmentation for large-scale point cloud scene
CN111462191B (zh) 一种基于深度学习的非局部滤波器无监督光流估计方法
Dimokranitou Adversarial autoencoders for anomalous event detection in images
CN111382686B (zh) 一种基于半监督生成对抗网络的车道线检测方法
CN112464851A (zh) 一种基于视觉感知的智能电网异物入侵检测方法及系统
CN111368634B (zh) 基于神经网络的人头检测方法、系统及存储介质
CN111738074B (zh) 基于弱监督学习的行人属性识别方法、系统及装置
CN113111716A (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
Guan et al. Abnormal behavior recognition using 3D-CNN combined with LSTM
Cao et al. Learning spatial-temporal representation for smoke vehicle detection
Marmanis et al. Deep neural networks for above-ground detection in very high spatial resolution digital elevation models
CN117079095A (zh) 基于深度学习的高空抛物检测方法、系统、介质和设备
Anees et al. Deep learning framework for density estimation of crowd videos
Sun et al. A three-dimensional human motion pose recognition algorithm based on graph convolutional networks
CN117710841A (zh) 一种无人机航拍图像的小目标检测方法、装置
CN115019342B (zh) 一种基于类关系推理的濒危动物目标检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171219

Termination date: 20200924