CN112329614A - 一种异常事件检测方法及系统 - Google Patents

一种异常事件检测方法及系统 Download PDF

Info

Publication number
CN112329614A
CN112329614A CN202011214351.4A CN202011214351A CN112329614A CN 112329614 A CN112329614 A CN 112329614A CN 202011214351 A CN202011214351 A CN 202011214351A CN 112329614 A CN112329614 A CN 112329614A
Authority
CN
China
Prior art keywords
abnormal
classifier
normal
training set
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011214351.4A
Other languages
English (en)
Inventor
宗欣露
张璐
王春枝
叶志伟
刘伟
陈宏伟
徐慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN202011214351.4A priority Critical patent/CN112329614A/zh
Publication of CN112329614A publication Critical patent/CN112329614A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种异常事件检测方法及系统，涉及计算机视觉技术领域。该方法包括：分别提取正常训练集和异常训练集的特征数据；利用特征数据分别对基于SVDD的分类器进行训练和测试，得到正常分类器和异常分类器，并通过一定的分类决策规则将两个分类器相结合，构成联合分类器；根据提取的测试集的特征数据，通过联合分类器判断是否存在异常事件。本发明采用基于运动能量熵和支持向量数据描述的方法构建异常事件检测模型，通过引入一种新的特征来提高异常事件的表征能力，通过使用两个半监督模型的联合模型克服单一半监督模型的固有缺陷，提高了异常事件检测模型的检测性能。

Description

一种异常事件检测方法及系统
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种异常事件检测方法及系统。
背景技术
异常事件检测就是检测视频中的异常事件。在现实世界中有许多不同模式的异常事件，如人群四散奔逃、人群拥塞和人行道上出现机动车等。异常事件检测是智能视频监控系统中的一个研究热点，它可以用于检测广场、火车站、地铁站和学校等群体密度较大的公共场合中是否发生异常事件，并根据检测结果选择是否向管理员发送警报。异常事件检测有利于相关人员及时发现险情，为发现和控制险情争取宝贵的时间，减小险情扩散范围，控制后果的严重性进一步扩大，保障广大人民的生命财产安全。
异常事件检测的原理是利用计算机视觉技术从视频序列中提取出能够表征异常事件的特征，然后利用提取到的特征训练出一个能够区分正常事件和异常事件的分类器。由于异常事件检测模型的检测结果只有正常和异常两种情况，所以检测给定事件是否为异常事件的过程可看成是对给定事件进行分类的过程。异常事件检测可以看作是异常检测的一个子集，它的关注范围不像异常检测那样广泛。异常事件检测主要是检测视频中是否存在由某个群体或个人的异常行为所引起的异常事件。
目前，异常事件检测模型的构建主要包括两个阶段：一，特征提取；二，分类器构建。特征提取是指从给定的视频序列中提取能够表征异常事件的特征，它是整个检测算法的基石，对分类器的检测效果有显著影响；分类器构建是指根据提取到的特征构建能够检测异常事件的分类器，是整个检测方法的核心部分，分类器构建以前面提取到的特征作为输入，通过机器学习的方法训练模型，使分类器具有良好的分辨正常事件与异常事件的能力。根据对训练集的要求不同，检测模型可以分为三类：监督模型、半监督模型和无监督模型。其中，半监督模型是最为常见的模型。
最常用的特征有光流、外形和轨迹，这些特征能够很好地表征大部分的异常事件，但考虑到选取的特征直接影响检测模型的效果，所以选择提取特征时应该要考虑更加全面。半监督模型一直深受研究人员的青睐，它只需要一种类型的数据作为训练集，通常选择正常类型的数据作为训练集，因为在很多情况下异常类型数据非常稀缺。虽然半监督模型在异常事件检测领域的表现一直不错，但其固有的缺陷仍然对检测精度有着很大的影响，因为现实生活中的正常事件模式是无法量化的，一个有限的训练集无法包含所有可能的正常事件，这就会导致半监督模型出现误检。
发明内容
本发明的目的是提供一种异常事件检测方法，以提高异常事件检测模型的检测精度。
为实现上述目的，本发明提供了如下方案：
一种异常事件检测方法，包括：
对样本视频进行分帧处理，得到正常训练集、异常训练集；所述正常训练集包括包含正常事件的样本视频帧；所述异常训练集包括包含异常事件的样本视频帧；
分别提取所述正常训练集和所述异常训练集的特征数据；
利用所述正常训练集的特征数据和所述异常训练集的特征数据分别对基于支持向量数据描述方法的分类器进行训练，得到两个具有分类能力的子分类器，其中一个子分类器是通过正常训练集训练得到，记为正常分类器，另一个子分类器是通过异常训练集训练得到，记为异常分类器；
将所述的正常分类器和异常分类器通过一定的分类决策规则结合在一起，构成联合分类器，该联合分类器作为分类器构建阶段所训练得到的用于判断是否存在异常事件的分类器；
获取待检测视频作为测试集，要求该测试集中的视频帧与正常训练集和异常训练集中的视频帧没有交集；
提取所述测试集的特征数据；
根据所述测试集的特征数据，利用所述联合分类器得到分类结果，该分类结果即为最终的检测结果，作为判断测试数据中是否存在异常事件的依据；
可选的，所述分别提取所述正常训练集、所述异常训练集和所述测试集的特征数据，具体包括：
对所述正常训练集、所述异常训练集和所述测试集中的每个视频帧使用一个固定大小的滑动窗口，在视频帧的空间域滑动，当滑动窗口在视频帧上滑动完毕时，视频帧将被划分为若干个与滑动窗口大小相同的局部块；
特征数据提取单元，用于使用固定大小的滑动窗口将视频帧划分为若干个局部块，然后通过下式分别提取所述正常训练集、所述异常训练集和所述测试集的视频帧局部块的运动能量熵；视频帧中所有局部块的运动能量熵构成该视频帧的特征数据；
Figure BDA0002759860910000031
式中，E表示运动能量熵，Q表示视频帧的局部块中的像素总数，pq表示第q个像素的速度在该视频帧中出现的概率。
可选的，所述利用所述正常训练集的特征数据和所述异常训练集的特征数据分别对基于支持向量数据描述方法的分类器进行训练，分别得到正常分类器和异常分类器，具体包括：
利用所述正常训练集的特征数据对基于支持向量数据描述方法的分类器进行训练，得到正常分类器；
利用所述异常训练集的特征数据对基于支持向量数据描述方法的分类器进行训练，得到异常分类器。
可选的，将所述正常分类器和异常分类器通过一定的规则进行结合，得到联合分类器，称正常分类器的分类结果为正常分类器结果，称异常分类器的分类结果为异常分类器结果，称联合分类器的分类结果为最终检测结果，具体包括：当所述正常分类器结果为正常，且所述异常分类器结果也为正常时，则最终检测结果为正常，所述待检测视频帧不存在异常事件；
当所述正常分类器结果为异常，且所述异常分类器结果也为异常时，则最终检测结果为异常，所述待检测视频帧存在异常事件；
可选的，当所述正常分类器结果为正常，且所述异常分类器结果为异常，或当所述正常分类器结果为异常，且所述异常分类器结果为正常时，最终检测结果将由另外的决策规则决定，具体包括：
当所述正常分类器结果与所述异常分类器结果不一致时，计算所述待检测视频帧的特征数据与所述正常分类器所对应的超球体球心之间的距离，记为正常距离，以及计算所述待检测视频帧的特征数据与所述异常分类器所对应的超球体球心之间的距离，记为异常距离；
通过比较所述的正常距离和异常距离的大小，得到最终检测结果；
若正常距离小于异常距离，说明待检测视频帧是正常事件的可能性较大，则最终检测结果为正常，所述待检测视频帧不存在异常事件；
若正常距离大于异常距离，说明待检测视频帧是异常事件的可能性较大，则最终检测结果为异常，所述待检测视频帧存在异常事件。
一种异常事件检测系统，包括：
异常事件检测模型训练模块，用于获取训练集和特征数据，训练分类器，具体包括：
训练集确定模块，用于对样本视频序列进行分帧处理，得到正常训练集、异常训练集；所述正常训练集包括包含正常事件的样本视频帧；所述异常训练集包括包含异常事件的样本视频帧；
特征数据提取模块，用于分别提取所述正常训练集和所述异常训练集的特征数据；
训练分类器模块，用于利用所述正常训练集的特征数据和所述异常训练集的特征数据分别对基于支持向量数据描述方法的分类器进行训练，分别得到正常分类器和异常分类器，通过一定的分类决策规则，将正常分类器和异常分类器结合，得到联合分类器；
异常事件检测模型测试模块，用于获取测试集，对检测模型进行测试，具体包括：
测试集获取模块，用于获取测试检测模型的视频序列；
特征提取模块，用于提取测试集的特征数据；
检测结果确定模块，用于根据所述测试集的特征数据，利用所述联合分类器得到最终的检测结果。
可选的，所述特征数据提取模块，具体包括：
特征数据提取单元，用于通过下式分别提取所述正常训练集、所述异常训练集和所述测试集的运动能量熵；视频帧中所有局部块的运动能量熵构成该视频帧的特征数据；
Figure BDA0002759860910000051
式中，E表示运动能量熵，Q表示视频帧局部块中的像素总数，pq表示第q个像素的速度在样本视频帧中出现的概率。
可选的，所述训练分类器模块，具体包括：
正常分类器训练单元，用于利用所述正常训练集的特征数据对基于支持向量数据描述方法的分类器进行训练，得到正常分类器；
异常分类器训练单元，用于利用所述异常训练集的特征数据对基于支持向量数据描述方法的分类器进行训练，得到异常分类器。
可选的，所述异常事件确定模块，具体包括：
第一判断单元，用于当正常分类器的分类结果和异常分类器的分类结果都是正常时，则联合分类器的检测结果为正常，所述待检测视频帧中不存在异常事件；
第二判断单元，用于当正常分类器的分类结果和异常分类器的分类结果都是异常时，则联合分类器的检测结果为异常，所述待检测视频帧中存在异常事件；
可选的，所述异常事件确定模块，还包括：
当正常分类器的分类结果和异常分类器的分类结果不一致时，分别计算所述待检测视频帧的特征数据与正常分类器所对应的超球体球心之间的距离，记为正常距离，以及所述待检测视频帧的特征数据与所述异常分类器所对应的超球体球心之间的距离，记为异常距离；
第三判断单元，用于当正常距离小于异常距离时，则联合分类器给出的检测结果为正常，所述待检测视频帧中不存在异常事件；
第四判断单元，用于当正常距离大于异常距离时，则联合分类器给出的检测结果为异常，所述待检测视频帧中存在异常事件。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种异常事件检测方法及系统。该方法包括：对样本视频序列进行分帧处理，得到正常训练集和异常训练集；正常训练集包括包含正常事件的样本视频帧；异常训练集包括包含异常事件的样本视频帧；分别提取正常训练集和异常训练集的特征数据；利用正常训练集的特征数据和异常训练集的特征数据分别对基于支持向量数据描述方法的分类器进行训练，分别得到正常分类器和异常分类器；通过一定的分类决策规则将正常分类器和异常分类器相结合，得到联合分类器，联合分类器负责给出最终的检测结果；获取待检测视频作为测试集；提取测试集的特征数据；根据测试集的特征数据，利用训练得到的联合分类器得到最终的检测结果，判断所述测试集中是否存在异常事件。本发明采用基于运动能量熵和支持向量数据描述的检测模型，通过引入一种新的特征来提高对异常事件的表征能力，通过使用两个半监督模型的联合模型克服单个半监督模型的固有缺陷，提高了异常事件检测模型的检测性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的异常事件检测方法的流程图；
图2为本发明实施例所提供的异常事件检测装置的结构图；
图3为本发明实施例所提供的四种情况的分析流程图；
图4为本发明实施例所提供的异常事件检测系统的结构图；
图5为本发明实施例所提供的检测结果与真实结果对比图；
图6为本发明实施例所提供的异常系数曲线图；
图7为本发明实施例所提供的ROC曲线图；
图8为本发明实施例所提供的异常事件检测方法的测试流程。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种异常事件检测方法及系统，以提高异常事件检测的检测精度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本实施例提供一种异常事件检测方法，图1为本发明实施例所提供的异常事件检测方法的流程图，参见图1，异常事件检测方法包括：
步骤101，对样本视频序列进行分帧处理，得到正常训练集、异常训练集和测试集；正常训练集包括包含正常事件的样本视频帧；异常训练集包括包含异常事件的样本视频帧；测试集包括包含正常事件和异常事件的样本视频帧。从给定的样本视频片段中分别选取三段连续的视频帧，三段视频的选取标准为：第一段中只包含正常事件，第二段中只包含异常事件，第三段中同时包含正常事件和异常事件且不与第一段和第二段的视频帧重复。其中，只包含正常事件的第一段连续视频帧和只包含异常事件的第二段连续视频帧作为训练集，既包含正常事件也包含异常事件的第三段连续视频帧作为测试集。
步骤102，分别提取正常训练集、异常训练集和测试集的特征数据。
步骤102具体包括：
分别对正常训练集、异常训练集和测试集中的每个视频帧使用一个固定大小的滑动窗口，在视频帧的空间域滑动，当滑动窗口在视频帧上滑动完毕时，视频帧将被划分为若干个与滑动窗口大小相同的局部块；
通过公式(1)分别提取正常训练集、异常训练集和测试集视频帧中各局部块的运动能量熵；视频帧中所有局部块的运动能量熵构成该视频帧的特征数据；
Figure BDA0002759860910000071
式中，E表示运动能量熵，Q表示视频帧局部块中的像素总数，pq表示第q个像素的速度在样本视频帧中出现的概率。
Figure BDA0002759860910000081
vq表示局部块中第q个像素的速度，vframe表示块对应的视频帧中所有像素的速度。
对于步骤101中的两类训练集，即正常训练集和异常训练集，从正常训练集中提取能够表征正常事件的特征数据，从异常训练集提取能够表征异常事件的特征数据。本发明使用运动能量熵(Energy Entropy ofMotion，EEM)作为提取的特征；运动能量熵是通过光流法计算出像素速度并且将每一帧划分为若干个块，计算每个块中像素速度的熵值，记为E，具体计算公式为公式(1)。
步骤103，利用正常训练集的特征数据和异常训练集的特征数据分别对基于支持向量数据描述方法的分类器进行训练，分别得到正常分类器和异常分类器。将提取好的特征数据作为分类器的输入，训练分类器。本发明中选用的分类器模型是支持向量数据描述(Support Vector Data Description，SVDD)，SVDD是由David Tax和Robert Duin在2004年提出的一种单类分类器，SVDD的核心算法为：
Figure BDA0002759860910000082
其中，f(z)表示输入的特征数据z到超球体球心的距离与球体半径的差值；z为提取到的特征数据；φ是一个将输入数据映射到高维空间的函数，通常用核函数k(·,·)表示；a是超球体的中心；R是超球体的半径；m为支持向量的个数；i＝1,2,...,m；j＝1,2,...,m；αi表示第i个特征数据对应的拉格朗日乘子；xi表示第i个支持向量；αj表示第j个特征数据对应的拉格朗日乘子；xj表示第j个支持向量；j≠i。在训练SVDD模型(分类器模型)的过程中，计算输入SVDD模型的特征数据与超球体球心的距离，若该距离等于超球体球心的半径，则表明此特征数据是该SVDD模型的支持向量，用支持向量和其对应的拉格朗日乘子构建最终的分类器模型。
步骤103具体包括：
利用正常训练集的特征数据对基于支持向量数据描述方法的分类器进行训练，得到正常分类器。对于只包含正常数据的正常训练集，通过将提取的正常训练集的运动能量熵输入分类器，可训练得到支持向量数据描述模型，即正常分类器SVDDentropy_n，这个模型所代表的超球体在对数据进行分类时，如果数据被分在超球体内部则代表数据不包含异常事件，被分在外部代表数据包含异常事件。
利用异常训练集的特征数据对基于支持向量数据描述方法的分类器进行训练，得到异常分类器。对于只包含异常数据的异常训练集，通过将提取的异常训练集的运动能量熵输入分类器，可训练得到支持向量数据描述模型，即异常分类器SVDDentropy_abn，这个模型所代表的超球体在对数据进行分类时，如果数据被分在超球体内部代表数据包含异常事件，被分在外部则数据不包含异常事件。
将正常分类器和异常分类器按照一定的规则进行结合，得到联合分类器，联合分类器的分类结果将作为异常事件检测模型的最终检测结果，结合规则由图3给出。
步骤104，利用测试集对提出的异常事件检测模型进行测试，首先提取测试集的特征数据，然后利用测试集的特征数据对联合分类器进行测试，联合分类器由正常分类器和异常分类器通过一定的分类决策规则结合而成。利用测试集进行测试时，模型中可能会出现误检，这是正常现象，若出现大量误检，说明分类器的性能不好，此时需要通过调整参数来降低误检率，直到模型的误检率控制在可接受的范围内。调整的参数主要为步骤103中提到的核函数k(·,·)，。联合分类器的分类结果为最终的检测结果。
将测试集的特征数据输入联合分类器中，得到检测结果；若检测结果中出现错误检测的数量是可以接受的值，则不再调整联合分类器的参数；若分类结果中出现错误检测的数量是不可接受的值，则需要对联合分类器的参数进行调整，重复上述步骤直至分类结果中出现错误检测的概率是一个可以接受的值。
支持向量数据描述属于半监督模型，半监督模型只需要一种类型的数据作为训练集，这大大降低了训练数据采集的难度，但考虑到现实生活中的正常事件或异常事件是多种多样的，根本无法在训练集中包含某一种类型事件的全部情况，这就导致训练集中未包含的正常事件被分类器判定为异常，这种情况是半监督模型本身固有的缺陷。针对半监督模型的缺陷，本发明选择使用两个半监督模型相互配合，以达到对分类结果的纠正，即分别使用正常训练集和异常训练集对分类器进行训练，得到两两互补的分类模型，本实施例两个支持向量数据描述模型如图2所示。图2中R1表示正常分类器的半径，R2表示异常分类器的半径。
步骤105，获取待检测视频作为测试集。
步骤106，提取测试集的特征数据。提取测试集的运动能量熵，视频帧中的所有局部块的运动能量熵构成该视频帧的特征数据。
步骤107，根据测试集的特征数据，通过联合分类器得到最终的检测结果。
步骤107具体包括：
将测试数据的特征数据输入正常分类器SVDDentropy_n，得到正常分类器的分类结果f1(z)。
将测试数据的特征数据输入异常分类器SVDDentropy_abn，得到异常分类器的分类结果f2(z)。
通过将f1(z)和f2(z)根据一定的规则相结合，得到最终的检测结果，具体包括：
当正常分类器的分类结果为正常，且异常分类器的分类结果为正常时，最终检测结果为正常，待检测视频帧中不存在异常事件。
当正常分类器的分类结果为异常，，且异常分类器的分类结果为异常时，，最终检测结果为异常，待检测视频帧中存在异常事件。
当正常分类器的分类结果与异常分类器的分类结果不一致时，分别计算待检测视频帧的特征数据与正常分类器所对应的超球体球心之间的正常距离，以及待检测视频帧的特征数据与异常分类器所对应的超球体球心之间的异常距离。
判断正常距离是否小于异常距离，得到最终检测结果。
若正常距离小于异常距离，最终检测结果为正常，则待检测视频帧中不存在异常事件。
若正常距离大于异常距离，最终检测结果为异常，则待检测视频帧中存在异常事件。
本实施例中正常分类器的分类结果与f1(z)值的关系，和异常分类器的分类结果与f2(z)值的关系，，以及f1(z)和f2(z)的所有可能的组合，在以下四种情况中给出介绍：
(1)f1(z)＜0，正常分类器的分类结果为正常事件；f2(z)＜0，异常分类器的分类结果为异常事件；
(2)f1(z)＜0，正常分类器的分类结果为正常事件；；f2(z)＞0，异常分类器的分类结果为正常事件；
(3)f1(z)＞0，正常分类器的分类结果为异常事件；；f2(z)＞0，异常分类器的分类结果为正常事件；
(4)f1(z)＞0，正常分类器的分类结果为异常事件；f2(z)＜0，异常分类器的分类结果为异常事件。
对上述四种情况进行分析，分析流程如图3所示，情况(2)和情况(4)，正常分类器和异常分类器给出的结果是一样的，所以这两种情况下，以其中任何一个分类器的结果作为最终检测结果。
对于情况(1)和(3)，由于正常分类器和异常分类器给出的结果不一样，所以需要进一步判断。出现两个分类器分类结果不一致的情况，说明两个分类器都不能很好地对该数据进行分类，此时就需要对两个模型的结果进行综合分析。对于这种情况，本发明采用的方法是计算输入的特征数据z距离每个超球体球心的距离d，距离的远近与属于哪个球体是正相关，即距离哪个超球体球心越近，说明该特征数据属于该超球体的概率越高，选取特征数据z距离超球体球心最近的那个超球体作为判断特征数据z是否属于异常事件的依据，若特征数据分别至两个超球体球心之间的距离相等，则认为该特征数据属于正常事件。计算特征数据z与超球体球心的距离公式如下：
Figure BDA0002759860910000121
其中，r＝1表示正常分类器所对应的超球体球心，r＝2表示异常分类器所对应的超球体球心，d1表示特征数据与正常分类器对应的超球体球心之间的距离，称为正常距离，d2表示特征数据与异常分类器对应的超球体球心之间的距离，称为异常距离。因为情况(1)和(3)是特殊情况，所以使用dr作为判断依据，对于情况(2)和(4)使用f(z)作为判断依据。
本实施例还提供一种异常事件检测系统，图4为本发明实施例所提供的异常事件检测系统的结构图。参见图4，异常事件检测系统包括：
训练集确定模块201，用于对样本视频进行分帧处理，得到正常训练集和异常训练集；正常训练集包括包含正常事件的样本视频帧；异常训练集包括包含异常事件的样本视频帧。从给定的样本视频片段中分别选取两段连续的视频帧，两段视频的选取标准为：第一段中只包含正常事件，第二段中只包含异常事件。其中，只包含正常事件的第一段连续视频帧作为正常训练集，只包含异常事件的第二段连续视频帧作为异常训练集。
特征数据提取模块202，用于分别提取正常训练集和异常训练集的特征数据。
特征数据提取模块202具体包括：
特征数据提取单元，用于在视频帧上使用一个滑动窗口将视频帧划分为若干个局部块，通过公式(1)分别提取正常训练集和异常训练集视频帧中各局部块的运动能量熵；视频帧中所有局部块的运动能量熵构成该视频帧的特征数据；
Figure BDA0002759860910000122
式中，E表示运动能量熵，Q表示视频帧局部块中的像素总数，pq表示第q个像素的速度在样本视频帧中出现的概率。
Figure BDA0002759860910000123
vq表示块中第q个像素的速度，vframe表示块对应的样本视频帧中所有像素的速度。
训练分类器模块203，用于利用正常训练集的特征数据和异常训练集的特征数据分别对基于支持向量数据描述方法的分类器进行训练，分别得到正常分类器和异常分类器。
训练分类器模块203具体包括：
正常分类器训练单元，用于利用正常训练集的特征数据对基于支持向量数据描述方法的分类器进行训练，得到正常分类器。对于只包含正常数据的正常训练集，通过将提取的正常训练集的运动能量熵输入分类器，可训练得到支持向量数据描述模型，即正常分类器SVDDentropy_n。
异常分类器训练单元，用于利用异常训练集的特征数据对基于支持向量数据描述方法的分类器进行训练，得到异常分类器。对于只包含异常数据的异常训练集，通过将提取的异常训练集的运动能量熵输入分类器，可训练得到支持向量数据描述模型，即异常分类器SVDDentropy_abn。
通过一定的分类决策规则，将正常分类器和异常分类器相结合，得到联合分类器，联合分类器负责给出最终的检测结果。
测试集获取模块204，用于获取待检测视频作为测试集。
特征提取模块205，用于提取测试集的特征数据。提取测试集视频帧中各局部块的运动能量熵，视频帧中所有局部块的运动能量熵构成该视频帧的特征数据。。
检测结果确定模块206，用于根据测试集的特征数据，利用正常分类器和异常分类器，分别得到待检测视频对应的正常分类器结果和异常分类器结果。
检测结果确定模块206具体包括：
正常分类器结果确定单元，用于将待检测视频的特征数据输入正常分类模型SVDDentropy_n，得到正常分类器的分类结果，若f1(z)<0,则分类结果为正常，若f1(z)>0,则分类结果为异常。
异常分类器结果确定单元，用于将待检测视频的特征数据输入异常分类模型SVDDentropy_abn，得到异常分类器的分类结果，若f2(z)<0，则分类结果为异常，若f2(z)>0，则分类结果为正常。
异常事件确定模块207，用于根据一定的分类决策规则，将正常分类器结果和异常分类器结果结合，得到最终的检测结果。
异常事件确定模块207具体包括：
第一判断单元，用于当正常分类器结果为正常，且异常分类器结果为异常时，则最终检测结果为正常，待检测视频帧中不存在异常事件；
第二判断单元，用于当正常分类器结果为异常，且异常分类器结果为异常时，则最终检测结果为异常，待检测视频帧中存在异常事件；
当正常分类器给出的分类结果和异常分类器给出的分类结果不一致时，计算待检测视频帧的特征数据与正常分类器的超球体球心之间的距离，记为正常距离，以及计算待检测视频帧的特征数据与异常分类器的超球体球心之间的距离，记为异常距离。
通过比较正常距离和异常距离的大小，决定最终的检测结果，具体包括：
第三判断单元，当正常距离小于异常距离时，待检测视频帧中不存在异常事件。
第四判断单元，当正常距离大于异常距离时，待检测视频帧中存在异常事件。
将University of Minnesota大学提供的三个不同场景的UMN数据集分别应用于本发明的异常事件检测方法以及STCOG论文中的方法、SRC论文中的方法，得到三种方法对应的检测性能对比。STCOG论文为《Real-Time Abnormal Event Detection inComplicated Scenes》，SRC论文为《Sparse reconstruction cost for abnormal eventdetection》。通过计算ROC曲线(receiver operating characteristic curve，受试者工作特征曲线)与x轴围成的面积(Area Under ROC，AUC)作为模型性能指标，本发明的异常事件检测方法的检测结果相比于STCOG论文方法和SRC论文方法的检测性能上有一定的提升，比较结果如表1所示：
表1三种方法的AUC
Figure BDA0002759860910000151
AUC值是模型性能的度量，AUC值越大说明模型性能越好，如0.997>0.936，说明在草地场景中0.997对应的本发明的分类器模型的性能要比STCOG方法更好。
图5为本发明对UMN数据集中广场场景数据的模型检测结果与真实结果对比图，总共选取了600帧进行检测，其中第30帧到第60帧出现了误检，其它帧都是正确检测。证明了本发明提出的分类器模型对于视频帧的检测结果绝大部分是正确的，只有一小部分检测结果错误，且出现错误检测的数量在可接受范围内。
图6是与图5中视频帧对应的异常系数曲线图，异常系数曲线为在测试集上每一视频帧与其属于异常事件的概率之间的关系；图7为异常事件检测模型对给定测试集进行检测得到的ROC曲线。图8给出了异常事件检测模型的测试流程。
本发明的异常事件检测方法针对半监督模型的固有缺点，使用了两个半监督模型组成联合模型，两个模型的结果相互修正，使得最终的检测效果相较于单一模型有了显著的提高，提高了异常事件检测的准确率；使用运动能量熵作为特征，不仅考虑到了异常事件发生时速度与正常情况下的不同，同时注意到了速度的混乱程度也会提高，所以使用熵来描述这种混乱程度，可以更有效地表征异常情况。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种异常事件检测方法，其特征在于，包括：
对样本视频进行分帧处理，得到正常训练集和异常训练集；所述正常训练集包括包含正常事件的样本视频帧；所述异常训练集包括包含异常事件的样本视频帧；
分别提取所述正常训练集、所述异常训练集和所述测试集的特征数据；
利用所述正常训练集的特征数据和所述异常训练集的特征数据分别对基于支持向量数据描述方法的分类器进行训练，分别得到正常分类器和异常分类器；
通过一定的决策规则将正常分类器和异常分类器相结合，得到联合分类器，联合分类器实现对正常事件和异常事件的区分，达到检测异常事件的目的；
获取待检测视频作为测试集；
提取所述测试集的特征数据；
根据所述测试集的特征数据，利用所述正常分类器和所述异常分类器，分别得到所述测试数据对应的正常检测结果和异常检测结果；
根据所述正常检测结果和所述异常检测结果，通过一定的决策规则，由联合分类器给出最终的检测结果，判断是否存在异常事件。
2.根据权利要求1所述的异常事件检测方法，其特征在于，所述分别提取所述正常训练集、所述异常训练集和所述测试集的特征数据，具体包括：
使用固定大小的滑动窗口将视频帧划分为若干个固定大小的局部块，通过下式分别提取所述正常训练集、所述异常训练集和所述测试集的视频帧中各局部块的运动能量熵；视频帧中所有局部块的运动能量熵构成该视频帧的特征数据；
Figure FDA0002759860900000011
式中，E表示运动能量熵，Q表示视频帧局部块中的像素总数，pq表示第q个像素的速度在此视频帧中出现的概率。
3.根据权利要求1所述的异常事件检测方法，其特征在于，所述利用所述正常训练集的特征数据和所述异常训练集的特征数据分别对基于支持向量数据描述方法的分类器进行训练，分别得到正常分类器和异常分类器，具体包括：
利用所述正常训练集的特征数据对基于支持向量数据描述方法的分类器进行训练，得到正常分类器；
利用所述异常训练集的特征数据对基于支持向量数据描述方法的分类器进行训练，得到异常分类器。
4.根据权利要求1所述的异常事件检测方法，其特征在于，根据所述正常分类器的分类结果和所述异常分类器的分类结果，将正常分类器和异常分类器的分类结果按照一定的分类决策规则相结合得到最终的检测结果，，具体包括：
当所述正常分类器的分类结果为正常，且所述异常分类器的分类结果为正常时，检测结果为正常，所述待检测视频帧不存在异常事件；
当所述正常分类器的分类结果为异常，且所述异常分类器的分类结果为异常时，检测结果为异常，所述待检测视频帧存在异常事件。
5.根据权利要求4所述的异常事件检测方法，其特征在于，当所述正常分类器的分类结果和异常分类器的分类结果不一致时，两个分类器结果相结合时使用的决策规则将有所变化，具体包括：
当所述正常分类器的分类结果与异常分类器的分类结果不一致时，分别计算所述待检测视频帧的特征数据与所述正常分类器所对应的超球体球心之间的距离，记为正常距离，以及所述待检测视频帧的特征数据与所述异常分类器所对应的超球体球心之间的距离，记为异常距离；
比较所述正常距离与所述异常距离的大小，决定最终的检测结果；
若所述正常距离比所述异常距离小，则检测结果为正常，所述待检测视频帧中不存在异常事件；
若所述正常距离比所述异常距离大，则检测结果为异常，所述待检测视频帧中存在异常事件。
6.一种异常事件检测系统，其特征在于，包括：
训练模块，用于获取训练集，提取训练集的特征数据，并训练分类器。
训练集确定模块，用于对样本视频进行分帧处理，得到正常训练集和异常训练集；所述正常训练集包括包含正常事件的样本视频帧；所述异常训练集包括包含异常事件的样本视频帧；
特征数据提取模块，用于分别提取所述正常训练集和所述异常训练集的特征数据；
训练分类器模块，用于利用所述正常训练集的特征数据和所述异常训练集的特征数据分别对基于支持向量数据描述方法的分类器进行训练，分别得到正常分类器和异常分类器，通过一定的规则，将正常分类器和异常分类器结合，得到联合分类器；
测试模块，用于利用所述测试集的特征数据对检测模型的性能进行测试。
测试集获取模块，用于获取待检测视频作为测试集；
特征提取模块，用于提取所述测试集的特征数据；
检测结果确定模块，用于根据所述测试集的特征数据，利用所述联合模型得到该测试数据的检测结果，确定是否测试数据中是否存在异常事件。
7.根据权利要求6所述的异常事件检测系统，其特征在于，所述特征数据提取模块，具体包括：
特征数据提取单元，用于使用固定大小的滑动窗口将视频帧划分为若干个局部块，然后通过下式分别提取所述正常训练集、所述异常训练集和所述测试集的视频帧局部块的运动能量熵；视频帧中所有局部块的运动能量熵构成该视频帧的特征数据；
Figure FDA0002759860900000031
式中，E表示运动能量熵，m表示视频帧局部块中的像素总数，pq表示第q个像素的速度在样本视频帧中出现的概率。
8.根据权利要求6所述的异常事件检测系统，其特征在于，所述训练分类器模块，具体包括：
正常分类器训练单元，用于利用所述正常训练集的特征数据对基于支持向量数据描述方法的分类器进行训练，得到正常分类器；
异常分类器训练单元，用于利用所述异常训练集的特征数据对基于支持向量数据描述方法的分类器进行训练，得到异常分类器。
9.根据权利要求6所述的异常事件检测系统，其特征在于，所述异常事件确定模块，具体包括：
第一判断单元，用于当正常分类器结果为正常，且异常分类器结果为异常时，则最终检测结果为正常，待检测视频帧中不存在异常事件；
第二判断单元，用于当正常分类器结果为异常，且异常分类器结果为异常时，则最终检测结果为异常，待检测视频帧中存在异常事件。
10.根据权利要求9所述的异常事件检测系统，其特征在于，所述异常事件确定模块，还包括：
当正常分类器给出的分类结果和异常分类器给出的分类结果不一致时，计算待检测视频帧的特征数据与正常分类器的超球体球心之间的距离，记为正常距离，以及计算待检测视频帧的特征数据与异常分类器的超球体球心之间的距离，记为异常距离。
通过比较正常距离和异常距离的大小，决定最终的检测结果，具体包括：
第三判断单元，当正常距离小于异常距离时，待检测视频帧中不存在异常事件。
第四判断单元，当正常距离大于异常距离时，待检测视频帧中存在异常事件。
CN202011214351.4A 2020-11-04 2020-11-04 一种异常事件检测方法及系统 Pending CN112329614A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011214351.4A CN112329614A (zh) 2020-11-04 2020-11-04 一种异常事件检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011214351.4A CN112329614A (zh) 2020-11-04 2020-11-04 一种异常事件检测方法及系统

Publications (1)

Publication Number Publication Date
CN112329614A true CN112329614A (zh) 2021-02-05

Family

ID=74324673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011214351.4A Pending CN112329614A (zh) 2020-11-04 2020-11-04 一种异常事件检测方法及系统

Country Status (1)

Country Link
CN (1) CN112329614A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070279490A1 (en) * 2006-06-05 2007-12-06 Fuji Xerox Co., Ltd. Unusual event detection via collaborative video mining
CN101216436A (zh) * 2008-01-03 2008-07-09 东华大学 一种基于支持向量数据描述理论的织物瑕疵自动检测方法
US20090092299A1 (en) * 2007-10-03 2009-04-09 Siemens Medical Solutions Usa, Inc. System and Method for Joint Classification Using Feature Space Cluster Labels
US20100061624A1 (en) * 2008-09-11 2010-03-11 Wesley Kenneth Cobb Detecting anomalous events using a long-term memory in a video analysis system
US20120134532A1 (en) * 2010-06-08 2012-05-31 Gorilla Technology Inc. Abnormal behavior detection system and method using automatic classification of multiple features
US20120314064A1 (en) * 2011-06-13 2012-12-13 Sony Corporation Abnormal behavior detecting apparatus and method thereof, and video monitoring system
CN105574489A (zh) * 2015-12-07 2016-05-11 上海交通大学 基于层次级联的暴力群体行为检测方法
CN105608446A (zh) * 2016-02-02 2016-05-25 北京大学深圳研究生院 一种视频流异常事件的检测方法及装置
CN106548142A (zh) * 2016-11-01 2017-03-29 浙江大学 一种基于信息熵的视频中人群突发事件检测与评估方法
CN107506734A (zh) * 2017-08-28 2017-12-22 中国民航大学 一种群体突发异常事件检测与定位方法
CN109034092A (zh) * 2018-08-09 2018-12-18 燕山大学 用于监控系统的异常事件检测方法
CN109508671A (zh) * 2018-11-13 2019-03-22 深圳龙岗智能视听研究院 一种基于弱监督学习的视频异常事件检测系统及其方法
CN111242188A (zh) * 2020-01-06 2020-06-05 中国科学院计算机网络信息中心 入侵检测方法、装置及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070279490A1 (en) * 2006-06-05 2007-12-06 Fuji Xerox Co., Ltd. Unusual event detection via collaborative video mining
US20090092299A1 (en) * 2007-10-03 2009-04-09 Siemens Medical Solutions Usa, Inc. System and Method for Joint Classification Using Feature Space Cluster Labels
CN101216436A (zh) * 2008-01-03 2008-07-09 东华大学 一种基于支持向量数据描述理论的织物瑕疵自动检测方法
US20100061624A1 (en) * 2008-09-11 2010-03-11 Wesley Kenneth Cobb Detecting anomalous events using a long-term memory in a video analysis system
US20120134532A1 (en) * 2010-06-08 2012-05-31 Gorilla Technology Inc. Abnormal behavior detection system and method using automatic classification of multiple features
US20120314064A1 (en) * 2011-06-13 2012-12-13 Sony Corporation Abnormal behavior detecting apparatus and method thereof, and video monitoring system
CN105574489A (zh) * 2015-12-07 2016-05-11 上海交通大学 基于层次级联的暴力群体行为检测方法
CN105608446A (zh) * 2016-02-02 2016-05-25 北京大学深圳研究生院 一种视频流异常事件的检测方法及装置
CN106548142A (zh) * 2016-11-01 2017-03-29 浙江大学 一种基于信息熵的视频中人群突发事件检测与评估方法
CN107506734A (zh) * 2017-08-28 2017-12-22 中国民航大学 一种群体突发异常事件检测与定位方法
CN109034092A (zh) * 2018-08-09 2018-12-18 燕山大学 用于监控系统的异常事件检测方法
CN109508671A (zh) * 2018-11-13 2019-03-22 深圳龙岗智能视听研究院 一种基于弱监督学习的视频异常事件检测系统及其方法
CN111242188A (zh) * 2020-01-06 2020-06-05 中国科学院计算机网络信息中心 入侵检测方法、装置及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XINLU ZONG; LU ZHANG: "Abnormal Event Detection in Video Based on SVDD"，IEEE, Xinlu Zong", IEEE, 5 December 2019 (2019-12-05), pages 369 - 370 *
吴定海;张培林;王怀光;傅建平;: "基于多核支持向量数据描述的单类分类方法", 计算机工程, no. 05, 15 May 2013 (2013-05-15) *
杨敏, 张焕国, 傅建明, 罗敏: "基于支持向量数据描述的异常检测方法", 计算机工程, no. 03 *
高罗莹;田增山;李玲霞;张小娅;: "一种基于SVDD的WLAN室内被动入侵检测方法", 重庆邮电大学学报(自然科学版), no. 02, 15 April 2020 (2020-04-15) *

Similar Documents

Publication Publication Date Title
CN109670446B (zh) 基于线性动态系统和深度网络的异常行为检测方法
CN110084151B (zh) 基于非局部网络深度学习的视频异常行为判别方法
CN103839065B (zh) 人群动态聚集特征提取方法
CN105787472B (zh) 一种基于时空拉普拉斯特征映射学习的异常行为检测方法
CN108564052A (zh) 基于mtcnn的多摄像头动态人脸识别系统与方法
CN107491749B (zh) 一种人群场景中全局和局部异常行为检测方法
CN112287816A (zh) 一种基于深度学习的危险工作区事故自动检测报警方法
CN112491796A (zh) 一种基于卷积神经网络的入侵检测及语义决策树量化解释方法
CN107506734A (zh) 一种群体突发异常事件检测与定位方法
CN104809463A (zh) 一种基于密集尺度不变特征转换字典学习的高精度火灾火焰检测方法
CN112163572A (zh) 识别对象的方法和装置
CN106033548B (zh) 基于改进字典学习的拥挤人群异常检测方法
CN114202803A (zh) 一种基于残差网络的多阶段人体异常动作检测方法
CN112633180B (zh) 一种基于对偶记忆模块的视频异常检测方法及系统
CN117437599B (zh) 面向监控场景的行人异常事件检测方法和系统
CN115811440B (zh) 一种基于网络态势感知的实时流量检测方法
CN113569756A (zh) 异常行为检测与定位方法、系统、终端设备及可读存储介质
CN115527150A (zh) 一种结合卷积注意力模块的双分支视频异常检测方法
CN109002746A (zh) 3d立体火灾识别方法和系统
Du et al. Convolutional neural network-based data anomaly detection considering class imbalance with limited data
CN116633601A (zh) 一种基于网络流量态势感知的检测方法
CN113837154B (zh) 一种基于多任务辅助的开放集过滤系统及方法
CN110188718B (zh) 一种基于关键帧和联合稀疏表示的无约束人脸识别方法
Arshad et al. Anomalous situations recognition in surveillance images using deep learning
CN116523711A (zh) 基于人工智能的教育监管系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination