CN106529405A - 一种基于视频图像块模型的局部异常行为检测方法 - Google Patents

一种基于视频图像块模型的局部异常行为检测方法 Download PDF

Info

Publication number
CN106529405A
CN106529405A CN201610873723.1A CN201610873723A CN106529405A CN 106529405 A CN106529405 A CN 106529405A CN 201610873723 A CN201610873723 A CN 201610873723A CN 106529405 A CN106529405 A CN 106529405A
Authority
CN
China
Prior art keywords
video image
image block
image blocks
block
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610873723.1A
Other languages
English (en)
Inventor
朱松豪
金栋梁
荆晓远
岳东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201610873723.1A priority Critical patent/CN106529405A/zh
Publication of CN106529405A publication Critical patent/CN106529405A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频图像块模型的局部异常行为检测方法，包括：对输入视频中所有对象的视频图像块提取，及选取存在异常的候选视频图像块；检测和优化获取优化后的候选视频图像块；利用正常行为视频图像块模型进行训练，获取每个视频图像块中正常行为并将该视频图像块从候选图像块中剔除；对剩余的候选视频图像块利用异常行为视频图像块模型检测，获取得到关键图像块；及根据计算的关键图像块之间的相关性，确定正常和异常活动轨迹，并对关键图像块中的异常活动轨迹进行分类；将分类所得异常活动轨迹对应的区域在图像块中标记描述。本发明能够有效提高局部异常行为检测的准确性和检测的效率，能够很好的检测出不同类型的局部异常行为。

Description

一种基于视频图像块模型的局部异常行为检测方法
技术领域
本发明涉及一种基于视频图像块模型的局部异常行为检测方法，属于视频图像处理的技术领域。
背景技术
视频异常行为检测是指能自动分析视频监控场景下发生的异常行为，并能够对其发出报警信号。例如：步行街上的骑车、轮滑和车辆的通行，广场上人群的恐慌、踩踏等一些异常行为都能及时的被智能监控系统检测到并进行警报。假设在获得一组正常训练视频样本后对问题展开研究，再确定测试视频是否包含异常行为，主要考虑视频图像块的异常。
目前，人群异常行为检测方法主要分为以下两类：第一类是基于目标跟踪的方法，第二类是基于群体特征的方法。第一类方法：首先对每个目标进行跟踪，最后依据提取到的运动信息实现异常行为的检测。由于人之前容易发生遮挡，因此复杂场景中的目标跟踪仍然是一个难题。第二类方法：将整个场景视为一个整体，提取场景中的有用信息，然后对特征进行检测，从而判定是否存在异常行为。
而针对异常行为的检测，现有技术中存在几种方法，如基于结合稀疏学习框架的异常行为检测方法结合时空特征块用于训练正常模式字典，使用金字塔区域定位，虽然检测速率较高，但是存在误警和漏检；基于混合概率主成分分析器的异常行为检测方法通过组合多个概率PCA模型用来表示复杂数据，能够在拥挤视频中定位异常发生的位置，但无法，对图像块之间存在的错误或者噪声进行删除；基于时空成分的异常行为检测方法使用时空组合的概率框架模型，对正常视频进行建模，根据时空特征计算概率密度函数，视频发生概率较低的为异常行为，但检测精度不佳，无法对图像块之间存在的错误或者噪声进行删除；基于增量编码长度的在线异常行为检测方法使用熵增益作为量度，训练词典用于异常行为检测，检测过程复杂，且无法准确地判断正常和异常行为。
因此，现有的视频中异常行为检测方法存在局限，无法对视频中的正常行为和异常行为精确地检测，无法对图像块之间存在的错误或者噪声进行删除，且对异常行为的图像块进分类，降低了方法的检测效率。
发明内容
本发明所要解决的技术问题在于克服现有技术的不足，提供一种基于视频图像块模型的局部异常行为检测方法，解决现有的视频中异常行为检测方法存在局限，无法对视频中的正常行为和异常行为精确地检测，无法对图像块之间存在的错误或者噪声进行删除，且对异常行为的图像块进分类的问题。
本发明具体采用以下技术方案解决上述技术问题：
一种基于视频图像块模型的局部异常行为检测方法，包括以下步骤：
步骤A、对输入视频中所有对象的视频图像块进行提取，及选取存在异常的候选视频图
像块；对所选取的候选视频图像块进行检测和优化，获取优化后的候选视频图像块；
步骤B、对所优化后的候选视频图像块利用建立的正常行为视频图像块模型进行训练，获取每个视频图像块中正常行为并将该视频图像块从候选图像块中剔除，并确定得到剩余的候选视频图像块；
步骤C、对剩余的每个候选视频图像块利用建立的异常行为视频图像块模型进行检测，获取得到若干个关键图像块；及根据计算的关键图像块之间的相关性，确定异常活动轨迹，并对所确定的异常活动轨迹进行分类；利用视频图像块描述方法将分类所得异常活动轨迹所占区域在该视频图像块中标记描述。
进一步地，作为本发明的一种优选技术方案：所述步骤A中根据视频图像块之间的重叠区域和计算梯度直方图特征选取存在异常的候选视频图像块。
进一步地，作为本发明的一种优选技术方案：所述步骤A中对所选取的候选视频图像块进行检测和优化，具体包括：
步骤A1、检测和剔除所选取的候选视频图像块中存在误选的视频图像块，确定得到初次剩余的候选视频图像块；
步骤A2、构造和最小化分割成本函数对初次剩余的候选视频图像块优化，获取相邻帧的视频图像块之间的分割图像块；
步骤A3、重新联合相邻帧的视频图像块之间的分割图像块，获得优化后的视频图像块。
进一步地，作为本发明的一种优选技术方案：所述步骤A1中根据视频图像块的尺寸确定候选视频图像块中存在误选的视频图像块并剔除。
进一步地，作为本发明的一种优选技术方案：所述步骤A1中根据计算的每个视频图像块的运动描述特征和概率密度函数，确定候选视频图像块中存在误选的视频图像块。
进一步地，作为本发明的一种优选技术方案：所述步骤A2中根据计算包含权值设置下的分割视频图像块的帧内代价、帧间代价、时间代价，获取得到相邻帧的视频图像块之间的分割图像块。
本发明采用上述技术方案，能产生如下技术效果：
本发明提供的基于视频图像块模型的局部异常行为检测方法，通过对视频进行视频图像块的提取和优化，使用视频图像块进行正常行为和异常行为模型的训练，根据提取到的视频图像块进行异常行为的检测，对图像块之间存在的错误或者噪声进行删除，从而得到更加精准的视频图像块，然后根据视频图像块对异常行为进行行为分类，从而判断异常行为，并确定异常区域并进行有效的标记。本发明的方法能够有效提高局部异常行为检测的准确性和检测的效率，能够很好的检测出不同类型的局部异常行为，相比于现有的检测方法有一定的优越性。
附图说明
图1为本发明基于视频图像块模型的局部异常行为检测方法的原理示意图。
图2(a)为来自Ped1数据集的正常行为图，图2(b)和图2(c)为来自Ped1数据集的局部异常行为图。
图3(a)为来自Ped2数据集的正常行为图，图3(b)和图3(c)为来自Ped2数据集的局部异常行为图。
图4(a)为Subway数据集Entrance场景的正常行为图；图4(b)和图4(c)为Subway数据集Entrance场景的局部异常行为图。
图5(a)为Subway数据集Exit场景的正常行为图；图5(b)和图5(c)为Subway数据集Exit场景的局部异常行为图。
图6(a)至图6(f)为采用本发明的方法下Ped1的部分实验结果图。
图7(a)至图7(f)为采用本发明的方法下Ped2的部分实验结果图。
图8为本发明与现有方法关于Ped1数据集异常行为检测的像素级的ROC曲线对比图。
图9为本发明与现有方法关于Ped2数据集异常行为检测的像素级的ROC曲线对比图。
图10(a)至图10(c)为采用本发明的方法下进地铁站的Entrance场景的部分实验结果图。
图11(a)至图11(c)为采用本发明的方法下出地铁站的Exit场景的部分实验结果图。
具体实施方式
下面结合说明书附图对本发明的实施方式进行描述。
为提高异常行为检测的准确性和快速性，本发明提出一种基于视频图像块模型的局部异常行为检测方法，如图1所示，本方法具体包括以下步骤：
步骤A、对输入视频中所有对象的视频图像块进行提取，及选取存在异常的候选视频图像块；其中所有对象指人物。对所选取的候选视频图像块进行检测和优化，获取优化后候选视频图像块，具体如下：
首先，对候选视频图像块进行选取。提取输入视频中所有对象的视频图像块，然后选择存在异常的候选视频图像块。具体地，简单的关联块，这些选取的视频图像块存在较多的重叠区域和具有相似的梯度直方图HOG特征。
其中，Bi t和Bj t-1分别表示t帧图像第i块和t-1帧图像第j块。size(B)表示块B的尺寸。H(B)表示块B的HOG特征，SIMHI(H(Bi t),H(Bj t-1))表示Bi t块和Bj t-1块之间HOG特征直方图交叉相似性。最后，如果一个视频图像块与正常模式不匹配，它将被检测为候选异常图像块。
然后，对所选取的候选视频图像块进行检测和优化。由于遮挡的干扰和复杂的前景导致的检测到错误的图像块，这些错误包括多轨迹和不正常目标。因此，本发明提出在合适目标图像块中结合空间、时间、尺寸和运动相关性的图像块进行候选视频图像块的优化。本发明提出的优化包括以下三个步骤：
步骤A1：检测和剔除所选取的候选视频图像块中存在误选的视频图像块，并确定得到初次剩余的候选视频图像块。首先，检测被错误选取到候选视频图像块的视频图像块。优选地，可以根据视频图像块的尺寸确定候选视频图像块中存在误选的视频图像块，基于大部分视频图像块而观察得出包含其他大尺寸的目标是错误的，通过以下方法检测问题块：
其中，R是视频图像块。size(B)是视频图像块B的尺寸。
优选地，还可以通过根据计算的每个视频图像块的运动描述特征和概率密度函数，确定候选视频图像块中存在误选的视频图像块。在训练阶段，对于输入的视频图像块R(u,q)，首先计算在视频图像块R(u,q)的每个块B的运动描述特征MD(B,PB)。然后，通过正常活动训练得到正常概率密度函数用来评估每个块的常态概率(如)。对视频图像块R(u,q)的全部常态小于阈值，意味着R(u,q)与训练的正常模式有所不同。因此，R(u,q)用来检测候选的异常行为，计算公式如下：
其中，R(u,q)表示视频图像块，u表示起始点，q表示结束点。B是R(u,q)的一个块，PB是位于视频图像块B的子块。MD(B,PB)表示在PB图像块B块R(u,q)的运动描述特征。在实验中，运动描述用光流梯度直方图(histogram of oriented optical flow,HOOF)表示。|R(u,q)|表示视频图像块R(u,q)的长度。表示视频图像块PB的正常概率密度函数。τa表示在训练集合中能够区分正常和异常的错误分类的最小化值，计算公式如下：
其中，τa表示最终决定阈值，是候选值。TEF＝(Nerror,ab+Nerror,nor)/Ntotal表示正确和异常分类错误的总和，Nerror,ab表示没有检测到的异常行为视频图像块的数量，Nerror,nor表示没有检测到的正常行为视频图像块的数量，Ntotal表示训练数据的视频图像块的总数。公式4决定τa的值，通过公式3的方法在训练集合中使用不同的τa对正常和异常图像块进行分类。最小的分类错误的值选定最终的阈值τa。是图像块R的所有子块尺寸的中值，med(·)表示中值符号，Bv表示图像块R的一个子块。w是一个常量因子，实验中得出当w＝1.5时取得最好结果。在图像块中，如果子块的尺寸明显大于中值块的尺寸该子块被认定为问题块，并予以剔除。此外，为了避免因为摄像机透视效果导致的大小差异，摄像机标定在不同的位置使用不同的正常尺寸。
最后，实现在确定所选取的候选视频图像块中存在误选的视频图像块后，将其从候选视频图像块中剔除，并由此确定得到初次剩余的候选视频图像块。
步骤A2：对选取的候选视频图像块中初次剩余的视频图像块优化，获取相邻帧的视频图像块之间的分割图像块。通过构造和最小化分割成本函数从而对视频图像块进行优化分割得到更合适的子块：
其中，ψ＝{Bt,1,Bt,2,…,Bt,Nt}表示问题子块Bt的候选分割结果，Bt,k∈Bt是块Bt中的一个分割子块，Nt是块Bt中子块的总数，λ1、λ2和λ3(λ1+λ2+λ3＝1)是权重。Cintra，Cinter和Ctmp表示分割的帧内代价、帧间代价、时间代价。公式6-9分别描述这些参数的计算方法。
其中，表示像素的(xi,yi)相关运动流，表示子块Bt,k的相关运动流的平均值。和的计算如下：
其中，表示像素(xi,yi)的原始光流，bz表示具有相似光流子块的聚类。帧内代价Cintra通过每个子块内的平均运动流的方差计算，当每一个子块的运动流具有较小的方差，则Cintra取得最小值。此外，为了避免噪声光流的干扰，将问题子块进行相似聚类，有聚类相关光流代替原始光流表示像素的运动流。
其中，Nt表示问题块Bt的子块总数。表示整个问题块Bt的相关运动流平均值。帧间代价通过不同子块之间的平均运动流的方差计算。我们在公式8中加入负号，最小的Cinter能够获得不同子块之间最大的运动流。
其中，Nt-ε表示图像帧t-ε的块的总数。和分别是当前帧的分割子块Bt,k的特征矢量和邻近帧的预测块。用梯度直方图(HOG)表示特征矢量，预测块Bt-ε,s通过从邻近无问题子块中跟踪获得。当分割子块与邻近帧中的子块相匹配，时间代价Ctmp将取得最小值。
基于公式(5)-(9)，最佳分割情况在以下情况下得到，(1)每个子块的运动流很相似，(2)来自于不同子块的流数据不相同，(3)子块与邻近帧之间的匹配度。此外，公式5中优化问题使用不同的方法进行。使用子块运动和颜色场的不同聚类的数量分别创建多个候选结果ψ。最优化分割结果通过公式(5)计算最小代价。
因此，公式(5)中的权重因子λ1、λ2和λ3的选择是通过平衡相对可靠的三个合适的分割代价Cintra，Cinter和Ctmp得到的。测量候选分割结果ψ的相对代价具有较高的可靠性，权重因子将随之变大。在计算中帧内代价比帧间代价更可靠，即帧中代价的权重因子λ1比帧间代价的权重因子λ2大，得到一个更满意的候选分割结果ψ。在实验中设置λ1、λ2和λ3为0.3，0.3和0.4。在实验中，本发明可以利用类似于公式(4)的方法自动获得这些权重因子的值，找到一组在训练集合中分割错误最小的权重因子。
步骤A3：重新联合相邻帧的视频图像块之间的分割图像块，获得优化后的视频图像块，实现图像块优化。通过步骤A2，问题块中的相连目标和噪声前景能够得到合理的分割。通过重新联合相邻帧的块之间的分割图像块，获得精确的图像块。
步骤B、对所优化后的候选视频图像块利用建立的正常行为视频图像块模型进行训练，获取每个视频图像块中正常行为并将该视频图像块从候选图像块中剔除。具体如下：
首先，将输入的视频图像块分割为大小相同的局部图像块，分别对每个局部块进行正常模式的训练。步骤如下：首先提取训练数据中的所有正常的图像块，这些数据包含位于不同图像块的正常活动阶段。从以上所有的的正常图像块能够组成一个正常图像块的训练集合。然后，对这些图像块的每个局部图像块PB提取运动描述特征。使用核密度估计(Kernel Desity Estimation,KDE)对于以上提取的运动描述特征PB构建一个正常概率密度μPB(.)，这个对PB的正常概率密度被定义为正常模式。从而，一个更大μPB(.)值意味着正常的可能性更高，一个更小μPB(.)值意味着正常的可能性更小或异常的可能性更高。
然后，对运动特征进行编码。特征描述的协方差：
F(x,y,l)＝φl(I,x,y) (10)
其中，I表示图像，F表示图像I的W×H×d维的特征，W和H分别表示图像的宽和高，d表示特征的维数，φl表示第l个特征的图像与图像的关联映射。给定的矩形区域R，特征点使用d×d的协方差矩阵表示：
其中，CR表示特征矢量F的协方差矩阵，μ表示特征点，Zk表示像素k的特征矢量，np在区域R中选择的像素，多个不同的特征矢量F用来构建协方差描述。
张量投票是一种在ND维空间中对输入的特征点进行分析局部结构的感知组织方法。每个输入点的几何信息在二阶对称和非负张量T进行编码。T表示一个N×N的矩阵或一个在ND切空间的椭圆。它的特征向量和零特征值相关，表示特征点的切线。因而，T的定义如下：
其中，λi表示按照降序排列的特征值，ei表示对应的特征向量。每个点维度和切线空间的局部几何信息通过张量的特征系统进行计算。结构的维度d通过两个连续特征值之间的差值进行估算：
输入的伴随张量使用ND维的特征进行编码。它们将信息传递给相邻的点，通过邻近的点进行投票收集这些信息。因此，每个点的局部几何信息通过分解它的张量特征进行分析。正常的显著性结构特征λi-λi+1，(i＝1,...,N-1)，无结构特征λN。将显著性特征进行求和，λl表示可能多重结构估计概率。
从公式(5)中，基于每个图像块进行正常活动的训练。正常活动模型相比于轨迹集群模，本发明的方法在处理具有较大变化的活动时具有更强的处理能力。例如：当正常活动的轨迹存在较大变化时，基于轨迹集群模型的方法无法构造一个可靠的正常行为活动模型。因此，通过对视频图像块活动进行建模，仍然可以抓取每个视频图像块的局部活动构建一个合适的模型。
由公式(10)至(13)所述过程，实现了利用训练的正常行为图像块模型，检测输入视频图像块中的正常行为图像块并将其剔除。
步骤C、对剩余的每个候选视频图像块利用建立的异常行为视频图像块模型进行检测，获取得到若干个关键图像块；及根据计算的关键图像块之间的相关性，确定异常活动轨迹，并对关键图像块中的异常活动轨迹进行分类；利用视频图像块描述方法将分类所得异常活动轨迹所占区域在该视频图像块中标记描述。具体如下：
步骤C1：关键图像块的检测。场景中关键图像块的检测用来表示关键区域。首先对视频图像块中的训练数据的轨迹进行聚类，从而获得多个关键区域。图像块作为具有大量重叠的关键区域用来检测。
步骤C2：关键图像块之间的相关性。关键图像块之间的活动相关性的计算如下：
S(Pi,Pj)＝#{R(u,q)|u∈Pi,q∈Pj} (14)
其中，S(Pi,Pj)表示关键图像块Pi与Pj的相关性，R(u,q)表示训练集合从起始点u到结束点q的轨迹。#{·}表示集合中元素的数量。在公式14中，训练集合中关键图像块的相关性用经过这些图像块的轨迹的总数进行计算。通过这种方法，一个较大的S(Pi,Pj)意味着图像块之间正常活动模式，一个较小S(Pi,Pj)的意味着从Pi到Pj是存在异常。
步骤C3：活动轨迹的分类。通过提取关键图像块计算它们之间的相关性，在测试视频中使用它们对异常轨迹进行分类。候选图像块可以分为活动类型A*(Pm,Pn)：
其中，S(Pi,Pj)表示由公式14得到的关键图像块的相关性。A(Pi,Pj)＝[Pi,Pj]T表示候选活动类型，这些活动类型包含于从开始块Pi到结束块Pj的轨迹中。A*(Pm,Pn)＝[Pm,Pn]T表示对输入轨迹R(u,q)最终的活动分类类型。KP表示由第一步检测的关键块的集合。τt表示类似于公式4方法检测的阈值。D(R(u,q),A(Pi,Pj))表示输入图像块R(u,q)与活动类型A(Pi,Pj)的相异度，计算如下：
D(R(u,q),A(Pi,Pj))＝d(Pu,Pi)×d(Pq,Pj) (16)
其中，d(Pu,Pi)表示块Pu与块Pi之间的距离。Pu和Pq分别表示R(u,q)开始点u和结束点q位置的块。
从公式(15)和(16)中，如果最终的模块Pu和Pq很接近这个类型的关键图像块对Pm和Pn，那么异常图像块R(u,q)将被分到A*(Pm,Pn)类中。而且，图像块的相关性S(Pm,Pn)保证A*(Pm,Pn)是异常类型(如S(Pm,Pn)较小)。通过这种方法，可以在这个过程中过滤掉错误的候选活动，从而得到更加精确的结果。因此，引入关键区域，不但可以创建异常活动到不同的类型从而促进在接下来的工作中创建更好的视频摘要，而且通过过滤错误的候选活动可以有效改善检测的精度。
通过获得优化的视频图像块，异常行为分类模型将利用关键区域的相关性对提取到的视频图像块进行分类。
最终，基于视频图像块进行检测和分类，视频图像块特征通过对视频进行总结,利用视频图像块描述方法将分类所得异常活动轨迹所占区域在图像块中标记描述。即选择合适的视频图像块描述方法进行描述：
其中，表示所有视频图像块的集合。V表示从视频图像块R到下一个阶段的视频图像块的过程。表示视频图像块集中R的偏移结果，R′表示视频图像块R中不同的活动。α、β和γ表示权重因子。表示原始视频中的活动R和R′保持时间关系的稳定时间代价，表示避免视频图像块R与R′彼此冲突的代价。和通过计算。将视频图像块集中的相同类型视频图像块放到一起。
其中，表示视频图像块的类标签，表示视频图像块集中图像块的开始时间，τ控制异常活动不同类型之间的时间间隔。当时，取得最小值；当视频图像块集中不同类型视频图像块转移到不同时期，保证相同类型的视频图像块在一个时间段中。
为了验证本发明的方法能够对图像块之间存在的错误或者噪声进行删除，从而得到更加精准的视频图像块和判断异常行为，本发明特此给出一验证例。
本验证例中，公式(2)的w设置为1.5，公式(5)的λ1、λ2和λ3在实验中分别设置为0.3，0.3和0.4。公式(17)中的权重因子α、β和γ根据三个值的相对重要性进行均衡。特别的，一个较大的权重因子将会根据它的相应代价的重要性而增加。因此，通过代价定义的约束将在视频图像块集中有优先被考虑。首先选择训练视频的一个片段用来创建在不同α、β和γ值下的多摘要结果。创建更满意的值用来对所有的测试视频图像块集。通过以上方法获得α、β和γ的值分别为0.1，0.4和0.5。
本发明使用UCSD数据集和Subway数据集，UCSD包含Ped1和Ped2两个场景的数据，其中Ped1数据子集中图像帧的像素为238×158，将边缘扩展一个白色像素点得到240×160，Ped2数据子集中图像帧的像素为360×240。Ped1数据子集中一共包含34个训练视频片段和36个测试视频片段，每个视频片段中包含200帧。Ped2数据集中一共包含16个正常视频片段和14个异常视频片段，每个视频片段的帧数为120、150和180。Subway包含Entrance和Exit两个场景的数据，一共包含41840帧图像帧，每帧的像素为512×384。
UCSD数据集的正常行为为行人正常行走，局部异常行为为自行车、汽车、滑板车进入人行横道等非正常行为。图2(a)给出了Ped1数据集中正常行为图，以及图2(b)和图2(c)给出来自Ped1数据集的局部异常行为的示例图。图3(a)出了Ped2数据集中正常行为图，以及图3(b)和图3(c)给出来自Ped2数据集的局部异常行为的示例图。
Subway数据集的正常行为为通过闸机，局部异常行为为地铁口翻越闸机、地铁口逆行、地铁口逗留等非正常行为。图4(a)给出了Subway数据集Entrance场景的正常行为图，以及图4(b)和图4(c)给出Subway数据集Entrance场景的局部异常行为图。图5(a)给出了Subway数据集Exit场景的正常行为图，以及图5(b)和图5(c)给出Subway数据集Exit场景的局部异常行为图。
为能够准确对视频检测效果进行有效的评价，本发明使用的像素级的评价标准进行评价。
像素级别标准作为检测中定位的判断，检测结果通过和实际情况中的像素级别进行比较。检测到的像素数在实际中异常的像素数超过40％，则表示该帧检测到的结果是正确的，否则表示检测结果错误。
性能的评价，通过检测帧的表现和主观分析进行判断。前两种较好的检测方法是Receiver Operating Characteristic(ROC)曲线和Area Under ROC Curve(AUC)。对于ROC曲线，采用构图法能够很好的对敏感性和特异性之间的关系进行展示，能很好的展现敏感性与特异性两个综合指标。将连续的变量根据具体情况设置不同的临界值，计算出一系列的真正类率(True Positive Rate,TPR)即正确标注帧的比例与假正类率(False PositiveRate,FPR)即错误标注帧的比例的关系，最后纵坐标为TPR、横坐标为FPR来绘制ROC曲线。定义如下：
其中，真正类(True Positive,TP)表示实例中正类并且被预测为正类，假正类(False Positive,FP)表示实例中负类并且被预测为正类，真负类(True Negative,TN)表示实例中负类并且被预测为负类，假正类(False Negative,FN)表示实例中正类被预测为负类。在ROC曲线图中，越靠近左上方的点表示TPR与FPR的临界值越高。
第三个为帧级别评估的错误率(Equal Error Rate,EER)，异常概率的百分比可能是0.5。
实验结果与分析：本发明中，在UCSD数据集和Subway数据集上对局部异常行为进行检测，对检测到的异常位置使用红色进行标记。图6(a)至图6(f)、图7(a)至图7(f)分别给出采用本发明的方法后UCSD数据集Ped1与Ped2数据子集的部分异常行为检测结果图。如图6(a)为行人骑车进入图、图6(b)为行人踩滑板进入和骑车进入图、图6(c)为行人踏入草坪图、图6(d)为行人推手推车进入和骑车进入图、图6(e)为开车进入图、图6(f)为坐轮椅进入图；图7(a)-(b)均为行人骑车进入图、图7(c)为开车进入图、图7(d)为开车进入和骑车进入图、图7(e)为骑车进入和踏滑板进入图、图7(f)为踏滑板进入图。
由此可见本发明对一系列的异常行为均能够准确的检测出来，对视频图像块中的异常行为能够准确检测，不存在漏检情况。
本发明使用的方法和其他四种方法在Ped1和Ped2数据集上的基于像素级别的ROC曲线图如图8和图9，其他四种方法分别是基于社会力模型的方法(Socical Force)、基于稀疏表示的方法(Sparse)、基于结构分析的在线异常检测(Online anomaly detection viastructure analysis,OADC-SA)和基于混合动态纹理的分层条件随机场的异常检测(Aconditional random field with a hierarchical mixture of dynamic textures,H-MDT-CRF)。
本发明使用视频图像块进行正常行为和异常行为的训练，对图像块之间存在的错误或者噪声进行删除，从而得到更加精准的视频图像块，然后根据视频图像块对异常行为进行行为分类，从而判断异常行为。由对比实验图8和图9检测结果，本发明提出的算法优于其他四种算法。从检测结果中可以看到，本发明使用的方法能够很好的检测出不同类型的局部异常行为。如表1所示，在五种不同方法下的ROC曲线下的面积AUC的结果。从表1所示的结果中能够看出本发明算法的AUC值比其他算法的大，即本发明提出的算法比其他四种方法有一定的优越性。
表1不同方法的AUC(％)和EER(％)
图10(a)至图10(c)、图11(a)至图11(c)为采用本发明下Entran-ce和Exit两个视频集的部分异常行为的检测结果图。其中，图10(a)为进站口逆行图、图10(b)为进站口长时间逗留图、图10(c)为进站口跳跃闸机图；图11(a)为出站口逆行图、图11(b)和图11(c)为出站口逆行和长时间逗留图。由实验结果得出，本发明对于视频图像块中的异常行为能够准确检测。
本发明方法与其他四种方法在Subway数据集上进行检测，这四种方法分别是基于结合稀疏学习框架的异常行为检测方法(Sparse Combination Learning,SCL)、基于混合概率主成分分析器的异常行为检测方法(Mixture of Probabilistic PrincipalComponent Analyzers,MPPCA)、基于时空成分的异常行为检测方法(Spatio-TemporalCompositions,STC)、基于增量编码长度的在线异常行为检测方法(Incremental CodingLength,ICL)。
基于结合稀疏学习框架的异常行为检测方法结合时空特征块用于训练正常模式字典，使用金字塔区域定位，虽然检测速率较高，但是存在误警和漏检；基于混合概率主成分分析器的异常行为检测方法通过组合多个概率PCA模型用来表示复杂数据，能够在拥挤视频中定位异常发生的位置；基于时空成分的异常行为检测方法使用时空组合的概率框架模型，对正常视频进行建模，根据时空特征计算概率密度函数，视频发生概率较低的为异常行为；基于增量编码长度的在线异常行为检测方法使用熵增益作为量度，训练词典用于异常行为检测；本发明使用视频图像块进行正常行为模型和异常行为模型的训练，对图像块之间存在的错误或者噪声进行删除，从而得到更加精准的视频图像块，然后根据视频图像块对异常行为进行行为分类，从而判断异常行为。表2表示从实验中得到的数据，从实验数据可以得到，本发明提出的方法较其他四种方法具有一定的优越性。
表2在Subway场景下的性能分析
综上，本发明的方法能够有效提高局部异常行为检测的准确性和检测的效率，能够很好的检测出不同类型的局部异常行为，相比于现有的检测方法有一定的优越性。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (6)

1.一种基于视频图像块模型的局部异常行为检测方法，其特征在于，包括以下步骤：
步骤A、对输入视频中所有对象的视频图像块进行提取，及选取存在异常的候选视频图像块；对所选取的候选视频图像块进行检测和优化，获取优化后的候选视频图像块；
步骤B、对所优化后的候选视频图像块利用建立的正常行为视频图像块模型进行训练，获取每个视频图像块中正常行为并将该视频图像块从候选图像块中剔除，并确定得到剩余的候选视频图像块；
步骤C、对剩余的每个候选视频图像块利用建立的异常行为视频图像块模型进行检测，获取得到若干个关键图像块；及根据计算的关键图像块之间的相关性，确定异常活动轨迹，并对所确定的异常活动轨迹进行分类；利用视频图像块描述方法将分类所得异常活动轨迹所占区域在该视频图像块中标记描述。
2.根据权利要求1所述基于视频图像块模型的局部异常行为检测方法，其特征在于：所述步骤A中根据视频图像块之间的重叠区域和计算梯度直方图特征选取存在异常的候选视频图像块。
3.根据权利要求1所述基于视频图像块模型的局部异常行为检测方法，其特征在于：所述步骤A中对所选取的候选视频图像块进行检测和优化，具体包括：
步骤A1、检测和剔除所选取的候选视频图像块中存在误选的视频图像块，确定得到初次剩余的候选视频图像块；
步骤A2、构造和最小化分割成本函数对初次剩余的候选视频图像块优化，获取相邻帧的视频图像块之间的分割图像块；
步骤A3、重新联合相邻帧的视频图像块之间的分割图像块，获得优化后的视频图像块。
4.根据权利要求3所述基于视频图像块模型的局部异常行为检测方法，其特征在于：所述步骤A1中根据视频图像块的尺寸确定候选视频图像块中存在误选的视频图像块。
5.根据权利要求3所述基于视频图像块模型的局部异常行为检测方法，其特征在于：所述步骤A1中根据计算的每个视频图像块的运动描述特征和概率密度函数，确定候选视频图像块中存在误选的视频图像块。
6.根据权利要求3所述基于视频图像块模型的局部异常行为检测方法，其特征在于：所述步骤A2中根据计算包含权值设置下的分割视频图像块的帧内代价、帧间代价、时间代价，获取得到相邻帧的视频图像块之间的分割图像块。
CN201610873723.1A 2016-09-30 2016-09-30 一种基于视频图像块模型的局部异常行为检测方法 Pending CN106529405A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610873723.1A CN106529405A (zh) 2016-09-30 2016-09-30 一种基于视频图像块模型的局部异常行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610873723.1A CN106529405A (zh) 2016-09-30 2016-09-30 一种基于视频图像块模型的局部异常行为检测方法

Publications (1)

Publication Number Publication Date
CN106529405A true CN106529405A (zh) 2017-03-22

Family

ID=58331311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610873723.1A Pending CN106529405A (zh) 2016-09-30 2016-09-30 一种基于视频图像块模型的局部异常行为检测方法

Country Status (1)

Country Link
CN (1) CN106529405A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886054A (zh) * 2017-10-27 2018-04-06 天津大学 一种基于稀疏核字典的视频摘要选择方法
CN107944343A (zh) * 2017-10-30 2018-04-20 北京陌上花科技有限公司 视频检测方法及装置
CN109086696A (zh) * 2018-07-18 2018-12-25 洛阳语音云创新研究院 一种异常行为检测方法、装置、电子设备及存储介质
CN110954758A (zh) * 2018-09-26 2020-04-03 珠海格力电器股份有限公司 电器的故障确定方法及装置
CN113179496A (zh) * 2021-04-30 2021-07-27 南京邮电大学 基于mec的视频分析架构及该架构下的室内定位系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184818A (zh) * 2015-09-06 2015-12-23 山东华宇航天空间技术有限公司 一种视频监控异常行为检测方法及其检测系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184818A (zh) * 2015-09-06 2015-12-23 山东华宇航天空间技术有限公司 一种视频监控异常行为检测方法及其检测系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DONGLIANG JIN 等: "Optical Flow and Spatio-temporal Gradient Based Abnormal Behavior Detection", 《CHINESE CONTROL AND DECISION CONFERENCE》 *
李向向: "视频监控下实时异常行为检测研究", 《万方数据知识服务平台》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886054A (zh) * 2017-10-27 2018-04-06 天津大学 一种基于稀疏核字典的视频摘要选择方法
CN107944343A (zh) * 2017-10-30 2018-04-20 北京陌上花科技有限公司 视频检测方法及装置
CN107944343B (zh) * 2017-10-30 2020-04-14 北京陌上花科技有限公司 视频检测方法及装置
CN109086696A (zh) * 2018-07-18 2018-12-25 洛阳语音云创新研究院 一种异常行为检测方法、装置、电子设备及存储介质
CN109086696B (zh) * 2018-07-18 2020-11-06 洛阳语音云创新研究院 一种异常行为检测方法、装置、电子设备及存储介质
CN110954758A (zh) * 2018-09-26 2020-04-03 珠海格力电器股份有限公司 电器的故障确定方法及装置
CN113179496A (zh) * 2021-04-30 2021-07-27 南京邮电大学 基于mec的视频分析架构及该架构下的室内定位系统

Similar Documents

Publication Publication Date Title
CN106778595B (zh) 基于高斯混合模型的人群中异常行为的检测方法
Kim et al. Gaussian process regression flow for analysis of motion trajectories
CN106529405A (zh) 一种基于视频图像块模型的局部异常行为检测方法
CN102496001B (zh) 一种视频监控目标自动检测的方法和系统
CN110378869A (zh) 一种样本自动标注的钢轨扣件异常检测方法
CN106203274A (zh) 一种视频监控中行人实时检测系统及方法
CN106204640A (zh) 一种运动目标检测系统及方法
CN105389567A (zh) 基于稠密光流直方图的群体异常检测方法
CN103871077B (zh) 一种道路车辆监控视频中的关键帧提取方法
CN112115769A (zh) 一种基于视频的无监督稀疏人群异常行为检测算法
CN107506734A (zh) 一种群体突发异常事件检测与定位方法
CN107491749A (zh) 一种人群场景中全局和局部异常行为检测方法
CN113313037A (zh) 一种基于自注意力机制的生成对抗网络视频异常检测方法
CN103902966A (zh) 基于序列时空立方体特征的视频交互事件分析方法及装置
CN104978567A (zh) 基于场景分类的车辆检测方法
CN110633678B (zh) 一种基于视频图像的快速高效的车流量计算方法
CN110334602B (zh) 一种基于卷积神经网络的人流量统计方法
CN106778688A (zh) 一种拥挤场景监控视频中人群流异常事件的检测方法
CN113011322B (zh) 监控视频特定异常行为的检测模型训练方法及检测方法
Gong et al. Local distinguishability aggrandizing network for human anomaly detection
CN113256690B (zh) 一种基于视频监控的行人多目标跟踪方法
CN103150552B (zh) 一种基于人头计数的驾驶培训管理方法
CN110674887A (zh) 一种基于视频分类的端到端道路拥堵检测算法
CN104077571B (zh) 一种采用单类序列化模型的人群异常行为检测方法
Sabour et al. Deepflow: Abnormal traffic flow detection using siamese networks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170322