CN102831442A - 异常行为检测设备和方法及生成该检测设备的设备和方法 - Google Patents

异常行为检测设备和方法及生成该检测设备的设备和方法 Download PDF

Info

Publication number
CN102831442A
CN102831442A CN2011101668952A CN201110166895A CN102831442A CN 102831442 A CN102831442 A CN 102831442A CN 2011101668952 A CN2011101668952 A CN 2011101668952A CN 201110166895 A CN201110166895 A CN 201110166895A CN 102831442 A CN102831442 A CN 102831442A
Authority
CN
China
Prior art keywords
image block
block sequence
target
video
abnormal behaviour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011101668952A
Other languages
English (en)
Inventor
刘舟
吴伟国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN2011101668952A priority Critical patent/CN102831442A/zh
Priority to US13/477,330 priority patent/US20120314064A1/en
Publication of CN102831442A publication Critical patent/CN102831442A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了异常行为检测方法和设备及生成该检测设备的设备和方法。一种生成检测器的设备，该检测器用于检测视频中目标的异常行为，生成检测器的设备包括：提取装置，用于在多个视频样本中的每个视频样本中提取包含该视频样本的每帧图像中的与目标的运动范围对应的图像块的图像块序列；特征计算装置，用于计算所提取的图像块序列中的运动矢量特征；及训练装置，用于利用从所述多个视频样本中提取的多个图像块序列以及所计算的运动矢量特征来训练第一级分类器，利用第一级分类器对多个图像块序列进行分类并利用多个图像块序列中被所述第一级分类器确定为含有目标的异常行为的图像块序列来训练下一级分类器，直到得到串联的两级或更多级分类器。

Description

异常行为检测设备和方法及生成该检测设备的设备和方法
技术领域
本公开涉及视频目标检测，具体地，涉及检测视频中目标的异常行为的设备和方法以及生成这样的检测设备的设备和方法。
背景技术
动态场景的视觉监控是近年来备受关注的一个研究方向。这种技术对摄像机捕捉的图像序列进行分析，以理解运动目标的行为，并对目标的异常行为进行报警。异常行为检测是智能视觉监控的重要功能，对异常行为检测的研究具有重要的意义。
发明内容
在下文中给出关于本公开的一些方面的简要概述，以便提供对于本公开的基本理解。应当理解，这个概述并不是对本公开的穷举性概述。该概述也并非意图确定本公开的关键或重要部分，也不是意图限定本公开的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
根据本公开的一个方面，提供了一种生成检测器的设备，所述检测器用于检测视频中目标的异常行为，该生成检测器的设备包括：提取装置，用于在多个视频样本中的每个视频样本中提取图像块序列，该图像块序列包含该视频样本的每帧图像中的与目标的运动范围对应的图像块；特征计算装置，用于计算从每个视频样本中提取的图像块序列中的运动矢量特征；及训练装置，用于利用从所述多个视频样本中提取的多个图像块序列以及所计算的运动矢量特征来训练第一级分类器，利用训练得到的第一级分类器对所述多个图像块序列进行分类并利用所述多个图像块序列中被所述第一级分类器确定为含有目标的异常行为的图像块序列来训练下一级分类器，直到得到两级或更多级分类器，所述两级或更多级分类器串联以形成检测目标的异常行为的检测器。
根据本公开的另一方面，提供了一种生成检测器的方法，所述检测器用于检测视频中目标的异常行为，该生成检测器的方法包括：在多个视频样本中的每个视频样本中提取图像块序列，该图像块序列包含该视频样本的每帧图像中的与目标的运动范围对应的图像块；计算从每个视频样本中提取的图像块序列中的运动矢量特征；及利用从所述多个视频样本中提取的多个图像块序列以及所计算的运动矢量特征来训练第一级分类器；利用训练得到的第一级分类器对所述多个图像块序列进行分类并利用所述多个图像块序列中被所述第一级分类器确定为含有目标的异常行为的图像块序列来训练下一级分类器，直到得到两级或更多级分类器。其中，所述两级或更多级分类器串联以形成检测目标的异常行为的检测器。
根据本公开的另一方面，提供了一种检测视频中目标的异常行为的设备，该设备包括：提取装置，用于在待检测的视频段中提取图像块序列，所述图像块序列包含所述视频段的每帧图像中与目标的运动范围对应的图像块；特征计算装置，用于计算所述图像块序列中的运动矢量特征；及异常行为检测装置，该异常行为检测装置包括串联的两级或更多级分类器，每级分类器用于检测目标的异常行为，其中，所述图像块序列及所述运动矢量特征被逐级输入所述两级或更多级分类器，如果前一级分类器判断所述图像块序列中出现异常行为，则所述图像块序列被输入到下一级分类器，直到最后一级分类器。
根据本公开的另一方面，提供了一种检测视频中目标的异常行为的方法，该方法包括：在待检测的视频段中提取图像块序列，所述图像块序列包含所述视频段的每帧图像中与目标的运动范围对应的图像块；计算所述图像块序列中的运动矢量特征；及将所述图像块序列及所述运动矢量特征逐级输入串联的两级或更多级分类器，其中，每级分类器能够检测目标的异常行为，并且其中，如果前一级分类器判断所述图像块序列中出现异常行为，则所述图像块序列被输入到下一级分类器，直到最后一级分类器。
另外，本公开的实施例还提供了用于实现上述方法的计算机程序。
此外，本公开的实施例还提供了至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述方法的计算机程序代码。
附图说明
参照下面结合附图对本公开实施例的说明，会更加容易地理解本公开的以上和其它目的、特点和优点。附图中的部件只是为了示出本公开的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。
图1是示出根据本公开一个实施例的生成用于检测视频中目标的异常行为的检测器的方法的示意性流程图；
图2是示出生成串联的两级或更多级分类器的方法的一个示例的示意性流程图；
图3是示出从视频图像中提取图像块序列的一个示例的示意性流程图；
图4是示出根据本公开另一实施例的生成用于检测视频中目标的异常行为的检测器的方法的示意性流程图；
图5是示出从视频图像中提取图像块序列的另一示例的示意性图；
图6是示出根据本公开一个实施例的生成用于检测视频中目标的异常行为的检测器的设备的示意性框图；
图7是示出根据本公开另一实施例的生成用于检测视频中目标的异常行为的检测器的设备的示意性框图；
图8是示出根据本公开一个实施例的检测视频中目标的异常行为的方法的示意性流程图；
图9是示出根据本公开另一实施例的检测视频中目标的异常行为的方法的示意性流程图；
图10是示出利用串联的两级或更多级分类器来检测视频中目标的异常行为的方法的一个示例的示意性流程图；
图11是示出用于确定图像块序列是否不含目标的异常行为的方法的一个示例的示意性流程图；
图12是示出利用串联的两级或更多级分类器来检测视频中目标的异常行为的方法的另一示例的示意性流程图；
图13是示出根据本公开一个实施例的检测视频中目标的异常行为的设备的示意性框图；
图14是示出图13所示的异常行为检测装置的结构的一个示例的示意性框图；
图15是示出根据本公开另一实施例的检测视频中目标的异常行为的设备的示意性框图；
图16是示出图15所示的异常行为检测装置的结构的一个示例的示意性框图；
图17是示出图13所示的异常行为检测装置的结构的另一示例的示意性框图；
图18是示出用于生成运动矢量特征的过程的示例的示意图；以及
图19是示出用于实现本公开的实施例或示例的计算机的结构的示例性框图。
具体实施方式
下面参照附图来说明本公开的实施例。在本公开的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本公开无关的、本领域普通技术人员已知的部件和处理的表示和描述。
本公开的实施例提供了生成用于检测视频中目标的异常行为的检测器的方法和设备以及检测视频中目标的异常行为的方法和设备。
图1是示出根据本公开一个实施例的生成检测器的方法的示意性流程图，所述检测器用于检测视频中目标的异常行为。
如图1所示，该方法包括步骤102、104和106。图1所示的方法利用多个视频训练样本来生成包括串联的两级或更多级分类器的、用于检测视频中目标的异常行为的检测器。
为了生成用于检测视频中目标的异常行为的检测器，需要准备用于训练的视频样本。每个视频样本包括多帧图像，且包含待检测目标(如人、动物、车辆等)的行为。根据具体应用，可以将目标的行为划分为正常行为(如行走、交谈等)和异常行为(如摔倒、打架、奔跑等)，相应地，包含正常行为的视频样本为正常样本；包含异常行为的视频样本为异常样本。
首先，在步骤102中，从多个视频样本中的每个视频样本中提取包含运动目标的区域，即从背景中把包含运动目标的区域分离出来，用于后续判断目标的行为是否异常的步骤。这里所述的视频样本可以是已标注好目标的正常行为的视频图像序列，也可以是未经标注的视频图像序列。在一般的视频监控应用中，通常正常样本的数量会远远多于异常样本的数量。在本公开的实施例或示例中，可以采用包括正常样本和异常样本这两种样本的训练样本集合，也可以采用只包括正常样本的训练样本集合。
具体地，可以根据视频样本来确定待检测目标的运动范围，然后从包含多帧图像的每个视频样本的每帧图像中提取与该运动范围对应的图像块。从每个视频样本所包含的多帧图像中提取的多个图像块即构成该视频样本的图像块序列。也就是说，从每个视频样本中提取的图像块序列包括该视频样本的每帧图像中与待检测目标的运动范围对应的图像块。
可以采用任何适当的方法从视频样本中提取与目标的运动范围对应的图像块序列。作为一个示例，可以采用下文中将要结合图3和图5描述的方法来提取每个视频样本中的图像块序列。
然后，在步骤104中，提取每个图像块序列中的运动矢量特征，即，计算从每个视频样本中提取的图像块序列中的运动矢量特征。
作为一个示例，可以通过计算每个图像块序列的运动矢量方向直方图来提取运动矢量。可选地，运动矢量方向直方图可以是归一化的运动矢量方向直方图。运动矢量可以是像素运动矢量，也可以是块运动矢量。
运动矢量方向直方图的计算通常基于前景图像。可采用任何适当的方法来从视频图像中提取出前景图像。例如，可以采用基于像素的前景检测算法和基于轮廓邻域信息的前景检测算法等，这里不一一列举。基于像素的前景检测算法主要包括帧差法(Temporal differencing)和背景法(Background subtraction)。例如在Chris Stauffer和W.E.L.Grimson的文章“Adaptive background mixture models for real-time tracking”，1999IEEE Computer Society Conference on Computer Vision and PatternRecognition(CVPR′99)-Volume 2，pp.2246，1999中描述了如何采用高斯混合模型对背景进行建模以及如何在图像中区分前景和背景的技术。
可采用任何适当的方法来计算运动矢量方向直方图。例如，可以采用Hu等人的文章“Anomaly Detection Based on Motion Direction”(ACTAAUTOMATICA SINICA，Vol.34，No.11，November，2008)中描述的计算运动矢量方向直方图的技术，这里不作详述。
运动矢量方向直方图的方向区间的配置(即方向区间的宽度和数目)可以是任意的。作为一个具体示例，可以采用[-π/8，π/8]、[0，π/4]、[π/8，3π/8]、[π/4，π/2]、[3π/8，5π/8]、[π/2，3π/4]、[5π/8，7π/8]、[3π/4，π]、[7π/8，9π/8]、[π，5π/4]、[9π/8，11π/8]、[5π/4，3π/2]、[11π/8，13π/8]、[3π/2，7π/4]、[13π/8，15π/8]、[7π/4，2π]这样的16个方向区间。
对于每个图像块序列，将该序列的所有图像块的运动矢量方向直方图形成特征矢量。假设运动矢量方向直方图的方向区间的数目为K，序列中图像块数为N，则每个运动矢量方向直方图包含数据xi，j，其中1＜i≤K，1＜j≤N，xi，j表示针对序列中第j个图像块统计出的方向落在方向区间i的运动矢量的数目(或归一化数目)。所形成的特征矢量由所有的数据xi，j构成。数据xi，j在特征矢量中的排列顺序可以是任意的。作为一个例子，特征矢量可以是(x1，1，x1，2，...，x1，N，x2，1，x2，2，...，x2，N，...，xK，1，xK，2，...，xK，N)。
图18是示出生成特征矢量的过程的示例的示意图。如图18所示，设图像块序列中包含图像块1801-1、1801-2、...、1801-N。计算每个图像块1801-1、1801-2、...、1801-N的运动矢量方向直方图1802-1、1802-2、...、1802-N。运动矢量方向直方图包含前述示例中描述的16个方向区间。该图像块序列的所有图像块的运动矢量方向直方图1802-1、1802-2、...、1802-N形成特征矢量1803，即(x1，1，x1，2，...，x1，N，x2，1，x2，2，...，x2，N，...，x16，1，x16，2，...，x16，N)。
然后，在步骤106中，利用从多个视频样本中提取的多个图像块序列以及每个图像块序列的运动矢量特征来训练分类器。
图2示出了训练分类器的方法的一个示例。如图2所示，在步骤106-1中，利用从所有视频样本中提取的多个图像块序列以及每个图像块序列的运动矢量特征来训练第一级分类器。然后，在步骤106-2中，利用训练得到的第一级分类器对多个图像块序列进行分类，以得到所述多个图像块序列中被所述第一级分类器确定为含有目标的异常行为的图像块序列(即不能被第一级分类器描述的样本)。然后，在步骤106-3中，利用这些被所述第一级分类器确定为含有目标的异常行为的图像块序列来训练第二级分类器。在步骤106-4中，利用训练得到的第二级分类器对这些被所述第一级分类器确定为含有目标的异常行为的图像块序列再次进行分类，得到这些被所述第一级分类器确定为含有目标的异常行为的图像块序列中的被所述第二级分类器确定为含有目标的异常行为的图像块序列。这些被所述第二级分类器确定为含有目标的异常行为的图像块序列可以用于训练下一级分类器，依此类推，直到被上一级分类器确定为含有目标的异常行为的图像块序列的数量小于一预定阈值(应理解，该阈值可以根据实际的应用场景来预先确定，这里不限定其具体的数值)，才停止训练。这样即可得到N级分类器(N≥2)。将训练得到的N级分类器逐级串联，即形成用于检测视频中的目标的异常行为的检测器。
利用图1所示的方法，可以得到串联的两级或更多级分类器，其中每级分类器是采用经过上一级分类器分类为包含异常行为的样本进行训练的。采用这种训练方法，可以对训练样本中数量较少的类型的样本建模，从而减少后续目标异常行为检测中的误检。
可采用任何适当的训练方法来训练每一级分类器。作为一个示例，串联的两级或更多级分类器中的每级分类器可以是一类支持矢量机，即串联的两级或更多级分类器可以是串行一类支持矢量机。一般的视频监控应用中正常样本的数量通常远远多于异常样本的数量。训练样本集合中异常样本的数量通常很少，甚至有训练样本集合只包含正常样本的情况。采用一类支持矢量机可以对一种类型的样本(如数量较多的正常样本)的特征进行建模，从而提高异常行为检测的精度。在其他示例中，还可以采用其他训练方法，如基于概率分布模型(概率分布模型可以包括但不限于混合高斯模型、隐马尔科夫模型和条件随机场等)的训练方法，这里不作详述。
再次参考图2，作为一个示例，在利用被上一级分类器确定为含有目标的异常行为的图像块序列来训练下一级分类器之前，还可以包括去除噪声的步骤。如步骤106-5所示，该步骤可以在步骤106-3之前，用于去除被第一级分类器确定为含有目标的异常行为的图像块序列中的噪声。作为一个示例，可以将目标行为的持续时间短的图像块序列作为噪声剔除。具体地，可以判断每个图像块序列中目标行为的持续时间是否超过一预定阈值(称为第一阈值，应理解，该阈值也可以根据实际的应用场景来预先确定，这里不限定其具体的数值)，如果是，则保留该图像块序列；否则，则将该图像块序列中目标的行为确定为不含异常行为的噪声。作为另一示例，可以对上一级分类器对图像块序列进行分类时在预定长度的时间段内(即在预定数量的图像帧内)出现报警的次数(即上一级分类器检测到不能被其描述的特征的次数)进行计数，当出现报警的次数小于一预定阈值(称为第二阈值，应理解，该阈值可以根据具体应用来预先确定，这里不作具体限定)时，则确定该图像块序列为噪声，否则，则保留该图像块序列。
作为另一示例，在步骤106-1之前也可以包括如106-5所示的去除噪声的步骤。
在训练每级分类器之前先去除训练样本中的噪声，可以提高训练效率，改善训练得到的分类器的检测精度，从而进一步减少后续的目标异常行为检测中的误检。
下面参考图3和图5来描述提取视频图像序列中与待检测目标的运动范围对应的图像块序列的方法的示例。
在图3所示的示例中，提取视频图像中与待检测目标的运动范围对应的图像块序列的方法可以包括步骤102-1、102-2和102-3。
在步骤102-1中，构建视频图像的运动历史图像(Motion HistoryImage，MHI)。
首先，检测视频图像中的前景区域。在视频监控场景中，图像获取设备(如摄像机)通常是固定的，因此背景是静止的，而目标(例如人)是运动的。可以采用任何适当的方法来检测视频图像的运动区域(前景)，作为一个示例，可以采用高斯混合模型(Gaussian mixture model，GMM)方法来进行背景建模并检测每帧图像的前景(运动区域)。在其他示例中，还可以采用核密度估计法(Kernel Density Estimation)等其他适当的方法来检测前景，这里不作详述。
图5(A)示出了视频图像的一个示例，其中包含目标(人)的行走、摔倒的行为。图5(B)示出了利用GMM方法对图5(A)的视频图像进行前景检测后得到的前景图像序列。
可以利用多帧图像的前景图像(如最近n帧的前景图像，n＞1)、采用下列公式来构建MHI：
Figure BSA00000521933200081
其中，x、y和t分别表示像素在宽、高和时间三个方向上的位置，τ为常数，该常数的值可以根据具体应用来确定，这里不作限定，D(x，y，t)表示前景检测结果，其中D(x，y，t)为1表示像素(x，y，t)属于前景，Hτ(x，y，t)表示运动历史图像MHI。
图5(C)示出了利用上述方法对图5(B)的前景图像进行处理而得到的运动历史图像MHI，图5(C1)是图5(C)中方框所示部分的局部放大图。
然后，在步骤102-2中，根据运动历史图像MHI进行对视频图像进行连通域分析，以获得目标的运动范围。可以采用任何适当的方法进行连通域分析，这里不作详述。图5(D)中的方框示出了利用图5(C)所示的运动历史图像进行连通域分析后得到的目标行为的运动区间(即目标的运动范围)。
最后，在步骤102-3中，提取视频图像中的每帧图像中与该运动范围对应的图像块，形成与目标的运动范围对应的图像块序列。图5(E)示出了从图5(A)的视频图像中提取的图像块序列，图5(E1)、(E2)、(E3)示意性示出了其中的各个图像块。该图像块序列包含目标(在本示例中目标为人)在行走过程中摔倒的行为。
在图3所示的示例中，通过对MHI进行连通域分析来得到目标的运动范围，这样得到的目标的运动范围对应于多帧图像中目标的运动范围。如果不进行连通域分析而仅采用MHI，则得到的目标的运动范围仅对应于当前图像帧中目标的范围。因此，与不进行连通域分析的方法相比，采用图3所示的示例得到的目标的运动范围能够尽可能多地包括有效信息，利用这样得到的图像块序列训练检测器，可以大大提高目标异常行为检测器的检测精度，减少误检。应理解，以上参考图3和图5描述的获取目标的运动范围的方法仅仅是示例性的。在其他示例中，还可以采用其他适当的方法，例如，可以采用高斯混合模型(Gaussian mixture model，GMM)方法来进行背景建模并检测每帧图像的前景(运动区域)，而不必进行后续的构建MHI并进行连通域分析的步骤；又如，还可以采用核密度估计法来检测每帧图像的前景，从而得到目标的运动范围；这里不一一列举。与图3和图5所示的方法相比，采用这些方法这样得到的目标的运动范围所包含的有效信息会比较少。
图4示出了根据另一实施例的生成检测器的方法的示意性流程图，所述检测器用于检测视频中目标的异常行为。在图4所示的方法中，将所监控的场景划分成多个子区域，并且针对每个子区域均训练一个包括串联的两级或更多级分类器的检测器。
如图4所示，该方法可以包括步骤410、402、404、414和406。
在步骤410中，将视频样本所针对的场景划分成多个子区域。可以根据具体应用来确定子区域的位置和数量，这里不作限定。
在步骤402中，从每个视频样本中提取包含该视频样本的每帧图像中的与目标的运动区域的图像块序列。该步骤402与上文结合图1描述的步骤102相似，可以采用结合图3和图5描述的方法或其他适当的方法来提取图像块序列，这里不再重复。
然后，在步骤404中，提取每个图像块序列中的运动矢量特征，即，计算从每个视频样本中提取的图像块序列中的运动矢量特征。该步骤404与步骤104相似，这里不再重复。
在步骤414中，对每个图像块序列进行定位，即确定每个图像块序列位于监控场景的哪个子区域中。然后，在步骤406中，利用每个子区域的图像块序列及其运动矢量特征来生成用于检测该子区域中的目标的异常行为的检测器。步骤406与上文参考图1和图2描述的步骤106相似，这里不再重复。另外，与上文实施例或示例相似，可以采用任何适当的训练方法来训练每一级分类器。例如，每个子区域的串联的两级或更多级分类器中的每级分类器可以是一类支持矢量机。又如，可以采用基于概率分布模型(概率分布模型可以包括但不限于混合高斯模型、隐马尔科夫模型和条件随机场等)等其他训练方法来训练每一级分类器，这里也不作详述。应理解，虽然图1中将步骤414示为在步骤404之后执行，但这仅仅是示例性的。在其他示例中，步骤414也可以在步骤404之前执行。
利用图4所示的方法，可以得到针对监控场景的多个子区域的多个异常行为检测器。每个子区域对应一个异常行为检测器。每个子区域的检测器包括串联的两级或更多级分类器。采用这种方法，能够有效地处理视频图像中由于透视变化而造成的类内差问题，从而进一步提高后续目标异常行为检测的准确率，减少误检。
再次参考图4，作为一个示例，生成检测器的方法还可以包括对目标分类的步骤(如图中的虚线框412所示)。以待检测目标是人为例，可以在步骤412中确定图像块序列中的行为是否人的行为，如果是，则对该图像块序列进行下一步处理，如果不是，则丢弃该图像块序列。可以采用任何适当的方法来进行步骤412的目标分类处理。例如，可以根据图像块所在区域的大小来判断该行为是否为人的行为，对于大小明显不同的目标(如人、车辆、动物等)，可以采用这种方法。又如，还可以采用Paul Viola等人的文章“Rapid Obiect Detection Using a Boosted Cascade of SimpleFeatures”(CVPR，2001年)中描述的人检测方法，这里不作详述。采用这种方法，可以将剔除样不包含待检测目标的样本，从而进一步提高训练的效率，改善训练得到的分类器的检测精度，从而进一步减少后续的目标异常行为检测中的误检。
作为另一示例，生成检测器的方法还可以包括提取统计信息的步骤(如图4中的虚线框416所示)。具体地，在步骤416中，可以根据从多个视频样本中提取的运动矢量特征来计算所对应的场景的运动统计信息。例如，可以计算视频样本的运动矢量特征的幅度的均值和方差等，作为所述运动统计信息。在监控场景被划分成多个子区域的情况下，可以提取每个子区域的运动统计信息。这些运动统计信息可以存储于存储装置(未示出)中，用于后续的目标异常行为检测，从而进一步提高检测的准确度，减少误检。
下面参考图6和图7描述根据本公开的生成检测器的设备的实施例，所述检测器用于检测视频中目标的异常行为。
图6示出了根据一个实施例的生成检测器的设备的结构的示意性框图。
如图6所示，该设备600可以包括提取装置601、特征计算装置603和训练装置605。图6所示的设备600利用经过标注的多个视频训练样本来生成用于检测视频中目标的异常行为的检测器。
提取装置601用于在每个视频样本中提取包含该视频样本的每帧图像中的与目标的运动范围对应的图像块的图像块序列。提取装置601可以采用上文中参考图1、图3或图5或图4描述的方法实施例或示例来提取视频样本中的图像块序列，这里不再重复。
提取装置601将所提取的图像块序列输出到特征计算装置603。特征计算装置603计算从每个视频样本中提取的图像块序列中的运动矢量特征。特征计算装置603可以采用上文中参考图1或图4描述的方法实施例或示例来计算每个图像块序列的运动矢量特征，这里不再重复。
训练装置605利用提取装置601从多个视频样本中提取的多个图像块序列以及特征计算装置603所计算的运动矢量特征来生成用于检测视频中目标的异常行为的检测器。训练装置605可以采用所有图像块序列来训练第一级分类器，然后利用训练得到的第一级分类器对所述多个图像块序列进行分类并利用所述多个图像块序列中被所述第一级分类器确定为含有目标的异常行为的图像块序列来训练下一级分类器，直到得到两级或更多级分类器，所述两级或更多级分类器串联以形成检测目标的异常行为的检测器。训练装置605可以采用上文中参考图1、图2或图4描述的方法实施例或示例来训练所述检测器，这里不再重复。与上文的方法实施例或示例相似，训练装置605可以采用任何适当的训练方法来训练每一级分类器。例如，串联的两级或更多级分类器中的每级分类器可以是一类支持矢量机。又如，训练装置605可以采用基于概率分布模型(概率分布模型可以包括但不限于混合高斯模型、隐马尔科夫模型和条件随机场等)等其他训练方法来训练每一级分类器，这里也不再重复。
利用图6所示的训练设备，可以生成串联的两级或更多级分类器，其中每级分类器是采用经过上一级分类器分类的样本进训行练的。采用这种训练设备，可以对训练样本中数量较少的类型的样本建模，从而减少后续目标异常行为检测中的误检。
图7示出了根据另一实施例的生成检测器的设备的结构的示意性框图。在图7所示的设备700中，除了提取装置701、特征计算装置703和训练装置705之外，还包括将所监控的场景划分成多个子区域的分割装置707。
分割装置707将视频样本所针对的场景划分成多个子区域。可以根据具体应用来确定子区域的位置和数量，这里不作限定。
提取装置701与提取装置601相似，用于从每个视频样本中提取包含该视频样本的每帧图像中的与目标的运动区域的图像块序列。提取装置701可以采用上文参考图1、图3、图4或图5描述的方法或其他适当的方法来提取图像块序列，这里不再重复。
特征计算装置703与特征计算装置603相似，用于提取每个图像块序列中的运动矢量特征，即，计算从每个视频样本中提取的图像块序列中的运动矢量特征。特征计算装置703可以采用上文中参考图1或图4描述的方法实施例或示例来计算每个图像块序列的运动矢量特征，这里不再重复。
训练装置705首先对每个图像块序列进行定位，即确定每个图像块序列位于哪个子区域中。然后，训练装置705利用每个子区域的图像块序列及其运动矢量特征来生成用于检测该子区域中的目标的异常行为的检测器。训练装置705可以采用上文中参考图1、图2或图4描述的方法实施例或示例来训练针对每一子区域的检测器，这里不再重复。另外，与上文实施例或示例相似，可以采用任何适当的训练方法来训练每一级分类器。例如，每个子区域的串联的两级或更多级分类器中的每级分类器可以是一类支持矢量机。又如，可以采用基于概率分布模型(概率分布模型可以包括但不限于混合高斯模型、隐马尔科夫模型和条件随机场等)等其他训练方法来训练每一级分类器，这里也不作详述。
利用图7所示的训练设备，可以得到针对监控场景的多个子区域的多个异常行为检测器。每个子区域对应一个异常行为检测器。每个子区域的检测器包括串联的两级或更多级分类器。采用这种方法，能够有效地处理视频图像中由于透视变化而造成的类内差问题，从而进一步提高后续目标异常行为检测的准确率，减少误检。
作为一个示例，训练装置705在训练分类器时，可以利用被上一级分类器确定为含有目标的异常行为的图像块序列来训练下一级分类器之前，采用上文参考步骤106-5描述的方法进行去除噪声的处理。例如，在训练得到第一级分类器之后，训练装置705可以去除被第一级分类器确定为含有目标的异常行为的图像块序列中的噪声。作为一个示例，训练装置705可以将目标行为的持续时间短的图像块序列作为噪声剔除。具体地，训练装置705可以判断每个图像块序列中目标行为的持续时间是否超过一预定阈值(应理解，该阈值也可以根据实际的应用场景来预先确定，这里不限定其具体的数值)，如果是，则保留该图像块序列；否则，则将该图像块序列中目标的行为确定为不含异常行为的噪声。作为另一示例，训练装置705可以对上一级分类器对图像块序列进行分类时在预定长度的时间段内(即在预定数量的图像帧内)出现报警的次数(即上一级分类器检测到不能被其描述的特征的次数)进行计数，当出现报警的次数小于一预定阈值时，则确定该图像块序列为噪声，否则，则保留该图像块序列。
作为另一示例，生成检测器的设备700还可以包括统计信息提取装置709。统计信息提取装置709可以根据从多个视频样本中提取的运动矢量特征来计算所对应的场景的运动统计信息。例如，统计信息提取装置709可以计算视频样本的运动矢量特征的幅度的均值和方差等，作为所述运动统计信息。在监控场景被划分成多个子区域的情况下，统计信息提取装置709可以提取每个子区域的运动统计信息。这些运动统计信息可以存储于存储装置(未示出)中，用于后续的目标异常行为检测，从而进一步提高检测的效率。
作为另一示例，训练装置705还可以采用上文参考步骤412描述的方法进行目标分类。以待检测目标是人为例，训练装置705可以确定图像块序列中的行为是否人的行为，如果是，则对该图像块序列进行下一步处理，如果不是，则丢弃该图像块序列。训练装置705可以采用任何适当的方法来进行目标分类处理。例如，可以根据图像块所在区域的大小来判断该行为是否为人的行为，对于大小明显不同的目标(如人、车辆、动物等)，可以采用这种方法。又如，还可以采用Paul Viola等人的文章“RapidObject Detection Using a Boosted Cascade of Simple Features”(CVPR，2001年)中描述的人检测方法，这里不作详述。
下文参考图8-12来描述利用串联的两级或更多级分类器来检测视频中目标的异常行为的方法的实施例。
图8示出了根据一个实施例的检测视频中目标的异常行为的方法的示意性流程图。
如图8所示，该方法包括步骤822、824和826。
在步骤822中，从待检测的视频段中提取包含所述视频段的每帧图像中与目标的运动范围对应的图像块的图像块序列。可以采用上文参考图1、图3或图5所描述的方法来提取视频段中与目标的运动范围对应的图像块序列，这里不再重复。
在步骤824中，计算图像块序列中的运动矢量特征。可以采用上文参考图1、图18或图4描述的方法来提取图像块序列中的运动矢量特征，这里也不再重复。
在步骤826中，采用利用上文参考图1-7描述的方法或设备所生成的异常行为检测器来检测图像块序列中是否包含目标的异常行为。图14示出了这种异常行为检测器的结构的一个示例。如图14所示，异常行为检测装置1305可以包括第一级分类器1305-1、第二级分类器1305-2、......、第N级分类器1305-N。其中，N≥2。每级分类器用于检测目标的异常行为。图像块序列及运动矢量特征被逐级输入所述N级分类器，如果前一级分类器判断所述图像块序列中出现异常行为，则所述图像块序列被输入到下一级分类器，直到最后一级分类器。
图10示出了利用串联的N级(N≥2)分类器来检测图像块序列中的目标异常行为的方法的一个示例。如图10所示，在步骤1026-1中，利用第一级分类器对图像块序列进行分类，以确定该图像块序列中是否含有目标的异常行为。如果第一级分类器的输出结果为否，则确定该图像块序列中不含有目标的异常行为；否则将图像块序列输出到下一级分类器(步骤1026-2)。在步骤1026-2中，利用第二分类器对图像块序列进行分类，以确定该图像块序列中是否含有目标的异常行为。如果第二级分类器的输出结果为否，则确定该图像块序列中不含有目标的异常行为；否则将图像块序列输出到下一级分类器，依此类推，直到第N级分类器，如果第N级分类器的输出结果为否，则确定该图像块序列中不含有目标的异常行为；否则，确定图像块序列含有目标的异常行为(步骤1026-3)。
在图8所示的方法中利用串联的两级或更多级分类器来检测视频中的目标的异常行为。这种多级判断方法有利于减少目标异常行为检测中的误检，提高检测的准确度。
作为一个示例，串联的两级或更多级分类器中的每级分类器可以是一类支持矢量机，即串联的两级或更多级分类器可以是串行一类支持矢量机。在其他示例中，串联的两级或更多级分类器中的每级分类器还可以是采用其他训练方法训练得到的分类器，例如，可以是基于概率分布模型(概率分布模型可以包括但不限于混合高斯模型、隐马尔科夫模型和条件随机场等)等训练方法得到的分类器，这里不作详述。
仍参考图10，作为一个示例，在利用每级分类器对图像块进行分类之后、在利用下一级分类器进行进一步判断之前，可以包括判断图像块序列是否为噪声的步骤1026-4。在步骤1026-4中，判断所提取的图像块序列中目标的行为的持续时间是否超过一预定阈值(应理解，该阈值可以根据具体应用来预先确定，这里不作具体限定)，如果否，则将该图像块序列中目标的行为确定为不含异常行为的噪声，如果是，则将该图像块序列输出到下一级分类器进行进一步处理。作为另一示例，还可以对上一级分类器对图像块序列进行分类时在预定长度的时间段内(即在预定数量的图像帧内)出现报警的次数(即上一级分类器检测到不能被其描述的特征的次数)进行计数，当出现报警的次数小于一预定阈值(应理解，该阈值可以根据具体应用来预先确定，这里不作具体限定)时，则确定该图像块序列为噪声，否则，则将该图像块序列输出到下一级分类器进行进一步处理。
图9示出了根据另一实施例的检测视频中目标的异常行为的方法的示意性流程图。在该实施例中，将所监控的场景划分成多个子区域，并利用针对每个子区域的、包括串联的两级或更多级的分类器的检测器进行异常行为检测器。
如图9所示，该方法可以包括步骤930、922、932、924和926。
在步骤930中，获取有关视频段所针对的场景被划分成的多个子区域的位置的信息。例如，可以预先将训练用于每个子区域的串联的两级或更多级分类器时划分的子区域的位置和/或数量等信息存储在例如存储单元中，并在进行异常行为检测时从该存储单元中获取这些信息。
在步骤922中，从待检测的视频段中提取包含该视频段的每帧图像中与目标的运动范围对应的图像块的图像块序列。可以采用上文参考图1、图3或图5所描述的方法来提取视频段中与目标的运动范围对应的图像块序列，这里不再重复。
在步骤932中，确定所提取的图像块序列所在的子区域。
在步骤924中，计算图像块序列中的运动矢量特征。可以采用上文参考图1、图18或图4描述的方法来提取图像块序列中的运动矢量特征，这里也不再重复。可选地，步骤932与步骤924的顺序可以颠倒，即步骤924可以在步骤932之前进行。
在步骤926中，采用利用上文参考图4或7描述的方法或设备所生成的异常行为检测器来检测图像块序列中是否包含目标的异常行为。该异常行为检测器包括针对每个子区域的、串联的两级或更多级分类器。图16示出了这种异常行为检测器的结构的一个示例。如图16所示，假设监控场景被分割成M个子区域(M＞1)，则异常行为检测装置1505包括针对第一子区域的串联的两级或更多级分类器1505-1、针对第二子区域的串联的两级或更多级分类器1505-2、......、针对第M子区域的串联的两级或更多级分类器1505-M。根据在步骤932中确定的子区域来选择针对相应子区域的串联的两级或更多级分类器来检测图像块序列中是否包含目标的异常行为。可以采用上文参考图10所描述的方法进行检测，这里不再重复。
在图9所示的方法中，将监控场景划分成多个子区域，并利用针对每个子区域的两级或更多级分类器进行异常行为检测。每个子区域对应相应的串联的两级或更多级分类器。采用这种方法，能够有效地处理视频图像中由于透视变化而造成的类内差问题，从而进一步提高目标异常行为检测的准确率，减少误检。
作为一个示例，还可以根据分类器训练过程中在训练样本中提取的监控场景的运动统计信息对所提取的图像块序列进行预处理(如图9中所示的步骤936)。在步骤936中，根据场景的运动统计信息判断所提取的图像块序列是否为不含异常行为的噪声。如上文中所述，所述运动统计信息可以是从多个视频训练样本中提取的运动矢量特征的幅度的均值和方差等。在监控场景被划分成多个子区域的情况下，可以利用针对每个子区域的运动统计信息。这些运动统计信息可以存储于存储装置(未示出)中。图11示出了利用运动统计信息对图像块序列进行预处理的一个具体示例。如图11所示，在步骤1136-1中，计算图像块序列的运动矢量特征的幅度的直方图。可以采用任何适当的方法来计算所述直方图，这里不作详述。然后，在步骤1136-2中根据所述直方图来计算幅度小于一预定的阈值th3(称为第三阈值)的运动矢量特征占所有运动矢量特征的比例T。作为一个示例，th3＝均值+n1×方差。这里所述的均值和方差即在检测器生成阶段从多个视频训练样本中提取的运动矢量特征的幅度的均值和方差。n1为常数，其数值可以根据具体应用来预先确定，这里不作限定。在步骤1136-3中，判断比例T是否大于一预定阈值th4(称为第四阈值，应理解，该第四阈值可以根据具体应用来预先确定，这里不作具体限定)，若否，则确定该图像块序列不含异常行为；否则，则进行下一步处理，即利用相应的串联的两级或更多级分类器对图像块序列进行处理。利用这样的运动统计信息对图像块序列进行预处理，可以滤除噪声，从而进一步提高检测的效率。
图12示出了利用运动统计信息的另一示例。如图12所示，在步骤1226中利用串联的两级或更多级分类器对图像块序列进行检测，该步骤1226与上文描述的步骤826或926或图10所示的方法相似，这里不再重复。在步骤1238中，计算图像块序列中运动矢量特征的幅度大于一预定的阈值th5(称为第五阈值)的区域。作为一个示例，th5＝均值+n1×方差。这里所述的均值和方差即在检测器生成阶段从多个视频训练样本中提取的运动矢量特征的幅度的均值和方差。n1为常数，其数值可以根据具体应用来预先确定，这里不作限定。然后，在步骤1240中对图像块序列进行连通域分析并计算运动矢量特征的幅度大于th5的最大区域的面积S。之后，在步骤1242中，判断S是否大于一预定阈值th6(称为第六阈值。应理解，该第四阈值可以根据具体应用来预先确定，这里不作具体限定)，如果S大于th6或者步骤1226中确定图像块序列中包含目标的异常行为，则确定图像块序列包含目标的异常行为；否则，则确定图像块序列中不含目标的异常行为。利用这样的运动统计信息对图像块序列进行进一步处理，可以进一步提高检测的准确率，减少误检。
再次参考图9，作为一个示例，检测视频中目标的异常行为的方法还可以包括对目标分类的步骤(如图中的虚线框934所示)。以待检测目标是人为例，可以在步骤934中确定图像块序列中的行为是否人的行为，如果是，则对该图像块序列进行下一步处理，如果不是，则丢弃该图像块序列。可以采用任何适当的方法来进行步骤934的目标分类处理。例如，可以根据图像块所在区域的大小来判断该行为是否为人的行为，对于大小明显不同的目标(如人、车辆、动物等)，可以采用这种方法。又如，还可以采用Paul Viola等人的文章“Rapid Object Detection Using a BoostedCascade of Simple Features”(CVPR，2001年)中描述的人检测方法，这里不作详述。
下面参考图13-17来描述本公开的用于检测视频中目标的异常行为的设备的实施例。
图13是根据本公开的一个实施例的用于检测视频中目标的异常行为的设备。
如图13所示，该设备1300可以包括提取装置1301、特征计算装置1303和异常行为检测装置1305。
提取装置1301在待检测的视频段中提取包含所述视频段的每帧图像中与目标的运动范围对应的图像块的图像块序列。提取装置1301可以采用上文参考图1、图3或图5所描述的方法来提取视频段中与目标的运动范围对应的图像块序列，这里不再重复。
特征计算装置1303计算所述图像块序列中的运动矢量特征。特征计算装置1303可以采用上文参考图1、图18或图4描述的方法来提取图像块序列中的运动矢量特征，这里也不再重复。
异常行为检测装置1305用于利用所述运动示例特征来检测图像块序列中是否包括异常行为。图14示出了该异常行为检测装置1305的结构的一个示例。如图14所示，异常行为检测装置1305包括串联的N级分类器：第一级分类器1305-1、第二级分类器1305-2、......、第N级分类器1305-N。N≥2。所提取的图像块序列及运动矢量特征被逐级输入所述两级或更多级分类器，如果前一级分类器判断所述图像块序列中出现异常行为，则所述图像块序列被输入到下一级分类器，直到最后一级分类器。异常行为检测装置1305可以采用参考图10所描述的方法进行检测，这里不再重复。
图13所示的设备包括串联的两级或更多级分类器，用于检测视频中的目标的异常行为。这种多级检测设备有利于减少目标异常行为检测中的误检，提高检测的准确度。
作为一个示例，每级分类器1305-i(i＝1，2，...，N)可以是一类支持矢量机，即异常行为检测装置1305可以包括串行一类支持矢量机。在其他示例中，每级分类器还可以是采用其他训练方法训练得到的分类器，例如，可以是基于概率分布模型(概率分布模型可以包括但不限于混合高斯模型、隐马尔科夫模型和条件随机场等)等训练方法得到的分类器，这里不作详述。
图15示出了根据另一实施例的用于检测视频中目标的异常行为的设备。
如图15所示，除了提取装置1501、特征计算装置1503和异常行为检测装置1505之外，该设备1500还包括分割信息获取装置1507和定位装置1506。
分割信息获取装置1507用于获取有关视频段所针对的场景被划分成的多个子区域的位置信息。例如，可以预先将训练用于每个子区域的串联的两级或更多级分类器时划分的子区域的位置和数量等信息存储在例如存储单元中，分割信息获取装置1507可以从该存储单元中获取这些信息。异常行为检测装置1505可以包括针对每个子区域的、串联的两级或更多级分类器。图16示出了这种异常行为检测装置的结构的一个示例。如图16所示，假设监控场景被分割成M个子区域(M＞1)，则异常行为检测装置1505可以包括针对第一子区域的串联的两级或更多级分类器1505-1、针对第二子区域的串联的两级或更多级分类器1505-2、......、针对第M子区域的串联的两级或更多级分类器1505-M。在划分场景的子区域时，子区域的位置和数量应与所采用的异常行为检测装置1505的结构对应，使得M个子区域与M个串联的两级或更多级分类器1505-i(i＝1，...，M，M＞1)一一对应。
提取装置1501在待检测的视频段中提取包含所述视频段的每帧图像中与目标的运动范围对应的图像块的图像块序列。提取装置1501可以采用上文参考图1、图3或图5所描述的方法来提取视频段中与目标的运动范围对应的图像块序列，这里不再重复。
特征计算装置1503计算所提取的图像块序列中的运动矢量特征。特征计算装置1503可以采用上文参考图1、图18或图4描述的方法来提取图像块序列中的运动矢量特征，这里也不再重复。
定位装置1506用于确定所提取的图像块序列位于那一个子区域。从而将图像块序列和特征矢量特征输入到异常行为检测装置1505中的相应的串联的两级或更多级分类器1505-i(i＝1，...，M，M＞1)。每个串联的两级或更多级分类器1505-i具有如图14所示的结构，包括N级分类器(N≥2)。
图15所示的设备将监控场景划分成多个子区域，并利用针对每个子区域的两级或更多级分类器进行异常行为检测。每个子区域对应相应的串联的两级或更多级分类器。采用这种设备，能够有效地处理视频图像中由于透视变化而造成的类内差问题，从而进一步提高目标异常行为检测的准确率，减少误检。
图17示出了根据本公开另一实施例的检测视频中目标的异常行为的设备的结构。设备1700与图13所示的设备1300的结构相似，不同之处在于，设备1700还包括噪声去除装置1709。
提取装置1701、特征计算装置1703、异常行为检测装置1705的结构和功能可以分别与提取装置1301、特征计算装置1303、异常行为检测装置1305相似，这里不再重复。
噪声去除装置1709可以根据视频段所对应的场景的运动统计信息对提取装置1701所提取的图像块序列进行预处理。作为一个示例，噪声去除装置1709根据场景的运动统计信息判断所提取的图像块序列是否为不含异常行为的噪声。如上文中所述，所述运动统计信息可以是从多个视频训练样本中提取的运动矢量特征的幅度的均值和方差等。在监控场景被划分成多个子区域的情况下，可以利用针对每个子区域的运动统计信息。这些运动统计信息可以存储于存储装置(未示出)中。噪声去除装置1709可以采用图11所示的利用运动统计信息对图像块序列进行预处理的方法进行预处理，这里不再重复。利用这样的运动统计信息对图像块序列进行预处理，可以滤除噪声，从而进一步提高检测的效率。
作为另一矢量，噪声去除装置1709还可以采用图12所示的方法进行处理。具体地，在异常行为检测装置1705利用串联的两级或更多级分类器对图像块序列进行检测之后，噪声去除装置1709利用图12所示的步骤1238、1240和1242所示的方法对图像块序列进行进一步的处理，这里不再重复。利用这样的运动统计信息对图像块序列进行进一步处理，可以进一步提高检测的准确率，减少误检。
作为另一示例，噪声去除装置1709还可以判断图像块序列是否为噪声。具体地，噪声去除装置1709判断所提取的图像块序列中目标的行为的持续时间是否超过一预定阈值(应理解，该阈值可以根据具体应用来预先确定，这里不作具体限定)，如果否，则将该图像块序列中目标的行为确定为不含异常行为的噪声。作为另一示例，噪声去除装置1709还可以对上一级分类器对图像块序列进行分类时在预定长度的时间段内(即在预定数量的图像帧内)出现报警的次数(即上一级分类器检测到不能被其描述的特征的次数)进行计数，当出现报警的次数小于一预定阈值(应理解，该阈值可以根据具体应用来预先确定，这里不作具体限定)时，则确定该图像块序列为噪声。例如，噪声去除装置1709可以在异常行为检测装置1705利用每级分类器对图像块进行分类之后、在利用下一级分类器进行进一步判断之前进行上述处理。
作为另一示例，上述检测视频中目标的异常行为的设备中的噪声去除装置1709还可以进行目标分类处理。以待检测目标是人为例，噪声去除装置1709可以确定图像块序列中的行为是否人的行为，如果是，则对该图像块序列进行下一步处理，如果不是，则丢弃该图像块序列。可以采用任何适当的方法来进行目标分类处理。例如，可以根据图像块所在区域的大小来判断该行为是否为人的行为，对于大小明显不同的目标(如人、车辆、动物等)，可以采用这种方法。又如，还可以采用Paul Viola等人的文章“Rapid Object Detection Using a Boosted Cascade of SimpleFeatures”(CVPR，2001年)中描述的人检测方法，这里不作详述。
根据本公开的实施例的用于检测视频中的目标异常行为的方法和设备可以应用于在安装有监控设备(如摄像头)的任何场合，特别是那些对安全要求敏感的场合，如机场、社区、银行、停车场、军事基地等。
应理解，上述实施例和示例是示例性的，而不是穷举性的，本公开不应被视为局限于任何具体的实施例或示例。在上述实施例和示例中，采用了“第一”、“第二”、“第三”等表述(例如第一阈值、第二阈值等)。本领域的普通技术人员应理解，上述表述只是为了对术语作文字上的区分，而并非表示其顺序或任何其他限定。另外，在上述实施例和示例中，采用数字标记来表示方法的步骤或设备的模块。本领域的普通技术人员应理解，这些数字标记只是为了对这些步骤或模块作文字上的区分，而并非表示其顺序或任何其他限定。
作为一个示例，上述方法的各个步骤以及上述设备的各个组成模块和/或单元可以实施为软件、固件、硬件或其组合。作为一个示例，在通过软件或固件实现的情况下，可以从存储介质或网络向具有专用硬件结构的计算机(例如图19所示的通用计算机1900)安装构成用于实施上述方法的软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。
在图19中，中央处理单元(CPU)1901根据只读存储器(ROM)1902中存储的程序或从存储部分1908加载到随机存取存储器(RAM)1903的程序执行各种处理。在RAM 1903中，也根据需要存储当CPU 1901执行各种处理等等时所需的数据。CPU 1901、ROM 1902和RAM 1903经由总线1904彼此连接。输入/输出接口1905也连接到总线1904。
下述部件连接到输入/输出接口1905：输入部分1906(包括键盘、鼠标等等)、输出部分1907(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分1908(包括硬盘等)、通信部分1909(包括网络接口卡比如LAN卡、调制解调器等)。通信部分1909经由网络比如因特网执行通信处理。根据需要，驱动器1910也可连接到输入/输出接口1905。可拆卸介质1911比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1910上，使得从中读出的计算机程序根据需要被安装到存储部分1908中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1911安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图19所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1911。可拆卸介质1911的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1902、存储部分1908中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
本公开还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本公开实施例的方法。
相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本公开的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
在上面对本公开具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以用相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
此外，本公开的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本公开的技术范围构成限制。
尽管上面已经通过对本公开的具体实施例的描述对本公开进行了披露，但是，应该理解，上述的所有实施例和示例均是示例性的，而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本公开的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本公开的保护范围内。

Claims (20)

1.一种生成检测器的设备，所述检测器用于检测视频中目标的异常行为，所述生成检测器的设备包括：
提取装置，用于在多个视频样本中的每个视频样本中提取图像块序列，该图像块序列包含该视频样本的每帧图像中的与目标的运动范围对应的图像块；
特征计算装置，用于计算从每个视频样本中提取的图像块序列中的运动矢量特征；及
训练装置，用于利用从所述多个视频样本中提取的多个图像块序列以及所计算的运动矢量特征来训练第一级分类器，利用训练得到的第一级分类器对所述多个图像块序列进行分类，并利用所述多个图像块序列中被所述第一级分类器确定为含有目标的异常行为的图像块序列来训练下一级分类器，直到得到两级或更多级分类器，所述两级或更多级分类器串联以形成检测目标的异常行为的检测器。
2.根据权利要求1所述的生成检测器的设备，其中，所述提取装置被配置用于通过以下从每个视频样本中提取图像块序列：
构建该视频样本的运动历史图像；
根据所述运动历史图像进行连通域分析，以获得目标的运动范围；及
提取所述视频样本的每帧图像中与该运动范围对应的图像块，形成所述图像块序列。
3.根据权利要求1所述的生成检测器的设备，其中，所述两级或更多级分类器中的每一级分类器为一类支持矢量机。
4.根据权利要求1所述的生成检测器的设备，还包括分割装置，该分割装置用于将所述视频样本所针对的场景划分成多个子区域，
其中，所述训练装置被配置用于确定所提取的每个图像块序列所对应的子区域，并针对每个子区域来生成用于检测该子区域中的目标的异常行为的检测器。
5.一种检测视频中目标的异常行为的设备，包括：
提取装置，用于在待检测的视频段中提取图像块序列，所述图像块序列包含所述视频段的每帧图像中与目标的运动范围对应的图像块；
特征计算装置，用于计算所述图像块序列中的运动矢量特征；及
异常行为检测装置，该异常行为检测装置包括串联的两级或更多级分类器，每级分类器用于检测目标的异常行为，其中，所述图像块序列及所述运动矢量特征被逐级输入所述两级或更多级分类器，如果前一级分类器判断所述图像块序列中出现异常行为，则所述图像块序列被输入到下一级分类器，直到最后一级分类器。
6.根据权利要求5所述的检测视频中目标的异常行为的设备，其中，所述提取装置被配置用于通过以下来提取所述图像块序列：
构建所述视频段的运动历史图像；
根据所述运动历史图像进行连通域分析，以获得目标的运动范围；及
提取所述视频段的每帧图像中与该运动范围对应的图像块，形成所述图像块序列。
7.根据权利要求5所述的检测视频中目标的异常行为的设备，其中，所述两级或更多级分类器中的每一级分类器为一类支持矢量机。
8.根据权利要求5所述的检测视频中目标的异常行为的设备，还包括分割信息获取装置和定位装置，该分割信息获取装置用于获取所述视频段所针对的场景被划分成的多个子区域的位置信息，该定位装置用于确定所提取的图像块序列所对应的子区域，
其中，所述异常行为检测装置包括针对每个子区域的、串联的两级或更多级分类器。
9.根据权利要求5所述的检测视频中目标的异常行为的设备，还包括噪声去除装置，该噪声去除装置用于判断所提取的图像块序列中目标的行为的持续时间是否超过第二阈值，如果否，则将该图像块序列中目标的行为确定为不含异常行为的噪声。
10.根据权利要求5所述的检测视频中目标的异常行为的设备，还包括噪声去除装置，该噪声去除装置被配置为：根据所述图像块序列的运动矢量特征的幅度的直方图来计算幅度小于第三阈值的运动矢量特征与所有运动矢量特征的比例，如果所述比例大于或等于第四阈值，则判断所提取的图像块序列为不含异常行为的噪声。
11.据权利要求10所述的检测视频中目标的异常行为的设备，其中，所述第三阈值满足下列等式：
th3＝均值+n1×方差
其中，th3表示所述第三阈值，所述均值和方差分别为从多个视频样本中提取的运动矢量特征的均值和方差，n1为常数。
12.根据权利要求5所述的检测视频中目标的异常行为的设备，还包括噪声去除装置，该噪声去除装置被配置为：从所述图像块序列中提取运动矢量特征的幅度大于第五阈值的区域，进行连通域分析并计算运动矢量特征的幅度大于所述第五阈值的最大区域的面积，如果所述面积小于或等于第六阈值，则判断所提取的图像块序列为不含异常行为的噪声。
13.据权利要求12所述的检测视频中目标的异常行为的设备，其中，所述第五阈值满足下列等式：
th5＝均值+n1×方差
其中，th5表示所述第五阈值，所述均值和方差分别为从多个视频样本中提取的运动矢量特征的均值和方差，n1为常数。
14.一种生成检测器的方法，所述检测器用于检测视频中目标的异常行为，所述生成检测器的方法包括：
在多个视频样本中的每个视频样本中提取图像块序列，该图像块序列包含该视频样本的每帧图像中的与目标的运动范围对应的图像块；
计算从每个视频样本中提取的图像块序列中的运动矢量特征；及
利用从所述多个视频样本中提取的多个图像块序列以及所计算的运动矢量特征来训练第一级分类器；利用训练得到的第一级分类器对所述多个图像块序列进行分类并利用所述多个图像块序列中被所述第一级分类器确定为含有目标的异常行为的图像块序列来训练下一级分类器，直到得到两级或更多级分类器，
其中，所述两级或更多级分类器串联以形成检测目标的异常行为的检测器。
15.根据权利要求14所述的生成检测器的方法，其中，从每个视频样本中提取图像块序列包括：
构建该视频样本的运动历史图像；
根据所述运动历史图像进行连通域分析，以获得目标的运动范围；及
提取所述视频样本的每帧图像中与该运动范围对应的图像块，形成所述图像块序列。
16.根据权利要求14所述的生成检测器的方法，其中，所述两级或更多级分类器中的每一级分类器为一类支持矢量机。
17.根据权利要求14所述的生成检测器的方法，还包括：将所述视频样本所针对的场景划分成多个子区域，并且
其中，在提取每个图像块序列之后，所述方法还包括：确定每个图像块序列所对应的子区域，并且
其中，针对每个子区域来生成用于检测该子区域中的目标的异常行为的检测器。
18.根据权利要求14所述的生成检测器的方法，还包括：根据从所述多个视频样本中提取的运动矢量特征来计算所对应的场景的运动统计信息。
19.根据权利要求14所述的生成检测器的方法，其中，对于训练得到的前一级分类器确定为含有目标的异常行为的一个或更多个图像块序列中的每一个，判断该图像块序列中目标的行为的持续时间是否超过第一阈值，如果否，则将该图像块序列中目标的行为确定为不含异常行为的噪声。
20.一种检测视频中目标的异常行为的方法，包括：
在待检测的视频段中提取图像块序列，所述图像块序列包含所述视频段的每帧图像中与目标的运动范围对应的图像块；
计算所述图像块序列中的运动矢量特征；及
将所述图像块序列及所述运动矢量特征逐级输入串联的两级或更多级分类器，其中，每级分类器能够检测目标的异常行为，并且其中，如果前一级分类器判断所述图像块序列中出现异常行为，则所述图像块序列被输入到下一级分类器，直到最后一级分类器。
CN2011101668952A 2011-06-13 2011-06-13 异常行为检测设备和方法及生成该检测设备的设备和方法 Pending CN102831442A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2011101668952A CN102831442A (zh) 2011-06-13 2011-06-13 异常行为检测设备和方法及生成该检测设备的设备和方法
US13/477,330 US20120314064A1 (en) 2011-06-13 2012-05-22 Abnormal behavior detecting apparatus and method thereof, and video monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011101668952A CN102831442A (zh) 2011-06-13 2011-06-13 异常行为检测设备和方法及生成该检测设备的设备和方法

Publications (1)

Publication Number Publication Date
CN102831442A true CN102831442A (zh) 2012-12-19

Family

ID=47292861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101668952A Pending CN102831442A (zh) 2011-06-13 2011-06-13 异常行为检测设备和方法及生成该检测设备的设备和方法

Country Status (2)

Country Link
US (1) US20120314064A1 (zh)
CN (1) CN102831442A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390278A (zh) * 2013-07-23 2013-11-13 中国科学技术大学 一种视频异常行为检测系统
CN103646406A (zh) * 2013-12-18 2014-03-19 中安消技术有限公司 一种基于视频的运动模式检测方法及其装置
CN104346802A (zh) * 2013-08-05 2015-02-11 浙江大华技术股份有限公司 一种人员离岗监控方法及设备
CN104881675A (zh) * 2015-05-04 2015-09-02 北京奇艺世纪科技有限公司 一种视频场景的识别方法和装置
CN105279365A (zh) * 2014-06-05 2016-01-27 三菱电机株式会社 用于学习异常检测的样本的方法
CN106056106A (zh) * 2016-07-22 2016-10-26 内蒙古农业大学 一种草原放牧绵羊牧食行为检测系统及其检测方法
CN103646406B (zh) * 2013-12-18 2016-11-30 中安消技术有限公司 一种基于视频的运动模式检测方法及装置
CN106339667A (zh) * 2016-08-15 2017-01-18 北京大学 一种视频异常事件在线检测方法及装置
CN107632291A (zh) * 2017-08-18 2018-01-26 上海无线电设备研究所 一种基于极化雷达抗角反射器干扰的方法
CN107797831A (zh) * 2017-11-14 2018-03-13 广东欧珀移动通信有限公司 后台应用清理方法、装置、存储介质及电子设备
CN108108745A (zh) * 2016-11-23 2018-06-01 财团法人工业技术研究院 分类方法、分类模块及计算机程序产品
CN110086860A (zh) * 2019-04-19 2019-08-02 武汉大学 一种物联网大数据环境下的数据异常检测方法及装置
CN110391955A (zh) * 2019-07-22 2019-10-29 平安科技（深圳）有限公司 网络数据预处理方法、装置、设备及可读存储介质
CN110519565A (zh) * 2019-08-27 2019-11-29 北京轨道交通路网管理有限公司 监控方法及装置、存储介质、处理器
CN110619620A (zh) * 2018-06-04 2019-12-27 杭州海康威视数字技术股份有限公司 导致表面缺陷的异常定位方法、装置、系统及电子设备
CN111382606A (zh) * 2018-12-28 2020-07-07 富士通株式会社 摔倒检测方法、摔倒检测装置和电子设备
CN114155555A (zh) * 2021-12-02 2022-03-08 北京中科智易科技有限公司 人体行为人工智能判断系统和方法

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9260122B2 (en) * 2012-06-06 2016-02-16 International Business Machines Corporation Multisensor evidence integration and optimization in object inspection
JP6297822B2 (ja) * 2013-11-19 2018-03-20 ルネサスエレクトロニクス株式会社 検知装置、検知システム及び検知方法
CN105338362B (zh) * 2014-05-26 2018-10-19 富士通株式会社 运动目标检测方法和运动目标检测装置
EP3029937B1 (en) * 2014-12-03 2016-11-16 Axis AB Method and encoder for video encoding of a sequence of frames
US9715622B2 (en) * 2014-12-30 2017-07-25 Cognizant Technology Solutions India Pvt. Ltd. System and method for predicting neurological disorders
CN105611233A (zh) * 2015-12-18 2016-05-25 航天恒星科技有限公司 一种静态场景在线视频监控方法
CN105718857B (zh) * 2016-01-13 2019-06-04 兴唐通信科技有限公司 一种人体异常行为检测方法及系统
US10445582B2 (en) 2016-12-20 2019-10-15 Canon Kabushiki Kaisha Tree structured CRF with unary potential function using action unit features of other segments as context feature
TW201904265A (zh) * 2017-03-31 2019-01-16 加拿大商艾維吉隆股份有限公司 異常運動偵測方法及系統
CN109255360B (zh) * 2017-07-12 2021-04-02 杭州海康威视数字技术股份有限公司 一种目标分类方法、装置及系统
CN107358555A (zh) * 2017-07-14 2017-11-17 安徽智星交通科技股份有限公司 教学监管方法及系统
CN108133188B (zh) * 2017-12-22 2021-12-21 武汉理工大学 一种基于运动历史图像与卷积神经网络的行为识别方法
WO2019144141A1 (en) * 2018-01-22 2019-07-25 UNIVERSITY OF VIRGINIA PATENT FOUNDATION d/b/a UNIVERSITY OF VIRGINIA LICENSING & VENTURE System and method for automated detection of neurological deficits
CN108805002B (zh) * 2018-04-11 2022-03-01 杭州电子科技大学 基于深度学习和动态聚类的监控视频异常事件检测方法
CN108846844B (zh) * 2018-04-13 2022-02-08 上海大学 一种基于海天线的海面目标检测方法
CN109359519B (zh) * 2018-09-04 2021-12-07 杭州电子科技大学 一种基于深度学习的视频异常行为检测方法
CN109948424A (zh) * 2019-01-22 2019-06-28 四川大学 一种基于加速度运动特征描述子的群体异常行为检测方法
CN109902575B (zh) * 2019-01-24 2024-03-15 平安科技（深圳）有限公司 基于无人驾驶车辆的防拐卖方法、装置及相关设备
CN111860030A (zh) * 2019-04-24 2020-10-30 杭州海康威视数字技术股份有限公司 行为检测方法、装置、设备及存储介质
CN110490078B (zh) * 2019-07-18 2024-05-03 平安科技（深圳）有限公司 监控视频处理方法、装置、计算机设备和存储介质
CN112241673B (zh) * 2019-07-19 2022-11-22 浙江商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质
CN112395921B (zh) * 2019-08-16 2024-06-18 杭州海康威视数字技术股份有限公司 异常行为检测方法、装置及系统
US11132585B2 (en) * 2019-12-17 2021-09-28 Robert Bosch Gmbh System and method for detecting abnormal passenger behavior in autonomous vehicles
CN111401296B (zh) * 2020-04-02 2023-09-29 浙江大华技术股份有限公司 一种行为分析方法、设备及装置
CN111401308B (zh) * 2020-04-08 2023-03-24 蚌埠学院 一种基于光流效应的鱼类行为视频识别方法
CN112149618B (zh) * 2020-10-14 2022-09-09 紫清智行科技(北京)有限公司 适用于巡检车的行人异常行为检测方法与装置
CN112329614A (zh) * 2020-11-04 2021-02-05 湖北工业大学 一种异常事件检测方法及系统
CN112329656B (zh) * 2020-11-10 2022-05-10 广西大学 一种视频流中人体动作关键帧的特征提取方法
DE102021202790A1 (de) 2021-03-23 2022-09-29 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Insassenzustandsüberwachung in einem Kraftfahrzeug
CN113705370B (zh) * 2021-08-09 2023-06-30 百度在线网络技术（北京）有限公司 直播间违规行为的检测方法及装置、电子设备和存储介质
CN114219833B (zh) * 2021-12-06 2023-04-07 汉朗科技(北京)有限责任公司 一种水上水下计算机视觉综合溺水判断系统
CN115171328B (zh) * 2022-06-30 2023-11-10 国网北京市电力公司 基于视频压缩编码的烟火识别方法、装置、设备及介质
CN115424211B (zh) * 2022-09-30 2023-05-23 星宠王国(北京)科技有限公司 一种基于大数据的文明养犬终端运营方法、装置及终端
CN116430831B (zh) * 2023-04-26 2023-10-31 宁夏五谷丰生物科技发展有限公司 应用于食用油生产控制系统的数据异常监控方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6665342B1 (en) * 1999-07-02 2003-12-16 International Business Machines Corporation System and method for producing a still image representation of a motion video
CN101477626A (zh) * 2009-01-16 2009-07-08 清华大学 一种在复杂场景的视频中进行人体头肩检测的方法
CN101655914A (zh) * 2008-08-18 2010-02-24 索尼（中国）有限公司 训练装置、训练方法及检测方法
CN101814149A (zh) * 2010-05-10 2010-08-25 华中科技大学 一种基于在线学习的自适应级联分类器训练方法
CN101872418A (zh) * 2010-05-28 2010-10-27 电子科技大学 基于群体环境异常行为的检测方法
CN101996400A (zh) * 2009-08-19 2011-03-30 索尼株式会社 更新目标检测器的方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
JP4415198B2 (ja) * 2007-08-30 2010-02-17 カシオ計算機株式会社 画像合成装置及びプログラム
US8218818B2 (en) * 2009-09-01 2012-07-10 Behavioral Recognition Systems, Inc. Foreground object tracking
US8180105B2 (en) * 2009-09-17 2012-05-15 Behavioral Recognition Systems, Inc. Classifier anomalies for observed behaviors in a video surveillance system
US20110205359A1 (en) * 2010-02-19 2011-08-25 Panasonic Corporation Video surveillance system
IL204436A (en) * 2010-03-11 2016-03-31 Deutsche Telekom Ag A system and method for remote control of online TV by waving hands

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6665342B1 (en) * 1999-07-02 2003-12-16 International Business Machines Corporation System and method for producing a still image representation of a motion video
CN101655914A (zh) * 2008-08-18 2010-02-24 索尼（中国）有限公司 训练装置、训练方法及检测方法
CN101477626A (zh) * 2009-01-16 2009-07-08 清华大学 一种在复杂场景的视频中进行人体头肩检测的方法
CN101996400A (zh) * 2009-08-19 2011-03-30 索尼株式会社 更新目标检测器的方法和装置
CN101814149A (zh) * 2010-05-10 2010-08-25 华中科技大学 一种基于在线学习的自适应级联分类器训练方法
CN101872418A (zh) * 2010-05-28 2010-10-27 电子科技大学 基于群体环境异常行为的检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KYOKO SUDO ET AL: "Detecting the Degree of Anomal in Security Video", 《MVA 2007 IAPR CONFERENCE ON MACHINE VISION APPLICATIONS》 *
高浩军 等: "基于背景重建的序列图像车辆目标检测方法", 《扬州大学学报（自然科学版）》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390278A (zh) * 2013-07-23 2013-11-13 中国科学技术大学 一种视频异常行为检测系统
CN103390278B (zh) * 2013-07-23 2016-03-09 中国科学技术大学 一种视频异常行为检测系统
CN104346802A (zh) * 2013-08-05 2015-02-11 浙江大华技术股份有限公司 一种人员离岗监控方法及设备
CN104346802B (zh) * 2013-08-05 2018-02-16 浙江大华技术股份有限公司 一种人员离岗监控方法及设备
CN103646406A (zh) * 2013-12-18 2014-03-19 中安消技术有限公司 一种基于视频的运动模式检测方法及其装置
CN103646406B (zh) * 2013-12-18 2016-11-30 中安消技术有限公司 一种基于视频的运动模式检测方法及装置
US9779361B2 (en) 2014-06-05 2017-10-03 Mitsubishi Electric Research Laboratories, Inc. Method for learning exemplars for anomaly detection
CN105279365A (zh) * 2014-06-05 2016-01-27 三菱电机株式会社 用于学习异常检测的样本的方法
CN105279365B (zh) * 2014-06-05 2018-01-23 三菱电机株式会社 用于学习异常检测的样本的方法
CN104881675A (zh) * 2015-05-04 2015-09-02 北京奇艺世纪科技有限公司 一种视频场景的识别方法和装置
CN106056106B (zh) * 2016-07-22 2021-10-26 内蒙古农业大学 一种草原放牧绵羊牧食行为检测系统及其检测方法
CN106056106A (zh) * 2016-07-22 2016-10-26 内蒙古农业大学 一种草原放牧绵羊牧食行为检测系统及其检测方法
CN106339667A (zh) * 2016-08-15 2017-01-18 北京大学 一种视频异常事件在线检测方法及装置
CN106339667B (zh) * 2016-08-15 2019-05-28 北京大学 一种视频异常事件在线检测方法及装置
CN108108745A (zh) * 2016-11-23 2018-06-01 财团法人工业技术研究院 分类方法、分类模块及计算机程序产品
CN107632291A (zh) * 2017-08-18 2018-01-26 上海无线电设备研究所 一种基于极化雷达抗角反射器干扰的方法
CN107797831A (zh) * 2017-11-14 2018-03-13 广东欧珀移动通信有限公司 后台应用清理方法、装置、存储介质及电子设备
CN107797831B (zh) * 2017-11-14 2021-06-01 Oppo广东移动通信有限公司 后台应用清理方法、装置、存储介质及电子设备
CN110619620B (zh) * 2018-06-04 2022-04-05 杭州海康威视数字技术股份有限公司 导致表面缺陷的异常定位方法、装置、系统及电子设备
CN110619620A (zh) * 2018-06-04 2019-12-27 杭州海康威视数字技术股份有限公司 导致表面缺陷的异常定位方法、装置、系统及电子设备
CN111382606A (zh) * 2018-12-28 2020-07-07 富士通株式会社 摔倒检测方法、摔倒检测装置和电子设备
CN110086860A (zh) * 2019-04-19 2019-08-02 武汉大学 一种物联网大数据环境下的数据异常检测方法及装置
CN110086860B (zh) * 2019-04-19 2020-09-08 武汉大学 一种物联网大数据环境下的数据异常检测方法及装置
CN110391955A (zh) * 2019-07-22 2019-10-29 平安科技（深圳）有限公司 网络数据预处理方法、装置、设备及可读存储介质
CN110391955B (zh) * 2019-07-22 2022-04-12 平安科技（深圳）有限公司 网络数据预处理方法、装置、设备及可读存储介质
CN110519565A (zh) * 2019-08-27 2019-11-29 北京轨道交通路网管理有限公司 监控方法及装置、存储介质、处理器
CN114155555A (zh) * 2021-12-02 2022-03-08 北京中科智易科技有限公司 人体行为人工智能判断系统和方法
CN114155555B (zh) * 2021-12-02 2022-06-10 北京中科智易科技有限公司 人体行为人工智能判断系统和方法

Also Published As

Publication number Publication date
US20120314064A1 (en) 2012-12-13

Similar Documents

Publication Publication Date Title
CN102831442A (zh) 异常行为检测设备和方法及生成该检测设备的设备和方法
CN107330372B (zh) 一种基于视频的人群密度与异常行为检测系统的分析方法
CN108230364B (zh) 一种基于神经网络的前景物体运动状态分析方法
CN102063614B (zh) 一种安防监控中遗留物品的检测方法及装置
CN108647649B (zh) 一种视频中异常行为的检测方法
CN110991283A (zh) 重识别及训练数据获取方法、装置、电子设备及存储介质
KR102217253B1 (ko) 행동패턴 분석 장치 및 방법
CN101727672A (zh) 一种物体滞留/偷窃事件的检测、跟踪、识别方法
Cui et al. Abnormal event detection in traffic video surveillance based on local features
CN103745230A (zh) 一种自适应群体异常行为分析方法
CN109446989A (zh) 人群聚集检测方法、装置及存储介质
CN103679696A (zh) 基于图像金字塔的自适应图像处理设备和方法
CN110334602B (zh) 一种基于卷积神经网络的人流量统计方法
Gong et al. Local distinguishability aggrandizing network for human anomaly detection
CN103577795A (zh) 检测设备和方法、检测器生成设备和方法及监控系统
Malhi et al. Vision based intelligent traffic management system
CN105809954A (zh) 交通事件检测方法以及系统
CN115661698A (zh) 扶梯乘客异常行为检测方法、系统、电子设备及存储介质
CN103049749A (zh) 在栅格遮挡下的人体再识别方法
CN103093183A (zh) 分类器生成装置和方法、视频检测装置和方法及视频监控系统
Ghasemi et al. A real-time multiple vehicle classification and tracking system with occlusion handling
Rao et al. Abnormal activity detection in video sequences using learnt probability densities
CN106384089A (zh) 基于终生学习的人体可靠检测方法
CN109389048B (zh) 一种监控视频中的行人检测与跟踪方法
Chen et al. A pedestrian detection and tracking system based on video processing technology

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121219

WD01 Invention patent application deemed withdrawn after publication