CN102782734A - 视频监视系统 - Google Patents

视频监视系统 Download PDF

Info

Publication number
CN102782734A
CN102782734A CN2010800642018A CN201080064201A CN102782734A CN 102782734 A CN102782734 A CN 102782734A CN 2010800642018 A CN2010800642018 A CN 2010800642018A CN 201080064201 A CN201080064201 A CN 201080064201A CN 102782734 A CN102782734 A CN 102782734A
Authority
CN
China
Prior art keywords
vector
data structure
motion
score
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800642018A
Other languages
English (en)
Inventor
李国柱
哈桑·蒂穆钦·厄兹代米尔
施项君
刘礼斌
朱男洙
余鹃
刘军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102782734A publication Critical patent/CN102782734A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/285Analysis of motion using a sequence of stereo image pairs
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19676Temporary storage, e.g. cyclic memory, buffer storage on pre-alarm

Abstract

公开了一种视频监视系统。该系统包括:存储多个模型的模型数据库和存储新近观测的轨迹的多个向量的向量数据库。该系统包括:模型建立模块,建立对应于当前轨迹数据结构的运动数据的新运动模型。该系统生成具有运动数据和异常得分的当前轨迹数据结构。该系统还包括:数据库清除模块,被配置成基于向量的子集和当前轨迹数据结构之间的相似性的测量,确定最类似于当前轨迹数据结构的向量的子集。数据库清除模块被进一步配置成基于子集向量中的向量的量和向量的子集的最近行为,用新运动模型替换模型数据库中的运动模型中的一个。

Description

视频监视系统
技术领域
本公开涉及一种视频监视系统,其自适应地更新模型,用于确定异常行为检测的存在。
背景技术
比以往任何时候更是如此,安全问题上升到国家重视的水平。为了确保人身财产安全,在危险区域或场所监控非常重要。传统上,保安人员可以监控场所。例如,在机场,安全官员可以监控安全检验点,安全检验点通常被建立来允许人从出口走出大门区域并且通过金属检测器和行李箱扫描仪进入大门区域。可以想象,如果保安人员暂时停止注意出口,则安全威胁就可能通过出口进入大门区域。一旦实现,当机场保安人员试图定位安全威胁时,这可能导致巨大延迟。而且,要被监控的每个场所都必须由至少一个保安人员监控,这增加安全成本。
监控场所的其他手段是以单个摄像机或多个摄像机监控一个场所或多个场所,并且使安全人员监控视频讯号。然而,由于保安人员观察视频输入可能分心或观测非相关视频讯号时可能忽略相关视频讯号,所以该方法还引入人为错误的问题。
然而,随着视频监视系统变得更加自动化,现在使用预定义运动模型来监控场所。例如,安全顾问可以定义并且硬编码被标记为正常的轨迹,并且观测的运动可以与硬编码的轨迹进行比较,以确定所观测的运动是否异常。然而,该方法要求正常行为的状态定义。从而,在自动化视频监视系统技术方面需要用于定义运动模型和检测异常行为的自动化和/或自适应装置。
本部分提供了关于本公开的不必然是现有技术的背景信息。
发明内容
在一个方面中,公开了一种视频监视系统,其具有生成对应于摄像机的视场的图像数据的摄像机。该系统包括模型数据库,其存储定义先前观测的对象的运动的多个运动模型。该系统还包括当前轨迹数据结构,其具有运动数据和至少一个异常得分,运动数据定义在摄像机的视场中移动的、观测的当前对象的时空轨迹,并且异常得分指示当前轨迹数据结构相对于多个运动模型的异常程度。该系统进一步包括:向量数据库,其存储新近观测的轨迹的多个向量,每个向量对应于由摄像机新近观测的对象的运动;以及模型建立模块,其建立对应于当前轨迹数据结构的运动数据的新运动模型。该系统还包括:数据库清除模块,其被配置成接收当前轨迹数据结构,并且基于向量的子集和当前轨迹数据结构之间的相似性的测量,从向量数据库中的多个向量中确定最类似于当前轨迹数据结构的特征的向量的子集。另外,数据库清除模块进一步被配置成,基于向量子集中的向量的量和从观测到向量的子集的新近观测的轨迹起的时间量,用新运动模型替换模型数据库中的运动模型中的一个。
本部分提供了本公开的概述,并且不是其全部范围或其所有特征的全面公开。根据在此提供的说明,更多范围的适用范围将变得明显。在本发明内容中的描述和特定示例仅为了说明目的,并且不打算限制本公开的范围。
附图说明
图1是示出示例性视频监视系统的框图;
图2是示出监视系统的示例性组件的框图;
图3A是示出摄像机的示例性视场(FOV)的图;
图3B是示出摄像机的示例性FOV的图,在FOV上覆盖网格。
图4是示例性轨迹向量的图;
图5是示出用于给轨迹评分的示例性方法的流程图;
图6是示出元数据处理模块的示例性组件的框图;
图7是示出被分为方向八分圆的数据单元的图;
图8是示出异常行为检测模块的示例性组件的框图;
图9是示出动态模型数据库和特征向量数据库的示例性实施例的图;
图10是示出数据库清除模块的示例性组件的框图;
图11是示出示例性哈尔(Haar)变换的图;
图12是示出用于匹配轨迹的特征向量的示例性方法的流程图;
图13是示出元数据处理模块的可选实施例的示例性组件的框图;
图14是示出用于确定异常值的存在的示例性方法的流程图;
图15是示出用于确定边界框尺寸中存在异常值的示例性方法的流程图;
图16是示出用于确定被观测的速度中存在异常值的示例性方法的流程图;
图17是示出用于确定在被观测的加速度中存在异常值的示例性方法的流程图;
图18是示出用于执行异常值确认的方法的状态图;
图19是示出哈尔滤波器的示例性组件的框图;
图20A-图20C是示出增加和减小单元的八分圆的计数的多种手段的图形;以及
图21是示出用于执行系数平滑的部分哈尔变换的图。
在此绘制的附图仅用于所选实施例的说明目的并且不是所有都可能实现,并且不用于限制本公开的范围。贯穿图中的多个附图,对应的附图标记指示对应的部件。
具体实施方式
在此描述了自动视频监视系统的实施例。该系统接收视频流或者图像数据,并且检测被观测到正在摄像机的视场(FOV)内移动的对象,此后称为运动对象。处理图像数据,并且分析运动对象的位置。基于运动对象的分析生成运动对象的轨迹。然后,使用至少一个评分引擎对运动对象的轨迹评分,并且可以通过分级评分引擎来评分。评分引擎使用异常行为模型作为参考对被观测的轨迹进行评分。基于评分引擎的结果,可以检测异常行为。
正常行为模型定义对应于期望的或接受的行为的对象的轨迹或运动模式,或者可能通常不上升到警报事件的等级的行为。例如,在正在监控停车场入口的情况下,车辆停在大门处短时间并且然后以较慢速率朝向停车场移动被认为是“正常”行为。
然而,可以想到,在特定场所中,被认为是正常行为的事件在一天内可能改变多次。而且,在可能不期望特定轨迹的情况下,可能发生特殊事件,可能仍然是正常的。例如,在监控学校大楼的门口的情况下。通常,在上课期间,从大楼出来的例如学生的对象的被观测轨迹可以被分类为异常。然而,如果在特定时间,学生的班级为了特定课程走到外面,则学生的轨迹实际上是正常的。随着更多学生被观测到走出大楼时,系统可以获悉该轨迹并且随后存储对应于该轨迹的新正常运动模型。然而,当事件是特殊场合时,新的正常运动模型被从系统清除,由于这样的轨迹将不再正常。该新的正常运动模型将由对应于更新近观测的轨迹的更新运动模型替换。可以想到,系统基于所观测的类似轨迹的量和类似轨迹的最近行为判断什么是“正常”行为。一旦对于正常运动模型或其函数的类似轨迹的最近行为和量中的至少一个的指示符下降到阈值或被观测的轨迹的另一个集合的指示符之下,则特定的正常运动模型就可以被清除或从系统消失。可以想到,这不仅允许异常行为的准确检测,而且还可以最小化系统要求的存储量。
参考图1,示出示例性自动视频监视系统10。该系统可以包括感测设备,例如,摄像机12a-12n、以及监视模块20。将想到,感测设备可以是其他类型的监视摄像机,诸如,红外摄像机等。为了说明的目的,感测设备在此被称为摄像机。而且,单个摄像机12a的参考可以扩展至摄像机12b-12n。摄像机12a-12n监控场所并且生成关于摄像机的视场(FOV)和在FOV内观测的对象的图像数据,并且将图像数据传送至监视模块20。监视模块20可以被配置为处理图像数据,以确定运动事件是否发生。运动事件是在摄像机12a的FOV中何时观测到运动对象。一旦检测到运动对象,就可以通过监视模块20生成对应于运动对象的轨迹的运动的被观测的轨迹。监视模块20然后可以使用至少一个评分引擎对轨迹评分,其中,评分引擎使用正常运动模型作为参考。如果确定被观测的轨迹是异常的,则可以生成警报通知。然后可以将被观测轨迹的特征,包括对应于被观测的轨迹的一个或多个得分,与其他新近观测的轨迹的特征进行比较。如果相对大数量的新近观测的轨迹被类似地评分,则监视模块20更新正常运动模型,以包括对应于新近观测的轨迹的新的正常运动模型。监视模块20还可以管理视频保留策略,由此监视模块20决定哪个视频应该被存储以及哪个视频应该从系统清除。
图2更详细地示出监视模块20的示例性组件。摄像机12生成对应于捕捉的视频的图像数据。示例性摄像机12包括元数据生成模块28,其生成对应于图像数据的元数据。可以预见,元数据生成模块28可以可选地包括在监视模块20中。元数据处理模块30接收元数据并且确定运动对象的被观测的轨迹。将想到,可以在摄像机的FOV中观测多于一个运动对象,并且从而可以通过元数据处理模块30生成多个被观测的轨迹。
通过异常行为检测模块32接收被观测的轨迹。然后异常行为检测模块32将轨迹传送至一个或多个评分引擎34。评分引擎34从动态模型数据库44检索正常运动模型,并且相对于正常运动模型对被观测的轨迹评分。在一些实施例中,评分引擎是分级的,如随后论述的。各个评分引擎34将得分返回至异常行为检测模块32。然后异常行为检测模块32分析得分,以确定是否观测到异常行为。如果是,则警报事件可以被传送至警报生成模块36。而且,正常或异常的被观测的轨迹被传送至数据库清除模块38。
数据库更新模块38自适应地学习和分析新近观测的轨迹,以确定是否发生了运动对象的运动模式的改变,例如运动对象的大致方向的改变。如果是,则数据库更新模块38生成对应于新的流模式的正常运动模型,并且将新的正常运动模型存储在动态模型数据库44中。而且,如果对应于正常运动模型的轨迹不再被观测到,则数据库更新模块38从动态模型数据库40中清除该模型。
将想到,监视模块20可以被具体化为嵌入诸如RAM、ROM、CD-ROM、硬盘驱动器等的计算机可读介质中的计算机可读指令。而且,指令可以由处理器与视频监视系统相关联地执行。而且,监视模块的组件或子组件中的一些可以被具体化为专用硬件。
元数据生成模块28接收图像数据,并且生成对应于图像数据的元数据。元数据的示例可以包括但不限于:运动对象标识符、运动对象周围的边界框、边界框上的特定点,例如左上角或中心点的(x,y)坐标、边界框的高度和宽度,以及帧号或时间戳。图3A示出摄像机FOV中的边界框310的示例。可以看出,左上角被用作边界框的参考点或位置。图中还示出了可以被提取的元数据的示例,包括边界框310的高度和宽度、(x,y)坐标。而且,FOV可以被划分为多个单元。图3B示出被划分为5×5网格,即,25个单元的示例性FOV。作为参考,还示出了边界框和运动对象。当FOV被划分为网格时,运动对象的位置可以由运动对象或边界框上的特定点所在的单元来参考。而且,用于摄像机的特定单元或区域的时间序列的元数据可以被格式化为数据立方体。另外,每个单元的数据立方体可以包含关于被观测的运动的统计和当运动对象通过这些单元时从它们获得的外观采样。
可以想到,每次检测到运动事件,都可以使用时间戳或帧号对运动对象特征在时间上排序。在每个事件,可以对于特定的帧和时间戳产生元数据。例如,以下可以表示对应于运动对象的元数据,其中,根据以下<t,x,y,h,w,obj_id>格式化时间戳元数据:
<t15,5,4,2,1>,<t2,4,4,4,2,1>,...<t5,1,1,4,2,1>
可以看出,在五个采样中,具有为1的id标签的运动对象从点(5,5)移动到点(1,1),其中,该运动对象的边界框为四个单位高和两个单位宽。可以看出,运动对象由一组时空坐标定义。还将想到,从现在已知或者随后开发的图像数据生成元数据的任何装置都可以由元数据生成模块28来使用以生成元数据。
元数据生成模块28将元数据传送至元数据处理模块30。元数据处理模块30从元数据生成用于运动对象的轨迹向量。例如,元数据处理模块30可以接收关于特定运动对象的多个数据立方体。从加时间戳的或另外的顺序的元数据,元数据处理模块30可以产生表示运动对象的运动的向量。表示轨迹的向量可以包括但不限于在特定时间边界框的位置、运动对象的速度、运动对象的加速度,并且可以具有用于在特定时间点轨迹的各种得分的字段。
图4示出轨迹的示例性向量表示。可以从向量看出,运动对象的轨迹可以容易地通过到评分引擎34,并且当轨迹被评分时,由SE指定的字段被设置为相应得分,由此指示异常程度。虽然公开了表示轨迹的向量,但是将想到,可以使用其他类型的数据结构表示轨迹。
元数据处理模块30还可以被配置成从元数据去除异常值。例如,如果所接收的元数据与其余元数据不一致,则元数据处理模块30确定所接收的元数据是异常值并且在轨迹数据中标记。
图6示出元数据处理模块30的示例性实施例的组件。元数据处理模块30从元数据生成模块28接收元数据。向量生成模块60接收元数据并且确定将生成的向量的量。例如,如果两个对象在单个场景中移动,则可以生成两个向量。向量生成模块60可以具有存储多达预定量的轨迹向量的向量缓冲器。而且,随着向量中的条目的量等于具有在此观测的运动对象的帧或加时间戳的帧的量时,向量生成模块60可以分配用于对应于运动对象的每个向量的合适量的存储器。在实时地执行事件向量生成的情况下,当接收新元数据时,向量生成模块可以分配额外的存储器用于轨迹中的新的点。向量生成模块60还将位置数据和时间数据插入轨迹向量中。从元数据数据立方体确定位置数据。可以在实际(x,y)坐标中或通过标识运动对象被观测的单元来列出位置数据。
速度计算模块62计算在多个时间采样处轨迹的速度。将想到,在每个时间部分的速度都具有两个分量,速度向量的方向和幅度。幅度涉及运动对象的速率。在tcurr处对于轨迹来说,速度向量的幅度或运动对象的速率可以计算为:
V ( t curr ) = ( ( x ( t cuur ) - x ( t cuur - 1 ) ) 2 + ( ( y ( t cuur ) - y ( t cuur - 1 ) ) 2 ( t cuur - t cuur - 1 ) - - - ( 1 )
或者,速度向量的幅度可以在其各个分量中表示,即:
Vx ( t curr ) = ( ( x ( t cuur ) - x ( t cuur - 1 ) ) ( t cuur - t cuur - 1 ) Vy ( t curr ) = ( ( y ( t cuur ) - y ( t cuur - 1 ) ) ( t cuur - t cuur - 1 ) - - - ( 2 )
将进一步想到,如果使用数据单元表示,即,运动对象的位置由在其中找到该运动对象的数据单元定义,则对应于该数据单元的预定(x,y)值可以代替实际位置。将想到,所计算的速度与摄像机的FOV有关,例如,每秒的像素。从而,尽管两个对象可以以相同或相似的速率移动的事实,但是更远的对象将比接近摄像机的对象看起来更慢。尽管预见可以使用相对速率,但是可以进行变换,使得速率是对象的实际速率或其近似。例如,在FOV的底部的运动对象可以缩放第一较小标量,在FOV的中部的运动对象可以缩放第二中间标量,并且接近FOV的顶部的对象可以缩放第三较大标量。在该示例中,假设在FOV的底部的对象比FOV的中部中的那些更近,FOV中部中的那些比接近FOV的顶部的那些更近。进一步预见,可以实施计算相对或实际速度的其他手段。
速度向量的方法可以通过将每个数据单元划分为例如8个八分圆的预定子单元而在数据单元中表示关于其方向。图7示出被分为8个八分圆1-8的数据单元70的示例。取决于tcurr和tcurr+1采样之间的轨迹的方向,可以通过确定轨迹可以落入哪个八分圆来近似方向。例如,在接近NNE的任何方向,例如,在基本向上方向并且稍微向右,上行进的轨迹可以被给予单个轨迹,如由附图标记72所示。从而,用于数据单元的任何速度向量可以由数据单元八分圆标识符和幅度表示。
加速度计算模块64以与速度计算模块基本相同的方式操作。代替位置值,可以使用多种时间采样处的速度向量的幅度。从而,可以通过下式来计算加速度:
A ( t curr ) = ( ( Vx ( t cuur ) - Vx ( t cuur - 1 ) ) 2 + ( ( Vy ( t cuur ) - Vy ( t cuur - 1 ) ) 2 ( t cuur - t cuur - 1 ) - - - ( 3 )
或者,加速度向量的幅度可以在其各个分量中表示,即: Ax ( t curr ) = ( ( Vx ( t cuur ) - Vx ( t cuur - 1 ) ) ( t cuur - t cuur - 1 ) Ay ( t curr ) = ( ( Vy ( t cuur ) - Vy ( t cuur - 1 ) ) ( t cuur - t cuur - 1 ) - - - ( 4 )
关于方向,加速度向量的方向可以与速度向量的方向相同。然而,将理解,如果运动对象减速或转向,则加速度向量的方向不同于速度向量。
异常值检测模块66接收轨迹向量并且在多种时间采样处读取运动对象的值。异常值是与数据集合的剩余部分不一致的数据采样。例如,如果运动对象在采样t1和t3中的FOV的顶部左拐角处被检测到,但是在采样t2位于底部右拐角中,则异常值检测模块66可以确定对于时间t2的时间采样是异常值。将预见,可以在异常值检测模块66中实现检测异常值的任何手段。而且,如果检测到异常值,则异常值检测模块可以基于其他数据采样来插值运动对象的位置。这可以例如通过对直接在异常值数据点之前和直接在异常值数据点之后的数据点处的位置求平均得出。还可以使用插值数据的其他手段。例如,在插值中可以使用在前和在后数据点的加速度和速度,以得到更准确位置估计。
注意,元数据处理模块30可以通过其他手段,包括以下论述的哈尔滤波器,计算运动对象的速度和加速度。另外,还可以实时地对轨迹向量评分,如以下论述的。在这些实施例中,当运动事件发生时,元数据处理模块30确定当前数据,并且将更新的轨迹向量传递至异常行为检测模块32。
元数据处理模块30可以进一步配置为生成用于每个单元的数据立方体。数据立方体是多维阵列,其中,阵列中的每个元素对应于不同的时间。在特定单元中观测的每条运动数据都在对应的时间。从而,在单元的数据立方体中,可以记录随着时间观测的多种运动对象的速度和加速度。而且,数据立方体可以包含运动对象的期望属性,诸如,最小边界框的尺寸。
然后,对应于图像数据中被观测的运动对象的被观测的轨迹向量被传送至异常行为检测模块32。异常行为检测模块32接收被观测的轨迹向量,并且将轨迹向量传送至一个或多个评分引擎。评分引擎返回对于轨迹的异常得分。异常得分可以对应于轨迹向量中的特定事件,例如,对于轨迹向量中的每个时间戳,异常得分对应于运动对象的运动,直到时间可以返回为止。例如,对于每个时间戳,达到特定时间戳的轨迹向量由多种评分引擎评分。从而,如果轨迹向量开始为被评分为正常轨迹,则得分相对低,直到对象的运动偏离正常运动模型为止,在该点处,异常得分增加。
图5示出可以通过异常行为检测模块32执行的示例性方法。异常行为检测模块32接收被观测的轨迹向量,如在步骤501中所示。被观测的轨迹向量可以包括表示在特定时间点轨迹的异常得分的多个未定义字段。从而,异常行为检测模块32将轨迹向量传送到多个评分引擎,如在步骤503处参考的。以下更详细地描述的评分引擎对多个时间点处的轨迹评分,并且将得分记录在轨迹字段的合适字段中。
可以想到,一旦轨迹向量通过评分引擎被评分,则异常行为检测模块32将接收被评分的轨迹向量,如在步骤505处所示,并且然后可以确定是否检测到任何异常行为。该确定可以通过检验关于评分引擎的轨迹向量中的每行来实现。对于每行,如果连续的或接近连续的运行的得分具有大于预定阈值的异常得分,则可以假定在此连续运行期间,行为是异常的。如果检测到异常行为,则评分引擎可以可选地启动子评分引擎,如在步骤511处所示。
一旦轨迹向量通过评分引擎34并且可能子评分引擎评分,并且从一个或多个评分引擎34检测到异常行为,则异常行为检测模块32就可以基于异常得分对运动对象的轨迹分类,如在步骤509处所示。而且,异常行为检测模块32可以被配置成基于异常得分对轨迹向量的独立片段分类。
现在更详细地描述示例性异常行为检测模块32和示例性评分引擎。一旦位置、速度和加速度数据被计算,则异常行为检测模块32就从元数据处理模块30接收轨迹向量。图8示出异常行为检测模块30的示例性组件。异常行为检测模块的示例性组件包括与多个评分引擎通信的得分累积模块82和基于累积得分对运动对象行为分类的行为分类模块84。得分累积模块82将轨迹向量传送至多个评分引擎86a-n。每个评分引擎被配置成关于定义特定期望的或接受的行为的一个或多个正常运动模型来评估轨迹向量。评分引擎在每个时间采样处返回得分,其指示与一个或多个模型的符合程度。从而,具有16个条目的轨迹向量可以具有从每个评分引擎返回的16个得分。然而,将想到,不是每次条目都要求对应的得分。
评分引擎86a-n接收轨迹向量并且通过比较轨迹与存储在动态模型数据库44中的运动模型来对轨迹评分。如所述,评分引擎86a-n可以是分级的。超速评分引擎接收轨迹并且比较轨迹与定义“正常”行为的一个或多个模型。如果在轨迹中检测到超速,则轨迹可以被传送至多种子评分引擎,其所有都涉及检测不同类型的超速。例如,超速子评分引擎可以包括被配置成检测以下的评分引擎:突发超速、恒定加速度超速、长距离超速,或任何其他类型的超速。徘徊(wandering)子评分引擎可以检测闲逛或在周围停留。异常运动子评分引擎可以检测与交通流相反的运动、垂直于交通流的运动、之字形通过交通流,或交通中的U形转弯。在先前提交的申请中描述多种评分引擎,包括:美国专利申请序列号No.11/676,127,其通过引用结合于此。
为了给读者提供环境,将描述示例性超速评分引擎和突发超速评分引擎。超速评分引擎接收轨迹向量。例如,可以接收{…,[t(i-1),x(i-1),yi(-1),V(i-1),...],[ti,xi,yi,Vi,...])的轨迹。在该示例中,在时间t(i-1)和ti处对于同一对象的观测(当前帧和先前帧)包括在轨迹数据中。而且,轨迹数据可以包括在to,即,检测到对象的第一帧,开始的任何或所有观测。超速引擎然后从动态模型数据库44检索正常速度运动模型。虽然仅使用用于特定行为的单个模型描述超速评分引擎,但是评分引擎可以利用多个正常速度运动模型。从而,如果被观测的轨迹与至少一个模型匹配,即,当与特定正常运动模型相比时具有低的异常得分,则行为是正常的。如果得分都是异常的,则评分引擎可以以多种方式提供对于轨迹的得分,例如,平均异常得分、中间异常得分、最高异常得分或最低异常得分。
速度运动模型可以包含期望速度(μ)或期望速度分量(μx)和(μy)以及对于期望速度(σ)、(σx)和(σy)的标准差。使用速度分量,在ti处的原始超速得分(raw speeding score)可以通过以下计算:
RawSpeedingScore ( i ) = max { ( Vx ( i ) - &mu; x ) &sigma; , ( Vy ( i ) - &mu; y ) &sigma; } - - - ( 5 )
将想到,原始超速得分可以由取决于得分离kσ多远,其中例如k等于3,将原始超速得分映射到[0,1]之间的间隔的函数进一步处理。
第i帧的超速得分以多种方式确定。一个可能方法是确定时间窗的中间(median)得分。例如,第i帧的超速得分可以通过以下确定:
SpeedingScore(i)=median{RawSpeedingScore(i-k-1),...,RawSpeedingScore(i-1),
RawspeedingScore(i)}
                    (6)
再次,以上是确定超速得分的一种方式,并且构思确定超速得分和其他类型的得分的其他手段。
当分析轨迹时,每个时间戳或帧都具有与其相关的超速得分。一旦轨迹由例如超速评分引擎的一般评分引擎评分,评分引擎将检验对于轨迹的得分并且确定是否需要调用子评分引擎。从而,如果评分超速引擎检测出例如3的预定量得分大于阈值得分,则调用超速子评分引擎,包括例如突发超速评分引擎。
示例性突发超速评分引擎对时间窗内超出突发超速阈值的得分值的数量进行计数。例如,对于第j帧,突发超速评分引擎查看先前m个得分,例如5个,并且确定多少在阈值以上。接下来,突发超速引擎计算在窗口中在突发超速阈值以上的得分的比率,
BurstSpeedingScore(j)=count/window_size    (7)
其中,count是时间窗中的突发超速阈值以上的得分的量,并且window_size是突发超速得分的采样尺寸,即,m。在一些实施例中,可以通过计算得分的中值和与得分的中值的偏差的中值而不是计算标准差,从时间窗中的得分值提取突发超速阈值,并且健壮阈值可以被定义为“中值+偏差的中值”用于使阈值配置更容易。
超速引擎和突发超速引擎的以上说明被提供用于说明目的。将想到,对于超速评分引擎和突发超速子评分引擎构思其他实施方式。而且,可以在系统中实施任何类型的评分引擎和子评分引擎。
一旦评分引擎将它们各自的得分和子得分返回到异常行为检测模块32,异常行为检测模块32就可以对运动对象的行为分类。例如,如果运动对象具有有着不同类型的运动的三个不同片段,则轨迹可以被分类为<突发超速、徘徊、恒定加速度超速>,其指示运动对象首先在突发超速,然后在摄像机的FOV中徘徊,然后当其退出摄像机的FOV时其以恒定加速度加速。将想到,轨迹向量具有来自不同评分引擎和与其相关的子评分引擎的得分。从而,异常行为检测模型32读取轨迹向量的多种得分,并且基于特定片段的异常得分对轨迹向量的每个片段分类。如果特定片段具有非常高的超速得分,则该特定片段被分类为超速或其子分类。
一旦轨迹向量被评分,异常行为模块32传送并且数据库清除模块38接收被评分的轨迹向量,并且确定轨迹是否应该包括在动态模型数据库44中作为运动模型。数据库清除模块38被进一步配置成自适应地学习运动对象的时间流模式。当对应于相关时间流模式的模型可以通过数据库清除模块38生成并且存储在动态模型数据库44中时,异常行为检测模型36使用所学习的时间流模式准确地生成异常行为得分。
数据库清除模块38通过去除较旧不相关运动模型并且将较新的相关模型添加到动态模型数据库44中来管理动态模型数据库44。可以想到,在一天期间,可能被观测到多个轨迹并且在摄像机的FOV中观测的一般交通流可能改变。从而,特征向量数据库42存储新近观测的轨迹的特征向量。特征向量从新近观测的轨迹的轨迹向量的特定行被提取。在其他实施例中,特征向量数据库44可以存储新近观测的轨迹的实际轨迹向量。当具有类似特征向量或轨迹的大量轨迹被观测到时,数据库清除模块38可以在动态模型数据库44中添加对应于那些轨迹的新运动模型,并且如果达到模型的最大量,则模型清除模块38可以用新运动模型替换不太相关的正常运动模型。以下提供关于数据库清除模块38、动态模型数据库44以及特征向量数据库42的更多详情。
动态模型数据库44包含由评分引擎使用的多种正常运动模型。从而,在一些实施例中,动态模型数据库44具有用于每种类型的评分引擎的特定运动模型。例如,动态模型数据库44可以存储用于超速评分引擎的三个特定模型、用于徘徊评分引擎的三个特定模型,以及用于交通流评分引擎的三个特定模型。
而且,动态模型数据库44可以具有对于特定评分引擎可以在动态模型数据库44中存储的运动模型的量的上限。例如,动态模型数据库44可以限于仅存储三个用于超速评分引擎的速度模型。
另外,存储在动态模型数据库44中的每个模型都可以包括关联得分或特定模型如何与其他模型相比较的其他指示符。模型的关联得分是作为特征向量数据库42中的类似轨迹的量和那些轨迹的最近行为的函数的值。
图9示出动态模型数据库44和特征向量数据库42的示例性结构。动态模型数据库44存储用于超速评分引擎的模型和用于徘徊评分引擎的模型。如所述,其他评分引擎也可以具有存储在动态模型数据库44中的对应模型。存储在动态模型数据库44中的每个模型都具有模型数据92。在图中,示例性模型数据92被示出用于超速模型3。可以看出,还存在对应于模型的关联得分。以下将论述,当新模型被添加至动态模型数据库44时,如果用于特定评分引擎的最大量的模型已经存储在动态模型数据库44中,则新模型替换旧模型。模型的关联得分确定数据库清除模块38从动态模型数据库44清除模型的顺序。而且,动态模型数据库44还存储用于与模型匹配的最新近轨迹的时间戳,使得模型的关联得分可以被更新,如下所述。
特征向量数据库42存储新近观测的轨迹的特征向量,其中,特征向量的特征可以对应于轨迹向量的异常得分。当通过多种评分引擎和子评分引擎对轨迹评分时,可以对轨迹的得分向量执行特征提取。而且,轨迹的开始位置和轨迹的时间还可以包括在特征向量中。存储在特征向量数据库42中的特征向量由数据库清除模块38使用,以确定动态模型数据库44中的正常运动模型是否需要由新正常运动模型替换。这将在一组或一簇新近观测的轨迹具有高于动态模型数据库44中的模型之一的关联得分时发生。
图10示出示例性模型清除模块38的组件。模型清除模块38接收当前轨迹向量102,并且确定基于当前轨迹向量的新的运动模型是否替换动态模型数据库44中的运动模型之一。具体地,特征提取模型104接收当前轨迹并且对向量执行特征提取。然后,所提取的特征向量与存储在特征向量数据库42中的特征向量进行比较并且与其匹配。特征向量匹配模块106被配置成确定当前轨迹向量的特征向量是否类似于存储在特征向量数据库42中的新近观测的轨迹的一个或多个特征向量。然后关联得分计算器108计算该组类似特征向量的关联得分。数据库更新模块110接收关联得分并且将其与数据库中的模型的关联得分进行比较。如果是,则模型建立模块112基于当前轨迹向量生成运动模型,其然后被存储在动态模型数据库44中。所提取的特征向量被存储在特征向量数据库42中。
特征提取模块104接收当前轨迹向量并且通过对当前轨迹向量执行特征提取生成特征向量。在一些实施例中,对于对应于由特定评分引擎生成的得分的各行,即,轨迹向量的得分向量,执行特征提取。从而,如果系统具有10个评分和子评分引擎,则多达10个特征向量可以在特征提取模块104的每次迭代时生成。而且,特征提取模块104可以使轨迹向量的开始位置和时间与特征向量相关联。
将想到,特征提取模块104可以被配置成执行多种不同特征提取技术。一种技术是对当前轨迹向量的得分执行哈尔变换。为了对向量执行哈尔变换,输入向量应该具有2n阶的长度。如果轨迹向量不具有2n的长度,则其可以通过根据行中的多个得分来插值额外的元素或通过零-填充向量而被加长。
图11示出哈尔变换的示例。为了说明目的,示出长度8或23的向量。如将变得更加明显,当对向量执行哈尔变换时,向量的长度应该是固定长度。图11中的向量包含8个系数<a1,a2…,a8>。在三次迭代中执行哈尔变换,并且得到8个系数。第一次迭代取邻近元素的平均值和邻近元素之间的差值。可以看出,在第一次迭代之后列1具有A1和A2的平均值并且列2具有A3和A4的平均值,而列5具有(A1-A2)/2并且列6具有(A3-A4)/2。从图可以看出,在第一次迭代之后,等级0的列5-8中的系数分别落到在图表的底部第五、第六、第七和第八哈尔系数。第二次迭代计算邻近元素的平均值,但是仅在列1-4中,并且取邻近元素之间的差值。例如,在第二次迭代之后,列1中的结果是((a1+a2)+(a3+a4))/4并且列3中的结果是((a1+a2)-(a3+a4))/4。在第二次迭代之后,等级1的列3和列4中的系数落到在图表的底部处第三和第四哈尔系数。第三次迭代类似于第一次和第二次迭代,但是仅考虑来自等级2的系数,等级2的列1和列2。从而,在第三次迭代之后,列1中的结果是((a1+a2)+(a3+a4)+(a5+a6)+(a7+a8))/8,并且列2中的结果是((a1+a2)+(a3+a4)-(a5+a6)+(a7+a8))/8。列1和列2的结果落到图表的底部处的两个哈尔系数。
将想到,在一些实施例中,系统被配置成使得在每个运动事件,即,时间戳,可以生成多种数据和得分。在这些迭代之一中,特征提取模块104接收更新的向量并且对更新的数据执行哈尔变换。如所述,输入向量的长度是2n。可以想到,起先少数运动事件将具有有着小于2n的长度的轨迹向量。例如,如果n=3,则哈尔变换接收长度8的输入向量。然而,如果运动对象仅被检测7次,则轨迹向量仅具有长度7。在这些情况下,在执行哈尔变换之前,特征提取模块104插值轨迹的剩余得分,例如,可以基于先前7个得分插值第八个数据采样。将想到,可以使用任何插值技术。
而且,一旦轨迹向量的长度超过用于哈尔变换函数的输入长度,则特征提取模块104可以使用滑动窗口,回顾轨迹向量中的前2n个条目。从而,在对长度8的向量执行哈尔变换的示例中,在第九个采样被接收并且被评分之后,哈尔变换函数可以接收具有轨迹向量的第二至第九个得分实例的输入向量。在第十个之后,哈尔变换函数接收第三至第十个得分。
一旦对输入向量执行哈尔变换,特征提取模块就执行从哈尔系数的系数选择。将想到,例如系数1-4的最左系数是得分向量的较低频率分量,并且例如5-8的最右系数是频率向量的较高频率分量。从而,在以上提供的示例中,特征提取模块104选择前四个系数。然而,将想到,也可以选择其他系数。而且,如果哈尔变换函数接收较长向量,即,16或32个得分,则可以选择更多系数。
虽然以上关于单个得分向量进行了描述,但是将想到,可以对轨迹向量的一些或所有得分向量执行哈尔变换。例如,在每次迭代,可以对从超速评分引擎、徘徊评分引擎、交通流评分引擎以及一个或多个相应的子评分引擎生成的得分执行哈尔变换。
一旦执行特征提取,特征向量匹配模块106就使所提取的特征向量与特征向量数据库42中的先前评分的轨迹向量的特征向量匹配。特征匹配模块106确定在特征向量数据库中是否存在类似于所提取的特征向量的一个或多个特征向量。
识别类似特征向量的一种可能方式是对特征向量数据库42执行k-最接近邻居(K-NN)搜索。k-最接近邻居搜索算法接收所提取的特征向量作为输入,并且搜索特征向量数据库42,并且返回k-最靠近特征向量。将想到,使用诸如距离的相似性测量来确定“紧度(closeness)”。k-最接近邻居搜索确定所提取的特征向量和特征向量数据库42中的所有先前提取的特征向量之间的距离。然后k-最接近邻居搜索返回k-最靠近特征向量,并且还可以返回与每个所提取的特征向量的距离。虽然在一些实施例中返回的距离是所提取的特征向量和所选择的特征向量之间的欧几里得距离,但是将预见,还可以使用其他距离测量。然后特征向量匹配模块106可以确定是否k-返回的向量中的任何一个都在与所提取的特征向量的阈值距离内。距所提取的特征向量在阈值距离内的特征向量的子集然后可以被传送至关联得分计算器。
虽然构思了K-NN搜索算法,但是将理解,可以使用其他算法来识别类似轨迹。例如,k-均值聚类算法。在这样的实施例中,可以计算所提取的特征向量和相同聚类中的特征向量之间的距离。距所提取的特征向量在阈值距离内的那些向量可以包括在上述子集中。
一旦距所提取的特征向量在阈值距离内的向量的子集被识别,关联得分计算器108就可以确定特征向量的子集和所提取的特征向量的关联得分。当轨迹通过评分引擎被评分为“正常”时,关联得分计算器还更新动态模型数据库44中的模型的得分。例如,当轨迹被评分为正常时,关联计算器使用新轨迹和k-最新近轨迹计算对于模型的新的关联得分。而且,使得每个模型的关联得分是当前的,关联得分计算器还可以在数据库清除模块38的每个迭代时更新模型的得分。如将论述的,关联得分取决于经过的时间。从而,应该更新每个模型的关联得分,使得随着时间经过,关联得分准确地表示模型的关联。
如所述,关联得分是特征向量的子集与模型数据库中的模型相比较有多相关的测量,或者反之亦然。在一些实施例中,关联得分是向量的子集中的特征向量的量和那些特征向量的近因(recency),或者评分引擎与其关联得分正被计算的模型匹配的先前k个轨迹的近因的函数。
可以以多种方式实现关联得分函数。基本上,比起不太近的那些,函数给予更加新近的轨迹更大的权重。一种可能方式是计算模型的最近得分和密度得分。最近得分可以通过计算以下来计算:
ΔTmodel(i)=Tmodel(i)-Told    (8)
ΔTcurr_span=Tcurr-Told    (9)
RS mode l ( i ) = &Delta; T mode l ( i ) &Delta;T curr _ span - - - ( 10 )
其中,Tmodel(i)是最后使用模型的时间,Tcurr是当前时间,并Told是最近最少使用的模型最后使用的时间。将理解,最近得分可以由另一种类型的函数表达,诸如指数式衰减函数或S形函数。
密度得分可以通过使用以下来计算:
D S mode l ( i ) = D mode l ( i ) ( i ) D max - - - ( 11 )
其中,Dmodel(i)是特征向量数据库42中与最后轨迹匹配以与模型(i)匹配的特征向量的数量,并且其中,Dmax=k,其中,k是用于执行k-最接近邻居搜索的数量。
基于这两个得分,关联得分可以根据以下计算:
Relevancy_Scoremodel(i)=w1RSmodel(i)=w2DSmodel(i)    (12)
其中,权重w1和w2是给予每个得分的权重。
可以使用等式12对被观测的轨迹的关联得分评分,其中,新近得分是1,并且密度得分是与被观测的轨迹匹配的特征向量的数量除以k。
数据库更新模型110从关联得分计算器108接收所计算的关联得分。在轨迹与动态模型数据库中的模型匹配的实例中,数据库更新模型110简单地更新模型的关联得分,如由关联得分计算器108计算的。在当前轨迹被确定为异常的实例中,当前轨迹和最靠近向量的子集的关联得分将与动态模型数据库44中的模型的关联得分进行比较。如果所计算的关联得分高于动态模型数据库44中的一个或多个模型,则数据库更新模块110将用新模型替换具有最低关联得分的模型,其中,新模型通过模型建立模块112生成。在不分胜负的情况下,最近最少使用的模型可以被清除,或者具有最少量匹配特征向量的模型可以被去除。
而且,如果动态模型数据库44不包含用于特定评分引擎的最大量的模型,则新模型可以进入数据库,而不替换先前存在的模型。为了保证异常行为的模型不包括在动态模型数据库44中,在将新模型存储在动态模型数据库44中之前,数据库更新模块110可以要求子集的关联得分超过预定阈值。
示例性模型建立模块112接收当前轨迹102,并且生成将被存储在动态模型数据库44中的运动模型。模型建立模块112还接收一种类型的模型以生成,例如,将被用于超速评分引擎模型,然后模型建立模块112生成具有专用于超速评分引擎的数据的模型。将想到,模型建立取决于评分引擎的配置及其操作。模型建立的示例可以在美国专利公开号2008/0201116中找到。一旦模型建立模块112生成新模型,新模型就被传送至数据库更新模块110,数据库更新模块110然后将新模型存储在动态模型数据库44中。
在本公开的另一方面,监视系统被配置成通过去除异常值并且平滑数据来净化数据。在这些实施例中,元数据处理模块30可以进一步包括数据净化模块和哈尔滤波器。以下提供用于处理元数据的可选手段并且不旨在限于此。
图13包括元数据处理模块30的可选实施例。将预见,元数据处理模块30的可选实施例可以与上述元数据处理模块30可交换地使用。在可选实施例中,元数据处理模块30包括向量生成模块130、数据净化模块132、异常值检测模块134以及哈尔滤波器136。数据净化模块132被配置成检测从元数据生成模块28接收的异常位置数据,并且被进一步配置成标记位置数据的异常。数据净化模块132基于以下过滤位置数据中的突发噪声:1)在运动速度地图中记录的正常行为统计或2)相同轨迹的先前运动测量。运动速度地图是数据立方体的切片(slice),其中,切片的“宽度”对应于时间的量。与正常行为统计的正常分布的偏差水平被定义为异常值的西格玛水平,即,水平*σ,其中,σ是标准差。其还被认为是正被检测的异常值的置信水平。为了测试和验证目的,总结不同西格玛的异常值的数量的统计用于分析目的。为了性能优化,使用预滤波器过滤出运动数据中的正常点。对于每个数据点的西格玛水平被计算用于轨迹向量中的每个点。西格玛水平可以用于滤波和评分操作,以便折扣或调节得分的置信水平。数据净化模块132可以将处理后的位置数据保存到元数据位置缓冲器中。
在可选实施例中,元数据处理模块30还包括异常值检测模块134。图14示出可以用于执行异常值检测的示例性方法。在该特定实施例中,假设数据立方体中的最小边界框尺寸(高度和宽度)、x和y方向上的速度,以及x和y方向上的加速度遵循高斯分布。从而,如果上述六个变量之一具有远离平均值,例如,六西格玛的值,则轨迹的任何位置被确定为异常值。
在图中可以看出,在步骤1402接收用于运动对象的轨迹。异常值检测模块134首先计算边界框的尺寸的改变、对于轨迹的速度和加速度,如在步骤1404所示。如果没有改变很大,则轨迹被确定为正常,并且方法进行至步骤1420。然而,如果改变之一极大,则方法进行至步骤1406,其中,检索用于特定单元的数据立方体。在步骤1408计数在单元中观测的运动对象的量,并且在步骤1410与预订阈值相比较。如果单元中不存在足够数据,则计算轨迹的特征,如在步骤1412所示。在该情况下,来自轨迹的位置的简单平均被用于计算z-值,其根据以下被计算:
z = | x - &mu; | &sigma;
如果在数据立方体中存在足够数据,则特征将被计算用于数据立方体本身,如在1414处所示。图15-图17示出计算用于数据立方体中的特定类型的数据的异常值特征的示例性方法。在步骤1416,执行异常值确认。异常值确认根据六个确定的异常值特征,即,六个特征的z值,确定位置是否是异常值。在图18中所示的状态图可以被用于通过对异常值特征分类执行异常值确认。以下所示的表1提供用于多种异常值特征的分类。将想到,当在数据中发生跟踪误差或跳跃时,位置被标记为异常值。
  变量   正常   异常   高异常   跟踪误差
  Z(MBR_dW)   <2.0   (2.0,2.5)   (2.5,3.0)   >3.0
  Z(MBR_dH)   <2.0   (2.0,2.5)   (2.5,3.0)   >3.0
  Z(VELX)   <2.5   (2.5,4.0)   (4.0,6.0)   >6.0
  Z(VELY)   <2.5   (2.5,4.0)   (4.0,6.0)   >6.0
  Z(ACCX)   <2.5   (2.5,4.0)   (4.0,6.0)   >6.0
  Z(ACCY)   <2.5   (2.5,4.0)   (4.0,6.0)   >6.0
如所述,如果在数据立方体中存在足够数据,则特征将计算用于数据立方体本身。图15-图17示出用于确定数据立方体的特征的方法。图15-图17所有都基本包含相同步骤,所以图15的描述可以用于理解图16和图17。
在步骤1502处接收轨迹中的对象的位置。在步骤1504处,检索对应于该位置的数据立方体,并且在步骤1506处,检索数据立方体的计数,即,在给定时间段内多少轨迹通过单元。如果计数大于预定阈值,例如5,则方法进行至步骤1510,其中,计算在单元中观测的边界框的高度和宽度的平均值和标准差。然而,如果对于单元的计数小于预定阈值,则在步骤1512处,检索八个邻近单元的数据立方体。如果该单元和八个邻近单元的计数大于预定阈值,则计算或估计在那九个单元中观测的边界框的平均值和标准差,如在步骤1516中所示。然而,如果对于九个单元的计数小于5,则在步骤1518处,计算在轨迹中观测的边界框的高度和宽度的平均值和标准差。
在步骤1520,基于在步骤1510、1516和1518之一确定的平均值和标准差,计算边界框的高度和宽度的z得分。可以使用以下计算数据的z-得分,即,当前观测的运动对象的边界框的高度和宽度:
z ( BB _ H ) = | BB _ H - Avg _ H | max ( AVG _ H , std _ dev _ H )
z ( BB _ W ) = | BB _ W - Avg _ W | max ( AVG _ W , std _ dev _ W )
其中,z(BB_H)是当前观测的边界框的高度的z-值,并且z(BB_W)是当前观测的边界框的宽度的z-值。一旦被计算,z-值就被存储用于确认。
将想到,可以根据基本对应于图15的图16和图17中所示的方法计算观测的速度和轨迹的z-得分。如果在这些值被计算之前执行异常值检测,则计算速度和加速度的z-得分可以进一步要求运动对象的当前速度和加速度的计算。
在元数据处理模块30的可选实施例中还包括滤波器136。将预见,滤波器可以是卡尔曼滤波器、哈尔滤波器或任何其他类型的数据滤波器。为了说明的目的,假设搜哈尔滤波器136。
哈尔滤波器136提供自适应轨迹滤波,以减小由跟踪误差导致的运动数据中的非线性噪声的影响。为了在性能和码基减小方面优化设计,哈尔滤波器136被配置成对运动数据执行简单哈尔变换。哈尔滤波器136可以具有以下属性中的至少一个:
1.使用多个采样点生成轨迹向量中的更准确速度和加速度值以减小随机白噪声;
2.当在运动数据中检测到突发异常值时,使用更多数据点,以基于异常值置信西格玛测量计算宏观运动;
3.具有logN复杂度并且仅在二进制转换操作中涉及;
4.由哈尔滤波器136生成的估计点是基于由异常值西格玛的函数加权的输入的测量点和预测点的加权和;
5.产生光滑和保留形状的输出;以及
6.对于每个轨迹减少需要表示运动、速度和加速度的点的数量。
将想到,哈尔滤波器136对来自元数据位置缓冲器的数据操作,并且可以将滤波后并且平滑的数据输出到元数据位置缓冲器。
异常值检测模块134将异常值幅度传送至哈尔滤波器136,以控制异常值情况下的哈尔变换深度。哈尔滤波器136可以估计一级D系数,并且通过执行逆哈尔变换,哈尔滤波器136可以输出平滑的低级S系数。在速度和加速度估计中使用所估计的D系数。S系数在哈尔变换中是低频系数,并且D系数是高频系数。S系数通常涉及哈尔变换的求平均部分,而D系数通常涉及哈尔变换的求差部分。
图19示出示例性哈尔滤波器。哈尔滤波器包括第一哈尔变换模块190、第二哈尔变换模块192、第三哈尔变换模块194、D系数平滑模块196(示出三次),以及逆哈尔变换模块198(示出三次)。当接收第一哈尔变换模块190的S系数和平滑的D系数的第一集合时,逆哈尔变换模块198的输出产生轨迹的位置估计。当接收第二哈尔变换模块192的S系数和平滑后的D系数的第二集合时,逆哈尔变换模块198的输出产生轨迹的速度。当接收第三哈尔变换模块194的S系数和平滑后的D系数的第三集合时,逆哈尔变换模块198的输出产生轨迹的加速度。
将想到,哈尔变换模块190-194以类似于以上关于图11论述的哈尔变换的方式执行哈尔变换。注意,每个连续哈尔变换模块仅接收先前哈尔变换的D系数。从而,在每个连续哈尔变换模块中输入向量的大小减小了为2的因数。例如,如果第一哈尔变换模块接收32条向量,第二哈尔变换模块192将接收16条向量,并且第三哈尔变换模块194将接收8条向量。
第一哈尔变换模块190的输出是被传送至逆哈尔变换模块198的S系数和被传送至第二哈尔变换模块和D系数平滑模块的D系数。将想到,由第一哈尔变换模块190输出的D系数表示输入轨迹的速度的x和y分量。
第二哈尔变换模块192的输出是被传送至逆哈尔变换模块198的S系数和被传送至第三哈尔变换模块和D系数平滑模块196的D系数。将想到,由第二哈尔变换模块192输出的D系数表示输入轨迹的加速度的x和y分量。
第三哈尔变换模块194的输出是被传送至逆哈尔变换模块198的S系数和被传送至D系数平滑模块196的D系数。将想到,由第二哈尔变换模块194输出的D系数表示输入轨迹的加速度的改变的x和y分量。
从图可以看出,D系数还被传输至D系数平滑模块196。在D系数被平滑之后,S系数和平滑后的D系数被传送至逆哈尔变换模块198。逆哈尔变换模块198执行逆哈尔变换,以重新构建输入向量。可以想到,逆哈尔变换模块的结果对应于输入到相应的哈尔变换模块190-194的输入,但是将对所得到的S系数和平滑后的D系数执行。从而,来自第一哈尔变换模块190的S系数和对应的平滑后的D系数的逆哈尔变换表示轨迹的位置。来自第二哈尔变换模块192的S系数和对应的平滑后的D系数的逆哈尔变换表示轨迹的速度。来自第三哈尔变换模块194的S系数和对应的平滑后的D系数的逆哈尔变换表示轨迹的加速度。哈尔滤波器136的输出是轨迹向量的运动数据。
D平滑模块196被配置成从哈尔变换接收D系数并且对系数执行D平滑。D平滑模块196参考图21描述。图21示出哈尔变换210的多种等级。从图可以想到,未示出第三级系数,因为那些系数不要求执行D平滑。图的阴影部分表示D系数。为了说明的目的,D系数由D(等级,位置)表示,使得 D ( 1,0 ) = ( x ( 8 ) - x ( 7 ) 2 ) , D ( 1 , 1 ) = ( x ( 6 ) - x ( 5 ) 2 ) , D ( 2 , 0 ) = ( ( x ( 8 ) + x ( 7 ) ) - ( x ( 6 ) + x ( 5 ) ) 4 ) 等。使用图20的哈尔变换作为参考,D系数可以使用以下来平滑:
D(1,0).X=(D(2,0).XW1)/2+D(1,0).XW2
D(1,1).X=(D(2,0).XW1)/2+D(1,1).XW2
D(1,2).X=(D(2,1).XW1)/2+D(1,2).XW2
D(1,3).X=(D(2,1).XW1)/2+D(1,3).XW2
D(1,0).Y=(D(2,0).YW1)/2+D(1,0).YW2
D(1,1).Y=(D(2,0).YW1)/2+D(1,1).YW2
D(1,2).Y=(D(2,1).YW1)/2+D(1,2).YW2
D(1,3).Y=(D(2,1).YW1)/2+D(1,3).YW2
其中,W1和W2是预定权重。在一些实施例中,W1被设置为1/4,并且W2被设置为3/4。平滑的结果是被传送至逆哈尔变换模块198的平滑后的D系数。将想到,以上框架可以应用至D系数的更大或更小的集合。
逆哈尔变换模块198接收S系数和D系数,并且对所述系数执行逆哈尔变换。可以从图11可以看出,哈尔变换的系数从不同等级得到。逆哈尔变换开始于较低等级系数,即,S和D系数,并且对于先前等级的系数迭代求解,使得原始低等级系数可以从连续的较高等级系数来求解。例如,参考图11,逆哈尔变换模块198可以使用列0和列1中的系数的值来求解等级2系数的值。将想到,在示例的该迭代中,((a1+a2)+(a3+a4))的值和((a5+a6)+(a7+a8))的值可以被求解用于获知((a1+a2)+(a3+a4)+(a5+a6)+(a7+a8))/8是用于获得列0的系数的值的表达式,以及(((a1+a2)+(a3+a4))-((a5+a6)+(a7+a8)))/8是用于获得列1中的系数的值的表达式。将想到,使用等级2的值和列2和列3的系数,该逻辑被用于求解等级1值。使用等级1值和来自列4-7的系数,相同的逻辑可以被应用以求解等级0值。最后,使用等级0值,原始元素可以被求解。逆哈尔变换模块198的输出对应于提供系数的哈尔变换模块190-914的输入,但是由于D系数平滑,可能与它们不同。
哈尔滤波器136的输出轨迹在图像平面中保留了原始轨迹的形状、速度和方向。在每个点中保留了轨迹的时间间隔。
对于在远FOV中缓慢移动使得位置的准确度不足以准确地检测速度的运动对象,哈尔滤波器136使用多个点来生成轨迹点的低分辨率估计,以减少计算开销。所输出的下采样点在时间和空间中受限制。在时间域中,哈尔滤波器136在从最小时间默认值到最大时间默认值的范围内,例如,1.6秒,输出最小轨迹点。在空间域中,哈尔滤波器136在x或y方向上对于例如16个像素的尺寸的单元距离的默认值输出观测。输出决策基于时间和空间阈值。如果对象不移动,则时间阈值确保存在用于输出的最小速率。如果对象移动,则空间阈值确保当对象的位移相当大时一直产生输出。
异常值平滑可以是来自数据净化模块132的异常值检测指示符作为输入以决定需要计算所估计的轨迹点的点的范围。估计或插值轨迹点通过平滑轨迹中的大跳跃的效果来实现更高等级的准确度。为了执行平滑,哈尔滤波器136从较高等级D系数估计一些等级的D系数,并且然后执行哈尔逆变换以获得较低等级S或D系数的更好的估计。通常,异常值平滑处理可以包括两个操作:D系数平滑和哈尔逆变换。
哈尔滤波器136可以基于内部哈尔系数预测轨迹的进入点。例如,轨迹中即将到来的x坐标可以通过以下预测:
  Xp(i,Δt)=X(L,i-1)+V(L,i-1)*Δt
其中,X(L,i-1)是先前哈尔S系数,并且V(L,i-1)是先前哈尔D系数,并且Δt是时间的改变。L是哈尔金字塔中的等级。图11中示出哈尔金字塔的示例。哈尔金字塔包括系数以及哈尔变换的中间等级。为了减小计算负荷,基于异常值检测的幅度,即,z-值,可以实现哈尔变换深度的合适估计。当异常值幅度较高时,哈尔变换深度更深。预测还可以使用非线性曲线拟合技术。例如,使用插值技术,以下可以被用于预测Xp(i):
fh(t)=Curve_fitting(X(0,i-1),X(1,i-1)X(2,i-2))
在此,fx(t)例如是多项式函数
Figure BDA00002026455100291
并且Xp(i)=fx(ti),其中X(0,i-1)=X(t(i-1)),在t=t(i-1)
t = ( t ( i - 1 ) + t ( i - 2 ) 2 ) , X ( 1 , i - 1 ) = ( x ( t ( i - 1 ) ) + x ( t ( i - 2 ) ) 2 ) 并且
t = ( t ( i - 1 ) + t ( i - 2 ) + t ( i - 3 ) + t ( i - 4 ) 4 ) ,
X ( 2 , i - 1 ) = ( x ( t ( i - 1 ) ) + x ( t ( i - 2 ) ) + x ( t ( i - 3 ) ) + x ( t ( i - 4 ) ) 4 )
其中,X(0,i-1),X(1,i-1),X(2,i-1)是等级0、等级1、和等级2哈尔系数。例如,假设输入点坐标在X(i),则Z是X超速的值,并且W是自适应加权因数。Z值到W加权因数的函数映射如表1中所示列出。
  表1
  Z   L(预测的等级)   W
  0   0   1
  1   0   1
  2   0   1
  3   0   1
  3<z<6   Floor(4z/3-4)   2-z/3 or exp(3-z)
  >=6   4   0
  X(i)=Xp(i)(1-W)+Xm(i)W
其中,X(i)是用于哈尔变换金字塔的最终输入。以下是可选W计算表:
  Z-值   W
  Z<1   1
  1<=Z<2   0.5
  2<=Z<3   0.125
  3<=Z<4   0.06
  4<=Z<5   0.03
  5<=Z<6   0.01
  6<=Z   0
哈尔滤波器136可以被进一步配置成实现哈尔变换滑动窗口,其记录所有哈尔金字塔节点。该窗口可以通过阵列或另一种数据结构类型实现。在哈尔滤波器136接收32元素向量的情况下,最高等级是5。金字塔中的每个节点都可以由例如索引(等级,位置)的等级索引和位置索引访问。等级索引是0至4。因为其是滑动窗口,所以位置从0到上限改变。例如,对于等级0,位置从0到16改变。一旦位置经过16,其就重置为0。每个等级的最新索引都被保存在第二阵列中。
哈尔窗口的结构通过一维阵列实现。在一些实施例中,仅每个等级的最后两个节点保存在阵列中。阵列的索引根据以下表2被映射至哈尔金字塔。
Figure BDA00002026455100301
通过以该方式构建哈尔金字塔,哈尔金字塔中的点可以通过指定等级和位置而被访问。在以上提供的表中,存在五个等级,其中,等级4是最高的,并且每个等级的位置从0到1改变。作为参考,项D(等级,位置)将被用于代表特定等级和位置处的D系数,并且S(等级,位置)将被用于代表特定等级和位置处的S系数。
从node(等级,位置)的逆哈尔变换得到的两个点是:
S(level-1,2pos).x=S(level,pos).x+D(level,pos).x,pos=0,1,2,...
S(level-1,2pos).y=S(level,pos).y+D(level,pos).y,pos=0,1,2,…
S(level-1,2pos+1).x=S(level,pos).x-D(level,pos).x,pos=0,1,2,...
S(level-1,2pos+1).y=S(level,pos).y-D(level,pos).y,pos=0,1,2,...
如果没有D和S系数从先前等级改变,则来自较高等级节点的逆哈尔变换应该输出与较低等级节点中的S系数完全相同的结果。但是如果一个或多个高等级D系数改变,则在执行逆哈尔变换之后,较低等级S系数也改变。
所有以上操作都可以通过递归函数执行。该函数执行基于两个较低等级S系数pos1和pos2执行第n级哈尔变换、平滑和逆哈尔变换。表3中示出用于以上的伪码:
表3
1.获得curpos1<=S(level,pos),dcurpos1<=D(level,pos)。
2.使当前等级中的pos(位置)前进1,当必要时,回转。
3.执行两点哈尔变换以基于pos1和pos2更新node(等级,位置)。
4.如果level(等级)+1大于变换深度,则返回。
5.如果pos是奇数
5.1 curpos2<=S(lvel,pos),dcurpos2<=D(level,pos)。
5.2从curpos1和curpos2调用用于下一个等级的First哈尔Update
5.3对dcurpos1和dcurpos2执行平滑
5.4执行两点逆哈尔,以更新curpos1和curpos2
结束
存在五种情况,其中,哈尔滤波器136可以基于不同标准将元数据输出到元数据缓冲器。不同标准包括:初始点输出、用于慢移动对象的下采样输出、用于非常快移动对象的插值输出、用于更慢移动对象的长延迟强制输出,以及轨迹结束输出。
当一个轨迹的初始点不是元数据缓冲器中的第一点时,其可以是元数据缓冲器中的前四个点的等级2哈尔变换点。然而,如果轨迹非常慢,则所有前四个点都在一个单元内。从而,前四个点的方向不可能准确。从而,当慢移动对象移动出一个单元时,输出初始点。
一旦获得所有平滑后的哈尔系数,就可以执行下采样过程,以从平滑后的节点挑选节点。下采样被用于减少总采样数。以下表4中示出下采样过程的伪码:
表4
1.如果有效,则获得元数据缓冲器中的最后输出节点
2.从最低等级到最高等级在哈尔窗口缓冲器中搜索最后节点,以查看到最后输出节点的距离是否大于单元尺寸,如果更大,则继续至更高等级,否则退出
3.找到两个邻近等级,其中,较低等级大于单元尺寸,并且较高等级小于单元尺寸,输出较高单元哈尔点,并且使outLastPosID索引前进
如果哈尔滤波器136检测到在元数据缓冲器中的邻近原始点之间存在长跳跃(尺寸大于一个单元),则哈尔滤波器136在跳跃节点之间插值多个点,以确保轨迹可以覆盖运动对象以合适的时间戳通过的所有单元。
如果哈尔滤波器136在大于预定时间量的时间段,例如,超过1.6秒,内没有任何输出,则这意味着运动对象很可能非常慢。与最后输出点的距离小于一个单元尺寸。然而,为了保持实时要求,即使点不远离先前输出点,哈尔滤波器136也需要输出一个点。
当轨迹完成时,新点还可以被输出到元数据缓冲器中,哈尔滤波器需要处理那些点并且在轨迹的结束处输出元数据。
如上所述,哈尔滤波器136可以被进一步配置成确定运动对象的速度和加速度。可以使用两个邻近输出的节点的速率计算速度:
Velocity_x=(CurPos.x-PrePos.x)/(CurPos.time-PrePos.time)
Velocity_y=(CurPos.x-PrePos.x)/(CurPos.time-PrePos.time)
对于下采样节点(等级,位置),节点的本地速度仅为对应的较高等级D系数除以持续时间,例如:
Velocity(level,pos).x=D(level+1,pos/2).x/D(level+1,pos/2).time
Velocity(level,pos).y=D(level+1,pos/2).y/D(level+1,pos/2).time
pos=0,1,2,…
另外,哈尔滤波器136在第二哈尔变换中可以参考S系数,其中,列出不同分辨率的速度。在第二哈尔变换之后,加速度被列出为D系数。将预见,可以通过这些速度和加速度计算轨迹向量。
在本公开的另一方面中,数据库清除模块38被配置成进一步包括衰减模块(未示出)。衰减模块被配置成自适应地学习关于每个单元的运动对象的时间流。模型建立模块112可以使用所学习的时间流模式,以生成用于对异常行为评分的运动模型。如上所述,每个单元都可以具有与其相关联的数据立方体,其中,数据立方体存储来自通过单元的运动对象的运动数据的时间序列。包括在所存储的运动数据中的是通过单元的被观测的运动对象的方向。返回参考图7中所示的单元,运动对象的方向可以通过使方向与八分圆之一相关联来定义。衰减模块可以被配置成更新对于单元中的每个八分圆的计数。从而,每个八分圆都将具有与其相关联的其本身的计数,由此在单元中最多观测的方向,此后被称为单元的“支配流”,可以通过比较单元中的每个八分圆的计数来确定。
衰减模块可以使用保持用于每个八分圆的最小方向计数的不对称函数来跟踪单元的支配流。单元的八分圆的计数可以在两种不同情况下增加或减小。一种情况是基于检测的情况,并且另一种是基于时间的情况。基于检测的情况是当在单元中检测运动对象时。在这些示例中,对应于运动对象的方向的八分圆将其计数增加,并且其他七个八分圆将它们的计数减小。在基于时间的情况中,在多于预定量时间中未在单元中检测到对象。在该情况下,单元的计数减小。
在两种实例中,八分圆的计数增加或减小的量取决于八分圆的计数的值。例如,如果八分圆的计数增加,则计数增加的量由函数确定,该函数接收计数的值作为输入并且输出计数增加的量。
为了说明的目的,定义三个阈值,并且在以下论述。三个阈值是ThLow、ThTime和ThHigh。而且,存在用于整个单元的计数器,其为Cell.xy.mem_cnt。
图20A和图20B分别示出基于特定八分圆计数的值增加和减小八分圆计数的量。例如,参考图20A的图形200,如果将增加的八分圆的计数低于Thlow,则计数增加对应于部分A的值,例如,50。如果将增加的八分圆的计数大于Thlow但是小于或等于ThHigh,则计数根据部分B增加,例如100。如果将增加的八分圆的计数大于ThHigh,则计数根据部分C增加,例如,20。从而,当衰减模块确定运动对象已经在特定八分圆的方向上通过特定单元时,衰减模块将通过使用在图形200中描述的函数确定增加特定八分圆的计数的量。将理解,所提供数量是示例性的并且不用于限制。而且,虽然示出阶梯函数,但是多个部分可以通过诸如线性、二次、指数、对数等的其他类型的函数定义。
现在参考图20B,图形202示出在检测情况下八分圆的计数减小的量。如果八分圆的计数小于Thlow。如果八分圆的计数大于ThLow,则将减小的八分圆的计数减小对应于部分F的值,例如100。从而,当衰减模块确定运动对象在特定八分圆的方向上通过特定单元时,衰减模块使用在图形200中示出的函数确定减小其他八分圆的计数中的每个的量。将想到,除了阶梯函数之外的其他函数类型可以用于定义计数减小的量。
现在参考图20C,图形204示出八分圆的计数在基于时间的情况下减小的量。将想到,在基于时间的情况下,对象在多于预定量时间内未被检测到。在这些实例中,将没有八分圆增加。在基于时间的情况下,具有小于TTime的计数的八分圆不减小。具有大于TTime但是小于ThHigh的计数的八分圆将增加对应于部分H的量。可以想到,该示例中的部分G通过线性函数定义,从而取决于八分圆的实际计数,减小的量将改变。最后,如果八分圆的计数高于ThHigh,则计数根据部分I减小,例如100。从而,当衰减模块确定运动对象在多于预定量时间内未通过特定单元,则衰减模块将使用在图形204中描述的函数确定减小八分圆的每个计数的量。图20C中的图形被提供用于一个可能减小方案的示例。将预期,其他函数可以定义图形204的多个部分。
另外,关于图20A-图20C,只要任何八分圆的计数增加,例如Cell.xy.mem_cnt的单元的总计数增加相同量。而且,只要任何八分圆的计数减小,单元的总计数就减小相同量。
将预见,在一些实施例中,当检测到对象在对应于八分圆的方向上移动通过单元时,衰减模块可以使该八分圆的计数增加预定量,例如1,并且使其他八分圆的计数减小相同预定量。类似地,当在多于预定量时间内未在单元中观测到对象时,所有八分圆的计数都可以减小预定量。
如在此使用的,术语模块可以包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或分组)和/或存储器(共享、专用或分组)组合逻辑电路和/或提供所描述功能的其他合适组件,或者指这些中的一部分。
实施例的以上说明被提供用于示出和说明目的。意图不在于穷尽或者限制本发明。特定实施例的各个元件或特征通常不限于特定实施例,而是当合适时,可交换并且可以在所选实施例中使用,即使没有特别示出或描述。这些还可以以多种方式改变。这样的改变不被认为脱离本发明,并且所有这样的修改都旨在包括在本发明的范围内。

Claims (20)

1.一种视频监视系统,所述视频监视系统具有摄像机,所述摄像机生成对应于所述摄像机的视场的图像数据,所述系统包括:
模型数据库,所述模型数据库存储多个运动模型,其中,所述运动模型定义先前观测的对象的运动;
当前轨迹数据结构,所述当前轨迹数据结构具有运动数据和至少一个异常得分,其中,所述运动数据定义在所述摄像机的所述视场中移动的、观测的当前对象的时空轨迹,并且其中,所述异常得分指示所述当前轨迹数据结构相对于所述多个运动模型的异常程度;
向量数据库,所述向量数据库存储新近观测的轨迹的多个向量,每个向量对应于由所述摄像机新近观测的对象的运动;
模型建立模块,所述模型建立模块建立对应于所述当前轨迹数据结构的所述运动数据的新运动模型;
数据库清除模块,所述数据库清除模块被配置成基于向量的子集和所述当前轨迹数据结构之间的相似性的测量,从多个向量中确定最类似于所述当前轨迹数据结构的所述向量的子集;以及
所述数据库清除模块进一步被配置成基于子集向量中的向量的量和从观测到所述向量的子集的所述新近观测的轨迹起的时间量,用所述新运动模型替换所述模型数据库中的所述运动模型中的一个。
2.根据权利要求1所述的视频监视系统,其中,存储在所述向量数据库中的所述多个向量是特征向量,每个特征向量具有从所述新近观测的轨迹的异常得分得到的特征。
3.根据权利要求2所述的视频监视系统,其中,所述数据库清除模块包括:
特征提取模块,所述特征提取模块被配置成接收所述当前轨迹数据结构并且通过对所述当前轨迹数据结构的所述至少一个异常得分执行特征提取来生成所述当前轨迹数据结构的特征向量;
特征向量匹配模块,所述特征向量匹配模块被配置成接收所提取的特征向量并且基于所述当前轨迹数据结构的所述特征向量和所述向量数据库中的所述特征向量之间的相似性测量来确定所述向量的子集;
数据库更新模块,所述数据库更新模块被配置成接收所述新运动模型,并且基于所述向量的子集中的向量的量和从观测到所述向量的子集的所述新近观测的轨迹起的时间量,替换所述模型数据库中的所述运动模型中的一个。
4.根据权利要求3所述的视频监视系统,其中,所述特征提取模块被配置成生成所述当前轨迹数据结构的哈尔变换并且从所述哈尔变换选择系数的预定子集。
5.根据权利要求3所述的视频监视系统,其中,所述特征向量匹配模块被配置成执行k最接近邻居搜索,以在所述向量数据库中找到k个与所述当前轨迹的所述特征向量最类似的特征向量。
6.根据权利要求5所述的视频监视系统,其中,所述向量的子集由具有与所述特征向量的相似性的测量低于预定阈值的特征向量构成。
7.根据权利要求3所述的视频监视系统,进一步包括:评分引擎,所述评分引擎被配置成接收所述当前轨迹数据结构,并且基于所述当前轨迹数据结构的所述运动数据和所述模型数据库中的所述多个运动模型来生成所述当前轨迹数据结构的所述异常得分,其中,所述运动模型定义特定类型的运动,并且所述评分引擎被配置成检测所述特定类型的运动。
8.根据权利要求7所述的视频监视系统,进一步包括:对应于所述评分引擎的子评分引擎,所述子评分引擎被配置成基于所述当前轨迹数据结构的所述运动数据、所述当前轨迹数据结构的所述异常得分以及所述多个运动模型中的至少一个来生成异常子得分,其中,所述子评分引擎被配置成检测所述特定类型的运动的子分类。
9.根据权利要求8所述的视频监视系统,其中,所述特征提取模块被进一步配置成对所述当前轨迹数据结构的所述异常子得分执行特征提取,并且基于所述当前轨迹数据结构的所述异常子得分来生成特征向量。
10.根据权利要求1所述的视频监视系统,其中,所述当前轨迹数据结构是向量。
11.一种用于维护模型数据库的方法,所述模型数据库存储多个运动模型,所述运动模型定义先前观测的对象的运动,所述方法包括:
生成具有运动数据和至少一个异常得分的当前轨迹数据结构,其中,所述运动数据定义在摄像机的视场中的移动的、观测的当前对象的时空轨迹,并且所述异常得分指示所述当前轨迹数据结构相对于所述多个运动模型的异常程度;
建立对应于所述当前轨迹数据结构的所述运动数据的新运动模型;
从存储在向量数据库中的新近观测的轨迹的多个向量确定向量的子集,其中,每个向量对应于由所述摄像机新近观测的对象的运动,并且其中,所述向量的子集具有与所述当前轨迹数据结构最高量的相似性,其中,相似性的量基于相似性测量;以及
基于所述向量的子集中的向量的量和从观测到所述向量的子集的所述新近观测的轨迹起的时间量,用所述新运动模型替换所述模型数据库中的所述运动模型中的一个。
12.根据权利要求1所述的方法,其中,存储在所述向量数据库中的所述多个向量是特征向量,每个特征向量具有从所述新近观测的轨迹的异常得分得到的特征。
13.根据权利要求12所述的方法,进一步包括:
对所述当前轨迹数据结构的所述至少一个异常得分执行特征提取;
从所述特征提取生成特征向量;
基于所述当前轨迹数据结构的所述特征向量和所述向量数据库中的所述特征向量之间的相似性测量来确定所述向量的子集。
14.根据权利要求13所述的方法,所述执行特征提取进一步包括:对所述当前轨迹数据结构执行哈尔变换,并且从所述哈尔变换选择系数的预定子集。
15.根据权利要求3所述的方法,其中,所述从多个向量确定向量的子集进一步包括:在所述向量数据库中执行k最接近邻居搜索,其中,所述向量的子集具有最多k个向量。
16.根据权利要求15所述的方法,其中,所述向量的子集由具有与所述特征向量的相似性的测量低于预定阈值的特征向量构成。
17.根据权利要求13所述的方法,进一步包括:基于所述当前轨迹数据结构的所述运动数据和所述模型数据库中的所述多个运动模型来生成所述当前轨迹数据结构的所述异常得分,其中,所述运动模型定义特定类型的运动。
18.根据权利要求17所述的方法,进一步包括:基于所述当前轨迹数据结构的所述运动数据、所述当前轨迹数据结构的所述异常得分以及所述多个运动模型中的至少一个来生成异常子得分。
19.根据权利要求18所述的方法,进一步包括:对所述当前轨迹数据结构的所述异常子得分执行特征提取,并且基于所述当前轨迹数据结构的所述异常子得分来生成特征向量。
20.根据权利要求10所述的方法,其中,所述当前轨迹数据结构是向量。
CN2010800642018A 2010-02-19 2010-12-16 视频监视系统 Pending CN102782734A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/709,192 US20110205359A1 (en) 2010-02-19 2010-02-19 Video surveillance system
US12/709,192 2010-02-19
PCT/US2010/060745 WO2011102871A1 (en) 2010-02-19 2010-12-16 Video surveillance system

Publications (1)

Publication Number Publication Date
CN102782734A true CN102782734A (zh) 2012-11-14

Family

ID=43618200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800642018A Pending CN102782734A (zh) 2010-02-19 2010-12-16 视频监视系统

Country Status (5)

Country Link
US (2) US20110205359A1 (zh)
EP (1) EP2537146A1 (zh)
JP (1) JP2013520722A (zh)
CN (1) CN102782734A (zh)
WO (1) WO2011102871A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831615A (zh) * 2011-06-13 2012-12-19 索尼公司 对象监控方法和装置,以及监控系统操作方法
CN103631917A (zh) * 2013-11-28 2014-03-12 中国科学院软件研究所 一种基于移动对象数据流的突发事件检测方法
CN105164695A (zh) * 2012-12-21 2015-12-16 罗伯特·博世有限公司 用于探测视频数据中的高兴趣事件的系统和方法
CN108021561A (zh) * 2016-10-28 2018-05-11 沈阳建筑大学 一种基于轨迹数据流的异常移动对象检测方法
CN110337394A (zh) * 2017-02-23 2019-10-15 松下知识产权经营株式会社 信息处理系统、信息处理方法、程序以及记录介质
CN111402532A (zh) * 2020-03-26 2020-07-10 海南鸿达盛创网络信息科技有限公司 一种综合安防视频管理控制系统

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI430212B (zh) * 2010-06-08 2014-03-11 Gorilla Technology Inc 利用多特徵自動集群法之異常行為偵測系統與方法
EP2601782A4 (en) 2010-08-02 2016-09-28 Univ Beijing REPRESENTATIVE MOVEMENT DATA FLOW EXTRACTION FOR EFFICIENT RECOVERY AND CLASSIFICATION OF VIDEO DATA
TW201241794A (en) * 2011-04-08 2012-10-16 Hon Hai Prec Ind Co Ltd System and method for detecting damages of image capturing device
CN102831442A (zh) * 2011-06-13 2012-12-19 索尼公司 异常行为检测设备和方法及生成该检测设备的设备和方法
RU2012119843A (ru) * 2012-05-15 2013-11-20 Общество с ограниченной ответственностью "Синезис" Способ отображения видеоданных на мобильном устройстве
US10757369B1 (en) * 2012-10-08 2020-08-25 Supratik Mukhopadhyay Computer implemented system and method for high performance visual tracking
US9197861B2 (en) * 2012-11-15 2015-11-24 Avo Usa Holding 2 Corporation Multi-dimensional virtual beam detection for video analytics
KR20140098959A (ko) * 2013-01-31 2014-08-11 한국전자통신연구원 증거 영상 생성 장치 및 방법
US20140244197A1 (en) * 2013-02-28 2014-08-28 Sap Ag Determining Most Relevant Data Measurement from Among Competing Data Points
KR20150071781A (ko) * 2013-12-18 2015-06-29 한국전자통신연구원 궤적변환 기반 이동궤적 모델링 장치 및 방법
JP5958459B2 (ja) * 2013-12-26 2016-08-02 トヨタ自動車株式会社 状態判定システム、状態判定方法及び移動ロボット
TWI511058B (zh) * 2014-01-24 2015-12-01 Univ Nat Taiwan Science Tech 一種影片濃縮之系統及方法
PL406971A1 (pl) * 2014-01-28 2015-08-03 Politechnika Poznańska Sposób analizy zachowania osób w inteligentnym systemie monitorowania oraz inteligentny system monitorowania
US10104394B2 (en) * 2014-01-31 2018-10-16 Here Global B.V. Detection of motion activity saliency in a video sequence
JP6194963B2 (ja) * 2014-02-14 2017-09-13 日本電気株式会社 映像処理システム
US10412420B2 (en) * 2014-03-07 2019-09-10 Eagle Eye Networks, Inc. Content-driven surveillance image storage optimization apparatus and method of operation
JP6425261B2 (ja) * 2014-05-22 2018-11-21 学校法人慶應義塾 赤外線アレイセンサを用いた行動検知システムと方法
US20160196728A1 (en) * 2015-01-06 2016-07-07 Wipro Limited Method and system for detecting a security breach in an organization
US11523090B2 (en) * 2015-03-23 2022-12-06 The Chamberlain Group Llc Motion data extraction and vectorization
US10007849B2 (en) * 2015-05-29 2018-06-26 Accenture Global Solutions Limited Predicting external events from digital video content
CN106982347A (zh) * 2016-01-16 2017-07-25 阔展科技(深圳)有限公司 具提取分析数据能力的智能移动监控器
US10473761B2 (en) * 2016-08-11 2019-11-12 Rodradar Ltd. Wire and pylon classification based on trajectory tracking
CN107958435A (zh) * 2016-10-17 2018-04-24 同方威视技术股份有限公司 安检系统及配置安检设备的方法
US10701092B2 (en) * 2016-11-30 2020-06-30 Cisco Technology, Inc. Estimating feature confidence for online anomaly detection
US10210398B2 (en) * 2017-01-12 2019-02-19 Mitsubishi Electric Research Laboratories, Inc. Methods and systems for predicting flow of crowds from limited observations
JP6948128B2 (ja) 2017-01-13 2021-10-13 キヤノン株式会社 映像監視装置及びその制御方法及びシステム
US10721475B2 (en) * 2017-09-01 2020-07-21 Ittiam Systems (P) Ltd. K-nearest neighbor model-based content adaptive encoding parameters determination
US10417882B2 (en) 2017-10-24 2019-09-17 The Chamberlain Group, Inc. Direction sensitive motion detector camera
CN108564100A (zh) * 2017-12-12 2018-09-21 惠州Tcl移动通信有限公司 移动终端及其生成动作分类模型的方法、存储装置
GB2569556B (en) * 2017-12-19 2022-01-12 Canon Kk Method and apparatus for detecting motion deviation in a video sequence
GB2569555B (en) * 2017-12-19 2022-01-12 Canon Kk Method and apparatus for detecting deviation from a motion pattern in a video
GB2569557B (en) 2017-12-19 2022-01-12 Canon Kk Method and apparatus for detecting motion deviation in a video
CN108052924B (zh) * 2017-12-28 2020-10-27 武汉大学深圳研究院 空间运动行为语义模式的辨识方法
US10706701B2 (en) 2018-01-12 2020-07-07 Qognify Ltd. System and method for dynamically ordering video channels according to rank of abnormal detection
JP7118679B2 (ja) * 2018-03-23 2022-08-16 キヤノン株式会社 映像記録装置、映像記録方法およびプログラム
EP3557549B1 (de) 2018-04-19 2024-02-21 PKE Holding AG Verfahren zur bewertung eines bewegungsereignisses
CN108960139A (zh) * 2018-07-03 2018-12-07 百度在线网络技术(北京)有限公司 人物行为识别方法、装置及存储介质
CN111273232B (zh) * 2018-12-05 2023-05-19 杭州海康威视系统技术有限公司 一种室内异常情况判断方法及系统
US10909387B2 (en) * 2019-03-28 2021-02-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for predicting dynamical flows from control inputs and limited observations
KR20210149169A (ko) * 2019-04-09 2021-12-08 아비질론 코포레이션 이상 검출 방법, 시스템 및 컴퓨터 판독가능 매체
US11146862B2 (en) * 2019-04-16 2021-10-12 Adobe Inc. Generating tags for a digital video
US11188750B1 (en) * 2020-05-05 2021-11-30 National Technology & Engineering Solutions Of Sandia, Llc Multi-frame moving object detection system
CN111784742B (zh) * 2020-06-29 2023-08-29 杭州海康威视数字技术股份有限公司 一种行人跨镜头追踪方法及装置
EP3943890B1 (en) * 2020-07-23 2023-05-03 Fujitsu Limited A computer-implemented method of predicting energy use for a route
US11599253B2 (en) * 2020-10-30 2023-03-07 ROVl GUIDES, INC. System and method for selection of displayed objects by path tracing
CN113688679B (zh) * 2021-07-22 2024-03-08 南京视察者智能科技有限公司 一种重点人员防控预警的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050288911A1 (en) * 2004-06-28 2005-12-29 Porikli Fatih M Hidden markov model based object tracking and similarity metrics
US20060045354A1 (en) * 2004-07-28 2006-03-02 Keith Hanna Method and apparatus for improved video surveillance through classification of detected objects
US20080260239A1 (en) * 2007-04-17 2008-10-23 Han Chin-Chuan Object image detection method
US20080270338A1 (en) * 2006-08-14 2008-10-30 Neural Id Llc Partition-Based Pattern Recognition System

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0218982D0 (en) * 2002-08-15 2002-09-25 Roke Manor Research Video motion anomaly detector
US7502844B2 (en) * 2005-07-29 2009-03-10 Bmc Software Abnormality indicator of a desired group of resource elements
US8724891B2 (en) * 2004-08-31 2014-05-13 Ramot At Tel-Aviv University Ltd. Apparatus and methods for the detection of abnormal motion in a video stream
JP4623368B2 (ja) * 2005-03-16 2011-02-02 ソニー株式会社 移動物体検出装置、移動物体検出方法及びプログラム
US8073196B2 (en) * 2006-10-16 2011-12-06 University Of Southern California Detection and tracking of moving objects from a moving platform in presence of strong parallax
US8760519B2 (en) * 2007-02-16 2014-06-24 Panasonic Corporation Threat-detection in a distributed multi-camera surveillance system
US7667596B2 (en) 2007-02-16 2010-02-23 Panasonic Corporation Method and system for scoring surveillance system footage
JP2008278128A (ja) * 2007-04-27 2008-11-13 Toshiba Corp 監視システム、監視方法およびプログラム
US8170283B2 (en) * 2009-09-17 2012-05-01 Behavioral Recognition Systems Inc. Video surveillance system configured to analyze complex behaviors using alternating layers of clustering and sequencing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050288911A1 (en) * 2004-06-28 2005-12-29 Porikli Fatih M Hidden markov model based object tracking and similarity metrics
US20060045354A1 (en) * 2004-07-28 2006-03-02 Keith Hanna Method and apparatus for improved video surveillance through classification of detected objects
US20080270338A1 (en) * 2006-08-14 2008-10-30 Neural Id Llc Partition-Based Pattern Recognition System
US20080260239A1 (en) * 2007-04-17 2008-10-23 Han Chin-Chuan Object image detection method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831615A (zh) * 2011-06-13 2012-12-19 索尼公司 对象监控方法和装置,以及监控系统操作方法
CN105164695A (zh) * 2012-12-21 2015-12-16 罗伯特·博世有限公司 用于探测视频数据中的高兴趣事件的系统和方法
CN105164695B (zh) * 2012-12-21 2019-03-08 罗伯特·博世有限公司 用于探测视频数据中的高兴趣事件的系统和方法
CN103631917A (zh) * 2013-11-28 2014-03-12 中国科学院软件研究所 一种基于移动对象数据流的突发事件检测方法
CN103631917B (zh) * 2013-11-28 2017-01-11 中国科学院软件研究所 一种基于移动对象数据流的突发事件检测方法
CN108021561A (zh) * 2016-10-28 2018-05-11 沈阳建筑大学 一种基于轨迹数据流的异常移动对象检测方法
CN110337394A (zh) * 2017-02-23 2019-10-15 松下知识产权经营株式会社 信息处理系统、信息处理方法、程序以及记录介质
CN111402532A (zh) * 2020-03-26 2020-07-10 海南鸿达盛创网络信息科技有限公司 一种综合安防视频管理控制系统

Also Published As

Publication number Publication date
US20110205359A1 (en) 2011-08-25
WO2011102871A1 (en) 2011-08-25
US20140112546A1 (en) 2014-04-24
JP2013520722A (ja) 2013-06-06
EP2537146A1 (en) 2012-12-26

Similar Documents

Publication Publication Date Title
CN102782734A (zh) 视频监视系统
Li et al. Adaptively constrained dynamic time warping for time series classification and clustering
US10614316B2 (en) Anomalous event retriever
Aboah A vision-based system for traffic anomaly detection using deep learning and decision trees
US10607147B2 (en) Estimating a number of occupants in a region
Hospedales et al. Video behaviour mining using a dynamic topic model
Chen et al. Dangerous driving behavior detection using video-extracted vehicle trajectory histograms
Kim et al. Gaussian process regression flow for analysis of motion trajectories
US8855361B2 (en) Scene activity analysis using statistical and semantic features learnt from object trajectory data
CN103366602A (zh) 从数字摄像头图像确定停车场占用情况的方法
CN101410855A (zh) 用于自动表征一个或多个对象的行为的方法
CN104361351B (zh) 一种基于区域统计相似度的合成孔径雷达图像分类方法
CN101334845A (zh) 一种基于轨迹序列分析和规则归纳的视频行为识别方法
CN114023062B (zh) 一种基于深度学习和边缘计算的交通流信息监测方法
CN105809954A (zh) 交通事件检测方法以及系统
CN114372503A (zh) 一种集群车辆运动轨迹预测方法
CN109829405A (zh) 视频目标的数据关联方法、装置及存储介质
Brax Anomaly detection in the surveillance domain
CN114970621A (zh) 异常聚集事件的检测方法、装置、电子设备和存储介质
Yu et al. Gaussian-Poisson mixture model for anomaly detection of crowd behaviour
Zhang et al. A Multiple Instance Learning and Relevance Feedback Framework for Retrieving Abnormal Incidents in Surveillance Videos.
Yadav et al. Video anomaly detection for pedestrian surveillance
CN112183204A (zh) 一种停车事件的检测方法和装置
Li et al. Anomaly detection with multi-scale pyramid grid templates
CN112347851B (zh) 多目标检测网络的构建方法、多目标检测方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121114