CN104254873A - 视频监控系统中的警报量归一化 - Google Patents

Abstract

本发明公开了使用配置有警报归一化模块的基于行为识别的视频监控系统来归一化并发布警报的技术。某些实施方案允许行为识别系统的用户为归一化模块提供针对警报类型的一组相对权重和最大发布值。通过使用这些值，归一化模块评估警报，并且确定所述警报的罕见度值是否超过阈值。在确定所述警报超过阈值后，模块归一化并发布警报。

Description

视频监控系统中的警报量归一化

技术领域

本文公开的本发明的实施方案总体上涉及用于向基于行为识别的视频监控系统的用户报告异常行为的技术。更确切来说，本发明的实施方案提供了用于将针对多个不相交警报类型产生的警报的数量进行归一化的框架。

背景技术

一些当前可用的视频监控系统提供了简单的对象识别能力。例如，视频监控系统可以被配置来将给定帧中的一组像素(称为“色斑(blob)”)分类为具体的对象(例如人或车辆)。一旦确认，就可以逐帧地跟踪“色斑”，以便追踪随时间的推移在场景中移动的“色斑”，例如，在视频监控摄像机的视野中穿行的人。另外，这类系统可以被配置来确定对象何时参与某些预定义的行为。例如，系统可以包括用于识别许多预定义事件的发生的定义，例如，系统可以评估分类为描绘汽车的对象的出现(车辆出现事件)，所述对象在数帧内停止(车辆停车事件)。此后，新的前景对象可能出现并且被分类为人(人出现事件)，人随后从帧中离开(人消失事件)。另外，系统可以将前两个事件的组合识别为“停车事件”。

然而，这类监视系统通常要求可由系统识别的对象和/或行为应预先定义。因此，在实践中，这些系统依赖于对象和/或行为的预定义的定义来评估视频序列。除非基本的系统包括对具体对象或行为的描述，否则系统一般无法识别所述行为(或至少描述具体对象或行为的模式的示例)。更一般来说，这类系统依赖于预定义的规则和静态模式，并因此往往不能动态地确认对象、事件、行为或模式，甚至更不能将它们分类为正常或异常的。

此外，这些基于规则的监控系统的最终用户通常指定了应引起警报的事件。然而，这在实践中造成了问题，因为典型的基于规则的监控系统每天并且每个摄像机平均产生数以千计的警报，并且面对众多警报的用户变得无法辨别哪些警报应受高度重视。因此，这些基于规则的系统在向用户通知重要的安全性警报方面用处不大。

发明内容

本发明的一个实施方案提供了一种使用配置有归一化模块的行为识别系统来归一化并发布警报的方法。这种方法总体上可以包括接收具有类型和原始罕见度值的警报并且将原始罕见度值转换成警报百分位值。这种方法还可以包括在确定警报百分位值大于警报百分位阈值后归一化并发布警报。

其它实施方案包括但不限于：计算机可读介质，所述计算机可读介质包括使处理单元能够实现所公开方法的一个或多个方面的指令；以及系统，所述系统具有被配置来实现所公开方法的一个或多个方面的处理器、存储器和应用程序。

附图说明

因此，获得或可详细地理解本公开的上述特征、优点和目标的方式，即上文简要概述的较为具体的描述可参照附图中例示的实施方案进行。

然而，应注意，附图仅例示本发明的典型实施方案，且因此不应被视为对本发明范围的限制，因为本公开可允许其他同等有效的实施方案。

图1例示根据一个实施方案的视频分析系统的部件。

图2进一步例示根据一个实施方案的在图1中所示的视频分析系统的部件。

图3例示根据一个实施方案的行为识别系统可产生的警报。

图4例示根据一个实施方案的用于在配置有归一化模块的行为识别系统内处理警报的方法。

图5例示根据一个实施方案的用于发布归一化警报的方法。

图6例示根据一个实施方案的行为识别系统中的警报归一化模块的示例性特定使用情况的图形表示。

具体实施方式

本文公开的本发明的实施方案提供了用于在行为识别系统中将根据多个不相交警报类型产生的警报的数量进行归一化的框架。所公开的框架为不同警报类型提供了统计一致性，并且确保行为识别系统将相对确定数量的警报提供给用户，而与系统中可用警报类型的数量无关。

行为识别系统可以被配置来通过观察单个帧的序列(其它情况下称为视频流)来学习、确认和识别行为的模式。不同于包含要确认事物的预定义模式的基于规则的视频监控系统，本文公开的行为识别系统通过归纳输入并建立对所观察事物的存储内容来学习各个模式。随着时间的推移，行为识别系统使用这些存储内容来在视频流内捕获的视场中的正常行为与异常行为之间进行区分。一般来说，视场被称为“场景”。

在一个实施方案中，行为识别系统包括计算机视觉引擎和机器学习引擎。计算机视觉引擎可以被配置来处理场景，产生所观察活动的信息流，并且然后将所述流传送到机器学习引擎。继而，机器学习引擎可以被配置来学习所述场景中的对象行为、建立场景内的某些行为的模型，并且确定观察结果是否表明对象的行为相对于模型来说是异常的。

在一个实施方案中，机器学习引擎可以支持由如活动、运动、速度、速率和轨迹的多种不同行为模式类别触发的多个警报类型。类似地，其它警报类型可以取决于对象之间的相互作用，包括碰撞和位置。警报类型学习场景中的正常行为，并且产生关于异常活动的警报。基于规则的视频监控系统向用户通知用户指定的异常，而行为识别系统向用户通知系统确认为异常的任何事物。

然而，行为识别系统可以产生大量的警报。此外，行为系统可以包括多种警报类型，并且一种警报类型的出现可以与另一警报类型的出现不同的频率来发生。虽然警报在抽象的层面上有一些相似之处，但是警报类型在它们的行为识别特性上大多是不相交的。例如，高速度警报类型的异常模型可以与高加速度警报类型的模型有很大的不同。另外，在给定每一警报类型的相对出现率的情况下，罕见警报的分布在各个警报类型中有所不同。

因此，为了避免警报的总数使用户不知所措，并且为了选择发布哪些警报，行为识别系统可以配置有警报归一化模块。在一个实施方案中，用户可以针对由系统支持的警报类型提供所需的警报发布率和一组相对权重。在另一实施方案中，用户还可以提供所需的调度率(dispatch rate)。警报发布一般是指行为识别系统将警报发布至界面，操作者可以在这个界面处查看并操作警报，并且警报调度一般是指行为警报系统例如通过发送电子邮件或通过在图形用户界面上产生显示来向用户通知警报。例如，用户可以向行为识别系统指定每天要发布一百个警报，这些警报在各个警报类型中以相等的相对权重来分布。在这种情况下，警报归一化模块可以评估例如过去七天内每一警报类型的先前发布警报的分布，以便确认每一警报类型的分布。一旦确定出分布，就可以计算预期产生所述类型警报的正确数量的归一化罕见度阈值。警报归一化模块可以将这些阈值用于确定将哪些警报呈现给用户。

在一个实施方案中，机器学习引擎处理来自由计算机视觉引擎获得的观察结果的信息。例如，聚焦在停车场的摄像机可以记录通过场景的汽车，并且机器学习引擎可以针对如高速、低速和异常轨迹的警报类型来处理对应于通过场景的汽车的事件。对于每一事件，机器学习引擎对每一警报类型分配罕见度值。机器学习引擎可以舍弃罕见度值低于阈值的警报。继而，机器学习引擎可以针对具有高罕见度值(即大于阈值的那些值)的警报类型产生警报以作为通过警报归一化模块产生的警报。

归一化模块接收来自机器学习引擎的警报并且将警报的罕见度值转换成警报百分位数。警报百分位数是基于与所述警报类型的历史警报的罕见度值相比的警报罕见度值的值。一旦归一化模块将罕见度值转换成警报百分位数，归一化模块就将警报百分位数与百分位阈值相比较，并且如果百分位值低于阈值，那么就舍弃警报。如果百分位值高于阈值，那么归一化模块将百分位值转换成归一化的警报罕见度值。这个值被纳入复合归一化罕见度直方图中，所述直方图为模块提供数据以对所述警报分配数值发布秩。在对警报分配秩后，归一化模块发布具有所述秩值的警报。例如，被配置来每天发布一百个警报的行为识别系统发布出秩为十二的反常轨迹警报。

在下文中，参考了本发明的实施方案。然而，应理解的是，本发明不限于任何特定描述的实施方案。相反，无论是否涉及不同的实施方案，以下特征和要素的任意组合被涵盖来实施和实践所公开的内容。此外，在各种实施方案中，本发明提供优于现有技术的许多优点。然而，尽管实施方案可以实现优于其它可能的解决方案和/或优于现有技术的优点，但是给定的实施方案是否实现具体的优点不具有限制性。因此，以下各方面、特征、实施方案和优点仅仅是说明性的，并且不视为附加权利要求书的要素或限制，除非在权利要求书中有明确记载。同样，对“本发明”或“本公开”的任何提及不应解释为对本文公开的任何发明主题的概括，并且不应视为附加权利要求书的要素或限制，除非在权利要求书中有明确记载。

本发明的一个实施方案被实现为供计算机系统使用的程序产品。程序产品的程序定义了实施方案的功能(包括本文描述的方法)并且可以包含在各种计算机可读存储介质上。计算机可读存储介质的实例包括：(i)不可写存储介质(例如，计算机内的只读存储器设备，如可通过光学介质驱动器读取的CD-ROM或DVD-ROM盘)，信息被永久存储在这些存储介质上；(ii)可写存储介质(例如，软盘驱动器内的软盘或硬盘驱动器)，可变的信息存储在这些存储介质上。在带有引导本公开的功能的计算机可读指令时，这类计算机可读存储介质是本公开的实施方案。其它示例性介质包括借以将信息(如通过计算机或电话网络)传输到计算机的通信介质，包括无线通信网络。

一般来说，被执行来实施本公开的实施方案的例行程序可以是操作系统或特定应用程序、部件、程序、模块、对象或指令序列的一部分。本公开的计算机程序通常包括大量的指令，这些指令将通过本机计算机翻译成机器可读格式并且由此得到可执行指令。此外，程序包括驻留在本地程序中或存在于存储器中或存储设备上的变量和数据结构。此外，本文中描述的各种程序可基于这些程序在本公开的特定实施方案中针对性实施的应用来确认。然而，应了解的是，下文任何具体的程序命名仅仅是为了方便而使用，且因此本发明不应限定于仅在由这样的术语所确认和/或暗示的任何特定应用中使用。

图1例示根据本发明的一个实施方案的视频分析与行为识别系统100的部件。如图所示，行为识别系统100包括视频输入源105、网络110、计算机系统115以及输入与输出设备118(例如，监视器、键盘、鼠标、打印机等等)。网络110可将由视频输入105所记录的视频数据发送至计算机系统115。说明性地，计算机系统115包括CPU 120、存储装置125(例如，磁盘驱动器、光盘驱动器、软盘驱动器等等)，以及包含计算机视觉引擎135和机器学习引擎140的存储器130。如下文更详细地描述，计算机视觉引擎135和机器学习引擎140可以提供软件应用程序，所述软件应用程序被配置来分析由视频输入105提供的视频帧的序列。

网络110接收来自视频输入源105的视频数据(例如，视频流、视频图像等)。视频输入源105可以是视频摄像机、VCR、DVR、DVD、计算机、网络摄像设备等。例如，视频输入源105可以是瞄准某个区域(例如，地铁站、停车场、建筑物入口/出口等等)的固定视频摄像机，所述固定视频摄像机记录这个区域中正在发生的事件。一般来说，摄像机视场中的区域被称为场景。视频输入源105可以被配置来在指定帧率(例如，每秒24帧)下将场景记录为单个视频帧的序列，其中每一帧包括固定数量的像素(例如，320×240个)。每一帧的每一像素可以指定颜色值(例如，RGB值)或灰度值(例如，0至255之间的亮度值)。另外，视频流可以使用已知的例如MPEG2、MJPEG、MPEG4、H.263、H.264等的这类格式来进行格式化。

如上所述，计算机视觉引擎135可以被配置来分析这个原始信息以确认视频流中的活动对象、确认由机器学习引擎140用来得出对象分类的各种外观和运动特征、得出关于这些对象的动作和相互作用的各种元数据，并将这个信息提供给机器学习引擎140。并且继而，机器学习引擎140可以被配置来评估、观察、学习和存储关于在场景内随着时间的推移而发生的事件(和事件类型)的细节。

在一个实施方案中，机器学习引擎140接收由计算机视觉引擎135产生的视频帧和数据。机器学习引擎140可以被配置来分析所接收的数据、使具有相似视觉和/或运动特征的对象聚集、建立视频帧中描绘的事件的语义表示。随着时间的推移，机器学习引擎140学习映射到群集的对象的预期行为模式。因此，随着时间的推移，机器学习引擎学习这些观察到的模式，以便确认正常和/或异常事件。也就是说，机器学习引擎140会建立自身的已观察到的不同对象类型的模型(例如，基于运动和或外观特征的群集)，以及建立给定对象类型的预期行为的模型，而不是利用预先定义的模式、对象、对象类型或活动。随后，机器学习引擎可以基于先前的学习来决定所观察事件的行为是否异常。

描述是否已确定正常/异常行为/事件和/或这个行为/事件的具体内容的数据可以被提供给输出设备118以发出警报，例如，在GUI界面屏幕上呈现的警报消息。另外，输出设备118可以被配置来允许用户指定要在给定时间周期内发布的警报的量。例如，用户可以使用GUI界面来配置行为识别系统100以便每天发布100个警报。

一般来说，计算机视觉引擎135和机器学习引擎140两者都实时处理视频数据。然而，计算机视觉引擎135和机器学习引擎140处理信息的时间尺度可以是不同的。例如，在一个实施方案中，计算机视觉引擎135逐帧地处理所接收的视频数据，而机器学习引擎140每N个帧处理一次数据。换句话说，虽然计算机视觉引擎135可以实时分析每一帧来得出与帧中观察到的对象相关的一组运动和外观数据，但是机器学习引擎140不受视频输入的实时帧率限制。

然而，应注意，图1仅例示行为识别系统100的一个可能的布置。例如，虽然视频输入源105展示为经由网络110连接到计算机系统115，但是网络110并不总是存在或是需要的(例如，视频输入源105可以直接连接到计算机系统115)。另外，行为识别系统100的各种部件和模块可以在其它系统中实现。例如，在一个实施方案中，计算机视觉引擎135可以实现为视频输入设备的一部分(例如，实现为直接有线连接到视频摄像机的固件部件)。在这样的情况下，视频摄像机的输出可以被提供给机器学习引擎140来进行分析。类似地，来自计算机视觉引擎135和机器学习引擎140的输出可以通过计算机网络110上提供到其它计算机系统。例如，计算机视觉引擎135和机器学习引擎140可以安装在服务器系统上，并且被配置来处理来自多个输入源(即，来自多个摄像机)的视频。在这样的情况下，在另一计算机系统上运行的客户端应用程序250可以通过网络110来请求(或接收)结果。

图2进一步例示根据本发明的一个实施方案的首先在图1中例示的计算机视觉引擎135和机器学习引擎140的部件。如图所示，计算机视觉引擎135包括数据摄入器205、检测器215、跟踪器215、情境事件发生器220、警报发生器225和事件总线230。共同来说，部件205、210、215和220提供用于处理由视频输入源105提供的传入视频帧序列的流水线(由连接部件的实线箭头指示)。在一个实施方案中，部件210、215和220可以各自提供被配置来提供本文描述的功能的软件模块。当然，本领域技术人员将认识到，部件205、210、215和220可加以组合(或进一步细分)以适应具体情况的需要，并且应进一步认识到其它部件可以添加至视频监控系统(或可以从所述系统除去一些部件)。

在一个实施方案中，数据摄入器205接收来自视频输入源105的视频输入。数据摄入器205可以被配置来预处理输入数据，然后将数据发送到检测器210。检测器210可以被配置来将所提供的视频的每一帧分成固定或静态部分(场景背景)和易变部分的集合(场景前景)。帧本身可以包括多个通道(例如，彩色视频的RGB通道或黑白视频的灰度通道或亮度通道)的两维像素值阵列。在一个实施方案中，检测器210可以使用自适应共振理论(ART)网络来将每一像素的背景状态建模。也就是说，可以使用将给定像素建模的ART网络将每一像素分类为描绘场景前景或场景背景。当然，可以使用在场景前景与场景背景之间进行区分的其它方法。

此外，检测器210可以被配置来产生遮罩(mask)，所述遮罩用于确认场景的哪些像素被分类为描绘前景，以及相反地，哪些像素被分类为描绘场景背景。然后，检测器210确认场景中包含场景前景的一部分(称为前景“色斑”或“斑块(patch)”)的区域，并且将这个信息提供给流水线的后续阶段。此外，分类为描绘场景背景的像素可用于产生将场景建模的背景图像。

在一个实施方案中，检测器210可以被配置来检测场景的流(flow)。一旦前景斑块已经分离，检测器210就逐帧地检查所有前景斑块的任何边缘和拐角。检测器210将在相似运动流中移动的前景斑块确认为最有可能属于单一对象或单一运动关联，并且将这个信息发送到跟踪器215。

跟踪器215可以接收由检测器210产生的前景斑块并且针对所述斑块产生计算模型。跟踪器215可以被配置来使用这个信息和原始视频的每一连续帧，以试图在由给定前景斑块描绘的对象在场景中移动时跟踪所述对象的运动。也就是说，跟踪器215通过逐帧地跟踪给定对象来为系统的其它元件提供连续性。所述跟踪器进一步计算前景对象的各种运动和/或外观特征，例如，大小、高度、宽度和面积(以像素为单位)、反射率、光泽度刚性、速度(speed velocity)等等。

情境事件发生器220可以接收来自流水线的其它阶段的输出。使用这个信息，情境处理器220可以被配置来产生关于(由跟踪器部件210)所跟踪对象的情境事件流。例如，情境事件发生器220可将对象的微特征矢量和动态观察结果的流封包并且例如以5Hz的速率将这个封包输出给机器学习引擎140。在一个实施方案中，情境事件以轨迹形式来封包。如本文中所使用，轨迹总体上是指将连续帧或样本中的具体前景对象的运动数据封包的矢量。轨迹中的每一要素表示在具体时间点捕获到的所述对象的运动数据。通常，完整的轨迹包括对象在视频帧中首次被观察到时所获得的运动数据，连同所述对象在离开场景(或变为固定于融入帧背景中的点)前的每一连续观察结果。因此，假定计算机视觉引擎135以5Hz的速率工作，对象的轨迹每200毫秒更新一次，直到完成。情境事件发生器220也可以计算和封包每一跟踪对象的外观数据，方式是评估对象的如形状、宽度和其它物理特征的各种外观属性，并且对每一属性分配数值评分。

计算机视觉引擎135可以从部件205、210、215和220获取描述场景中跟踪对象的运动和动作的输出，并且通过事件总线230将这个信息提供给机器学习引擎140。说明性地，机器学习引擎140包括分类器235、语义模块240、映射器245、认知模块250、皮质模块270和归一化模块265。

分类器235从计算机视觉引擎135接收如外观数据的情境事件并且将数据映射在神经网络上。在一个实施方案中，神经网络是自组织映射(SOM)和ART网络的组合，在图2中展示为SOM-ART网络236。数据根据重复出现的彼此相关联的特征来聚集并组合。然后，基于这些再现类型，分类器235定义出对象的类型。例如，分类器235可以将具有例如高光泽度刚性和反射率的前景斑块定义为1型对象。然后，这些被定义的类型沿用到系统的全部其余部分。

皮层模块270接收来自计算机视觉引擎135的运动数据并且将数据映射在神经网络上，在图2中展示为SOM-ART网络271。在一个实施方案中，SOM-ART网络271将运动数据聚集来建立场景中的事件的常见序列。在另一实施方案中，SOM-ART网络271将来自相互作用轨迹的运动数据聚集来建立场景中的常见相互作用。通过学习场景中的事件和相互作用的常见序列，皮质模块270帮助机器学习引擎检测异常的序列和相互作用。

映射器240通过在系统中针对前景斑块搜索空间和时间相关性和行为来使用这些类型，从而建立事件可能或不可能发生的地点和时间的映射。在一个实施方案中，映射器240包括时间存储器ART网络241、空间存储器ART网络242和统计引擎243。例如，映射器240可以寻找1型对象的斑块。空间存储器ART网络242使用统计引擎243来建立这些对象的统计数据，如场景中何处会出现这些斑块、这些斑块倾向于在什么方向上行进、这些斑块行进的快速程度如何、这些斑块是否改变方向等。然后，映射器240建立这个信息的神经网络，所述神经网络成为用以比较对象行为的存储模板。时间存储器ART网络241使用统计引擎243来创建基于时间片采样的统计数据。在一个实施方案中，初始采样以每三十分钟的间隔发生。如果在时间片内发生许多事件，那么时间分辨率可以被动态地改变成更精细的分辨率。反之，如果在时间片内发生较少事件，那么时间分辨率可以被动态地改变成较粗略的分辨率。

在一个实施方案中，语义模块245包括相空间分隔部件246和异常检测部件247。语义模块245确认场景中的运动或轨迹的模式，并且通过概括法来分析场景的异常行为。通过划分场景并且将前景斑块分成许多不同的嵌块(tessera)，语义模块245跟踪对象的轨迹并且从轨迹中学习模式。语义模块245分析这些模式，并且将它们与其它模式进行比较。当对象进入场景时，相空间分隔部件246建立自适应栅格并且将对象和它们的轨迹映射到栅格上。在更多特征和轨迹被填充到栅格上时，机器学习引擎就学习对于场景来说常见的轨迹，并且进一步将正常行为与异常行为区分开。

在一个实施方案中，认知模块250包括感知存储器251、情节存储器252、长期存储器253、工作区254和代码段(codelet)255。一般来说，工作区254为机器学习引擎140提供计算引擎。例如，工作区240可以被配置来复制来自感知存储器251的信息、从情节存储器252和长期存储器253中检索相关的存储内容、选择要执行哪些代码段255。在一个实施方案中，每一代码段255是被配置来评估不同事件序列并且确定一个序列可以如何续接(或以其它方式关联于)另一序列的软件程序(例如，有限状态机)。更一般来说，代码段可以提供被配置来从馈入机器学习引擎的数据流中检测感兴趣的模式的软件模块。继而，代码段255可以在情节存储器252和长期存储器253中创建、检索、加强或修改存储内容。通过重复地调用供执行用的代码段255、复制去往/来自工作区240的存储内容与感知，机器学习引擎140执行用于观察和学习在场景中出现的行为模式的认知循环。

在一个实施方案中，感知存储器251、情节存储器252和长期存储器253用于确认行为模式、评估在场景中发生的事件，并且编码并存储观察结果。一般来说，感知存储器251接收计算机视觉引擎135的输出(例如，情境事件流)。情节存储器252存储表示所观察事件以及与具体情节相关的细节的数据，例如，描述与事件相关的时间和空间细节的信息。也就是说，情节存储器252可以编码具体事件的特定细节，即场景中“何事和何地”发生某个事情，如具体车辆(汽车A)在上午9时43分移动至确信为停车空间的位置(停车空间5)。

对比来说，长期存储器253可以存储概括场景中所观察到的事件的数据。继续以车辆停车为例，长期存储器253可以编码采集通过分析场景中的对象行为来获知的观察结果和概括的信息，如“车辆倾向于停在场景的具体位置”、“停车时，车辆倾向于以某一速度移动”以及“车辆停车后，人会倾向于出现在场景中邻近车辆处”等。因此，长期存储器253存储关于在场景内发生何事的观察结果，其中许多具体的情节细节被去掉。在这种方式下，当新的事件发生时，来自情节存储器252和长期存储器253的存储内容可以用于关联和理解当前事件，即，新的事件可以与过去的经历进行比较，从而随着时间的推移引起对存储在长期存储器253中的信息的加强、衰减和调整。在具体的实施方案中，长期存储器253可以被实现为ART网络和稀疏分布式存储数据结构。然而，重要的是，这种方法不需要预先定义不同的对象类型分类。

在一个实施方案中，模块235、240、245、250和270包括异常检测部件，如部件237、244、247、256和272所描绘。每一模块可以被配置来确认相对于场景的过去观察结果的异常行为。如果任何模块确认出异常行为，那么其对应的异常检测部件产生警报并且使警报通过归一化模块265。例如，语义模块245中的异常检测器247使用所学习的模式和模型来检测反常的轨迹。如果前景对象表现出游荡行为，那么例如，异常检测器247使用游荡模型来评估对象轨迹，随后产生警报，并将警报发送到归一化模块265。在接收警报后，归一化模块265评估警报是否应予以发布。

图3例示根据一个实施方案的由行为识别系统产生的示例性警报300。如图所示，警报300包括描述305、类别310、类型315以及罕见度值320。当然，警报可以包括其它数据。描述305可以包括关于警报的信息，如事件何时发生(即相对于场景的时间索引)和事件发生在何处(即，相对于场景中前景对象的坐标)或事件发生多久。类别310是对应于行为模式的识别符。速度、轨迹和运动都是警报类别的实例。类型315对应于警报类型。高速度、序列轨迹和反常运动都是警报类型的实例。

在一个实施方案中，罕见度值320在0与1之间的范围内，并且反映出所述发生情况相对于对应于某一警报类型的过去发生情况的常见程度如何。值为0表示最常见(或最不罕见)的事件，而值为1表示最不常见(或最罕见)的事件。对于由行为识别系统观察到的所有发生情况来说，机器学习引擎对每一警报类型分配罕见度值。在新部署的行为识别系统中，机器学习引擎可以在最初将高罕见度值分配给场景中的事件(因为机器学习引擎处理关于新观察到的行为模式的信息)，但随着时间的推移，机器学习引擎在学习更多的行为模式后会更准确地分配罕见度值。

图4例示根据一个实施方案的用于在配置有警报归一化模块的行为识别系统内处理警报的方法400。方法开始于步骤405，其中计算机视觉引擎处理场景中的事件，并且将信息(例如，前景对象的外观和运动数据)发送到机器学习引擎。例如，聚焦于停车库的摄像机可以记录到以每小时三十五英里的速度行驶的汽车。计算机视觉引擎产生信息，如汽车的轨迹和速度的数据，并且将所述数据传送到机器学习引擎。在步骤410处，机器学习针对所述行为将罕见度值分配给每一警报类型。在这个实例中，因为机器学习引擎通常评估在场景中以每小时十英里的速度移动的汽车(即表示汽车的分类模型)，所以系统可以将0.85的罕见度值分配给高速警报类型。在步骤415处，机器学习引擎确定事件是否对应于异常行为(例如，通过机器学习引擎的异常检测部件之一来确定)。如果不对应，那么系统将舍弃事件。否则，如果事件是异常的，那么在步骤420处，系统针对所述事件产生警报。机器学习引擎将警报与其罕见度值发送到归一化模块。在正在进行的实例中，如果系统发现这类行为异常，那么机器学习引擎将对以每小时35英里行驶的汽车的观察结果作为警报传送到归一化模块。

图5示出在行为识别系统中归一化并发布警报的方法500。对于这种方法来说，假设用户已向归一化模块指定最大发布率(即，每天要发布的警报数量)和每个警报类型的一组相对权重。如图所示，方法开始于步骤505，其中归一化模块接收来自机器学习引擎中的异常检测部件的警报。例如，语义模块中的异常检测部件可以产生反常轨迹警报，并将所述警报发送到归一化模块。在步骤510处，归一化模块将警报的罕见度值转换成警报百分位值。

在计算警报百分位数后，在步骤515处，归一化模块评估警报百分位数是否大于百分位阈值。百分位阈值使用归一化模块对警报类型的最大允许警报计数的值和次日警报计数的估算值来计算。在一个实施方案中，警报类型i的最大允许警报计数在以下方程中表示为v_i，所述最大允许警报计数可以如下确定：

$v_i=\frac{{\mathrm{\ω}}_{i}P}{{\mathrm{\Σ}}_{i=1}^M{\mathrm{\ω}}_i}---\left(1\right),$

其中ω_i表示对于所述警报类型给定的相对发布权重，P表示所需的发布率，并且M表示行为识别系统中的警报类型的总数。另外，在一个实施方案中，次日警报计数的值在以下方程中表示为N_i，所述值可以如下估算：

$N_i=\frac{{\mathrm{\Σ}}_{k=1}^B{\mathrm{\α}}_k{n}_k}{{\mathrm{\Σ}}_{k=1}^B{\mathrm{\α}}_k}---\left(2\right),$

其中B表示历史缓冲值(天数)，n_k表示在过去第k天观察到的警报计数，并且α表示历史缓冲值中每天警报计数的一组相对权重。使用警报类型的最大允许量和次日警报计数值，在以下方程中表示为ξ_i的百分位阈值可以如下计算：

${\mathrm{\ξ}}_i=1-\frac{v_i}{N_i}---\left(3\right).$

在一个实施方案中，归一化模块使用历史警报百分位值来每天更新百分位阈值。

在确定警报百分位数是否大于百分位阈值(步骤515)之后，归一化模块将警报百分位值转换成复合归一化罕见度值。归一化模块通过估算警报相对于它自身在警报类型中分布的罕见度来进行上述转换。在一个实施方案中，这里表示为η_i的归一化罕见度值可以通过这个公式来获得：

${\mathrm{\η}}_i=\frac{{\mathrm{\ϵ}}_i-{\mathrm{\ξ}}_i}{1-{\mathrm{\ξ}}_i}---\left(4\right),$

其中ε_i表示警报百分位值。这种方法确保多个不相交警报类型的值的统计一致性。例如，两个不同警报类型的警报的为0.9的归一化罕见度值具有相同的统计罕见性，并且尽管它们的基本异常模型是不同的，但是仍可以被视为具有相同的重要性。

归一化模块将警报的归一化罕见度值填充至复合归一化罕见度直方图中。复合归一化罕见度直方图为归一化模块提供数据来创建警报的发布秩。使用这个数据和给定的发布率和调度率，归一化模块计算出警报的发布秩(步骤525)。在一个实施方案中，计算给定警报i的某一发布秩β的方程如下：

β＝min(P，N_p)*(1-η_i)    (5)，

其中N_p是通过计算最近B天数的历史每日发布警报的最大值来估算的秩重新归一化常数。与具有低值的警报相比，具有高归一化罕见度值的警报具有较低发布秩。归一化模块以发布秩的顺序来发布警报(步骤530)。在另一实施方案中，用户可以配置警报归一化模块以(例如，通过发送电子邮件或通过在图形用户界面上产生显示)调度某一数量的警报。在这样的情况下，归一化模块仅在发布秩小于最大调度数量时才调度警报。

在警报的原始罕见度值等于1的情况下，归一化模块无法使用方程(4)来归一化警报。相反，在一个实施方案中，η_i可以通过这个公式来获得：

${\mathrm{\η}}_i=1-\mathrm{rand}\frac{m+{\mathrm{\Σ}}_{k=1}^B{m}_k}{p+{\mathrm{\Σ}}_{k=1}^B{p}_k}$ 如果r＝1 (6)，

其中rand(x)表示[0,x]中的均匀随机数，m是当天观察到的罕见度值为1的警报的当前数量，p是当天所发布警报的当前数量，并且r是警报的原始罕见度值。

在另一个实施方案中，归一化模块可以计算N_i以说明当周特定几天的不同警报类型量。例如，机器学习引擎可以每周一致地在周五而不是周一产生更多的警报，并且用户可能需要归一化模块以便针对给定的一天使用一周前这一天的计数来估算的计数总数。为了处理特定日的归一化，N_i可以计算为：

$N_i=\mathrm{\θ}\frac{\underset{i=1}{\overset{B}{\mathrm{\Σ}}}{\mathrm{\α}}_i{\mathrm{\γ}}_i}{\underset{i=1}{\overset{B}{\mathrm{\Σ}}}{\mathrm{\α}}_i}+(1-\mathrm{\θ})\frac{\underset{i=1}{\overset{B}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{id}}}{B}---\left(7\right),$

其中θ是表示给予每日复合值的权重的乘数，γ表示当天观察到的特定对象复合值的数量，并且d表示需要估算计数的一天。

另外，在另一实施方案中，在警报过冲的情况下，归一化模块调整百分位阈值。在行为识别系统一天内观察到比预期更多的异常事件的情形下，发生警报过冲，这会导致较低的百分位阈值，并因此更多的警报越过阈值。归一化模块通过使用超额值(overage value)λ将百分位阈值向1增加来适应这种警报过冲。在一个实施方案中，调整表示于以下公式中：

${\mathrm{\ξ}}_1=\frac{N_i+p_i-(1+\mathrm{\λ})v_i}{N_i}$ 如果p_i>v_i (8)，

其中p_i表示当天所发布警报的数量。然而，应注意，如果所发布警报的数量低于系统对所述警报类型所允许的警报量的最大数量，那么归一化模块不会修改百分位阈值，并且应进一步注意，归一化模块对于任何警报类型可以发布的警报数量设有上界。

图6示出警报归一化模块的示例性特定使用情况的图形表示。出于这个示例性情况的目的，用户设定每天100个警报的所需发布率、每天五个警报的所需调度率，以及用于总共存在四个警报类型的系统中的所有警报类型的相等相对权重。图式表示了在给定的一天中四个警报类型的警报的发布和调度，其中预期每一警报类型发布最多25个警报。图式左侧的图形(605、610、615和620)展示所有警报类型的警报的代表性分布。为简单起见，这里展示了连续分布，并且当天内观察到的警报的数量被视为与基于历史每日警报数据的估算次日警报精确匹配。每一图形的画线部分表示将要发布的警报。注意，发布的是具有最高原始罕见度值的前三个警报类型的前25个警报，以及最后一个警报类型的所有10个警报。未被发布的警报不符合百分位阈值。

注意，将要发布的来自单独警报类型的所有警报根据它们的归一化罕见度值而自动均匀地分布在图式右侧显示的复合归一化罕见度直方图625中。归一化模块使用直方图中的数据来计算将要发布的警报的发布秩。在一个实施方案中，计算秩进一步用于决定任何具体的警报是否应被调度。更确切来说，来自单独警报类型的所有85个警报以介于0与85之间的发布秩来发布。应进一步注意，秩越小，所发布警报越重要，并且因此归一化模块将调度低于所需调度率的所有警报，在这种情况下是秩低于5的警报。

如上所述，本发明的实施方案提供了用于在基于行为识别的视频监控系统中将针对多个不相交警报类型产生的警报的数量进行归一化的框架。通过使用所需的警报发布率和不同警报类型的相对权重，归一化模块接收具有某一罕见度值的警报，并且将这个值转换成百分位数。如果百分位数大于阈值，那么模块将警报归一化并且将警报发布给用户。有利的是，这种方法在不同警报类型的罕见度值中产生统计一致性，并且确保发布相对确定数量的警报，而与系统中警报类型的数量无关。

尽管前述内容针对本公开的实施方案，但是可以设计本公开的其它和进一步的实施方案而不脱离本公开的基本范围，并且本发明的范围由所附权利要求书来决定。

Claims (14)

1.一种用于归一化并发布由行为识别系统产生的警报的方法，所述方法包括：

接收具有类型和原始罕见度值的警报，

将所述原始罕见度值转换成警报百分位值，

在确定所述警报百分位值大于百分位阈值后，将所述警报归一化，并且

发布所述警报。

2.如权利要求1所述的方法，其中所述百分位阈值是其中v_i是所述警报类型值的最大允许警报计数，并且N_i是估算的次日警报计数值。

3.如权利要求2所述的方法，其中所述百分位阈值是如果p_i>v_i，其中p_i是当天所发布警报的数量并且λ是超额值。

4.如权利要求1所述的方法，其中归一化所述警报进一步包括计算归一化罕见度值其中ε_i是所述警报百分位值并且ξ_i是所述百分位阈值。

5.如权利要求4所述的方法，其中所述归一化罕见度值是

如果r＝1，其中m是当天原始罕见度值为1的警报的当前数量，p是当天所发布警报的当前数量，并且r是所述原始罕见度值。

6.如权利要求1所述的方法，其中发布所述警报进一步包括计算发布秩值β＝min(P，N_p)*(1-η_i)，其中P是最大发布值，N_p是秩重新归一化常数，并且η_i是归一化罕见度值。

7.如权利要求6所述的方法，其进一步包括：在确定所述发布秩值小于最大调度值后，调度所述警报。

8.一种系统，其包括：

处理器，以及

托管应用程序的存储器，其中当所述应用程序在所述处理器上执行时，所述应用程序进行用于归一化并发布由行为识别系统产生的警报的操作，所述操作包括：

接收具有类型和原始罕见度值的警报，

将所述原始罕见度值转换成警报百分位值，

在确定所述警报百分位值大于百分位阈值后，将所述警报归一化，并且

发布所述警报。

9.如权利要求8所述的系统，其中所述百分位阈值是其中v_i是所述警报类型值的最大允许警报计数，并且N_i是估算的次日警报计数值。

10.如权利要求9所述的系统，其中所述百分位阈值是如果p_i>v_i，其中p_i是当天所发布警报的数量并且λ是超额值。

11.如权利要求8所述的系统，其中归一化所述警报进一步包括计算归一化罕见度值其中ε_i是所述警报百分位值并且ξ_i是所述百分位阈值。

12.如权利要求11所述的系统，其中所述归一化罕见度值是如果r＝1，其中m是当天原始罕见度值为1的警报的当前数量，p是当天所发布警报的当前数量，并且r是所述原始罕见度值。

13.如权利要求8所述的系统，其中发布所述警报进一步包括计算发布秩值β＝min(P，N_p)*(1-η_i)，，其中P是最大发布值，N_p是秩重新归一化常数，并且η_i是归一化罕见度值。

14.如权利要求13所述的系统，其进一步包括：在确定所述发布秩值小于最大调度值后，调度所述警报。