CN101167086A

CN101167086A - 用于安全应用的人体检测和跟踪

Info

Publication number: CN101167086A
Application number: CNA2006800110522A
Authority: CN
Inventors: 张忠; 阿兰·J·利普顿; 保罗·C·布雷韦尔; 安德鲁·J·乔萨克; 尼尔斯·黑林; 加里·W·迈尔斯; 彼得·L·韦奈蒂阿奈尔; 尹卫红
Original assignee: Diamondback Vision Inc
Current assignee: Objectvideo Inc; Diamondback Vision Inc
Priority date: 2005-05-31
Filing date: 2006-05-31
Publication date: 2008-04-23
Also published as: WO2007086926A2; CA2601832A1; IL186045A0; MX2007012094A; WO2007086926A3; KR20080020595A; JP2008542922A; TW200710765A; US20090041297A1; EP1889205A2

Abstract

一种基于计算机的系统，用于执行用于人体检测和跟踪的场景内容分析，可以包括：视频输入端，用于接收视频信号；内容分析模块，其耦合到所述视频输入端，用于接收来自所述视频输入端的所述视频信号，从所述视频信号中分析场景内容，并且从在所述视频信号中可见的一个或多个对象中确定事件；数据存储模块，用于存储所述视频信号、涉及所述事件的数据或涉及所述系统的配置和操作的数据；以及用户界面模块，其耦合到所述内容分析模块，用于允许用户配置所述内容分析模块以提供用于所述事件的报警，其中，一旦识别所述事件，所述内容分析模块就产生所述报警。

Description

用于安全应用的人体检测和跟踪

技术领域

本发明涉及监视系统。具体地，本发明涉及基于视频的智能监视系统，其能自动检测和跟踪监视下的场景内的人体目标。

背景技术

稳健的人体检测和跟踪对于现代视频监视和安全应用很重要。任何住宅和商业系统关心的一个问题是高的误报警或误报警的倾向。许多因素可以触发误报警。例如，在家庭安全系统中，诸如生日气球或宠物乃至圣诞树上的装饰物之类的物体或动物的热、声音或移动的任何来源，如果处于安全传感器的检测范围之内，都可能引起误报警。这样的误报警可能促使人员响应，显著增加了系统的总成本。此外，反复的误报警可能降低系统的有效性，当真正的事件或威胁发生时，这会很不利。

同样，如果安全系统能够可靠地检测场景中的人体目标，则大多数的误报警需要被去除，因为看来好像非人体的目标引发了大多数的误报警。所需要的是可靠的人体检测和跟踪系统，该系统不仅能够减少误报警，而且还能够用于执行更高水平的人类行为分析，所述人类行为分析可以具有大范围的潜在应用，包括但不限于人员计数、中老年或精神疾病的监视，以及可疑人员犯罪行为检测。

发明内容

本发明包括用于人体检测和跟踪的方法、系统、设备和制造的物品。

在实施例中，本发明使用了具有有关人体对象的多个线索和一般人体模型的人体检测方法。本发明的实施例还使用了人体目标跟踪和时间信息来进一步增加检测的可靠性。

本发明的实施例还可以用替选方式使用人体外观、肤色检测和人体运动。在一个实施例中，脸部检测可以使用人体对象的正面或半正面视图以及头部图像尺寸和主要面部特征。

根据实施例，本发明包括计算机可读介质，其包含软件代码，当所述软件代码由机器如计算机读取时，使该计算机执行用于视频目标跟踪的方法，该方法包括但不限于下述操作：对输入的监视视频执行变化检测；检测和跟踪目标；以及基于用户限定的规则检测所关心的事件。

在实施例中，用于本发明的系统可以包括计算机系统，其包括计算机可读介质，该计算机可读介质具有根据本发明的实施例来操作计算机的软件。在实施例中，用于本发明的设备包括计算机，其包括计算机可读介质，该计算机可读介质具有根据本发明的实施例来操作计算机的软件。

在实施例中，用于本发明的制造的物品包括计算机可读介质，其具有根据本发明的实施例来操作计算机的软件。

本发明的示例性特征和优点以及本发明的各种实施例的结构和操作可以在下面参考附图详细说明。

附图说明

本发明的上述和其它特征和优点将通过下面本发明的示例性实施例的更具体的描述而更加明显，如附图所示，其中相同的附图标记一般指示相同、功能上相似和/或结构上相似的元件。相应的附图标记中的最左边的数字指示元件最先出现在其中的附图。

图1描绘了根据本发明的实施例的智能视频系统(IVS)系统的概念性框图；

图2描绘了根据本发明的实施例的IVS系统的与人体检测/跟踪有关的内容分析模块的概念性框图；

图3描绘了根据本发明的实施例的人体检测/跟踪模块的概念性框图；

图4列出了根据本发明的实施例的人体特征提取模块的主要部件；

图5描绘了根据本发明的实施例的人体头部检测模块的概念性框图；

图6描绘了根据本发明的实施例的人体头部位置检测模块的概念性框图；

图7图示了根据本发明的实施例的目标上部轮廓的例子；

图8示出了根据本发明的实施例的检测到的潜在头部位置的某个例子；

图9描绘了根据本发明的实施例的椭圆形头部配合(fit)模块的概念性框图；

图10图示了根据本发明的实施例的如何找到头部外形像素的方法；

图11图示了根据本发明的实施例的将一个头部外形点的配合误差限定到估计的头部模型；

图12描绘了根据本发明的实施例的椭圆形头部精细配合模块的概念性框图；

图13列出了根据本发明的实施例的头部跟踪器模块406的主要部件；

图14描绘了根据本发明的实施例的相对尺寸估计器模块的概念性框图；

图15描绘了根据本发明的实施例的人体形状轮廓提取模块的概念性框图；

图16示出了根据本发明的实施例的人体投影轮廓提取和规范化的例子；

图17描绘了根据本发明的实施例的人体检测模块的概念性框图；

图18示出了根据本发明的实施例的不同水平的人体特征支持的例子；

图19列出了根据本发明的实施例的人体目标检测器和跟踪器使用的潜在人体目标状态；

图20图示了根据本发明的实施例的人体目标状态变换图。

应当理解这些附图描绘的是本发明的实施例。基于包含于此的教导，这些实施例的变化对于相关领域普通技术人员是明显的。例如，这些附图中所包含的流程图和框图描绘了具体的操作流程。但是，这些流程图中所包含的功能和步骤可以以其它次序执行，如基于包含于此的教导对于相关领域普通技术人员将会明显的那样。

定义

下面的定义适用于本公开全文，包括上面的内容。

“视频”可以指以模拟和/或数字形式表示的运动图片。视频的例子可以包括电视、电影、来自摄像机或其它观察器的图像序列和计算机生成的图像序列。视频可以例如从现场报道(live feed)、存储装置、基于IEEE1394的接口、视频数字转换器、计算机图形引擎或者网络连接中获得。“帧”指的是视频中的具体图像或其它离散单元。

“视频摄像机”可以指用于视觉记录的设备。视频摄像机的例子可以包括以下中的一个或多个：视频摄像机；数字视频摄像机；彩色摄像机；单色摄像机；摄像机；可携式摄像机；PC摄像机；网络摄像机；红外(IR)视频摄像机；低照度视频摄像机；热视频摄像机；CCTV摄像机；遥摄、倾斜、变焦(PTZ)摄像机；以及视频感测装置。可以安置视频摄像机以执行所关心区域的监视。

“对象”是指在视频中关注的项目。对象的例子包括人、车辆、动物和物理实体。

“目标”是指对象的计算机模型。目标从图像处理中导出，并且在目标和对象之间存在一一对应。本公开中的目标具体地是指对象在一定时间期间的一段时期的一致的计算机模型。

“计算机”是指能够接受结构化输入、根据规定的规则处理所述结构化输入并产生处理的结果作为输出的任何设备。计算机例如可以包括：接受数据、根据一个或多个存储的软件程序处理所述数据、产生结果并且典型地包括输入、输出、存储、算术、逻辑和控制单元的任何设备；计算机；通用计算机；超级计算机；大型机；超级小型计算机；小型计算机；工作站；微型计算机；服务器；交互式电视；网络设备；具有互联网接入的电信设备；计算机和交互式电视的混合组合；便携式计算机；个人数字助理(PDA)；便携式电话；仿效计算机和/或软件的专用硬件；固定式计算机；便携式计算机；单处理器计算机；可以并行和/或不并行操作的多处理器计算机；以及经由网络连接在一起的用于在计算机之间传输或接收信息的两个或更多计算机，比如用于经由通过网络链接的计算机处理信息的分布式计算机系统。

“计算机可读介质”是指用于存储计算机可访问数据的任何存储装置。计算机可读介质的例子包括：磁性硬盘；软盘；光盘如CD-ROM和DVD；磁带；存储芯片；以及用于运送计算机可读电子数据的载波，比如在发送和接收电子邮件中或者在访问网络中使用的那些载波。

“软件”是指用于操作计算机的规定的规则。软件的例子包括：软件；代码段；指令；软件程序；计算机程序；以及编程逻辑。

“计算机系统”是指具有计算机的系统，其中计算机包括含有软件以操作计算机的计算机可读介质。

“网络”是指通过通信设施连接的若干计算机和相关设备。网络可以包括永久连接如缆线或临时连接如通过电话、无线或其它通信链路进行的那些连接。网络的例子可以包括：互联网如因特网；内联网；局域网(LAN)；广域网(WAN)；以及网络如互联网和内联网的组合。

具体实施方式

在此说明本发明的示例性实施例。尽管讨论了具体示例性实施例，但是应当理解这只是用于说明的目的。相关领域中的普通技术人员会明白，至少基于在此提供的教导，能够使用其它部件和配置而不脱离本发明的精神和范围。

本发明的示例性实施例的具体应用包括但不限于以下：住宅安全监视；商业安全监视，比如像用于零售、保健或仓库；以及重要基础设施的视频监视，比如像用于炼油厂、核电站、港口、机场和铁路。

在说明本发明的实施例时，一般使用下列准则，但本发明不限于它们。相关领域中的普通技术人员会至少基于在此提供的教导而意识到对所述准则的替选和添加。

1、人体对象具有头部，其在摄像机视野中具有直立身体支持至少一定时间。这可能要求摄像机不是俯视和/或人体没有总是爬行。

2、人体对象在对象移动时具有肢体运动。

3、人体尺寸在平均人体尺寸的一定范围内。

4、人体脸部可以看见。

上述一般的人体对象性质是这样的准则，所述准则充当用于场景中的人体目标的多条线索，并且不同的线索在所观察的目标是否是人体目标方面可以具有不同的可信度。根据实施例，每个视频帧上的人体检测可以是来自该帧的所有线索或所有线索的子集的加权或非加权的组合。视频序列中的人体检测可以是来自人体目标跟踪的全局决定。

图1描绘了根据本发明的实施例的典型的IVS系统100的概念性框图。视频输入102可以是常规闭路电视(CCTV)视频信号，或者一般地，是来自视频摄像机的视频信号。元件104可以是具有内容分析模块的计算机，所述内容分析模块执行在此说明的场景内容分析。用户可以通过用户界面106配置系统100并定义事件。一旦检测到任何事件，就向指定人员发送报警110，其带有必要的信息和指令用于进一步的关注和调查。视频数据、场景内容数据和其它事件相关数据将被存储到数据存储器108中用于以后的法庭分析。本发明的这个实施例关注内容分析模块104的一个具体能力，亦即人体检测和跟踪。在视频输入102中检测和跟踪到人体目标的任何时候，都可以生成报警。

图2描绘了根据本发明的实施例的内容分析模块104所进行的人体检测/跟踪的操作实施例的框图。首先，系统可以使用运动和变化检测模块202来将前景与背景202分开，并且这个模块的输出可以是对于每一帧的前景遮罩(mask)。下一步，前景区可以被斑点(blob)提取模块206分成分开的斑点208，并且这些斑点为目标在每个时标的观察。人体检测/跟踪模块210可以检测和跟踪视频中的每个人体目标，并在场景中有人体时发出报警110。

图3描绘了根据本发明的实施例的人体检测/跟踪模块210的概念性框图。首先，人体部位和特征检测302提取并分析各种对象特征304。这些特征304可以稍后被人体检测模块306使用以检测在场景中是否有人体对象。然后可以为每个检测到的人体生成人体模型308。这些检测到的人体模型308可以充当用于人体跟踪模块310的每个帧处的人体观察。

图4列出了根据本发明的实施例的人体部位和特征提取模块302中的示例性部件。斑点跟踪器402可以执行基于斑点的目标跟踪，其中基本的目标单元是由前景斑点提取模块206提供的单独斑点。注意斑点可以是人体目标的基本支持，帧中的任何人体对象都位于前景斑点中。头部检测器404和跟踪器模块406可以执行人体头部检测和跟踪。在斑点中存在人体头部可以提供有力的证据来证明所述斑点是人体或至少可能包含人体。相对尺寸估计器408可以提供目标和平均人体目标相比的相对尺寸。通过研究斑点遮罩的垂直投影和斑点的顶部轮廓，人体轮廓提取模块410可以提供每个斑点中的人体轮廓的数目。

脸部检测器412还可以用于提供在场景中是否存在人体的证明。存在许多脸部检测算法可用于在这个阶段应用，并且在此说明的这些算法是实施例，而不打算限制本发明。基于至少在此提供的教导，相关领域的普通技术人员将会意识到其它脸部检测算法的应用。在这个视频人体检测想定中，通过较早的内容分析模块已经检测了前景目标，并且脸部检测只能够在输入的斑点上应用，这可以提高检测可靠性并降低计算成本。

下一个模块414可以提供称作尺度不变特征变换(SIFT)的图像特征生成方法或者提取SIFT特征。可以为每个斑点提取局部图像特征的类。这些特征对于图像缩放、平移和旋转是不变的，并且对于照明变化和仿射或三维(3D)投影部分地不变。这些特征可以用于将刚性对象如车辆与非刚性对象如人体分开。对于刚性对象，它们的来自后续帧的SIFT特征可以提供比非刚性对象好得多的匹配。这样一来，被跟踪目标的SIFT特征匹配得分就可以用作目标的刚性量度，其可以进一步在某些目标分类想定中使用，例如将人群与车辆分开。

肤色检测器模块416可以检测每个被检测到的头部区域中的一些或所有的肤色像素。在本发明的实施例中，头部区域中的肤色像素的比率可以用于检测最佳人体快照。根据本发明的实施例，检测肤色像素的方法可以是通过训练在YCrCb颜色空间中产生肤色查询表。可以预先收集有关应用想定的大量图像快照。下一步，可以手工获得其上有肤色像素的地面实况。这可以有助于一组训练数据，其然后可以用于产生概率图，其中，根据实施例，每个位置涉及一个YCrCb数，并且该位置上的值可以是具有YCrCb值的像素为肤色像素的概率。通过在肤色概率图上应用阈值，可以获得肤色查询表，并且肤色概率大于用户可控阈值的任何YCrCb值都可以被认为是肤色。

和脸部检测相似，存在许多肤色检测算法可用于在这个阶段应用，并且在此说明的这些算法是实施例，而不打算限制本发明。基于至少在此提供的教导，相关领域的普通技术人员将会意识到其它肤色检测算法的应用。

物理尺寸估计器418可以提供被检测目标的近似物理尺寸。这可以通过对正在使用的摄像机施加校准来实现。可能存在可用的摄像机校准方法的范围，其中的一些在计算上是密集的。在视频监视应用中，通常希望快速、简便和可靠的方法。在本发明的实施例中，基于图案的校准可以很好地服务于这个目的。例如参见Z.Zhang的“A flexible new technique forcamera calibration”.IEEE Transactions on Pattern Analysis and MachineIntelligence，22(11)：1330-1334，2000，其整体结合于此，其中操作者仅仅需要做的事是：在视频摄像机前挥动具有棋盘状图案的平板。

图5描绘了根据本发明的实施例的人体头部检测器模块404的框图。向模块404的输入可以包括：基于帧的图像数据，比如源视频帧；具有不同可信度水平的前景遮罩；以及分段的前景斑点。对于每个前景斑点，头部位置检测模块502可以首先检测潜在的人体头部位置。注意每个斑点可以包括多个人体头部，而每个人体头部位置则仅可以包括至多一个人体头部。下一步，对于每个潜在的人体头部位置，基于不同的输入数据，通过椭圆形头部配合模块504可以检测对应于相同人体对象的多个头部。

根据本发明的实施例，直立椭圆形头部模型可以用于椭圆形头部配合模块504。直立椭圆形头部模型可以包括三个基本参数，其既不是最小也不是最大数目的参数：中心点；头部宽度，其对应于短轴；以及头部高度，其对应于长轴。进一步，头部高度和头部宽度之间的比率可以根据本发明的实施例限定在大约1.1到大约1.4的范围内。在本发明的实施例中，三种类型的输入图像遮罩可以独立地用于检测人体头部：变化遮罩、明确的前景遮罩和边缘遮罩。变化遮罩可以指示可能在某种程度上不同于背景模型的全部像素。它既可以包括前景对象，又可以包括由前景对象造成的其它副作用如阴影。明确的前景遮罩可以提供更可信版本的前景遮罩，并可以去除大部分的阴影像素。通过在输入的斑点之上执行边缘检测，比如但不限于Canny边缘检测，可以生成边缘遮罩。

椭圆形头部配合模块504可以基于三种不同遮罩来检测三种潜在的头部，然后可以通过用于一致性检验的一致性检验模块506比较这些潜在的头部。如果最佳匹配对相互符合，则组合的头部可以通过身体支持检验模块508进一步检验，以确定所述对是否具有足够的人体身体支持。例如，一些对象如气球可能具有人体头部形状，但不会通过身体支持检验测试。在进一步的实施例中，身体支持测试可能要求被检测的头部处于其它前景区之上，该区在宽度和高度量度上都比头部区大。

图6描绘了根据本发明的实施例的头部位置检测模块502的概念性框图。向模块502的输入可以包括：斑点边界框；以及图像遮罩中的一个。生成顶部轮廓模块602可以从图像遮罩中生成数据矢量，指示目标的顶部轮廓。矢量的长度可以和斑点宽度的宽度相同。图7图示了根据本发明的实施例的目标顶部轮廓的例子。帧702描绘了具有各种特征的多个斑点目标和适用于确定轮廓的顶部轮廓。曲线图704描绘了作为距离的因素的结果轮廓。

下一步，计算轮廓导数模块604对轮廓执行导数运算。斜率模块606可以检测一些、大部分、任何或所有的向上和向下斜率位置。在本发明的实施例中，一个向上斜率可以是轮廓导数为局部最大的地方，并且值大于最小头部梯度阈值。相似地，一个向下斜率可以是轮廓导数为局部最小的地方，并且值小于上述最小头部梯度阈值的负数。潜在的头部中心可以位于一个向上斜率位置和一个向下斜率位置之间，其中向上斜率应当在向下斜率的左侧。对于潜在的头部，可以要求至少一侧肩膀支持。左肩可以是紧靠着具有正轮廓导数值的向上斜率位置左侧的区域。右肩可以是紧靠着具有负轮廓导数值的向上斜率位置右侧的区域。被检测到的潜在头部位置可以由像素边界框限定。如果没有左肩可以被检测到，则边界框的左侧位置可以是左肩位置或向上斜率位置的最小位置。如果没有右肩可以被检测到，则边界框的右侧可以是右肩位置或向下斜率位置的最大位置。顶部可以是边界框的左侧和右侧边缘之间的最大轮廓位置，并且底部可以是左侧和右侧边缘上的最小轮廓位置。在这个模块中可以检测到多个潜在头部位置。

图8示出了根据本发明的实施例的检测到的潜在头部位置的一些例子。帧804描绘了正面或背面人体。帧808描绘了右面人体，帧810描绘了左面人体。帧814描绘了两个正面和/或背面人体。每一帧包括斑点遮罩806、至少一个潜在头部位置812以及斑点边界框816。

图9描绘了根据本发明的实施例的椭圆形头部配合模块504的概念性框图。向模块504的输入可以包括上述遮罩和作为边界框的潜在头部位置中的一个。检测边缘标记模块902可以提取输入边界框之内的输入遮罩的外形边缘。然后通过找到头部外形模块904提取头部外形像素。然后，使用粗略配合模块906，这些点可以用于估计近似椭圆形头部模型。头部模型可以通过精细配合模块908进一步被局部细化，这将总体配合误差减小到最小。

图10图示了根据本发明的实施例的如何找到头部外形像素的方法。描绘的帧可以包括：边缘框1002，其可以指示在模块502中检测到的潜在头部位置的输入边界框；输入遮罩1004；以及遮罩的外形边缘1006。该方案可以执行水平扫描，从边界框的顶部开始，从外向内，如线1008指示的那样。对于每一条扫描线，可以获得一对潜在头部外形点，如在点1010处的箭头的尖部所指示的那样。所述两个点可以表示潜在头部的一段，其可称为头部片段。所述两个端点要想被认作有效的头部片段，可能需要足够靠近以前的有效头部片段的相应端点。距离阈值可以和平均头部宽度相适应，该平均头部宽度可以通过在检测到的头部片段的长度上取平均值来获得。例如，当前平均头部宽度的四分之一可以选作距离阈值。

返回参考图9，检测到的潜在头部外形像素可以用来和椭圆形人体头部模型配合。如果配合误差相对头部尺寸小，则头部可以被认为是潜在检测。头部配合过程可以包括两个步骤：用粗略配合模块906进行确定性的粗略配合，之后用精细配合模块908进行迭代参数估计细化。在粗略配合模块906中，可能需要从输入的头部外形像素中估计四个椭圆模型参数：头部中心位置Cx和Cy、头部宽度Hw和头部高度Hh。由于头部外形像素成对出现，Cx可以是外形像素的所有X坐标的平均值。基于椭圆形状的基本特性，使用平均头部片段长度与头部片段长度的标准差之和，可以近似头部宽度Hw。使用1.25的平均人体高度对宽度的比率，可以从头部宽度中计算近似头部高度。最后，考虑到头部中心位置Cx、头部宽度Hw和头部高度Hh的上述三个椭圆参数，使用椭圆方程的一般公式，对于每一个头部外形点，可以获得椭圆中心的期望Y坐标。Cy的最后估计可以是所有这些期望的Cy值的平均值。

图11图示了根据本发明的实施例的将一个头部外形点的配合误差限定到估计的头部模型。该图示包括估计的椭圆形头部模型1102和头部中心1104。对于一个头部外形点1106，其到头部模型的配合误差1110可以被限定为外形点1106和交叉点1108之间的距离。交叉点1108可以是头部椭圆和由中心点1104与外形点1106确定的线的交叉点。

图12描绘了根据本发明的实施例的精细配合模块908的概念性框图。计算初始平均配合误差模块1202可以计算由粗略配合模块906获得的头部模型上的全部头部外形像素的平均配合误差。下一步，在迭代参数调整模块1204中，对于每一个椭圆参数可以作出小的调整，以确定所调整的模型是否会降低平均配合误差。选择调整值的一种方法可以是使用平均配合误差的一半。可以对两个方向作出调整。这样，在每一个迭代中，可以测试八个调整，并且产生最小平均配合误差的一个调整将被挑出。降低平均配合误差模块1206可以比较调整之前和之后的平均配合误差，如果配合误差没有降低，则模块可以输出精细化的头部模型以及最后的平均配合误差；否则，流程可以回到1204去执行参数细化的下一个迭代。

图13列出了根据本发明的实施例的头部跟踪器模块406的示例性部件。头部检测器模块404可以提供用于人体检测的可靠信息，但是可能要求人体头部轮廓可以在前景遮罩和斑点边缘遮罩中看见。遗憾地是，在实际情况中不总是这样。当人体头部部分和背景很相似或人体头部被遮挡或是部分被遮挡时，人体头部检测模块404可能难以检测到头部外形。此外，基于视频序列的单帧的任何结果可能常常不是最佳的。

在本发明的实施例中，可以使用将时间一致性考虑在内的人体头部跟踪器。通过图像的时间序列来跟踪对象的问题可能具有挑战性。在实施例中，诸如卡尔曼滤波之类的滤波可以用于跟踪场景中的对象，在所述场景中，背景没有视觉混乱。在具有显著背景混乱的场景中可以要求额外处理。这种额外处理的原因可能是卡尔曼滤波所使用的概率密度的高斯表达。这种表达可以固有地是单峰的，因此，在任何给定的时间，它仅可以支持关于所跟踪对象的真实状态的一个假设，即使背景混乱可能暗示不同于真实目标特征的假设。这种限制可能导致卡尔曼滤波的实施丢失目标的跟踪，而代替地在背景看来好像比正在被跟踪的真实目标更有可能配合的时候，锁定到背景特征上。在具有这种混乱的本发明的实施例中，可以应用以下替选方法。

在一个实施例中，对这种跟踪问题的解决方案可以是CONDENSATION(条件密度传播)算法的应用。CONDENSATION算法可以通过以下应对卡尔曼滤波的问题：允许概率密度表达为多峰，因此能够同时维持关于目标真实状态的多个假设。这可以允许从这样的短暂瞬间中恢复，在所述短暂瞬间中，背景特征看来好像比正被跟踪的真实对象更像目标(因此是更有可能的假设)。随着图像序列中的后续时间步为真实目标状态的假设提供加强，同时用于假目标的假设可能未被加强并因此逐渐减弱，恢复可能发生。

CONDENSATION算法和卡尔曼滤波跟踪器都可以被描述为随着时间传播用于运动对象的概率密度的过程。通过模型化目标的动态并结合观察，跟踪器的目的可以是考虑到观察和假定的在先密度，确定每个时间步t的用于目标状态的概率密度。传播可以被认为是三步过程，包括漂移、扩散和由测量引起的反应增强。对象的动态可以用确定的和随机的分量来模型化。确定的分量可以引起密度函数的漂移，而随机的分量则可以增加不确定性，因此可以引起密度函数的扩展。应用目标动态的模型可以从以前时间步的密度的知识中产生当前时间步的概率密度的预测。在模型正确时，这可以提供合理的预测，但可能不足以跟踪，因为它可能没有包括任何观察。密度传播中的晚期或接近最后的步骤可以是虑及在当前时间步进行的观察。这可以经由观察附近的区域中的预测密度的反应增强来进行。在用于卡尔曼滤波的单峰高斯分布的情况下，这可以使高斯分布的峰值朝向观察的状态移动。在CONDENSATION算法的情况下，这种反应增强可以在观察的局部邻域中建立峰值，这导致了密度的多峰表达。在混乱场景的情况下，可能存在多个观察，这暗示了对于当前状态的分开假设。CONDENSATION算法可以为每一个观察创建密度函数中的分开峰值，并且这些不同的峰值在严重混乱的情况下可能有助于稳健的性能。

如使用在此其它地方描述的卡尔曼滤波跟踪器的本发明的实施例一样，在本发明的进一步或可替选的实施例中，可以为实际的实施修改CONDENSATION算法，因为检测是高度依赖于应用的。参考图13，CONDENSATION跟踪器一般可以利用以下因素，其中，基于至少在此提供的教导，替选的和/或另外的因素对于相关领域中的普通技术人员是明显的：

1、目标的模型化或状态矢量x的选择1302

2、目标状态初始化1304

3、动态传播模型1306

4、后验概率生成和测量1308

5、计算成本考虑1310

在实施例中，头部跟踪器模块可以是多目标跟踪系统，其为整个人体跟踪系统的一小部分。以下示例性实施例被提供用来说明实际实施，而不打算限制本发明。基于至少在此提供的教导，本领域普通技术人员会认识到替选的或另外的实施。

对于目标模型因素1302，CONDENSATION算法可以被具体地开发以跟踪典型地表示前景对象的外形或特征的曲线。典型地，可以限制问题以允许曲线的低维参数化，使得跟踪对象的状态可以用低维参数x表达。例如，状态x可以将曲线的仿射变换表达为不可变形的整体。更复杂的例子可以涉及可变形曲线的参数化，比如人手的轮廓，其中允许每一个手指独立活动。通过简单地使用更高维状态x，CONDENSATION算法可以用相同的一般过程既处理简单的情况，又处理复杂的情况。但是，增加状态的维数不仅可能增加计算费用，而且还可能极大地增加算法所需的模型化(例如运动模型)的费用。这就是状态可以典型地被限制为低维的原因。由于上述原因，用于头部跟踪的三个状态，为头部的中心位置Cx和Cy以及由头部椭圆模型的短轴长度表示的头部尺寸。可能使用的两个限制为：头部总处于直立位置和头部具有固定范围的纵横比。试验结果表明在和实际数据对比时，这两个限制可能是合理的。

对于目标初始化因素1304，由于场景中的背景混乱，CONDENSATION跟踪器的大多数现有实施都手工选择用于目标模型的初始状态。对于本发明，头部检测器模块404可以为每个视频帧进行自动头部检测。这些检测到的头部可能是不同的人体跟踪器正在跟踪的现有人体头部，或者是新检测到的人体头部。可以对这些新检测到的头部进行时间检验，并且一旦新检测到的头部通过时间一致性检验，就初始化头部跟踪模块310并且启动另外的自动跟踪。

对于动态传播模型因素1306，传统的动态传播模型可以是与随机扩散相结合的线性预测，如公式(1)和(2)中描述的那样：

x_{t} - {\overline{x}}_{t}^{'} = A * (x_{t - 1} - {\overline{x}}_{t - 1}) + B * w_{t} - - - (1)

{\overline{x}}_{t}^{'} = f ({\overline{x}}_{t - 1}, {\overline{x}}_{t - 1}, . . .) - - - (2)

其中f(*)可以是卡尔曼滤波器或常规IIR滤波器，参数A和B表示动态模型的确定的和随机的分量，并且w_t是正态高斯分布。来自f(*)和w_t的不确定性是性能限制的主要来源。需要更多的样本来抵消这种不确定性，这可能显著增加计算成本。在本发明中，平均移动预测器(mean-shiftpredictor)可用来解决这个问题。在实施例中，平均移动预测器可以用于跟踪具有区别颜色的对象。该性能可能受制于以下事实：进行了目标和其周围背景具有不同颜色的假定，而这可能不总是正确的。但在头部跟踪的情况下，平均移动预测器可以用于得到头部的大概位置，这样可以显著降低所需要的样本数，但却具有更好的稳健性。平均移动预测器可以被用来通过从初始平均给定数据点确定移动矢量，来估计数据的平均的确切位置，并且可以近似这个数据的平均的位置。在头部跟踪的情况下，数据点可以指头部区域中的像素，平均可以指头部中心的位置，并且平均的近似位置可以从可能是线性预测的动态模型f(*)获得。

对于后验概率生成和测量因素1308，通过规范化颜色直方图匹配和头部轮廓匹配，可以生成用于每一个样本配置的算法所需的后验概率。使用头部椭圆形之内的所有像素，可以生成颜色直方图。头部轮廓匹配可以是沿着头部外形模型的边缘像素的比率。匹配得分越好，样本和真实头部交迭的概率就越高。概率可以被规范化，使得理想匹配具有1的概率。

对于计算成本因素1310，一般来说，性能和计算成本都可以和所用的样本数成比例。我们可以固定可被固定的后验概率之和，而不是选择固定数目的样本，使得样本数量可以基于跟踪可信度而变化。当在高可信度时刻时，我们可以看到，可以获得更多好的匹配样本，这样就可能需要较少样本。另一方面，当跟踪可信度低时，该算法可以自动使用更多的样本以设法彻底跟踪。这样，计算成本可能根据场景中的目标数以及跟踪这些目标的难度而变化。通过结合平均移动预测器和适合的样本数量选择，可以容易地获得多个头部的实时跟踪而不会损失跟踪可靠性。

图14描绘了根据本发明的实施例的相对尺寸估计器模块408的概念性框图。被检测和跟踪的人体目标可以用作向模块408的数据输入1402。人体尺寸训练模块1404可以选择一个或多个人体目标实例，比如那些被认为具有高水平可信度的实例，并且累积人体尺寸统计。人体尺寸统计实际是查询表模块1406，其可以存储平均人体高度、宽度和用于图像帧上的每一个像素位置的图像面积数据。对于每一个人体目标，可以在其消失后执行一次统计更新，这样可以获得目标实际类型的最大可信度。足迹轨线可以用作用于统计更新的位置指标。假定足迹位置的估计可能不精确，并且事实上目标很可能在邻近区域中具有相似尺寸，则确切的足迹位置及其邻域都可以使用相同的即时人体目标数据来更新。使用相对尺寸查询模块1408，当检测到新的目标时，通过使用足迹位置作为关键词从相对尺寸估计器中查询，可以估计其对平均人体目标的相对尺寸。当在所查询的位置上已经有足够的数据点时，相对尺寸估计器1408可以返回值。

图15描绘了根据本发明的实施例的人体轮廓提取模块410的概念性框图。首先，框1502可以生成目标垂直投影轮廓。用于列的投影轮廓值可以是输入的背景遮罩中的该列上的全部前景像素数目。下一步，投影轮廓可以在投影轮廓规范化模块1504中被规范化，使得最大值可以是1。最后，使用人体轮廓检测模块1506，通过搜索投影轮廓1506上的波峰和波谷，可以提取潜在的人体形状投影轮廓。

图16示出了根据本发明的实施例的人体投影轮廓提取和规范化的例子。1604(a)图示了输入的斑点遮罩和边界框。1604(b)图示了输入目标的垂直投影轮廓。1604(c)图示了规范化的垂直投影轮廓。

图17描绘了根据本发明的实施例的人体检测模块306的概念性框图。首先，检查斑点支持模块1702可以检查目标是否具有斑点支持。潜在的人体目标可以具有多个水平的支持。非常基本的支持是斑点。换言之，人体目标能够仅存在于一定的斑点中，该斑点由斑点跟踪器跟踪。下一步，检查头部和脸部支持模块1704可以检查在斑点中是否检测到人体头部或脸部，人体头部或人体脸部可能是人体目标的强烈指示器。第三，检查身体支持模块1706可以进一步检查斑点是否含有人体身体。存在可以用作人体身体指示器的几个性质，例如包括：

1、人体斑点纵横比：在非俯视的情况下，人体斑点高度通常可以比人体斑点宽度大很多；

2、人体斑点相对尺寸：在每一个图像像素位置处，人体斑点的相对高度、宽度和面积可以接近于平均人体斑点高度、宽度和面积。

3、人体垂直投影轮廓：每一个人体斑点可以具有一个相应的人体投影轮廓峰值。

4、内部人体运动：移动的人体目标可以具有显著内部运动，其可以通过SIFT特征的一致性来测量。

最后，确定人体状态模块1708确定输入的斑点目标是否是人体目标，并且如果是的话，其人体状态是什么。

图18示出了根据本发明的实施例的不同水平的人体特征支持的例子。图18包括视频帧1802、被跟踪的目标块的边界框1804、相同斑点的前景遮罩1806和人体头部支持1810。在所示的例子中，可能有四个潜在的人体目标，并且全都具有三个水平的人体特征支持。

图19列出了根据本发明的实施例的可以由人体检测和跟踪模块210使用的潜在人体目标状态。“完整”人体状态指示头部/脸部和人体身体都被检测到。换言之，目标可以具有所有的“斑点”、“身体”和“头部”支持。图18中的例子示出了四个“完整”的人体目标。“仅头部”人体状态指的是这样的情形：在斑点中可以检测到人体头部或脸部，但是仅有部分的人体身体特征可以得到。这可以对应于这种想定：人体身体的较低部分可能被挡住了或是不在摄像机视野内。“仅身体”状态是指这种情况：在目标斑点中可以观察到人体身体特征，但没有人体头部或脸部。注意，即使在目标斑点中可能没有人体脸部或头部可以被检测到，如果所有上述特征都被检测到，则斑点也仍然可以被认为是人体目标。“包藏(Occluded)”状态指示人体目标可能和其它目标归并，并且没有准确的人体外观表达和位置可以得到。“消失”状态指示人体目标可能已经离开场景。

图20图示了根据本发明的实施例的人体目标状态变换图。这个过程可以由人体检测和跟踪模块210来处理。这个状态变换图包括五个状态，其中至少状态2006、2008和2010连接到初始状态2004：状态仅头部2006、完整2008、仅身体2010、消失2012和包藏2014互相连接并且自我连接。当人体目标被创建时，可以处在三种人体状态的其中一种：完整、仅头部或仅身体。状态到状态的转换主要基于当前人体目标状态，并且人体检测可能导致新的匹配斑点，这可以描述如下：

如果当前状态是“仅头部”，则下一个状态可能是：

“仅头部”：具有匹配的脸部或继续头部跟踪；

“完整”：除了上面的以外，检测人体身体；

“包藏”：具有匹配的斑点但失去了头部跟踪和匹配的脸部；

“消失”：失去了匹配的斑点。

如果当前状态是“完整”，则下一个状态可能是：

“完整”：具有匹配的脸部或继续头部跟踪以及人体身体的检测；

“仅头部”：由于斑点归并或背景包藏而失去了人体身体。

“仅身体”：失去了头部跟踪和匹配的脸部检测；

“包藏”：失去了头部跟踪、匹配的脸部以及人体身体支持，但仍然具有匹配的斑点；

“消失”：失去了所有，甚至斑点支持。

如果当前状态是“仅身体”，则下一个状态可能是：

“完整”：探测到了头部或脸部，具有连续的人体身体支持；

“仅身体”：没有检测到头部或脸部，但具有连续的人体身体支持；

“包藏”：失去了人体身体支持但仍具有匹配的斑点；

“消失”：失去了人体身体支持和斑点支持。

如果当前状态是“包藏”，则下一个状态可能是：

“完整”：得到了新的匹配的人体目标斑点，其既具有头部/脸部，又具有人体身体支持；

“仅身体”：得到了新的匹配的人体目标斑点，其具有人体身体支持；

“仅头部”：在匹配的斑点中得到了匹配的人体头部/脸部；

“包藏”：没有匹配的人体斑点但仍然具有相应斑点跟踪；

“消失”：失去了斑点支持。

如果当前状态是“消失”，则下一个状态可能是：

“消失”：仍然没有匹配的人体斑点。

注意“完整”状态可以指示最可信的人体目标实例。使用人体目标片断的数目在目标片断的总数之上的加权比率，可以估计对目标的总体人体检测可信度测量。“完整”人体片断的权重可以是“仅头部”和“仅身体”人体片断的权重的两倍。对于更高可信度的人体目标，其跟踪历史数据，尤其是具有“完整”或“仅身体”片断的那些目标片断，可以用于训练人体尺寸估计器模块408。

使用上述的头部检测和人体模型，可以由系统提供更多的功能性，比如最佳人体快照检测。当人体目标触发事件时，系统可以用目标的清晰快照发出报警。根据本发明的实施例的一个快照可以是操作者能够获得关于目标的最大量信息的一个。为了检测人体快照，或者什么可以被称作最佳可用快照或最佳快照，可以检查下列规则：

1、头部区中的肤色比率：可以使用这样的观察：人体头部的正面视图通常比背视图(也称背面视图)包含更多肤色像素。这样较高的头部区肤色比率可能指示更好的快照。

2、目标轨线：从目标的足迹轨线中，可以确定人体是朝向摄像机移动还是从摄像机移开。朝向摄像机移动比从摄像机移开可以提供好得多的快照。

3、头部尺寸：人体头部的图像尺寸越大，图像就可以提供关于人体目标的越多细节。头部的尺寸可以被定义为头部椭圆模型的长轴和短轴长度的平均。

可靠的最佳人体快照检测可以通过综合考虑上述三个规则来获得。一种方法是创建关于任何两个人体快照例如人体1和人体2的相对最佳人体快照量度：

R＝Rs*Rt*Rh，其中

Rs是相对于人体1的头部肤色比率的人体2的头部肤色比率；

如果两个目标朝向摄像机在相同的相对方向上移动，则Rt等于1；如果人体2朝向摄像机移动，同时人体1从摄像机移开，则Rt等于2；并且如果人体2从摄像机移开，同进人体1朝向摄像机移动，则Rt等于0.5；

Rh是相对于人体1的头部尺寸的人体2的头部尺寸。

如果R大于1，则人体2可以被认为是更好的快照。在系统中，对于相同的人体目标，最近的人体快照可以连续地与当时的最佳人体快照相比较。如果相对量度R大于1，则最佳快照可以用最近的快照取代。

另一个新的能力和隐私有关。使用精确的头部检测，关于人体头部/脸部的报警图像可以被数字地模糊以保护隐私，同时给予操作者以人体存在的可视检验。这在住宅应用中尤其有用。

使用上述的人体检测和跟踪，系统可以提供关于在所关心的任何时间有多少人体目标可能存在于摄像机视野中的精确估计。系统使得用户可以执行更高级的分析，像例如人体活动识别、场景内容学习，如本领域的普通技术人员基于至少在此提供的教导将会意识到的那样。

在此讨论的各种模块可以以软件实施，所述软件适合于存储在计算机可读介质上，并且适合于由计算机或者在计算机上操作，如在此定义的那样。

所有在此讨论的例子都是非限制性和非排它性的例子，如相关领域的普通技术人员基于至少在此提供的教导将会理解的那样。

尽管上面已经说明了本发明的各种实施例，但是应当理解它们是作为例子提出的，而不是限制。对本领域的普通技术人员将会明显的是，在此可以进行形式和细节方面的各种变化，而不脱离本发明的精神和范围。考虑到以后可能会被开发的相关领域之内的技术和术语，这尤其如此。这样本发明不应当受任何的上述示例性实施例的限制，而应当仅根据所附权利要求及其等同物来限定。

Claims

1.一种基于计算机的系统，用于执行用于人体检测和跟踪的场景内容分析，包括：

视频输入端，用于接收视频信号；

内容分析模块，其耦合到所述视频输入端，用于接收来自所述视频输入端的所述视频信号，从所述视频信号中分析场景内容，并且从在所述视频信号中可见的一个或多个对象中确定事件；

数据存储模块，用于存储所述视频信号、涉及所述事件的数据或涉及所述系统的配置和操作的数据；以及

用户界面模块，其耦合到所述内容分析模块，用于允许用户配置所述内容分析模块以提供用于所述事件的报警，其中，一旦识别所述事件，所述内容分析模块就产生所述报警。

2.如权利要求1所述的系统，其中所述事件对应于数据的检测，所述数据涉及所述视频信号中的人体目标或所述人体目标的运动。

3.如权利要求1所述的系统，所述内容分析模块包括：

运动和变化检测模块，用于检测所述视频信号中的一个或多个对象的运动或所述运动的变化，并从所述视频信号中确定前景；

前景斑点提取模块，用于将所述前景分成一个或多个斑点；以及

人体检测和跟踪模块，用于从所述一个或多个斑点中确定一个或多个人体目标。

4.如权利要求3所述的系统，所述人体检测和跟踪模块包括：

人体部位和特征检测模块，用于映象所述一个或多个斑点，并且确定一个或多个对象特征是否包括人体部位；

人体检测模块，用于接收涉及被确定包括人体部位的所述一个或多个对象特征的数据，并且从所述数据中生成一个或多个人体模型；以及

人体跟踪模块，用于接收涉及所述一个或多个人体模型的数据，并且跟踪所述一个或多个人体模型中的一个或多个的运动。

5.如权利要求4所述的系统，所述人体部位和特征检测模块包括：

斑点跟踪器模块；

头部检测器模块；

头部跟踪器模块；

相对尺寸估计器模块；

人体轮廓提取模块；

脸部检测器模块；以及

尺度不变特征变换(SIFT)模块。

6.如权利要求5所述的系统，所述头部检测器模块包括：

头部位置检测模块；

椭圆形头部配合模块；

一致性检验模块；以及

身体支持检验模块。

7.如权利要求6所述的系统，所述头部位置检测模块包括：

生成顶部轮廓模块；

计算导数模块；

斜率模块；以及

头部位置定位器模块。

8.如权利要求6所述的系统，所述椭圆形头部配合模块包括：

遮罩边缘检测器模块；

头部外形确定器模块；

粗略配合模块；以及

精细配合模块。

9.如权利要求8所述的系统，所述精细配合模块包括：

初始平均配合误差模块；以及

调整模块。

10.如权利要求5所述的系统，所述头部跟踪器模块包括：

目标模型模块；

目标初始化模块；

动态传播模型模块；

后验概率生成和测量模块；以及

计算成本模块。

11.如权利要求5所述的系统，所述相对尺寸估计器模块包括：

人体尺寸训练模块；

人体尺寸统计查询模块；以及

相对尺寸查询模块。

12.如权利要求5所述的系统，所述人体轮廓提取模块包括：

垂直投影轮廓模块；

垂直投影轮廓规范器模块；以及

人体外形检测器模块。

13.如权利要求4所述的系统，所述人体检测模块包括：

检查斑点支持模块；

检查头部和脸部支持模块；

检查身体支持模块；以及

人体状态确定器模块。