CN105844263A - 共享共同属性的视频对象的概要示图 - Google Patents

Abstract

本发明涉及共享共同属性的视频对象的概要示图。这里公开用于在显示装置(214、410)上显示视频序列的场景中的对象的跟踪概要(411、412)的方法、系统和计算机程序产品。该方法包括以下的步骤：确定视频序列的场景中的对象的多个检测的跟踪要素；接收选择准则；基于选择准则识别对象的至少一个关注的特性；从所述多个检测的跟踪要素选择跟踪要素，所选择的跟踪要素与至少一个识别的关注的特性对应；根据至少一个关注的特性确定选择的跟踪要素的参数；和基于所确定的参数显示从所述的检测的跟踪要素导出的跟踪概要。

Description

共享共同属性的视频对象的概要示图

本申请是于2011年12月23日提交的、题为“共享共同属性的视频对象的概要示图”的中国专利申请第201110436787.2号的分案申请。

(相关专利申请的引用)

本申请根据35U.S.C.§119要求在2010年12月24日提交的澳大利亚专利申请No.2010257454的优先权，在此通过引用并入其全部内容。

技术领域

本公开涉及视频分析的领域，特别是涉及时间段上的视频前景对象的概要可视化。

背景技术

零售分析是关于顾客在商店中的行为的研究。理解人在哪里观看、移动以及他们购买什么可帮助商店所有人更有效地作广告并改善他们的商店布局。常规上，通过使用调查、讨论组(focus group)、分析和交易历史人工地执行零售分析。最近，视频监视照相机被用于使这些任务中的一些自动化。

可以使用对象检测和跟踪(tracking)以确定商店中的人的数量以及他们在商店中的哪些位置移动。可以检测和标记事件，包括正在行走、通过单向门时走错路、进入封锁(closed-off)或受限的区域、闲逛、或者丢弃或去除对象的人的检测。可以利用对象识别以检测诸如人、汽车等的对象的有无和身份。对象识别也可被用于检测人的特征，诸如他们的年龄、性别以及他们在看哪儿。行为识别可进一步被用于检测诸如争吵、跌倒、以及坐下或躺下的事件。

但是，将从零售分析提取的信息组合成概要会是困难的。用户一般会希望概要在诸如一天或一周的预先确定的时间段期间在关注的区域中出现的所有活动。

一些系统允许用户观察时间线，其中在时间线上标有事件。对于确定一天中的活动的变化水平这多少是有用的，但对于确定关注的场景中的活动的位置或类型要较没有用的多。

一些系统允许有时与时间线和事件组合地在快速移动回放中回放从监视照相机捕获的视频。虽然用户可观察活动，但是用于捕获的视频的回顾处理是耗时的，并且，由于快速回放仅提供出现活动的位置的粗略指示，因此，用户可错过活动的细节。该回顾处理还需要能够回放通过视频监视照相机捕获或记录的数据的机器。

一些系统通过自动浓缩视频序列的片段改善视频回放。通常通过识别具有不同的特性或性能的视频的部分或片段并且以不同的速度播放这些片段来执行这一点。所述片段可包含例如不包含对象的片段、仅包含静止并且不导致事件的对象的片段、包含正在移动但不导致事件的对象的片段、以及导致事件的片段。这些系统进一步帮助用户观察活动，但仅给出出现活动的场景内的位置的粗略指示。

一些系统检测关注的场景内的对象并且显示在时间段上通过检测的对象的质心描绘(trace)的线，使得所述线叠加(superimpose)于当前视频帧上。这些系统提高确定活动的位置的能力。但是，出于提供活动的概要的目标，这些系统不给出客流量水平的良好指示。对象踪迹(trail)的叠加有时可给出客流量水平的误导指示。另外，迹线(traced line)不表示产生这些迹线的原始对象。这些系统不示出由在场景中检测的对象触及的场景上的点、不表明对象尺寸、不示出检测的对象静止的场景中的位置。

一些系统产生时间段上的平均对象检测图，并且将对象检测图显示为热图或场景上的不透明覆盖。这些系统具有依赖于对象检测技术的限制。依赖于移动检测的系统不精确地示出人静止的区域。除非使用跟踪以在时间上关联对象并补偿静止时段，否则，执行与自然平均对象检测图组合的对象检测的系统由人静止的区域主导(烧入(burn in))。并且，这些系统不灵活。各对象检测被赋予相等的权重。如果许多对象通过场景，那么一些关注的踪迹会被大量其它的重叠(overlap)的踪迹隐藏。

因此，需要提供改进的用于提供关注的场景中的活动的概要的方法和系统。

发明内容

本公开的目的是，基本上克服或至少改善现有的布置的一个或更多个缺点。

根据本公开的第一方面，提供一种在显示装置上显示视频序列的场景中的对象的跟踪概要的计算机实现的方法。所述方法确定视频序列的场景中的对象的多个检测的跟踪要素，并且接收用于产生包含用户关注的信息的跟踪概要的至少一个选择准则。所述方法基于所述选择准则识别对象的至少一个关注的特性，并且从所述多个检测的跟踪要素选择跟踪要素，其中，选择的跟踪要素与至少一个识别的关注的特性对应。所述方法根据至少一个关注的特性确定选择的跟踪要素的参数并且基于所确定的参数显示从检测的跟踪要素导出的跟踪概要。

根据本公开的第二方面，提供一种上面记录有用于在显示装置上显示视频序列的场景中的对象的跟踪概要的计算机程序的计算机可读存储介质。所述计算机程序包含用于执行以下的步骤的代码：确定视频序列的场景中的对象的多个检测的跟踪要素；接收选择准则；基于所述选择准则识别对象的至少一个关注的特性；从所述多个检测的跟踪要素选择跟踪要素，选择的跟踪要素与至少一个识别的关注的特性对应；根据至少一个关注的特性确定选择的跟踪要素的参数；和基于所确定的参数显示从检测的跟踪要素导出的跟踪概要。

根据本公开的第三方面，提供一种用于在显示装置上显示视频序列的场景中的对象的跟踪概要的装置。所述装置包括：用于存储计算机程序的存储装置和用于执行程序的处理器。所述程序包含用于执行以下的方法步骤的代码：确定视频序列的场景中的对象的多个检测的跟踪要素；接收选择准则；基于所述选择准则识别对象的至少一个关注的特性；从所述多个检测的跟踪要素选择跟踪要素，选择的跟踪要素与至少一个识别的关注的特性对应；根据至少一个关注的特性确定选择的跟踪要素的参数；和基于所确定的参数显示从检测的跟踪要素导出的跟踪概要。

在另一方面中，还公开一种在显示装置上显示视频序列的场景中的对象的跟踪概要的计算机实现的方法。该方法接收选择准则并且基于接收的选择准则选择对象的跟踪概要。基于选择准则识别对象的至少一个关注的特性。所述方法从多个检测的跟踪要素选择至少一个跟踪要素，这里，选择的跟踪要素与至少一个识别的关注的特性对应。根据至少一个关注的特性确定要显示的选择的跟踪要素的参数，并然后显示从具有所确定的参数的所选择的跟踪要素导出的跟踪概要。希望地，选择准则是由用户指定的视频序列的场景中的区域。有利地，选择步骤选择与指定的区域重叠的对象的跟踪概要，所述重叠满足预先定义的准则。

在另一方面中，公开一种在显示装置上显示视频序列的场景中的对象的跟踪概要的计算机实现的方法。该方法识别对象的至少一个关注的特性，并且从与对象相关的多个检测的跟踪要素选择至少一个跟踪要素，这里，选择的跟踪要素与至少一个识别的关注的特性对应。所述方法然后在显示装置上显示包含具有参数的选择的跟踪要素的跟踪概要，这里，选择的跟踪要素的参数依赖于至少一个关注的特性。同样，所述选择准则是由用户指定的视频序列的场景中的区域。并且，选择步骤选择与指定的区域重叠的对象的跟踪概要，所述重叠满足预先定义的准则。

根据本公开的另一方面，提供用于实现以上的方法中的任一种的装置。

根据本公开的另一方面，提供包含上面记录有用于实现以上描述的方法中的任一种的计算机程序的计算机可读介质的计算机程序产品。

还公开了本发明的其它方面。

附图说明

现在将参照以下的附图描述本公开的一个或更多个实施例，其中，

图1表示示出用于记录和观察视频对象和跟踪(track)的系统的功能的流程框图；

图2A和图2B形成可实现所述的布置的通用计算机系统的示意性框图；

图3A～3H示出用于通过使用示例性情形显示跟踪概要的几种技术；

图4表示示出根据本公开的实施例的用户界面的示图；

图5表示示出根据本公开的实施例的第二用户界面的示图；

图6表示根据本公开的实施例的驻留于计算机模块上的视频场景概要子系统的流程图；

图7表示在驻留于计算机模块上的视频场景概要子系统中通过使用一组搜索准则生成跟踪概要的流程图；

图8表示在驻留于计算机模块上的视频场景概要子系统中基于搜索准则处理跟踪要素的方法的流程图；

图9表示在驻留于计算机模块上的视频场景概要子系统中向跟踪权重和跟踪触及(touch)阵列添加跟踪要素的流程图；

图10表示在驻留于计算机模块上的视频场景概要子系统中检查是否跟踪触及阵列触及所有的区域的方法的流程图；

图11表示在驻留于计算机模块上的视频场景概要子系统中向场景概要添加跟踪概要的流程图；

图12表示产生并显示场景掩模的流程图。

具体实施方式

当在附图中的任一个或更多个中参照具有相同的附图标记的步骤和/或特征的情况下，除非出现相反的意图，否则，这些步骤和/或特征对于该描述的目的具有相同的功能或操作(operation)。

本公开涉及对于在视频上捕获的场景在预先定义的时间段上显示活动的概要。在一个实施例中，根据由应用或用户提供的输入过滤准则，通过使用对象踪迹显示活动的概要。在一个实施例中，利用不同水平的不透明度(opacity)以随时间给出由在视频中检测的对象执行的活动的不同水平。

视频是一系列的图像或帧。在整个本说明书中可互换地使用术语“帧”和“图像”以描述图像序列中的单个图像。视频的各图像(帧)具有x轴和y轴。图像由视觉要素构成。视觉要素可以为例如像素或在运动JPEG流中的JPEG图像或小波变换中使用的8×8DCT(离散余弦变换)块。块是与(x分辨率、y分辨率)位掩模(bitmask)的单个坐标对应的帧的视觉子要素。

视频可被编码和压缩。可如运动JPEG(M-JPEG)那样在帧内或者如在H.264标准中规定的那样在帧间执行这种编码和压缩。

图像序列表现场景，并且包含一个或更多个连续的帧。场景是包含于帧中的信息，并且可包含例如前景对象、背景对象或它们的组合，其中，对象是在场景内出现的任何实体(entity)。换句话说，场景是被照相机观察或监视的位置，并且包含诸如例如长榻的非暂时背景。场景可包含诸如例如跳舞的孩子的瞬时前景对象。照相机具有视场。如果照相机不移动，则视场被固定。区域是场景的用户定义的、任意形状的区域或多个区域。区域不需要是邻接的；即，区域可被定义为包含场景的多个不邻接的区域。子区域是场景的用户定义的邻接的任意形状的区域。

团块(blob)是对象、对象的一部分或几个对象的通过对象检测子系统的帧中的检测。团块包含具有(x分辨率、y分辨率)的位掩模和元数据。跟踪要素是帧中的对象的检测。跟踪要素可包含具有(x分辨率、y分辨率)的位掩模的形式的一个或更多个团块以及与各团块相关的元数据。跟踪是与跨视频序列中的多个帧的对象相关的跟踪要素的集合。视频序列可源自一个或更多个视频照相机。视频序列可包含在时间段上通过一个或更多个视频照相机捕获的多个连续的帧。所述多个连续的帧可以是以预先确定的帧速率捕获的连续的帧。作为替代方案，所述多个连续的帧可以是以预先确定的速度从由视频照相机捕获的一系列的图像采样的不连续的帧。

场景模型或背景模型是与背景相关的存储的信息。场景模型一般涉及源自图像序列的一个或更多个帧的背景信息。

对帧执行前景/背景分离的目的是识别帧中的与前景对象对应的部分和帧中的与背景对应的部分。前景/背景分离对于监视目的而言是有用的，包括受限区域中的未授权的人的检测以及包裹或其它对象的丢弃。并且，前景/背景分离用于视频编辑，并可用于隔离一个或更多个检测的前景对象。当前景对象已被隔离时，对象可被增强、修改、编辑等。

这里公开的是用于在显示装置上显示在在视频序列中捕获的场景中检测的对象的跟踪概要的计算机实现的方法、系统和计算机程序产品。在一个实施例中，跟踪概要显示满足选择准则的所有跟踪要素。在另一实施例中，跟踪概要显示跟踪要素的位掩模，并且强调或增强满足选择准则的跟踪要素的那些位掩模。在另一实施例中，跟踪概要显示跟踪要素的所有位掩模，并且根据跟踪要素的参数满足选择准则的程度强调或增强跟踪要素的位掩模。

在一个实施例中，跟踪概要是在特定的关注时段期间在场景中检测的跟踪要素的部分不透明位掩模的加权叠加。在一个实施例中，各跟踪要素被相同地加权，并且，所述方法执行与跟踪要素相关的位掩模的联合(union)以生成跟踪概要。在一个实施方式中，通过应用“逻辑AND”算子执行联合。在另一实施例中，各跟踪要素与加权的不透明度水平相关，其中，利用不透明度的不同水平以在视觉上识别各跟踪要素与一组选择准则的匹配程度。在替代性实施例中，跟踪概要是已在规定的关注时段中在场景中检测的跟踪要素的热图。

所述方法检测与场景中的对象相关的一个或更多个跟踪要素，并且将场景中的多个检测的跟踪要素的位掩模显示为跟踪概要。所述方法基于用户输入确定对象的至少一个关注的特性，并且选择与所确定的特性对应的多个检测的跟踪要素中的跟踪要素。在一个实施例中，关注的特性涉及来自要显示跟踪概要的显示装置的透视图的对象的外观尺寸。方法根据关注的特性确定选择的跟踪要素的参数，并且基于所确定的参数改变场景中的显示的跟踪要素。

本公开的一个实施例提供一种在显示装置上显示视频序列的场景中的对象的跟踪概要的计算机实现的方法。所述方法确定与视频序列的场景中的对象相关的多个检测的跟踪要素，并且接收至少一个选择准则，其中，至少一个选择准则被用于产生包含用户关注的信息的跟踪概要。所述方法利用选择准则以识别对象的至少一个关注的特性，并且从所述多个检测的跟踪要素选择跟踪要素，其中，选择的跟踪要素与至少一个识别的关注的特性对应。所述方法根据至少一个关注的特性确定选择的跟踪要素的参数并且基于所确定的参数显示从检测的跟踪要素导出的跟踪概要。

在本公开的实施例中，视频照相机在时间段上捕获场景的视频，并且，在该时间段上检测和跟踪对象。通过组合该时间段上的大量的(a number of)跟踪概要来产生场景概要。图1是表示用于记录和观察视频对象和跟踪的系统100的示意性框图。系统100包含与计算机120耦合的照相机110。

照相机110包含与对象检测系统103和对象跟踪子系统105耦合的镜头系统101。镜头系统101从场景接收光并且在诸如传感器或胶片的记录装置上记录场景的图像帧。镜头系统101通过通信总线102将一个或更多个视频帧的序列的形式的记录的场景的视频数据发送到对象检测子系统103。对象检测子系统103处理接收的帧以检测与帧中的对象对应的团块并且产生检测位图。该检测位图具有(x分辨率、y分辨率)的分辨率和用于各检测的团块的相关的元数据。位图、团块元数据和视频数据从对象检测子系统103经由连接104被发送到对象跟踪子系统105。

照相机110上的对象跟踪子系统105使团块与对象关联以生成跟踪要素。对象跟踪子系统105然后关联与不同的帧中的相同的对象链接的团块，以生成跟踪。视频数据、位图、团块元数据、跟踪要素和跟踪从对象跟踪子系统105通过通信链路106被发送到计算机120上的观察器/记录器107。计算机120还包含数据库109。通信链路106可以是有线或无线通信链路，并且可包含通信网络(包含因特网)的一部分。作为替代方案，可通过使用专用的传输链路实现通信链路106。在另一替代方案中，照相机110和计算机120形成集成装置，并且，通信链路106可以是内部总线连接。

视频数据、位图、团块元数据、跟踪要素和跟踪108被观察器/记录器107接收并且还被发送到存储视频数据、位图、团块元数据、跟踪要素和跟踪108的数据库109。观察器/记录器107与数据库109耦合，并且适于从数据库109搜索和检索视频数据、位图、团块元数据、跟踪要素和跟踪108。

图2A和图2B示出可实现描述的各种布置的计算机120的示例性的通用计算机系统200。

从图2A可以看出，计算机系统200(120)包含：计算机模块201；诸如键盘202、鼠标指示器装置203、扫描仪226、照相机227和麦克风280的输入装置；和包含打印机215、显示装置214和扬声器217的输出装置。外部调制器-解调器(调制解调器)收发器装置216可被计算机模块201用于通过连接221与通信网络220通信。通信网络220可以是诸如因特网、蜂窝式电信网络或专用(private)广域网(WAN)的WAN。在连接221是电话线的情况下，调制解调器216可以是常规的“拨号上网”调制解调器。作为替代方案，在连接221是高容量(例如，电缆)连接的情况下，调制解调器216可以是宽带调制解调器。也可对于与通信网络220的无线连接使用无线调制解调器。

计算机模块201一般包含至少一个处理器单元205和存储器单元206。例如，存储器单元206可具有半导体随机存取存储器(RAM)和半导体只读存储器(ROM)。计算机模块201还包含大量的输入/输出(I/O)接口，所述接口包含：与视频显示器214、扬声器217和麦克风280耦合的音频-视频接口207；与键盘202、鼠标203、扫描仪226、照相机227并且任选地与操纵杆或其它的人机接口装置(未示出)耦合的I/O接口213；和用于外部调制解调器216和打印机215的接口208。在一些实现中，调制解调器216可被加入计算机模块201内，例如，加入接口208内。计算机模块201还具有允许计算机系统200通过连接223与称为局域网(LAN)的局域通信网络222耦合的局域网络接口211。如图2A所示，局域通信网络222也可通过一般会包含所谓的“防火墙”装置或类似功能的装置的连接224与广域网220耦合。局域网络接口211可包含Ethernet^TM电路卡、Bluetooth^TM无线布置或IEEE802.11无线布置；但是，可对于接口211实现大量的其它类型的接口。

I/O接口208和213可提供串行连接或并行连接或者两者，前者一般根据通用串行总线(USB)标准被实现并且具有相应的USB连接器(未示出)。存储装置209被设置并且一般包含硬盘驱动器(HDD)210。也可使用诸如软盘驱动器和磁带驱动器(未示出)的其它的存储装置。光盘驱动器212一般被设置以用作数据的非易失性源。例如，作为适于系统200的数据源，可以使用诸如光盘(例如，CD-ROM、DVD、Blue-ray Disc^TM)、USB-RAM、便携式外部硬驱动器和软盘的便携式存储装置。

计算机模块201的部件205～213一般通过互连总线204并且以导致计算机系统200以本领域技术人员已知的常规的模式操作的方式通信。例如，处理器205通过使用连接218与系统总线204耦合。类似地，存储器206和光盘驱动器212通过连接219与系统总线204耦合。可实现描述的布置的计算机的例子包含IBM-PC和兼容机、SunSparcstations、Apple Mac^TM或类似的计算机系统。

可通过使用计算机系统200实现显示场景中的对象的跟踪概要的方法，其中，作为可在计算机系统200内执行的一个或更多个软件应用程序233，可以实现要被描述的图1和图3～12的处理。特别地，通过在计算机系统200(120)内实施的软件233内的指令231(参见图2B)实现显示跟踪概要的方法的步骤。该软件233可包含计算机系统120上的观察器/记录器107。软件指令231可形成为一个或更多个代码模块，每个用于执行一个或更多个特定的任务。软件也可被分成两个单独的部分，其中，第一部分和相应的代码模块执行显示、接收选择准则、选择跟踪要素、确定参数和显示方法，并且，第二部分和相应的代码模块管理第一部分与用户之间的用户界面。

体现观察器/记录器107的软件233一般被存储于HDD 210或存储器206内或上。软件从计算机可读介质被加载到计算机系统200内，并且被计算机系统200执行。因此，例如，软件233可被存储于被光盘驱动器212读取的光学可读盘存储介质(例如，CD-ROM)225上。上面记录有这种软件或计算机程序的计算机可读介质是计算机程序产品。在计算机系统200中使用计算机程序产品优选实现用于视频监视和零售分析的装置。

在一些情况下，用于观察和记录视频序列的应用程序233可编码在一个或更多个CD-ROM 225上被供给到用户并且通过相应的驱动器212被读取，或者作为备选的方案，可由用户从网络220或222读取。并且，软件也可从其它的计算机可读介质被加载到计算机系统200内。计算机可读存储介质指的是向计算机系统200提供用于执行和/或处理的记录的指令和/或数据的任何非暂时性的可触知的存储介质。这种存储介质的例子包含软盘、磁带、CD-ROM、DVD、Blue-ray Disc、硬盘驱动器、ROM或集成电路、USB存储器、磁光盘或诸如PCMCLA卡等的计算机可读卡，不管这种装置是处于计算机模块201的内部还是外部。也可参与向计算机模块201提供软件、应用程序、指令和/或数据的暂时性或不可触知计算机可读传输介质的例子包含无线电或红外传输信道以及与另一计算机或联网装置的网络连接、和包含电子邮件传输及记录于网站等上的信息的因特网或内联网(Intranet)。

可以执行上述的应用程序233的第二部分和相应的代码模块，以实现在显示器214上呈现或以其它的方式表现的一个或更多个图形用户界面(GUI)。一般通过键盘202和鼠标203的操纵(manipulation)，计算机系统200和应用的用户可以以功能适应的方式操纵所述界面以向与GUI相关的应用提供控制命令和/或输入。也可实现其它形式的功能适应的用户界面，诸如利用通过扬声器217输出的语音提示和通过麦克风280输入的用户声音命令的音频界面。

图2B是处理器205和“存储器”234的详细的示意性框图。存储器234代表可由图2A中的计算机模块201访问的所有存储器模块(包含HDD 209和半导体存储器206)的逻辑集合。

当计算机模块201首先通电时，执行通电自测试(POST)程序250。POST程序250一般被存储于图2A的半导体存储器206的ROM249中。用于存储软件的诸如ROM 249的硬件装置有时被称为固件。为了正确的操作，POST程序250检查计算机模块201内的硬件以确保适当的功能，并且一般检查处理器205、存储器234(209、206)和一般也存储于ROM 249中的基本输入输出系统软件(BIOS)模块251。一旦POST程序250已经成功运行，则BIOS 251激活图2A的硬盘驱动器210。硬盘驱动器210的激活导致通过处理器205执行驻留于硬盘驱动器210上的引导加载程序252。这将操作系统253加载到RAM存储器206中，此时，操作系统253开始操作。操作系统253是可由处理器205执行的系统级应用，以实现各种高级功能，包括处理器管理、存储器(memory)管理、装置管理、存储(storage)管理、软件应用界面和一般用户界面。

操作系统253管理存储器234(209、206)以确保在计算机模块201上运行的各处理或应用具有足够的存储器以供运行，而不会与分配给另一处理的存储器冲突。并且，图2A的系统200中的可用的不同类型的存储器必须被适当地使用，使得可以有效地运行各处理。因此，集合的存储器234不是要示出如何分配存储器的特定的段(除非另外陈述)，而是要提供可由计算机系统200访问的存储器的全貌以及如何使用这样的存储器。

如图2B所示，处理器205包括大量的功能模块，包含控制单元239、运算逻辑单元(ALU)240和有时称为高速缓存存储器的局部或内部存储器248。高速缓存存储器248一般在寄存器部分中包含大量的存储寄存器244～246。一个或更多个内部总线241使这些功能模块在功能上互连。通过使用连接218，处理器205一般还具有一个或更多个用于通过系统总线204与外部装置通信的接口242。存储器234通过使用连接219与总线204耦合。

应用程序233包含一系列的指令231，所述一系列的指令231可包含条件分支和循环指令。程序233还可包含在程序233的执行中使用的数据232。指令231和数据232分别被存储于存储器位置228、229、230和235、236、237中。根据指令231的相对大小和存储器位置228～230，可以在由存储器位置230所示的指令指示的单个存储器位置中存储具体的指令。作为替代方案，如存储器位置228和229所示的指令段所示，指令可被分成大量的部分，每个部分被存储于单独的存储器位置中。

一般地，给予处理器205在其中执行的一组指令。处理器1105等待随后的输入，处理器205通过执行另一组指令对所述随后的输入作出反应。可从大量的源中的一个或更多个提供各输入，包含由输入装置202、203中的一个或更多个产生的数据，跨网络220、202中的一个从外部源接收的数据，从存储装置206、209中的一个检索的数据，或者从插入相应的读取器212中的存储介质225检索的数据，所有这些在图2A中被示出。在这种情况下，由处理器205执行的观察器/记录器107从存储于存储装置206、209或225中的一个中的数据库109接收视频数据、位图、团块元数据、跟踪要素和跟踪108。一组指令的执行在一些情况下可导致数据的输出。执行还可包含对于存储器234存储数据或变量。

所公开的跟踪概要显示布置使用在相应的存储位置255、256、257中存储于存储器234中的输入变量254。跟踪概要显示布置产生在相应的存储位置262、263、264中存储于存储器234中的输出变量261。中间变量258可被存储于存储位置259、260、266和267中。

参照图2B的处理器205，寄存器244、245、246、运算逻辑单元(ALU)240和控制单元239一起工作以对于构成程序233的指令组中的每个指令执行执行“获取、解码和执行”循环所需要的微操作的序列。各获取、解码和执行循环包含：

(a)从存储位置228、229、230获取或读取指令231的获取操作。

(b)控制单元239确定已获取哪个指令的解码操作；和

(c)控制单元239和/或ALU 240执行指令的执行操作。

然后，可以执行用于下一指令的进一步的获取、解码和执行循环。类似地，可以执行控制单元239对于存储位置232存储或写入值的存储循环。

图1和图3～12的处理中的各步骤或子处理与程序233的一个或更多个段相关，并且由一起工作的处理器205内的寄存器部分244、245、247、ALU 240和控制单元239执行，以对于程序233的所注的段的指令组中的每条指令执行获取、解码和执行循环。

可替代性地在执行显示跟踪要素、接收选择准则、确定选择的跟踪要素的性能、和改变显示的跟踪要素的功能或子功能的诸如一个或更多个集成电路的专用硬件中实现显示在场景中检测的对象的跟踪概要的方法。这种专用硬件可包含图形处理器、数字信号处理器、或者一个或更多个微处理器与相关的存储器。

图3A～3H是通过使用示例性情形示出用于显示跟踪概要的几种技术的示意图。图3A表示来自视频照相机110的场景310的示图，场景中的人313由对象检测子系统103检测。在本例子中，人313从左到右步行穿过视场并且向远离照相机的方向移动。在场景310左面的第一区域311中，人313执行观察者关注的活动，然后，在场景310的中间的第二区域312中，人313停下并且短时间静止。观察者关注的活动可包含例如人313在预先定义的时间段内以比预先定义的移动阈值快的速度移动。在区域311内，关注活动的程度在另两个区域314、315中最大。例如，区域314、315可与在场景310中人313最快移动的位置对应。

图3B表示通过场景310的人313的跟踪的概要示图320。概要示图320表示在由对象跟踪子系统105检测的大量前面的帧中描绘跟踪的质心的线321，由此给出人313以前曾处于场景中的哪些位置的印象。但是，概要示图320没有给出用户可能关注的其它方面的任何指示，诸如人313在场景310中的各点处移动得多快或者人313在场景310中触及了什么物体。

图3C表示通过场景310的人313的跟踪的替代性概要示图330。概要示图330增加了各前面的帧的各跟踪要素331的轮廓，由此更好地产生已触及的场景310的区域的印象，并且，粗略地指示人313的速度。在图3C的例子中，相互较接近的人313的轮廓提供人313在场景310的该区域上行进得较慢的指示。相反，较远离的人313的轮廓提供人313在场景310的该区域上行进得较快的指示。

图3D表示通过场景310的人313的跟踪的另一替代性概要示图340。作为在概要示图330中使用的轮廓的替代，概要示图340覆盖跟踪要素341的部分不透明的位掩模。诸如当人在场景310的中间的区域342中停下时，概要示图340的跟踪要素341的部分不透明的位掩模作为较暗的区域提供人313在场景310中的哪个位置缓慢行走或停下的较强的指示。但是，概要示图340还示出与人313从照相机走开的位置对应的场景310右边的暗区域。概要示图340不区分某人静止站立的情况和某人走来走去但多次“触及”同一画面像素的情况。

图3E表示通过场景310的人313的跟踪的另一替代性概要示图350。概要示图350对于由跟踪要素触及的帧351中的每个点产生具有掩模(所述掩模具有恒定的不透明度)的跟踪。可例如在用户不关注个人跟踪的性能的情形中使用该概要示图350。例如，当用户希望识别场景中的存在大多数的活动的区域而不考虑来自相同源对象的活动时，概要示图350是有用的。在这种情形中，优选的是在场景中静止站立半小时的人不应该导致系统将该区域表示为仿佛许多不同的人穿过该区域那样受欢迎。

图3F表示通过场景310的人313的跟踪的另一替代性概要示图360。概要示图360产生仅表示具有与由用户规定的选择准则对应的关注活动的跟踪要素361的跟踪。所述选择准则可包含例如由用户选择的或者对于系统预先定义的一个或更多个预先定义的关注的活动。可以在用户希望仅看到场景中的正出现预先定义的关注的活动的区域的情形中使用概要示图360。将在后面参照图6描述用于产生概要示图360的方法。

图3G表示通过场景310的人313的跟踪的另一替代性概要示图370。概要示图370产生表示概要示图350和360的组合的跟踪。概要示图370利用对于由具有规定的关注活动的跟踪要素触及的帧中的每个点371产生的掩模，并且进一步对于由跟踪要素触及的帧中的隔一个的点利用不同的不透明性。可以在用户希望既看到场景310中的人们执行关注的活动的区域又看到场景310中的人们所去的区域(即使当那些人们没在做关注的活动)的情形中使用该替代性概要示图370。将在后面参照图6描述用于产生概要示图370的方法。

图3H表示通过场景310的人313的跟踪的另一类型的概要示图380。概要示图380产生利用帧上的每个点的不透明性是触及该点的任何跟踪要素与由用户规定的准则的匹配接近度的函数的掩模的跟踪。在这种情况下，活动水平最大的区域381被最大程度地强调，但是区域381周围的区域382也被强调。可以在用户希望看到人在场景310中执行关注的活动的程度的情形中使用概要示图380。将在后面参照图6描述用于产生该概要示图的方法。

可等同地实施使用搜索准则或选择准则以强调或模糊化(obscure)跟踪要素的位掩模的其它的替代性概要示图。例如，通过使用所述示例性情形，另一概要示图通过搜索具有高的外观年龄即跟踪要素的各像素具有相同的外观的时间量的跟踪要素强调人313片刻停顿的区域312。这不会表示场景310右侧的人313从照相机走开的区域，原因是，虽然跟踪要素重叠，但是，各像素的外观改变。

图4是示出根据本公开的实施例的用户界面400的示图。用户界面400包含观察窗口410和下面板420。观察窗口410表示由视频照相机捕获的场景的视图。在示出的例子中，场景涉及具有多个通道和收银台的超市。观察窗口410显示由监视照相机捕获的视频序列的代表性帧。叠加于观察窗口410中的该示图上的是半透明跟踪概要411、412。

下面板420允许由用户变更用于改变在观察窗口410中示出什么内容的设定。下面板420包含一对无线电按钮430，所述一对无线电按钮430可由用户根据可用的搜索准则或选择准则设定以在显示全部跟踪和仅显示跟踪的相关的分段之间切换。在图4所示的例子中，下面板420使得用户能够选择针对速度440、尺寸450、跟踪年龄460、纵横比470和时间480的选择准则。各搜索准则440、450、460、470、480具有可由用户操纵以设定各参数的最小值和最大值的标签、水平条和一对滑块。例如，时间480具有被用于定义要在观察窗口410中显示的信息的开始时间和结束时间的滑块481、482。本领域技术人员可以理解，可以等同地实施其它的用户界面而不脱离本公开的精神和范围。例如，替代性的用户界面可包含与预先定义的数量、量或时间对应的下拉菜单或无线电按钮。

在图4所示的例子中，下面板420表示用户已设定用于排除仅缓慢行进的跟踪的速度搜索准则440、用于排除仅包含大的对象的跟踪的尺寸搜索准则450、不排除任何跟踪年龄的跟踪年龄搜索准则460、用于排除仅包含极端纵横比的跟踪的纵横比搜索准则470、以及表示存在于2010年6月28日下午1:30 481和2:30 482之间的跟踪的时间搜索准则480。

观察窗口410仅表示对于各搜索准则存在至少一个匹配搜索准则的跟踪要素的跟踪概要。由于搜索准则依赖于各单个跟踪要素的性能，因此，这种搜索准则被定义为“跟踪要素搜索准则”或“跟踪要素选择准则”。在后面给出跟踪要素特性(性能)的列表。用户界面下面板420的替代性实现包含来自跟踪要素性能的列表的其它跟踪要素搜索准则。其它的搜索准则涉及整个跟踪。这种搜索准则被称为“跟踪搜索准则”或“跟踪选择准则”。在后面提供跟踪性能或跟踪特性的列表。用户界面下面板420的另一替代性实现包含来自跟踪搜索准则的列表的跟踪搜索准则或跟踪选择准则。

图5是示出根据本公开的实施例的第二用户界面500的示图。用户界面500是图4的用户界面400的改进。用户界面500包含观察窗口510和下部520。用户界面500在观察窗口51所示的场景上添加用户定义的第一区域505。用户定义的第一区域505由虚线矩形表示。用户界面500还包含用户定义的第二区域，所述用户定义的第二区域包含由实线矩形表示的三个子区域520、530、540。根据应用，可以使用任意数量的用户定义的区域。

在本例子中，下面板520包含显示触及第一区域510和第二区域520、530、540的观察窗口510中的跟踪550的搜索准则。显示的跟踪550还必须满足下面板520中的任何其它用户定义的准则。在本例子中，下面板520包含参照图4描述的选择准则440、450、460、470、480。

存在用户可定义观察窗口510上的第一区域505和第二区域520、530、540的多种装置。在一个实现中，用户通过在观察窗口内用鼠标移动光标并左击鼠标按钮一次以选择子区域矩形的一个角并且第二次左击鼠标按钮以选择子区域矩形的对角来产生第一区域505。可以以这种方式产生也形成所述区域的一部分的其它的子区域。用户可进一步通过在使用鼠标以定义子区域的同时保持压下键盘上的“控制”键来产生第二区域。其它的实现利用来自铁笔、键盘、光笔或其它的输入装置的输入以定义一个或更多个区域或子区域。在替代性实施例中，一个或更多个区域被预先定义，并且可供用户激活。

在另一实现中，用户选择多边形的多个点以定义各子区域。在另一实现中，用户仅产生一个区域，在这种情况下，除了满足任何其它的选择准则以外，为了被显示，跟踪仅需要触及该区域的任何子区域。在另一实施例中，用户产生多于两个的区域，在这种情况下，除了满足其它的选择准则以外，为了被显示，跟踪需要触及各区域的至少一个子区域。在另一实现中，使用颜色而不是行程样式(stroke style)来区分区域。在另一实现中，不是简单地需要重叠，而是只在区域和跟踪之间的重叠大于规定的尺寸时才将跟踪定义为触及区域。可关于区域的尺寸的比例、跟踪的尺寸的比例或像素的绝对数量描述规定的尺寸。在另一实现中，规定一个或更多个“忽略”区域类型，使得，除了满足其它的选择准则以外，只有当它不触及各忽略区域的子区域时才示出跟踪。

图6是示出根据本公开的实施例的可驻留于计算机120或计算机模块200上的视频场景概要子系统的功能的流程图600。处理600在开始步骤605开始并且前进到步骤S610以启动场景概要。在一个实施例中，场景概要包含整数的二维阵列，每个整数与帧的(x,y)位置对应，使得(x分辨率，y分辨率)与对象检测子系统103的分辨率对应。阵列中的整数被初始化为0。处理然后从步骤610前进到步骤620，步骤620定位与事先由用户规定的时间段重叠的数据库109中的跟踪。例如，用户可通过使用参照图4的用户界面400描述的用户界面滑块481、482规定关注的时间段。

处理600然后从第一跟踪开始依次处理在定位步骤620中找到的各跟踪，并且通过使用用户规定的选择准则生成跟踪概要。因此，控制从步骤620前进到检索用于处理的下一跟踪的步骤630。控制前进到通过使用由用户规定的预先定义的准则生成跟踪概要的步骤640。例如，可通过使用图4的用户界面400输入所述准则，以选择用于速度400、尺寸450、跟踪年龄460和纵横比470中的一个或更多个的准则。处理前进到向场景概要添加各跟踪概要的步骤650，并且通过在步骤660检查是否所有定位的跟踪已被处理而继续。如果步骤660确定当前被处理的跟踪是预先定义的时间段内的最后的跟踪(即为“是”)，则控制前进到步骤670。步骤670产生并显示场景掩模，然后控制前进到结束步骤699并且处理600终止。如果步骤660确定当前被处理的跟踪不是预先定义的时间段内的最后的跟踪(即为“否”)，则控制返回步骤530以处理另一跟踪。

图7是示出与通过用搜索准则或选择准则生成跟踪概要的图6的步骤640对应的计算机120或计算机模块200上的视频场景概要子系统的功能的流程图700。处理700在开始步骤705开始并且前进到步骤710，步骤710初始化跟踪权重阵列和跟踪触及阵列并且将has_match标记设为不成立。在一个实施例中，跟踪权重阵列包含整数的二维阵列，每个整数与帧的(x,y)位置对应，使得(x分辨率，y分辨率)与对象检测子系统103的分辨率对应。跟踪权重阵列的整数被初始化为0。跟踪触及阵列包含位的二维阵列，每个位与帧的(x,y)位置对应，使得(x分辨率，y分辨率)与对象检测子系统103的分辨率对应。跟踪触及阵列的位被初始化为0。

处理然后通过在步骤720中处理下一跟踪要素而循环遍历跟踪的各跟踪要素。如进一步参照图8描述的那样，控制从步骤720前进到使用跟踪要素搜索准则以确定跟踪要素位掩模权重并且设定has_match标记的步骤730。如进一步参照图9详细描述的那样，处理然后前进到通过使用跟踪要素位掩模权重向跟踪权重阵列添加跟踪要素并且向跟踪触及阵列740添加跟踪要素的步骤740。处理然后前进到检查是否所有的跟踪要素已被处理的步骤750。如果在步骤750中当前的跟踪要素不是跟踪中的最后的跟踪要素(即为“否”)，则控制循环到步骤720以处理另一跟踪要素。但是，如果在步骤750中当前跟踪要素是跟踪中的最后的跟踪要素(即为“是”)，则控制从步骤750前进到步骤760。

步骤760检查与跟踪要素相关的has_match标记是否被设为成立。如果has_match标记没有被设为成立(即为“否”)，则控制前进到结束步骤799并且处理700终止。否则，如果在步骤760中与跟踪要素相关的has_match标记被设为成立(即为“是”)，则处理前进到检查跟踪的性能是否另外匹配任何用户定义的跟踪搜索准则或选择准则的步骤770。如果跟踪不匹配选择准则(即为“否”)，则控制前进到将跟踪要素的has_match标记复位为不成立的步骤790，并然后前进到结束步骤799。否则，如参照图10进一步详细描述的那样，如果在步骤770中跟踪匹配选择准则，则处理700前进到检查跟踪触及阵列是否触及所有的用户定义的区域的步骤780。如果跟踪触及阵列不触及所有的用户定义的区域(即为“否”)，则处理前进到步骤790以将跟踪要素的has_match标记复位为不成立，并然后在结束步骤799中终止。如果在步骤780中跟踪触及阵列确实触及所有用户定义的区域(即为“是”)，则处理在结束步骤799中终止。

跟踪特性(性能)是整体与跟踪相关的任何特性(性能)，并且可包含但不限于：跟踪处于场景中的时间长度；跟踪是否在合并或分开中开始或结束；基于跟踪要素属于具有特性(性能)的跟踪的百分比(对于跟踪要素特性的列表，参见这种特性)计算的跟踪具有该特性(性能)的可能性；跟踪的平均纵横比；计算的跟踪的对象尺寸；跟踪的平均速度；以及场景或定义的一个或多个区域被跟踪触及的百分比。任何跟踪参数的最小值和最大值可例如通过使用用户界面要素(例如，图4的440)由用户设定。对于各参数组，处理比较各跟踪参数与由用户设定的最小值和/或最大值。跟踪被视为只有所有跟踪参数均处于最小值和最大值间时才匹配。

图8是与图7的步骤730对应的可实现为计算机120或计算机模块200以通过使用跟踪要素搜索准则确定跟踪要素位掩模权重和has_match标记的视频场景概要子系统的功能的流程图800。处理800在开始步骤805开始并且前进到检查跟踪要素的特性是否匹配由用户规定的请求的搜索准则的步骤810。在后面描述可能的跟踪要素特性(性能)。如果在步骤810中特性(性能)匹配搜索准则或选择准则(即为“是”)，则处理前进到将跟踪要素has_match标记设为成立的步骤830。控制从步骤830前进到步骤840，步骤840基于步骤810中的与搜索参数的匹配程度以及搜索区域的跟踪要素位掩模重叠在步骤810中与用户的需求的匹配程度确定跟踪要素位掩模权重。用于确定跟踪元素权重的可能的算法在后面进行描述。最后，步骤800在结束步骤899结束。

返回步骤810，如果跟踪要素的特性(性能)不匹配用户规定的搜索(选择)准则，则处理800从步骤810前进到决定步骤850。决定步骤850检查用户是希望看到整个跟踪还是只希望看到跟踪的匹配搜索准则的部分。如果用户希望看到整个跟踪(即为“是”)，则处理前进到将跟踪要素位掩模权重设为1的步骤860，并且处理在结束步骤899结束。否则，如果在步骤850中用户不希望看到整个跟踪，则控制前进到将跟踪要素位掩模权重设为0的步骤870。控制从步骤870前进到结束步骤899并且处理800结束。

跟踪要素可包含但不限于：诸如速度、方向、尺寸、纵横比、高度、宽度、身份特性、行为特性、合并/分开特性、以及外观一致性的特性(性能)。速度、方向、高度、宽度和尺寸可处于画面坐标(例如，速度的x分量是每个帧向左2个像素)中或真实坐标(例如，汽车以30km/hr的速度行驶)中。真实坐标值一般依赖于场景透视知识以从画面坐标转换。

身份特性可包含例如：主导颜色和颜色轮廓；主导纹理和纹理轮廓；平均温度；高温和低温、以及温度轮廓；跟踪要素是否具有人体或脸，或者脸是否匹配数据库中的已知的脸；或者跟踪要素是否在外观上与数据库中的已知的对象类似；或者人的穿戴；或者人携带的包的数量；或者人是否携带食物或饮料；或者人是否携带书或电话或膝上型计算机；或者人是否在轮椅中或者拿着拐杖或伞或助行架或者具有引导狗或棍棒；或者人是否戴帽子或头盔；或者人携带武器的可能性，以及，如果他们携带，则包括武器的类型的划分；或者，跟踪要素是否类似于汽车或其它的车辆；或者汽车或其它的车辆中是否存在或坐有人，或者车辆是否打开了舷灯(running light)、头灯、雾灯或指示灯或具有破坏的灯或破坏的挡风玻璃，或者车辆是否散发过量的废气，或者车辆是否具有平轮胎，或者车辆是否发出过量的噪声，或者跟踪要素类似于什么型号的汽车，或者汽车的牌照，或者跟踪要素的检测的重量；或者它们的任意的组合。可以理解，身份特性依赖于特定的实现，并且，可以等同地利用其它的身份特性而不背离本公开的精神和范围。

行为特性可包含例如：脸上的表情；或人正在看的方向；或者头或身体的朝向；或者人的到达方向、手势或指向；或者人做多少手势；或者人当前是否站立、行走、跌倒、闲逛、以醉酒或不稳定的方式移动；对象是否发出噪声以及音量多大；对象是否是正在说话的人和/或所述人的音量多大；人说话的语言；人正在说什么；人是否与其它的人或对象交互，诸如丢弃对象或者去除对象或者打开或关闭门或窗户；人是否在打电话或者读书或者与膝上型计算机交互；或者人是否正在抽烟；或者人是否在吃或喝；或者人是否在使用伞；人是否正在遮挡他们的脸；人脸上的表情是什么；或者人是否具有攻击性的姿势，诸如做出突然的手势，或者向某人移动而其它人后退；或者驾驶员是否不看道路或者在打手机或吃或喝或者他们的手不在方向盘上；或者驾驶员或乘客是否没戴安全带；或者车辆是否不稳定地移动；或者车辆是否危险驾驶，诸如太接近前方的车辆；头灯或远光灯闪烁；迅速地切换车道并且没有指示；或者它们的任意组合。可以理解，行为特性依赖于特定的实现，并且，可以等同地利用其它的行为特性而不背离本公开的精神和范围。

行为特性和身份特性也可与包含但不限于光水平、天气条件、温度、一天当中的时间、已知的交通条件和诸如游行或公共假期的已知的公共事件的环境数据组合。例如，在黑暗中、在雾中、在正前方有汽车时或者在白天，诸如“汽车打开了远光灯前灯”的身份特性具有不同的意义。

合并/分开特性可包含例如自跟踪最后与另一跟踪合并或分开起的时间，或者跟踪被合并/分开多少次，或者它们的组合。

外观一致性可包含例如跟踪要素的单个像素与跟踪中的前面的跟踪要素的类似度的平均值和跟踪要素的各单个像素具有当前外观的时间的平均比例或者它们的组合。

跟踪要素特性可源自由照相机传感器在时间段上或在单个帧中捕获的跟踪要素的外观，或者，可从包含但不限于视频照相机、热或红外传感器、门传感器、金属检测器、X射线扫描仪、报警传感器、射频标识符(RFID)标签读取器、全方向麦克风、有向麦克风、全球定位系统(GPS)接收器的传感器和来自一个或更多个人的手动输入的组合得到信息。在图4中示出诸如速度440、尺寸450、跟踪年龄460和纵横比470的一些跟踪要素特性(性能)。

能够根据特定的应用以及用户希望在跟踪概要中看到什么使用不同的算法以确定图8的确定步骤840中的跟踪要素位掩模权重。如果用户希望如在场景概要350中那样看到跟踪的恒定强度，那么，只要跟踪要素has_match标记根据图7的步骤760被设为成立，用户就对于图8的选择步骤850规定“是”并且对于确定步骤840规定恒定值1。如果用户希望如图3的步骤360那样仅看到跟踪的满足匹配步骤810和830的搜索(选择)准则的部分，那么用户对于步骤850规定“否”并且对于步骤840规定恒定值1。如果用户希望如图3的步骤370那样看到具有跟踪的满足强调的搜索(选择)准则的部分的全部的跟踪，则用户对于步骤850规定“是”并且对于步骤840设定比1大的恒定值。如果用户希望如图3的步骤380中那样看到根据匹配搜索(选择)准则的程度强调各部分的全部的跟踪，则用户对于步骤850规定“是”，并且从匹配步骤810和830的用户规定搜索(选择)准则规定比与跟踪要素特性(性能)的距离测量对应的值大的值。

可以利用许多这种距离测量。简单的测量要求用户对于他们希望匹配的各参数规定平均值和标准偏差：

W＝1+E*sqrt(W(p1)^2+W(p2)^2+...+W(pN)^2)…式(1)

这里，W是跟踪要素位掩模权重，E是用户希望对于他们选择的参数进行强调的总水平，并且，W(f)是单个参数的权重。W(f)的式子为：

W(f)＝1/(abs(P(f)-Q(f))/S(f)+1)…式(2)

这里，P(f)是跟踪要素的参数的值，Q(f)是跟踪要素的参数的期望值，并且S(f)是跟踪要素的参数的期望值的标准偏差。

例如，如果用户希望强调(使得E＝2)具有标准偏差为3km/hr的速度10km/hr和/或标准偏差为0.1的纵横比0.5的跟踪要素并且接收速度为9km/hr并且纵横比为0.4的跟踪要素，则这些值为：

W(speed)＝1/(abs(10–9)/3+1)＝0.75…式(3)

W(aspect ratio)＝1/(abs(0.5–0.4)/0.1+1)＝0.5…式(4)

W＝1+2*sqrt(0.75^2+0.5^2)＝2.803…式(5)

在用于确定跟踪要素位掩模权重的另一替代性实施例中，作为被测量为从平均值的标准偏差的替代，单个参数的权重被计算为它在多大程度上大于或小于某值的函数。当用户更希望强调“大的对象”或“快速的对象”时，该方法会是更有用的。

图9是示出在通过使用在前面的确定步骤730中计算的跟踪要素位掩模权重向跟踪权重阵列添加跟踪要素并且向跟踪触及阵列添加跟踪要素的图7的添加步骤740上制定的可实现为计算机120或计算机模块200的视频场景概要子系统的功能的流程图900。处理900在开始步骤905中开始并且前进到从第一个开始依次处理跟踪要素中的具有坐标(x,y)的各块的步骤910。因此，步骤910选择跟踪要素中的下一块(x,y)并且使控制前进到步骤920。

步骤920检查(x,y)处的相应的跟踪权重阵列要素是否具有小于跟踪要素位掩模权重的值。如果(x,y)处的相应的跟踪权重阵列要素具有小于跟踪要素位掩模权重的值(即为“是”)，则处理900前进到将(x,y)处的跟踪权重阵列要素设为等于跟踪要素位掩模权重的步骤930并然后前进到步骤940。如果在步骤920中(x,y)处的相应的跟踪权重阵列要素不具有小于跟踪要素位掩模权重的值(即为“否”)，则处理跳过步骤930并且从步骤920直接前进到步骤940。在步骤940中，所述处理检查是否跟踪要素中的所有块已被处理。如果步骤940确定当前块不是跟踪要素中的最后的块(即为“否”)，则控制返回步骤910并且处理下一块。但是，如果步骤940确定当前块是跟踪要素中的最后的块(即为“是”)，那么控制从步骤940前进到结束步骤999并且处理900终止。

图10是示出在测试跟踪触及阵列是否触及所有指定区域的图7的决定步骤780上制订的可被实现为计算机120或计算机模块200的视频场景概要子系统的功能的流程图1000。处理1000在开始步骤1005中开始，并且前进到将match_ok标记设为成立的步骤1010，并且前进到通过使用适于向位图呈现多边形定义的技术将各用户定义的区域转换成位图的步骤1020。在替代性实施例中，用于各区域的位图被存储于数据库109中并从数据库109被检索，以避免不必要的再计算。处理通过去到下一区域位图而在步骤1030继续，其在处理1000的第一迭代中是第一区域位图。控制前进到对在区域位图和跟踪触及阵列之间重叠的像素的数量进行计数的步骤1040。

在一个实施例中，所述处理通过区域位图的所有(x,y)坐标迭代，并且对于设定同一坐标(x,y)处的区域位图和跟踪触及阵列的次数计数。在替代性实施例中，借助于通过比较区域位图与各跟踪要素位掩模的迭代而不是使用跟踪触及阵列，所述处理对重叠进行计数。

所述处理从步骤1040前进到决定步骤1050，决定步骤1050检查在前面的步骤1040中计算的重叠是否在由用户对于该区域设定的预先定义的最小值和最大值之间。例如，在示例性用户界面400中，用户隐含地对于各区域设定一个像素重叠的最小值。在替代性实施例中，用户可使用诸如滑块481、482的用户界面成分，以根据由对象检测子系统103定义的分辨率将各区域的最小值和/或最大值设为区域的尺寸的比例(例如，“触及的跟踪大于第一区域的50％并且小于第二区域的10％”)、跟踪的尺寸的比例(例如，“跟踪的50％以上在第一区域内”)或绝对像素计数(例如，“第一区域和跟踪之间的重叠至少为10个像素”)。

如果在步骤1050中确定重叠处于最小阈值和最大阈值间(即为“是”)，则处理前进到步骤1070，以检查最后的区域是否已被处理。如果最后的区域已被处理(即为“是”)，则控制前进到结束步骤1099并且处理1000结束。否则，如果在步骤1070中最后的区域还没有被处理(即为“否”)，则处理1000返回步骤1030以处理下一区域位图。

返回步骤1050，如果重叠不在最小和最大之间(即为“否”)，则控制前进到将match_ok标记设为不成立的步骤1060。控制从步骤1060前进到结束步骤1099并且处理1000结束。

图11是示出细化向场景概要添加跟踪概要的图6的添加步骤650的可被实现为计算机120或计算机模块200的视频场景概要子系统的功能的流程图1100。处理1100在开始步骤1105中开始，并且前进到移动到跟踪掩模中的下一点(x,y)的步骤1110。在处理1100的第一迭代中，步骤1110移动到跟踪掩模中的第一点。所述处理前进到以与当前被处理的点对应的坐标(x,y)处的掩模值递增并因此修改坐标(x,y)处的场景概要位掩模的步骤1120。控制然后前进到确定是否跟踪掩模中的所有点均已被处理的步骤1130。如果当前点不是跟踪掩模中的最后的点(即为“否”)，则控制从步骤1130返回步骤1110。但是，如果当前点是跟踪掩模中的最后的点(即为“是”)，则控制从步骤1130前进到结束步骤1199并且处理终止。

图12是在产生并显示场景掩模的图6的产生和显示步骤670上制定的可被实现为计算机120或计算机模块200的视频场景概要子系统的功能的流程图1200。处理1200在开始步骤1205开始，并且前进到通过将场景掩模的各整数(x,y)坐标设为0以将场景掩模初始化的步骤1210。所述处理然后前进到确定场景概要中的所有点的最大值的步骤1220。控制然后从步骤1220前进到移动到场景概要阵列中的下一点(x,y)的步骤1230。在处理1200的第一迭代中，步骤1230移动到第一点。控制然后前进到基于当前正处理的点(x,y)处的场景概要值设定场景掩模值的步骤1240。完成该计算以确保场景的所有相关的细节被保持而不丢失。在一个实施例中，该值为：

ceil(100*summary_value(x,y)/max(max_summary_value,1)),

…式(6)

即，缩放到0和100之间的值，使得只有当概要值为0时具有为0的值。在替代性实施例中，计算替代性地使用压缩值的上部范围的函数或查找表(例如，log(x)或sqrt(x))。

处理1200从步骤1240前进到检查是否场景概要中的所有点均已被处理的步骤1250。如果当前处理的点不是场景概要中的最后的点(即为“否”)，则处理通过返回到步骤1230前进到场景概要中的下一点。但是，如果在步骤1250中确定当前处理的点是场景概要中的最后点(即为“是”)，则控制从步骤1250前进到显示场景掩模的步骤1260。

可以以在图像显示的领域中已知的许多方式完成场景掩模的显示。一种实现在背景图片中的位置(x,y)处的不透明度或颜色根据该坐标(x,y)处的场景掩模值改变的背景图片上覆盖半透明颜色或伪色图。一种特定的实现任选地缩放半透明颜色或伪色图，使得任何场景概要阵列坐标的最大值与最大的不透明度或颜色对应。如果有的话，背景图片可以为例如简单的单色，或作为时间段的第一帧的单个视频帧、或者作为最接近时间段的中心的帧的单个视频帧、或者时间段中的所有视频帧的平均、或者不包含对象的第一视频帧。

当在步骤1260中显示场景掩模之后，控制前进到结束步骤1299并且处理终止。

产业适用性

描述的布置适用于计算机和数据处理产业，特别是适用于成像、安全和零售业。

以上仅描述了本发明的一些实施例，并且，可以对于其提出变更和/或修改而不背离本发明的范围和精神，实施例是解释性的，而不是限制性的。

Claims (4)

1.一种在显示装置上显示视频序列的场景中的对象的跟踪概要的计算机实现的方法，其特征在于，所述方法包括以下的步骤：

接收由用户指定的至少一个特性的参数；

在视频序列的场景中选择已被跟踪的对象的轮廓内的区域，所述区域满足接收的所述至少一个特性的参数；以及

将与所选择的区域对应的对象的掩模或者对象的轮廓显示为跟踪概要。

2.根据权利要求1所述的方法，其中，所述跟踪概要源自与所选择的区域相关的多个位掩模的加权叠加，并且用于加权的权重是基于对于所接收的参数和对于由用户指定的视频序列的场景中的区域的匹配的接近程度中的至少一个被确定的。

3.一种用于在显示装置上显示视频序列的场景中的对象的跟踪概要的设备，其特征在于，所述设备包括：

用于接收由用户指定的至少一个特性的参数的装置；

用于在视频序列的场景中选择已被跟踪的对象的轮廓内的区域的装置，所述区域满足接收的所述至少一个特性的参数；以及

用于将与所选择的区域对应的对象的掩模或者对象的轮廓显示为跟踪概要的装置。

4.根据权利要求3所述的装置，其中，所述跟踪概要源自与所选择的区域相关的多个位掩模的加权叠加，并且用于加权的权重是基于对于所接收的参数和对于由用户指定的视频序列的场景中的区域的匹配的接近程度中的至少一个被确定的。