CN1897694A

CN1897694A - 活动对象跟踪系统、活动对象跟踪控制设备、方法和程序

Info

Publication number: CN1897694A
Application number: CNA2006101063696A
Authority: CN
Inventors: 纲岛宣浩
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-07-15
Filing date: 2006-07-14
Publication date: 2007-01-17
Anticipated expiration: 2026-07-14
Also published as: JP2007028120A; US7783076B2; JP4345722B2; CN100481938C; US20070014432A1

Abstract

本发明涉及活动对象跟踪系统、活动对象跟踪控制设备、方法和程序，在成像设备捕获的图像上指定活动对象区域，并在所指定区域上布置多个计算点。为计算点确定一组局部运动矢量，并根据所确定的局部运动矢量获得活动对象运动矢量。其局部运动矢量与活动对象运动矢量相同或相似的一组计算点连续用于计算局部运动矢量，并通过沿着活动对象运动矢量移动这组计算点的位置而被更新，而其局部运动矢量与活动对象运动矢量不同的计算点通过在连续使用的计算点中的任一计算点附近的位置放置新计算点而被重新布置。根据活动对象运动矢量控制包括成像设备的可动机械装置。

Description

活动对象跟踪系统、活动对象跟踪控制设备、方法和程序

相关申请的交叉参考

本发明包括与日本专利局于2005年7月15日申请的日本专利申请JP 2005-206339有关的主题，该专利申请的全部内容在此作为参考。

技术领域

本发明的一种实施方式涉及一种活动对象跟踪控制设备，用于控制屏幕上移动的活动对象的跟踪。本发明的另一种实施方式涉及一种包括活动对象跟踪控制设备的系统。

本发明的又一种实施方式涉及一种用于实现活动对象跟踪控制功能的方法和程序。

背景技术

在监控系统中，通过成像设备(比如监控摄像机)捕获的屏幕上的图像来跟踪活动对象(如一个人、一辆车或其他对象)的能力(跟踪能力)是很重要的。例如，当监控摄像机用于监控“切勿入内”区时，跟踪并记录该区入侵者的行为十分重要。

成像方向固定的监控摄像机利用活动对象检测技术(例如，C.Stuffer，W.E.L Grimson，“Adaptive background mixture models forreal-time tracking”)可以检测和跟踪入侵者。

然而，固定监控摄像机只能跟踪其成像覆盖范围内的入侵者。如果入侵者移动到摄像机的成像覆盖范围之外，那么摄像机无法再跟踪该入侵者。

因此，采用了监控摄像机成像方向可变类型的可动监控系统。在可动监控系统中，监控摄像机安装在转动式转台上，以扩展超出摄像机的成像覆盖范围的跟踪区。监控摄像机随入侵者的移动而转动，从而可使入侵者一直落在摄像机的成像覆盖范围内。

然而，在可动监控系统中，在摄像机转动期间难以利用上述活动对象检测处理来检测入侵者。在活动对象检测处理中，活动对象(如入侵者)被定义为前景对象而其他对象被定义为背景对象，并且假设在静止背景和活动前景的前提下检测活动目标。然而，在可动监控系统中，前景对象和背景对象两者都随成像摄像机的转动而移动，因此，不满足活动对象检测处理的假设。

监控摄像机转动的跟踪操作可以分为两个阶段，即活动对象检测阶段和活动对象跟踪阶段。

活动对象检测阶段是这样一个处理阶段：在监控摄像机保持静止的状态下完成上述活动对象检测处理，以检测所要跟踪的活动对象或目标。当检测到活动目标时，转换到活动对象跟踪阶段，并利用成像摄像机转动来跟踪活动目标。在活动对象跟踪阶段，使用一种即使在监控摄像机转动期间也能检测活动目标的方法。在活动对象跟踪过程结束时，成像摄像机被停止，并转换回活动对象检测阶段。

活动对象检测阶段中所用的相关技术的活动对象检测方法如日本未经审核的专利申请公开号2003-39387中所述。在该方法中，计算所要跟踪的目标及其周边区域的运动矢量，然后确定所要跟踪的运动矢量。图1示出了利用这种检测方法所确定的运动矢量的一个例子。如图1中所示，在这种活动对象检测方法中，由于为所要跟踪的目标(本例中是一个人)所确定的运动矢量不同于该目标后面的背景对象的运动矢量，因此，可以只用两者之间的差别来选择该目标的运动矢量。这种检测方法使得即使在成像摄像机转动期间也能确定所要跟踪的目标的位置。

然而，这种检测方法有如下两个问题。

第一个问题涉及处理时间。在这种检测方法中，不仅要为所要跟踪的目标而且要为其周边区域确定运动矢量。此外，所要跟踪的目标尺寸越大，为所要跟踪的目标周边的区域确定的运动矢量越多。因此，处理时间增加了。

第二个问题在于，如图2中所示，当所要跟踪的目标附近有活动对象时，确定处理将不太稳定。

发明内容

因此，本发明提出了第一种活动对象跟踪技术，包括如下处理功能：

用于指定成像设备捕获的图像上的活动对象区域的处理功能；

用于在所指定活动对象区域上布置多个计算点的处理功能；

用于为计算点确定一组局部运动矢量的处理功能；

用于根据这组局部运动矢量获得活动对象运动矢量的处理功能；

用于更新计算点的处理功能，这些计算点包括其所确定的局部运动矢量与活动对象运动矢量相同或相似的一组计算点以及其所确定的局部运动矢量与活动对象运动矢量不同的计算点，这组计算点连续用于计算局部运动矢量并通过沿着活动对象运动矢量移动这组计算点中的每一个的位置而被更新，其所确定的局部运动矢量与活动对象运动矢量不同的计算点中的每一个通过在连续使用的计算点中的任一计算点附近的位置放置新计算点而被重新布置；和

用于根据活动对象运动矢量来控制包括成像设备的可动机械装置的处理功能。

本发明还提出了第二种活动对象跟踪技术，包括如下处理功能：

用于指定成像设备捕获的图像上的活动对象区域或从服务器中读取的图像上的活动对象区域的处理功能；

用于在所指定活动对象区域上布置多个计算点的处理功能；

用于为计算点确定一组局部运动矢量的处理功能；

用于根据活动对象运动矢量进行控制以便移动从图像中提取的区域的处理功能。

根据本发明的一种实施方式，局部运动矢量的计算点根据活动目标的移动被连续使用或重新布置。也就是说，即使在跟踪操作期间，也只为与检测活动目标时所用同样多的计算点确定局部运动矢量。因此，可以以较小的计算量来完成活动目标的跟踪过程。

此外，只为位于活动对象区域的计算点连续计算局部运动矢量。因此，即使另一个活动对象接近所跟踪的活动目标，也能不受该活动对象的影响而连续完成这些局部运动矢量的计算。从而，能够实现稳定的活动对象跟踪过程。

附图说明

图1是表示利用相关技术方法所确定的运动矢量的一个例子的图；

图2是表示在利用相关技术方法以不稳定的方式确定运动矢量的情况下图像的一个例子的图；

图3是表示根据本发明的第一实施方式的活动对象跟踪系统的一例结构的图；

图4是表示根据第一实施方式的活动对象跟踪控制设备的一例功能结构的图；

图5是表示计算点的布置的一个例子的图；

图6是表示为单独计算点所确定的局部运动矢量的一个例子的图；

图7A和7B是表示计算点的重新布置的图；

图8是表示随着活动对象的移动在成像方向上所跟踪的图像的图；

图9是表示根据第一实施方式的活动对象跟踪程序的控制过程的一个例子的图；

图10A和10B是表示显示屏的例子的图；

图11A和11B是表示相关技术与第一实施方式之间所需的计算量的差别的示意图；

图12是表示在所要跟踪的活动目标附近有另一活动对象的情况下局部运动矢量的确定的一个例子的图；

图13A和13B是表示随着活动目标远离摄影者所捕获图像的变化的图；

图14是表示根据本发明的第二实施方式的活动对象跟踪控制设备的一例功能结构的图；

图15是表示根据第二实施方式的活动对象跟踪程序的控制过程的一个例子的图；

图16是表示延缓某一时间段后再重新布置计算点的操作的一个例子的图；

图17A和17B是表示根据本发明的其他实施方式的活动对象跟踪系统的举例结构的图；

图18A和18B是表示根据本发明的其他实施方式的活动对象跟踪系统的举例结构的图；

图19是表示提取区域的类型的活动对象跟踪控制设备的一例功能结构的图；和

图20是表示提取区域的类型的活动对象跟踪程序的控制过程的一个例子的图。

具体实施方式

下面将描述根据本发明的实施方式的活动对象跟踪系统。

应当注意，本文中除非另有陈述或举例说明，否则采用属于普通知识或技术上众所周知的技术。

下列实施方式是本发明的举例实施方式，本发明并不局限于这些

实施方式。

第一实施方式

活动对象跟踪系统的整体结构

图3表示根据本发明的第一实施方式的活动对象跟踪系统1的一例结构。活动对象跟踪系统1是这样一种系统：安装在旋转台3(可动机械装置)上的成像设备5包括活动对象跟踪控制设备。旋转台3和成像设备5可以形成一个整体也可以相互活动连接。

成像设备5包括成像单元7和活动对象跟踪控制单元(以下也称作“活动对象跟踪控制设备”)9。成像单元7由成像器件(比如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器)、光学透镜以及其他组件构成。

旋转台3是一个可动机械装置，它能驱动其上所安装的成像设备5，从而能水平定向成像方向。

活动对象跟踪控制设备的结构

图4表示活动对象跟踪控制设备9的一例功能结构。

活动对象跟踪控制设备9包括这样一些功能单元，即活动对象检测单元11、计算点布置单元13、局部运动矢量确定单元15、活动对象运动矢量获得单元17、计算点更新单元19和成像方向驱动控制单元21。

活动对象检测单元11是用于检测成像单元7所捕获的图像上的活动对象区域的处理功能。可以通过例如对成像方向固定时所捕获的两个图像进行比较来检测活动对象区域。活动对象检测单元11是附属权利要求中的活动对象指定单元的一个例子。

计算点布置单元13是用于在所指定活动对象区域上布置多个计算点的处理功能。这些计算点用于确定局部运动矢量。这些计算点可以在整个活动对象区域上随机布置，可以在活动对象区域上均匀布置，可以在活动对象区域内的特征点(如边或角)附近进行布置，等等。最好根据画面选择适当的布置方法。

图5表示计算点(用黑圆来代表)的布置的一个例子。图5中，活动对象是一个人。

局部运动矢量确定单元15是用于为这些计算点确定一组局部运动矢量的处理器。只需为这些计算点确定局部运动矢量。例如通过执行如下搜索过程来确定运动矢量：参考区设置在计算点四周，并将前一个时间单位所获得的图像作为参考图像。通常，采用诸如块匹配方法或基于梯度搜索方法之类的搜索方法。事先准备前一个时间单位所获得的图像。图6表示为这些计算点所确定的局部运动矢量的一个例子。

活动对象运动矢量获得单元17是用于根据这组局部运动矢量获得活动对象运动矢量的处理功能。这源于如下事实：这组局部运动矢量中全都没有相同的值。

通常，为位于活动对象区域的计算点所确定的局部运动矢量实际上具有相同的值。

然而，如果活动对象是一个非刚性对象(比如人体)，那么移动情况可能随身体部位或所处位置的不同而不同。此外，由于噪音的影响或因为没有特征(比如在定位点周围图像的亮度没有变化)，可能确定出具有不同值的局部运动矢量。

因此，活动对象运动矢量获得单元17将根据为这些计算点所确定的所有局部运动矢量来获得表示活动目标的整体移动的活动对象运动矢量。

例如，计算出用图像的水平和垂直分量(二维表示)所表示的局部运动矢量中的每一个的出现频率，并将具有最高频率的局部运动矢量作为活动对象运动矢量。或者，例如，将活动对象运动矢量确定为针对一组局部运动矢量所确定的算术近似值。这种算术近似值例如由所有局部运动矢量的平均值给出。

计算点更新单元19是用于更新在活动对象跟踪操作开始后准备用来确定局部运动矢量的计算点的位置的处理功能。也就是说，计算点更新单元19是一种用于更新该位置的处理功能，使得，即使在从活动对象检测处理转向跟踪操作处理后，也能连续地使用(或重新布置)活动对象检测处理中所设置的计算点。

具体地说，计算点更新单元19将其所确定的局部运动矢量与活动对象运动矢量相同或相似的一组计算点中的每一个的位置都更新为这些计算点中的每一个沿着活动对象运动矢量所移动到的位置。矢量的相似性可利用任意已知的技术来确定。例如，根据两个矢量的方向(矢量之间所限定的角度)确定相似性。或者，例如，根据两个矢量之间的方向和长度中每一个的偏差确定相似性。

当计算点中的每一个的位置沿着活动对象运动矢量被移动时所连续使用的这些计算点在此被称为“连续计算点”。同时，其所确定的局部运动矢量与活动对象运动矢量不同的计算点通过在这些连续计算点中的任一计算点附近的位置放置新计位置而被重新布置。

计算点的重新布置将参照图7A和7B进行描述。为了便于说明，在图7A和7B中，只示出了两个计算点。

图7A表示在某一时刻为计算点P1和P2所确定的局部运动矢量的一个例子。

本例中，计算点P1是连续计算点的一个例子。计算点P2是要重新布置的计算点的一个例子。如图7A中所示，计算点P2远离活动对象，并且所确定的局部运动矢量的方向与计算点P1的局部运动矢量的方向差别很大。

图7B表示在连续计算点P1附近的位置重新部署计算点P2的一个例子。尽管为了便于说明在连续计算点P1附近重新布置了计算点P2，然而可以在其他任何现有连续计算点附近重新布置计算点P2。图7B中虚线包围的区域代表连续计算点P1附近的区域。

重新布置方法包括例如在连续计算点附近的位置随机放置新计算点、在连续计算点附近的位置按某一规则放置新计算点的方法以及其他方法。按某一规则的重新布置包括例如按照以连续计算点为中心的概率分布(如高斯分布)放置新计算点的方法、在连续计算点的质心放置新计算点的方法以及其他方法。可以根据使用或画面的情况来选择适当的方法。

成像方向驱动控制单元21是用于根据所获得的活动对象运动矢量来控制旋转台3的驱动的处理功能。通过控制旋转台3的驱动，可以控制成像设备5的成像方向，使得活动目标不超出成像单元7的视角(也就是说，使得活动目标位于视角范围内)。这种控制可以用来将活动对象设置于视角范围内，也可以用来使活动对象一直定位于屏幕上的指定位置(如位于屏幕中心)。

图8表示随着活动对象的移动在成像方向上所跟踪的图像。

活动对象跟踪控制过程

下面将结合程序控制来描述活动对象跟踪控制设备9的跟踪操作。根据类似的过程，还执行活动对象跟踪控制设备9的处理操作。

图9表示程序的控制过程的一个例子。

首先，程序确定操作阶段(步骤S1)。也就是说，确定是活动对象检测阶段还是活动对象跟踪阶段。

在初始状态，确定活动对象检测阶段。

如果判定活动对象检测阶段，那么程序利用上述已知方法执行活动对象检测处理(步骤S2)。然后，程序确定活动对象检测处理是否已完成(步骤S3)。程序反复执行活动对象检测处理直到活动对象检测处理完成为止(如果得到否定结果的话)。

当活动对象检测处理已完成时，程序将操作阶段更新为活动对象跟踪阶段(步骤S4)，并在所检测的活动对象区域上布置用于计算局部运动矢量的计算点(步骤S5)。

然后，程序再次确定操作阶段(步骤S1)。由于操作阶段已变为活动对象跟踪阶段，因此，程序为单独定位的计算点确定局部运动矢量(步骤S6)。

程序再根据所确定的这组局部运动矢量获得活动对象运动矢量(步骤S7)。如上所述，利用频率分布或按平均值来确定活动对象运动矢量。

然后，程序更新用来确定局部运动矢量的计算点的位置(步骤S8)。如上所述，将其所确定的局部运动矢量与活动对象运动矢量相同或相似的计算点更新为计算点沿着活动对象运动矢量从当前位置所移动到的位置上的新计算点(连续计算点)。其所确定的局部运动矢量与活动对象运动矢量不同的计算点通过以下方式被更新：删除计算点的当前位置，并在任意连续计算点附近的位置建立或重新部署新计算点。计算点只不过被重新布置，计算点的数量并没有增加或减少。

然后，程序根据所确定的活动对象运动矢量发出用于将旋转台3转动一个角度的转动指令(步骤S9)。也就是说，转动成像设备5来改变成像方向，从而可以跟踪运动中的活动目标。通过重复这一转动操作，可以使所要跟踪的活动目标一直显示于屏幕中心。

图10A和10B表示显示的例子。图10A和10B每个都示出了在时间t1至t4所捕获的用于确定其局部运动矢量的四幅图像。图10A表示活动目标被不跟踪时所捕获的图像。图10B表示活动目标被跟踪时所捕获的图像。

然后，程序执行结束确定处理(步骤S10)。在结束确定处理中，确定是否继续跟踪操作。例如，如果所跟踪的活动目标在成像覆盖范围内，那么判定继续跟踪操作。另一方面，例如，如果成像设备5失去了对所跟踪活动目标的跟踪(如果活动目标移动到成像覆盖范围之外)或者如果活动目标超出了转动角的限度(超出了可用跟踪范围)，那么判定结束跟踪操作。

无论如何，如果在结束确定处理中得到否定结果，那么，程序前进到用于为所更新计算点确定局部运动矢量的处理(步骤S6)。

结束确定处理不仅可以根据成像状态或机械限度而且可以根据跟踪时间来进行。例如，跟踪操作可以在自从活动对象跟踪阶段开始后过了某一时间段后结束。或者，跟踪操作的继续或结束可以根据上述成像状态或机械限度与跟踪时间的综合结果来确定。

如果在结束确定处理中得到肯定结果，那么程序将操作阶段改变为活动对象检测阶段(步骤S11)，然后返回到再次确定操作阶段的步骤。

优点

因此，在根据第一实施方式的活动对象跟踪系统中，根据活动目标的移动，可以更新活动对象检测阶段(在成像方向固定的状态下)所检测的活动对象区域上所定义的计算点中的每一个的位置。因此，即使在活动对象跟踪阶段，也能用比相关技术更少的计算来跟踪活动目标。

图11A和11B示意性地表示相关技术与本实施方式之间所需的计算量的差别。图11A和11B每个都示出了为在时间t1至t4所捕获的四幅图像所确定的局部运动矢量。

图11A表示利用相关技术的方法所确定的局部运动矢量，而图11B表示利用第一实施方式的方法所确定的局部运动矢量。从图11A与11B之间的比较可以明显看出，第一实施方式中所要计算的局部运动矢量数明显少于相关技术中所要计算的局部运动矢量数。也就是说，应当理解，第一实施方式中所需的计算量小于相关技术中所需的计算量。

此外，在该活动对象跟踪方法中，计算点被反复地重新使用。因此，活动目标在被跟踪时，对活动目标附近的其他活动对象的影响不太敏感。

图12表示在所要跟踪的活动目标附近有另一活动对象的一个例子。在图12中，正在跟踪两个人中的右边那个人。

在相关技术的方法中，在活动对象跟踪操作期间，要为该目标及其周边区域确定局部运动矢量。因此，右边那个人的活动对象运动矢量的确定受到了左边那个人的局部运动矢量的影响。

相反，在第一实施方式的方法中，在跟踪操作期间，只要使用位于右边那个人身上的计算点来执行跟踪处理。因此，即使另一个人走向目标人的左边，也能稳定地连续跟踪右边那个人。

第二实施方式

在第一实施方式中，根据所检测的活动对象运动矢量只控制成像设备的转动。

在利用活动对象跟踪系统监控入侵者的情况下，一旦最初(以活动对象检测方式)检测到活动对象，往往将成像设备的透镜设置到广角位置以便监控宽阔范围。另一方面，在跟踪检测到的入侵者时，使成像设备的透镜进行拉近变焦以便以更大的尺寸来显示入侵者，从而提供入侵者的详细图像。

此外，随着入侵者接近或远离成像设备，必须通过镜头拉近或拉远使成像设备的透镜变焦，以便按所需尺寸来提供入侵者的图像。

例如，在图13A和13B中，示出了当入侵者在从时间t1到时间t4期间远离摄影者时所捕获图像的变化。图13A表示不变焦时所捕获入侵者的图像。屏幕上的被摄者的尺寸随时间流逝而减小。图13B表示调焦后所捕获入侵者的图像。由于调焦，屏幕上的被摄者的尺寸不变。

相应地，取决于这种应用，活动对象跟踪系统中所用的成像设备可以具有调焦功能。

在具有调焦功能的成像设备中，为一组计算点所确定的局部运动矢量包括平移分量和定标分量。在第二实施方式中，将描述活动对象跟踪过程中结合调焦能稳定地确定活动对象运动矢量(局部运动矢量)的机制。

活动对象跟踪控制设备的结构

根据第二实施方式的活动对象跟踪系统的结构基本上与图3中所示结构相同。第二实施方式的特有特征在于，活动对象跟踪控制设备9具有使透镜变焦的功能。

图14表示活动对象跟踪控制设备9的一例功能结构。在图14中，相同的标号被分配以与图4中所示相应的组成部分。

活动对象跟踪控制设备9包括这样一些功能单元，即活动对象检测单元11、计算点布置单元13、局部运动矢量确定单元15、活动对象运动矢量获得单元23、计算点更新单元19、成像方向驱动控制单元21和变焦控制单元25。

第二实施方式所特有的特征在于活动对象运动矢量获得单元23和变焦控制单元25。变焦控制单元25是用于根据活动对象运动矢量的矢量分量就远近方向控制成像设备5的变焦透镜的驱动的处理功能。

下面将描述活动对象运动矢量获得单元23的处理的细节。所要处理的局部运动矢量包括沿按比例增大或按比例缩小方向上的定标矢量分量。

在第二实施方式中，活动对象运动矢量获得单元23对这组局部运动矢量进行仿射变换或投影变换以确定活动对象运动矢量。

仿射变换中所用的仿射变换系数的例子如下所示：

X′＝a·x+b·y+c

Y′＝d·x+e·y+f

变量x和y对应于应用仿射变换前计算点的坐标，而变量x′和y′对应于应用仿射变换后计算点的坐标。值a、b、c、d、e和f是仿射变换系数。

给出局部运动矢量fx和fy，活动对象移动后的计算点的坐标为(x′，y′)＝(x+fx，y+fy)。

在这六个仿射变换系数中，c和f是平移分量，而a、b、d和e是定标分量。也就是说，仿射变换系数c和f是活动对象运动矢量。

活动对象运动矢量获得单元23确定这六个仿射变换系数。

可以根据一组局部运动矢量，利用逼近技术(比如最小二乘法)来确定仿射变换系数。下面是最小二乘逼近法的应用的一个例子：

如果给出了n个计算点的坐标用(x1，y1)，(x2，y2)，...，(xn，yn)来表示而局部运动矢量用(fx1，fy1)，(fx2，fx2)，...，(fxn，fyn)来表示，那么，活动对象移动后的计算点的坐标用(x1+fx1，y1+fy1)，(x2+fx2，y2+fy2)，...，(xn+fxn，yn+fyn)来表示。

将常数项与用二维局部运动矢量所给出的计算点的坐标相加可以得到三维坐标，其结果用n×3矩阵表示如下：

x1x2...xn

x1+fx1 x2+fx1...xn+fxn

A＝y1y2...yn

B＝y1+fy1 y2+fy1...yn+fyn

11...1

1

1...

1

同样，将常数项与仿射变换系数相加，其结果用3×3矩阵表示如下：

a b c

C＝d e f

1 1 1

这三个矩阵满足如下关系：

CA＝B ...公式1

将计算点乘以仿射变换系数得到活动对象移动后的变换计算点。通过修改公式1来确定矩阵C，可得到如下公式：

C＝BA^T(AA^T)^-1 ...公式2其中，上标T代表转置矩阵，而-1代表逆矩阵。由于矩阵A和B已知，因此，通过计算公式2可以确定矩阵C，即仿射变换系数。

为了消除其所得到的值是不正确的局部运动矢量带来的影响，可以去除与所确定的仿射变换系数有很大不同的局部运动矢量，然后可以重新计算仿射变换系数。此外，这种操作可以反复进行，以便精确地确定仿射变换系数。

活动对象跟踪控制过程

图15表示程序的控制过程的一个例子。图15中，相同的标号被分配以与图9中所示相应的步骤。该操作过程基本上与第一实施方式的操作过程相同。

首先，程序确定操作阶段(步骤S1)。

如果判定活动对象检测阶段，那么程序在成像方向固定的状态下执行活动对象检测处理(步骤S2)。然后，程序确定活动对象检测处理是否已完成(步骤S3)。程序反复执行活动对象检测处理直到活动对象检测处理完成为止(如果得到否定结果的话)。

然后，程序再次确定操作阶段(步骤S1)。由于操作阶段已改变为活动对象跟踪阶段，因此，程序为单独定位的计算点确定局部运动矢量(步骤S6)。

程序再根据所确定的这组局部运动矢量获得活动对象运动矢量(步骤S21)。程序执行仿射变换来确定活动对象运动矢量。

然后，程序根据所确定的活动对象运动矢量发出用于将旋转台3转动一个角度的转动指令(步骤S22)。也就是说，转动成像设备5来改变成像方向，从而可以跟踪运动中的活动目标。程序再根据所确定的定标分量发出用于调整透镜的变焦量的指令(步骤S22)。

通过重复这些操作组合，可以使所要跟踪的活动目标一直按所需尺寸显示于屏幕中心。

然后，程序执行结束确定处理(步骤S10)。

如果在结束确定处理中得到否定结果，那么，程序前进到用于为所更新计算点确定局部运动矢量的处理(步骤S6)。

优点

因此，在根据第二实施方式的活动对象跟踪系统中，即使在具有镜头拉近/拉远的跟踪操作期间，也能用较小的计算量实现稳定的跟踪操作。

此外，同样在根据第二实施方式的活动对象跟踪系统中，可以不受所要跟踪的活动目标附近的另一活动对象的影响执行跟踪操作。

此外，在根据第二实施方式的活动对象跟踪系统中，变焦功能使用户在跟踪操作期间可以按所需尺寸来捕获对象的图像。

其他实施方式

在上述实施方式中，其所确定的局部运动矢量与活动对象运动矢量不同的计算点立刻被重新布置。

可以延缓某一时间段后再进行重新布置。例如，为计算点中的每一个都设置某一系数(连续系数)。当布置新计算点或者重新布置现有计算点时，连续系数可以设置为某一预定初始值。

对于其所计算的局部运动矢量与活动对象运动矢量相同或相似的计算点，将该连续系数加上一个值。反之，对于其所计算的局部运动矢量与活动对象运动矢量不同的计算点，将该连续系数减去一个值。当连续系数的值变为零或负值时，重新布置相应的计算点。利用这种方法，可以为重新布置处理提供某一延缓的时间段。

图16表示这种处理的图像。在图16中，计算点P1是连续计算点(其局部运动矢量与活动对象运动矢量相同或相似)。计算点P2是其所确定的局部运动矢量与活动对象运动矢量不同的计算点。

在第一和第二实施方式中，计算点P2立刻即在时间t2(图16中的(B)所示)被重新布置。在本实施方式中，计算点P2在时间t3(图16中的(C)所示)被重新布置。

在加大连续系数时和在减小连续系数时，可以使用相同的值也可以不使用相同的值。例如，减小时与增大时相比，可以将连续系数减去更大的值。这样，在确定与活动对象运动矢量不同的局部运动矢量时，可以缩短连续系数被更新为零或负值之前的时间段。连续系数的增大和减小方向可以相反。也就是说，当连续系数超出某一阈值(＞0)时，计算点可以被重新布置。

每当确定与活动对象运动矢量相同或相似的局部运动矢量时，在要加上一个值的连续系数中都可以设置加范围的上限。也就是说，为连续系数的可变范围设置上限，据此，如果连续计算点离活动目标远，那么可以迅速地重新布置这一计算点。

连续系数可以设置为任意一种数值。例如，可以使用确定与活动对象运动矢量相同或相似的局部运动矢量的次数。

上述实施方式结合结构如图3中所示的活动对象跟踪系统进行了描述。也就是说，在以上描述中，活动对象跟踪控制单元9安装在成像设备5中。

然而，活动对象跟踪控制单元9可以不安装在成像设备5中。图17A和17B表示根据其他实施方式的活动对象跟踪系统。

图17A示出了具有这样一种结构的活动对象跟踪系统31：活动对象跟踪控制单元(或设备)9和成像设备5是分开设置的，并通过通信线路(有线或无线)连接。在活动对象跟踪系统31中，活动对象跟踪控制单元(或设备)9被实现成另一信息处理设备(比如计算机)上的功能。

图17B示出了具有这样一种结构的活动对象跟踪系统33：活动对象跟踪控制单元(或设备)9和成像设备5是分开设置的。在活动对象跟踪系统33中，这两种设备通过网络35连接。

尽管上述实施方式就水平转动成像设备的情况进行了描述，然而可以垂直转动成像设备。

在上述实施方式中，屏幕上的活动对象区域利用已知的活动对象检测处理进行检测。然而，所要跟踪的活动对象或目标最初可以由操作人员利用指示工具来指定。

尽管上述实施方式结合作为活动对象跟踪系统的举例实现方式的监控系统进行了描述，然而还可以想到该系统的其他应用。本发明的实施方式可以用于各种各样的应用，包括用于自动跟踪所要记录或散布(比如演讲记录、讲课记录和简报记录)的活动对象的系统。

在上述实施方式中，根据活动目标的移动来转动成像设备以改变成像方向，必要时还调整透镜的变焦设置。

然而，在成像设备的成像方向固定的状态下，可以跟踪特定活动对象并可以提取所捕获图像的部分区域。

图18A和18B表示分别提取所捕获图像屏幕的部分区域的类型的活动对象跟踪系统41和49的举例结构。在图18A和18B中，相同的标号被分配以与图3中所示相应的部分。

图18A中所示的活动对象跟踪系统41执行对从服务器(图像数据存储设备)43中读取的捕获图像的处理。在活动对象跟踪系统41中，将所读取的捕获图像输入到活动对象跟踪控制单元45和区域提取单元47。区域提取单元47执行如下处理功能：从屏幕中提取与活动对象跟踪控制单元45所提供的提取区域信息相关的区域。

图18A中所示的活动对象跟踪系统49执行对从没有安装在旋转台3上的成像设备5(即其成像方向固定的成像设备)中读取的捕获图像的处理。同样，在活动对象跟踪系统49中，将所输出的捕获图像输入到活动对象跟踪控制单元45和区域提取单元47，根据活动目标的移动，提取并输出捕获图像屏幕的部分区域。

在活动对象跟踪系统41和49中，背景图像可以包括或也可以不包括运动矢量分量。

在这两种情况中任一种情况下，都可以使用上述确定活动对象运动矢量的方法。即使当背景图像不包括运动矢量分量时，也能使用上述确定活动对象运动矢量的方法，从而大大减小了活动目标跟踪期间的计算量，同时减小了位于活动目标附近的其他活动对象的影响。

下面，将简述活动对象跟踪系统41和49中所用的活动对象跟踪控制单元45的一例结构以及处理过程的一个例子。

图19表示活动对象跟踪控制单元45的一例内部结构。在图19中，相同的标号被分配以与图4中所示相应的部分。

活动对象跟踪控制设备45包括这样一些功能单元，即活动对象检测单元11、计算点布置单元13、局部运动矢量确定单元15、活动对象运动矢量获得单元17、计算点更新单元19和提取区域移动控制单元51。特有的特征在于提取区域移动控制单元51的结构。提取区域移动控制单元51对应于一种用于控制的处理功能，以便于根据活动对象运动矢量来移动从图像中所提取的区域，从而提取活动对象。与上述实施方式的不同之处在于，根据活动对象运动矢量来移动所提取的区域。

图20结合程序控制示出了活动对象跟踪控制单元45的跟踪操作。在图20中，相同的标号被分配以与图9中所示相应的步骤。该程序控制中的所有处理步骤基本上与图9中所示的步骤相同，不同之处在于，根据活动对象运动矢量发出用于移动提取区域的指令(步骤S31)。通过重复这一跟踪操作，可以使所要跟踪的活动目标一直显示于屏幕中心。

上述跟踪控制程序可以通过网络来分发，或者可以保存在存储媒体中并通过存储媒体进行分发。分发程序所用的存储媒体包括磁存储媒体、光存储媒体、半导体存储媒体以及其他存储媒体。

在不背离本发明的范围的前提下，可以对上述实施方式作出各种修改。此外，根据本文中所公开的实施方式还可以设计出或组合出各种修改方式和应用方式。

熟练技术人员应当理解，根据设计需要以及其他因素，还可以想到各种修改方式、组合方式、子组合方式和变更方式，只要它们在附属权利要求或其等价要求的范围内。

Claims

1.一种活动对象跟踪控制设备，包括：

活动对象指定单元，用于指定成像设备捕获的图像上的活动对象区域；

计算点布置单元，用于在所指定活动对象区域上布置多个计算点；

局部运动矢量确定单元，用于为计算点确定一组局部运动矢量；

活动对象运动矢量获得单元，用于根据这组局部运动矢量获得活动对象运动矢量；

计算点更新单元，用于更新计算点，这些计算点包括其所确定的局部运动矢量与活动对象运动矢量相同或相似的一组计算点以及其所确定的局部运动矢量与活动对象运动矢量不同的计算点，

这组计算点连续用于计算局部运动矢量并通过沿着活动对象运动矢量移动这组计算点中的每一个的位置而被更新，

其所确定的局部运动矢量与活动对象运动矢量不同的计算点中的每一个通过在连续使用的计算点中的任一计算点附近的位置放置新计算点而被重新布置；和

成像方向驱动控制单元，用于根据活动对象运动矢量来控制包括成像设备的可动机械装置。

2.如权利要求1所述的活动对象跟踪控制设备，其中，计算点布置单元在整个活动对象区域上随机布置计算点。

3.如权利要求1所述的活动对象跟踪控制设备，其中，计算点布置单元在活动对象区域上均匀布置计算点。

4.如权利要求1所述的活动对象跟踪控制设备，其中，计算点布置单元在活动对象区域内的特征点附近布置计算点。

5.如权利要求1所述的活动对象跟踪控制设备，其中，活动对象运动矢量获得单元将这组局部运动矢量中具有最高出现频率的局部运动矢量确定为活动对象运动矢量。

6.如权利要求1所述的活动对象跟踪控制设备，其中，活动对象运动矢量获得单元将针对这组局部运动矢量所确定的算术近似值确定为活动对象运动矢量。

7.如权利要求1所述的活动对象跟踪控制设备，其中，计算点更新单元在连续使用的计算点中的任意计算点附近的位置随机放置新计算点。

8.如权利要求1所述的活动对象跟踪控制设备，其中，计算点更新单元按照以连续使用的计算点中的任意计算点为中心的概率分布放置新计算点。

9.如权利要求1所述的活动对象跟踪控制设备，其中，计算点更新单元在所有连续使用的计算点的质心放置新计算点。

10.如权利要求1所述的活动对象跟踪控制设备，其中，计算点更新单元参考与计算点中的每一个相应的连续系数以确定计算点中的每一个是要被连续使用还是要被重新布置，并根据连续系数的值连续使用或重新布置计算点中的每一个。

11.如权利要求10所述的活动对象跟踪控制设备，其中：

当放置新计算点或者重新布置计算点时，连续系数被设置为一初始值；

当与该计算点相应的局部运动矢量与活动对象运动矢量相同或相似时，将该连续系数加上第一更新值；和

当与该计算点相应的局部运动矢量与活动对象运动矢量不同时，将该连续系数减去第二更新值。

12.如权利要求1所述的活动对象跟踪控制设备，还包括：变焦控制单元，用于根据活动对象区域的尺寸控制成像设备的变焦角度。

13.一种活动对象跟踪控制设备，包括：

活动对象指定单元，用于指定成像设备捕获的图像上的活动对象区域或从服务器中读取的图像上的活动对象区域；

提取区域移动控制单元，用于根据活动对象运动矢量进行控制以便移动从图像中提取的区域。

14.一种活动对象跟踪系统，包括：

安装在可动机械装置中的成像设备；

成像方向驱动控制单元，用于根据活动对象运动矢量来控制可动机械装置。

15.一种活动对象跟踪系统，包括：

成像设备；

16.一种活动对象跟踪系统，包括：

存储图像数据的服务器；

活动对象指定单元，用于指定从服务器中读取的图像上的活动对象区域；

17.一种活动对象跟踪控制方法，包括如下步骤：

指定成像设备捕获的图像上的活动对象区域；

在所指定活动对象区域上布置多个计算点；

为计算点确定一组局部运动矢量；

根据这组局部运动矢量获得活动对象运动矢量；

更新计算点，这些计算点包括其所确定的局部运动矢量与活动对象运动矢量相同或相似的一组计算点以及其所确定的局部运动矢量与活动对象运动矢量不同的计算点，

根据活动对象运动矢量来控制包括成像设备的可动机械装置。

18.一种活动对象跟踪控制方法，包括如下步骤：

指定成像设备捕获的图像上的活动对象区域或从服务器中读取的图像上的活动对象区域；

在所指定活动对象区域上布置多个计算点；

为计算点确定一组局部运动矢量；

根据这组局部运动矢量获得活动对象运动矢量；

根据活动对象运动矢量进行控制以便移动从图像中提取的区域。

19.一种程序，可使计算机执行如下步骤：

指定成像设备捕获的图像上的活动对象区域；

在所指定活动对象区域上布置多个计算点；

为计算点确定一组局部运动矢量；

根据这组局部运动矢量获得活动对象运动矢量；

20.一种程序，可使计算机执行如下步骤：

在所指定活动对象区域上布置多个计算点；

为计算点确定一组局部运动矢量；

根据这组局部运动矢量获得活动对象运动矢量；