CN1722826A - 物体追踪装置、物体追踪系统以及物体追踪方法 - Google Patents

Abstract

公开了一种，即使在开始追踪物体后、要监视的区域内侵入其他的物体时，也能对真正可疑的物体进行追踪的物体追踪装置、物体追踪系统以及物体追踪方法。在物体追踪装置中，物体检测部，从来自第1图像拍摄装置的广角图像中，检测出多个物体。历史信息生成部，生成检测物体的历史信息。物体选择部，根据历史信息，将与要追踪的物体的选择条件对应的物体选择为要追踪的物体。控制部，实施控制以驱动以比第1图像拍摄装置窄的视角拍摄图像的第2图像拍摄装置、并对选定的物体进行拍摄。

Description

物体追踪装置、物体追踪系统以及物体追踪方法

技术领域

本发明，涉及一种在图像中追踪成为追踪对象的物体的物体追踪装置、物体追踪系统以及物体追踪方法。特别是涉及一种，用广角摄象机拍摄的图像来选择要追踪的物体、并用视角与广角摄象机不同的望远摄象机来追踪并拍摄选定的要追踪的物体的图像的物体追踪装置、物体追踪系统以及物体追踪方法。

背景技术

近年来，在使用摄像机装置的监视装置等中，在用摄像机不断拍摄动画图像、并在拍摄到的动画图像中检测到可疑的物体的情况下，追踪此检测到的可疑物体并进行拍摄的物体追踪装置以及物体追踪系统逐渐普及。

其中，广泛普及的还有将广角摄象机和望远摄象机组合起来的物体追踪系统。广角摄象机，固定拍摄区域。望远摄象机，可以上下左右移动拍摄方向来工作(以下，称这种动作为扫视(pan)、倾斜(tilt))。将广角摄象机和望远摄象机这两个视角不同的摄象机组合起来的物体追踪系统，无需使用高倍的变焦透镜及其控制模块等复杂的结构。

该物体追踪系统的一例，是用广角摄象机拍摄要监视的较广区域。当拍摄的图像中有物体侵入时，驱动望远摄象机以令望远摄象机的拍摄方向朝向该侵入的物体。然后，显示部显示侵入的物体的放大图像。这种现有的结构中，管理者能够观看到显示部上显示的侵入的物体的放大图像，并判定该侵入物体是否真的可疑。上述的现有的结构，公开于特开平11-69342号。

然而，上述这种现有技术，在用广角摄象机拍摄的要监视区域的图像中、一开始就有多个侵入物体存在时，就可能无法对真正可疑的物体进行追踪。另外，用广角摄象机拍摄的要监视的图像中，检测出侵入物体，用望远摄象机追踪该侵入物体开始拍摄。之后，在要监视的区域内再侵入别的物体这种情况下，就可能无法对真正可疑的物体进行追踪。

发明内容

本发明，提供一种物体追踪装置、物体追踪系统以及物体追踪方法，能够在用广角摄象机拍摄的要监视的区域的图像中、一开始就存在多个侵入物体的情况下，对真正可疑的物体进行追踪。另外，本发明还提供一种物体追踪装置、物体追踪系统以及物体追踪方法，在用广角摄象机拍摄的要监视的区域的图像中检测出侵入物体、望远摄象机追踪该物体并开始拍摄后、要监视的区域内又有其他的物体侵入的这种情况下，仍能够对真正可疑的物体进行追踪。

本发明的物体追踪装置，具备第1图像输入部、第2图像输入部、物体检测部、历史信息生成部、物体选择部和控制部。第1图像输入部，输入来自以给定的视角拍摄广角图像的第1图像拍摄装置的图像。第2图像输入部，输入来自以比第1图像拍摄装置窄的视角拍摄图像的第2图像拍摄装置的图像。物体检测部，从由第1图像输入部输入的广角图像中，检测出多个物体。历史信息生成部，生成有关多个物体各自的、包含广角图像中的位置信息的历史信息。物体选择部，从多个物体中，将具有与要追踪的物体的历史信息的选择条件相对应的历史信息的物体，选择为要追踪的物体。控制部，实施控制以驱动第2图像拍摄装置、对由物体选择部选定的物体进行拍摄。

通过此结构，在用广角摄象机拍摄的要监视的区域的图像中预先存在多个侵入物体的情况下，能对真正可疑的物体进行追踪。另外，在检测出侵入物体、望远摄象机追踪该侵入物体开始拍摄后、要监视的区域内又侵入其他物体的情况下，也能对真正可疑的物体进行追踪。

另外，本发明的物体追踪装置，还可具备图像切取部，从广角图像中，切取用物体检测部检测出的多个物体各自的部分图像。历史信息生成部，可用部分图像生成历史信息。通过此结构，能分别对多个物体更快地生成历史信息。

另外，历史信息生成部，将部分图像的中心坐标作为位置信息来生成历史信息。通过此结构，能以计算中心坐标这种更简单的运算生成历史信息。

另外，本发明的物体追踪装置，还可具备条件设定部，设定要追踪的物体的历史信息的选择条件。通过此结构，例如管理者，还能从外部输入选择条件来进行设定。

再有，条件设定部，可设定多个优先度不同的选择条件。物体选择部，可根据这些优先度选择要追踪的物体。通过此结构，还能在选择条件上加上优先度来选择要追踪的物体。这样，总能将优先度最高的物体选择为要追踪的物体。

另外，条件设定部，可将通过广角图像中的给定区域设定为选择条件。通过此结构，还能追踪在广角图像中通过给定区域的物体。

另外，条件设定部，可将在广角图像中的滞留时间设定为选择条件。通过此结构，还能追踪在广角图像中停留给定时间以上的物体。

另外，条件设定部，可将在广角图像中的移动方向设定为选择条件。通过此结构，还能将物体的移动方向作为选择条件来追踪物体。

再有，条件设定部，可将在广角图像中的移动路径设定为选择条件。通过此结构，还能预先决定规定的移动路径，对在此移动路径以外的路径移动的物体进行追踪。另外，能够追踪在可疑的路径上移动的物体。

再有，历史信息生成部，可将多个物体的颜色信息生成为历史信息。而且，条件设定部，可将广角图像中的颜色信息设定为选择条件。通过这些结构，还能以物体的颜色为选择条件来选择要追踪的物体。

另外，条件设定部，可将广角图像中的、给定区域的通过、滞留时间、移动方向、移动路径以及颜色信息之中的多个条件，设定为选择条件。通过此结构，还能将多个选择条件组合来选择要追踪的物体。

另外，本发明的物体追踪装置，还可具备输出信息生成部。输出信息生成部，生成用于输出由第1图像输入部输入的广角图像、由第2图像输入部输入的要追踪的物体的放大图像。再有，生成用于输出多个物体的历史信息的信息。通过此结构，还能输出要追踪的物体的放大图像以及广角图像。而且，能够在物体追踪装置的外部实现能令这些信息一目了然的装置。

再有，输出信息生成部，生成用于在广角图像上重叠输出多个物体的历史信息。通过此结构，管理者，还能在物体追踪装置的外部实现例如令移动轨迹的信息等的物体的历史信息一目了然的装置。

下面，本发明的物体追踪方法，是用于具备第1图像输入部和第2图像输入部的物体追踪装置的物体追踪方法。第1图像输入部，输入来自以给定的视角拍摄广角图像的第1图像拍摄装置的图像。第2图像输入部，输入来自以比第1图像拍摄装置窄的视角拍摄图像的第2图像拍摄装置的图像。

本发明的物体追踪方法，包括：物体检测步骤、历史信息生成步骤、物体选择步骤、控制步骤。

物体检测步骤，是从广角图像中检测出多个物体的步骤。历史信息生成步骤，是生成有关多个物体各自的、包含广角图像中的位置信息的历史信息的步骤。物体选择步骤，是从多个物体中，将具有与要追踪的物体的历史信息的条件相对应的物体，选择为要追踪的物体的步骤。控制步骤，是实施控制以驱动第2图像拍摄装置、对要追踪的物体进行拍摄的步骤。

通过此方法，在用广角摄象机拍摄的要监视的区域的图像中预先存在多个侵入物体的情况下，能对真正可疑的物体进行追踪。另外，在检测出侵入物体、望远摄象机追踪该侵入物体开始拍摄后、要监视的区域内又侵入其他物体的情况下，也能对真正可疑的物体进行追踪。

附图说明

图1为表示本发明实施例中的物体追踪系统以及物体追踪装置的结构的框图。

图2为用于对本发明的实施例中的物体追踪装置的切取部的功能进行说明的示意图。

图3为用于对该物体追踪装置的历史信息进行说明的示意图。

图4为表示存储在该物体追踪装置的历史存储部中的历史信息的一例的示意图。

图5为用于对该物体追踪装置中的注视区域进行说明的示意图。

图6为表示本发明实施例中的物体追踪系统的输入装置中的输入导航画面的一例的示意图。

图7为表示本发明实施例中的物体追踪装置的输出信息的一例的示意图。

图8为表示本发明实施例中的物体追踪系统的动作步骤的流程图。

具体实施方式

以下，用附图对本发明的实施例进行说明。

(实施例)

图1是表示本发明的实施例中的物体追踪系统30以及物体追踪装置20的结构的框图。

本发明的实施例中的物体追踪系统30，具备W摄象机装置2、驱动部4、N摄象机装置3、物体追踪装置20、输入装置13、输出装置14。W摄象机装置2，是对要监视的较广的视角范围的广角图像进行拍摄的第1图像拍摄装置。N摄象机装置3，为能进行较W摄象机装置2窄的视角下的望远拍摄的第2图像拍摄装置，可由驱动部4进行扫视、倾斜动作。物体追踪装置20，从用W摄象机装置2拍摄的广角图像中检测出要追踪的物体，并通过对驱动部4进行控制，将N摄象机装置3朝向要追踪的物体的方向。输入装置13，对物体追踪装置20输入要追踪的物体的条件等。输出装置14，对用W摄象机装置2拍摄的广角图像和用N摄象机装置3拍摄的要追踪的物体的放大图像进行显示。

广泛用于监视等用途中的、具备广角透镜的摄像机装置，可作为W摄象机装置2使用。

搭载有视角比W摄象机装置2中搭载的光学系统窄的望远透镜的摄像机装置，可作为N摄象机装置3使用。N摄象机装置3搭载放大透镜，获取要追踪的物体的大小适当的放大图像。

可用电控制的公知的电动云台，可作为实施N摄象机装置3的扫视、倾斜动作的驱动部4使用。

键盘、鼠标、轨迹球等公知的输入用设备，可作为输入装置13使用。

LCD(液晶显示器)、EL(电致发光)、或CRT(阴极射线管)等公知的显示设备，可作为输出装置14使用。

本发明的实施例中的物体追踪系统30，进行监视的人(以下称作管理者)，在用W摄象机装置2拍摄的广角图像中，设定要注视的注视区域。另外，输入用于选择要追踪的物体的条件。物体追踪装置20，从用W摄象机装置2拍摄的广角图像之中，检测出与预先输入的条件吻合的可疑人物或移动物体等的物体。

以下，将这些可疑的人物或者移动物体等物体，统称为要追踪的物体。然后，输出装置14，对N摄象机装置3拍摄的要追踪的物体的放大后的图像进行显示。管理者，观看输出装置14上显示的要追踪的物体的放大图像，来判定这个要追踪的物体是否真的是可疑的物体。

对本发明的实施例中的物体追踪装置20的结构，进一步进行详细说明。如图1所示，本发明的实施例中的物体追踪装置20，具有W图像输入部15、物体检测部5、切取部6、历史信息生成部7、历史存储部8、条件设定部11、物体选择部10、控制部12、N图像输入部16、以及输出信息生成部9。W图像输入部15，为输入从W摄象机装置2输出的广角图像的影像信号的第1图像输入部。

物体检测部5，从W图像输入部15中输入的广角图像中，检测出多个物体。切取部6，为将物体检测部5检测出的多个物体各个部分图像切取的图像切取部。历史信息生成部7，用切取部6切取的部分图像，对从物体检测部5送来的广角图像中的多个物体，分别生成后文所述的历史信息。历史信息存储部8，存储对多个物体分别生成的历史信息。

条件设定部11，将从输入装置13输入的要追踪的物体的条件设定为历史信息的条件。物体选择部10，通过从历史存储部8中，选择具备与用条件设定部11设定的历史信息的条件相吻合的历史信息的物体，来从多个物体中选择要追踪的物体。控制部12，根据由物体选择部10选定的要追踪的物体在广角图像中的位置信息，控制驱动部4的动作。

输出信息生成部9，根据广角图像、放大图像、历史信息，生成要输出给输出装置14的输出信息。广角图像，为W摄象机装置2拍摄到的图像。放大图像，为用N摄象机装置3拍摄到的、由作为第2图像输入部的N图像输入部16输入的要追踪的物体的图像。历史信息，为存储在历史存储部8中的信息。

对各个构成要素进行详细说明。

物体检测部5，从自W图像输入部15输入的广角图像中，检测出具有成为要追踪的物体的可能性的物体。从W图像输入部15输入的图像，为用W摄象机装置2拍摄的要监视的区域的图像。具有成为要追踪的物体的可能性的物体，为运动的多个物体。对图像中运动的多个物体的检测，可例如通过差值方法实现。

差值方法，为取背景图像和输入的图像之差，将差值超过给定阈值的区域检测为运动的物体。或者，也可通过存储已经检测出的要追踪的物体的颜色相等的特征量，并检测出与该特征量吻合的物体的方法来实现。此检测方法，公开于例如专利第3197633号。

切取部6，将物体检测部5检测并视为多个物体的区域，从广角图像中分别切取、生成部分图像。图2，为对本发明的实施例中的物体追踪装置20的切取部6的功能进行说明的图。例如，用W摄象机装置2拍摄的广角图像21为图2所示的这种图像，设物体检测部5中检测出第1物体22以及第2物体23这两个物体。

如图2所示，切取部6，从广角图像21中，分别切取包含第1物体22的第1部分图像24以及包含第2物体23的第2部分图像25。此切取部6中的部分图像的切取，例如通过在切取第1部分图像24时、从广角图像21中将包含第1物体22的这种矩形区域切除来实现。

再者，本发明的实施例的物体追踪装置20的切取部6，并不限于上述这样从广角图像21中将部分图像矩形切除。例如，本发明的实施例的物体追踪装置20的切出部6，也可从广角图像21中将物体以圆形形状切除，也可沿着物体的形状来切除部分图像。

历史信息生成部7，使用由切出部6切除的部分图像和广角图像21，生成包含多个物体各自的位置信息的历史信息。对于此历史信息，进行详细说明。图3，为用于对本发明实施例中的物体追踪装置20的历史信息进行说明的示意图。如图3所示，例如在广角图像21中，设第1物体22沿着移动路径32移动，第2物体23沿着移动路径33移动。本发明的实施例中的物体追踪装置20中，历史信息，包含表示移动路径32、33的位置信息。

具体而言，历史信息生成部7，将广角图像21中的第1物体22所对应的第1部分图像24的中心(或重心)位置的坐标信息，生成为第1物体22的历史信息。另外，历史信息生成部7，将广角图像21中的第2物体23所对应的第2部分图像25的中心位置的坐标信息，作为第2物体23的历史信息。

历史信息生成部7，将生成的各个历史信息、与生成物体的ID信息以及历史信息的时刻一起，发送给历史存储部8。作为历史信息的一例，可以“ID信息，时刻(时、分、秒)、中心坐标(X，Y)”这种形式表示。

例如，对图3所示的示例进行说明。第1物体22的ID信息为“1”。第2物体23的ID信息为“2”。第1部分图像24的中心坐标为(210，130)。第2部分图像25的中心坐标为(X2，Y2)。假设获取各个历史信息的时刻为12时10分12秒。

此时，历史信息生成部7，将“1，12，10，12，210，130”这个信息作为与第1物体22对应的历史信息，将“2，12，10，12，X2，Y2”这个信息作为与第2物体23对应的历史信息。历史信息生成部7，将生成的历史信息发送给历史存储部8。

历史存储部8，将如此生成的历史信息蓄积存储。图4中表示历史存储部8中存储的历史信息的一例。图4，为表示本发明实施例中的物体追踪装置20的历史存储部8中存储的历史信息的一例的示意图。图4所示的示例中，历史信息41，对每个物体添加前文所述的中心坐标和时刻信息，并在时间序列上具有将每个物体的颜色以及亮度值以R、G、B形式表示的颜色信息。

这样，通过在表示多个物体各自在广角图像21中的位置的位置信息上添加历史信息41，具有颜色信息，能够以颜色为条件选择要追踪的物体。例如，当员工穿着指定的制服等情况下，可以将穿着该制服颜色以外的颜色的服装的人设定为要追踪的人。

这样，本发明的实施例中的物体追踪装置20，将W摄象机装置2拍摄的广角图像21中的多个物体各自的历史信息41，存储在历史存储部8中。

历史存储部8，可采用适当地从半导体存储器、HDD、DVD等公知的存储介质中所选择的器件来构成。

这里，对广角图像21中的注视区域进行说明。图5，为用于对本发明的实施例的物体追踪装置20中的注视区域进行说明的示意图。如图5所示，管理者用输入装置13，设置在输出装置14上显示的广角图像21中的、例如注视区域A以及注视区域B这种、多个注视区域。设定的注视区域A以及注视区域B，用于条件设定部11中的要追踪的物体的历史信息的选择条件的设定。

管理者，可根据输出装置14上显示的输入导航画面，指定注视区域的设定以及要追踪的物体的选择条件。图6为，表示本发明实施例中的物体追踪系统30的输入装置13中的输入导航画面51的一例的示意图。如图6所示，本发明的实施例的物体追踪系统30中的输入导航画面51，为横向显示用于选择要追踪的物体的条件(以下，称作选择条件)的结构。

管理者，可通过在输入导航画面51中对排列着选择条件的每一行(以下，称此行为选择条件行)选定选择条件、纵向对多行选择选择条件，来指定多个选择条件。

图6所示的示例中，表示每一选择条件行存在5个选择条件的情况。图6中，若着眼于选择条件行52，面朝纸左起依次表示第1选择条件至第5选择条件。第1选择条件的“区域通过”，意思是“将通过给定注视区域内的物体视为要追踪的物体”。第2选择条件的“移动路径”，意思是“将沿着给定的移动路径移动的物体视为要追踪的物体”。

第3选择条件的“移动方向”，意思是“将以给定的方向穿过给定的注视区域的物体视为要追踪的物体”。第4选择条件的“滞留时间”，意思是“将滞留指定的时间以上的物体视为要追踪的物体”。并且，第5选择条件的“颜色”，意思是“将给定颜色的物体视为要追踪的物体”。各个选择条件行纵向的顺序，表示各个选择条件行的优先排位。设在输入导航画面51中，随位置从下至上、各个选择条件行的优先度提高。

各选择条件的指定，通过对与每个选择条件行对应的复选框进行校验来指定。对复选框进行校验后，显示用于输入所述的注视区域这种必要的信息的输入画面(未图示)。例如，当将区域通过和移动路径作为选择条件时，在输出装置14上显示用W摄象机装置2拍摄的图像，管理者用输入装置13在图像上直接指定所述的注视区域和移动路径。

例如，在将“移动方向”作为选择条件时，显示“上”“下”“左”“右”这种可以选择的项目列表作为输入画面。另外，当将“颜色”作为选择条件时，显示“红”“蓝”这种可以选择的项目列表作为输入画面。从列表中选择要追踪的物体的移动方向或颜色来进行指定。另外，当将“滞留时间”作为选择条件时，将用于输入表示滞留时间的上限的数字的画面显示在输出装置14上。通过用输入装置13输入滞留时间的上限来进行条件指定。

另外，本发明实施例中的物体追踪系统30中，在输入导航画面51上通过对校验完毕的复选框再次进行校验，项目显示“×”，能够指定为否定条件。例如，若选择条件为“移动方向”，将选择条件作为否定条件以显示为“×”那样选择项目“上”，则能够指定将上方向以外移动的物体视为要追踪的物体的这种选择条件。

再有，选择条件，能在同一个选择条件行内进行多次选择，将条件设定为选定的选择条件的组合。例如，若作为选择条件，将“区域通过”和“滞留时间”组合，则能够指定将在指定的注视区域内滞留一定时间以上的物体视为要追踪的物体的选择条件。

例如，图6所示的示例中，选择条件行54中作为选择条件选择“区域通过”以及“滞留时间”。另外，还能在进行这种选择条件的组合时使用否定条件。例如，作为选择条件，将“区域通过”和“颜色”的否定条件组合，则能够指定：在指定的颜色以外的移动物体通过注视区域内时、将该物体视为要追踪的物体的选择条件。

再有，如前文所述，选择条件行的位置关系，表示选择条件行间的优先度的高低。图6所示的示例中，位置越靠上的选择条件行优先度越高，位置越靠下的选择条件行优先度越低。这里，对选择条件行的优先排位进行说明。

例如，图6所示的示例中，设位置最靠上的选择条件行为选择条件行52、位于其下侧的选择条件行为选择条件行53、位于再下侧的选择条件行为选择条件行54。当在广角图像21中，不存在与选择条件行52或选择条件行53对应的物体，仅存在与选择条件行54对应的物体时，从多个物体之中将对应选择条件行54的物体选择为要追踪的物体，并用后文说明的方法，由N摄象机装置3拍摄。

但若在与选择条件行54对应的物体被N摄象机装置3拍摄的期间，检测到相当于优先排位更高的选择条件的其他物体时，将其视为要追踪的物体。此时，所谓优先排位更高的选择条件，是指选择条件52或选择条件53。可用N摄象机装置3对新视为要追踪的物体的物体，进行拍摄。

这样，可以总将优先度高、真正可疑的物体特定为要追踪的物体。另外，当在广角图像21中检测到多个物体时，物体选择部10将与优先度更高的选择条件对应的物体选择为要追踪的物体。这样，即使检测出多个物体，也能总将优先度高、可疑的可能性真正较高的物体特定为要追踪的物体。

条件设定部11，根据用输入装置13输入的注视区域以及选择区域的信息，将各个选择条件行排序，并作为表示要追踪的物体的历史信息41的选择条件的信息，发送给物体选择部10。

这里，对物体选择部10中的要追踪的物体的选择方法，以每个选择条件进行说明。

首先，当选择条件为“区域通过”的情况下，注视区域被用任意的多角形指定时，条件设定部11将其多角形的顶点数和顶点坐标信息，发送给物体选择部10。物体选择部10，将历史存储部8中存储的中心坐标的时间序列数据插补来求取移动路径信息，当此移动路径信息与之前指定的多角形重叠时，判定为已通过此注视区域。

另外，当选择条件为“移动路径”的情况下，移动路线被用线条指定后，条件设定部11，在被指定的移动路径的线条上，以给定的间隔生成区域。在生成的区域上，沿着路径依次排序，并将区域信息和排序信息发送给物体选择部10。物体选择部10，在物体的移动路径按照顺序通过全部区域时，判定为物体沿着指定的移动路径移动。

再有，当选择条件为“移动方向”的情况下，当例如从“上”“下”“左”“右”中选择移动方向并指定时，条件设定部11，将指定的移动方向信息发送给物体选择部10。物体选择部10，使用历史存储部8中存储的历史信息中的中心坐标信息、根据当前的中心坐标和追溯给定时间后的中心坐标之差，计算出当前的移动方向。

另外，也可考虑中心坐标的波动，将改变追溯时间求取的多个移动方向平均得到的方向作为当前的移动方向。物体选择部10，求取在“上”“下”“左”“右”各个移动方向中，与计算得到的当前移动方向最接近的方向，并在该方向与从条件设定部11送来的方向一致时，判定为物体向指定的方向移动。但是，在与“区域通过”组合作为选择条件时，使用处于指定区域内的期间的中心坐标进行判定。

接着，对选择条件为“滞留时间”的情况进行说明。用秒数指定滞留时间的上限时，首先条件设定部11，将指定的秒数数据发送给物体选择部10。物体选择部10，在历史存储部8中存储的历史信息中使用时刻信息，并在当前的时刻和开始物体的检测的时刻之差超过给定的秒数时，判定为滞留超过指定的时间以上。但是，当“区域通过”或“移动路径”和“滞留时间”组合作为选择条件时，使用处于注视区域内或指定移动路径上的期间的时刻信息来进行判定。

接着，对选择条件为“颜色”的情况进行说明。从“红”“蓝”“黄”“绿”等项目列表中选择指定颜色信息时，条件设定部11，将指定的颜色的信息发送给物体选择部10。物体选择部10，使用在历史存储部8中存储的历史信息之中的颜色信息，当与该颜色信息最类似的项目列表中的颜色、和条件设定部11指定的颜色一致时，判定为物体的颜色为指定的颜色。但是，当与“区域通过”或“移动路径”组合作为选择条件时，仅使用处于注视区域内或者指定移动路径上的期间的颜色信息进行判定。

接着，对将多个上述的选择条件组合的情况进行说明。选择组合多个上述条件来作为条件时，物体选择部10，将满足从条件设定部11输出的全部选择条件的物体，判定为与组合条件吻合的物体、并且是要追踪的物体。例如，当将选择条件“通过区域A”和选择条件“滞留B秒以上”组合时，从历史存储部8中选择与“在区域A中滞留B秒以上的”物体对应的历史信息41。

另外，对在组合选择条件时、组合否定条件的情况进行说明。当满足从选定的选择条件中去除否定条件的全部选择条件、且不满足全部否定条件时，判定为与组合条件吻合。例如，当组合选择条件“通过区域A”和否定条件“红色”时，物体选择部10，从历史存储部8中选择与“通过区域A的红色以外的”物体对应的历史信息41。

如上所述，物体选择部10，使用从条件设定部11送来的要追踪的物体的历史信息41的选择条件。从存储于历史存储部8的多个物体的历史信息41中，选择与要追踪的物体的历史信息41的选择条件吻合的物体作为要追踪的物体。然后，将要追踪的物体在广角图像21中的位置信息输出给控制部12。

物体选择部10，在广角图像21中存在多个要追踪的物体时，根据所述的优先排位，将与优先排位最高的条件相吻合的物体，依次选择为要追踪的物体。

如上所述，可以在广角图像21中的多个物体之中，将与优先排位更高的选择条件相吻合的物体作为要追踪的物体输出。

控制部12，根据从物体选择部10输出的要追踪的物体的位置信息，驱动N摄象机装置3的驱动部4，将N摄象机装置3移动到能够拍摄要追踪的物体的方向。再者，本发明，不限于使用根据此位置信息的驱动部4的驱动方法。也可以使用例如前文所述的特开平11-69342号中记载的方法。

输出信息生成部9，分别从历史存储部8中获取多个物体各自的历史信息41、从W摄象机装置2输入广角图像21、从N摄象机装置3输入要追踪的物体的图像61，并生成图7所示的输出信息71。图7为，表示本发明实施例中的物体追踪装置20的输出信息71的一例的示意图。

如图7所示，输出信息71中多个物体各自的历史信息41，被在广角图像21上重叠显示，要追踪的物体的图像61被放大显示。此时，通过在广角图像21中，按照优先度高的顺序改变与选择条件对应的物体的颜色来输出，管理者能够一眼就识别出最为可疑的物体。

输出信息生成部9，将生成的输出信息71发送给输出装置14，输出装置14，将如图7所示的输出信息71显示在其显示部(未图示)上。

再者，本发明实施例中的物体追踪装置20的物体检测部5、切取部6、历史信息生成部7、物体选择部10、条件设定部11、输出信息生成部9或控制部12的各个模块，只要能够实现前文所述的功能，也可由软件来实现给定的功能。或者，也可通过专用电路等的硬件来实现给定的功能。

下面，对本发明实施例中的物体追踪系统30的动作进行说明。图8为，表示本发明实施例中的物体追踪系统30的动作步骤的流程图。这里，假设事先管理者从输入装置13向条件设定部11输入了要追踪的物体的条件。再有，与输入的条件相对应的历史信息41的条件，被与表示优先排位的信息一起，事先从条件设定部11送入物体选择部10中。

如图8所示，首先，W摄象机装置2，开始要监视的广角图像21的拍摄。然后，W图像输入部15，将其图像送入物体检测部5(S1)。物体检测部5，从广角图像21中，检测出可能成为要追踪的物体的多个物体，并将表示该物体的坐标信息以及广角图像21送入切取部6。另外，物体检测部5，将广角图像21送入历史信息生成部7(S2)。

切取部6，从送来的广角图像21中，对各个物体切取分别包含用物体检测部5检测出的多个物体的部分图像，并将切取得到的图像送入历史信息生成部7(S3)。历史信息生成部7，根据从物体检测部5送来的广角图像21、和从切取部6送来的多个物体各自的部分图像，生成多个物体各自的历史信息41(S4)。历史存储部8，存储历史信息41。

物体选择部10，从历史存储部8中，选择具有与从条件设定部11送来的要追踪的物体的历史信息41的条件、相吻合的历史信息41的物体(S5)。此要追踪的物体在广角图像21中的位置信息，被从物体选择部10发送到控制部12中。控制部12，通过对N摄象机装置3中装备的驱动部4进行驱动，将N摄象机装置3朝向要追踪的物体(S6)

N摄象机装置3，被控制部12控制对要追踪的物体进行拍摄并输出给N图像输入部16。N图像输入部16，将此要追踪的物体的图像送入输出信息生成部9(S7)。输出信息生成部9，根据由W摄象机装置2拍摄的广角图像21、由历史信息生成部7生成的历史信息41、以及由N摄象机装置3拍摄的要追踪的物体的图像，生成输出信息71，并输出给输出装置14(S8)。

输出装置14，将收取的输出信息71，显示在其显示部上(S9)。结束步骤S9的处理后，物体追踪系统30重新返回步骤S1，进行广角图像的拍摄，直到由管理者输入旨在要结束处理的输入为止，重复步骤S1至步骤S9的动作。

这样，本发明实施例中的物体追踪系统30以及物体追踪装置20，能够在从用广角的W摄象机装置2拍摄得到的广角图像21中抽取的多个物体之中，总将与优先排位高的条件相吻合的物体特定为要追踪的物体。而且，能用N摄象机装置3对特定的物体的扩大图像进行拍摄。

因此，当在由广角摄象机拍摄的要监视的区域的图像中检测出侵入物体、望远摄象机追踪着该侵入物体开始拍摄后，要监视的区域内侵入其他的物体的情况下，能够对最为可疑的物体进行追踪。另外，在广角图像21内拍摄到多个物体的情况下，也能对最为可疑的物体进行追踪。

本发明实施例中的物体追踪系统30以及物体追踪装置20，在完成对建筑物附近或禁止入内的区域等的监视时，将成为监视对象的区域的附近设定成优先度最高的注视区域，设定“区域通过”作为选择条件。从而，能够对更靠近监视对象的人进行追踪。

再有，在优先度相同的注视区域内，靠近注视区域的特定方向为可疑方向时，通过将此方向的优先度设定得比其他方向高，能够对从可疑的方向接近监视对象的人进行追踪。

另外，本发明的实施例中的物体追踪系统30以及物体追踪装置20，在完成对店铺等的监视时，将整层作为广角图像21拍摄，并将出入口附近设定为注视区域、将“区域通过”设定为选择条件，同时设定进入此注视区域的入店方向、将“移动方向”设定为选择条件。这样，能够平常对整层进行监视，同时自动显示入店的所有人的放大图像，再用存储介质进行存储。

再者，在本发明的实施例中，虽然以人物为例对要追踪的物体进行了说明，但是本发明的用途并非限定于对人物的追踪。本发明，适用于对各种运动的物体进行追踪，例如动物或汽车等。

如上所述，本发明中的物体追踪装置、物体追踪系统以及物体追踪方法，能够在用广角摄象机拍摄的要监视的区域的图像中检测出侵入物体，并且望远摄象机追踪该侵入物体开始拍摄后，要监视的区域内侵入其他的物体这种情况下，对这些其他的物体进行追踪。

因此，可以用作：具备广角摄象机以及望远摄象机这两个视角不同的摄象机、用由广角摄象机拍摄的图像选择要追踪的物体、并用望远摄象机追踪选定的要追踪的物体的图像进行拍摄的、物体追踪装置、物体追踪系统以及物体追踪方法等。

Claims (15)

1.一种物体追踪装置，其特征在于，具备：

第1图像输入部，输入来自以给定的视角拍摄广角图像的第1图像拍摄装置的图像；

第2图像输入部，输入来自以比所述第1图像拍摄装置窄的视角拍摄图像的第2图像拍摄装置的图像；

物体检测部，从用所述第1图像输入部输入的所述广角图像中，检测出多个物体；

历史信息生成部，生成有关所述多个物体各自的、包含所述广角图像中的位置信息的历史信息；

物体选择部，从所述多个物体中，将具有与要追踪的物体的历史信息的选择条件相对应的历史信息的物体，选择为所述要追踪的物体；以及，

控制部，实施控制以驱动所述第2图像拍摄装置、对由所述物体选择部选定的物体进行拍摄。

2.根据权利要求1所述的物体追踪装置，其特征在于：

还具备图像切取部，从所述广角图像中，切取用所述物体检测部检测出的所述多个物体各自的部分图像，

所述历史信息生成部，用所述部分图像生成所述历史信息。

3.根据权利要求2所述的物体追踪装置，其特征在于：

所述历史信息生成部，将所述部分图像的中心坐标作为所述位置信息来生成。

4.根据权利要求1所述的物体追踪装置，其特征在于：

还具备条件设定部，设定所述选择条件。

5.根据权利要求4所述的物体追踪装置，其特征在于：

所述条件设定部，设定多个优先度不同的所述选择条件，

所述物体选择部，根据所述优先度选择所述要追踪的物体。

6.根据权利要求5所述的物体追踪装置，其特征在于：

所述条件设定部，将通过所述广角图像中的给定区域设定为所述选择条件。

7.根据权利要求5所述的物体追踪装置，其特征在于：

所述条件设定部，将在所述广角图像内中的滞留时间设定为所述选择条件。

8.根据权利要求5所述的物体追踪装置，其特征在于：

所述条件设定部，将在所述广角图像中的移动方向设定为所述选择条件。

9.根据权利要求5所述的物体追踪装置，其特征在于：

所述条件设定部，将在所述广角图像中的移动路径设定为所述选择条件。

10.根据权利要求5所述的物体追踪装置，其特征在于：

所述历史信息生成部，将所述多个物体的颜色信息生成为所述历史信息，

所述条件设定部，将所述广角图像中的颜色信息设定为所述选择条件。

11.根据权利要求5所述的物体追踪装置，其特征在于：

所述条件设定部，将所述广角图像中的、给定区域的通过、滞留时间、移动方向、移动路径以及颜色信息之中的多个条件，设定为所述选择条件。

12.根据权利要求1所述的物体追踪装置，其特征在于：

还具备输出信息生成部，生成由所述第1图像输入部输入的所述广角图像、由所述第2图像输入部输入的所述要追踪的物体的放大图像、以及用于输出所述多个物体的历史信息的信息。

13.根据权利要求12所述的物体追踪装置，其特征在于：

所述输出信息生成部，生成用于在所述广角图像上重叠输出所述多个物体的历史信息的信息。

14.一种物体追踪系统，其特征在于：

包含：第1图像拍摄装置，以给定视角拍摄广角图像；

第2图像拍摄装置，以比所述第1图像拍摄装置窄的视角拍摄图像；

驱动部，驱动所述第2图像拍摄装置；以及，

物体追踪装置，根据由所述第1图像拍摄装置以及所述第2图像拍摄装置拍摄的图像，追踪物体，

其中，所述物体追踪装置包含：

物体检测部，从用所述第1图像拍摄装置拍摄的所述广角图像中，检测出多个物体；

历史信息生成部，生成有关所述多个物体各自的、包含所述广角图像中的位置信息的历史信息；

物体选择部，从所述多个物体中，将具有与要追踪的物体的历史信息的选择条件相对应的历史信息的物体，选择为所述要追踪的物体；以及，

控制部，实施控制以驱动所述驱动部，使所述第2图像拍摄装置对由所述物体选择部选定的物体进行拍摄。

15.一种物体追踪方法，使用物体追踪装置，该物体追踪装置具备：第1图像输入部，输入来自以给定的视角拍摄广角图像的第1图像拍摄装置的图像；和第2图像输入部，输入来自以比所述第1图像拍摄装置窄的视角拍摄图像的第2图像拍摄装置的图像，其特征在于，包括：

物体检测步骤，从所述广角图像中，检测出多个物体；

历史信息生成步骤，生成所述多个物体各自的、包含所述广角图像中的位置信息的历史信息；

物体选择步骤，从所述多个物体中，将适合于要追踪的物体的历史信息的条件的物体，选择为所述要追踪的物体；以及，

控制步骤，实施控制以驱动所述第2图像拍摄装置、对所述要追踪的物体进行拍摄。

Images