CN1460186A - 帮助自动图像跟踪系统重新获得目标的方法 - Google Patents

帮助自动图像跟踪系统重新获得目标的方法 Download PDF

Info

Publication number
CN1460186A
CN1460186A CN02800837A CN02800837A CN1460186A CN 1460186 A CN1460186 A CN 1460186A CN 02800837 A CN02800837 A CN 02800837A CN 02800837 A CN02800837 A CN 02800837A CN 1460186 A CN1460186 A CN 1460186A
Authority
CN
China
Prior art keywords
target
required target
tracking system
video camera
pan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN02800837A
Other languages
English (en)
Inventor
E·科亨-索拉尔
M·特拉科维克
D·M·莱安斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1460186A publication Critical patent/CN1460186A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G01S3/7865—T.V. type tracking systems using correlation of the live video image with a stored image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

提供一种用于在自动图像跟踪系统中重新获得目标的方法。本方法包括以下步骤：选择要跟踪的所需目标；将自动图像跟踪系统切换到自动模式，从而启动跟踪序列以自动跟踪所选的所需目标；如果自动图像跟踪系统在跟踪所需目标时遇到困难时期，就将自动图像跟踪系统从自动模式切换到人工模式；在人工模式下重新获得所需目标；以及将自动图像跟踪系统切换到自动模式，以便自动跟踪重新获得的所需目标而不启动新的跟踪序列。还提供一种用于执行本发明的方法的设备和自动图像跟踪系统。

Description

帮助自动图像跟踪系统重新获得目标的方法
本发明一般涉及图像跟踪系统，更具体地说，涉及一种用于在自动图像跟踪系统中重新获得目标的方法。
为了本公开的目的，把自动跟踪定义为可动的摇摄、俯仰和变焦(PTZ)摄像机的PTZ电机的自动控制，以便使摄像机视界以指定的移动目标为中心。所定义的自动跟踪可用于各种不同的应用领域、如监视和安全监控。在此领域中，目标通常为人。
自动跟踪系统通常具有几个部分，即目标选择、模型产生和摄像机控制。需要选择目标以进行跟踪。这可以由操作人员或由自动运动检测模块或其它闯入者检测系统来完成。必须具有目标外观的内部“模型”以允许跟踪系统在后续的图像中发现目标。必须具有摄像机运动控制模型以确定如何使摄像机运动，从而使目标处于视场的中心。
本公开涉及目标选择的问题，更具体地说，涉及有关在自动跟踪器丢失所选目标的模糊情况下重新获得目标的问题。在图像场景中识别潜在的跟踪候选人(即所需的目标)通常不是自动跟踪系统的功能的部分。例如，在监视领域中，目标选择需要大量关于任何监视应用的目标的背景知识。在一个监视应用、如零售店中看起来“可疑”的在另一应用、如停车场中并不是可疑的。
在一些应用中，例如在夜间监视仓库，任何运动源都是可疑的。在该情况下，可以采用闯入检测传感器或运动传感器来指定跟踪目标。还可以采用更复杂的自动监视系统来为其它一些应用指定目标，只要能清楚地列出并实现选择目标的规则。但是，通常，在大多数市场中可买到的系统、尤其是监视领域中的系统中，期望操作人员为跟踪系统指出目标。已经开发了一些商业系统，它们使目标选择完全自动化，但是，这些系统不够健壮，无法处理在所有应用、尤其是监视中可能遇到的所有实际和常见情况。此外，使跟踪系统可以具有对于选择目标的完全控制并不总是合适，因为另一移动目标可能成为更关注的跟踪物。具有自动目标选择的系统经常丢失目标，这主要是由不可控环境(例如照明情况、大量的人等)造成的。通常，采用自动目标选择的系统对于情况较容易预测且不太变化的应用、如电视会议、表演和学习而言能较好地工作，而对于情况较难预测的应用、如监视而言无法很好地工作。
在采用人工目标选择的系统中，操作人员利用操纵杆来控制PTZ摄像机的摇摄和俯仰电机并且可能甚至控制PTZ摄像机的变焦电机，从而选择目标。由于在三维环境中跟踪可能非常困难，尤其在目标没有可预测的路径和/或快速移动时更是如此，因此操作操纵杆的操作人员需要进行培训，以便正确使用操纵杆。
当操作人员指定视频图像中的一个人作为跟踪系统的目标时，在操作人员的目标概念和跟踪系统的目标概念之间在意义上存在微小差异。操作人员指定一个人作为目标，而跟踪系统只是简单地接受图像的一个区域作为目标。因此，操作人员不会太在意他所指的是人的哪一部分，因为毕竟对任何(人)观察者来说，他或她所选的人是很清楚的。此外，跟踪系统将完全根据操作人员所选的图像区域来形成目标模型。由于它不具有所需目标的独立知识，因此它无法产生其被告知的知识以外的知识。
因此，本领域中需要一种方法和设备，它允许自动图像跟踪系统的操作人员在图像跟踪系统跟踪目标的过程中遇到困难时期时控制系统并重新获取目标。
因此，本发明的一个目的是提供一种用于在图像跟踪系统中重新获得目标的方法和设备，它可以解决现有技术中图像跟踪系统的问题。
因此，提供一种用于在自动图像跟踪系统中重新获得目标的方法。此方法包括以下步骤：(a)选择要跟踪的所需目标；(b)将自动图像跟踪系统切换到自动模式，从而启动跟踪序列来自动跟踪所选的所需目标；(c)如果自动图像跟踪系统在跟踪所需目标时遇到困难时期，就将自动图像跟踪系统从自动模式切换到人工模式；(d)在人工模式中重新获得所需目标；以及(e)将自动图像跟踪系统切换到自动模式，以便自动跟踪重新获得的所需目标而不用启动新的跟踪序列。
最好是，步骤(a)包括将所需目标定位在包括所需目标的场景的显示器的中心，步骤(b)包括释放对用于选择所需目标的输入装置的控制，步骤(c)包括控制用于选择所需目标的输入装置，步骤(d)包括将所需目标定位在包括所需目标的场景的显示器的中心，以及步骤(e)包括释放对用于重新获得所需目标的输入装置的控制。
本发明还提供一种用于在自动图像跟踪系统中重新获得目标的设备，其中所述设备包括：用于选择要跟踪的所需目标的选择装置；用于将自动图像跟踪系统在自动模式和人工模式间来回切换的模式切换装置，自动模式可在目标选定后启动跟踪序列以自动跟踪所选择的所需目标；重新获得装置，用于在自动图像跟踪系统在跟踪所需目标中遇到困难时期的情况下在人工模式中重新获得所需目标；其中在重新获得所需目标之后，自动图像跟踪系统被切换回自动模式而不启动新的跟踪序列。
最好是，所述选择装置包括输入装置，用于将所需目标定位在包括所需目标的场景的显示器的中心，所述模式选择装置包括输入装置，其中通过控制用于选择所需目标的输入装置来将自动图像跟踪系统切换到自动模式，并且通过释放输入装置的控制来将自动图像跟踪系统切换到人工模式，以及所述重新获得装置包括输入装置，用于将所需目标定位在包括所需目标的场景的显示器的中心。所述设备最好还包括：用于捕捉包括所需目标的场景的视频图像数据的摄像机；用于分别控制摄像机的摇摄和俯仰的摇摄和俯仰摄像机电机；以及用于显示视频图像数据的视频显示器；其中，输入装置为可工作地与摇摄和俯仰电机相连的操纵杆，使得操纵杆的运动能通过摇摄和俯仰电机来控制摄像机的运动。
本发明还提供一种用于跟踪和重新获得目标的自动图像跟踪系统。所述自动图像跟踪系统包括：用于捕捉包括所需目标的场景的视频图像数据的摄像机；用于分别控制摄像机的摇摄和俯仰的摇摄和俯仰摄像机电机；用于显示视频图像数据的视频显示器；用于选择要跟踪的所需目标的选择装置；用于将自动图像跟踪系统在自动模式和人工模式之间来回切换的模式切换装置，自动模式在目标选定后启动跟踪序列以自动跟踪所选择的所需目标；重新获得装置，用于在自动图像跟踪系统在跟踪所需目标中遇到困难时期的情况下、在人工模式中重新获得所需目标；其中在重新获得所需目标后，自动图像跟踪系统被切换回自动模式而不启动新的跟踪序列。
最好是，所述选择装置包括输入装置，用于将所需目标定位在显示器的中心；所述模式选择装置包括输入装置，其中通过控制用于选择所需目标的输入装置来将自动图像跟踪系统切换到自动模式，并且通过释放对输入装置的控制来将自动图像跟踪系统切换到人工模式；以及重新获得装置包括输入装置，用于将所需目标定位在包括所需目标的场景的显示器的中心。最好是，所述输入装置为可工作地与摇摄和俯仰电机相连的操纵杆，使得操纵杆的运动通过摇摄和俯仰电机来控制摄像机的运动。
参照以下描述、所附权利要求书和附图，可以更好地理解本发明的设备和方法的这些和其它特征、方面以及优点，图中：
图1说明本发明的优选图像跟踪系统。
图2说明表示图1的图像跟踪系统中用于重新获得目标的优选方法的步骤的流程图。
虽然本发明适用于大量不同类型的图像跟踪系统，但是已经发现它在监视和安全系统的环境中尤其有用。因此，在不将本发明的应用性限制于监视和安全系统的前提下，本发明将在这种环境下进行描述。本领域的技术人员可以理解，本发明的方法和设备还可用于如电视会议和消费者装置的多模式界面之类的领域。
现在参考图1，图中说明本发明的图像跟踪系统的一个优选实施例，总地以参考标号100来表示。设备100包括摄像机102，用于提供包括要跟踪的所需目标106的场景104的视频图像数据。摄像机102最好为PTZ摄像机，具有用于控制摄像机102的摇摄、俯仰和变焦的PTZ电机108。这种摄像机及用于其控制的电机在现有技术中是众所周知的。
设备100还包括显示器、如计算机监视器110，用于显示来自摄像机102的场景104的视频图像数据，监视器的显示屏用标号110a表示。采用输入装置在视频图像数据中选择所需目标106a。标号106在这里用于表示实际目标，而标号106a表示在监视器110上显示的目标的图像。输入装置最好是与计算机处理器114相连的操纵杆112，处理器114还控制摄像机102的PTZ电机108。但是，在不脱离本发明的范围或精神的前提下，可以采用任何能在视频图像显示中选择目标的输入装置。这种其它的输入装置可以是计算机鼠标、触摸板、触摸屏、触笔或者甚至是与计算机114相连的键盘113。
一旦操作人员选择了目标106a，跟踪系统116就产生目标106a的模型，该模型能够用于在视频图像数据的连续帧中定位目标106a。这种跟踪系统在本领域中是众所周知的。虽然图1中分开地表示，但是跟踪系统116最好在计算机处理器114中由包含于外围设备(未示出)中的软件来实现。
通常，存在两种互联方法，其中使用模型从背景场景中区分出目标106a，或者从其它闭塞(occluding)目标中区分出目标106a。由于模型从视频图像中收集，显然它只能包含关于外观的信息。这就产生了限制自动跟踪行为的最重要的约束，称为外观约束。通常，如果一个目标的外观使其与其它潜在目标区分开，那么就可以成功地跟踪该目标。换言之，如果在跟踪器工作的那种视觉环境中目标就其外观而言不具有独特之处，则无法为该目标建立独特的“模型”。
当然，受过训练的观察者能够很好地从视觉图像中选取小的线索，这超出了计算机视觉领域中的现有技术水平。例如，监视操作人员能从目标脸部的局部图像中认出目标，或者通过观察人摆头的独特方式来认出目标。通常，自动跟踪器仅限于观察视频图像的特征，例如一个人自从上一帧图像以来是否移动或者个人衣服的颜色组成。自动跟踪器通常还受到摄像机图像的分辨率和视场的照明情况的限制。操作人员可处理较宽范围的不同照明情况和一个场景内的照明变化。为此，即使可识别的目标有时也无法跟踪。
一旦产生了目标106a的模型，跟踪系统116就指示控制器118控制PTZ电机108而使摄像机102运动，从而将所选目标106保持在摄像机102的视场中心。这种控制器118在本领域中是公知的。同跟踪系统116一样，控制器118最好在计算机114上由包含于外围设备中的软件来实现。在现有技术中广泛使用的控制摄像机102的两种常用方法包括使摄像机102偶尔移动以将目标106保持在中心的离散方法和移动摄像机102以连续地将目标106保持在中心的连续方法。
很明显，连续情况只是离散情况中在摄像机移动之间的时段趋近于零的情况。但是，通常，在这两种情况下，所需要的跟踪系统116和摄像机控制器118是非常不同的。在离散方法中，跟踪系统116需要具有关于摄像机102的足够信息，以便准确地将其长距离地移动，重新使目标106处于中心。通常，这意味着已知摄像机102在任何时间的摇摄、俯仰和变焦设置，并能够命令摄像机102进入特定的设置。这种方法的优点包括摄像机102只是不经常地移动，当它移动时它可移动得很快，因此可以跟上非常快的目标106。缺点包括目标106很少位于中心，需要知道摄像机PTZ位置，而且快速移动可能会使操作人员迷失方向。
在连续方法中，跟踪系统需要使摄像机102移动较短的距离但以很高的速度移动。虽然位置控制可用来完成这一工作，但所得的运动不平稳。相反，摄像机102的摇摄、俯仰和变焦设置的速度控制能很好地适用于执行平稳运动。由于速度的重新计算非常频繁，因此位置反馈是不必要的。但是，跟踪的图像处理部件必须能够处理在摄像机运动的过程中拍摄的图像(因为摄像机几乎总是在运动)。此方法的优点包括目标106总是很好地定位在中心。缺点包括如果目标106在移动，则摄像机102总是移动，而且可能会丢失快速移动的目标106。
无论采用哪种方法来控制摄像机102，其结果都馈送给控制器118，由其确定摄像机所必须移动以将目标106保持在摄像机102的视场中心的量。控制器118将适当的信号输出给摄像机102的PTZ电机108，电机108执行其指令，以便将目标106保持在摄像机102的视场中心。这种系统在本领域中是公知的。
下面参考图1的设备和图2的流程图来介绍本发明的方法和设备的另一方面。图2说明用于在自动图像跟踪系统中重新获得目标106的方法，此方法总地以标号200来表示。
在步骤202，选择要跟踪的所需目标106。这可以通过本领域已知的任何装置来完成。最好是，通过操作操纵杆112来至少控制摄像机102的摇摄和俯仰电机108，可能还控制变焦电机108，使目标106a位于监视器显示屏110a的中心，从而选择目标106。在步骤204，在选择了所需目标106a后，将自动图像跟踪系统切换到自动模式，以便启动跟踪序列，从而自动地跟踪所选择的所需目标106a。切换到自动模式例如可通过选择监视器显示屏110a的用户界面(未示出)上的按钮来人工实现。但是，到自动模式的切换最好是自动进行，最好通过释放操纵杆112或用于选择所需目标106a的其它输入装置的控制来进行。
在步骤206，确定图像跟踪系统是否遇到了困难时期，丢失了所选目标106a或处于正丢失所选目标106a的危险中。如果不是，本方法沿路径206a前进，自动图像跟踪系统继续自动跟踪所选择的目标，直到此方法结束，所选的目标106a离开场景104或者不再希望跟踪所选目标106a，这些如步骤214和216示意地表示。如果操作人员察觉到已经遇到困难或将要遇到困难，此方法沿路径206b进行，在步骤208将自动模式切换为人工模式。如同切换到自动模式一样，从自动模式切换到人工模式可以由操作人员人工地完成，或者通过控制操纵杆112或用于选择所需目标106a的其它输入装置来自动地完成。
一旦进入人工模式，在步骤210，操作人员重新获得所需目标。最好重新获得目标的方式比初始选择它的方式更简单，即，通过操作操纵杆112或其它输入装置，使所需目标106a位于场景104的监视器的显示屏110a的中心。但是，本领域的技术人员可以理解，在不脱离本发明的范围或精神的前提下，可以采用现有技术中已知的任何装置来选择和/或重新获得所需目标。
一旦重新获得目标，在步骤212，自动图像跟踪系统切换回自动模式，这里自动地跟踪所需目标而无须启动新的跟踪序列。对操作人员来说快速重新获得所需目标106a是很重要的，这样，在重新获得目标106a后不启动新的跟踪序列，自动跟踪重新开始。最好，通过如上所述的来自用户的人工指令，或最好通过释放操纵杆112或其它用于重新获得所需目标106a的输入装置的控制来自动地使自动跟踪重新开始。在切换回自动模式后，自动图像跟踪系统继续跟踪所需目标106a，直到目标离开场景、不再希望跟踪这个重新获得的目标或自动跟踪系统遇到另一困难区域为止，所有这些均表示为步骤214和216。
如上所述，当选择了目标106a时，就构建计算机模型来表示此目标106a的外观。在目标106a的跟踪过程中，无论何时跟踪器发现与目标模型相匹配的一部分图像，它最好计算表示目标106a与模型的匹配程度的数字。此数字例如可在0％匹配到100％匹配之间变化。100％匹配表示目标与模型完全匹配。此值称为信心值。还可以提供控制来表示此信心的阈值。因此，如果模型与目标的匹配低于此阈值，则最好通过一定形式的信号来警告操作人员：信心低于阈值，跟踪将失效。在这种情况下，操作人员通过重新获得目标而接管此系统一段时间，这段时间为目标通过困难源所花的时间，在此之后控制又交回自动跟踪系统。
总之，采用一种装置来将自动图像跟踪系统在两种模式、即自动和人工模式之间切换，例如通过控制操纵杆112或其它输入装置来实现。操作人员通过采用操纵杆112或其它输入装置来将目标定位在图像的中心，从而将自动跟踪初始化。在释放操纵杆112后，自动跟踪器进入自动模式，锁定所选的目标，自动地跟踪所选的目标。如果发生了自动图像跟踪系统难以解决的特定情况，例如多个人与所选目标同时经过相同位置，那么操作人员接管此系统一段时间，这段时间为目标通过困难源所花的时间。
本领域的技术人员可以理解，本发明的设备和方法允许图像跟踪系统的操作人员在必要时通过简单地操作操纵杆112或其它输入装置来控制摄像机102。因此，当发生了自动图像跟踪系统难以解决的对图像跟踪系统来说较模糊的情况时，操作人员可以控制摄像机102一段时间以便重新获得目标。这极大地简化了操作人员所需的培训和在跟踪目标时操作人员的工作。
虽然上面已经表示和描述了所认为的本发明的最佳实施例，但是当然可以理解，在不脱离本发明的精神的前提下，可以容易地进行形式上或细节上的各种修改和变化。因此，本发明不限于这里所描述和介绍的具体形式，而应理解成涵盖属于所附权利要求的范围内的所有修改。

Claims (15)

1.一种用于在自动图像跟踪系统中重新获得目标的方法，所述方法包括以下步骤：
(a)选择要跟踪的所需目标(202)；
(b)将所述自动图像跟踪系统切换到自动模式(204)，从而启动跟踪序列自动地跟踪所选择的所需目标；
(c)如果所述自动图像跟踪系统在跟踪所需目标时遇到困难时期(206)，就将所述自动图像跟踪系统从自动模式切换到人工模式(208)；
(d)在人工模式中重新获得所需目标(210)；以及
(e)将所述自动图像跟踪系统切换到自动模式(212)，以便自动跟踪所述重新获得的所需目标，而不用启动新的跟踪序列。
2.权利要求1的方法，其特征在于，步骤(a)包括使所需目标(106a)处于包括所述所需目标(106a)的场景(104)的显示屏(110a)的中心。
3.权利要求1的方法，其特征在于，步骤(b)包括释放对用于选择所需目标(106a)的输入装置(112)的控制。
4.权利要求1的方法，其特征在于，步骤(c)包括控制用于选择所需目标(106a)的输入装置(112)。
5.权利要求1的方法，其特征在于，步骤(d)包括使所需目标(106a)处于包括所述所需目标(106a)的场景(104)的显示屏(110a)的中心。
6.权利要求1的方法，其特征在于，步骤(e)包括释放对用于重新获得所需目标(106a)的输入装置(112)的控制。
7.权利要求1的方法，其特征在于还包括以下步骤：
计算指示所跟踪的目标与所选择的所需目标的匹配程度的信心等级；以及
如果所述信心等级低于预定的阈值，则警告操作人员。
8.一种用于在自动图像跟踪系统中重新获得目标的设备，所述设备包括：
用于选择要跟踪的所需目标(106a)的选择装置；
用于将所述自动图像跟踪系统在自动模式和人工模式之间来回切换的模式切换装置，所述自动模式在目标选定后启动跟踪序列，从而自动地跟踪所选的所需目标(106a)；
重新获得装置，用于在所述自动图像跟踪系统在跟踪所需目标(106a)中遇到困难时期时、在人工模式下重新获得所需目标；
其中，在重新获得所需目标(106a)后，所述自动图像跟踪系统被切换回自动模式而不启动新的跟踪序列。
9.权利要求8的设备，其特征在于，所述选择装置包括用于使所需目标处于包括所述所需目标(106a)的场景(104)的显示屏(110a)的中心的输入装置(112)。
10.权利要求9的设备，其特征在于还包括：
用于捕捉包括所需目标(106a)的场景(104)的视频图像数据的摄像机(102)；
用于分别控制所述摄像机(102)的摇摄和俯仰的摇摄和俯仰摄像机电机(108)；以及
用于显示所述视频图像数据的视频显示器(110)；
其中所述输入装置是操纵杆(112)，它可工作地与所述摇摄和俯仰电机(108)相连，使得所述操纵杆(112)的运动通过所述摇摄和俯仰电机(108)来控制所述摄像机(102)的运动。
11.权利要求8的设备，其特征在于，所述模式选择装置包括输入装置(112)，其中，通过控制用于选择所需目标(106a)的输入装置(112)来将所述自动图像跟踪系统切换到自动模式，并且通过释放对所述输入装置(112)的控制来将所述自动图像跟踪系统切换到人工模式。
12.权利要求11的设备，其特征在于还包括：
用于捕捉包括所需目标(106a)的场景(104)的视频图像数据的摄像机(102)；
用于分别控制所述摄像机(102)的摇摄和俯仰的摇摄和俯仰摄像机电机(108)；以及
用于显示所述视频图像数据的视频显示器(110)；
其中所述输入装置是操纵杆(112)，它可工作地与所述摇摄和俯仰电机(108)相连，使得所述操纵杆(112)的运动通过所述摇摄和俯仰电机(108)来控制所述摄像机(102)的运动。
13.权利要求8的设备，其特征在于，所述重新获得装置包括用于使所需目标(106a)处于包括所述所需目标(106a)的场景(104)的显示屏(110a)的中心的输入装置(112)。
14.权利要求13的设备，其特征在于还包括：
用于捕捉包括所需目标(106a)的场景(104)的视频图像数据的摄像机(102)；
用于分别控制所述摄像机(102)的摇摄和俯仰的摇摄和俯仰摄像机电机(108)；以及
用于显示所述视频图像数据的视频显示器(110)；
其中所述输入装置是操纵杆(112)，它可工作地与所述摇摄和俯仰电机(108)相连，使得所述操纵杆(112)的运动通过所述摇摄和俯仰电机(108)来控制所述摄像机(102)的运动。
15.一种用于跟踪和重新获得目标的自动图像跟踪系统，所述自动图像跟踪系统包括：
用于捕捉包括所需目标(106a)的场景(104)的视频图像数据的摄像机(102)；
用于分别控制所述摄像机(102)的摇摄和俯仰的摇摄和俯仰摄像机电机(108)；
用于显示所述视频图像数据的视频显示器(110)；
用于选择要跟踪的所需目标(106a)的选择装置；
用于将所述自动图像跟踪系统在自动模式和人工模式之间来回切换的模式切换装置，所述自动模式在目标选定后启动跟踪序列，从而自动地跟踪所选的所需目标(106a)；
重新获得装置，用于在所述自动图像跟踪系统在跟踪所需目标(106a)中遇到困难时期时、在人工模式下重新获得所需目标；
其中在重新获得所述所需目标(106a)后，所述自动图像跟踪系统被切换回自动模式而不启动新的跟踪序列。
CN02800837A 2001-03-28 2002-03-13 帮助自动图像跟踪系统重新获得目标的方法 Pending CN1460186A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/819,971 US7173650B2 (en) 2001-03-28 2001-03-28 Method for assisting an automated video tracking system in reaquiring a target
US09/819,971 2001-03-28

Publications (1)

Publication Number Publication Date
CN1460186A true CN1460186A (zh) 2003-12-03

Family

ID=25229565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN02800837A Pending CN1460186A (zh) 2001-03-28 2002-03-13 帮助自动图像跟踪系统重新获得目标的方法

Country Status (6)

Country Link
US (1) US7173650B2 (zh)
EP (1) EP1373920A1 (zh)
JP (1) JP2004519955A (zh)
KR (1) KR20030007728A (zh)
CN (1) CN1460186A (zh)
WO (1) WO2002079794A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860732A (zh) * 2010-06-04 2010-10-13 天津市亚安科技电子有限公司 一种控制云台摄像机自动跟踪目标的方法
CN102265597A (zh) * 2008-12-26 2011-11-30 松下电器产业株式会社 摄像装置
CN103369237A (zh) * 2012-04-04 2013-10-23 安讯士有限公司 用于切换相机观察模式的方法
CN106598071A (zh) * 2016-12-20 2017-04-26 北京小米移动软件有限公司 跟随式的飞行控制方法及装置、无人机

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE517765C2 (sv) * 2000-11-16 2002-07-16 Ericsson Telefon Ab L M Registrering av rörliga bilder medelst en portabel kommunikationsenhet samt en tillbehörsanordning vilken är samlokaliserad med objektet
US20020171742A1 (en) * 2001-03-30 2002-11-21 Wataru Ito Method and apparatus for controlling a view field of an image picking-up apparatus and computer program therefor
US7636931B2 (en) * 2001-08-17 2009-12-22 Igt Interactive television devices and systems
US7650058B1 (en) 2001-11-08 2010-01-19 Cernium Corporation Object selective video recording
US7385626B2 (en) * 2002-10-21 2008-06-10 Sarnoff Corporation Method and system for performing surveillance
US20040100563A1 (en) 2002-11-27 2004-05-27 Sezai Sablak Video tracking system and method
US20050134685A1 (en) * 2003-12-22 2005-06-23 Objectvideo, Inc. Master-slave automated video-based surveillance system
US7450165B2 (en) * 2003-05-02 2008-11-11 Grandeye, Ltd. Multiple-view processing in wide-angle video camera
US20100002070A1 (en) 2004-04-30 2010-01-07 Grandeye Ltd. Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
GB2403365B (en) * 2003-06-27 2008-01-30 Hewlett Packard Development Co An autonomous camera having exchangeable behaviours
US20050104958A1 (en) * 2003-11-13 2005-05-19 Geoffrey Egnal Active camera video-based surveillance systems and methods
US7382400B2 (en) * 2004-02-19 2008-06-03 Robert Bosch Gmbh Image stabilization system and method for a video camera
US7742077B2 (en) * 2004-02-19 2010-06-22 Robert Bosch Gmbh Image stabilization system and method for a video camera
US20050239037A1 (en) * 2004-04-06 2005-10-27 Surapong Lertsithichai Convertible podium system
US9210312B2 (en) 2004-06-02 2015-12-08 Bosch Security Systems, Inc. Virtual mask for use in autotracking video camera images
US8212872B2 (en) * 2004-06-02 2012-07-03 Robert Bosch Gmbh Transformable privacy mask for video camera images
US20050270372A1 (en) * 2004-06-02 2005-12-08 Henninger Paul E Iii On-screen display and privacy masking apparatus and method
US8497935B2 (en) * 2004-08-26 2013-07-30 Robert Bosch Gmbh Rotatable camera system including infrared communications links
JP2006113265A (ja) * 2004-10-14 2006-04-27 Fujinon Corp オートフォーカスシステム
US8026945B2 (en) 2005-07-22 2011-09-27 Cernium Corporation Directed attention digital video recordation
US9363487B2 (en) * 2005-09-08 2016-06-07 Avigilon Fortress Corporation Scanning camera-based video surveillance system
US20070058717A1 (en) * 2005-09-09 2007-03-15 Objectvideo, Inc. Enhanced processing for scanning video
JP5061444B2 (ja) * 2005-09-20 2012-10-31 ソニー株式会社 撮像装置及び撮像方法
US9189934B2 (en) * 2005-09-22 2015-11-17 Rsi Video Technologies, Inc. Security monitoring with programmable mapping
US20070146484A1 (en) * 2005-11-16 2007-06-28 Joshua Horton Automated video system for context-appropriate object tracking
JP4572815B2 (ja) * 2005-11-18 2010-11-04 富士フイルム株式会社 撮像装置及び撮像方法
WO2008017051A2 (en) 2006-08-02 2008-02-07 Inneroptic Technology Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
WO2009094646A2 (en) 2008-01-24 2009-07-30 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for image guided ablation
US8340379B2 (en) 2008-03-07 2012-12-25 Inneroptic Technology, Inc. Systems and methods for displaying guidance data based on updated deformable imaging data
US20090312629A1 (en) * 2008-06-13 2009-12-17 Inneroptic Technology Inc. Correction of relative tracking errors based on a fiducial
US9179832B2 (en) * 2008-06-27 2015-11-10 Intuitive Surgical Operations, Inc. Medical robotic system with image referenced camera control using partitionable orientational and translational modes
GB2462483A (en) * 2008-08-10 2010-02-17 Viseum Automated surveillance with operator over-ride.
US9215467B2 (en) 2008-11-17 2015-12-15 Checkvideo Llc Analytics-modulated coding of surveillance video
JP5210841B2 (ja) * 2008-12-12 2013-06-12 パナソニック株式会社 撮像装置
US8641621B2 (en) 2009-02-17 2014-02-04 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
US8554307B2 (en) 2010-04-12 2013-10-08 Inneroptic Technology, Inc. Image annotation in image-guided medical procedures
US11464578B2 (en) 2009-02-17 2022-10-11 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
US8690776B2 (en) 2009-02-17 2014-04-08 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image guided surgery
US20100272316A1 (en) * 2009-04-22 2010-10-28 Bahir Tayob Controlling An Associated Device
US8605158B2 (en) * 2009-12-28 2013-12-10 Sony Corporation Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode
JP5591006B2 (ja) * 2010-07-26 2014-09-17 キヤノン株式会社 自動追尾カメラシステムの制御装置及びそれを有する自動追尾カメラシステム
IL213506A (en) 2011-06-13 2016-04-21 Israel Aerospace Ind Ltd Pursuing a goal
US9100574B2 (en) 2011-10-18 2015-08-04 Hewlett-Packard Development Company, L.P. Depth mask assisted video stabilization
WO2013116240A1 (en) 2012-01-30 2013-08-08 Inneroptic Technology, Inc. Multiple medical device guidance
IL219639A (en) 2012-05-08 2016-04-21 Israel Aerospace Ind Ltd Remote object tracking
AU2013204965B2 (en) 2012-11-12 2016-07-28 C2 Systems Limited A system, method, computer program and data signal for the registration, monitoring and control of machines and devices
WO2014111923A1 (en) 2013-01-15 2014-07-24 Israel Aerospace Industries Ltd Remote tracking of objects
IL224273B (en) 2013-01-17 2018-05-31 Cohen Yossi Delay compensation during remote sensor control
MY186672A (en) 2013-01-30 2021-08-05 Mimos Berhad Directing steerable camera with user bias tracking
US10314559B2 (en) 2013-03-14 2019-06-11 Inneroptic Technology, Inc. Medical device guidance
EP3060966B1 (en) 2014-07-30 2021-05-05 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
US9901406B2 (en) 2014-10-02 2018-02-27 Inneroptic Technology, Inc. Affected region display associated with a medical device
US9871830B2 (en) * 2014-10-07 2018-01-16 Cisco Technology, Inc. Internet of things context-enabled device-driven tracking
US10188467B2 (en) 2014-12-12 2019-01-29 Inneroptic Technology, Inc. Surgical guidance intersection display
US10417883B2 (en) 2014-12-18 2019-09-17 Vivint, Inc. Doorbell camera package detection
US10412342B2 (en) * 2014-12-18 2019-09-10 Vivint, Inc. Digital zoom conferencing
US20180035056A1 (en) * 2015-04-24 2018-02-01 Hewlett-Packard Development Company, L.P. Tracking a target with an imaging system
US9949700B2 (en) 2015-07-22 2018-04-24 Inneroptic Technology, Inc. Medical device approaches
CN107209854A (zh) * 2015-09-15 2017-09-26 深圳市大疆创新科技有限公司 用于支持顺畅的目标跟随的系统和方法
US9675319B1 (en) 2016-02-17 2017-06-13 Inneroptic Technology, Inc. Loupe display
WO2017203933A1 (en) * 2016-05-25 2017-11-30 Sony Corporation Computational processing device and computational processing method
JP6988146B2 (ja) * 2016-05-25 2022-01-05 ソニーグループ株式会社 演算処理装置及び演算処理方法
US10278778B2 (en) 2016-10-27 2019-05-07 Inneroptic Technology, Inc. Medical device navigation using a virtual 3D space
WO2018084725A1 (en) * 2016-11-07 2018-05-11 Motorola Solutions, Inc. Guardian system in a network to improve situational awareness at an incident
GB2569741B (en) 2016-11-07 2021-05-12 Motorola Solutions Inc Guardian system in a network to improve situational awareness of a crowd at an incident
US11259879B2 (en) 2017-08-01 2022-03-01 Inneroptic Technology, Inc. Selective transparency to assist medical device navigation
JP2019080226A (ja) * 2017-10-26 2019-05-23 キヤノン株式会社 撮像装置、撮像装置の制御方法、及びプログラム
US11484365B2 (en) 2018-01-23 2022-11-01 Inneroptic Technology, Inc. Medical image guidance
EP3992936B1 (en) 2020-11-02 2023-09-13 Axis AB A method of activating an object-specific action when tracking a moving object
WO2022209135A1 (ja) * 2021-03-30 2022-10-06 富士フイルム株式会社 制御装置、制御方法、及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3737902A (en) * 1970-08-19 1973-06-05 State Street Bank & Trust Co Collision avoidance system providing a vector signal representative of the distance and bearing between a prime vehicle and target object at a predicted closest point of approach therebetween
US5031049A (en) 1984-05-25 1991-07-09 Canon Kabushiki Kaisha Automatic object image follow-up device
US5204749A (en) * 1984-05-25 1993-04-20 Canon Kabushiki Kaisha Automatic follow-up focus detecting device and automatic follow-up device
US5111288A (en) * 1988-03-02 1992-05-05 Diamond Electronics, Inc. Surveillance camera system
FR2637386A1 (fr) * 1988-10-04 1990-04-06 Asahi Optical Co Ltd Dispositif de changement de mode pour appareil photographique
US5631697A (en) * 1991-11-27 1997-05-20 Hitachi, Ltd. Video camera capable of automatic target tracking
JP3256293B2 (ja) * 1992-10-19 2002-02-12 富士写真光機株式会社 テレビカメラの雲台制御装置
WO1994017636A1 (en) 1993-01-29 1994-08-04 Bell Communications Research, Inc. Automatic tracking camera control system
US5867584A (en) * 1996-02-22 1999-02-02 Nec Corporation Video object tracking method for interactive multimedia applications
JP3693130B2 (ja) * 1996-06-28 2005-09-07 ソニー株式会社 制御装置
US5917553A (en) * 1996-10-22 1999-06-29 Fox Sports Productions Inc. Method and apparatus for enhancing the broadcast of a live event
US5982420A (en) * 1997-01-21 1999-11-09 The United States Of America As Represented By The Secretary Of The Navy Autotracking device designating a target
JPH10294890A (ja) * 1997-04-21 1998-11-04 Nippon Hoso Kyokai <Nhk> 自動／手動撮影カメラシステム
US6215519B1 (en) * 1998-03-04 2001-04-10 The Trustees Of Columbia University In The City Of New York Combined wide angle and narrow angle imaging system and method for surveillance and monitoring
US6260759B1 (en) * 1998-08-11 2001-07-17 Northrop Grumman Corporation Method for tracking a target having substantially constrained movement
JP2000083188A (ja) 1998-09-03 2000-03-21 Matsushita Electric Ind Co Ltd 監視カメラ装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102265597A (zh) * 2008-12-26 2011-11-30 松下电器产业株式会社 摄像装置
CN102265597B (zh) * 2008-12-26 2013-10-09 松下电器产业株式会社 摄像装置
CN101860732A (zh) * 2010-06-04 2010-10-13 天津市亚安科技电子有限公司 一种控制云台摄像机自动跟踪目标的方法
CN101860732B (zh) * 2010-06-04 2014-08-27 天津市亚安科技股份有限公司 一种控制云台摄像机自动跟踪目标的方法
CN103369237A (zh) * 2012-04-04 2013-10-23 安讯士有限公司 用于切换相机观察模式的方法
CN103369237B (zh) * 2012-04-04 2018-08-21 安讯士有限公司 用于切换相机观察模式的方法
CN106598071A (zh) * 2016-12-20 2017-04-26 北京小米移动软件有限公司 跟随式的飞行控制方法及装置、无人机
CN106598071B (zh) * 2016-12-20 2019-10-11 北京小米移动软件有限公司 跟随式的飞行控制方法及装置、无人机

Also Published As

Publication number Publication date
JP2004519955A (ja) 2004-07-02
US20020140814A1 (en) 2002-10-03
KR20030007728A (ko) 2003-01-23
EP1373920A1 (en) 2004-01-02
US7173650B2 (en) 2007-02-06
WO2002079794A1 (en) 2002-10-10

Similar Documents

Publication Publication Date Title
CN1460186A (zh) 帮助自动图像跟踪系统重新获得目标的方法
US10994419B2 (en) Controlling a robot in the presence of a moving object
US6771306B2 (en) Method for selecting a target in an automated video tracking system
Masoud et al. A novel method for tracking and counting pedestrians in real-time using a single camera
EP1981278A1 (en) Automatic tracking device and automatic tracking method
CN1720719A (zh) 事件驱动的视频跟踪系统
WO2001069931A1 (en) Method and apparatus for video surveillance with defined zones
CN102970517B (zh) 基于异常情景识别的云台镜头自主控制方法
WO2007030515A2 (en) Scanning camera based video surveillance system
CN112530170A (zh) 一种车辆行驶状态检测方法、装置、电子设备及存储介质
GB2443739A (en) Detecting image regions of salient motion
CN112365522A (zh) 园区内人员跨境追踪的方法
CN113452912B (zh) 巡视机器人的云台摄像机的控制方法、装置、设备及介质
Kimber et al. Trailblazing: Video playback control by direct object manipulation
Okada et al. Object tracking based on optical flow and depth
JP7208610B2 (ja) 車両認識システムおよび車両認識方法
Sullivan et al. Pedestrian tracking from a stationary camera using active deformable models
KR20000054784A (ko) 시간적 색상에 기반한 외형 모델을 이용한 복수 객체의움직임 추적시스템 및 그 제어방법
JP2003319385A (ja) 物体検出方法及び物体検出装置
Fahn et al. Real-time face tracking techniques used for the interaction between humans and robots
KR20020077976A (ko) 멀티 감시카메라제어용 영상모션 추적시스템
Haga et al. 1-4 Automatic Intruder Detection and Tracking System with Pan-Tilt-Zoom Camera
KR20230151743A (ko) 메타버스 환경에서의 cctv 통합 관제 시스템 및 그 동작 방법
CN116718192A (zh) 一种机器人的路径规划系统
JPS59205298A (ja) ロボツトの安全領域監視方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication