CN101401426A - 跟踪装置、跟踪方法、跟踪装置的控制程序以及计算机可读取的记录媒体 - Google Patents

跟踪装置、跟踪方法、跟踪装置的控制程序以及计算机可读取的记录媒体 Download PDF

Info

Publication number
CN101401426A
CN101401426A CNA2007800089865A CN200780008986A CN101401426A CN 101401426 A CN101401426 A CN 101401426A CN A2007800089865 A CNA2007800089865 A CN A2007800089865A CN 200780008986 A CN200780008986 A CN 200780008986A CN 101401426 A CN101401426 A CN 101401426A
Authority
CN
China
Prior art keywords
characteristic information
priority
tracing object
photographic images
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800089865A
Other languages
English (en)
Other versions
CN101401426B (zh
Inventor
桑野悟
垣内崇
井上智裕
千贺正敬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN101401426A publication Critical patent/CN101401426A/zh
Application granted granted Critical
Publication of CN101401426B publication Critical patent/CN101401426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Abstract

跟踪装置(1)包括：面部检测部分(21)，从拍摄图像中检测面部信息；面部核对部分(22)，将所检测的面部信息与面部信息数据库(41)进行核对，从而判定映入该拍摄图像中的面部信息是否为跟踪对象，在所述面部信息数据库(41)中相关联地注册有对于多个人物的面部信息与用于表示该面部信息的跟踪顺序的优先级；优先级取得部分(23)，在映入所述拍摄图像中的面部信息为跟踪对象的情况下，从面部信息数据库(41)取得映入所述拍摄图像中的面部信息的优先级；以及拍摄控制部分(25)，基于所取得的优先级，控制拍摄部分(3)，使得所述拍摄图像中优先级更高的面部信息被继续映入拍摄图像中。

Description

跟踪装置、跟踪方法、跟踪装置的控制程序以及计算机可读取的记录媒体
技术领域
本发明涉及对拍摄图像内的特定人物的位置进行识别、跟踪的装置。
背景技术
以往的由拍摄图像跟踪人物的装置中，从想要踪特定的人物的观点来看，需要在跟踪对象的人物上安装脉冲发送装置或GPS(global positioningsystem)装置等特定的装置(例如，参照专利文献1、2)。而且，作为可以在跟踪对象的人物上不安装特定装置的方法，有如下的技术。具体地说，有如下的技术(例如，参照专利文献3)：控制监视摄像机的摇摄(pan)、倾斜(tilt)以及缩放(zoom)，使得确认人物的面部位置，并使面部位于画面的中央，从而跟踪面部的移动，进而从图像中提取面部的特征，与注册在数据库中的面部比较是否一致，从而识别特定人。此外，有如下的技术(例如，参照专利文献4)：从图像中取得面部信息，并由多个摄像机协作跟踪没有注册在数据库中或者注册在数据库中的人物。此外，有如下的技术(例如，参照专利文献5)：在画面上跟随通过指示(pointing)而被指定的被摄体(跟踪对象)的移动来进行自动跟踪，且控制摄像机，使得被摄体到达监视画面的中央。
另外，在本说明书中的“跟踪”(tracking)是指，在拍摄图像内继续保持(继续捕捉到画面中)被摄体(跟踪对象)的图像的情况。
专利文献1：日本公开特许公报“特开2004-40514号公报(2004年2月5日公开)”
专利文献2：日本公开特许公报“特开2005-20205号公报(2005年1月20日公开)”
专利文献3：日本公开特许公报“特开2000-163600号公报(2000年6月16日公开)”
专利文献4：日本公开特许公报“特开2003-324720号公报(2003年11月14日公开)”
专利文献5：日本公开特许公报“特开平6-339056号公报(1994年12月6日公开)”
发明内容
但是，在以往的技术中，在存在多个要跟踪的人物的情况下，在跟踪某一人物时，即使更想要跟踪的人物进入(frame in)图像中，也没有自动地切换跟踪对象的方法。因此，在某一人物的跟踪中，画面中进入更想要跟踪的人物的情况下，监视者等的用户需要在显示拍摄图像的画面上对其要跟踪的人物进行指示等指定，从而进行跟踪对象的切换的操作。这样在跟踪对象有跟踪的优先顺序的情况下，用户必需专门进行跟踪对象的切换。此外，因不知道跟踪的优先顺序更高的对象什么时候会进入拍摄画面，所以用户需要一直监视显示拍摄图像的画面。
本发明是鉴于上述的问题点而完成的，其目的在于，实现一种跟踪装置、跟踪方法、跟踪装置的控制程序、以及计算机可读取的记录媒体，即使存在对跟踪具有优先顺序的人物的状况下，也能够自主地进行跟踪，而不会麻烦用户。
为了解决上述课题，本发明的跟踪装置是通过控制拍摄部分以跟踪对象被继续映入拍摄图像中，从而捕捉该跟踪对象，其特征在于，所述跟踪装置包括：特征信息检测部件，从拍摄图像中检测被映入该拍摄图像中的特征信息；跟踪对象核对部件，将所述特征信息检测部件所检测到的特征信息与跟踪对象信息进行核对，从而判定所述检测到的特征信息是否为跟踪对象，所述跟踪对象信息中相关联地注册有对于多个人物的特征信息与用于表示该特征信息的跟踪顺序的优先级；优先级取得部件，在所述检测到的特征信息为跟踪对象的情况下，从所述跟踪对象信息中取得该检测到的特征信息的优先级；以及拍摄控制部件，基于所述取得的优先级，控制所述拍摄部分，使得检测到所述特征信息的拍摄图像中优先级更高的特征信息被继续映入拍摄图像中。
此外，为了解决上述课题，本发明的跟踪方法是通过控制拍摄部分以跟踪对象被继续映入拍摄图像中，从而捕捉该跟踪对象，其特征在于，所述跟踪方法包括：特征信息检测步骤，从拍摄图像中检测被映入该拍摄图像中的特征信息；跟踪对象核对步骤，将所述检测到的特征信息与跟踪对象信息进行核对，从而判定所述检测到的特征信息是否为跟踪对象，所述跟踪对象信息中相关联地注册有对于多个人物的特征信息与用于表示该特征信息的跟踪顺序的优先级；优先级取得步骤，在所述检测到的特征信息为跟踪对象的情况下，从所述跟踪对象信息中取得该检测到的特征信息的优先级；以及拍摄控制步骤，基于所述取得的优先级，控制所述拍摄部分，使得检测到所述特征信息的拍摄图像中优先级更高的特征信息被继续映入拍摄图像中。
根据上述结构以及上述方法，对映入拍摄图像中的特征信息进行检测，在检测到的特征信息为跟踪对象的情况下，取得用于表示检测到的特征信息的跟踪顺序的优先级。优先级的取得是对判定为跟踪对象的特征信息进行，所以即使多个特征信息被映入所述拍摄图像中，也能够基于所取得的优先级，控制拍摄部分来进行拍摄，使得检测到所述特征信息的拍摄图像中优先级更高的特征信息被继续映入拍摄图像中。因此，能够始终继续跟踪优先级更高的特征信息。这里，优先级例如可以由数值来表示，优先级的数值少者被处理为优先级更高也可以。例如，在有优先级1、2、3的情况下，假设优先级按照1>2>3的顺序减小。当然，优先级的附加法并不限定于此。此外，“跟踪”是指，在拍摄图像内继续保持(继续捕捉到画面中)被摄体(跟踪对象)的图像的情况。
当然，在跟踪对象信息中附加了优先级的特征信息只有一个的情况下，会继续跟踪其特征信息。另外，在跟踪对象信息中只注册了一个特征信息的情况下，即使对其一个特征信息没有附加实际的优先级，也可以设为附加了最高的优先级来取得优先级。此外，在只对多个特征信息的一部分附加了优先级，对其他的特征信息没有附加的情况下，也可以设为对该其他的特征信息一律附加最低的优先级来取得优先级。
这里，优选地，例如通过对作为拍摄装置的摄像机的动作，具体地说，使摄像机的位置沿左右、上下、前后移动来进行的摇摄/倾斜、缩放、曝光变化或者在有多个摄像机的情况下是切换摄像机等进行控制，从而进行拍摄部分的控制。例如也可以通过将摄像机设置在轨道(rail)上的台面来进行所述摄像机的位置的移动。当然，只要能够将优先级更高的特征信息继续映入拍摄图像中，如何控制拍摄部分是没有关系的。
此外，优选地，控制所述摄像机的动作在拍摄图像中的优先级更高的特征信息变化时进行。更具体地说，优选地，关于优先级更高的特征信息，在拍摄图像内的位置(即使在特征信息中包含的一部分位置变化也没有关系)、大小、斜率以及方向的至少一个有变化时，控制以进行所述摄像机的动作。当然，也可以在除此之外的情况下，即在特征信息中有变化时控制以所述摄像机动作。
此外，根据所述结构以及所述方法，由于控制拍摄部分，使得检测到所述特征信息的拍摄图像中优先级更高的特征信息被继续映入拍摄图像中，所以例如在优先级更高的特征信息出到拍摄部分可拍摄的范围外，无法捕捉优先级更高的特征信息的情况下，也能够跟踪在其时刻的拍摄图像中的优先级更高的特征信息(不能捕捉的特征信息之后优先级高的特征信息)。
如上所述，根据所述结构以及所述方法，即使在有多个跟踪对象，跟踪对象有跟踪的优先顺序的情况下，拍摄部分被控制为在拍摄图像中继续捕捉优先级更高的特征信息，所以能够进行优先级更高的跟踪而无需经由用户的操作。由于用户也无需指定跟踪对象，所以能够减轻用户的操作。因此，在所述结构以及所述方法中，即使在存在对跟踪有优先顺序的人物也能够自主地进行跟踪，而不会麻烦用户。
除了所述结构，在本发明的跟踪装置中，所述特征信息也可以是用于表示人物的面部的特征的面部信息。
根据所述结构，若特征信息为面部信息，则由于面部信息善于区分被摄体来确定人，所以在核对时能够容易进行认证。由于面部信息能够容易识别人，所以例如在棒球或足球等的体育转播中，可以从人气高的选手的面部信息依次附加优先级进行跟踪。
当然，只要是能够区分被摄体，所述特征信息可以不是人物的面部的面部信息，例如也可以是车的外观的信息。此时，例如也可以在赛车赛的转播中，从人气高的车依次附加优先级进行跟踪。此外，在特征信息例如为马的面部的信息的情况下，例如也可以在赛马的转播中，从人气高的马依次附加优先级进行跟踪。另外，这些只是简单的例示。
除了所述结构，在本发明的跟踪装置中，也可以包括位置掌握部件，对于所述特征信息检测部件所检测的特征信息，继续掌握在拍摄图像内的位置，在时间上由所述特征信息检测部件检测到特征信息的拍摄图像之后的拍摄图像中，所述特征信息检测部件再次检测到相同的特征信息，并通过所述位置掌握部件掌握了其特征信息在拍摄图像内的位置的情况下，所述跟踪对象核对部件也可以省去所述核对。
根据所述结构，在时间上检测到特征信息的拍摄图像之后的拍摄图像中，再次检测到相同的特征信息，并通过所述位置掌握部件掌握了其特征信息的位置的情况下，不进行跟踪对象核对部件的核对。这样，对于作为优先级更高的特征信息的当前的跟踪对象以外的特征信息，也能够进行拍摄图像内的位置的掌握(跟踪)。因此，能够减少跟踪对象核对部件的核对次数，所以能够减轻跟踪装置的负担。
除了所述结构，在本发明的跟踪装置中，拍摄部分也可以包括多个拍摄装置，所述拍摄控制部件控制拍摄部分，使得若捕捉了所述优先级更高的特征信息的拍摄装置不能捕捉该优先级更高的特征信息，则由能够捕捉该优先级更高的特征信息的其他拍摄装置来捕捉。
根据所述结构，若捕捉了优先级更高的特征信息的拍摄装置变得不能捕捉，则能够由可捕捉该优先级更高的特征信息的其他拍摄装置来捕捉。此时，预先预测特征信息的移动，若拍摄从捕捉了优先级更高的特征信息的拍摄装置切换到其他装置，则能够顺利地继续进行捕捉，而不会忽略优先级更高的特征信息。
根据所述结构，可以在视场角不同的多个拍摄装置中使用优先级更高的特征信息的跟踪，从而能够在更宽范围内进行优先级更高的特征信息例如特定人物的跟踪。
除了所述结构，在本发明的跟踪装置中，也可以包括：输入部分，被设置为用户可输入在所述跟踪对象信息中的优先级的设定或者变更。
根据所述结构，用户可以对跟踪装置进行对于跟踪对象信息中的优先级的设定或者变更的输入。这里，优选地，优先级是对预先注册的跟踪对象信息中包含的特征信息预先设定，且能够随时变更。当然，也可以在没有预先设定的情况下，在检测到优先级没有设定的特征信息时，成为可设定。此外，也可以在检测到没有注册在跟踪对象信息中的特征信息时，附加优先级后注册到跟踪对象信息中。
例如在体育的转播时等，也可以对多个选手例如从有人气的选手开始依次附加优先顺序进行跟踪。此外，也可以随时进行优先级的变更，在进入替补选手的情况等时新附加优先级进行跟踪。这些，只是简单的例示。
或者，在检测到没有注册在跟踪对象信息中的特征信息的情况下，也可以注册到跟踪对象信息中使用户设定优先级。
除了所述结构，也可以在本发明的跟踪装置中，所述跟踪对象核对部件计算所述特征信息检测部件所检测的特征信息和在所述跟踪对象信息中包含的特征信息之间的相似度，若所计算的相似度大于预先决定的认证阈值，则判定该检测到的特征信息为跟踪对象，此外，还计算用于表示比所述预先决定的认证阈值大多少的认证可靠度，在所述优先级为相同值的多个特征信息被映入所述拍摄图像的情况下，所述拍摄控制部件控制拍摄部分，使得所述算出的认证可靠度大的特征信息被继续映入拍摄图像中。
根据所述结构，对检测到的特征信息和在跟踪对象信息中包含的特征信息之间的相似度进行计算，若所计算的相似度大于预先决定的认证阈值，则判定该检测到的特征信息为跟踪对象。此外，还计算认证可靠度，在优先级为相同值的多个特征信息被映入拍摄图像的情况下，认证可靠度更大的特征信息被继续映入拍摄图像中。
因此，即使在优先级为相同值的多个特征信息被映入拍摄图像，也能够决定始终映入拍摄图像的对象，跟踪其对象的特征信息。此外，决定继续映入拍摄图像中的对象依赖于认证可靠度，所以能够跟踪更准确的跟踪对象。
除了所述结构，也可以在本发明的跟踪装置中，所述拍摄控制部件控制所述拍摄部分，使得所述优先级更高的特征信息的大小和位置中的至少一个在拍摄图像内始终成为一定。
根据所述结构，可以使优先级更高的特征信息的大小和位置中的至少一个在拍摄图像中始终成为一定。若在拍摄图像中将大小设为一定，则能够在拍摄图像内容易发现优先级更高的特征信息。此外，若将位置设为一定，则可以始终只观察其一定的位置例如显示拍摄图像的监视器的中央，就能够发现优先级更高的特征信息。这样，通过将优先级更高的特征信息的大小和位置的至少一个在拍摄图像中始终设为一定，从而能够容易地进行优先级更高的特征信息的监视。
另外，所述跟踪装置也可以由计算机实现，此时，记录了跟踪装置的控制程序的计算机可读取的记录媒体也包含在本发明的范畴中，所述跟踪装置的控制程序通过使计算机作为所述各个部件动作，从而由计算机实现所述跟踪装置。
如上所述，本发明的跟踪装置包括：特征信息检测部件，从拍摄图像中检测被映入该拍摄图像中的特征信息；跟踪对象核对部件，将所述检测到的特征信息与跟踪对象信息进行核对，从而判定所述检测到的特征信息是否为跟踪对象，所述跟踪对象信息中相关联地注册有对于多个人物的特征信息与用于表示该特征信息的跟踪顺序的优先级；优先级取得部件，在所述检测到的特征信息为跟踪对象的情况下，从所述跟踪对象信息中取得该检测到的特征信息的优先级；以及拍摄控制部件，基于所述取得的优先级，控制所述拍摄部分，使得检测到所述特征信息的拍摄图像中优先级更高的特征信息被继续映入拍摄图像中。
根据上述结构，对映入拍摄图像中的特征信息进行检测，在检测到的特征信息为跟踪对象的情况下，取得用于表示检测到的特征信息的跟踪顺序的优先级。优先级的取得是对判定为跟踪对象的特征信息进行，所以即使在多个特征信息被映入所述拍摄图像中，也能够基于所取得的优先级，控制拍摄部分来进行拍摄，使得检测到所述特征信息的拍摄图像中优先级更高的特征信息被继续映入拍摄图像中。因此，能够始终继续跟踪优先级更高的特征信息。当然，在优先顺序信息中附加优先级的特征信息只有一个的情况下，成为继续跟踪其特征信息。
此外，根据所述结构，由于控制拍摄部分，使得检测到所述特征信息的拍摄图像中优先级更高的特征信息被继续映入拍摄图像中，所以例如在优先级更高的特征信息出到拍摄部分可拍摄的范围外，无法捕捉优先级更高的特征信息的情况下，也能够跟踪在其时刻的拍摄图像中的优先级更高的特征信息(不能捕捉的特征信息之后优先级高的特征信息)。
如上所述，根据所述结构，即使在有多个跟踪对象，跟踪对象有跟踪的优先顺序的情况下，拍摄部分被控制为在拍摄图像中继续捕捉优先级更高的特征信息，所以能够进行优先级高的跟踪而无需经由用户的操作。由于用户也无需指定跟踪对象，所以能够减轻用户的操作。因此，在所述结构中，即使存在对跟踪有优先顺序的人物也能够自主地进行跟踪，而不会麻烦用户。
附图说明
图1是表示本发明的实施方式的图，是表示跟踪装置的主要部分结构的方框图。
图2是以表的形式表示面部信息数据库的一个例子的图。
图3(a)是跟踪对象的切换中的图像(image)图。
图3(b)是跟踪对象的切换中的图像图。
图3(c)是跟踪对象的切换中的图像图。
图4(a)是摄像机切换中的图像图。
图4(b)是摄像机切换中的图像图。
图4(c)是摄像机切换中的图像图。
图5是表示本实施方式的跟踪装置所进行的跟踪处理中的流程的流程图。
图6是表示摄像机切换中的处理的流程的流程图。
图7(a)是将本实施方式的跟踪装置利用在赛马的转播的例子的图像图。
图7(b)是表示在图7(a)中的摄像机的拍摄图像的图像图。
图8(a)是将本实施方式的跟踪装置利用在棒球的转播的例子的图像图。
图8(b)是表示在图8(a)中的某一摄像机的拍摄图像的图像图。
图8(c)是表示在图8(a)中的不同的摄像机的拍摄图像的图像图。
图8(d)是表示在图8(a)中的其他摄像机的拍摄图像的图像图。
标号说明
1  跟踪装置
2  控制部分
3  拍摄部分
4  存储部分
5  输入接受部分
6  显示部分
21 面部检测部分(特征信息检测部件)
22 面部核对部分(跟踪对象核对部件)
23 优先级取得部分(优先级取得部件)
24 移动量计算部分
25 拍摄控制部分(拍摄控制部件)
26 位置掌握部分(位置掌握部件)
33 拍摄装置
41 面部信息数据库(跟踪对象信息)
具体实施方式
基于图1至图8说明本发明的一实施方式则如下。以下，作为如下的装置说明本实施方式的跟踪装置：为跟踪特定的对象而将映入拍摄图像的特征信息作为人物(人或物)的面部信息，从而核对面部信息。但是，只要是能够识别映入拍摄图像的被摄体的信息，特征信息可以是任何信息。
[跟踪装置的结构]
本实施方式的跟踪装置1包括控制部分2、拍摄部分3、存储部分4、输入部分5以及显示部分6。
控制部分2内置微型计算机，并根据计算机程序，通过输入部分5所接受的输入操作等进行动作，统一地控制跟踪装置1中的各种结构的动作。此外，控制部分2作为面部检测部分21、面部核对部分22、优先级取得部分23、移动量计算部分24、拍摄控制部分25以及位置掌握部分26起作用。
面部检测部分21从拍摄部分3所拍摄的拍摄图像中检测映入该拍摄图像中的面部信息(面部)。
面部核对部分22将面部检测部件所检测的面部信息与面部信息数据库(DB)41进行核对，从而判定所检测的面部是否为跟踪对象，在所述面部信息数据库(DB)41中对于多个人物的面部信息与表示该面部信息的跟踪顺序的优先级相关联地注册。这里，假设面部信息是指面部图像。此时，比较面部图像来判断同一性的方法是通过以往公知的方法，即固有面部法、LFA(Local Feature Analysis)法、曲线映射法、神经网络法、制约相互部分空间法、扰动(perturbation)空间法、频率分析法等来进行。
例如，如下进行。使用Gabor小波变换(Gabor wavelet transform)等计算面部图像的特征量，通过计算与注册在数据库上的特征量之间的相似度，从而进行同一性的判断，在相似度超过了预先设定的阈值的情况下，判断为两者为同一个面部。虽然能这样比较面部图像来判断同一性，但该判断并不限定于上述的方法。
此外，面部核对部分22计算面部信息和包含在面部信息数据库41中的面部信息之间的相似度，若计算的相似度大于预先决定的认证阈值时，判定面部检测部分21所检测的面部信息为跟踪对象，进而计算以比所述预先决定的认证阈值大多少来表示的认证可靠度。
优先级取得部分23从面部信息数据库41中取得所检测的面部信息的优先级。
移动量计算部分24测定在检测到的面部信息中优先级更高的面部信息的移动，并计算该优先级更高的面部信息的移动量。例如可通过专利文献5等公知的方法，进行在移动量计算部分24中的移动量的计算。
拍摄控制部分25控制拍摄部分3，使得在拍摄图像中继续映入检测到面部信息的拍摄图像中优先级更高的面部信息。此时，基于由移动量计算部分24所计算的移动量，追随优先级更高的面部信息的移动进行控制。优选地，例如通过对作为拍摄装置33的摄像机的动作，具体地说，使摄像机的位置沿左右、上下、前后移动来进行的摇摄/倾斜、缩放、曝光变化或者在有多个摄像机的情况下是切换摄像机等进行控制，从而进行拍摄部分3的控制。例如可以通过将摄像机设置在轨道上的台面来进行所述摄像机的位置的移动。当然，只要能够将优先级更高的面部信息继续映入拍摄图像中，如何控制拍摄部分是没有关系的。
此外，优选地，控制使得摄像机的动作在拍摄图像中的优先级更高的面部信息变化时进行。更具体地说，优选地，在优先级更高的面部信息在拍摄画面内的位置(即使在面部信息中包含的一部分，例如眼睛的位置变化也没有关系)、大小、斜率以及方向的至少一个有变化时，控制以进行所述摄像机的动作。当然，也可以在除此之外的情况下，控制摄像机动作。
此外，也可以是，拍摄控制部分25控制拍摄部分3，使得优先级更高的面部的大小和位置中的至少一个在拍摄图像中始终成为一定。当然，只要将优先级更高的面部在拍摄图像中存在即可，但若将面部的大小在拍摄图像中设为一定，则能够在拍摄图像中容易发现优先级更高的面部。此外，若将面部的位置设为一定，则可以始终只观察其一定的位置例如显示拍摄图像的显示画面的中央，就能够发现优先级更高的面部信息。当然，位置并不限定于中央。这样，通过将优先级更高的面部的大小和位置的至少一个在拍摄图像中始终设为一定，从而能够容易地进行优先级更高的面部的监视。
位置掌握部分26对面部检测部分21所检测的面部信息(面部)，继续更新用于表示面部坐标信息的图像中的坐标(面部的位置)，从而继续掌握在拍摄图像中的面部信息(面部)的位置，所述面部坐标信息保存到装置内的未图示的面部位置保存区域(存储器)中。这里，面部坐标信息是对于面部检测部分21所检测的面部信息(面部)在哪个位置存在的信息。然后，在时间上由面部检测部分21检测到面部信息的拍摄图像之后的拍摄图像中，所述面部检测部分21再次检测到相同的面部信息，并通过位置掌握部分26掌握了其面部信息在拍摄图像内的位置的情况下，面部核对部分22不访问面部信息数据库41。这是因为，对于作为优先级更高的面部信息的当前的跟踪对象之外的面部信息，也进行在拍摄图像内的位置的掌握(跟踪)。因此，能够减少面部核对部分22的核对次数，所以能够减轻跟踪装置1的负担。
拍摄部分3包括：具有多个摄像机的拍摄装置33、摄像机驱动装置31、摄像机切换装置32，并基于拍摄控制部分25的控制来进行跟踪对象的拍摄。摄像机驱动装置31是用于驱动拍摄装置33中的摄像机的装置，摄像机切换装置32是用于切换驱动对象的摄像机的装置。此外，设为在拍摄装置33中的摄像机分别进行摇摄/倾斜、缩放、曝光变化。
在本实施方式中，图示了具有多个摄像机，但也可以是一台。此时，也可以不具有摄像机切换装置32。此外，也可以具有多个用于控制一台或多台摄像机的跟踪装置1，其跟踪装置具有通信部分，通过相互进行通信来跟踪优先级更高的面部。
存储部分4由硬盘等的非易失性存储装置构成。存储部分4存储面部信息数据库41。在该面部信息数据库41中，对于多个人物的面部信息与用于表示该面部信息的跟踪顺序的优先级相关联地注册。
例如参照图2进行说明，在面部信息数据库41中，人物A的面部信息和人物B的面部信息被注册为人物A的面部的优先级为1，人物B的面部的优先级为2。假设优先级的数字少者优先级更高。在图2中，作为跟踪对象而只注册了两个人，但也可以注册这以上的面部信息。此外，若对一个跟踪对象注册多个面部信息(例如，正面、右侧、左侧、向上、向下等)而不是对一个跟踪对象只注册一个面部信息的情况下，能够更加正确地进行在面部核对部分22中的核对。此外，在面部信息数据库41中，也可以注册跟踪对象的姓名、特征点(例如，若是棒球选手，则防守位置等)等的有关跟踪对象的信息。这样，在用户设定或变更优先级时能够参照，所以有助于用户。
当然，在面部信息数据库41中附加优先级的面部信息只有一个的情况下，继续跟踪其面部信息。另外，也可以在面部信息数据库41中只有一个面部信息的情况下，即使对其一个面部信息没有附加实际的优先级，也作为被附加了最高的优先级的面部信息来取得优先级。此外，也可以在只对多个面部信息的一部分附加优先级，而对其他的面部信息没有附加的情况下，作为对该其他的面部信息一律附加了最低的优先级来取得优先级。
此外，在该存储部分4中，也可以存储用于控制所述跟踪装置1的各种结构的动作的控制程序、OS(operating system)程序、以及其他的各种程序。
输入部分5是跟踪装置1用于接受来自用户的操作的接口。输入部分5被设置为用户可进行对于跟踪装置1的操作，例如被设置为用户可输入在面部信息数据库中的优先级的设定或者变更。因此，用户可以从输入部分5对预先被注册的面部信息数据库41中所包含的面部信息，设定或者变更优先级。在没有预先设定优先级的情况下，也可以在检测到没有设定优先级的面部信息时进行设定。此外，在检测到没有注册在跟踪对象信息中的面部信息时，也可以附加优先级后注册到跟踪对象信息中。例如在体育的转播时等，也可以对多个选手例如依次从有人气的选手开始附加优先顺序来跟踪。此外，也可以随时变更优先级，在加入替补选手的情况等时可以新附加优先级来跟踪。这些只是简单的例示。或者，也可以在检测到没有注册在跟踪对象信息中的面部信息时，注册到跟踪对象信息中，使用户设定优先级。
在输入部分5中，例如设置了操作键/按钮等，以提供给用户操作。用户可以从该输入部分5对跟踪装置1进行各种指示例如跟踪操作的开始、停止、面部信息数据库41的改写、面部信息数据库41的优先顺序的设定、变更等。另外，也可以将输入部分5与在显示部分6中的显示画面兼用。即，例如输入部分5和显示部分6的显示画面也可以设置一体型的触摸面板。此时，在显示画面显示用户可输入的项目，通过用户触摸显示有所期望的项目的显示区域，从而能够对跟踪装置1带来指示。此时，为了触摸到显示区域，也可以设置棒状的操作部件等作为输入部分5。
显示部分6包含显示画面(拍摄画面)，是用于输出(显示)由拍摄装置所拍摄的拍摄图像的部分。也可以设置多个显示部分6，例如也可以设置与摄像机相同个数。或者，也可以隔开显示部分6的显示画面以照到来自多个摄像机的图像。
此外，例如也可以具有声音输出部分(未图示)，其用于输出伴随由拍摄装置33所拍摄的拍摄图像的声音。
另外，也可以将面部核对部分22和面部信息数据库41设置在外部的装置中，通过跟踪装置1和该外部的装置进行通信，从而进行核对处理。
此外，本发明的跟踪装置也可以不包括拍摄部分3或面部信息数据库41，也可以将控制部分2表现为本发明的跟踪装置。
使用图3(a)～(c)，说明使用上述结构的跟踪装置1进行跟踪的状态。这里，假设如图2所示，预先在面部信息数据库41中注册了人物A的面部信息和人物B的面部信息，以人物A的面部的优先级为1，人物B的面部的优先级为2。假设优先级的数字少者优先级更高。
首先，如图3(a)所示，假设在拍摄图像50中，对人物A(的面部)进行跟踪。这里，由于人物C没有注册在面部信息数据库41中，所以不是跟踪对象。因此，作为跟踪对象而对人物C通过位置掌握部分26只掌握面部位置，但不进行跟踪。
接着，如图3(b)所示，假设在拍摄图像50中进入(frame in，同一图的黑箭头)作为跟踪的优先顺序的优先级比人物A高的人物B的面部。此时，将跟踪对象从人物A的面部切换为人物B的面部(同一图的白箭头)。此时，由于人物C的面部不是跟踪对象，所以只掌握面部位置。跟踪对象成为人物B的面部，人物A的面部作为优先级低的跟踪对象(追踪对象)，只要人物B的面部在拍摄图像50内，就只能掌握面部位置。
然后，如图3(c)所示，将人物B的面部作为跟踪对象，人物B的面部被收集到用于显示拍摄图像50的拍摄画面的一定范围51内。此外，将人物A的面部设为优先级低的跟踪对象(追踪对象)，在画面内存在的情况下，继续确认(掌握)其面部位置。在从这个状态，人物B的面部因某种原因而从拍摄图像50消失的情况下，再次将人物A的面部设为跟踪对象。此外，由于人物C的面部移动到(flame out)图像之外，所以结束人物C的面部位置的掌握(追踪)。
以上的跟踪状态的说明是设为由一台摄像机进行跟踪。这里，摄像机可以是一台，也可以是多台。
接着，使用图4(a)～(c)说明在拍摄部分3中的摄像机的切换。在这里，假设从摄像机1到摄像机2进行切换。在图4(a)～(c)中，分别从左开始顺序地表示摄像机C2拍摄的图像I2、摄像机C1拍摄的图像I1、以及摄像机C1和C2的拍摄范围和被摄体之间的位置关系。此外，在图4(a)～(c)中，假设带点的图像I1和I2的区域为摄像机C1和摄像机C2的视场角重合的部分。
如图4(a)所示，在摄像机C1的视场角内存在跟踪对象的人物P的面部的情况下，用摄像机C1对跟踪对象的人物P的面部进行跟踪。
在图4(b)中，若通过移动量计算部分24的计算，预测到跟踪对象的人物P从摄像机C1的视场角移出，并且在摄像机C2的视场角中进入跟踪对象的人物P，将画面从摄像机C1拍摄的图像I1切换到摄像机C2拍摄的图像I2。通过拍摄控制部分25控制摄像机切换装置32来进行切换的控制。
然后，如图4(c)所示，在摄像机C2的视场角内存在跟踪对象的人物P的面部的情况下，用摄像机C2对跟踪对象的人物P的面部进行跟踪。
如上所述，即使在跟踪装置1中有多个跟踪对象，且跟踪对象有跟踪的优先顺序的情况下，拍摄部分3也被控制，使得在拍摄图像中继续捕捉优先级更高的面部，所以能够进行优先级更高的跟踪而不会经由用户的操作，由于用户也无需指定跟踪对象，所以能够减轻用户的操作。因此，通过使用跟踪装置1，即使存在对跟踪有优先顺序的人物，也能够自主地进行跟踪，而不会麻烦用户。
[通过跟踪装置的跟踪处理]
使用图5的流程图，说明在跟踪装置1中的跟踪处理的流程。另外，假设在以下说明的处理之前，预先在面部信息数据库41中注册有设定了优先级的面部信息。
首先，面部检测部分21在拍摄图像中检测面部信息(以后省略为“面部”)，并判定在拍摄图像内是否存在面部(步骤1，以后省略为S1)。这里，面部的检测可以继续等到有被摄体进入为止，也可以是摄像机例如进行活动(首振り)等动作，从而在有被摄体进入之后开始检测。
在检测到面部的情况下(在S1中“是”)，判断检测到的面部是否为在图像中掌握位置的面部(是否为在之前的帧中也存在的面部)(S2)。
首先，说明在S1中检测到的面部为在图像中没有掌握位置的面部的情况(在S2中“否”)，之后叙述掌握位置的面部的情况(在S2中“是”)。
在S1中检测到的面部为在图像中没有掌握位置的面部的情况下(在S2中“否”)，面部核对部分22核对面部信息数据库41，判定是否注册有在S1中检测的面部(S3)。这里的判定如下进行。对检测的面部和在面部信息数据库41中包含的面部信息之间的相似度进行计算，在计算的相似度大于预先决定的认证阈值的情况下，判定为检测的面部为跟踪对象。进而，计算以比预先决定的认证阈值大多少来表示的认证可靠度。
在注册有在S1中检测的面部的情况下(在S3中“是”)，优先级取得部分23取得在S1中检测的面部的优先级(S4)。若取得优先级，则接着判定当前跟踪中的面部(优先级更高的面部)是否在图像中存在(S5)。在当前跟踪中的面部在图像中存在的情况下(在S5中“是”)，比较在S1中检测的面部和当前跟踪中的面部之间的优先级(S6)。在S1中检测的面部和当前跟踪中的面部之间的优先级相同的情况下，判定在S3中的判定时所计算的认证可靠度与当前跟踪中的面部的认证可靠度相比是否高(S7)。另外，假设当前跟踪中的面部的认证可靠度保持在未图示的存储器等。
在面部的认证可靠度的比较结果，在S1中检测的面部的认证可靠度高的情况下(在S7中“是”)，从跟踪对象中除去当前的跟踪对象的面部，并作为优先级低的跟踪对象而将当前的跟踪对象的面部注册到未图示的存储器等中(S8)。在S6中，在S1中检测的面部的优先级高的情况下也进至S8，并从跟踪对象中除去当前的跟踪对象的面部，作为优先级低的跟踪对象而将当前的跟踪对象的面部注册在未图示的存储器等中。
此外，在S6中，在S1中检测的面部的优先级低的情况下，将在S1中检测的面部作为优先级低的跟踪对象而注册在未图示的存储器等中(S10)，进至S18。此外，在S7中，在S1中检测的面部的认证可靠度低的情况下(在S7中“否”)，也将在S1中检测的面部作为优先级低的跟踪对象而注册在未图示的存储器等中(S10)，进至S18。
此外，在没有注册有在S3中检测的面部的情况下(在S3中“否”)，将在S1中检测的面部作为跟踪对象而注册在未图示的存储器等中(S9)，进至S18。
此外，在S5中当前跟踪中的面部不在图像中的情况下(在S5中“否”)，将处理对象的面部(这里是在S1中检测的面部)作为跟踪对象而注册在未图示的存储器等中(S11)，进至S18。此外，在将当前的跟踪对象的面部作为优先级低的跟踪对象而注册在未图示的存储器等中(S8)之后，也进至S11，将处理对象的面部(这里是在S1中检测的面部)作为跟踪对象而注册在未图示的存储器等中，进至S18。
接着，在S1中检测的面部为在图像中掌握位置的面部的情况下(在S2中“是”)，判定是否为当前跟踪中的面部(S12)。在是当前跟踪中的面部的情况下(在S12中“是”)，判定在图像内的中央附近是否有检测的面部(当前跟踪中的面部)(S13)。在图像内的中央附近没有检测的面部的情况下(在S13中“否”)，拍摄控制部分25控制拍摄部分3，使得所检测的面部到图像的中央附近(S14)。在图像内的中央附近有检测的面部的情况下(在S13中“是”)，或者在拍摄控制部分25控制拍摄部分3，使得所检测的面部到图像的中央附近(S14)之后，进至S18。
S12中，不是当前跟踪中的面部的情况下(在S12中“否”)，判定在S1中检测的面部是否为优先级低的面部(不是优先级更高的面部的跟踪对象)(S15)。在是优先级低的面部的情况下(在S15中“是”)，判定当前跟踪中的面部是否在图像内(S16)。在不是优先级低的面部的情况下(在S15中“否”)，或者当前跟踪中的面部在图像内的情况下(在S16中“是”)，进至S18。另外，在S15中不是优先级低的面部的情况是指跟踪对象的情况。
在S16中，当前跟踪中的面部不在图像内的情况下(在S16中“否”)，将在S1中检测的面部作为跟踪对象而注册在未图示的存储器等中(S11)，进至S18。
最后，将用于表示面部坐标信息的图像中的坐标(面部的位置)改写为检测坐标(在S1中通过面部检测部分21检测到面部信息的位置)，从而更新面部位置信息(S18)，所述面部坐标信息保存在装置的面部位置保存区域
(存储器)中。
另外，在S1中在图像内没有检测到面部的情况下(在S1中“否”)，删除在存储器等中注册的跟踪对象的信息、追踪对象的信息(S17)，结束。通过重复进行如上所述的图5所示的处理，从而进行在跟踪装置1中的跟踪的处理。
接着，使用图6的流程图，说明在拍摄部分3中有多个摄像机的情况下的摄像机的切换处理。在以下的说明中，将从摄像机1到摄像机2的切换作为前提进行说明。
如图6所示，首先，判定在摄像机1的切换区域(图4(a)～(c)的点区域)中是否有优先级更高的面部(S51)。在区域中没有面部的情况下(在S51中“否”)，结束处理。在区域中有面部的情况下(在S51中“是”)，判定在摄像机C1的前帧中的优先级更高的面部的位置是否在切换区域之外(S52)。在不是切换区域之外的情况下(在S52中“否”)，结束处理。在切换区域之外的情况下(在S52中“是”)，判定在摄像机C2的切换区域之外是否有优先级更高的面部(S53)。在区域之外没有该面部的情况下(在S53中“否”)，结束处理。在区域之外有该面部的情况下(在S53中“是”)，判定在摄像机C2的前帧中的优先级更高的面部的位置是否为切换区域(S54)。在不是切换区域的情况下(在S54中“否”)，结束处理。在切换区域的情况下(在S54中“是”)，进行从摄像机C1到摄像机C2的切换(S55)。
如上那样进行摄像机的切换，但两个以上的摄像机中的切换也同样地进行，若捕捉到优先级更高的面部的摄像机不能捕捉该优先级更高的面部，则被控制为由能够捕捉该优先级更高的面部的其他的摄像机来捕捉。
[实施例1]
使用图7(a)和(b)，说明假设将所述实施方式的跟踪装置1例如用在赛马的转播中的情况。另外，此时，说明假设作为拍摄装置33的摄像机只有一台的情况。
预先，马的面部作为面部信息而注册在面部信息数据库41中，假设优先级按人气顺序被附加为马H1为1，马H5为2。此外，如图7(a)所示，摄像机C1设置在轨道1上，可沿着马的前进方向而移动。此时，开始是如图7
(b)所示那样，控制摄像机C1来继续跟踪马H5，使得开头的马H5成为拍摄图像I1的中心，但在马H2进入拍摄图像I1时，在下一帧，摄像机C1被控制使马H2成为画面的中心。
这样，通过按照人气的顺序设定跟踪的优先级，从而能够将在拍摄图像内可识别的马中的人气最高的马为中心构成画面。
另外，也可以利用骑在马上的骑手的面部来代替马的面部。此时，将所述骑手的面部作为面部信息而注册在面部信息数据库41中即可。另外，优先级可以按照所述骑手的人气顺序来附加，也可以按照所述骑手所骑的马的人气顺序来附加。
[实施例2]
使用图8(a)～(d)，说明假设将所述实施方式的跟踪装置1例如用在图8(a)所示的棒球的转播中的情况。此时，说明假设作为拍摄装置33的摄像机为三台的情况。
预先，选手的面部作为面部信息而注册在面部信息数据库41中，假设作为跑垒员>击球手>守场员的顺序注册了跟踪的优先级。
如图8(b)～(d)所示，在摄像机C1捕捉跑垒员A、在摄像机C2捕捉守场员B、在摄像机C3捕捉守场员C，并且被控制为分别成为画面I1～I3的中心，分别进行跟踪。在摄像机C2中，在使得跑垒员A通过跑垒进入摄像机C2的视场角时，切换为跟踪跑垒员A，即将跑垒员A成为画面I2的中心。然后，若从视场角消失，则返回到守场员B的跟踪。此外，在摄像机C3中，也在跑垒员A通过跑垒进入摄像机C3的视场角时，切换为跟踪跑垒员A，使得跑垒员A成为画面I3的中心。然后，若从视场角消失，则返回到守场员C的跟踪。
这样，能够基于优先级来进行跟踪。
此外，在将实施方式的跟踪装置1例如用于足球的转播的情况下，也可以按照例如前锋>中锋>后卫>守门员或者主力选手>替补选手的顺序设定优先级，进行跟踪。此外，例如为了防犯而跟踪可疑的人物的情况下，也可以按照通缉中的人物>有犯罪历史的人物>其他人物的顺序设定优先级，进行跟踪。此外，也可以在自行车竞赛、赛艇、赛车、摩托车比赛、马拉松、接力赛、田径等中，按照第1人气>第2人气......的顺序来设定优先级，进行跟踪。此外，在例如是业余棒球的转播的情况下，也可以按选秀(draft)候补附加优先顺序来跟踪。另外，这些只是简单的例示，对于跟踪顺序的附加方法没有限定，对于跟踪对象也没有限定。
本发明并不限定于上述的实施方式以及各个实施例，在权利要求所述的范围内可进行各种变更。即，将在权利要求所述的范围内进行适当的变更的技术手段组合而得的实施方式以及实施例也包含在本发明的技术范围中。
最后，跟踪装置1的各个模块，特别是控制部分2可以由硬件模块构成，也可以如下那样使用CPU通过软件来实现。
即，跟踪装置1包括：用于执行实现各个功能的控制程序的命令的CPU(central processing unit)、存储了上述程序的ROM(read only memory)、展开上述程序的RAM(random access memory)、存储上述程序以及各种数据的存储器等的存储装置(存储媒体)等。而且，也可以通过将以计算机可读取地方式记录了作为实现上述功能的软件的跟踪装置1的控制程序的程序代码(执行格式程序、中间代码程序、源程序)的记录媒体提供给所述跟踪装置1，其计算机(或者CPU或MPU)读出记录在记录媒体中的程序代码来执行，从而也可以实现本发明的目。
作为所述记录媒体，例如可使用磁带或卡带等的带类、包括软盘(注册商标)/硬盘等的磁盘或CD-ROM/MO/MD/DVD/CD-R等的光盘的盘类、IC卡(包括存储器卡)/光卡等的卡类、或者掩模ROM/EPROM/EEPROM/闪速ROM等的半导体存储器类等。
此外，也可以与通信网络可连接地构成跟踪装置1，通过通信网络来提供所述程序代码。作为该通信网络，没有特别限定，例如可利用因特网、内部网、特别网(extra net)、LAN、ISDN、VAN、CATV通信网、虚拟专用网(virtual private network)、电话线路网、移动通信网、卫星通信网等。此外，作为构成通信网络的传输媒体也没有特别限定，例如可利用IEEE1394、USB、电力线传输、电缆TV线路、电话线、ADSL线路等有线，也可以利用IrDA或遥控等的红外线、Bluetooth(注册商标)、802.11无线、HDR、便携电话网、卫星线路、地面波数字网等的无线。另外，本发明也可以通过所述程序代码以电子化传输所具体化的、埋入载波的计算机数据信号的方式实现。
产业上的可利用性
本发明可适用于跟踪多个被摄体的系统中，例如可利用于防犯系统，此外，还可以利用于电视会议、电视讲座、体育转播等各种用途。

Claims (10)

1.一种跟踪装置，通过控制拍摄部分以跟踪对象被继续映入拍摄图像中，从而捕捉该跟踪对象，其特征在于，所述跟踪装置包括：
特征信息检测部件，从拍摄图像中检测被映入该拍摄图像中的特征信息；
跟踪对象核对部件，将所述检测到的特征信息与跟踪对象信息进行核对，从而判定所述检测到的特征信息是否为跟踪对象，所述跟踪对象信息中相关联地注册有对于多个人物的特征信息与用于表示该特征信息的跟踪顺序的优先级；
优先级取得部件，在所述检测到的特征信息为跟踪对象的情况下，从所述跟踪对象信息中取得该检测到的特征信息的优先级；以及
拍摄控制部件，基于所述取得的优先级，控制所述拍摄部分，使得检测到所述特征信息的拍摄图像中优先级更高的特征信息被继续映入拍摄图像中。
2.如权利要求1所述的跟踪装置，其特征在于，
所述特征信息是用于表示人物的面部特征的面部信息。
3.如权利要求1或2所述的跟踪装置，其特征在于，
包括位置掌握部件，对于所述特征信息检测部件所检测的特征信息，继续掌握在拍摄图像内的位置，
在时间上由所述特征信息检测部件检测到特征信息的拍摄图像之后的拍摄图像中，所述特征信息检测部件再次检测到相同的特征信息，并通过所述位置掌握部件掌握了其特征信息在拍摄图像内的位置的情况下，所述跟踪对象核对部件省去所述核对。
4.如权利要求1至3的任一项所述的跟踪装置，其特征在于，
拍摄部分包括多个拍摄装置，
所述拍摄控制部件控制拍摄部分，使得若捕捉了所述优先级更高的特征信息的拍摄装置不能捕捉该优先级更高的特征信息，则由能够捕捉该优先级更高的特征信息的其他拍摄装置来捕捉。
5.如权利要求1至4的任一项所述的跟踪装置，其特征在于，包括：
输入部分，被设置为用户可输入在所述跟踪对象信息中的优先级的设定或者变更。
6.如权利要求1至5的任一项所述的跟踪装置，其特征在于，
所述跟踪对象核对部件计算所述特征信息检测部件所检测的特征信息和在所述跟踪对象信息中包含的特征信息之间的相似度，若所计算的相似度大于预先决定的认证阈值，则判定该检测到的特征信息为跟踪对象，此外，还计算用于表示比所述预先决定的认证阈值大多少的认证可靠度，
在所述优先级为相同值的特征信息被映入多个所述拍摄图像的情况下，所述拍摄控制部件控制拍摄部分，使得比所述算出的认证可靠度大的特征信息被继续映入拍摄图像中。
7.如权利要求1至6的任一项所述的跟踪装置，其特征在于，
所述拍摄控制部件控制所述拍摄部分，使得所述优先级更高的特征信息的大小和位置中的至少一个在拍摄图像内始终成为一定。
8.一种跟踪方法，通过控制拍摄部分以跟踪对象被继续映入拍摄图像中，从而捕捉该跟踪对象，其特征在于，所述跟踪方法包括：
特征信息检测步骤，从拍摄图像中检测被映入该拍摄图像中的特征信息；
跟踪对象核对步骤，将所述检测到的特征信息与跟踪对象信息进行核对，从而判定所述检测到的特征信息是否为跟踪对象，所述跟踪对象信息中相关联地注册有对于多个人物的特征信息与用于表示该特征信息的跟踪顺序的优先级；
优先级取得步骤，在所述检测到的特征信息为跟踪对象的情况下，从所述跟踪对象信息中取得该检测到的特征信息的优先级；以及
拍摄控制步骤，基于所述取得的优先级，控制所述拍摄部分，使得检测到所述特征信息的拍摄图像中优先级更高的特征信息被继续映入拍摄图像中。
9.一种跟踪装置的控制程序，用于使权利要求1至7的任一项所述的跟踪装置动作，用于使计算机作为所述跟踪装置中的所述各个部件起作用。
10.一种计算机可读取的记录媒体，记录了权利要求9所述的跟踪装置控制程序。
CN2007800089865A 2006-03-15 2007-03-14 跟踪装置、跟踪方法 Active CN101401426B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP071861/2006 2006-03-15
JP2006071861 2006-03-15
PCT/JP2007/055066 WO2007119355A1 (ja) 2006-03-15 2007-03-14 追尾装置、追尾方法、追尾装置の制御プログラム、およびコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
CN101401426A true CN101401426A (zh) 2009-04-01
CN101401426B CN101401426B (zh) 2010-12-01

Family

ID=38609152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800089865A Active CN101401426B (zh) 2006-03-15 2007-03-14 跟踪装置、跟踪方法

Country Status (6)

Country Link
US (1) US8599267B2 (zh)
EP (1) EP1998567B1 (zh)
JP (1) JP4957721B2 (zh)
KR (1) KR101001060B1 (zh)
CN (1) CN101401426B (zh)
WO (1) WO2007119355A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310185A (zh) * 2012-03-15 2013-09-18 欧姆龙株式会社 监视装置以及可靠度计算方法
CN103347117A (zh) * 2013-05-31 2013-10-09 东莞宇龙通信科技有限公司 通信终端的拍摄方法及通信终端
CN104573617A (zh) * 2013-10-28 2015-04-29 季春宏 一种摄像控制方法
CN109479181A (zh) * 2016-03-30 2019-03-15 蒂诺克股份有限公司 用于用户检测和识别的系统和方法
CN110245630A (zh) * 2019-06-18 2019-09-17 广东中安金狮科创有限公司 监控数据处理方法、装置及可读存储介质
CN110691197A (zh) * 2019-11-04 2020-01-14 上海摩象网络科技有限公司 一种拍摄追踪的方法、装置、电子设备
CN110785775A (zh) * 2017-07-07 2020-02-11 三星电子株式会社 用于光学跟踪的系统和方法
CN110809116A (zh) * 2019-11-04 2020-02-18 上海摩象网络科技有限公司 一种拍摄追踪的方法、装置、电子设备
CN110892412A (zh) * 2019-05-13 2020-03-17 微网股份有限公司 脸部辨识系统、脸部辨识方法及脸部辨识程序
CN111383251A (zh) * 2018-12-28 2020-07-07 杭州海康威视数字技术股份有限公司 一种跟踪目标对象的方法、装置、监控设备和存储介质
US10728694B2 (en) 2016-03-08 2020-07-28 Tinoq Inc. Systems and methods for a compound sensor system
US10909355B2 (en) 2016-03-02 2021-02-02 Tinoq, Inc. Systems and methods for efficient face recognition
US11263418B2 (en) 2018-08-21 2022-03-01 Tinoq Inc. Systems and methods for member facial recognition based on context information
CN114356088A (zh) * 2021-12-30 2022-04-15 纵深视觉科技(南京)有限责任公司 一种观看者跟踪方法、装置、电子设备及存储介质

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101298646B1 (ko) * 2007-04-30 2013-08-21 삼성전자주식회사 얼굴 영역이 효율적으로 검색되는 디지털 영상 처리 장치의제어 방법
US8432449B2 (en) * 2007-08-13 2013-04-30 Fuji Xerox Co., Ltd. Hidden markov model for camera handoff
JP2009193424A (ja) * 2008-02-15 2009-08-27 Nec Corp 動線捕捉装置及び動線捕捉方法並びにプログラム
JP5084550B2 (ja) * 2008-02-25 2012-11-28 キヤノン株式会社 入室監視システム、開錠指示装置及びその制御方法、並びに、プログラム
JP5039607B2 (ja) * 2008-02-27 2012-10-03 キヤノン株式会社 撮像装置及びその制御方法
US20090237554A1 (en) * 2008-03-19 2009-09-24 Atsushi Kanayama Autofocus system
EP2104337A3 (en) * 2008-03-19 2011-04-27 Fujinon Corporation Autofocus system
US20110102570A1 (en) * 2008-04-14 2011-05-05 Saar Wilf Vision based pointing device emulation
ITMI20081628A1 (it) * 2008-09-12 2010-03-12 March Networks Corp Inseguimento automatico di un oggetto di interesse mediante una videocamera
JP2010117663A (ja) * 2008-11-14 2010-05-27 Fujinon Corp オートフォーカスシステム
JP5441151B2 (ja) * 2008-12-22 2014-03-12 九州日本電気ソフトウェア株式会社 顔画像追跡装置及び顔画像追跡方法並びにプログラム
JP2010200084A (ja) * 2009-02-26 2010-09-09 Nikon Corp 撮像装置
JP5325012B2 (ja) * 2009-04-27 2013-10-23 株式会社第一興商 歌唱者画像撮影機能を有するカラオケシステム
JP5434339B2 (ja) * 2009-07-29 2014-03-05 ソニー株式会社 撮像制御装置、撮像システム、撮像方法、プログラム
JP5390322B2 (ja) * 2009-09-28 2014-01-15 株式会社東芝 画像処理装置、及び画像処理方法
US8675066B2 (en) 2009-10-02 2014-03-18 Alarm.Com Incorporated Image surveillance and reporting technology
US9386281B2 (en) 2009-10-02 2016-07-05 Alarm.Com Incorporated Image surveillance and reporting technology
GB2474536B (en) 2009-10-13 2011-11-02 Pointgrab Ltd Computer vision gesture based control of a device
GB2476097A (en) * 2009-12-11 2011-06-15 Tony Jones A portable communication device for evaluating an environment
JP5495855B2 (ja) * 2010-03-01 2014-05-21 キヤノン株式会社 映像処理装置及び映像処理方法
JP5911201B2 (ja) * 2011-04-20 2016-04-27 キヤノン株式会社 カメラ装置の自動追尾制御装置及びそれを有する自動追尾カメラシステム
WO2012170898A2 (en) * 2011-06-09 2012-12-13 Utah State University Research Foundation Systems and methods for sensing occupancy
KR101381439B1 (ko) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
KR101288248B1 (ko) * 2011-12-09 2013-07-26 정영규 프라이버시 마스킹용 휴먼 추적 시스템 및 방법
US8704904B2 (en) 2011-12-23 2014-04-22 H4 Engineering, Inc. Portable system for high quality video recording
US9615015B2 (en) * 2012-01-27 2017-04-04 Disney Enterprises, Inc. Systems methods for camera control using historical or predicted event data
US9781336B2 (en) * 2012-01-30 2017-10-03 Panasonic Intellectual Property Management Co., Ltd. Optimum camera setting device and optimum camera setting method
US9124800B2 (en) * 2012-02-13 2015-09-01 Htc Corporation Auto burst image capture method applied to a mobile device, method for tracking an object applied to a mobile device, and related mobile device
EP2820837A4 (en) 2012-03-01 2016-03-09 H4 Eng Inc APPARATUS AND METHOD FOR AUTOMATIC VIDEO RECORDING
US9723192B1 (en) 2012-03-02 2017-08-01 H4 Engineering, Inc. Application dependent video recording device architecture
US9313394B2 (en) 2012-03-02 2016-04-12 H4 Engineering, Inc. Waterproof electronic device
US8938124B2 (en) * 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
US9256781B2 (en) * 2012-05-10 2016-02-09 Pointguard Ltd. System and method for computer vision based tracking of an object
JP6089549B2 (ja) * 2012-10-05 2017-03-08 富士ゼロックス株式会社 情報処理装置、情報処理システム、およびプログラム
KR102014285B1 (ko) * 2012-10-24 2019-11-04 주식회사 케이티 다중 카메라를 이용하여 객체의 이동을 추적하는 객체 추적 시스템 및 객체 추적 방법
US9381445B2 (en) * 2013-03-15 2016-07-05 Zebra Innovations, LLC Distance detector
JP6316023B2 (ja) * 2013-05-17 2018-04-25 キヤノン株式会社 カメラシステム及びカメラ制御装置
KR101292907B1 (ko) 2013-06-13 2013-08-02 정영규 프라이버시 마스킹용 휴먼 추적 시스템 및 방법
JP6481249B2 (ja) * 2013-07-29 2019-03-13 オムロン株式会社 プログラマブル表示器、制御方法、およびプログラム
JP5683663B1 (ja) * 2013-09-27 2015-03-11 パナソニックＩｐマネジメント株式会社 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法
CN106062828B (zh) * 2013-12-09 2019-04-09 T·马丁 用于事件计时和摄影术的系统和方法
JP6056774B2 (ja) * 2014-01-17 2017-01-11 ソニー株式会社 撮像装置と撮像方法およびプログラム。
WO2015151449A1 (ja) * 2014-03-31 2015-10-08 日本電気株式会社 画像処理システム、画像処理装置、画像処理方法および記録媒体
US10070077B2 (en) * 2014-09-26 2018-09-04 Sensormatic Electronics, LLC System and method for automated camera guard tour operation
TWI537842B (zh) * 2014-09-30 2016-06-11 廣達電腦股份有限公司 人流計數系統
US11973813B2 (en) 2014-10-15 2024-04-30 Benjamin Nowak Systems and methods for multiple device control and content curation
US9704531B2 (en) * 2014-10-15 2017-07-11 Benjamin Nowak Creating composition of content captured using plurality of electronic devices
US10362075B2 (en) 2015-10-14 2019-07-23 Benjamin Nowak Presenting content captured by a plurality of electronic devices
JP6597643B2 (ja) * 2015-02-05 2019-10-30 株式会社リコー 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP6364372B2 (ja) * 2015-03-24 2018-07-25 トヨタホーム株式会社 地域監視システム
TWI562642B (en) * 2015-06-24 2016-12-11 Vivotek Inc Image surveillance method and image surveillance device thereof
JP2017033358A (ja) 2015-08-03 2017-02-09 富士ゼロックス株式会社 認証装置
US20170039010A1 (en) * 2015-08-03 2017-02-09 Fuji Xerox Co., Ltd. Authentication apparatus and processing apparatus
JP6674247B2 (ja) * 2015-12-14 2020-04-01 キヤノン株式会社 情報処理装置、情報処理方法、およびコンピュータプログラム
CN107623836A (zh) * 2016-07-15 2018-01-23 中国电信股份有限公司 用于处理抓拍人脸的方法、装置和系统
CN107666590B (zh) * 2016-07-29 2020-01-17 华为终端有限公司 一种目标监控方法、摄像头、控制器和目标监控系统
GB2556344A (en) 2016-10-17 2018-05-30 Nctech Ltd Camera controller
KR102286006B1 (ko) * 2016-11-23 2021-08-04 한화디펜스 주식회사 추종 장치 및 추종 시스템
US10136049B2 (en) * 2017-01-09 2018-11-20 International Business Machines Corporation System, method and computer program product for contextual focus/zoom of event celebrities
KR20180092621A (ko) * 2017-02-10 2018-08-20 엘지전자 주식회사 단말기 및 그 제어 방법
DE112018004673T5 (de) 2017-10-22 2020-06-18 Todd Martin System und verfahren zur bilderkennungsregistrierung eines athleten bei einem sportereignis
EP3477941B1 (en) * 2017-10-27 2020-11-25 Axis AB Method and controller for controlling a video processing unit based on the detection of newcomers in a first environment
CN110443833B (zh) * 2018-05-04 2023-09-26 佳能株式会社 对象跟踪方法和设备
JP7246029B2 (ja) * 2018-06-11 2023-03-27 パナソニックＩｐマネジメント株式会社 撮像制御装置、撮像制御方法、及びプログラム
CN109034063A (zh) * 2018-07-27 2018-12-18 北京微播视界科技有限公司 人脸特效的多人脸跟踪方法、装置和电子设备
JP6675564B1 (ja) * 2019-05-13 2020-04-01 株式会社マイクロネット 顔認識システム、顔認識方法及び顔認識プログラム
DE102019216003B4 (de) 2019-10-17 2022-04-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optisches Sicherheitsmerkmal geeignet für Track & Trace- und/oder Serialisierungssysteme
KR20210074915A (ko) * 2019-12-12 2021-06-22 현대자동차주식회사 안면 인식 잠금 해제 장치 및 그것의 동작방법
DE102020131382A1 (de) 2020-11-26 2022-06-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Methode zur Kennzeichnung von Produkten mit optischem Sicherheitsmerkmal mit zeitlicher Dimension

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04126473A (ja) * 1990-09-18 1992-04-27 Toshiba Corp 自動追尾カメラ装置
JPH06339056A (ja) 1993-05-31 1994-12-06 Oki Electric Ind Co Ltd ビデオカメラ駆動装置
JPH09331520A (ja) 1996-06-13 1997-12-22 Nippon Telegr & Teleph Corp <Ntt> 自動追跡システム
GB2343945B (en) 1998-11-18 2001-02-28 Sintec Company Ltd Method and apparatus for photographing/recognizing a face
JP3656823B2 (ja) 2000-09-04 2005-06-08 三菱電機株式会社 自動監視方法および自動監視装置
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
JP3999561B2 (ja) 2002-05-07 2007-10-31 松下電器産業株式会社 監視システムと監視カメラ
JP2004040514A (ja) 2002-07-04 2004-02-05 Nippon Hoso Kyokai <Nhk> 自動追尾撮像装置及び自動追尾撮像方法
JP4036051B2 (ja) * 2002-07-30 2008-01-23 オムロン株式会社 顔照合装置および顔照合方法
JP2004129049A (ja) * 2002-10-04 2004-04-22 Matsushita Electric Ind Co Ltd カメラ装置及びカメラシステム並びにこのカメラシステムの制御方法
JP4195991B2 (ja) * 2003-06-18 2008-12-17 パナソニック株式会社 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ
JP2005020205A (ja) 2003-06-24 2005-01-20 Casio Comput Co Ltd 画像撮影装置
US7574016B2 (en) * 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
JP2005086626A (ja) * 2003-09-10 2005-03-31 Matsushita Electric Ind Co Ltd 広域監視装置
JP4478510B2 (ja) 2004-06-03 2010-06-09 キヤノン株式会社 カメラシステム、カメラ、及びカメラの制御方法
US7760917B2 (en) * 2005-05-09 2010-07-20 Like.Com Computer-implemented method for performing similarity searches

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310185A (zh) * 2012-03-15 2013-09-18 欧姆龙株式会社 监视装置以及可靠度计算方法
CN103347117A (zh) * 2013-05-31 2013-10-09 东莞宇龙通信科技有限公司 通信终端的拍摄方法及通信终端
CN104573617A (zh) * 2013-10-28 2015-04-29 季春宏 一种摄像控制方法
CN104573617B (zh) * 2013-10-28 2018-10-02 杭州慧知连科技有限公司 一种摄像控制方法
US10909355B2 (en) 2016-03-02 2021-02-02 Tinoq, Inc. Systems and methods for efficient face recognition
US10728694B2 (en) 2016-03-08 2020-07-28 Tinoq Inc. Systems and methods for a compound sensor system
CN109479181B (zh) * 2016-03-30 2020-12-01 蒂诺克股份有限公司 用于用户检测和识别的系统和方法
CN109479181A (zh) * 2016-03-30 2019-03-15 蒂诺克股份有限公司 用于用户检测和识别的系统和方法
US10970525B2 (en) 2016-03-30 2021-04-06 Tinoq Inc. Systems and methods for user detection and recognition
CN110785775B (zh) * 2017-07-07 2023-12-01 三星电子株式会社 用于光学跟踪的系统和方法
CN110785775A (zh) * 2017-07-07 2020-02-11 三星电子株式会社 用于光学跟踪的系统和方法
US11263418B2 (en) 2018-08-21 2022-03-01 Tinoq Inc. Systems and methods for member facial recognition based on context information
CN111383251A (zh) * 2018-12-28 2020-07-07 杭州海康威视数字技术股份有限公司 一种跟踪目标对象的方法、装置、监控设备和存储介质
CN110892412A (zh) * 2019-05-13 2020-03-17 微网股份有限公司 脸部辨识系统、脸部辨识方法及脸部辨识程序
CN110892412B (zh) * 2019-05-13 2024-01-19 微网股份有限公司 脸部辨识系统、脸部辨识方法及脸部辨识程序
CN110245630B (zh) * 2019-06-18 2023-02-17 广东中安金狮科创有限公司 监控数据处理方法、装置及可读存储介质
CN110245630A (zh) * 2019-06-18 2019-09-17 广东中安金狮科创有限公司 监控数据处理方法、装置及可读存储介质
CN110809116A (zh) * 2019-11-04 2020-02-18 上海摩象网络科技有限公司 一种拍摄追踪的方法、装置、电子设备
CN110691197A (zh) * 2019-11-04 2020-01-14 上海摩象网络科技有限公司 一种拍摄追踪的方法、装置、电子设备
CN114356088A (zh) * 2021-12-30 2022-04-15 纵深视觉科技(南京)有限责任公司 一种观看者跟踪方法、装置、电子设备及存储介质
CN114356088B (zh) * 2021-12-30 2024-03-01 纵深视觉科技(南京)有限责任公司 一种观看者跟踪方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20090096871A1 (en) 2009-04-16
EP1998567A4 (en) 2013-05-15
WO2007119355A1 (ja) 2007-10-25
EP1998567A1 (en) 2008-12-03
KR20080103586A (ko) 2008-11-27
US8599267B2 (en) 2013-12-03
CN101401426B (zh) 2010-12-01
JP4957721B2 (ja) 2012-06-20
JPWO2007119355A1 (ja) 2009-08-27
EP1998567B1 (en) 2016-04-27
KR101001060B1 (ko) 2010-12-14

Similar Documents

Publication Publication Date Title
CN101401426B (zh) 跟踪装置、跟踪方法
US10489656B2 (en) Methods and systems for ball game analytics with a mobile device
US8208028B2 (en) Object verification device and object verification method
US9336456B2 (en) Systems, methods and computer program products for identifying objects in video data
CN1905629B (zh) 摄像装置和摄像方法
CN107438173A (zh) 视频处理装置、视频处理方法和存储介质
CN108292364A (zh) 在全向视频中的跟踪感兴趣对象
CN105354543A (zh) 视频处理方法及装置
JP2022522070A (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
JP2007158421A (ja) 監視カメラシステム及び顔画像追跡記録方法
US20080151049A1 (en) Gaming surveillance system and method of extracting metadata from multiple synchronized cameras
CN106331504A (zh) 拍摄方法及装置
JP2007300363A (ja) 監視装置および方法、並びにプログラム
CN109254662A (zh) 移动设备操作方法、装置、计算机设备及存储介质
JP2015138449A (ja) 個人認証装置、個人認証方法及びプログラム
US20160065900A1 (en) Processing method and system for video playback
CN111596760A (zh) 操作控制方法、装置、电子设备及可读存储介质
JP7020567B2 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
KR20210084447A (ko) 목표 추적 방법, 장치, 전자 디바이스 및 기록 매체
CN113302906A (zh) 图像处理设备、图像处理方法、计算机程序和存储介质
EP3859420A1 (en) Photographing control system, photographing control method, control device, control method, and storage medium
JP2022058833A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP2008264482A (ja) 分散型監視カメラシステム
CN116234614A (zh) 通过可穿戴设备的逐场预测
US20230215015A1 (en) Tracking device, tracking method, and recording medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant