JP2011192092A - 対象物追跡装置、対象物追跡方法、および制御プログラム - Google Patents

Abstract

【課題】対象物の周囲に対象物の類似物が存在する場合においても、対象物を正確に追跡することができる対象物追跡装置を実現する。
【解決手段】本発明に係る物体追跡装置は、現フレームの前のフレームにおける、対象物と、対象物と同様の特徴を有する類似物との位置関係から追跡状態を判定する状態判定部３１と、現フレームにおける対象物の位置を特定する対象物探索部３３と、対象物の周辺の所定の領域である周辺領域に類似物が存在する場合、現フレームにおける類似物の位置を特定する周辺探索部３７とを備え、追跡状態が「重なり」である場合、対象物予測部４１は、前のフレームにおける、対象物の位置と対象物の運動状態とに基づいて、現フレームにおける対象物の位置を予測して対象物の位置を特定し、追跡状態が「重なり」ではない場合、対象物探索部３３は、現フレームの画像から対象物を探索して対象物の位置を特定する。
【選択図】図２

Description

本発明は、動画像の中の対象物を追跡する技術に関する。

従来より、動画像の中の人物または物等の物体の動きを追跡する技術が利用されている。例えば、デジタルカメラ、デジタルビデオカメラ、または携帯電話等の動画撮影において、一度対象物に焦点を合わせると、その対象物を追跡してその対象物に焦点を合わせ続ける技術がある。

物体追跡は、あるフレームの画像から追跡する物体を決定するための初期化処理、および、初期化処理において決定した追跡対象物と類似する物体（領域）を、次フレーム以降の画像から探索する探索処理からなる。初期化処理では、タッチパネルで画像の中の領域を指定する、または、周知の顔・人物検出等を用いることによって、画像の一部の領域を追跡対象物として指定することができる。また、初期化処理では、指定した追跡対象物の特徴を示すテンプレートの作成が行われる。探索処理では、テンプレートとの類似度を用いて、次フレームの画像における追跡対象物を探索する。また、探索処理では、次フレームの画像における追跡対象物に応じて、テンプレートを更新する。

テンプレートの作成方法としては、追跡対象物の色分布またはエッジ分布等を、画像の追跡対象物の領域から得る方法（特許文献１）、または、追跡対象物とその周囲の領域とを区別するために有効な情報を、画像の追跡対象物の領域およびその周囲の領域とから得る方法（非特許文献１）等がある。

特許文献１には、過去の画像の中の追跡対象物の色の分布をテンプレートとして記憶しておき、現在の画像におけるテンプレートと類似する領域を勾配法を用いて探索する技術が開示されている。

また、非特許文献１には、追跡対象物とその周囲の領域とを区別するために、画像から追跡対象物と周囲の領域との差を表す情報（例えば、背景の色の情報）を得て、追跡対象物の識別器として学習し、追跡対象物を追跡する技術が開示されている。

米国特許第６，５９０，９９９号明細書（２００３年７月８日登録）

H. Grabner et. al.、"On-line Boosting and Vision"、IEEE. Conf. on Computer Vision and Pattern Recognition、pp.260-267、2006

しかしながら、上記従来の構成では、追跡対象物の近辺に追跡対象物に類似する物体（類似物）が存在する場合、追跡対象物の代わりに誤って類似物を追跡してしまうことがあるという問題が生じる。

特許文献１に記載の技術では、テンプレートは追跡対象物から得られた色またはエッジの分布の情報からなり、テンプレートとの類似度によって類似物を検出し得る。そのため
、類似物が追跡対象物の近辺に存在する場合、誤って類似物を追跡してしまうことがある。

非特許文献１に記載の技術では、追跡対象物に非常に似た類似物が追跡対象物の近辺に存在する場合、追跡対象物とその周辺領域（類似物を含む）とを区別するために有効な情報を抽出することができず、追跡対象物を追跡することができない。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、追跡対象物の周囲に追跡対象物の類似物が存在する場合においても、追跡対象物を正確に追跡することができる対象物追跡装置または対象物追跡方法を実現することにある。

本発明に係る対象物追跡装置は、複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡装置であって、上記の課題を解決するために、現フレームの前のフレームにおける、上記対象物と、上記対象物と同様の特徴を有する類似物との位置関係を判定する位置関係判定部と、現フレームにおける上記対象物の位置を特定する対象物位置特定部と、上記対象物の周辺の所定の領域である周辺領域に上記類似物が存在する場合、現フレームにおける上記類似物の位置を特定する類似物位置特定部とを備え、上記位置関係が第１状態である場合、上記対象物位置特定部は、前のフレームにおける、上記対象物の位置と上記対象物の運動状態とに基づいて、現フレームにおける上記対象物の位置を予測して上記対象物の位置を特定し、上記位置関係が第１状態ではない場合、上記対象物位置特定部は、現フレームの画像から上記対象物を探索して上記対象物の位置を特定することを特徴としている。

本発明に係る対象物追跡方法は、複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡方法であって、上記の課題を解決するために、現フレームの前のフレームにおける、上記対象物と、上記対象物と同様の特徴を有する類似物との位置関係を判定する位置関係判定ステップと、現フレームにおける上記対象物の位置を特定する対象物位置特定ステップと、上記対象物の周辺の所定の領域である周辺領域に上記類似物が存在する場合、現フレームにおける上記類似物の位置を特定する類似物位置特定ステップとを含み、上記対象物位置特定ステップでは、上記位置関係が第１状態である場合、前のフレームにおける、上記対象物の位置と上記対象物の運動状態とに基づいて、現フレームにおける上記対象物の位置を予測して上記対象物の位置を特定し、上記位置関係が第１状態ではない場合、現フレームの画像から上記対象物を探索して上記対象物の位置を特定することを特徴としている。

上記の構成によれば、対象物と類似物との位置関係に応じて、対象物位置特定部の処理を切り替える。そのため、対象物と類似物との位置関係のせいで、対象物を正確に追跡することが困難な場合に、対象物の位置と対象物の運動状態とに基づいて、現フレームにおける対象物の位置を予測することにより、対象物の位置を特定することができる。よって、対象物の周囲に類似物が存在する場合においても、追跡の乗り移りを防ぎ、対象物を正確に追跡することができる。

また、上記位置関係判定部は、上記類似物が上記対象物の近傍の第１範囲内に存在する場合、上記位置関係が第１状態であると判定する構成であってもよい。

上記の構成によれば、対象物の近傍に類似物が存在する場合に、対象物位置特定部は、対象物の位置と対象物の運動状態とに基づいて、現フレームにおける対象物の位置を予測する。よって、対象物の近傍に類似物が存在し、追跡処理を行うと追跡の乗り移りが発生しやすい場合であっても、対象物の運動状態等から対象物の位置を予測することにより、
追跡の乗り移りを防ぎ、対象物を正確に追跡することができる。

また、上記類似物位置特定部は、現フレームの画像から上記類似物を探索して上記類似物の位置を特定してもよい。

また、類似物運動状態特定部を備え、上記位置関係判定部は、上記類似物が第１範囲より外側の第２範囲内に存在する場合、上記位置関係が第２状態であると判定し、上記類似物運動状態特定部は、上記位置関係が第２状態である場合、上記類似物の運動状態を特定し、上記類似物位置特定部は、上記位置関係が第１状態である場合、前のフレームにおける、上記類似物の位置と上記類似物の運動状態とに基づいて、現フレームにおける上記類似物の位置を予測して上記類似物の位置を特定し、上記位置関係が第２状態である場合、現フレームの画像から上記類似物を探索して上記類似物の位置を特定する構成であってもよい。

上記の構成によれば、対象物と類似物とがある程度離れており追跡の乗り移りが発生しにくいと考えられる第２状態において、類似物運動状態特定部が類似物の運動状態を特定し、対象物と類似物とが接近して追跡の乗り移りが発生しやすいと考えられる第１状態において、類似物位置特定部は、類似物の位置と類似物の運動状態とに基づいて、現フレームにおける類似物の位置を予測する。よって、対象物の近傍に類似物が存在し、類似物を正確に探索することができない場合であっても、類似物の運動状態等から類似物の位置を予測することができる。

また、上記位置関係判定部は、上記類似物が第１範囲内にも第２範囲内にも存在しない場合、上記位置関係が第３状態であると判定し、上記類似物位置特定部は、上記位置関係が第３状態である場合、現フレームの画像から上記類似物を探索して上記類似物の位置を特定する構成であってもよい。

また、上記対象物の運動状態を特定する対象物運動状態特定部を備える構成であってもよい。

上記の構成によれば、対象物運動状態特定部が対象物の運動状態を特定するので、対象物位置特定部は、対象物の位置と対象物の運動状態とに基づいて、現フレームにおける対象物の位置を予測することができる。

また、上記位置関係判定部は、上記対象物と上記類似物との距離に応じて、上記位置関係を判定する構成であってもよい。

上記の構成によれば、対象物と類似物との距離に応じて、対象物位置特定部の処理を切り替えることができる。

また、上記運動状態は、速度を示すものであってもよい。

上記の構成によれば、対象物位置特定部は、対象物を正確に追跡することが困難な場合に、対象物の位置と対象物の速度とに基づいて、現フレームにおける対象物の位置を予測することにより、対象物の位置を特定することができる。

本発明に係る対象物追跡装置は、複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡装置であって、上記の課題を解決するために、現フレームの画像から上記対象物を探索して、現フレームにおける上記対象物の位置を特定する対象物位置特定部と、現フレームの画像から上記対象物と同様の特徴を有する類似物を探索して、上記対象
物の周辺の所定の領域である周辺領域に上記類似物が存在する場合、現フレームにおける上記類似物の位置を特定する類似物位置特定部とを備えることを特徴としている。

本発明に係る対象物追跡方法は、複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡方法であって、上記の課題を解決するために、現フレームの画像から上記対象物を探索して、現フレームにおける上記対象物の位置を特定する対象物位置特定ステップと、現フレームの画像から上記対象物と同様の特徴を有する類似物を探索して、上記対象物の周辺の所定の領域である周辺領域に上記類似物が存在する場合、現フレームにおける上記類似物の位置を特定する類似物位置特定ステップとを含むことを特徴としている。

上記の構成によれば、対象物であると誤って認識しやすい類似物をあらかじめ検出し、その位置を特定する。そのため、あるフレームにおいて検出した対象物の候補が類似物であるか否かを、その前のフレームにおける類似物の位置の情報を用いて判断することができる。そのため、追跡の乗り移りを防ぎ、対象物を正確に追跡することができる。例えば、対象物位置特定部は、あるフレームにおける対象物の候補について、１つ前のフレームの類似物からの距離（および１つ前のフレームの対象物からの距離）に応じて、当該候補が対象物であることの尤度を算出し、当該尤度に基づいて当該候補が対象物であるか否かを判断してもよい。

また、現フレームの画像から上記対象物を特徴付ける情報を抽出して、抽出した上記対象物を特徴付ける情報を用いて、上記対象物を特徴付ける対象物特徴量を生成する対象物特徴量生成部を備え、上記対象物位置特定部は、前のフレームにおける上記対象物特徴量を用いて、現フレームの画像から上記対象物を探索して、現フレームにおける上記対象物の位置を特定し、上記類似物位置特定部は、上記対象物特徴量を用いて、現フレームの画像から上記類似物を探索して、現フレームにおける上記類似物の位置を特定する構成であってもよい。

上記の構成によれば、対象物の探索に用いるものと同じ対象物特徴量を用いて、類似物の探索を行う。よって、対象物と同じ特徴を有し対象物であると誤認識しやすい類似物のみを、より正確に探索することができる。また、既に生成した対象物特徴量を用いて類似物の探索を行うことができるので、類似物の探索に要する処理時間を短縮することができる。

なお、上記対象物追跡装置は、一部をコンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより上記対象物追跡装置をコンピュータにて実現させる制御プログラム、および上記制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

以上のように、本発明によれば、対象物であると誤って認識しやすい類似物をあらかじめ検出し、その位置を特定する。そのため、あるフレームにおいて検出した対象物の候補が類似物であるか否かを、その前のフレームにおける類似物の位置の情報を用いて判断することができる。そのため、追跡の乗り移りを防ぎ、対象物を正確に追跡することができる。

また、本発明によれば、対象物と類似物との位置関係に応じて、対象物位置特定部の処理を切り替える。そのため、対象物と類似物との位置関係のせいで、対象物を正確に追跡することが困難な場合に、対象物の位置と対象物の運動状態とに基づいて、現フレームにおける対象物の位置を予測することにより、対象物の位置を特定することができる。よっ
て、対象物の周囲に類似物が存在する場合においても、追跡の乗り移りを防ぎ、対象物を正確に追跡することができる。

本発明の一実施の形態に係る物体追跡システムの概略構成を示すブロック図である。 上記物体追跡システムの追跡部の構成を示すブロック図である。 （ａ）は、あるフレームの画像についての追跡処理の例を示す図であり、（ｂ）は、その次のフレームの画像についての追跡処理の例を示す図である。 物体追跡装置における対象物の追跡処理の流れの概要を示すフローチャートである。 初期化部における初期化処理の流れを示すフローチャートである。 追跡部における追跡処理の流れを示すフローチャートである。 追跡部における追跡処理の流れを示すフローチャートである。 対象物と類似物との位置関係の例を示す図であり、（ａ）は、追跡状態が「安全」である位置関係を示す例であり、（ｂ）は、追跡状態が「近接」である位置関係を示す例であり、（ｃ）は、追跡状態が「重なり」である位置関係を示す例である。 周辺領域の例を示す図である。

本実施の形態では、デジタルビデオカメラに搭載され、撮像された動画像の中の対象物を追跡して対象物に焦点を合わせ続ける物体追跡システムについて説明するが、本発明はこれに限定されるものではない。以下、本実施の形態について、図１〜９を参照して詳細に説明する。

＜物体追跡システムの構成＞
図１は、本実施の形態に係る物体追跡システム１の概略構成を示すブロック図である。物体追跡システム１は、撮像装置２、焦点制御装置３、および物体追跡装置（対象物追跡装置）１０を備える。

撮像装置２は、動画像を撮像するものである。撮像装置２は、例えば、ＣＣＤ（charge
coupled device）またはＣＭＯＳ（complementary metal oxide semiconductor）撮像素子等の撮像素子によって構成される。本実施の形態では、撮像装置２は、１秒間に３０フレームの画像を撮像する。撮像装置２は、撮像した動画像を複数のフレームからなる時系列に並ぶ画像として物体追跡装置１０に出力する。

物体追跡装置１０は、時系列の画像から追跡対象である対象物を追跡し、画像中における対象物の位置を、焦点制御装置３に出力する。物体追跡装置１０の詳細な構成は後述する。

焦点制御装置３は、物体追跡装置１０から入力された画像中における対象物の位置に基づいて、撮像装置２の焦点を調節する。

次に、物体追跡装置１０の詳細構成について説明する。物体追跡装置１０は、画像取得部１１、記憶部１２、初期化部１３、および追跡部１４を備える。初期化部１３は、追跡対象となる画像中の対象物を特定するものであり、追跡部１４は、時系列の画像中の対象物を追跡するものである。

画像取得部１１は、撮像装置２から時系列の画像（画像データ）を順番に取得して、時系列の画像を記憶部１２に記憶させる。

記憶部１２は、各種の情報を記憶するものであり、例えばＨＤＤ（Hard Disk Drive）
、フラッシュメモリ等の記憶デバイスによって構成される。記憶部１２は、画像取得部１１が取得した複数のフレームの画像を記憶する。また、記憶部１２は、初期化部１３および追跡部１４が出力する各種の情報を記憶する。

＜初期化部の構成＞
初期化部１３は、対象物指定部２１、初期対象物探索部（対象物位置特定部）２２、初期対象物テンプレート生成部（対象物特徴量生成部）２３、初期周辺領域決定部２４、初期周辺探索部（類似物位置特定部）２５、および初期類似物テンプレート生成部（類似物特徴量生成部）２６を備える。

対象物指定部２１は、画像の中の追跡対象となる対象物を特定するものである。対象物指定部２１は、例えば、画像の中のいずれの位置に追跡対象となる対象物が存在するかを示す情報の入力を受け付ける。例えば、デジタルビデオカメラはタッチパネルが備えられた表示装置によって撮像している画像を利用者に提示し、利用者は、タッチパネルによって追跡対象となる対象物が存在する位置を指定する。対象物指定部２１は、指定された位置の情報を初期対象物探索部２２に出力する。

なお、対象物指定部２１は、対象物が存在する領域を示す情報を受け付けてもよい。

初期対象物探索部２２は、対象物指定部２１において指定された位置に基づき、画像から対象物を探索することにより、対象物が存在する位置（または対象物が存在する領域）を特定する。具体的には、初期対象物探索部２２は、記憶部１２からある時点（例えば最新）のフレームの画像を取得する。初期化部１３における以下の処理は、当該フレームの画像について行われる。初期対象物探索部２２は、指定された位置を含む所定の領域、例えば指定された位置を中心とする１００×１００ピクセルの領域について、顔検出を行う。この顔検出については周知の技術を利用することができる。初期対象物探索部２２は、検出された顔が含まれる矩形の領域を対象物が存在する対象物領域とし、対象物領域の中心の座標を対象物の位置とする。例えば検出された顔の像が大きければ、対象物領域はより大きく設定される。初期対象物探索部２２は、対象物の位置および対象物領域（の幅と高さ）の情報を初期対象物テンプレート生成部２３および初期周辺領域決定部２４に出力する。また、初期対象物探索部２２は、対象物の位置および対象物領域の情報を、当該フレームと対応付けて記憶部１２に記憶させる。

なお、初期対象物探索部２２は、顔検出の代わりに人物検出を行ってもよいし、他の特徴点を抽出する処理を行ってもよい。また、対象物領域は、円形等の他の形状の領域でもよいし、所定の大きさの領域でもよい。

また、対象物指定部２１は、特定の条件の入力を受け付け、初期対象物探索部２２は、その条件に基づいて対象物を検出してもよい。例えば、対象物指定部２１が「顔を対象物にする」という条件の入力を受け付けた場合、初期対象物探索部２２は、画像全体に渡って顔検出を行い、検出された顔のいずれかを対象物とする。対象物指定部２１が「四角い物体を対象物にする」という条件の入力を受け付けた場合、同様に、初期対象物探索部２２は、画像から検出された四角い物体のいずれかを対象物とする。

初期対象物テンプレート生成部２３は、対象物を特徴付ける特徴量を抽出して、対象物を特徴付けるテンプレートを生成する。具体的には、初期対象物テンプレート生成部２３は、対象物領域に含まれる画像からテンプレートを生成する。テンプレートは、例えば色の分布またはエッジの分布等の、対象物に特徴的な特徴量を含む。このテンプレートを用
いて勾配法等の追跡処理を行うことで、次フレームの画像における対象物を追跡することができる。なお、テンプレートの生成については、周知の技術を利用することができる。初期対象物テンプレート生成部２３は、生成した対象物のテンプレートを、当該フレームと対応付けて記憶部１２に記憶させる。

初期周辺領域決定部２４は、対象物に類似する類似物を探索する領域を決定する。具体的には、初期周辺領域決定部２４は、対象物領域の周囲の所定の領域を類似物を探索する領域（周辺領域）として決定する。初期周辺領域決定部２４は、周辺領域の情報を初期周辺探索部２５に出力する。

初期周辺探索部２５は、周辺領域を探索することにより、対象物の周囲に対象物に類似する類似物が存在するか否かを調べる。例えば、初期周辺探索部２５は、初期対象物テンプレート生成部２３が生成した対象物のテンプレートを用いて、周辺領域においてテンプレートと類似する領域を探索することにより、周辺領域から類似物の探索を行う。初期周辺探索部２５は、検出した類似物の位置および類似物が存在する領域（類似物領域）を特定し、類似物の位置および類似物領域の情報を、当該フレームと対応付けて記憶部１２に記憶させる。なお、周辺領域において複数の類似物を検出した場合、初期周辺探索部２５は、複数の類似物の全ての位置および類似物領域の情報を記憶部１２に記憶させる。また、初期周辺探索部２５は、類似物の位置および類似物領域の情報を初期類似物テンプレート生成部２６に出力する。

また、初期周辺探索部２５は、初期対象物探索部２２が行う検出方法（顔検出）と同様の方法（同様の特徴を検出する方法）を用いることにより、対象物に類似する（対象物と同様の特徴を有する）類似物の検出を行うことができる。例えば、初期周辺探索部２５は、周辺領域において顔検出を行うことにより、対象物の周囲の周辺領域に存在する対象物とは異なる顔の像を検出してもよい。

なお、初期周辺領域決定部２４が、画像全体を、類似物を探索する周辺領域として決定し、初期周辺探索部２５が、画像全体から対象物以外の類似物を探索してもよい。

初期類似物テンプレート生成部２６は、検出された各類似物についてのテンプレートを生成する。テンプレートの生成処理については初期対象物テンプレート生成部２３と同様の方法を用いることができる。初期類似物テンプレート生成部２６は、生成した類似物のテンプレートを当該フレームと対応付けて記憶部１２に記憶させる。

以上により、あるフレームの画像における、対象物の位置、対象物領域、対象物のテンプレート、類似物の位置、類似物領域、および類似物のテンプレートの情報が、初期化部１３によって記憶部１２に記憶される。これらの情報を基に、追跡部１４は、次フレーム以降において対象物の追跡を行う。

＜追跡部の構成＞
図２は、追跡部１４の構成を示すブロック図である。追跡部１４は、状態判定部（位置関係判定部）３１、探索領域決定部３２、対象物探索部（対象物位置特定部）３３、対象物運動情報生成部（対象物運動状態特定部）３４、対象物テンプレート生成部（対象物特徴量生成部）３５、周辺領域決定部３６、周辺探索部（類似物位置特定部）３７、類似物テンプレート生成部（類似物特徴量生成部）３９、出力部４０、および対象物予測部（対象物位置特定部）４１を備える。

画像取得部１１は、初期化部１３において追跡対象となる対象物を特定した画像の次のフレームの画像を、撮像装置２から取得して記憶部１２に記憶させる。追跡部１４は、こ
の画像の中の対象物を追跡する。以降では、追跡部１４において追跡処理を行う処理対象のフレームを現フレームと称し、現フレームの画像を処理対象画像と称する。

状態判定部３１は、現フレームの１つ前のフレームにおける対象物の位置、対象物領域、類似物の位置、および類似物領域から、対象物と、その周囲に存在する類似物との位置関係を判定する。

現フレームの１つ前のフレームにおいて、対象物の周辺領域に類似物が検出されなかった場合、追跡対象を誤って類似物を追跡してしまう「追跡の乗り移り」が起こりやすい物体が対象物の近辺に存在しなかったと考えられる。通常、１フレームまたは数フレームにおける画像の中の物体の移動量は大きくないと想定されるので、現フレームの１つ前のフレームにおいて、対象物の周辺領域に類似物が検出されなかった場合は、通常の追跡処理を行うことによって対象物を追跡することができる。現フレームの１つ前のフレームにおいて、対象物の周辺領域に類似物が検出されなかった場合、状態判定部３１は、対象物と類似物との位置関係を示す追跡状態を「安全」と判定する。追跡状態「安全」は、通常の追跡処理を行っても追跡の乗り移りが起こるおそれがない（起こる可能性が低い）状態を示す。

また、対象物と類似物とが所定の距離より離れている場合も、通常の追跡処理を行っても追跡の乗り移りが起こる可能性が低い。そのため、対象物と類似物とが所定の距離より離れている場合、状態判定部３１は、対象物と類似物との位置関係を示す追跡状態を「安全」と判定する。

対象物と類似物とが所定の距離以内に近づいている（類似物が対象物の周囲の所定の範囲内に存在する）場合、すなわち対象物と類似物とが近接している場合、状態判定部３１は、対象物と類似物との位置関係を示す追跡状態を「近接」と判定する。追跡状態「近接」は、通常の追跡処理を行って対象物を追跡することができるものの、追跡処理によって追跡の乗り移りが起こり得る類似物が対象物の近辺に存在する状態を示す。

対象物と類似物とが重なっている（類似物が対象物の近傍の所定の範囲内に存在する）場合、状態判定部３１は、対象物と類似物との位置関係を示す追跡状態を「重なり」と判定する。追跡状態「重なり」は、通常の追跡処理を行うと対象物から類似物へ追跡の乗り移りが起こり得る状態を示す。

なお、対象物と類似物との位置関係について、対象物を含む対象物の近傍の所定の範囲（第１範囲）内に類似物が存在する場合に「重なり」と判定し、第１範囲の外側の所定の範囲（第２範囲）内に類似物が存在する場合に「近接」と判定し、第１範囲にも第２範囲にも類似物が存在しない場合に「安全」と判定してもよい。また、対象物と類似物との位置関係は、例えば、対象物領域の中心の位置と類似物領域の中心の位置との距離によって判定してもよいし、対象物領域と類似物領域との間隔（隙間）によって判定してもよいし、対象物領域と類似物領域とが重なる面積によって判定してもよい。追跡状態の判定の詳細な処理は後述する。

追跡状態が「安全」または「近接」の場合、状態判定部３１は、追跡状態の情報を探索領域決定部３２に出力し、追跡部１４は、追跡処理を行って現フレームにおける対象物および類似物の追跡を行う。

追跡状態が「重なり」の場合、状態判定部３１は、追跡状態の情報を対象物予測部４１に出力し、追跡部１４は、通常の追跡処理を行わず、過去のフレームにおける対象物の動きから現フレームにおける対象物の位置を予測する。また、追跡部１４は、類似物につい
て、予測した対象物の位置の周辺に存在する類似物を探索する、または、過去のフレームにおける類似物の動きから現フレームにおける類似物の位置を予測することにより、類似物の位置を特定する。

追跡状態が「安全」または「近接」の場合、探索領域決定部３２は、処理対象画像における対象物の探索を行う領域を決定する。例えば、探索領域決定部３２は、１つ前のフレームにおける対象物の位置を中心とした１つ前のフレームにおける対象物領域の縦横２倍（面積は４倍）の矩形の領域を、対象物探索領域として決定する。探索領域決定部３２は、対象物探索領域の情報を対象物探索部３３に出力する。

対象物探索部３３は、対象物探索領域について、１つ前のフレームにおける対象物のテンプレートを用いて、勾配法によって現フレームにおける対象物の位置および対象物が存在する対象物領域を特定する。追跡状態が「安全」または「近接」であれば、対象物と類似物とはある程度離れている。そのため、対象物探索領域に類似物が存在する場合でも、勾配法によって特定される物体（対象物の候補）の、１つ前のフレームにおける対象物の位置からの距離等に応じてスコア（対象物であることの尤度）を算出し、スコアに応じて対象物を決定して追跡することができる。また、対象物の候補の、１つ前のフレームにおける類似物の位置からの距離等に応じてスコア（類似物であることの尤度）を算出し、対象物に関するスコアと類似物に関するスコアとに応じて対象物を決定してもよい。スコアの算出については、周知の技術を利用することができる。また、対象物探索部３３は、複数のテンプレートを用いてテンプレート毎に対象物の探索を行い、スコア等に応じて対象物の位置を特定してもよい。複数のテンプレートとは、例えば、記憶部１２が記憶する過去の複数のフレームにおける対象物のテンプレートである。なお、対象物探索部３３の追跡処理では、パーティクルフィルタ等の、他の一般的な物体追跡の方法を利用することができる。ここでは、対象物探索部３３は、対象物を含む矩形の領域を対象物領域として特定するが、初期対象物探索部２２と同様に、対象物領域の形状はこれに限らない。対象物探索部３３は、特定した現フレームにおける対象物の位置および対象物領域の情報を、現フレームと対応付けて記憶部１２に記憶させる。また、対象物探索部３３は、現フレームにおける対象物の位置および対象物領域の情報を、対象物運動情報生成部３４、対象物テンプレート生成部３５、周辺領域決定部３６、および出力部４０に出力する。

対象物運動情報生成部３４は、現フレームの処理対象画像および現フレームより前のフレームにおける画像から得た対象物の位置に基づき、対象物の動き（運動状態）を特定し、運動状態の情報を生成する。具体的には、対象物運動情報生成部３４は、現フレームにおける対象物の位置と、現フレームの前の複数のフレームにおける対象物の位置とから、複数フレームの間の対象物の画像の中での平均速度を求める。対象物運動情報生成部３４は、求めた平均速度を対象物の運動状態として記憶部１２に記憶させる。

なお、対象物運動情報生成部３４は、他の方法によって対象物の速度を示す量を求めてもよいし、運動状態として対象物の速度と平均加速度とを求めてもよい。

対象物テンプレート生成部３５は、現フレームの処理対象画像における対象物を特徴付ける特徴量を抽出して、対象物を特徴付けるテンプレートを生成する。対象物テンプレート生成部３５のテンプレートの生成は、初期対象物テンプレート生成部２３と同様の方法で行うことができる。対象物テンプレート生成部３５は、生成した対象物のテンプレートを現フレームと対応付けて記憶部１２に記憶させ、生成した対象物のテンプレートを周辺探索部３７に出力する。

なお、対象物のテンプレートは、処理対象画像から得られた特徴量と過去のフレームの画像から得られた特徴量とを混合して（例えば平均して）生成してもよい。

周辺領域決定部３６は、対象物に類似する類似物を探索する領域を決定する。周辺領域決定部３６は、初期周辺領域決定部２４と同様に、現フレームにおける対象物領域の周囲の所定の領域を類似物を探索する領域（周辺領域）として決定する。周辺領域は、対象物探索領域と重なっていてもよく、また複数の領域に分かれていてもよい。周辺領域決定部３６は、現フレームにおける周辺領域、対象物の位置、および対象物領域の情報を周辺探索部３７に出力する。

周辺探索部３７は、周辺領域を探索することにより、対象物の周囲に類似物が存在するか否かを調べる。追跡状態が「近接」である場合、周辺探索部３７は、記憶部１２に記憶されている１つ前のフレームにおける類似物の位置に基づいて、１つ前のフレームの類似物のテンプレートを用いて勾配法等の追跡処理を行うことによって類似物を追跡する。類似物の追跡に失敗した場合（例えば類似物が周辺領域の外に移動した場合等）は、該類似物の追跡を終了する。なお、類似物の追跡は、対象物のテンプレートを用いて行ってもよい。また、新たな類似物が対象物に接近していないかを調べるために、追跡状態が「近接」または「安全」の場合、周辺探索部３７は、対象物のテンプレートを用いて周辺領域を探索することにより、周辺領域に存在する類似物を検出する。周辺探索部３７は、検出した（または追跡した）類似物の位置および類似物が存在する領域（類似物領域）を特定し、類似物の位置および類似物領域の情報を、現フレームと対応付けて記憶部１２に記憶させる。なお、周辺領域において複数の類似物を検出した場合、周辺探索部３７は、複数の類似物の全ての位置および類似物領域の情報を記憶部１２に記憶させる。また、周辺探索部３７は、類似物の位置および類似物領域の情報を類似物テンプレート生成部３９に出力する。

なお、周辺探索部３７の類似物の探索は、初期周辺探索部２５と同様の方法で行ってもよい。また、類似物のテンプレートを用いずに、周辺探索部３７が対象物のテンプレートを用いて類似物の追跡・探索を行ってもよく、この場合、類似物のテンプレートの生成（類似物テンプレート生成部３９）が必要なくなるので、追跡部１４の処理が早くなる。

類似物テンプレート生成部３９は、現フレームの処理対象画像における類似物を特徴付ける特徴量を抽出して、各類似物を特徴付けるテンプレートを生成する。類似物テンプレート生成部３９のテンプレートの生成は、初期類似物テンプレート生成部２６と同様の方法で行うことができる。類似物テンプレート生成部３９は、生成した類似物のテンプレートを現フレームと対応付けて記憶部１２に記憶させる。

出力部４０は、現フレームにおける対象物の位置および対象物領域の情報を、焦点制御装置３に出力する。

追跡状態が「重なり」の場合、対象物予測部４１は、記憶部１２が記憶する対象物の運動状態から、現フレームにおける対象物の位置および対象物領域を推定する。例えば、１つ前のフレームにおける対象物の位置と、対象物の速度とから、現フレームの処理対象画像における対象物の位置を予測する。また、対象物予測部４１は、対象物領域の大きさについては、１つ前のフレームにおける対象物領域の大きさのままであると予測する。なお、対象物予測部４１は、対象物領域の大きさを、過去の複数のフレームにおける対象物領域の大きさの変化の履歴から、現フレームにおける対象物領域の大きさを予測してもよい。対象物予測部４１は、推定した対象物の位置および対象物領域の情報を、現フレームと対応付けて記憶部１２に記憶させる。また、対象物予測部４１は、推定した対象物の位置および対象物領域の情報を、出力部４０、および周辺領域決定部３６に出力する。

追跡状態が「重なり」の場合、周辺領域決定部３６は、推定された対象物の位置および
対象物領域に応じて周辺領域を決定し、周辺探索部３７は、周辺領域の類似物を探索する。周辺探索部３７は、検出された物体（類似物）について、その位置および類似物領域の情報を記憶部１２に記憶させ、類似物テンプレート生成部３９に出力する。このとき、推定された対象物の位置を含む所定の範囲内で検出された物体については、対象物である可能性がある。しかしながら、対象物予測部４１が、対象物の位置を過去の対象物の運動状態から予測して特定するので、類似物への追跡対象の乗り移りを防ぐことができる。また、追跡状態が「重なり」である間に新たに対象物に近づいた類似物を検出することができ、他の類似物への追跡対象の乗り移りをも防ぐことができる。

なお、追跡状態が「重なり」の場合、周辺探索部３７は、過去の類似物の運動状態から、現フレームにおける類似物の位置および類似物領域を推定してもよい。例えば、対象物予測部４１と同様に、１つ前のフレームにおける類似物の位置と、類似物の速度とから、現フレームの処理対象画像における類似物の位置を予測する。周辺探索部３７は、推定した類似物の位置および類似物領域の情報を、現フレームと対応付けて記憶部１２に記憶させる。この場合、追跡部１４は、類似物の運動状態の情報を生成する類似物運動情報生成部（類似物運動状態特定部）を備えてもよい。類似物運動情報生成部は、対象物運動情報生成部３４と同様の方法を用いて、現フレームの処理対象画像および現フレームより前のフレームにおける画像から得た類似物の位置に基づき、類似物の動き（運動状態）の情報を生成する。なお、前のフレームにおいて類似物が検出されていない場合、類似物運動情報生成部は、類似物の運動状態の情報を生成しない。また、現フレームおよび前のフレームにおいて複数の類似物が検出されている場合、類似物運動情報生成部は、各類似物の特徴または位置等によって現フレームの類似物と前のフレームの類似物とを対応付け、各類似物の運動状態（速度、加速度等）を求める。類似物運動情報生成部は、類似物の運動状態を記憶部１２に記憶させる。

出力部４０は、現フレームにおける推定された対象物の位置および対象物領域の情報を、焦点制御装置３に出力する。

次以降のフレームにおいて、状態判定部３１は、推定された対象物および類似物の位置等に基づき、追跡状態を判定する。そして、推定された対象物の位置と推定された類似物の位置とが十分に離れた場合、状態判定部３１は、追跡状態を「近接」または「安全」と判定し、追跡部１４は、対象物の追跡を再開する。

本実施の形態では、対象物と類似物との位置関係から追跡状態を判定し、追跡状態に応じて追跡処理を動的に切り替える。追跡状態が「安全」または「近接」の場合、対象物の追跡を行い、追跡状態が「重なり」の場合、対象物の追跡を行わず、過去のフレームにおける対象物の運動状態から対象物の位置を予測する。そのため、対象物の近くに類似物が存在する（例えば対象物に類似物の一部が重なる）場合においても、追跡対象の乗り移りを防ぎ、対象物を正確に追跡し続けることができる。よって、従来では対象物の追跡を継続できなかった状況（例えば対象物である人物と類似物である他の人物とが画像の中で交差してすれ違う状況）においても、本実施の形態の物体追跡装置１０は、対象物の追跡を継続することができる。

また、追跡部１４は、対象物の探索に関する処理（探索領域決定部３２、対象物探索部３３、対象物運動情報生成部３４、および対象物テンプレート生成部３５の処理）と、類似物の探索に関する処理（周辺領域決定部３６、周辺探索部３７、および類似物テンプレート生成部３９の処理）とを、並行して行ってもよい。この場合、周辺領域決定部３６、周辺探索部３７、および類似物テンプレート生成部３９は、１つ前のフレームにおける対象物の情報（対象物の位置、対象物領域、および対象物のテンプレート等）に基づいて処理を行うことができる。これは、１フレームの間では、対象物の位置等は、大きく変化し
ないと考えられるからである。

＜追跡処理フロー＞
次に、物体追跡装置１０の対象物の追跡処理のフローについて説明する。図３（ａ）は、あるフレームの画像についての追跡処理の例を示す図であり、図３（ｂ）は、その次のフレームの画像についての追跡処理の例を示す図である。図３（ａ）に示すあるフレームの画像５０ａにおいて、画像５０ａの中心に人物５１が映っており、その左隣に人物５２が映っており、人物５２の左上に人物５３が映っている。以下では人物５１を追跡する例について説明する。

図４は、物体追跡装置１０における対象物の追跡処理の流れの概要を示すフローチャートである。

画像取得部１１は、撮像装置２から撮像された画像５０ａを取得する（Ｓ１）。画像取得部１１は、取得した画像５０ａを記憶部１２に記憶させる。

初期化部１３は、あるフレームの画像５０ａを記憶部１２から取得し、追跡対象となる画像５０ａの中の対象物を特定する（Ｓ２）。

画像取得部１１は、次のフレームの画像５０ｂを処理対象画像として撮像装置２から取得する（Ｓ３）。画像取得部１１は、取得した画像５０ｂを記憶部１２に記憶させる。

追跡部１４は、現フレームの画像５０ｂの中の対象物を追跡し、現フレームの処理対象画像５０ｂにおける対象物の位置および対象物領域の情報を焦点制御装置３に出力する（Ｓ４）。

以降、Ｓ３およびＳ４の処理を、フレーム毎に繰り返す。

＜初期化処理フロー＞
次に、初期化部１３の詳細な処理のフローについて説明する。図５は、初期化部１３における初期化処理の流れを示すフローチャートである。

対象物指定部２１は、利用者から、追跡対象となる対象物が存在する画像中の位置の入力を受け付ける（Ｓ１１）。ここでは、利用者がタッチパネルによって人物５１の顔の位置を指定する。

初期対象物探索部２２は、指定された位置を含む所定の領域について、顔検出を行い、対象物（人物５１の顔）の位置および対象物領域５４を特定する（Ｓ１２）。対象物領域５４は、対象物を含む矩形の領域として設定される。また、対象物の位置は、対象物領域の中心とする。なお、対象物の位置と対象物領域を、矩形の対象物領域の左上と右下の座標によって指定してもよい。

初期対象物テンプレート生成部２３は、対象物領域５４に含まれる画像の色分布等の特徴量を抽出して、対象物を特徴付ける対象物テンプレートを生成する（Ｓ１３）。

初期周辺領域決定部２４は、対象物領域５４の周囲の所定の領域を類似物を探索する領域（周辺領域）５５として決定する（Ｓ１４）。周辺領域５５は、対象物領域５４の周囲の、内外の２つの破線で囲まれた領域であり、ここでは、周辺領域５５と対象物領域５４とは所定の距離だけ離れている。

初期周辺探索部２５は、周辺領域５５に対して対象物テンプレートを用いて対象物に類似する類似物（人物５２の顔）を検出する。周辺領域５５に類似物が検出されなかった場合（Ｓ１５でＮｏ）、初期化部１３は処理を終了する。周辺領域５５に類似物が検出された場合（Ｓ１５でＹｅｓ）、初期周辺探索部２５は、検出した類似物の位置および類似物が存在する領域（類似物領域）５６を特定する（Ｓ１６）。類似物領域５６は、類似物を含む矩形の領域として設定される。また、類似物の位置は、類似物領域の中心とする。

Ｓ１６の後、初期類似物テンプレート生成部２６は、類似物領域５６に含まれる画像の色分布等の特徴量を抽出して、類似物を特徴付ける類似物テンプレートを生成する（Ｓ１７）。その後、初期化部１３は処理を終了する。

＜追跡処理フロー＞
次に、追跡部１４の詳細な処理のフローについて説明する。図６および図７は、追跡部１４における追跡処理の流れを示すフローチャートである。

状態判定部３１は、現フレームの１つ前のフレームの画像５０ａにおける、対象物と、その周囲に存在する類似物との位置関係を判定する。図８（ａ）〜図８（ｃ）は、対象物と類似物との位置関係の例を示す図である。１つ前のフレームの画像５０ａにおいて類似物が複数検出された場合、各類似物について、追跡状態の判定を行う。

図８（ａ）に示すように、対象物の位置と類似物の位置との距離ｘが閾値ＴＨ１より大きい場合または類似物が存在しなかった場合（Ｓ２１でＹｅｓ）、状態判定部３１は、追跡状態を「安全」と判定する（Ｓ２２）。ただし、１つ前のフレームの画像５０ａにおいて類似物が複数検出された場合、対象物の位置と類似物の位置との距離ｘが閾値ＴＨ１以下（Ｓ２１でＮｏ）である類似物が１つでもあれば、次のＳ２３へ進む。

図８（ｂ）に示すように、対象物の位置と類似物の位置との距離ｘが閾値ＴＨ１以下であり、かつ閾値ＴＨ２より大きい場合（Ｓ２１でＮｏ、Ｓ２３でＹｅｓ）、状態判定部３１は、追跡状態を「近接」と判定する（Ｓ２４）。ただし、１つ前のフレームの画像５０ａにおいて類似物が複数検出された場合、対象物の位置と類似物の位置との距離ｘが閾値ＴＨ２以下（Ｓ２３でＮｏ）である類似物が１つでもあれば、次のＳ２５へ進む。

図８（ｃ）に示すように、対象物の位置と類似物の位置との距離ｘが閾値ＴＨ２以下である場合（Ｓ２３でＮｏ）、状態判定部３１は、追跡状態を「重なり」と判定する（Ｓ２５）。ここでは、閾値ＴＨ１・ＴＨ２は、対象物領域の大きさと各類似物領域の大きさとによって、状態判定部３１によって決められる。対象物領域または類似物領域が大きい場合、それに応じて閾値ＴＨ１・ＴＨ２も大きくなる。例えば、閾値ＴＨ２は、対象物領域の幅の半分と類似物領域の幅の半分との和でもよい。

追跡状態が「安全」と判定された場合（Ｓ２２の後）、または追跡状態が「近接」と判定された場合（Ｓ２４の後）、探索領域決定部３２は、１つ前のフレームにおける対象物の位置を中心とした１つ前のフレームにおける対象物領域５４（図３（ｂ））の縦横２倍（面積は４倍）の矩形の領域を、対象物探索領域５７として決定する（Ｓ２６）。

対象物探索部３３は、対象物探索領域５７について、１つ前のフレームにおける対象物のテンプレートを用いて、勾配法等の追跡処理によって現フレームにおける対象物の位置および対象物が存在する対象物領域５８を特定する（Ｓ２７）。対象物の位置は対象物領域５８の中心とする。

対象物運動情報生成部３４は、現フレームにおける対象物の位置と、現フレームの前の
複数のフレームにおける対象物の位置とから、複数フレームの間の画像の中での対象物の平均速度を求める（Ｓ２８）。

対象物テンプレート生成部３５は、Ｓ１３と同様にして、現フレームの処理対象画像５０ｂの対象物領域５８に含まれる画像の色分布等の特徴量を抽出して、対象物を特徴付けるテンプレートを生成する（Ｓ２９）。

また、追跡状態が「重なり」と判定された場合（Ｓ２５の後）、対象物予測部４１は、１つ前のフレームにおける対象物の位置と、対象物の速度とから、現フレームの処理対象画像５０ｂにおける対象物の位置および対象物領域を予測する（Ｓ３７）。

Ｓ２９またはＳ３７の後、周辺領域決定部３６は、Ｓ１４と同様にして、対象物領域の周囲の所定の領域を、類似物を探索する領域（周辺領域）５９として決定する（Ｓ３０）。

Ｓ３０の後、追跡状態が「近接」と判定されている場合（Ｓ３１でＹｅｓ）、周辺探索部３７は、１つ前のフレームにおける類似物の位置に基づいて、１つ前のフレームの類似物のテンプレートを用いて勾配法等の追跡処理を行うことによって類似物（例えば人物５２の顔）を追跡する。追跡した類似物の位置および類似物領域６０を特定する（Ｓ３２）。

追跡状態が「安全」または「重なり」と判定されている場合（Ｓ３１でＮｏ）、またはＳ３２の後、周辺探索部３７は、対象物のテンプレートを用いて周辺領域５９を探索することにより、周辺領域に存在する類似物（例えば人物５２の顔）を検出する。

周辺領域５９に類似物が検出されなかった（かつ、類似物が追跡できなかった）場合（Ｓ３３でＮｏ）、出力部４０は、現フレームの処理対象画像５０ｂにおける対象物の位置および対象物領域５８の情報を焦点制御装置３に出力する（Ｓ３６）。

周辺領域５９に類似物が検出された、または類似物を追跡できた場合（Ｓ３３でＹｅｓ）、周辺探索部３７は、検出・追跡した各類似物の位置および各類似物が存在する領域（類似物領域）６０を特定する（Ｓ３４）。類似物領域６０は、類似物を含む矩形の領域として設定される。また、類似物の位置は、類似物領域の中心とする。

類似物テンプレート生成部３９は、現フレームの処理対象画像５０ｂの類似物領域６０に含まれる画像の色分布等の特徴量を抽出して、各類似物を特徴付けるテンプレートを生成する（Ｓ３５）。

出力部４０は、現フレームの処理対象画像５０ｂにおける対象物の位置および対象物領域５８の情報を焦点制御装置３に出力する（Ｓ３６）。その後、追跡部１４は、現フレームにおける追跡処理を終了する。

なお、Ｓ２６の対象物探索領域５７の決定において、１つ前のフレームにおける追跡状態が「重なり」であり、現フレームにおいて「安全」または「近接」と判定されている場合、より広い領域を対象物探索領域５７として決定してもよい。例えば、１つ前のフレームにおける対象物領域５４（図３（ｂ））の縦横３倍（面積は９倍）の矩形の領域を、対象物探索領域５７として決定してもよい。

また、Ｓ３７において、対象物予測部４１は、背景の画像の動きから対象物の位置を予測してもよい。

また、Ｓ２１において、閾値ＴＨ１を設けずに、１つ前のフレームにおいて類似物が検出されていなければ、追跡状態を「安全」と判定し、類似物が検出されていれば追跡状態を「近接」または「重なり」と判定してもよい。

また、Ｓ３０において、周辺領域決定部３６は、対象物領域の周囲の複数に分かれた領域を周辺領域として決定してもよい。例えば図９に示すように、対象物領域５８の四方に位置する４つの矩形の周辺領域５９を設定してもよい。なお、対象物領域５８と周辺領域５９とは、接していてもよい。

また、本実施の形態では、撮影した動画像から人物の顔画像を検出して追跡している。しかしながら、物体追跡装置１０は、アニメーションその他の動画像にも適用可能である。また、人物の上半身や全身の画像を検出してもよいし、ボール、車両、運搬される荷物、その他の動く物体の画像を検出してもよい。また、静止した物体であっても、撮像装置２を動かせば、撮影した画像中では移動することになるので、適用可能である。すなわち、本発明は、取得した時系列の画像の中で移動する対象物の追跡に適用可能である。

最後に、物体追跡装置１０の各ブロック、特に対象物指定部２１、初期対象物探索部２２、初期対象物テンプレート生成部２３、初期周辺領域決定部２４、初期周辺探索部２５、初期類似物テンプレート生成部２６、状態判定部３１、探索領域決定部３２、対象物探索部３３、対象物運動情報生成部３４、対象物テンプレート生成部３５、周辺領域決定部３６、周辺探索部３７、類似物テンプレート生成部３９、出力部４０、および対象物予測部４１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵ（central processing unit）を用いてソフトウェアによって実現してもよい。

すなわち、物体追跡装置１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである物体追跡装置１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記物体追跡装置１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（microprocessor unit））が記録媒体に記録されているプログラムコ
ードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（compact disc read-only memory）／ＭＯ（magneto-optical）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ系な
どを用いることができる。

また、物体追跡装置１０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である
。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asynchronous digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線
、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。

本発明は、動画像の中の対象物を追跡するデジタルカメラ、デジタルビデオカメラ、またはカメラ付き携帯電話等の機器に利用することができる。

１ 物体追跡システム
２ 撮像装置
３ 焦点制御装置
１０ 物体追跡装置（対象物追跡装置）
１１ 画像取得部
１２ 記憶部
１３ 初期化部
１４ 追跡部
２１ 対象物指定部
２２ 初期対象物探索部（対象物位置特定部）
２３ 初期対象物テンプレート生成部（対象物特徴量生成部）
２４ 初期周辺領域決定部
２５ 初期周辺探索部（類似物位置特定部）
２６ 初期類似物テンプレート生成部（類似物特徴量生成部）
３１ 状態判定部（位置関係判定部）
３２ 探索領域決定部
３３ 対象物探索部（対象物位置特定部）
３４ 対象物運動情報生成部（対象物運動状態特定部）
３５ 対象物テンプレート生成部（対象物特徴量生成部）
３６ 周辺領域決定部
３７ 周辺探索部（類似物位置特定部）
３９ 類似物テンプレート生成部（類似物特徴量生成部）
４０ 出力部
４１ 対象物予測部（対象物位置特定部）
５０ａ、５０ｂ 画像
５４、５８ 対象物領域
５５、５９ 周辺領域
５６、６０ 類似物領域
５７ 対象物探索領域

Claims (14)

1. 複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡装置であって、
   現フレームの前のフレームにおける、上記対象物と、上記対象物と同様の特徴を有する類似物との位置関係を判定する位置関係判定部と、
   現フレームにおける上記対象物の位置を特定する対象物位置特定部と、
   上記対象物の周辺の所定の領域である周辺領域に上記類似物が存在する場合、現フレームにおける上記類似物の位置を特定する類似物位置特定部とを備え、
   上記位置関係が第１状態である場合、上記対象物位置特定部は、前のフレームにおける、上記対象物の位置と上記対象物の運動状態とに基づいて、現フレームにおける上記対象物の位置を予測して上記対象物の位置を特定し、上記位置関係が第１状態ではない場合、上記対象物位置特定部は、現フレームの画像から上記対象物を探索して上記対象物の位置を特定することを特徴とする対象物追跡装置。
2. 上記位置関係判定部は、上記類似物が上記対象物の近傍の第１範囲内に存在する場合、上記位置関係が第１状態であると判定することを特徴とする請求項１に記載の対象物追跡装置。
3. 上記類似物位置特定部は、現フレームの画像から上記類似物を探索して上記類似物の位置を特定することを特徴とする請求項１または２に記載の対象物追跡装置。
4. 類似物運動状態特定部を備え、
   上記位置関係判定部は、上記類似物が第１範囲より外側の第２範囲内に存在する場合、上記位置関係が第２状態であると判定し、
   上記類似物運動状態特定部は、上記位置関係が第２状態である場合、上記類似物の運動状態を特定し、
   上記類似物位置特定部は、上記位置関係が第１状態である場合、前のフレームにおける、上記類似物の位置と上記類似物の運動状態とに基づいて、現フレームにおける上記類似物の位置を予測して上記類似物の位置を特定し、上記位置関係が第２状態である場合、現フレームの画像から上記類似物を探索して上記類似物の位置を特定することを特徴とする請求項２に記載の対象物追跡装置。
5. 上記位置関係判定部は、上記類似物が第１範囲内にも第２範囲内にも存在しない場合、上記位置関係が第３状態であると判定し、
   上記類似物位置特定部は、上記位置関係が第３状態である場合、現フレームの画像から上記類似物を探索して上記類似物の位置を特定することを特徴とする請求項４に記載の対象物追跡装置。
6. 上記対象物の運動状態を特定する対象物運動状態特定部を備えることを特徴とする請求項１から５のいずれか一項に記載の対象物追跡装置。
7. 上記位置関係判定部は、上記対象物と上記類似物との距離に応じて、上記位置関係を判定することを特徴とする請求項１から６のいずれか一項に記載の対象物追跡装置。
8. 上記運動状態は、速度を示すことを特徴とする請求項１から７のいずれか一項に記載の対象物追跡装置。
9. 複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡装置であって、
   現フレームの画像から上記対象物を探索して、現フレームにおける上記対象物の位置を特定する対象物位置特定部と、
   現フレームの画像から上記対象物と同様の特徴を有する類似物を探索して、上記対象物の周辺の所定の領域である周辺領域に上記類似物が存在する場合、現フレームにおける上記類似物の位置を特定する類似物位置特定部とを備えることを特徴とする対象物追跡装置。
10. 現フレームの画像から上記対象物を特徴付ける情報を抽出して、抽出した上記対象物を特徴付ける情報を用いて、上記対象物を特徴付ける対象物特徴量を生成する対象物特徴量生成部を備え、
    上記対象物位置特定部は、前のフレームにおける上記対象物特徴量を用いて、現フレームの画像から上記対象物を探索して、現フレームにおける上記対象物の位置を特定し、
    上記類似物位置特定部は、上記対象物特徴量を用いて、現フレームの画像から上記類似物を探索して、現フレームにおける上記類似物の位置を特定することを特徴とする請求項１から９のいずれか一項に記載の対象物追跡装置。
11. 複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡方法であって、
    現フレームの前のフレームにおける、上記対象物と、上記対象物と同様の特徴を有する類似物との位置関係を判定する位置関係判定ステップと、
    現フレームにおける上記対象物の位置を特定する対象物位置特定ステップと、
    上記対象物の周辺の所定の領域である周辺領域に上記類似物が存在する場合、現フレームにおける上記類似物の位置を特定する類似物位置特定ステップとを含み、
    上記対象物位置特定ステップでは、上記位置関係が第１状態である場合、前のフレームにおける、上記対象物の位置と上記対象物の運動状態とに基づいて、現フレームにおける上記対象物の位置を予測して上記対象物の位置を特定し、上記位置関係が第１状態ではない場合、現フレームの画像から上記対象物を探索して上記対象物の位置を特定することを特徴とする対象物追跡方法。
12. 複数のフレームからなる時系列画像の中の対象物を追跡する対象物追跡方法であって、
    現フレームの画像から上記対象物を探索して、現フレームにおける上記対象物の位置を特定する対象物位置特定ステップと、
    現フレームの画像から上記対象物と同様の特徴を有する類似物を探索して、上記対象物の周辺の所定の領域である周辺領域に上記類似物が存在する場合、現フレームにおける上記類似物の位置を特定する類似物位置特定ステップとを含むことを特徴とする対象物追跡方法。
13. 複数のフレームからなる時系列画像の現フレームの前のフレームにおける、追跡対象である対象物と、上記対象物と同様の特徴を有する類似物との位置関係を判定する位置関係判定ステップと、
    現フレームにおける上記対象物の位置を特定する対象物位置特定ステップと、
    上記対象物の周辺の所定の領域である周辺領域に上記類似物が存在する場合、現フレームにおける上記類似物の位置を特定する類似物位置特定ステップとをコンピュータに実行させ、
    上記対象物位置特定ステップでは、上記位置関係が第１状態である場合、前のフレームにおける、上記対象物の位置と上記対象物の運動状態とに基づいて、現フレームにおける上記対象物の位置を予測して上記対象物の位置を特定し、上記位置関係が第１状態ではない場合、現フレームの画像から上記対象物を探索して上記対象物の位置を特定することを特徴とする制御プログラム。
14. 複数のフレームからなる時系列画像の現フレームの画像から、追跡対象である対象物を探索して、現フレームにおける上記対象物の位置を特定する対象物位置特定ステップと、
    現フレームの画像から上記対象物と同様の特徴を有する類似物を探索して、上記対象物
    の周辺の所定の領域である周辺領域に上記類似物が存在する場合、現フレームにおける上記類似物の位置を特定する類似物位置特定ステップとをコンピュータに実行させる制御プログラム。

Images