JP2017102708A - オブジェクト追跡装置及びそのプログラム - Google Patents

Abstract

【課題】視点映像解析によりオブジェクト位置を安定的に自動追跡可能とするオブジェクト追跡装置及びそのプログラムを提供する。【解決手段】本発明のオブジェクト追跡装置１は、複数台の固定撮影カメラ５からそれぞれ得られる多視点映像を構成する現フレームの画像に対し、予測位置情報を基にそれぞれのオブジェクト候補を選定する並列選定処理を行う並列処理部２と、当該複数台の固定撮影カメラ５に関連付けて選定したオブジェクト候補の２次元位置を基に、追跡対象のオブジェクトの実空間上の３次元位置を推定し出力する３次元位置計測部３と、当該推定した追跡対象のオブジェクトの実空間上の３次元位置を基に、所定の状態推定法を用いて複数台の固定撮影カメラ５に対する次フレームの多視点映像における当該追跡対象のオブジェクトの位置を予測した当該予測位置情報を生成し、当該並列選定処理を補助する位置予測部４と、を備える。【選択図】図１

Description

本発明は、多視点映像解析によりオブジェクト位置の追跡を可能とするオブジェクト追跡装置及びそのプログラムに関する。

映像内の特定のオブジェクトを追跡可能とするオブジェクト追跡装置は、例えば、スポーツ映像を解析し、自動審判、スポーツ番組の放送、スポーツデータ生成・配信、コーチングなどのサービスに利用することができる。また、監視カメラ映像解析に基づいたセキュリティシステムなど、様々なサービスにも利用することができる。

映像解析技術の進展に伴い、カメラをオブジェクト位置の追跡を行うためのセンサとした様々なアプリケーションが提案されている。この映像解析技術の進展は特にスポーツシーン解析において顕著であり、ウィンブルドンでも使用されているテニスのホークアイシステムは、複数台の固定撮影カメラの多視点映像を用いてテニスボールを３次元的に追跡し、ジャッジに絡むＩＮ／ＯＵＴの判定を行っている。また２０１４年のＦＩＦＡワールドカップでは、ゴールラインテクノロジーと称して、数台の固定カメラの映像を解析し、ゴールの判定を自動化している。更に、サッカースタジアムヘ多数のステレオカメラを設置し、フィールド内の全選手をリアルタイムに追跡するＴＲＡＣＡＢシステムなど、スポーツにおけるリアルタイム映像解析技術の高度化が進んでいる。

更に、複数台のカメラから得られる多視点映像を用いて、或るカメラの映像における被写体をオブジェクトとし、その索引付けを行う技法も知られている（例えば、特許文献１参照）。特許文献１の技法では、多視点映像を構成する複数の映像のうち、或る映像で被写体を特定する被写体の特徴が映っていなくても別の映像を用いて被写体を特定することで、当該或る映像における被写体を効率的に索引付けすることを可能にしている。

また、１視点映像における複数の動的なオブジェクトを含む動画から自由視点映像を生成する装置において、当該動画の今回フレームからオブジェクトの追跡がオクルージョン（隠蔽）により妨げられても、前回フレームで対応付けたオブジェクトの追跡ＩＤを補正し、そのオブジェクトの追跡を回復する技法が開示されている（例えば、特許文献２参照）。特許文献２の技法では、オクルージョンにより一度追跡が途絶えても、色情報などを基に再度の捕捉を可能にしている。

また、複数台のカメラから得られる多視点映像を用いて、或るカメラの映像における人物をオブジェクトとして追跡する技法も知られている（例えば、特許文献３参照）。特許文献３の技法では、或る映像における人物の認識処理の処理負荷を増大させることなく、マーキング対象の人物を簡単かつ確実に特定してマーク表示するために、他カメラからの映像による認識処理の結果を用いて処理負荷を軽減するようにしている。

特開２００６−２５３０６号公報 特開２０１４−１９９５６０号公報 特開２００６−２２９４６５号公報

スポーツシーンで現在運用されているボールや選手の追跡技術は、外乱がなく軌道がある程度予測可能なテニスボール、ゴール付近のみを撮影した映像からのサッカーボール、移動速度が遅く追跡が比較的容易なサッカー選手などを対象としている。一方、バレーボール競技のボールのように軌道予測が難しく、高速で移動し、オクルージョン（隠蔽）が発生する頻度が高いオブジェクトについて、追跡精度、頑健性（即ち、統計的な信頼性）、及び処理速度性能を高くして安定的に自動追跡する技法は未だ確立されていない。

例えば、特許文献１の技法では、複数台のカメラ映像上に映る被写体を効率的に索引付けすることが可能であるが、被写体の実空間上の３次元位置を求めるものではなく、精度よく被写体の位置を計測することは難しい。

また、特許文献２の技法では、１視点映像における動画の今回フレームからオブジェクトの追跡がオクルージョン（隠蔽）により妨げられても、そのオブジェクトの追跡を回復することができるので、サッカーなど背景が比較的均一なスポーツでは効果的と思われるが、バレーボール競技など背景が複雑な映像に対する利用は難しい。

特に、単眼カメラの情報からオブジェクトヘの視線ベクトルは計測できるものの、多視点映像を利用しない場合には、オブジェクトヘの奥行きまでは計測できず、不規則な軌道を描くオブジェクトを頑健に追跡することが困難である。

また、特許文献３の技法では、或る映像におけるマーキング対象の人物を簡単かつ確実に特定してマーク表示するのに、他カメラの認識処理結果を用いることでその人物の認識処理の処理負荷を軽減させることが可能である。しかしながら、特許文献３の技法では、射影変換などにより被写体を同一空間で追跡するものではなく各カメラ映像に対する人物の認識処理は独立していることから、そのオブジェクト位置の精度を各カメラ映像の認識処理結果以上に高めることができない。

このため、従来技法では、バレーボール競技のボールのように軌道予測が難しく、高速で移動し、オクルージョン（隠蔽）が発生する頻度が高いオブジェクトを安定追跡することは難しい。

従って、バレーボール競技のボールのように高速で移動し、選手の影に隠れる場合もあるオブジェクトを安定追跡する技法が望まれる。また、バレーボール競技以外にも、他の球技や監視カメラ映像解析においても応用可能な技法が望まれる。

本発明の目的は、上述の問題に鑑みて、多視点映像解析によりオブジェクト位置を安定的に自動追跡可能とするオブジェクト追跡装置及びそのプログラムを提供することにある。

本発明では、複数台の固定撮影カメラから得られる多視点映像を並列処理して、オブジェクトの実空間上の３次元位置を推定し、且つ次フレームの多視点映像におけるオブジェクト位置を予測するよう構成することで、追跡対象のオブジェクトを安定的に自動追跡することを可能とした。尚、本願明細書中、「位置」とは予め定義された座標系の座標を意味しており、例えばオブジェクトの２次元位置とは２次元カメラ座標系のオブジェクトの位置座標を云い、オブジェクトの３次元位置とは３次元実空間座標系のオブジェクトの位置座標を云う。

即ち、本発明のオブジェクト追跡装置は、多視点映像解析によりオブジェクト位置を自動追跡可能とするオブジェクト追跡装置であって、複数台の固定撮影カメラからそれぞれ得られる多視点映像を構成する現フレームの画像に対し、予測位置情報を基にそれぞれのオブジェクト候補を選定する並列選定処理を行う並列処理手段と、前記複数台の固定撮影カメラに関連付けて選定したオブジェクト候補の２次元位置を基に、追跡対象のオブジェクトの実空間上の３次元位置を推定し出力する３次元位置計測手段と、当該推定した追跡対象のオブジェクトの実空間上の３次元位置を基に、所定の状態推定法を用いて前記複数台の固定撮影カメラに対する次フレームの多視点映像における当該追跡対象のオブジェクトの位置を予測した当該予測位置情報を生成し、前記並列選定処理を補助する位置予測手段と、を備えることを特徴とする。

また、本発明のオブジェクト追跡装置において、前記並列処理手段は、多視点映像を構成するそれぞれの現フレームの画像に対し、隣接フレーム間の差を累積した所定のフレーム差累積画像を生成し、前記予測位置情報が示す予測位置周辺の探索領域内で当該オブジェクト候補を抽出するオブジェクト候補抽出手段と、前記オブジェクト候補抽出手段によって抽出したオブジェクト候補のうち前記予測位置情報が示す予測位置に対し最近位置のオブジェクト候補を選定するオブジェクト選定手段と、を備えることを特徴とする。

また、本発明のオブジェクト追跡装置において、前記オブジェクト候補抽出手段は、前記所定のフレーム差累積画像に対し、前記予測位置情報が示す予測位置を基に所定サイズから始めて拡大可能な当該探索範囲を設定し、該探索範囲内で、フレーム間で連続性の有る現フレームのレベル差を示すオブジェクト候補を抽出することを特徴とする。

また、本発明のオブジェクト追跡装置において、前記３次元位置計測手段は、射影変換を用いて前記複数台の固定撮影カメラの画像における当該選定したオブジェクト候補の２次元位置を実空間上の３次元位置に射影し、前記複数台の固定撮影カメラの各々から該オブジェクト候補の２次元位置へ向かう視線ベクトルを算出し、算出した複数の視線ベクトルのうち一対の視線ベクトルの組み合わせで定まる１以上の３次元位置を統合して、当該追跡対象のオブジェクトの実空間上の３次元位置を推定することを特徴とする。

また、本発明のオブジェクト追跡装置において、前記位置予測手段は、当該現フレームに対し推定した追跡対象のオブジェクトの実空間上の３次元位置を前記複数台の固定撮影カメラのカメラ座標に投影し、前記所定の状態推定法として、該３次元位置について複数フレームに亘って前記複数台の固定撮影カメラ毎のカメラ座標に投影した位置座標を観測値としたカルマンフィルタ又はパーティクルフィルタにより、当該次フレームの多視点映像における当該追跡対象のオブジェクトの位置を予測することを特徴とする。

更に、本発明のプログラムは、コンピュータを、本発明のオブジェクト追跡装置として機能させるためのプログラムとして構成される。

本発明によれば、複数台の固定撮影カメラから得られる多視点映像における特定オブジェクトについて、追跡精度、頑健性、及び処理速度性能を高くして安定的に自動追跡することが可能となる。

本発明による一実施形態のオブジェクト追跡装置の概略構成を示すブロック図である。 本発明による一実施形態のオブジェクト追跡装置の動作を示すフローチャートである。 （ａ）乃至（ｆ）は、本発明による一実施形態のオブジェクト追跡装置におけるオブジェクト候補抽出部により生成されるフレーム差累積画像に関する説明図である。 （ａ），（ｂ）は、それぞれ本発明による一実施形態のオブジェクト追跡装置における或る固定撮影カメラからのフレーム単位の入力画像と、オブジェクト候補抽出部で生成するフレーム差累積画像の一例を説明する図である。 本発明による一実施形態のオブジェクト追跡装置におけるオブジェクト候補抽出部により生成されるフレーム差累積画像から定めるオブジェクト候補に関する説明図である。 本発明による一実施形態のオブジェクト追跡装置における３次元位置計測部により固定撮影カメラ毎の視線ベクトルを算出する際の一例を説明する図である。 （ａ），（ｂ）は、それぞれ本発明による一実施形態のオブジェクト追跡装置における３次元位置計測部により固定撮影カメラ毎の視線ベクトルを算出する際のカメラ座標系の入力画像と、その入力画像を実空間座標系の仮想平面に射影変換した際の射影変換画像の一例を示す図である。 本発明による一実施形態のオブジェクト追跡装置における３次元位置計測部により固定撮影カメラ毎の視線ベクトルを算出する際の別例を説明する図である。 （ａ）乃至（ｄ）は、それぞれ本発明による一実施形態のオブジェクト追跡装置における３次元位置計測部により推定される特定オブジェクト（ボール）の位置を、固定撮影カメラ毎に得られる画像に対しＣＧ（３次元コンピュータグラフィックス）合成した一例を示す図である。 本発明による一実施形態のオブジェクト追跡装置における３次元位置計測部により複数フレームに亘って推定される特定オブジェクト（ボール）の位置を、或る固定撮影カメラからの画像にＣＧ合成した一例を示す図である。 （ａ），（ｂ），（ｃ）は、それぞれ本発明による一実施形態のオブジェクト追跡装置について性能評価した結果を示す図である。

以下、図面を参照して、本発明による一実施形態のオブジェクト追跡装置１について詳細に説明する。図１は、本発明による一実施形態のオブジェクト追跡装置１の概略構成を示すブロック図である。また、図２は、本発明による一実施形態のオブジェクト追跡装置１の動作を示すフローチャートである。

〔装置構成〕
図１を参照するに、本実施形態のオブジェクト追跡装置１は、複数台の固定撮影カメラ５-１，５-２，・・・，５-Ｎ（Ｎは、２以上の整数）から得られる多視点映像を並列処理して、オブジェクトの実空間上の３次元位置を推定し、且つ次フレームの多視点映像におけるオブジェクト位置を予測する装置として構成される。以下、複数台の固定撮影カメラ５-１，５-２，・・・，５-Ｎについて、個々を特定せず総括して言及するときは「固定撮影カメラ５」と称する。尚、複数台の固定撮影カメラ５の各々は、撮影領域を固定に設置したカメラであり、実空間上の予め定義された座標情報と、複数台の固定撮影カメラ５の各々の当該実空間における設置座標が、本実施形態のオブジェクト追跡装置１に設定されている。また、本実施形態のオブジェクト追跡装置１では、後述するように、多視点映像の各画像をフレーム番号で管理して処理するため複数台の固定撮影カメラ５の各々について必ずしも撮影同期させている必要はないが、オブジェクトの追跡精度を高めるために、全て撮影同期させている。

そして、本実施形態の例では、バレーボール競技を複数台の固定撮影カメラ５の各々によって異なる視点から固定的に撮影し、オブジェクト追跡装置１によってバレーボール競技の多視点映像におけるボールを追跡対象のオブジェクトとした例を説明する。

より具体的に、本実施形態のオブジェクト追跡装置１は、並列処理部２-１〜２-Ｎと、３次元位置計測部３と、位置予測部４と、を備える。

並列処理部２-１〜２-Ｎは、複数台の固定撮影カメラ５からそれぞれ得られる多視点映像を構成する現フレーム（フレーム番号ｔ）の画像に対し、予測位置情報を基にそれぞれのオブジェクト候補を選定する並列選定処理を行う処理部である。

即ち、並列処理部２-１はカメラ番号Ｎｏ．１の固定撮影カメラ５-１から得られる現フレーム（フレーム番号ｔ）の画像（「Ｉ^１ _ｔ」と表記）を入力し、並列処理部２-２はカメラ番号Ｎｏ．２の固定撮影カメラ５-２から得られる現フレーム（フレーム番号ｔ）の画像（「Ｉ^２ _ｔ」と表記）を入力して並列処理を行うよう構成され、従って並列処理部２-Ｎはカメラ番号Ｎｏ．Ｎの固定撮影カメラ５-Ｎから得られる現フレーム（フレーム番号ｔ）の画像（「Ｉ^Ｎ _ｔ」と表記）を入力して並列処理を行う。以下、並列処理部２-１〜２-Ｎについて、個々を特定せず総括して言及するときは「並列処理部２」と称する。

３次元位置計測部３は、複数台の固定撮影カメラ５の各々に関連付けて選定したオブジェクト候補の２次元位置（２次元特定オブジェクト位置）を基に、追跡対象のオブジェクトの実空間上の３次元位置（３次元オブジェクト位置）を推定して出力する機能部である。

位置予測部４は、当該推定した追跡対象のオブジェクトの実空間上の３次元位置を基に、複数台の固定撮影カメラ５の各々に対する次フレームの多視点映像における当該オブジェクトの位置座標を予測する予測位置情報（当該オブジェクトの２次元予測位置の情報）を生成し、並列処理部２-１〜２-Ｎによる並列選定処理を補助する機能部である。

並列処理部２は、複数台の固定撮影カメラ５の台数分に相当する数で設けられる処理部であり、それぞれオブジェクト候補抽出部２１及びオブジェクト選定部２２を備える。

オブジェクト候補抽出部２１は、多視点映像を構成するそれぞれの現フレームの画像に対し、隣接フレーム間の差を累積した所定のフレーム差累積画像を生成し、当該予測位置情報が示す予測位置周辺の探索領域内で当該オブジェクト候補を抽出する機能部である。

オブジェクト選定部２２は、オブジェクト候補抽出部２１によって抽出したオブジェクト候補のうち前記予測位置情報が示す予測位置に対し最近位置のオブジェクト候補を選定する機能部である。

尚、オブジェクト追跡装置１の出力として、フレーム番号ｔの３次元オブジェクト位置の情報と併せて、複数台の固定撮影カメラ５の各々における各画像Ｉ^１ _ｔ〜Ｉ^Ｎ _ｔを出力する構成や、位置予測部４における当該２次元オブジェクト位置の情報を出力する構成とすることもできる。

以下、図１に示す本実施形態のオブジェクト追跡装置１における各機能部について、図２に示すフローチャートを基にその動作を詳細に説明する。

〔装置動作〕
（オブジェクト候補抽出部）
代表して説明する並列処理部２-Ｎにおいて、オブジェクト候補抽出部２１は、固定撮影カメラ５-Ｎから得られる現フレーム（フレーム番号ｔ）の画像Ｉ^Ｎ _ｔを入力し、追跡対象のオブジェクトの候補を抽出する。より具体的には、まず、オブジェクト候補抽出部２１は、現フレーム（フレーム番号ｔ）の画像Ｉ^Ｎ _ｔを入力し所定のメモリ（図示せず）に一時保持する（図２：ステップＳ１）。ここで、オブジェクト候補抽出部２１は、現フレーム（フレーム番号ｔ）の画像Ｉ^Ｎ _ｔより以前に入力した予め定めた所定期間分（例えば、１秒〜１０秒程度に設定される固定期間）のフレームの画像を当該所定のメモリ（図示せず）に一時保持している。

続いて、オブジェクト候補抽出部２１は、フレーム番号ｔの画像とその直前画像（フレーム番号ｔ−１）との間で所定の閾値以上のレベル差が発生した画素位置を示す領域にモルフォルジ処理を施したフレーム差発生画像を生成し、更に、当該フレーム差発生画像について所定期間分、累積し合成したフレーム差累積画像を生成する（図２：ステップＳ２）。

ここで、所定期間分、累積し合成したフレーム差累積画像の生成方法について、図３を参照してより具体的に説明する。

まず、図３（ａ）に示すように、オブジェクト候補抽出部２１は、入力した現フレーム（フレーム番号ｔ）の画像Ｉ^Ｎ _ｔと、一時保持していた直前のフレーム番号ｔ-１の画像Ｉ^Ｎ _ｔ-１についてグレー表示画像に変換する。即ち、通常、固定撮影カメラ５から得られる画像はＲＧＢカラー表示画像であるため、オブジェクト候補抽出部２１は、グレー表示画像に変換した画像についてグレー表示画像に変換する。このようなグレー表示画像は、ＲＧＢのいずれか単色から得た単色画像とするか、又はＲＧＢのうち２以上を混色して得られる輝度表示画像とすることができる。

続いて、図３（ｂ）に示すように、オブジェクト候補抽出部２１は、画像Ｉ^Ｎ _ｔと画像Ｉ^Ｎ _ｔ-１との間で閾値Ｍ以上のレベル差が生じた画素位置を検出し、その検出した画素位置にレベルＳｍａｘ（例：８ビットレベル表示で２５５）を付与し、他の画素位置をＳｍｉｎ（例：８ビットレベル表示で０）としたフレーム差発生画像を生成する。これにより、フレーム番号ｔのフレーム差発生画像が生成される。尚、ＳｍａｘとＳｍｉｎの扱いは逆でもよいが、本実施形態では、閾値Ｍ以上のレベル差が生じた画素位置に対しＳｍａｘを付与した例としている。

続いて、図３（ｃ）に示すように、オブジェクト候補抽出部２１は、画像Ｉ^Ｎ _ｔ-１と画像Ｉ^Ｎ _ｔとの間で得られたフレーム番号ｔのフレーム差発生画像に対しモルフォルジ処理を実行し、微細領域の除去と、領域成長を施したフレーム番号ｔのフレーム差発生画像を生成する。このモルフォルジ処理は、所定サイズ未満のＳｍａｘの画素領域に対してはＳｍｉｎ（例：８ビットレベル表示で０）に変換して微細領域を除去し、所定サイズ以上のＳｍａｘの画素領域に対しては正方状に領域成長（領域サイズ：ａ×ａ画素，領域レベル：Ｓｍａｘ）を施す処理である。ここで、ａは予め定めた固定値である。

続いて、図３（ｄ）に示すように、オブジェクト候補抽出部２１は、フレーム番号ｔ−１の画像Ｉ^Ｎ _ｔ-１と、その直前のフレーム番号ｔ−２の画像Ｉ^Ｎ _ｔ-２との間で、上記と同様に、モルフォルジ処理を実行したフレーム番号ｔ−１のフレーム差発生画像を生成し、且つフレーム番号ｔのフレーム差発生画像に対しＳｍａｘを付与していた領域（旧Ｓｍａｘ領域）のレベルをＳｍａｘ−αとし領域拡大する再処理（例えば領域サイズ：（ａ＋β）×（ａ＋β）画素，領域レベル：Ｓｍａｘ−α）を施したフレーム番号ｔ−１のフレーム差発生画像を生成する。ここで、βは１以上“ａ”未満の予め定めた固定整数値であり、例えばβ＝１とすることができる。αは、例えば８ビットレベル表示でＳｍａｘ＝２５５，Ｓｍｉｎ＝０としたとき、１以上で（２５５／累積フレーム数）未満の予め定めた固定整数値であり、例えばα＝１とすることができる。

続いて、図３（ｅ）に示すように、オブジェクト候補抽出部２１は、モルフォルジ処理を実行したフレーム番号ｔのフレーム差発生画像が最上位となるよう、当該再処理したフレーム番号ｔ−１のフレーム差発生画像を合成し、フレーム差累積画像を生成する。

続いて、図３（ｆ）に示すように、オブジェクト候補抽出部２１は、モルフォルジ処理を実行したフレーム番号ｔのフレーム差発生画像が最上位となるよう、フレーム番号ｔまでの所定期間分、累積し合成したフレーム差累積画像を生成する。ここで、フレーム番号ｔから時間的に遡る度に更にレベルαを減算し更にサイズβで領域拡大する再処理を実行したフレーム差発生画像を合成する。後述する図５に示すように、例えば、当該再処理により、画像Ｉ^Ｎ _ｔ−２と画像Ｉ^Ｎ _ｔ−３との間のフレーム差発生画像の旧Ｓｍａｘ領域は、領域サイズ：（ａ＋２β）×（ａ＋２β）画素，領域レベル：Ｓｍａｘ−２αとなり、画像Ｉ^Ｎ _ｔ−３と画像Ｉ^Ｎ _ｔ−４との間のフレーム差発生画像の旧Ｓｍａｘ領域は、領域サイズ：（ａ＋３β）×（ａ＋３β）画素，領域レベル：Ｓｍａｘ−３αとなる。

従って、本実施形態のオブジェクト追跡装置１におけるオブジェクト候補抽出部２１の機能により、図４（ａ）に示すフレーム番号ｔまでの所定期間分の画像Ｉ^Ｎ _ｔ，Ｉ^Ｎ _ｔ−１，Ｉ^Ｎ _ｔ−２，Ｉ^Ｎ _ｔ−３，・・・の入力画像から、図４（ｂ）に示すフレーム差累積画像を実際に得ることができる。尚、図４（ｂ）に示されるフレーム差累積画像に関して、オブジェクト候補抽出部２１によるフレーム差累積画像の生成後の処理の説明は後述する。

ところで、本例では、並列処理部２‐Ｎにおけるオブジェクト候補抽出部２１は、所定期間分、一時保持した画像Ｉ^Ｎ _ｔ，Ｉ^Ｎ _ｔ−１，Ｉ^Ｎ _ｔ−２，Ｉ^Ｎ _ｔ−３，・・・の入力画像について、その都度、各フレーム間のフレーム差発生画像を生成し、これを累積し合成してフレーム差累積画像を生成する例を説明したが、現フレーム番号のフレーム差累積画像を生成する度に当該所定のメモリ（図示せず）に一時保持しておくことで、フレーム差累積画像の生成に係る処理時間を高速化することができる。

このフレーム差累積画像の生成処理をフレーム番号ｔ，ｔ‐１について総括して表すと、式（１）のようになる。

ここで、Ｉ^ｘｙ _ｔはフレーム番号ｔにおけるカメラ座標系の画素位置（ｘ，ｙ）の入力画像Ｉ^Ｎ _ｔの画素値であり、Ｓ^ｘｙ _ｔはフレーム番号ｔにおけるフレーム差累積画像の画素値である。即ち、フレーム番号ｔにおけるフレーム差累積画像の画素値Ｓ^ｘｙ _ｔは、フレーム番号ｔの画像とその直前画像（フレーム番号ｔ−１）との間で所定の閾値Ｍ以上のレベル差が発生した画素位置を示す領域にモルフォルジ処理を施したフレーム差発生画像のＳｍａｘ領域を示す画素値（Ｓｍａｘ）に対し、フレーム番号ｔ−１の画像とその直前画像（フレーム番号ｔ−２）との間で所定の閾値Ｍ以上のレベル差が発生した画素位置を示す領域にモルフォルジ処理を施したフレーム差発生画像の旧Ｓｍａｘ領域を示す画素値Ｓ^ｘｙ _ｔ−１が区別して累積され（式（１）に示すotherwise）、所定期間分、式（１）に従ってこれを繰り返すことにより累積し合成されることで、フレーム差累積画像が生成される。従って、図４（ｂ）に示すように、フレーム差累積画像は、時間軸上で新しく発生した差分画素位置は明るく（Ｓｍａｘ領域）、古い差分画素位置ほど暗くなる（旧Ｓｍａｘ領域）。尚、旧Ｓｍａｘ領域は、古い差分画素位置ほど領域拡大させている（図３（ｆ）参照）。

以上のようにして、オブジェクト候補抽出部２１は、フレーム番号ｔの画像とその直前画像（フレーム番号ｔ−１）との間で所定の閾値以上のレベル差が発生した画素位置を示す領域にモルフォルジ処理を施したフレーム差発生画像を生成し、更に、当該フレーム差発生画像について所定期間分、累積し合成したフレーム差累積画像を生成する（図２：ステップＳ２）。

続いて、オブジェクト候補抽出部２１は、固定撮影カメラ５‐Ｎにおけるフレーム番号ｔの画像Ｉ^Ｎ _ｔを基に得られたフレーム差累積画像に対し、２次元予測位置Ｐ^Ｎ _ｔ−１の情報を用いて、その２次元予測位置Ｐ^Ｎ _ｔ−１を基に所定サイズから始めて拡大可能な探索範囲を設定し、その探索範囲内で、フレーム間で連続性の有る現フレームのレベル差を示すオブジェクト候補領域（即ち、フレーム番号ｔの現フレームで示された、旧Ｓｍａｘ領域からフレーム間で連続性の有るＳｍａｘ領域）を抽出し、それぞれの当該現フレームのレベル差を示すオブジェクト候補領域の重心位置をオブジェクト選定部２２に出力する（図２：ステップＳ３）。２次元予測位置Ｐ^Ｎ _ｔ−１の情報は、位置予測部４によって、フレーム番号ｔ−１の多視点映像を基に推定された３次元オブジェクト位置から予測した、フレーム番号ｔの画像用に追跡対象のオブジェクトの位置を示す情報である。

より具体的には、図４（ｂ）に示されるように、フレーム番号ｔの画像Ｉ^Ｎ _ｔを基に得られたフレーム差累積画像に対し、オブジェクト候補領域を決定するための探索範囲を自動的に設定する。追跡対象のオブジェクト（ボール）以外にも動くオブジェクト（人物等）が存在する場合は、そのフレーム差を生じている領域が追跡処理におけるノイズとなる。そのようなノイズオブジェクトを避けるべく２次元予測位置Ｐ^Ｎ _ｔ−１の情報を用いて探索範囲を設置することで、その探索範囲を入力画像が入力される度に自動的にその位置が更新されることになる。また、当該探索範囲内でオブジェクト候補領域を決定することで、オブジェクト候補の探索に要する処理時間を高速化することができる。

ただし、この探索範囲は、２次元予測位置Ｐ^Ｎ _ｔ−１を重心位置とする予め定めた所定サイズとするが、当該所定サイズでオブジェクト候補領域を発見できない場合には、発見できるまで徐々に拡大する処理を施すことで、より頑健になる。換言すれば、オブジェクト候補領域を発見できる限りにおいては、常に、予め定めた所定サイズの探索範囲とすることができる。尚、所定最大サイズまで拡大する処理を施してもオブジェクト候補領域を発見できない場合、オブジェクト候補抽出部２１は、その旨を示す情報をオブジェクト選定部２２に出力する。

また、位置予測部４については詳細に後述するが、位置予測部４は、フレーム番号ｔ−１の多視点映像を基に推定された３次元オブジェクト位置から予測した２次元予測位置Ｐ^Ｎ _ｔ−１の情報をオブジェクト候補抽出部２１に出力する。３次元オブジェクト位置は、３次元位置計測部３によって、複数台の固定撮影カメラ５の各々のうち少なくともカメラ２台分の視線ベクトルを用いて求められ、その３次元オブジェクト位置について自カメラ画像へ予測投影した点が２次元予測位置Ｐ^Ｎ _ｔ−１となる。このとき、例えオブジェクト候補抽出部２１により自カメラ映像でのオブジェクト追跡が失敗（オブジェクト候補が未発見）となっても、他のカメラ映像でのオブジェクト追跡が成功（オブジェクト候補が発見）されることで３次元オブジェクト位置が推定されるため、当該オブジェクト追跡が失敗（オブジェクト候補が未発見）となった自カメラ映像に対し、２次元予測位置Ｐ^Ｎ _ｔ−１及び探索範囲が設定可能となり、これにより追跡ミスの少ない頑健な追跡処理を実現される。

ここで、所定期間累積し合成したフレーム差累積画像における探索範囲内でオブジェクト候補領域を決定する方法について、図５を参照してより具体的に説明する。

オブジェクト候補抽出部２１は、フレーム差累積画像における探索範囲内でオブジェクト候補領域を決定する際に、まず、当該探索範囲内で、フレーム番号ｔの画像Ｉ^Ｎ _ｔとその直前画像Ｉ^Ｎ _ｔ−１との間のフレーム差発生画像のＳｍａｘ領域を有し、且つフレーム番号ｔより以前の所定フレーム数まで、隣接フレーム毎にＳｍａｘ領域又は旧Ｓｍａｘ領域が連続している連続領域を探索し、その連続領域内のＳｍａｘ領域をオブジェクト候補領域として定め、そのオブジェクト候補領域の重心位置をオブジェクト候補位置としてオブジェクト選定部２２に出力する。尚、Ｓｍａｘ領域が見つからない場合には、前述したように、オブジェクト候補抽出部２１は、その旨を示す情報をオブジェクト選定部２２に出力する。探索範囲内にて、Ｓｍａｘ領域が複数検出されることが多いが、それらすべてをオブジェクト候補領域とする。ここで、連続領域とは隣接フレーム毎にＳｍａｘ領域又は旧Ｓｍａｘ領域が重複又は接している領域を云う。

例えば、図５に示す探索範囲内の例では、多数のＳｍａｘ領域があるが、探索範囲内に、フレーム番号ｔより以前の所定フレーム数（例えば探索範囲内で認められる最大フレーム数）まで、隣接フレーム毎にＳｍａｘ領域又は旧Ｓｍａｘ領域が連続している部分は、連続領域Ａ，Ｂ，Ｃとして定められる。このため、連続領域Ａ，Ｂ，Ｃ内のＳｍａｘ領域がオブジェクト候補領域となり、他のＳｍａｘ領域はノイズオブジェクトとして除外される。そして、オブジェクト候補抽出部２１は、連続領域Ａ，Ｂ，Ｃ内において、Ｎをカメラ番号、ｉをオブジェクトＩＤとして定義されるＳｍａｘ領域の重心位置Ｏ^Ｎ _ｉを求め、オブジェクト候補位置としてオブジェクト選定部２２に出力する。特に、連続領域Ｂ内の或るＳｍａｘ領域は、３つの正方状のＳｍａｘ領域が連結した状態となっており、そのＳｍａｘ連結領域の重心位置Ｏ^Ｎ _ｉを求める。重心位置Ｏ^Ｎ _ｉは、その領域内の全ての画素位置における２次元座標（ｘ，ｙ）の平均値で求める。尚、図５に示す例では、連続領域Ａ，Ｂ，Ｃが離間した領域を連続領域として図示しているが重複している場合もある点に留意する。また、図５に示す連続領域Ｂ内に、Ｓｍａｘ領域や連結状態のＳｍａｘ連結領域が複数存在するときも、別個のオブジェクト候補位置としてオブジェクト選定部２２に出力する。

図５に示すように、フレーム番号ｔより以前のフレーム番号では時間軸上で遡るに従って、旧Ｓｍａｘ領域が拡大するようにしてフレーム差累積画像が生成されているため、追跡対象のオブジェクトに対するフレーム間の連続性をより確実に識別できるようになり、連続領域Ａ，Ｂ，Ｃの判別が容易になる。また、フレーム番号ｔより以前のフレーム番号では時間軸上で遡るに従って、フレーム番号ｔのＳｍａｘ領域に対しレベル差を段階的に付与するようにフレーム差累積画像が生成されているため、フレーム間の連続性をより確実に識別できるようになるとともに、Ｓｍａｘ領域の判別が容易になる。これにより、追跡対象のオブジェクトがオブジェクト候補に含まれる確度を高めることができ、その頑健性が向上する。尚、本例では、モルフォルジ処理により正方状に領域成長させる例を説明したが、必ずしも正方状でなくともよく、多角状や円状、或いは楕円状でもよい。

（オブジェクト選定部）
オブジェクト選定部２２は、オブジェクト候補抽出部２１で抽出したオブジェクト候補位置の中から特定オブジェクト位置を選定する機能部である。より具体的には、オブジェクト選定部２２は、式（２）で示される距離Ｄ_ｉを基に、２次元予測位置Ｐ^Ｎ _ｔ−１から最も距離Ｄ_ｉが短いオブジェクト候補領域の重心位置Ｏ^Ｎ _ｉを２次元特定オブジェクト位置Ｏ^Ｎ _ｔとして選定し、３次元位置計測部３に出力する（図２：ステップＳ４）。

例えば、図５に示す例では、連続領域Ｂ内における２次元予測位置Ｐ^Ｎ _ｔ−１から最も距離Ｄ_ｉが短いＳｍａｘ連結領域の重心位置が２次元特定オブジェクト位置Ｏ^Ｎ _ｔとして選定される。尚、選定された時点でオブジェクトＩＤは不要となるため、特定オブジェクト位置の表記にはオブジェクトＩＤに替えてフレーム番号ｔを付与している。

以上のようなオブジェクト候補抽出部２１及びオブジェクト選定部２２を備える並列処理部２の処理により、複数台の固定撮影カメラ５の台数分の２次元特定オブジェクト位置Ｏ^Ｎ _ｔが、３次元位置計測部３に出力される。

（３次元位置計測部）
３次元位置計測部３は、並列処理部２の処理を経て、複数台の固定撮影カメラ５の各々から得られる選定した２次元特定オブジェクト位置の情報を基に、三角測量法により追跡対象のオブジェクトの実空間上の３次元位置（３次元オブジェクト位置）を推定して外部に出力するとともに、位置予測部４に出力する機能部である（図２：ステップＳ５）。特に、３次元位置計測部３は、射影変換を用いて前記複数台の固定撮影カメラの画像における当該選定したオブジェクト候補の２次元位置を実空間上の３次元位置に射影し、複数台の固定撮影カメラ５の各々から該オブジェクト候補の２次元位置へ向かう視線ベクトルを算出し、算出した複数の視線ベクトルのうち一対の視線ベクトルの組み合わせで定まる１以上の３次元位置を統合して、当該追跡対象のオブジェクトの実空間上の３次元位置を推定する。

単眼カメラではオブジェクトの３次元位置を特定することは不可能だが、少なくとも２つの２次元特定オブジェクト位置の画像座標を利用することで、三角測量の原理により実空間におけるオブジェクトの３次元位置を算出することができる。三角測量法で３次元位置を計算する場合、或る固定撮影カメラ５からオブジェクトヘ向かう視線ベクトルとして、２本必要となる。視線ベクトルの算出には、そのベクトル上を通る３次元位置が少なくとも２点必要となる。

そこで、本実施形態のオブジェクト追跡装置１において、３次元位置計測部３は、事前準備として、フィールド（バレーボールコート）に対して垂直な予め定めた仮想平面を利用して、実空間上の特定位置を原点として予め計測しておくとともに、それぞれの固定撮影カメラ５の画像を仮想平面へ射影するための射影変換行列を予め求めて、それぞれの固定撮影カメラ５の実空間上の位置座標と共に、所定のメモリ（図示せず）に保持しておく。

そして、３次元位置計測部３は、まず、並列処理部２から得られる２次元特定オブジェクト位置Ｏ^１ _ｔ〜Ｏ^Ｎ _ｔと、これに対応するフレーム番号ｔのそれぞれの固定撮影カメラ５の画像Ｉ^１ _ｔ〜Ｉ^Ｎ _ｔとを入力し、射影変換行列を用いて、画像Ｉ^１ _ｔ〜Ｉ^Ｎ _ｔをそれぞれ仮想平面へ射影した実空間座標系の射影変換画像を生成し、当該２次元特定オブジェクト位置Ｏ^１ _ｔ〜Ｏ^Ｎ _ｔ（カメラ座標系の２次元座標）に対応する実空間座標系の射影変換画像上の座標点をそれぞれ求め、これら座標点と、対応するそれぞれの固定撮影カメラ５の実空間上の位置座標を利用して、それぞれの固定撮影カメラ５の視線ベクトルを算出する。

例えば、図６に示すように、フィールド（バレーボールコート）に対して垂直なバレーボールネットを仮想平面とした実空間座標（Ｘ，Ｙ，Ｚ）上の特定位置を原点（０，０，０）として定めておくことで、固定撮影カメラ５‐１の実空間座標（Ｘ_Ｃ１，Ｙ_Ｃ１，Ｚ_Ｃ１）と、固定撮影カメラ５‐２の実空間座標（Ｘ_Ｃ２，Ｙ_Ｃ２，Ｚ_Ｃ２）を固定的に設定することができる。実空間上（３次元空間）上のオブジェクト（ボール）位置の実空間座標（Ｘ_ｂ，Ｙ_ｂ，Ｚ_ｂ）を求めるには、オブジェクト（ボール）位置に対する固定撮影カメラ５‐１の視線ベクトルと、固定撮影カメラ５‐２の視線ベクトルとの交点（又は最近接点）から求められる。そして、画像Ｉ^１ _ｔ〜Ｉ^Ｎ _ｔをそれぞれ仮想平面へ射影して生成された実空間座標系の射影変換画像を用いて、当該２次元特定オブジェクト位置Ｏ^１ _ｔ〜Ｏ^Ｎ _ｔ（カメラ座標系の２次元座標）に対応する実空間座標系の射影変換画像上の座標点（Ｘ_ｂ１，Ｙ_ｂ１，０），（Ｘ_ｂ２，Ｙ_ｂ２，０）をそれぞれ求めることで、固定撮影カメラ５‐１，５‐２の各視線ベクトルを算出することができる。図７（ａ）に、固定撮影カメラ５‐１で得られるカメラ座標系の画像例と、図７（ｂ）に、バレーボールネットを仮想平面とした実空間座標の射影変換画像の例を示している。

射影変換とは、平面から平面へ写像する技法であり（例えば、「高橋、沼徳、青木、近藤、“投影画像の幾何補正に関する実験的検討”、計測自動制御学会東北支部、第２３５回研究集会、資料番号２３５‐５，２００７年５月１８日」参照）、その射影変換行列は、例えば、図６に示す固定撮影カメラ５‐１について、その２次元特定オブジェクト位置Ｏ^１ _ｔのカメラ座標が（ｘ_ｂ１，ｙ_ｂ１）であるとすると、式（３）で表すことができる。

仮想平面は、３次元空間のＺ軸と平行で原点を通過する平面を仮定しているため常にＺ＝０となり、射影変換後の座標を求めることで視線ベクトル上の一点として定めることができる。尚、ｈ_１，…，ｈ_８は射影変換パラメータであり、射影変換行列Ｈは式（４）で表される。これら８つの射影変換パラメータは、画像間の４点以上の対応関係を得ることで求めることができる。例えば、固定撮影映像から競技場の四隅などの特徴点を４点以上指定し、バレーボールコートを真上から見た映像へ変換する射影変換行列を事前準備として作成しておき所定のメモリ（図示せず）に保持しておくようにする。

射影変換画像は仮想平面に対して垂直に作成されるため、画像内の全ての画素がカメラに対して同じ奥行き値を持つ。即ち、射影変換画像上のオブジェクト位置（２次元座標）を指定することで、視線ベクトル上の特定オブジェクト位置の３次元座標を求めることができる。

尚、図６に示す例では、バレーボールネットを仮想平面として視線ベクトルを求める例を説明したが、図８に示すように、フィールド（バレーボールコート）に対して垂直な競技場の側壁や市松模様の基準パネルを基に仮想平面を定めて視線ベクトルを求めるようにしてもよい。全ての固定撮影カメラ５に対し共通の仮想平面を用いる方が処理効率として簡便になるため好ましいが、異なる仮想平面を用いる場合でも実空間座標の原点及び軸方向を共通化することで追跡対象のオブジェクトの３次元位置を算出することができる。これにより、全ての固定撮影カメラ５における設置位置制限をほぼ無くすことができる。

そして、３次元位置計測部３は、２台の固定撮影カメラ５‐１，５‐２で視線ベクトルを求めると、その交点（又は最近接点）から追跡対象のオブジェクトの３次元位置を算出する。

Ｎ台の固定撮影カメラ５でオブジェクトを撮影した場合、２台の固定撮影カメラ５の組み合わせ個数は_ＮＣ_２となる（Ｃ：コンビネーション）。例えば４台の固定撮影カメラ５で撮影した場合は_４Ｃ_２＝６で、６通りの３次元オブジェクト位置を算出可能である。しかしながら、オクルージョン等より、必ずしも全ての組み合わせで高精度な位置計測が行われるとは限らない。そこで、３次元位置計測部３は、求め得た複数の３次元オブジェクト位置に対し、その平均位置からの距離を計算して所定の閾値を超える距離を持つ３次元オブジェクト位置を外れ値として除外する処理を少なくとも１回以上行って、残りの３次元オブジェクト位置の平均位置を、最終的な３次元オブジェクト位置として決定するのが好適である。

例えば、まず、全ての組み合わせＮＣ２個の３次元オブジェクト位置の座標を算出し、その平均値を得る。その後、平均位置と個別の３次元オブジェクト位置との距離を算出し、距離が所定の関値を超える場合はその位置座標を外れ値とする。外れ値を除いた３次元オブジェクト位置の座標で再び平均位置を算出し、その位置を最終的な３次元オブジェクト位置として決定する。

このようにして計測して推定された追跡対象のオブジェクトの実空間上の３次元位置（３次元オブジェクト位置）の情報は、３次元位置計測部３により外部に出力されるとともに、位置予測部４に出力される。尚、２つの視線ベクトルを用い、その交点が求まらない場合や、最近接点から２つの視線ベクトルまでの最短距離が所定の閾値を超える場合、計測不能とし、全ての視線ベクトルを用いても計測不能となる場合、３次元位置計測部３は、その旨を示す情報を出力する。このような計測不能の旨を示す情報出力は、各種パラメータの最適化に役立つようになる。

（位置予測部）
位置予測部４は、３次元位置計測部３により最終決定された３次元オブジェクト位置を基に、所定の状態推定法を用いて、当該複数台の固定撮影カメラ５の各々の次フレームの画像における追跡対象のオブジェクトの２次元予測位置をそれぞれ算出し、それぞれの並列処理部２におけるオブジェクト候補抽出部２１及びオブジェクト選定部２２に出力する機能部である（図２：ステップＳ６）。特に、位置予測部４は、当該現フレームに対し推定した追跡対象のオブジェクトの実空間上の３次元位置を複数台の固定撮影カメラ５の各々のカメラ座標に投影し、当該所定の状態推定法として、該３次元位置について複数フレームに亘って複数台の固定撮影カメラ５毎のカメラ座標に投影した位置座標を観測値としたカルマンフィルタ又はパーティクルフィルタにより、当該次フレームの多視点映像における当該追跡対象のオブジェクトの位置を予測し、その予測した当該２次元予測位置の情報（予測位置情報）を並列処理部２に出力し、並列処理部２における並列選定処理を補助する。

より具体的に、位置予測部４は、まず、３次元位置計測部３により最終決定された３次元オブジェクト位置を、当該複数台の固定撮影カメラ５の各々のカメラ画像座標上へ投影し、これを観測値としてカルマンフィルタやパーティクルフィルタなどの所定の状態推定法を用いて予測処理を施す。このため、位置予測部４は、複数フレームに亘って、３次元位置計測部３により得られる最終決定された３次元オブジェクト位置の情報、或いは該３次元オブジェクト位置の情報を複数台の固定撮影カメラ５の各々のカメラ座標に投影した固定撮影カメラ５毎の位置座標の情報を所定のメモリ（図示せず）に一時保持している。ところで、３次元オブジェクト位置を観測値として３次元の状態推定法（パーティクルフィルタ等）を用いて予測処理を施し、その後、予測した３次元オブジェクト位置を２次元座標へと投影して当該予測位置の情報を生成することも可能であるが、本実施形態では、２次元座標へと投影したオブジェクト位置を観測値として２次元の状態推定法を用いて予測処理を施すことで、処理速度性能を向上させている。本実施形態の好適例として、非ガウス性の状態推定モデルを扱えるパーティクルフィルタでの位置予測とした。パーティクルフィルタ（粒子フィルタ）は、離散的な誤差のある観測から、時々刻々と時間変化する量（例えば或る物体の位置と速度）を推定するのに用いられる（例えば、「山本、“３．４ 粒子フィルタ”、土木学会応用力学委員会逆問題小委員会ホームページ逆問題副読本、［online］、［平成27年11月17日検索］、インターネット〈http://tcu-yoshida-lab.org/Inverse_HP/pdf/kihon_PF(yamamoto).pdf〉」参照）。

追跡対象のオブジェクトとしたバレーボール競技のボールについても、観測ノイズが平均０、共分散行列Ｒのガウス分布に従うと仮定した場合、観測値に対するその尤度はパーティクルフィルタにより算出することができる。カメラ画像座標上のボール位置を観測値として、パーティクルフィルタにおけるその粒子尤度を重みとした重み付き平均を求めることで、ボール位置の推定することができる。また、パーティクルフィルタでは、この粒子尤度に応じてサンプル数を増減させることができるため、カルマンフィルタを用いる場合よりも安定した追跡処理が実現される。

図９（ａ）乃至（ｄ）に、それぞれ本実施形態のオブジェクト追跡装置１における３次元位置計測部３により推定される特定オブジェクト（ボール）の位置を、４台の固定撮影カメラ５毎に得られる画像Ｉ^１ _ｔ〜Ｉ^４ _ｔに対しＣＧ（３次元コンピュータグラフィックス）合成した一例を示している。

また、図１０に、本実施形態のオブジェクト追跡装置１における３次元位置計測部３により複数フレームに亘って推定される特定オブジェクト（ボール）の位置を、或る固定撮影カメラ５‐Ｎからの画像Ｉ^Ｎ _ｔにＣＧ合成した一例を示している。図１０では、更に、位置予測部４で推定されるオブジェクトの予測位置座標（ｘ_ｐ，ｙ_ｐ）の座標点や、その座標点に基づく当該探索範囲を示す枠をＣＧ合成することも可能であることを示している。従って、また追跡対象をボール以外にも人物等の特定オブジェクトに拡張する際に、例えばスポーツ以外にも監視カメラ映像解析に基づいたセキュリティシステムなどに応用することができる。

また、図１１に、本実施形態のオブジェクト追跡装置１について性能評価した結果を示している。

図１１（ａ）には、本実施形態のオブジェクト追跡装置１についての計測誤差評価の結果を示しており、目視正解データで求めたボール位置（実空間座標）との誤差［ｃｍ］を評価した。試合形式１ではフレーム数６００とし、試合形式２ではフレーム数４００として評価したところ、その平均誤差として２１．８ｃｍとなり、バレーボール競技でのボール追跡誤差として、約ボール１個分（直径２１ｃｍ）値度の誤差範囲に収まることが分かり、その実用性の高さを確認できている。

図１１（ｂ）には、本実施形態のオブジェクト追跡装置１についての位置予測の有効性評価の結果を示しており、目視正解データと各固定撮影カメラの画像上での誤差 [画素数] を評価した。４台の固定撮影カメラにおいて、それぞれ位置予測部４における状態推定法無しで追跡した場合、位置予測部４における状態推定法としてカルマンフィルタを用いた場合、及びパーティクルフィルタを用いた場合について比較した。カルマンフィルタを用いた場合でも実用性の高さを確認できたが、パーティクルフィルタを用いた場合に、優れた性能を発揮することが確認された。尚、位置予測部４における状態推定法無しで追跡した場合とは、即ち、２次元予測位置Ｐ^Ｎ _ｔ−１を用いることなくフレーム画像全体を探索範囲として追跡した例であるが、特定の固定撮影カメラ（仮想平面に対し鋭角位置に配置）では、途中、追跡不能な状態となることがあり、位置予測部４を設けることにより固定撮影カメラの設置場所が制限されず、追跡精度を高め処理速度を向上させることができる観点から、その有効性が確認できた。

図１１（ｃ）には、本実施形態のオブジェクト追跡装置１についての処理速度評価の結果を示しており、パーティクルフィルタを用いた場合でも１カメラ映像あたりの平均処理速度３１．２［ｍｓｅｃ／ｆｒａｍｅ］であったことから、実時間処理（リアルタイム処理）が実現できることが確認できた。尚、カルマンフィルタを用いた場合にはより処理負担が軽減されるため、実時間処理（リアルタイム処理）には更に有利となる。

以上のように、本実施形態のオブジェクト追跡装置１によれば、複数台の固定撮影カメラ５の各々から得られる多視点映像における特定オブジェクトについて、追跡精度、頑健性、及び処理速度性能を高くして安定的に自動追跡することが可能となることが確認できた。

尚、上述した一実施形態のオブジェクト追跡装置１をコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリに記憶される。コンピュータに備えられる中央演算処理装置（ＣＰＵ）などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、本実施形態のオブジェクト追跡装置１の各構成要素の機能をコンピュータに実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。

以上、特定の実施例を挙げて本発明を説明したが、本発明は前述の実施例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、バレーボール競技におけるボールを追跡対象のオブジェクトとする例について説明したが、バレーボール競技以外にもテニスやバスケットボールなど、様々なスポーツヘ適用することが可能である。また追跡対象が剛体であれば、ボールに限らず様々なオブジェクトの位置を計測できるため、他の応用も可能である。例えば、スポーツにおける自動審判、スポーツ番組の放送、スポーツデータ生成配信、コーチングなどのサービス、更には、監視カメラ映像解析に基づいたセキュリティンステムなどに応用可能である。例えば、追跡対象のオブジェクトをボールでなく比較的大きな対象物（人物等）とする場合、探索範囲の初期サイズを大きめにとり、式（１）の閾値Ｍを調整するととともに所定画素数以上のＳｍａｘ連結領域について探索するよう構成することが想定される。

本発明によれば、複数台の固定撮影カメラから得られる多視点映像における特定オブジェクトについて、追跡精度、頑健性、及び処理速度性能を高くして安定的に自動追跡することが可能となるので、オブジェクト位置の判定又は追跡に関する用途に有用である。

１ オブジェクト追跡装置
２，２‐１，２‐２，２‐Ｎ 並列処理部
３ ３次元位置計測部
４ 位置予測部
５，５‐１，５‐２，５‐Ｎ 固定撮影カメラ
２１ オブジェクト候補抽出部
２２ オブジェクト選定部

Claims (6)

1. 多視点映像解析によりオブジェクト位置を自動追跡可能とするオブジェクト追跡装置であって、
   複数台の固定撮影カメラからそれぞれ得られる多視点映像を構成する現フレームの画像に対し、予測位置情報を基にそれぞれのオブジェクト候補を選定する並列選定処理を行う並列処理手段と、
   前記複数台の固定撮影カメラに関連付けて選定したオブジェクト候補の２次元位置を基に、追跡対象のオブジェクトの実空間上の３次元位置を推定し出力する３次元位置計測手段と、
   当該推定した追跡対象のオブジェクトの実空間上の３次元位置を基に、所定の状態推定法を用いて前記複数台の固定撮影カメラに対する次フレームの多視点映像における当該追跡対象のオブジェクトの位置を予測した当該予測位置情報を生成し、前記並列選定処理を補助する位置予測手段と、
   を備えることを特徴とするオブジェクト追跡装置。
2. 前記並列処理手段は、
   多視点映像を構成するそれぞれの現フレームの画像に対し、隣接フレーム間の差を累積した所定のフレーム差累積画像を生成し、前記予測位置情報が示す予測位置周辺の探索領域内で当該オブジェクト候補を抽出するオブジェクト候補抽出手段と、
   前記オブジェクト候補抽出手段によって抽出したオブジェクト候補のうち前記予測位置情報が示す予測位置に対し最近位置のオブジェクト候補を選定するオブジェクト選定手段と、
   を備えることを特徴とする、請求項１に記載のオブジェクト追跡装置。
3. 前記オブジェクト候補抽出手段は、前記所定のフレーム差累積画像に対し、前記予測位置情報が示す予測位置を基に所定サイズから始めて拡大可能な当該探索範囲を設定し、該探索範囲内で、フレーム間で連続性の有る現フレームのレベル差を示すオブジェクト候補を抽出することを特徴とする、請求項２に記載のオブジェクト追跡装置。
4. 前記３次元位置計測手段は、射影変換を用いて前記複数台の固定撮影カメラの画像における当該選定したオブジェクト候補の２次元位置を実空間上の３次元位置に射影し、前記複数台の固定撮影カメラの各々から該オブジェクト候補の２次元位置へ向かう視線ベクトルを算出し、算出した複数の視線ベクトルのうち一対の視線ベクトルの組み合わせで定まる１以上の３次元位置を統合して、当該追跡対象のオブジェクトの実空間上の３次元位置を推定することを特徴とする、請求項１から３のいずれか一項に記載のオブジェクト追跡装置。
5. 前記位置予測手段は、当該現フレームに対し推定した追跡対象のオブジェクトの実空間上の３次元位置を前記複数台の固定撮影カメラの各々のカメラ座標に投影し、前記所定の状態推定法として、該３次元位置について複数フレームに亘って前記複数台の固定撮影カメラ毎のカメラ座標に投影した位置座標を観測値としたカルマンフィルタ又はパーティクルフィルタにより、当該次フレームの多視点映像における当該追跡対象のオブジェクトの位置を予測することを特徴とする、請求項１から４のいずれか一項に記載のオブジェクト追跡装置。
6. コンピュータを、請求項１から５のいずれか一項に記載のオブジェクト追跡装置として機能させるためのプログラム。