JP2016099941A - オブジェクト位置推定システム、及びそのプログラム - Google Patents

Abstract

【課題】複数のカメラによる映像を並列処理して、映像内の特定のオブジェクトを追跡可能とするオブジェクト位置推定システム、及びそのプログラムを提供する。【解決手段】本発明のオブジェクト位置推定システム１は、各カメラから映像を入力して所定の低レベル特徴及び機械学習に基づく高レベル特徴により追跡対象のオブジェクトを含むとして想定するオブジェクト候補領域を特定して、その軌跡を生成して選定する複数の対象オブジェクト検出・追跡装置２と、各カメラから得られる当該現在のフレームの画像とオブジェクト候補領域の軌跡の画像座標を射影変換画像へ変換して統合してブロック分割し、当該追跡対象のオブジェクトと相関性が高いブロックのオブジェクト候補座標を選定し、所定時間以上に継続しているボール候補座標を最終的なボール位置座標として決定する対象オブジェクト位置統合装置３とを備える。【選択図】図１

Description

本発明は、複数のカメラによる映像を並列処理して、映像内の特定のオブジェクトを追跡可能とするオブジェクト位置推定システム、及びそのプログラムに関する。

映像内の特定のオブジェクトを追跡可能とするオブジェクト位置推定システムは、例えば、スポーツ映像を解析し、自動審判、スポーツ番組の放送、スポーツデータ生成・配信、コーチングなどのサービスに利用することができる。また、監視カメラ映像解析に基づいたセキュリティシステムなど、様々なサービスにも利用することができる。

近年、パターン認識技術や計算機速度の向上により、映像内の特定オブジェクトを検出・追跡する技術の性能が高まっている。この映像解析技術の発展は特にスポーツシーン解析において顕著であり、例えばカメラをセンサとした様々なアプリケーションが提案されている。ウィンブルドンでも使用されているテニスのホークアイシステムは、複数の固定カメラ映像をセンサとしてテニスボールを３次元的に追跡し、ジャッジに絡むＩＮ／ＯＵＴの判定を行っている。また２０１４年のＦＩＦＡワールドカップでは、ゴールラインテクノロジーと称して、数台の固定カメラの映像を解析し、ゴールの判定を自動化している。更に、サッカースタジアムヘ多数のステレオカメラを設置し、フィールド内の全選手をリアルタイムに追跡するＴＲＡＣＡＢシステムなど、スポーツにおけるリアルタイム映像解析技術の高度化が進んでいる。

そのリアルタイム映像解析技術の一例として、サッカーボールの領域検出に先立って、被写体領域の抽出にかかる処理負担の軽減及び被写体領域以外の領域の抽出の防止を図るため、画像特徴より画像の前景と背景を効果的に分離する技法が開示されている（例えば、特許文献１参照）。

一方、現実世界の空間に配置したボールオブジェクトをタブレット端末に接続したカメラで認識・追跡可能に射影変換し、その追跡結果をタブレット端末内のアプリケーションの動作に反映させる技法が開示されている（例えば、特許文献２参照）。

また、複数カメラによる人物追跡技法として、或るカメラの認識処理結果について他カメラの認識処理結果を用いて処理負荷を軽減させ、マーキングされた人物をマーク表示する技法が開示されている（例えば、特許文献３参照）。

特開２０１２−９９８０号公報 特表２０１３−５３２３３７号公報 特開２００６−２２９４６５号公報

前述したようなテニスボールを３次元的に追跡する技法や、フィールド内の全選手をリアルタイムに追跡するＴＲＡＣＡＢシステムなどの技法では、予測可能なテニスボール、ゴール付近のみを撮影した映像からのサッカーボール、移動速度が遅く追跡が比較的容易なサッカー選手などを対象としている。しかしながら、フィールド内の任意位置でのサッカーボールは、その軌道予測が難しく、高速で移動し、オクルージョン（隠薇）が発生する頻度が高いため、このようなサッカーボールを安定的に追跡する技法は未だ確立されていない。

特に、特許文献１の技法では、映像内の被写体領域を抽出するために、画像特徴より画像の前景と背景を効果的に分離するよう構成されているが、サッカーボール領域検出に画像特徴を扱っているものの、機械学習など安定した認識処理を施しておらず、高速で移動し、オクルージョン（隠薇）が発生する頻度が高いサッカーボールを安定的に追跡するのは困難である。

また、特許文献２の技法では、現実世界の空間認識に射影変換も利用しているが、射影変換後の画像について、対象とするオブジェクトに関する検出が容易となるよう自由に加工可能に構成することが前提にあり、サッカースタジアムなどの広いフィールドを任意位置で撮像する映像に対して、リアルタイムにボール追跡する用途に適用することは困難である。

また、特許文献３の技法では、複数カメラによる人物追跡技法として、或るカメラの認識処理結果について他カメラの認識処理結果を用いて処理負荷を軽減させることができるが、射影変換などにより被写体を同一空間で追跡しておらず、サッカースタジアムなどの広いフィールドを任意位置で撮像する映像に対して、リアルタイムにオブジェクト追跡するにあたり、高速で移動し、オクルージョン（隠薇）が発生する頻度が高いオブジェクトを安定的に追跡するのは困難である。

したがって、以上のような既存の技法では、バウンドや選手からの跳ね返りによって軌道が予測できず、選手の影に隠れるオクルージョンが発生しやすく、シュート時には高速移動する、など追跡に困難を伴うサッカーボールのような特定のオブジェクトの位置を推定し、追跡することは実現できていない。

本発明の目的は、上述の問題を鑑みて為されたものであり、複数のカメラによる映像を並列処理して、映像内の特定のオブジェクトを追跡可能とするオブジェクト位置推定システム、及びそのプログラムを提供することにある。

上記課題を解決するために、本発明のオブジェクト位置推定システムは、複数のカメラによる映像を並列処理して、映像内の特定のオブジェクトを追跡可能とするために、個々のカメラ映像に対して追跡対象のオブジェクト領域を自動検出し機械学習を用いた安定したオブジェクト位置推定処理を施すと共に、各カメラ映像のオブジェクト位置推定処理結果を統合して再度オブジェクトの実空間上の位置を推定することで、より安定化させたオブジェクト位置推定を実現する。このように構成した本発明のオブジェクト位置推定システムは、各カメラ映像に対する推定処理を同一の空間に射影変換し最終的なオブジェクト位置を推定処理しており、各カメラ映像に対する推定処理を相補的に利用することで、追跡対象のオブジェクトを高精度で追跡可能とする。

例えば、本発明のオブジェクト位置推定システムでは、スタジアムに設置した複数の固定カメラ映像からボール領域を個々に検出・追跡し、それらの追跡結果を統合することで安定したボール追跡を可能とする。ボールの検出には機械学習の理論を用いて、ノイズの影響を抑えた正確なボール検出を可能とし、ボールが選手の影に隠れた場合に通常であれば追跡不能な状況となっても、複数のカメラで処理し各カメラの追跡状況と統合することで、安定したボール追跡を可能とする。特に、追跡結果の統合においては、各カメラ映像を射影変換でフィールドを真上から見た同一の画像空間上へと配置し、選手の密集領域を考慮した頑健なボール推定処理を実現する。尚、本発明は、サッカーボールの位置推定に特に有効であるが、サッカー以外でもテニス、バレーボール、バスケットボール、卓球など幅広い球技に応用可能な技術である。また追跡対象は、ボールに限らず様々なオブジェクトの位置を推定することも可能である。

即ち、本発明のオブジェクト位置推定システムは、複数のカメラによる映像を並列処理して、映像内の特定のオブジェクトを追跡可能とするオブジェクト位置推定システムであって、各カメラからフレーム単位で連続する映像を入力してフレーム間差分画像を生成し、現在のフレームにおけるオブジェクト候補領域を差分画像で区分された領域に基づく低レベル特徴により決定するオブジェクト候補領域抽出手段と、各カメラから得られる当該オブジェクト候補領域のうち、追跡対象のオブジェクトを含むとして想定される領域を機械学習に基づく高レベル特徴により特定するオブジェクト候補領域認識手段と、各カメラから得られる当該高レベル特徴により特定されたオブジェクト候補領域について、フレーム間で関連付けたボール候補領域の軌跡を生成するオブジェクト軌跡生成手段と、各カメラから得られる当該オブジェクト候補領域の軌跡のうち、カメラ毎に予め定めた指標に基づき最も高い値を持つ軌跡を追跡対象のオブジェクトの軌跡として選定するオブジェクト軌跡選定手段と、各カメラから得られる当該現在のフレームの画像と、カメラ毎に選定されたオブジェクト候補領域の軌跡の画像座標を所定の射影変換画像へ変換して統合する射影変換手段と、前記射影変換画像についてブロック分割し、各ブロック内で当該追跡対象のオブジェクトと相関性が高いものとして予め定めた当該追跡対象のオブジェクト以外のオブジェクトによって表される特徴量を算出して比較し、該特徴量が所定値以下のブロックを排除し、未排除のブロックに位置するオブジェクト候補座標を選定するブロック判定手段と、当該選定されたオブジェクト候補座標について所定時間以上に継続しているボール候補座標を最終的なボール位置座標として決定するオブジェクト位置推定手段と、を備えることを特徴とする。

また、本発明のオブジェクト位置推定システムにおいて、前記オブジェクト候補領域認識手段は、色ヒストグラム特徴量とローカルバイナリーパターン特徴量の二重特徴量により認識されるボール候補領域を機械学習に基づく高レベル特徴により特定することを特徴とする。

また、本発明のオブジェクト位置推定システムにおいて、前記オブジェクト軌跡選定手段は、カメラ毎に予め定めた指標として、前記射影変換画像上でのオブジェクト候補領域の速度、移動量、及び追跡時間のうち１つ以上を指標として選定することを特徴とする。

また、本発明のオブジェクト位置推定システムにおいて、前記ブロック判定手段は、当該追跡対象のオブジェクトと相関性が高いものとして人物を対象とし、当該追跡対象のオブジェクト以外のオブジェクトによって表される特徴量として当該人物の占有率を対象とすることを特徴とする。

また、本発明のオブジェクト位置推定システムにおいて、前記オブジェクト位置推定手段は、当該選定されたオブジェクト候補座標について、各軌跡の追跡終了フレームからの経過時間を基に、所定時間以上に継続しているボール候補座標を最終的なボール位置座標として決定することを特徴とする。

更に、本発明のプログラムは、本発明に係るオブジェクト位置推定システムにて前記オブジェクト候補領域抽出手段、前記オブジェクト候補領域認識手段、前記オブジェクト軌跡生成手段、及び前記オブジェクト軌跡選定手段の各機能を実現させるために、当該並列処理における処理対象のカメラの映像から前記特定のオブジェクトに関するオブジェクト候補領域の軌跡を個別に選定するコンピュータに、処理対象のカメラからフレーム単位で連続する映像を入力してフレーム間差分画像を生成し、現在のフレームにおけるオブジェクト候補領域を差分画像で区分された領域に基づく低レベル特徴により決定するステップと、処理対象のカメラから得られる当該オブジェクト候補領域のうち、追跡対象のオブジェクトを含むとして想定される領域を機械学習に基づく高レベル特徴により特定するステップと、処理対象のカメラから得られる当該高レベル特徴により特定されたオブジェクト候補領域について、フレーム間で関連付けたボール候補領域の軌跡を生成するステップと、処理対象のカメラから得られる当該オブジェクト候補領域の軌跡のうち、カメラ毎に予め定めた指標に基づき最も高い値を持つ軌跡を追跡対象のオブジェクトの軌跡として選定するステップと、を実行させるためのプログラムを構成する。

更に、本発明のプログラムは、本発明に係るオブジェクト位置推定システムにて前記射影変換手段、前記ブロック判定手段、及び前記オブジェクト位置推定手段の各機能を実現させるために、当該複数のカメラの映像からそれぞれ抽出された特定のオブジェクトに関するオブジェクト候補領域を統合して当該特定のオブジェクトを追跡可能とするコンピュータに、上記本発明のプログラムによって実行された各ステップを経て各カメラから得られる当該現在のフレームの画像と、カメラ毎に選定されたオブジェクト候補領域の軌跡の画像座標を所定の射影変換画像へ変換して統合するステップと、前記射影変換画像についてブロック分割し、各ブロック内で当該追跡対象のオブジェクトと相関性が高いものとして予め定めた当該追跡対象のオブジェクト以外のオブジェクトによって表される特徴量を算出して比較し、該特徴量が所定値以下のブロックを排除し、未排除のブロックに位置するオブジェクト候補座標を選定するステップと、当該選定されたオブジェクト候補座標について所定時間以上に継続しているボール候補座標を最終的なボール位置座標として決定するステップと、を実行させるためのプログラムを構成する。

本発明によれば、高い精度で実空間上のオブジェクト位置を推定することができる。

本発明による一実施形態のオブジェクト位置推定システムの構成例を示すブロック図である。 本発明による一実施形態のオブジェクト位置推定システムの動作の一例を示すフローチャートである。 本発明による一実施形態のオブジェクト位置推定システムにおけるオブジェクトの候補領域抽出処理の説明図である。 （Ａ）,（Ｂ）は、本発明による一実施形態のオブジェクト位置推定システムにおける低レベル特徴によるオブジェクトの候補認識処理の説明図である。 （Ａ）,（Ｂ）は、それぞれ本発明による一実施形態のオブジェクト位置推定システムにおける高レベル特徴によるオブジェクトの候補認識処理に用いる機械学習用の正例及び負例を例示する図である。 本発明による一実施形態のオブジェクト位置推定システムにおける高レベル特徴によるオブジェクトの候補認識処理に用いる色ヒストグラムを例示する図である。 本発明による一実施形態のオブジェクト位置推定システムにおけるオブジェクトの軌跡生成処理及び軌跡選定処理の処理結果に関する説明図である。 （Ａ）,（Ｂ）は、本発明による一実施形態のオブジェクト位置推定システムにおける射影変換処理に関する説明図である。 本発明による一実施形態のオブジェクト位置推定システムにおける射影変換画像を例示する図である。 本発明による一実施形態のオブジェクト位置推定システムにおけるオブジェクトのブロック判定処理に関する説明図である。 本発明による一実施形態のオブジェクト位置推定システムにおけるオブジェクトの位置推定処理に関する説明図である。 本発明による一実施形態のオブジェクト位置推定システムにおける高レベル特徴の識別精度及び処理時間を対比説明する図である。 本発明による一実施形態のオブジェクト位置推定システムにおける推定誤差を対比説明する図である。 （Ａ）,（Ｂ）は、本発明による一実施形態のオブジェクト位置推定システムにおけるオブジェクトの推定位置の領域半径に対する適合確率に関する説明図である。

（オブジェクト位置推定システムの構成）
以下、図面を参照して、本発明による一実施形態のオブジェクト位置推定システム１を説明する。図１は、本発明による一実施形態のオブジェクト位置推定システム１の構成例を示すブロック図である。

図１に例示するオブジェクト位置推定システム１は、個別のカメラ映像をそれぞれ入力し、独立に並列処理して個別のオブジェクト位置を推定する複数の対象オブジェクト検出・追跡装置２と、該複数の対象オブジェクト検出・追跡装置２の処理結果を統合してオブジェクト位置を推定する対象オブジェクト位置統合装置３とを備える。対象オブジェクト検出・追跡装置２は、オブジェクト候補領域抽出部２１、オブジェクト候補領域認識部２２、オブジェクト軌跡生成部２３、及びオブジェクト軌跡選定部２４を備える。また、対象オブジェクト位置統合装置３は、射影変換部３１、ブロック判定部３２、及びオブジェクト位置推定部３３を備える。

複数の対象オブジェクト検出・追跡装置２は、それぞれ同様に構成され、リアルタイムに個別のカメラ映像をそれぞれ入力し並列処理するように構成されている。本例では、４台のカメラ（第１乃至第４カメラ）から得られるカメラ映像（特に、各カメラから得られるフレーム画像を２Ｄ(dimensional)画像と称する。）が、それぞれの対象オブジェクト検出・追跡装置２に入力され、それぞれの対象オブジェクト検出・追跡装置２は、各２Ｄ画像内のオブジェクト位置を推定し、その処理結果を対象オブジェクト位置統合装置３に出力する。したがって、対象オブジェクト位置統合装置３は、複数の対象オブジェクト検出・追跡装置２から入力される処理結果を各カメラのカメラ映像と同期させて最終的なオブジェクト位置を推定処理するように構成されている。

そして、複数の対象オブジェクト検出・追跡装置２、及び対象オブジェクト位置統合装置３は、それぞれパーソナルコンピュータにより実現することができる。例えば、本実施形態の対象オブジェクト検出・追跡装置２及び対象オブジェクト位置統合装置３は、それぞれの各構成要素の機能について、コンピュータにより実現することができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリ（図示せず）に記憶される。コンピュータに備えられる中央演算処理装置（ＣＰＵ）などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで実行することにより、本実施形態の対象オブジェクト検出・追跡装置２及び対象オブジェクト位置統合装置３の構成要素の機能をコンピュータにより実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。

以下では、サッカースタジアムに配設された４台のカメラ（第１乃至第４カメラ）からのカメラ映像を解析して、サッカーボール（以下、単に「ボール」とも略す。）を追跡対象のオブジェクトとする例を説明する。尚、カメラ台数は、多ければ多いほどよいが、複数台のカメラであれば本発明に係るオブジェクト位置推定システム１を構成することができる。

まず、対象オブジェクト検出・追跡装置２が備えるオブジェクト候補領域抽出部２１、オブジェクト候補領域認識部２２、オブジェクト軌跡生成部２３、及びオブジェクト軌跡選定部２４の機能について説明する。

オブジェクト候補領域抽出部２１は、対応するカメラからフレーム単位で連続する映像（２Ｄ画像）を入力してフレーム間差分画像を生成し、現在のフレーム（以下、「現２Ｄ画像」と称する。）におけるオブジェクト候補領域（本例では、ボール候補領域）を差分画像で区分された領域に基づく低レベル特徴により決定する処理（オブジェクト候補領域抽出処理）を実行する機能を有する。

オブジェクト候補領域認識部２２は、オブジェクト候補領域抽出部２１によって決定された現２Ｄ画像におけるボール候補領域について、追跡対象のオブジェクトを含むとして想定される領域を機械学習に基づく高レベル特徴により特定する処理（オブジェクト候補領域認識処理）を実行する機能を有する。特に、オブジェクト候補領域認識部２２は、色ヒストグラム特徴量とローカルバイナリーパターン（ＬＢＰ:Local Binary Pattern）特徴量の二重特徴量により認識されるボール候補領域を抽出することで追跡対象のオブジェクトを含むとして想定される領域を特定する。

オブジェクト軌跡生成部２３は、オブジェクト候補領域認識部２２によって特定されたボール候補領域について、フレーム間（即ち、現２Ｄ画像と連続する１以上の過去の２Ｄ画像（以下、「過去２Ｄ画像」と称する。）との間）で関連付けたボール候補領域の軌跡を生成する処理（オブジェクト軌跡生成処理）を実行する機能を有する。

オブジェクト軌跡選定部２４は、オブジェクト軌跡生成部２３によって複数に生成されうるボール候補領域の軌跡のうち、後述する予め定めた指標に基づき最も高い値を持つ軌跡を選定し、現２Ｄ画像とともに当該選定した軌跡の各フレームにおけるボール候補領域の画像座標（以下、「ボール候補座標」とも称する。）を追跡対象のオブジェクト（本例では、ボール）の軌跡として決定して、対象オブジェクト位置統合装置３に出力する処理（オブジェクト軌跡選定処理）を実行する機能を有する。

次に、対象オブジェクト位置統合装置３が備える射影変換部３１、ブロック判定部３２、及びオブジェクト位置推定部３３の機能について説明する。

射影変換部３１は、各対象オブジェクト検出・追跡装置２から、２Ｄ画像（即ち、現２Ｄ画像）と、当該選定された軌跡のボール候補座標を入力し、各ボール候補座標を反映する所定の射影変換画像へそれぞれ変換して統合する処理（射影変換処理）を実行する機能を有する。

ブロック判定部３２は、射影変換部３１によって得られる射影変換画像について所定ブロック数でブロック分割し、各ブロック内で当該ボールのオブジェクトと相関性が高いものとして予め定めた当該ボール以外のオブジェクトによって表される特徴量を算出して比較し、該特徴量が所定値以下のブロックを排除し、未排除のブロックに位置するボール候補座標を選定することにより、当該射影変換画像から得られる各ボール候補座標を選択する処理（ブロック判定処理）を実行する機能を有する。例えば、各ブロック内の当該ボール以外のオブジェクトによって表される特徴量として、人物領域の占有率とすることができる。即ち、ブロック判定処理として、射影変換画像から得られる各ブロックの人物領域の占有率を算出し、人物領域の占有率を基に、人物領域の占有率が高いブロック内のボール候補座標を優先的に選択する。

オブジェクト位置推定部３３は、ブロック判定部３２によって選択された各ボール候補座標について、各軌跡の「追跡終了フレームからの経過時間」を基に、所定時間以上（所定のフレーム数以上）に継続しているボール候補座標を最終的なボール位置座標として決定する処理（ボール位置推定処理）を実行する機能を有する。当該決定された最終的なボール位置座標は、当該射影変換画像における位置座標を示す態様で、図示しない所定の画像表示部へと表示させ、この表示を連続させることで、当該最終的に推定したボール位置の軌跡を当該射影変換画像上にて表示させることができる。そして、所定時間以上（所定のフレーム数以上）に継続しているボール候補座標を最終的なボール位置座標として決定することで、例えば、ブロック判定部３２によって選択された各ボール候補座標が或るフレームにて複数ある場合や全く検出されない場合も、複数フレームで連続的に射影変換された各射影変換画像上にて連続表示させると、概ね１つの推定されたボール位置の軌跡が認識される。

（オブジェクト位置推定システムの動作例）
以下、図２乃至図１１を参照して、本発明による一実施形態のオブジェクト位置推定システム１の動作の一例をより詳細にする。尚、カメラ映像に関する２Ｄ画像を示す各図面はグレイスケール表示で図示しているが、特筆しない限りＲＧＢカラー情報で処理されるものとする。図２は、本発明による一実施形態のオブジェクト位置推定システムの動作の一例を示すフローチャートである。

まず、対象オブジェクト検出・追跡装置２の各々は、対応するカメラからフレーム単位で連続する映像（２Ｄ画像）を入力する（ステップＳ１）。

次に、対象オブジェクト検出・追跡装置２の各々は、オブジェクト候補領域抽出部２１により、対応するカメラから入力されたフレーム単位で連続する映像（２Ｄ画像）についてフレーム間差分画像を生成し、現２Ｄ画像におけるボール候補領域を差分画像で区分された領域に基づく低レベル特徴により決定する（ステップＳ２）。

より具体的には、オブジェクト候補領域抽出部２１により、フレーム間差分画像を生成し、低レベルの画像特徴を基準としてボール候補領域を粗く抽出する。フレーム間差分画像とは隣り合う映像フレームの画素ごとの差分値をピクセル値とした画像であり、映像内で動きが生じた部分のみ値が増加する。追跡時のボールは常に動いているため、フレーム間差分画像内で高い値（絶対値）を有する画素のみを処理対象とすることで、効率的にボールを検出することができる。そして、特定のしきい値で２値化したフレーム間差分画像にラベリング処理を施し、ラベル（連結領域）ごとに低レベル特徴を算出する。低レベル特徴は、ラベル内の色、形（円形度）及び画素数とし、予め設定した範囲外の特徴量を持つラベルをボール候補から除外することで、ボール候補領域を決定する。

より詳細に図３及び図４を参照して説明するに、図３は、本発明による一実施形態のオブジェクト位置推定システム１におけるオブジェクト候補領域抽出部２１によるオブジェクトの候補領域抽出処理の説明図である。図４（Ａ）,（Ｂ）は、本発明による一実施形態のオブジェクト位置推定システムにおける低レベル特徴によるオブジェクト候補領域抽出部２１によるオブジェクトの候補認識処理の説明図である。例えば、図３に示すように、動きのあるオブジェクトＯｂを含む第ｎフレーム及び第ｎ−１フレーム間の差分を取ることで、フレーム間差分画像を生成することができる。フレーム間差分画像内には、高い値（絶対値）を有する画素の領域にラベルＬ１，Ｌ２を付与する。尚、フレーム間差分画像にモノフォロジー演算によるフィルタ処理を施した後、ラベルを付すように構成してもよい。

このようにして、第ｎフレーム（現２Ｄ画像Ｆｒ）を例示する図４（Ａ）について、図４（Ｂ）に示すように抽出された各領域にラベルＬ１〜Ｌ１９を付すことができ、更に、ラベル（連結領域）ごとに低レベル特徴を算出して、予め設定した範囲外の特徴量を持つラベルをボール候補から除外することで、ボール候補領域を決定することができる。図４（Ｂ）では、ボール候補領域から除外された領域（ラベル）Ｌ１，Ｌ４〜Ｌ８，Ｌ１２〜Ｌ１７と、ボール候補領域として抽出された領域（ラベル）Ｌ２，Ｌ３，Ｌ９〜Ｌ１１，Ｌ１８，Ｌ１９とに分類し、ボール候補領域を決定することができる旨を例示している。尚、ラベル１は、当該フレーム間差分画像で抽出した領域が所定量以上密集しているときは１つの領域とみなしており、ボール候補領域から除外することができる。

次に、対象オブジェクト検出・追跡装置２の各々は、オブジェクト候補領域認識部２２により、オブジェクト候補領域抽出部２１によって決定された現２Ｄ画像におけるボール候補領域について、追跡対象のオブジェクトを含むとして想定される領域を機械学習に基づく高レベル特徴により特定する（ステップＳ３）。特に、オブジェクト候補領域認識部２２は、色ヒストグラム特徴量とローカルバイナリーパターン（ＬＢＰ）特徴量の二重特徴量により認識されるボール候補領域を抽出することで追跡対象のオブジェクトを含むとして想定される領域を特定する。

より具体的には、オブジェクト候補領域認識部２２により、より高い精度でボール候補を絞り込む。このために、ボールの認識には教師あり学習のフレームワークを用いるのが好適である。まず、予めサッカーの映像から多数のボール画像（１２×１２画素）と非ボール画像（１２× １２画素）を収集する。図５（Ａ）,（Ｂ）は、それぞれ本発明による一実施形態のオブジェクト位置推定システム１における高レベル特徴によるオブジェクトの候補認識処理に用いる機械学習用の正例（ボール画像）及び負例（非ボール画像）を例示する図である。収集した正例及び負例の画像から、色ヒストグラム特徴量とＬＢＰ特徴量を抽出する。

図６は、本発明による一実施形態のオブジェクト位置推定システム１における高レベル特徴によるオブジェクトの候補認識処理に用いる色ヒストグラムを例示する図である。図６に示すように、色ヒストグラム特徴量は、ＲＧＢ色空間を３×３×３の２７次元に分割し、正例及び負例の画像内の各画素の色頻度で表すことができる。

また、ＬＢＰ特徴量は、テクスチャ解析で用いられるパターンベースの特徴量であり、識別精度の高さや計算コストの低さから近年注目されている（例えば、『寺島，喜田、“勾配情報を用いたLocal Binary Patternの改良”,DEIM Forum 2014, F5‐4』を参照）。ＬＢＰ特徴量は、ラスタスキャンによって算出され、注目画素の周囲の半径をＲ、近傍領域の画素数をＰとして式（１）を基に求めることができる。

ここで，ｇ_ｃ は注目画素の画素値を示し，ｇ_ｐ は参照点の画素値を表す。近傍領域はＲ＝１のとき近傍領域は３×３であり，Ｐの最大は８となる。ＬＢＰ特徴量は注目画素ｇ_ｃと近傍領域の画素値ｇ_ｐの大小比較によってパターンＬＢＰ_Ｐ，Ｒ が算出され、その種類は２のＰ乗となる。ＬＢＰ特徴量はこのパターンの頻度を記述したヒストグラムの特徴量である。一例として、Ｒ＝１, Ｐ＝８の２５６次元のＬＢＰとすることができる。色ヒストグラム特徴量とＬＢＰ特徴量の二重特徴量により、その合計次元数は２８３（＝２７＋２５６）となる。この２８３次元の特徴量であれば、機械学習による認識処理負荷を比較的軽減させることができ、リアルタイムに入力される２Ｄ画像に対する実時間内処理を実現することができる。

そして、この機械学習として、当該２８３次元の二重特徴量による高レベル特徴を用いた、教師あり学習の枠組みで２値のサポート・ベクタ・マシン（SVM: Support Vector Machine）を構成する。このサポート・ベクタ・マシンによる識別器を用いることで、前述した低レベル特徴による抽出よりも高い精度でボール候補領域の是非を判定し、リアルタイムに入力される２Ｄ画像に対する実時間内処理で、ボールを含むとして想定されるボール候補領域の数を絞り込むことができる。

即ち、サポート・ベクタ・マシンによる識別処理には処理時間を要するため、本発明に係るオブジェクト位置推定システム１では、低レベル特徴によるボール領域抽出で領域数を減らした後、高レベル特徴による認識処理を行うよう２段階抽出する構成とすることで、高精度、且つ実時間内処理を実現している。

次に、対象オブジェクト検出・追跡装置２の各々は、オブジェクト軌跡生成部２３により、オブジェクト候補領域認識部２２によって特定されたボール候補領域について、現２Ｄ画像と１以上の連続する過去２Ｄ画像との間（即ち、隣接フレーム間）で関連付けたボール候補領域の軌跡を生成する（ステップＳ４）。

より具体的には、オブジェクト軌跡生成部２３により、当該低レベル特徴及び高レベル特徴で抽出したボール候補領域に対し、その位置座標を時間軸上で規定数（例えば３点）以上連結した移動軌跡を生成する。例えば、現２Ｄ画像のフレームｉで抽出したボール候補領域がｍ個存在し、過去２Ｄ画像のフレームｉ−１までに追跡しているボール候補領域がｎ個存在するとする。この際、フレームｉで新たに抽出したボール候補領域をフレームｉ−１までに追跡しているボール候補領域のどの軌跡に割り当てるかを、各軌跡までの距離と低レベル特徴の類似度を基準として判断する。

そして、各軌跡は、フレームｉ−１までに追跡しているボール候補領域の低レベル特徴が関連付けて保持されているものとする。フレームｉで抽出したボール候補領域が、各軌跡に関連付けて保持されている低レベル特徴に対して所定値以上に類似度が高く、且つ所定範囲内で距離が近いとするボール候補領域が存在する場合、追跡成功として当該軌跡にそのボール候補領域を追加する。一方、所定値以上に類似度が高く、且つ所定範囲内で距離が近いとするボール候補領域が存在しない場合、当該フレームｉで抽出したボール候補領域を新規オブジェクトとみなし、現２Ｄ画像のフレームｉから新たな軌跡を生成する。オブジェクト軌跡生成部２３により生成される各軌跡は、ボール候補領域の検出に成功したフレームでの画像座標を保持している。また、規定フレーム数以上で追跡に失敗した軌跡は、追跡対象から削除する。

次に、対象オブジェクト検出・追跡装置２の各々は、オブジェクト軌跡選定部２４により、オブジェクト軌跡生成部２３によって複数に生成されうるボール候補領域の軌跡のうち、現２Ｄ画像のフレームを基準にして１以上のフレームで構成されるそれぞれの軌跡について予め定めた指標に基づき最も高い値を持つ軌跡を選定し、現２Ｄ画像とともに当該選定した軌跡の各フレームにおけるボール候補座標を、追跡対象のオブジェクト（即ち、ボール）の軌跡として決定する（ステップＳ５）。

より具体的には、オブジェクト軌跡選定部２４により、予め定めた指標に基づき最も高い値を持つ軌跡を選定し、対応するカメラの現２Ｄ画像での最終的なボール位置を決定する。オブジェクト軌跡生成部２３により生成された各軌跡は、ボール候補領域の検出に成功したフレームでの画像座標を保持している。尚、これら画像座標は、後述する射影変換によって実空間座標へ変換することが可能である。オブジェクト軌跡選定部２４は、各軌跡の位置座標の履歴から、実空間上（即ち、射影変換画像上）でのボール候補領域の速度、移動量、及び追跡時間のうち１つ以上を指標として求める。

例えば、現２Ｄ画像のフレームを基準にして得られるそれぞれの軌跡について、各軌跡を構成する各フレームでの画像座標を基にフレーム単位で移動量を算出し、フレーム単位で算出した移動量を各軌跡の長さに相当するフレーム数（追跡時間）で平均化することで当該指標の評価値（これは、平均動きベクトル長に相当する。）とし、この平均動きベクトル長が最も長いものを、最もボールの動きに近い軌跡として選定する。或いは、現２Ｄ画像のフレームを基準にして得られるそれぞれの軌跡について、各軌跡を構成する各フレームでの画像座標を基にフレーム単位で速度及び移動量を算出し、フレーム単位で算出した速度を各軌跡の長さに相当するフレーム数（追跡時間）で平均化することで当該指標の評価値を得ることができる。或いはまた、各軌跡のフレーム数で勘案した平均速度や平均移動量、及び追跡時間について重み付け加算した値で当該指標の評価値を得ることができる。定性的には、当該平均速度が最も速いもの、当該平均移動量が最も大きいもの、及び追跡時間が最も長いものが最もボールの動きに近い軌跡として選定される。そして、現２Ｄ画像とともに当該選定した軌跡の各フレームにおけるボール候補座標を、対象オブジェクト検出・追跡装置２の各々の最終値として決定する。尚、当該指標に閾値を設け、全ての軌跡が該閾値以下の指標である場合、即ちボールの動きに近い軌跡が存在しないと判断する場合、当該カメラ映像でのボール候補領域の追跡は失敗とみなし、当該選定した軌跡の各フレームにおけるボール候補座標の代わりにＮＵＬＬを出力する。

更に、オブジェクト軌跡生成部２３は、オブジェクト軌跡選定部２４による軌跡の選定に関わらず、当該複数に生成された際の全てのボール候補領域の軌跡を継続的に追跡している。したがって、オブジェクト軌跡選定部２４は、一旦、最もボールの動きに近い軌跡として選定されたボール候補座標の軌跡が途切れた場合（即ち、当該軌跡に割り当てられるボール候補座標が無くなってしまう場合）も、その途切れた時点のフレームにおける最も距離的に近接する他のボール候補領域の画像座標を当該最もボールの動きに近い軌跡のボール候補座標とみなして規定フレーム数まで追跡して出力する。このとき、オブジェクト軌跡選定部２４は、その途切れた時点の「追跡終了フレームからの経過時間」を補助情報として付与して追跡対象のオブジェクト（即ち、ボール）の軌跡とともに出力する。各軌跡は必ず「追跡終了フレームからの経過時間」を補助情報として有するように構成され、追跡対象のオブジェクトの追跡開始から現２Ｄ画像まで常に追跡できていた時には、「追跡終了フレームからの経過時間」は“０”を意味する。

通常、全ての軌跡は、連続するフレームでボール候補座標が無くなることがあり、ボール候補座標が無くなった場合でも最も距離的に近接する他のボール候補領域の画像座標を出力するよう構成することで、オブジェクト軌跡選定部２４によって当該最終的に選定するボール候補領域の軌跡を規定フレーム数まで追跡表示させることが可能となり、その追跡能力を向上させることができる。そして、その途切れた時点の「追跡終了フレームからの経過時間」を補助情報として付与することで、後述する最終的なボール位置座標の選定時における精度を向上させることができる。

オブジェクト軌跡選定部２４により選定した軌跡の例を図７に示す。図７は、本発明による一実施形態のオブジェクト位置推定システム１におけるオブジェクトの軌跡生成処理及び軌跡選定処理の処理結果に関する説明図である。オブジェクト軌跡選定部２４により選定した軌跡は、図７に示すように、現２Ｄ画像のフレームＦｒにおける当該選定された軌跡のボール候補座標Ｂｎは、現２Ｄ画像Ｆｒより過去のフレームに関するボール候補座標を基に、軌跡ＴＬｎとして表すことができる。

次に、対象オブジェクト位置統合装置３は、対象オブジェクト検出・追跡装置２の各々から、それぞれの現２Ｄ画像と、当該選定された軌跡の各フレームにおけるボール候補座標（或いは当該ＮＵＬＬ）を入力する（ステップＳ６）。

次に、対象オブジェクト位置統合装置３は、射影変換部３１により、各対象オブジェクト検出・追跡装置２から入力された、２Ｄ画像（即ち、現２Ｄ画像）と、当該選定された軌跡のボール候補座標について、各ボール候補座標を反映する所定の射影変換画像へそれぞれ変換して統合する（ステップＳ７）。

より具体的には、射影変換部３１により、各対象オブジェクト検出・追跡装置２から得られた２Ｄ画像と、当該選定された軌跡のボール候補座標を実空間座標へと射影変換する。射影変換とは、平面から平面へ写像する、式（２），（３）で表わされる画像上の変換である（例えば、『高橋，沼徳，青木，近藤、“東映画像の幾何補正に関する実験的検討”，計測自動制御学会東北支部 第２３５回研究集会，資料番号２３５―５，２００７』を参照）。

ここで、座標（ｘ_ｃ, ｙ_ｃ）は変換前、座標（ｘ_ｐ, ｙ_ｐ）は変換後の座標とする。本例における射影変換は、平面から平面への写像であるため変換後も２次元座標となるが、２次元フィールド座標では高さを省略できるため、実空間上での高さ成分をゼロ（ｚ＝０）とみなしている。ｈ_１,…,ｈ_８は射影変換パラメータであり、射影変換行列Ｈは式（４）で表される。

式（４）における８つのパラメータは、画像間の４点以上の対応関係が得られれば求めることができる。例えば、固定撮影映像からフィールドの四隅など特徴的な点を４点以上指定し、フィールドを真上から見た映像へ変換する射影変換行列を事前に作成しておく。この射影変換行列を算出することで、例えば、図８（Ａ）に示す或るカメラのフレーム画像Ｆｒ（ｎ）（及びボール候補座標）を、図８（Ｂ）に示す２次元フィールド座標系の画像ＩＦｒ（及び射影変換後のボール候補座標）へと変換することが可能となる。尚、図８（Ａ）,（Ｂ）は、サッカーフィールドの右サイドを撮影した画像を、この真上座標系へ射影変換した画像例を示している。さらに、サッカーフィールドの右サイドを撮影した画像を真上座標系へ射影変換したものと、サッカーフィールドの左サイドを撮影した画像を射影変換したものとを合成することで、例えば図９に例示する画像を得ることができる。即ち、対象オブジェクト検出・追跡装置２の各々から得られるフレーム画像及び当該選定された軌跡のボール候補座標は、同一の空間（例えば、真上画像座標系に相当するフィールド座標）に射影変換される。以降の処理は、この射影変換した真上画像座標系で処理が進められる。

次に、対象オブジェクト位置統合装置３は、ブロック判定部３２により、射影変換部３１によって得られる射影変換画像について所定ブロック数でブロック分割し、各ブロック内で当該ボールのオブジェクトと相関性が高いものとして予め定めた当該ボール以外のオブジェクトによって表される特徴量を算出して比較し、該特徴量が所定値以下のブロックを排除し、未排除のブロックに位置するボール候補座標を選定することにより、当該射影変換画像から得られる各ボール候補座標を選択する。例えば、各ブロック内の当該ボール以外のオブジェクトによって表される特徴量として、人物領域の占有率とすることができる。即ち、ブロック判定部３２のブロック判定処理として、射影変換画像から得られる各ブロックの人物領域の占有率を算出し、人物領域の占有率を基に、人物領域の占有率が高いブロック内のボール候補座標を優先的に選択する。

より具体的には、ブロック判定部３２により、例えば、図９のように射影変換した画像ＩＦｒについて、図１０に示すように、１２ブロックに分割し、各ブロック内で人物領域ｈの占有率を算出する。占有率の算出式を式（５）に示す。

Ｏ_ｉ＝ｍ_ｉ／ｐ_ｉ （５）

ここで、Ｏ_ｉはブロック番号Ｂｋにおける人物領域の占有率であり、ｍ_ｉは人物領域の合計画素数、ｐ_ｉはブロックＢｋ内のトータル画素数である。一般に、ボールは選手が密集しているブロックに位置することが多い。そこで、或るカメラ映像で人物領域の占有率が低いブロックからボールを検出した場合、その検出を却下することで、安定したボール位置推定を実現することができる。尚、各ブロック内の当該ボール以外のオブジェクトによって表される特徴量（人物領域）の算出は、厳密性を要するものではなく、各ブロック間の差異を基に判別可能とするものであれば、例えば前述した色ヒストグラムによる解析など任意の画像解析処理を用いることができる。例えば、図１０では、Ｂｋ（０，１），Ｂｋ（０，２），Ｂｋ（１，１），Ｂｋ（１，２），Ｂｋ（２，１），Ｂｋ（２，２）以外のブロックＢｋがボール推定位置から排除される。

次に、対象オブジェクト位置統合装置３は、オブジェクト位置推定部３３により、ブロック判定部３２によって選択された各ボール候補座標について、各軌跡の「追跡終了フレームからの経過時間」を基に、所定時間以上（所定のフレーム数以上）に継続しているボール候補座標を最終的なボール位置座標として決定する（ステップＳ９）。各軌跡は必ず「追跡終了フレームからの経過時間」を補助情報として有するように構成され、追跡対象のオブジェクトの追跡開始から現２Ｄ画像まで常に追跡できていた時には、「追跡終了フレームからの経過時間」は“０”を意味する。

より具体的には、オブジェクト位置推定部３３により、真上座標系での各カメラのボール候補座標を統合し、最終的なボール位置座標を決定するため、実空間座標（２次元フィールド座標）に射影変換した各カメラ映像のボール座候補座標について、式（６）に従い、追跡終了フレームからの経過時間に基づく重み付き線形和で最終的なボール位置座標Ｐ_Ｆを算出する。

ここで、フレーム番号ｃを要素として、ｔ（ｃ）は追跡終了フレームからの経過時間、Ｐ_Ｆ（ｃ）はそれぞれの対象オブジェクト検出・追跡装置２からブロック判定部３２を経て選択されて得られているボール候補座標、Ｔは「追跡終了フレームからの経過時間ｔ（ｃ）」の最大値として定義した固定時間（例えば３秒）である。実空間座標（２次元フィールド座標）の画像上でのボール位置推定例を図１１に示す。図中の丸印が最終的に推定し得られたボール位置座標点であり、黒点が実際のボール位置の座標点を表している。また４台のカメラ映像毎の処理で得られていたボール候補座標の位置が、好適には同一箇所を示すことになるが、図１１に示すように、複数の異なる箇所でボール候補座標の位置を示す場合も想定され、それぞれのカメラ番号を表す数字で示されている。図１１において、カメラ番号２が最も追跡終了フレームからの経過時間ｔ（ｃ）が長いことを示しており、式（６）によれば、“Ｔ−ｔ（ｃ）”が当該カメラで得られた軌跡の重みを意味するところとなり、追跡終了フレームからの経過時間ｔ（ｃ）がより長いボール候補座標が最終的なボール位置座標Ｐ_Ｆとして長く表示される。

即ち、当該決定された最終的なボール位置座標は、当該射影変換画像における位置座標を示す態様で、図示しない所定の画像表示部へと表示させ、この表示を連続させることで、当該最終的に推定したボール位置の軌跡を当該射影変換画像上にて表示させることができる。そして、「追跡終了フレームからの経過時間」を基に、所定時間以上（例えば、３フレーム以上とするなどの所定のフレーム数以上）に継続しているボール候補座標を最終的なボール位置座標として決定する。これにより、例えば、ブロック判定部３２によって選択された各ボール候補座標が或るフレームにて複数ある場合や全く検出されない場合も、複数フレームで連続的に射影変換された各射影変換画像上にて連続表示させると、概ね１つの推定されたボール位置の軌跡が認識される。

尚、ブロック判定部３２の処理後にも複数のボール候補座標の軌跡が認められる場合に、これを１つの軌跡に絞りたいときには、最も優先度の高いブロック（例えば、最も人物の占有率の高いブロック）内で、「追跡終了フレームからの経過時間」が最も長いボール候補座標を最終的なボール位置座標Ｐ_Ｆとして決定するよう構成してもよい。

また、「追跡終了フレームからの経過時間」を基にする式（６）の代わりに、ボール位置の状態推定アルゴリズムとしてカルマンフィルタを用いることもできる。カルマンフィルタは、離散的な誤差のある観測から、時々刻々と時間変化する量（例えばある物体の位置と速度）を推定するために用いられる（例えば、『西山、“カルマンフィルタ”、電子情報通信学会「知識ベース」１群（信号・システム)‐５編（信号理論）‐６章，２０１１』を参照）。ただし、後述する実験結果に示すように、カルマンフィルタよりも式（６）のように定義した状態推定式のほうがリアルタイムのボール位置推定に優れた結果が得られている。

以下、本実施形態のオブジェクト位置推定システム１と、従来技法とを比較検証した実験結果について説明する。

（実験条件）
本実施形態のオブジェクト位置推定システム１の有効性を確認するため、サッカーの試合映像を用いた検証実験を行った。２０１４年天皇杯全日本サッカー選手権にて、フィールドを固定撮影した４台のカメラ映像を検証に用いた。各カメラ前半の映像を学習し、後半の映像を評価に利用した。２次元フィールド画像上のボール位置を１０フレーム毎に目視確認し、ボール位置の正解データとした。

（ボール検出精度）
まず、本発明に係るオブジェクト候補領域抽出部２１の低レベル特徴による抽出を経て得られるオブジェクト候補領域認識部２２の高レベル特徴の抽出処理についての性能評価を行った。約９，０００枚のボール画像（正例）と非ボール画像（負例）を利用し、その半数を学習用とし、残りの半数を評価用とした。２値判定による識別精度、及び識別に要した１画像あたりの処理時間を図１２に示した。比較対象として、モーメント、色ヒストグラム単体、ＬＢＰ単体、ＯＲＢ、ＳＵＲＦ、及びＳＩＦＴを示している。本実験に係る「モーメント」は、画像や形状の特徴を定量的に表現する技法の一つであり、本例では０次の空間モーメント、中心モーメント、正規化された中心モーメント、及び並進・回転に不変な７つのＨｕモーメント不変量を合わせて１０次元の特徴量とした。本実験に係る「色ヒストグラム」は、ＲＧＢ色空間を３×３×３の２７次元の特徴量とした。本実験に係る「ＬＢＰ」は、式（１）に基づくＲ＝１, Ｐ＝８の２５６次元の特徴量とした。「ＯＲＢ」、「ＳＵＲＦ」、及び「ＳＩＦＴ」は画像内の局所勾配による特徴量として従来から知られたものであり、その特徴次元をビンとしたヒストグラムで識別を行った。

本実験に係る図１２に示す「本発明」は、オブジェクト候補領域認識部２２の高レベル特徴による抽出として色ヒストグラム特徴量（２７次元）とＬＢＰ特徴量（２５６次元）の二重特徴量による２８３次元の特徴量である。図１２に示すように、ＬＢＰ及び色ヒストグラムの識別性能は単体でも他の技法に比べて高精度となり、本実施形態のオブジェクト位置推定システム１のようにその両者を組み合わせた二重特徴量では最も高精度となる値となった。本実施形態のオブジェクト位置推定システム１の処理速度に関しては、ＬＢＰ単体及び色ヒストグラム単体と比べて若干遅くなるものの、リアルタイム処理を実現できる範囲内の負荷で実現されることが確認できた。

（ボール位置推定精度）
続いて、本実施形態のオブジェクト位置推定システム１によるボール位置の推定精度を検証した。試合後半の映像から２次元フィールド座標上でのボールの正解位置と推定位置の誤差を算出した。代表的なオブジェクト追跡技法であるカルマンフィルタと比較した結果を図１３に示している。

推定誤差を実空間のメートルに換算したところ、本実施形態のオブジェクト位置推定システム１では、誤差の平均値は５．４２ｍであった。一方、カルマンフィルタの場合では、誤差の平均値は１０．５５ｍとなり、本実施形態のオブジェクト位置推定システム１はカルマンフィルタと比較しても誤差は低く抑えられており、高い精度でボール位置を推定可能となることを確認できた。推定誤差が所定半径の円内に収まる確率も識別精度の重要な要素して考察するに、例えば、図１４（Ａ）では、カメラ番号３のボール候補座標で最終的なボール位置座標として推定され、実際のボール位置と一致している場合を示している。また、図１４（Ｂ）では、カメラ番号１，４のボール候補座標のうちカメラ番号４のボール候補座標で最終的なボール位置座標として推定され、実際のボール位置とは若干のずれが生じている。この推定誤差が所定半径の円内に収まる確率も図１３に示しており、当該試合の約９割の時間帯で半径１０ｍの以内の誤差を達成できていることを確認した。

本実施形態のオブジェクト位置推定システム１では、特に、各カメラ映像に対して機械学習を用いた高精度なボール検出処理を行っている点、軌跡からボールの動きに近いオブジェクトを効果的に選択できている点、及び複数のカメラ映像に対する処理結果を相補的に統合している点が、当該高精度化に貢献したものと考えられる。

以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述の実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、本実施形態のオブジェクト位置推定システム１では、複数の対象オブジェクト検出・追跡装置２と、対象オブジェクト位置統合装置３とを個別の装置で構成する例を説明したが、複数の対象オブジェクト検出・追跡装置２のうちの１つに対象オブジェクト位置統合装置３の機能を組み入れるように構成してもよい。また、用途によっては、複数の対象オブジェクト検出・追跡装置２と、対象オブジェクト位置統合装置３の各機能を１つの装置に組み入れて構成してもよい。したがって、複数の対象オブジェクト検出・追跡装置２、及び対象オブジェクト位置統合装置３は、それぞれパーソナルコンピュータにより実現することができ、個別のプログラムで動作するよう構成することができるほか、単一のプログラムとして構成することもできる。

また、上述した例において、ブロック判定部３２は、追跡対象のオブジェクトとして相関性が高いものとして予め定めることが可能な他のオブジェクトについて、複数の人物による占有率を例に説明したが、例えば卓球など競技者数が限られている場合は、各ブロックでその競技者自体が占める割合で判別するよう構成してもよい。

また、上述した例では、射影変換画像として２次元フィールド画像とする例を説明したが、３次元空間から２次元空間へと定義づけることができる座標系であれば任意の射影変換画像を形成することができる。

本発明によれば、高い精度で実空間上のオブジェクト位置を推定することができるので、スポーツ映像解析技術、特に、自動審判、スポーツ番組の放送、スポーツデータ生成・配信、コーチングなどのサービスに利用することが可能である。また追跡対象を特定オブジェクトに拡張すれば、監視カメラ映像解析に基づぃたセキュリティシステムなど、様々なサービスにも応用可能である。したがって、高い精度での実空間上のオブジェクト位置の推定を要する用途に有用である。

１ オブジェクト位置推定システム
２ 対象オブジェクト検出・追跡装置
３ 対象オブジェクト位置統合装置
２１ オブジェクト候補領域抽出部
２２ オブジェクト候補領域認識部
２３ オブジェクト軌跡生成部
２４ オブジェクト軌跡選定部
３１ 射影変換部
３２ ブロック判定部
３３ オブジェクト位置推定部

Claims (7)

1. 複数のカメラによる映像を並列処理して、映像内の特定のオブジェクトを追跡可能とするオブジェクト位置推定システムであって、
   各カメラからフレーム単位で連続する映像を入力してフレーム間差分画像を生成し、現在のフレームにおけるオブジェクト候補領域を差分画像で区分された領域に基づく低レベル特徴により決定するオブジェクト候補領域抽出手段と、
   各カメラから得られる当該オブジェクト候補領域のうち、追跡対象のオブジェクトを含むとして想定される領域を機械学習に基づく高レベル特徴により特定するオブジェクト候補領域認識手段と、
   各カメラから得られる当該高レベル特徴により特定されたオブジェクト候補領域について、フレーム間で関連付けたボール候補領域の軌跡を生成するオブジェクト軌跡生成手段と、
   各カメラから得られる当該オブジェクト候補領域の軌跡のうち、カメラ毎に予め定めた指標に基づき最も高い値を持つ軌跡を追跡対象のオブジェクトの軌跡として選定するオブジェクト軌跡選定手段と、
   各カメラから得られる当該現在のフレームの画像と、カメラ毎に選定されたオブジェクト候補領域の軌跡の画像座標を所定の射影変換画像へ変換して統合する射影変換手段と、
   前記射影変換画像についてブロック分割し、各ブロック内で当該追跡対象のオブジェクトと相関性が高いものとして予め定めた当該追跡対象のオブジェクト以外のオブジェクトによって表される特徴量を算出して比較し、該特徴量が所定値以下のブロックを排除し、未排除のブロックに位置するオブジェクト候補座標を選定するブロック判定手段と、
   当該選定されたオブジェクト候補座標について所定時間以上に継続しているボール候補座標を最終的なボール位置座標として決定するオブジェクト位置推定手段と、
   を備えることを特徴とするオブジェクト位置推定システム。
2. 前記オブジェクト候補領域認識手段は、色ヒストグラム特徴量とローカルバイナリーパターン特徴量の二重特徴量により認識されるボール候補領域を機械学習に基づく高レベル特徴により特定することを特徴とする、請求項１に記載のオブジェクト位置推定システム。
3. 前記オブジェクト軌跡選定手段は、カメラ毎に予め定めた指標として、前記射影変換画像上でのオブジェクト候補領域の速度、移動量、及び追跡時間のうち１つ以上を指標として選定することを特徴とする、請求項１又は２に記載のオブジェクト位置推定システム。
4. 前記ブロック判定手段は、当該追跡対象のオブジェクトと相関性が高いものとして人物を対象とし、当該追跡対象のオブジェクト以外のオブジェクトによって表される特徴量として当該人物の占有率を対象とすることを特徴とする、請求項１から３のいずれか一項に記載のオブジェクト位置推定システム。
5. 前記オブジェクト位置推定手段は、当該選定されたオブジェクト候補座標について、各軌跡の追跡終了フレームからの経過時間を基に、所定時間以上に継続しているボール候補座標を最終的なボール位置座標として決定することを特徴とする、請求項１から４のいずれか一項に記載のオブジェクト位置推定システム。
6. 請求項１に記載のオブジェクト位置推定システムにて前記オブジェクト候補領域抽出手段、前記オブジェクト候補領域認識手段、前記オブジェクト軌跡生成手段、及び前記オブジェクト軌跡選定手段の各機能を実現させるために、当該並列処理における処理対象のカメラの映像から前記特定のオブジェクトに関するオブジェクト候補領域の軌跡を個別に選定するコンピュータに、
   処理対象のカメラからフレーム単位で連続する映像を入力してフレーム間差分画像を生成し、現在のフレームにおけるオブジェクト候補領域を差分画像で区分された領域に基づく低レベル特徴により決定するステップと、
   処理対象のカメラから得られる当該オブジェクト候補領域のうち、追跡対象のオブジェクトを含むとして想定される領域を機械学習に基づく高レベル特徴により特定するステップと、
   処理対象のカメラから得られる当該高レベル特徴により特定されたオブジェクト候補領域について、フレーム間で関連付けたボール候補領域の軌跡を生成するステップと、
   処理対象のカメラから得られる当該オブジェクト候補領域の軌跡のうち、カメラ毎に予め定めた指標に基づき最も高い値を持つ軌跡を追跡対象のオブジェクトの軌跡として選定するステップと、
   を実行させるためのプログラム。
7. 請求項１に記載のオブジェクト位置推定システムにて前記射影変換手段、前記ブロック判定手段、及び前記オブジェクト位置推定手段の各機能を実現させるために、当該複数のカメラの映像からそれぞれ抽出された特定のオブジェクトに関するオブジェクト候補領域を統合して当該特定のオブジェクトを追跡可能とするコンピュータに、
   請求項６に記載のプログラムによって実行された各ステップを経て各カメラから得られる当該現在のフレームの画像と、カメラ毎に選定されたオブジェクト候補領域の軌跡の画像座標を所定の射影変換画像へ変換して統合するステップと、
   前記射影変換画像についてブロック分割し、各ブロック内で当該追跡対象のオブジェクトと相関性が高いものとして予め定めた当該追跡対象のオブジェクト以外のオブジェクトによって表される特徴量を算出して比較し、該特徴量が所定値以下のブロックを排除し、未排除のブロックに位置するオブジェクト候補座標を選定するステップと、
   当該選定されたオブジェクト候補座標について所定時間以上に継続しているボール候補座標を最終的なボール位置座標として決定するステップと、
   を実行させるためのプログラム。