JP2009064445A - 画像処理装置及び方法 - Google Patents

Abstract

【課題】ライブのサッカーの試合等のイベントのビデオ画像から３次元モデルを生成する。３次元モデルのビューを変更可能とし、実世界ではカメラが存在しない視点からのビューを提供する。
【解決手段】平面上に配置された複数のオブジェクトを含むシーンの３次元表現を生成する。３次元表現は、１つ又は複数のビデオ画像から生成されたシーンのビューから各オブジェクトの画像特徴を抽出し、想定されるオブジェクトのサンプル画像の特徴と比較し、オブジェクトを識別し生成される。さらに、ビデオ画像の平面におけるオブジェクトの経時的な位置を示すオブジェクト経路データを生成し、ビデオ画像における平面から３次元モデルに投影するための投影マトリクスを計算し、各オブジェクトの高さに関する所定の推定値とを用いて、オブジェクト経路データに基づくオブジェクトの位置を、シーンの３次元モデルの平面に投影することによって生成することができる。
【選択図】図１５

Description

本発明は、平面上に配置された複数のオブジェクトを含むシーンの３次元表現を生成する画像処理装置及び方法に関する。３次元表現は、ビデオカメラによって取得された或るシーンの１つ又は複数のビデオ画像から生成される。ビデオ画像は、平面上のオブジェクトのビューを含む。

スポーツイベント等のライブイベントのビデオ画像は、試合場に重ねることができるグラフィカル特徴又は効果を画像に付加することにより、装飾できるようになっている。例えば、広告又はサッカーの試合で互いに戦っているチームのシンボルマークを、カメラにより取得したサッカーグラウンドの画像上に重ねることができ、それにより、選手は、サッカーグラウンドに重ねられたシンボルマークの画像の上でプレイしているように見える。同様に、プレイを通して選手を手動で追跡して、追跡グラフィックを手動で対象選手に重ねて、その選手のパフォーマンスを強調することができる。

国際公開第０１／４９０２８号パンフレット 国際公開第９８／４６０２９号パンフレット Inamoto, N.; Saito, H著、「Immersive evaluation of virtualized soccer match at real stadium model」、第２回複合現実感国際会議（IEEE and ACM International Symposium on Mixed and Augmented Reality）会報、２００３年１０月７日−１０日、１８８−１９７ページ T. bebie, H. Bieri著、「Soccerman-Video-Based 3D-Reconstruction of Soccer Games」、コンピュータグラフィックスフォーラム（Computer Graphics Forum）、第１９巻、第３号、３９１−４００ページ

テレビジョン等のビデオ画面上のイベントの視聴者の経験を向上させるために、数台のカメラを用いて、それらをスポーツスタジアムの周囲に配置し、異なる位置及び角度からイベントを視聴することができる。さらに、いわゆるプレイヤーカメラを用いて、特定の選手の動きを集中的に撮影することができる。しかし、イベントを撮影するために、複数のカメラを用いることは高価であり、また、各カメラから生成されたビデオ画像を統合することは複雑な作業となる可能性がある。さらに、多くのカメラを用いたとしても、カメラが配置されていない位置からイベントを視聴したいという要求は依然としてあり得る。

第１の態様では、平面上に位置する複数のオブジェクトを含む或るシーンの３次元表現を生成する生成方法が提供される。前記３次元表現は、前記シーンの１つ又は複数のビデオ画像から生成される。前記シーンは、ビデオカメラによる当該シーンのビューから生成された平面上のオブジェクトを含む。前記生成方法は、前記各オブジェクトから１つ又は複数の画像特徴を抽出するように、前記取得したビデオ画像を処理し、前記１つ又は複数の画像特徴と、前記ビデオ画像に含まれると想定されるオブジェクト例の所定のセットから抽出されたサンプル画像特徴とを比較し、前記画像特徴と前記サンプル画像特徴との前記比較により、前記オブジェクトを識別する。前記生成方法はさらに、前記各オブジェクトを識別する、各オブジェクトについてのオブジェクト識別データを含み、且つ前記ビデオ画像の前記平面における前記オブジェクトの経時的な位置を示すオブジェクト経路データを生成する。前記生成方法は、さらに、前記オブジェクト経路データに基づく前記各オブジェクトの前記位置を、前記ビデオ画像における前記平面から当該平面の前記３次元モデルに投影するための投影マトリクスを計算する。したがって、いくつかの例では、前記平面上の前記複数の各オブジェクトの合成表現を含む、前記シーンの３次元表現は、前記投影マトリクスと、前記各オブジェクトの高さに関する所定の推定値とを用いて、前記オブジェクト経路データに基づく前記オブジェクトの前記位置を、前記シーンの前記３次元モデルの前記平面に投影することによって生成することができる。各オブジェクトの高さに関する推定値の代わりに、前記３次元表現に向けられたカメラの擬似的な距離を用いてもよく、又はそれらと組み合わされてもよい。

本発明の実施形態により、例えばライブのサッカーの試合のビデオ画像から３次元モデルを生成することができる。したがって、生成された３次元モデルの相対的なビューを変更することができ、それにより、シーンの３次元モデルにおいて、ライブシーンのビデオ画像を取得している実世界ではカメラが実際に存在しない視点からのビューを提供することができる。したがって、シーンの３次元モデルは、実際のシーンの仮想表現を提供することができ、この仮想表現は、３次元においてモデルのビューを変更するように操作することができる。

いくつかの実施形態では、平面におけるオブジェクトの相対的な方向を表す情報が各オブジェクトについて生成され、この情報はオブジェクト経路データに含められる。したがって、サッカーグラウンド上の選手等のオブジェクトの動きを反映した３次元モデルを生成するとき、合成されたオブジェクトのそれぞれを、ビデオ画像から識別された相対的な方向に関する情報を用いて、モデルの平面において方向付けることができる。したがって、シーンの３次元モデルによって、より現実的な表現を生成することができる。他の例では、例えば、サッカーの試合がシーンであり、サッカーグラウンドがシーンにおける平面であり、選手がオブジェクトである場合、相対的な姿勢、体勢、態度等の選手の他の属性をロギングすることができる。結果として、３次元モデルを生成するとき、相対的な姿勢、体勢、態度に関する情報を用いて、各選手の表現の１つの想定されるセットから、想定される相対的な姿勢、体勢、態度に関する情報のうちの１つに対応する表現を選択することができる。したがって、３次元モデルが現実のシーンを反映する度合いを向上させることができる。

本発明の実施形態を用いて、スポーツイベント等のシーンの３次元モデルの合成表現を生成することができる。この合成表現は、現実のスポーツイベントを反映するコンピュータゲーム又はシミュレーションの作成に用いることができる。

いくつかの実施形態では、方法は、オブジェクトが位置する平面の３次元モデルに対するオブジェクト経路データを用いてビデオ画像における各オブジェクトを識別することを含む。この識別により、方法は、ビデオ画像における各オブジェクトを識別する識別情報のグラフィカル表現を生成し、この識別情報をビデオ画像におけるオブジェクトに重ねて、ビデオ画像における平面上を移動する１つ又は複数のオブジェクトに識別情報が提供されるようにすることを含む。したがって、オブジェクトが位置する平面の３次元モデルを用いてオブジェクトを追跡することで、識別されたオブジェクトの相対的な位置がビデオ画像に逆投影され、また、選手の識別情報をビデオ画像において見ることができるように、グラフィカルラベル又は識別情報又は他の効果が導入される。

画像処理装置、及び添付の特許請求の範囲のいずれか１項に記載の方法を実行するコンピュータプログラムを表す記録された情報信号を記録することができる記録可能媒体を有するデータ保持媒体を含む、本発明の種々のさらなる態様及び特徴は、添付の特許請求の範囲において規定される。

これより、本発明の実施形態を、添付の図面を参照して、例示として説明する。

オブジェクト追跡のシステム及び方法が開示される。以下の説明において、本発明の実施形態の包括的な理解を提供するために、複数の具体的な詳細が提示される。しかしながら、本発明を実施するために、これらの具体的な詳細を採用しなければいけないわけではないことを当業者は理解するであろう。逆に、当業者にとって既知の具体的な詳細は、実施形態の提示を簡潔にするために省略されている。

図１は、本発明の実施形態に係るオブジェクト追跡システムの概略図である。図１に示す実施形態では、追跡対象のオブジェクトは、サッカーグラウンド３０上のサッカー選手（図示せず）である。グラウンド３０の高精細（High Definition：ＨＤ）ビデオ画像（１９２０×１０８０画素）が、１つ又は複数の高精細カメラによって取得される。本発明の実施形態は、２台以上のカメラから取得されたビデオ画像においてオブジェクトを追跡するために用いることができるが、いくつかの例では、１台だけのカメラを用いてもよい。周知の通り、ＨＤカメラは高価であるため、１台だけのカメラを用いることにより、本発明の実施形態の技術を利用するシステムの実施に必要な費用を低減することができる。しかしながら、１台だけのカメラを用いることでは、オブジェクトが位置するシーンの１つの２次元ビューしか提供することができない。結果として、１つのオブジェクトが別のオブジェクトを隠してしまう遮蔽イベントが生じる可能性が高くなるため、ビデオ画像によって表されるシーン内のオブジェクトの追跡がより困難になる。このような単一のカメラ２０の例が図１に示されるが、カメラ２２．１、２２．２によって示されるように、任意選択で、サッカーグラウンド３０の各半分にそれぞれ向けられた２つのカメラを用いてもよい。

図１では、ビデオカメラ２０が、サッカースタジアム内の固定位置に設置され、カメラ２０が取得したビデオ画像を表す信号をコンテンツ処理ワークステーション１０に通信するように構成される。コンテンツ処理ワークステーション１０は、グラウンド上の選手の位置を経時的に追跡するために、画像処理及び他の動作を実行する。次に、特定の選手がグラウンドの特定の部分において費やした時間の長さ、各選手が走った距離等のメタデータ及び試合統計データを生成することができるように、選手の位置を経時的に表すデータがロギングされる。選手の位置を経時的に表すデータにより、各選手毎に経路データが形成される。この経路データは、各選手がビデオ画像内でとった経路に関連する。この経路データは、（２次元の）ビデオ画像からは収集できない、グラウンド上での選手の位置に関連した選手の動きに関する情報を提供するために、サッカーグラウンド（オブジェクト平面）の３次元モデルに対して生成される。その後、サッカーの試合の映像が適切な媒体を介して視聴者に送信される場合に、ユーザの視聴経験をより良いものとするために、又はサッカーチームを指導するコーチを支援するために、この生成された経路データを用いることができる。グラウンド３０上の選手等のオブジェクトの追跡を、以下でより詳細に説明する。

本発明の実施形態では、コンテンツ処理ワークステーション１０として、SONY（登録商標）、Toshiba（登録商標）、及びIBM（登録商標）が共同開発したＣｅｌｌプロセッサを用いる。Ｃｅｌｌプロセッサは、その並列性により、画像処理、画像認識及びオブジェクト追跡等の計算量の多い処理タスクの実行に特に適している。しかしながら、本発明の実施形態を実施するために、任意の適切なワークステーション及び処理ユニットを用いてもよいことを当業者は理解するであろう。

本発明の実施形態に係るオブジェクト追跡システム及び方法は、サッカーグラウンド上の選手の追跡に限定される必要がないことは理解されるであろう。例えば、ラグビー、クリケット、アメリカンフットボール、アイスホッケー、バスケットボール等の他の団体競技の選手を追跡してもよい。さらに、ボール、アイスホッケーパック、又はレーシングカー等の乗り物等のオブジェクトも、本発明の実施形態に従って追跡することができる。

本発明の実施形態の技術によれば、ＨＤビデオカメラ２０を用いて生成されたビデオ画像は、グラウンド３０上の選手を追跡できるように、グラウンド全体のビューを取得するように構成される。したがって、固定位置のカメラ２０から、グラウンド全体が撮影されるが、上述のように、グラウンド全体を撮影するために、２台以上のカメラを用いてもよい。一例では、上述のように、それぞれがグラウンドの各半分に向けられた２台のカメラ２２．１及び２２．２が用いられてもよい。この例では、各カメラによって生成されたビデオ画像は、英国特許出願第０６２４４１０．７号に記載されるように、超高解像度のビデオ画像を形成するために、コンテンツ処理ワークステーション１０によってまとめられる。本実施形態では、カメラ群からの出力は、このまとめ処理を受けた後、１つの超高解像度画像として見なすことができる。

光学的にズームする必要なく、したがってスタジアムの全体画像に影響を与えずに選手の特定の特徴をハイライトする能力等、この超高精細構成の利点は非常に多い。さらに、イベントの背景は静的であり、追跡対象のオブジェクトのほうが高い画面解像度を有するため、オブジェクトの自動追跡が容易になる。

本発明の実施形態に係るオブジェクト追跡を、図２、図３、図４を参照して以下で説明する。

図２は、本発明の実施形態に係るオブジェクト追跡方法のフローチャートである。オブジェクトを追跡するために、受信されたビデオのうちの、所定数のフレームにわたって実質的に静的であると検出された部分から、背景モデルが構築される。最初のステップＳ３０において、画像の背景モデルを構築するために、カメラ２０から受信されたサッカーグラウンドを表すビデオ画像を処理する。この背景モデルは、個々の選手を識別及び追跡する際に役立つ前景マスクを作成するために構築される。この背景モデルは、ステップＳ３０において、画素平均及び連続フレーム間の画素値の分散を各画素について求めることによって形成される。したがって、前景マスクを識別するために、連続フレームにおいて画素の平均値が大幅に変化しない場合、それらの画素を背景画素として識別する。

このような背景／前景の分割は、画像処理分野において周知の処理であり、本発明の実施形態の技術は、２００４年インドコンピュータビジョン及び画像処理会議（Indian Conference on Computer Vision Graphics and Image Processing; ICVGIP）の会報において発表された、Manzanera and Richefeu著「Σ−Δ背景推定に基づくロバスト且つ計算効率的な動き検出アルゴリズム（A Robust and Computationally Efficient Motion Detection Algorithm Based on Σ-Δ Background Estimation）」と題する文献に記載のアルゴリズムを利用する。しかし、本発明の実施形態の技術はこの周知の技術に限定されると解釈されるべきではなく、背景モデルに対する前景マスクを追跡に用いるために生成する他の技術も周知である。

ビデオカメラのビューが人ごみを含む場合、人ごみはおそらく動き回るため、背景モデルに含められる可能性は低いことが理解されるであろう。人ごみを前景に含めることは、オブジェクト追跡を実行する際に、Ｃｅｌｌプロセッサでの処理負荷を増加させる可能性があるため、望ましくない。また、当然のことながら、ほとんどのスポーツ放送局は、人ごみの中の人々を追跡することに興味を持つとは考えにくいので、人ごみを前景に含める必要はない。

本発明の実施形態では、背景モデルは試合の開始時に構築され、選手がグラウンドに入る前に構築することもできる。さらに、影等の試合全体を通じて変化し得る照明条件における任意の変化を考慮に入れるために、試合を通じて背景モデルを定期的に再計算することができる。

ステップＳ４０において、異なる領域を識別するために、カメラから新たに受信された画像から、背景モデルを減算する。このように、画像から背景モデルを減算して得られた画像を用いて、各選手のためのマスクを生成する。ステップＳ４５において、背景モデルを減算して得られたバージョンの画像における、画素値に対する閾値が設定される。背景モデルは、まず、ビデオ画像の一連のフレームにわたる画素の平均を求めることによって生成される。各画素の平均値により、ビデオ画像のフレームからの各画素の分散を算出することができる。そして、この画素の分散を用いて、閾値が決定される。この閾値は、ビデオ画像の全画素にわたって、画素毎に異なる。人ごみを含む部分等、画像のうちの分散が高い部分に対応する画素の場合、閾値を高い値に設定することができる。一方、グラウンドの色及び内容は、選手の存在を別とすれば一貫して同じであるため、画像のうちのグラウンドに対応する部分の閾値は低くされる。このように、閾値は、前景要素が存在するか否かを判断するため、これに応じて前景マスクが識別される。ステップＳ５０において、平均人体モデルとの相関に基づく形状確率を用いて、前景マスク内の形状が抽出される。さらに、例えば選手のユニフォームの色により選手を識別するための色確率マスクを作成するために、画像から色特徴が抽出される。これにより、各チームのユニフォームの色を用いて、選手を互いに区別することができる。この目的のために、コンテンツ処理ワークステーション１０は、各サッカーチームのユニフォームの既知の色に応じて、カラーテンプレートを生成する。したがって、各チームのユニフォームの色、ゴールキーパーのユニフォームの色、審判のユニフォームの色が必要とされる。しかし、他の適切なカラーテンプレート及び／又はテンプレートマッチングプロセスを用いてもよいことが理解されるであろう。

図２に戻ると、ステップＳ５０において、コンテンツ処理ワークステーション１０は、各カラーテンプレートの各画素と、選手の画像のユニフォーム領域に対応する画素とを比較する。次に、コンテンツ処理ワークステーション１０は、カラーテンプレートの画素と選択された画素との類似性を示す確率値を生成して、チームの色モデル及びグラウンドの色モデルから、ＨＳＶ（Hue Saturation Value：色相、彩度、明度）色空間における距離に基づいて色確率を形成する。さらに、形状確率を用いて、平均人体モデルとの相関に基づく選手の識別を行う。さらに、動き確率は、開始位置、速度パラメータ、及び加速度パラメータを用いたＲＬＳ（再帰最小２乗法）推定器によって予測された位置からの距離に基づく。

選手マスクの作成が図３Ａに図示されている。図３Ａは、ビデオカメラ２０によって生成されたサッカーグラウンド３０のカメラビュー２１０を示す。既に説明したように、グラウンド３０は背景モデルの一部を形成し、一方、上述のように、選手２３０、２３２、２３４、２３６、２３８、２４０は、前景マスクの一部を形成する。選手のバウンディングボックスが、各選手の周囲の破線として示されている。

これまでのステップＳ３０、Ｓ４０、Ｓ４５、及びＳ５０は、カメラ画像処理に関して行われる。前景マスクを作成すると、ステップＳ５５において、まず、カメラとの近さにより選手の軌道をソートした後、選手の追跡が実行される。したがって、カメラに最も近いと識別された選手は最初に処理され、これらの処理された選手は追跡プロセスから除外される。ステップＳ６０において、選手位置が更新され、遮蔽マスクが構築される。この遮蔽マスクは、他のより近い選手の軌道によって隠されていることが既に分かっている画像領域を除外する。これにより、他の選手によって部分的に又は全体的に遮蔽された選手は、可視の画像領域とだけマッチング可能であることが保証される。この遮蔽マスクにより、軌道の結合（この軌道の結合により、遮蔽イベントが起こると、２つの軌道が同じ選手につながってしまう）の発生率が低減するため、追跡の信頼性が向上する。軌道の結合は、多数のターゲットが色によって（容易に）見分けがつかず、同じように見える場合に特に問題である。遮蔽マスクによって、画素を近い方の選手に割り当て、遠い方の選手からは除外できるようにし、両方の軌道が同じ画素のセットにマッチングされることを防止することで、それらの別個の識別性を維持することが可能になる。

その後、図３Ａ及び図３Ｂに示すように、カメラ画像内に提供された特徴を抽出し、これらの特徴を３Ｄモデルにマッピングすることにより各選手を追跡する処理が続く。したがって、カメラによって生成された２Ｄ画像内の位置を対応させるために、形状確率、色確率及び動き確率を最大化させる３Ｄ位置を選手に割り当てる。以下で説明するように、選手の選択及び２Ｄ画像から３Ｄモデルへの選手のマッピングは、遮蔽イベントが検出された場合、修正される。ステップＳ６５において、２Ｄ画像から３Ｄモデルへのマッピングを支援するために、追跡対象の選手が初期化され、形状確率及び色確率のピークが、最も適切に選択された選手にマッピングされるようにする。なお、ステップＳ６５において実行される初期化は、典型的には追跡プロセスの開始において、一度だけ実行されるということを強調しておく。システムを良好に初期化するためには、選手は十分に分離されているべきである。初期化後、選手の追跡における誤差は、本発明の実施形態の技術に従って自動的に補正される。この補正に、手動による介入は必要ない。

３Ｄモデルにおいて、２Ｄ画像の位置からの追跡を実行するために、投影マトリクスＰを用いた変換が実行される。追跡のためには、２Ｄ画像の位置を３Ｄモデル内の位置に関連付けることができなければならない。この変換は、投影（Ｐ）マトリクスを用いることによって達成される。２Ｄ空間における点は、３Ｄ空間における線に等しい。

第３の次元、すなわちカメラからの距離は未知であり、したがって、３Ｄ空間にわたる線のように見えるため、２Ｄ空間における点は、３Ｄモデルにおける線に等しい。オブジェクト（選手）の高さ（身長）を用いて、カメラからの距離を求めることができる。３Ｄ空間における点は、既知の基準レベル（人間の平均身長）を上回る、固定された高さにある線に沿った点を選択することによって得られる。投影マトリクスＰは、コーナー３１Ａ、３１Ｂ、３１Ｃ、３１Ｄ等のグラウンド３０の物理的な特徴を用いてカメラパラメータを求めるカメラ較正プロセスにより、カメラにつき一回、試合前に予め取得される。したがって、投影マトリクスＰは、識別された選手の２Ｄ位置を３Ｄモデルにマッピングする際に役立ち得る。これは周知の技術であり、確立された種々の方法が用いられる。物理的パラメータに関して、投影マトリクスＰは、カメラのズームレベル、焦点中心、３Ｄ位置及び３Ｄ回転ベクトル（３Ｄ位置が向いている方向）を含む。

ステップＳ６０において実行された追跡アルゴリズムはスケーラブルであり、グラウンド上のすべての点が少なくとも１つのカメラから（十分な解像度で）可視でありさえすれば、１つ又は複数のカメラにおいて動作可能である。

色及び形状のマッチングに加えて、ステップＳ６０は、各選手をより高い確率で正確に識別するために、追跡中の選手の動きも含まれる処理を有する。したがって、フレーム間での選手の相対的な動きを、相対的な動きの期間及び方向の両方の観点について求めることができる。この相対的な動きを後続のフレームに対して用いて、特定の選手を識別するための検索領域を生成することができる。さらに、図３Ｂに示すように、サッカーグラウンド上の選手の相対的な動き方向を反映するために選手の位置のグラフィカル表示に対して配置された、２３０．１、２３２．１、２３４．１、２３６．１、２３８．１、２４０．１への線により、サッカーグラウンドの３Ｄモデルを増強することができる。

ステップＳ７０において、３Ｄモデルにおける選手の相対的な位置が識別されると、それに応じて、この位置がサッカーグラウンドの２Ｄ画像ビューに逆投影され、３Ｄモデルにおける位置によって識別された選手の周囲に、相対的な境界が投影される。また、ステップＳ７０において、選手の周囲の相対的な境界（バウンディングボックス）が、その選手に対する遮蔽マスクに追加される。

図３Ｂは、サッカーグラウンドの仮想モデル２２０の平面図を示す。図３に示す実施形態において、選手２３０、２３２、及び２３４（グラウンドの左サイド）は、選手２３６、２３８、２４０（グラウンドの右サイド）のユニフォームとは異なる色のユニフォームを着ており、したがって異なるチームに属することを示すため、コンテンツ処理ワークステーション１０によって識別されている。このように選手を区別することにより、選手の服の色によって容易に互いを区別することができるので、遮蔽イベントが起こったときの各選手の検出が容易になる。

図２を再び参照して、ステップＳ６０において、カルマンフィルタリング等の既知の技術を用いて、各選手の位置が追跡されるが、他の適切な技術を用いてもよいことが理解されるであろう。この追跡は、カメラビュー２１０及び仮想モデル２２０の両方において行われる。本発明の一実施形態では、コンテンツ処理ワークステーション１０が仮想モデル２２０における選手の位置を用いて実行する速度予測を用いて、カメラビュー２１０における各選手の追跡を支援する。

ステップＳ６０及びＳ７０は、決定ボックスＳ７５が示すように、すべての選手が処理されるまで繰り返される。したがって、すべての選手が処理されていない場合、プロセスはＳ６０に進み、一方、処理が完了した場合、プロセスはＳ８０において終了する。

図２に示すように、上記で説明した方法は２つのさらなるステップＳ８５及びＳ９０を有する。これらのステップは、２つ以上のカメラによって画像が生成された場合に必要とされ得る。すなわち、プロセスステップＳ３０〜Ｓ８０を、各カメラからのビデオ画像に対して実行することができる。そして、各選手に、各カメラからの検出確率が提供され得る。したがって、ステップＳ８５によれば、各選手に対する各カメラからの検出確率に従って、各選手の位置が推定され、各カメラにより提供された確率のうち最も高い確率から推定された選手の位置、すなわち各選手について最も高い確率を有する位置が、その選手の位置として識別される。

サッカーグラウンド上の選手の追跡においてエラーが生じたと判断された場合、その選手に対する追跡を再初期化することができる。追跡におけるエラーの検出は、特定の追跡について、特定の選手の検出確率が比較的低い場合に生成され、それにより追跡が再初期化される。

図２に示す方法を実行する結果として、各選手についての経路データが生成され、この経路データは、ビデオ画像の各フレームにおける選手の位置を提供し、これは試合全体を通じてその選手がとる経路を表す。したがって、この経路データは経時的な位置を提供する。

［遮蔽追跡］
各選手の位置を追跡することにより１つのカメラビューを形成する際、図４に示すように、１人の選手が別の選手の全部又は一部を隠している場合に、問題が生じ得る。

図４は、複数の選手３１０、３２０、３３０、３４０と、各選手の周囲に破線で示される、各選手に関連付けられたバウンディングボックスとを示す。選手３１０と選手３４０とは、互いに明確に区別されるが、選手３２０は、選手３３０の一部を隠している。これがいわゆる遮蔽イベントである。遮蔽イベントは、１人の選手の全部又は一部が、少なくとも１人の別の選手の全部又は一部を隠しているときにときに起こり、これにより、相対的な動き及び方向等の他の要因を考慮したとしても、選手の追跡が曖昧になる。しかし、２人以上の選手に関わる遮蔽イベントも起こり得ることが理解されるであろう。

遮蔽イベントを検出するために、コンテンツ処理ワークステーション１０は、図４に示すように、或る選手に関連するマスクの全部又は一部が、別の選手に関連するマスクの全部又は一部と同じ画像領域内に存在するか否かを検出する。遮蔽イベントに関わる選手達が敵対するチームであり、異なる色のユニフォームを着ている場合、彼らは容易に区別でき、したがって追跡可能であり得る。しかしながら、遮蔽イベントが起こり、その選手達が両方とも同じチームである場合、コンテンツ処理ワークステーション１０は、どちらがどの選手であるかを区別することができないことがある。これは特に、遮蔽イベントが起こったときの動き、例えば衝突によって生じた選手達の動きが予期できず、したがって選手を正確に追跡できないことがあるからである。結果として、各選手に割り当てられる追跡経路が取り違えられてしまう可能性がある。

追跡される選手における曖昧性を解決するために、コンテンツ処理ワークステーション１０は、遮蔽イベントに関わるすべての選手に、それらの選手の識別情報を示すラベルを付す。その後、１人又は複数の選手が容易に区別可能になると、コンテンツ処理ワークステーション１０は、この情報を用いて、選手の識別情報を正しい選手に再割り当てして、誰がどの選手であるかの記録を維持する。このプロセスを、図５を参照してより詳細に説明する。

図５は、本発明の一実施形態に係るオブジェクト追跡及び遮蔽検出の方法のフロー図を示す。

ステップＳ１００において、コンテンツ処理ワークステーション１０は、図２を参照して上述したように、１つ又は複数の画像特徴を抽出するように、取得されたビデオ画像に対して画像処理を行う。その後、抽出された画像特徴は、想定されるオブジェクト例から抽出された、対応する画像特徴と比較され、各オブジェクトが識別される。本発明の一実施形態では、図７及び図８を参照して以下でより詳細に説明するように、選手は背番号により識別される。その後、コンテンツ処理ワークステーション１０は、各オブジェクトを識別するオブジェクト識別情報を、各オブジェクトについて生成する。或いは、本発明の一実施形態では、各オブジェクト（例えば選手）は、操作者インタフェースを介して操作者により識別される。その後、コンテンツ処理ワークステーション１０は、操作者インタフェースからの入力データを用いて、オブジェクト識別データを生成する。しかし、画像認識技術を操作者による識別と組み合わせて、オブジェクト識別データを生成してもよく、又は、選手の背番号によって選手を識別する数認識等の他の適切なオブジェクト識別方法を用いてもよいことを当業者は理解するであろう。

ステップＳ１０５において、コンテンツ処理ワークステーション１０は、図２を参照して上述したように、ステップＳ１００において抽出した１つ又は複数の画像特徴に応じて、選手等の検出対象のオブジェクトを検出する。上で述べたように、各選手はまた、仮想モデル２２０及びカメラビュー２１０の両方を用いて追跡される。コンテンツ処理ワークステーション１０は、追跡プロセス中に生成したデータを用いて、各オブジェクトが受信したビデオ画像内でとる経路を記述するオブジェクト経路データを生成し、記憶する。このオブジェクト経路データは、選手の経時的なｘ−ｙ座標のサンプルの形をとる。本発明の一実施形態では、経路データは（ｔ_ｉ，ｘ_ｉ，ｙ_ｉ）の形式を有する。ここでｔ_ｉはサンプル時間であり、ｘ_ｉ及びｙ_ｉは、サンプル時間ｔ_ｉにおけるオブジェクトのｘ座標及びｙ座標である。しかし、他の適切な経路データの形式を用いてもよいことが理解されるであろう。

ステップＳ１１５において、コンテンツ処理ワークステーション１０は、各オブジェクトについてのオブジェクト識別データを、各オブジェクトがビデオ画像内でとった経路に関するオブジェクト経路データと共にロギングする。ロギングされたデータは、コンテンツ処理ワークステーション１０のハードディスクドライブ（Hard Disk Drive：ＨＤＤ）又はダイナミックランダムアクセスメモリ（Dynamic Random Access Memory：ＤＲＡＭ）に記憶される。これにより、どの選手が、検出及び追跡された各経路と関連付けられたかについての記録を保持することが可能になる。その後、ロギングされたデータを用いて、各選手についてのデータ及び各選手が試合中にどこにいたかについてのデータを生成することができる。例えば、或る選手がグラウンドの特定の領域において費やした時間を、関連ログに記憶されたデータから生成することができる。さらに、例えば遮蔽イベント後のような何らかの理由により、選手と経路との関係が曖昧になる場合、この記録は、後に説明するように、曖昧性が解決されるまで保持される。オブジェクト経路データと共にロギングされたオブジェクト識別データの例を以下の表１に示す。

各オブジェクトについてのオブジェクト識別データと、そのオブジェクトについてのオブジェクト経路データとの関連付けにより、各オブジェクトを追跡可能になり、したがって識別可能になる。上述の実施形態において、各選手は追跡可能であり、したがって、放送局は、選手が遠くにいすぎて、操作者又はコンテンツ処理ワークステーション１０が実行する画像認識によって視覚的に識別できない場合でさえも、誰がどの選手であるかを知ることが可能になる。これにより、放送局が、この関連付けに基づいて、放送コンテンツの視聴者が望ましいと思う可能性のあるさらなる特徴及び情報を組み込むことが可能になる。画像のビューにおける追跡されたデータの表示のさらなる例を以下に説明する。

ステップＳ１２０において、コンテンツ処理ワークステーション１０は、図４を参照して上述したように、遮蔽イベントが起こったか否かを検出する。遮蔽イベントが検出されない場合、プロセスはステップＳ１０５に戻ってオブジェクトを検出する。このように、各オブジェクトを個別に追跡することができ、各オブジェクトの経路を、そのオブジェクトの識別情報と一意に関連付けることができる。

しかし、遮蔽イベントが検出された場合、ステップＳ１２５において、Ｃｅｌｌプロセッサは、その遮蔽イベントに関わる各オブジェクトについてのオブジェクト識別データを、その遮蔽イベントに関わる各オブジェクトについてのオブジェクト経路データと関連付ける。例えば、Ａ、Ｂとそれぞれラベリングされた２つのオブジェクトが、経路Ｐ及びＱとそれぞれ関連付けられる場合、オブジェクトＡ及びＢに関わる遮蔽イベントの検出が起こると、経路ＰはオブジェクトＡ及びＢの両方と関連付けられ、経路Ｑも、オブジェクトＡ及びＢの両方と関連付けられる。遮蔽イベントが起こると、上述したように、コンテンツ処理ワークステーション１０によって生成された関連付けが、その後ロギングされる。これにより、誰がどの選手であるかに関していくらかの不確定性がある場合であっても、各オブジェクトを識別し直すことなく、遮蔽イベントに関わるオブジェクト（例えば選手）を追跡可能となる。したがって、遮蔽イベントに関わるオブジェクトだけが曖昧に識別され、一方、遮蔽イベントに関わらないオブジェクトは依然として識別可能であるため、コンテンツ処理ワークステーション１０の処理負荷が低減される。

ステップＳ１３０において、コンテンツ処理ワークステーション１０は、生成された経路と関連付けられたオブジェクトの識別情報を分割できるように、遮蔽イベントに関わるオブジェクトのうち１つ又は複数の識別情報が作成されたか否かを確認するためのチェックを行う。コンテンツ処理ワークステーション１０により、オブジェクトに関連する１つ又は複数の画像特徴を、想定されるオブジェクト例から抽出された画像特徴と比較することによって、オブジェクトのうちの少なくとも１つの識別が行われる。識別情報が作成されていない場合、プロセスはステップＳ１０５に移り、各オブジェクトについて生成された経路データは、遮蔽イベントに関わるオブジェクトすべてと関連付けられる。

しかしながら、遮蔽イベントに関わるオブジェクトのうちの１つ又は複数の識別情報が生成されたことが検出された場合、ステップＳ１３５において、確実に識別されたオブジェクトの識別情報を反映するために、ロギングされた経路データが更新される。上記の例において、関連ログは、Ａが経路Ｐと関連付けられ、Ｂが経路Ｑと関連付けされるように更新される。

或いは、オブジェクトの識別は、操作者インタフェースを介して操作者により行われてもよく、又は、本発明の実施形態に係る（上述の）画像認識技術を用いて、コンテンツ処理ワークステーション１０により行われてもよく、又は２つの技術の組み合わせにより行われてもよい。しかしながら、各オブジェクトを区別又は識別するのに適した任意の他の識別技術を用いてもよいことが理解されるであろう。画像認識の場合、コンテンツ処理ワークステーション１０は、画像認識プロセスによって作成された識別情報が正しい可能性がどのくらい高いかを示す信頼度を生成してもよい。本発明の一実施形態では、識別情報は、信頼度が所定の閾値よりも高くなるように決定される。さらに、操作者がそれらの識別情報に信頼度を割り当ててもよく、その信頼度が所定の閾値を超える場合、識別情報が検出される。

本発明の実施形態では、ロギングされた経路データがいつ更新されたかを示すイベント履歴が生成されてもよい。このイベント履歴は、確実な識別情報が不正確であると分かった場合のバックアップとして機能するように記憶されてもよい。例えば、操作者は、ビデオカメラ２０から遠く離れた選手が特定の識別情報を有すると確信していたが、その選手がカメラに近寄って来た（これによりユーザはその選手の高解像度画像を見ることができる）ため、それが間違いであると操作者が気付いた場合に、識別情報は不正確であると分かる。この場合、操作者は、操作者インタフェースを用いて、以前の選手の識別情報を無効にすることができ、それに応じて、コンテンツ処理ワークステーション１０は、ロギングされた経路データを更新することができる。上記の例において、識別イベント履歴は、経路Ｐが確実な識別の前にＡ及びＢの両方と関連付けられており、経路Ｑも確実な識別の前にＡ及びＢの両方と関連付けられていたことを示すデータと共に、コンテンツ処理ワークステーション１０のＨＤＤ又はＤＲＡＭに記憶することができる。

識別イベント履歴は、識別プロセス中に生成された信頼度を有してもよい。後から生成された識別情報が、それ以前に生成された確実な識別情報よりも高い信頼度を有するオブジェクトからなる場合、後続の識別情報の信頼性レベルを用いて、以前の識別情報を検証又は取消することができる。

遮蔽イベントが検出されると、その遮蔽イベントに関わるオブジェクトの曖昧性をなくすために、オブジェクトは、遮蔽イベント後の任意の時間に識別されてもよいことが理解されるであろう。したがって、コンテンツ処理ワークステーション１０は、遮蔽イベントが検出されると、ステップＳ１０５〜Ｓ１２５と並行して実行されるバックグラウンド処理として、オブジェクトの確実な識別が起こったか否かをモニタすることができる。

本発明の実施形態に係るオブジェクト追跡及び遮蔽検出のいくつかの例を、図６ａ及び図６ｂを参照してこれより説明する。

図６ａに示す例では、Ａ及びＢとして識別された２つのオブジェクトは、遮蔽イベント４１０に関わる。この遮蔽イベントが起こると、矢印によって示す検出されたオブジェクト経路の両方が、Ａ及びＢの両方と関連付けられる（ＡＢ）。その後、オブジェクトＢは、下方の経路のＡＢによって示されるとして確実に識別される。その後、この識別情報を用いて、オブジェクトＡが遮蔽イベント４１０後に上方のパスと関連付けられ、オブジェクトＢが遮蔽イベント４１０後に下方のパスと関連付けられるように、オブジェクトと経路との関連付けが更新される。

図６ｂに示す例では、オブジェクトＡ及びＢがまず、遮蔽イベント４２０に関わる。しかし、オブジェクトＡ及びＢが確実に識別可能となる前に、遮蔽イベント４２０後にＡ及びＢの両方と関連付けられた下方の経路上のオブジェクトは、オブジェクトＣと共に別の遮蔽イベント４３０にも関わる。したがって、遮蔽イベント４３０が起こる前、遮蔽イベント４２０後に下方の経路上にあったオブジェクトがオブジェクトＡなのかオブジェクトＢなのかは不明である。したがって、遮蔽イベント４３０の後、２つのオブジェクトが辿る上方の経路及び下方の経路は、オブジェクトＡ、Ｂ及びＣと関連付けられる（ＡＢＣ）。

その後、遮蔽イベント４３０後に下方の経路にあるオブジェクトはオブジェクトＢであるとして確実に識別される（ＡＢＣ）。したがって、遮蔽イベント４３０後の上方の経路がオブジェクトＣと関連付けられるように、関連ログを更新することができる。さらに、この情報を用いて、オブジェクトＢは、遮蔽イベント４３０後に、下方の経路と関連するとして確実に識別されたので、遮蔽イベント４３０に関わるのはオブジェクトＢに違いないとして、遮蔽イベント４２０に関わる２つのオブジェクトの曖昧性をなくすことができるように、関連ログを更新することができる。したがって、上方の経路が遮蔽イベント４２０後にオブジェクトＡと関連付けられ、下方の経路が遮蔽イベント４２０後にオブジェクトＢと関連付けられるように、関連付けログを更新することができる。

したがって、本発明の実施形態により、オブジェクトが確実に識別される前に数回の遮蔽イベントが起こった場合であっても、オブジェクトを、オブジェクトの追跡経路と関連付けることが可能になる。さらに、本発明の実施形態により、各経路が正しいオブジェクトと関連付けられるように、相互に参照する複数の異なるオブジェクトの識別が可能になる。

［数字の認識］
本発明の一実施形態に係るオブジェクト識別方法を、図７を参照してこれより説明する。

図７は、本発明の一実施形態に係る画像認識方法のフロー図である。本発明の実施形態では、選手を確実に識別する１つの方法は、選手のユニフォームの背番号を検出及び識別することである。

したがって、ステップＳ２００において、遮蔽イベントに関わる少なくとも１人の選手の位置が、図３ａ、図３ｂ及び図４を参照して上述したように検出される。以下に説明する実施形態では、遮蔽イベントに関わる選手のうちの１人のみに対して画像認識が実行されることが想定されるが、説明する方法は、選手がビデオカメラ２０のビュー内に存在する任意の時間において、少なくとも１人の選手を検出及び識別するために、より一般的に適用可能であることが理解されるであろう。

その後、ステップＳ２０５において、検出された選手に対応する画像領域のうち、検出対象が検出される可能性が高い領域に対応する画像領域が抽出される。本発明の一実施形態では、これは、図２のＳ４５において生成された選手のマスクに対応する画像領域を分離することによって行われるが、他の適切な方法を用いてもよいことが理解されるであろう。さらに、画像認識の対象となる画像領域を、オブジェクトの既知の属性、又は検出すべき画像特徴に応じて、さらに精緻化することができる。例えば、サッカー選手の場合、通常、選手を識別する番号が選手のユニフォームの背中にプリントされていることが周知である。選手のユニフォームの背中にプリントされた番号は、検出対象となる画像特徴の一例であるが、他の適切な画像特徴を検出してもよいことが理解されるであろう。

選手マスクに対応する画像領域を適切に分割することにより、所望の属性又は画像特徴が検出される可能性が最も高い画像領域を抽出することができる。しかし、画像認識を実行する画像領域を選択するために、他の適切な方法を用いてもよいことを当業者は理解するであろう。このように画像領域を抽出することにより、検出対象の特徴が画像領域内のより大きな割合を占める可能性が高くなるので、画像領域内での冗長な情報に対する有用な情報の割合が増加する。一例では、分割は、画素を閾値と比較し、閾値を超えた画素を抽出又は分離することによって行われる。

ステップＳ２１０において、選択された画像領域を二値画像に変換するために、抽出された画像領域に画像閾値が適用される。典型的には、閾値は、黒白の閾値画像を生成するように適用されるが、色に基づく閾値等の他の画像閾値を用いてもよいことが理解されるであろう。本発明の一実施形態によれば、二値画像を生成するために、認識対象の所望の画像特徴についての事前の知識又は何らかの他の画像領域の特徴を用いてもよい。例えば、二値画像を生成するために、選手のユニフォームの色に応じて画像閾値を適用してもよい。検出対象の特徴又はオブジェクトの属性についての事前の知識を用いることにより、認識したい画像特徴と背景との区別を向上させることができる。また、得られた閾値画像に、認識対象の画像特徴に対応しない画像特徴が含まれる可能性を低減することができる。

その後、ステップＳ２１５において、選択された閾値適用画像領域内で、画素が互いに連続している画像領域が検出される。その後、検出された連続領域は、さらなる画像処理を施される選択された連続画像領域として割り当てられる。したがって、ステップＳ２１５は、互いに連続した同じタイプの画素を検出する。ここで、語句「同じタイプ」とは、画素の色、画素の明度（すなわち、画素の属性）等を意味すると解釈される。言い換えれば、連続画像領域とは、互いに隣接し、且つ概ね同じ画素の属性を有する画素によって識別される画像領域である。例えば、得られた閾値画像が白黒画像である上記の場合、連続した黒画素（すなわち、互いに隣接した黒画素）を検出することができ、選択された連続画像領域として割り当てることができる。

ステップＳ２２０において、文字に対応する可能性が低い任意の選択された連続画像が、スプリアス画像領域として削除され、残りの選択された画像領域が、認識すべき文字の数を確定するために処理される。

本発明の一実施形態では、スプリアス画像領域を削除するために、選択された連続画像領域に応じて、大きさ、形状、相対的な位置、及び抽出された画像領域内での選択された連続画像領域の位置に基づく種々の異なる測定値が、既知の技術を用いて計算される。サッカー選手のユニフォームからの番号の検出を参照して上述した実施形態では、検出対象となる１つ又は複数の数字が存在する可能性が高い。したがって、例えば、互いに同じ高さではないか、又は互いにほぼ同じ大きさを有しない任意の選択された連続画像領域は、検出対照の数字である可能性は低い。したがって、検出すべき文字に対応する可能性が低い選択された連続画像領域は、廃棄される。

その後、ガウス確率を用いて、残りの選択された連続画像領域が所定の数の文字に対応する可能性がどのくらい高いかについての信頼度が生成される。本発明の一実施形態では、残りの選択された連続画像領域が、上記ユニフォームの例に準ずる２つの文字又は数字に対応するか否かを確定するために、それら連続画像領域が処理される。信頼度が所定の閾値を超えない場合、数字が１つしか存在しないと想定され、抽出された画像領域の中央領域内の、任意の選択された連続画像領域が、さらなる画像処理のために選択される。しかし、残りの選択された連続画像領域が２つの数字に対応する場合、これらの領域は分離され、残りの選択された連続画像領域のそれぞれに対して、以下で説明するさらなる画像処理が実行される。これにより、分類が必要な異なる文字の数が低減し、これにより、コンテンツ処理ワークステーション１０の処理負荷が低減する。例えば、数字が検出対象であるとき、残りの選択された連続画像領域すべてに対して一度に数字認識を実行する場合、０〜９９又は０〜９９９ではなく、０〜９の数字を分類しさえすればよい。

ステップＳ２２５において、ステップＳ２２０で分離された、選択された連続画像領域がスケルトン化される。スケルトン化は、連続画像領域の幅を、数画素のみの線幅にまで縮小する処理である。典型的には、縮小された線幅は１画素幅である。画素の数は、スケルトン化処理により所定であり、抽出したい画像特徴に依存する。適切なスケルトン化処理は、Thierry M. Bernard, Antoine Manzanera著、「改良された低複雑性完全並列細線化アルゴリズム（Improved Low Complexity Fully Parallel Thinning Algorithm）」（10^th International Conference on Image Analysis and processing(ICIAP '99), 1999, pp. 215-220.）に記載されている。連続画像領域をスケルトン化することの利点は、スケルトン化により、形状の複雑性が低減され、それにより任意のさらなる処理ステップが簡素化することである。例えば、数字をスケルトン化することにより、用いられるフォントに関わりなく、実質的に同じ形状を生成することができる。選択された連続画像領域のスケルトン化を、図８を参照して説明する。検出対象の文字に対応すると判断される可能性が高い選択された連続画像領域だけに対してスケルトン化を実行することにより、コンテンツ処理ワークステーション１０が実行しなければならない画像処理の量が低減する。

図８は、本発明の実施形態に係る、選択された連続画像領域の画像処理の概略図である。図８において説明する実施形態では、検出及び認識の対象である画像特徴は数字の５である。ステップＳ２００〜Ｓ２２０に従う画像処理の後、選択された連続画像領域５１０が、スケルトン化のために抽出される。スケルトン化の後、連続画像領域５１０は、わずか１画素の幅となるように縮小され、それにより、幅を変更された画像特徴５２０が形成される。この画像特徴５２０に、さらなる処理を実行することができる。図８から分かるように、画像特徴の複雑性は低減される。幅を変更された画像特徴５２０はわずか１画素幅であるので、数字５の幅における変動及びフォント特徴５３０等のフォントの個々の特徴は除去される。

本発明の一実施形態では、選択された連続画像領域が１画素幅の線に細線化（スケルトン化）されると、その後、所定の画素幅まで拡張されるか又は太線化される。これにより、ステップＳ２３０において選択された連続画像領域から特徴ベクトルを抽出するときに、選択された連続画像領域内により多くの画素が存在するようになる。

その後、ステップＳ２３０において、分離後の選択された連続画像領域のそれぞれについて、その画像領域の特徴ベクトルが計算される。典型的には、これはゼルニケモーメントを用いて行われ、得られる出力は、回転不変量且つスカラー不変量である。これにより、認識対象の特徴に何らかの歪みがある場合（例えば、選手のユニフォームが布であり、剛性でない場合）であっても、実質的に同じ特徴ベクトルを画像から抽出可能になるため、有用である。しかしながら、画像特徴から特徴ベクトルを計算する他の適切な回転不変且つスカラー不変の方法を用いてもよいことを、当業者は理解するであろう。

本発明の実施形態では、選択された連続画像領域の特徴ベクトルを抽出するために、既知の技術を用いて、この領域の質量中心が計算される。この質量中心は、ゼルニケモーメントを計算するための原点として用いられる。さらに、抽出された画像領域内で、原点から最も離れた距離にある画素が検出され、この検出された距離は、ゼルニケモーメントの計算を支援するために、１に正規化される。モーメント計算において用いられるゼルニケ多項式は以下によって与えられる。
（例えば、http://mathworld.wolfman.com/ZernikePolynominal.htmlを参照されたい。）

ここで、ρは、０≦ρ≦１である半径方向距離であり、φは、０≦φ≦２πである方位角であり、ｎ及びｍは正の整数である。

は、ｎ≧ｍ≧０である整数ｍ及びｎについて、以下により定義される。

ゼルニケモーメントは、抽出された画像領域内の画素毎に計算され、その後、抽出された画像領域全体にわたって合計され、特徴ベクトルが生成される。得られた特徴ベクトルは、モーメントの計算において用いられる多項式として多数の要素を有する。特徴ベクトルの一例を以下に示す。

ここで、選択された連続画像領域の画素を総計することによってモーメントを計算するために用いられた多項式は、「Polynomial」と見出しを付けられた列において示され、モーメント計算により得られた値ｘ_ｉは、生成された特徴ベクトルの要素である。典型的には、

から

のゼルニケ多項式が、特徴ベクトルの生成に用いられる。これは、計算の複雑性と、分類の実行時に特徴間の曖昧性をなくすのに十分な数の要素を持つ特徴ベクトルの生成との間の良好なバランスを提供するためである。しかし、桁が変わるまでの他の範囲を用いてもよいこと、又は選択された多項式についてモーメントを計算してもよいことが理解されるであろう。

上で述べたように、本発明の実施形態では、選択された連続画像領域がスケルトン化されると、スケルトン化された連続画像領域は、モーメント計算の実行前に、所定の線幅まで太線化される。これにより、小さな変動は平均化される傾向にあるため、スケルトン化された画像領域におけるノイズ又は変動に対する特徴ベクトル計算の感度が低下する。本発明の実施形態による特徴ベクトルの計算に用いられる、太線化後の選択された連続画像領域が図９に示される。

図９は、特徴ベクトルの計算前に太線化された、選択された連続画像領域６００の一例である。ここで、画像特徴６３０は、例示的なゼルニケ多項式をプロットしたものを示す。上述のように、ゼルニケ多項式の値が、画像領域６００内の各画素位置毎に計算される（例えば、画素６０５、６１０、６１５及び６２０毎に。これらは例示の目的でのみ示される。）。その後、各画素位置における計算された多項式の値が合計され、その多項式及び画像領域６００についてのゼルニケモーメントが得られる。その後、上述のように、この得られた値を特徴ベクトルにおける入力として用いる。

スケルトン化された連続画像領域を所定の線幅まで太線化する替わりに、ゼルニケモーメントを形成するために合計される、サンプリングされた画素の数の拡張を支援するために、補間法を用いてもよい。

ステップＳ２３５において、特徴ベクトルがどの文字に対応する可能性が高いかを検出するために、ステップＳ２３０で計算された特徴ベクトルが、適切な分類方法を用いて分類される。選手のユニフォームの背番号が識別対象である上記の例では、考えられる特徴は数字０〜９であるが、任意の他の適切な文字であってもよいことが理解されるであろう。

本発明の一実施形態では、生成された特徴ベクトルは、既知のニューラルネットワーク技術を用いて分類される。その後、ニューラルネットワークの出力を用いて、選択された連続画像領域はどの特徴に対応する可能性が高いかを検出する。

別の実施形態では、ステップＳ２３０において生成された特徴ベクトルが、所定の特徴から事前に生成された特徴ベクトルと比較される。所定の特徴についての特徴ベクトルの生成は、その所定の特徴と、識別すべき検出された画像特徴との比較を行うことができるように、ステップＳ２３０で用いた方法と同じ特徴ベクトル生成方法を用いて実行される。好ましくは、特徴ベクトル生成方法は、それぞれの特徴ベクトルに応じて特徴を互いに容易に区別できるように、各特徴について大幅に異なる特徴ベクトルを生成するように選択される。

本実施形態において、事前に生成された特徴ベクトルのそれぞれについて、ステップＳ２３０において生成された、検出された画像特徴からの特徴ベクトルと、事前に生成された特徴ベクトルのそれぞれとの間の類似性を示す信頼度が生成される。例えば、図８におけるスケルトン化された連続画像領域（すなわち、幅を縮小された画像特徴５２０）から生成された特徴ベクトルが、数字０〜９から事前に生成された特徴ベクトルと比較される。事前に生成された特徴ベクトルのうちの１つと比較したとき、幅を縮小された画像特徴５２０についての信頼度が所定の閾値を超える場合、その幅を縮小された画像特徴５２０は、事前に生成された特徴ベクトルの生成に用いられた特徴に対応すると識別される。例えば、図８に示す例において、認識対象の番号は５である。幅を縮小された画像特徴５２０から生成された特徴ベクトルと、数字５の画像から事前に生成された特徴ベクトルとの比較によって生成された信頼度が閾値量を超える場合、幅を縮小された画像特徴５２０は数字５と識別される。

画像特徴と、事前に生成された２つ以上の異なる特徴ベクトルとの比較によって生成された複数の信頼度が閾値を超える場合、識別は無効となり、ビデオカメラ２０から受信された別のフレームに対して、プロセスが繰り返される。

数字又は文字が一旦識別されると、選手のユニフォーム上の番号を識別するために、各文字の識別情報を互いに結合することができる（文字が２つ以上の文字を含むと識別される場合）。その後、選手を識別するために、この数字の識別情報を、ＨＤＤ７４０又はＢＤ−ＲＯＭドライブ７６０に挿入された媒体に記憶されたルックアップテーブルと共に用いることができる。選手が識別されると、このデータを図５のステップＳ１３０及びＳ１３５において用いて、関連ログを更新することができる。さらに、本発明の実施形態において、コンテンツ処理ワークステーション１０がオブジェクトを識別すると、コンテンツ処理ワークステーション１０は、操作者が適切な操作者インタフェースを介して識別情報を検証するように指示することができる。

［例示的な説明］
図１０、図１１Ａ、図１１Ｂ、図１２は、選手を追跡し、サッカーの試合の３Ｄモデルを仮想モデルとして生成するために本発明の技術を用いる、サッカーの試合の例示的なビデオ画像のフレームの例を示す図である。図１７、図１８Ａ、図１８Ｂ、図１９は、図１０〜図１２において示すビデオ画像の実際のスクリーンショットの例をそれぞれ示す図である。図１０は、１つのＨＤカメラによって生成された、サッカーの試合のビデオ画像の例を示す図である。図１１Ａは、図１０のビデオ画像が、各画素の平均値を用いて背景のみを生成するように画像処理されたものを示す図である。図１１Ｂは、図１０のビデオ画像が、画像における各画素の分散を用いて背景のみを生成するように画像処理されたものを示す図である。図１２は、追跡の結果として、図３Ａに示す例に対応する各選手の周囲のバウンディングボックスが提供された例を示す図である。

図１３は、グラウンドの各半分をビューに入れるためにそれぞれ配置された２つのカメラ（カメラ２２．１、２２．２等）をビデオ画像の生成に用いた場合のフレームの例を示す図である。図２０は、図１３において示すビデオ画像の実際のスクリーンショットの例を示す図である。左半分及び右半分の両方において、選手はバウンディングボックスによって図示されるように追跡され、バウンディングボックスは各選手に重ねられる。

図１３の下半分では、図１３の上半分における２次元ビデオ画像において、カメラから見たグラウンド上のポジションに従って番号を付けられた選手の位置を表すために、サッカーの試合の仮想モデルが生成されている。したがって、サッカーの試合の３Ｄモデルのビューは、図３Ｂに示す仮想モデルの説明に対応する。

［ライブビデオに重ねられた追跡］
本発明の実施形態の技術によれば、上述したサッカーの試合の２Ｄ画像の３Ｄモデルに対して生成される追跡情報を、ビデオカメラによって取得されたビデオ画像に追加することができる。一例が図１４に示されている。図３Ｂに示すように、サッカーグラウンドの３Ｄモデルを用いて、サッカーグラウンド上の選手の追跡及び検出を支援する。選手の相対的な位置が３Ｄモデルから検出されると、その選手のためのマスクが２Ｄ画像に投影され、２Ｄ画像内での選手の検出及び追跡を支援するために用いられる。ここで、選手の位置が一旦比較的高い確率で識別されると、カメラの２Ｄビデオ画像内での選手の位置がわかる。これにより、追跡アルゴリズムにより推定されたその選手の識別情報を示すグラフィックを、コンテンツ処理ワークステーション１０によって、カメラからのライブビデオフィードに重ねることができる。したがって、図１４に示すように、各選手３００、３０２、３０４、３０６には、対応するラベル３０８、３１０、３１２、３１４が提供され、その後、これらのラベルを用いて、選手の識別情報を追跡するために、グラウンドの周囲の選手が追跡される。このように、オブジェクトが位置する平面の３次元モデルを用いてオブジェクトを追跡することで、識別されたオブジェクトの相対的な位置がビデオ画像に逆投影され、グラフィカルラベル又は識別情報又は他の効果が導入され、それにより、ライブのビデオ画像又は処理済みのビデオ画像において選手の識別情報を見ることができる。

したがって、いくつかの例では、本発明の実施形態の技術に係る方法は、ビデオカメラによる或るシーンのビューから生成された、平面上に位置する複数のオブジェクトを含む前記シーンのビデオ画像を改善する改善方法を含む。当該改善方法は、前記各オブジェクトから１つ又は複数の画像特徴を抽出するように、前記取得したビデオ画像を処理し、前記１つ又は複数の画像特徴と、前記ビデオ画像に含まれると想定されるオブジェクト例の所定のセットから抽出されたサンプル画像特徴とを比較し、前記画像特徴と前記サンプル画像特徴との前記比較により、前記オブジェクトを識別し、前記各オブジェクトを識別する、各オブジェクトについてのオブジェクト識別データを含み、且つ前記ビデオ画像の前記平面における前記オブジェクトの経時的な位置を示すオブジェクト経路データを生成し、前記オブジェクト経路データに基づく前記各オブジェクトの前記位置を、前記平面から当該平面の前記３次元モデルに投影するための投影マトリクスを計算し、前記オブジェクトが位置する前記平面の前記３次元モデルに対して、前記オブジェクト経路データを用いて、前記ビデオ画像における各オブジェクトを識別し、前記ビデオ画像における前記各オブジェクトを識別する識別情報の図形表現を生成し、前記オブジェクトが前記ビデオ画像における前記平面上で動いた場合、当該オブジェクトのうちの１つ又は複数に前記識別情報を提供するために、前記ビデオ画像において前記識別情報を前記オブジェクトに重ねる。

図１４の画像ビュー内には、抽出された複数の画像の２つのセット３２０、３２２も示される。サッカーグラウンドの各サイドには、抽出された複数の画像のセット３２０、３２２のうちの１つのセットが提供される。各画像は、カメラ２０から提供された画像の分離された部分であり、この分離された部分は、選手をサッカーグラウンドからできるだけ分離することを目的とする。したがって、各選手を識別すると、ビデオ画像内のその選手の画像を、サッカーグラウンド上の各チームに対応する各セット内の他の選手と共に抽出して表示することができる。この抽出された画像を表示することにより、サッカーの試合を通して特定の選手を追跡するための別個のカメラの必要なしに、その選手を自動的に分離して視聴することができる。したがって、単一のカメラを用いてサッカーグラウンド全体を撮影することができ、あたかも各選手を追跡するために複数のカメラを用いているかのように、試合を通して各選手を追跡することができる。結果として、費用及びシステムの複雑性の大幅な低減を達成することができる。

［実画像と仮想画像との切り替え］
上記で説明したように、図３Ａ及び図３Ｂを参照して、各選手を追跡するプロセスは、選手の識別及び位置特定を支援するために、サッカーグラウンドの３Ｄモデルを利用する。選手の位置の推定に関する情報を収集し、ビデオ画像の各フレーム間でその情報を追跡する（オブジェクト経路データ）すると、各選手の画像を合成し、それらの選手を３Ｄモデル内で表現することにより、ライブビデオ画像の仮想表現を作成することが可能である。さらに、仮想空間内でのモデルのビューの相対的な位置又は合成されたカメラ位置は、サッカーグラウンドの３Ｄモデルの相対的なビューを適応化するための既知の技術を用いて調整することができる。したがって、カメラにより提供された画像ビューから求められた経時的な選手の位置のそれぞれについて、所望のカメラ位置から見たそのライブのサッカーの試合の仮想３Ｄビューを再生することが可能である。

図１５に示す例において説明すると、（図３Ｂ及び図１３に示すように）各選手についての経路データを３Ｄモデルに適用することにより、３Ｄモデルが合成され、選手は、経時的に変化する位置における各選手のモデルによって表現される。さらに、３Ｄモデルのビューは変更可能であるため、実際にはカメラが存在しない位置における試合のビューを提供するために、カメラの相対的な位置を変更することができる。したがって、一例として、フリーキックが与えられた場合、図１５に示すように、実際にはカメラが存在しない位置におけるフリーキックのビューを提供するために、カメラの相対的な位置をゴールの後ろから提供することができる。

上述のように、これは、投影マトリクスＰを用いて、カメラ位置の３Ｄにおける相対位置を、グラウンドのコーナーからマッピングすることによって達成される。さらに、上述のように各選手の相対的な向きを推定して、この相対的な向きを、各選手についての経路データと共に提供することができ、選手の合成モデルを、この経時的に変化する向きで表示することができる。したがって、上記の追跡プロセスの一部として識別された選手の向きが、経路データと共に提供され、サッカーの試合の３Ｄモデルが生成される。この３Ｄモデルは実画像と対応するため、この向きデータを用いて、モデル内での選手の向きが変更される。

［ユーザがコンテンツを決定するためのＩＰＴＶ］
本発明のさらなる例示的な実施形態が、図１６、図１７、図１８及び図１９に示される。上記で示したように、追跡アルゴリズムを用いて生成された追跡情報（オブジェクト経路データ）を用いることにより、及び、現実のライブのサッカーの試合の表現を生成するために、合成表現を、図３Ｂにおける方向線によって示されるような選手の相対的な向きと組み合わせて各選手に適用することにより、現実のサッカーの試合の３Ｄ仮想モデルを合成することが可能である。サッカーグラウンド上の選手の追跡された位置を合成モデルで置き換えることにより、ライブビデオ画像が、３次元の合成された形で表現されるため、事実上、これは圧縮形式を表現する。したがって、３Ｄ仮想モデルに従うサッカーの試合の表現を、インターネットを介してクライアント機器にストリーミングすることができる。このような構成は図１６に示されている。図１６において、コンテンツ処理ワークステーション１０は、データ記憶装置４００からデータを受信する。このデータは、サッカー選手の、事前に生成された合成表現を提供する。サッカーの試合の仮想表現を向上させるために、この表現は、各選手の姿勢、体勢、態度に関する情報も含むことができる。したがって、上記の追跡プロセスにより生成された経路データを、選手の姿勢、体勢、態度に関する情報を含むように増強することができ、この情報を用いて、対応する選手の合成モデルを選択することができる。

コンテンツ処理ワークステーション１０は、合成表現をデータ記憶装置４００から受信すると、サッカーの試合の３Ｄ仮想表現を生成することができ、任意選択で、この３Ｄ仮想モデルを表すデータを、後処理装置４１０に送ることもできる。配信サーバ４２０にストリーミングするための、サッカーの試合の３Ｄ仮想モデルに関する情報をパッケージ化するために、後処理装置４１０を用いることができる。

図１６において、複数のクライアント機器４２２のそれぞれは、所望のチーム又は特定の選手の所望のビューに関する選択肢を選択することにより、サッカーグラウンドの３Ｄ仮想モデルの特定のビューを要求することができ、これらの要求はその後、配信サーバ４２０に供給される。配信サーバ４２０は、その後、クライアント機器によって提供された所望の選択結果に応じて、サッカーの試合の３Ｄ仮想モデルを表すデータをストリーミングするように構成されてもよい。その後、クライアント機器４２２は、カメラ２０によって生成されたライブビデオ画像の圧縮バージョンを効率的に提供する、３Ｄ仮想モデルの所望のビューを再生することができる。したがって、サッカーの試合の３Ｄモデルを再生するためのデータをクライアント機器にストリーミングすることができ、このデータは、ライブ又はほぼライブのサッカーの試合の低帯域幅バージョンを提供する。このデータは単に、各選手の経時的な位置の追跡を提供するオブジェクト経路データを含んでもよく、各選手の向きを含んでもよい。クライアント機器におけるアプリケーションソフトウェアによって、サッカーグラウンドの３Ｄモデルを生成することができる。このアプリケーションソフトウェアは、選手の合成モデルをロードし、経路データを適用して、サッカーの試合の３Ｄモデルを生成する。或いは、３Ｄモデルを用いて、実際の試合を再生するコンピュータゲームを作成してもよい。

添付の特許請求の範囲において規定される本発明の範囲から逸脱することなく、上述の実施形態に対して種々の変形を行ってもよいことが理解されるであろう。例えば、例示した実施形態は、サッカーの試合を参照して説明されたが、任意の他のスポーツイベント又は演劇等の娯楽イベントに、上記で開示した本発明の実施形態の技術を適用することができると考えられる。本発明の実施形態の技術に係るプロセスは、フロッピーディスク、光ディスク、ハードディスク、ＰＲＯＭ（Programmable Read Only Memory）、ＲＡＭ(Random Access Memory)、フラッシュメモリ若しくはそれらの任意の組み合わせ又は他の記憶媒体等のデータ保持媒体に格納されたコンピュータが読み取り可能な命令を有するコンピュータプログラム製品の形で実行されてもよく、或いは、イーサネット（登録商標）、無線ネットワーク、インターネット、若しくはそれらの任意の組み合わせ又は他のネットワーク等のネットワークを介して、データ信号として送信されてもよい。

本発明の一実施形態に係るオブジェクト追跡システムの概略図である。 本発明の一実施形態に係るオブジェクト追跡方法のフロー図である。 本発明の一実施形態に係るオブジェクト追跡の概略図である。 本発明の一実施形態に係る遮蔽検出の概略図である。 本発明の一実施形態に係るオブジェクト追跡及び遮蔽検出の方法のフロー図である。 本発明の一実施形態に係るオブジェクト追跡及び遮蔽検出の方法の概略図である。 本発明の一実施形態に係る画像認識方法のフロー図である。 本発明の一実施形態に係る、画像特徴の画像処理の概略図である。 本発明の一実施形態に係る、特徴ベクトルを計算するための画像特徴の画像処理の概略図である。 追跡対象の選手を含むサッカーの試合を示す、シーンから取得されたビデオ画像の例である。 背景モデルを生成するために、本発明の実施形態の技術に従って、平均を取得することにより処理されるビデオ画像の例である。 分散を考慮する場合の背景モデルである。 追跡された選手の位置を示すために、本発明の実施形態の技術に従って処理されたビデオ画像の例である。 ２つの異なるカメラによって取得された２つのビデオ画像の例であり、一方は、サッカーグラウンドの各サイドを示し、他方は、選手の位置が経時的に追跡されるサッカーの試合の仮想表現の例を示す。 本発明の実施形態の技術に従って追跡される選手にラベルが付された、サッカーの試合のビデオ画像の表現である。 試合のビューを変更することができる、サッカーの試合の仮想モデルの３次元表現である。 合成された要素によって試合を表現するサッカーの試合の仮想モデルを作成する、クライアント機器がインターネットを介して利用可能なシステムの概略ブロック図である。 図１０において示すビデオ画像の実際のスクリーンショットの例である。 図１１Ａにおいて示すビデオ画像の実際のスクリーンショットの例である。 図１１Ｂにおいて示すビデオ画像の実際のスクリーンショットの例である。 図１２において示すビデオ画像の実際のスクリーンショットの例である。 図１３において示すビデオ画像の実際のスクリーンショットの例である。

Claims (19)

1. ビデオカメラによる或るシーンのビューから生成された、平面上に位置する複数のオブジェクトを含む前記シーンの１つ又は複数のビデオ画像から生成された、前記平面上の前記オブジェクトを含む前記シーンの３次元表現を生成する生成方法であって、
   前記各オブジェクトから１つ又は複数の画像特徴を抽出するように、前記取得したビデオ画像を処理し、
   前記１つ又は複数の画像特徴と、前記ビデオ画像に含まれると想定されるオブジェクト例の所定のセットから抽出されたサンプル画像特徴とを比較し、
   前記画像特徴と前記サンプル画像特徴との前記比較により、前記オブジェクトを識別し、
   前記各オブジェクトを識別する、各オブジェクトについてのオブジェクト識別データを含み、且つ前記ビデオ画像の前記平面における前記オブジェクトの経時的な位置を示すオブジェクト経路データを生成し、
   前記オブジェクト経路データに基づく前記各オブジェクトの前記位置を、前記平面から当該平面の前記３次元モデルに投影するための投影マトリクスを計算し、当該投影マトリクスを用いて、前記オブジェクト経路データに従う前記オブジェクトの前記位置を、前記シーンの３次元モデルの平面に投影することにより、前記シーンの３次元モデルを生成する
   生成方法。
2. 請求項１に記載の生成方法であって、さらに、
   前記投影マトリクスと、前記各オブジェクトの高さに関する所定の推定値、又は前記３次元表現に向けられたカメラの擬似的な距離とを用いて、前記オブジェクト経路データに基づく前記オブジェクトの前記位置を前記シーンの前記３次元モデルの前記平面に投影することによって、前記平面上の前記複数の各オブジェクトの合成表現を含む、前記シーンの３次元表現を生成する
   通信システム。
3. 請求項１に記載の生成方法であって、さらに、
   前記生成された３次元モデルがユーザに対して表示画面上に表示されているときに、ユーザ制御に応じて、当該３次元モデルの相対的な視点を変更する
   通信システム。
4. 請求項１に記載の生成方法であって、さらに、
   前記平面上の前記各オブジェクトの相対的な方向に関する情報を、当該各オブジェクトについて生成し、
   前記相対的な方向に関する情報を、前記オブジェクト経路データに含め、
   前記シーンの前記３次元表現を生成するステップは、
   前記オブジェクト経路データに含められた前記相対的な方向に関する情報を用いて、前記３次元モデルの前記平面における前記各オブジェクトの前記合成表現を方向付けるステップを含む
   生成方法。
5. 請求項１に記載の通信システムであって、
   前記各オブジェクトは人間であり、
   前記オブジェクト経路データを生成するステップは、
   前記ビデオ画像から、前記平面における前記人間の相対的な姿勢、体勢、態度に関する情報を生成するステップと、
   前記人間の前記姿勢、体勢、態度に関する前記情報を前記オブジェクト経路データに含めるステップとを含み、
   前記シーンの前記３次元表現を生成するステップは、
   前記オブジェクト経路データに含められた、前記ビデオ画像における前記人間の前記姿勢、体勢、態度に関して想定される情報のうちの１つに対応する各人間の表現のセットを有するデータ記憶装置にアクセスするステップと、
   前記オブジェクト経路データに含められた前記人間の前記相対的な姿勢、体勢、態度に関する前記情報に従って、前記各人間の前記想定される表現のセットから、前記各人間の表現を選択するステップと、
   前記３次元モデルの前記平面において、前記オブジェクト経路データに基づく姿勢及び方向で、前記選択された表現を生成するステップとを含む
   生成方法。
6. 請求項１に記載の生成方法であって、
   前記投影マトリクスは、
   に従って求められ、ここで、ｘ，ｙは前記２次元ビデオ画像の前記平面における前記オブジェクトの前記位置を表す座標値であり、ｘ’ｙ’ｚ’、ｗは、前記３次元モデルにおける前記オブジェクトのビューのズームレベル、焦点中心、３次元位置及び３次元回転ベクトルを提供する
   生成方法。
7. 請求項１に記載の生成方法であって、さらに、
   前記オブジェクトが位置する前記平面の前記３次元モデルに対して、前記オブジェクト経路データを用いて、前記ビデオ画像における各オブジェクトを識別し、
   前記ビデオ画像における前記各オブジェクトを識別する識別情報のグラフィカル表現を生成し、
   前記オブジェクトが前記ビデオ画像における前記平面上で移動した場合、当該オブジェクトのうちの１つ又は複数に前記識別情報を提供するために、前記ビデオ画像において前記識別情報を前記オブジェクトに重ねる
   生成方法。
8. 請求項１に記載の生成方法であって、さらに、
   前記オブジェクトが位置する前記平面の前記３次元モデルを生成し、
   前記生成された３次元モデルにおける前記平面を、当該平面のコーナーを用いて、当該平面のビデオ画像に対して較正する
   生成方法。
9. 請求項１に記載の生成方法であって、
   前記オブジェクトは、スポーツの試合の選手であり、
   前記平面は、サッカーグラウンド等の試合場である
   生成方法。
10. コンピュータに、請求項１に記載の生成方法における各ステップを実行させるためのプログラム。
11. ビデオカメラによる或るシーンのビューから生成された、平面に位置する複数のオブジェクトを含む前記シーンの１つ又は複数のビデオ画像から生成された、前記平面上の前記複数のオブジェクトを含む前記シーンの３次元表現を生成する画像処理装置であって、
    前記各オブジェクトから１つ又は複数の画像特徴を抽出するように、前記取得したビデオ画像を処理し、
    前記１つ又は複数の画像特徴と、前記ビデオ画像に含まれると想定されるオブジェクト例の所定のセットから抽出されたサンプル画像特徴とを比較し、
    前記画像特徴と前記サンプル画像特徴との前記比較により、前記オブジェクトを識別し、
    前記各オブジェクトを識別する、各オブジェクトについてのオブジェクト識別データを含み、且つ前記ビデオ画像の前記平面における前記オブジェクトの経時的な位置を示すオブジェクト経路データを生成し、
    前記オブジェクト経路データに基づく前記各オブジェクトの前記位置を、前記平面から、当該平面の前記３次元モデルに投影するための投影マトリクスを計算し、当該投影マトリクスを用いて、前記オブジェクト経路データに従う前記オブジェクトの前記位置を、前記シーンの３次元モデルの平面に投影することにより、前記シーンの３次元モデルを生成する
    データ処理部を具備する画像処理装置。
12. 請求項１１に記載の画像処理装置であって、
    前記データ処理部は、前記投影マトリクスと、前記各オブジェクトの高さに関する所定の推定値、又は前記３次元表現に向けられたカメラの擬似的な距離とを用いて、前記オブジェクト経路データに基づく前記オブジェクトの前記位置を、前記シーンの前記３次元モデルの前記平面に投影することによって、前記平面上の前記複数の各オブジェクトの合成表現を含む、前記シーンの３次元表現を生成する
13. 請求項１１に記載の画像処理装置であって、
    前記データ処理部に、前記３次元モデルの前記ビューの変更を表すユーザ制御信号を提供するユーザインタフェースを具備し、
    前記データ処理部は、前記生成された３次元モデルが表示画面上に表示されているとき、前記ユーザ制御信号に応答して、前記３次元モデルの相対的な視点を変更する
    画像処理装置。
14. 請求項１１に記載の画像処理装置であって、
    前記データ処理部は、
    前記平面上の前記各オブジェクトの相対的な方向に関する情報を、当該各オブジェクトについて生成し、
    前記相対的な方向に関する情報を、前記オブジェクト経路データに含め、
    前記オブジェクト経路データに含められた前記相対的な方向に関する情報を用いて、前記３次元モデルの前記平面における前記各オブジェクトの前記合成表現を方向付ける
    画像処理装置。
15. 請求項１１に記載の画像処理装置であって、
    前記各オブジェクトは人間であり、
    前記データ処理部は、
    前記オブジェクト経路データを生成するステップは、
    前記ビデオ画像から、前記平面における前記人間の相対的な姿勢、体勢、態度に関する情報を生成し、
    前記人間の前記姿勢、体勢、態度に関する前記情報を前記オブジェクト経路データに含め、
    前記オブジェクト経路データに含められた、前記ビデオ画像における前記人間の前記姿勢、体勢、態度に関して想定される情報のうちの１つに対応する各人間の表現のセットを有するデータ記憶装置にアクセスし、
    前記オブジェクト経路データに含められた前記人間の前記相対的な姿勢、体勢、態度に関する前記情報に従って、前記各人間の前記想定される表現のセットから、前記各人間の表現を選択し、
    前記３次元モデルの前記平面において、前記オブジェクト経路データに基づく姿勢及び方向で、前記選択された表現を生成する
    画像処理装置。
16. 請求項１１に記載の画像処理装置であって、
    前記データ処理部は、
    前記オブジェクトが位置する前記平面の前記３次元モデルに対して、前記オブジェクト経路データを用いて、前記ビデオ画像における各オブジェクトを識別し、
    前記ビデオ画像における前記各オブジェクトを識別する識別情報の図形表現を生成し、
    前記オブジェクトが前記ビデオ画像における前記平面上で移動した場合、当該オブジェクトのうちの１つ又は複数に前記識別情報を提供するために、前記ビデオ画像において前記識別情報を前記オブジェクトに重ねる
    画像処理装置。
17. ビデオカメラによる或るシーンのビューから生成された、平面上に位置する複数のオブジェクトを含む前記シーンのビデオ画像を改善する改善方法であって、
    前記各オブジェクトから１つ又は複数の画像特徴を抽出するように、前記取得したビデオ画像を処理し、
    前記１つ又は複数の画像特徴と、前記ビデオ画像に含まれると想定されるオブジェクト例の所定のセットから抽出されたサンプル画像特徴とを比較し、
    前記画像特徴と前記サンプル画像特徴との前記比較により、前記オブジェクトを識別し、
    前記各オブジェクトを識別する、各オブジェクトについてのオブジェクト識別データを含み、且つ前記ビデオ画像の前記平面における前記オブジェクトの経時的な位置を示すオブジェクト経路データを生成し、
    前記オブジェクト経路データに基づく前記各オブジェクトの前記位置を、前記平面から当該平面の前記３次元モデルに投影するための投影マトリクスを計算し、
    前記オブジェクトが位置する前記平面の前記３次元モデルに対して、前記オブジェクト経路データを用いて、前記ビデオ画像における各オブジェクトを識別し、
    前記ビデオ画像における前記各オブジェクトを識別する識別情報のグラフィカル表現を生成し、
    前記オブジェクトが前記ビデオ画像における前記平面上で移動すると、当該オブジェクトのうちの１つ又は複数に前記識別情報を提供するために、前記ビデオ画像において前記識別情報を前記オブジェクトに重ねる
    改善方法。
18. ビデオカメラによる或るシーンのビューから生成された、平面上に位置する複数のオブジェクトを含む前記シーンのビデオ画像を改善する画像処理装置であって、
    前記各オブジェクトから１つ又は複数の画像特徴を抽出するように、前記取得したビデオ画像を処理し、
    前記１つ又は複数の画像特徴と、前記ビデオ画像に含まれると想定されるオブジェクト例の所定のセットから抽出されたサンプル画像特徴とを比較し、
    前記画像特徴と前記サンプル画像特徴との前記比較により、前記オブジェクトを識別し、
    前記各オブジェクトを識別する、各オブジェクトについてのオブジェクト識別データを含み、且つ前記ビデオ画像の前記平面における前記オブジェクトの経時的な位置を示すオブジェクト経路データを生成し、
    前記オブジェクト経路データに基づく前記各オブジェクトの前記位置を、前記平面から当該平面の前記３次元モデルに投影するための投影マトリクスを計算し、
    前記オブジェクトが位置する前記平面の前記３次元モデルに対して、前記オブジェクト経路データを用いて、前記ビデオ画像における各オブジェクトを識別し、
    前記ビデオ画像における前記各オブジェクトを識別する識別情報の図形表現を生成し、
    前記オブジェクトが前記ビデオ画像における前記平面上で移動すると、当該オブジェクトのうちの１つ又は複数に前記識別情報を提供するために、前記ビデオ画像において前記識別情報を前記オブジェクトに重ねる
    データ処理部を具備する画像処理装置。
19. ビデオカメラによる或るシーンのビューから生成された、平面上に位置する複数のオブジェクトを含む前記シーンの１つ又は複数のビデオ画像から生成された、前記平面上の前記オブジェクトを含むシーンの３次元表現を生成する生成装置であって、
    前記各オブジェクトから１つ又は複数の画像特徴を抽出するように、前記取得したビデオ画像を処理する手段と、
    前記１つ又は複数の画像特徴と、前記ビデオ画像に含まれると想定されるオブジェクト例の所定のセットから抽出されたサンプル画像特徴とを比較する手段と、
    前記画像特徴と前記サンプル画像特徴との前記比較により、前記オブジェクトを識別する手段と、
    前記各オブジェクトを識別する、各オブジェクトについてのオブジェクト識別データを含み、且つ前記ビデオ画像の前記平面における前記オブジェクトの経時的な位置を示すオブジェクト経路データを生成する手段と、
    前記オブジェクト経路データに基づく前記各オブジェクトの前記位置を、前記平面から当該平面の前記３次元モデルに投影するための投影マトリクスを計算し、当該投影マトリクスを用いて、前記オブジェクト経路データに従う前記オブジェクトの前記位置を、前記シーンの３次元モデルの平面に投影することにより、前記シーンの３次元モデルを生成する手段と
    を具備する生成装置。