JP2012513057A - 画像からの深度マップの作成 - Google Patents

Abstract

複数の画像に対して複数の深度マップを生成する方法は、第１の画像を受信するステップと、前記第１の画像により規定されるショットに関する情報を取得するステップと、第１のスキーマによって前記第１の画像に対する深度マップを生成するステップと、第２の画像を受信するステップと、前記第２の画像により規定されたショットに関する情報を取得するステップと、前記第１の画像と前記第２の画像との間の前記取得された情報の変化を検出するステップと、第２のスキーマによって前記第２の画像に対する深度マップを生成するステップとを有し、前記第２のスキーマは、前記第１のスキーマの複雑さとは異なる複雑さを持つ。前記方法は、第１及び第２の深度モデルにアクセスするステップを有することができる。一実施例において、前記第１のスキーマは、前記第１の深度モデルを有し、前記第２のスキーマは、前記第２の深度モデルを有し、第２の実施例において、前記第１のスキーマは、前記第１の深度モデルを有し、前記第２のスキーマは、前記第１及び第２の深度モデルの組み合わせを有する。

Description

本発明は、複数の画像に対して複数の深度マップを生成する方法及びシステムに関する。一実施例において、これは、サッカービデオに対する自動深度推定に使用されることができる。

近い将来において、三次元（３Ｄ）表示装置は、家庭及びビジネス環境においてますます一般的になりそうである。このような装置は、３Ｄ画像を見るのにユーザが特別な眼鏡を着用することを必要とするステレオスコピック、又は３Ｄ画像を見るために特別な眼鏡を必要としないオートステレオスコピックのいずれかである。３Ｄ画像を作成するために、前記ユーザの左目に対して１つ及び前記ユーザの右目に対して１つ与えられる２つの異なる２Ｄ画像が必要とされる。単一の画像と、第２の画像が生成されることを可能にするのに十分な情報を含む追加の深度マップ又は視差マップのいずれかとを提供することも十分である。この後者の解決法は、３Ｄ画像の最終供給においてより多くの柔軟性を可能にするので、多くの利点を持つ。

しかしながら、現在、及び予測できる未来に対して、ほとんどの画像及びビデオは、２Ｄ画像フレームとして生成されるだろう。元のソースが２Ｄ画像である場合に３Ｄ画像を作成するために、深度マップが、作成される必要がある。この深度マップは、第２の画像を作成するのに、又は第２の画像に対する視差マップを作成するのに使用されることができる。

近年、多くの研究は、サッカー分析及び２Ｄサッカービデオの３Ｄへの変換のトピックについて行われている（引用文献１及び４を参照）。一般に、キャリブレーションは、サッカーフィールド上で見えるラインの交差を使用して行われる。これは、主に、多くのラインがカメラビューにおいて見えるゴールの周りの領域において良好に機能する。この方法は、楕円検出方法を加えることにより前記フィールドの中心まで拡張されることができる。このようなアプローチは、非常に少数のラインがビュー内で見える（又は全く見えない）場合に、効果的でない。この場合、連続したフレーム間のホモグラフィを計算するのに動き推定を使用することが可能である。

深度マップを生成する際に、次のステップは、通常は色セグメンテーションを使用して（引用文献２）、選手及びボールが検出され、これらの３Ｄ位置が推定されることである。Liu他は、プレイフィールドを検出するのにガウス混合モデルを使用する（引用文献２）が、ＨＳＩ及びＲＧＢ色空間を結合するヒストグラムベースのアプローチを使用することも既知である。両方のチームのシャツ及びパンツの色を使用し、シャツ及びパンツの組み合わせを検出することも可能である。この場合、選手のシャツの色、相対的な垂直位置及び／又は平均速度を使用して、互いを遮蔽する複数の選手を別個に追跡することが可能である。ボールの位置は、グラウンド上にある場合には容易に推定されることができるが、空中では推定するのが難しい。このような場合、放物線軌道が、典型的には推定され、したがって、グラウンドに触れる２つの点が必要とされる。Liu他は、このような点を手動で示す（引用文献２）。異なる解決法は、複数のカメラ、又は単一のカメラ及びグラウンドに触れる場合のボールの方向の変化を使用することである。

これらの研究の主な応用は、自由視点ビデオであり、ここで、ユーザは、固定カメラ位置において獲得された視点から補間された任意の視点からのビューを選択することができる。このような場合に、フィールド、選手及びボールの３Ｄ再構成は、しばしば、入力データから構築される。仮想的な３Ｄサッカーフィールド上の正しい位置に選手及びボールを配置するこのプロセスは、選手の姿勢推定、又はより正確なセグメンテーションに対するマッティング（matting）に関連した追加の必要条件を加える。選手が検出されない場合、前記選手は、３Ｄモデル上で正しく配置されることができない。

３Ｄテレビのような応用において、主な目標は、仮想的に満足のいく深度画像を生成することである。このような応用に対する制約は、自由視点ビデオに対するものとは異なり、しばしば厳しくない。例えば、検出されていない選手は、周囲のフィールド画素と同じ深度値を受ける。これは、深度効果を消し、局所的な歪を与えるが、フル３Ｄモデルが再構成される場合のようなアーチファクトを作成しない。しかしながら、高いロバスト性及び時間的安定性は、満足のいく観察体験に対して必要とされる。

既存の方法に対する主な問題は、シーンの特定のタイプに対する失敗である。上に記載されるように、カメラキャリブレーションは、ゴールを含むシーンに対して良好に機能するが、フィールドの中心部分が獲得される場合に大幅に悪く動作する。既存の方法の他の問題は、前記既存の方法が、時々、獲得インフラストラクチャに対してコストのかかる適合が行われることを必要とする特別なカメラを持つセットアップを必要とすることである。

従来技術のアルゴリズムの焦点は、正しい３Ｄモデルを生成することにあり、３Ｄ印象及びロバスト性ではない。前記アルゴリズムの不安定性又は弱点に関する問題を克服するために、提示されたアルゴリズムの多くは、例えばライン交差、空中の軌道間のグラウンド情報のボールの始点及び終点、又はセグメント化するのが難しい選手の補正を示すのに相当量の手動介入を必要とする。

したがって、本発明の目的は、既知の技術を改良することである。

本発明の第１の態様によると、複数の画像に対する複数の深度マップを生成する方法が提供され、前記方法は、第１の画像を受信するステップと、前記第１の画像により規定されるショットに関する情報を取得するステップと、第１のスキーマによって前記第１の画像に対する深度マップを生成するステップと、第２の画像を受信するステップと、前記第２の画像により規定されるショットに関する情報を取得するステップと、前記第１の画像と前記第２の画像との間の前記取得された情報の変化を検出するステップと、第２のスキーマによって前記第２の画像に対する深度マップを生成するステップとを有し、前記第２のスキーマが、前記第１のスキーマとは異なる複雑さを持つ。

本発明の第２の態様によると、複数の画像に対する複数の深度マップを生成するシステムが提供され、前記システムは、第１の画像及び第２の画像を受信する受信器と、前記第１の画像により規定されるショットに関する情報を取得し、第１のスキーマによって前記第１の画像に対する深度マップを生成し、前記第２の画像により規定されるショットに関する情報を取得し、前記第１の画像と前記第２の画像との間の前記取得された情報の変化を検出し、第２のスキーマによって前記第２の画像に対する深度マップを生成するプロセッサとを有し、前記第２のスキーマが、前記第１のスキーマとは異なる複雑さを持つ。

本発明の第３の態様によると、複数の画像に対する複数の深度マップを生成するコンピュータ可読媒体上のコンピュータプログラムが提供され、前記プログラムは、第１の画像を受信する命令と、前記第１の画像により規定されるショットに関する情報を取得する命令と、第１のスキーマによって前記第１の画像に対する深度マップを生成する命令と、第２の画像を受信する命令と、前記第２の画像により規定されるショットに関する情報を取得する命令と、前記第１の画像と前記第２の画像との間の前記取得された情報の変化を検出する命令と、第２のスキーマによって前記第２の画像に対する深度マップを生成する命令とを有し、前記第２のスキーマが、前記第１のスキーマとは異なる複雑さを持つ。

本発明のおかげで、様々な複雑さの深度モデル（例えば、一定の深度、傾斜した深度、又は選手セグメンテーションを持つ傾斜した深度）を使用する異なるスキーマで動作することにより増大されたロバスト性及び安定性を持つ画像に対する深度マップを生成する解決法を提供することが可能である。各画像において規定されるショットに関する情報を取得することにより、この情報は、スキーマを切り換えるトリガとして使用されることができる。スキーマは、最も単純な実施において、深度モデルであり、最終的な深度マップに対する１以上の深度プロファイルを指定する。単純なスキーマは、深度マップを通して単一の一定の深度を指定する深度モデルでありうる。より複雑なスキーマは、前記深度マップ上の単純な勾配を指定するものであり、更に複雑なスキーマは、（例えばセグメンテーションを通して）１又は複数の選手の検出を加えた勾配を指定することができる。シナリオ内の信頼性が低すぎるような、規定された環境が生じる場合、このアルゴリズムは、正確な再構成が可能である、より低い（単純な）シナリオ（深度モデル）に戻るように自動的に切り換える。例えば、前記選手セグメンテーションが低い信頼性を持つ場合、フィールドモデルのみが、選手セグメンテーションなしで使用される。

また、ビデオコンテンツの３Ｄ表示のような応用において、実際のフィールド座標に対する前記ビデオの正確なキャリブレーションは、必要とされない。フィールドと観客領域との間の遷移を単一の直線又は２つの線の対としてモデル化することが十分である。これは、現在のアプローチにおいて使用されるものより単純なモデルであり、３Ｄテレビ応用の必要性に対しても十分である。本発明は、サッカービデオを３Ｄに変換する自動的／半自動的な方法として使用されることができる。これは、放送局及びサッカー素材を獲得／配信する他のコンテンツプロバイダにより使用されることができる。本発明は、２Ｄ画像入力を受信し、２Ｄストリームを３Ｄに変換し、３Ｄ出力を表示するテレビ内で実施されることができる。

グラフィカルオーバレイなしで、場合によりカメラビューの変化を持つ、生のサッカービデオ素材、すなわちサッカービデオのようなスポーツビデオの自動２Ｄ−３Ｄ変換に対して使用されることができる新しいアルゴリズムが、提供される。行われる試合の完全な３Ｄモデルを再構成することを目的とするほとんどの既存の方法とは逆に、前記方法は、典型的には、厳しくない制約を生じる機能する深度マップを生成する解決法を提供する。ロバストな変換を取得するために、様々な複雑さの深度モデル（例えば、一定深度、傾斜深度、又は選手セグメンテーションを持つ傾斜深度）を使用することができる導入された複数のスキーマ／シナリオが存在する。低い信頼性が存在する場合、より単純なシナリオ／深度モデルに戻るように切り換えることが可能である。より低い複雑さのスキーマは、閾値より低い信頼性のような１以上の規定された基準が検出される場合に使用されることができる。

有利には、前記方法は、第１及び第２の深度モデルにアクセスするステップを有し、前記第１のスキーマは、前記第１の深度モデルを有し、前記第２のスキーマは、前記第２のモデルを有する。これは、２つのモデルを使用し、ショット変化が検出された場合に前記モデル間で切り換える、前記新しいシステムの最も単純な実施である。第１及び第２の深度モデルを使用する第２の実施例において、前記第１のスキーマは、前記第１の深度モデルを有し、前記第２のスキーマは、前記第１及び第２の深度モデルの組み合わせを有する。このようにして、前記深度マップの突然の変化が避けられ、前記モデルの混合が、前記第２のスキーマを作成するのに使用される。

前記第２の実施例において、好ましくは、前記方法は、前記第１のスキーマが、単独で、深度マップを生成するのに最後に使用された後に、画像の数によって混合係数をセットするステップを含み、前記混合係数は、前記第１及び第２の深度モデルの相対的な寄与を決定する。前記第２のスキーマに対する変化が開始した後に画像の数に基づいてセットされた混合係数の使用は、あるスキーマから第２のスキーマへの滑らかな遷移を保証する。

理想的には、前記方法は、前記第２の画像において１以上の信頼できない要素を検出するステップをも含み、ここで前記第２の深度モデルは、前記第２の画像内の前記又は各検出された信頼できない要素に対して使用され、前記第１の深度モデルは、前記第２の画像の残りに対して使用される。スキーマの変化は、画像に対する深度マップ内の局所的補正に対して使用されることもできる。信頼できない要素は、元の画像のこの部分に関する信頼性が低い場合に、前記第１のスキーマではなくむしろ前記第２のスキーマで符号化されることができる。

あるスキーマから他へ切り換えるかどうかの決定は、画像により規定されるショットに関する取得された情報に基づく。この情報は、前記画像自体から得られることができるか、又は例えばメタデータを使用して、前記画像の外から得られることができる。このメタデータは、それぞれの画像とともに運ばれることができるか、又は他のソースから得られることができる。前記画像に関するメタデータが得られる。

有利な実施例において、前記取得されたメタデータは、電子番組ガイド（ＥＰＧ）データを有する。前記ＥＰＧデータは、典型的には、どの番組が現在送信されているかを記述する。送信されている番組のタイプを知って、低い複雑さのデフォルトスキーマより複雑なスキーマが使用されることができる。前記低い複雑さのスキーマは、例えば、傾斜、すなわち非常に安定しているが明確性の低い深度マップを与えることが知られる勾配深度マップに基づくスキーマを採用することができる。しかしながら、前記ＥＰＧデータが、現在使用されている番組がサッカーの試合であることを示す場合、以下に示されるようなサッカーの試合に向けて適合したより高い複雑さのスキームに切り換えることが可能である。

他の有利な実施例において、前記取得されたメタデータは、前記画像を獲得するのに使用されるカメラのアイデンティティを有し、前記取得された情報の変化を検出するステップは、前記第１の画像に対して前記第２の画像の作成に対する異なるカメラの使用を検出するステップを有する。特定のカメラにより獲得されるショットの場所及びタイプが、既知である場合、前記低い複雑さのスキーマに切り換える基準として現在の画像を作成するのに使用されたカメラに関するメタデータを使用することが可能である。例えば、フットボールのようなスポーツセッティングにおいて、ゴールの後ろに配置されたカメラは、動作のクローズアップを提供する可能性が高く、このカメラに対する切り替えの検出は、より低い複雑さのスキーマに移動する基準として使用されることができる。

代替又は付加的実施例において、前記取得されたメタデータは、前記画像を獲得するのに使用されたカメラの焦点距離を有し、前記取得された情報の変化を検出するステップは、前記カメラの焦点距離が前記第２の画像の作成に対する所定の閾値より低いことを検出するステップを有する。このメタデータは、カメラが動作に焦点を合わせていることを決定するのに使用されることができ、したがって、複雑な３Ｄ出力の生成においてより低い信頼性が存在する可能性が高い。再び、これは、より低い複雑さのスキーマへの切り替えに対するトリガとして使用されることができる。

好ましくは、前記画像により規定されるショットに関する情報を取得するステップは、前記画像を処理するステップを有する。この情報を取得する方法は、現在のショットに関する情報を取得する際のメタデータの使用の代わりに又は加えて使用されることができる。例えば、１つの有利な実施例において、前記画像を処理するステップは、前記画像内の所定の対象のサイズを決定するステップを有し、前記取得された情報の変化を検出するステップは、前記第２の画像内の所定の対象のサイズが所定の閾値より上であることを検出するステップを有する。この場合、このようなスポーツ環境において、特定のレベルより上のサイズの選手のような対象は、クローズアップを示すのに使用されることができる。これが検出される場合、前記システムは、より低い複雑さのスキーマに切り換えることができる。

他の好適な実施例において、前記画像を処理するステップは、前記画像内の所定の線の位置を決定するステップを有し、前記取得された情報の変化を検出するステップは、前記第２の画像内の前記所定の線の位置が所定の閾値より上の間隔を持つことを検出するステップを有する。多くのスポーツアクティビティの特性は、視野領域内の複数の線又はマーキングの存在であるので、これらの線又はマーキングは、画像内で検出され、次いでクローズアップショットが現在表示されているかどうかを決定するのに使用されることができる。これは、この場合、前記深度マップの計算に対してより低い複雑さのスキーマに切り換えるのに使用されることができる。本発明の好適な応用は、サッカー範囲にあるが、サッカーフィールドに適用する原理は、ライン又は区別可能なエッジを持つ他の形状のフィールド、コート、リング、ダイヤモンド、デッキ又はピッチに適用されることもできる。これらの例は、野球ダイヤモンド、バスケットボールコート、フットボールフィールド、アイスホッケーリング、テニスコート、クリケットピッチ又はシャッフルボードデッキである。

同様に、一度、使用されるモデルの切り替えを誘導する信頼レベルのような情報の逆転が起こると、より高い複雑さのスキーマに戻る切り替えが、行われる。前記システムは、現在のショットに関する情報が、前記スキーマの複雑さの変化が望ましいことを示す場合にスキーマ間で切り換える。本発明の最も単純な実施例は、２つの深度モデルの提供であり、一方は、一定深度マップであり、他方は、勾配を使用する、より複雑な深度マップである。前記システムは、前記メタデータにより、及び／又は現在の画像がクローズアップショットであるか又は広角ショットであるかのような現在のショットに関する情報を決定するように前記画像を処理することにより、前記２つのモデルの間で切り換える。

本発明の実施例は、添付の図面を参照して、例としてのみ、ここに記載される。

複数の画像及び複数の深度マップの図である。 深度マップを生成するシステムの概略図である。 様々な深度モデルの図である。 様々な深度モデルの図である。 様々な深度モデルの図である。 様々なバイナリマスクの図である。 様々なバイナリマスクの図である。 様々なバイナリマスクの図である。 様々なバイナリマスクの図である。 様々なバイナリマスクの図である。 様々なバイナリマスクの図である。 様々なバイナリマスクの図である。 様々なバイナリマスクの図である。 様々なバイナリマスクの図である。 様々なバイナリマスクの図である。 ２つの境界ボックスを持つ画像内の検出された対象の概略図である。 画像の異なる部分に対する深度傾斜の割り当てを示す図である。 画像の異なる部分に対する深度傾斜の割り当てを示す図である。 画像に対する深度マップの生成を示す図である。 画像に対する深度マップの生成を示す図である。 画像に対する深度マップの生成を示す図である。 画像に対する深度マップの生成を示す図である。 深度マップを生成する方法のフローチャートである。

基本原理は、図１に示される。表示されるべきビデオは、多くの状況においてフレームとも称される一連の画像１０を有し、これらは、対応する一連の深度マップ１２を生成するのに使用され、各画像１０は、それぞれの深度マップ１２を持つ。前記深度マップの生成は、一連の画像１０により表される元の２Ｄフォーマットから、最終表示装置における３Ｄ画像の生成をサポートする。深度マップ１２は、オートステレオスコピック又はステレオスコピック表示装置において、元の画像１０とともに、使用される１以上の追加の画像を生成するのに使用されることができる。深度マップ１２は、特定の３Ｄ応用により必要とされる場合には、視差マップを生成するのに使用されることもできる。

上述のように、引用文献に引用された従来技術について、ソース画像１０からのこのような深度マップ１２の生成は、周知である。本発明は、３Ｄシステムにおいて使用される場合に深度マップ１２を生成する自動化されたリアルタイム方法を提供するために、深度マップ１２を生成する方法の改良を提供し、これは、現在の解決法に関する場合に知られている特定の状況において劣化しない解決法を提供する。

現在のシステムにおいて実施されるアルゴリズムは、（チャネル情報、現在のスコア等のような）グラフィックオーバレイなしで、生のビデオ信号上のサッカービデオ作品の自動的な２Ｄ−３Ｄ変換に対するものである。図２は、このようなシステムの例を示す。スポーツフィールド１４は、複数のカメラ１６によりカバーされる。２つのカメラ１６のみが、図示の容易性のために図示されているが、実際の実施例において、より多くのカメラ１６が使用されると理解される。カメラ１６ａは、競技フィールド１４の広角ビューを提供し、カメラ１６ｂは、ゴールマウス領域の後ろで動作のクローズアップを提供する。

カメラ１６は、主に受信器２０及びプロセッサ２２を有する装置１８に接続される。受信器２０は、カメラ１６から複数の画像１０を受信し、プロセッサ２２は、図１の記載のように、それぞれの画像１０に対する深度マップ１２を生成する。装置１８は、スポーツフィールド１４に存在するテレビ放送システムの外部放送ユニット内に配置されていると見なされることができる。このように、生の３Ｄフィードが、放送局により提供されることができ、これは、３Ｄ表示装置を持つエンドユーザが３Ｄで前記ビデオを表示されることができるように、２Ｄフィードに加えて、運ばれることができる。しかしながら、装置１８が、放送チェーンの受信器端に配置されることができることに注意すべきであり、この場合、アドバンストデジタルテレビのような適切に使用可能にされた受信装置が、元の２Ｄ信号から３Ｄ信号への変換を実行する。

プロセッサ２２が、フレーム毎に前記ビデオを処理すると、システム１８は、１つのカメラから他のカメラへの切り替えを処理することができる。プロセッサ２２は、４つの主なステップにおいて深度画像１２を計算する。第一に、色閾値技術を使用して候補サッカーフィールド画素が検出される。次いで、芝生と観客エリアとの間の遷移としてサッカーフィールドのエッジが検出される。次に、選手が検出され、最後に、深度マップ１２が、検出された情報を使用して割り当てられる。これらのステップは、以下のセクションに詳細に記載される。実施例の目的で、サイズ９６０×５４０画素のフレームを使用するシステムが使用されるが、前記システムは、如何なるフレームサイズで使用されるように適合されることもできる。

深度マップ１２を生成する際に、図３に示されるように、増大する複雑さの深度モデルを使用する異なるスキーマ（シナリオ）が使用される。この図は、３つ異なる深度モデル２４を示す。図３ａは、全ての画素が固定深度にある２Ｄ画像であるシナリオ０を示し、図３ｂは、選手なしの、フィールド及び観客エリア深度モデルのみを使用する深度画像であるシナリオ１を示し、図３ｃは、フィールド、観客エリア及び選手モデルを使用する深度画像であるシナリオ２を表す。デフォルトでは、システム１８は、シナリオ２を使用する。次のセクションにおいて、深度マップ生成アルゴリズムが詳細に提示される。この後に、異なるシナリオの間の切り替えが、更に論じられる。前記システムは、現在のモデルを動作する能力の信頼性が低い場合に、より低い複雑さのモデルに切り換える。

深度モデル２４及び深度マップ１２をより詳細に説明するために、深度マップ１２が画像１０内の画素に、当該画素の相対的深度に対応する深度値を割り当てると理解されるべきである。図３の例において、前記深度値は、０ないし２５５の範囲を取り、２５５は、観察者に最も近い深度である。深度の概念を容易に視覚化するために、これらの値は、グレイスケール値として表され、０が黒により表され、２５５が白により表される。中間値は、適切なレベルのグレイで表される。

図３ａにおいて、０の一定深度が、全ての画素に割り当てられ、したがって、図の左側の黒い画像である。図３ａの右側は、ｙ軸全体にわたり２５５の深度値を示す深度モデル２４ａを通る垂直スライスである（これは、一様なので前記モデルのどこからでも取られることができる）。深度モデル２４ｂは、より複雑であり、少量の潜在的な深度範囲を（群衆に対応する）上部のストリップに割り当て、より大きな範囲を前記モデルの下側部分（競技場表面）に割り当てる。右側のグラフは、ライン２６上のモデル２４ｂを通るスライスである。深度モデル２４ｃは、２４ｂと同様であるが、画像１０内の選手のような検出された要素にも深度を割り当てる。再び、右側のグラフは、ライン２６上のモデル２４ｃを通るスライスである。

深度マップ１２の生成の第１の段階は、候補サッカーフィールド画素の検出である。画素ｉは、色に対する以下の制約、すなわち、Ｒ_i、Ｇ_i及びＢ_iがそれぞれ画素ｉの８ビットの赤、緑及び青色成分である場合に、Ｒ_i＜Ｇ_i、Ｇ_i＞８０、１．２Ｂ_i＜Ｇ_iが適用できる場合に、候補フィールド画素である。この処理は、候補サッカーフィールド画素のバイナリマスクＭ₁の生成の結果となる。これは、候補サッカーフィールド画素３０のバイナリマスク２８を示す図４に示される。マスク２８は、全ての画素が、候補画素３０（白として示される）であるか、又はそうでない（黒で示される）かのいずれかであるという意味でバイナリである。このプロセスは、処理される画像１０内の現在の競技フィールドを近似的に決定する。

それぞれの深度マップ１２を生成する画像１０の処理の第２の段階は、画像１０内のフィールドエッジの検出である。前記フィールドエッジは、前記候補フィールド画素に対する二重スキャン方法、第一に画像１０の上から下に動作するトップダウン方法及び第二に画像１０の下から上に動作するボトムアップ方法を使用して検出される。

図５ａは、前記トップダウン方法を示す。フィールド内の２０の規則的に離間された列に対して、前記列は、次の７つの画素（下）のうち６つが緑である第１の画素ｉが見つけられるまで、上から下にスキャンされる。これは、前記フィールドエッジのサンプルとして取られる。次に、１００のサンプル評価で、最小二乗中央値（ＬＭｅｄＳ）方法を使用してこれら２０の点（各列内に１つ）を通してラインｆ₁がロバストにフィットされる。前記ロバストフィットは、雑音及び緑の衣服の観客からのサンプルのような外れ値が除去されることを保証する。

図５ｂは、前記ボトムアップ方法を示す。第一に、候補フィールド画素マスクＭ₁に対して１５×１５フィルタを使用して膨張（dilation）に続いて収縮（erosion）が実行され、結果として新しいバイナリマスクＭ₂を生じる。これは、前記候補フィールドマスクにフィールドラインを含めるように行われる。接続要素ラベリングが、次いでＭ₂に対して実行され、最大の要素が、サッカーフィールドとして選択される。各列に対して、この領域の上部画素（又は当該列内の画素が前記フィールド領域の一部ではない場合に前記画像の底部画素）は、前記フィールドエッジのサンプルとして選択される。次に、ロバストラインフィットｆ₂は、１００のサンプル評価を用いて、上記のようにＬＭｅｄＳ方法を使用してこれらの点を通して計算される。再び、前記ロバストフィットは、雑音及び前記フィールドエッジと接続された選手のような外れ値の除去を保証する。

フィットｆ₁及びｆ₂の両方に対して、推定されたフィールドエッジより上の候補フィールド画素及び推定されたエッジより下の非候補画素を含むマスクＭ₃が計算される。マスクＭ₃内の最小数の"１"画素を持つフィットが保持され、これは、フィットｆと称される。このマスクＭ₃は、図５ｃに示される。エラーマスクＭ₃は、前記推定されたフィールドエッジの上の候補フィールド画素及び前記推定されたフィールドエッジの下の非候補フィールド画素を示す。

次に、前記推定されたフィールドエッジに垂直に接続された前記モデルにフィットしない画素をカウントする新しいエラー尺度ｅが計算される。第一に、バイナリマスクＭ₃にラインｆ上の画素が追加され、結果として新しいマスクＭ₄を生じ、接続要素ラベリングがマスクＭ₄に対して実行される。ラインｆに接続された全ての要素及びラベルづけされた要素を持つ新しいマスクＭ₅が保持される。このマスクは、図６ｂに示される。各列ｉに対して、マスクＭ₅内の１から０への最初の遷移までラインｆより下及び上のこの要素の画素の数が両方ともカウントされ、（前記ラインより上又は下の）最大の数が保持される。前記ラインより下の画素を正として、上のものを負の値としてラベルづけすることは、任意に選択される。列内の全てのラベルづけされた画素の合計ではなく、最初の遷移までだけカウントする利点は、特定の点において接続されるフィールドライン等が、除去されることができることである（図６ｃも参照）。これは、結果として、ラインモデルにフィットしない画素の数を示すＷの整数値のベクトルＥを生じる（Ｗは前記画像の幅、図６を参照）。このベクトルｅの要素の絶対値の合計は、以下のように表される。

ここでｋは列の数である（０≦ｋ＜Ｗ）。

図６は、エラー尺度Ｅの計算に使用される様々なマスクを示す。図６ａは、前記推定されたフィールドエッジ及び真のフィールドエッジを示す。図６ｂは、前記フィールドエッジに接続された画素のマスクＭ₅を示す。図６ｃは、列ごとにカウントされるべき画素を示し、最初の１−０遷移が除去された後の画素を示す。図６ｄは、前記列の関数としてエラー尺度Ｅを示す。このエラー尺度ｅが、５００画素の閾値より上である場合、前記画像内に角があり、２つのラインモデルがフィットされるべきであることを結論付けることが可能である。ロバストラインｆ'は、（図５の方法のように）ＬＭｅｄＳを使用してＥ_i＞１０である点を通してフィットされる。元のラインｆに対するこの新しいラインｆ'の交点が計算され、新しいＬＭｅｄＳフィットが、この交差の左及び右の点に対して別々に実行される。ここでこの２つのラインフィットに対するエラー尺度ｅ'が計算され、単一ラインフィットに対するエラーｅと比較され、最良のものが保持される。

図７は、前記フィールドエッジに対して２ラインフィットを使用する方法を示す。図７ａにおいて、第２のラインは、最大のエラー値を持つ点を通ってフィットされ、図７ｂにおいて、新しいフィットは、２つのラインフィットの間の交点の両側の点を通して実行される。画像１０のかなりの割合がこのカテゴリに入るので、元の画像１０内の２ライン状況の検出が必要である。これは、カメラ１６が競技フィールドの角エリアを含む前記フィールドの特定の部分に焦点を合わせている場合に生じる。前記２ラインフィットは、画像１０内の前記競技フィールドの角形状を合理的に正確に決定する方法を決定する。

画像１０に対する深度マップ１２を生成するプロセスの第３の段階は、選手検出である。このプロセスにおいて、第一に、候補選手は、推定されたフィールド（前記フィールドエッジの下で１、前記エッジの上で０）を乗算された、バイナリ候補フィールド画素マスクＭ₁の逆に対する（５×５フィルタを使用する）２つの膨張ステップが後に続く収縮を使用して計算されるバイナリマスクＭ₆に対する接続要素ラベリングを使用して検出される。この演算は、Ｍ₁からフィールドラインを除去するが、選手から細かい身体部分（例えば脚又は腕）をも（図らずも）除去する（後で再び加え戻される）。このプロセスは、おそらく選手であるのに十分な画素サイズを持つ（検出されたフィールドエッジにより規定される）規定された競技フィールドの非緑領域を検出する。次に、以下の条件を使用して各候補選手に対して確認が実行される。領域は、５０画素より大きくなくてはならず、境界ボックスＡ１の高さは、幅より大きくなくてはならない。図８は、前記選手検出の原理を示す。領域３２は、上の２つの条件によって確認される。対象３２は、少なくとも５０画素のサイズでなくてはならず、対象３２の境界を示すボックスＡ１は、幅より大きな高さを持たなくてはならない。

各候補対象３２に対して、候補選手３２の周りの元の境界ボックスＡ１より５０画素高く、１０画素幅広い第２の境界ボックスＡ２の中であるＭ１の画素が選手３２に割り当てられる。より大きな境界ボックスＡ２は、前の収縮ステップにおいて除去された体の小部分を加え戻すことができるために使用される。融合した画素をも含めるために、結果として生じた選手ラベルに対して５×５膨張も実行される。

この段階において、選手の全体を検出した可能性が非常に低いので、（例えば図７に示されるように）前記フィールドの上部境界に触れる候補選手も除去される。前記システムは、前記推定されたフィールドエッジより下の選手候補のみを検出する。前記システムが、上部境界に触れる候補を保有する場合、選手の半分が検出され、結果として非常に邪魔なアーチファクトを生じることができる。加えて、一度これが完了されると、平均選手サイズＳ_pが、最小４０画素より大きい選手の高さの中央値として計算される。

このプロセスの第４の段階は、深度マップ割り当てである。このステップを実行するために、図９に示されるように、前記観客エリア及び前記サッカーフィールドの深度傾斜を計算することが必要である。前記観客エリアは、固定傾斜ｓ₁を持ち、
ｓ₁＝０．２×２５５／Ｈ
であり、ここでＨは画素単位の画像の高さである。フィールドの傾斜ｓ₂は、残りの深度範囲を使用し、
ｓ₂＝（２５５−ｓ₁×Ｈ_f）／（Ｈ−Ｈ_f）
であり、Ｈ_fは、（画素単位の）前記観客エリアの高さの最小値である。図９は、前記観客エリア及びサッカーフィールドの深度傾斜の計算を示す。図９ａの画像１０は、２つの領域に分割され、線３４より上の領域が、前記観客エリアであり、線３４より下の領域が、競技フィールドエリアである。各エリアに使用可能な深度の量は、図９ｂに示され、前記深度マップ内の１０ないし２５５の利用可能な深度の大きな割合を前記競技フィールドエリアに効果的に割り当てる。計算されたＨ_fは、各エリアに割り当てられる深度の量の間の比を決定する。

深度マップ１２は、底部の２５５の深度で始まり、まずフィールド傾斜ｓ₂で、次いで観客傾斜ｓ₁で減少する前記画像の底部から上部へのスキャンにおいて計算されることができる。第２のスキャンにおいて、先週の全ての画素の深度は、底部画素のフィールド深度にセットされる。このようにして、検出された選手３２は、グラウンドに触れている画像１０内の点に対応する深度を割り当てられる。この深度値は、この場合、選手３２を作り上げる画素の全てに対して使用される。これは、前記グラウンドの各画素行に対して増加している前記グラウンドに対する画素に対する深度値と対照をなす。

図１０は、上記のサッカー変換アルゴリズムの異なるステップを示す。図１０ａは、入力フレーム１０を示す。図１０ｂは、候補サッカーフィールド画素マスク２８（Ｍ₁）を示す。図１０ｃは、検出されたフィールドエッジ及び上のシナリオ１に対応する２つの傾斜を持つ深度マップ１２を示し、図１０ｄは、検出された選手及び上のシナリオ２に対応する深度マップ１２を示す。このシステムの主な利点は、異なるシナリオ（スキーマ）間の切り替え性質により与えられる。これは、大域的及び／又は局所的のいずれか又は両方で、２つのレベルで行われることができる。装置１８は、現在の深度モデルの全体的な信頼性が低すぎる場合に、より低い複雑さのシナリオ（深度モデル）に大域的に戻るように切り替えることができる。これは、例えば、カメラ１６がクローズアップに対して使用される場合に、行われる。クローズアップショットが検出されることができる１つの方法は、推定された平均選手高さＳ_pが所定のサイズ、例えば１５０画素より大きいショットである（平均選手高さＳ_pの推定について上記参照）。一般に、フィールド検出及び選手セグメンテーションの両方が、クローズアップショットに対してあまり正確及び安定的ではなく、この場合、装置１８は、シナリオ０に戻るように切り換える。

装置１８、特に装置１８のプロセッサ２２は、第２の画像１２内のショットに関する情報の変化を検出するように、（シナリオ２のような）前記第１のスキーマによって第１の画像１０に対する深度マップ１２を生成し、したがって、第２のスキーマによって第２の画像１０に対する深度マップ１２を生成し、前記第２のスキーマは、前記第１のスキーマ、例えばシナリオ１０とは異なる。第２の画像１０において規定される前記ショットに関する情報の変化の検出は、例えば第２の画像１０内の（選手のような）所定の対象のサイズが所定の閾値より上であることを検出することにより、画像１０を処理するステップを有することができる。

現在のショットに関する情報の変化を検出する他の方法が、使用されることができる。例えば、第１の画像と第２の画像１２との間の取得された情報の変化を検出するステップは、第１の画像１０に対して第２の画像１０の作成に対する異なるカメラ１６の使用を検出することにより達成されることができる。これは、例えば、放送の最終出力として（スポーツ範囲のディレクタにより行われる）カメラ１６ａからカメラ１６ｂへの変化が、深度マップ１２の生成に対する異なる（より低い複雑さの）スキーマの使用をもたらすことができる。カメラ１６ｂは、動作のクローズアップである可能性が大幅に高いので、シナリオ０が、前記深度マップ生成に使用されることができる。前記ビデオを獲得しているカメラ１６からのメタデータは、ショット変化を検出する方法として使用されることもできる。例えば、焦点変化は、カメラ１６が動作に対してズームインしていることを示す。

シナリオ２からシナリオ０のような１つのスキームから他のスキームへの切り替えは、フレームｔに対して混合係数α_tを使用して徐々に行われることができる。フレームｔにおける最終深度フレームＤ⁰ _tは、シナリオ２を使用して計算された深度フレームとシナリオ０を使用して計算された深度フレームとの混合である（シナリオ０に対して０であり、シナリオ１に切り換える場合に非ゼロである）。
Ｄ_t＝α_tＤ² _t＋（１−α_t）Ｄ⁰ _t

混合係数α_tは、
Ｓｐ＞ｖａｒの場合にα_t＝ｍａｘ（０．９α_t-1，０．１）
Ｓｐ≦ｖａｒの場合にα_t＝ｍｉｎ（１．１α_t-1，１）
を使用して前のフレームｔ−１における混合係数α_t-1から計算され、
ここで、第１の式の最大及び第２の式の最小は、０．１ないし１の係数の境界を取るように行われ、変数"ｖａｒ"は、画像サイズに依存し、例えば１５０にセットされることができる。実際に、この混合は、前記深度範囲を約０（シナリオ０、前記深度マップの丸めの後）に徐々に減少し、シナリオ２に戻るように切り換える場合に再び徐々に増大する。

プロセッサ２２は、第１及び第２の深度モデルにアクセスし、前記第１のスキーマは、前記第１の深度モデルを有し、前記第２のスキーマは、前記第１及び第２の深度モデルの組み合わせを有する。一実施例において、プロセッサ２２は、前記第１のスキーマが、単独で、深度マップ１２を生成するのに最後に使用された後に、画像１０の数によって混合係数α_tをセットし、混合係数α_tは、前記第１及び第２の深度モデルの相対的寄与を決定する。画素に対する深度値は、数値、例えば０ないし２５５のスケールであるので、前記混合係数は、２つの異なるスキーマからの加重平均を深度マップ１０において使用されるべき実際の値として決定する。クローズアップを維持する、より多くのフレーム１０が受信されると、シナリオ０は、ますます前記深度マップに寄与する。これは、視覚的アーチファクトをもたらす可能性がある、使用されているシナリオにおける突然の変化が存在しないことを保証する。

加えて、装置１８は、前記モデル（典型的には検出された選手）の局所的な信頼性のみが低すぎる場合、局所的にシナリオ間で切り換えることもできる。上述のように、確実性が低すぎる特定の選手は、前記モデルに含まれない。これは、一般に、このエッジの上の選手の検出されない部分も存在するので、前記フィールドの推定された上部エッジと交差する選手候補に対して行われる。高さが幅より小さい候補選手も捨てられる。同様に、装置１８は、推定された平均選手高さＳ_pの１．５倍より大きな高さを持つ候補選手を捨てる。これらの候補は、典型的には、現在のフレームにおいて接続されている複数の選手又は前記フィールド上のラインの一部と結合して検出された選手からなる。このような場合に、前記プロセッサは、フィールドモデルのみを局所的に使用し（シナリオ１）、前記選手を無視する（シナリオ２）。結果として、これらの選手は、周りのサッカーフィールドと同じ深度を取得する。これは、全体的な深度効果を減少するが、見えるアーチファクトを防ぎ、非常に安定したアルゴリズムをもたらす。

前記深度マップにおける局所的な切り替えを実行する際に、プロセッサ２２は、第２の画像１０内の１以上の信頼できない要素を検出し、前記第２の深度モデルは、第２の画像１２内の各検出された信頼できない要素に対して使用され、前記第１の深度モデルは、第２の画像１２の残りに対して使用される。

図１１は、複数の画像１０に対して複数の深度マップ１２を生成する方法を要約する。前記方法は、ステップＳ１において、前記複数の画像を受信することを有する。ステップＳ２において、第１のスキーマによる第１の画像１０に対する深度マップの生成が実行される。前記第１のスキーマは、第１のモデル３６ａを有するように示される。次のステップは、第２の画像内のショット変化を検出するステップＳ３であり、最後のステップＳ４は、第２のスキーマによって第２の画像１０に対する深度マップ１２を生成するステップであり、前記第２のスキーマは、前記第１のスキーマとは異なる。前記第２のスキーマは、第２のモデル３６ｂを有するように示される。しかしながら、モデル３６ａからの点線は、前記第２のスキーマが、２つのモデル３６ａ及び３６ｂの混合であることができることを示す。このようにして、画像１２又は画像１２の一部の信頼性が低い場合に、異なるモデルが使用される。前記ショット変化は、前記信頼性が低いことを決定するのに使用される。

引用文献：
[1] O. Grau, G. A. Thomas, A. Hilton, J. Kilner, and J. Starck, A Robust Free-Viewpoint Video System for Sport Scenes, Proc. IEEE 3DTV Conference, 2007.
[2] Y. Liu, D. Liang, Q. Huang, and W. Gao, Extracting 3D Information from Broadcast Soccer Video, Image and Vision Computing, Vol. 24, pp. 1146-1162, 2006.
[3] T. Bebie and H. Bieri, SoccerMan - Reconstructing Soccer Games from Video Sequences, Proc. IEEE International Conference on Image Processing, pp. 898-902, 1998.
[4] S. Wurmlin and C. Niederberger, Method and System for Generating a Representation of a Dynamically Changing 3D Scene, EU Patent No. EP 1 862 969 A1, Dec. 2007.

Claims (16)

1. 複数の画像に対して複数の深度マップを生成する方法において、
   第１の画像を受信するステップと、
   前記第１の画像により規定されるショットに関する情報を取得するステップと、
   第１のスキーマによって前記第１の画像に対する深度マップを生成するステップと、
   第２の画像を受信するステップと、
   前記第２の画像により規定されるショットに関する情報を取得するステップと、
   前記第１の画像と前記第２の画像との間の前記取得された情報の変化を検出するステップと、
   前記第１のスキーマの複雑さとは異なる複雑さを持つ第２のスキーマによって前記第２の画像に対する深度マップを生成するステップと、
   を有する方法。
2. 前記方法が、第１の深度モデル及び第２の深度モデルにアクセスするステップを有し、前記第１のスキーマが、前記第１の深度モデルを有し、前記第２のスキーマが、前記第２の深度モデルを有する、請求項１に記載の方法。
3. 前記方法が、第１の深度モデル及び第２の深度モデルにアクセスするステップを有し、前記第１のスキーマが、前記第１の深度モデルを有し、前記第２のスキーマが、前記第１の深度モデル及び前記第２の深度モデルの組み合わせを有する、請求項１に記載の方法。
4. 前記方法が、前記画像の数によって混合係数をセットするステップを有し、前記混合係数が、前記第２の画像に対する深度マップに対する前記第１の深度モデル及び前記第２の深度モデルの相対的寄与を決定する、請求項３に記載の方法。
5. 前記方法が、前記第２の画像内の１以上の信頼できない要素を検出するステップを有し、前記第２の深度モデルが、前記第１の画像内の各検出された信頼できない要素に対して使用され、前記第１の深度モデルが、前記第２の画像の残りに対して使用される、請求項３に記載の方法。
6. 前記画像により規定されるショットに関する情報を取得するステップが、前記画像に関するメタデータを取得するステップを有する、請求項１ないし５のいずれか一項に記載の方法。
7. 前記取得されたメタデータが、前記画像を獲得するのに使用されるカメラのアイデンティティを有し、前記取得された情報の変化を検出するステップが、前記第１の画像に対して前記第２の画像の作成に対する異なるカメラの使用を検出するステップを有する、請求項６に記載の方法。
8. 前記取得されたメタデータが、前記画像を獲得するのに使用されたカメラの焦点距離を有し、前記取得された情報の変化を検出するステップは、前記カメラの焦点距離が前記第２の画像の作成に対する所定の閾値より下であることを検出するステップを有する、請求項６又は７に記載の方法。
9. 前記画像により規定されるショットに関する情報を取得するステップが、前記画像を処理するステップを有する、請求項１ないし８のいずれか一項に記載の方法。
10. 前記画像を処理するステップが、前記画像内の所定の対象のサイズを決定するステップを有し、前記取得された情報の変化を検出するステップが、前記第２の画像内の前記所定の対象のサイズが所定の閾値より上であることを検出するステップを有する、請求項９に記載の方法。
11. 前記画像を処理するステップが、前記画像内の所定の線の位置を決定するステップを有し、前記取得された情報の変化を検出するステップが、前記第２の画像内の前記所定の線の位置が所定の閾値より上の間隔を持つことを検出するステップを有する、請求項９又は１０に記載の方法。
12. 複数の画像に対して複数の深度マップを生成するシステムにおいて、
    第１の画像及び第２の画像を受信する受信器と、
    前記第１の画像により規定されるショットに関する情報を取得し、第１のスキーマによって前記第１の画像に対する深度マップを生成し、前記第２の画像により規定されるショットに関する情報を取得し、前記第１の画像と前記第２の画像との間の前記取得された情報の変化を検出し、前記第１のスキーマの複雑さとは異なる複雑さを持つ第２のスキーマによって前記第２の画像に対する深度マップを生成するプロセッサと、
    を有するシステム。
13. 前記システムが、前記画像を獲得する複数のカメラを有し、前記プロセッサが、画像により規定されるショットに関する情報を取得する場合に、カメラから、前記画像に関するメタデータを取得する、請求項１２に記載のシステム。
14. 前記取得されたメタデータが、前記画像を獲得するのに使用される前記カメラのアイデンティティを有し、前記プロセッサが、前記取得された情報の変化を検出する場合に、前記第１の画像に対して前記第２の画像の作成に対する異なるカメラの使用を検出する、請求項１３に記載のシステム。
15. 前記取得されたメタデータが、前記画像を獲得するのに使用される前記カメラの焦点距離を有し、前記プロセッサが、前記取得された情報の変化を検出する場合に、前記カメラの焦点距離が前記第２の画像の作成に対する所定の閾値より下であることを検出する、請求項１３又は１４に記載のシステム。
16. 複数の画像に対して複数の深度マップを生成するコンピュータ可読媒体上のコンピュータプログラムにおいて、
    第１の画像を受信する命令と、
    前記第１の画像により規定されるショットに関する情報を取得する命令と、
    第１のスキーマによって前記第１の画像に対する深度マップを生成する命令と、
    第２の画像を受信する命令と、
    前記第２の画像により規定されるショットに関する情報を取得する命令と、
    前記第１の画像と前記第２の画像との間の前記取得された情報の変化を検出する命令と、
    前記第１のスキーマの複雑さとは異なる複雑さを持つ第２のスキーマによって前記第２の画像に対する深度マップを生成する命令と、
    を有するコンピュータプログラム。

Images