JP2016504819A - 物理的オブジェクトから仮想的シーン内の仮想的オブジェクトをリアルタイムで取得して挿入する方法 - Google Patents

Abstract

本方法は、少なくともカメラによって、背景に対する物理的オブジェクトの画像を取り込むことと、取り込まれた画像から物理的オブジェクトのシルエットを抽出し、それを３次元幾何学的構造にマッピングすることと、仮想的オブジェクトをさらにもう１つの構成要素として仮想的シーンに組み込む動作と、仮想的オブジェクトを仮想的カメラに関して向きづけることとを含む。本方法の実施形態は、物理的カメラの固有及び／又は外部のパラメータ及び取り込まれた画像を取得して使用し、物理的オブジェクトの位置を計算することと、固有及び／又は外部のパラメータを用いて、取り込まれた画像を３次元幾何学的構造の上に逆投影することと、物理的オブジェクトの計算された位置に基づいて、仮想的オブジェクトを仮想的シーンに配置し、仮想的カメラに関して仮想的オブジェクトを向きづけるように回転軸を選択することとをさらに含む。

Description

本発明は、ディジタル映画、ビデオ製作及び／又はテレビジョン放送に供給された仮想的システム又は画像形成システムの分野に関し、特に、それは、物理的オブジェクトから、仮想的シーン内の仮想的オブジェクト、通常はタレントを、リアルタイムで取得し、さらに挿入する方法に関する。

本発明は、タレントを、テレビ番組を進行する人と呼ぶが、本発明は、ここでは、カメラによってリアルタイムで取り込まれる任意の対象者、任意の動的又は静的なオブジェクトに適用される。

シーンは、合成によって作成されてレンダリングされた場合には、仮想的であってもよく、又は、カメラによってリアルタイムで取り込まれる場合には、現実のものであってもよい。

仮想的オブジェクトについて上記種類の挿入又は統合を可能にするシステムは、通常、仮想的セット又は仮想的スタジオとして呼ばれ、その目的で使用される技術は、「追跡システム」又は「非追跡システム」と呼ばれる２つの可能な方法によって分類される。

追跡システム：
追跡システムのための技術は、以下の２つの画像をクロマキー処理で合成することからなる。一方の画像は、一様な色背景上のタレントを物理的なカメラで取り込むことによって提供される。もう一方の画像は、物理的カメラのパースペクティブに一致する仮想的カメラパースペクティブを有する３次元画像を計算できるように、物理的カメラの固有及び外部のパラメータの供給をリアルタイムで受けているコンピュータによって提供される。

非追跡システム：
非追跡システムのための技術は、タレントの写真が上に描画されたステッカーの現実生活における直喩として理解することができる。したがって、ステッカーは、仮想空間において自由に任意の場所に配置することができ、ステッカーをカメラに向けることで任意のカメラ位置から見ることができる。これは、追跡システムほど厳密でないが、説得力のある効果をなお生成することができる簡単な方法である。この技術では、最終段階において実際の画像及び仮想画像を合成する代わりに、タレントの実際の画像は、さらにもう１つの仮想的構成要素として仮想的シーンに組み込まれる。この方法では、仮想的カメラを現実のカメラに合わせることは必要ではなく、従って、いかなるカメラ追跡システムも必要ではなく、仮想的カメラは仮想的シーンにおいて自由に移動することができる。

概して、非追跡技術は、ａ）物理的なカメラから、一様な色背景上のタレント画像を取り込むことと、ｂ）その画像をコンピュータに供給し、その画像を仮想的オブジェクト上にクロマキー処理してマッピングすることとを特徴とする。その結果、仮想的オブジェクトは現実のタレントをシミュレートし、それを仮想環境に自由に配置することができる。

この仮想的オブジェクトは、その位置とは完全に無関係に定義された単なる平面になる可能性があり、また、以下の理由で、望ましくないアーティファクトを制限するように仮想的シーン内にそれを正しく配置することが必要である。
・ 仮想的オブジェクトが平坦でありかつ無視できる厚さを有する可能性があるので、それは、選択された視点から画像を正しく視覚化するように、絶えず仮想的カメラの方へ向きづけられて垂直の状態が維持されなければならない。
・ 仮想的オブジェクトはカメラに対してスイベル動作しなければならないので、それが回転する中心となる軸を選択しなければならない。取り込まれた画像の中心を通過する垂直軸は、最も適切なものと考えられる。従って、仮想的オブジェクトがスイベル動作するとき、それは、タレントのシルエットが仮想的セットのフロア上でスライドすることを停止するように、タレントはこの画像の中心から逸脱するように動いてはならない。
・ タレントのシルエットの全体は、取り込まれた画像全体の内部に適合しなければならない。シルエットが常に完全に取り込まれることを保証するために、なんらかのセキュリティマージンが必要である。いったん画像の下のセキュリティマージンが選択されると、仮想的オブジェクトの正しい位置は、タレントの足が仮想的セットのフロア上に静止しているように設定されなければならない。タレントは、足が仮想的フロア上に常に静止していることを保証するために、物理的カメラに向かって、又は物理的カメラから遠ざかるように移動してはならない。
・ 最後に、仮想的カメラを用いてクローズアップを撮影することが目標である場合、結果として得られるクローズアップにおいていかなる解像度の不足も見られないように、タレントの撮影画像はできるだけ高い解像度を有するものでなければならない。

追跡及び非追跡技術の両方はいくつかの制限及び利点を呈する。

非追跡の制限：
− 非追跡技術は厳密な解でなく、限られた用途を有する。
− タレントのパースペクティブが必ずしも仮想的シーンのパースペクティブに一致しないので、タレント及び背景の間の合成は正確ではない。
− 物理的カメラは、固定された位置及び向きで静止している必要がある。
− タレントは、足が仮想的セットのフロア上に常に静止することを保証するために、常に、物理的カメラ前方であって、それから正しい距離にとどまらなければならない。
− タレントは、仮想的オブジェクトを仮想的カメラに向かってスイベル動作させるとき、足がフロア上でスライドしないようにするために、画像の中心にとどまらなければならない。

非追跡の利点：
− 仮想的カメラは、仮想的シーン中で自由に移動されることが可能である。
− 必要とされるハードウェアは安価であり、その使用及び保守が簡単である。

追跡の制限：
− カメラ追跡を達成するための装置と、物理的カメラに一致する仮想的カメラを再作成するための値を較正する方法とは、複雑であり、また、決して完全に正確になることない。
− システムは大量のサポート及び保守を必要とする。
− 必要とされるハードウェアは、高価であり、そのサポート及び保守が複雑である。
− 仮想的カメラは、それが物理的カメラのパラメータによって駆動されるので、自由に移動することができない。

追跡の利点：
− システムは、現実のオブジェクト及び仮想的オブジェクトの間の最良の統合を提供することができる。
− 物理的カメラズームを修正することは、仮想的オブジェクト画像の解像度の品質に影響しない。

非追跡システムの仮想的セットを提供する複数の会社が存在し、それは、取り込まれた画像を仮想的セットにおけるさらにもう１つの構成要素として埋め込むグラフィックエンジンを使用する。主なものは、Ｂｒａｉｎｓｔｏｒｍ Ｍｕｌｔｉｍｅｄｉａ（登録商標）、Ｍｏｎａｒｃｈ（登録商標）、Ｈｙｂｒｉｄ（登録商標）、ＮｅｗＴｅｋ（登録商標）、ＲｏｓｓＶｉｄｅｏ（登録商標）、などである。しかしながら、今までのところ、さらに先に進む会社は存在せず、また、どんな場合も、取得された結果は、前述のアーティファクト及び問題点の影響を受ける。本発明はこのシナリオに関し、また、タレントを仮想的シナリオに合成するときだけでなく、カメラが追跡情報を提供する場合にタレントを現実の撮影画像に挿入するときにも、上述のアーティファクトを除去することを目的とする。

特許文献１は、仮想的照明装置を開示し、カメラ及びタレントの位置を認識し、タレントのシルエットに再び照明を当て、よりよい品質のより高い色挿入を得ることを提案している。

特許文献２は、仮想的シナリオにおける挿入画像のアニメーションのシーケンスを開示している。

特許文献３は、物理的オブジェクトから取り込まれた２次元画像を分析して、仮想的ステージ内の物理的オブジェクトの３次元表現を作成し、仮想的ステージにおけるオブジェクトの表現と、少なくとも１つの画像ストリームの対応するセグメントとの間の相関を維持するメディア製作の方法を開示する。

米国特許出願公開第２００３／０２０２１２０号明細書 米国特許第５６９６８９２号明細書 米国特許第６０８４５９０号明細書

本発明は、物理的オブジェクトから仮想的シーン内の仮想的オブジェクトをリアルタイムで取得して挿入する方法を提供する。

本提案の発明は、追跡カメラを使用するように非追跡技術を拡張し、非追跡システムの制限を除去することによって、追跡及び非追跡の両方の技術の利点をもたらしながら、追跡及び非追跡の両方の技術を統一する。

その目的のために、物理的オブジェクトから仮想的シーン内の仮想的オブジェクトをリアルタイムで取得する方法が提供され、上記方法は、当該分野において公知のものとして、
− 物理的カメラから、背景に対する上記物理的オブジェクトの画像を取り込む動作と、
− 上記取り込まれた画像から上記物理的オブジェクトのシルエットを抽出し、それを３次元幾何学的構造にマッピングして上記仮想的オブジェクトを取得する動作と、
− 上記仮想的オブジェクトをさらにもう１つの構成要素として上記仮想的シーンに組み込む動作と、
− 上記仮想的オブジェクトがエッジを向けてレンダリングされることを回避するように、上記仮想的オブジェクトを仮想的カメラに関して向きづける動作と
を含む。

既知の提案とは反対に、特徴的な部分として、提供される本方法は、
− 上記物理的カメラの固有及び／又は外部のパラメータと、上記取り込まれた画像とを取得して使用し、上記物理的オブジェクトの位置を計算することと、
− 既知の物理的カメラの固有及び／又は外部のパラメータを用いて、上記取り込まれた画像を上記３次元幾何学的構造の上に逆投影することと、
− 上記物理的オブジェクトの上記計算された位置に基づいて、上記仮想的オブジェクトを上記仮想的シーンに配置し、上記仮想的カメラに関して上記仮想的オブジェクトを向きづけるように回転軸を選択することと
をさらに含む。

実施形態によれば、上記仮想的カメラは、上記仮想的シーンの背景画像を提供する第２の追跡された物理的カメラの動きに一致する。

少なくとも、上記背景に対する上記物理的オブジェクトの上記取り込まれた画像の最下点の座標を計算することにより、上記仮想的オブジェクトの位置は決定される。上記背景は所定の色を有する平面である。

本方法は、さらに、少なくとも上記カメラのノード点から上記ビーム方向に進んだときの上記フロアとの交差を決定し、上記交差から、上記仮想的オブジェクトの水平面位置を提供する上記物理的オブジェクトの位置を計算する。各瞬間において、リアルタイムで、上記取り込まれた画像における上記物理的オブジェクトの上記最下点から少なくとも上記カメラのノード点へのビーム方向が計算され、次いで、物理的オブジェクトの位置は取り込み用カメラに関して再計算されることが可能である。

実施形態によれば、上記仮想的オブジェクトを回転させるための上記取り込まれた画像における上記物理的オブジェクトの中心を通る軸が選択される。

実施形態によれば、上記物理的カメラの固有及び／又は外部のパラメータは、上記物理的オブジェクトを取り込んでいる間に上記物理的カメラを自由に動かすオプションを開くカメラ追跡システムによってリアルタイムで提供される。

次いで、上記仮想的オブジェクトに対する上記物理的オブジェクトの複数の動きは、好ましくは各瞬間においてリアルタイムで、主基準系を参照して計算されることが可能である。

本方法はさらに、上記逆投影するステップにおいて、上記取り込まれた画像のパースペクティブの影響を補正する。

本方法は、物理的カメラに向かって、又は物理的カメラから遠ざかるように自由に移動できるように、上記仮想的シーン内の任意の場所に上記仮想的オブジェクトを位置決めすることを可能にする。

さらにもう１つの実施形態によれば、上記背景技術に対する物理的オブジェクトのぼかされたマスクに基づいて、仮想的オブジェクトに体積及び／又は突出部を提供することができる、すなわち、それは平面でなくてもよい。最初のステップでは、黒背景上における白のタレントのシルエットはぼかされ、その後、結果として得られる画像のグレーレベルは突出変位に変換され、最後に、このデータに基づいて、所定の３次元特性を提供する３次元モデルであって、影を形成するか又は受けることを可能にする３次元モデルが作成される。

上記物理的オブジェクトの画像を取り込むために第２のカメラを使用することもでき、上記少なくとも第２のカメラは上記物理的オブジェクト画像を上記仮想的オブジェクト上にマッピングする。

従って、本方法は、以下の２つの画像をクロマキー処理で合成した結果ではないので、追跡技術とは区別される。その代わりに、それは、非追跡技術で言及された以下の特性、すなわち、ａ）カメラから、一様な色背景上のタレント画像を取り込むことと、ｂ）その画像をコンピュータに供給し、その画像を仮想的オブジェクト上にクロマキー処理してマッピングすることとを受け継いでいる。

さらに、上記タレントを表す仮想的オブジェクトは、物理的カメラのパラメータ及びその取り込まれた画像だけを用いて、仮想的シーンにおいて動的に再マッピング及び再配置される。

その結果、本提案の方法は、仮想的カメラの位置が現実のものに一致する場合、前述のアーティファクトを除去する一方、他の仮想的カメラの位置からのアーティファクトを最小化する。この方法で、それは、非追跡と及び追跡技術の両方の利点を同時に提供する。

本提案の発明は、従来技術からは次の点で区別される。
− 非追跡技術とは対照的に、タレントの取り込まれた画像は、物理的カメラの位置に絶えず一致する位置から仮想的オブジェクト上に動的に投影される。さらに、仮想的オブジェクトをもはや自由に位置決めすることができない。前述のアーティファクトを回避するために、画像の投影元の位置に関する仮想的オブジェクトの位置は、ここでは、物理的カメラに関するタレントの位置に一致するものに限定される。さらに、物理的カメラは、固定された位置及び向きにある必要がない。物理的カメラは、それが追跡情報を提供する限り、現実の世界で自由に移動することができる。
− 追跡技術とは対照的に、仮想的カメラは、ここでは、３次元世界において自由に移動することができる。それは、その位置が物理的カメラの位置と一致するとき、完全に正確な合成を提供し、それから離れるように移動するとき、近似を提供するだろう。さらに、タレントは、物理的カメラが常に彼を取り込んでいる限り、現実の世界で自由に移動することができる。

カメラ追跡なしのモニタリングシステムを表す図である。 カメラショットにおける円錐図法の影響を除去するための、テクスチャの再投影の図である。 カメラに対する仮想的オブジェクトの向きを表す図である。 タレントが仮想的セット内に正しく配置されないときに生成されたアーティファクトを示す図である。 本発明の実施形態に係る、取り込まれた画像からのタレントの位置の計算を示す図である。 本発明の実施形態に係る、アーティファクトの問題を緩和するために仮想的オブジェクト及びその軸を再配置する方法を示す図である。 図７は、タレントのシルエットに提供する体積の処理を示す図である。

前述及び他の利点及び特徴は、添付物を参照して、以下の実施形態の詳細な説明からより完全に理解されるだろう。それは、例示及び非限定的な方法で考慮されなければならない。

仮想的スタジオのまわりのタレント動作を解放する追加の機能を非追跡システムに提供することを本提案の発明の目的として、３次元モデルを適宜に配置するために、タレントの位置を取得することが必要である。

タレントの位置を追跡するために、本発明で提案する方法は、タレントを取り込むものと同じカメラからの画像を使用できるならば、又は代替として、仮想的スタジオにある他の任意のカメラによって取得できるならば、いかなる追加機器も必要としないという利点を有する。

タレントの足を追跡する複雑さを削減することが意図され、これらが常にフロアに触れているように見えるはずである事実は、実際に、問題を非常に簡単化する。タレントシルエットアルゴリズムは、背景色平面に対する画像におけるその最下点を計算する。それは、タレントの足に対応する点であると仮定される。

従って、タレントの３次元形式のための最良の近似として平坦又は突出したシルエットが使用される場合、本提案の方法は、その位置に関する情報を追加し、したがって、仮想的シーン内の場所及びアラインメントを可能にする。

取り込まれた画像におけるタレントの足の位置と、関連するカメラの光学的構成とから、彼らの足からカメラセンサのノード点へビームが伝搬する方向を計算することが可能である。

いったんカメラの位置及び向きに加えてこの角度が既知になると、フロアと交差してタレントの足の三次元位置を与える最終的なビーム角度を決定することができる。

物理的カメラは固定されることが可能であり、その場合には、追跡システムは必要ではない。しかし、上記物理的カメラに追跡システムが提供される場合、それはリアルタイムで移動されることが可能であり、その変化する位置及び向きをアルゴリズムに動的に供給することができる。

いったんタレントの位置が既知になると、仮想的オブジェクトの場所及びその回転軸はリアルタイムで決定されることが可能であり、それらを、それらの正確に計算されたスポットに正しく配置することが可能になる。

タレントのいかなる横方向の変位も回避するために、本発明は、タレントのシルエットが仮想的フロアにわたってスライドする可能性がないように、仮想的オブジェクト及び軸を自動的に移動させる。仮想的オブジェクトをカメラに向けるように回転させる動きは、常に、タレントのシルエットの中心を通過する軸から生じる。

本発明で提案する方法は、従来の仮想的スタジオで一般的に見られるシステムを利用することができるが、それらのうちの多数を使用する必要性を除去し、さらに、保守又はレンズ較正の必要性を除去する。本方法に厳密に必要な機器は、円形パノラマ、カメラ、及びワークステーションのみである。従って、これは、一般的なカメラを単に使用するシステムのコストに対して、機器コストを低下させる。

さらに、本提案の発明は、従来のシステムでは不可能な視点及び角度を生成することができる。

単一のカメラだけが含まれている場合、それはタレントを撮影して追跡する。このため、タレントの全身画像が必要とされる。しかしながら、追跡ショットのための補助カメラ又は第２のカメラを追加するオプションも可能であり、それはメインカメラの柔軟性を高め、それが角度を変化させたり、又はクローズアップを行ったりすることを可能にする。

本システムは、他の追跡されたカメラで拡張されることが可能である。これは仮想的シーンの実際の背景画像を提供し、ここで、仮想的カメラが背景取り込みカメラに一致する場合には、タレントはシームレスに挿入されることが可能である。

本発明の先に説明した実施形態と、当業者に自明な修正とは、本発明の範囲から外れることなく実施可能である。

Claims (15)

1. 物理的オブジェクトから仮想的シーン内の仮想的オブジェクトをリアルタイムで取得して挿入する方法であって、上記方法は、
   物理的カメラから、背景に対する上記物理的オブジェクトの画像を取り込む動作と、
   上記取り込まれた画像から上記物理的オブジェクトのシルエットを抽出し、それを３次元幾何学的構造にマッピングして上記仮想的オブジェクトを取得する動作と、
   上記仮想的オブジェクトをさらにもう１つの構成要素として上記仮想的シーンに組み込む動作と、
   上記仮想的オブジェクトがエッジを向けてレンダリングされることを回避するように、上記仮想的オブジェクトを仮想的カメラに関して向きづける動作と
   を動的に行うことを含み、
   上記方法は、
   上記物理的カメラの固有及び／又は外部のパラメータと、上記取り込まれた画像とを取得して使用し、上記物理的オブジェクトの位置を計算することと、
   上記物理的カメラの固有及び／又は外部のパラメータを用いて、上記取り込まれた画像を上記３次元幾何学的構造の上に逆投影することと、
   上記物理的オブジェクトの上記計算された位置に基づいて、上記仮想的オブジェクトを上記仮想的シーンに配置し、上記仮想的カメラに関して上記仮想的オブジェクトを向きづけるように回転軸を選択することと
   をさらに含むことを特徴とする方法。
2. 少なくとも、上記背景に対する上記物理的オブジェクトの上記取り込まれた画像の最下点の座標を計算することにより、上記仮想的オブジェクトの位置は決定される請求項１記載の方法。
3. 上記仮想的オブジェクトを回転させるための上記取り込まれた画像における上記物理的オブジェクトの中心を通る軸を選択することを含む請求項１記載の方法。
4. 上記物理的カメラの固有及び外部のパラメータをリアルタイムで提供するカメラ追跡システムであって、上記物理的オブジェクトを取り込んでいる間に上記物理的カメラを自由に動かすオプションを開くカメラ追跡システムを使用することを含む請求項１記載の方法。
5. 上記仮想的カメラは、上記仮想的シーンの背景画像を提供する第２の追跡された物理的カメラの動きに一致する請求項１記載の方法。
6. 上記物理的オブジェクトの複数の動きを上記仮想的オブジェクトに転送することを含む請求項１記載の方法。
7. 上記複数の動きを各瞬間においてリアルタイムで転送することを含む請求項６記載の方法。
8. 上記取り込まれた画像における上記物理的オブジェクトの上記最下点から少なくとも上記カメラのノード点へのビーム方向をさらに計算することを含む請求項２記載の方法。
9. 少なくとも上記カメラのノード点から上記ビーム方向に進んだときのフロアとの交差を決定することと、
   上記交差から、上記仮想的オブジェクトの水平面位置を提供する上記物理的オブジェクトの位置を計算することとを含む請求項８記載の方法。
10. 上記逆投影するステップにおいて、上記取り込まれた画像のパースペクティブの影響を補正することを含む請求項１記載の方法。
11. 上記方法は、少なくとも第２のカメラによって上記物理的オブジェクトの画像を取り込むことを含み、
    上記少なくとも第２のカメラは上記物理的オブジェクトの画像を上記仮想的オブジェクト上にマッピングする請求項１に記載の方法。
12. 上記仮想的シーン内の任意の場所に上記仮想的オブジェクトを位置決めすることを含む請求項１〜１１のうちの１つに記載の方法。
13. ３次元モデルにマッピングされた上記物理的オブジェクトの上記取り込まれた画像から得られた上記仮想的オブジェクトへ、体積及び／又は突出部を提供することを含む請求項１記載の方法。
14. 上記仮想的オブジェクトの上記体積及び／又は突出部は、上記背景に対する上記物理的オブジェクトのぼかされたマスクに基づく請求項１３記載の方法。
15. 上記体積は、上記仮想的オブジェクトに影を形成するか、又はシーンにおける上記仮想的オブジェクトから影を受けるために使用される請求項１３記載の方法。

Images