JP2015506030A - ビデオムービーを撮影するためのシステム - Google Patents

Abstract

実空間においてビデオムービーを撮影するためのシステムは、撮影用カメラ(9)と、センサ(16)と、撮影用カメラのロケーションを決定するための電子式位置特定モジュール(27)と、モニタリングスクリーン(15)と、モニタリングスクリーン(15)上で現実画像と仮想画像の投影とからなる撮影用カメラ(9)ロケーションデータに従って生成された合成画像を生成するための電子式合成モジュール(32)と、を備える。

Description

本発明はビデオフッテージ(video footage)を撮影するためのシステムに関する。

ビデオフッテージを撮影することができるようになって久しい。最近の数十年において、放送または配信されるビデオにおいて拡張現実感を用いて現実世界では撮影が困難であるはずのオブジェクトや事象を表現することがますます一般的となってきている。

このような拡張現実感シーケンスを含んだビデオフッテージを構築するための従来の方法は、背景がモノクロのスタジオ内などのニュートラル較正環境(neutral calibrated environment)にいる演技者の撮影がはじめに行われる。数週間または数か月後、ポストプロダクションの期間中に3次元アニメーションを追加し、これらが撮影された演技者と相互作用があるかのような錯覚を与えられる。

演技者やディレクタがモノクロの背景のスタジオで真に迫るシーンを演じたり撮影したりするのは難しいものがある。このため最近では、そのシーンを成立させる前に暫定版のアニメーションが生成されディレクタや演技者に対して表示されるプレビューシステムが提案されている。したがって、演技者やディレクタは、その仮想環境および/またはその仮想的な分身の演技をさらに容易に想像することができる。

しかしながら、これらのシステムは依然として不十分なものであり、かつ記録済みムービーにアニメーションを合わせるポストプロダクションにおいて依然として多くの調整を行う必要があり、記録済みムービーはこの時点で完全には変更することはできない。

さらに、較正済みマーカを用いて撮影中にカメラがどこにあるかに関してよりよいアイデアを提供しようと試みるシステムが知られている。Lightcraftの名称で販売されているシステムがその一例である。これらのシステムは、スタジオにマーカを設置するという手間のかかる作業を要するため極めて骨の折れるものであり、かつこれらはまたスタジオ内やマーカを配置させた限られた範囲の空間内に使用が限定される。

本発明はこれらの欠点の克服を目的とする。

この目的のために、現実基準系で規定される実空間においてビデオフッテージを撮影するためのシステムを提案しており、このシステムは、
- 複数の離散的なタイムフレームにおける現実画像を記録するのに適合した撮影用カメラと、
- ロケーション位置特定システムであって、
- 各タイムフレームごとに分かっている撮影用カメラに関連したロケーションデータを提供するとともに、電子式位置特定モジュール(computerized pinpointing module)に対してセンサが検出した自然トポグラフィック情報(natural topographical information)を発信するのに適合した少なくとも1つのセンサ、
- センサのロケーションデータに基づくとともに自然トポグラフィック情報と実空間の所定の3次元モデルとの比較に基づいて、各タイムフレームごとに、撮影用カメラロケーションデータを現実基準系で決定するのに適合した電子式位置特定モジュール
を備えるロケーション位置特定システムと、
- モニタリングスクリーンと、
- モニタリングスクリーン上で、各タイムフレームごとに、現実画像と仮想アニメーションのデータベースから取得した仮想画像の投影との合成画像を生成するのに適合した電子式合成モジュール(computerized compositing module)であって、前記投影は現実基準系における撮影用カメラロケーションデータに従って生成される電子式合成モジュールと、
を備える。

モニタリングスクリーン上の表示は、たとえば様々なシステム構成要素に起因する処理時間や待ち時間を含めほとんど瞬時、例えば1秒以内など、に生成される。

これらの仕組みでは、撮影の間に現実世界と仮想世界との間のインタラクションをモニタリングスクリーン上で直接表示することが可能である。これによって、同じシーンを必要に応じて満足の行くまで再撮影することが可能となる。

自然トポグラフィック情報を用いることによって、マーカに関する上述の問題が排除される。これによって撮影の際に提供される自由度がより大きくなる。

本発明の好ましい実施形態では、任意選択で以下の構成の1つまたは幾つかを用いることがあり得る。すなわち、
- 位置特定システムのセンサは、
- 撮影用カメラの表示立体角より大きい表示立体角、
- 撮影用カメラの取得頻度より大きい取得頻度、
- 白黒方式での取得、
- 撮影用カメラの容積より少なくとも2分の1の容積、
- 撮影用カメラの光軸と平行な光軸、
- 撮影用カメラの視野域の上に重ね合される視野域、
という特徴のうちの少なくとも1つを有する光学式カメラである;
- その位置特定システムは実空間の前記所定の3次元モデルを生成するのに適合した電子式生成モジュールを備えており、かつ前記センサは電子式生成モジュールに対してセンサが検出したトポグラフィック情報を発信するのに適合している;
- そのセンサは電子式位置特定モジュールに対しならびに電子式生成モジュールに対してセンサにより検出した自然トポグラフィック情報を同時に発信するのに適合しており、かつ電子式生成モジュールはセンサにより検出した自然トポグラフィック情報を用いて実空間の前記所定の3次元モデルを強化するのに適合している;
- そのトポグラフィック情報は、実空間のうちの点、線、表面および体積の中から選択された幾何学的オブジェクトに関連する情報を含む;
- 撮影構成において、この撮影用カメラとセンサとは互いに対して固定的に取り付けられている;
- 本システムはさらに、ある位置決め設定において撮影用カメラによる検出とセンサによる検出とを同時に検出するのに適合した位置決めパターンと、位置決めパターンに対するその同時検出からセンサと撮影用カメラのそれぞれのロケーションデータを決定するのに適合したコンピュータ位置決めモジュールと、を備えた位置決めシステムを備える;
- 本システムはさらにある光学較正設定における撮影用カメラによって検出するのに適合した光学較正パターンを備えた光学較正システムを備えており、かつ電子式位置特定モジュールは、各タイムフレームごとに、光学較正システムにより決定された撮影用カメラの光学較正データにさらに基づいて現実基準系における撮影用カメラロケーションデータを決定するのに適合している;
- 本システムはさらに、
- 撮影用カメラに固定された撮影用カメラの動きを決定するのに適合した慣性センサであって、電子式位置特定モジュールは該慣性センサにより供給されるデータにさらに基づいて現実基準系における撮影用カメラロケーションデータを決定するのに適合している、慣性センサ、
- 撮影用カメラによって撮影可能な計測基準であって、電子式合成モジュールは撮影用カメラが取り込んだ該計測基準の画像に基づいて仮想画像を実空間のスケールに移行することが可能である、計測基準、
- 撮影用カメラに関する倍率設定値を決定するためのシステムであって、電子式合成モジュールは前記パラメータを考慮に入れることによって合成画像を生成するのに適合している、システム、
というエンティティのうちの少なくとも1つをさらに備える;
- 本システムはさらに、仮想アニメーションのデータベースを備えた電子式アニメーションモジュールをさらに備え、各アニメーションが、一連のタイムフレームの各々ごとに仮想基準系で表現された3次元画像を備え、電子式アニメーションモジュールは、前記3次元画像を合成モジュールに発信するのに適合している;
- その電子式位置特定モジュールは、実空間の所定の3次元モデルを電子式アニメーションモジュールに発信するのに適合している;
- その電子式合成モジュールは、モニタリングスクリーン上に各タイムフレームごとに仮想画像の影を生成するのに適合しており、前記影は現実基準系における撮影用カメラロケーションデータと現実基準系における照明ロケーションデータとに従って生成される;
- 以降のあるタイムフレームの間に電子式位置特定モジュールは、以前のあるタイムフレームに関する現実基準系における撮影用カメラロケーションデータにさらに基づいて現実基準系における撮影用カメラロケーションデータを決定することができる;
- その電子式位置特定モジュールは、幾何学的パターンの中から、3D空間における撮影用カメラの位置を突き止めるために使用可能な3次元モデルの幾何学的パターンを選択するのに適合した選択モジュールを備える;
- その選択モジュールは、以降の画像の幾何学的パターンを以前の画像の幾何学的パターンと比較しており、両画像内に存在するとともに実空間において動いていない幾何学的パターンを関連付けしており、かつ3次元モデルとの比較のためにこれ以外の幾何学的パターンを保持していない;
- その位置特定システムはさらに、第1のセンサと異なる、位置、向き、表示立体角、取得頻度、光軸および視野域の中から選択される少なくとも1つの特徴を有する第2のセンサを備えている。

ある種の実施形態では、位置の位置特定に対して専用であり、かつこの実施に最適化されたセンサを用いることが可能であり、これによってカメラが撮影という主要機能に対して専ら集中することができる。

本発明のその他の特徴および利点については、添付の図面を参照しながら単に非限定の例として提供しているその実施形態のうちの1つに関する以下の説明から明らかとなろう。

実空間の概略図である。 本発明の一実施形態による撮影システムの概略図である。 学習構成における図2のシステムの利用を表している概略図である。 実空間の3次元モデルの斜視図である。 位置決定設定に関する図2と同様の図である。 図5と同様の図においてスケールを提供している図である。 第1の瞬間における撮影構成としたシステムの概略図である。 図6aに示した瞬間における撮影用カメラによる取得を表した図である。 同じ瞬間においてモニタリングスクリーン上に生成された合成画像の概略図である。 第2の瞬間に関する図6aに対応した図である。 第2の瞬間に関する図6bに対応した図である。 第2の瞬間に関する図6cに対応した図である。 電子式アニメーションモジュールを備えたプログラム可能なマシンのスクリーンの概略図である。 上述したオブジェクトを用いたビデオフッテージを生成するためのプロセスの流れ図である。 変形実施形態とした取得システムの概略図である。

様々な図面において、同一の要素または同様の要素を表すために同じ参照番号を用いている。

図1は、実空間の一部分1を模式的に図示している。図1は、実空間1に関する非常に具体的な一例を示している。しかし、本発明は、非常に多くの数の異なる実空間に適用することが可能である。

実空間1に対して現実基準系2が添付されており、これにはたとえば、原点Oと、相互に直交する3つの軸XYおよびZと、を含む。実空間1内の各点はしたがって、現実基準系2において一意の1組の座標を有する。

純粋に一例として提供したこの例において、実空間1は実質的にY軸に沿って延びる水平の道路3とさらに後ろ側にある建物4とを含んだ屋外の空間である。この建物は、様々な窓5a、5b、5cと扉6a、6b、6cとを含むことがある。道路3と建物4との間にはたとえば歩道7が延びている。たとえば駐車中の車両8が存在することがある。

1つの変形形態ではその実空間として、たとえばスタジオなどの内部空間を使用することが可能である。実空間1は、ある量の自然トポグラフィック情報を含む。この情報はたとえば、点、線、表面および/または体積などの実空間の幾何学的オブジェクトに関する。たとえば構造の縁を線と見なすこと、またこのような2つのエッジの交差を点と見なすことが可能である。表面については、たとえば車両用フードその他などの中実な表面を考慮することが可能である。体積についてはたとえば、車両などのオブジェクトあるいは実空間内に存在する何らかの別のオブジェクトを参照することが可能である。この自然トポグラフィック情報はしたがって、
- これらの情報は無秩序な方式でランダムに配置されていること、
- これらの情報は寸法が無限大の空間(全世界)に配置されているとともに、マーカを装備した領域に限定されないこと、
- これらの情報は極めてヘテロジニアスであり、バーコードなどのコードによって互いに単純に区別できないこと、
- これらの情報は3D立体において利用可能であり、単なる1つまたは複数の平面などではないこと、
- これらの情報が事前の較正を伴う複雑な設置工程を必要としないこと、
ということから、備え付け型較正ランドマークとは異なるものである。

ここで、撮影構成において一実施形態によるビデオフッテージを撮影するためのシステムを説明するために図2を参照することにする。このビデオフッテージは、観客に対して高速連続で(たとえば24フレーム毎秒(ムービー)、25フレーム毎秒(PAL)または30フレーム毎秒(NTSC)など1秒あたり数フレームで)表示させる一連の画像である。この一連の画像はたとえば、長編ムービー、テレビムービー、通知メッセージ、ビデオゲームまたは何らかの別の形態の一部分として放送されるまたは表示される。具体的にはこの放送または表示は、撮影の後のある時点で行われることがある。

この画像シーケンスは、実空間1の中で発生する事象を列挙するものである。

このようなシーンの撮影に標準的に用いられる任意のタイプの撮影用カメラ9を使用している。具体的には、1秒あたり数フレーム(たとえば、毎秒24フレーム)の取込みが可能なデジタルカメラが使用される。

カメラ9は、視野域11内の画像のキャプチャが可能であるとともにコンピュータシステム12に接続されているレンズ10を含む。この接続はたとえば、適当なケーブル13を用いること、あるいはたとえば無線や何らかの別の形態の伝送によるワイヤレス式によって実施される。

撮影用カメラ9は周知の適当な任意のタイプのものであるが、本発明は撮影の間に視野域11を変更することを可能とする場合に特に適している。具体的にはその視野域11は、実空間1の内部で撮影用カメラ9を移動させることによって変更することが可能である。このことは、実空間1内で撮影用カメラ9を、たとえば撮影用カメラ9の可能な位置を規定するヒンジ付きアーム(図示せず)を有するレールまたはクレーン上に装着させたガイド方式で移動可能とさせた場合に特に言えることである。

代替的として示す別法では、実空間1の内部でオペレータ(図示せず)が運ぶことによって動き廻らせるように十分に小型とした撮影用カメラ9が用いられる。

例示的な一実施形態ではその撮影用カメラ9は、カメラのハウジング上に装着されるとともに撮影しているオペレータに対して可視的でありかつカメラによって取り込まれている視野域11をその上に表示させるモニタリングスクリーン15を有しているモニタ14を含む。

撮影システムはまた、センサ16と、コンピュータシステム12の電子式位置特定モジュール17であって、上で指摘したようにワイヤレス式またはケーブル18によって該センサ16に接続させている電子式位置特定モジュール17と、を含んだロケーション位置特定システムを含む。

センサ16は、撮影用カメラ9に関連したあらゆる時点において分かっているロケーションを有するという際立った特徴を有する。ここで「ロケーション」とは、撮影用カメラ9に関連したセンサ16の位置および向きがあらゆる時点で分かっているという意味であると理解されたい。このことは具体的には、センサとカメラ9(カメラ用のCCDアレイ)という取得システムの相対的な位置および向きに関係する。これはたとえば、単に撮影用カメラ9に対してセンサ16をたとえばクランプ19や何らかの別の適当な機械的システムによって堅固に取り付けることによって達成することが可能である。

センサ16は特にキャプチャ領域20という特徴を有している。たとえばセンサ16は、図2に示したように、撮影用カメラ9のどの部分もキャプチャ領域20のいずれの箇所をも塞ぐことがなくかつセンサ16のどの部分も視野域11のいずれの箇所をも塞ぐことがないようにして配置され得る。

センサ16は、電子式位置特定モジュール17を用いて実空間内におけるセンサ16の位置を決定するために、実空間1に関する情報をキャプチャするように適合させている。具体的にはこの撮影構成において、実空間1におけるロケーションデータがセンサ16によってキャプチャされるように配置することが可能であり、かつ電子式位置特定モジュール17は実空間の所定の3次元モデル21を用いて実空間内におけるセンサ16による取得のためにセンサ16の位置を決定することが可能である。したがって位置特定モジュール17は、実空間内におけるセンサ16の最もあり得るロケーションを決定しており、これによりセンサ16によって取り込まれたデータを実空間の所定の3次元モデル21にマッチングさせることが可能となっている。

実空間におけるセンサ16の位置が分かっておりかつ撮影用カメラ9とセンサ16の相対的な位置が分かっていると位置特定モジュール17はこれによって、現実基準系における撮影用カメラロケーションデータを決定することが可能となる。

上述したプロセスはセンサ16の位置の決定また次いで撮影用カメラ9の位置の決定という連続する2つのステップを含むが、別法として撮影用カメラ9の位置はセンサ16のロケーションの明示的な決定を伴うことなく直接決定することが可能であることに留意されたい。

ロケーションの位置特定のタスクに専念するとともに撮影用カメラ9と異なる取得特性を有するセンサ16を使用することが考えられる。次いで、撮影用カメラ9は撮影というそのタスクに集中させることが可能であり、またセンサ16は、位置の決定というそのタスクに集中させることが可能である。

一例としてそのセンサ16は光学式センサである。センサ16を撮影用カメラ9上に装着させようとする場合、センサ16に関してコンパクト型の光学式カメラ(具体的には、撮影用カメラ9の容積より少なくとも2分の1の容積のもの)を設けることが可能である。これによって、オペレータにとっての不便さが最小限となる。

センサ16は具体的には、実空間において撮影用カメラ9の位置を位置特定することに特に集中させた光学式カメラとなるように選択することが可能である。したがってたとえば、たとえば概ね毎秒100画像など撮影用カメラ9の取得速度の少なくともある整数倍の取得速度を有する光学式カメラを用いることが可能であり、これによって各タイムフレームごとに実空間における撮影用カメラ9の位置を計算する際に円滑となる。

さらに、撮影用カメラの位置の計算に使用される実空間1から取り込まれる情報を最大化するために、撮影用カメラの視野域11より大きい視野域20(表示立体角)有する光学式カメラを特に選択することが可能である。たとえば、160度を超えるキャプチャ角度を有する広角レンズ(「魚眼」レンズ)を使用することが可能である。

さらに、位置特定用のセンサとしては必要に応じて白黒方式カメラを用いることも可能である。したがってここに記載した方法は、カラー情報のキャプチャを用いなくとも機能させることが可能である。

実空間の所定の3次元モデルはたとえば、実空間1からの自然トポグラフィック情報を含む。これはたとえば、適当な任意の手段を用いて提供される。しかし図3および図4に示したように、たとえば上述したシステムの要素のうちの幾つかを用いて実空間の所定の3次元モデルを生成することが可能である。

具体的には図3に示したように、3次元モデル21は予備的なステップの間に学習構成で生成される。このステップはたとえば、撮影の少し前に実施し、撮影の間の実空間を事前確立のモデルに対応させるようにしている。

学習ステップの間において実空間1の中で学習センサ22を動かしている。一連のタイムフレームにわたって、学習センサ22は適当な任意の手段によって学習センサ22が取得した情報をコンピュータシステム12に送っている。コンピュータシステム12は、学習センサ22から異なる視点のアングルからの情報を受け取ると3次元モデル21を(あるスケールファクタで)決定することが可能な電子式生成モジュール23を備える。このように学習センサ22を用いて異なる視点のアングルから実空間1の同じ自然トポグラフィック情報をキャプチャすることによって、生成モジュール23は実空間の一連の幾何学的オブジェクトの3次元位置を決定することができる。コンピュータスクリーン上で異なる視点から表示させた図4に示した3次元モデル21は、一連の幾何学的パターン(この場合では、点)からなる。これらの点は、図4に示したように実空間の斜視図において任意の向きで表すことが可能である。点24に加えて3次元モデル21はまた、生成モジュール23自体によるか、1組の幾何学的オブジェクトが同じ線/表面/体積の一部であることを生成モジュールに指示する生成モジュールオペレータからの支援によるかのいずれかによって決定される直線または曲線、平坦または湾曲表面、体積、その他など一連のその他の幾何学的オブジェクトからなる。

上で説明したようにこうして生成された3次元モデル21は次いで、撮影構成においてあらゆる時点で実空間における撮影用カメラの実際の位置を特定するために電子式位置特定モジュールにインポートされる。

記載した例では、撮影構成で使用される同じセンサ16を学習センサ22として使用することが可能である。次いで同じアルゴリズムを用いて、学習構成において実空間における幾何学的オブジェクトの3次元位置を決定するとともに、同じカメラで決定した幾何学的オブジェクトの実空間における位置に基づいて実空間における位置特定カメラ16の位置を決定している。さらに、この両ステップについて同じセンサを用いることによれば、そのモデルが撮影の間に変更された場合(屋外撮影の場合や、撮影構成において演技者がセンサ16の領域内に存在する場合に起こり得る)であっても、撮影構成にある間で3次元モデルの強化を継続することが可能である。この場合では、撮影の間に学習モードが継続している。

上で説明したように、所定の3次元モデル21は任意選択であるスケールファクタで生成されることがある。この場合ではたとえば、図5aに示したような3次元モデル21のスケール調整を使用するために、学習センサ22によって取り込まれる所与の長さの計測基準25を用いることが可能である。

さらに、撮影用カメラ9に関するロケーションデータと位置特定センサ16に関するロケーションデータのそれぞれを撮影前に決定するために位置決め設定を使用することが可能である。そのセンサ16が撮影用カメラ9に対して堅固に取り付けられている場合に関して具体的な一例を提供している。この位置決め設定では位置決めパターン27が、撮影用カメラ9によるものとセンサ16によるものとで同時撮影される。この2つのツールによって取得した情報は、この2つのツールが取り込んだ同じ位置決めパターン27の画像からこれらの相対的な位置を決定するのに適合した電子式位置決めモジュール26に対して発信される。

図2に戻ると、コンピュータシステム12はまた電子式アニメーションモジュール28を備える。このアニメーションモジュール28はたとえば、1つまたは複数の仮想アニメーションを備えたアニメーションデータベース29を備えることがある。各アニメーションはたとえば、撮影しようとするビデオフッテージの持続時間の全体または一部に対応する一連のタイムフレームの各々ごとに、仮想基準系30(U、V、W)で表現された3次元オブジェクトの特徴(点、線、表面、体積、テクスチャ、その他)を含む。各アニメーションはたとえば、強化された仮想現実事象を表している。たとえばこのアニメーションデータベースは、動きのあるまたは動きのない仮想的なキャラクタを表したアニメーション、特殊効果(降雨、爆発、その他)、あるいはその他のアニメーションを提供することがある。たとえば、図2において所与のタイムフレームの間にわたって、仮想空間で表現されるデータ(U、V、Wによって示される仮想基準系におけるその位置)によって特徴付けされた仮想オブジェクト31が表されている。例証によるこの非常に単純な例では、時間が経過しても動かない正方形の基部を有する垂直な支柱を用いているが、実際上はたとえばこれを歩いているライオンその他とすることが可能である。

図2に示したように、コンピュータシステム12は合成モジュール32を含む。合成モジュール32は、リンク33に沿ってアニメーションモジュール28からのアニメーションをインポートする。必要であれば、そのアニメーションがまだ現実基準系2で表現されていない場合に、合成モジュール32は仮想のU、V、W基準系と現実のX、Y、Z基準系とを適当な変換マトリックスによって数学的に接続する(一例を以下でさらに説明することにする)。

次いで、電子式合成モジュール32は、問題のタイムフレームの間における合成画像を、撮影用カメラ9が取り込んだ現実画像から、ならびに同じタイムフレームに関する仮想オブジェクト31に対応した仮想画像に関する現実基準系における撮影用カメラ9ロケーションデータに従って生成された投影から生成する。したがってこの合成画像は、仮想画像があたかも実空間内に存在するオブジェクトに関して撮影用カメラ9によってこのタイムフレーム中に取り込まれた画像であるかのように実際の画像と仮想画像とを重ね合わせたものを含む。この合成画像は次いで、モニタリングスクリーン上15に表示される。したがって撮影オペレータは、自分のモニタリングスクリーン上で、各タイムフレームごとに、自分視点のアングルからの実空間における仮想オブジェクトの位置および向きを、この仮想オブジェクトがあたかも自分の前に存在しているかのようにして、表示することが可能である。次いでオペレータは、オブジェクトに関連した撮影用カメラの相対的な位置を必要に応じて変更することが可能である。

1つの変形形態ではそのコンピュータシステム12はまた、ディレクタや任意の関係者による撮影用カメラ視点のアングルからの合成画像をリアルタイムで表示することを可能とするモニタ14'のモニタリングスクリーン15'を含む。

図6a〜7cには具体的な一例を提供している。図6a〜6cは、オペレータ(図示せず)が実空間のうちの車両8の後方下部に対応する部分34を撮影している第1の瞬間に対応する。この時点で撮影用カメラ9が取り込んだ画像35は図6bで見ることが可能である。このタイムフレームの間における撮影用カメラ9の位置は位置特定システムによって決定される。図6cに示したように、モニタリングスクリーン15、15'上に生成される合成画像36は撮影用カメラ9のキャプチャ角度から表示した現実画像と仮想オブジェクト31とを重ね合わせたものを含む。これを達成するには、上で説明したように撮影用カメラ9に関するものと仮想オブジェクト31に関するものとの実空間の位置が当該時点で既知であるため、画像35内におけるこのオブジェクトの投影を計算することが可能である。

図7a〜7cは、以降(直後)のタイムフレームを表しており、これについて図6a〜6cを参照しながら説明する。図7a〜7cに表した事象は、前図の約1/24秒後に発生している。この時間期間内において撮影用カメラ9視点のアングルは、撮影用カメラ9が現在、車両8のより最上部に向かう方向を指すように変化している。画像化された部分34'は同様に、図7aに表している。撮影用カメラ9が取り込んだ現実画像は図7bにおいて符号35'によって示している。図7cは、現実画像35'と仮想オブジェクト31とを重ね合わせたものに対応する合成画像36'を表しており、これがこのタイムフレームについての撮影用カメラ9のロケーションの関数として表現される。この例では、仮想オブジェクト31をこの両タイムフレームにおいて同一とし得ることに留意されたい。この2つのタイムフレームに投影されるその描出はその視点のアングルの違いのために異なっている。しかしこれがアニメーションであるため、仮想オブジェクト31はこの2つのタイムフレームの間で若干異ならせることが可能である。

上述のステップはフィルムの間の各タイムフレームごとに、また必要であれば複数の撮影用カメラに関してリアルタイムで反復させることが可能である。

再度図6aを参照すると、対象のタイムフレームに関して、センサ16が取り込んだ位置特定画像37が実空間のより大きな体積に対応することがあり、また電子式位置特定モジュールは、この位置特定画像37から自然トポグラフィック情報を抽出すること、ならびに上で説明したように検出したこの自然トポグラフィック情報からおよび3次元モデル21から現実基準系2における撮影用カメラ9の位置を決定するのに適合している。具体的にはこれによって、実空間1における固定の光学式マーカを不要とさせることが可能であり、使いやすさがより高まる。次いで、自然トポグラフィック情報のみを使用することによって、人工的なマーカによって撮影空間が乱されるのを回避している。しかし、ここに記載したシステムは人工的なマーカと整合するものである。

センサ16の視野域が実空間にある実際の要素によってちょうど遮られている状態(オペレータは取得時に移動する)の場合、電子式位置特定モジュールは任意の時点で実空間における撮影用カメラ9の位置を決定するための幾つかの選択肢を提供することがある。たとえば、電子式位置特定モデルが実空間における撮影用カメラ9の位置を確実に決定するのに十分なトポグラフィック情報を検出することが不可能な場合に、デフォルトでその撮影用カメラ9が当該時点の間において移動しなかったと見なすことが可能である。実際に、この2つのデバイス9と16が図示した実施形態にあるように互いに非常に接近した状態にあるとき、センサ16がトポグラフィック情報を決定することができなければ、このことは非常に接近した実際のオブジェクトによって撮影用カメラの視野域9が邪魔されている可能性が高いことを意味することになる。センサ16が3次元空間で撮影用カメラ9の位置を特定するのに十分なトポグラフィック情報を決定できる次のタイムフレームにおいて、この位置に関する合成画像を再度生成することが可能である。

電子式位置特定モジュールは、3D空間における撮影用カメラの位置の特定に使用可能な3次元モデルの幾何学的パターンを選択するのに適合した選択モジュールを含むことに留意することになろう。先ず、センサ16の領域内に来る確率が高い幾何学的パターンが、たとえば以前のタイムフレームから取得したセンサの位置に関する近似的な知見を用いて選択される。次いで、センサ16によって取り込まれた画像の領域内において、特定した幾何学的パターンの組がその3次元モデルと違いすぎた場合に、これらのパターンは撮影用カメラの位置の決定に関して考慮に入れられない。

センサ16によって取り込まれた時間的に近い2枚の画像を比較しながら、この2枚の画像内に存在するとともに実空間において移動していない幾何学的パターンが対となる。これ以外の幾何学的パターンは実空間において移動していると見なされるとともに、3次元モデルとの比較のために保存されない。

図2に示したようにこれらの場合ではまた、電子式位置特定モジュールに対して撮影用カメラ9の位置に関する追加的な情報を提供するのに適合した慣性センサ38を追加することによって電子式位置特定モジュールを強化することも可能である。たとえば慣性センサ38は、撮影用カメラ9に取り付けられるか、あるいはセンサ16に取り付けられている(センサ16が撮影用カメラ9に取り付けられている場合)。撮影用カメラとセンサの間での変換をするための変換マトリックスは、各拡大率と関連付けされている。この撮影構成では、適当な変換マトリックスの選択のためにエンコーダからの情報が用いられる。

一実施形態では図6a〜6cに示したように、合成モジュール32はさらに、実空間1において仮想オブジェクト31により投影される影を生成するように適合させることがある。たとえば図6aにおいて確認できるように、現実基準系2内の分かっている位置に人工的な照明(図参照)または自然の照明39が設けられる。したがって、図6bにおいて確認できるようにこの現実画像35は、オブジェクト8の画像に加えて、その実際の影の画像40を含む。図6cに示したように、個人別(personalized)3次元モデルは、仮想オブジェクト31の影41がその上に投影され、撮影用カメラ9視点のアングルから表示を受けることになる表面に関する情報を包含することがある。仮想オブジェクトの影は、仮想オブジェクト31の実空間における位置と、仮想オブジェクト31の影がその上に投影される表面の実空間における位置と、撮影用カメラの位置と、照明の位置と、を考慮に入れることによって計算される。図7cでは、実際の影と仮想の影もまた視認可能である。

ここで説明したシステムはアニメーションが撮影用カメラ9の視野域に関連して移動する場合に特に興味深いものである。一実施形態では撮影構成において、移動のない実空間に対する静的な場面が撮影されており、この上に時間の経過とともに形状が変化するアニメーションが生成されることになる。したがって、撮影中にアニメーションが適正にフレーム化されていることを確認することが可能である。別の一例は、実空間1の内部で撮影用カメラ9を移動させること、またその一方で、取得中にそれが希望通りにフレーム化されていることを確認するために動きのある(または、静止していることも可能な)アニメーションを組み込むことからなる。

図2に戻ると、さらにそのシステムに対して、撮影用カメラ9のレンズ10の焦点距離の変化を考慮に入れる手段を備えさせることが可能である。

上の例では、すべての操作が固定の焦点距離に関して実現されていたと見なすことが可能である。

もちろん、撮影中にその焦点距離が変更されると、図6bと図7bとの現実画像35と35'とが異なる拡大率レベルで表されることになる。したがって、図2に示したように、カメラ9上のズーム42に、拡大率リング42の回転の度合いの検出が可能なエンコーダ43を包含させることが可能であり、また電子式位置特定モジュール17はエンコーダ43が発信したデータによって決定されるこの拡大率レベルを考慮に入れている。このことはたとえば、撮影用カメラ9のレンズ10に関する異なる複数の拡大率について、図5のロケーションステップを反復することによって実施することが可能である。

上述した実施形態では仮想オブジェクト31は、撮影用カメラ9視点のアングルから直接表示可能とするために直接現実基準系2で表現されている。一実施形態では、3次元モデルを生成するためのモジュールをアニメーションモジュール28と結合させることが可能である。したがって図2に関連して説明したアニメーションモジュール28からのアニメーションを合成モジュール32にエクスポートするためのリンク33はまた、実空間に関する構築した3次元モデル21をアニメーションモジュール28に発信するために逆方向に使用することも可能である。したがってアニメーションデータベースおよび3次元モデル21から取得した仮想オブジェクト31を、図8に示したように電子式アニメーションモジュール28のスクリーン44上に重ね合わせることが可能である。この重ね合わせによって、仮想オブジェクト31と3次元モデル21のそれぞれがそれによって表現される仮想のU、V、W基準系と現実のX、Y、Z基準系との間で変換マトリックスを規定することが可能となる。これによってさらに、撮影中のアニメーションの規定または再規定が可能となる。したがってアニメーションモジュール28は、スクリーン44上のアイコン45で表した一連のツールを含むとともに、アニメーションの事前既定を可能にしているアプリケーションを備えることがある。実空間での撮影を準備するようにアニメーションを直接生成するためには、学習ステップの間に生成した3次元点を有することで十分である。たとえば、図8の太い矢印は、仮想空間U、V、Wにおいて仮想オブジェクト31を移動するまたはサイズ変更するためのコマンドを表している。さらに、符号31で示した開始オブジェクトと符号46で示した終了オブジェクトとの間での時間の経過に従った仮想オブジェクトの変換を規定することが可能である。仮想オブジェクトに関するこれら2つの表示の間での時間経過に従った変形を構成することが可能である。ここで説明したシステムは理解を容易にするために過度に簡略化してあることは明らかであろう。

ここで説明したシステムによれば、現実世界と仮想世界との間のインタラクションの増大を提供するように学習構成におけるシステムによる取得の後で実空間における撮影時にアニメーションを直接修正することが可能となる。

図9では非常に模式的に表しているが、この撮影システムは一実施形態では次のようにして使用することが可能である。

第1のステップ101ではこのシステムは、撮影用カメラ9の光学収差を決定するために光学較正設定で使用されている。この予備的ステップはたとえばある較正パターンを用いて実施されており、また取得した情報は引き続いて撮影用カメラ9の取得を補正するためにコンピュータシステム12を使用することが可能である。

次いでステップ102の間ではこのシステムは、実空間の3次元モデルを生成するために実空間内で学習センサが移動される学習構成で用いられている。この3次元モデルはまたスケール調整される。

次にステップ103の間では、位置決め設定において撮影用カメラ9と位置特定センサ16との相対的な位置が決定される。

次いでステップ104の間では、仮想アニメーションのデータベースから1つのアニメーションが提供される。このアニメーションは、撮影しようとする実空間と連携させるように意図している。

ステップ105では、撮影構成システムが使用されるとともに、光学式カメラ9によって得た現実画像と撮影するロケーションのところで同じタイムフレームについて生成された投影との合成画像が、現実基準系における撮影用カメラ9ロケーションデータに基づいてモニタリングスクリーン上に生成される。

決定ステップ106では、ディレクタが生成された合成画像に基づいてその場面が満足したものであると判断した場合(矢印Y)、ディレクタはビデオフッテージの撮影を停止する(ステップ107)。

決定ステップ106によりその場面が満足できないものであることが示された場合(矢印N)、ディレクタは演技者やカメラオペレータの全員が待機していることを利用することが可能であり、再度そのシーンを撮影すること(ステップ105に戻ること)が可能である。必要であれば、図8に関連して上述したようにこのステップにおいてアニメーションを変更することが可能である。

上述した電子式システムは、1つのプログラム可能な機械またはネットワークによって互いに通信可能であり、リモートのアニメーションデータベース29からのアニメーションのインポートを可能にする複数のプログラム可能な機械によって実現することが可能である。キーボード、モニタ、マウス、CPU、ケーブル、その他といったコンピュータ構成要素は従来から知られているタイプのものとすることが可能である。具体的には、アニメーションデータベースからのアニメーションは最終のビデオフッテージに出現することになるアニメーションの簡略化アニメーションに対応することがある。数週間後にポストプロダクションの段階で、この最終のアニメーションは撮影時に使用した初期アニメーションから、ならびに取り込んだフッテージから生成される。この簡略化アニメーションは、最終のアニメーションより少ない(たとえば、少なくとも2分の1の)データ量を包含する。

実空間において仮想オブジェクトの画像に関する投影された影を生成するために図6a〜6cに関連して説明したのと同様の方式で、3次元モデル(特に、体積)を用いて、互いに重なり合った実空間におけるオブジェクトと仮想オブジェクトとを操作することが可能である。撮影用カメラ視点のアングルから見て仮想オブジェクト31のうちの一部が3次元モデルで規定された実空間内の不透明なオブジェクトの後ろ側に位置していることが検出された場合、電子式サブトラクションモジュールを用いて当該タイムフレームについて合成画像から仮想オブジェクト31の隠された部分を除去することが可能である。このことは、3次元モデルによる規定に従って実空間における撮影用カメラの位置、仮想オブジェクトの位置ならびに不透明オブジェクトの位置を用いて可能となる。このため、オペレータまたはディレクタは、自身のモニタリングスクリーン15、15'上で仮想オブジェクト31が自らが希望するように視覚化できないことを確認した場合に、撮影用カメラの位置を即座に調整することが可能となる。

上の例では図2について、互いに重なり合った表示領域および/または平行にかなり近い取得軸を有するようにセンサ16および撮影用カメラ9を有するものとして説明している。しかしこのことは要件ではなく、一変形形態ではたとえば撮影用カメラ9の光軸を概ね水平としながらそのセンサ16(witnessカメラとも呼ぶ)がたとえば実空間の天井または床を撮影することが可能である。

図10に示したような一実施形態ではその位置特定システムは、たとえば位置、向き、表示立体角、取得頻度、光軸および視野域の中から選択される少なくとも1つの特性が第1のセンサ16と異なる第2のセンサ16'を備える。たとえば、第2のセンサ16'を天井の方向に向けることが可能であり、また第3のセンサ16''を横方向に向けることが可能である。各センサ16、16'および16''は、その検出した自然トポグラフィック情報を電子式位置特定モジュールに送っている。電子式位置特定モジュール17は、センサ16、16'、16''からのロケーションデータ(一緒とすることも別々とすることもある)ならびに自然トポグラフィック情報と実空間の所定の3次元モデル21との間の比較に基づいて、現実基準系における撮影用カメラ9ロケーションデータを決定する。

上述した異なるステップおよびプロセスは、説明した一般プロセスにおけるその利用を超えた改良を示しており、また本出願人はこれらを適当な任意の方式において保護する権利を留保する。

1 実空間
2 現実基準系
3 道路
4 建物
5a 窓
5b 窓
5c 窓
6a 扉
6b 扉
6c 扉
7 歩道
8 車両
9 撮影用カメラ
10 レンズ
11 視野域
12 コンピュータシステム
13 ケーブル
14 モニタ
15 モニタリングスクリーン
16 センサ
17 電子式位置特定モジュール
18 ケーブル
19 クランプ
20 キャプチャ領域
21 3次元モデル
22 学習センサ
23 電子式生成モジュール
24 点
25 計測基準
26 電子式位置決めモジュール
27 位置決めパターン
28 電子式アニメーションモジュール
29 アニメーションデータベース
30 仮想基準系
31 仮想オブジェクト
32 合成モジュール
33 リンク
34 車両の後方下部部分
34' 画像化された部分
35 現実画像
36 合成画像
37 位置特定画像
38 慣性センサ
39 照明
40 影画像
41 影
42 拡大率リング
43 エンコーダ
44 スクリーン
45 アイコン
46 終了オブジェクト

Claims (16)

1. 現実基準系で規定される実空間においてビデオフッテージを撮影するためのシステムであって、
   複数の離散的なタイムフレームにおける現実画像を記録するのに適合した撮影用カメラ(9)と、
   ロケーション位置特定システムであって、
   各タイムフレームごとに分かっている前記撮影用カメラ(9)に関連したロケーションデータを提供するとともに、電子式位置特定モジュールに対するセンサが検出した自然トポグラフィック情報を発信するのに適合した少なくとも1つのセンサ(16)と、
   前記センサのロケーションデータに基づくとともに前記自然トポグラフィック情報と前記実空間の所定の3次元モデル(21)との比較に基づいて、各タイムフレームごとに、前記撮影用カメラ(9)のロケーションデータを前記現実基準系において決定するのに適合した電子式位置特定モジュール(17)と
   を備えるロケーション位置特定システムと、
   モニタリングスクリーン(15)と、
   前記モニタリングスクリーン(15)上に、各タイムフレームごとに、前記現実画像と仮想アニメーション(29)のデータベースから取得した仮想画像の投影との合成画像を生成するのに適合した電子式合成モジュールであって、前記投影は前記現実基準系における前記撮影用カメラ(9)のロケーションデータに従って生成される電子式合成モジュール(32)と、
   を備えるビデオフッテージを撮影するためのシステム。
2. 前記位置特定システムの前記センサ(16)は、
   撮影用カメラの表示立体角より大きい表示立体角、
   前記撮影用カメラの取得頻度より大きい取得頻度、
   白黒方式での取得、
   前記撮影用カメラの容積より少なくとも2分の1の容積、
   前記撮影用カメラ(9)の光軸と平行な光軸、
   前記撮影用カメラ(9)の視野域の上に重ね合される視野域、
   という特徴のうちの少なくとも1つを有する光学式カメラである、請求項1に記載のビデオフッテージを撮影するためのシステム。
3. 前記位置特定システムは、前記実空間の前記所定の3次元モデルを生成するのに適合した電子式生成モジュール(23)を備えており、かつ前記センサ(16)は前記電子式生成モジュールに対して前記センサが検出したトポグラフィック情報を発信するのに適合している、請求項1または2に記載のビデオフッテージを撮影するためのシステム。
4. 前記センサ(16)は、前記電子式位置特定モジュールに対しならびに前記電子式生成モジュールに対して前記センサによって検出された自然トポグラフィック情報を同時に発信するのに適合しており、かつ前記電子式生成モジュール(23)は、前記センサによって検出された自然トポグラフィック情報を用いて前記実空間の前記所定の3次元モデルを強化するのに適合している、請求項3に記載のビデオフッテージを撮影するためのシステム。
5. 前記トポグラフィック情報は前記実空間のうちの点、線、表面および体積の中から選択された幾何学的オブジェクトに関連する情報を含む、請求項1から4のいずれか一項に記載のビデオフッテージを撮影するためのシステム。
6. 撮影構成において、前記撮影用カメラ(9)と前記センサ(16)とは互いに対して固定的に取り付けられている、請求項1から5のいずれか一項に記載のビデオフッテージを撮影するためのシステム。
7. ある位置決め設定において前記撮影用カメラによっておよび前記センサによって同時に検出するのに適合した位置決めパターン(27)と、前記位置決めパターンに対するそれらの同時検出から前記センサと前記撮影用カメラのそれぞれのロケーションデータを決定するのに適合した電子式位置決めモジュール(26)と、を備えた位置決めシステムをさらに備える請求項1から6のいずれか一項に記載のビデオフッテージを撮影するためのシステム。
8. ある光学較正設定において前記撮影用カメラによって検出するのに適合した光学較正パターンを備えた光学較正システムをさらに備えており、かつ前記電子式位置特定モジュールは、各タイムフレームごとに、前記光学較正システムにより決定された前記撮影用カメラの光学較正データにさらに基づいて前記現実基準系における前記撮影用カメラ(9)のロケーションデータを決定するのに適合している、請求項1から7のいずれか一項に記載のビデオフッテージを撮影するためのシステム。
9. 前記撮影用カメラに固定された前記撮影用カメラの動きを決定するのに適合した慣性センサ(38)であって、前記電子式位置特定モジュールが前記慣性センサにより供給されるデータにさらに基づいて前記現実基準系における前記撮影用カメラのロケーションデータを決定するのに適合している、慣性センサ(38)、
   前記撮影用カメラによって撮影可能な計測基準(25)であって、前記電子式合成モジュールは前記撮影用カメラがキャプチャした該計測基準の画像に基づいて仮想画像を前記実空間のスケールに移行することが可能である、計測基準(25)、
   前記撮影用カメラに関する倍率設定値を決定するためのシステム(43)であって、前記電子式合成モジュール(32)がパラメータを考慮に入れることによって前記合成画像を生成するのに適合している、システム(43)、
   というエンティティのうちの少なくとも1つをさらに備える請求項1から8のいずれか一項に記載のビデオフッテージを撮影するためのシステム。
10. 仮想アニメーション(29)のデータベースを備えた電子式アニメーションモジュール(28)をさらに備え、各アニメーションが、一連のタイムフレームの各々ごとに仮想基準系で表現された3次元画像を備え、前記電子式アニメーションモジュール(28)は、前記3次元画像を前記合成モジュール(32)に発信するのに適合している請求項1から9のいずれか一項に記載のビデオフッテージを撮影するためのシステム。
11. 前記電子式位置特定モジュールは、前記実空間の前記所定の3次元モデル(21)を前記電子式アニメーションモジュール(28)に発信するのに適合している、請求項10に記載のビデオフッテージを撮影するためのシステム。
12. 前記電子式合成モジュールは、前記モニタリングスクリーン上に各タイムフレームごとに前記仮想画像の影(41)を生成するのに適合しており、前記影は前記現実基準系における前記撮影用カメラ(9)のロケーションデータと前記現実基準系における照明ロケーションデータとに従って生成される、請求項10または11に記載のビデオフッテージを撮影するためのシステム。
13. 以降のあるタイムフレームの間に前記電子式位置特定モジュール(17)は、以前のあるタイムフレームに関する前記現実基準系における前記撮影用カメラ(9)のロケーションデータにさらに基づいて前記現実基準系における前記撮影用カメラ(9)のロケーションデータを決定することができる、請求項1から12のいずれか一項に記載のビデオフッテージを撮影するためのシステム。
14. 前記電子式位置特定モジュールは、前記幾何学的パターンの中から、3D空間における前記撮影用カメラの前記位置を突き止めるために使用可能な3次元モデルの幾何学的パターンを選択するのに適合した選択モジュールを備える、請求項1から13のいずれか一項に記載のビデオフッテージを撮影するためのシステム。
15. 前記選択モジュールは、以降のある画像の幾何学的パターンを以前のある画像の幾何学的画像と比較しており、両画像内に存在するとともに前記実空間において動いていない幾何学的パターンを関連付けしており、かつ前記3次元モデルとの比較のためにこれ以外の幾何学的パターンを保持していない、請求項14に記載のビデオフッテージを撮影するためのシステム。
16. 前記位置特定システムはさらに、前記第1のセンサ(16)と異なる、位置、向き、表示立体角、取得頻度、光軸および視野域の中から選択される少なくとも1つの特徴を有する第2のセンサ(16')を備えている、請求項1から15のいずれか一項に記載のビデオフッテージを撮影するためのシステム。

Images