JP2015521419A - コンピュータ生成された３次元オブジェクトとフィルムカメラからの映像フィードとをリアルタイムに混合または合成するシステム - Google Patents

Abstract

コンピュータ生成された３次元オブジェクトとフィルムカメラからの映像フィードとをリアルタイムに混合または合成する方法であって、前記フィルムカメラのボディが、３次元に移動可能であり、前記カメラ内または前記カメラに取り付けられたセンサが、前記カメラの３次元位置または３次元向きを定義する、または該３次元位置を算出可能にするリアルタイム位置データを提供する方法。

Description

テレビ放送、映画またはビデオゲーム用のリアルタイム拡張現実映像を生成するために、コンピュータ生成された３次元オブジェクトとビデオカメラのようなフィルムカメラからの映像フィードとを混合または合成するシステム。

過去２０年以上、本分野では多数の研究や広告活動が存在しており、参照は、アメリカンフットボールのようなスポーツイベントについて、観戦者がピッチ上に重畳されて見えるような仮想的なファーストダウンラインを追加するテレビ観賞拡張を開発しているＳｐｏｒｔｖｉｓｉｏｎ社のような企業からの映像挿入や拡張現実システムによりなされうる。本分野のシステムを開発する他の起用にはＰＶＩ社を含む。既存システムの１つの共通特徴は、現実世界のいずれの部分をカメラが指しているかを決定するために、該カメラからの映像フィードにおける特徴の解析を主に頼りにしており、シーン内の何処を指しているかが判明した場合に、（仮想ファーストダウンラインのような）コンピュータ生成されたオブジェクトを、該オブジェクトの位置及び向きがシーン内の自然なパーツとして現れるようにする方式で映像フィード上に追加または合成可能なように、システムは該シーンの３次元マップをより速く構築する。該方式のオプティカルフローを純粋に依存する不都合の１つに、このようなシステムは信頼性に欠けることがある。

他のシステムは、純粋にマーカベースのアプローチ（例えばＬｉｇｈｔｃｒａｆｔ Ｔｅｃｈｎｏｌｏｇｉｅｓ）に依存する。これらは、システムにより検出されるように、セットに物理的なマーカ（１ｍ×１ｍの大きさ）をオペレータに配置することを要求する。動画プロダクションのために動作する可能性が極めて低いステージのセットアップのために、数時間または数日を必要とし、非常に非効率的である。また、物理的なマーカが常にシステムの視野内に留まらなければならないという多くの制約を有していた。また、科学的な参考が、添付資料１として引用される論文によりなされるだろう。

本発明の１つの態様は、テレビ放送、映画またはビデオゲーム用のリアルタイム拡張現実映像を生成するために、コンピュータ生成された３次元オブジェクトとビデオカメラのようなフィルムカメラからの映像フィードとをリアルタイムに混合または合成するシステムであって、
（ａ）フィルムカメラのボディは、３次元に移動可能であり、フィルムカメラ内もしくはフィルムカメラに直接的または間接的に取り付けられたセンサが、フィルムカメラの３次元位置及び３次元向きを定義する、あるいはフィルムカメラの該３次元位置及び３次元向きを算出可能にするリアルタイム位置データを提供し、
（ｂ）リアルタイム位置データは、コンピュータ生成された３次元オブジェクトを生成、リコール、描画または変更するためにシステムにより自動的に用いられ、
（ｃ）結果として得られるコンピュータ生成された３次元オブジェクトは、テレビ放送、映画またはビデオゲーム用の拡張現実映像を提供するために、フィルムカメラからの映像フィードに混合または映像フィードと合成される。

オプションの特徴として以下があり、このうちのいくつかまたは全てを互いに組み合わせることができる。

・コンピュータ生成された３次元オブジェクトは、フィルムカメラからのリアルタイム映像にリアルタイムに混合または該リアルタイム映像とリアルタイムに合成される。

・フィルムカメラのズーム、フォーカス及び絞りのリアルタイム設定が計測され、３次元シーン内に所望の位置及び向きで３次元オブジェクトが正確に描画されるように、リアルタイム位置データとともに用いられる。

・センサが、加速度計及びジャイロ（６自由度センサ）を含む。

・センサが、３次元の並進加速度を計測する３軸の加速度計、３次元の角速度を計測する３軸のジャイロ、及び３次元の絶対方位を計測する磁気計を含み、９自由度のセンサを構成する。

・センサが、パターン投影型（structured light）カメラまたはＴＯＦ（time-of-flight）方式カメラのような３次元範囲センサを含む。

・３次元範囲センサは、カメラからの映像出力の各画素の深度を取得する。

・エッジの深度は、フィルムカメラの高解像度映像フィード上に３次元範囲センサの深度を再投影することにより精緻化される。

・センサが、フィルムカメラに確実に固定可能なユニット内に形成される：
・ユニットが、１つまたは２つのウィットネスカメラを含む。
・ユニットが、映像出力の各画素の深度を取得する３次元範囲センサを含む。
・ユニットが、６自由度または９自由度のセンサを含む。
・ユニットが、異なるサイズで固定可能な切り替え可能なハンガーと、フィルムカメラ及び棒の構造を使用する。
・ユニットが、他の形のセンサを含むように伸長可能である。
・ユニットが、複合的シーンを解析可能な解析装置を形成可能であり、追跡するまたは該シーンの追跡を回復するコンピュータに、解析した３次元シーンを定義するデータを無線送信する。
・フィルムカメラが、カメラズーム、フォーカス、及びアイリスを読み取る従来のエンコーダを有する。

・システムが、１８０度魚眼レンズであってもよいレンズが装着された、単一のウィットネスカメラ（単眼視ケース）または２つのウィットネスカメラ（立体視ケース）を含む。

・ウィットネスカメラはフィルムカメラからオフセットされ、該オフセットが、各々が１以上の他のサークルについての既知の位置内にあってブロブ画像アルゴリズム（blob image algorithm）を用いて認識される、第１及び第２のサークル群を含むキャリブレーションチャートを用いて取得される。

・フィルムカメラのレンズは、各々が１以上の他のサークルについての既知の位置内にあってブロブ画像アルゴリズムを用いて認識される、いくつかのサークルを含むキャリブレーションチャートを用いて光学的歪みについてキャリブレーションされる。

・フィルムカメラが、クレーンカメラ、固定カメラ、手持ちカメラ、ドリー取付カメラ、三脚取付カメラ、スマートフォン、拡張現実眼鏡のいずれかである。

・フィルムカメラの３次元位置及び向きは、一部分において、センサからのリアルタイム３次元位置データとウィットネスカメラがシーンを解析し、プロセッサにおいて実行されているソフトウェアが、該シーンに手動でまたは人工的に追加されていない、該シーン内の自然のマーカ（特徴点）を検出したオプティカルフローとを用いることにより生成された現実世界の３次元マップを参照して決定される。

・システムが、追跡されるシーンを純粋に解析する別のステージなしでシステムを完全に初期化（「即時解析」と呼ばれる）可能にする１つまたは２つの（少なくとも１００ｆｐｓの）ハイスピードウィットネスカメラを利用するが、該カメラが映像を取得するために用いられる間、解析は連続的に行われる。

・立体視システムが、カメラシステムが完全に動いていない場合でさえも、画像を処理し、即時の３次元ポイントクラウドを生成する（２つのカメラ間の距離の知識及びエピポーラ幾何学を用いて、シーン内の多くのポイントを３次元空間内のそれらの位置に関連付けることを含む）ことをソフトウェアに可能にする。

・３次元ポイントクラウドにおける各画素の深度は、各立体視ウィットネスカメラから得られた対応する２Ｄテクスチャパッチと、エピポーラ線探索アルゴリズムとを用いて得られる。

・ウィットネスカメラシステムからのオプティカルフローとハードウェアセンサからのリアルタイム位置データとを組み合わせるフュージョンアルゴリズムを実行する。

・フュージョンアルゴリズムは、加速度計、ジャイロスコープ、磁気計、３次元範囲センサを含みうるあらゆるセンサからの出力を統合し、再キャリブレーションし、カメラの位置及び向きを決定するための、拡張カルマンフィルタ予測／補正技術に基づく。

ＥＫＦフュージョンアルゴリズムは、各センサからのデータをどのようにマージするかを決定する場合に、各センサからの出力に関連付けられた信頼性レベルデータを使用する。

・ウィットネスカメラシステムにより生成されたキーフレームは、視覚的追跡処理の一部であり、かつウィットネスカメラ映像フィードの４つの異なる解像度レベルにおいて演算されるリアルタイム画像である。

・システムが、（ａ）仮想フィギュア、オブジェクト及び環境に係る３次元のコンピュータ生成されたアニメーションを提供するコンテンツ生成コンピュータ、及び（ｂ）（コンテンツ生成コンピュータと分離されていてもされていなくてもよい）描画コンピュータを有し、フィルムカメラの３次元位置を定義するリアルタイム位置データは、フィルムカメラからの映像フィードにリアルタイムに挿入及び混合可能な、生成される、コンピュータ生成された３次元オブジェクトを、該映像フィードにおいて観賞されるシーンの自然な部分を形成させるように、コンテンツ生成コンピュータ及び描画コンピュータのいずれかまたは双方により使用される。

・コンピュータ生成された３次元オブジェクトは、シーン内のいずれの位置にも移動可能で、コンテンツ生成コンピュータにより決定された方式の形状及び外観に変更可能なアニメーションである。

・コンピュータ生成された３次元オブジェクトは、シーンに混合された場合に、現実的な方式で移動（走る、踊る、歩く、戦う、飛ぶ、ジャンプするを含む）人間または生物のアニメーションされたフィギュアである。

・カメラ位置または追跡データは、ポストプロダクションＣＧＩを促進するために、さらにポストプロダクションの使用が可能にされる。

・３次元範囲センサが、再構成された３次元ポイントに関連付けられた深度計測の精度を高めるために、または該再構成された３次元ポイントを却下するために用いられる。

・３次元範囲センサは、動的な遮蔽を可能にし、かつグリーンステージの最終使用を抑圧するためのリアルタイムの深度入力に用いられる。

・システムが、検出されたパターンのコーナーが３次元ポイントクラウド（即ち、ワールド）の原点として扱われるように、シーン内に配置された、既知のパターンで覆われた既知のサイズのプレートのような、小さなカメラ登録オブジェクトを使用する。

・カメラ登録オブジェクトは、真の垂直線上に配置され、ブロブ画像認識アルゴリズムを用いて認識された、既知のサイズの少なくとも２つの球を含む。

・システムが、磁北を示す磁気計と、重力方向（即ち、真の垂直線を与える）を示す加速度計と、システムが上方／下方にチルトされる、左または右にパンされている、または光軸について回転されている場合に通知するジャイロと、開始位置からの３次元の並進を推測可能にする３軸加速度計と、を有する。

追跡ロスを多分に低減し、追跡精度を上昇させる（より多くの視差が生成され、推定されたカメラ位置がより正確になる）ために、ソフトウェアが３次元マップ内に均一に分布されたポイントクラウドを生成することを試みる。

・カメラ追跡システムが、カメラシステムに無線で接続され、３次元ポイントクラウドを生成する場合にセットの周囲を高速に移動可能である−以前のウィットネスカメラシステムとは異なり、セット内でケーブルを引きずる必要がない。

・カメラ追跡システムであって、ディレクタ／カメラマンがフィルムカメラに取り付けられた該カメラ追跡システムを追跡し、パンし、チルトした際に、３次元シーンのリアルタイム解析（単眼視ケース）または即時解析（立体視ケース）と、フィルムカメラの追跡とを組み合わせるカメラ追跡システムを提供する。

・システムが、全ての態様のフィルムカメラの、回転、並進、フォーカス、アイリス、焦点距離を含む追跡を完全に自動化し、混合される３次元のコンピュータ生成されたコンテンツの拡大縮小、位置決め及び向きを自動化する。

・システムが、シーンを定義する、より完全なポイントクラウドを生成するために、該シーンの継続的な解析をリアルタイムに可能にする。

・システムが、追跡の復帰を容易にするために、シーンにおいて検出された特徴点に、ＯＲＢを使用することを含む、回転不変量記述子を付与する。

・システムが、事前に正確に計算されたまたは確認された位置を用いてフィルムカメラの次の位置を予測するために、センサにより提供された情報に関連付けられた等速モデルを使用する。それが、現在のフレームに３次元ポイントクラウドを再投影し、ウィットネスカメラシステムからのリアルタイム映像フィードにおいて識別されたポイントと、新たな３次元ポイントクラウドにおいて投影されたポイントとのマッチングポイントマッチングアルゴリズムに可能にするために、予測を使用する。

・システムが、ウィットネスカメラシステムからのリアルタイム映像フィードにおいて識別されたポイントと、新たな３次元ポイントクラウドにおいて投影されたポイントとの間の誤差を最小化するために、カメラ追跡にレーベンバーグ・マーカート最小化方式（Levenberg-Marquardt minimization scheme）を使用する。

ユーザは、３次元ガーベジマッティングマスクのような３次元マスクを定義するために、カメラ追跡システムにより生成された３次元ポイントクラウドを使用可能である。

・３次元オブジェクトは、静的オブジェクト、動的アニメーション、仮想ワールド、仮想人物、仮想建造物、仮想風景、仮想フィルムセット、及びアニメーションデータベースのあらゆるデータを含む。

・フィルムカメラ及びウィットネスカメラは、フレーム取得遅延を、発光したＬＥＤに関連付けられた光強度曲線を比較することによるような、変調された光源を用いる方式でキャリブレーションされる。

他のコンセプト：上に定義したいずれの特徴または以下に定義する他のコンセプトを各々組み合わせることが可能である。

コンピュータ生成された３次元オブジェクトとフィルムカメラからの映像フィードとをリアルタイムに混合または合成する方法であって、フィルムカメラのボディが、３次元に移動可能であり、カメラ内またはカメラに取り付けられたセンサが、カメラの３次元位置または３次元向きを定義する、または該３次元位置を算出可能にするリアルタイム位置データを提供する。

テレビ放送、映画またはビデオゲーム用のリアルタイム拡張現実映像を生成するために、コンピュータ生成された３次元オブジェクトとビデオカメラのようなフィルムカメラからの映像フィードとを混合または合成する方法であって、
（ａ）フィルムカメラのボディは、３次元に移動可能であり、フィルムカメラ内もしくはフィルムカメラに直接的または間接的に取り付けられたセンサが、フィルムカメラの３次元位置及び３次元向きを定義する、あるいはフィルムカメラの該３次元位置及び３次元向きを算出可能にするリアルタイム位置データを提供し、
（ｂ）リアルタイム位置データは、コンピュータ生成された３次元オブジェクトを生成、リコール、描画または変更するためにシステムにより自動的に用いられ、
（ｃ）結果として得られるコンピュータ生成された３次元オブジェクトは、テレビ放送、映画またはビデオゲーム用の拡張現実映像を提供するために、フィルムカメラからの映像フィードに混合または映像フィードと合成される。

上に定義した方法またはシステムであって、カメラ内のコンピュータ生成されたプリプロダクション３次元アセット、一般的なプリビジュアライゼーションまたは視覚効果アセットを、該カメラにより取得されたライブアクションフィルムプレートまたは映像イメージ上に、ディレクタ（または撮影監督）がリアルタイムにフレームアップ可能にするために用いられ、ディレクタに、該ディレクタにより観られる映像に自動的に混合されたコンピュータ生成された３次元アセットを用いて、可能なカメラアングルの探索及び移動をリアルタイムに探索可能にする。

上に定義した方法またはシステムであって、ポストプロダクション処理用のマッチムーブデータを提供するために、リアルタイム位置データは記録され、タイムコードスタンプがなされる。

上に定義した方法またはシステムであって、仮想オブジェクトまたは画像を、放送映像ストリーム上に挿入可能にするために用いられる。

上に定義した方法またはシステムであって、
・スタジオカメラのリアルタイム追跡
・固定カメラのリアルタイム追跡
・クレーン取付カメラのリアルタイム追跡
・ドリー取付カメラのリアルタイム追跡
・固定カメラのリアルタイム追跡
・中継放送（ＯＢ：Outside Broadcast）のリアルタイム追跡
・２次元ポストプロダクションのリアルタイムデータ（追跡データを含む）の使用
・３次元立体視コンテンツ用のポストプロダクションのリアルタイムデータ（追跡データを含む）の使用
・ネイティブ３次元立体視コンテンツのリアルタイムデータ（追跡データを含む）の使用
・３次元グラフィックス挿入
・スタジオ内への、またはセットプロダクト・プレイスメントにおける３次元グラフィックス挿入
・ＯＢ用の３次元グラフィックス挿入
・他のスポンサー提供画像用の３次元グラフィックス挿入
・観察者位置固有の３次元グラフィックス挿入
・観察者固有の３次元グラフィックス挿入
・時間固有の３次元グラフィックス挿入
・曇天風景書き込み用の３次元グラフィックス挿入
・グリーンスクリーン置換用の３次元グラフィックス挿入
・博物館、及び文化、歴史又は自然遺産の解析センターにおける学習を補助する教育的コンテンツの３次元グラフィックス挿入
・シーン内のオブジェクトの絶対的または相対的サイズの計測
の１以上を可能ならしめる。

上に定義した方法またはシステムであって、フィルムカメラは
−標準範囲を有する全てのカメラ
−限定的な光ファイバ接続を必要とするカメラ
−ＲＦ／無線接続を必要とするカメラ
のうちの１つである。

上に定義した方法またはシステムであって、
・フィルム／テレビ（非ライブ）
・コマーシャル（非ライブ）
・ライブコマーシャル
・放送（非スポーツ）
・ＯＢ放送
・スタジオベーススポーツ
・ＯＢベーススポーツ
・テレビプロダクト・プレイスメントのライブ
・インターネット利用（非ライブ）
・インターネットライブ
・地域ベースインターネットライブ
・インターネットプロダクト・プレイスメントのライブ
・博物館／文化遺産コンテンツ
・博物館/遺産広告
・建築
・ゲーム
のうちの１つのマーケットに配備される。

上に定義した方法またはシステムであって、スマートフォンを含むあらゆる表示装置及び拡張現実眼鏡に拡張現実画像を表示可能にするために用いられ、拡張現実画像の外観が、自動的にリアルタイム位置データに応じて変更される。

フィルム、動画、テレビ番組、またはビデオゲームであって、リアルタイムにコンピュータ生成された３次元オブジェクトが、カメラからの映像フィードと混合され、カメラのボディは３次元において移動可能であり、カメラ内またはカメラに取り付けられたセンサが、カメラの３次元位置を定義する、または該３次元位置を算出可能にするリアルタイム位置データを提供する。

従来のカメラに取り付けられるよう構成されたシーンを解析及び追跡する装置であって、カメラのボディは、３次元に移動可能であり、シーンを解析及び追跡する装置内のハードウェアセンサが、カメラの３次元位置を定義する、または該３次元位置を算出可能にするリアルタイム位置データを提供する。

手持ちまたは携帯用カメラであって、３次元の参照フレームに対するカメラの３次元位置及び３次元向きを定義する、またはオプティカルフローデータのような他のデータを解析するシステムの全体または一部に該３次元位置を算出可能にするリアルタイム位置データを提供する、カメラ内またはカメラに取り付けられたセンサを有する。

立体視ウィットネスカメラシステムを含むまたは該システムに取り付けられたフィルムカメラであって、ウィットネスカメラシステムが、広角（１８０度を含む）の立体視画像を生成し、該画像を処理し、該カメラシステムが追跡／移動されることなく即時の３次元ポイントクラウドを生成することをソフトウェアに可能にする。

フィルムカメラに取り付けるためのカメラ追跡システムであって、立体視画像を生成し、該画像を処理し、該カメラシステムが移動されることなく、即座の３次元ポイントクラウドを生成してフィルムカメラのリアルタイム追跡（位置、向き、ズーム、フォーカス及びアイリス）を提供することをソフトウェアに可能にするウィットネスカメラを有する。

拡張現実眼鏡であって、３次元の参照フレームに対する眼鏡の３次元位置及び３次元向きを定義する、またはオプティカルフローデータのような他のデータを解析するシステムの全体または一部に該３次元位置を算出可能にするリアルタイム位置データを提供する、眼鏡内または眼鏡に取り付けられたセンサを有する。

本実装システムは、Ｎｃａｍと呼ばれる。Ｎｃａｍの様々な応用は以下を含む。

〈フィルム、テレビ及びコマーシャルにおける視覚的効果〉
プリプロダクション及びプロダクションにおける視覚的効果：Ｎｃａｍは、撮影処理（プロダクション）の間、プリビズ（プリプロダクション）とＶＦＸ（ポストプロダクション）との差を埋める補助をしようとする。Ｎｃａｍは、撮影中、リアルタイムにカメラ内にＶＦＸにフレームアップを所望する者への解決策を提示する。プリビズ処理からの頻繁な事前生成されたコンテンツの使用し、Ｎｃａｍはこれらのプリビズアセット、標準的な３次元モデル及びアニメーションを、ライブアクションフィルムプレート上にリアルタイムに合成可能にする。

慎重に生成された及び承認されたプリビズのセットへの導入は、膨大な量の時間を節約可能である。フィルムメーカは、それがグリーンスクリーン上で撮影されている、及び仮想背景に合成または生き物やオブジェクトが前景に重畳されているかによらず、プリビズまたはＶＦＸをフレームアップすることができる。そして、通常の制約なく、可能なカメラアングル及び移動を素早くかつリアルタイムに提示し、プリビズ及びＶＦＸの制御を取り戻すことを可能にする。

同様に、データは記録及びタイムコードがスタンプされ、「一時的な（temp）」最終的なＶＦＸを用いた編集を提供すると同時に、ＶＦＸ部のカメラマッチムーブデータ（６自由度トラック）を与える。

カメラ内で「一時的な」ＶＦＸを撮影することにより、及び該プロセスよりも前にＶＦＸをデザインすることにより、ポストプロダクションプロセスとしてＶＦＸのうちの多くの推測動作を理解することが可能となる。我々は、ＶＦＸデザインプロセスを減少させることが可能であり、結果無駄を節約する。

〈仮想広告−ライブ放送〉
Ｎｃａｍの技術は、放送空間を用いるリアルタイムの仮想広告に好適に役立つ。カメラ内の実際の物理的なプロダクトとは対照的に、ポストプロダクション中の撮影後にプロダクトが挿入されるデジタルプロダクト配置は、より一般的になってきている。しかしながら、デジタルプロダクト配置ライブを拡張する能力を用いることで、我々は様々な可能性を開くことができる。例えば、スポーツフィールドや連続ドラマ（soap opera）における缶飲料のブランドロゴを含みうる。これは、撮影環境の照明に基づいて写実的なＣＧ画像をリアルタイムに描画する能力が重要になる。

〈ホログラフィックゲーム〉
Ｎｃａｍの技術とホログラフィックディスプレイ及び（Google Glass等の）眼鏡とを合成することで、完全没入型のゲーム体験を提供し得る。現実世界と仮想世界及びキャラクタとをブレンドする。可能性は幾分尽きない。

〈博物館（museum）及び遺産（heritage）〉
Ｎｃａｍの技術は、博物館及び遺産領域への幅広い範囲の潜在的な応用を提供する。

探索ツールとして、遺跡のような遺産の場所の復元のために、該場所が以前の栄光にあるように見せることは有用である。

博物館において、Ｎｃａｍは、例えば恐竜の大きさ及び動き、内臓、または骨格構造を示すための教育ツールとして使用されうる。他の例は、完全没入型の３次元空間において、提示されるアニメーション図を効果的に見せることで、内燃機関の動作を提示するためであってもよい。

〈仮想カメラ−ＶＣＳ〉
Ｎｃａｍ技術は、該応用に完璧に適している。仮想カメラは、本質的には完全なＣＧ３次元環境を見せるＬＣＤ画面である。操作者がＬＣＤ画面を移動した場合、動作に関してまるで物理的なカメラのように振る舞う。該ＬＣＤカメラは、ＸＹＺ並進及び回転において追跡され、リアルタイムにＣＧエンジンからの完全なＣＧ環境を示す。現在、様々なＶＣＳ（仮想カメラシステム）ソリューションが利用可能であるが、それらは全て技術の面で制約を有している。それらが動作するであろう空間及び環境において制限され、セットアップに時間を要する傾向にあり、そして高価である。ＮｃａｍベースのＶＣＳはタブレット型を採り得、これにより処理はＬＣＤ画面と局所的に組み合わされて計算されるだろう。ＣＧ演算は、要求に応じて、リモートＰＣから、もしくは場合によってはローカルで取得されうる。該アイデアは、以前にそのようなツールへのアクセスを持つことができなかった、フィルム内の多くの部分への、使いやすさと価格の観点を通じて、オープンアクセスを可能にすることである。このことは、デザイナ、建築家、ＶＦＸ、ゲーム会社、ＣＧ及びアニメーションハウス等にとって非常に有用である。

また、このＶＣＳは潜在的な博物館及び遺産ソリューションへのバックボーンを形成するであろう。

〈仮想スカウトシステム−ＶＳＳ〉
あなたが動画を撮影し、その大部分をブルスクリーン／グリーンスクリーン上において撮影する場合を想像する。フィルムメーカやディレクタとして、自分はどのようにいずれのアングルを計画する、または撮影をすることが最良であろうか？すべての後、自分は少量の物理的なセットと数名の俳優を用意するかもしれないが、いずれのカメラアングルが最良かの自分の想像とは異なる多少のアイデアを自身が有しており、カメラをいずれにセットアップすべきかを全クルーに説明し、効果的なレンズの選択をさせることなどできない。現在、我々は、他の位置よりも良好となることを実現するためのみに、セット上の位置にフィルムカメラ及び全ての周辺器具を移動し、Ｎｃａｍをセットアップし、見てみる。これらの決定を迅速かつ効果的に行うため方法は、我々が軽量の携帯型システムを有している場合のみである。これがＮｃａｍＶＳＳである。

ＶＳＳは今日のＮｃａｍであるが、ＤＳＬＲのような小型カメラに実装される。それは、本質的にはＮｃａｍの恩恵を有する電子ビューファインダである。我々は、今日のＮｃａｍの全ての要素を、携帯型デバイスのフィルムセットにおいて組み合わせている。また、博物館／遺産だけでなく、建築家が潜在的な投資家に彼らの新しい作品を表示することを希望するようなテレビエピソードのための仮想プロダクションは、該ツールからの大きな恩恵を受けるだろう。

機器構成2.3用のハードウェア説明。なお、ここに描かれたバージョンは、追跡ワークステーションと描画ワークステーションとが結合されたものである。 リアルタイムにフィルムカメラの位置及び回転を取得するグローバル追跡アルゴリズム 我々のシステムのために作成された３Ｄ自動レベリング登録オブジェクト。我々のソフトウェアにおいて現実世界の原点、向き及びサイズを自動的に演算するために、該オブジェクトは現実シーンにおいて用いられる。平面（planar）バージョンは、図５の右図に示される。 自然のマーカの検出に用いられる画像ピラミッド（image pyramid）。またこの図はマーカに関連付けられたいくつかの２Ｄテクスチャパッチを示している。 Ｎｃａｍにおいて開発され、用いられるキャリブレーションチャート。左：全てのレンズをキャリブレーションするために用いられるキャリブレーションチャート。中央：フィルムカメラとウィットネスカメラとの間で用いられるキャリブレーションチャートまたはフィルムカメラとウィットネスカメラとの間のラインナップコンピューティング。また、左側のチャートはフィルムカメラの焦点距離が十分に短い場合（セットにおいて実験的に決定される）に用いられるチャート。右：登録オブジェクトの平面バージョン。扱いやすく、かつ地平面のいずれの場所にも配置可能。サークルは実際のシーンに仮想オブジェクトを追加する際に、ワールドの向き、スケール、及び原点（0,0,0）を規定する正規直交基底を与える。左上のサークルの中心がワールドの原点である。 異なるハンガーサイズ（１５ｍｍ及び１９ｍｍの棒）を有する、フィルムカメラ上に搭載されるカメラバー 無線解析装置。解析が必要な場合（即ち例えば単眼視ケース（セクション２．１またはより複合的なセット（セクション２．１．３の末尾）参照））、全体追跡プロセスが該解析装置を用いて実現される。解析が完了した場合、全ての追跡データ（ポイントクラウド、キーポイント等）が、即時に追跡を回復し、追跡データ及び最終的な合成結果の両方のストリーム出力を開始する追跡／描画ワークステーションに無線で送信される。 カメラ／コンピュータ・ブレイクアウト・ボックス。なお、ここには複数のＲＪ４５ケーブルを用いるバージョンが示されている。また、これらのブレイクアウト・ボックスの全ては、これらのケーブルが単一の限定的な光ファイバケーブルにより置き換えられる変形例を有する。

本技術は、コンピュータ生成された３次元オブジェクトと、フィルムセット、テレビ放送またはビデオゲームにおける現実のカメラ（本明細書では以下フィルムカメラと呼ばれる）からの現実の映像フィードとをリアルタイムに混合することに関する。本システムの主な目的は、
・動画ディレクタのための仮想キャラクタ及び環境のリアルタイムフレーミングツールを提供すること
・現実映像と直接的に結合された仮想オブジェクトの写実的な結果をリアルタイムに表示すること
・セット上撮影と動画ポストプロダクション用に、フィルムカメラの位置の正確な推測（カメラ追跡と呼ばれる）を提供すること
・現実のオブジェクト（及び／または俳優）と仮想環境（３次元オブジェクト、キャラクタ等）との間の遮蔽を扱う、現実シーンの３次元幾何モデルへの近似を提供すること
である。

ここに記載される技術は、まず第一に強力なセンサフュージョンアルゴリズムであり、これにより、３つ（立体視ケース）または２つ（単眼視ケース）の異なるオプティカルフローから算出された（即ち、物理的なシーンに手動で追加されていない）自然のマーカと、４つの異なるセンサ（ジャイロスコープ、加速度計、磁気計、３次元範囲センサ）の物理的な計測結果とを結合する。また、あらゆる物理的なマーカ、または現実シーンにおいて動作するために直接的に視認可能ないずれの物体を主導で追加する必要ない、完全に非侵襲性システムである。

［１．ハードウェア］
技術は、ストリーム出力されるべきデータの種類に応じた、２つの異なる可能なハードウェア構成を有している。

これらの２つの構成は全て、カメラバー（詳細な模式図は図６を参照）と呼ばれるデバイスと、本質的には全ての異なるケーブルを１つまたはいくつかの独立したハーネス（loom）に結束または分離するブレイクアウト・ボックス（詳細な模式図は図８を参照）である別々の接続ボックスとを搭載する以下のハードウェア
・ウィットネスカメラと呼ばれる、選択された方式（単眼視または立体視）に応じて１つまたは２つであるハイスピードカメラ（少なくとも１００ｆｐｓ）
・各ウィットネスカメラは１８０度の魚眼レンズが搭載される
・ジャイロスコープ、磁気計及び加速度計を含む９自由度センサ（または磁気計が使用できない場合は６自由度）
・画素の深度を取得する３次元範囲センサ
を共通して有する。

全ての構成はカメラバーに加えて、ズーム、フォーカス及びアイリス値を読み取る、フィルムカメラに搭載された標準のレンズエンコーダを有する。また、それらは共通してシーンを解析して認知する無線解析装置（詳細な模式図は図７を参照）を有する。しかしながら、完全に立体視アプローチを採用するケース及びより正確な即時解析（セクション２．５．１を参照）を行うケースでは、該解析装置は不要である。

これらの共通の特徴を除き、２つの構成は以下のように説明される。

《構成１：カメラストリーミング》
１．無線型組み込みコンピュータ
（ａ）組み込まれた追跡コンピュータは、フィルムカメラに搭載される。それは、フィルムカメラの並進（translation）及び回転（rotation）（ＲＴ）と、エンコーダからのズーム（zoom）、フォーカス（focus）及びアイリス（iris）（ＺＦＩ）とを、外部の描画ワークステーションに無線ストリーム出力する。
（ｂ）外部のコンテンツ生成ワークステーション。この機器は一般に、最終的な合成のために、３次元のコンピュータ生成されたアニメーション及び関連するＣＧコンテンツを提供するコンピュータグラフィックスソフトウェアを実行する。またそれは、外部の描画ワークステーション（１−１ｃ）にアニメーションデータをストリーム出力する。
（ｃ）一方で組み込みコンピュータ（１−１ａ）からのデータを受信し、他方でコンテンツ生成ワークステーション（１−１ｂ）からのアニメーションデータを取り扱う外部描画ワークステーション。該描画ワークステーションは、１−１ｂからの３次元環境を表示するために１−１ａからのフィルムカメラＲＴ＋ＺＦＩを使用し、フィルムカメラからの現実の映像フロー内に結果を混合する。またそれは、フィルムカメラのアイピースまたは制御モニタに最終的な合成結果を無線ストリームにて返送する。

２．有線型組み込みコンピュータ
（ａ）組み込まれた追跡コンピュータは、フィルムカメラに搭載される。それは、限定的な光ファイバケーブルを用いて、外部の描画ワークステーションにフィルムカメラ並進回転（ＲＴ）及びエンコーダデータ（ＺＦＩ）をストリーム出力する。
（ｂ）構成１−１ｂと同様
（ｃ）最終的な合成結果がＨＤ−ＳＤＩケーブルを介してカメラに返送されることを除いて、構成１−１ｃと同様

《構成２：全体ストリーミング》
１．無線型組み込みコンピュータ
（ａ）組み込まれた追跡コンピュータは、フィルムカメラに搭載される。該ユニットにおいて実際の処理は実行されない。それは外部の追跡ワークステーションに全てのセンサデータを無線ストリーム出力することのみ行う。２つのウィットネスカメラの映像フロー、１つの９自由度データ、１つの範囲センサデータがストリーム出力される。データの送料は、毎秒１４２ＭＢ（ウィットネスカメラが毎秒６３ＭＢ、範囲センサが毎秒７４ＭＢ、９自由度センサが毎秒４．４ＭＢを要求する）よりも大きい最小帯域を要求する。
（ｂ）組み込まれた追跡コンピュータからデータを受信する外部の追跡ワークステーション。該ユニットは、フィルムカメラの回転及び並進行列を算出するために、全てのセンサデータを処理する。それは外部の描画ワークステーション（２−１ｄ）にカメラＲＴ＋ＺＦＩをストリーム出力する。
（ｃ）外部のコンテンツ生成ワークステーション。該機器は一般に、最終的な合成のために３次元のコンピュータ生成されたアニメーション及び関連するＣＧコンテンツを提供するために、コンピュータグラフィックスソフトウェアを実行する。またそれは、外部の描画ワークステーション（２−１ｄ）にアニメーションデータをストリーム出力する。
（ｄ）一方で組み込みコンピュータ（２−１ｂ）からのデータを受信し、他方でコンテンツ生成ワークステーション（２−１ｃ）からのアニメーションデータを取り扱う外部の描画ワークステーション。描画ワークステーションは、２−１ｃからの３次元仮想環境を表示するために、２−１ｂからのフィルムカメラＲＴ＋ＺＦＩを使用し、フィルムカメラからの現実の映像フロー内に結果を混合する。またそれは、フィルムカメラのアイピースまたは制御モニタに、最終的な合成結果を無線ストリームにて返送する。

２．有線型組み込みコンピュータ
（ａ）組み込まれた追跡コンピュータは、フィルムカメラに搭載される。それは、限定的な光ファイバケーブルまたは複数のＣａｔ−６ ＲＪ４５ケーブルを用いて、外部の描画ワークステーション（２−２ｃ）にフィルムカメラ並進及び回転（ＲＴ）をストリーム出力する。この場合も同様に、エンコーダがズーム、フォーカス及びアイリス（ＺＦＩ）のために用いられる。
（ｂ）構成２−１ｃと同様
（ｃ）最終的な合成結果がＨＤ−ＳＤＩケーブルを介してカメラに返送されることを除いて、構成２−１ｄと同様

３．組み込まれないコンピュータ（説明図の図１を参照：他の全てのバージョンにおいて、該コンピュータは容易に抽出されうる）
（ａ）単一のカメラ追跡デバイス（カメラバー）は、フィルムカメラに取り付けられ、ブレイクアウト・ボックスに接続される。
（ｂ）組み込まれた追跡デバイスからのデータを受信する外部の追跡ワークステーション。該ユニットは、フィルムカメラの回転及び並進行列を算出するために全てのセンサデータを処理する。この場合も同様に、エンコーダがズーム、フォーカス及びアイリス（ＺＦＩ）のために用いられる。それは描画ワークステーション２−３ｄにカメラＲＴ＋ＺＦＩをストリーム出力する。
（ｃ）構成２−１ｃと同様
（ｄ）最終の合成結果がＨＤ−ＳＤＩケーブルを介してカメラに返送されることを除いて、構成２−１ｄと同様

また上記構成に加え、各バージョンは２つの他の変形例を有する。１つは外部の描画ワークステーションと実際に結合されたコンテンツ生成ワークステーションを有し、２つ目の変形例は追跡ワークステーションと結合された外部の描画ワークステーションを有する。

［２．ソフトウェア］
いくつかの新たな科学的手法及びソフトウェアが、正確な追跡結果及びリアルタイム拡張現実［１９］を実現するために生成される。これらの手法は、次のセクションに説明される。

《２．１ 映像フィードからの単眼視マーカレス追跡》
〈プロセス概要〉
技術において使用される単眼視技術は、一方がユーザインタラクションを必要とし、他方が完全に自動化されている点を除いて実際に技術的にはほぼ同一である、２つの異なるパスで成り立っている。

第１のパスは、解析と呼ばれる。現実シーン及び登録オブジェクトのスキャンのために、セクション１の第２パラグラフにおいて説明したハードウェア（図７を参照）で成り立つデバイスをユーザは利用する。該フェーズの間、ユーザが環境を歩き回りスキャンすることで、システムにより自然のマーカが自動的に認知され、３次元において演算される。解析を開始すると、ワールドのスケール、原点及び向きを自動的に推定するために、ユーザは登録オブジェクト（セクション２．１．３．２参照）を取得する必要がある。このことが達成されると、自然のマーカである最良の３次元ポイントクラウドを構築するために、ユーザは残りのシーンのスキャンを継続することができる（自然のマーカは、人間の眼に見えず、かつ我々のアルゴリズムにより演算される特徴点である）。該解析がより詳細に達成されるほど、最終的な結果は良好となる。解析パートは、全ての中で最も重要なタスクであり、重要性がより高い。

第２のパスは、フィルムカメラ上におかれている追跡デバイスからなされるフィルムカメラ追跡（セクション２．１．４参照）である。前の「ハードウェア」セクションの説明に従い、様々な状況に応じて異なる構成が適用される。本ステップは完全に自動化され、
通常は人物のいかなるインタラクションも必要としない。

〈２．１．２ アルゴリズム概要〉
ここに説明される技術は、複数のセンサフュージョン技術（セクション２．３参照）に基づく拡張現実フレームワークである。

実際、カメラを追跡して仮想オブジェクトを追加するために、通常たった１つのオプティカルフローデータを信用はしない。このような技術は、多くの場合、科学的及び実施上の制限を実証している。例えば、ユーザが追跡に用いられているカメラから隠れると、追跡は失敗し、見失う。それは、カメラが解析していない範囲（セクション２．１．３参照）を指す場合にも全く同じ問題がある。さらに、フィルムカメラが全く動いていない場合でさえも、純粋に視覚的な追跡アルゴリズムにより演算された、検出された自然のマーカの制度に起因して、いくつかの回避できない、わずかなぶれの問題が存在する。データのフィルタリングは該問題を部分的に解決するが、特に非常に長い焦点レンズを使用する場合に、完全に安定した仮想オブジェクトを得ることはできない。我々の技術ではカメラが動いているか否かを知るために他のセンサを使用するため、我々の追跡アルゴリズムはこのような問題を有さない。

ＳＬＡＭ［９］、ＰＴＡＭ［８］、ＲＳＬＡＭ［１３］等のような標準的なオプティカルフロー技術は、位置及び方向を概算するために、カメラにより取得された映像内に含まれる情報を用いる。１つ目に、見失った場合の追跡のコアが単にキーフレーム探索ではないこと、及び２つ目に、カメラの正確な位置及び方向を演算するために７つの利用可能なセンサ（１つのフィルムカメラ、２つのウィットネスカメラ、ジャイロスコープ、加速度計、磁気計、及び３次元範囲センサ）のデータをすべて使用する点を除いて、我々の技術は視覚的な追跡パート（視覚的追跡と呼ぶ）において同様のアプローチをとる。

センサ、即ちジャイロスコープ、加速度計、磁気計センサ及びウィットネスカメラを統合するために、我々は拡張カルマンフィルタ（ＥＫＦ、セクション２．３．２参照）［７，２１］を使用する。ＥＫＦ技術は我々のソフトウェアの革新であり、予測／補正アルゴリズムの全体は、各センサの最良値を使用可能なデータ結合手法に基づく。このことは、他の全ての技術が失敗するような単純及び重大なケースに対する比類のない県労政を提供する。実際、センサが追跡を失った場合（実際は、計測結果がもはや信頼できなくなることを意味）、ＥＫＦはまだ、他の信頼できるデータ及び残りのセンサを統合することにより位置／方向の推定を取得することができる。それに加え、センサごとに信頼のレベルを有するため、このことが、不正確な情報を用いることをシステムに防止させるよう、統合アルゴリズムに影響を与える。例えば、標準的なジャイロスコープは、動いていない場合であっても方向が変化する傾向にあるドリフトと呼ばれる自然欠陥を有する。時間がたつほどジャイロスコープによる誤差が大きく生じる。ジャイロスコープのドリフト補正は、視覚的追跡を用いることによりなされ、視覚的追跡は誤差が大きくなった場合にジャイロスコープにより補正される。故に、予め正しく推定された値を用いてフィルムカメラの移動を予測し、全てのセンサにより得られた新たな計測結果に従って予測を補正することにより、ＥＫＦはフィルムカメラの最良の位置及び回転を理解することができる。

さらに、見失った場合にカメラを配置するために、より単純な光学ベースの追跡技術をキーフレーム（即ちスナップショット）に使用する。カメラによりあなたが指される現在のビューのキーフレームがない場合、回復は失敗する。例えばあなたがカメラを単純に垂直に回転させるケースを解決するために、より堅牢な技術は、ＳＩＦＴ［１１］やＳＵＲＦ［１］のような技術をもちろん使用することもできる。実際、これらのシステムの全ては、現在のフレームと最も類似するキーフレームとを比較する場合に、より良好かつ高速なマッチングを得るために、回転及びスケーリングの不変記述子を用いることは非常に興味深い。しかしながら、カメラのある位置からのキーフレームがない場合、あなたのシステムがその位置から復帰することはできない。我々の技術は、全ての技術（なお、我々はキーポイント記述子としてＯＲＢ［１８］を使用する）の最良の結果を用い、見失った追跡を回復するための３つの異なるスレッドを順に実行する。回復プロセスは、確率的かつ確率論的なアプローチに基づく大局的なアルゴリズムに見ることができる。追跡が失われた場合、３次元空間は楕円形アプローチを用いて少なくとも既知の位置の周囲を即時にサンプリングされ、該楕円内の全てのキーフレームが現在のキーフレームと比較される。さらに、残りのセンサ（ジャイロスコープ、加速度計、磁気計、３次元範囲センサ）からの他の全てのデータは、我々のソフトウェアが全ての尤もらしい良好な候補の曖昧性をなくすことが可能なように、探索において結合される。もちろん、いずれのキーフレームも十分に良好な候補たり得ない場合、システムは現在の位置の近似を演算するために、視覚的追跡用とは別の他の全てのセンサを使用する。該技術の明らかな結論は、追跡を失うことなく、ユーザが解析されていない位置にカメラを向けられることである。しかしながら、我々のアルゴリズムは、現在のスナップショットにマッチするキーフレーム（即ち、ＲＴのよりよい近似）を発見するために、３次元空間のサンプリングを決して停止しない。視覚的追跡が回復した場合、自身の情報に加えてカメラの情報（セクション２．３．２の拡張カルマンフィルタを参照）を補正するために、他のすべてのセンサデータは使用され更新される。

我々の技術の最新（即ち標準の）バージョンは、２１センチメートルの間隔があいた２つのウィットネスカメラ（図６参照）を用いる、立体視型（セクション２．５参照）である。この技術は、映像フィードにおいて検出された自然のマーカの深度情報を演算するために、あらゆる類似の演算または単一のウィットネスカメラ（セクション２．１．３参照）の手動移動を必要としない。本手法は多くのケースで解析フェーズを廃止することで、我々のメインアルゴリズムを単純化する。単眼視技術のように、カメラ視覚的追跡自体は、画像ピラミッドの４つの異なるレベルにおいてシステムにカメラにおける位置を追跡可能にする完全なサブピクセルアプローチを有し、一方で、技術に基づく他の全てのオプティカルフローは、特徴点を探索する際に、２つの異なる解像度の画像のみで画素アプローチを悪用する。

〈２．１．３ 第１フェーズ：解析〉
（２．１．３．１ 初期化ステップ）
２つのフレームを取得するために、第１のステップは、ユーザにデバイスを用いて、物理的に／手動で水平移動させることである。アルゴリズムは、ＦＡＳＴＥＲ［１７］と呼ばれるコーナー検出手法を使用することにより、画像内の自然のマーカ（即ち特徴点）を自動的に検出する。ポイントのペア間の対応を発見するために、マッチングが適用される。１つの画像について、全ての検出された点は３次元平面からピクチャへの正確なホモグラフィが演算可能なように、同一の３次元平面に残しておく必要がある。このことは、該３次元平面に係るカメラの回転及び並進を与える。第２のピクチャは同一の原理に従っており、我々は現在のピクチャについてカメラの第２の位置及び並進を取得する。これにより、１つのカメラから他のカメラまでの並進の演算、及び第１の３次元ポイントクラウドを取得することが可能になる。

カメラにより取得された２つのビュー（左及び右）を考える。各ビューについて、ウィットネスカメラは平面上にある点Ｍをターゲットにしていた。Ｍ^L及びＭ^Rは、左と右それぞれのビューにおけるＭの透視投影である。これは
と示すことができ、ここで
・ＲはＭ^LがＭ^Rに関して回転される回転行列である。
・
は、点Ｍが属する平面の法線ベクトルである。
・Ｄは、Ａｘ＋Ｂｙ＋Ｃｚ＋Ｄ＝０のような平面との距離である。

式１におけるＨについての解は次に従う

我々のアルゴリズムは、正確な初期化を行うために４つのコプレーナポイントの最小値が必要である。我々が実際にはそれよりも多くのポイントを有していることは極めてふつうである。これが、我々が全てのホモグラフィについてポイントのセット全体のうちの４つのポイントを使用して、ｎ個の可能なホモグラフィを演算する理由である。そして我々は、実際に可能な最良のホモグラフィを発見し、インライア（inlier）及びアウトライア（outlier）候補のセットを構築するために、ＲＡＮＳＡＣ［４］手法を使用する。アウトライアが却下される一方で、インライアは２つのビューにおける点の投影誤差を最小化するガウス・ニュートン手法により精緻化される。フィルタリングされたポイントセットから演算された最良のホモグラフィを有することで、左及び右のビュー間の回転及び並進行列を推定することが必要である。これは、２つの直交行列Ｕ、Ｖ及び対角行列γへの特異値分解を使用することによって達成される。ここで、行列ＨはＨ＝ＵγＶｔで表すことが可能であり、
そして、
である。

我々が未定のホモグラフィを扱わない場合、式３は２つの解が可能である：
・解１：
そして、
であり、ここで、λ₁、λ₂及びλ₃は式２の行列Ｈの固有値であり、λ₁、λ₂、λ₃のようにソートされ、λ₁≠λ₂≠λ₃が成立する。
・解２：
そして
であり、ここで、λ₁、λ₂及びλ₃は式２の行列Ｈの固有値であり、λ₁、λ₂、λ₃のようにソートされ、λ₁≠λ₂≠λ₃が成立する。

また特徴点のセットに加えて、視点毎にウィットネスカメラが観ているもののスナップショットとして、アルゴリズムは２つのキー位置をキャプチャする。追加のポイントの学習は、常に３つの成分、即ち新たに検出されたポイント、キー位置、及びセクション２．１．３．３で説明されるパッチの合計である。

なお、最後に立体視アプローチの場合には（セクション２．５を参照）、解析フェーズは自動及び即時となる。手動解析は、まだ非常に複雑なケースに使用されるかもしれない（実験的にセットにおいて決定した）が、これは事例のままとする。

（２．１．３．２ ３次元ワールドの自動スケール、原点及び向き）
単眼視調査の間、ワールドが正確な形状及び次元を含む現実のオブジェクトの既存知識またはホモグラフィを演算するための２つのビューの間に使用される距離を必要とするため、該ワールドの正確な原点、スケール及び向きを演算することは不可能である。なお、最後のケースにおいて、これはどのようにしてもワールドの原点または向きを与えることはない。多くのシステムは、この部分を考慮していない。それらはしばしば、ビデオ内で視認可能な３次元オブジェクトの次元を入力することにより、手動でスケーリングを行うようユーザに問い合わせる。他のオブションでは、撮影中に特定のモデリング／アニメーションソフトウェアにおいて３次元仮想キャラクタをスケーリングし、現実世界と適切に調整することをユーザにさせる。しかしながら、それが小さくとも、いかなるスケール誤差も最終的な合成の品質において劇的な影響を有しており、これが（以下の）我々の技術において慎重に達成される理由である。不良のスケーリングの最も一般的に観察された結果の１つは、仮想オブジェクトではなく、完全に地面に取り付けられた状態にもかかわらず、該地面状を仮想オブジェクトがスライドしているような感覚をユーザに与えることである。

我々は、解析を行う際にシーン内の所有している登録オブジェクトを配置することを必要とする新たな手法を提案する。該オブジェクトは、非常によく知られている形状を有し、その全ての寸法も知られているため、自動的に検出される。ユーザインタラクションは全く必要ない。

我々の登録オブジェクトは、図３に示されるように基本的には球と脚であるいくつかのパーツにより構成される。球は、我々のシステムにおいてオブジェクトの重要な形状であり、映像を介してパターンを認識するためにブロブ検出アルゴリズムの使用を許容する。投影された球（即ちサークル）の重心が演算され、全ての球の間の寸法及び距離を正確に知ることにより、システムはワールドについての非常に正確なスケールを提供することができる。また我々は、現実のステージ上のある位置から他の位置まで移動する方がより便利である、登録オブジェクトの平面バージョン（図５の右図を参照）を有する。

これが達成されると、現実映像に例えば１．８０ｍの高さの仮想オブジェクトを配置可能であり、その高さを示し、正しく見えることを保証する。他のアプローチでは、タスクの手動的な態様があるため、このような品質が得られない。

自動スケーリングは、実際には調査自体の間に行われるものであるが、調査の開始時に生じるように、初期化ステップとしても考慮することが重要である。演算されたスケールは、実際に３次元の自然のマーカの正確なセットを構築するために、調査の次のステップで使用されている。以下、調査自体の詳細を見る。

（２．１．３．３ 調査プロセス及びポイントクラウド構築）
調査は、調査デバイスを用いてユーザがシーンを移動することを必要とする。システムは、それが既に学習したものである信頼性に従って、新たなポイントを常に演算し、新たな候補として追加するために、ウィットネスカメラが既存のセットから十分なポイントを見る方法により、調査は常に構築される。

ウィットネスカメラが移動している間、アルゴリズムは４つの異なるレベルの画像ピラミッド（図４参照）において学習した３つのデータセットからなるマップを作成する：
・キー位置。キー位置はウィットネスカメラが見るものの、４つの異なる解像度におけるスナップショットを含む。ピラミッドの低いレベルではウィットネルカメラのオリジナル解像度（我々のケースでは６４０×４８０）である。また、該キー位置は、追跡が誤った場合にカメラ位置を回復するためのアルゴリズムにより使用される。
・キー位置の画像ごとにおいてＦＡＳＴＥＲ［１７］により推定された２次元特徴点のセット。ＦＡＳＴＥＲは、主たる特徴がコーナー検出アルゴリズムである、非常によく知られたアルゴリズムである。また、追跡が失われた場合に十分に高速な回復が保障されるように、キーポイントごとに付与されたＯＲＢ記述子を有している（セクション２．１．４．４参照）。
・前のステップにより検出された全ての特徴点を中心とするパッチ（１６×１６の２次元テクスチャ）のセット。新たなポイントの検出の間、単一のビューからその深度を計算し始める方法はない。これが、パッチが有用であることである。エピポーラ探索（図２、ポイントクラウドビルダーの矩形参照）が、可能な限り近い２つのキー位置について、２つのパッチ間の対応を発見することにより、キー位置の４つの画像に対して適用できる。双方のビューにおいてポイント（即ちパッチ）が検出されると、３次元の特徴点が演算可能である。３次元の特徴点セットはマップと呼ばれる。また２つのキー位置Ａ及びＢの間のこの探索が、ピラミッドＡ及びＢの同一のレベルだけでなくＢのピラミッドのサブレベルを検討することにより達成される（図４参照）と理解することも重要である。

マップ構築の間、カメラは解析オペレータの変位に従って移動する。このとき、われわれのソフトウェアはすでに演算された（即ち追跡された）カメラのパラメータのみを知っている。カメラの新たな位置を演算するために、我々は現在のフレームと自然のマーカの３次元ポイントクラウドとを必要とする。一方で、ＦＡＳＴＥＲは画像ピラミッドのいくつかのレベル（現在のレベル及び現在のレベル＋１）の２次元マーカのセットを演算子、他方で３次元ポイントクラウドは現在のフレームに再投影される。その観点からポイントが再投影されるようにカメラの位置を我々が知っている場合、この最後のステップのみが達成することができる。しかし、それは、まさに我々が演算しようとしているものである。故に、以前に正確に計算された位置を用いてカメラの次の位置を予測するために、我々のソフトウェアは９自由度センサにより提供される情報に関連付けられる不変の速度モデルを使用する。この予測を使用することで、３次元ポイントクラウドは現在のフレームに再投影可能であり、ポイントマッチングアルゴリズムが、ＦＡＳＴＥＲにより検出された２次元のポイント間及び３次元ポイントクラウドの投影されたポイント間の対応を発見するために適用される。２つのマーカセット間の誤差は、この種の問題の最良の最適化アルゴリズムであると知られている、レーベンバーグ・マーカート［１０，１２，１５］アルゴリズムを用いて最小化される。投影されたポイントの総数で割ったマッチ下ポイントの数が所定の閾値より大きい場合、システムは首尾よくカメラの追跡が可能（追跡が良好）であり、新たなキー位置を追加することができる。３次元ポイントクラウドにおいてマッチが発見されなかった、ＦＡＳＴＥＲにより検出された２次元ポイントは、後のユーザのためにそれらに関連する１６×１６の２次元テクスチャパッチとともにメモリに格納される。それらは、新たな３次元特徴点（次のパラグラフ参照）を生成するために必要とされるだろう。

新たなキー位置（及び新たな特徴点）が、３つの条件が満たされる場合に追加される。第１は、前のパラグラフで説明したように、追跡が良好である、即ち十分に正確か、見失っていないことである。第２は、大きすぎるデータセットを構築することを避けるために、キー位置が３０フレームごと（毎秒１回）に追加されること。第３は、新たなキー位置が、再至近のキー位置から最小で１０ｃｍの距離になければならないこと。このことは、安定時にシステムが追加のポイントを学習することを防止する。

これらのテストに全て首尾よく通過している場合、ソフトウェアは新たなスナップショット及び新たな３次元特徴点を追加できる。第１のステップは、新たなフレーム（スナップショット）内に関連する新たな２次元ポイントを検出するために再びＦＡＳＴＥＲを使用することである。我々はトラックからのマッチしない２次元特徴点のセットを有する場合に、「古い」２次元特徴点セットと新たに演算されたセットとをマッチングすることを試みる。このことは、新たなポイントセットの２次元テクスチャパッチを用いる伝統的なエピポーラ探索によりなされる。「古い」ポイントセットの２次元パッチセットとのマッチングを試みるために、パッチはエピポーララインに沿って移動される。エピポーラ拘束のおかげで、２次元ポイントのマッチングから、３次元ポイントの深度を演算することが可能である。これは実際にはホモグラフィフェーズ（セクション２参照）のマッチングステップと同様である。新たなポイントがマップに追加された場合、局所的バンドル調整が適用される。これらの新たな特徴点を用いてカメラの位置及び回転を精緻化した後、レーベンバーグ・マーカート最小化アルゴリズムが全ての特徴点の３次元位置を精緻化するために用いられる。これはｋ＋１のフレームウィンドウにおいてなされる、即ち、カメラの現在位置及び回転を適切に推定するため（局所的バンドル調整）に、最小化が現在のスナップショットと、ｋの再至近のものを加えて考慮する。ｋの値は、実験的に決定される、または最小化アルゴリズムについての所定の誤差閾値に従って適応的に演算される。

また、局所的バンドル調整に加え、大局的バンドル調整が全ての存在するキー位置において適用される。キー位置セットが時間に応じて増大する場合、システムは大域的調整により多くの時間を費やす。新たなキー位置が追加され、我々のソフトウェアが局所的及び／または大域的バンドル調整を行うために十分な時間を有しない場合、新たなキー位置の追加の優先度を放棄するために調整はただキャンセルされる。それらは、新たなキー位置の追加が実行された場合にも再び適用されるだろう。

既存のポイントクラウドがある場合、カメラは追跡可能である。このことは次のセクションで説明する。

〈２．１．４ 第２フェーズ：フィルムカメラ追跡〉
（２．１．４．１ 幾何学的なカメラキャリブレーション）
カメラキャリブレーションは、いくつかの到達点を有する。１つのケースでは、画像がセンサ上にどのように生成されたかを記述するための数学的関係を与える。別のケースでは、３次元ポイントとカメラのイメージプレーンへのこれらの投影との間の変換行列を演算する。

解析及び追跡プロセスの重要な前提条件は、我々が２つの異なる種類の特性、即ち内因性及び外因性のパラメータを演算する必要があることである。内因性パラメータは、カメラ及びレンズ特性に関しており、これらは物理的に構築される方法に応じて変動する。これらは、画像フォーマット、カメラの光学中心と画像プレーンとの距離、及び主点を包含する。画像フォーマットは、画素間の距離に係る２つのスケールファクタにより構成される。主点は、画像プレーンへの光学中心の投影（理想的には画像の中心）である。それに加え、いくつかのレンズは、それらの光学歪みが追跡のために演算され考慮される必要がある。キャリブレーションプロセスの間、いくつかのサークルパターンを有する平面が、カメラにより連続して取得される（図５参照）。全ての位置について、外因性パラメータ（即ち、カメラの位置及び回転）及び内因性パラメータ（光学歪みを含む）が、全てのスナップショット間の投影誤差を最小化するレーベンバーグ・マーカート最小化アルゴリズムを用いて演算される。

該プロセスは、Ｄｅｖｅｒｎａｙ及びＦａｕｇｅｒａｓの研究［３］に基づく著名な技術である。

（２．１．４．２ フィルムカメラオフセット）
ここで開発された大域的システムは、対象のフィルムカメラに直接的に取り付けられた追跡デバイスを配置する必要がある。ウィットネスカメラの位置及び向きは、事前に記述した追跡技術を用いて推定される。しかしながら、フィルム及びウィットネスカメラの双方に同一のパターンを使用することによりスケールの問題は存在する。実際、我々のウィットネスカメラは１８０度のレンズを用いる場合、キャリブレーションパターンのサークル形状は、ウィットネスカメラビューにおいて非常に小さく現れる傾向にあり、検出が困難となっている。

我々は、２つの異なるサイズ及びコントラストのパターンにより構成される、我々のキャリブレーションチャートを作成している。該チャートの一部は、（ウィットネスカメラのために）純粋な白の背景上に純粋な黒のサークルを有する。チャートの別の部分は、（フィルムカメラのために）純粋な黒の背景上に純粋な白のサークルで構成される。ウィットネス及びフィルムカメラについて、双方のパターンを発見するための非常に単純なパターン検出器を用いる。我々は両パターンの正確な相対位置を知っているため、フィルムカメラの位置及び回転は、ウィットネスカメラの演算された位置及び回転を「伝搬する」ことにより認識され、また逆も同様である。実際、両カメラは共に直接的に取り付けられるため、それらの３次元オフセット（Ｒ，Ｔ）を正確に演算するために、我々はラインナップアルゴリズムを利用できる。我々は、既に説明したサークルパターンに基づいてラインナップアルゴリズムを開発している。正確なサイズ、形状及び位置が既知であるパターンは双方のカメラにより分離して認識されるため、ウィットネスとフィルムカメラ間の自明な数学的関係（回転及び並進）は上昇する。

（２．１．４．３ 追跡フェーズ）
追跡プロセスからの解析の分離は、システムがセットにおいてどのように用いられているかを記述する唯一の実用的な手法である。実際、追跡プロセスは図２において説明された追跡と異なるものではなく、解析の間使用される。しかしながら、それは、明確な理由のためにタッチスクリーンを有さない点を除いて、調査デバイスに非常に近い単純な装置（図６参照）を用いる。

図２の視覚的追跡の矩形は、新たなフレームにおいてＦＡＳＴＥＲにより検出された２次元の自然のマーカと既存の３次元ポイントクラウドとの間でマッチングがどのようであるか認識されることを示す。自然のマーカごとに関連付けられ、双方のデータセットからくる２次元のテクスチャパッチが直線的に比較される。全ての特徴点が処理されると、可能な限り最良のマッチングを発見し、カメラの位置及び向きを演算するために、ガウス・ニュートンアルゴリズムが適用される。このような最小がアルゴリズムは、解に収束するために、通常１０回程度の繰り返しを必要とする。最小化するための基準のロバスト性を向上させるために、我々はTukeyの統計的なＭ推定器（M-Estimator）（最大尤度型推定器）［６］を利用する。また、このことは、収束が外れ値によって崩壊しないことを保証する。

全ての追跡は、カメラの最終パラメータの取得前に、２回、ピラミッドの２つの異なるレベルについてなされる。１回目では、画像ピラミッドの新井レベルにおいてカメラの位置及び向きの近似が演算され、自然のマーカのサブセットが使用されることにより、アルゴリズムの収束が大幅に上昇する。２回目では、最終の正確な結果を得るために、はるかに大きいセット（約２０倍大きい）において前回の近似をマージして、同一の演算が実行される。

（２．１．４．４ 追跡失敗及び回復）
現実のセットにおいてカメラ追跡が行われている間、視覚的追跡が失われる多くの状況が生じうる。これは例えば、人がウィットネスカメラの前にいる場合や、オブジェクトによってバーが単純に隠れた場合にしばしば生じる。我々が視覚的追跡を失う全てのケースについて、３つの異なる回復スレッドが同時に開始され、最初に回復が得られた１つが採用される。

拡張カルマンフィルタの予測機能（セクション２．３．２参照）を使用することで、まずＥＫＦ予測パラメータから探索を開始し、カメラ位置回復を試みることができる。実際、ＥＫＦは予測補正アルゴリズムであるため、位置が実際に動く前に、カメラの次の位置がどのようになるかを常に推測するよう試みている。予測が正しかった場合、即時に回復を得ることができる。実施において、ウィットネスカメラが隠された場合及びシステムがＩＭＵを用いて追跡している場合、予測は良好に動作した。しかしながら、ウィットネスカメラが隠れている間にフィルムカメラの顕著な並進があった場合は、しばしば失敗する。

回復の第２のレベルは、非常に異なる。全ての特徴点は、ＯＲＢ（Oriented FAST and Rotated BRIEF）技術［１８］に従って関連付けられた回転不変記述子を有している。Ｈａｒｒｉｓスコア［５］に関連するマルチスケール特性（即ち、画像ピラミッドの異なるレベルにおける。図４参照）を演算するために、それはまず、著名なＦＡＳＴ［１６］技術に依存する。記述子の向きは、高度中心を用いて演算される。第２の記述子は、キーポイントのむきに従って回転されるＢＲＩＥＦ記述子［２］を示すｒＢＲＩＥＦである。これら２つの記述子を用いることで、我々の技術は標準的な視覚的追跡技術が失敗した位置から回復することができる。例えば何らかの理由で視覚的追跡が失われた場合を考える。ここでは、見失われている間に、並進とカメラのＺ軸周りに９０度の回転があったと仮定する。該カメラにより見える現在の画像は、以前に全く学習していないが、我々が追加したキー位置及び以前に学習したキーポイントの方向をまだ指している。しかしながら標準的な回復プロセスは回転不変ではないため、これらのシステムは追跡の回復に失敗する。我々のケースでは、全てのキーポイントに関連付けられた回転不変記述子の使用は、フィルムカメラが以前の位置のどこかに指し示されると、（強引なマッチング技術を用いて）素早く回復可能である。

最後に、３番目の回復スレッドは、より野蛮かつ演算面で激しいものである。楕円体（３次元の楕円体）が最後の既存のカメラ位置の周囲に構築される。該楕円体は、拡張カルマンフィルタではなく演算されたパラメータ共分散で作られたサイズを有する。複数のサンプルが、ＥＫＦの誤差の共分散に従って該楕円体の内部に生成される。探索されたカメラ位置及び回転について可能な限り最良のマッチングを発見するために、ＲＡＮＳＡＣアルゴリズムがそのセットに適用される。

《２．２ 動的ズーム、フォーカス及びアイリス》
大域的追跡プロセスの間、例えばディレクタや撮影監督はシーン内のキャラクタ／オブジェクトにズームまたはフォーカスすることを決定するかもしれない。我々の技術は、Ａｒｒｉにより提案されたようないくつかの標準的なエンコーダを統合するだけでなく、リアルタイムにズーム、フォーカス、アイリス値を取得するために任意の他のエンコーダを取り扱うことを可能にする。このことは、セットにおける動的なズーム及び被写界深度を可能にする。

《２．３ センサフュージョン技術》
純粋な光学ベースのマーカレス技術の全ては、多くの状況で追跡に失敗しうる。最も一般的なケースは、ウィットネスカメラの現在のビュー内に、自然のマーカが十分に存在しなくなってしまうことである。例えば、ユーザがレンズを手で隠さないように注意を払っているような理想的な状況では、これはめったに生じない。実際のセットでは、カメラクルーはレンズの変更やカメラ用具の変更、レンズの相似、他の撮影場所への移動等を必要とするため、たやすくこのような状況は頻繁に発生する。標準なマーカベースまたはマーカレス（オプティカルフローベース）の技術において、このことは、カメラの位置及び回転の良好な推定の発見をすることを、追跡システムにできないようにする。

我々は、複数のセンサ、即ちウィットネスカメラ、ジャイロスコープ、加速度計、及び磁気計を用いてウィットネスカメラの位置及び回転を自動的に補正するセンサフュージョン手法を生成している。該技術は、我々の技術の核心である。

第１のステップはシステムのキャリブレーション、即ちウィットネスカメラに相対して９自由度のＩＭＵをキャリブレーションすることである。それは、全てのセンサが実際にいくつかの基準において動作するかを確実にするための重要なステップである。９自由度のセンサとウィットネスカメラとの関係は、手と目の技術［２０］に近いが、我々の追跡アルゴリズムに適合させるように、我々はいくつかの興味深い科学的貢献を追加している。

〈２．３．１ ＩＭＵ−ウィットネスカメラキャリブレーション〉
９自由度センサ（ＩＭＵ）から２つのウィットネスカメラ（Ｃ）のうちの１つへの回転を演算する変換Ｒ_IMU→Cを考える。Ｒ_IMUはその局所基底において基地であり、Ｒ_cも我々の局所基底において既知である。Ｒ_c＝Ｒ_IMU→C・Ｒ_IMUについてＲ_IMU→Cを解くことが目標である。

ＩＭＵとカメラとの関係が時間によらず変化しない（これらが双方固定のカメラバーで取り付けられている）場合、Ｒ_IMU→Cは常に一定となることが保証される。

故に、ｔ_i,ｉ［０，ｎ］について
と記すことができる。

我々は以前の式から、
と推測することが可能である。ここで、
の関係が成り立つ。

ジャイロスコープ及び視覚的追跡により得られる回転計測結果は同一であるはずである。故に、Ｒ_IMUとＲ_cは、異なる基底であるが、同一の回転角度を示すと考えることが論理的である。Ｌｏｇ：ＳＯ（３）→ｓｏ（３）として定義される、Ａｌｇｅｂｒａ Ｌｉｅの回転行列のログマップを用いることで、行列Ｒ_cを
で示される軸角度
に、ｔｒ（Ｒ_c）が
のような行列のトレースであることを用いることで、変換することができる。

我々は、以下の過剰決定方程式系（overdetermined equation system）
を示すことができる。

任意の過剰決定系のように、特異値分解（ＳＶＤ）Ｓ＝ＵσＶ^tを用いて先の矩形行列を解くことができる。ここでＵは、固有ベクトルＳ・Ｓ^tのｍ×ｎの行列、Ｖは固有ベクトルＳ^t・Ｓのｎ×ｎの行列、及びＤはＳの順序付けられた特異値のｎ×ｎの対角行列である。

方程式の以前の解放は、測定結果からのノイズに支配される。故に、我々は誤差を最小化するために、レーベンバーグ・マーカート最小化方式を適用する：
ここで、ＩＭＵとウィットネスカメラとの数学的関係を有しているため、全てのセンサの最良を抽出し、フィルムカメラの回転及び並進を演算するために、拡張カルマンフィルタを全ての計測結果に投入することが可能である。

〈２．３．２ 拡張カルマンフィルタ〉
拡張カルマンフィルタ（ＥＫＦ）は、航空宇宙及びロボティクスの研究分野において、複数の異なるセンサからの様々なデータを結合するための、非常によく知られた技術である。これは、推定誤差を演算し、２つのフェーズ、即ち予測及び補正を適用することにより、ノイズの乗った計測結果から非線形系のパラメータを推定するために本質的に用いられる。予測フェーズにおいて、以前のタイムステップにおいて推定されたパラメータ及び誤差を用いて、カルマンフィルタはあるタイムステップの新たなパラメータと関連する誤差とを演算する。補正フェーズは、新たなノイズ測定を使用して該予測を更新する。これらの新たな測定は、予測されたパラメータ及び誤差から、新たに推定されたパラメータ及び誤差を演算することを可能にする。誤差がある閾値より大きい場合、パラメータは補正される。

ここで、我々のケースでは、３次元回転に関連する複数の計測結果（ジャイロスコープ＋ウィットネスカメラ）があり、これらは容易に補間できないため、ＥＫＦは非常に特別な手法で開発される。

我々の技術についてのＥＫＦのアイデアは、全ての測定結果（ウィットネスカメラ、ジャイロスコープ、磁気計、加速度計）に信頼値を入力し、最良の信頼スコアを得るセンサを用いて現在の推定位置及び回転を繰り返し補正することである。実際のところ、ＥＫＦはこれよりも少し複雑であり、非線形系についての予測・補正アルゴリズムとして数学的に記述されうる。タイムステップｔにおける状態ベクトル
を考慮すると、
になるベクトル
の新たな状態を予測するために、アルゴリズムは我々の移動方程式の現在の物理モデルを提供する。そして補正フェーズは、タイムステップｔ＋Δｔにおける新たな状態ベクトル
を生成する。

ＥＫＦモデルは我々のケースでは以下のように示される：
ここで、ｈは我々の観測に係る状態方程式であり、Ｘｔは大域基底における並進、回転、並進速度、角速度であり、ｆは状態ベクトルの更新関数である。またＢはシステムにおける大域的なノイズである。

（ｈの定義）
一方で、我々がマーカレス視覚的追跡（即ち、ここではウィットネスカメラ）からの計測結果をｈ_witnessとし、他方でＩＭＵからの計測結果をｈ_IMUとして考えた場合、我々はｈが観測可能な２つの種類ｈ_witness及びｈ_IMUより構成されるといえる。定義によれば、ｈは自明な関数であり、その一般的な形式は、Ｙ_witness（ｔ）＝Ｘ（ｔ）及びＹ_IMU（ｔ）＝Ｘ（ｔ）と識別することにより得られる。計測を送信するセンサの種類に応じて、我々は２つの異なるバージョンのｈを記述しており、視覚的追跡ケースにおける式１１は
として書き換えることができる。

Ｙ_witness（ｔ）．｛α∈Ｔ，Ｒ，Ｖ，Ω｝は、タイムステップｔにおける、並進（Ｔ，in meters）、回転（Ｒ，in radians）、速度
、及び角速度（Ω，in rad・ｓ^-1）についての視覚的追跡の観測可能な
である。

センサがジャイロスコープである場合、式１１は
となる。

Ｙ_IMU．｛α∈Ｒ，Ω｝は、タイムステップｔにおける回転（Ｒ，in radians）及び角速度
についてのＩＭＵの観測可能な値である。９自由度センサを用いて計算可能な並進または速度は全くない。

（ｆの定義）
ここで
は、タイムステップｔ＋Δｔにおける予測された状態ベクトルであり、
はタイムステップｔにおいて推定された状態ベクトルである。

関数ｆは、状態ベクトルの更新関数であり、
として定義される。

なお、カルマンフィルタの標準の更新関数は、回転行列が補間できないため我々のケースでは使用できず、線形形式Ａ・Ｘ＋Ｂで書かれる。

（予測ステップ）
予測ステップは、カルマンフィルタの定義を用いて
として書かれる。ここで、
・
はタイムステップｔ＋Δｔにおける予測誤差の共分散行列
・Ｐ_tはタイムステップｔにおける誤差の共分散行列
・Ａは、
がｆのヤコビアン行列であり、階差
の総和として算出されるような遷移行列
・Ｑは状態ベクトルのノイズの１２×１２の行分散行列である。並進状態ベクトルのノイズは発見的に１ｅ^-2であり、回転状態ベクトルのノイズは１ｅ^-3である。

（補正ステップ）
カルマン定義に従って、我々のケースの補正は
として書かれる。ここで、
・Ｉは恒等行列
・Ｋ（ｔ＋Δｔ）はタイムステップｔ＋Δｔにおけるカルマンゲイン
・Ｈは関数ｈのヤコビアン行列であり、それ自体は現在の選択されているセンサに応じてｈ_witnessまたはｈ_IMUとなる。
我々のケースでは、ヤコビアンは階差
の総和として演算される。
・Ｕ（ｔ＋Δｔ）は現在選択されているセンサ（ウィットネスカメラまたはＩＭＵ）のノイズ計測結果の共分散行列である。該値は、計測の品質（信頼値）に応じて変わる。視覚的追跡のケースでは、追跡誤差εに依存し：
となる。
ノイズ誤差は全てのセンサについてメーカにより直接提供されるため、ＩＭＵについてＵ（ｔ＋Δｔ）を決定することは容易である。先の式は、これらの誤差により直接置換される。
・Ｐ（ｔ＋Δｔ）はタイムステップｔ＋Δｔにおける誤差の共分散行列
・Ｖ及びΩは、速度ベクトル
及び角速度Ωそれぞれの行列表現
・また式２０のＪ_witness｜ＩＭＵは、センサの種類に従って
と書かれる。
・ｙ（ｔ＋Δｔ）は選択されたセンサにより与えられる現在の計測結果である。ｙ（ｔ＋Δｔ）．（α∈｛Ｒ，Ｔ，Ｖ，Ω｝）は、並進、回転、速度、角速度それぞれの計測結果である。Ｊ（α∈｛Ｒ，Ｔ，Ｖ，Ω｝）はカルマンイノベーションとして知られる。

《２．４ ３次元再構成及び深度入力》
リアルタイム３次元再構成は、我々のカメラバーに統合された３次元範囲センサを用いて達成される。該範囲センサは、パターン投影型デバイス（例えばMicrosoft Kinect, Asus Xtion）や（例えば高度な科学的コンセプトのTigerEyeのような）Flash Lidarとして知られるＴＯＦ（time-of-flight）方式カメラであってよい。両技術は制限を有し、我々の技術は、現在は短い範囲のセンサにAsus Xtionのみを使用している。従来通り、キャリブレーションのステップは、ウィットネスカメラに相対してAsus Xtionの位置を知ることが必要である。ラインナップを我々はウィットネスからフィルムのラインナップに対して、全く同様の技術を単純に使用する（セクション２．１．４．２参照）。範囲センサがグレースケールカメラを有する場合、我々のキャリブレーションパターンが双方のカメラ、即ち範囲センサのカメラ及び我々のウィットネスカメラのうちの１つ、において検出されるように使用することができる。該プロセスは、非常に簡単であり、２．１．４．２と同様である。

我々の技術では、範囲センサは２つの目的に使用される。一方において、例えばオブジェクトの後ろに離れて生成された不良な特徴点の削除を補助する。範囲センサの深度マップにおいて特徴点の単純な再投影は、特徴点が正しいか否かを教示し得る。立体視追跡の間（セクション２．５参照）、エピポーラ幾何学により生成された全てのポイントは、エピポーララインにより与えられる推定よりも近いか遠いかである。我々は、精度を拡張するまたは単純に却下するために、再構成された３次元ポイントと、範囲センサの深度マップへの再投影された現在の値とを比較する。

範囲センサの２つ目の使用は、深度マップ自体に依存する。深度の最大範囲が１２ｍと与えられる場合、我々は仮想キャラクタ／オブジェクトにより、該範囲のセットに入る全ての人間（俳優）を遮蔽すること、またその逆も可能である。これは、動的遮蔽と呼ばれ、動画や生放送における視覚効果についてのリアリズムのレベルを上昇させる。我々の技術は、フィルムカメラに深度を再投影し、その結果（エッジ強調）を精緻化することにより、範囲センサの分解能を拡張するために、メインフィルムカメラのフィードに使用する（またこのことは、付加的な高解像度のウィットネスカメラを追加することも達成し得る）。このような技術は、リアルタイム深度入力を提供可能であり、特により強力な範囲センサ（Flash Lidar）が使用される場合に、義務的なグリーンスクリーンの使用を低減する。

《２．５ 立体視マーカレス技術》
単眼視アプローチを用いる上述した技術は、実際には現実の状況において十分に効率的ではない。ワールドのスケール、向き、及び位置を演算するために登録されて用いられる既知の現実のオブジェクトが必要な場合、あなたが該オブジェクトを登録（検出）しようとする際に、多くの人があなたのパス上に常に存在するような動画においては使用しにくい。しかしながら、単眼視アプローチの主な制約は、シーンの解析をするために必要な事実である。ホモグラフィは、システムの初期化に使用されなければならないため、技術者が解析を開始するためにセットに来なければならないことを意味する。実際には、このようなオペレーションは、セットで作業する人間が直前まで場所を離れないため、達成されることはまれである。

我々は、制約を除外し、即時解析と追跡の、完全にオリジナルの概念を実現する、立体視アプローチを構築した。

〈２．５．１ 即時解析〉
カメラ追跡に組み込まれた立体視技術は、上述した単眼視アプローチを含む任意の他の技術に比較して、大きな進歩である。実際、２つの事前キャリブレーションされたウィットネスカメラの使用はいくつもの利点をもたらした。まず１つが即時解析である。単眼視アプローチにおいて説明した技術とは異なり、シーンについて事前の解析は必要ない。２つのウィットネスカメラ間の正確な距離が完全に判明しており、これらが内部のジェンロック（genlock）ハードウェア能力を用いて同調するため、我々はバーを動かすことなく即時にポイントクラウドを得ることができる。ポイントの３次元再構成が２つのウィットネスカメラを用いた立体視理論により実現されるため、パラグラフで説明したホモグラフィはもはや使用されない。第２の主な点は、手動のスケーリングが必要ないことである。２つのビデオストリームの取得中、エピポーラ幾何学により推定された３次元ポイントの投影と、現在の映像において検出された２次元の特徴点との間の画素誤差の総和を最小化するために、我々はレーベンバーグ・マーカート最小化方式を実行する。

〈２．５．２ 自動登録〉
即時解析を使用する場合、単眼視アプローチで検出されたような登録オブジェクトを使用することが不可能である新たな問題が生じる。該制限の主な理由は、カメラバーがフィルムカメラに直接取り付けられており、登録オブジェクトを学習するために該カメラを順次移動させるようカメラクルーに頼むことが不可能であるという事実からくる。これが、シーンに追加される任意の物理的なオブジェクトを必要としない第２の自動登録を追加した理由である。しかしながら、ポイントクラウドを用いる２つの異なるインタラクション、即ち地面の基準として使用する予定の点がいずれであるかをシステムに伝えるためのポイント選択、及びシーンに相対してＣＧコンテンツを適切に順応させるためにＹ（垂直方向）軸周りの手動回転をユーザに行わせる必要がある。

これら２つの非常に高速かつ単純なユーザインタラクションのみを行わせるために、我々は他の全ての自由度を演算する必要がある：これは完全な垂直のＹ軸を有する正規直交基底と正確なスケーリングを演算することを意味する。我々の技術は、重力方向、即ちＹ軸を演算するために、バー内に組み込まれた加速度計を単純に利用する。磁気計は北方向を与え、通常の外積を用いて正規直交基底を演算可能にする近似ベクトルを提供する。

スケーリングは、演算することはより容易である。それは完全に即時で自動であり、いずれのユーザインタラクションも必要としない。ウィットネスカメラ間の距離が正確に判明している場合、３次元に再構成された全てのポイントは正しいスケーリングを直接的に有し、通常の純粋なstructure from motion（ＳＦＭ）アルゴリズムのように追加のオブジェクトの検出を必要としない。

〈２．５．３ 即時追跡〉
追跡処理は、セクション２．１．４．３の単眼視アプローチについて説明したものとはわずかに異なる。３次元特徴点のスケール及び深度が常に正しいことを保証するエピポーラ幾何学を使用することにより、全ての新たな点が生成される。このことは、我々のシステムが開始されると、ライトスピードで正確な即時解析により既に追跡されている。

追跡処理の最大の安定性を保証するために、我々は左及び右のカメラから見える再投影された３次元ポイントの全ての集合を演算する。ポイントクラウドは、特徴マッチング（セクション２．１．４．４参照）のためにＯＲＢ記述子と組み合わせられた、エピポーラライン上の３次元交点により単純に生成される。特徴マッチング及び大局的最小化方式は、単眼視アプローチにおいて使用されたものと同様である。

即時解析に依存可能にするために、我々はポイントクラウド内に新たなポイントを構築する、高度な変更を行っている。ポイントの立体再構成に加え、我々は、グリッド分散及び特徴点の一貫性の概念を追加している。通常の追跡アルゴリズムの間、２次元特徴検出アルゴリズムが起動され、セクション２．１．３．３及び２．１．４．４で説明したように３次元にポイントが再構成される。しかしながら、これらのポイントの多くは信頼性に欠け（不良な深度、エッジポイント、移動ポイント、陰影のポイント等）、アルゴリズムは高コントラスト領域において多くのポイントの学習を行い、低コントラスト領域において何も学習しない傾向にある。このことは、追跡データにおいて、カメラが揺れたような感覚を与える多くのノイズを生成する。我々が作成したグリッド分散技術は、システムにより学習された自然のマーカが略均一となるように分散することを試みている。まず、多くの特徴点を生成するために、我々は非常に高い閾値を使用することにより開始する。そして、Ｈａｒｒｉｓスコアを使用し、ユーザにより与えられた閾値（例えば１６×１６のグリッドで、各セルに２つのサンプル）に応じて特徴点の数を低減する（例えば我々は２つの最良のポイントを選択する）。ポイントごとに、どの程度信頼できるかを示すために用いられる品質基準を有する。均一性が十分でない場合、低コントラスト領域であってもポイントが捕捉できることを保証するように、システムはコントラスト閾値を局所的に変更する。我々のアルゴリズムがピクチャに渡って特徴点を分散する事実は、システムが容易に追跡を失うことを防止する。実際、我々のようなグリッド分散技術を使用しない通常の単眼視アプローチは、例えばピクチャの左下部分に多くの追跡点があるかもしれない。そして、俳優がこれらの自然のマーカの全てを隠すような位置に入った場合、追跡は即座に失われるが、我々のケースでは、ピクチャ全体に特徴が分散するため、このようなことは生じない。

《２．６ 現実世界の拡張》
〈２．６．１ カメラ／ウィットネス遅延問題〉
フィルムカメラとウィットネスカメラとが異なるスピードで実行される場合、フレーム取得プロセスにおいて異なる遅延が生じうる。適切に現実世界を拡張するために、フィルムカメラは、実際に演算するために強制的にはるかに高い遅延を生じる。

２つのカメラ間の遅延を自動的に演算するために、我々は独自のキャリブレーションデバイスを使用する。１Ｈｚで明滅する小型の太陽光ＬＥＤが、双方のカメラの前面に使用される。強度閾値技術により拡張されたブロブ検出アルゴリズムが、双方のカメラのＬＥＤを検出するために開発された。カメラにおけるＬＥＤ強度の取得から生成された関連する強度曲線が、サンプル間の最良の時間的一貫性を発見するために、最小化アルゴリズムを用いて比較される。これによりいくつかの統計パラメータが最小化され、ミリ秒内の遅延が約１０秒前後のキャリブレーションから自動的に抽出される。

〈２．６．２ 描画及び拡張現実〉
我々がカメラ追跡動作を行うと、我々のソフトウェアは例えばAutodesk MotionBuilderのような様々なＣＧコンテンツ生成ソフトウェアからのデータを受信しうる。これらのデータは、現実の背景または前景（グリーンステージの場合）に合成されるように、直接的に統合され、我々のソフトウェア内で描画される（追跡及び描画ワークステーションが統合されている場合。図１参照）。

我々の技術固有の他の興味深い特徴は、３次元ガーベジマッティングである。ガーベジマッティングは確かに我々の発明ではないが、我々のケースでは革新的な手法で実行される。実際、我々の追跡アルゴリズムは（立体視アプローチにより）正確な３次元ポイントクラウドを生成するため、これらのポイントはフィルムカメラ映像に再投影された場合に、３次元及び２次元の再構成をもたらす。我々は、３次元ポイントクラウド内で複数の点をユーザが選択可能な、シンプルなユーザインタフェースを開発した。そして我々は、Ear Triangulation algorithm［１４］を用いて、全ての選択されたポイントを三角形にすることにより３次元オブジェクトを生成する。この新たな面生成は、ガーベジマッティングオブジェクトとしてアクティブにされる、即ちフィルムカメラ映像上へのオブジェクトの２次元投影によりおおわれる画素ごとに、３次元コンテンツ生成ワークステーション（図１参照）により生成された３次元仮想環境によって置換されることを意味する。なお、法範囲（即ち少なくとも５０ｍ）の深度センサを使用する場合、ガーベジマッティング技術は、我々の深度入力方式が容易に置換するため、不要になる（セクション２．４参照）

［添付資料１］
参考文献
［1］ Herbert Bay, Tinne Tuytelaars, and Luc Van Gool. Surf: speeded up robust features. In Proceedings of the 9th European conference on Computer Vision - Volume Part I, ECCV'06, pages 404-417, Berlin, Heidelberg, 2006. SpringerVerlag.
［2］ Michael Calonder, Vincent Lepetit , Christoph Strecha, and Pascal Fua. Brief: binary robust independent elementary features. In Proceedings of the 11th European conference on Computer vision: Part IV, ECCV'lO, pages 778-792, Berlin, Heidelberg, 2010. Springer-Verlag.
［3］ Frederic Devernay and Olivier Faugeras. Straight lines have to be straight. In SPIE7 volume 2567, 2001.
［4］ Martin A. Fischler and Robert C. Bolles. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography. Communications of the ACM , 24(6):381-395, 1981.
［ 5］ Chris Harris and Mike Stephens. A combined corner and edge detector. In In Proc. of Fourth Alve y Vision Conference, pages 147-151, 1988.
［6］ D.C. Hoaglin, F. Mosteller, and J.W. Tukey. Understanding Robust and Exploratory Data Analysis. Wiley series in probability and mathematical statistics: applied probability and statistics. John Wiley and Sons, 1983.
［7］ Rudolph Emil Kalman. A new approach to linear filtering and prediction problems. Transactions of the ASM E-Journal of Basic Engineering, 82(Series D):35-45, 1960.
［8］ Georg Klein and David Murray. Parallel tracking and mapping for small ar workspaces. In Proceedings of the 2007 6th IEEE and ACM International Symposium on Mixed and Augmented Reality, ISMAR '07, pages 1-10, Washington, DC, USA, 2007. IEEE Computer Society.
［9］ J. J. Leonard and Durrant H. Whyte. Mobile robot localization by tracking geometric beacons. IEEE Transactions on Robotics and Automation, 7(3), 1991.
［10］ K . Levenberg. A method for the solution of certain problems in least squares.Quart. Appl. Math, 2:164-168, 1944.
［11］ David G. Lowe. Object recognition from local scale-invariant features. In Proceedings of the International Conference on Computer Vision- Volume 2 - Volume 2, ICCV '99, pages 1150-, Washington, DC, USA, 1999. IEEE Computer Society.
［12］ D. Marquardt. An algorithm for least-squares estimation of nonlinear parameters. SIAM J. Appl. Math, 11:431-441, 1963.
［13］ Christopher Mei, Gabe Sibley, Mark Cummins, Paul Newman, and Ian Reid. Rslam: A system for large-scale mapping in constant-time using stereo. Int. J. Comput. Vision, 94(2):198-214, September 2011.
［14］ Gary Hosler Meisters. Polygons have ears. Amer. Math. Monthl y, 82:648-651, 1975.
［15］ J. J. More'. The Levenberg-Marquardt algorithm: implementation and theory,pages 105-116. Lecture Notes in Mathematics 630. SPRINGER, 1977.
［16］ Edward Rosten and Tom Drummond. Machine learning for high-speed corner detection. In Proceedings of the 9th European conference on Computer Vision- Volume Part I, ECCV'06, pages 430-443, Berlin, Heidelberg, 2006. SpringerVerlag.
［17］ Edward Rosten, Reid Porter, and Tom Drummond. Faster and better: A machine learning approach to corner detection. IEEE Trans. Pattern Analysis and M achine Intelligence, 32:105-119, 2010.
［18］ . Ethan Rublee, Vincent Rabaud, Kurt Konolige, and Gary Bradski. Orb: An efficient alternative to sift or surf. In Proceedings of the 2011 International Conference on Computer Vision, ICCV '11, pages 2564-2571, Washington, DC, USA, 2011. IEEE Computer Society.
［19］ Ivan E. Sutherland. A head-mounted three dimensional display. In Proceedings of the December 9-11, 1968, fall joint computer conference, part I, AFIPS '68 (Fall, part I), pages 757-764, New York, NY, USA, 1968. ACM.
［20］ Roger Y. Tsai and Reimer K. Lenz . A new technique for fully autonomous and efficient 3d robotics hand-eye calibration. In Proceedings of the 4th international symposium on Robotics Research, pages 287-297, Cambridge, MA, USA, 1988. MIT Press.
［21］ J.K. Ulhmann. Algorithms for multiple target tracking. American Scientist,80(2):128-141, 1992.

Claims (60)

1. テレビ放送、映画またはビデオゲーム用のリアルタイム拡張現実映像を生成するために、コンピュータ生成された３次元オブジェクトとビデオカメラのようなフィルムカメラからの映像フィードとをリアルタイムに混合または合成するシステムであって、
   （ａ）
   前記フィルムカメラのボディは、３次元に移動可能であり、
   前記フィルムカメラ内もしくは前記フィルムカメラに直接的または間接的に取り付けられたセンサが、前記フィルムカメラの３次元位置及び３次元向きを定義する、あるいは前記フィルムカメラの該３次元位置及び３次元向きを算出可能にするリアルタイム位置データを提供し、
   （ｂ）前記リアルタイム位置データは、コンピュータ生成された３次元オブジェクトを生成、リコール、描画または変更するために前記システムにより自動的に用いられ、
   （ｃ）結果として得られる前記コンピュータ生成された３次元オブジェクトは、テレビ放送、映画またはビデオゲーム用の拡張現実映像を提供するために、前記フィルムカメラからの前記映像フィードに混合または前記映像フィードと合成される
   ことを特徴とするシステム。
2. 前記コンピュータ生成された３次元オブジェクトは、前記フィルムカメラからのリアルタイム映像にリアルタイムに混合または該リアルタイム映像とリアルタイムに合成されることを特徴とする請求項１に記載のシステム。
3. 前記フィルムカメラのズーム、フォーカス及び絞りのリアルタイム設定が、従来のエンコーダを用いることも含んで計測され、３次元シーン内に所望の位置及び向きで前記３次元オブジェクトが正確に描画されるように、前記リアルタイム位置データとともに用いられることを特徴とする請求項１または２に記載のシステム。
4. 前記センサが、加速度計及びジャイロ（６自由度センサ）を含むことを特徴とする請求項１乃至３のいずれか１項に記載のシステム。
5. 前記センサが、３次元の並進加速度を計測する３軸の加速度計、３次元の角速度を計測する３軸のジャイロ、及び３次元の絶対方位を計測する磁気計を含み、９自由度のセンサを構成することを特徴とする請求項１乃至４のいずれか１項に記載のシステム。
6. 前記センサが、パターン投影型（structured light）カメラまたはＴＯＦ（time-of-flight）方式カメラのような３次元範囲センサを含むことを特徴とする請求項１乃至５のいずれか１項に記載のシステム。
7. 前記３次元範囲センサは、前記カメラからの映像出力の各画素の深度を取得することを特徴とする請求項６に記載のシステム。
8. エッジの深度は、前記フィルムカメラの高解像度映像フィード上に前記３次元範囲センサの深度を再投影することにより精緻化されることを特徴とする請求項７に記載のシステム。
9. 前記センサが、前記フィルムカメラに確実に固定可能なユニット内に形成されることを特徴とする請求項１乃至８のいずれか１項に記載のシステム。
10. 前記ユニットが、１つまたは２つのウィットネスカメラを含むことを特徴とする請求項９に記載のシステム。
11. 前記ユニットが、映像出力の各画素の深度を取得する３次元範囲センサを含むことを特徴とする請求項９に記載のシステム。
12. 前記ユニットが、複合的シーンを解析可能な解析装置を形成可能であり、追跡するまたは該シーンの追跡を回復するコンピュータに、解析した３次元シーンを定義するデータを無線送信することを特徴とする請求項９に記載のシステム。
13. １８０度魚眼レンズであってもよいレンズが装着された、単一のウィットネスカメラ（単眼視ケース）または２つのウィットネスカメラ（立体視ケース）を含むことを特徴とする請求項１乃至１２のいずれか１項に記載のシステム。
14. 前記ウィットネスカメラは前記フィルムカメラからオフセットされ、
    該オフセットが、各々が１以上の他のサークルについての既知の位置内にあってブロブ画像アルゴリズム（blob image algorithm）を用いて認識される、第１及び第２のサークル群を含むキャリブレーションチャートを用いて取得される
    ことを特徴とする請求項１３に記載のシステム。
15. 前記フィルムカメラのレンズは、各々が１以上の他のサークルについての既知の位置内にあってブロブ画像アルゴリズムを用いて認識される、いくつかのサークルを含むキャリブレーションチャートを用いて光学的歪みについてキャリブレーションされることを特徴とする請求項１乃至１４のいずれか１項に記載のシステム。
16. 前記フィルムカメラの３次元位置及び向きは、一部分において、前記センサからの前記リアルタイム３次元位置データとウィットネスカメラがシーンを解析し、プロセッサにおいて実行されているソフトウェアが、該シーンに手動でまたは人工的に追加されていない、該シーン内の自然のマーカ（特徴点）を検出したオプティカルフローとを用いることにより生成された現実世界の３次元マップを参照して決定されることを特徴とする請求項１乃至１５のいずれか１項に記載のシステム。
17. 追跡されるシーンを純粋に解析する別のステージなしで前記システムを完全に初期化（「即時解析」と呼ばれる）可能にする１つまたは２つの（少なくとも１００ｆｐｓの）ハイスピードウィットネスカメラを利用するが、該カメラが映像を取得するために用いられる間、解析は連続的に行われることを特徴とする請求項１乃至１６のいずれか１項に記載のシステム。
18. 前記２つのハイスピードウィットネスカメラは、前記カメラシステムが完全に動いていない場合でさえも、画像を処理し、即時の３次元ポイントクラウドを生成する（前記２つのカメラ間の距離の知識及びエピポーラ幾何学を用いて、前記シーン内の多くのポイントを３次元空間内のそれらの位置に関連付けることを含む）ことをソフトウェアに可能にする立体視システムを形成することを特徴とする請求項１７に記載のシステム。
19. 前記３次元ポイントクラウドにおける各画素の深度は、各立体視ウィットネスカメラから得られた対応する２Ｄテクスチャパッチと、エピポーラ線探索アルゴリズムとを用いて得られることを特徴とする請求項１７に記載のシステム。
20. ウィットネスカメラシステムからのオプティカルフローとハードウェアセンサからの前記リアルタイム位置データとを組み合わせるフュージョンアルゴリズムを実行することを特徴とする請求項１乃至１９のいずれか１項に記載のシステム。
21. 前記フュージョンアルゴリズムは、加速度計、ジャイロスコープ、磁気計、３次元範囲センサを含みうるあらゆる前記センサからの出力を統合し、再キャリブレーションし、前記カメラの位置及び向きを決定するための、拡張カルマンフィルタ予測／補正技術に基づくことを特徴とする請求項２０に記載のシステム。
22. 拡張カルマンフィルタフュージョンアルゴリズムは、各センサからのデータをどのようにマージするかを決定する場合に、各センサからの前記出力に関連付けられた信頼性レベルデータを使用することを特徴とする請求項２１に記載のシステム。
23. １つのウィットネスカメラまたは前記ウィットネスカメラにより生成されたキーフレームは、視覚的追跡処理の一部であり、かつウィットネスカメラ映像フィードの４つの異なる解像度レベルにおいて演算されるリアルタイム画像であることを特徴とする請求項１乃至２２のいずれか１項に記載のシステム。
24. （ａ）仮想フィギュア、オブジェクト及び環境に係る３次元のコンピュータ生成されたアニメーションを提供するコンテンツ生成コンピュータ、及び
    （ｂ）（前記コンテンツ生成コンピュータと分離されていてもされていなくてもよい）描画コンピュータを有し、
    前記フィルムカメラの３次元位置を定義する前記リアルタイム位置データは、前記フィルムカメラからの前記映像フィードにリアルタイムに挿入及び混合可能な、生成される、コンピュータ生成された３次元オブジェクトを、該映像フィードにおいて観賞される前記シーンの自然な部分を形成させるように、前記コンテンツ生成コンピュータ及び前記描画コンピュータのいずれかまたは双方により使用される
    ことを特徴とする請求項１乃至２３のいずれか１項に記載のシステム。
25. 前記コンピュータ生成された３次元オブジェクトは、前記シーン内のいずれの位置にも移動可能で、前記コンテンツ生成コンピュータにより決定された方式の形状及び外観に変更可能なアニメーションであることを特徴とする請求項１乃至２４のいずれか１項に記載のシステム。
26. 前記コンピュータ生成された３次元オブジェクトは、前記シーンに混合された場合に、現実的な方式で移動（走る、踊る、歩く、戦う、飛ぶ、ジャンプするを含む）人間または生物のアニメーションされたフィギュアであることを特徴とする請求項１乃至２５のいずれか１項に記載のシステム。
27. 前記カメラ位置または追跡データは、ポストプロダクションＣＧＩを促進するために、さらにポストプロダクションの使用が可能にされることを特徴とする請求項１乃至２６のいずれか１項に記載のシステム。
28. ３次元範囲センサが、再構成された３次元ポイントに関連付けられた深度計測の精度を高めるために、または該再構成された３次元ポイントを却下するために用いられることを特徴とする請求項１乃至２７のいずれか１項に記載のシステム。
29. 前記３次元範囲センサは、動的な遮蔽を可能にし、かつグリーンステージの最終使用を抑圧するためのリアルタイムの深度入力に用いられることを特徴とする請求項２８に記載のシステム。
30. 検出されたパターンのコーナーが３次元ポイントクラウド（即ち、ワールド）の原点として扱われるように、前記シーン内に配置された、既知のパターンで覆われた既知のサイズのプレートのような、小さなカメラ登録オブジェクトを使用することを特徴とする請求項１乃至２９のいずれか１項に記載のシステム。
31. 前記カメラ登録オブジェクトは、真の垂直線上に配置され、ブロブ画像認識アルゴリズムを用いて認識された、既知のサイズの少なくとも２つの球を含むことを特徴とする請求項３０に記載のシステム。
32. 磁北を示す磁気計と、
    重力方向（即ち、真の垂直線を与える）を示す加速度計と、
    前記システムが上方／下方にチルトされる、左または右にパンされている、または光軸について回転されている場合に通知するジャイロと、
    開始位置からの３次元の並進を推測可能にする３軸加速度計と、を有する
    ことを特徴とする請求項１乃至３１のいずれか１項に記載のシステム。
33. 追跡ロスを多分に低減し、追跡精度を上昇させる（より多くの視差が生成され、推定されたカメラ位置がより正確になる）ために、ソフトウェアが前記３次元マップ内に均一に分布されたポイントクラウドを生成することを試みることを特徴とする請求項１乃至３２のいずれか１項に記載のシステム。
34. カメラ追跡システムが、前記フィルムカメラに無線で接続され、前記３次元ポイントクラウドを生成する場合にセットの周囲を高速に移動可能であることを特徴とする請求項１乃至３３のいずれか１項に記載のシステム。
35. カメラ追跡システムであって、ディレクタ／カメラマンが前記フィルムカメラに取り付けられた該カメラ追跡システムを追跡し、パンし、チルトした際に、３次元シーンのリアルタイム解析（単眼視ケース）または即時解析（立体視ケース）と、前記フィルムカメラの追跡とを組み合わせるカメラ追跡システムを提供することを特徴とする請求項１乃至３４のいずれか１項に記載のシステム。
36. 全ての態様のフィルムカメラの、回転、並進、フォーカス、アイリス、焦点距離を含む追跡を完全に自動化し、混合される３次元の前記コンピュータ生成されたコンテンツの拡大縮小、位置決め及び向きを自動化することを特徴とする請求項１乃至３５のいずれか１項に記載のシステム。
37. シーンを定義する、より完全なポイントクラウドを生成するために、該シーンの継続的な解析をリアルタイムに可能にすることを特徴とする請求項１乃至３６のいずれか１項に記載のシステム。
38. 追跡の復帰を容易にするために、前記シーンにおいて検出された特徴点に、ＯＲＢを使用することを含む、回転不変量記述子を付与することを特徴とする請求項１乃至３７のいずれか１項に記載のシステム。
39. 事前に正確に計算されたまたは確認された位置を用いて前記フィルムカメラの次の位置を予測するために、前記センサにより提供された情報に関連付けられた等速モデルを使用することを特徴とする請求項１乃至３８のいずれか１項に記載のシステム。
40. 現在のフレームに３次元ポイントクラウドを再投影し、ウィットネスカメラシステムからのリアルタイム映像フィードにおいて識別されたポイントと、新たな３次元ポイントクラウドにおいて投影されたポイントとのマッチングポイントマッチングアルゴリズムに可能にするために、前記予測を使用することを特徴とする請求項３９に記載のシステム。
41. 前記ウィットネスカメラシステムからのリアルタイム映像フィードにおいて識別されたポイントと、前記新たな３次元ポイントクラウドにおいて投影されたポイントとの間の誤差を最小化するために、カメラ追跡にレーベンバーグ・マーカート最小化方式（Levenberg-Marquardt minimization scheme）を使用することを特徴とする請求項４０に記載のシステム。
42. ユーザは、３次元ガーベジマッティングマスクのような３次元マスクを定義するために、前記カメラ追跡システムにより生成された３次元ポイントクラウドを使用可能であることを特徴とする請求項１乃至４１のいずれか１項に記載のシステム。
43. 前記３次元オブジェクトは、静的オブジェクト、動的アニメーション、仮想ワールド、仮想人物、仮想建造物、仮想風景、仮想フィルムセット、及びアニメーションデータベースのあらゆるデータを含むことを特徴とする請求項１乃至４２のいずれか１項に記載のシステム。
44. 前記フィルムカメラ及びウィットネスカメラは、フレーム取得遅延を、発光したＬＥＤに関連付けられた光強度曲線を比較することによるような、変調された光源を用いる方式でキャリブレーションされることを特徴とする請求項１乃至４３のいずれか１項に記載のシステム。
45. 前記フィルムカメラは、クレーンカメラ、固定カメラ、手持ちカメラ、ドリー取付カメラ、三脚取付カメラ、スマートフォン、拡張現実眼鏡のいずれかであることを特徴とする請求項１乃至４４のいずれか１項に記載のシステム。
46. コンピュータ生成された３次元オブジェクトとフィルムカメラからの映像フィードとをリアルタイムに混合または合成する方法であって、
    前記フィルムカメラのボディが、３次元に移動可能であり、
    前記カメラ内または前記カメラに取り付けられたセンサが、前記カメラの３次元位置または３次元向きを定義する、または該３次元位置を算出可能にするリアルタイム位置データを提供する
    ことを特徴とする方法。
47. テレビ放送、映画またはビデオゲーム用のリアルタイム拡張現実映像を生成するために、コンピュータ生成された３次元オブジェクトとビデオカメラのようなフィルムカメラからの映像フィードとを混合または合成する方法であって、
    （ａ）
    前記フィルムカメラのボディは、３次元に移動可能であり、
    前記フィルムカメラ内もしくは前記フィルムカメラに直接的または間接的に取り付けられたセンサが、前記フィルムカメラの３次元位置及び３次元向きを定義する、あるいは前記フィルムカメラの該３次元位置及び３次元向きを算出可能にするリアルタイム位置データを提供し、
    （ｂ）前記リアルタイム位置データは、コンピュータ生成された３次元オブジェクトを生成、リコール、描画または変更するためにシステムにより自動的に用いられ、
    （ｃ）結果として得られる前記コンピュータ生成された３次元オブジェクトは、テレビ放送、映画またはビデオゲーム用の拡張現実映像を提供するために、前記フィルムカメラからの前記映像フィードに混合または前記映像フィードと合成される
    ことを特徴とする方法。
48. カメラ内のコンピュータ生成されたプリプロダクション３次元アセット、一般的なプリビジュアライゼーションまたは視覚効果アセットを、該カメラにより取得されたライブアクションフィルムプレートまたは映像イメージ上に、ディレクタ（または撮影監督）がリアルタイムにフレームアップ可能にするために用いられ、
    前記ディレクタに、該ディレクタにより観られる映像に自動的に混合された前記コンピュータ生成された３次元アセットを用いて、可能なカメラアングルの探索及び移動をリアルタイムに探索可能にする
    ことを特徴とする上記定義された方法またはシステム。
49. ポストプロダクション処理用のマッチムーブデータを提供するために、前記リアルタイム位置データは記録され、タイムコードスタンプがなされることを特徴とする上記定義された方法またはシステム。
50. 仮想オブジェクトまたは画像を、放送映像ストリーム上に挿入可能にするために用いられることを特徴とする上記定義された方法またはシステム。
51. ・スタジオカメラのリアルタイム追跡
    ・固定カメラのリアルタイム追跡
    ・クレーン取付カメラのリアルタイム追跡
    ・ドリー取付カメラのリアルタイム追跡
    ・固定カメラのリアルタイム追跡
    ・中継放送（ＯＢ：Outside Broadcast）のリアルタイム追跡
    ・２次元ポストプロダクションのリアルタイムデータ（追跡データを含む）の使用
    ・３次元立体視コンテンツ用のポストプロダクションのリアルタイムデータ（追跡データを含む）の使用
    ・ネイティブ３次元立体視コンテンツのリアルタイムデータ（追跡データを含む）の使用
    ・３次元グラフィックス挿入
    ・スタジオ内への、またはセットプロダクト・プレイスメントにおける３次元グラフィックス挿入
    ・ＯＢ用の３次元グラフィックス挿入
    ・他のスポンサー提供画像用の３次元グラフィックス挿入
    ・観察者位置固有の３次元グラフィックス挿入
    ・観察者固有の３次元グラフィックス挿入
    ・時間固有の３次元グラフィックス挿入
    ・曇天風景書き込み用の３次元グラフィックス挿入
    ・グリーンスクリーン置換用の３次元グラフィックス挿入
    ・博物館、及び文化、歴史又は自然遺産の解析センターにおける学習を補助する教育的コンテンツの３次元グラフィックス挿入
    ・シーン内のオブジェクトの絶対的または相対的サイズの計測
    の１以上を可能ならしめることを特徴とする上記定義された方法またはシステム。
52. 前記フィルムカメラは
    ・標準範囲を有する全てのカメラ
    ・限定的な光ファイバ接続を必要とするカメラ
    ・ＲＦ／無線接続を必要とするカメラ
    のうちの１つであることを特徴とする上記定義された方法またはシステム。
53. ・フィルム／テレビ（非ライブ）
    ・コマーシャル（非ライブ）
    ・ライブコマーシャル
    ・放送（非スポーツ）
    ・ＯＢ放送
    ・スタジオベーススポーツ
    ・ＯＢベーススポーツ
    ・テレビプロダクト・プレイスメントのライブ
    ・インターネット利用（非ライブ）
    ・インターネットライブ
    ・地域ベースインターネットライブ
    ・インターネットプロダクト・プレイスメントのライブ
    ・博物館／文化遺産コンテンツ
    ・博物館/遺産広告
    ・建築
    ・ゲーム
    のうちの１つのマーケットに配備されることを特徴とする上記定義された方法またはシステム。
54. スマートフォンを含むあらゆる表示装置及び拡張現実眼鏡に拡張現実画像を表示可能にするために用いられ、
    拡張現実画像の外観が、自動的に前記リアルタイム位置データに応じて変更される
    ことを特徴とする上記定義された方法またはシステム。
55. リアルタイムにコンピュータ生成された３次元オブジェクトが、カメラからの映像フィードと混合され、
    前記カメラのボディは３次元において移動可能であり、
    前記カメラ内または前記カメラに取り付けられたセンサが、前記カメラの３次元位置を定義する、または該３次元位置を算出可能にするリアルタイム位置データを提供することを特徴とするフィルム、動画、テレビ番組またはビデオゲーム。
56. 従来のカメラに取り付けられるよう構成されたシーンを解析及び追跡する装置であって、
    前記カメラのボディは、３次元に移動可能であり、
    前記シーンを解析及び追跡する装置内のハードウェアセンサが、前記カメラの３次元位置を定義する、または該３次元位置を算出可能にするリアルタイム位置データを提供する
    ことを特徴とする装置。
57. ３次元の参照フレームに対するカメラの３次元位置及び３次元向きを定義する、またはオプティカルフローデータのような他のデータを解析するシステムの全体または一部に該３次元位置を算出可能にするリアルタイム位置データを提供する、前記カメラ内または前記カメラに取り付けられたセンサを有することを特徴とする手持ちまたは携帯型カメラ。
58. 立体視ウィットネスカメラシステムを含むまたは該システムに取り付けられたフィルムカメラであって、
    前記ウィットネスカメラシステムが、
    広角（１８０度を含む）の立体視画像を生成し、
    該画像を処理し、該カメラシステムが追跡／移動されることなく即時の３次元ポイントクラウドを生成することをソフトウェアに可能にする
    ことを特徴とするフィルムカメラ。
59. フィルムカメラに取り付けるためのカメラ追跡システムであって、
    立体視画像を生成し、該画像を処理し、該カメラシステムが移動されることなく、即座の３次元ポイントクラウドを生成して前記フィルムカメラのリアルタイム追跡（位置、向き、ズーム、フォーカス及びアイリス）を提供することをソフトウェアに可能にするウィットネスカメラを有する
    ことを特徴とするシステム。
60. ３次元の参照フレームに対する眼鏡の３次元位置及び３次元向きを定義する、またはオプティカルフローデータのような他のデータを解析するシステムの全体または一部に該３次元位置を算出可能にするリアルタイム位置データを提供する、前記眼鏡内または前記眼鏡に取り付けられたセンサを有することを特徴とする拡張現実眼鏡。