JP2017528949A - 全方向視差光照射野圧縮のためのプリプロセッサ - Google Patents

Abstract

全方向視差圧縮光照射野３Ｄ表示システムのための光照射野入力データのプリプロセスを記載する。記載する光照射野入力データのプリプロセスを利用して、入力データからの情報をフォーマット又は抽出することができ、次に、光照射野圧縮システムによって入力データを使用し、圧縮性能を更に向上させ、処理要件を低減し、リアルタイム性能を達成し、電力消費を削減することができる。この光照射野入力データ・プリプロセスは、高レベルな３Ｄシーン分析を実施し、光照射野圧縮システムが使用するデータ特性を異なる段階で抽出する。結果として、冗長データのレンダリングを回避する一方で、同時に、レンダリングの質を改善する。【選択図】図４Ａ

Description

関連出願の相互参照
本出願は、米国特許法第１１９条（ｅ）項に従って、２０１４年７月１５日出願の米国特許仮出願第６２／０２４，８８９号の利益を主張するものであり、当該出願の全体を参照により本明細書に具体的に組み込む。

本発明は、一般に、光照射野３Ｄ画像及び映像処理に関し、より詳細には、全方向視差光照射野圧縮システム及び全方向視差光照射野表示システムの入力として使用するデータのプリプロセスに関する。

以下の引用文献は、本発明をより明確に説明する目的で引用し、これらの引用文献の開示を参照により本明細書に組み込む。
［１］Ｐ０５０Ｚ、米国特許出願第６１／９２６，０６９号、Ｇｒａｚｉｏｓｉ等、Ｍｅｔｈｏｄｓ Ｆｏｒ Ｆｕｌｌ Ｐａｒａｌｌａｘ ３Ｄ Ｃｏｍｐｒｅｓｓｅｄ Ｉｍａｇｉｎｇ Ｓｙｓｔｅｍｓ、２０１４年１月１０日
［２］米国特許出願第１３／６５９７７６号、Ｅｌ−Ｇｈｏｒｏｕｒｙ等、Ｓｐａｔｉｏ−Ｔｅｍｐｏｒａｌ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｃａｍｅｒａｓ、２０１２年１０月２４日
［３］米国特許第８，１５５，４５６号、Ｂａｂａｃａｎ等、Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｂｌｏｃｋ−ｂａｓｅｄ Ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｉｍａｇｅｓ、２０１２年４月１０日
［４］Ｅｌ−Ｇｈｏｒｏｕｒｙ等、「Ｑｕａｎｔｕｍ Ｐｈｏｔｏｎｉｃ Ｉｍａｇｅｒｓ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｆａｂｒｉｃａｔｉｏｎ Ｔｈｅｒｅｏｆ」、米国特許第７６２３５６０号、２００９年１１月２４日発行
［５］Ｅｌ−Ｇｈｏｒｏｕｒｙ等、「Ｑｕａｎｔｕｍ Ｐｈｏｔｏｎｉｃ Ｉｍａｇｅｒｓ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｆａｂｒｉｃａｔｉｏｎ Ｔｈｅｒｅｏｆ」、米国特許第７８２９９０２号、２０１０年１１月９日発行
［６］Ｅｌ−Ｇｈｏｒｏｕｒｙ等、「Ｑｕａｎｔｕｍ Ｐｈｏｔｏｎｉｃ Ｉｍａｇｅｒｓ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｆａｂｒｉｃａｔｉｏｎ Ｔｈｅｒｅｏｆ」、米国特許第７７６７４７９号、２０１０年８月３日発行
［７］Ｅｌ−Ｇｈｏｒｏｕｒｙ等、「Ｑｕａｎｔｕｍ Ｐｈｏｔｏｎｉｃ Ｉｍａｇｅｒｓ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｆａｂｒｉｃａｔｉｏｎ Ｔｈｅｒｅｏｆ」、米国特許第８０４９２３１号、２０１１年１１月１日発行
［８］Ｅｌ−Ｇｈｏｒｏｕｒｙ等、「Ｑｕａｎｔｕｍ Ｐｈｏｔｏｎｉｃ Ｉｍａｇｅｒｓ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｆａｂｒｉｃａｔｉｏｎ Ｔｈｅｒｅｏｆ」、米国特許第８２４３７７０号、２０１２年８月１４日発行
［９］Ｅｌ−Ｇｈｏｒｏｕｒｙ等、「Ｑｕａｎｔｕｍ Ｐｈｏｔｏｎｉｃ Ｉｍａｇｅｒｓ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｆａｂｒｉｃａｔｉｏｎ Ｔｈｅｒｅｏｆ」、米国特許第８５６７９６０号、２０１３年１０月２９日発行
［１０］Ｅｌ−Ｇｈｏｒｏｕｒｙ、Ｈ．Ｓ．、Ａｌｐａｓｌａｎ、Ｚ．Ｙ．、「Ｑｕａｎｔｕｍ Ｐｈｏｔｏｎｉｃ Ｉｍａｇｅｒ （ＱＰＩ）： Ａ Ｎｅｗ Ｄｉｓｐｌａｙ Ｔｅｃｈｎｏｌｏｇｙ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ，」 （Ｉｎｖｉｔｅｄ） Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｄｉｓｐｌａｙ Ｗｏｒｋｓｈｏｐｓ Ｖｏｌｕｍｅ ２１、２０１４年１２月３日
［１１］Ａｌｐａｓｌａｎ、Ｚ．Ｙ．、Ｅｌ−Ｇｈｏｒｏｕｒｙ、Ｈ．Ｓ．、「Ｓｍａｌｌ ｆｏｒｍ ｆａｃｔｏｒ ｆｕｌｌ ｐａｒａｌｌａｘ ｔｉｌｅｄ ｌｉｇｈｔ ｆｉｅｌｄ ｄｉｓｐｌａｙ，」 Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ、ＩＳ＆Ｔ／ＳＰＩＥ Ｖｏｌ． ９３９１、２０１５年２月９日

我々の周囲の環境は、無数の光線を反射する物体を含んでいる。この環境を人間が観察する場合、こうした光線のサブセットを、目を通して取り込み、脳によって処理して視知覚をもたらす。光照射野表示装置は、デジタル光線アレイを表示することによって、観察環境の現実的な知覚を再現しようとするものであり、デジタル光線アレイは、表示される環境内で入手可能なデータからサンプリングする。このデジタル光線アレイは、光照射野表示装置が生成する光照射野に対応する。

異なる光照射野表示装置は、異なる光照射野生成機能を有する。したがって、光照射野データは、各表示装置に対して様々にフォーマットする必要がある。また、光照射野の表示に必要な多量のデータ、及び光照射野データ内に存在する多量の相互関係は、光照射野圧縮アルゴリズムに依存する。一般に、光照射野圧縮アルゴリズムは、表示装置のハードウェアに依存し、ハードウェア固有の、光照射野データのプリプロセスから利益を得ることができる。

従来技術の光照射野表示システムは、非効率的な圧縮アルゴリズムを使用している。これらのアルゴリズムは、最初に、シーン３Ｄデータ又は光照射野入力データを取り込むか又はレンダリングする。次に、このデータを圧縮して光照射野表示システム内に転送し、次に、圧縮データを復元し、最後に、復元データを表示する。

新たな放射及び圧縮表示装置の導入により、広範な視野角、低電力消費、高いリフレッシュ速度、高解像度、大きな被写界深度、及びリアルタイム圧縮／復元機能を有する全方向視差光照射野表示装置を実現することが今や可能である。新たな全方向視差光照射野圧縮方法が導入され、全方向視差光照射野データ内の固有の相互関係を非常に効率的に利用している。これらの方法は、送信帯域幅を縮小し、電力消費を削減し、処理要件を低減し、リアルタイム符号化・復号化性能を達成する。

圧縮を達成するために、従来技術の方法は、入力データをプリプロセスして入力特性を表示圧縮機能に適合させることによって、圧縮性能を改善することを目標としている。例えば、米国特許第８，１５５，４５６号は、プリプロセス段階を利用して、入力光照射野を後続のブロック・ベースの圧縮段階に適合させる方法を記載している。ブロック・ベースの方法は、圧縮段階で適合させるため、圧縮によって導入される妨害アーチファクトが角度のコンテンツに影響を与え、垂直及び平行方向の視差を損なうことが予想される。圧縮ステップにコンテンツを適合させるため、最初に、入力画像を要素画像からサブ画像に変換し（全ての角度情報を１つの固有の画像に収集する）、次に、画像の寸法を圧縮アルゴリズムが使用するブロック・サイズごとに分割できるように、画像を再度サンプリングする。この方法は、圧縮性能を改善するが、やはり、ブロック・ベースの圧縮手法に調整するのみであり、異なる視野角の間の冗長性を利用していない。

米国特許出願第６１／９２６，０６９号では、圧縮は、光照射野情報のサブセットのみを符号化し、このサブセットのみを表示装置に送信することによって達成する。３Ｄ圧縮撮影システムは、入力データを受信し、テクスチャと共に送信した深度情報を利用して光照射野全体を再構築する。送信すべき画像を選択する工程は、シーンの要素のコンテンツ及び場所によって異なり、視認性試験と呼ばれる。基準撮影要素は、カメラの場所の表面に対する物体の位置に従って選択し、各物体は、カメラの場所の表面からの物体の距離の順に処理し、より遠い物体の前により近い物体を処理する。視認性試験の手順は、物体の平面表示を使用し、３Ｄシーン物体を順序付きリスト内に構成する。全方向視差圧縮光照射野３Ｄ撮影システムは、物体描写等の高レベル情報又は単純点群等の低レベル情報を含み得る入力３Ｄデータベースからの物体をレンダリングし、その物体を表示するため、視認性試験で使用する情報を抽出するには入力データのプリプロセスを実施する必要がある。

Ｐ０５０Ｚ、米国特許出願第６１／９２６，０６９号、Ｇｒａｚｉｏｓｉ等、Ｍｅｔｈｏｄｓ Ｆｏｒ Ｆｕｌｌ Ｐａｒａｌｌａｘ ３Ｄ Ｃｏｍｐｒｅｓｓｅｄ Ｉｍａｇｉｎｇ Ｓｙｓｔｅｍｓ、２０１４年１月１０日 米国特許出願第１３／６５９７７６号、Ｅｌ−Ｇｈｏｒｏｕｒｙ等、Ｓｐａｔｉｏ−Ｔｅｍｐｏｒａｌ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｃａｍｅｒａｓ、２０１２年１０月２４日 米国特許第８，１５５，４５６号、Ｂａｂａｃａｎ等、Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｂｌｏｃｋ−ｂａｓｅｄ Ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｉｍａｇｅｓ、２０１２年４月１０日 Ｅｌ−Ｇｈｏｒｏｕｒｙ等、「Ｑｕａｎｔｕｍ Ｐｈｏｔｏｎｉｃ Ｉｍａｇｅｒｓ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｆａｂｒｉｃａｔｉｏｎ Ｔｈｅｒｅｏｆ」、米国特許第７６２３５６０号、２００９年１１月２４日発行 Ｅｌ−Ｇｈｏｒｏｕｒｙ等、「Ｑｕａｎｔｕｍ Ｐｈｏｔｏｎｉｃ Ｉｍａｇｅｒｓ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｆａｂｒｉｃａｔｉｏｎ Ｔｈｅｒｅｏｆ」、米国特許第７８２９９０２号、２０１０年１１月９日発行 Ｅｌ−Ｇｈｏｒｏｕｒｙ等、「Ｑｕａｎｔｕｍ Ｐｈｏｔｏｎｉｃ Ｉｍａｇｅｒｓ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｆａｂｒｉｃａｔｉｏｎ Ｔｈｅｒｅｏｆ」、米国特許第７７６７４７９号、２０１０年８月３日発行 Ｅｌ−Ｇｈｏｒｏｕｒｙ等、「Ｑｕａｎｔｕｍ Ｐｈｏｔｏｎｉｃ Ｉｍａｇｅｒｓ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｆａｂｒｉｃａｔｉｏｎ Ｔｈｅｒｅｏｆ」、米国特許第８０４９２３１号、２０１１年１１月１日発行 Ｅｌ−Ｇｈｏｒｏｕｒｙ等、「Ｑｕａｎｔｕｍ Ｐｈｏｔｏｎｉｃ Ｉｍａｇｅｒｓ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｆａｂｒｉｃａｔｉｏｎ Ｔｈｅｒｅｏｆ」、米国特許第８２４３７７０号、２０１２年８月１４日発行 Ｅｌ−Ｇｈｏｒｏｕｒｙ等、「Ｑｕａｎｔｕｍ Ｐｈｏｔｏｎｉｃ Ｉｍａｇｅｒｓ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｆａｂｒｉｃａｔｉｏｎ Ｔｈｅｒｅｏｆ」、米国特許第８５６７９６０号、２０１３年１０月２９日発行

Ｅｌ−Ｇｈｏｒｏｕｒｙ、Ｈ．Ｓ．、Ａｌｐａｓｌａｎ、Ｚ．Ｙ．、「Ｑｕａｎｔｕｍ Ｐｈｏｔｏｎｉｃ Ｉｍａｇｅｒ （ＱＰＩ）： Ａ Ｎｅｗ Ｄｉｓｐｌａｙ Ｔｅｃｈｎｏｌｏｇｙ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ，」 （Ｉｎｖｉｔｅｄ） Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｄｉｓｐｌａｙ Ｗｏｒｋｓｈｏｐｓ Ｖｏｌｕｍｅ ２１、２０１４年１２月３日 Ａｌｐａｓｌａｎ、Ｚ．Ｙ．、Ｅｌ−Ｇｈｏｒｏｕｒｙ、Ｈ．Ｓ．、「Ｓｍａｌｌ ｆｏｒｍ ｆａｃｔｏｒ ｆｕｌｌ ｐａｒａｌｌａｘ ｔｉｌｅｄ ｌｉｇｈｔ ｆｉｅｌｄ ｄｉｓｐｌａｙ，」 Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ、ＩＳ＆Ｔ／ＳＰＩＥ Ｖｏｌ． ９３９１、２０１５年２月９日

したがって、本発明の目的は、全方向視差圧縮光照射野３Ｄ撮影システム内で使用する光照射野圧縮段階を改善するために、データ・プリプロセス方法を導入することである。本発明の更なる目的及び利点は、添付の図面を参照して行う以下の本発明の好ましい実施形態の詳細な説明から明らかになるであろう。

以下の説明では、図面の同じ参照番号は、異なる図面内であっても同じ要素に対して使用する。詳細な構造及び要素等、本明細書で規定する事項は、例示的実施形態に対する包括的な理解を支援するために提供するものである。しかし、本発明は、これらの具体的に規定した事項を伴わずに実施することができる。また、周知の機能又は構造は、本発明を不必要な細部で不明瞭にしないために、詳細には説明しない。本発明を理解し、本発明を実際にどのように実行し得るかを知るために、次に、添付の図面を参照しながら、単なる非限定的な例として本発明のいくつかの実施形態を説明する。

シーンに対する表示光照射野の関係の図である。 光照射野表示装置に対する従来技術の圧縮方法の図である。 本発明の効率的な光照射野圧縮方法の図である。 効率的な全方向視差圧縮光照射野表示システム操作の様々な段階を有するプリプロセスの関係の図である。 効率的な全方向視差圧縮光照射野表示システム操作の様々な段階を有するプリプロセスの関係の図である。 効率的な全方向視差光照射野表示システムのためにデータを分割するプリプロセス・データ種及びプリプロセス方法の図である。 米国特許出願第６１／９２６，０６９号の全方向視差圧縮光照射野３Ｄ光照射野撮影システムの圧縮レンダリング要素の状況における、本発明の光照射野入力データ・プリプロセスの図である。 本発明の光照射野入力データ・プリプロセス方法によって、光照射野内の３Ｄ物体の軸整合の境界ボックスをどのように物体座標から得るかを示す図である。 全方向視差圧縮光照射野３Ｄ表示システム及び物体の上面図であり、図は、基準として選択した撮影要素の円錐台を変調して示す。 光照射野を含有する２つの３Ｄ物体及びこれらのそれぞれの軸整合境界ボックスの図である。 光照射野が複数の物体を含むケースにおいて、本発明の光照射野プリプロセスが使用する撮影要素基準選択手順を示す。 ３Ｄ光照射野シーンが、点群によって表す物体を組み込む、本発明の一実施形態の図である。 光照射野データをセンサによって取り込む、本発明の様々な実施形態の図である。 プリプロセスを２Ｄカメラ・アレイによって取り込んだデータに適用する、本発明の一実施形態の図である。 プリプロセスを３Ｄカメラ・アレイによって取り込んだデータに適用する、本発明の一実施形態の図である。

以下の説明では、多数の具体的な詳細を示す。しかし、本発明の実施形態は、これらの具体的な詳細を伴わずに実行し得ることを理解されたい。他の例では、周知の回路、構造及び技法は、本明細書に対する理解を不明瞭にしないように詳細に示していない。

以下の説明では、本発明のいくつかの実施形態を示す添付の図面を参照されたい。他の実施形態を利用することができ、機械的、構成的、構造的、電気的、及び操作上の変更は、本開示の趣旨及び範囲から逸脱することなく行い得ることを理解されたい。以下の詳細な説明は、限定的な意味に解釈すべきではなく、本発明の実施形態の範囲は、発行される特許の特許請求の範囲のみによって定義される。

本明細書で使用する用語は、特定の実施形態を説明する目的にすぎず、本発明に対する限定を意図するものではない。「真下」、「下」、「よりも低い」、「上」、「よりも上」等の空間に関連する用語は、図面に示すある要素又は特徴の、別の要素（複数可）又は特徴（複数可）に対する関係を表す説明を容易にするために本明細書で使用することがある。空間に関連する用語は、図面に示す向きに加えて、使用中又は動作中のデバイスの異なる向きの包含を意図することを理解されよう。例えば、図面のデバイスを反転させると、他の要素又は特徴の「下」又は「真下」と表した要素は、他の要素又は特徴の「上」に向けられることになる。したがって、例示的な用語「下」は、上及び下の両方の向きを包含することができる。デバイスは、別様（例えば９０度又は他の向きへの回転）に向けることができ、本明細書で使用する空間に関連する記述は、それに応じて解釈することができる。

本明細書で使用する単数形「１つの（ａ、ａｎ及びｔｈｅ）」は、文脈に別段の記載がない限り、複数形も含むことを意図する。用語「含む（ｃｏｍｐｒｉｓｅｓ及び／又はｃｏｍｐｒｉｓｉｎｇ）」は、述べた特徴、ステップ、操作、要素、及び／又は構成要素の存在を規定するが、１つ若しくは複数の他の特徴、ステップ、操作、要素、構成要素及び／又はそれらの群の存在又は追加を排除するものではないことを更に理解されよう。

図１に示すように、物体１０１は、無数の光線１０２を反射する。これらの光線のサブセットは、観察者の目を通して取り込まれ、脳によって処理し、物体の視知覚をもたらす。光照射野表示装置１０３は、デジタル化光線アレイ１０４を表示することによって、観察環境の現実的な知覚を再現しようとするものであり、デジタル化光線アレイ１０４は、環境内で入手可能なデータからサンプリングしたものである。このデジタル化光線アレイ１０４は、表示装置が生成する光照射野に対応する。図２に示す従来技術の光照射野表示システムは、最初に、物体１０１を表すシーン３Ｄデータ又は光照射野入力データ２０１を取り込む又はレンダリングする（２０２）。このデータを圧縮して送信し（２０３）、復元し（２０４）、次に、表示する（２０５）。

図３に示す、最近導入された光照射野表示システムは、効率的な全方向視差圧縮方法を使用し、どの要素画像（又はホログラフィ要素「ホーゲル（ｈｏｇｅｌ）」）が物体１０１を表す光照射野の再構築に最も関連するかを決定することによって、取り込むべきデータ量を低減するものである。これらのシステムでは、シーン３Ｄデータ２０１を圧縮取込み方法３０１を介して取り込む。圧縮取込み３０１には、通常、圧縮レンダリング３０２と表示整合符号化３０３との組合せを伴い、光照射野表示装置の機能にフォーマットすることができる圧縮方式でデータを取り込む。最後に、表示装置は、圧縮データを受信し、表示することができる。米国特許出願第６１／９２６，０６９号に記載されている効率的な圧縮アルゴリズムは、必要とする先験的（ａ ｐｒｉｏｒｉ）情報を供給するプリプロセス方法により異なる。この先験的情報は、通常、限定はしないが、シーンにおける物体の場所、境界ボックス、カメラ・センサ情報、標的表示情報、及び動きベクトル情報の形態である。

本発明で説明する効率的な全方向視差圧縮光照射野３Ｄ表示システム４０３のためのプリプロセス方法４０１は、光照射野入力データ２０１を収集し、分析し、生成し、フォーマットし、保存し、提供し、圧縮操作の特定の段階で使用することができる。図４Ａ及び図４Ｂを参照。こうしたプリプロセス方法は、情報を表示する前（これらには、限定はしないが、全方向視差圧縮光照射野３Ｄ表示システムの圧縮操作であるレンダリング段階３０２の際、符号化段階３０３の際、又は復号化及び表示段階３０４の際を含む）に使用して、圧縮性能を更に向上させ、プロセス要件を低減し、リアルタイム性能を達成し、電力消費を削減することができる。これらのプリプロセス方法は、ユーザ対話データ４０２も利用し、ユーザ対話データ４０２は、ユーザが表示装置３０４の生成した光照射野と対話する間に生成されるものである。

プリプロセス４０１では、光照射野表示装置のハードウェアのデータ空間から表示空間に光照射野入力データ２０１を変換することができる。光照射野入力データのデータ空間から表示空間への変換は、表示装置が、光照射野表示装置の特性及びユーザ（閲覧者）の選好に従って光照射野情報を示すことができるように、必要である。光照射野入力データ２０１がカメラ入力に基づく場合、光照射野取込み空間（又は座標）及びカメラ空間（座標）は、典型的には同じではなく、プリプロセッサは、データを任意のカメラ（取込み）データ空間から表示空間に変換できる必要がある。このことは、多数のカメラを使用して光照射野を取り込み、取り込んだ光照射野の一部分のみを閲覧者の選好空間内に含める場合、特に当てはまる。

空間変換を表示するこのデータ空間は、光照射野表示装置のハードウェアの特性及びいくつかの実施形態ではユーザ（閲覧者）の選好を分析することによって、プリプロセッサ４０１が行う。光照射野表示装置のハードウェアの特性には、限定はしないが、画像処理機能、リフレッシュ速度、ホーゲル及びアングレット（ａｎｇｌｅｔ）の数、色域及び輝度を含む。閲覧者の選好には、限定はしないが、物体の閲覧選好、対話選好及び表示選好を含む。

プリプロセッサ４０１は、表示特性及びユーザ選好を考慮に入れ、光照射野入力データをデータ空間から表示空間に変換する。例えば、光照射野入力データが網目状の物体から構成される場合、プリプロセスは、ホーゲルの数、アングレットの数及びＦＯＶ等の表示特性を分析し、次に、物体配置及び閲覧選好等のユーザ選好を分析し、次に、境界ボックス、動きベクトル等を計算し、この情報を圧縮・表示システムに報告する。データ空間から表示空間への変換には、座標変換に加えて、データ・フォーマット変換及び動き分析を含む。データ空間から表示空間への変換は、ユーザが閲覧する光照射野の最も効率的な（圧縮）表現に関する圧縮レンダリングから学習するものに加えて、光変調面（表示面）の位置、及び表示面に対する物体の位置を考慮に入れる。

プリプロセス方法４０１が圧縮レンダリング３０２と連携する場合、プリプロセス４０１は、通常、データを準備し、提供することを伴い、圧縮レンダリングの視認性試験６０１段階を助ける。

プリプロセス方法４０１が表示整合符号化３０３と連携する場合、表示操作は、圧縮レンダリング段階３０２を飛び越すか、又はデータを提供し、圧縮レンダリング段階から来た情報の処理を助けることができる。圧縮レンダリング段階３０２を飛び越す場合、プリプロセス４０１は、圧縮レンダリング３０２が表示整合符号化３０３のために通常留保する全ての情報を提供し、更に、表示システム、設定、及び表示整合符号化３０３で実施する必要がある符号化の種類についての更なる情報を含むことができる。圧縮レンダリング段階３０２を飛び越さない場合、プリプロセスは、予期される欠陥、及び画質を向上させる残りのデータの最良セットの形態の更なる情報、表示整合符号化３０３で使用する表示、設定及び符号化方法についての更なる情報を提供することができる。

プリプロセス方法４０１が圧縮データ３０４の表示と直接連携する場合、プリプロセスは、表示の動作モードに影響を与えることができ、この動作モードには、限定はしないが、画像の視界（ＦＯＶ）の調節、アングレットの数、ホーゲルの数、有効領域、輝度、対比、色、リフレッシュ速度、復号化方法及び画像処理方法を含む。既にプリプロセスしたデータが表示装置の好ましい入力フォーマット内に保存してある場合、このデータは、圧縮レンダリング３０２及び表示整合符号化３０３を飛び越し、３０４に直接表示することができるか、又は利用可能な光照射野入力データのフォーマット及びユーザ対話４０２によって表示装置上で現在実施している操作に応じて、圧縮レンダリング段階及び／又は表示整合符号化段階のいずれかを飛び越すことができる。

プリプロセス４０１と、図４Ａ及び図４Ｂに示す撮影システム中のサブシステムのいずれかとの連携は、双方向のものであり、通信における少なくとも１つのハンドシェイクを必要とすることになる。プリプロセス４０１へのフィードバックは、圧縮レンダリング３０２、表示整合符号化３０３、光照射野表示３０４及びユーザ対話４０２から到達させることができる。プリプロセス４０１は、光照射野表示システム３０４に対するニーズ、及びフィードバックの使用によるユーザ（閲覧者）選好４０２に適合するものである。プリプロセス４０１は、プリプロセス４０１が光照射野表示システム３０４から受信したフィードバックに従って、表示空間が何であるかを決定する。プリプロセス４０１は、データ空間から表示空間への変換時、このフィードバックを使用する。

上述のように、フィードバックは、光照射野表示装置、及び光照射野入力のプリプロセス４０１が使用するユーザ（閲覧者）選好の必須部分である。フィードバックの別の例として、圧縮レンダリング３０２は、プリプロセス４０１に選択基準ホーゲルをより高速の保存媒体５０５（図５）に転送させる要求を発行することができる。フィードバックの別の例では、表示整合符号化３０３は、シーン内の欠陥の数を分析し、欠陥の除去に関する更なるデータのための要求をプリプロセス４０１に発行することができる。プリプロセス・ブロック４０１は、画像をより小さなブロックにセグメント化する要求としてこれを解釈し、物体自体が作り出した、自分で塞いでいる領域に対処するようにする。表示整合符号化３０３は、現在の圧縮モードをプリプロセス４０１に与えることができる。光照射野表示３０４からプリプロセス４０１への例示的フィードバックには、表示装置の特性及び現在の操作モードを含むことができる。ユーザ対話４０２からプリプロセス４０１の例示的フィードバックには、物体の動きベクトル、ズーム情報、及び表示モードの変更を含むことができる。次のフレームのプリプロセス・データは、以前のフレームで得たフィードバックに基づき変化する。例えば、動きベクトル・データは、予測アルゴリズムにおいて使用し、どの物体が次のフレーム内に出現するかを決定し、プリプロセス４０１によって光照射野入力データ２０１からこの情報に先制的にアクセスし、転送時間を短縮し、処理速度を向上させる。

光照射野入力データのプリプロセス方法は、３つの種類の供給源からの入力画像を利用する全方向視差光照射野表示システムで使用することができる。図５を参照：
コンピュータ生成データ５０１：この種類の光照射野入力データは、通常、コンピュータが生成するものであり、データには、限定はしないが、専用ハードウェア・グラフィック処理ユニット（ＧＰＵ）のレンダリング画像、コンピュータ・シミュレーション、コンピュータ・シミュレーションで行ったデータ計算の結果を含む；
センサ生成データ５０２：この種類の光照射野入力データは、一般に、センサを使用して現実世界から取り込まれ、データには、限定はしないが、カメラで撮影した画像（単一のカメラ、カメラ・アレイ、光照射野カメラ、３Ｄカメラ、測距カメラ、携帯電話カメラ等）、世界を測定し世界からデータを生成する他のセンサ、例えば光による探知及び測距（ＬＩＤＡＲ）システム、電波による探知及び測距（ＲＡＤＡＲ）システム、及び合成開口レーダ（ＳＡＲ）システム等を含む；
コンピュータ生成データとセンサ生成データの混合５０３：この種類の光照射野入力データは、上記した２つのデータ種を組み合わせて生成する。例えば、画像をフォトショップ（登録商標）で加工して新たな画像を生成すること、センサデータに対し計算を行い、新たな結果をもたらすこと、コンピュータ生成画像と連携する連携デバイスを使用すること、等。

光照射野入力データのプリプロセス方法は、静的又は動的な光照射野に適用することができ、典型的には、専用に設計した特殊なハードウェア上で実施することになる。本発明の一実施形態では、プリプロセス４０１を適用して光照射野データ２０１をＬＩＤＡＲ等の１つのフォーマットから、メッシュ・データ等の別のフォーマットに変換し、回転ディスクを有するハード・ドライブ等の低速記憶媒体５０４内に結果を記憶させる。次に、プリプロセス４０１は、低速記憶媒体５０４内のこの変換情報のサブセットを半導体ハード・ドライブ等の高速記憶媒体５０５に移動させる。５０５内の情報は、圧縮レンダリング３０２及び表示整合符号化３０３によって使用することができ、これらの情報は、通常、より多量のデータとなり、次に光照射野表示装置上に表示することができる。光照射野表示装置上に直ちに表示することができるデータは、光照射野表示装置３０４のオンボード・メモリ５０６内に記憶する。プリプロセスは、オンボード・メモリ５０６とも連携し、表示装置についての情報を受信し、表示装置操作モードに関連し得る表示装置への命令、及び用途を送信することができる。プリプロセス４０１は、ユーザ対話データを利用し、表示装置を準備して、異なる記憶媒体内に記憶させたデータと連携する。例えば、ユーザがズームインを望む場合、プリプロセスは、典型的には、新たなデータ・セットを低速記憶媒体５０４から高速記憶媒体５０５に移動させ、次に、表示リフレッシュ速度、復元方法等のデータ表示方法を調節する命令をオンボード・メモリ５０６に送信する。

異なる速度の記憶デバイスを有するプリプロセスによるシステム性能の改善の他の例には、ユーザ対話性能の改善及び圧縮操作速度の改善を含む。本発明の一実施形態では、ユーザが、点群データの形態で大陸の高高度光照射野画像と対話し、現在、特定の都市（又は対象領域）の光照射野画像の調査に興味がある場合、この都市についての光照射野データを表示システムのオンボード・メモリ５０６に記憶させることになる。ユーザが、近隣都市の光照射野画像の調査に興味がある可能性を予測した場合、プリプロセスは、このデータを低速記憶システム５０４から転送することによって、これらの近隣都市についての情報を高速記憶システム５０５内にロードすることができる。本発明の別の実施形態では、プリプロセスは、低速記憶システム５０４内のこのデータを表示システムの好ましいデータ・フォーマット、例えば点群データからメッシュ・データに変換し、このデータを低速記憶システム５０４に戻すことができ、この変換は、オフライン又はリアルタイムで実施することができる。本発明の別の実施形態では、プリプロセス・システムは、同じ光照射野データに対して異なるレベルの細部を保存することができ、より迅速なズームを可能にする。例えば、１ｘ、２ｘ、４ｘ及び８ｘのズーム・データを生成し、これらのデータを低速記憶デバイス５０４内に記憶させ、次に、高速記憶デバイス５０５及びオンボード・メモリ５０６に移動させて表示することができる。こうしたシナリオでは、高速記憶デバイス上に記憶させるデータは、ユーザ対話４０２を調査することによって判断することになる。本発明の別の実施形態では、プリプロセスは、表示面１０３により近い物体に対し、光照射野入力データ２０１への優先アクセスを可能にし、視認性試験６０１を加速させる。というのは、表示面により近い物体は、より多くの基準ホーゲルを必要とする場合があるため、視認性試験で最初に処理するためである。

コンピュータ生成（ＣＧ）光照射野データのプリプロセス方法
コンピュータ生成３Ｄモデルを使用して全方向視差光照射野画像を取り込み、これを圧縮するコンピュータ生成（ＣＧ）取込み環境では、レンダリング工程を開始する前にいくつかの情報が既知であることになる。この情報は、モデルの場所、モデルのサイズ、モデルの境界ボックス、取込みカメラの情報（ＣＧカメラ）、モデルの動きベクトル、及び標的表示情報を含む。そのような情報は、有益であり、米国特許出願第６１／９２６，０６９号に記載されている全方向視差圧縮光照射野３Ｄ表示システムの圧縮レンダリング操作で先験的情報として使用することができる。

プリプロセスの一方法では、先験的情報は、コンピュータ・グラフィックス・カードからポーリングするか、又は有線若しくは無線手段４０１により、測定若しくはユーザ対話デバイスを通して取り込むことができる。

別のプリプロセス方法では、先験的情報は、命令の一部、通信パケット、又は階層型撮影システム内で主若しくは従として働く別のサブシステムからの指示として供給することができる。先験的情報は、ヘッダ情報内のその画像の処理法に関する指令として、入力画像の一部であってもよい。

別のプリプロセス方法では、３Ｄ撮影システム内では、プリプロセス方法は、光照射野レンダリング操作又は圧縮操作の前に、専用グラフィック処理ユニット（ＧＰＵ）又は専用画像処理デバイスによって一括処理として実施することができる。この種類のプリプロセスでは、プリプロセス入力データをファイル又はメモリ内に保存し、後の段階で使用することになる。

別のプリプロセス方法では、プリプロセスは、新たな入力情報が利用可能となった際、各レンダリング段階又は圧縮段階の前に、十分な処理リソースを有する専用ハードウェア・システムを使用してリアルタイムで実施することもできる。例えば、対話式全方向視差光照射野表示装置では、対話情報４０２が利用可能となった際、対話情報４０２を動きベクトルとしてプリプロセス段階４０１に提供することができる。この種類のプリプロセスでは、プリプロセス・データは、直ちにリアルタイムで使用するか、又は将来使用するためにメモリ若しくはファイル内に保存することができる。

米国特許出願第６１／９２６，０６９号に記載されている全方向視差光照射野圧縮方法は、レンダリング段階及び圧縮段階を、圧縮レンダリング３０２と呼ばれる１つの段階に組み合わせたものである。圧縮レンダリング３０２は、光照射野についての先験的な既知の情報の使用によってその効率を達成する。一般に、そのような先験的情報は、３Ｄシーン内における物体の場所及び境界ボックスを含むことになる。米国特許出願第６１／９２６，０６９号に記載の全方向視差光照射野圧縮システムの圧縮レンダリング方法では、視認性試験は、３Ｄシーン内の物体についてのそのような先験的情報を利用し、撮影要素（又はホーゲル）の最良のセットを選択し、基準として使用する。

視認性試験を実施するために、光照射野圧縮入力データは、物体を表す３Ｄ平面リスト内にフォーマットしなければならず、この３Ｄ平面リストは、全方向視差圧縮光照射野３Ｄ表示システムの光照射野変調面までの距離によって並べられている。図６は、米国特許出願第６１／９２６，０６９号の全方向視差圧縮光照射野３Ｄ撮影システムの圧縮レンダリング要素３０２の状況における、本発明の光照射野入力データ・プリプロセスを示す。

プリプロセス・ブロック４０１は、光照射野入力データ２０１を受信し、米国特許出願第６１／９２６，０６９号の視認性試験６０１に必要な情報を抽出する。次に、視認性試験６０１は、プリプロセス・ブロック４０１から抽出した情報を利用することによって、基準として使用すべき撮影要素（又はホーゲル）のリストを選択する。レンダリング・ブロック６０２は、光照射野入力データにアクセスし、視認性試験６０１によって選択した要素画像（又はホーゲル）のみをレンダリングする。基準テクスチャ６０３及び基準深度６０４をレンダリング・ブロック６０２によって生成し、次に、テクスチャを適応テクスチャ・フィルタ６０５によって更にフィルタ処理し、深度を視差に変換する（６０６）。複数の基準深度画像に基づくレンダリング（ＭＲ−ＤＩＢＲ、ｍｕｌｔｉ−ｒｅｆｅｒｅｎｃｅ ｄｅｐｔｈ ｉｍａｇｅ ｂａｓｅｄ ｒｅｎｄｅｒｉｎｇ）６０７は、視差及びフィルタ処理したテクスチャを利用し、全体の光照射野テクスチャ６０８及び光照射野視差６０９を再構築する。

光照射野入力データ２０１は、高レベルの物体指向性から低レベルの点群データまで、いくつかの異なるデータ・フォーマットを有することができる。しかし、視認性試験６０１は、光照射野入力データ２０１の高レベルの表示のみを利用する。視認性試験６０１が使用する入力は、典型的には、光照射野表示体積部内にある３Ｄ物体の順序付きリストとなる。本実施形態では、そのような３Ｄ物体順序付きリストは、光照射野変調（又は表示）面に最も近い軸整合境界ボックスの表面を参照することになる。３Ｄ物体順序付きリストは、３Ｄ物体を表す３Ｄ平面のリストであり、全方向視差圧縮光照射野３Ｄ表示システムの光照射野変調面までの距離によって並べられている。３Ｄ物体は、光照射野変調面に対し閲覧者と同じ側にあっても、閲覧者と３Ｄ物体との間で光照射野変調面に対し反対側にあってもよい。リストの順序は、光照射野変調面までの距離によるものであり、光照射野変調面のどちらの側に３Ｄ物体があるかは考慮しない。いくつかの実施形態では、光照射野変調面までの距離は、光照射野変調面のどちらの側に３Ｄ物体があるのかを示す、符号付き番号によって示すことができる。これらの実施形態では、リストの順序は、符号付き距離値の絶対値によるものである。

図７に示すように、光照射野表示装置１０３の軸に整合させた、軸整合境界ボックスは、光照射野入力データ２０１の座標を分析することによって得ることができる。光源照射野入力データ２０１では、３Ｄシーン物体２０１は、典型的には、頂点の集合によって表すことになる。そのような頂点の座標の最大値及び最小値は、光照射野入力データ・プリプロセス・ブロック４０１によって分析し、物体１０１の軸整合境界ボックス７０２を決定するようにする。境界ボックス７０２の１つの角７０３は、３Ｄシーン物体１０１を表す頂点の全ての中から発見した３つの座標のそれぞれの最小値を有する。境界ボックス７０２の対角線上の反対の角７０４は、３Ｄシーン物体１０１を表す頂点の全ての中からの３つの座標のそれぞれの最大値を有する。

図８は、全方向視差圧縮光照射野３Ｄ表示システム及び物体の上面図を示し、図は、選択基準撮影要素８０１の円錐台を変調して示している。撮影要素８０１は、撮影要素８０１の円錐台が最小の重複で物体全体１０１を覆うように選択する。この条件は、互いから数単位離れる基準ホーゲルを選択する。この距離は、ある整数のホーゲルを１つの基準ホーゲルから別の基準ホーゲルまで飛ばすように、ホーゲルのサイズによって正規化する。基準の間の距離は、境界ボックス７０２と取込み面８０２との間の距離によって変わる。残りのホーゲルのテクスチャは、冗長であり、近隣基準ホーゲルから得ることができるため、基準として選択しない。境界ボックスの表面は、表示システムの光照射野変調面とも整合されることに留意されたい。視認性試験６０１は、光照射野変調面に最も近い境界ボックスの表面を使用し、光照射野体積部内の３Ｄ物体を表すことになる。というのは、この表面は、基準撮影要素８０１の間の最小距離を決定するためである。本発明の別の実施形態では、本発明の光照射野プリプロセス方法が使用する第１の境界ボックスの表面は、変調面と整合しなくてもよい。この実施形態では、表示システムの光照射野変調面と整合する第２の境界ボックスは、第１の境界ボックスのための境界ボックスとして計算する。

図９の例等の複数の物体を含む３Ｄシーンの場合、各個別の物体の境界ボックスを決定する必要がある。図９は、２つの物体、即ちドラゴンの物体１０１及び子ウサギの物体９０１を含む光照射野を示す。図９に示す子ウサギ９０２の表示システム軸整合境界ボックスは、ドラゴン７０２に関し上記したものと同じように、プリプロセス・ブロック４０１によって得られる。

図１０は、複数の物体を含むシーンの場合における、本発明の光照射野プリプロセスが使用する基準撮影要素の選択手順を示す。本実施形態では、表示装置に最も近い物体（この場合、子ウサギの物体９０１）を最初に分析し、基準撮影要素１００１のセットをドラゴン７０２に関し上記したものと同じように決定する。処理すべき次の物体、即ちドラゴンの物体１０１は、子ウサギの後ろにあるため、追加の撮影要素１００２を基準撮影要素のリストに追加して、子ウサギの物体９０１がドラゴンの物体１０１を塞いでいることを考慮する。追加の撮影要素１００２は、特定の視野のみに対して、より離れているドラゴンの物体１０１からのテクスチャが子ウサギ９０１によって塞がれている臨界領域に追加するが、その他の視野に対しては追加しない。この領域は、より近い物体の境界として特定し、基準ホーゲルは、円錐台が、取込み面により近い物体の境界まで背景のテクスチャを覆うように置く。このことは、追加のホーゲル１００２が、より近い物体によって塞がれている背景テクスチャを含むこの一時的な領域を覆うように追加されることを意味する。３Ｄシーンにおける光照射野変調面１０３から更に離れている物体、この場合はドラゴンの物体１０１、の光照射野入力データ２０１を処理する場合、ドラゴンの物体１０１の基準撮影要素は、光照射野変調面１０３により近い物体、この場合は子ウサギの物体９０１、で既に選択してある基準撮影要素と重複し得る。より遠い物体の基準撮影要素がより近い物体で既に選択した基準撮影要素と重複する場合、新たな基準撮影要素をリストに追加しない。より遠い物体に先立つ、より近い物体に対する処理は、最初の基準撮影要素の選択をより高密度にし、したがって基準撮影要素を再利用する機会を増大させる。

図１１は、３Ｄ光照射野シーンが、点群１１０１によって表す物体、子ウサギの物体９０１等を組み込む、本発明の別の実施形態を示す。子ウサギの物体９０１を表す深度を順序付きリスト内で特定するために、子ウサギの物体９０１の点を並べ換え、子ウサギの物体９０１における全ての点の最大座標及び最小座標を全ての軸に対して特定し、子ウサギの物体９０１の境界ボックスを点群データ内の３Ｄ物体順序付きリスト内に生成する。代替的に、点群１１０１の境界ボックスを特定し、変調面１０３と平行である境界ボックスの最も近い表面１１０２を選択し、３Ｄ物体９０１を点群データ内の順序付きリスト内に表す。

センサが取り込んだコンテンツのプリプロセス方法
光照射野カメラ１２０１、２Ｄカメラ・アレイ１２０２、３Ｄカメラ・アレイ１２０３（レーザー測距、ＩＲ深度取込み、又は構造化光深度感知を含む）、光照射野カメラ・アレイ１２０４のいずれか（図１２を参照）によって取り込まれるライブ・シーンの表示の場合のような、動的な光照射野１０２の表示に関して、本発明の光照射野入力データ・プリプロセス方法４０１及び関連する光照射野入力データは、限定はしないが、正確な又はおおよその物体サイズ、シーン及び物体の境界ボックスにおける物体の場所及び向き、各標的の表示に対する標的表示情報、３Ｄシーン・グローバル座標に対する全てのカメラの位置及び向きを含む。

単一光照射野カメラ１２０１を使用して光照射野を取り込む、本発明のプリプロセスの一方法４０１では、プリプロセス光照射野入力データは、取り込むべき最大画素数、カメラ・センサ上の特定の画素領域に対する特定の指示、カメラ・レンズ内の特定のミクロ・レンズ又は小型レンズ群に対する特定の指示、及びカメラ・レンズを下回る画素を含むことができる。プリプロセス光照射野入力データは、画像取込みの前に計算、記憶させることができるか、又は画像取込みと同時、若しくはその直前に取り込むことができる。光照射野入力データのプリプロセスを取込みの直前に実施するケースでは、カメラ画素のサブサンプルを使用して、深度、位置、視差、及び視認性試験アルゴリズムに対するホーゲルの関連性等、おおまかなシーン情報を決定することができる。

本発明の別の実施形態では、複数の２Ｄカメラを使用して光照射野を取り込む図１３を参照すると、プリプロセス４０１は、特定の目的でカメラの分配を含むことになり、例えば、各カメラは、異なる色を取り込むことができる（場所１３０２にあるカメラは第１の色を取り込み、場所１３０３にあるカメラは第２の色を取り込むことができる、等）。また、異なる場所にあるカメラは、異なる方向に対する深度マップ情報を取り込むことができる（場所１３０４及び場所１３０５にあるカメラは、第１の情報１３０６及び第２の情報１３０７に関する深度マップ情報を取り込むことができる、等）。図１３を参照。カメラは、必要な情報を取り込むために、カメラの全ての画素を使用するか、又は画素のサブセットのみを使用することができる。特定のカメラは、プリプロセス情報を取り込むために使用し得る一方で、その他のカメラは、光照射野データを取り込むために使用する。例えば、いくつかのカメラ１３０３は、シーン深度を分析することによって、どのカメラを使用してドラゴンの物体１０１シーンを取り込むべきかを決定する一方で、その他のカメラ１３０２、１３０４、１３０５は、そのシーンを取り込むことができる。

本発明の別の実施形態では、３Ｄカメラ・アレイ１２０４を使用して光照射野を取り込む図１４を参照すると、プリプロセス４０１は、特定の目的でカメラの分配を含むことになる。例えば、第１のカメラ１４０２は、第１の色を取込み、第２のカメラ１４０３は、第２の色を取り込むことができる、等である。また、更なるカメラ１４０４、１４０５は、カメラを向けている方向１４０６、１４０７に関する深度マップ情報を取り込むことができる。本実施形態では、プリプロセス４０１は、カメラの全ての画素又はカメラの画素のサブセットのみを使用することによって、アレイ内のカメラのサブセットから光照射野入力データを利用し、必要な光照射野入力情報を取り込むことができる。この方法の場合、アレイ内の特定のカメラは、任意の瞬間においてプリプロセスに必要な光照射野データを取り込み、提供するために使用することができる一方で、他のカメラは、光照射野シーンが変化する際、異なる瞬間において光照射野入力データを動的に取り込むために使用することができる。プリプロセスの本実施形態では、図４のプリプロセス要素４０１の出力を使用して、リアルタイム・フィードバックをカメラ・アレイに提供し、シーンが変化する際、各カメラが記録する画素数を制限するか又は光照射野を記録するカメラの数を減少させる。

本発明の別の実施形態では、本発明のプリプロセス方法は、米国特許出願第１３／６５９７７６号のネットワーク化した光照射野写真システムの状況において使用し、光照射野の取込みに使用するカメラへのフィードバックの取込みを可能にする。米国特許出願第１３／６５９７７６号は、ネットワーク化した光照射野写真方法を記載しており、この方法は、複数の光照射野及び／又は従来のカメラを用いて３Ｄシーンを同時に、又はある時間期間にわたって取り込むものである。早期にシーンを取り込んだ、ネットワーク化した光照射野写真システム内のカメラからのデータを使用して、その後のカメラでプリプロセス・データを生成することができる。このプリプロセス光照射野データは、シーンを取り込むカメラの数、又は各カメラが取り込む画素を低減することができ、したがって、各カメラから必要とするインターフェースの帯域幅を低減する。上記で説明した２Ｄ及び３Ｄアレイ取込み方法と同様に、ネットワーク化した光照射野カメラも、異なる機能を達成するように区分することができる。

いくつかの例示的実施形態を説明し、添付の図面に示してきたが、そのような実施形態は、単に例示的なものであり、広範な本発明に対する制限ではないこと、及び様々な他の修正形態を当業者が想起することができるので、本発明は、図示、説明した特定の構造及び配置に限定するものではないことを理解されたい。したがって、本明細書は、限定ではなく、例示的なものとしてみなすべきである。

Claims (42)

1. 光照射野入力データの全方向視差圧縮３次元処理をもたらす光照射野表示システムのためのプリプロセッサであって、
   データ空間内の前記光照射野入力データを受信するデータ受信器；
   前記光照射野表示システムの構成情報を受信する表示構成受信器；及び
   前記光照射野表示システムの前記構成情報に応答して、前記光照射野入力データの前記データ空間を変換する表示空間変換器
   を備えるプリプロセッサ。
2. 前記光照射野表示システムの前記構成情報は、前記光照射野表示システムの光照射野変調面の位置情報を含む、請求項１に記載のプリプロセッサ。
3. 前記表示空間変換器は、前記光照射野入力データ内の物体と、前記光照射野表示システムの前記光照射野変調面との間の距離に応答して、前記光照射野入力データの前記データ空間を変換する、請求項２に記載のプリプロセッサ。
4. 前記光照射野入力データ内の物体を表す３Ｄ平面の順序付きリストを作成するリスト生成器を更に備え、前記３Ｄ平面の順序付きリストは、前記光照射野表示システムの前記光照射野変調面までの距離によって並べられている、請求項２に記載のプリプロセッサ。
5. 光照射野表示システムのための光照射野入力データをプリプロセスする方法であって、前記光照射野表示システムは、前記光照射野入力データの全方向視差圧縮３次元処理をもたらす、方法であり、
   データ空間内の前記光照射野入力データを受信すること；
   前記光照射野表示システムの構成情報を受信すること；及び
   前記光照射野表示システムの前記構成情報に応答して、前記光照射野入力データの前記データ空間を変換すること
   を含む方法。
6. 前記光照射野表示システムの前記構成情報は、前記光照射野表示システムの光照射野変調面の位置情報を含む、請求項５に記載の方法。
7. 前記変換は、前記光照射野入力データ内の物体と、前記光照射野表示システムの前記光照射野変調面との間の距離に応答して、前記光照射野入力データの前記データ空間を変換することを更に含む、請求項６に記載の方法。
8. 前記光照射野入力データ内の物体を表す３Ｄ平面の順序付きリストを作成することを更に含み、前記３Ｄ平面の順序付きリストは、前記光照射野表示システムの前記光照射野変調面までの距離によって並べられている、請求項６に記載の方法。
9. 光照射野入力データの全方向視差圧縮３次元処理をもたらす光照射野表示システムのためのプリプロセッサであって、
   ユーザが対話方式で生成した選択を受信する対話受信器；及び
   前記ユーザが対話形式で生成した前記選択に応答するために、前記光照射野表示システムに供給すべき光照射野入力データにアクセスするデータ受信器
   を備えるプリプロセッサ。
10. 前記ユーザが対話形式で生成した前記選択は、動きベクトル・データを含み、前記データ受信器は、前記動きベクトル・データに応答して、前記光照射野入力データが前記光照射野表示システムに提供されることを予測して前記光照射野入力データに先制的にアクセスする、請求項９に記載のプリプロセッサ。
11. 前記ユーザが対話形式で生成した前記選択は、ズーム情報を含み、前記データ受信器は、前記ズーム情報に応答して、前記光照射野入力データが前記光照射野表示システムに提供されることを予測して前記光照射野入力データに先制的にアクセスする、請求項９に記載のプリプロセッサ。
12. 前記ユーザが対話形式で生成した前記選択は、表示モードの変更を含み、前記データ受信器は、前記表示モードの変更に応答して、前記光照射野入力データを前記光照射野表示システムに提供するために前記光照射野入力データにアクセスする、請求項９に記載のプリプロセッサ。
13. 請求項９に記載のプリプロセッサであって、
    前記光照射野入力データを記憶し、第１の転送速度を有する第１の記憶デバイス；及び
    前記第１の転送速度よりも速い第２の転送速度を有する第２の記憶デバイス
    を更に備え、
    前記プリプロセッサは、前記第１の記憶デバイス及び前記第２の記憶デバイスに結合し、前記プリプロセッサは、前記光照射野入力データを前記第１の記憶デバイスから受信し、前記ユーザが対話形式で生成した前記選択に応答するために、前記光照射野入力データの選択部分を前記第２の記憶デバイス上に記憶させる、プリプロセッサ。
14. 光照射野表示システムのための光照射野入力データをプリプロセスする方法であって、前記光照射野表示システムは、前記光照射野入力データの全方向視差圧縮３次元処理をもたらす、方法であり、
    ユーザが対話方式で生成した選択を受信すること；及び
    前記ユーザが対話形式で生成した前記選択に応答するために、前記光照射野表示システムに提供すべき光照射野入力データにアクセスすること
    を含む方法。
15. 前記ユーザが対話形式で生成した前記選択は、動きベクトル・データを含み、前記光照射野入力データにアクセスすることは、前記動きベクトル・データに応答して、前記光照射野入力データが前記光照射野表示システムに提供されることを予測して前記光照射野入力データに先制的にアクセスすることを更に含む、請求項１４に記載の方法。
16. 前記ユーザが対話形式で生成した前記選択は、ズーム情報を含み、前記光照射野入力データにアクセスすることは、前記ズーム情報に応答して、前記光照射野入力データが前記光照射野表示システムに提供されることを予測して前記光照射野入力データに先制的にアクセスすることを更に含む、請求項１４に記載の方法。
17. 前記ユーザが対話形式で生成した前記選択は、表示モードの変更を含み、前記光照射野入力データにアクセスすることは、前記表示モードの変更に応答して、前記光照射野表示システムに前記光照射野入力データを提供するために前記光照射野入力データにアクセスすることを更に含む、請求項１４に記載の方法。
18. 第１の転送速度を有する第１の記憶デバイス上に前記光照射野入力データを記憶させること；及び
    前記光照射野入力データを前記第１の記憶デバイスから受信し、前記ユーザが対話形式で生成した前記選択に応答するために、第２の記憶デバイス上に前記光照射野入力データの選択部分を記憶させること
    を更に含み、前記第２の記憶デバイスは、前記第１の転送速度よりも速い第２の転送速度を有する、請求項１４に記載の方法。
19. 光照射野入力データの全方向視差圧縮３次元処理をもたらす光照射野表示システムのためのプリプロセッサであって、
    光照射野入力データを受信するデータ受信器；
    光照射野表示装置上に表示すべき前記光照射野入力データ内で複数の３次元物体を特定する物体特定器；
    前記複数の３次元物体のための物体境界表示リストを生成する境界特定器
    を備えるプリプロセッサ。
20. 前記境界特定器は、
    前記光照射野表示装置の光照射野変調面と整合する境界ボックスを画定するために、前記複数の３次元物体のそれぞれに対する頂点の最小座標値及び最大座標値を発見し；
    前記光照射野表示装置の前記光照射野変調面に平行で最も近い前記境界ボックスの面を選択し；
    前記物体境界表示リスト内に前記選択された面を含める、請求項１９に記載のプリプロセッサ。
21. 前記境界特定器は、前記複数の３次元物体のそれぞれに対し、最初に、未整合の境界ボックスを画定し、次に、前記未整合の境界ボックスに対し、前記光照射野表示装置の前記光照射野変調面と整合する境界ボックスを画定する、請求項２０に記載のプリプロセッサ。
22. 前記物体境界表示リストは、前記光照射野表示装置の前記光照射野変調面から前記境界ボックスの前記選択された面までの距離に従って並べられる、請求項２０に記載のプリプロセッサ。
23. 前記光照射野変調面から前記境界ボックスの前記選択された面までの距離に従って並べることは、前記境界ボックスの前記選択された面が前記光照射野変調面の前にあるか又は後ろにあるかどうかを考慮しない、請求項２２に記載のプリプロセッサ。
24. 前記光照射野表示装置から光照射野変調面の位置情報を受信する表示構成受信器を更に備える、請求項１９に記載のプリプロセッサ。
25. 請求項１９に記載のプリプロセッサであって、
    前記光照射野入力データを記憶し、第１の転送速度を有する第１の記憶デバイス；及び
    前記第１の転送速度よりも速い第２の転送速度を有する第２の記憶デバイス
    を更に備え、前記プリプロセッサは、前記第１の記憶デバイス及び前記第２の記憶デバイスに結合し、前記プリプロセッサは、前記光照射野入力データを前記第１の記憶デバイスから受信し、前記光照射野入力データの選択部分を前記第２の記憶デバイス上に記憶させる、プリプロセッサ。
26. 光照射野表示システムのための光照射野入力データをプリプロセスする方法であって、前記光照射野表示システムは、前記光照射野入力データの全方向視差圧縮３次元処理をもたらす、方法であり、
    光照射野表示装置上に表示すべき複数の３次元物体を前記光照射野入力データ内で特定すること；
    前記複数の３次元物体のための物体境界表示リストを生成すること
    を含む方法。
27. 前記光照射野表示装置の光照射野変調面と整合する境界ボックスを画定するために、前記複数の３次元物体のそれぞれに対する頂点の最小座標値及び最大座標値を発見すること；
    前記光照射野表示装置の前記光照射野変調面に平行で最も近い前記境界ボックスの面を選択すること；及び
    前記物体境界表示リスト内に前記選択された面を含めること
    を更に含む、請求項２６に記載の方法。
28. 前記複数の３次元物体のそれぞれに対し、最初に、未整合の境界ボックスを画定し、次に、前記未整合の境界ボックスに対し、前記光照射野表示装置の前記光照射野変調面と整合する境界ボックスを画定することを更に含む、請求項２７に記載の方法。
29. 前記物体境界表示リストは、前記光照射野表示装置の前記光照射野変調面から前記境界ボックスの前記選択された面までの距離に従って並べられる、請求項２７に記載の方法。
30. 前記光照射野表示装置の光照射野変調面から前記境界ボックスの前記選択された面までの前記距離に従って並べることは、前記境界ボックスの前記選択された面が前記光照射野変調面の前にあるか又は後ろにあるかどうかを考慮しない、請求項２９に記載の方法。
31. 前記光照射野表示装置から光照射野変調面の位置情報を受信することを更に含む、請求項２６に記載の方法。
32. 第１の転送速度を有する第１の記憶デバイス上に前記光照射野入力データを記憶させること；及び
    前記光照射野入力データを前記第１の記憶デバイスから受信し、前記第１の転送速度よりも速い第２の転送速度を有する第２の記憶デバイス上に前記光照射野入力データの選択部分を記憶させること
    を更に含む、請求項３０に記載の方法。
33. 光照射野入力データの全方向視差圧縮３次元処理をもたらす光照射野表示システムのためのプリプロセッサであって、
    前記光照射野入力データを記憶する第１の記憶デバイスから前記光照射野入力データを受信するデータ受信器であって、前記第１の記憶デバイスは、第１の転送速度を有する、データ受信器；
    前記光照射野表示システムによって処理すべき前記光照射野入力データの部分を特定する光照射野分類器；及び
    前記第１の転送速度よりも速い第２の転送速度を有する第２の記憶デバイス上に、前記光照射野入力データの前記特定された部分を記憶させるデータ送信器
    を備え、前記第２の記憶デバイスは、前記光照射野表示システムに結合している、プリプロセッサ。
34. 前記光照射野分類器は、前記光照射野入力データの部分を特定し、前記部分は、前記光照射野表示システムによって処理すべきデータとして表示されるシーンに隣接するシーンを表す、請求項３３に記載のプリプロセッサ。
35. 前記光照射野分類器は、前記光照射野入力データの部分を特定し、前記部分は、前記光照射野表示システムによって処理すべきデータとして表示されるシーンの一部分のビューを表す、請求項３３に記載のプリプロセッサ。
36. 前記データ送信器は、光照射野表示装置の光照射野変調面により近い物体のための前記光照射野入力データを優先的なアクセスで転送することができるように、前記光照射野入力データの前記特定された部分を前記第２の記憶デバイス上に記憶させる、請求項３３に記載のプリプロセッサ。
37. 前記光照射野入力データの前記特定された部分内の物体を表す３Ｄ平面の順序付きリストを作成するリスト生成器を更に備え、前記３Ｄ平面の順序付きリストは、前記光照射野表示システムの光照射野変調面までの距離によって並べられている、請求項３３に記載のプリプロセッサ。
38. 光照射野表示システムのための光照射野入力データをプリプロセスする方法であって、前記光照射野表示システムは、前記光照射野入力データの全方向視差圧縮３次元処理をもたらす、方法であり、
    前記光照射野入力データを記憶する第１の記憶デバイスから、前記光照射野入力データを受信することであって、前記第１の記憶デバイスは、第１の転送速度を有する、受信すること；
    前記光照射野表示システムによって処理すべき前記光照射野入力データの部分を特定すること；及び
    前記第１の転送速度よりも速い第２の転送速度を有する第２の記憶デバイス上に、前記光照射野入力データの前記特定された部分を記憶させること
    を含み、前記第２の記憶デバイスは、前記光照射野表示システムに結合している、方法。
39. 表示されるシーンに隣接するシーンを表す前記光照射野入力データの部分は、前記光照射野表示システムによって処理すべきデータとして特定する、請求項３８に記載の方法。
40. 表示されるシーンの一部分のビューを表す前記光照射野入力データの部分は、前記光照射野表示システムによって処理すべきデータとして特定する、請求項３８に記載の方法。
41. 光照射野表示装置の光照射野変調面により近い物体のための前記光照射野入力データを優先的なアクセスで転送することができるように、前記光照射野入力データの特定部分を前記第２の記憶デバイス上に記憶させる、請求項３８に記載の方法。
42. 前記光照射野入力データの前記特定された部分内の物体を表す３Ｄ平面の順序付きリストを作成することを更に含み、前記３Ｄ平面の順序付きリストは、前記光照射野表示システムの光照射野変調面までの距離によって並べられている、請求項３８に記載の方法。

Images