JP2014534656A - 運動視差を用いた、２ｄ画像からの３ｄ知覚の生成 - Google Patents

Abstract

シーンの複数の２次元（２Ｄ）画像を受信することと、これらの複数の２Ｄ画像を用いて、シーンに関連付けられた３次元（３Ｄ）情報を決定することと、ディスプレイに対するユーザー視認角を決定することとを含むシステム、デバイス及び方法が記載されている。次に、これらの３Ｄ情報及びユーザー視認角を用いて、生成された画像をディスプレイ上に提示することができる。ユーザーがディスプレイに対して移動した場合、これに対応して新たなユーザー視認角を決定することができ、これらの３Ｄ情報及び新たなユーザー視認角を用いて、異なる生成画像を表示することができる。【選択図】図１

Description

立体表示デバイス、シャトル眼鏡、偏光眼鏡等の特別な視認デバイスを必要とすることなく、ユーザーの視点から３Ｄシーンの３Ｄ知覚を提供するものに、運動視差視認技法がある。ユーザーの体験は、鏡の中のシーン又は窓を通したシーンを見ることと等価であるので、運動視差の視認は、一般に特別な視認デバイスを用いることに関連した眼精疲労等の影響を引き起こすおそれがない。今日まで、運動視差の効果は、コンピューターグラフィックスによって生成された３Ｄ仮想コンテンツを視認することにのみ用いられてきており、カメラによってキャプチャされた２Ｄ写真コンテンツ及び／又は２Ｄビデオコンテンツを視認することには用いられていなかった。運動視差の効果を２Ｄ写真及び２Ｄビデオを視認することに用いることは、画像キャプチャ中及び／又は画像キャプチャ後に、実生活のシーンから３Ｄ情報を抽出することを伴う。

本明細書において説明される内容は、添付した図において、限定としてではなく例として示されている。説明を簡単かつ明瞭にするために、図に示した要素は、必ずしも一律の縮尺で描かれているものではない。例えば、幾つかの要素の寸法は、明瞭にするために、他の要素に比べて誇張されている場合がある。さらに、適切と考えられる場合には、対応する要素又は類似の要素を示すのに、参照符号が図の間で繰り返されている。

一例示の視差視認システムの説明図である。 一例示の視差視認システムの説明図である。 一例示の視差視認プロセスを示す図である。 一例示のカメラ視点の説明図である。 一例示の視差視認方式を示す図である。 一例示の視差視認プロセスを示す図である。 一例示のシステムの説明図である。 本開示の少なくとも幾つかの実施態様に従って全て配列された一例示の視差視認プロセスを示す図である。

ここでは、同封された図を参照して１つ又は複数の実施形態又は実施態様を説明する。特定の構成及び装置が議論されるが、これは、例示の目的でのみなされていることが理解されるべきである。当業者であれば、この説明の趣旨及び範囲から逸脱することなく他の構成及び装置を用いることができることを認識するであろう。本明細書において説明する技法及び／又は装置は、本明細書において説明するもの以外の他の様々なシステム及びアプリケーションにおいても用いることができることが当業者には明らかであろう。

以下の説明は、例えば、システムオンチップ（ＳｏＣ）アーキテクチャ等のアーキテクチャにおいて顕在化させることができる様々な実施態様を記載しているが、本明細書において説明する技法及び／又は装置の実施態様は、特定のアーキテクチャ及び／又はコンピューティングシステムに制限されるものではなく、同様の目的の任意のアーキテクチャ及び／又はコンピューティングシステムによって実施することができる。例えば複数の集積回路（ＩＣ）チップ及び／又はパッケージを用いる、例えば様々なアーキテクチャ、及び／又はセットトップボックス、スマートフォン等の様々なコンピューティングデバイス及び／又は消費家電（ＣＥ）デバイスが、本明細書において説明する技法及び／又は装置を実施することができる。さらに、以下の説明は、ロジックの実施態様、システム構成要素、ロジックの分割／統合の選択肢等のタイプ及び相互関係等の多数の特定の詳細を記載している場合があるが、特許請求される主題は、そのような特定の詳細がなくても実施することができる。それ以外の場合に、例えば、制御構造及び全ソフトウェア命令シーケンス等の幾つかの内容は、本明細書に開示する内容を分かりにくくしないように詳細に示されていない場合がある。

本明細書に開示する内容は、ハードウェア、ファームウェア、ソフトウェア、又はそれらの任意の組み合わせで実施することができる。本明細書に開示する内容は、１つ又は複数のプロセッサが読み出して実行することができる機械可読媒体上に記憶された命令として実施することもできる。機械可読媒体は、機械（例えば、コンピューティングデバイス）によって可読な形式で情報を記憶又は送信するための任意の媒体及び／又はメカニズムを含むことができる。例えば、機械可読媒体は、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、電気的形態、光学的形態、音響的形態又は他の形態の伝播信号（例えば、搬送波、赤外線信号、デジタル信号等）等を含むことができる。

本明細書において「１つの実施態様」、「一実施態様」、「一例示の実施態様」等というとき、これは、説明される実施態様が、特定の特徴、構造又は特性を含む場合があるが、あらゆる実施態様が、その特定の特徴、構造又は特性を必ずしも含むとは限らないことを示す。その上、そのようなフレーズは、必ずしも同じ実施態様を指しているとは限らない。さらに、特定の特徴、構造又は特性が一実施態様に関して説明されているとき、本明細書において明示的に説明されているか否かを問わず、他の実施態様に関してもそのような特徴、構造又は特性が有効であることが当業者には知られていると考えられる。

図１は、本開示による一例示の運動視差視認システム１００を示している。様々な実施態様では、システム１００は、２次元（２Ｄ）ビデオ画像の形式のソース画像１０７を提供するビデオ対応カメラ等の撮像デバイス１０２を備えることができる。様々な実施態様では、撮像デバイス１０２は、デジタル形式の２Ｄビデオ画像１０７を提供することができるビデオ対応スマートフォン等の任意のタイプのデバイスとすることができる。ソース画像１０７は、任意の解像度及び／又はアスペクト比を有することができる。ソース画像１０７は、撮像デバイス１０２にローカルに記憶することもできるし、ネットワーク１０４を通じて送信することもできる。ネットワーク１０４は、任意のタイプのネットワークとすることができ、無線及び／又は有線のネットワーク技術の任意の組み合わせを含むことができる。例えば、非限定的な例において、ネットワーク１０４は、インターネット等のワイドエリアネットワーク（ＷＡＮ）と組み合わさった１つ又は複数の無線ローカルエリアネットワーク（ＬＡＮ）（例えば、３Ｄ環境１０３にサービス提供する）を含むことができる。

図１に示すように、ビデオ画像１０７をキャプチャするとき、シーン１０５に対して水平なカメラ１０２の動きによって、シーン１０５に対する様々な向き又は視角を有するキャプチャされたビデオソース画像１０７を生成することができる。様々な実施態様では、シーン１０５に対してカメラ１０２を水平に移動させるのに任意の手法を用いることができる。例えば、ビデオモードにある間、カメラ１０２をマニュアルで（例えば、手によって）移動させて、異なる視角を有するソース画像１０７を取得することができる。他の実施態様では、カメラ１０２は、異なる視角を有するソース画像１０７を自動的に取得することができる。例えば、ソース画像１０７を取得するために、ユーザーはシャッター制御に一度携わるだけでよくカメラをマニュアルで移動させる必要がないように、カメラ１０２は、任意の内部機械式制御方式を用いて、異なる視角を有するソース画像１０７を自動的に取得するレンズ／撮像システムを組み込むことができる。

システム１００は、運動視差視認エンジン１０６、データベース１０８及びディスプレイエンジン１１０も備え、これらは全て、互いに直接又はネットワーク１０４を介して通信結合されている。様々な実施態様では、以下でより詳細に説明するように、視差視認エンジン１０６は、ネットワーク１０４を介してソース画像１０７を受信することができ、それらの画像に対して様々なプロセスを実行して、様々な画像に関連付けられた視角等の３Ｄ情報を取得することができる。視差視認エンジン１０６は、ソース画像１０７に関連付けられた３Ｄ情報をデータベース１０８に記憶することができる。様々な実施態様では、以下でより詳細に説明するように、ディスプレイエンジン１１０は、ソース画像１０７及び関連付けられた３Ｄ情報を撮像デバイス１０２から直接又はネットワーク１０４を介して受信することができ、様々なプロセスを行って、ディスプレイ１１２に対するユーザーの視認角に依存したディスプレイ１１２上に提示される画像を提供することができる。

図２は、本開示による別の例示の視差視認システム２００を示している。様々な実施態様では、システム２００は、シーン１０５のそれぞれの２Ｄソース画像２０６及び２０８をネットワーク１０４に提供する少なくとも２つの撮像デバイス（例えば、カメラ）２０２及び２０４を備えることができる。様々な実施態様では、デバイス２０２及び２０４は、デジタル形式の２Ｄ画像をネットワーク１０４に提供することができるスマートフォン等の任意のタイプのデバイスとすることができる。ソース画像２０６及び２０８は、任意の解像度及び／又はアスペクト比を有することができる。様々な実施態様では、デバイス２０２及び２０４は、既知の技法を用いて較正することができる（例えば、H. Malm及びA. Heyden「Simplified Intrinsic Camera Calibration and Hand-Eye Coordination for Robot Vision」（Proceedings of the 2003 IEEE/RSJ Intl. Conference on Intelligent Robots and Systems (October, 2003)）参照）。

図２に示すように、撮像デバイス２０２及び２０４は、互いに離間し、シーン１０５に対して対応する向き又は視角Θ_１及びΘ_２を有する。その結果、それぞれの画像２０６及び２０８は、異なる視角Θ_１及びΘ_２に従った異なる視点からシーン１０５をキャプチャすることができる。様々な実施態様では、撮像デバイス２０２と２０４との間の距離ｘ、すなわちベースラインは、撮像デバイス２０２及び２０４とシーン１０５との間の深度すなわち距離ｄに依存する場合がある。例えば、非限定的な例では、撮像デバイス２０２及び２０４とシーン１０５との間の深度ｄが約２メートルである場合、撮像デバイス２０２と２０４との間の約１０センチメートルのベースラインによって、以下でより詳細に説明するような立体再構成技法に適したシーン１０５の異なる視点を有する画像２０６及び２０８を提供することができる。

様々な実施態様では、２つの撮像デバイス２０２及び２０４は、同様のデバイスとすることができる。例えば、幾つかの実施態様では、デバイス２０２及び２０４は、同様の高解像度カラーカメラとすることができる。更に他の実施態様では、デバイス２０２及び２０４は、構造化光カメラ又は飛行時間カメラ等の同様のカラー深度カメラとすることができる。別の更なる実施態様では、２つの撮像デバイス２０２及び２０４は、異種のデバイスとすることができる。例えば、幾つかの実施態様では、デバイス２０２は、高解像度カラーカメラとすることができる一方、デバイス２０４は、例えば、魚眼レンズを装備した広視野カメラとすることができる。

システム２００は、視差視認エンジン１０６、データベース１０８及びディスプレイエンジン１１０も備え、これらは全てネットワーク１０４に通信結合されているとともに、ネットワーク１０４を介して互いに通信結合されている。様々な実施態様では、以下で更に詳細に説明するように、視差視認エンジン１０６は、ネットワーク１０４を介してソース画像２０６及び２０８を受信することができ、それらの画像に対して立体再構成等の様々なプロセスを実行して、シーン１０５に関連付けられた３Ｄ情報を取得することができる。視差視認エンジン１０６は、この３Ｄ情報をデータベース１０８に記憶することができる。様々な実施態様では、以下でより詳細に説明するように、ディスプレイエンジン１１０は、ネットワーク１０４を介してこの３Ｄ情報を受信することができ、様々なプロセスを行って、ディスプレイ１１２に対するユーザーの視認角に依存したシーン１０５の合成画像を提供することができる。

図１及び図２は、エンジン１０６及び１１０並びにデータベース１０８を、互いに別個のものとして示しているが、本開示は、そのような配置に限定されるものではない。例えば、幾つかの実施態様では、エンジン１０６及び１１０及び／又はデータベース１０８は、サーバー等の単一のデバイス又はコンピューティングシステムによって提供することができる。さらに、幾つかの実施態様では、例えば、システム１００において、視認エンジン１０６及びカメラ１０２は、スマートフォン等の単一のデバイス又はコンピューティングシステムに含めることができる。また、更に他の実施態様では、システム２００は、２つのみの撮像デバイス２０２及び２０４ではなく、３つ以上の視角からシーン１０５の複数の画像を同時にキャプチャすることができるように互いに水平方向に離間する複数の画像キャプチャデバイス（例えば、カメラ素子）を備えることができる。上記は、システム１００及び２００の項目のほんの数例の配置にすぎず、本開示と矛盾しない多数の他の配置又は実施態様が可能である。

図３は、本開示の様々な実施態様による一例示の視差視認プロセス３００の流れ図を示している。プロセス３００は、図３のブロック３０２、３０４、３０６、３０８、３１０、３１２及び３１４のうちの１つ又は複数によって示されているような１つ又は複数の動作、機能又は行為を含むことができる。非限定的な例として、プロセス３００は、本明細書では、図１の例示のシステム１００に関して説明される。

プロセス３００は、複数のソースビデオ画像３０１を受信することができるブロック３０２において開始することができる。例えば、システム１００を参照すると、ブロック３０２は、視差視認エンジン１０６がネットワーク１０４を介してソース画像１０７を受信することを含むことができる。幾つかの実施態様では、ソース画像は、ブロック３０２においてデータベース１０８から受信することができる。

次に、ブロック３０４において、ソース画像の視角を決定することができる。様々な実施態様では、ブロック３０４は、視差視認エンジン１０６が既知の技法（例えば、M. Goesele他「Multi-View Stereo for Community Photo Collections」（IEEE 11th International Conference on Computer Vision (2007)）参照）を用いて、ブロック３０２において受信された各画像の視角を決定することを含むことができる。例えば、図４は、シーン１０５の中心点４０６及び関連付けられた中心軸４０７に対するソース画像の幾つかのカメラ視点４０２〜４０５の単純化した例示の略図面４００を示している。略図面４００に示すように、ブロック３０４は、視点４０２の視角４０８、視点４０３の視角４１０等を決定することを含むことができる。様々な実施態様では、視角４０８及び４１０等の軸４０７の左側の視角は、負の値の視角として指定することができる一方、視点４０５の視角４１２等の軸４０７の右側の視角は、正の値の視角として指定することができる。

プロセス３００の議論に戻ると、ブロック３０４において決定された視角は、対応するソース画像に関連付けられたメタデータとして記憶することができる（ブロック３０６）。例えば、様々な実施態様では、視差視認エンジン１０６は、ブロック３０４において視角を決定すると、視角メタデータがデータベース１０８内の対応するソース画像に関連付けられようにこの視角メタデータをデータベース１０８に記憶することによって、ブロック３０６を行うことができる。

ブロック３０８において、ユーザー視認角を決定することができる。様々な実施態様では、ブロック３０８は、前向きカメラ及び関連付けられたロジック等のディスプレイに関連付けられたメカニズムが、当該ディスプレイに対するユーザーの角度を決定することを含むことができる。ここで、ディスプレイは、シーン１０５の画像をユーザーに提示するのに用いられる。例えば、図５は、システム１００及び２００のディスプレイ１１２を含む単純化した例示の略図面５００を示している。ディスプレイ１１２は、前向きカメラ５０２と、既知の技法を用いてユーザーの顔及び／又は頭部を検出することができ、それによって、ユーザーの視認角Θ_ｕｓｅｒを決定することができる関連付けられたロジック（図示せず）とを備える。ユーザー視認角Θ_ｕｓｅｒは、顔／頭部認識技法を用いて確立された、ユーザーの視点５０６に関連付けられたユーザーの視線５０４と、ディスプレイ１１２の中心軸５０８との間の角度差として決定することができる。様々な実施態様では、システム１００のディスプレイエンジン１１０は、ブロック３０８を行うことができる。さらに、中心軸５０８の右側のユーザー視認角は、正の値を有するように指定することができる一方、中心軸５０８の左側の角度は、負の値として指定することができる。

プロセス３００の議論に戻ると、ユーザー視認角に最も近い視角を有する最もよく一致したソース画像を決定することができる（ブロック３１０）。様々な実施態様では、ブロック３０８は、ディスプレイエンジン１１０が、ブロック３０６からの結果の視角メタデータにアクセスし、対応する視角をブロック３０８において決定されたユーザー視認角と比較して、ユーザー視認角に値が最も近い画像視角に対応する最もよく一致したソース画像を決定することを含むことができる。ブロック３１０を行う際に、ディスプレイエンジン１１０は、データベース１０８に記憶された視角メタデータにアクセスすることができる。

ブロック３１２において、最もよく一致したソース画像を表示することができる。例えば、ディスプレイエンジン１１０は、ブロック３１０において、最もよく一致したソース画像を決定すると、そのソース画像をディスプレイ１１２上に提示することができる。ブロック３１２を行う際に、ディスプレイエンジン１１０は、対応するソース画像をデータベース１０８から取り出すことができる。

ブロック３１４において、ユーザー視認角が変化したか否かに関する判断を行うことができる。例えば、図５も参照すると、ブロック３１４は、ユーザーがディスプレイ１１２に対して移動したため、ユーザーは現在、新たなユーザーの視点５１０に位置していると判断することを含むことができる。その結果、プロセス３００は、ブロック３０８に戻ることができ、このブロック３０８において、上述したものと同様の方法で、新たなユーザー視認角Θ_ｕｓｅｒを決定することができる。その後、ブロック３１０及び３１２を再び行って、上述したものと同様の方法で、新たな最もよく一致したソース画像を決定し、その新たな最もよく一致したソース画像を表示することができる。新たなユーザー視点が、新たな最もよく一致したソース画像を得るほど十分に変化していないと判断された場合、プロセス３００は、ブロック３１２に戻って、現在の最もよく一致したソース画像の表示を継続することができる。このように、プロセス３００は、ユーザ操作可能な（user-steerable）３Ｄ知覚又は視認体験を提供することができる。

ブロック３０８は、上述したように、前向きカメラを用いてユーザー視認角を決定するが、本開示は、ユーザー視認角を決定するための特定の方法に限定されるものではない。例えば、ユーザー視認角を決定するのに用いることができる他の技法は、よく知られたマウス、キーボード、及び／又はタッチスクリーンのユーザー制御技法を用いることを含む。例えば、ユーザー視認角を決定することは、タッチスクリーンコンピューティングシステムとのユーザーのインターラクションの結果として行うことができる。例えば、ユーザー視認角は、ユーザーがタッチスクリーン上の特定のロケーションをタッチすることによって示すことができる。さらに、ユーザーがスクリーンをタッチし、次いで、その指を特定の方向にスライドすること等が、ユーザー視認角の変化を示すことができる。

図６は、本開示の様々な実施態様による一例示の視差視認プロセス６００の流れ図を示している。プロセス６００は、図６のブロック６０２、６０４、６０６、６０８、６１０、６１２及び６１４のうちの１つ又は複数によって示されるような１つ又は複数の動作、機能又は行為を含むことができる。非限定的な例として、プロセス６００は、本明細書では、図２の例示のシステム２００に関して説明される。

プロセス６００は、少なくとも一対のソース画像を受信することができるブロック６０２において開始することができる。例えば、システム２００を参照すると、ブロック６０２は、視差視認エンジン１０６が、ネットワーク１０４を介して第１のソース画像２０６及び第２のソース画像２０８を受信することを含むことができる。幾つかの実施態様では、ソース画像は、ブロック６０２においてデータベース１０８から受信することができる。

図２の議論において上述したように、撮像デバイス２０２及び２０４は、同様のデバイスとすることができ、したがって、ソース画像２０６及び２０８も、同様のものとすることができる。例えば、デバイス２０２及び２０４が同様の高解像度カラーカメラである実施態様では、ソース画像２０６及び２０８は、同様のデータフォーマット、解像度及びアスペクト比を有する高解像度カラー画像とすることができる。デバイス２０２及び２０４が構造化光カメラ又は飛行時間カメラ等の同様のカラー深度カメラである更に他の実施態様では、ソース画像２０６及び２０８は、同様のデータフォーマット（深度データを含む）、解像度及びアスペクト比を有する高解像度カラー画像とすることができる。

上記とは対照的に、撮像デバイス２０２及び２０４が異種のものである実施態様では、ソース画像２０６及び２０８も、同様に異種のものとすることができる。例えば、デバイス２０２が高解像度カラーカメラであり、デバイス２０４が広視野カメラである実施態様では、ソース画像２０６は、高解像度カラー画像とすることができる一方、ソース画像２０８は、それよりも低い解像度の広視野カラー画像とすることができる。そのような実施態様では、画像２０６及び２０８は、同様のアスペクト比を有することができるが、シーン１０５の異なる部分又は側面をキャプチャすることができる。例えば、画像２０６は、シーン１０５の視野の中央における高解像度の視覚的詳細を提供する高解像度カラー画像とすることができる一方、魚眼画像２０８は、シーン１０５のそれよりも低い解像度の周辺視野を提供することができる。

ブロック６０４において、ソース画像を解析して、シーン１０５の３Ｄ情報を取得することができる。ソース画像が同様の較正された撮像デバイスから取得される様々な実施態様では、ブロック６０４は、シーン１０５の３Ｄ情報を抽出することと、既知の立体再構成技法（例えば、Seitz他「A Comparison and Evaluation of Multi-View Stereo Reconstruction Algorithms」（In Proc. IEEE Conf. on Computer Vision and Pattern Recognition (2006)）参照）を用いてソース画像間の回転及び平行移動等のカメラの動きを推定することとを含むことができる。様々な実施態様では、ブロック６０４において生成されて、ブロック６０２において受信されたソース画像に関連付けられた３Ｄ情報は、（例えば、シーンのワールド座標系におけるシーン特徴点についての）シーンの３Ｄ座標、及び２つのソース画像に関連付けられたカメラ姿勢情報を含むことができる。

ブロック６０４を行う際に、２つのソース画像２０６及び２０８のカメラ視角を、左端基準視角及び右端基準視角として用いることができる。例えば、ソース画像がカラー深度撮像デバイスから取得される幾つかの実施態様、又は撮像デバイス間のベースラインがシーンの信頼できる立体再構成を妨げるほど十分大きい実施態様では、テクスチャレスシーンからの３Ｄ情報の抽出を援助するのにソース画像内の深度データを用いることもできる。ブロック６０６において、３Ｄ情報は、ソース画像に関連付けられたメタデータとして記憶することができる。例えば、３Ｄ情報は、システム２００のデータベース１０８にメタデータとして記憶することができる。様々な実施態様では、プロセス６００のブロック６０２〜６０６は、視差視認エンジン１０６が行うことができる。

ブロック６０８において、ユーザー視認角を決定することができる。例えば、ブロック６０８は、プロセス３００のブロック３０８に関して本明細書において説明したものと同様の方法で行うことができる。ブロック３０８に関して前述したように、ユーザー視認角は、ディスプレイ１１２上の前向きカメラを用いて、又はマウス、キーボード、タッチスクリーン等のユーザー操作に応答して決定することができる。

ブロック６１０において、ブロック６０４において決定された３Ｄ情報及びブロック６０８において決定されたユーザー視認角に少なくとも部分的に基づいて、画像を合成することができる。様々な実施態様では、ブロック６１０は、３Ｄ情報を投影する既知の技法を用いて、ディスプレイ１１２に対するユーザーの視認角に対応する視点を有するシーン１０５の画像を生成することを含むことができる。次に、ブロック６１２において、結果の合成画像を表示することができる。例えば、この合成画像は、ディスプレイ１１２上にレンダリング又は提示することができる。

ブロック６１４において、ユーザー視認角が変化したか否かに関する判断を行うことができる。例えば、図５を再び参照すると、ブロック６１４は、ユーザーがディスプレイ１１２に対して移動したため、ユーザーは現在、新たなユーザーの視点５１０に位置していると判断することを含むことができる。その結果、プロセス６００は、ブロック６０８に戻ることができ、このブロック６０８において、上述したものと同様の方法で、新たなユーザー視認角Θ_ｕｓｅｒを決定することができる。その後、ブロック６１０及び６１２を再び行って、上述したものと同様の方法で、新たなユーザー視認角に対応する視点を有するシーン１０５の新たな画像を合成することができる。新たなユーザー視点が十分に変化していないと判断された場合、プロセス６００は、ブロック６１２に戻って、現在の合成画像表示を継続することができる。このように、プロセス６００は、ユーザ操作可能な３Ｄ知覚又は視認体験を提供することができる。様々な実施態様では、プロセス６００のブロック６０８〜６１４は、ディスプレイエンジン１１０が行うことができる。

図３及び図６に示すような例示のプロセス３００及び６００の実施態様は、示された順序で図示した全てのブロックを行うことを含むことができるが、本開示は、この点に限定されるものではなく、様々な例では、プロセス３００及び６００の実施態様は、図示した全てのブロックのサブセットのみを行うこと、及び／又は示したものとは異なる順序で行うことを含むことができる。さらに、プロセス３００及び／又は６００の一部は、異なる連結で行うことができる。例えば、図３のブロック３０２〜３０６又は図６のブロック６０２〜６０６は、視差視認エンジン１０６が行うことができ、それらの行為の結果は、データベース１０８に記憶することができる。その後になって（例えば、数日後、数週間後又は数ヵ月後）、ディスプレイエンジン１１０は、図３のブロック３０８〜３１４又は図６のブロック６０８〜６１４を行うことができる。

加えて、図３及び図６のプロセス及び／又はブロックのうちの任意の１つ又は複数は、１つ又は複数のコンピュータープログラム製品によって提供される命令に応答して行うことができる。そのようなプログラム製品は、例えば、１つ又は複数のプロセッサコアによって実行されると、本明細書において説明した機能を提供することができる命令を提供する信号担持媒体を含むことができる。コンピュータープログラム製品は、任意の形式のコンピューター可読媒体において提供することができる。したがって、例えば、１つ又は複数のプロセッサコアを含むプロセッサは、コンピューター可読媒体によってプロセッサに搬送される命令に応答して、図３及び図６に示すブロックのうちの１つ又は複数を行うことができる。

図７は、本開示による一例示のシステム７００を示している。システム７００は、本明細書において議論した様々な機能の一部又は全てを実行するのに用いることができ、本開示の様々な実施態様による視差視認を実施することができる任意のデバイス又はデバイスの集合体を備えることができる。例えば、システム７００は、デスクトップ、移動コンピューター又はタブレットコンピューター、スマートフォン、セットトップボックス等のコンピューティングプラットフォーム又はデバイスの選択された構成要素を含むことができるが、本開示は、この点に限定されるものではない。幾つかの実施態様では、システム７００は、ＣＥデバイス用のＩｎｔｅｌ（登録商標）アーキテクチャ（ＩＡ）に基づくコンピューティングプラットフォーム又はＳｏＣとすることができる。本明細書において説明した実施態様は、本開示の範囲から逸脱することなく、代替の処理システムとともに用いることができることが当業者によって容易に認識されるであろう。

システム７００は、１つ又は複数のプロセッサコア７０４を有するプロセッサ７０２を備える。プロセッサコア７０４は、少なくとも部分的にソフトウェアを実行し及び／又はデータ信号を処理することができる任意のタイプのプロセッサロジックとすることができる。様々な例では、プロセッサコア７０４は、ＣＩＳＣプロセッサコア、ＲＩＳＣマイクロプロセッサコア、ＶＬＩＷマイクロプロセッサコア、及び／又は命令セットの任意の組み合わせを実装する任意の数のプロセッサコア、又はデジタル信号プロセッサ若しくはマイクロコントローラー等の他の任意のプロセッサデバイスを含むことができる。

プロセッサ７０２は、例えば、ディスプレイプロセッサ７０８及び／又はグラフィックスプロセッサ７１０によって受信された命令を制御信号及び／又はマイクロコードエントリー点にデコードするのに用いることができるデコーダー７０６も備える。コア（複数の場合もある）７０４とは別個の構成要素としてシステム７００に示されているが、当業者であれば、コア（複数の場合もある）７０４のうちの１つ又は複数が、デコーダー７０６、ディスプレイプロセッサ７０８、及び／又はグラフィックスプロセッサ７１０を実施することができることを認識することができる。幾つかの実施態様では、プロセッサ７０２は、図３及び図６に関して説明した例示のプロセスを含む、本明細書において説明したプロセスのうちの任意のものを行うように構成することができる。さらに、制御信号及び／又はマイクロコードエントリー点に応答して、デコーダー７０６、ディスプレイプロセッサ７０８、及び／又はグラフィックスプロセッサ７１０は、対応する動作を実行することができる。

処理コア（複数の場合もある）７０４、デコーダー７０６、ディスプレイプロセッサ７０８、及び／又はグラフィックスプロセッサ７１０は、システム相互接続７１６を通じて互いに及び／又は様々な他のシステムデバイスと通信可能に及び／又は動作可能に結合することができる。これらの様々な他のシステムデバイスは、例えば、メモリコントローラー７１４、オーディオコントローラー７１８、及び／又は周辺装置７２０を含むことができるが、これらに限定されるものではない。周辺装置７２０は、例えば、統一シリアルバス（ＵＳＢ：unified serial bus）ホストポート、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）エクスプレスポート、シリアル周辺インターフェース（ＳＰＩ）インターフェース、拡張バス、及び／又は他の周辺装置を含むことができる。図７は、相互接続７１６によってデコーダー７０６並びにプロセッサ７０８及び７１０に結合されたものとしてメモリコントローラー７１４を示しているが、様々な実施態様では、メモリコントローラー７１４は、デコーダー７０６、ディスプレイプロセッサ７０８、及び／又はグラフィックスプロセッサ７１０に直接結合することができる。

幾つかの実施態様では、システム７００は、図７に図示していない様々なＩ／ＯデバイスとＩ／Ｏバス（同様に図示せず）を介して通信することができる。そのようなＩ／Ｏデバイスは、例えば、ユニバーサル非同期受信機／送信機（ＵＡＲＴ）デバイス、ＵＳＢデバイス、Ｉ／Ｏ拡張インターフェース、又は他のＩ／Ｏデバイスを含むことができるが、これらに限定されるものではない。様々な実施態様では、システム７００は、移動通信、ネットワーク通信、及び／又は無線通信を行うためのシステムの少なくとも一部分を表すことができる。

システム７００は、メモリ７１２を更に備えることができる。メモリ７１２は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）デバイス、スタティックランダムアクセスメモリ（ＳＲＡＭ）デバイス、フラッシュメモリデバイス、又は他のメモリデバイス等の１つ又は複数のディスクリートメモリ構成要素とすることができる。図７は、プロセッサ７０２の外部のものとしてメモリ７１２を示しているが、様々な実施態様では、メモリ７１２は、プロセッサ７０２の内部とすることができる。メモリ７１２は、図３及び図６に関して説明した例示のプロセスを含む、本明細書において説明したプロセスのうちの任意のものを行う際に、プロセッサ７０２が実行することができるデータ信号によって表される命令及び／又はデータを記憶することができる。幾つかの実施態様では、メモリ７１２は、システムメモリ部分及びディスプレイメモリ部分を含むことができる。

例示のシステム１００、２００、及び／又は７００等の本明細書において説明したデバイス及び／又はシステムは、本開示による多くの可能なデバイス構成、アーキテクチャ又はシステムのうちの幾つかを表している。例示のシステム１００、２００、及び／又は７００の変形形態等の、システムの多数の変形形態が、本開示と矛盾せずに可能である。

図８は、本開示の様々な実施態様による一例示の視差視認プロセス８００の流れ図を示している。プロセス８００は、図８のブロック８０２、８０４、８０６、８０８、８１０及び８１２のうちの１つ又は複数によって示されるような１つ又は複数の動作、機能又は行為を含むことができる。

プロセス８００は、本明細書において説明したようにシーンの複数の２Ｄ画像８０１を受信することができるブロック８０２において開始することができる。ブロック８０４において、シーンに関連付けられた３Ｄ情報を決定することができる。例えば、プロセス３００及び６００を参照すると、ブロック８０４は、本明細書において説明したように、ブロック３０４又は６０４をそれぞれ行うことを含むことができる。その後、本明細書において説明したように、３Ｄ情報をメタデータとして記憶することができ（ブロック８０６）、同様に本明細書において説明したように、ブロック８０８において、ディスプレイに対するユーザー視認角を決定することができる。ブロック８１０において、シーンに関連付けられた３Ｄ情報及びユーザー視認角を少なくとも部分的に用いて、画像を生成することができる。例えば、プロセス３００及び６００を参照すると、ブロック８１０は、本明細書において説明したように、ブロック３１０又は６１０をそれぞれ行うことを含むことができる。ブロック８１１において、生成された画像を表示することができる。最後に、ブロック８１２において、ユーザー視認角が変化したか否かに関する判断を行うことができる。変化していた場合、ブロック８０８及び８１０を繰り返すことができる。変化していない場合、プロセス８００は、ブロック８１１に戻って、生成された現在の画像の表示を継続する。このように、プロセス８００は、ユーザ操作可能な３Ｄ知覚又は視認体験を提供することができる。

上述したシステム、及び本明細書において説明したようなそれらのシステムによって実行される処理は、ハードウェア、ファームウェア、若しくはソフトウェア、又はそれらの任意の組み合わせで実施することができる。加えて、本明細書において開示した任意の１つ又は複数の特徴は、ディスクリートロジック及び集積回路ロジック、特定用途向け集積回路（ＡＳＩＣ）ロジック、並びにマイクロコントローラーを含むハードウェア、ソフトウェア、ファームウェア及びそれらの組み合わせで実施することができ、特定領域集積回路パッケージの一部、又は集積回路パッケージの組み合わせとして実施することができる。ソフトウェアという用語は、本明細書において用いられるとき、本明細書において開示した１つ若しくは複数の特徴及び／又は特徴の組み合わせをコンピューターシステムに実行させるコンピュータープログラムロジックが記憶されているコンピューター可読媒体を含むコンピュータープログラム製品を指す。

本明細書において記載された或る特定の特徴を様々な実施態様に関して説明してきたが、この説明は、限定的な意味に解釈されることを意図するものではない。したがって、本開示が関係する技術分野の当業者に明らかである、本明細書において説明した実施態様及び他の実施態様の様々な変更は、本開示の趣旨及び範囲内にあるとみなされる。

本明細書において記載された或る特定の特徴を様々な実施態様に関して説明してきたが、この説明は、限定的な意味に解釈されることを意図するものではない。したがって、本開示が関係する技術分野の当業者に明らかである、本明細書において説明した実施態様及び他の実施態様の様々な変更は、本開示の趣旨及び範囲内にあるとみなされる。
本発明の例を下記の各項目として示す。
［項目１］
シーンの複数の２次元画像（複数の２Ｄ画像）を受信することと、
前記複数の２Ｄ画像に応じて、前記シーンに関連付けられた３次元情報（３Ｄ情報）を決定することと、
ディスプレイに対する第１のユーザー視認角を決定することと、
少なくとも前記３Ｄ情報及び前記第１のユーザー視認角に応じて、第１の生成された画像を前記ディスプレイ上に提示することと、
を含む、コンピューター実施方法。
［項目２］
前記ディスプレイに対する、前記第１のユーザー視認角とは異なる第２のユーザー視認角を決定することと、
少なくとも前記３Ｄ情報及び前記第２のユーザー視認角に応じて、第２の生成された画像を前記ディスプレイ上に提示することと、
を更に含む、項目１に記載の方法。
［項目３］
前記複数の２Ｄ画像は、複数のビデオ画像を含み、前記シーンに関連付けられた３Ｄ情報を決定することは、前記複数のビデオ画像の各画像について前記シーンに対する視角を決定することを含む、項目１に記載の方法。
［項目４］
前記第１の生成された画像を前記ディスプレイ上に提示することは、前記複数のビデオ画像のうちの、前記第１のユーザー視認角に最も近い視角を有するビデオ画像を決定することを含む、項目３に記載の方法。
［項目５］
前記３Ｄ情報に対応するメタデータを記憶することを更に含む、項目１に記載の方法。
［項目６］
前記ディスプレイに対する前記第１のユーザー視認角を決定することは、
前向きカメラ、マウス、キーボード又はタッチスクリーンのユーザー制御のうちの少なくとも１つを用いて、前記ディスプレイに対するユーザーの向きを決定することを含む、項目１に記載の方法。
［項目７］
前記シーンに関連付けられた３Ｄ情報を決定することは、前記複数の２Ｄ画像に応じて立体再構成を実行することを含む、項目１に記載の方法。
［項目８］
前記第１の生成された画像を提示することは、前記３Ｄ情報及び前記第１のユーザー視認角に少なくとも部分的に応じて、前記第１の生成された画像を合成することを含む、項目７に記載の方法。
［項目９］
前記３Ｄ情報は、前記シーンの３Ｄ座標又は前記複数の２Ｄ画像に関連付けられたカメラ姿勢情報のうちの少なくとも一方を含む、項目７に記載の方法。
［項目１０］
前記複数の２Ｄ画像は、複数の撮像デバイスによってキャプチャされた画像を含む、項目１に記載の方法。
［項目１１］
前記複数の撮像デバイスは、カラーカメラ又はカラー深度カメラのうちの少なくとも一方を含む、項目１０に記載の方法。
［項目１２］
前記複数の撮像デバイスは、高解像度カラーカメラ及び広視野カラーカメラを含む、項目１０に記載の方法。
［項目１３］
命令を記憶しているコンピュータープログラム製品を含む物品であって、前記命令は実行されると、結果として、
シーンの複数の２次元画像（複数の２Ｄ画像）を受信することと、
前記複数の２Ｄ画像に応じて、前記シーンに関連付けられた３次元情報（３Ｄ情報）を決定することと、
ディスプレイに対する第１のユーザー視認角を決定することと、
少なくとも前記３Ｄ情報及び前記第１のユーザー視認角に応じて、第１の生成された画像を前記ディスプレイ上に提示することと、
が行われる命令を記憶しているコンピュータープログラム製品を含む物品。
［項目１４］
前記コンピュータープログラム製品は、実行されると、結果として、
前記ディスプレイに対する、前記第１のユーザー視認角とは異なる第２のユーザー視認角を決定することと、
少なくとも前記３Ｄ情報及び前記第２のユーザー視認角に応じて、第２の生成された画像を前記ディスプレイ上に提示することと、
が行われる命令を更に記憶している、項目１３に記載の物品。
［項目１５］
前記複数の２Ｄ画像は、複数のビデオ画像を含み、前記シーンに関連付けられた３Ｄ情報を決定することは、前記複数のビデオ画像の各画像について前記シーンに対する視角を決定することを含む、項目１３に記載の物品。
［項目１６］
前記第１の生成された画像を前記ディスプレイ上に提示することは、前記複数のビデオ画像のうちの、前記第１のユーザー視認角に最も近い視角を有するビデオ画像を決定することを含む、項目１５に記載の物品。
［項目１７］
前記コンピュータープログラム製品は、実行されると、結果として、
前記３Ｄ情報に対応するメタデータを記憶することが行われる命令を更に記憶している、項目１３に記載の物品。
［項目１８］
前記ディスプレイに対する前記第１のユーザー視認角を決定することは、
前向きカメラ、マウス、キーボード又はタッチスクリーンのユーザー制御のうちの少なくとも１つを用いて、前記ディスプレイに対するユーザーの向きを決定することを含む、項目１３に記載の物品。
［項目１９］
前記シーンに関連付けられた３Ｄ情報を決定することは、前記複数の２Ｄ画像に応じて立体再構成を実行することを含む、項目１３に記載の物品。
［項目２０］
前記第１の生成された画像を提示することは、前記３Ｄ情報及び前記第１のユーザー視認角に少なくとも部分的に応じて、前記第１の生成された画像を合成することを含む、項目１９に記載の物品。
［項目２１］
前記３Ｄ情報は、前記シーンの３Ｄ座標又は前記複数の２Ｄ画像に関連付けられたカメラ姿勢情報のうちの少なくとも一方を含む、項目１９に記載の物品。
［項目２２］
システムであって、
プロセッサと、該プロセッサに結合されたメモリとを備え、該メモリ内の命令は、
シーンの複数の２次元画像（複数の２Ｄ画像）を受信することと、
前記複数の２Ｄ画像に応じて、前記シーンに関連付けられた３次元情報（３Ｄ情報）を決定することと、
ディスプレイに対する第１のユーザー視認角を決定することと、
少なくとも前記３Ｄ情報及び前記第１のユーザー視認角に応じて、第１の生成された画像を前記ディスプレイ上に提示することと、
を行うように前記プロセッサを構成する、システム。
［項目２３］
前記メモリ内の命令は、
前記ディスプレイに対する、前記第１のユーザー視認角とは異なる第２のユーザー視認角を決定することと、
少なくとも前記３Ｄ情報及び前記第２のユーザー視認角に応じて、第２の生成された画像を前記ディスプレイ上に提示することと、
を行うように前記プロセッサを更に構成する、項目２２に記載のシステム。
［項目２４］
前記複数の２Ｄ画像は、複数のビデオ画像を含み、前記シーンに関連付けられた３Ｄ情報を決定することを行うように前記プロセッサを構成する命令は、前記複数のビデオ画像の各画像について前記シーンに対する視角を決定することを行うように前記プロセッサを構成する命令を含む、項目２２に記載のシステム。
［項目２５］
前記第１の生成された画像を前記ディスプレイ上に提示することを行うように前記プロセッサを構成する命令は、前記複数のビデオ画像のうちの、前記第１のユーザー視認角に最も近い視角を有するビデオ画像を決定することを行うように前記プロセッサを構成する命令を含む、項目２４に記載のシステム。
［項目２６］
前向きカメラ、マウス、キーボード又はタッチスクリーンシステムのうちの少なくとも１つを更に備え、前記ディスプレイに対する前記第１のユーザー視認角を決定することを行うように前記プロセッサを構成する命令は、前記前向きカメラ、前記マウス、前記キーボード又は前記タッチスクリーンのユーザー制御を用いて、前記ディスプレイに対するユーザーの向きを決定することを行うように前記プロセッサを構成する命令を含む、項目２２に記載のシステム。
［項目２７］
前記シーンに関連付けられた３Ｄ情報を決定することを行うように前記プロセッサを構成する命令は、前記複数の２Ｄ画像に応じて立体再構成を実行することを行うように前記プロセッサを構成する命令を含む、項目２２に記載のシステム。
［項目２８］
前記第１の生成された画像を提示することを行うように前記プロセッサを構成する命令は、前記３Ｄ情報及び前記第１のユーザー視認角に少なくとも部分的に応じて、前記第１の生成された画像を合成することを行うように前記プロセッサを構成する命令を含む、項目２７に記載のシステム。
［項目２９］
前記３Ｄ情報は、前記シーンの３Ｄ座標又は前記複数の２Ｄ画像に関連付けられたカメラ姿勢情報のうちの少なくとも一方を含む、項目２７に記載のシステム。
［項目３０］
カラーカメラ、カラー深度カメラ又は広視野カメラのうちの少なくとも２つを含む複数の撮像デバイスを更に備える、項目２２に記載のシステム。

Claims (30)

1. シーンの複数の２次元画像（複数の２Ｄ画像）を受信することと、
   前記複数の２Ｄ画像に応じて、前記シーンに関連付けられた３次元情報（３Ｄ情報）を決定することと、
   ディスプレイに対する第１のユーザー視認角を決定することと、
   少なくとも前記３Ｄ情報及び前記第１のユーザー視認角に応じて、第１の生成された画像を前記ディスプレイ上に提示することと、
   を含む、コンピューター実施方法。
2. 前記ディスプレイに対する、前記第１のユーザー視認角とは異なる第２のユーザー視認角を決定することと、
   少なくとも前記３Ｄ情報及び前記第２のユーザー視認角に応じて、第２の生成された画像を前記ディスプレイ上に提示することと、
   を更に含む、請求項１に記載の方法。
3. 前記複数の２Ｄ画像は、複数のビデオ画像を含み、前記シーンに関連付けられた３Ｄ情報を決定することは、前記複数のビデオ画像の各画像について前記シーンに対する視角を決定することを含む、請求項１に記載の方法。
4. 前記第１の生成された画像を前記ディスプレイ上に提示することは、前記複数のビデオ画像のうちの、前記第１のユーザー視認角に最も近い視角を有するビデオ画像を決定することを含む、請求項３に記載の方法。
5. 前記３Ｄ情報に対応するメタデータを記憶することを更に含む、請求項１に記載の方法。
6. 前記ディスプレイに対する前記第１のユーザー視認角を決定することは、
   前向きカメラ、マウス、キーボード又はタッチスクリーンのユーザー制御のうちの少なくとも１つを用いて、前記ディスプレイに対するユーザーの向きを決定することを含む、請求項１に記載の方法。
7. 前記シーンに関連付けられた３Ｄ情報を決定することは、前記複数の２Ｄ画像に応じて立体再構成を実行することを含む、請求項１に記載の方法。
8. 前記第１の生成された画像を提示することは、前記３Ｄ情報及び前記第１のユーザー視認角に少なくとも部分的に応じて、前記第１の生成された画像を合成することを含む、請求項７に記載の方法。
9. 前記３Ｄ情報は、前記シーンの３Ｄ座標又は前記複数の２Ｄ画像に関連付けられたカメラ姿勢情報のうちの少なくとも一方を含む、請求項７に記載の方法。
10. 前記複数の２Ｄ画像は、複数の撮像デバイスによってキャプチャされた画像を含む、請求項１に記載の方法。
11. 前記複数の撮像デバイスは、カラーカメラ又はカラー深度カメラのうちの少なくとも一方を含む、請求項１０に記載の方法。
12. 前記複数の撮像デバイスは、高解像度カラーカメラ及び広視野カラーカメラを含む、請求項１０に記載の方法。
13. 命令を記憶しているコンピュータープログラム製品を含む物品であって、前記命令は実行されると、結果として、
    シーンの複数の２次元画像（複数の２Ｄ画像）を受信することと、
    前記複数の２Ｄ画像に応じて、前記シーンに関連付けられた３次元情報（３Ｄ情報）を決定することと、
    ディスプレイに対する第１のユーザー視認角を決定することと、
    少なくとも前記３Ｄ情報及び前記第１のユーザー視認角に応じて、第１の生成された画像を前記ディスプレイ上に提示することと、
    が行われる命令を記憶しているコンピュータープログラム製品を含む物品。
14. 前記コンピュータープログラム製品は、実行されると、結果として、
    前記ディスプレイに対する、前記第１のユーザー視認角とは異なる第２のユーザー視認角を決定することと、
    少なくとも前記３Ｄ情報及び前記第２のユーザー視認角に応じて、第２の生成された画像を前記ディスプレイ上に提示することと、
    が行われる命令を更に記憶している、請求項１３に記載の物品。
15. 前記複数の２Ｄ画像は、複数のビデオ画像を含み、前記シーンに関連付けられた３Ｄ情報を決定することは、前記複数のビデオ画像の各画像について前記シーンに対する視角を決定することを含む、請求項１３に記載の物品。
16. 前記第１の生成された画像を前記ディスプレイ上に提示することは、前記複数のビデオ画像のうちの、前記第１のユーザー視認角に最も近い視角を有するビデオ画像を決定することを含む、請求項１５に記載の物品。
17. 前記コンピュータープログラム製品は、実行されると、結果として、
    前記３Ｄ情報に対応するメタデータを記憶することが行われる命令を更に記憶している、請求項１３に記載の物品。
18. 前記ディスプレイに対する前記第１のユーザー視認角を決定することは、
    前向きカメラ、マウス、キーボード又はタッチスクリーンのユーザー制御のうちの少なくとも１つを用いて、前記ディスプレイに対するユーザーの向きを決定することを含む、請求項１３に記載の物品。
19. 前記シーンに関連付けられた３Ｄ情報を決定することは、前記複数の２Ｄ画像に応じて立体再構成を実行することを含む、請求項１３に記載の物品。
20. 前記第１の生成された画像を提示することは、前記３Ｄ情報及び前記第１のユーザー視認角に少なくとも部分的に応じて、前記第１の生成された画像を合成することを含む、請求項１９に記載の物品。
21. 前記３Ｄ情報は、前記シーンの３Ｄ座標又は前記複数の２Ｄ画像に関連付けられたカメラ姿勢情報のうちの少なくとも一方を含む、請求項１９に記載の物品。
22. システムであって、
    プロセッサと、該プロセッサに結合されたメモリとを備え、該メモリ内の命令は、
    シーンの複数の２次元画像（複数の２Ｄ画像）を受信することと、
    前記複数の２Ｄ画像に応じて、前記シーンに関連付けられた３次元情報（３Ｄ情報）を決定することと、
    ディスプレイに対する第１のユーザー視認角を決定することと、
    少なくとも前記３Ｄ情報及び前記第１のユーザー視認角に応じて、第１の生成された画像を前記ディスプレイ上に提示することと、
    を行うように前記プロセッサを構成する、システム。
23. 前記メモリ内の命令は、
    前記ディスプレイに対する、前記第１のユーザー視認角とは異なる第２のユーザー視認角を決定することと、
    少なくとも前記３Ｄ情報及び前記第２のユーザー視認角に応じて、第２の生成された画像を前記ディスプレイ上に提示することと、
    を行うように前記プロセッサを更に構成する、請求項２２に記載のシステム。
24. 前記複数の２Ｄ画像は、複数のビデオ画像を含み、前記シーンに関連付けられた３Ｄ情報を決定することを行うように前記プロセッサを構成する命令は、前記複数のビデオ画像の各画像について前記シーンに対する視角を決定することを行うように前記プロセッサを構成する命令を含む、請求項２２に記載のシステム。
25. 前記第１の生成された画像を前記ディスプレイ上に提示することを行うように前記プロセッサを構成する命令は、前記複数のビデオ画像のうちの、前記第１のユーザー視認角に最も近い視角を有するビデオ画像を決定することを行うように前記プロセッサを構成する命令を含む、請求項２４に記載のシステム。
26. 前向きカメラ、マウス、キーボード又はタッチスクリーンシステムのうちの少なくとも１つを更に備え、前記ディスプレイに対する前記第１のユーザー視認角を決定することを行うように前記プロセッサを構成する命令は、前記前向きカメラ、前記マウス、前記キーボード又は前記タッチスクリーンのユーザー制御を用いて、前記ディスプレイに対するユーザーの向きを決定することを行うように前記プロセッサを構成する命令を含む、請求項２２に記載のシステム。
27. 前記シーンに関連付けられた３Ｄ情報を決定することを行うように前記プロセッサを構成する命令は、前記複数の２Ｄ画像に応じて立体再構成を実行することを行うように前記プロセッサを構成する命令を含む、請求項２２に記載のシステム。
28. 前記第１の生成された画像を提示することを行うように前記プロセッサを構成する命令は、前記３Ｄ情報及び前記第１のユーザー視認角に少なくとも部分的に応じて、前記第１の生成された画像を合成することを行うように前記プロセッサを構成する命令を含む、請求項２７に記載のシステム。
29. 前記３Ｄ情報は、前記シーンの３Ｄ座標又は前記複数の２Ｄ画像に関連付けられたカメラ姿勢情報のうちの少なくとも一方を含む、請求項２７に記載のシステム。
30. カラーカメラ、カラー深度カメラ又は広視野カメラのうちの少なくとも２つを含む複数の撮像デバイスを更に備える、請求項２２に記載のシステム。

Images