JP2017510092A - オートステレオスコピックマルチビューディスプレイのための画像の生成 - Google Patents

Abstract

オートステレオスコピックマルチビューディスプレイは、ディスプレイのビューの隣接ビューの第一のグループのビューに対する第一の画像を生成する第一の画像生成器８０７を有する。第二の画像生成器８０９は隣接ビューの第二のグループのビューに対する第二の画像を生成し、第三の画像生成器８１１は隣接ビューの第三のグループの少なくとも一つのビューに対する第三の画像を生成する。第一の画像はシーンの右目ビュー角度に対応し、第二の画像は左目ビュー角度に対応する。第三の画像は右目ビュー角度と左目ビュー角度の間のビュー角度に対応する。中間ビュー角度に対応するビューの遷移グループの使用は、クロストークとゴースト発生効果を実質的に削減し得る。これはビューアトラッキングと組み合わせて、増大した奥行レベルを可能にする実用的で高性能のオートステレオスコピックマルチビューディスプレイを提供し得る。

Description

本発明はオートステレオスコピックマルチビューディスプレイのための画像の生成に、特に、ただしこれに限定されないが、マルチビューディスプレイを単一ビューアディスプレイとして使用するための画像の生成に関する。

三次元ディスプレイへの関心が高まっており、ビューアへ三次元知覚を提供する方法のかなりの研究が行われている。三次元（３Ｄ）ディスプレイは見られているシーンの異なるビューをビューアの両目に与えることによって視覚体験に三次元を追加する。これは表示される二つのビューを分離する眼鏡をユーザに装着させることによって実現され得る。しかしながらこれはユーザにとって比較的不便であるため、多くのシナリオにおいて異なるビューを直接生成しそれらをユーザの目に投影するオートステレオスコピックディスプレイを使用することが望ましい。実際、しばらくの間、様々な企業が三次元画像のレンダリングに適したオートステレオスコピックディスプレイを積極的に開発してきた。オートステレオスコピックデバイスは特殊なヘッドギア及び／又は眼鏡の必要なしに３Ｄの印象をビューアに提示することができる。

オートステレオスコピックディスプレイは一般に異なるビュー角度について異なるビューを提供する。このように、第一の画像がビューアの左目に、第二の画像が右目に対して生成され得る。適切な画像、すなわちそれぞれ左目と右目の視点から適切な画像を表示することによって、ビューアに３Ｄの印象を伝えることが可能である。

オートステレオスコピックディスプレイはレンチキュラレンズ若しくはバリアマスクなど、ビューを分離してそれらがユーザの目に個別に達するようにそれらを異なる方向に送信する手段を使用する傾向がある。ステレオディスプレイのために、二つのビューが必要であるが、ほとんどのオートステレオスコピックディスプレイは典型的にはより多くのビュー（例えば９ビューなど）を利用する。

３Ｄ画像効果への要望を満たすために、キャプチャシーンの３Ｄアスペクトを記述するデータを含むコンテンツが作成される。例えば、コンピュータ生成グラフィックの場合、三次元モデルが展開され、所与のビュー位置からの画像を計算するために使用され得る。このようなアプローチは例えば三次元効果を提供するコンピュータゲームのために頻繁に使用される。

別の実施例として、何らかの３Ｄ情報を含む映画若しくはテレビ番組などのビデオコンテンツがますます生成されている。こうした情報はわずかにオフセットされたカメラ位置から二つの同時画像をキャプチャする専用３Ｄカメラを用いてキャプチャされることができ、それによってステレオ画像を直接生成する。

典型的に、オートステレオスコピックディスプレイはビューの"コーン"を生成し、各コーンはシーンの異なるビュー角度に対応する二つ若しくはしばしばそれ以上のビューを含む。ユーザの右目と左目の間のビュー角度差に対応するよう、隣接する（若しくは場合によってはさらに移動される）ビュー間のビュー角度差が生成される。従って、左目と右目が二つの適切なビューを見るビューアは三次元効果を知覚する。９個の異なるビューがビューコーンにおいて生成されるかかるシステムの一実施例が図１に図示される。

多くのオートステレオスコピックディスプレイは多数のビューを生成することができる。例えば、９ビューを生成するオートステレオスコピックディスプレイは珍しくない。こうしたディスプレイは例えば、複数のビューアが同時にディスプレイを見ることができ、全員が三次元効果を経験するマルチビューアシナリオに適している。例えば２８の異なるビューを提供することができるディスプレイを含む、さらに多数のビューを持つディスプレイも開発されている。こうしたディスプレイはしばしば、ビューアの目が同時に複数のビューから光を受信するように比較的狭いビューコーンを使用し得る。また、左目と右目が典型的には隣接しないビューに位置付けられる（図１の実施例の通り）。

しかしながら、上記オートステレオスコピックディスプレイは非常に有利な三次元体験を提供するが、いくつかの欠点を伴う。例えば、オートステレオスコピックディスプレイはビューアの位置に非常に影響される傾向があり、従って人が非常に特定の場所にいることを保証できないダイナミックシナリオにあまり適さない傾向がある。特に、正確な三次元知覚はビューアの目が正確なビュー角度に対応するビューを知覚するようにユーザが位置することに非常に依存する。しかしながら、一部の状況において、ユーザの目が適切な画像ビューを受けるように位置していないことがあり、従って一部のオートステレオスコピックディスプレイアプリケーション及びシナリオは人の視覚系を混乱させる傾向を持つ可能性があり、ビューアにとって違和感をもたらし、これは何らかの不快感若しくは潜在的には頭痛などにさえつながる可能性があり得る。

多くのマルチビューオートステレオスコピックディスプレイの具体的な欠点は、ビュー間に比較的高度のクロストークがあり得、これは知覚される三次元効果と知覚される画質を低下させ得るということである。

ビューアによって知覚されるクロストークを軽減するために、ディスプレイのビューを２グループにグループ化することが提案されており、一方のグループの全ビューは同じ左目画像を表示し、他方のグループの全ビューは同じ右目画像を表示する。このように、左目及び右目画像／ビューのみをオートステレオスコピックマルチビュー３Ｄディスプレイの個々のマルチビュー入力に割り当てることが提案されている。

例えば、２８ビューマルチビューオートステレオスコピックディスプレイの場合、１から１４番のビューはステレオ画像の同じ左目ビュー（Ｌ）を表示し、１５から２８番のビューは同じ右目ビュー（Ｒ）を表示し得る。構成は以下によって示され得る（ビュー番号が垂直に書かれる）：

しかしながら、このアプローチは個々のビュー間のクロストークを軽減し得る（それらが同じ画像を示すので）が、左目ビューと右目ビューそれぞれに使用されるビュー間にかなりの量のクロストークももたらす。例えば、ビュー１４（Ｌビューを含む）からビュー１７（Ｒビューを含む）へ；又はビュー１５（Ｒビューを含む）からビュー１２（Ｌビューを含む）へかなりのクロストークがある。図２はこのようなアプローチにおいて経験され得るクロストークの一例を図示する。図中、ｘ軸はビュー１４と１５の間の境界からのビュー数のオフセットを示し、ｙ軸は相対クロストーク値を示す。

典型例として、ビューアの目は２８ビューマルチビューディスプレイの場合約１０ビューで分離され得る。ビューアの目を左右のビュー間（すなわちビュー１４と１５の間）の遷移上に集中させると、クロストークの量は典型的には許容可能になる（図３に図示の通り）。しかしながら、中心からわずかでもオフセットがある場合、これは典型的には目の一方においてかなりの量のクロストークをもたらす（図４に図示の通り）。

従ってこうしたシステムではユーザがディスプレイに対して非常に正確に位置付けられることが重要であり、実際、ユーザが微動だにせず座っていることが要求され得る。この問題に対処するために、目／顔検出器／トラッカを使用して、ビューのコーンの方向をこのコーンに対してユーザが中心に位置するように適応させることが提案されている。しかしながら、許容可能な性能を実現するために、典型的にはトラッカが高精度で高速であることが必要である。実際、典型的に、トラッカは実質的に瞬時に、数ミリメートルの精度でユーザの動きを追跡することができなければならない。精度とレイテンシに関するこのように厳しい要件はこうしたトラッキングシステムの実用性を限られたものにし、実際多くのシナリオにおいて実行不可能なアプローチにする。

従って、オートステレオスコピックディスプレイを駆動するための改良されたアプローチが有利であり、特に柔軟性の増加、複雑性の低減、画質の向上、三次元知覚の改善、より強い三次元奥行効果、不快感の軽減、クロストークの削減、強度変動の軽減及び／又は性能の向上を可能にするアプローチが有利であり得る。

従って本発明は好適には上述の欠点の一つ以上を単独で若しくは任意の組み合わせで軽減、緩和若しくは排除することを目指す。

本発明の一態様によれば、複数のビューを表示するように構成されるオートステレオスコピックマルチビューディスプレイのための画像を生成するための装置が提供され、装置は、複数のビューの隣接ビューの第一のグループのビューのための第一の画像を生成するための第一の画像生成器であって、第一の画像は右目ビュー角度に対応する、第一の画像生成器と；複数のビューの隣接ビューの第二のグループのビューのための第二の画像を生成するための第二の画像生成器であって、第二の画像は左目ビュー角度に対応する、第二の画像生成器と；複数のビューの隣接ビューの第三のグループの少なくとも一つのビューのための第三の画像を生成するための第三の画像生成器とを有し、隣接ビューの第三のグループは隣接ビューの第一のグループと隣接ビューの第二のグループの間のビューを有し、第三の画像は右目ビュー角度と左目ビュー角度の間にあるビュー角度に対応する。

アプローチはマルチビューオートステレオスコピックディスプレイからの三次元画像の改良されたレンダリングを可能にし得る。アプローチは特にマルチビューオートステレオスコピックディスプレイが単一ビューアのために使用されるときに改良されたレンダリングを可能にし得る。

アプローチは特に多くの実施形態において知覚されるクロストークを実質的に削減し得る。アプローチは多くのシナリオにおいて非常に低い強度変動度を維持しながらクロストークを削減し、実際多くの実施形態においてクロストークの削減はいかなる追加の強度変動も導入することなく実現される。

削減されるクロストークは、ユーザが最適に位置付けられるという要件を実質的に軽減し得る。従って、アプローチはユーザがより高い自由度で頭を動かすことを可能にし、頭若しくは目トラッカを用いる実施形態において追跡性能の要件を実質的に軽減し得る。

アプローチは画像がマルチビューオートステレオスコピックディスプレイのためにレンダリングされるときに知覚される画質全体の改良を提供し得る。

従来のオートステレオスコピックマルチビューディスプレイにおいて、異なるビューの画像の差によって生じる劣化及び特にクロストークは典型的に、視差、従って三次元効果が低レベルに維持されるほど顕著である。実際、オートステレオスコピックマルチビューディスプレイにとって典型的な奥行（深さ）範囲は、画質を低下させる若しくはさらにビューアに何らかの不快感を生じる可能性がある、知覚される劣化を導入しないために、一般的に約２０‐３０ｃｍのオーダーである。本発明のアプローチを用いて、かなり高い奥行効果がしばしば提供され得る。実際、顕著な画像劣化（特にゴースト発生）若しくはユーザへの不快感を生じることなく１メートルを超える奥行範囲が実現され得ることがわかっている。従って、アプローチは従来のディスプレイによって実現され得るよりもかなり強い奥行モードを可能にし得る。

一部の実施形態において、マルチビューオートステレオスコピックディスプレイはマルチビューオートステレオスコピックディスプレイのための画像を生成するための装置を有し得る。一部の実施形態において、装置はマルチビューオートステレオスコピックディスプレイの外側にあり得る。例えば、装置はセットトップボックスなどのデバイスに含まれ得る。従って、一部の実施形態において、装置はマルチビューオートステレオスコピックディスプレイのための駆動信号を生成するための出力を有し、駆動信号は第一の画像、第二の画像、及び少なくとも第三の画像を有する。一部の実施形態において、駆動信号はマルチビューオートステレオスコピックディスプレイの各ビューのための画像を有し得る。画像は駆動信号において任意の適切な形式であらわされ得、例えば一部の画像を複数のビューのための共通画像として、エンコード若しくはアンエンコード画像として、直接ディスプレイのピクセルに対する駆動信号として提供することなどを含む。

第一の画像、第二の画像、及び第三の画像は全て同じシーンのビューである。ビューは異なるビュー角度における。実際、典型的にはオートステレオスコピックマルチビューディスプレイの全ビューに対して同じシーンの画像が生成される。画像はシーンの異なるビュー角度に対応し得、第一の画像は右目に対するビュー角度（若しくは視点）に対応し、第二の画像は左目に対するビュー角度（若しくは視点）に対応する。従って、第一の画像が右目によって知覚されるとき、並びに第二の画像が左目によって知覚されるとき、シーンの三次元表現を提供する。第三の画像は第一及び第二の画像のビュー角度の間のビュー角度に、すなわち左目ビュー角度と右目ビュー角度の間のビュー角度に対応する。

第一の画像は実質的に同一画像であり得る。実際、ほとんどの実施形態において、同じ画像が隣接ビューの第一のグループの全ビューに対して使用される、すなわち第一の画像は同じ画像であり得る。一部の実施形態では、わずかな差、典型的には実質的に知覚できない差が、第一の画像間に生じ得る。

第二の画像は実質的に同一画像であり得る。実際、ほとんどの実施形態において、同じ画像が隣接ビューの第二のグループの全ビューに対して使用される、すなわち第二の画像は同じ画像であり得る。一部の実施形態では、わずかな差、典型的には実質的に知覚できない差が、第二の画像間に生じ得る。

一部の実施形態において、画像の少なくとも一部は部分画像であり得る。一部の実施形態では一方の目に対するフル画像が複数のビューの組み合わせによって提供され得る。

特に、一部の実施形態において、第一の画像は同じフル画像（ビューアの右目に対する画像である）の異なる部分画像であり得る。同様に、一部の実施形態において、第二の画像は同じフル画像（ビューアの左目に対する画像である）の異なる部分画像であり得る。

多くの実施形態において、ディスプレイのビューの総数は９ビュー未満でなく、又は多くの実施形態において１８若しくは２４ビューでさえあり得る。隣接ビューの第一のグループにおけるビューの数は有利には少なくとも３であることが多く、少なくとも５、若しくは７ビューであることが多い。

隣接ビューの第一のグループ及び隣接ビューの第二のグループの少なくとも一方は複数のビューを有し、典型的には隣接ビューの第一及び第二のグループの両方が複数のビューを有する。隣接ビューの第二のグループにおけるビューの数は有利には少なくとも３であることが多く、少なくとも５若しくは７ビューであることが多い。隣接ビューの第三のグループにおけるビューの数は有利には少なくとも３であることが多く、少なくとも５若しくは７ビューであることが多い。

隣接ビューの第三のグループは特に隣接ビューの第一及び第二のグループのビューの間にあるビューのみを有し、特に隣接ビューの第一及び第二のグループの間の全ビューを有し得る。

画像に関して"ビュー角度"という語は一般に、ディスプレイに対するビューアのビュー角度ではなく、画像によってあらわされるシーンに対する画像のビュー角度を反映する。従って、第一の画像に対する右目ビュー角度、第二の画像に対する左目ビュー角度は、画像が生成若しくはキャプチャされる位置におけるビューアの右目に対するビュー角度、ビューアの左目に対するビュー角度をあらわす。これはディスプレイに対するユーザの位置を反映しない。

本発明のオプションの特徴によれば、装置は三次元画像を受信するための受信器をさらに有し、第一の画像生成器は三次元画像から第一の画像を生成するように構成され、第二の画像生成器は三次元画像から第二の画像を生成するように構成され、第三の画像生成器は三次元画像から第三の画像を生成するように構成される。

これは分散に適した画像信号に基づいてオートステレオスコピックマルチビューディスプレイを駆動するための効率的で実用的なアプローチを可能にし得る。

三次元画像は、シーンの異なるビュー角度に対応する画像間の視差などの間接的奥行データによって若しくは直接的奥行データによって提供されるかどうかを問わず、一種の奥行情報を有する任意の画像であり得る。例えば、三次元画像は特に単一画像と奥行情報、異なるビュー角度／視点からの同じシーンの画像、オクルージョン情報若しくはそれらの任意の組み合わせを有し得る。

三次元画像は特にビデオシーケンスの画像であり得る。

本発明のオプションの特徴によれば、三次元画像は左目画像と右目画像を有するステレオ画像であり、第一の画像生成器は右目画像に対応するように第一の画像を生成するように構成され、第二の画像生成器は左目画像に対応するように第二の画像を生成するように構成され、第三の画像生成器は左目画像と右目画像の少なくとも一方に適用される視点シフトによって第三の画像を生成するように構成される。

アプローチは人の各目に対して直接提供される画像である（並びに眼鏡を用いる従来の三次元ディスプレイ技術で使用するために生成され得る）ステレオ画像に基づいてオートステレオスコピックマルチビューディスプレイを駆動するために特に適切なアプローチを提供し得る。

アプローチは実質的に増大した奥行効果がオートステレオスコピックマルチビューディスプレイから提供されることを可能にし、それによってこうしたステレオ画像（典型的には高度の奥行を持つ）が使用されること、実にしばしば直接使用されることを可能にする。

本発明のオプションの特徴によれば、装置は第一の画像、第二の画像及び第三の画像の生成前に、左目画像と右目画像の間の視差を適応させるように構成される視差アダプタをさらに有する。

アダプタは特に画像がオートステレオスコピックマルチビューディスプレイのための画像を生成するために使用される前に左目画像と右目画像の間の視差を削減し得る。特に、修正された左右画像が第一の画像及び第二の画像として直接使用され、それによって直接奥行効果を提供し得る。奥行効果は画像間の視差を調節することによって調節され得、特にオートステレオスコピックマルチビューディスプレイで可能な改良された奥行範囲を考慮して所望の奥行効果を持つ画像を生成するために使用され得る。

本発明のオプションの特徴によれば、三次元画像は奥行情報を付随する単一視点画像であり、第一の画像生成器は奥行情報に基づいて単一視点画像の視点シフトによって第一の画像を生成するように構成され、第二の画像生成器は奥行情報に基づいて単一視点画像の視点シフトによって第二の画像を生成するように構成され、第二の画像の視点シフトは第一の画像の視点シフトの反対方向であり、第三の画像生成器は単一視点画像に対応するように第三の画像を生成するように構成される。

これは多くの実施形態及びシナリオにおいてオートステレオスコピックマルチビューディスプレイの特に有利な駆動を提供し得る。

本発明のオプションの特徴によれば、隣接ビューの第三のグループは複数のビューを有し、第三の画像生成器は右目ビュー角度と左目ビュー角度の間のビュー角度に対応するように隣接ビューの第三のグループの全ビューに対する画像を生成するように構成される。

これは多くの実施形態において改良された性能を提供し、特にクロストーク及び場合により強度変動を軽減し、それによって例えば増大した奥行効果が提供されることを可能にし得る。

隣接ビューの第三のグループにおけるビューの数は多くの実施形態において有利には２、３、５若しくはさらに７以上であり得る。

本発明のオプションの特徴によれば、第三の画像生成器は隣接ビューの第三のグループの複数のビューに対する画像を第三の画像の少なくとも一部として生成するように構成される。

一部の実施形態において、同じ中間ビュー角度画像が隣接ビューの第三のグループの全ビューに対して使用され得る。これは多くのシナリオにおいて低い複雑性と計算リソース要求を維持しながら所望の性能を提供し得る。多くの実施形態において、隣接ビューの第三のグループの全ビューに対する画像は第三の画像から生成される、すなわち第三の隣接グループ内の全ビューが第三の画像の少なくとも一部を示す。

本発明のオプションの特徴によれば、第三の画像生成器は、隣接ビューの第一のグループへのビューの距離に対して単調関係を持つビュー角度に対応するように第三の隣接グループの複数のビューに対する画像を生成するように構成される。

隣接ビューの第三のグループは右目ビュー角度と左目ビュー角度の間のビュー角度に対応する画像を、ただし右目ビュー角度方向から左目ビュー角度方向へ徐々に変化する異なるビュー角度で、提示し得る。ビュー角度はそれぞれ隣接ビューの第一のグループと隣接ビューの第二のグループに近い順に単調に変化し得る。

本発明のオプションの特徴によれば、関係は線形関係である。

これは多くのシナリオにおいて改良されたユーザ経験を提供し、多くのシナリオにおいて理想位置からのビューアのオフセットに対して最小の知覚されるクロストークを提供し得る。

本発明のオプションの特徴によれば、装置はユーザビュー角度推定を生成するように構成されるビューア位置トラッキングユニットと、ユーザビュー角度推定に応じて複数のビューによって形成される少なくとも一つのビューコーンの方向を適応させるように構成されるアダプタをさらに有する。

本発明は、隣接ビューの第三のグループの遷移領域がユーザの方へ最適に向けられるようにビューア位置トラッキングユニットがレンダリング画像を制御し得る、かなり改良された三次元ユーザ経験を可能にし得る。隣接ビューの第三のグループの駆動により、実質的により良好なユーザトラッキングとの統合が実現され得る。例えば、より不正確なトラッキングアプローチが改良された性能を提供するために使用され得る。

本発明のオプションの特徴によれば、マルチビューディスプレイの複数のビューの全ビューは隣接ビューの第一のグループ、隣接ビューの第二のグループ、及び隣接ビューの第三のグループのうち一つに属する。

これは多くの実施形態において改良された性能を提供し得る。

本発明のオプションの特徴によれば、第三の画像生成器は隣接ビューの第三のグループの少なくとも一部のビューに対して異なる部分画像を生成するように構成される。

これは多くの実施形態において改良された性能及び／又は実施容易化を提供し得る。実際、オートステレオスコピックマルチビューディスプレイを駆動するアプローチは異なるビューに対する部分画像を使用することによって有効解像度の増加に特に適している。

部分画像は右目ビュー角度と左目ビュー角度の間にある一つのビュー角度に対応する画像の異なる部分に対応し得る。

本発明の一態様によれば、複数のビューを表示するように構成されるオートステレオスコピックマルチビューディスプレイが提供され、ディスプレイは、複数のビューの隣接ビューの第一のグループのビューに対する第一の画像を生成するための第一の画像生成器であって、第一の画像は右目ビュー角度に対応する、第一の画像生成器と；複数のビューの隣接ビューの第二のグループのビューに対する第二の画像を生成するための第二の画像生成器であって、第二の画像は左目ビュー角度に対応する、第二の画像生成器と；複数のビューの隣接ビューの第三のグループの少なくとも一つのビューに対する第三の画像を生成するための第三の画像生成器とを有し、隣接ビューの第三のグループは隣接ビューの第一のグループと隣接ビューの第二のグループの間のビューを有し、第三の画像は右目ビュー角度と左目ビュー角度の間にあるビュー角度に対応する。

本発明の一態様によれば、複数のビューを表示するように構成されるオートステレオスコピックマルチビューディスプレイのための画像を生成する方法が提供され、方法は、複数のビューの隣接ビューの第一のグループのビューに対する第一の画像であって、右目ビュー角度に対応する第一の画像を生成するステップと；複数のビューの隣接ビューの第二のグループのビューに対する第二の画像であって、左目ビュー角度に対応する第二の画像を生成するステップと；複数のビューの隣接ビューの第三のグループの少なくとも一つのビューに対する第三の画像を生成するステップとを有し、隣接ビューの第三のグループは隣接ビューの第一のグループと隣接ビューの第二のグループの間のビューを有し、第三の画像は右目ビュー角度と左目ビュー角度の間にあるビュー角度に対応する。

本発明のこれらの及び他の態様、特徴及び利点は以降に記載の実施形態から明らかとなり、それらを参照して解明される。

本発明の実施形態は、ほんの一例として、図面を参照して記載される。

９ビューを持つオートステレオスコピックマルチビューディスプレイの一実施例を図示する。 オートステレオスコピックマルチビューディスプレイに対するクロストークの一実施例を図示する。 オートステレオスコピックマルチビューディスプレイに対するクロストークの一実施例を図示する。 オートステレオスコピックマルチビューディスプレイに対するクロストークの一実施例を図示する。 ９ビューを持つオートステレオスコピックマルチビューディスプレイの一実施例を図示する。 オートステレオスコピックマルチビューディスプレイに対するビュー角度の割り当ての一実施例を図示する。 オートステレオスコピックマルチビューディスプレイに対するビュー角度の割り当ての一実施例を図示する。 本発明の一部の実施形態にかかるオートステレオスコピックマルチビューディスプレイの一実施例を図示する。 オートステレオスコピックマルチビューディスプレイに対するビュー角度の割り当ての一実施例を図示する。 オートステレオスコピックマルチビューディスプレイに対するビュー角度の割り当ての一実施例を図示する。 オートステレオスコピックマルチビューディスプレイに対するビュー角度の割り当ての一実施例を図示する。 本発明の一部の実施形態にかかるオートステレオスコピックマルチビューディスプレイの一実施例を図示する。 オートステレオスコピックマルチビューディスプレイに対するビュー角度の割り当ての一実施例を図示する。

以下の記載は単一ビューアに三次元画像を提供するためのオートステレオスコピックマルチビューディスプレイの使用に適用可能な本発明の実施形態にフォーカスする。しかしながら、当然のことながら本発明はこのアプリケーションに限定されない。

オートステレオスコピックマルチビューディスプレイは裸眼（グラスレス）三次元画像レンダリングを提供するために開発されている。こうしたディスプレイはシーンに対する異なるビュー角度に対応する画像を投影する複数のビューを生成し得る。ユーザはその目が異なるビューを受けるように位置し、そうして異なるビュー角度に対応する異なる画像がユーザの目によって知覚されることになる。これは三次元知覚を提供するために使用され得る。

例示的なオートステレオスコピックマルチビューディスプレイ５０１が図５に示される。図は実施例のオートステレオスコピックマルチビューディスプレイ５０１が全ビューコーン５０３をどのように生成するかを図示し、これはその各々が異なる画像（若しくは場合により部分画像）を提示し得る複数のビュー５０５を有する。図は９ビューを有する全ビューコーンを図示するが、他の実施形態では他の数のビューがオートステレオスコピックマルチビューディスプレイ５０１によって生成されてもよい。実際、典型的には２８ビューのディスプレイを含む、顕著により多くのビューを持つオートステレオスコピックマルチビューディスプレイが開発されている。

当業者に周知の通り、異なるビューは典型的には例えばピクセルレイヤの上のレンチキュラスクリーン若しくはバリアマスクを用いて生成される。ほとんどのディスプレイにおいて、これは相互に隣接するマルチビューコーンをもたらす。例えば図５のビューコーン５０３の隣に、ビューコーンの複製／繰り返しがある（すなわちビューが繰り返される）。

従来のディスプレイにおいて、ビューの各々は典型的には異なるビュー角度に対応する画像をレンダリングするために使用される。例えば、ビューへのビュー角度の分布は図６に図示の通りであり得る。図中、ｘ軸はビュー番号を示し、ｙ軸はビュー角度を示す（実施例においてコーンは０‐８の範囲をカバーし、これは例えば典型的に５‐１０°の総コーンビュー角度に比例するとみなされ得る（すなわち実施例は８°のコーンを示すとみなされ得る））。

従来のオートステレオスコピックマルチビューディスプレイにおけるクロストークは典型的には知覚可能な画像劣化を、及び場合によりユーザへの不快感さえもたらす。従って、オートステレオスコピックマルチビューディスプレイによって提供される奥行度は、典型的にはディスプレイに対してたった２０‐３０ｃｍなど、典型的に比較的低レベルに削減される。

しかしながら、オートステレオスコピックマルチビューディスプレイのビューが二つのグループに分割され、一方の側のビューが左目画像を提供し、他方の側のビューが右目画像を提供することが提案されている。このような分布が図７に図示される。

厳密に正しい位置に位置する、すなわち両目がビューコーンの中心に等距離である、単一のユーザによってディスプレイが使用される場合、これは個々のビュー間のクロストークが削減されるので（これらが全てビューコーンの半分において同じ画像を示すので）改良された三次元画像を提供する。しかしながら、いくらかのクロストークが依然としてビューコーンの異なる側の間で経験される。従って、右画像が依然として左目によって知覚され、逆もまた同様であり得る。この効果は図４に図示の通りユーザが厳密に中心に位置していないときにさらにいっそう顕著になる。

マルチビューにおいて同じ画像を使用するこのアプローチはクロストークを軽減し、それによって増大した奥行効果を可能にし得る。しかしながら、異なる画像間のクロストークは依然顕著であり、典型的には少なくとも目立つゴースト発生効果をもたらす。従って、典型的には奥行効果が依然として低減される。

さらに、例えばビューの一部を使用しないことによって（例えばビューの一部がブラックビューであることによって）クロストークを削減することは、ビューアのわずかな動きであっても強度変動をもたらし、これはさらにいっそう知覚可能である傾向がある。さらに、目若しくは顔トラッキングを使用してユーザの動きを追跡することは、精度及びレイテンシに対する極端な要件のために非実用的である傾向がある。

図８は本発明の一部の実施形態にかかるディスプレイの一実施例を図示する。ディスプレイはオートステレオスコピックマルチビューディスプレイ８０３のための画像を生成するための装置８０１を有する。

実施例において、ディスプレイはマルチビューディスプレイ８０３から一つの（又は例えばビデオシーケンスからの複数の）三次元画像を受信してこれ（これら）をレンダリングする集積デバイスである。従って、ディスプレイはそれ自体オートステレオスコピックマルチビューディスプレイとみなされ得る。当然のことながら他の実施形態において、機能は分散されてもよく、特に、装置８０１は別の外部のオートステレオスコピックマルチビューディスプレイへ与えられる画像を生成し得る。

例えば、一部の実施形態において、装置は第一、第二及び第三の画像を有する信号を生成して出力する出力ユニットを有し得る。そして出力信号は外部の及び場合により遠隔のオートステレオスコピックマルチビューディスプレイへ通信され得、これは適切なビューから画像を抽出してそれらをレンダリングし得る。

図８のディスプレイにおいて、オートステレオスコピックマルチビューディスプレイ８０３のマルチビューは隣接ビューの（少なくとも）三つのグループへ分割され、第一のグループは右目画像をレンダリングするために使用され、第二のグループは左目画像をレンダリングするために使用される。ビューの第三のグループは第一のグループと第二のグループのビューの間にある一つ以上のビューによって形成される。そして第三のグループにおけるビューは、右目画像のビュー角度と左目画像のビュー角度の間にある（一つ以上の）ビュー角度に対応する画像をレンダリングするために使用される。従って、第三のグループのビューは右目画像と左目画像の間の遷移区間を形成し、左目と右目の間の一つ以上の位置において見られ得るものに対応する一つ以上の画像をレンダリングする。

例えば、図９の構成が使用され得る。実施例において、マルチビューディスプレイ８０３の２８ビューは隣接ビューの三つのグループに分割される。隣接ビューの第一のグループはビュー１８‐２８によって形成される。これらのビューは右目画像をレンダリングするために使用される、すなわちそれらはビューアの右目のために生成される画像をレンダリングするために使用される。隣接ビューの第二のグループはビュー０１‐１１によって形成される。これらのビューは左目画像をレンダリングするために使用される、すなわちそれらはビューアの左目のために生成される画像をレンダリングするために使用される。従って、ビュー０１‐１１は左目に対するシーンのビュー角度に対応する画像をレンダリングし、ビュー１８‐２８は右目に対するシーンのビュー角度に対応する画像をレンダリングする。従って、二つのグループは一緒にシーンの三次元表現をレンダリングする。

当然のことながら必要に応じて"ビューア"という語は当技術分野の従来の慣習に従って使用され、ディスプレイの出力の物理的ビューア、並びに異なる目に対する画像を生成する基準として（並びに例えば画像のビュー角度に対する基準として）使用される概念上のビューアの両方を適宜必要に応じてあらわし得る。

隣接ビューの第三のグループはビュー１２‐１７によって形成される。従って、隣接ビューの第三のグループのビューは隣接ビューの第一のグループと隣接ビューの第二のグループのビューの間に位置する。実施例において、隣接ビューの第三のグループのビューは中心画像を、すなわち左目に対応するシーンのビュー角度と右目に対応するシーンのビュー角度の中間にあるシーンのビュー角度に対応する画像をレンダリングするために使用される。本質的に、中心ビューはユーザが左目と右目の中間の中心の目を持つとしたら知覚され得るビューに対応するとみなされ得る。

個々のビューに対するビュー角度の分布は図１０に図示される。

このように、実施例において、ビューのグループは左目ビューと右目ビューの間の区切り若しくは遷移として使用される。ビューは左目及び右目ビューの間のビューに対応する中間画像を提供するために使用される。

図８の装置は特に単一三次元画像若しくは３Ｄビデオシーケンスなどの三次元画像情報を受信する受信器８０５を有する。３Ｄ画像はステレオ画像、奥行情報を伴う単一画像などを含む任意の適切な形式で提供され得る。

受信器８０５はマルチビューディスプレイ８０３の隣接ビューの第一のグループのビューに対して、第一の画像とよばれる画像を生成する第一の画像生成器８０７に結合される。第一の画像生成器８０７はシーンの右目ビュー角度に対応する画像を生成する、すなわち画像は右目によって受信されることを意図される画像として生成される。例えば、ステレオ画像が受信器８０５によって受信される場合、第一の画像生成器８０７は例えば直接右目のための受信画像になるように第一の画像を生成し得る。第一の画像生成器８０７はマルチビューディスプレイ８０３に結合され、第一の画像はマルチビューディスプレイ８０３の適切なビューへ、すなわち特定の実施例ではビュー１８‐２８へ提供される。第一の画像は全て典型的には同じ画像であり得る、すなわち同じ画像がビュー１８‐２８へ提供される。

受信器８０５はさらに、マルチビューディスプレイ８０３の隣接ビューの第二のグループのビューに対して、第二の画像とよばれる画像を生成する第二の画像生成器８０９へ結合される。第二の画像生成器８０９はシーンの左目ビュー角度に対応する画像を生成する、すなわち画像は左目によって受信されることを意図される画像として生成される。例えば、ステレオ画像が受信器８０５によって受信される場合、第二の画像生成器８０９は例えば直接左目のための受信画像になるように第二の画像を生成し得る。第二の画像生成器８０９はマルチビューディスプレイ８０３へ結合され、第二の画像はマルチビューディスプレイ８０３の適切なビューへ、すなわち特定の実施例ではビュー０１‐１１へ提供される。第二の画像は全て典型的には同じ画像であり得る、すなわち同じ画像がビュー０１‐１１へ提供される。

受信器８０５は付加的に、マルチビューディスプレイ８０３の隣接ビューの第三のグループのビューに対して、第三の画像とよばれる画像を生成する第三の画像生成器８１１へ結合される。第三の画像生成器８１１は、左目と右目のビュー角度の間にあるシーンのビュー角度に対応する画像を生成する。特定の実施例において、少なくとも一つの第三の画像は、左目と右目に対するビュー角度の中間にあるビュー角度に対応する中心画像として生成され得る。

中心画像は例えばビュー角度のシフトを導入するように左目及び右目画像の一方を処理することによって生成され得る。

従って、図８のシステムにおいて、マルチビューディスプレイ８０３は三つの異なるビュー角度に対応する三つの異なる画像を与えられる。隣接ビューの第一のグループはビューアの右目のための画像に対応する第一の画像を提示され、隣接ビューの第二のグループはビューアの左目のための画像に対応する第二の画像を提示され、隣接ビューの第三のグループはビューアの右目と左目の中間のビュー角度のための画像に対応する第三の画像を提示される。従って、ビューの異なるグループの各々は、一つのシーンの一つの画像を、ただし異なる各ビュー角度で、特に右目に対応するもの、左目に対応するもの、及びこれらの間にあるもので、提示するために使用される。

かかるアプローチは、従来のアプローチに勝るかなりの改良を提供することがわかっている。特に、知覚されるクロストーク、特に知覚されるゴースト発生効果がかなり削減されることがわかっている。

さらに、これは例えば一部のビューを使用しないことに付随する強度変動を導入することなく実現される。特に、一部のビューがスキップされる場合、わずかな頭の動きでさえも、知覚されるビューの強度に（又はどのビューが知覚されているかにまで）変動を生じ、これは対応する強度（及び強度分布）を持つ画像を用いることによって現在のアプローチにおいて回避されることができる強度変動を生じる。従って、ビューアが自分の頭を動かすときのピクチャの強度変調が実質的に低減され、それによってかなり改良されたユーザ経験を提供する。

アプローチは大幅に増大したビューアの動きの自由を提供し得る。実際、数ミリメートルの動きでさえも知覚可能な劣化を生じ得る従来のアプローチと比較して、現在のアプローチは典型的には一桁以上感度を低下させ得る。実際、多くのシナリオにおいて、数センチメートルの頭の動きは知覚画像に対してほとんど影響を及ぼさない。かかる改良はディスプレイシステムを専用ビューアトラッキングなしでも使用に適したものにし得る。さらに、これはビューアトラッキングに課される要件を大幅に軽減し、それによって実際に多くの実施形態において実用的なビューアトラッキングとディスプレイの制御を可能にし得る。

提供される改良は、許容不可能な画像劣化若しくはユーザの不快感をもたらすことなく、かなり増大した奥行効果が提供されることを可能にする。

実施例において、マルチビューディスプレイ８０３の全ビューは隣接ビューの第一、第二及び第三のグループのうち一つに属する、すなわちマルチビューディスプレイ８０３の全ビューは三つのグループに分割される。これはほとんどのシナリオにおいて改良された性能を提供し、特に最高画質を提供し得る。しかしながら、他の実施形態では、一つ以上のビューがグループのうちの一つに含まれない場合がある。例えば、外側のビューの一つ以上が他のビューコーンへの分離を提供するために使用されない場合などがある。

多くの実施形態において、マルチビューディスプレイ８０３は９以上のビューを有する。さらに、隣接ビューの第一及び第二のグループに含まれるビューの数は通常３以上である。また、ほとんどの実施形態において隣接ビューの第三のグループは少なくとも２、及びしばしば少なくとも４ビューを有する。

典型的に、各グループにおけるビューの数はマルチビューディスプレイ８０３のビューの数に依存する。例えば、多くの実施形態において、隣接ビューの第一及び第二のグループにおけるビューの数は同じであり、第三のグループにおけるビューの数はビューの総数の１／８以上及び１／４以下であり、残りのビューは隣接ビューの第一及び第二のグループに割り当てられる。

多くの実施形態において、隣接ビューの第一のグループ及び隣接ビューの第二のグループの少なくとも一方、及び典型的には両方はビューコーンの外側ビュー（すなわち右端若しくは左端のビューのいずれか）を有する。また、典型的には隣接ビューの第三のグループは中心ビューを有する。

実施例において、第一の画像は全て同じ画像（又は場合により同じ画像の（異なる）部分）である。同様に、第二の画像は全て同じ画像（又は場合により同じ画像の（異なる）部分）である。しかしながら、当然のことながら多くの実施形態において、第一及び／又は第二の画像はそれらが全て左目若しくは右目に対するビュー角度に実質的に対応し得るという意味で実質的に同じ画像であるに過ぎない。例えば、第一の画像は全て右目画像に対応するが、これらの間にいくらか差があってもよく、例えばそれらはわずかに異なるビュー角度に対応し得る。同様に、第二の画像は全て左目画像に対応するが、これらの間にいくらか差があってもよく、例えばそれらはわずかに異なるビュー角度に対応し得る。

当然のことながら装置への入力は任意の適切な形式の三次元画像情報であり得る。また当然のことながら受信器８０５は外部及び内部ソースの両方を含む任意の適切なソースから画像情報を受信し得る。

例えば、一部の実施形態において、装置は所与のシーンに対する三次元モデルを有し、所与のビュー角度に対してモデルを直接評価することによって異なるビューに対する画像が生成され得る。特に、所与のビュー方向に対して、左目に対応する視点について、右目に対応する視点について、及び中間の視点について、モデルが評価され得る。

アプローチはステレオ画像のレンダリングに特に適し、有利である。ステレオ画像は左目と右目に対し別々の画像を提供することによって三次元情報を提供し得る。従って、事実上各ステレオ画像は、シーンの同時画像であるがビューアの両目に対応する異なるビュー角度／視点での二つの個別画像を有する。

一部の実施形態において、受信器８０５はステレオ画像を受信し、右目画像を第一の画像生成器８０７へ、左目画像を第二の画像生成器８０９へ転送し得る。そして第一の画像生成器８０７は受信した右目画像に対応するように第一の画像を生成するように進行し得る。実際、これは第一の画像として受信した右目画像を直接使用し得るか、又はこれは一部の実施形態において、画像を使用する前にこれに対する例えばノイズフィルタリング、シャープニングなどといった何らかの処理を提供し得る。

同様に、第二の画像生成器８０９は受信した左目画像に対応するように第二の画像を生成するように進行し得る。実際、これは第二の画像として受信した左目画像を直接使用し得るか、又はこれは一部の実施形態において、画像を使用する前にこれに対する例えばノイズフィルタリング、シャープニングなどといった何らかの処理を提供し得る。

一部の実施形態では、受信した右目画像と左目画像の両方が第三の画像生成器８１１へ与えられ、これは左目画像と右目画像の少なくとも一方の視点シフトによって第三の画像を生成するように進行し得る。従って、視点若しくはビュー角度シフトアルゴリズムが右目画像と左目画像の少なくとも一方に適用される。視点シフトアルゴリズムは画像を中心位置へ向かってシフトするように構成される。

当然のことながら任意の適切な視点シフトアルゴリズムが使用され得、多くの異なるアルゴリズムが当業者に周知である。

例えば、低複雑性の実施例として、第三の画像生成器８１１は左目画像と右目画像における個々の対応する画像オブジェクトを識別するように構成され得る。二つの画像における各画像オブジェクトの位置が決定され得、第三の画像における位置が二つの位置の平均（すなわち相対的に左目画像と右目画像における画像位置の中間）として決定され得る。ビューアに近いオブジェクトの場合、これは比較的大きな動きをもたらすが、バックグラウンドにおけるオブジェクトの場合（若しくはバックグラウンドについて）典型的には動きをもたらさない。画像全体の処理後に残る穴は、左目画像と右目画像の一方（最前画像オブジェクト（すなわち動きが最大の画像オブジェクト）のどちら側にギャップがあるかに依存する）からの画像データを用いるときに埋められ得る。

当然のことながら、追加奥行情報若しくは場合によりオクルージョンレイヤを利用するアルゴリズムを含む、より複雑で高度なアルゴリズムが使用されてもよい。

アプローチは特に眼鏡ベースのシステムを用いるレンダリングのために通常意図されるようなステレオ画像がオートステレオスコピックマルチビューディスプレイで使用されることを可能にし得る。典型的には、ステレオ画像は非常に強い奥行効果を提供するように生成され、これは従来のオートステレオスコピックマルチビューディスプレイでは実用的でない。しかしながら、上記アプローチは許容不可能な画質若しくは不快感を導入することなくそうした強い奥行効果が提供されることを可能にし得る。アプローチはさらにマルチビューディスプレイの低複雑性駆動を提供し得る。

一部の実施形態において、装置はさらに第一の画像、第二の画像、及び第三の画像の生成前に左目画像と右目画像の間の視差を適応させるように構成され得る。従って、受信される右目画像と左目画像は修正右目画像と修正左目画像を生成するように処理され得、そのうち一方は入力画像と同一であり得る。そして上記プロセスが修正画像に基づいて第一、第二及び第三の画像を生成するために使用され得る。

修正は特に奥行効果が変更される、典型的には入力ステレオ画像に対して低減されるようなものであり得る。従って、実際のアプローチと、レンダリングアプローチから得られる特性に特に適合するように三次元効果が調節され得る。従って、特定のレンダリングアプローチと入力ステレオ画像の適応との間の相乗効果が、オートステレオスコピックマルチビューディスプレイからのステレオ画像の最適レンダリングを可能にする。

アダプタは特に右目画像と左目画像の間の視差を調節し得る。例えば対応する画像オブジェクトが決定され得る。そして対応する画像オブジェクト間の視差（位置オフセット若しくは差）が元の視差の一部まで削減されるように画像オブジェクトを動かすことによって、新たな、例えば左目画像が生成され得る。例えば変位は元のステレオ画像の例えば５０％まで削減され、それによって奥行効果の強さを半分にし得る。

一部の実施形態において、入力画像はモノ画像であり得る、すなわち受信画像は単一視点に対応し得る。画像に加えて、例えば各ピクセルの相対奥行を示す奥行マップなど、奥行情報が提供され得る。

かかるシナリオにおいて、画像は例えば第三の画像生成器８１１へ提供され、第三の画像を生成するために直接使用され得る。特に、第三の画像は受信画像として直接生成され得る。

さらに、画像と奥行情報は第一の画像生成器８０７と第二の画像生成器８０９へ与えられ、これらは単一画像についてビュー角度をシフトするために視点／ビュー角度シフトを実行するように進行し得る。第一の画像生成器８０７と第二の画像生成器８０９は同じビュー角度シフトをただし反対方向に実行し得る。

当然のことながら任意の適切な視点シフトオペレーションが使用され得る。例えば、入力画像の各ピクセルが奥行マップにおけるピクセルについて示される奥行に比例する値だけ水平にシフトされ得る。第一及び第二の画像に対するシフトは反対方向である。結果として生じる穴は最も後ろの近傍領域からの補外によって埋められ得るか、又は例えば入力画像に加えて提供されるオクルージョンデータによって埋められ得る。

前の実施例では、隣接ビューの第三のグループが中心画像に対応する単一画像を提示するために使用された。しかしながら、他の実施形態若しくはシナリオでは、他の画像が生成され使用されてもよい。さらに、異なる画像が隣接ビューのグループの異なるビューのために使用され得る。しかしながら、ほとんどの実施形態において隣接ビューの第三のグループのビューの全部が、左目及び右目ビュー角度の間のビュー角度に対応するシーンの画像を有する。これは改良された画質と、特に削減されたクロストークを提供し、それによって例えば増大した奥行効果を可能にする。

従って、前の実施例では、第三の画像生成器８１１は、隣接ビューの第三のグループの複数のビューのための画像を一つの画像の少なくとも一部として生成するように構成されたが、第三の画像生成器８１１は他の実施形態では、例えば右目ビュー角度と左目ビュー角度の間の異なるビュー角度に対応する、隣接ビューの第三のグループの異なるビューのための異なる画像を生成し得る。

隣接ビューの第三のグループにおける画像に対するビュー角度は、特に右目ビュー角度に近い方から左目ビュー角度に近い方へと徐々に変化し得る。従って、第三の隣接グループについて使用される画像は左目ビュー角度と右目ビュー角度の中間にあるビュー角度に対応し得るが、ビュー角度の単調増加（若しくは減少）を伴う。従って、右から左の順に、ビュー角度は右目ビュー角度から左目ビュー角度の方向に段階的に変化する。従って、隣接ビューの第三のグループの別のビューよりも左のビューに対するビュー角度は、この他のビューに対するビュー角度と同じであるか若しくはそれよりも左である。

従って、多くの実施形態において、第三の画像生成器８１１は有利に、隣接ビューの第一のグループへのビューの距離に単調関係を持つビュー角度に対応するように、第三の隣接グループの複数のビューに対する画像を生成する。例えば、個々のビューが右目ビューを提供するビューから（ビューに関して）遠く離されるほど、ビュー角度は右目ビュー角度から遠くなる。

均等に、多くの実施形態において、第三の画像生成器８１１は有利に、隣接ビューの第二のグループへのビューの距離に単調関係を持つビュー角度に対応するように第三の隣接グループの複数のビューに対する画像を生成する。例えば、個々のビューが左目ビューを提供するビューから（ビューに関して）遠く離されるほど、ビュー角度は左目ビュー角度から遠くなる。

多くの実施形態において、ビュー角度は特に隣接ビューの第一及び／又は第二のグループへの距離の関数として線形変化し得る。

例えば、一実施形態において、隣接ビューのグループの分離若しくは遷移ビューは、第一若しくは第二の隣接グループへ、及び／又はビューコーンの中心へのビューの相対位置に依存するビュー角度に対応する、全て異なる画像を与えられ得る。例えば、第三の画像生成器８１１は線形変化するビュー角度に対応する画像を合成するようにビュー角度シフトアルゴリズムを使用し得る。特に、前の実施例に記載の通り中心画像を用いる代わりに、第三の画像生成器８１１は以下の画像を合成し得る：
ビュー１３：Ｌ及びＲの間２０％／８０％における合成画像／ビュー
ビュー１４：Ｌ及びＲの間４０％／６０％における合成画像／ビュー
ビュー１５：Ｌ及びＲの間６０％／４０％における合成画像／ビュー
ビュー１６：Ｌ及びＲの間８０％／２０％における合成画像／ビュー

実施例は図１１に図示される。

一部の実施形態において、装置は図１２に図示の通りユーザビュー角度推定（ユーザビュー角度はユーザからディスプレイへの角度を示す）を生成するように構成されるビューア位置トラッキングユニット１２０１をさらに有し得る。ビューア位置トラッキングユニット１２０１は例えば一つ以上のカメラなど、外部センサ１２０３からの入力を受信し得る。ビューア位置トラッキングユニット１２０１は例えば当業者に周知の通りディスプレイに対するユーザの位置を推定するために目検出を使用し得る。

ビューア位置トラッキングユニット１２０１はアダプタ１２０５に結合され、これはビューアのビュー角度に応じて、隣接ビューの第一のグループ、隣接ビューの第二のグループ、及び隣接ビューの第三のグループによって形成されるビューコーンを適応させるように構成される。

例えば、ユーザの目がもはやビュー１４と１５の間の境界の中心でなく、むしろビュー１３と１４の間の境界の中心になるようにユーザが左へ動く場合、アダプタ１２０５はビューコーンの中心が新たな位置で中心となるようにビューコーン全体が事実上シフトされるように画像の生成を変更し得る。従って、以前ビューコーンのビュー１３及び１４に対応していたマルチビューディスプレイ８０３のビューはビューコーンのビュー１４及び１５に再割り当てされる。このように、事実上マルチビューディスプレイ８０３によって生成されるビューコーンは、あるビューから左へ事実上シフトされ、それによってユーザを追跡し、ユーザをビューコーンにおいて中心に維持する。

当然のことながらビューコーンは全ビュー距離未満だけシフトされることもできる。特に、画像は１ピクセル未満の空間シフトに対応する空間的内挿フィルタリングを画像に実行することによってピクセルサイズ未満だけシフトされ得る。

特に、図９に示すビュー角度への三つの異なる画像の割り当ては、ビューアの両目が厳密にオートステレオスコピックディスプレイのビューコーンの中心にあると仮定する。

これは図１３の上の実施例に対応し、実際にビューア位置トラッキングユニット１２０１が、ビューアの両目が厳密にコーンの中心にあると識別しており、アダプタ１２０５がそれに従って図示の通りビューに対する画像を生成するように第一の画像生成器８０７、第二の画像生成器８０９、及び第三の画像生成器８１１を制御している。

しかしながらユーザが厳密に中心にいないとき、個々のビュー角度は全て利用可能な角度にわたって、すなわち２８ビューにわたって周期的にシフトされる。これはビューア位置トラッキングユニット１２０１が、ビューアの両目の中心がビュー１７と１８の間の境界に対応する特定位置にあると識別している実施例に対する、図１３の下の実施例に図示される。従って、このようにディスプレイによって形成される各ビューコーンの有効方向／中心が、ユーザビュー角度推定に応じて適応される。

このように、ユーザの動きが追跡され、隣接ビューの異なるグループへのビューの割り当てがユーザビュー角度推定に依存してなされる。実際、一部の実施形態においてアダプタ１２０５はオートステレオスコピックマルチビューディスプレイのビューの各ビューを、ビューの第一の隣接グループ、ビューの第二の隣接グループ、又はビューの第三の隣接グループへビュー角度推定に応じて割り当てるように構成され得る。

隣接ビューの第三のグループの遷移ビューの使用は、ビューア位置のトラッキングの精度のかなりの削減を可能にすることがわかっている。実際、数ミリメートルのオーダーでのリアルタイムトラッキングを要するのではなく、アプローチはたった数センチメートルの精度のビューア位置トラッカを使用して同等な品質を提供することがわかっている。これは従って精度（及び結果としてレイテンシ）に対する要件が実質的に軽減されたビューア推定を可能にし得る。実際、システムは非実用的な、典型的には実現不可能な複雑で高価なトラッキングシステムを導入することなく、オートステレオスコピックディスプレイがビューア位置トラッキングに基づくことを可能にする。

前の実施例は各ビューがフル画像を提供したシナリオにフォーカスしている。しかしながら、一部の実施形態では、一つ以上のビューが部分画像のみを提供し得る。これは一つの特定ビュー角度（例えばビュー０６）がスクリーンエリア全体を埋める全ピクセルを含まないことを意味する。しかしながら特定のビュー角度（例えば０６）における部分画像が近傍のビュー角度（例えば０５＆０７）と組み合わされると、スクリーンエリア全体がカバーされる。

例えば、図９及び１０の実施例において、同じビュー角度に対応するように隣接ビューの第三のグループの６画像が生成され、各ビューは各ビューにおいて例えばフル画像の１／３のみを提供し得る。例えば、あるビューはあるエリアに対応し、次のビューは異なるエリアに、第三のビューはさらに別のエリアに、第四のビューは再度最初のエリアに対応し得る。ユーザは典型的には複数のビューを同時に知覚し、従って個々のビューの組み合わせによってフル画像の知覚が実現される。このようなアプローチは各ビューのためのピクセルがより小さいエリアしかサポートする必要がないので、改良された解像度を提供し得る。

当然のことながら同じアプローチが隣接ビューの第三のグループのビューに対する画像に、これらが同じビュー角度に対応しない場合であっても、適用され得る。また、アプローチは隣接ビューの第一及び第二のグループにおけるビューに対しても使用され得る。

当然のことながら明確にするための上記説明は異なる機能回路、ユニット、及びプロセッサを参照して本発明の実施形態を記載している。しかし当然のことながら異なる機能回路、ユニット若しくはプロセッサ間で機能の任意の適切な分散が、本発明を損なうことなく使用され得る。例えば、個別のプロセッサ若しくはコントローラによって実行されるように例示される機能が同じプロセッサ若しくはコントローラによって実行されてもよい。従って、特定の機能ユニット若しくは回路への言及は厳密な論理若しくは物理構造若しくは構成を示すのではなく記載の機能を提供するための適切な手段への言及とみなされるに過ぎない。

本発明はハードウェア、ソフトウェア、ファームウェア若しくはこれらの任意の組み合わせを含む任意の適切な形式で実現され得る。本発明はオプションとして一つ以上のデータプロセッサ及び／又はデジタル信号プロセッサ上で実行するコンピュータソフトウェアとして少なくとも部分的に実現され得る。本発明の一実施形態の構成要素及びコンポーネントは、任意の適切な方法で物理的に、機能的に及び論理的に実現され得る。実際に機能は単一ユニットにおいて、複数のユニットにおいて又は他の機能ユニットの一部として実現され得る。従って、本発明は単一ユニットにおいて実現され得るか、又は異なるユニット、回路及びプロセッサ間に物理的に及び機能的に分散され得る。

本発明は一部の実施形態に関して記載されているが、これは本明細書に記載の特定の形式に限定されることを意図しない。むしろ、本発明の範囲は添付のクレームのみによって限定される。付加的に、ある特徴は特定の実施形態に関して記載されるように見えるかもしれないが、当業者は記載の実施形態の様々な特徴が本発明に従って組み合されてもよいことを認識し得る。クレームにおいて、有するという語は他の要素若しくはステップの存在を除外しない。

さらに、個々に列挙されるが、複数の手段、要素、回路若しくは方法ステップは例えば単一の回路、ユニット若しくはプロセッサによって実現されてもよい。付加的に、個々の特徴が異なるクレームに含まれ得るが、これらは有利に組み合わされる可能性があり、異なるクレームに含まれることは特徴の組み合わせが実現可能及び／又は有利でないことを示さない。また、クレームのあるカテゴリに特徴が含まれることは、このカテゴリへの限定を示唆するものではなく、むしろ特徴が必要に応じて他のクレームのカテゴリに均等に適用可能であることを示す。さらに、クレーム中の特徴の順序は特徴が作動されなければならないいかなる特定の順序を示唆するものでもなく、特に方法クレームにおける個々のステップの順序はステップがこの順序で実行されなければならないことを示唆するものではない。むしろ、ステップは任意の適切な順序で実行され得る。加えて、単数の参照は複数を除外しない。従って"ａ"、"ａｎ"、"第一"、"第二"などへの参照は複数を除外しない。クレーム中の参照符号は単に明確にする実施例として提供されるに過ぎず、いかようにもクレームの範囲を限定するものと解釈されてはならない。

Claims (15)

1. 複数のビューを表示するように構成されるオートステレオスコピックマルチビューディスプレイのための画像を生成するための装置であって、
   前記複数のビューの隣接ビューの第一のグループのビューに対する第一の画像であって、右目ビュー角度に対応する第一の画像を、生成するための第一の画像生成器と、
   前記複数のビューの隣接ビューの第二のグループのビューに対する第二の画像であって、左目ビュー角度に対応する第二の画像を、生成するための第二の画像生成器と、
   前記複数のビューの隣接ビューの第三のグループの少なくとも一つのビューに対する第三の画像を生成するための第三の画像生成器とを有し、前記隣接ビューの第三のグループは前記隣接ビューの第一のグループと前記隣接ビューの第二のグループの間のビューを有し、
   前記第三の画像が前記右目ビュー角度と前記左目ビュー角度の間にあるビュー角度に対応する、
   装置。
2. 三次元画像を受信するための受信器をさらに有し、前記第一の画像生成器が前記三次元画像から前記第一の画像を生成するように構成され、前記第二の画像生成器が前記三次元画像から前記第二の画像を生成するように構成され、前記第三の画像生成器が前記三次元画像から前記第三の画像を生成するように構成される、請求項１に記載の装置。
3. 前記三次元画像が左目画像と右目画像を有するステレオ画像であり、前記第一の画像生成器が前記右目画像に対応するように前記第一の画像を生成するように構成され、前記第二の画像生成器が前記左目画像に対応するように前記第二の画像を生成するように構成され、前記第三の画像生成器が前記左目画像と前記右目画像の少なくとも一方へ適用される視点シフトによって前記第三の画像を生成するように構成される、請求項２に記載の装置。
4. 前記第一の画像、前記第二の画像、及び前記第三の画像の生成前に、前記左目画像と前記右目画像の間の視差を適応させるように構成される視差アダプタをさらに有する、請求項３に記載の装置。
5. 前記三次元画像が奥行情報を付随する単一視点画像であり、前記第一の画像生成器が前記奥行情報に基づいて前記単一視点画像の視点シフトによって前記第一の画像を生成するように構成され、前記第二の画像生成器が前記奥行情報に基づいて前記単一視点画像の視点シフトによって前記第二の画像を生成するように構成され、前記第二の画像の視点シフトは前記第一の画像の視点シフトの反対方向であり、前記第三の画像生成器が前記単一視点画像に対応するように前記第三の画像を生成するように構成される、請求項２に記載の装置。
6. 前記隣接ビューの第三のグループが複数のビューを有し、前記第三の画像生成器が前記右目ビュー角度と前記左目ビュー角度の間のビュー角度に対応するように前記隣接ビューの第三のグループの全ビューに対する画像を生成するように構成される、請求項１に記載の装置。
7. 前記第三の画像生成器が前記第三の画像の少なくとも一部として前記隣接ビューの第三のグループの複数のビューに対する画像を生成するように構成される、請求項６に記載の装置。
8. 前記第三の画像生成器が、前記隣接ビューの第一のグループへのビューの距離に単調関係を持つビュー角度に対応するように前記隣接ビューの第三のグループの複数のビューに対する画像を生成するように構成される、請求項６に記載の装置。
9. 前記関係が線形関係である、請求項８に記載の装置。
10. ユーザビュー角度推定を生成するように構成されるビューア位置トラッキングユニットと、前記ユーザビュー角度推定に応じて前記複数のビューによって形成される少なくとも一つのビューコーンの方向を適応させるように構成されるアダプタとをさらに有する、請求項１に記載の装置。
11. 前記マルチビューディスプレイの前記複数のビューの全ビューが、前記隣接ビューの第一のグループ、前記隣接ビューの第二のグループ、及び前記隣接ビューの第三のグループのうち一つに属する、請求項１に記載の装置。
12. 前記第三の画像生成器が前記隣接ビューの第三のグループの少なくとも一部のビューに対して異なる部分画像を生成するように構成される、請求項１に記載の装置。
13. 複数のビューを表示するように構成されるオートステレオスコピックマルチビューディスプレイであって、
    前記複数のビューの隣接ビューの第一のグループのビューに対する第一の画像であって、右目ビュー角度に対応する第一の画像を、生成するための第一の画像生成器と、
    前記複数のビューの隣接ビューの第二のグループのビューに対する第二の画像であって、左目ビュー角度に対応する第二の画像を、生成するための第二の画像生成器と、
    前記複数のビューの隣接ビューの第三のグループの少なくとも一つのビューに対する第三の画像を生成するための第三の画像生成器とを有し、前記隣接ビューの第三のグループは前記隣接ビューの第一のグループと前記隣接ビューの第二のグループの間のビューを有し、
    前記第三の画像が前記右目ビュー角度と前記左目ビュー角度の間にあるビュー角度に対応する、
    オートステレオスコピックマルチビューディスプレイ。
14. 複数のビューを表示するように構成されるオートステレオスコピックマルチビューディスプレイのための画像を生成する方法であって、
    前記複数のビューの隣接ビューの第一のグループのビューに対する第一の画像であって、右目ビュー角度に対応する第一の画像を、生成するステップと、
    前記複数のビューの隣接ビューの第二のグループのビューに対する第二の画像であって、左目ビュー角度に対応する第二の画像を、生成するステップと、
    前記複数のビューの隣接ビューの第三のグループの少なくとも一つのビューに対する第三の画像を生成するステップとを有し、前記隣接ビューの第三のグループは前記隣接ビューの第一のグループと前記隣接ビューの第二のグループの間のビューを有し、
    前記第三の画像が前記右目ビュー角度と前記左目ビュー角度の間にあるビュー角度に対応する、
    方法。
15. コンピュータ上で実行されるときに請求項１４に記載の全ステップを実行するように適応されるコンピュータプログラムコード手段を有する、コンピュータプログラム製品。

Images