前述の多視野ディスプレイ装置の課題は、観察者に提供された多視野ディスプレイ装置の視野の品質が不十分であるということである。
ディスプレイプロセッサまたは3Dディスプレイ上での3D画像データの改善された表示を可能にする方法を有することは有利だろう。
これに関する課題をより適切に解決するために、本発明の第1の態様は、一連の繰り返し視野角のそれぞれにおいて、3D画像データの一連の視野を隣接して発するために配置される3Dディスプレイ上での表示の3次元の[3D]画像データを処理するためのディスプレイプロセッサにして、一連の視野が各視野角内の複数の観察位置における3D画像データの立体視を可能にするディスプレイプロセッサ(120)であって、一連の視野の第1の部分として、各視野角内の複数の観察位置における3D画像データの前記立体視を提供するように発せられるために3Dディスプレイに対して第1の一連の画像を提供し、各視野角内の更なる観察位置における、少なくとも、3D画像データのシュードスコピック視野を提供する、一連の視野内の第1の部分に隣接する一連の視野の第2の部分として、発せられるために3Dディスプレイに対して第2の一連の画像を提供し、3D画像データから原画像を取得し、原画像から派生画像を導出し、派生画像を備える第1の一連の画像を生成し、(i)3D画像データから更なる原画像を取得し、更なる原画像を備える第2の一連の画像を生成し、または(ii)3D画像データから更なる原画像を取得し、更なる原画像から更なる派生画像を導出し、更なる派生画像および更なる原画像の少なくとも1つを備える第2の一連の画像を生成し、最初に述べた派生画像の数はそれぞれの一連の画像の総数に比べて更なる派生画像の数より大きくするために配置されるディスプレイプロセッサを提供する。
本発明の更に態様において、3Dディスプレイは、明記されたディスプレイプロセッサを備えて提供される。本発明の更なる態様において、タブレット装置、デジタルフォトフレーム、またはスマートフォンは、明記されたモバイルディスプレイ装置を備えて提供される。
本発明の一態様において、一連の繰り返し視野角のそれぞれの視野角の各々に隣接して発するために配置される3Dディスプレイ上での表示のための3次元の[3D]画像データを処理する方法において、一連の繰り返し視野のそれぞれの視野角の各々において、3D画像データの一連の視野が各視野角内の複数の観察位置における3D画像データの立体視を可能にする方法が提供される。方法は、一連の視野の第1の部分として、各視野角内の複数の観察位置における3D画像データの前記立体視を提供するように発せられるために3Dディスプレイに対して第1の一連の画像を提供するステップと、各視野角内の更なる観察位置における、少なくとも、3D画像データのシュードスコピック視野を提供する、一連の視野内の第1の部分に隣接する一連の視野の第2の部分として、発せられるために3Dディスプレイに対して第2の一連の画像を提供するステップと、3D画像データから原画像を取得し、原画像から派生画像を導出し、派生画像を備える第1の一連の画像を生成するステップと、(i)3D画像データから更なる原画像を取得し、更なる原画像を備える第2の一連の画像を生成するステップと、または(ii)3D画像データから更なる原画像を取得し、更なる原画像から更なる派生画像を導出し、更なる派生画像および更なる原画像の少なくとも1つを備える第2の一連の画像を生成し、最初に述べた派生画像の数はそれぞれの一連の画像の総数に比べて更なる派生画像の数より大きくするステップとを備える。
本発明の更に態様において、コンピュータプログラムプロダクトは、明記された方法をプロセッサシステムに実行させるための命令を備えて提供される。
前述の手段は、3Dディスプレイ上で表示するための3D画像データを処理するためのディスプレイプロセッサを提供する。3D画像データは、立体視を提供する画像データである。すなわち、観察者の眼の各々が画像データ内に含まれるシーンのわずかに違っている視野を知覚することを可能にする。結果として、観察者には奥行き感が提供される。3Dディスプレイは、3Dディスプレイ上の任意のポイントから、3D画像データの一連の視野に隣接して発するための光学的手段を典型的には備える、いわゆる自動立体視多視野ディスプレイである。一連の視野は、3Dディスプレイから発生する視野角の形式で発せられ、視野角は、一連の繰り返し視野角の1つであり、一連の繰り返し視野角のそれぞれの視野の各々は、前述の一連の視野を備え、他の視野角に対する異なる角度方向の3Dディスプレイによって発せられる。
ディスプレイプロセッサは、一連の視野の一部として、視野角の各々の複数の観察位置における3D画像データの立体視を提供する視野の第1の部分を提供し、それによって視野角の各々において立体視観察領域を提供するために配置される。したがって、視野角の各々の内部の複数の観察位置において、観察者は、奥行き感を提供する視野内の差分によって、自身の眼の各々により3D画像データ内のシーンのわずかに異なる視野を知覚することができる。概念的に、第1の部分内の視野は、3D画像データ内に含まれるシーンと向き合い、前記シーンの前で且つ前記シーンに対して左から右に動く、カメラによって取得された視野に対応する一連の視野を形成する。
更に、ディスプレイプロセッサは、視野角の各々における少なくとも更なる観察位置における3D画像データのシュードスコピック視野を提供する視野の第2の部分を、一連の視野の一部として提供し、それによって、視野角の各々におけるシュードスコピック観察領域を提供するために配置される。疑似立体視として知られているシュードスコピック視野は、3D画像データ内のシーンのわずかに異なる視野を知覚する観察者の眼の各々を指すが、視野は立体視に対して反転される。例えば、シュードスコピック視野は、右眼により観察するように意図した視野を左眼によって見る場合に取得され、左眼によって観察するように意図した視野は、右眼によって見られる。結果として、観察者には、反転された奥行き感、したがって、典型的には不自然な奥行き感が提供される。
第2の部分は、一連の視野内の第1の部分に隣接する。結果として、観察者は、立体視観察領域からシュードスコピック観察領域に動くことによって、立体視からシュードスコピック視野にシームレスに移行することができる。必然的に、シュードスコピック観察領域が、視野の第2の部分にわたって、例えば隣接する視野角内に位置される、所定の立体視観察領域内の右端の視野と隣接する立体視観察領域内の左端の視野との間の差または相違を分散するにつれて、超シュードスコピック観察領域は、低減または回避される。したがって、立体視観察領域に隣接するシュードスコピック観察領域を意図的に提供することによって、超シュードスコピック観察位置内の他に知覚された差分は、多くの視野を通じて分散される。前記差分、および、したがって関連する視覚的歪は、第2の部分内のますます増える視野によって、減少する、ということに留意されたい。
ディスプレイプロセッサは、一連の視野の第1の部分として発せられるための第1の一連の画像を生成するために、更に配置される。そのために、ディスプレイプロセッサは、3D画像データから原画像を直接取得するために配置される。前記画像の取得は、例えば、3D画像データがいわゆる画像+奥行き形式で提供される際に3D画像データの視野のレンダリングを実行すること、または視野レンダラから前記画像を取得することを備えてもよい。前記画像の取得は、また、例えば、3D画像データがいわゆる左+右画像形式で提供される際に3D画像データの視野の合成を実行すること、または視野シンセサイザから前記画像を取得することを備えてもよい。前記画像は、また、画像データが多視野形式(すなわち、一連の視野を備える)で提供される際に3D画像データから直接取得されてもよい。用語原画像は、3D画像データ内に含まれるシーンの異なる視野(すなわち、シーンに対するカメラの異なる位置に対応する)を示す画像を各々指し、シーンの各々の異なる視野は、3D画像データから直接導出するということに留意されたい。
ディスプレイプロセッサは、原画像から派生画像を導出するために更に配置される。ここで、用語導出する(deriving)および用語導出された(derived)は、例えば、原画像間に補間画像を生成する、および/または原画像の隣に外挿画像を生成する、補間および/または外挿を指す。ディスプレイプロセッサは、少なくとも派生画像を含むように第1の一連の画像を更に生成する。第1の一連の画像は、派生画像に加えて1つ以上の原画像を含んでもよいし、含まなくてもよい、ということに留意されたい。原画像は、補間画像および/または外挿画像とは異なり、前者は3D画像データから直接取得されるが、後者は原画像に導出し、3D画像データから直接には取得されない。
ディスプレイプロセッサは、前述のような他の同様の方式で、更なる原画像を含む第2の一連の画像を生成するための3D画像データから更なる原画像取得し、または、3D画像データから更なる原画像を取得し、更なる原画像から更なる派生画像を導出し、更なる派生画像および更なる原画像の少なくとも1つを含む第2の一連の画像を生成するために更に配列される。再び、用語導出する(deriving)および用語導出された(derived)は、例えば、更なる原画像間に補間画像を生成する、および/または更なる原画像の隣に外挿画像を生成する、補間および/または外挿を指す。更に、第2の一連の画像が更なる派生画像を含む場合、最初に述べた派生画像の数は、それぞれの一連の画像内の各々の画像の総数に比べて、更なる派生画像の数より大きい。
前述の手段には、一連の視野の第1の部分は、各部分内の画像の総数に比べて、一連の視野の第2の部分よりも多くの補間画像および/または外挿画像によって、更に構成されるという効果がある。したがって、第1の部分内の視野は、第2の部分よりも、補間視野および/または外挿視野である割合が高い。したがって、観察者は、視野角の各々のシュードスコピック観察領域よりも、相対的に多くの立体視観察領域内の補間画像および/または外挿画像に遭遇することになる。
本発明は、他の点では関連しない2つの技術を有利に組み合わせ得る、という認識に部分的に基づく。例えば視野のレンダリングまたは視野合成を用いた原画像の取得は、典型的には、原画像から補間された画像および/または外挿された画像の取得よりも計算的に複雑であるので、第1の技術は、3Dディスプレイのための画像を生成する際のコンピュータ負荷を軽減するために補間および/または外挿の使用に関係する。第2の技術は、超シュードスコピック観察領域を回避するために、または超シュードスコピック観察領域のサイズを低減するために、シュードスコピック観察領域の導入に関係する。発明者は、シュードスコピック視野自体によって引き起こされる視覚的歪が更に増大しないように、一連の視野の第2の部分内のシュードスコピック視野間の平滑な遷移を取得することが望ましいことを認識した。視野が補間画像および/または外挿画像を含む場合、これは前記視野間の平滑な遷移を妨害するかもしれない。よって、補間画像および/または外挿画像を生成するために補間および/または外挿を用いることによって一連の視野として発せられるための画像を生成する計算の複雑性を低減する場合、第2の一連の画像を生成する場合よりも、第1の一連の画像を生成する場合に前記補間および/または外挿を適用するほうが望ましい。
必要に応じて、ディスプレイプロセッサは、ゼロ次補間技術および/またはゼロ次外挿技術を用いて、原画像から派生画像を導出するために配置される。用語ゼロ次は、補間および/または外挿された画像を生成するために原画像を繰り返すことを指す。画像の繰り返しは、少ない計算の複雑性を伴う。原画像の繰り返しによって、補間および/または外挿の人為的な影響が回避されるので、原画像の鮮明度は、補間および/または外挿された画像に維持される。有利なことには、3Dディスプレイが、隣接する視野間の光学的クロストークを呈す場合、例えば、3Dディスプレイが、隣接する視野による重要なクロストークを視野が本質的に有するいわゆるフラクショナルビューディスプレイである場合、所定の視野内の画像の繰り返しである補間画像および/または外挿画像を隣接する視野が備えるときに、所定の視野内の画像の鮮明度が維持される。
必要に応じて、ディスプレイプロセッサは、1次もしくは高次の補間技術および/または外挿技術を用いて、更なる原画像から更なる派生画像を導出するために配置される。1次もしくは高次の補間技術および/または外挿技術用いて作成された補間画像および/または外挿画像は、典型的には、ゼロ次補間を用いて作成された補間画像および/または外挿画像よりも平滑な更なる原画像間の遷移を提供する。有利なことには、第2の一連の画像が補間画像および/または外挿画像を含む場合、一連の視野の第2の部分内のシュードスコピック視野間の平滑な遷移は、補間および/または外挿の使用にも関わらず維持される。
必要に応じて、ディスプレイプロセッサは、原画像のすべてまたはサブセットの選択によって、更なる原画像を取得するために配置される。更なる原画像を取得するための計算の複雑性は、第2の一連の画像内の第1の一連の画像からの原画像のすべてまたはサブセットを再使用することによって、低減することができる。有利なことには、少なくとも原画像のいくつかが第2の一連の画像内で再使用される場合、視野のレンダリングまたは視野の合成を実行するによる計算の複雑性は低減される。
必要に応じて、第2の一連の画像は、原画像のすべてまたはサブセットから構成される。したがって、更なる原画像がすべて原画像から取得されるので、3D画像データから何らかの原画像を別々に取得することを必要としない。有利なことには、特に3D画像データから更なる原画像を取得するための何らかの視野レンダリングまたは視野合成を実行することを必要としない。
必要に応じて、ディスプレイプロセッサは、第2の一連の画像をぼかすために配置される。第2の一連の画像をぼかすことによって、前記画像の鮮明度が低減されるので一連の視野の第2の部分内のシュードスコピック視野間のより平滑な遷移が取得され、それにより、視野間の遷移を目立たなくする。有利なことには、補間画像および/または外挿画像内の補間および/または外挿の人為的な影響は、ぼかしによって低減される。
必要に応じて、ディスプレイプロセッサ、第2の一連の画像の個々のものに対して空間ローパスフィルタを適用することによって、または第2の一連の画像の複数のものの平均化によって、第2の一連の画像をぼかすために配置されてもよい。空間ローパスフィルタは、画像を別々にぼやかす。すなわち、他の画像の画素は考慮されない。それに対して、複数画像の平均化は、複数画像にわたる画素を平均化することによって画像をぼやかす。両方の技術は、第2の一連の画像をぼやかすのに適切である。
必要に応じて、一連の視野の第1の隣接するサブセットおよび一連の視野の第2の部分は、ともに一連の視野を形成する。繰り返し視野角の各々の内に提供されるシュードスコピック観察領域は、したがって、隣接の視野角の立体視観察領域間の遷移を常に形成する。
必要に応じて、3Dディスプレイは、O個の隣接するフラクショナルビューとの光学的クロストークを呈す一連のフラクショナルビューの各々を有する一連のフラクショナルビューとして一連の視野を発するために配置される。したがって、3Dディスプレイは、いわゆるフラクショナルビューディスプレイである。このようなディスプレイは、典型的には、P/Qディスプレイと呼ばれ、Pは、一連の繰り返し視野角のそれぞれの視野角の各々に提供されるフラクショナルビューの数を示し、Qは、光学的クロストークによる前記フラクショナルビューの単一の1つを見る際のユーザにとって目に見えるフラクショナルビューの数を示す。例えばフラクショナルビューディスプレイが20/3ディスプレイである場合に、Qは、O+1に等しく、観察者は、所定のフラクショナルビューを見る際に、2つの隣接するフラクショナルビューを同様に知覚することになり、その結果、観察者は合計3個のフラクショナルビューを知覚する。すなわち、O=2、Q=3である、ということに留意されたい。
必要に応じて、ディスプレイプロセッサは、(i)ゼロ次補間技術および/またはゼロ次外挿技術を用いて、原画像の各々に対するO個の派生画像を導出することによって第1の一連の画像を生成し、(ii)更なる派生画像を含まない第2の一連の画像を生成するために配置される。よって、各原画像に関しては、O個の補間画像および/または外挿画像は、繰り返しによって生成され、Oは、一連のフラクショナルビューの1つに1つによって光学的クロストークを呈す隣接するフラクショナルビューの数に等しい。結果として、観察者は、フラクショナルビューの1つの原画像を知覚する場合に、原画像の繰り返しを備える少なくとも1つの隣接するフラクショナルビューの光学的クロストークの影響下にあってもよい。よって、観察者は、光学的クロストークをあまり知覚しないことになる。光学的クロストークは、また、前記繰り返し画像を各々が含むO個の隣接するフラクショナルビューであってもよい。よって、観察者は、クロストークを全く知覚しない、または些細な量のクロストークを知覚することになる。ゼロ次技術の使用は、したがって、はっきり見えない光学的クロストーク、および平均して更に鮮鋭に見える第1の一連のフラクショナルビューの画像をもたらす。したがって、観察者は、立体視観察領域内の改善された画質を取得することになる。更に、第2の一連の画像は、補間画像および/または外挿画像を含まない。したがって、シュードスコピック観察領域内のフラクショナルビュー間の平滑な遷移が得られる。更に、隣接するフラクショナルビューが互いに混合されるにつれて、隣接するフラクショナルビュー間の光学的クロストークは、前記平滑化を更に増大させる。
必要に応じて、第1の一連の画像は、第2の一連の画像の総数の実質的にO+1倍を含む。例えば、視野の各々が2つ(すなわちO=2)の隣接する視野によって光学的クロストークを呈す3Dディスプレイに対して、第1の一連の画像は、第2の一連の画像と同数の3(すなわち2+1)倍の画像を含む。結果的に、一連の視野の第1の部分は、一連の繰り返し視野角の1つ1つの一連の視野の第2の部分より3倍大きい。有利なことには、隣接するが異なる視野間の遷移は、視野の第1の部分および第2の部分の各々において実質的に等しい。有利なことには、同量の奥行き知覚は、例えば視野の第1の部分より大きな奥行き知覚を提供する視野の第2の部分の代わりに、視野の前記部分の各々において取得されてもよい。
したがって、上記の手段は、原画像の繰り返しによって、特に、一連のフラクショナルビューの1つ1つで光学的クロストークを呈す隣接フラクショナルビューの数と同数で原画像を繰り返すことによって、立体視観察領域内の隣接するフラクショナルビュー間の光学的クロストークを低減する効果がある。更に、シュードスコピック観察領域内のフラクショナルビュー間の遷移の平滑さを増加させるためにシュードスコピック観察領域内で、繰り返しは利用されない(すなわち、光学的クロストークは低減されない)。
必要に応じて、一連の視野の第1の部分は、一連の視野の第2の部分よりも少なくとも2倍大きい。そのため、シュードスコピック観察領域よりも少なくとも2倍大きい立体視観察領域が提供される。
本発明の上記実施形態、具体化、および/または態様の2つ以上は、有用と見なされる任意の方法で組み合わせられてもよい、ということは当業者によって認識されることになる。記載されたディスプレイプロセッサの変更および変形に対応する3Dディスプレイ、タブレット装置、デジタルフォトフレーム、スマートフォン、方法、および/またはコンピュータプログラムプロダクトの変更および変形は、本説明に基づいて当業者によって実施することができる。本発明は、独立クレーム内に規定される。有用なオプションは、従属請求項内に規定される。
本発明のこれらの態様および他の態様は、以下に記載される実施形態から明らかであり、当該実施形態を参照して解明されることになる。
図1は、3Dディスプレイ140に対して一連の画像122を提供するための3Dディスプレイに接続されるディスプレイプロセッサ120を示す。3Dディスプレイ140は、ユーザが眼鏡を着用する必要なしに、3Dディスプレイ140上に表示されたコンテンツの立体視を可能にするための自動立体視3Dディスプレイである。3Dディスプレイ140は、発光素子または光変調素子のアレイから典型的に構成される光生成部分142を備える。例えば、光生成部分142は、ディスプレイの技術分野から周知のように、液晶ディスプレイ(LCD(Liquid Crystal Display))パネルおよびバックライトによって形成されてもよい。
3Dディスプレイ140は、光生成部分142によって生成した光を異方向にリダイレクトするための光学的手段144を更に備える。光生成部分142は、一連の視野0〜5が視野角104の形式で3Dディスプレイ140から発せられるように、適切に配置されて、光学的手段144と協働してもよい。更に、3Dディスプレイ140は、一連の画像122が提供されるときに、一連の視野0〜5内の前記画像を隣接して発するために配列されてもよい。したがって、観察者は、一連の視野0〜5の1つを見るときに、一連の画像122のそれぞれの1つを知覚することになる。一連の画像122は、3D画像データ内に含まれるシーンと向き合い、前記シーンの前で且つ前記シーンに対して左から右に動く、カメラに対応してもよい。よって、視野角104内に位置し、一連の視野0〜5の2つの異なるもの0、1を知覚する観察者110は、前記シーンの立体視を取得することができる。
3Dディスプレイの上記の構成、および一連の視野0〜5として表示するための一連の画像122を処理する方法は、それ自体知られている、ということに留意されたい。例えば、米国特許第6,064,424号明細書は、光学的手段144としてレンズ形素子を有する自動立体視表示装置を開示し、表示素子(すなわち、発光素子または光変調素子)とレンズ形素子との間の関係について説明している。また、自動立体視ディスプレイは、光学的手段144としてパララックスバリアを備えることでも知られている。
図1は、一連の繰り返し視野角100の中央の1つである視野角104を示し、視野角102、104、106の各々は、一連の視野0〜5を備える。繰り返し視野角104は、3Dディスプレイ140の光学的手段144の所望の並びに本来の特性とし得る、ということに留意されたい。視野角の繰り返しは、前述の米国特許第6,064,424号明細書内で説明され、更に詳しく述べられる。
観察者は、2つの観察位置にて、図1に示される。第1の観察位置110において、観察者は、自身の右眼によって第2の視野1を知覚しながら、自身の左眼によって第1の視野0を知覚する。前記シーンの前で且つ前記シーンに対して左から右に動く、カメラに対する一連の画像122の前述の一致により、観察者は、第1の観察位置110において立体視を得ることになる。第1の観察位置110は、したがって、立体視観察位置110である。第2の観察位置112において、観察者は、自身の右眼によって第4の視野0を知覚しながら、自身の左眼によって第3の視野5を知覚する。観察者は、したがって、第2の観察位置112におけるシュードスコピック視野を得ることになり、すなわち、前記観察位置は、シュードスコピック観察位置112である。この場合、第3の視野5は、中央の視野角104の右端の視野に対応し、第4の視野0は、右側の視野角106の左端の視野に対応する。結果として、非常に大きく且つ反転された奥行き感は、第2の観察位置にて得られ、すなわち、前記観察位置は、超シュードスコピック観察位置112である。
図2は、一連の繰り返し視野角の各々にわたる一連の視野の概略図を示す。水平軸は、3Dディスプレイ140のディスプレイ面と平行して、且つ3Dディスプレイ140の前で左から右に移動する観察者に対応する順序で各々の繰り返し視野角102、104、106のための一連の視野0〜5の各々を示す。すなわち、観察者は、左の視野角102、中央の視野角104、および最後に右側の視野角106の一連の視野を通じて横断する。垂直軸は、一連の視野0〜5の1つを知覚する観察者によって得られた視点160に対応し、視点160は、3D画像データ内に含まれるシーンに対する。ここで、低値(すなわち垂直軸上の低位置)は、シーンに対する左手視点に対応し、高値(すなわち垂直軸上の高位置)は、シーンに対する右手視点に対応する。図2は、したがって、観察者が左の視野角102内の一連の視野0〜5を通じて横断するときに、シーンに対して左から右に変化する視点160を示し、視点は、その後、中央の視野角104などの一連の視野0〜5を通じて横断するときに、再び左にジャンプし、右に変化する。また、前述の立体視観察位置110および超シュードスコピック観察位置112が図示される。観察者が、視点内の大きな差分により、超シュードスコピック観察位置112において非常に大きく且つ反転された奥行き感を取得することは、図2から明らかである。
図3は、別の一連の視野0〜19の概略図を示す。ここで、一連の視野0〜19は、もっぱら単一の視野角108ために表され、すなわち、明瞭さの理由のために、繰り返し視野角はどれも示されない。図1および図2に示される一連の視野0〜5とは対照的に、図3に表される一連の視野は、20個の視野で構成される。3Dディスプレイ140は、一連のフラクショナルビューとして、一連の視野0〜19を発するために配置されてもよい。ここで、用語フラクショナルは、一連の視野0〜19の1つ1つが、隣接する視野との光学的クロストークを呈すことを示す。すなわち、観察者は、一連の視野0〜19の複数のものの重なりを本質的に知覚する。3Dディスプレイ140は、したがって、いわゆるフラクショナルビュー方式の3Dディスプレイであってもよい。フラクショナルビュー方式の3Dディスプレイと、一連の視野0〜19として表示するための一連の画像122を処理する方法とは、それ自体知られている、ということに留意されたい。例えば、国際公開第2006/117707号パンフレットは、前記フラクショナルビューを提供するように選択されるレンズの傾斜およびピッチをもつ、光学ディレクトリ手段として一群のレンズを有する立体表示装置を開示する。3Dディスプレイ140は、いわゆる20/3ディスプレイであってもよく、「20」は各視野角内で発せられるフラクショナルビューの数を示し、「3」はフラクショナルビュー間のクロストークの程度を示す。ここで、数「3」は、フラクショナルビューの1つを見るときに、フラクショナルビューの合計の3つを知覚する観察者を指すものと理解されるべきである。よって、光学的クロストークは、任意のフラクショナルビューにおいて、2つの付加的で且つ隣接するフラクショナルビューが目に見えるようである。
もちろん、3Dディスプレイ140は、また、他の好適な構成(すなわち、5個の視野、9個の視野、20個の視野、他の数の視野ディスプレイ)であってもよい、ということに留意されたい。更に、3Dディスプレイ140は、一連のフラクショナルビューとして一連の視野0〜19を生成するために構成されてもよいし、構成されなくてもよい。但し、以下においては、3Dディスプレイ140は、前述の20/3フラクショナルビュー方式の3Dディスプレイとして構成されるものと想定される。
図3は、単調に増加する視点160に対応する一連の視野0〜19を示す。すなわち、視点160は、一連の視野0〜19内の第1の視野0と最終視野19との間で単調に増加する。図1および図2に示された一連の視野0〜5の場合のように、観察位置は、観察者が超シュードスコピック視野を得る(すなわち、自身の右眼によって第1の視野0と自身の左眼によって最終視野19と(もしくは逆もまた同様)を知覚する)視野角108と隣接する視野角との間に存在する。光学的クロストークにより、観察者は、自身の右眼によって最終視野19および第2の視野1と、自身の左眼によって第1の視野0および最終視野18の隣とを更に知覚することになる、ということに留意されたい。光学的クロストークがぼやけた知覚を引き起こす、ということに留意されたい。結果的に、超シュードスコピック観察位置にて非常に大きく且つ反転された奥行き感によって引き起こされる視覚的歪は、低減される。しかしながら、著しい視覚的歪は、観察者によって知覚される大きな奥行きにより残る。
図4は、隣接する視野角間の超シュードスコピック視野によって引き起こされる視覚的歪を低減するように構成された一連の視野0〜19を示す。この図において、一連の視野0〜19の各々に対応し、垂直軸上でドット高さによって表される視点160は、一連の視点162によって更に数字表記される。数字表記において、低い数またはより低い数は、シーンに対する左手視点または更なる左手視点160に対応し、高い値またはより高い値は、シーンに対する右手視点または更なる右手視点160に対応する、観察者に提供された視点160を示すということに留意されたい。よって、数字表記は、一連の視野0〜19間の視点160内の相対的差異を図示する役割を果たすが、絶対的な尺度ではない。
図4は、立体視が提供される第1の部分0〜14(すなわち、視点160は、第1の視野0における視点「0」から、第1の部分0〜14の最終視野14における視点「14」まで単調に増加する)を含む一連の視野0〜19を示す。更に、一連の視野0〜19は、シュードスコピック視野が提供される第2の部分15〜19(すなわち、視点160は、第1の視野15における視点「11」から第2の部分15〜19の最終視野19における視点「2」まで単調に減少する)を含む。よって、視野角108内の一連の視野0〜19を通じて横断する観察者は、視野角108内の立体視観察領域およびシュードスコピック観察領域に気づくことになる。更に、第2の部分15〜19内の視野の各々の間の視点160内のステップは、第1の部分0〜14内の視点160内の変更が実質的に相殺するように選ばれる。すなわち、一連の視野0〜19を通じて横断する観察者は、視野角108の左辺と実質的に同じ視点を視野角108の右辺においても得ることになる。この場合、第2の部分15〜19内の視点の低減は、約2.5倍の多くの視野を有する第1の部分0〜14の結果として、第1の部分0〜14内の視点の増加より、平均して約2.5倍大きくなるように選択される。
図3に提供された一連の視野0〜19と比較して、図4に提供された一連の視野0〜19は、小さな立体視観察領域を有するだけでなく、立体視観察領域の左端の視野から隣接する視野角内の立体視観察領域の右端の視野に段階的遷移を提供する、立体視観察領域間のシュードスコピック観察領域の導入の結果として、隣接する視野角間のあらゆる超シュードスコピック観察位置をも回避する、ということに留意されたい。よって、視野角108内の更なる観察位置は、ここではシュードスコピック視野を提供するが、図3の非常に大きく且つ反転される奥行き感は回避される。
図5は、本発明により提供されるような一連の視野0〜19を示す。再び、一連の視野0〜19は、立体視が提供される第1の部分0〜14と、シュードスコピック視野が提供される第2の部分15〜19とを含む。第2の部分15〜19は、図4のものと同様に示され、図4に示されるように、第1の視野15だけが、視点「11」の代わりに視点「10」を示す。但し、第1の部分0〜14は、ここでは、視野0、1、2が同じ視点「0」を示し、視野3、4、5が同じ視点「3」を示すなどという点で、繰り返し視野を含む。ここで、用語繰り返しは、同一である視点(すなわちシーンの同一画像を示す視野)を指す。第1の部分0〜14内の視点の全体的な傾斜が、図4の傾斜と実質的に同様であることは、見て明らかである。すなわち、但し、第1の部分0〜14は、より粗いステップサイズではあるが、視点160内の全体的に実質的に同様の遷移を提供する。この例では20/3フラクショナルビュー方式の3Dディスプレイである3Dディスプレイ140の結果として、観察者は、平均して、光学的クロストークによる影響をあまり受けないことになる。例えば、図4内に表された一連の視野0〜19の視野4を知覚するときに、観察者は、視野3および視野5を更に知覚することになる。したがって、ユーザは、視点「3」、視点「4」、および視点「5」の混合を知覚することになる。対照的に、図5に表された一連の視野0〜19の視野4を知覚するとき、観察者は、同じ視点「3」の繰り返しを更に知覚することになる。よって、観察者は、異なる視点の混合を知覚しない、または顕著に知覚しないことになる。異なる視点の混合物は、典型的には、ぼやけた印象(すなわち、鮮明度の損失)をもたらす。異なる視点の混合を回避することによって、鮮明度の損失がなくなる、または少なくなる。ある視野は、異なる視点の混合を提供する(例えば、視野5において、観察者は、視点「3」、「3」および「6」の混合を知覚することになる)、ということに留意されたい。しかしながら、平均すると、図5の第1の部分0〜14は、図4の第1の部分0〜14より、より少ないぼやけ(すなわち、更なる鮮明度)を提供する。同時に、両方の第2の部分が繰り返し視野を含むとは限らないので、図5の第2の部分15〜19は、図4の第2の部分15〜19と同様の量のぼやけ(すなわち、同様の鮮明度の損失)を提供する。
図5の視点の繰り返しは、一連の視野0〜19の第1の部分0〜14として発せられるために3Dディスプレイ140に対して第1の一連の画像を提供するディスプレイプロセッサ120によって取得されてもよい。ディスプレイプロセッサ120は、原画像および原画像の各々に対するX個(Xはゼロより大きい)の補間画像を備える第1の一連の画像を生成し、ゼロ次補間技術を用いて原画像を補間するために3D画像データから原画像を取得し原画像を補間するために配列される。図5の例において、Xは2と等しく、すなわち、視点「0」、「3」、「6」、「9」および「12」に対応する原画像の各々に対して、2つの補間画像が生成され、一連の視点「0、3、6、9、12」にそれぞれ対応し、且つ一連の視点「0、0、0、3、3、3、6、6、6、9、9、9、12、12、12」にそれぞれ対応する第1の一連の画像を提供するために補間される一連の原画像をもたらす。したがって、5つの原画像は、5個の原画像と10個の補間画像とを備える第1の一連の画像を取得するために補間される。
3D画像データから原画像を取得することは、一連の視点「0、3、6、9、12」に対応する画像を取得するために視野のレンダリングを実行することを含めてもよく、ゼロ次補間技術を用いて原画像を補間することは、原画像の各々を単純に2度繰り返すことを含めてもよい、ということに留意されたい。
図5の第2の部分15〜19は、一連の視野0〜19の第2の部分15〜19として発せられるために3Dディスプレイ140に対して第2の一連の画像を提供することにより、ディスプレイプロセッサ120によって取得されてもよい。更に、ディスプレイプロセッサ120は、更なる原画像の各々に対する更なる原画像およびY補間画像を含む第2の一連の画像を生成するために、3D画像データから更なる原画像を取得し、更なる原画像を補間するために配置されてもよい。図5に示される例において、Yはゼロである、すなわち、補間画像は、更なる原画像の各々ために生成されない。結果として、図5の一連の視点164に対応するための一連の視野0〜19の生成は、合計9個の(すなわち、視点「0」、「3」、「6」、「9」、「12」、「10」、「8」、「4」、「2」に対応する)原画像を取得することを含む。結果的に、一連の視野0〜19内の残りの11個の画像は、補間画像である。
図6aは、本発明による一連の視野0〜19の別の例を示す。再び、一連の視野0〜19は、立体視が提供される第1の部分0〜14と、シュードスコピック視野が提供される第2の部分15〜19とを含む。第1の部分0〜14は、図5のものと同一であるように示される。この例において、ディスプレイプロセッサ120は、原画像のすべてまたはサブセットの選択によって、更なる原画像を取得するように配置されてもよい。この例において、第2の部分15〜19は、視点「0」、「3」、「6」、「9」、「12」に対応する画像から構成され、したがって、原画像からすべて取得されてもよい。結果として、図6aの一連の視点166に対応するための一連の視野0〜19の生成は、合計5個の(すなわち、視点「0」、「3」、「6」、「9」、「12」に対応する)原画像を取得することを含む。結果的に、一連の視野0〜19内の残りの15個の画像は、補間画像である。
同様に、第1の一連の画像は、一連の視点「0、0、2、2、4、4、6、6、8、8、10、10」に対応する画像から構成されてもよく、第2の一連の画像は、一連の視点「8、6、4、2、0」に対応してもよい。この例において、3Dディスプレイ140は、17/2フラクショナルビュー方式の3Dディスプレイであってもよい。同様に、第1の一連の画像は、一連の視点「1、1、1、4、4、4、7、7、7、10、10、10、13、13、13、16、16、16、19、19」に対応する画像から構成されてもよく、第2の一連の画像は、一連の視点「17、15、13、11、9、7、5、3」に対応してもよい。この例において、第1の一連の画像の原画像のサブセットだけ(すなわち、もっぱら視点「7」に対応する原画像)が用いられる。この例における3Dディスプレイ140は、28/3フラクショナルビュー方式の3Dディスプレイであってもよい。
図6bは、本発明による一連の視野0〜19の別の例を示す。第1の部分0〜14は、図5のものと同一であるように示される。この例において、ディスプレイプロセッサ120は、1次もしくは高次の補間技術を用いて、更なる原画像を補間するために配置されてもよい。例えば、Yは5/3と等しくてもよく、すなわち、更なる原画像の各々に対して、5/3の補間画像が生成される。例えば、更なる原画像は、視点「10」、「6」および「2」に対応してもよい。ここで、視点「6」に対応する更なる原画像は、第1の部分0〜14の原画像から取得されてもよいのに対して、視点、「10」および「2」に対応する更なる原画像は、3D画像データから直接取得されてもよい。1次もしくは高次の補間技術は、補間された視点「8*」をもたらす、視点「10」および「6」に対応する画像間の中間画像を提供するために補間された前記更なる原画像に用いられてもよく、中間画像は前記視点間の補間に対応する。同様に、1次もしくは高次の補間技術は、補間された視点「4*」をもたらす、視点「6」および「2」に対応する画像間の更なる中間画像を提供するために用いられてもよく、更なる中間画像は、前記視点間の補間に対応する。よって、視点「10、8*、6、4*、2」を第2の部分15〜19内に含む一連の視点168を併せて形成する、更なる原画像および補間画像によって構成される第2の部分15〜19を有しながらも、図5に示されるものと同様の第2の部分15〜19が取得されてもよい。
更なる原画像の一次補間が、更なる原画像の重み付け平均化を実行することを含めてもよい、ということに留意されたい。高次補間は、更なる原画像間の対象物の軌道を分析し、軌道内の中間点に沿って位置された対象物を再作成するために、可能な限り忠実に、更なる原画像を補間することを含めてもよい。このような補間技術が、画像処理の分野から、特に視野補間およびフレーム速度変換の分野から、それ自体知られている、ということに留意されたい。
概して、XとYとの間の補間の比は、例えば1:0であってもよい。すなわち、第1の一連の画像には、原画像の半分と補間画像の半分とが含められてもよいのに対して、第2の一連の視野は、更なる原画像で全体が構成されてもよい。同様に、比は、2:0、2:1、3:0、3:1、3:2、4:0、4:1、4:2、および4:3のうちの任意の比、または他の適切な比であってもよい。補間係数、ならびにその結果としての比は、整数である必要がない、ということに留意されたい。例えば、原画像の各々に対する2つの補間画像を補間することによって第1の一連の画像を生成し、且つ更なる原画像の各々に対する5/3画像を補間することによって第2の一連の画像を生成すると、2:5/3であるX:Yの比もしくは約2:1.67のX:Yの比が取得される。
X個の画像が、補間された画像、外挿された画像、または補間された画像と外挿された画像との組み合わせを含めてもよい、ということに留意されたい。同様に、Y個の画像は、補間された画像、外挿された画像、または補間された画像と外挿された画像との組み合わせを含めてもよい。例えば、図6bに結果が示される実施形態の代替案において、視点「8」および「4」は、3D画像データから直接取得されてもよい。1次もしくは高次の補間技術は、補間された視点「6*」をもたらす、前記視点間の補間に対応する中間画像を提供するために前記更なる原画像を補間するために用いられてもよい。同様に、1次外挿技術または高次外挿技術は、外挿された視点「10*」および外挿された視点「2*」をもたらす、視点「8」および「4」に対応する画像の隣の更なる画像を提供するために用いられてもよく、更なる画像は、いずれかの視点の外挿に対応する。よって、視点「10、8、6*、4、2*」を第2の部分15〜19内に含む一連の視点を併せて形成する、更なる原画像および補間画像と外挿画像との組み合わせによって構成される第2の部分15〜19を有しながらも、図5に示されるものと同様の第2の部分15〜19が取得されてもよい。
ディスプレイプロセッサ120は、例えば、第2の一連の画像の個々のものに対して空間ローパスフィルタを適用することによって、または第2の一連の画像の複数のものの平均化によって、第2の一連の画像をぼかすために配置されてもよい。代替え的または付加的に、国際公開第2007/063477号パンフレットから知られるように、奥行き依存のぼやけが適用されてもよい。
図7は、ディスプレイプロセッサ120を備えるタブレット装置180を示す。すなわち、ディスプレイプロセッサは、タブレット装置180の内部コンポーネントである。タブレット装置180は、3Dディスプレイ140を更に備える。ディスプレイプロセッサ120は、一連の画像122を提供するための3Dディスプレイ180に接続されるように示される。代替え的には、ディスプレイプロセッサ120は、デジタルフォトフレームまたはスマートフォン内に備えられてもよい。前記装置は、また、3Dディスプレイ140を備えてもよい。代替え的には、ディスプレイプロセッサ120は、3Dディスプレイ140内に備えられてもよく、3Dディスプレイ140は、個別の装置またはスタンドアロン装置を構成する。代替え的には、ディスプレイプロセッサ120は、3Dディスプレイ140に接続可能なセットトップボックス、パーソナルコンピュータ、ゲームコンソール、または同様の装置内に備えられてもよい。
図8は、3Dディスプレイ上のディスプレイ用の3D画像データを処理する方法200を示し、3Dディスプレイは、一連の繰り返し視野角のそれぞれの視野角の各々において、3D画像データの一連の視野を、隣接して発するために配置され、一連の視野は、各視野角内の複数の観察位置における3D画像データの立体視を可能にする。方法200は、各視野角内の複数の観察位置における3D画像データの前記立体視を提供するために、一連の視野の第1の部分として発せられるための3Dディスプレイに対して第1の一連の画像を提供することを含む「第1の一連の画像を提供すること(PROVIDING A FIRST SERIES OF IMAGES)」というタイトルの第1のステップ220を含む。方法200は、各視野角内の(少なくとも)更なる観察位置における3D画像データのシュードスコピック視野を提供するために、一連の視野の第2の部分として発せられるための3Dディスプレイに対して第2の一連の画像を提供することを更に含む「第2の一連の画像を提供すること(PROVIDING A SECOND SERIES OF IMAGES)」というタイトルの第2のステップ240を含み、第2の部分は、一連の視野内の第1の部分に隣接する。方法200は、3D画像データから原画像を取得することと、原画像および原画像の各々に対するX個(Xはゼロより大きい)の補間画像を含む第1の一連の画像を生成するために原画像を補間することとを含む「第1の一連の画像を生成すること(GENERATING THE FIRST SERIES OF IMAGES)」というタイトルの第3のステップ260を更に含む。方法200は、3D画像データから更なる原画像を取得することと、更なる原画像および更なる原画像の各々に対するY個(Yはゼロより大きいまたは等しい、およびYはXより小さい)の補間画像を含む第2の一連の画像を生成するために更なる原画像を補間することとを含む「第2の一連の画像を生成すること(GENERATING THE SECOND SERIES OF IMAGES)」というタイトルの第4のステップ280を更に含む。ステップ220、240、260、280を実行される必要がある順序を特定するように図7は理解されないことが留意される。特に、第3のステップ260は、第1のステップ220よりも前に実行されてもよいし、第4のステップ280は、第2のステップ240よりも前に実行されてもよい。
図9は、本発明による方法をプロセッサシステムに実行させるためのコンピュータプログラムプロダクト302を含むコンピュータ読み取り可能媒体300を示す。コンピュータプログラムプロダクト302は一連の機械読み取り可能な物理マークとして、および/または異なる電気的(例えば磁気的)または光学的な性質もしくは値を有する一連の要素として、コンピュータ読み取り可能媒体上に含められてもよい。
本発明を実行するように構成された、コンピュータプログラム(特にキャリア上またはキャリア内のコンピュータプログラム)に対して、本発明が適用されることも認識されることになる。プログラムは、本発明による方法を実施するために使用するのに適している、ソースコード、オブジェクトコード、コード中間ソース、部分的にコンパイルされたオブジェクトコードの形式または他の任意の形式であってもよい。このようなプログラムに多数の異なる構造上の設計があってもよいこともまた認識されることになる。例えば、本発明による方法またはシステムの機能を実現するプログラムコードは、1つ以上のサブルーチンに細分されてもよい。これらのサブルーチンに機能を分配する多数の異なる方法は、当業者にとって明らかになる。サブルーチンは、内蔵型のプログラムを形成するために1つの実行可能ファイル内に一緒に保存されてもよい。このような実行可能ファイルは、例えば、プロセッサ命令および/またはインタプリタ命令(例えばJava(登録商標)インタプリタ命令)などのコンピュータ実行可能命令を含んでもよい。代替え的に、サブルーチンの1つ以上またはすべては、少なくとも1個の外部ライブラリファイル内に保存され、メインプログラムと静的にまたは動的に(例えばランタイムに)リンクされてもよい。メインプログラムは、サブルーチンの少なくとも1つに対して少なくとも1つの呼び出しを含む。サブルーチンは、また、互いに関数呼び出しを含んでもよい。コンピュータプログラムプロダクトに関する実施形態は、本明細書において明記された方法の少なくとも1つの各処理ステップに対応するコンピュータ実行可能命令を含む。これらの命令は、サブルーチンに細分されてもよいし、および/または静的にまたは動的にリンクされてもよい1個以上のファイルに保存されてもよい。コンピュータプログラムプロダクトに関する別の実施形態は、本明細書において明記されたシステムおよび/または製品の少なくとも1つの各手段に対応するコンピュータ実行可能命令を含む。これらの命令は、サブルーチンに細分されてもよいし、および/または静的にまたは動的にリンクされてもよい1個以上のファイルに保存されてもよい。
コンピュータプログラムのキャリアは、プログラムを伝送することができる任意のエンティティ要素または装置であってもよい。例えば、キャリアは、ROM(例えばCD−ROMまたは半導体ROM)または磁気記録媒体(例えばハードディスク)などの記憶媒体を含んでもよい。更に、キャリアは、電気ケーブルもしくは光ケーブルを介してまたは無線もしくは他の手段によって伝達されてもよい、電気信号または光信号などの伝達可能なキャリアであってもよい。プログラムがこのような信号で具体化される場合、キャリアは、このようなケーブルまたは他の装置もしくは手段によって構成されてもよい。代替え的に、キャリアは、プログラムが組み込まれる集積回路であってもよい。集積回路は、関連方法を実行するように構成される、または関連方法の実行に用いられる。集積回路は、特定用途向けIC(ASIC)であってもよい。プログラムは、また、ファームウェアの形式で(すなわち、ASIC内に保存されたマイクロコードとして)組み込まれてもよいし、またはASICによる使用のために別々に組み込まれてもよい。
上記の実施形態が、本発明を限定せずに説明し、当業者が添付の特許請求の範囲から逸脱せずに、多くの他の実施形態を設計することができることになる、ということに留意するべきである。特許請求の範囲において、括弧の間に配置されたあらゆる参照符号も、また、特許請求の範囲を限定するように解釈されるべきでない。動詞「備える(comprise)」の使用およびその動詞の活用は、特許請求の範囲内に明示されたもの以外の構成要素またはステップの存在を除外しない。構成要素の直前の不定冠詞「a」または「an」は、当該構成要素の複数の存在を除外しない。本発明は、いくつかの別個の構成要素を備えるハードウェアによって、および適切にプログラミングされたコンピュータによって実現されてもよい。いくつかの手段を列挙する装置の請求項において、これらの手段のいくつかは、1個のハードウェアおよび同じアイテムのハードウェアによって具体化されてもよい。ある手段が個別の従属請求項内に相互に列挙されるという単なる事実は、これらの手段の組み合わせを有利に用いることができないことを示すものではない。