JP2018523338A

JP2018523338A - 裸眼立体視ディスプレイのための画像の生成

Info

Publication number: JP2018523338A
Application number: JP2017557065A
Authority: JP
Inventors: クルーン，バルト
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2015-05-05
Filing date: 2016-04-22
Publication date: 2018-08-16
Anticipated expiration: 2036-04-22
Also published as: CA2984846A1; EP3292688A1; RU2017142099A3; RU2707726C2; CN108633331A; TR201902244T4; US10638119B2; WO2016177585A1; US20180124383A1; EP3292688B1; JP6434169B2; RU2017142099A; BR112017023535A2; KR20180003590A

Abstract

複数の視円錐において表示画像を投影する裸眼立体視ディスプレイの表示パネル（５０３）のための表示画像が生成される。源（８０３）が、表示されるべきシーンの三次元表現を提供し、生成器（８０５）が、該表現から前記表示画像を生成する。各ピクセルについて、生成器（８０５）は、方向マッピング関数および前記視円錐内でのそのピクセルについての投影方向を反映する視円錐投影方向指示に応答して、前記シーンについての視点方向を反映するシーン視点方向指示を決定する。前記方向マッピング関数は視円錐投影方向とシーン視点方向との間の関係を反映する。次いで、前記三次元表現から前記視点方向に対応するピクセル値が生成される。さらに、プロセッサ（８０９）が観察者特性を決定し；適応器（８１１）が前記観察者特性に応答して前記方向マッピング関数を適応させる。

Description

本発明は、裸眼立体視ディスプレイのための画像の生成に、詳細には入力三次元画像からの裸眼立体視ディスプレイの表示パネルのための表示画像の生成に関する。

三次元ディスプレイが高まる関心を受けており、どのようにして観察者に三次元知覚を提供するかのかなりの研究が行なわれている。三次元ディスプレイは、観察者の二つの目に、見られているシーンの異なるビューを与えることによって、観察経験に第三の次元を加える。これは、表示される二つのビューを分離するための眼鏡をユーザーにかけさせることによって達成できる。しかしながら、これはユーザーにとって比較的不便なので、多くのシナリオでは、直接的に異なるビューを生成してユーザーの両眼に投影する裸眼立体視ディスプレイを使うことが望ましい。実際、ここしばらく、さまざまな企業が積極的に、三次元像をレンダリングするのに好適な裸眼立体視ディスプレイを開発してきた。裸眼立体視装置は、特別なヘッドギアおよび／または眼鏡を必要とすることなく、観察者に三次元の印象を呈示することができる。

裸眼立体視ディスプレイは、一般に異なる視角について異なるビューを与える。このようにして、観察者の左目のために第一の画像が、右目のために第二の画像が生成されることができる。適切な、すなわちそれぞれ左目および右目という観点から適切な画像を表示することによって、観察者に三次元印象を伝えることが可能である。

裸眼立体視ディスプレイは、ビューを分離し、それらのビューが個々にユーザーの眼に到達するよう異なる方向に送るために、レンティキュラー・レンズまたは視差障壁（parallax barrier）／障壁マスク（barrier mask）といった手段を使う傾向がある。ステレオ立体視ディスプレイ（stereo display）については、二つのビューが必要とされるが、たいていの裸眼立体視ディスプレイ（autostereoscopic display）は典型的にはより多くのビュー（たとえば9個のビュー）を利用する。実際、いくつかのディスプレイは、異なる観察方向では画像の異なる部分が投影されうるよう、画像にわたって観察方向の漸進的な遷移が実行される。こうして、いくつかのより最近の裸眼立体視ディスプレイでは、裸眼立体視ディスプレイが固定数の完全なビューをレンダリングするのではなく、諸ビュー方向にわたる画像領域の、より漸進的な、連続的な分布が適用されることがある。そのような裸眼立体視ディスプレイはしばしば、フル・ビューではなくフラクショナル・ビューを提供すると称される。フラクショナル・ビューについてのさらなる情報はたとえば特許文献１に見出されうる。

三次元画像効果への欲求を満たすために、捕捉されるシーンの三次元側面を記述するデータを含むコンテンツが生成される。たとえば、コンピュータ生成されるグラフィックについて、所与の観察位置からの画像を計算するために、三次元モデルが開発され、使用されることができる。そのような手法はたとえば、三次元効果を提供するコンピュータ・ゲームにおいて頻繁に使われる。

もう一つの例として、映画またはテレビジョン・プログラムのようなビデオ・コンテンツは、ますます、いくらかの三次元情報を含むように生成されている。そのような情報は、わずかにオフセットしたカメラ位置からの二つの同時の画像を捕捉してそれによりステレオ立体視画像を直接生成する専用の三次元カメラを使って捕捉されることができる、あるいはたとえば奥行きを捕捉することもできるカメラによって捕捉されてもよい。

典型的には、裸眼立体視ディスプレイは、ビューの「円錐」〔コーン〕を生成する。ここで、それぞれの円錐は、シーンの異なる視角に対応する複数のビューを含む。隣接する（またはいくつかの場合にはもっと隔たった）ビューの間の視角差は、ユーザーの左右の目の間の視角差に対応するよう生成される。よって、左右の目が二つの適切なビューを見る観察者は三次元効果を知覚する。視円錐において九つの異なるビューが生成されるそのようなシステムの例が図１に示されている。

多くの裸眼立体視ディスプレイは、多数のビューを生成することができる。たとえば、9個のビューを生成する裸眼立体視ディスプレイがめずらしくない。そのようなディスプレイはたとえば、数人の観察者が同時にディスプレイを見てみなが三次元効果を経験するような複数観察者シナリオのために好適である。さらに多数のビューをもつディスプレイも開発されており、たとえば28個の異なるビューを提供できるディスプレイなどがある。そのようなディスプレイはしばしば、比較的狭い視円錐を使い、観察者の目が複数のビューからの光を同時に受ける結果となることがある。また、左右の目が典型的には（図１の例のように）隣接しないビューに位置されることになる。

このように、裸眼立体視ディスプレイは典型的には可能な視角または投影角全体にわたって諸ビューを広げない。具体的には、生成されるフラクショナル・ビューまたはフル・ビューは典型的にはたとえば完全な180°の範囲にわたって、あるいはたとえば90°という、より小さな範囲にわたってでさえ、広げられない。むしろ、呈示されるビューは典型的には、視円錐として知られる比較的小さな角度にわたって分布させられる。すると、ディスプレイの組み合わされた視野角は、複数の繰り返される視円錐によって形成される。このそれぞれの円錐が同じ諸ビューを提供する。このように、視円錐は、裸眼立体視ディスプレイの視野角範囲全体にわたって投影を提供するために繰り返され、よって個々のビューは複数の異なる視円錐において、異なる観察方向において投影される。図２は、複数の視円錐を投影している図１の裸眼立体視ディスプレイの例を示す（この例では三つの視円錐が示されている）。

図３は、複数のサブピクセルからの（三つの色チャネルをもつ）ピクセルの形成の例を示す。この例において、wは水平方向のサブピクセル・ピッチ、hは垂直方向のサブピクセル・ピッチ、Nは単一色のパッチ毎の平均サブピクセル数である。レンティキュラー・レンズはs＝tanθだけ傾いており、水平方向に測ったピッチはサブピクセル・ピッチの単位でpである。ピクセル内では、太線は異なる色のパッチの間の分離を示し、細線はサブピクセル間の分離を示す。もう一つの有用な量はサブピクセル・アスペクト比a＝w/hである。すると、N＝a/sとなる。RGB縞パターン上の共通傾き1/6のレンズについては、a＝1/3、s＝1/6であり、よってN＝2となる。

通常の2Dディスプレイについてと同様、たいていの応用における三次元ディスプレイにとって画質が最重要であり、たとえば三次元テレビジョンもしくはモニター用などの消費者市場については特に非常に重要である。しかしながら、異なるビューの表現が追加的な複雑さおよび潜在的な画像劣化をもたらす。

実用的な裸眼立体視ディスプレイは、異なる視角範囲に対応する比較的多数の視円錐を生成してもよい。（図１のように）ある視円錐内に位置する観察者は右目および左目について異なるビューを与えられ、これが三次元効果を提供しうる。さらに、観察者が動くにつれて、目は視円錐内の異なるビューの間で切り替わることがあり、それにより動き視差および対応する立体視効果を自動的に提供する。しかしながら、前記複数のビューは典型的には、中央ビュー（単数または複数）を表わす入力データから生成されるので、増大した視差が、よってもとの画像からの増大した位置のシフトが要求される外側のビューについては画像劣化が増す。よって、ユーザーが視円錐の端における端部ビューに向けて動く際、品質劣化がしばしば知覚される。このように、典型的には、観察者が裸眼立体視ディスプレイに対して横方向に動くとき、観察者は、ディスプレイが立体視および動き視差効果の両方を通じて3D経験を提供しているという自然な経験をもつことになる。

三次元画像を表示するときの特定の問題は、異なるビューの間で漏話が生じることがあるということである。裸眼立体視ディスプレイについて、漏話は典型的には、個々の（サブ）ピクセルからの光が比較的大きな散布エリアをもつことに起因する著しい問題である。隣接する（サブ）ピクセルは典型的には異なるビューに関係するので、比較的高いビュー間漏話がしばしば経験されうる。このように、裸眼立体視設計については、隣接する（サブ）ピクセルからの光の一部が同じ方向にレンズを通じて放射されるので、隣接ビューの間にある量の漏話が存在することは本来的である。

このように、（異なる視差をもち、よっていくつかの奥行きオブジェクトが異なる位置にある）異なるビューの間の相互相関のため、実際上、ぼかし効果が生じることがあり、その結果、画像のシャープさが失われる。

もう一つの問題は、視円錐の制限された視角のため、観察者が視円錐内に完全に位置されないかもしれず、たとえば図４に示されるように一方の目がある視円錐内に、他方の目が近傍の視円錐内にあることが可能であるということである。しかしながら、これは右目が左目のために生成された画像を受け取り、左目が右目のために生成された画像を受け取る立体視反転（stereo inversion）につながることがある。よって、観察者が視円錐の端に向けて動き、一方の目が近傍の視円錐にはいる際、立体視反転が発生し、これはユーザーにとって非常にわずらわしく、不快なものとして知覚される。

この問題に対処するために、近傍の視円錐の間で、より大きな、よりなめらかな遷移をもつよう、視円錐を修正することが提案されている。そのような手法は特許文献２において、より詳細に記載されている。しかしながら、この手法は立体視反転を緩和することがあるものの、いくつかの欠点もある。最も顕著なことには、フルの三次元効果が知覚される各視円錐内の観察範囲を縮小してしまう。すなわち、スイートスポットを小さくする。

よって、裸眼立体視ディスプレイのための画像を生成するための改善された手法が有利であろう。特に、増大した柔軟性、改善された画質、低下した複雑さ、低下した資源需要、改善された漏話性能、緩和された立体視反転、増大したユーザーフレンドリーさおよび／または改善された性能を許容する手法が有利であろう。

国際公開第2006/117707号国際公開第2005/091050号

よって、本発明は、上述した欠点の一つまたは複数を単独でまたは任意の組み合わせにおいて好ましくは緩和、軽減または解消しようとするものである。

本発明のある側面によれば、裸眼立体視ディスプレイの表示パネルのための表示画像を生成するための装置が提供される。裸眼立体視ディスプレイは、前記表示パネルと、前記表示画像を複数の視円錐において投影するよう構成されたビュー形成光学要素とを含むディスプレイ構成を有する。当該装置は：表示されるべきシーンの三次元表現を提供する源と；前記三次元表現から前記表示画像を生成するための生成器であって、前記表示画像の少なくともいくつかのピクセルの各ピクセルについて：方向マッピング関数および前記視円錐内の前記ピクセルについての投影方向を反映する視円錐投影方向指示に応答して前記シーンについての視点方向を反映するシーン視点方向指示を決定する段階であって、前記方向マッピング関数は視円錐投影方向とシーン視点方向との間の関係を反映する、段階および前記三次元表現から前記視点方向に対応するピクセル値を決定する段階を実行するよう構成されている、生成器と；現在の観察者の数を示す観察者特性を決定するプロセッサと；前記観察者特性に応答して前記方向マッピング関数を適応させる適応器とを有する。前記適応器は、前記観察者特性が現在の観察者の増大する数を示すことに応答して、少なくともいくつかの視円錐投影方向について、シーン視点方向偏差および前記方向マッピング関数の微分の絶対値の少なくとも一方を低減するよう前記方向マッピング関数を適応させるよう構成されており、シーン視点方向偏差は中央の視円錐投影方向に対応するシーン視点方向からの偏差を反映する。

本発明は、裸眼立体視ディスプレイからの改善された三次元画像を提供しうる。特に、多くの応用において、一または複数の観察者について改善された知覚される画質および／または改善された3D効果を提供しうる。本手法は、多くのシナリオにおいて、改善されたユーザー経験を提供しうる。本手法は、特に、ぼけ、3D効果および立体視反転のリスクの間の改善された動的なトレードオフを提供しうる。

本手法は、多くの実施形態において、視差の量を、よって三次元効果を制御しうる。少なくともいくつかの観察位置についての三次元効果が、増大するユーザー数については低減される。シーン視点方向偏差および／または方向マッピング関数の微分が、増大する観察者数について低減されてもよい。その結果、少なくともいくつかの観察位置について左目と右目のビューの間の低減した視差差（parallax difference）を与える。特に、視円錐の端付近での位置についての視差が、観察者数が増すにつれて低減されうる。これは、多くの実施形態において、改善されたユーザー経験を提供しうる。特に、観察者数が増すにつれて観察者が最適でない観察位置に位置するリスクが増すことがあり、本手法はたとえば、そのような観察者によって知覚されうる立体視反転のリスクまたは度合いを低減しうる。

本手法は、いくつかのシナリオでは、観察者が不利な観察位置にいる確率が変わる際に、有利な観察位置において経験できる三次元経験と不利な観察位置において経験できる三次元経験との間の改善された動的なトレードオフを提供しうる。

シーンの三次元表現はたとえばシーンの三次元画像および／またはシーンの三次元モデルの形であってもよい。

前記表示画像は織りなされた（weaved）画像であってもよい。前記表示パネルの各ピクセルは、各視円錐内で、前記ディスプレイ構成からある投影方向に投影／放射／放出されてもよい。あるピクセルについての相対的な投影方向は、各視円錐内で（たとえば視円錐の端／遷移部または中心に関して）同じであってもよい。

各ピクセルは、前記方向マッピング関数によって、そのピクセルのピクセル値が反映／対応するよう生成されるシーンの視点の方向を反映する一つの視点方向に関連付けられてもよい。

方向は特に、角度方向であってもよい。たとえば前記方向マッピング関数は、視円錐投影角とシーン視点角の間でマッピングしてもよい。それらの角は多くのシナリオにおいて、平面内で決定されてもよい。該平面は特に、使用されるときの裸眼立体視ディスプレイについての水平面であってもよい。

前記方向マッピング関数は、視円錐投影方向についての直接的な方向（たとえば角度）値に基づいていてもよく、あるいは間接的な指示からのマッピングを提供してもよい。たとえば、第一のピクセルについて、視円錐投影方向は、直接、方向（たとえば角度）パラメータ／値であってもよく、あるいはそのピクセルが放射される方向に依存するまたは該方向を反映するパラメータ／値であってもよい。たとえば、ピクセルについての視円錐投影方向指示は、たとえば表示画像／表示パネルにおけるまたは前記表示パネルを生成するための織りなしの前のビュー画像におけるそのピクセルの位置であってもよい。

前記方向マッピング関数は、シーン視点方向についての直接の方向（たとえば角度）値を提供してもよく、あるいは間接的な指示へのマッピングを提供してもよい。たとえば、第一のピクセルについて、視点方向に対応する公称視差値または視差スケーリング値である。

ピクセルという用語は、たとえば色チャネル・サブピクセルのようなサブピクセルという用語を含む。

前記方向マッピング関数は、多くのシナリオにおいて、所与のピクセルが裸眼立体視ディスプレイから投影される方向／角度とそのピクセルについてシーンが「見られる」方向との間の関係を反映／記述／定義してもよい。

観察者特性は、現在の観察者の数を示す。

これは、多くの実施形態において、改善された性能を提供しうる。特に、多くの実施形態において、ぼけ、3D効果および立体視反転のリスクの間の改善された動的なトレードオフを許容しうる。また、多くのシナリオにおいて、このトレードオフが、現在の諸観察者にわたって適切に分配されることを許容しうる。

本発明のある任意的な特徴によれば、適応器は、前記観察者特性が現在の観察者の増大する数を示すことに応答して、少なくともいくつかの視円錐投影方向について、シーン視点方向偏差を低減するよう前記方向マッピング関数を適応させるよう構成される。

これは、多くの実施形態において、改善された性能を提供しうる。特に、多くの実施形態において、ぼけ、3D効果および立体視反転のリスクの間の改善された動的なトレードオフを許容しうる。特に、対応する領域に観察者がいる可能性がより高いときに、中央でない視円錐区間の望ましくない効果を緩和しうる。

いくつかの実施形態では、適応器は、前記観察者特性が現在の観察者の減少する数を示すことに応答して、少なくともいくつかの視円錐投影方向について、シーン視点方向偏差を増大させるよう前記方向マッピング関数を適応させるよう構成される。

本発明のある任意的な特徴によれば、適応器は、前記観察者特性が現在の観察者の増大する数を示すことに応答して、少なくともいくつかの視円錐投影方向について、少なくともいくつかの視円錐投影方向についての前記方向マッピング関数の微分を低減するよう構成される。

これは、多くの実施形態において、改善された性能を提供しうる。特に、多くの実施形態において、ぼけ、3D効果および立体視反転のリスクの間の改善された動的なトレードオフを許容しうる。

いくつかの実施形態では、適応器は、前記観察者特性が現在の観察者の減少する数を示すことに応答して、少なくともいくつかの視円錐投影方向について、少なくともいくつかの視円錐投影方向についての前記方向マッピング関数の微分を増大させるよう前記方向マッピング関数を適応させるよう構成される。

本発明のある任意的な特徴によれば、適応器は、前記観察者特性が現在の観察者の増大する数を示すことに応答して、前記方向マッピング関数の微分が中央の視円錐投影方向についての前記方向マッピング関数の微分と同じ符号をもつ視円錐投影方向の縮小された区間を提供するよう、前記方向マッピング関数を適応させるよう構成される。

これは、多くの実施形態において、改善された性能を提供しうる。特に、多くの実施形態において、ぼけ、3D効果および立体視反転のリスクの間の改善された動的なトレードオフを許容しうる。特に、対応する領域において観察者が存在している可能性がより高いときに中央でない視円錐区間の望ましくない効果を緩和しうる。

いくつかの実施形態では、適応器は、前記観察者特性が現在の観察者の減少する数を示すことに応答して、前記方向マッピング関数の微分が中央の視円錐投影方向についての前記方向マッピング関数の微分と同じ符号をもつ視円錐投影方向の増大した区間を提供するよう、前記方向マッピング関数を適応させるよう構成される。

本発明のある任意的な特徴によれば、適応器は、前記観察者特性が現在の観察者の増大する数を示すことに応答して、視円錐の端の投影方向での前記方向マッピング関数の微分の絶対値を低減するよう、前記方向マッピング関数を適応させるよう構成される。

いくつかの実施形態では、適応器は、前記観察者特性が現在の観察者の減少する数を示すことに応答して、視円錐の端の投影方向での前記方向マッピング関数の微分の絶対値を増大させるよう、前記方向マッピング関数を適応させるよう構成される。

本発明のある任意的な特徴によれば、前記観察者特性は少なくとも一の観察者の位置を示す。

これは、多くの実施形態において、改善された性能を提供しうる。特に、多くの実施形態において、ぼけ、3D効果および立体視反転のリスクの間の改善された動的なトレードオフを許容しうる。位置は、前記ディスプレイ構成または前記裸眼立体視ディスプレイに対する位置でありうる。

本発明のある任意的な特徴によれば、適応器は、前記観察者特性によって示される観察者位置と中央の視円錐投影方向との間の増大する距離に応答して、少なくともいくつかの視円錐投影方向について、シーン視点方向偏差を低減するよう前記方向マッピング関数を適応させるよう構成される。

同じことだが、適応器は、前記観察者特性によって示される観察者位置と中央の視円錐投影方向との間の減少する距離に応答して、少なくともいくつかの視円錐投影方向について、シーン視点方向偏差を増大させるよう前記方向マッピング関数を適応させるよう構成されてもよい。

本発明のある任意的な特徴によれば、適応器は、前記観察者特性が増大する観察者動きを示すことに応答して、少なくともいくつかの視円錐投影方向について、シーン視点方向偏差を低減するよう前記方向マッピング関数を適応させるよう構成される。

これは、多くの実施形態において、改善された性能を提供しうる。特に、多くの実施形態において、ぼけ、3D効果および立体視反転のリスクの間の改善された動的なトレードオフを許容しうる。特に、対応する領域に観察者が少なくとも一時的にいるかもしれない可能性がより高いときに、中央でない視円錐区間の望ましくない効果を緩和しうる。

同じことだが、適応器は、前記観察者特性が増大する観察者動きを示すことに応答して、少なくともいくつかの視円錐投影方向について、シーン視点方向偏差を低減するよう前記方向マッピング関数を適応させるよう構成されてもよい。

観察者動きは、観察者の位置の（時間に対する）変化の指標であってもよい。特に、観察者動きは、ある時間区間の間のある観察者についての位置の変化を反映してもよい。いくつかの実施形態では、観察者動きは、たとえば平均または最大観察者動きのような、一または複数の観察者についての速度属性の指示であってもよい。いくつかの実施形態では、観察者動きは一または複数の観察者についての動きの方向の指示であってもよい。

本発明のある任意的な特徴によれば、適応器は、前記観察者特性が観察者の数が閾値より少ないことを示す場合に、前記表示画像をステレオ立体視画像に対応するよう適応させるよう前記方向マッピング関数を適応させるよう構成される。

これは、多くの実施形態において、改善されたユーザー経験を提供しうる。

本発明のある任意的な特徴によれば、適応器は、前記観察者特性が観察者の数が閾値を超えることを示す場合に、前記複数の視円錐の各視円錐内において複数のサブ視円錐を提供するよう前記表示画像を適応させるよう前記方向マッピング関数を適応させるよう構成される。

本発明のある任意的な特徴によれば、シーンの三次元表現は入力三次元画像であり、生成器は、前記入力三次元画像に観察方向変換を適用することによって、視点方向に対応するピクセル値を決定するよう構成される。

これは、多くの実施形態において改善されたおよび／または容易にされた動作を提供しうる。本発明は、多くの応用において、裸眼立体視ディスプレイ上での三次元画像の改善されたレンダリングを提供しうる。

三次元画像は、三次元シーンのいかなる表現であってもよく、視角情報および奥行き情報を提供するいかなるデータであってもよい。三次元画像はたとえば、シーンの異なる視点に対応する二つ以上の画像であってもよい。三次元画像はたとえば左目ビューおよび右目ビューに対応する二つの2D画像であってもよい。いくつかのシナリオでは、三次元画像は、二つより多くのビューによって、たとえば裸眼立体視ディスプレイの9個または28個のビューのための2D画像によって、表現されてもよい。いくつかのシナリオでは、（視差または変位データとして与えられる）奥行き情報が三次元画像の一部として提供されてもよい。いくつかの実施形態では、三次元画像はたとえば、関連付けられた奥行き情報と一緒にした単一の画像として提供されてもよい。いくつかのシナリオでは、三次元画像は、隠蔽データおよび奥行きデータと一緒にした、所与の観察方向からの2D画像として提供されてもよい。たとえば、三次元画像はZスタック表現および関連付けられた奥行きマップとして提供されてもよい。

本発明のある任意的な特徴によれば、前記方向マッピング関数は、入力三次元画像の視差から前記表示画像の視差にマッピングする視差マッピング関数（disparity mapping function）マッピングを含む。前記観察方向変換は、入力三次元画像のピクセルにピクセル・シフトを適用して、前記表示画像についてのピクセルを生成することを含む。該ピクセル・シフトは前記視差マッピング関数に依存する。

本発明のある側面によれば、裸眼立体視ディスプレイであって：前記表示パネルと、前記表示画像を複数の視円錐において投影するよう構成されたビュー形成光学要素とを含むディスプレイ構成と；表示されるべきシーンの三次元表現を提供する源と；前記三次元表現から前記表示画像を生成するための生成器であって、前記表示画像の少なくともいくつかのピクセルの各ピクセルについて：方向マッピング関数および前記視円錐内の前記ピクセルについての投影方向を反映する視円錐投影方向指示に応答して前記シーンについての視点方向を反映するシーン視点方向指示を決定する段階であって、前記方向マッピング関数は視円錐投影方向とシーン視点方向との間の関係を反映する、段階および前記三次元表現から前記視点方向に対応するピクセル値を決定する段階を実行するよう構成されている、生成器と；現在の観察者の数を示す観察者特性を決定するプロセッサと；前記観察者特性に応答して前記方向マッピング関数を適応させる適応器とを有する。前記適応器は、前記観察者特性が現在の観察者の増大する数を示すことに応答して、少なくともいくつかの視円錐投影方向について、シーン視点方向偏差および前記方向マッピング関数の微分の絶対値の少なくとも一方を低減するよう前記方向マッピング関数を適応させるよう構成されており、シーン視点方向偏差は中央の視円錐投影方向に対応するシーン視点方向からの偏差を反映する。

本発明のある側面によれば、裸眼立体視ディスプレイの表示パネルのための表示画像を生成するための方法が提供される。裸眼立体視ディスプレイは、前記表示パネルと、前記表示画像を複数の視円錐において投影するよう構成されたビュー形成光学要素とを含むディスプレイ構成を有する。当該方法は：表示されるべきシーンの三次元表現を提供するステップと；前記三次元表現から前記表示画像を生成するステップであって、前記表示画像の少なくともいくつかのピクセルの各ピクセルについて：方向マッピング関数および前記視円錐内の前記ピクセルについての投影方向を反映する視円錐投影方向指示に応答して前記シーンについての視点方向を反映するシーン視点方向指示を決定する段階であって、前記方向マッピング関数は視円錐投影方向とシーン視点方向との間の関係を反映する、段階および前記三次元表現から前記視点方向に対応するピクセル値を決定する段階を含む、ステップと；現在の観察者の数を示す観察者特性を決定するステップと；前記観察者特性に応答して前記方向マッピング関数を適応させるステップであって、前記適応は、前記観察者特性が現在の観察者の増大する数を示すことに応答して、少なくともいくつかの視円錐投影方向について、シーン視点方向偏差および前記方向マッピング関数の微分の絶対値の少なくとも一方を低減するよう前記方向マッピング関数を適応させることを含み、シーン視点方向偏差は中央の視円錐投影方向に対応するシーン視点方向からの偏差を反映する、ステップとを含む。

本発明のこれらおよび他の側面、特徴および利点は、以下に記述される実施形態を参照することから明白となり、明快にされるであろう。

本発明の実施形態は単に例として、付属の図面を参照して記述される。
裸眼立体視ディスプレイから生成される諸ビューの例を示す図である。裸眼立体視ディスプレイから生成される視円錐の例を示す図である。裸眼立体視ディスプレイの表示パネルに重なるレンティキュラー・スクリーンの例を示す図である。裸眼立体視ディスプレイから生成される視円錐と視円錐の間で立体視反転を経験するユーザーの例を示す図である。裸眼立体視ディスプレイ装置の要素の概略的な斜視図である。裸眼立体視ディスプレイ装置の要素の断面図である。裸眼立体視ディスプレイから生成される視円錐の例を示す図である。本発明のいくつかの実施形態に基づくディスプレイ・システムの例を示す図である。本発明のいくつかの実施形態に基づくディスプレイ・システムのための方向マッピング関数の例を示す図である。本発明のいくつかの実施形態に基づくディスプレイ・システムによる、視円錐投影角とシーン視点角との間のマッピングの例を示す図である。本発明のいくつかの実施形態に基づくディスプレイ・システムのための方向マッピング関数の例を示す図である。本発明のいくつかの実施形態に基づくディスプレイ・システムのための方向マッピング関数の例を示す図である。本発明のいくつかの実施形態に基づくディスプレイ・システムのための方向マッピング関数の例を示す図である。本発明のいくつかの実施形態に基づくディスプレイ・システムのための方向マッピング関数の例を示す図である。本発明のいくつかの実施形態に基づくディスプレイ・システムのための方向マッピング関数の例を示す図である。本発明のいくつかの実施形態に基づくディスプレイ・システムのための方向マッピング関数の例を示す図である。

図５および図６の裸眼立体視ディスプレイ構成５０１は表示パネル５０３を有する。ディスプレイ構成５０１は、たとえばディスプレイがLCD型のディスプレイであるときは光源５０７を有していてもよいが、これはたとえばOLED型のディスプレイについては必須ではない。

表示パネル５０３は、所与の光出力を与えるよう個々に駆動されることのできる多数のピクセルを有する。いくつかの実施形態では、光出力は表示パネル５０３が光源を変調する（典型的には減衰させる）（たとえばLCDパネルがバックライト（該バックライト自身が可変であってもよい）を変調する）ことによって制御されうる。他の実施形態では、表示パネル５０３の個々のピクセルは、自分自身で光を生成する、光を生成し放射する要素であってもよい。

ピクセルは、ディスプレイから出力される光を変えるために使用できる表示パネル５０３のいかなるアドレッシング可能な要素であってもよい。よって、ピクセルという用語は、たとえば一つの色チャネルに影響するだけの光可変もしくは制御要素（時に「サブピクセル」とも称される）をも指すことがある。いくつかの実施形態では、ピクセルは、一緒に駆動される二つ以上の光制御要素によって形成されてもよい。

ディスプレイ構成５０１は、ビュー形成光学要素５０９をも有する。これは今の例ではレンティキュラー・シートの形であり、表示パネル５０３の表示側にわたって配置されている。ビュー形成光学要素５０９はビュー形成機能を実行する。ビュー形成光学要素５０９は、互いに平行に延在するレンティキュラー・レンズ５１１の並びを有する。そのうち一つのレンティキュラー・レンズだけが明確のために誇張した寸法で図示されている。レンティキュラー・レンズ５１１は、ビュー形成機能を実行するためのビュー形成要素として作用する。図５のレンティキュラー・レンズは表示パネルとは反対側に向かって凸である。凸側が表示パネルのほうを向くようにしてレンティキュラー・レンズを形成することも可能である。

レンティキュラー・レンズ５１１は、凸状の円筒形要素の形であってもよく、表示パネル５０３からディスプレイ構成５０１の前に位置されているユーザーの目に種々の画像またはビューを提供するための光出力向き付け手段として作用する。よって、ディスプレイ要素の異なるピクセルはディスプレイから異なる方向に投影される。レンティキュラー・レンズ５１１の光向き付け効果の結果、表示パネルのピクセルはディスプレイからある範囲の諸方向に投影または放射される。具体的には、表示パネル５０３の画像はある区間の諸方向（角度）に投影され、異なるピクセルは異なる方向（角度）に放射される。さらに、表示パネル５０３の画像は複数の区間において繰り返される。具体的には、各個別のピクセルは、典型的には周期的なオフセット（表示画像が投影される諸区間の角反復周波数に対応する）をもって複数の方向に投影される。このようにして、表示パネル５０３の画像は複数の異なる視円錐において投影され、該視円錐はそれぞれピクセル投影の同じ角度分布を与える。

このように、複数の視円錐が生成され、各視円錐はディスプレイ構成５０１からのある区間の投影方向／角度を含む。各視円錐は、表示パネル５０３の表示画像の投影を含み、表示画像は各視円錐の諸投影方向／角度にわたって分布させられる。本システムにおいて、視円錐は互いの繰り返しである。すなわち、ある視円錐の諸投影角（視円錐投影角）にわたる表示画像の分布はすべての視円錐について同じである。

表示パネル５０３の各ピクセルは、ビュー形成光学要素５０９によって、特定の視円錐投影角において（これは各視円錐においてである。よってディスプレイ全体では複数の投影角において）投影される。ディスプレイ構成５０１の具体的な設計に依存して、表示パネルのピクセルは、ピクセルの諸グループに分割されてもよい。ここで、一つのグループ内のすべてのピクセルは同じ視円錐投影角をもって投影される。たとえば、いくつかのディスプレイでは、ある垂直方向の列のすべてのピクセルは同じ水平方向角度方向に投影される。他の実施形態では、各ピクセルは一意的な投影角に投影されてもよい。

図７は、裸眼立体視ディスプレイからの複数の視円錐の生成の例を示している。この例では、各区間は完全な円錐を示し、線は円錐遷移を示す。この例では、各円錐角度区間（円錐の幅／二つの円錐遷移の間の距離）は1に規格化されており、主円錐はu'∈[−1/2,1/2]に対応する。諸視円錐中心、すなわち中央の視円錐投影角はu≡0 (mod 1)に対応し、典型的には最大視差が達成されるところである。視円錐遷移はu≡1/2 (mod 1)に対応する。

この例では、ディスプレイの投影角uの範囲は複数の視円錐に分割され、各視円錐（view cone）は視円錐投影角
u_vc＝mod（u＋(1/2),1）−1/2
の区間[−1/2,1/2]を含む。

裸眼立体視ディスプレイでは、異なるピクセルについての投影方向の差は、観察者の目に異なる入力を与え、それにより3D効果を提供するために使われる。多くの実施形態において、角度区間は固定数のビュー、たとえば9、15または28個のビューに分割される。各ビューは、シーンの異なる視点に対応するよう生成され、よって二つの異なるビューを受け取る目をもつ観察者は、わずかに異なる視点をもつ左右の目を用いてシーンを知覚する。このようにして、シーンの三次元画像が知覚される。同様に、異なるビューの間で動く観察者は視差効果（parallax effect）を知覚し、よって3D効果を経験する。

そのような例において、各ビューはシーンの画像全体を呈示し、視円錐は比較的少数の固定したビュー（たとえば9〜28個のフル・ビュー）に分割される。しかしながら、近年、より漸進的な手法が導入された。それによれば、完全な画像が一つの視点に対応するよう生成されるのではなく、各ピクセルがわずかに異なる角度に対応するようレンダリングされ、画像の一部のみが所与の視点のためにレンダリングされてもよく、よって、それぞれの目によって知覚される画像はわずかに異なる視点に対応する諸部分から形成されてもよい。実際、レンダリングされる各ピクセルがわずかに異なる視点に対応することが可能であり、観察者によって知覚される画像が、みなわずかに異なる視点に対応するピクセルによって形成されてもよい。しかしながら、左右の目によって知覚される画像およびピクセルの間の視点オフセットは、要求される3D効果（立体視効果および視差効果の両方）を提供するために、相変わらず適切なサイズに維持される。実際上、一つの目によって知覚される画像の異なる部分についての視点の変動は、相違が十分に小さい限り、知覚される画質を劣化させないことが見出されている。

以下の記述は、裸眼立体視ディスプレイが固定数（特に9）の異なるビューを含む視円錐を生成する例に焦点を当てる。ここで、各ビューは、シーンについての一つの視点に対応するよう生成された画像全体を含む。しかしながら、記述される手法は、各ピクセルが異なる視点に対応するようレンダリングされる手法を含め、部分的画像ビューが使われうる例にも等しく適用可能であることは理解されるであろう。

図８は、本発明のいくつかの実施形態に基づく裸眼立体視ディスプレイを示している。該裸眼立体視ディスプレイは、図５および図６を参照して述べたような裸眼立体視ディスプレイ構成５０１を有する。加えて、裸眼立体視ディスプレイは、裸眼立体視ディスプレイのディスプレイ構成５０１の表示パネル５０３のための表示画像を生成するよう構成されているディスプレイ・ドライバ８０１を有する。

多くの実施形態において、ディスプレイ・ドライバ８０１は裸眼立体視ディスプレイ自身に含まれてもよいが、他の実施形態では裸眼立体視ディスプレイとは別個のユニットに含まれてもよい。実際、いくつかの実施形態では、ディスプレイ・ドライバ８０１はたとえば、のちの使用のために記憶される表示画像を生成してもよい。たとえば、表示画像は、裸眼立体視ディスプレイがそこから前記画像を取り出して表示パネル５０３に提供しうる好適な担体上に記憶されてもよい。

ディスプレイ・ドライバ８０１は、表示されるべきシーンの三次元表現から前記表示画像を生成するよう構成される。こうして、シーンの3D記述を提供するデータが提供される。ディスプレイ・ドライバ８０１はこのデータを処理して、表示パネル５０３によって表示されるときに一組の視円錐が投影されるようにする表示画像を生成するよう構成される。各視円錐がシーンの三次元レンダリングを含む。具体的には、異なる視円錐投影角がシーンのための異なる視点を表わす。

以下の記述は、シーンの三次元表現を提供するデータが三次元画像の形である例に焦点を当てる。この入力三次元画像は次いで後述するように処理されて、表示画像が表示パネル５０３によってレンダリングされるときにシーンの適切な3D呈示を生成する。特に、後述するように、視円錐投影角についての適切なシーン視点が計算され、入力三次元画像に対して適切な視点変換を適用することによって、表示パネル５０３についての対応するピクセル値が計算される。

しかしながら、他の実施形態では、他の形の三次元表現が使われてもよい。特に、三次元表現は、シーンの三次元モデルの形であってもよい。このモデルは、異なる視点について評価されることができ、よってそのような実施形態においては表示パネル５０３についての適切なピクセル値が、決定されたシーン視点に基づいて三次元モデルを評価することによって決定されてもよい。

しかしながら、図８の特定の例では、ディスプレイ・ドライバ８０１は、好適なフォーマットで三次元シーンを記述／表現する入力三次元画像に基づいて前記表示画像を生成するよう構成される。

よって、ディスプレイ・ドライバ８０１は、シーンの三次元表現のための源を有する。この具体例では、ディスプレイ・ドライバ８０１は、入力三次元画像を受け取る画像受領器８０３を有する。入力三次元画像はたとえば、入力三次元画像によって表現されるシーンのN個の異なるビューに直接対応するN個の画像の集合であってもよい。すなわち、シーンのN個の異なる視点を反映するN個の画像が提供されてもよい。具体例として、入力三次元画像は、右目用の一枚の画像および左目用の一枚の画像をもつステレオ立体視画像であってもよい。もう一つの例として、入力三次元画像は、関連付けられた奥行きマップ（たとえば単一の画像の各ピクセルについての視差または奥行き値を与えるもの）をもつ単一の画像であってもよい。さらにもう一つの例として、入力三次元画像は関連付けられた奥行きマップをもつZスタックであってもよい。このように、入力三次元画像は、入力三次元画像によって表わされるシーンのための（同時の）視覚情報および奥行き情報を与えるいかなるデータであってもよい。

入力三次元画像は、ローカルなメモリから、記憶媒体から、リモート・ネットワーク・サーバーから、無線放送からなど、いかなる好適な内部または外部源から受け取られてもよい。いくつかの実施形態では、入力三次元画像は単一の静的な画像であってもよい。他の実施形態では、入力三次元画像は三次元ビデオ・シーケンスの単一の画像（単一のフレーム）であってもよい。

画像受領器８０３は、前記入力三次元画像を入力される画像生成器８０５に結合される。画像生成器８０５はディスプレイ構成５０１に、特に裸眼ディスプレイ構成５０１の表示パネル５０３に結合されている。画像生成器８０５は、表示パネル５０３のための表示画像であって、該表示画像が表示パネル上に表示されるときに該表示画像によって決定される画像を含む諸視円錐の投影をさせる、表示画像を生成するよう構成される。

このように、画像生成器８０５は裸眼立体視ディスプレイから所望されるビューの投影をさせることになる、表示パネル５０３のための表示画像を生成するよう構成される。

たとえば、N個のビューが各視円錐において投影される場合、N個のビューが投影されるような表示画像が生成される。これは、視円錐投影方向区間を、それぞれが一つのビュー画像を投影するよう構成されているN個の連続するサブ区間に分割するという原理に従って達成されてもよい。次いで、表示パネル５０３がN個の異なるピクセル・グループに分割される。各グループは、N個の連続するサブ区間のうちの一つに、すなわちビューの一つに対応する。各サブグループについて、その特定のビュー画像について所望される視点に対応する画像が、画像生成器８０５によって生成される。次いで、ビュー画像のピクセルを適切なサブ区間に投影される表示画像のピクセルにマッピングすることによって、個々のビュー画像を組み合わされた表示画像に組み合わせることによって、前記表示画像が生成される。結果として得られる画像は一般に織りなされた画像（weaved image）と称される。

このように、多くの実施形態において、表示パネル５０３によって直接レンダリングされることのできる画像を生成して、ビュー形成層５０９が異なるビューを生成することを許容するために、個々のビュー画像からの好適なピクセル列をインターリーブすることによって、画像生成器８０５は、織りなされた画像を生成しうる。

簡明のため、以下の記述は単一の水平方向の線に焦点を当て、投影方向は具体的な投影角によって表現される。よって、以下における投影角への言及は、諸投影方向への短縮された言及を提供すると考えられてもよい。同様に、（シーン）視点角または（シーン）視角への言及は、（シーン）視点方向または（シーン）観察方向の表現と見られてもよい。

このように、本システムでは、ディスプレイ構成５０１は、諸画像を、比較的大きい表示投影角度区間（しばしば受け入れ可能な視野角は裸眼立体視ディスプレイについて100°を超える）において投影する。しかしながら、この区間はそれぞれが同じ表現を与える、いくつかの繰り返される区間に分割される。すなわち、複数の視円錐に分割される。これらの視円錐のそれぞれは、投影角度のある区間または範囲を含む。

この具体例では、各視円錐は10°の幅を有していてもよい。こうして、ディスプレイの投影角度のフル区間は、視円錐投影角度のいくつかのサブ範囲またはサブ区間に分割される。各視円錐は同じ画像表現を提供する。すなわち、表示画像は各視円錐においてレンダリングされる（諸視円錐投影角にわたって分配される）。

よって、画像生成器８０５は、視円錐内に位置されるユーザーがシーンの好適な三次元レンダリングを知覚するよう、投影される画像が諸視円錐投影角にわたって分配されるように、前記表示画像を生成するよう構成される。これを達成するために、画像生成器８０５は、異なる視円錐投影角において投影される画像部分がそれらの角度に対応するシーンのビューを反映するよう、すなわち所与の視円錐投影角における光を制御するピクセルによって表現される視点がその角度に対応するよう、表示パネル５０３のためのピクセル値を生成する。

そうするために、画像生成器８０５は、視円錐投影角をシーンの（典型的には仮想）視点角に関係付けるマッピングを含む。このように、画像生成器８０５の生成は、視円錐投影角とシーン視点角との間のマッピングに基づく。画像生成器８０５は、そのようなマッピングを提供する方向マッピング関数を含む。

よって、図８の例では、ディスプレイ・ドライバ８０１は、画像生成器８０５に方向マッピング関数を提供するマッピング・データ・ユニット８０７を有する。たとえば、マッピング・データ・ユニット８０７は、画像生成器８０５によって使用される好適な一つまたは複数の方向マッピング関数を定義するデータを記憶するメモリまたはストアであってもよい。他の実施形態では、マッピング・データ・ユニット８０７は、たとえば適切なパラメータ値を選択することによって好適な方向マッピング関数を計算できる処理ユニットであってもよい。

よく使われるマッピングの例が図９に示されている。この例では、横軸は視円錐投影角を表わし、縦軸はシーン視点角vを表わす。ここで、シーン視点角vは区間[−0.5,0.5]に規格化もされている。この例では、これらの間に直接的な線形関係がある。すなわち、方向マッピング関数はまっすぐな線形マッピングである。この例では、値は規格化されており、よって線形マッピングの勾配は1である。厳密な、正規化されていないマッピングは具体的な意図される3D効果に依存することは理解されるであろう。

具体的には、画像生成器８０５は、表示パネル５０３のピクセルを決定するときに、シーンのための観察方向を反映するシーン視点方向指示を決定することに進んでもよい。シーン視点方向は、諸視円錐内でのそのピクセルについての投影方向を反映する視円錐投影方向指示を入力としてもつ方向マッピング関数に応答して決定されてもよい。歪み指標は、視円錐投影方向とシーン視点方向との間のマッピングを提供する。

具体的には、画像生成器８０５はまず、所与の第一のピクセルについての視円錐投影角の指示を決定することに進む。この指示は、視円錐投影角に依存するいかなるパラメータであってもよく、特に、視円錐投影角と直接対応をもつ値であってもよい。特に、所与のピクセルについての投影角はディスプレイ構成５０１の物理的特性に依存し、よって、ピクセルの位置と視円錐投影角との間に直接の対応がある。こうして、多くの実施形態では、ピクセルの位置が、視円錐投影方向指示として直接使われてもよい。他の実施形態では、視円錐投影角の他の指示が使われてもよい。たとえば、いくつかの実施形態では、視円錐投影角は直接決定され、使用されてもよい。さらに他の実施形態では、所与の公称奥行きのための公称視差値が視円錐投影角の指示として使われてもよい。

所与のピクセルについての視円錐投影角はディスプレイ構成５０１の具体的な幾何に依存するので、方向マッピング関数は、視円錐投影角指示と視円錐投影角との間の関係を反映するよう、典型的には製造の際に設計される。たとえば、表示パネル５０３ピクセル位置と視円錐投影角の間の関係はディスプレイ構成５０１の幾何に依存し、よって典型的にはディスプレイ構成５０１の製造／設計の際に決定される。

方向マッピング関数は、視円錐投影角の指示を与える入力変数と対応するシーン視点角を反映する出力変数との間のマッピングを提供する。このように、方向マッピング関数は、ディスプレイ構成５０１のあるピクセルについて、ディスプレイからピクセルが投影または放射される、諸視円錐内における角度と、その視角のためにピクセル値が生成されるところのシーンの視角との間のマッピングを提供する。

図９の例では、方向マッピング関数はまっすぐの線形マッピングを与える。たとえば、投影される視円錐の10°の角度区間は、シーンの視点についての10°の角度区間に直接マッピングされる。しかしながら、他の実施形態ではマッピングは異なる（角度）範囲どうしの間であってもよいことは理解されるであろう。しばしば、裸眼立体視ディスプレイは、ステレオ立体視ディスプレイより少ない奥行きをもつ傾向があり、しばしば観察者は立体視効果が少ない（hypostereo）3D効果を経験しうる。

図１０は、ユーザーが視円錐内に位置されており、左および目が異なる角度位置に、すなわち異なる視円錐投影角に位置されている例を示している。具体的には、左目は、方向１００１に沿って投影される表示パネル５０３のピクセルを受領し、知覚し、右目は、方向１００３に沿って投影される表示パネル５０３のピクセルを受領し、知覚する。よって、左目で知覚されるピクセルの第一の集合は、方向１００１に対応する視円錐投影角をもつピクセルである。しかしながら、方向マッピング関数はこの角度を、表示される仮想シーンを見る（仮想）観察者の位置に対応するシーン視点角１００５に関係付ける。よって、第一の集合のピクセルについてのピクセル値を生成するとき、画像生成器８０５は、視点角１００５に沿っている観察者に対応するようこれらの値を生成した。よって、第一の集合のピクセルは、決定されたシーン視点角に位置する観察者の左目によって知覚されるものに対応する画像（または画像の一部）を提供する。同様に、右目で知覚されるピクセルの第二の集合についてのピクセル値は、シーン視点角１００７に対応するよう、すなわち仮想観察者の右目によって知覚されるものに対応するよう、生成される。よって、裸眼立体視ディスプレイを見る実際の人物１００９は、仮想観察者のそれぞれ左目画像および右目画像に対応するよう計算された左目画像および右目画像を知覚する。

裸眼立体視ディスプレイの観察者が視円錐内で動く場合、右目および左目に到達する視円錐投影角は、仮想観察者が動く場合の仮想観察者の左目画像および右目画像への変化に対応して変化する。よって、立体視および視差の三次元効果の両方が提供される。

方向マッピング関数は、表示パネル５０３のピクセルについて視円錐投影角からシーン視点角へのマッピングを与える。マッピングは、先述したように、実際の角度値に基づいていてもよいし、あるいは典型的にはそれを示すパラメータに基づいていてもよく、たとえばピクセルの位置に基づいていてもよい。

こうして、ひとたび画像生成器８０５が所与のピクセルについてのシーン視点角を、そのピクセルについての視円錐投影角指示（たとえば位置）に基づいて決定したら、画像生成器８０５は、シーン視点角に対応するピクセル値を生成することに進むことができる。こうして、画像生成器８０５は、表示パネル５０３のためのピクセル値を、（視円錐投影角から）方向マッピング関数に基づいて個々のピクセルについて決定されたシーン視点角に対応するよう、生成する。

たとえば図１０のようないくつかの例では、ピクセル値の生成は、ピクセルについてのシーン視点角に基づいてシーンの三次元モデルを評価することによってであってもよい。当業者は、三次元モデルおよびシーン視点角に基づいてピクセル値を決定する多くの手法を知っており、これは簡潔のためにこれ以上述べない。

いくつかの実施形態では、三次元シーンの表現は、三次元画像による表現である。たとえば、奥行きまたは視差マップをもつ二次元画像が提供されてもよい。そのような場合、所与の決定されたシーン視点角についてのピクセル値は、入力三次元画像に対する観察方向変換によって決定されてもよい。たとえば、二次元画像によって表現されるシーン視点は、中央の視円錐投影方向にマッピングするシーン視点角に対応するよう、すなわち視円錐の真ん中に対応するよう設定されてもよい。よって、中央の視円錐投影角および対応する中央のシーン視点角については、ピクセル値は、入力画像のピクセル値として直接生成される。結果として、裸眼立体視ディスプレイは、二次元画像に対応する中央の視円錐画像を投影する。

別の視円錐投影角をもつ、よって受領された二次元画像の視点角とは異なるシーン視点角をもつピクセルについてピクセル値を決定するときは、画像生成器８０５は、二次元画像のピクセルを、中央のシーン視点角と決定されたシーン視点角との間のシーン視点角の差に対応する量だけシフトさせることによって、ピクセル値を決定してもよい。具体的には、シーン視点角についての視差が決定され、続いて、ピクセル値が、対応する量だけ現在位置からオフセットされたものとして決定されてもよい。ピクセル・シフトが、表示画像を埋めていくために入力二次元画像のピクセルを通じたループしてこれらに対する適切なシフトを見出すことに基づいていてもよく、あるいは等価だが、表示パネル５０３のピクセルを通じてループして適切なシフトを適用して、入力二次元画像の対応してオフセットされたピクセルからのピクセル値を生成することに基づいていてもよいことは理解されるであろう。たとえば補間に基づいて、隠蔽解除（de-occlusion）（穴充填（hole filling））手法が使われてもよいことも理解されるであろう。

具体例として、水平方向のシフトは：
Δx＝f(u)d(x)
として決定されてもよい。ここで、f(u)は方向マッピング関数であり、uは視円錐投影角を反映する変数であり、d(x)は入力画像視差値である。こうして、この例では、出力視差値Δxは入力視差値d(x)から生成され、よって方向マッピング関数はこの具体例では、あるピクセルについての入力視差から該ピクセルについての出力視差へのマッピングを実行する視差スケーリング関数であってもよい。

当業者が、三次元画像について視点変換を実行するための、また一般には特定の視点方向に対応するピクセル値を生成するための多くの異なる手法を知っていること、任意のそのような好適な手法が本発明を損なうことなく使用されうることは、理解されるであろう。

図９の方向マッピング関数の例では、視円錐を通じて均一なビュー投影が提供され、観察者は、視円錐内のどこに位置しているかに関わりなく、実質的に同じ三次元効果を受けることになる。同様に、視円錐を通じて均一な視差効果が提供される。

しかしながら、この手法にはいくつかの欠点もある。実際、図１１に示されるように、左目および右目（LおよびRで示す）は単一の視円錐投影角からの光を受け取り、知覚するだけではなく、複数の方向（典型的には短い範囲）からの光を受け取る。これらの間の差があればそれはぼけの形の画像劣化を引き起こす。具体的には、画面から飛び出す（out-of-screen）オブジェクトについての異なる視角の間の視差オフセット（disparity offset）の差はぼけを導入する。ぼけの一部は、異なるビュー（または異なる視円錐投影角）の間の表示漏話によって引き起こされる。ぼけは、異なる方向に投影される画像／光の間の差に依存する。よって、ぼけは典型的には、視差／シーン視点角差が増すとともに増大する。

さらに、ユーザーが円錐遷移部に位置している（そして両眼が異なる視円錐にある）ときは、立体視反転が起こる。これは、観察者にとって、特にある視円錐から別の視円錐へと動くユーザーにとってきわめてわずらわしいものとして知覚されることがある。

これらの問題に対処するために、特許文献２では、図９および図１１の線形マッピングを使う代わりに図１２に示されるような正弦波マッピングが使われてもよいことが提案された。そのような手法では、相変わらず円錐遷移部では立体視反転が起こるが、この立体視反転の規模は著しく軽減されうる。特に、円錐遷移部にいるユーザーについて起こる非常に強い逆視差が、比較的小さな逆視差に軽減されうる。さらに、立体視反転における漸進的な導入および変化が達成できる。これらの特徴は、ユーザーに対するわずらわしい効果を著しく軽減することが見出されている。さらに、視差、よって異なるビューの間の差が低減されることができ、画面から飛び出すオブジェクトによって引き起こされる低減されたぼけにつながる。

しかしながら、そのようなマッピングは線形（鋸歯）マッピングの効果のいくらかを緩和しうるものの、フル3D効果が提供される範囲も縮小してしまう。たとえば、立体視反転が低減されうるが、それが起こる範囲は実質的に増大することがある。加えて、均一でない視円錐が生成され、よって3D知覚および知覚される画質は異なる位置の間で変わりうる。

図８のシステムは、裸眼立体視ディスプレイからの投影画像が柔軟かつ動的に適応されて、異なる方向マッピング関数の利点と欠点の間の改善されたトレードオフを提供することができるよう、方向マッピング関数の柔軟な適応を提供するよう構成される。

具体的には、ディスプレイ・ドライバ８０１は、観察シナリオの特性の指示を決定するよう構成された観察者特性を決定するための観察プロセッサ８０９を有する。具体的には、観察プロセッサ８０９は、現在の観察者の数および／または一または複数の現在の観察者の位置の指示を生成する。

当業者は、そのような観察特性を決定するためのさまざまな手法および技法を知っていること、本発明を損なうことなくいかなる好適な手法が使用されてもよいことは理解されるであろう。

たとえば、観察プロセッサ８０９は、ビデオ・カメラから画像を受領し、顔検出を実行して観察者の数および（たとえば角度）位置を決定してもよい。もう一つの例として、観察プロセッサ８０９は、目の追跡（eye tracking）を実行してもよい。もう一つの例として、観察環境におけるオブジェクトを検出するために奥行き感知カメラが使われてもよい（骨格追跡（skeleton tracking）とも称される）。

観察プロセッサ８０９は、観察者特性に応答して方向マッピング関数を適応させるよう構成されている適応器８１１に結合される。こうして、ディスプレイ・ドライバ８０１は、現在の観察シナリオ、特に現在のユーザー数を反映するよう方向マッピング関数を動的に適応させうる。これは、多くのシナリオにおいて観察経験を実質的に改善しうる。

方向マッピング関数を適応させるための多くの異なる手法が種々の実施形態において適用されうることは理解されるであろう。

たとえば、いくつかの実施形態では、適応器８１１は、観察者特性に依存して複数の方向マッピング関数の間で選択するよう構成されてもよい。たとえば、マッピング・データ・ユニット８０７は、複数のあらかじめ決定された方向マッピング関数を記憶しているメモリを有していてもよい。適応器８１１は、観察者特性に依存して、これらのあらかじめ決定された方向マッピング関数の一つを選択するよう構成されていてもよい。すなわち、現在の観察者数に基づいて、あるあらかじめ決定された方向マッピング関数が選択される。

具体例として、第一のあらかじめ決定された方向マッピング関数が一人の観察者が存在する場合のために記憶されていてもよく、第二のあらかじめ決定された方向マッピング関数が二人の観察者が存在する場合のために記憶されていてもよく、第三のあらかじめ決定された方向マッピング関数が三ないし五人の観察者が存在する場合のために記憶されていてもよく、第四のあらかじめ決定された方向マッピング関数が六人以上の観察者が存在する場合のために記憶されていてもよい。観察特性は、何人の観察者が現在存在しているかを示してもよく、適応器８１１は、対応するあらかじめ決定された方向マッピング関数を画像生成器８０５に提供するよう、マッピング・データ・ユニット８０７を制御してもよい。

図８のシステムでは、適応器８１１は、観察者の増大する数について、少なくともいくつかの視円錐投影角／方向について、三次元効果が低減されるよう、方向マッピング関数を適応させるよう構成される。

具体的には、いくつかの実施形態では、視円錐投影角の少なくともいくつかの値について、方向マッピング関数の微分の絶対値が低減されてもよい。こうして、変化する視円錐投影角についてのシーン視点における局所的な変化が低減されることができ、その結果、生成される／観察者によって知覚される視差が低減される。こうして、観察者の数が増すにつれて、少なくともいくつかの視円錐投影角について、方向マッピング関数の勾配（の絶対値）が低減されうる。そのような実施形態では、観察者の数が増すにつれて、方向マッピング関数は、局所的な変動が小さくなり、よりなめらかになりうる。

いくつかの実施形態では、三次元効果の低減は、適応器８１１が、視円錐投影角の少なくともいくつかの値について、中央の視円錐投影方向に対応するシーン視点方向からの偏差が低減されるよう方向マッピング関数を修正するよう構成されることによって達成されてもよい。ユーザーの数が増すにつれて、シーン視点方向偏差（すなわち、シーン視点角／方向の、円錐の中央からの偏差）が少なくともいくつかの値については低減される。

このように、いずれの手法も、観察者の数が増すにつれて方向マッピング関数の適用から帰結する視差の度合いを低減することに向けられうる。適応器８１１は、観察者の数が増すにつれて生成されたシーン視点角の勾配／絶対値を低減でき、それにより、たとえばそれほど積極的でない三次元効果を提供する。これは、理想的な位置にいる観察者についての三次元効果を低減しうるが、三次元観察のために、より不利な位置にいる観察者たちについての望ましくない効果（たとえばぼけまたは立体視反転）をも低減しうる。観察者の数に基づく動的な適応を提供する本手法は、多くの応用において改善されたユーザー経験につながる、動的に改善されたトレードオフを許容する。

多くの実施形態において、適応器８１１が、視円錐投影角の少なくともいくつかの値についてシーン視点方向偏差が低下し、かつ視円錐投影角の少なくともいくつかの値について方向マッピング関数の微分の振幅が低下するよう、増大する観察者について方向マッピング関数を修正するよう構成されていてもよいことは理解されるであろう。実際、典型的には、観察者の増大する数について、（視円錐投影角の少なくともいくつかの値について）中央からの偏差を減らし、かつ（少なくともいくつかの値について）方向マッピング関数の勾配を減らすよう方向マッピング関数が修正されることによって三次元効果が低減されるよう、方向マッピング関数が修正されることが理解されるであろう。

いくつかの実施形態では、方向マッピング関数は、連続的パラメータを修正することによって連続的に適応されてもよい。そのような手法の格別な利点は、方向マッピング関数／円錐形状の変化に起因する強い目に見える変化を緩和するような時間的な低域通過フィルタリングを容易にすることを許容するということである。

図１３および図１４は、パラメータα∈[0,1]を適応させることによって連続的に適応されうる方向マッピング関数の二つの具体例を示している。示されるように、これらの図は、よりなめらかなまたはより露骨なマッピングを提供するよう適応されうる。α＝0は少なくともなめらかな、α＝1はよりなめらかな方向マッピング関数の形状に対応する。

図１３の例は、次式に基づく鋸歯と三角形関数との間で適応されることができる方向マッピング関数に対応する。

第二の例（図１４）では、円錐形状は、

に従って鋸歯マッピング（α→0）と正弦波マッピング（α＝1）の間で変化する。

どちらの場合にも、

は等しい最大視差に対応し、一方、最大の負の傾き、よって円錐遷移部の強さに対応するf'(1/2)はαによって影響される。α→0については、この傾きは−∞に近づき、α＝1については、傾きはちょうど−1である。

よって、これらの例において、方向マッピング関数は、いくつかの視円錐投影角について、中央のシーン視点角からのシーン視点角の偏差が低減されるよう、修正される。（諸視円錐についての中央の視円錐投影角に対応する）中央のシーン視点角は、これらの例では0なので、これは、視円錐投影角の少なくともいくつかの値についてシーン視点角の絶対値を減らすことに対応する。特に、視円錐の二つの端の区間におけるシーン視点角が、直接線形マッピングに対して（すなわち、鋸歯に比べて）低減される。

具体的には、αが増大させられると、端の区間におけるシーン視点角が低減される。結果として、視円錐の端のほうで生成されるビューは中央ビューからの偏差が小さくなり、実際、円錐遷移部のあたりではこの中央ビューに近づく傾向がある。これは、対立する欲求および選好の間の改善されたトレードオフを提供する柔軟な適応を許容する。

実際、第二の例について、方向マッピング関数は、視円錐全体において均一なビューを提供するが潜在的に高いぼけレベルおよび強い立体視反転があるものから、不均一であり、強い3D効果が提供される縮小された角度区間をもつが、実質的により少ないぼけおよびずっとソフトな立体視反転をももつ視円錐を提供するものへ変えられうる。

たとえば、正弦波マッピングについては、図１５に示されるように、視円錐の異なる領域において異なる知覚が提供されうる。今の例では、矢印１５０１によって示される視円錐の領域は高い視差をもって強い3D効果を提供するが、潜在的に著しいぼけをももつ傾向がある。１５０３のまわりの区間は低い3D効果を提供する（または3D効果を提供しない）がぼけの低いレベルをも提供する傾向がある。１５０５のまわりの区間は立体視反転を与えるが、典型的には許容可能な（そして線形マッピングについての最大の立体視反転に対してずっと低減された）レベルである。

見て取れるように、図１４の例では、パラメータαを増大させることによって、シーン視点方向偏差は、曲線の二つの端の区間において低減される。しかしながら、これはシーン視点方向偏差（すなわち、中央に対する偏差）が低減される結果になるだけでなく、方向マッピング関数の微分の絶対値が円錐の端のほうで低下する結果にもなる。特に、低下した立体視反転効果が達成できる。

観察者特性は、現在の観察者の数を示す。適応器８１１は、現在の観察者の数に応答して、方向マッピング関数を適応させるよう構成されてもよい。

現在の観察者の数は、たとえば、観察プロセッサ８０９によって、観察領域のほうに向けられたビデオ・カメラから受領される画像において検出された顔の数として決定されてもよい。

観察者の数に応じた方向マッピング関数の適応は、多くの状況において改善されたユーザー経験を提供しうる。

たとえば、レンティキュラー・ベースの裸眼立体視ディスプレイに二列以上をなすほどあまりに多くの観察者がいるとき、後の観察者にとって視円錐内の良好な位置を見出すことが難しくなることがありうる。結果として、これらの観察者は典型的には視円錐の端のほうに移る。これは、ほんの少数の、あるいは実はただ一人の観察者が存在するシナリオとは対照的である。この場合、観察者は視円錐の中央の位置を取る傾向があるであろう（あるいは裸眼立体視ディスプレイが視円錐をその観察者のほうに方向制御する適応ディスプレイであってもよい）。このように、存在するユーザーが多いほど、視円錐の、より大きな区間が観察者の群によって連続的に使用される可能性が高くなり、視円錐の中心からより遠くに位置される観察者がいるかもしれない可能性が高くなる。

しかしながら、これは、ユーザーが一時的に視円錐の端に向かってさらに進む、あるいはさらには視円錐の遷移部／境界を越えて進むリスクをも増す。

よって、この具体例では、システムは、方向マッピング関数および関連するトレードオフを、ユーザー数に依存して、よって視円錐におけるユーザーのありそうな分布に依存して適応させるよう構成されてもよい。

そこで、本手法は、受け入れ可能なぼけ、両眼視差および3D反転の点での視円錐のスイートスポットのサイズが方向マッピング関数（これは間接的に円錐形状と称されてもよい）に依存することを活用できる。線形マッピング（鋸歯マッピング）については、両眼視差（stereo parallax）および低いぼけをもつ領域は大きいが、スイートスポットどうしの間での3D反転とぼけの強さも大きい。なめらかな円錐（正弦波マッピングの場合のような）については、有用な領域は小さくなるが、ぼけおよび3D反転はずっと低減される。適応器８１１はこの例では、方向マッピング関数を、これらの両極端の間で適応させてもよく、たとえばこれらの両極端の中間の属性をもつ半鋸歯状の円錐／マッピングを提供してもよい。

多くの例において、半静的な観察者の小さな群でのシナリオについての好ましいオプションは、実際、半平滑な円錐であってもよい。これは典型的には、人が散発的に視円錐中心から外れるときに強く気を散らすことを防ぐことができ、それでいて強い3D効果をもつ比較的大きなスイートスポットを提供する。

しかしながら、スイートスポット当たりの観察者の数が増すと、一部の観察者は視円錐の中心外れの部分に留まることを強いられることがある。そうしたユーザーは、（比較的高い傾きに起因する）半平滑な円錐のぼけた円錐側部よび可能性としては比較的強い立体視反転を被ることになる。これに対処するため、適応器８１１は、検出される観察者数が増すと方向マッピング関数を修正しうる。

いくつかの実施形態では、適応器８１１は、観察者数が増すときに方向マッピング関数のなめらかさを増すよう構成されてもよい。こうして、具体的には、適応器８１１は、図１３および図１４の方向マッピング関数の例のαの値を増すよう構成されてもよい。この例では、方向マッピング関数／円錐形状はよりなめらかにされ、その結果、中心外れのユーザーは両眼視差を（よって3D知覚を）いくらか失うが、被るぼけは少なくなり、一時的に動く場合に強い立体視反転効果を経験する可能性も下がる。このように、この手法では、存在する観察者の数が増えると、少なくともいくつかの観察者位置についての3D効果は低減される。

具体的には、先述したように、適応器８１１は、視聴者特性が現在の観察者の増大する数を示すとき、少なくともいくつかの視円錐投影方向について、シーン視点方向偏差を低減するよう、方向マッピング関数を適応させるよう構成されてもよい。シーン視点方向偏差は、中央のシーン視点方向からの偏差を反映する。すなわち、今の具体例では、シーン視点角と中心のシーン視点角（諸視円錐の中心についてのシーン視点角）との間の差を反映する。今の例では、中央シーン視点角は0であり、よって適応器８１１は、視円錐投影角の少なくともいくつかの区間において視点角の絶対値の値を低減するよう構成されてもよい。

具体的には、観察者の数が増すとき、視円錐の端区間においてシーン視点角の絶対値が低減される。

一例として、観察プロセッサ８０９が三人の観察者がいることを検出するとき、適応器８１１は可能性としてはパラメータαについての値0.5を選択してもよい。よって、図１３または図１４の対応する方向マッピング関数が使われて、先述した異なる効果の間のほどほどの妥協を提供しうる。

観察プロセッサ８０９が今、観察者数が五人の観察者に増加したことを検出することに進む場合、適応器８１１はαの値0.5を0.9に増すことに進んでもよい。その結果、よりなめらかな方向マッピング関数となり、具体的には、シーン視点角の絶対値が端の区間で低減される結果となる。たとえば、図１３の例について、シーン視点角の絶対値は（よって中央のシーン視点角0からの偏差は）、[−0.5,−0.3]および[0.3,0.5]の区間内の視円錐投影角について低減される。図１４の例では、シーン視点角の絶対値は（よって中央のシーン視点角0からの偏差は）、[−0.5,−0.15]および[0.15,0.5]の区間内の視円錐投影角について低減される。この例では、シーン視点角の絶対値はこの区間内で低減され、実際、方向マッピング関数の微分の絶対値もである。よって、この区間では、シーン視点角は円錐の中心と同じレートで増大するのではなく、微分が低減されて、視円錐投影角における所与の変化について生じるシーン視点角の変化はより小さくなる。

観察プロセッサが今、観察者数が二人の観察者に減少したことを検出する場合、適応器８１１はたとえば変数αを0.1に低下させることに進んでもよい。その結果、シーン視点角は、図１３の例については[−0.5,−0.3]および[0.3,0.5]の区間内で、図１４の例については[−0.5,−0.15]および[0.15,0.5]の区間内で増大される。対応して、図１４については、方向マッピング関数の微分も観察者数が減るときに増大される。

観察プロセッサ８０９がその後、観察者数が三人の観察者に増加したことを検出する場合、適応器８１１はたとえば変数αを再び0.5に設定することに進んでもよい。その結果、シーン視点角は、図１３の例については[−0.5,−0.4]および[0.4,0.5]の区間内で、図１４の例については[−0.5,−0.2]および[0.2,0.5]の区間内で低減される。さらに、図１４における方向マッピング関数への変化は、観察者数が増すとき、この区間内で、方向マッピング関数の微分が減少する結果にもなる。

いくつかの実施形態では、適応器８１１は、前記観察者特性が現在の観察者の増大する数を示すことに応答して、前記方向マッピング関数の微分が中央の視円錐投影方向についての前記方向マッピング関数の微分と同じ符号をもつ視円錐投影方向の縮小された区間を提供するよう、前記方向マッピング関数を適応させるよう構成されてもよい。

こうして、立体視反転が起こらない区間が現在の観察者数に基づいて適応されることができ、特に、該区間はユーザーが多いほど縮小されてもよい。

図８のシステムでは、これは、増大する観察者数について値αを増すことによって達成されてもよい。たとえば、図１３の例について、αの値を0.5から0.9に変えると、方向マッピング関数の微分／傾きが−0.4から−0.3に、0.4から0.3に移る遷移を生じる。こうして、方向マッピング関数の傾きが中央の視円錐投影角についてと同じである区間が[−0.4,0.4]から[−0.3,0.3]に縮小される。同様に、観察者数が2に減るときは、該区間は[−0.45,0.45]に増大させられてもよい。

このように、先に与えた記述は、適応器８１１が立体視反転が起こらない区間を適応させる例をも与えることは理解されるであろう。

いくつかの実施形態では、適応器８１１は特に、前記観察者特性が現在の観察者の増大する数を示すことに応答して、視円錐の端の投影方向での前記方向マッピング関数の微分の絶対値を低減するよう、前記方向マッピング関数を適応させるよう構成される。図１４を参照して述べたこの手法の例は、微分がα＝0.5よりもα＝0.1の場合に（そしてα＝0.9よりもα＝0.5の場合に）小さくなる区間を明確に示している。αは増大するユーザー数について増大させられるので、方向マッピング関数の微分は円錐端のほうで低減され、それによりたとえば可能な立体視反転の強さを低減する。

このように、いくつかの実施形態では、円錐遷移部での（逆）視差が、観察者数の増大に対して低減されうる。

たとえば、図１４から、方向マッピング関数の微分／傾きの絶対値がαが0.1から0.9に変化するときに低下することが明瞭に見て取れる。このように、先述した例は、適応器８１１がユーザー数に依存して円錐遷移部において方向マッピング関数の微分を修正することの例をも提供する。

現在の観察者の増大する数について方向マッピング関数のなめらかさを増す手法の結果、（多くの観察者が存在するときほどありそうな）中心外れのユーザーが立体視／3D効果をいくらか失うが、被るぼけは少なくなり、立体視反転のリスクが下がることがありうる。これは多くのシナリオにおいて有利でありうる。

上記の諸例は円錐の端のほうでの方向マッピング関数の変化に焦点を当てているが、これは多くの実施形態において特に有利でありうるものの、記載される手法はそのような応用に限定されないことは理解されるであろう。たとえば、いくつかの実施形態では、方向マッピング関数は、勾配が観察者特性に依存する、特にユーザー数が増すと勾配が低下する鋸歯関数であってもよい（すなわち、円錐区間内で線形の比例関係であってもよい）。

いくつかの実施形態では、適応器８１１は、前記観察者特性が現在の観察者の減少する数を示すことに応答して、前記方向マッピング関数の微分が中央の視円錐投影方向についての前記方向マッピング関数の微分と同じ符号をもつ視円錐投影方向の縮小された区間を提供するよう、前記方向マッピング関数を適応させるよう構成されてもよい。

こうして、立体視反転が起こらない区間が現在の観察者数に基づいて適応されることができ、特に、該区間はユーザーが少ないほど縮小されてもよい。

図８のシステムでは、これは、減少する観察者数について値αを増すことによって達成されてもよい。たとえば、αの値を0.5から0.9に変えると、方向マッピング関数の微分／傾きが−0.4から−0.4に、0.3から0.4に移る遷移を生じる。こうして、方向マッピング関数の傾きが中央の視円錐投影角についてと同じである区間が[−0.4,0.4]から[−0.3,0.3]に縮小される。同様に、観察者数が2に減るときは、該区間は[−0.45,0.45]に増大させられてもよい。

よって、先に与えた記述は、適応器８１１が立体視反転が起こらない区間を適応させる例をも与えることは理解されるであろう。

いくつかの実施形態では、適応器８１１は、前記観察者特性が現在の観察者の増大する数を示すことに応答して、視円錐の遷移部の投影方向について前記方向マッピング関数の微分の絶対値を低減するよう、前記方向マッピング関数を適応させるよう構成される。

この効果は、図８のシステムにおいて先述したように、値αを修正することによって達成されてもよい。たとえば、図１３から、方向マッピング関数の微分／傾きの絶対値がαが0.1から0.9に変化するときに低下することが明瞭に見て取れる。このように、先述した例は、適応器８１１がユーザー数に依存して円錐遷移部において方向マッピング関数の微分を修正することの例をも提供する。

いくつかの実施形態では、前記観察者特性は少なくとも一の観察者の位置を示してもよい。たとえば、観察プロセッサ８０９は、視円錐の端のほうに最も隔たった人の位置を検出してもよい。たとえば、ビデオ・カメラによって画像が捕捉されてもよく、画像中の顔を検出するために観察プロセッサ８０９によって評価されてもよい。次いで、画像の側部のほうに最も隔たった顔の位置が、円錐遷移部に最も近い観察者の位置の指示として使われてもよい。

多くの実施形態において、適応器８１１は、該観察者位置が視円錐の中心から遠いほど、方向マッピング関数のなめらかさを増すよう構成されてもよい。

具体的には、観察プロセッサ８０９は、観察者位置の指示を生成してもよく、該観察者位置は円錐遷移部に最も近い観察者の位置であってもよい。すると、適応器８１１は、視円錐の中心から該位置までの距離の指示を決定するよう構成されて、この距離が大きいほどなめらかさを増すよう構成されてもよい。

このように、いくつかの実施形態では、適応器８１１は、前記観察者特性によって示される観察者位置と中央の視円錐投影方向との間の増大する距離に応答して、少なくともいくつかの視円錐投影方向について、シーン視点方向偏差を低減するよう前記方向マッピング関数を適応させるよう構成されてもよい。ここで、シーン視点方向偏差は、中央の円錐シーン視点方向からの偏差を反映する。

適応器８１１はたとえば、曲線のなめらかさを制御するためにパラメータαを適応させてもよい。具体的には、αの値は、適応器８１１が中心までの前記距離が0に近いと判定するときの値0.1から、適応器８１１が観察者が円錐遷移部に近いと判定するときの値0.9に増大させられてもよい。

この手法は、視円錐の端のほうでのユーザーのための3D効果を代償として、立体視反転を緩和し、ぼけを低減しうる。

他の実施形態では、適応器８１１は、前記観察者位置が視円錐の中心から遠いほど、方向マッピング関数のなめらかさを減少させるよう構成されてもよい。

適応器８１１は、パラメータαを、適応器８１１が中心までの前記距離が0に近いと判定するときの値0.9から、適応器８１１が観察者が中心から遠いと判定するときの値0.1に減少されるよう適応させてもよい。そのような手法は、視円錐の端のほうでの観察者への3D効果の提供を増す傾向があるが、増大したぼけおよび有意な立体視判定のリスク増大を代償とする。

いくつかの実施形態では、適応器８１１はさらに、観察者動き指示に基づいて方向マッピング関数を適応させるよう構成されてもよい。そこで、観察プロセッサ８０９は、現在の観察者動きの指示を生成するよう構成されてもよい。これは、ビデオ・カメラからの画像において検出される顔がどのくらい素速く、どのくらい動くかを検出することによって達成されてもよい。

そのような実施形態では、適応器８１１は、増大する観察者動きの検出に応答して方向マッピング関数のなめらかさを増すよう構成されてもよい。具体的には、適応器８１１は、前記観察者特性が増大する観察者動きを示すことに応答して、少なくともいくつかの視円錐投影方向について、シーン視点方向偏差を低減するよう構成されてもよい（ここで、シーン視点方向偏差は、中央の円錐シーン視点方向からの偏差を反映する）。

観察者動きはたとえば、動きの振幅、動きの方向または動きの速さであってもよい。たとえば、適応器８１１は、カメラによって生成された画像において動いている観察者を追跡してもよい（たとえば顔が検出され、追跡されてもよい）。いくつかの実施形態では、適応器８１１は単に画像中の動きの度合い、たとえば顔に対応する画像オブジェクトについての動きの平均または最大速度を決定してもよい。次いで、増大する平均または最大動きは観察者が立体視反転を経験するリスクを増しうるので、増大する平均または最大動きについては、（たとえば値αを増すことによって）視差の度合いを低減するよう構成されてもよい。たとえば、二つなどの顔が画像中で静的である場合、これは二人の人が座ってディスプレイを見ている観察者シナリオを反映することがある。これらが動いている確率は比較的低く、したがって高い度合いの立体視効果を提供することができる（αが小さな値に設定されることができる）。しかしながら、両方の顔画像オブジェクトが画像中で素速く動いている場合には、これらの観察者が観察者環境において動き回っていることを反映している可能性が高く、それは、観察者が立体視反転が経験されうる位置に動く増大したリスクに対応する。したがって、平均または最大動き速度が増すときは、シーン視点方向偏差の絶対値（および／または方向マッピング関数の絶対値）が、典型的には端円錐区間において低減されてもよい。

同様に、適応器８１１はたとえば、円錐中央に向かう方向の動きと円錐の端に向かう方向の動きとの間の区別をするよう構成されてもよい。たとえばパラメータαの値は、前者の場合には減少され、後者の場合には増大されてもよい。

もう一つの例として、適応器８１１は、たとえば円錐の中心からの距離によって測られる（たとえば、画像オブジェクトから、捕捉された画像の中心への差として測られる）、動きの振幅を考慮に入れてもよい。動きが円錐の中心からより遠くで起こるほど、その動きは方向マッピング関数の適応により大きく影響しうる。具体例として、中心から所与の距離より遠くの顔画像オブジェクトの動きの度合いが閾値を超える場合に、シーン視点方向偏差は低減されてもよい。

いくつかの実施形態では、適応器８１１は、前記観察者特性が増大する観察者動きを示すことに応答して、前記方向マッピング関数の微分が中央の視円錐投影方向についての前記方向マッピング関数の微分と同じ符号をもつ視円錐投影方向の縮小された区間を提供するよう、前記方向マッピング関数を適応させるよう構成されてもよい。

いくつかの実施形態では、適応器８１１は、前記観察者特性が増大する観察者動きを示すことに応答して、典型的には端視円錐投影比について、前記方向マッピング関数の微分の絶対値を低減するよう、前記方向マッピング関数を適応させるよう構成されてもよい。

先述したように、方向マッピング関数のそのような適応は図８のシステムでは、パラメータαを修正することによって達成できる。具体的には、適応器８１１は、観察特性が増大するユーザー動きを示すことについて、αを増大させるよう構成されてもよい。

そのような手法は、多くの実施形態において改善されたユーザー経験を提供しうる。実際、先述したように、なめらかな方向マッピング関数の概念は、立体視反転からの不快さおよび視円錐遷移部近くの画面から飛び出すオブジェクトの著しいぼけを減らすために有用である。しかしながら、これは、観察者がディスプレイに関して動いているときには、より有利であり、重要であることがある。半静的なユーザーは、改善された両眼視差および低減された立体視反転確率のおかげで、よりなめらかでない円錐形状から恩恵を受けることがありうる。

高い度合いの観察者動きがあるときに、よりなめらかな円錐を提供するよう方向マッピング関数を適応させることは、この場合になめらかな円錐表示を歩いて通過することのよろめき（wobbling）効果が（強い）不快さを引き起こさない傾向があり、一方、それほどなめらかでない円錐の鋭い円錐遷移はより大きな不快さを引き起こすまたは少なくともわずらわしい可能性が高いので、特に有利である。

いくつかの実施形態では、適応器８１１は、前記観察者特性が観察者の数が閾値より少ないことを示す場合に、特に観察者の数が1である場合に、前記表示画像をステレオ立体視画像に対応するよう適応させるよう前記方向マッピング関数を適応させるよう構成されてもよい。

こうして、いくつかの実施形態では、適応器８１１は、ただ一人のユーザーが存在するときは、比較的多数のビューを生成することからただ二つのビューを生成することに切り換えてもよい。こうして、適応器８１１はこの場合、ステレオ立体視画像を提示するよう切り換えてもよい。

適応器８１１はこの場合、裸眼立体視ディスプレイの動作を、ステレオ立体視画像を提供するよう適応的に切り換えてもよい（マルチビューでのステレオ（stereo-on-multiview））。結果として、相変わらず大きな視差を許容しつつ、ぼけが低減されうる。

いくつかの実施形態では、適応器は、前記観察者特性が観察者の数が閾値を超えることを示す場合に、前記複数の視円錐の各視円錐内において複数のサブ視円錐を提供するよう前記表示画像を適応させるよう前記方向マッピング関数を適応させるよう構成されてもよい。

裸眼立体視ディスプレイを見ているとき、正面の観察者は視円錐の中央あたりの位置を取る傾向があるであろう。これはしばしば、さらに後方にいるユーザーには、円錐中心のどちらかの側部にわずかなスペースしか残さない。いくつかの実施形態では、適応器８１１はこの場合、ディスプレイ構成５０１が所与の視円錐内で複数のサブ視円錐を効果的に投影することになるよう、方向マッピング関数を修正してもよい。そのような方向マッピング関数の例が図１６に示されている。

具体的には、先述したような基本的なマッピング関数／円錐形状関数f(u)は、適用されるマッピングの複数のバージョンを含むよう修正されてもよい。たとえば、M個のサブ円錐が望まれる場合、これは、基本的な方向マッピング関数f(u)を
g: u→f(Mu)
に従って修正することによって達成できる。

こうして、方向マッピング関数は、各視円錐内で同じ非反復方向マッピング関数の複数の反復を含むよう生成されてもよい。

上記の記述は明確のために種々の機能回路、ユニットおよびプロセッサに言及しつつ本発明の実施形態を記載してきたことは理解されるであろう。しかしながら、異なる機能回路、ユニットまたはプロセッサの間の機能のいかなる好適な分配も、本発明を損なうことなく、使用されうることは明白であろう。たとえば、別個のプロセッサまたはコントローラによって実行されるよう示されている機能が同じプロセッサまたはコントローラによって実行されてもよい。よって、個々の機能ユニットまたは回路への言及は、単に記載される機能を提供する好適な手段に言及したものと見るべきであって、厳密な論理的または物理的な構造または編成を示すものではない。

本発明は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組み合わせを含むいかなる好適な形で実装されることもできる。本発明は任意的に、少なくとも部分的に、一つまたは複数のデータ・プロセッサおよび／またはデジタル信号プロセッサ上で走るコンピュータ・ソフトウェアとして実装されてもよい。本発明の実施形態の要素およびコンポーネントは物理的、機能的および論理的に、いかなる好適な仕方で実装されてもよい。実際、機能性は単一のユニットにおいて、複数のユニットにおいて、あるいは他の機能ユニットの一部として実装されてもよい。よって、本発明は、単一のユニットにおいて実装されてもよいし、あるいは物理的および機能的に異なるユニット、回路およびプロセッサの間で分散されていてもよい。

本発明についていくつかの実施形態との関連で記載してきたが、本稿に記載される特定の形に限定されることは意図されていない。むしろ、本発明の範囲は、付属の請求項によってのみ限定される。さらに、ある特徴が特定の実施形態との関連で記述されているように見えたとしても、当業者は、記載される諸実施形態のさまざまな特徴が本発明に従って組み合わされてもよいことを認識するであろう。請求項において、有する／含むの語は他の要素やステップの存在を排除しない。

さらに、個々に挙げられていても、複数の手段、要素、回路または方法ステップは、たとえば単一の回路、ユニットまたはプロセッサによって実装されてもよい。さらに、個々の特徴が異なる請求項に含められていたとしても、それらは可能性としては有利に組み合わされうるのであって、異なる請求項に含まれることは、特徴の組み合わせが実現可能でないおよび／または有利でないことを含意するものではない。また、ある特徴があるカテゴリーの請求項に含まれることは、このカテゴリーへの限定を含意するものではなく、むしろ、その特徴が適宜他の請求項カテゴリーにも等しく適用可能であることを示すものである。さらに、請求項における特徴の順序は、それらの特徴が機能させられねばならないいかなる特定の順序も含意しない。特に、方法請求項における個々のステップの順序は、それらのステップがこの順序で実行されねばならないことは含意しない。むしろ、それらのステップはいかなる好適な順序で実行されてもよい。さらに、単数形の言及が複数を排除するものではない。よって、「ある」「第一の」「第二の」などの言及は複数を排除するものではない。請求項に参照符号があったとしても、単に明確にする例として与えられているのであって、いかなる仕方であれ特許請求の範囲を限定するものと解釈してはならない。

Claims

裸眼立体視ディスプレイの表示パネルのための表示画像を生成するための装置であって、前記裸眼立体視ディスプレイは、前記表示パネルと、前記表示画像を複数の視円錐において投影するよう構成されたビュー形成光学要素とを含むディスプレイ構成を有し、当該装置は：
表示されるべきシーンの三次元表現を提供する源と；
前記三次元表現から前記表示画像を生成するための生成器であって、前記表示画像の少なくともいくつかのピクセルの各ピクセルについて：
方向マッピング関数および前記視円錐内でのそのピクセルについての投影方向を反映する視円錐投影方向指示に応答して、前記シーンについての視点方向を反映するシーン視点方向指示を決定する段階であって、前記方向マッピング関数は視円錐投影方向とシーン視点方向との間の関係を反映する、段階；および
前記三次元表現から前記視点方向に対応するピクセル値を決定する段階を実行するよう構成されている、
生成器と；
現在の観察者の数を示す観察者特性を決定するプロセッサと；
前記観察者特性に応答して前記方向マッピング関数を適応させる適応器とを有しており、
前記適応器は、前記観察者特性が現在の観察者の増大する数を示すことに応答して、少なくともいくつかの視円錐投影方向について、シーン視点方向偏差および前記方向マッピング関数の微分の絶対値の少なくとも一方を低減するよう前記方向マッピング関数を適応させるよう構成されており、シーン視点方向偏差は中央の視円錐投影方向に対応するシーン視点方向からの偏差を反映する、
装置。
前記適応器は、前記観察者特性が現在の観察者の増大する数を示すことに応答して、少なくともいくつかの視円錐投影方向について、前記シーン視点方向偏差を低減するよう前記方向マッピング関数を適応させるよう構成されている、請求項１記載の装置。
前記適応器は、前記観察者特性が現在の観察者の増大する数を示すことに応答して、少なくともいくつかの視円錐投影方向について、少なくともいくつかの視円錐投影方向についての前記方向マッピング関数の微分を低減するよう構成されている、請求項１記載の装置。
前記適応器は、前記観察者特性が現在の観察者の増大する数を示すことに応答して、前記方向マッピング関数の微分が中央の視円錐投影方向についての前記方向マッピング関数の微分と同じ符号をもつ視円錐投影方向の縮小された区間を提供するよう、前記方向マッピング関数を適応させるよう構成されている、請求項１記載の装置。
前記適応器は、前記観察者特性が現在の観察者の増大する数を示すことに応答して、視円錐の端の投影方向での前記方向マッピング関数の微分の絶対値を低減するよう、前記方向マッピング関数を適応させるよう構成されている、請求項１記載の装置。
前記観察者特性は少なくとも一の観察者の位置を示す、請求項１記載の装置。
前記適応器は、前記観察者特性によって示される観察者位置と中央の視円錐投影方向との間の増大する距離に応答して、少なくともいくつかの視円錐投影方向について、前記シーン視点方向偏差を低減するよう前記方向マッピング関数を適応させるよう構成されている、請求項６記載の装置。
前記適応器は、前記観察者特性が増大する観察者動きを示すことに応答して、少なくともいくつかの視円錐投影方向について、前記シーン視点方向偏差を低減するよう前記方向マッピング関数を適応させるよう構成されている、請求項６記載の装置。
前記適応器は、前記観察者特性が観察者の数が閾値より少ないことを示す場合に、前記表示画像をステレオ立体視画像に対応するよう適応させるよう前記方向マッピング関数を適応させるよう構成されている、請求項１記載の装置。
前記適応器は、前記観察者特性が観察者の数が閾値を超えることを示す場合に、前記複数の視円錐の各視円錐内において複数のサブ視円錐を提供するよう前記表示画像を適応させるよう前記方向マッピング関数を適応させるよう構成されている、請求項１記載の装置。
前記シーンの前記三次元表現は入力三次元画像であり、前記生成器は、前記入力三次元画像に観察方向変換を適用することによって、前記視点方向に対応するピクセル値を決定するよう構成されている、請求項１記載の装置。
前記方向マッピング関数は、前記入力三次元画像の視差から前記表示画像の視差にマッピングする視差マッピング関数マッピングを含み、前記観察方向変換は、前記入力三次元画像のピクセルにピクセル・シフトを適用して、前記表示画像についてのピクセルを生成することを含み、前記ピクセル・シフトは前記視差マッピング関数に依存する、請求項１１記載の装置。
裸眼立体視ディスプレイであって：
前記表示パネルと、前記表示画像を複数の視円錐において投影するよう構成されたビュー形成光学要素とを含むディスプレイ構成と；
表示されるべきシーンの三次元表現を提供する源と；
前記三次元表現から前記表示画像を生成するための生成器であって、前記表示画像の少なくともいくつかのピクセルの各ピクセルについて：
方向マッピング関数および前記視円錐内でのそのピクセルについての投影方向を反映する視円錐投影方向指示に応答して、前記シーンについての視点方向を反映するシーン視点方向指示を決定する段階であって、前記方向マッピング関数は視円錐投影方向とシーン視点方向との間の関係を反映する、段階；および
前記三次元表現から前記視点方向に対応するピクセル値を決定する段階を実行するよう構成されている、
生成器と；
現在の観察者の数を示す観察者特性を決定するプロセッサと；
前記観察者特性に応答して前記方向マッピング関数を適応させる適応器とを有しており、
前記適応器は、前記観察者特性が現在の観察者の増大する数を示すことに応答して、少なくともいくつかの視円錐投影方向について、シーン視点方向偏差および前記方向マッピング関数の微分の絶対値の少なくとも一方を低減するよう前記方向マッピング関数を適応させるよう構成されており、シーン視点方向偏差は中央の視円錐投影方向に対応するシーン視点方向からの偏差を反映する、
裸眼立体視死すプレイ。
裸眼立体視ディスプレイの表示パネルのための表示画像を生成する方法であって、前記裸眼立体視ディスプレイは、前記表示パネルと、前記表示画像を複数の視円錐において投影するよう構成されたビュー形成光学要素とを含むディスプレイ構成を有し、当該方法は：
表示されるべきシーンの三次元表現を提供するステップと；
前記三次元表現から前記表示画像を生成するステップであって、前記表示画像の少なくともいくつかのピクセルの各ピクセルについて：
方向マッピング関数および前記視円錐内でのそのピクセルについての投影方向を反映する視円錐投影方向指示に応答して前記シーンについての視点方向を反映するシーン視点方向指示を決定する段階であって、前記方向マッピング関数は視円錐投影方向とシーン視点方向との間の関係を反映する、段階；および
前記三次元表現から前記視点方向に対応するピクセル値を決定する段階を含む、ステップと；
現在の観察者の数を示す観察者特性を決定するステップと；
前記観察者特性に応答して前記方向マッピング関数を適応させるステップであって、前記適応は、前記観察者特性が現在の観察者の増大する数を示すことに応答して、少なくともいくつかの視円錐投影方向について、シーン視点方向偏差および前記方向マッピング関数の微分の絶対値の少なくとも一方を低減するよう前記方向マッピング関数を適応させることを含み、シーン視点方向偏差は中央の視円錐投影方向に対応するシーン視点方向からの偏差を反映する、ステップとを含む、
方法。