JP2020523803A - 疎サンプリング超解像を用いたニアアイディスプレイ - Google Patents

Abstract

ニアアイディスプレイシステム（１００）は、要素画像のアレイ（１２２）を備えるニアアイ・ライトフィールドフレーム（１２０）を表示するためのディスプレイパネル（１１８）および一体型ライトフィールドフレームをユーザの眼（１３２）に提示するための小型レンズアレイ（１２４）を備える。システムは、ソース画像の疎サンプリング（２０２）に少なくとも部分的に基づいて要素画像のアレイ（１２２）を生成し、要素画像のアレイの各個々の要素内に含まれる画像データの重畳を減少させるレンダリングコンポーネント（１０４）を備える。ニアアイディスプレイシステム（１００）の動作方法は、被写体の現在の視点の疎サンプリングに基づき一体型ライトフィールドフレーム（１２０）を形成する要素画像のアレイ（１２２）生成し、アレイの各個々の要素画像内に含まれる画像データの重畳を減少させることを含む。

Description

背景
３次元（３Ｄ）グラフィクスの実行的なディスプレイを提供するために、ヘッドマウントディスプレイ（ＨＭＤ）および他のニアアイディスプレイシステムは、一体型ライトフィールドディスプレイまたは他のコンピュータ計算のディスプレイを利用することができる。一般に、一体型ライトフィールドディスプレイは、１つまたは複数のディスプレイパネルと、当該１つまたは複数のディスプレイパネルに重畳する、小型レンズ、ピンホール、または、他の光学系機構のアレイを用いる。レンダリングシステムは、要素画像のアレイをレンダリングし、各要素画像は、対応する視点または仮想カメラ位置からの対象物またはシーンの画像またはビューを表す。そのような一体型ライトフィールドディスプレイは、典型的に解像度と射出ひとみ距離（すなわち、ユーザの眼が完全な視野を得ることができる距離）との間のトレードオフを呈する。一体型ライトフィールドディスプレイを用いる従来のニアアイディスプレイシステムは典型的に、小型レンズプロジェクタアレイ内の重畳のために空間的解像度を犠牲にする。

図面の簡単な説明
本開示は、添付の図面を参照することによって、よりよく理解されることができ、その多数の特徴および利点は、当業者に明らかとなるであろう。異なる図面における同じ参照符号の使用は、類似のまたは同一の項目を示す。

いくつかの実施形態に従い増加されたディスプレイ解像度を提供するために姿勢検出および疎サンプリングを用いるニアアイディスプレイシステムを示す図である。 ニアアイディスプレイシステム内の従来のコンピュータ計算のディスプレイを示す図である。 いくつかの実施形態に従い図１のニアアイディスプレイシステム内で使用するための例示的な低フィルファクタディスプレイを示す図である。 いくつかの実施形態に従い図１のニアアイディスプレイシステム内で使用するための別の例示的な低フィルファクタディスプレイを示す図である。 いくつかの実施形態に従い図１のニアアイディスプレイシステム内で使用するための別の例示的な低フィルファクタディスプレイを示す図である。 いくつかの実施形態に従い図１のニアアイディスプレイシステム内の増加された解像度を有するライトフィールドフレームをレンダリングするための疎サンプリングの方法の例を示すフロー図である。 いくつかの実施形態に従いライトフィールドフレームをレンダリングするための疎サンプリング動作例を示す図である。 いくつかの実施形態に従いライトフィールド超解像の例を示す図である。

詳細な説明
図１〜図８は、ニアアイディスプレイシステム内の一体型ライトフィールドフレームの疎サンプリング超解像レンダリングのための例示的方法およびシステムを示す。少なくとも１つの実施形態では、ユーザに没入型の仮想現実（ＶＲ）または拡張現実（ＡＲ）エクスペリエンスを提供するために、ニアアイディスプレイシステムは、ユーザに対してイメージの一体型ライトフィールドフレームを表示するためのコンピュータ計算ディスプレイを用いる。各一体型ライトフィールドフレームは、要素画像のアレイで構成され、各要素画像は、異なる対応する視点からの対象物またはシーンのビューを表す。小型レンズのアレイは、ディスプレイパネルに重畳し、要素画像のアレイをユーザに単一のオートステレオスコピック画像として提示するために動作する。

コンピュータ計算ディスプレイの解像度が解像度と射出ひとみ距離（すなわち、ユーザの眼が完全な視野を得ることができる距離）との間のトレードオフを呈するので、一体型ライトフィールドディスプレイを用いるニアアイディスプレイシステムは典型的に、小型レンズプロジェクタアレイ内の重畳のために空間的解像度を犠牲にする。改善された解像度を提供するために、少なくとも１つの実施形態では、ここで説明されるニアアイディスプレイシステムは、低フィルファクタディスプレイの疎サンプリングを利用し、プロジェクタアレイ要素内の画像データ内の重畳を除去することによっていくらかの失われた解像度を復元する。例として、プロジェクタアレイ要素の各々は、ソース画像のわずかに異なるサブ領域をサンプリングするように構成され得、したがって互いに対して一意の画像データを有する。従って、ソース画像の疎サンプリングは、小型レンズプロジェクタアレイにおいて受信された画像データの重畳を減少させ、ニアアイシステムの減少した視距離（たとえば、１０ｍｍ未満、従来のライトフィールドディスプレイの場合１０〜４０ｍｍのレンズ焦点距離、従来の拡大鏡ディスプレイの場合４０ｍｍ以上）から生じる失われた空間的解像度を復元するために、低フィルファクタディスプレイによって得られることができる。

図１は、少なくとも１つの実施形態に従い一体型ライトフィールドフレームの疎サンプリング超解像レンダリングを組み込んでいるニアアイディスプレイシステム１００を例示する。例示される例では、ニアアイディスプレイシステム１００は、コンピュータ計算ディスプレイサブシステム１０２と、レンダリングコンポーネント１０４とを含む。コンピュータ計算ディスプレイサブシステム１０２は、装置１１４（たとえば、ゴーグル、眼鏡等）内に取り付けられる、左眼ディスプレイ１１０および右眼ディスプレイ１１２を含み、装置１１４は、ユーザの左眼と右眼それぞれの正面にディスプレイ１１０，１１２を配置する。

ビュー１１６に示されるように、ディスプレイ１１０，１１２は、一体型ライトフィールドフレームのシーケンスまたは連続物（以降、参照の容易さのために「ライトフィールドフレーム」）を表示するために、少なくとも１つのディスプレイパネル１１８を含み、その各々は、要素画像１２２のアレイ１２０を備える。参照の容易さのために、要素画像１２２のアレイ１２０は、ここではライトフィールドフレームとも称され得る。ディスプレイ１１０，１１２の各々は、ディスプレイパネル１１８に重畳する（一般的に「マイクロレンズ」とも称される）小型レンズ１２６のアレイ１２４をさらに含む。典型的に、小型レンズアレイ１２４内の小型レンズ１２６の数は、アレイ１２０内の要素画像１２２の数に等しいが、他の実装においては、小型レンズ１２６の数は、要素画像１２２の数よりも多くても少なくてもよい。図１の例は、図示の容易さのために５×４の要素画像１２２のアレイおよび対応する５×４の小型レンズ１２６のアレイ１２０を図示するが、典型的な実装において、ライトフィールドフレーム１２０内の要素画像１２２の数および小型レンズアレイ１２４内の小型レンズ１２６の数は、典型的にはるかにより多いということに留意すべきである。さらに、いくつかの実施形態では、ディスプレイ１１０，１１２の各々に対して別個のディスプレイパネル１１８が実装され、他の実施形態では、左眼ディスプレイ１１０および右眼ディスプレイ１１２は、単一のディスプレイパネル１１８を共有し、ディスプレイパネル１１８の左半分は、左眼ディスプレイ１１０のために使用され、ディスプレイパネル１１８の右半分は、右眼ディスプレイ１１２のために使用される。

図１の断面図１２８は、ディスプレイパネル１１８に重畳する小型レンズアレイ１２４のＡ−Ａ線に沿う断面図を例示し、小型レンズアレイ１２４は、小型レンズアレイ１２４がディスプレイ表面１３０とユーザの対応する眼１３２との間に配置されるようにディスプレイパネル１１８のディスプレイ表面１３０に重畳する。この構成では、各小型レンズ１２６は、ディスプレイ表面１３０の対応する領域を眼の瞳孔１３４上へと集束し、そのような各領域は、少なくとも部分的に１つまたは複数の隣接する領域と重畳する。このため、そのようなコンピュータ計算ディスプレイ構成では、要素画像１２２のアレイ１２０がディスプレイパネル１１８のディスプレイ表面１３０に表示され、小型レンズアレイ１２４を通して眼１３２によって視られると、ユーザは、要素画像１２２のアレイ１２０をシーンの単一の画像として知覚する。このため、ユーザの左眼および右眼の両方に対してその間に適切な視差が実装された状態でこの処理が並列に行われるときに、結果は、ユーザに対するオートステレオスコピック３次元（３Ｄ）イメージの提示である。

また図１に示されるように、レンダリングコンポーネント１０４は、図示される中央処理ユニット（ＣＰＵ）１３６およびグラフィックス処理ユニット（ＧＰＵ）１３８，１４０といった１つまたは複数のプロセッサの組、および１つまたは複数のプロセッサ１３６，１３８，１４０がここで説明される様々なタスクを行うよう操作するために、プロセッサ１３６，１３８，１４０によってアクセスされ実行されるソフトウェアプログラムまたは他の実行可能な命令を格納するための、システムメモリ１４２といった、１つまたは複数のストレージコンポーネントを含む。そのようなソフトウェアプログラムは、たとえば、以下に説明するような疎サンプリング処理のための実行可能な命令を備える。

動作において、レンダリングコンポーネント１０４は、レンダリング情報１４８をローカルまたはリモートコンテンツソース１５０から受信し、レンダリング情報１４８は、対象物またはシーン、すなわちディスプレイサブシステム１０２においてレンダリングされ表示されるべき被写イメージを表す、グラフィクスデータ、ビデオデータ、または他のデータを表す。レンダリングプログラム１４４を実行するために、ＣＰＵ１３６は、レンダリング情報１４８を使用してＧＰＵ１３８，１４０への描画命令を送信し、次いで描画命令を利用して、任意の様々な既知のＶＲ／ＡＲコンピュータ計算／ライトフィールドレンダリング処理を使用し、左眼ディスプレイ１１０においてディスプレイするためのライトフィールドフレーム１５１のシリーズと右眼ディスプレイ１１２においてディスプレイするためのライトフィールドフレーム１５３のシリーズとを並列にレンダリングする。このレンダリング処理の一部として、ＣＰＵ１３６は、慣性管理ユニット（ＩＭＵ）１５４から姿勢情報１５０を受信してもよく、姿勢情報１５０は、ディスプレイサブシステム１０２の現在の姿勢を表し、ＣＰＵ１３６は、ライトフィールドフレーム１５１，１５３の１つまたは複数の対のレンダリングが現在の姿勢からの対象物またはシーンの視点を反映するように制御し得る。

図２は、従来のコンピュータ計算ディスプレイの断面図２００を例示する。小型レンズアレイ１２４の小型レンズ１２６の各々は、ユーザの眼（たとえば、図１の眼１３２）上への別個の「プロジェクタ」として機能し、各「プロジェクタ」は、要素画像１２２のアレイ１２０からディスプレイパネル１１８において表示される合成仮想画像２０２を形成する際に、１つまたは複数の隣接するプロジェクタと重畳する。この図に示されるように、アクティブ屈折面積（ここで「フィルファクタ」と称される）は、約１００％である。すなわち、小型レンズアレイ１２４に向かって光を導く面積（すなわち、ディスプレイパネル１１８）の、任意の隙間を含む小型レンズアレイによって占有された総連続面積の比は、約１００％である。

高フィルファクタを有するディスプレイは、仮想画像２０２からの複数の要素画像１２２内の重畳データを有する。例示のため、小型レンズ１２６−１は、画像データを仮想画像２０２の領域２０６に対応する要素画像１２２−２から受信する。同様に、小型レンズ１２６−２は、画像データを仮想画像２０２の領域２０６に対応する要素画像１２２−５から受信し、小型レンズ１２６−３は、画像データを仮想画像２０２の領域２０６に対応する要素画像１２２−８から受信する。従って、要素画像１２２−２，１２２−５，１２２−８から受信された画像データは、大量の重畳情報を有する。高フィルファクタを有する従来のディスプレイは、仮想画像平面上のいくつかの要素画像（たとえば、４〜６要素画像）をしばしば重畳する。この重畳は、同じファクタだけソース解像度の減少をもたらす（すなわち、４倍〜６倍の解像度における減少）。

解像度における減少部分は、より低いフィルファクタのディスプレイを使用して回復されることができる。図３は、いくつかの実施形態に従いニアアイディスプレイシステム１００内で利用され得る低フィルファクタディスプレイの断面図３００を例示する。小型レンズアレイ１２４の小型レンズ１２６の各々は、ユーザの眼（たとえば、図１の眼１３２）上への別個の「プロジェクタ」として機能し、各「プロジェクタ」は、要素画像１２２のアレイ１２０からディスプレイパネル１１８において表示される合成仮想画像２０２を形成する際に、１つまたは複数の隣接するプロジェクタと重畳する。この図に示されるように、フィルファクタは、約３３％である。すなわち、小型レンズアレイ１２４に向かって光を導く面積（すなわち、ディスプレイパネル１１８の要素画像１２２を提示する発光素子）の、任意の隙間を含む小型レンズアレイによって占有された総連続面積の比は、約３３％である。

図３において例示されるように、高フィルファクタディスプレイに対してより低いフィルファクタを有するディスプレイは、ソースデータの疎サンプリングを提供する。例示のため、図２の高フィルファクタディスプレイと同様に、小型レンズ１２６−１は、画像データを仮想画像２０２の領域２０６に対応する要素画像１２２−２から受信する。同様に、小型レンズ１２６−２は、画像データを仮想画像２０２の領域２０６に対応する要素画像１２２−５から受信し、小型レンズ１２６−３は、画像データを仮想画像２０２の領域２０６に対応する要素画像１２２−８から受信する。しかし、より低いフィルファクタのディスプレイは、小型レンズアレイ１２４において受信された画像データの重畳を減らすためにソース画像データのより離散的な帰属を可能とするより小さい発光素子を含む。

示されるように、例示のため、小型レンズ１２６−１は、画像データを仮想画像２０２の領域２０６内のサブ領域２０６−１に対応する要素画像１２２−２から受信する。小型レンズ１２６−２は、画像データを仮想画像２０２の領域２０６内のサブ領域２０６−２に対応する要素画像１２２−５から受信し、小型レンズ１２６−３は、画像データを仮想画像２０２の領域２０６内のサブ領域２０６−３に対応する要素画像１２２−８から受信する。従って、小型レンズ１２６−１，１２６−２，１２６−３のすべてがソース画像（すなわち、領域２０６）の同じ局所領域からサンプルを取得する一方、小型レンズ１２６は全く同じ場所内の画像データのサンプリングをしない。小型レンズ１２６−１，１２６−２，１２６−３の各々は、ソース画像のわずかに異なるサブ領域をサンプリングし、したがって互いに対して一意の画像データの強度値（すなわち、情報コンテンツ）を有する。従って、仮想画像２０２の疎サンプリングは、より低いフィルファクタのディスプレイによって得られることができ、小型レンズ１２６において受信された画像データの重畳を減少させ、失われた解像度を１／（フィルファクタ）の比によって回復する。たとえば、図３の約３３％のフィルファクタのディスプレイは、仮想画像２０２の解像度を約３倍（すなわち、１／０．３３フィルファクタ）増加させる。

さまざまな実施形態では、ディスプレイパネル１１８は、図３に例示されるような小さいフィルファクタを有して製造される発光素子を含むことができる。そのような発光素子は、たとえば、有機発光ダイオード（ＯＬＥＤ）エミッタを含むことができる。しかし、そのような発光素子は、所与の単位面積あたりの電流密度およびフィルファクタ比に対して輝度出力に関して制限される可能性がある。換言すると、仮想画像解像度を増加させるためにフィルファクタを減少することによる疎サンプリングは、時にディスプレイパネル１１８の輝度を低下させるという結果を有する可能性がある。このより低い輝度は、少なくとも部分的には発光素子出力に対して利用可能な表面積がより小さい量であることによるものである。

図４は、いくつかの実施形態に従いニアアイディスプレイシステム１００内で利用され得る低フィルファクタディスプレイのための構成を例示する。断面図４００によって示されるように、小型レンズアレイ１２４の小型レンズ１２６の各々は、ユーザの眼（たとえば、図１の眼１３２）上への別個の「プロジェクタ」として機能し、各「プロジェクタ」は、要素画像のアレイから発光素子４０２によってディスプレイパネル１１８において表示される合成仮想画像２０２を形成する際に、１つまたは複数の隣接するプロジェクタと重畳する。この図に示されるように、アクティブ屈折面積（ここで「フィルファクタ」と称される）は、約１００％である。すなわち、小型レンズアレイ１２４に向かって光を導く面積（すなわち、ディスプレイパネル１１８）の、任意の隙間を含む小型レンズアレイによって占有された総連続面積の比は、約１００％である。

高フィルファクタを有する従来のディスプレイは、仮想画像平面上のいくつかの要素画像（たとえば、４〜６個の要素画像）をしばしば重畳する。高フィルファクタを有するディスプレイは、仮想画像２０２からの複数の要素画像１２２において重畳データを有する。従って、断面図４００によって示されるように、この構成では、ピクセルアパーチャマスク４０４は、ディスプレイパネル１１８の光エミッタと小型レンズアレイ１２４との間に位置決めされる。ピクセルアパーチャマスク４０４は、ディスプレイパネル１１８のフィルファクタを実際に減らさないということが留意されるべきである。図２の構成と同様に、小型レンズアレイ１２４に向かって光を導く表面積は、約１００％である。しかし、追加的なピクセルアパーチャマスク４０４は、小型レンズアレイ１２４において受信された光を狭め、画像データが発光素子４０２の面積の部分のみに帰属されることを可能とする。

たとえば、アパーチャ４０６の物理寸法に基づき、ピクセルアパーチャマスクを通過した、小型レンズ１２６−１において受信された光は、発光素子４０２−１のサブ領域４０８−１に帰属され得る。発光素子４０２−１のサブ領域４０８−１は、図３の要素画像１２２−２に類似し、仮想画像２０２の領域２０６内のサブ領域２０６−１に対応する。同様に基づくと、アパーチャ４１０を通過した、小型レンズ１２６−２において受信された光は、発光素子４０２−２のサブ領域４０８−２に帰属され得、アパーチャ４１２を通過した、小型レンズ１２６−３において受信された光は、発光素子４０２−３のサブ領域４０８−３に帰属され得る。これらのサブ領域４０８−２および４０８−３は、図３の要素画像１２２−５，１２２−８と類似し、仮想画像２０２の領域２０６内のサブ領域２０６−２，２０６−３それぞれに対応する。従って、ピクセルアパーチャマスク４０４は、ディスプレイパネル１１８の実際のフィルファクタを変化させることなく、「有効フィルファクタ」（すなわち、小型レンズ１２６の観点から経験されるフィルファクタ）を減少させることによってより大きい解像度を可能とし、これによって仮想画像２０２の空間的解像度を増加させつつ、出力される輝度を増加させるために（たとえば図３に対して）より大きいエミッタ表面積を維持する。

断面図４００は、任意のピクセルアパーチャマスク４０４内のアパーチャの大きさおよび形状に関して詳細を提供しないということが留意されるべきである。当業者は、本開示の範囲から逸脱することなく、様々な大きさおよび形状の開口部が使用され得ることを認識するであろう。たとえば、実質的に正方形または長方形のアパーチャは、使用され得る。断面図４００が、ピクセルアパーチャマスク４０４とディスプレイパネル１１８と小型レンズアレイ１２４との間の空間を例示するが、空間は、明確さおよび関係性の目的で提供されるということがさらに留意されるべきである。たとえば、さまざまな実施形態では、ピクセルアパーチャマスク４０４は、ディスプレイパネル１１８または小型レンズアレイ１２４と直接接触するように配置され得、または本開示の範囲から逸脱することなくディスプレイパネル１１８または小型レンズアレイ１２４と直接接触するガラス表面に適用され得る。

図５は、いくつかの実施形態に従いニアアイディスプレイシステム１００内で利用され得る低フィルファクタディスプレイのための別の構成を例示する。断面図５００によって示されるように、小型レンズアレイ１２４の小型レンズ１２６の各々は、ユーザの眼（たとえば、図１の眼１３２）上への別個の「プロジェクタ」として機能し、各「プロジェクタ」は、要素画像のアレイから発光素子４０２によってディスプレイパネル１１８において表示される合成仮想画像２０２を形成する際に、１つまたは複数の隣接するプロジェクタと重畳する。この図に示されるように、アクティブ屈折面積（ここで「フィルファクタ」と称される）は、約１００％である。すなわち、小型レンズアレイ１２４に向かって光を導く面積（すなわち、ディスプレイパネル１１８）の、任意の隙間を含む小型レンズアレイによって占有された総連続面積の比は、約１００％である。

高フィルファクタを有する従来のディスプレイは、仮想画像平面上のいくつかの要素画像（たとえば、４〜６個の要素画像）をしばしば重畳する。高フィルファクタを有するディスプレイは、仮想画像２０２からの複数の要素画像１２２における重畳データを有する。従って、断面図５００によって示され、図４に関して説明されたように、ピクセルアパーチャマスク４０４は、ディスプレイパネル１１８の光エミッタと小型レンズアレイ１２４との間に位置決めされる。ピクセルアパーチャマスク４０４は、ディスプレイパネル１１８のフィルファクタを実際に減らさないということが留意されるべきである。図２の構成と同様に、小型レンズアレイ１２４に向かって光を導く表面積は、約１００％である。しかし、追加的なピクセルアパーチャマスク４０４は、小型レンズアレイ１２４において受信された光を狭め、画像データが発光素子４０２の面積の部分のみに帰属されることを可能とする。

たとえば、アパーチャ４０６の物理寸法に基づき、ピクセルアパーチャマスクを通過した、小型レンズ１２６−１において受信された光は、発光素子４０２−１のサブ領域４０８−１に帰属され得る。発光素子４０２−１のサブ領域４０８−１は、図３の要素画像１２２−２に類似し、仮想画像２０２の領域２０６内のサブ領域２０６−１に対応する。同様に基づき、アパーチャ４１０を通過した、小型レンズ１２６−２において受信された光は、発光素子４０２−２のサブ領域４０８−２に帰属され得、アパーチャ４１２を通過した、小型レンズ１２６−３において受信された光は、発光素子４０２−３のサブ領域４０８−３に帰属され得る。これらのサブ領域４０８−２および４０８−３は、図３の要素画像１２２−５，１２２−８と類似し、仮想画像２０２の領域２０６内のサブ領域２０６−２，２０６−３それぞれに対応する。従って、ピクセルアパーチャマスク４０４は、ディスプレイパネル１１８の実際のフィルファクタを変化させることなく、「有効フィルファクタ」（すなわち、小型レンズ１２６の観点から経験されるフィルファクタ）を減少させることによってより大きい解像度を可能とし、これによって仮想画像２０２の空間的解像度を増加させ、同時に出力輝度を増加させるために（たとえば図３に対して）より大きいエミッタ表面積を維持する。

図４において例示された構成が図２の構成に対して出力輝度を増加させるための増加されたエミッタ表面積を提供するが、ピクセルアパーチャマスク４０４の存在は、輝度をη^２だけ増加させ、ここでη＝ＮＡ_lenslet／ＮＡ_elem（ＮＡ_lenslet＝小型レンズのアパーチャ数およびＮＡ_elem＝要素画像のアパーチャ数）ということが留意されるべきである。従って、図５の構成は、各発光素子４０２の正面に位置決めされたマイクロレンズ５０２をさらに含む。図５において例示されるように、マイクロレンズ５０２は、ディスプレイパネル１１８とピクセルアパーチャマスク４０４との間に配置され、これによりマイクロレンズ５０２は、アパーチャを通過した、発光素子４０２によって放出された光を集束するように構成される。従って、マイクロレンズ５０２をピクセルアパーチャマスク４０４と組み合わせることで、ディスプレイパネル１１８の実際のフィルファクタを変化させることなく、「有効フィルファクタ」（すなわち、小型レンズ１２６の観点で経験されるフィルファクタ）を減少させることによってより大きい解像度を可能とし、これによって仮想画像２０２の空間的解像度を増加させ、同時にマイクロレンズ５０２を使用して出力輝度および小型レンズ１２６への光スループットを増加させるために（たとえば、図３に対して）より大きいエミッタ表面積から放出される光を収束させる。

断面図５００は、任意のピクセルアパーチャマスク４０４内のアパーチャの大きさおよび形状に関して詳細を提供しないということが留意されるべきである当業者は、本開示の範囲から逸脱することなく、様々な大きさおよび形状の開口部が使用され得ることを認識するであろう。たとえば、実質的に正方形または長方形のアパーチャは、使用され得る。断面図５００が、ピクセルアパーチャマスク４０４とディスプレイパネル１１８と小型レンズアレイ１２４との間の空間を例示するが、空間は、明確さおよび関係性の目的で提供されるということがさらに留意されるべきである。たとえば、さまざまな実施形態では、ピクセルアパーチャマスク４０４は、ディスプレイパネル１１８または小型レンズアレイ１２４と直接接触するように配置され得、または本開示の範囲から逸脱することなくディスプレイパネル１１８または小型レンズアレイ１２４と直接接触するガラス表面に適用され得る。

図６は、いくつかの実施形態に従い高解像度ライトフィールドディスプレイを生成するための低フィルファクタディスプレイパネルを使用してライトフィールドフレームをレンダリングするためのニアアイディスプレイシステム１００の動作方法６００を例示する。方法６００は、左眼ディスプレイ１１０または右眼ディスプレイ１１２のうちの１つのためのライトフィールドフレームのレンダリングおよび表示のための処理の１回の繰り返しを例示し、このため例示された処理は、ディスプレイ１１０，１１２の各々に対して反復して並列に行われ、異なる時点において各眼のためのライトフィールドフレームの異なるストリームまたはシーケンスを生成し表示し、このため３ＤのオートステレオスコピックＶＲまたはＡＲ体験をユーザに提供する。

ライトフィールドフレームが生成され表示されるために、方法６００は、ブロック６０２において開始し、レンダリングコンポーネント１０４は、ライトフィールドフレームとしてユーザの対応する眼に表示されるべき画像コンテンツを識別する。少なくとも１つの実施形態では、レンダリングコンポーネント１０４は、ジャイロスコープ、加速度計、磁力計、全地球測位システム（ＧＰＳ）センサ等といった姿勢に関連付けられた様々なセンサからのデータを表すＩＭＵ情報１５２を受信し、ＩＭＵ情報１５０からディスプレイ１１０，１１２をユーザの眼の近くに取り付けるために使用された装置１１４（たとえば、ＨＭＤ）の現在の姿勢を決定する。このＩＭＵ情報１５２から、ＣＰＵ１３６は、レンダリングプログラム１４４を実行して、被写シーンまたは対象物の対応する現在の視点を決定することができ、この視点とレンダリング情報１４８として提供されるシーンまたは対象物のグラフィカルなおよび空間的な描写とから、レンダリングされるべきイメージを決定する。

ブロック６０４において、レンダリングプログラム１４４は、ＣＰＵ１３６を操作して、ソース物体（たとえば、図２の仮想画像２０２）を空間的ドメインにおいて疎にサンプリングし、ブロック６０２におけるレンダリングされるべきイメージの決定に基づき要素画像を生成する。上述のように、各要素画像は、ブロック６０２において決定されるような、対応する視点または仮想カメラ位置からの対象物またはシーンの画像またはビューを提示する。さまざまな実施形態では、ソース物体を疎サンプリングすることは、仮想画像平面内の他の要素画像内の画像データと重畳する各生成された要素画像内の画像データ量を最小化することを含む。

たとえば、今度は図７を参照して、表示のため仮想画像を疎にサンプリングするように構成される低フィルファクタディスプレイの断面図７００の図（たとえば、図３の実施形態）が例示される。小型レンズアレイ１２４の小型レンズ１２６の各々は、ユーザの眼（たとえば、図１の眼１３２）上への別個の「プロジェクタ」として機能し、各「プロジェクタ」は、要素画像１２２からディスプレイパネル１１８において表示される合成仮想画像２０２を形成する際に、１つまたは複数の隣接するプロジェクタと重畳する。この図に示されるように、フィルファクタは、約３３％である。すなわち、小型レンズアレイ１２４に向かって光を導く面積（すなわち、ディスプレイパネル１１８のピクセル１２２といった発光素子）の、任意の隙間を含む小型レンズアレイによって占有された総連続面積の比は、約３３％である。

例示されるように、所与のパターンによって表されたピクセル１２２は、ソース仮想画像２０２の同じ局所領域（たとえば、局所領域２０４〜２０６のうちの１つ）からのサンプルである。しかし、ピクセル１２２は、完全に同じ場所においてサンプリングされず、したがって一意の強度値（すなわち情報コンテンツ）を有する。たとえば、ピクセル１２２−１は、サブ領域２０４−１の疎サンプリングに対応し、ピクセル１２２−４は、サブ領域２０４−２の疎サンプリングに対応する。両方のピクセル１２２−１および１２２−４は、両方とも同じ局所領域２０４においてサンプリングし、それらは、異なる眺望をキャプチャし、互いに対して一意の強度値を有する。さらに、例示されるように、ピクセル１２２−２は、サブ領域２０６−１の疎サンプリングに対応し、ピクセル１２２−３は、サブ領域２０８−１の疎サンプリングに対応する。従って、小型レンズ１２６−１を介する提示のためにピクセル１２２−１，１２２−２，１２２−３に基づきレンダリングされる要素画像は、（たとえば、３つの表示される小型レンズすべてがさまざまな小型レンズにおいて同じ仮想画像データの複数のコピーを受信する図２のディスプレイとは対照的に）たとえば、小型レンズ１２６−２を介する提示のためのピクセル１２２−４，１２２−５，１２２−６に基づきレンダリングされる要素画像に対して一意のデータを含む。

同様に、図４〜図５およびそれらに関連付けられた開示はまた、より大きい空間的解像度を有し、要素画像間の画像データにおける重畳が少ない要素画像の生成を説明する。代替的な実施形態では、レンダリングプログラム１４４は、ＣＰＵ１３６を操作してソース物体（たとえば、図２の仮想画像２０２）を空間的ドメインにおいて疎にサンプリングさせ、仮想画像平面内の画像データ内の重畳を有さない要素画像を生成し、これによってシステムの効率を最大化する。ＧＰＵはその後、ブロック６０６においてライトフィールドフレームをレンダリングし、ユーザの眼１３２に表示するための対応するコンピュータ計算ディスプレイ１１０，１１２のうちの１つにライトフィールドフレームを提供する。追加的に、さまざまな実施形態では、ここで説明される疎サンプリングレンダリング動作は、可変焦点レンズと組み合わされ、表示されるイメージの解像度に追加的な改善を達成するために仮想画像平面をシフトし得る。

図８は、いくつかの実施形態に従うライトフィールド超解像の例を示す図である。ライトフィールドディスプレイを用いて、たとえば、ユーザの図１の眼１３２の網膜において知覚される画像は、複数の要素画像の合成である。要素画像の各々は、アレイ（たとえば、図１のアレイ１２４）内の小型レンズ（たとえば、図１の小型レンズ１２６）を通過し、重畳する合成画像を形成するために重畳する。例示されるように、要素画像８０２，８０４，８０６の網膜画像は、重畳サブピクセル要素（たとえば、赤サブピクセル８１０、青サブピクセル８１２、および緑サブピクセル８１４）を有する集合ライトフィールドピクセルグリッド８０８を形成するために重畳する。小型レンズアレイ１２４がピクセル格子グリッドと整列されるときに、サブピクセル要素の網膜画像は、示されるように重畳する。

いくつかの実施形態では、ディスプレイパネル１１８に対する小型レンズアレイ１２４の回転は、ライトフィールド超解像をもたらす。ディスプレイピクセル（すなわち、サンプルグリッド）が（たとえば、小型レンズアレイ１２４および／またはディスプレイパネル１１８のいずれかの回転を通して）小型レンズアレイ１２４に対して回転されるときに、隣接する要素画像の各々からのサブピクセルの仮想画像は、もはや完全に重畳しない。回転は、複合遷移（たとえば、サブピクセル位置のｘ軸遷移およびｙ軸遷移）であり、これによって網膜において知覚される仮想画像におけるずれを引き起こす。示されるように、回転は、１つの要素画像のピクセルグリッドの、その隣接するグリッドに対するｘ軸位置およびｙ軸位置におけるサブピクセルシフトとしてモデル化される。

いくつかの角度において、サブピクセルは、完全にインターリーブされる。例示されるように、回転後、要素画像８１６，８１８，８２０のピクセルグリッドは、１つの方向に半ピクセル、他の方向に半ピクセルの整数個だけ分離されるようになり、隣接する要素画像のピクセルのインターレーシングをもたらす。画像情報は、このため隣接する要素画像から（たとえばサブピクセルの間のディスプレイの非発光部分のため）合成網膜画像８２２の通常黒の面積へと向けられ、これによって１／Ｎ倍の解像度の増加を作成し、ここでＮは同じピクセルで共有される要素画像の数（たとえば、冗長係数）を提示する。

図８の実施形態では、名目的に重畳するピクセルの仮想画像を半ピクセルピッチの距離だけお互いから離れて変位させることによって、得られる合成網膜画像８２２は、２倍増加された解像度を有する。追加的に知覚されるピクセルは、追加的な画像情報を提供する隣接する要素画像からの寄与である。たとえば、サブピクセル８２４は、２つの異なる要素画像から青サブピクセルおよび緑サブピクセルを重畳した結果である。

各方向に２つの要素画像を回転させる例示的文脈においてここに記載されるように、当業者は、より多くの要素画像が色チャネルに対する隙間を埋めるということを認識するだろう。小型レンズアレイ１２４に対してディスプレイパネル１１８をシフト回転することによる超解像は、１／（フィルファクタ）の係数によって解像度における増加のために拡張され得る。このため、ソース画像を再サンプルするために網膜上の回転された仮想サンプリンググリッドに従いレンダリング機能を調整することによって、サブピクセル要素の網膜画像が重畳する（たとえば、小型レンズアレイ１２４が、ピクセル格子グリッドと整列される）ときに対して、大きい解像度で冗長性の低い合成網膜画像が生成される。

他の実施形態では、サブピクセルのインターリーブによる超解像は、小型レンズ−ディスプレイ回転のためのｘ軸遷移およびｙ軸遷移の代わりに、小型レンズ−ディスプレイ距離（たとえば、図３の小型レンズアレイ１２４とディスプレイパネルとの間のｚ軸距離）をシフトすることによってまた達成され得る。インターリーブされた条件を達成するために、小型レンズ−ディスプレイ距離は、Δｚ＝ｆ_ａ ^２ΔΦ’＝ｆ_ａｐ／ｄ_ａＮの量だけシフトされ、ここでΔΦ’＝インターリーブされた状態から異常画像平面へのジオプタ距離、ｆ_ａ＝小型レンズ焦点長、ｐ＝ピクセルの大きさ、ｄ_ａ＝小型レンズアパーチャの大きさ、およびＮ＝ライトフィールド冗長性ファクタ（たとえば、１／（フィルファクタ））である。インターリーブされた状態から異常画像平面へのジオプタ距離ΔΦ’は、式ΔΦ’＝（ｐ／Ｎ）／（ｄ_ａｆ_ａ）によって表され、ここでｐ／Ｎ＝光エミッタの大きさ、ｄ_ａ＝小型レンズアパーチャの大きさ、およびｆ_ａ＝小型レンズ焦点長である。同様に、エイリアシングされた重畳条件（すなわち異常画像平面）間のジオプタ距離は、式ΔΦ＝ｐ／（ｄ_ａｆ_ａ）によって表され、ｐ＝ピクセルの大きさ、ｄ_ａ＝小型レンズアパーチャの大きさ、ｆ_ａ＝小型レンズ焦点長である。

仮想画像のそのようなインターリーブされた条件内の奥行き範囲（たとえば、図３の仮想画像２０２）は、小型レンズ被写界深度または異常画像再構造の知覚を遮断する等のユーザの眼の調整範囲によって制限され、これは、ｐ／（ｄ_ａｆ_ａ）だけ離間され、ここでｐ＝ピクセルの大きさ、ｄ_ａ＝小型レンズアパーチャの大きさ、およびｆ_ａ＝小型レンズの焦点長である。理想的にη＝ＮＡ_lenslet／ＮＡ_elem（すなわち、ＮＡ_lenslet＝小型レンズのアパーチャ数およびＮＡ_elem＝要素画像のアパーチャ数）であるが、フィルファクタが１を超えることができず、ライトフィールドディスプレイ解像度がディスプレイパネル１１８のネイティブのディスプレイパネル解像度を超えることができないということを考慮すると、任意の値η＜１は、解像度ゲインを産む。このようにして、小型レンズアレイ１２４とディスプレイパネル１１８との間の相対距離をシフトすることによって、大きい解像度の合成網膜画像が生成される。

いくつかの実施形態では、上述の技術のある局面は、ソフトウェアを実行する処理システムの１つまたは複数のプロセッサによって実施されてもよい。ソフトウェアは、非一時的コンピュータ可読記憶媒体上に格納されるかそうでなければそこに有形に具現化された実行可能な命令の１つまたは複数のセットを備える。ソフトウェアは、１つまたは複数のプロセッサによって実行されると、当該１つまたは複数のプロセッサに上述の技術の１つまたは複数の態様を行わせるように操作するための、命令および特定のデータを含むことができる。非一時的コンピュータ可読記憶媒体は、例えば、磁気または光ディスク記憶装置、フラッシュメモリなどの固体記憶装置、キャッシュ、ランダムアクセスメモリ（ＲＡＭ）、または他の１つまたは複数の不揮発性メモリ装置等を含むことができる。非一時的コンピュータ可読記憶媒体に記憶された実行可能な命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、または１つまたは複数のプロセッサによって解釈されるかそうでなければ実行可能である他の命令フォーマットであり得る。

コンピュータ可読記憶媒体は、命令および／またはデータをコンピュータシステムに提供するために、コンピュータシステムによって使用中にアクセス可能な任意の記憶媒体または記憶媒体の組み合わせを含むことができる。そのような記憶媒体は、光媒体（例えばコンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク）磁気媒体（例えばフロッピー（登録商標）ディスク、磁気テープ、または磁気ハードドライブ）揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）またはキャッシュ）不揮発性メモリ（例えば、読み出し専用メモリ（ＲＯＭ）またはフラッシュメモリ）、または微小電気機械システム（ＭＥＭＳ）ベースの記憶媒体を含むことができるが、これらに限定されない。コンピュータ可読記憶媒体は、コンピューティングシステムに埋め込まれるか（例えば、システムのＲＡＭまたはＲＯＭ）、コンピューティングシステムに固定的に取り付けられるか（例えば、磁気ハードドライブ）、コンピューティングシステムに取り外し可能に取り付けられるか（例えば、光ディスクまたはユニバーサルシリアルバス（ＵＳＢ）ベースのフラッシュメモリ）、有線または無線ネットワークを介してコンピュータシステムに結合され（例えば、ネットワークアクセス可能ストレージ（ＮＡＳ））てもよい。

一般的な説明において上述されたすべての動作または要素が必須とされるわけではなく、特定の動作またはデバイスの一部は必須ではなく、説明したものに加えて、１つ以上のさらに他の動作が実行され得、または１つ以上のさらに他の要素が含められる得る。さらにまた、動作が列挙される順序は、必ずしもそれらが実行される順序とは限らない。また、概念は、特定の実施形態を参照して説明された。しかし、当業者は、本開示の範囲から逸脱することなく、下記の特許請求の範囲に記載されるように、様々な修正および変更が可能であることを理解するであろう。したがって、本明細書および図面は、限定的な意味ではなく例示的な意味において考慮されるべきであり、そのような修正は、すべて本開示の範囲内に含まれることが意図される。

利益、他の利点、および問題に対する解決策は、特定の実施形態に関して上記で説明された。しかし、利益、利点、問題に対する解決策、および任意の利益、利点、解決策を生ずるかより顕著にし得る特徴は、任意のまたはすべての請求項の、決定的なまたは必須のまたは不可欠の機能の特徴として解釈されるべきではない。さらに、本明細書の教示の利益を享受する当業者にとって明らかなように、異なる均等の方法で本開示の主題を修正し実施することができるため、上記に開示した特定の実施形態は例示にすぎない。下記の特許請求の範囲に記載されているもの以外に、本明細書に示されている構造または設計の詳細に対する限定は意図されていない。したがって、上記に開示された特定の実施形態は、変更または変形されてもよく、そのような変形形態は、すべて開示された主題の範囲内にあると考えられることが明らかである。したがって、ここで求められる保護は、下記の特許請求の範囲に記載の通りである。

Claims (19)

1. ニアアイディスプレイシステム（１００）であって、
   ソース画像の疎サンプリングに少なくとも部分的に基づいて要素画像のアレイ（１２２）を生成し、前記要素画像のアレイ（１２２）の各個々の要素画像内に含まれる画像データの重畳を減少させるためのレンダリングコンポーネント（１０４）と、
   前記要素画像のアレイ（１２２）を含む一体型ライトフィールドフレーム（１２０）を表示するためのディスプレイパネル（１１８）と、
   前記一体型ライトフィールドフレーム（１２０）をユーザの眼（１３２）に提示するための小型レンズアレイ（１２４）とを備える、ニアアイディスプレイシステム。
2. 前記ディスプレイパネル（１１８）と前記小型レンズアレイ（１２４）との間に配置されたピクセルアパーチャマスク（４０４）をさらに備え、前記ピクセルアパーチャマスク（４０４）は、前記ディスプレイパネル（１１８）の有効フィルファクタを前記ディスプレイの実際のフィルファクタに対して減少させるように構成されたアパーチャ（４０６，４１０，４１２）を含む、請求項１に記載のニアアイディスプレイシステム。
3. 前記ピクセルアパーチャマスク（４０４）の前記アパーチャ（４０６，４１０，４１２）は、画像データを前記小型レンズアレイ（１２４）に伝達するために前記ディスプレイパネル（１１８）の各発光素子（４０２）の部分を露出させる、請求項２に記載のニアアイディスプレイシステム。
4. 前記レンダリングコンポーネント（１０４）は、前記要素画像のアレイ（１２２）を、
   各発光素子（４０２）の前記露出された部分（４０８）に対応するソース画像の領域を識別することによって生成するためのものである、請求項３に記載のニアアイディスプレイシステム。
5. 前記ディスプレイパネル（１１８）と前記ピクセルアパーチャマスク（４０４）との間に配置された複数のマイクロレンズ（５０２）をさらに備え、前記マイクロレンズ（５０２）は、前記小型レンズアレイ（１２４）への光スループットを増加させるように構成される、請求項２に記載のニアアイディスプレイシステム。
6. 前記レンダリングコンポーネントは、前記要素画像のアレイ（１２２）を、
   前記アレイの各個々の要素画像が前記アレイ内のすべての他の要素画像に対して一意である一意の画像データを含むように前記要素画像のアレイ（１２２）を生成することによって、生成するためのものである、請求項１に記載のニアアイディスプレイシステム。
7. 前記小型レンズアレイ（１２４）は、各個々の要素画像（８０２，８０４，８０６）からのピクセル（８１０，８１２，８１４）の仮想画像が前記アレイ内のすべての他の要素画像に対して平行移動されるように、前記ディスプレイパネル（１１８）に対して回転される、請求項１に記載のニアアイディスプレイシステム。
8. 各個々の要素画像（８１６，８１８，８２０）からのピクセル（８２４）の前記仮想画像は、前記アレイ内の１つまたは複数の隣接する要素画像のピクセルの仮想画像間にインターリーブされる、請求項７に記載のニアアイディスプレイシステム。
9. レンダリングシステムであって、
   少なくとも１つのプロセッサ（１３６，１３８，１４０）と、
   少なくとも１つの姿勢関連センサ（１５４）からのデータを受信するための入力とを備え、前記データは、ニアアイディスプレイパネル（１１８）に対する被写体の現在の視点を表し、前記レンダリングシステムはさらに、
   実行可能な命令の組を格納するためのストレージコンポーネント（１４２）を備え、前記実行可能な命令の組は、前記少なくとも１つのプロセッサに、前記被写体（２０２）の疎サンプリングに少なくとも部分的に基づいて要素画像のアレイ（１２２）を備える一体型ライトフィールドフレーム（１２０）をレンダリングさせ、前記要素画像のアレイの各個々の要素内に含まれる画像データの重畳を減少させるように構成される、レンダリングシステム。
10. 前記実行可能な命令の組は、前記少なくとも１つのプロセッサに前記一体型ライトフィールドフレームを、
    前記被写体（２０２）の部分を前記ニアアイディスプレイパネル（１１８）の発光素子によって表示されるべき１つまたは複数の要素画像に帰属させることによって、レンダリングさせるように構成される、請求項９に記載のレンダリングシステム。
11. 前記実行可能な命令の組は、前記少なくとも１つのプロセッサに前記一体型ライトフィールドフレームを、
    ピクセルアパーチャマスク（４０４）によって露出された前記発光素子（４０８）の各々の部分を決定することと、
    前記被写体（２０２）の部分を前記ニアアイディスプレイパネル（１１８）の前記発光素子（４０２）の前記露出された部分（４０８）によって表示されるべき１つまたは複数の要素画像に帰属させることによって、レンダリングさせるように構成される、請求項９に記載のレンダリングシステム。
12. 前記実行可能な命令の組は、前記少なくとも１つのプロセッサに前記一体型ライトフィールドフレームを、
    前記アレイの各個々の要素画像が前記アレイ内のすべての他の要素画像に対して一意である一意の画像データを含むように、前記要素画像のアレイ（１２２）を生成することによって、レンダリングさせるように構成される、請求項９に記載のレンダリングシステム。
13. 前記実行可能な命令の組は、前記少なくとも１つのプロセッサに前記一体型ライトフィールドフレームを、
    アレイ内の１つまたは複数の隣接する要素画像のピクセルの仮想画像間にインターリーブされたピクセル（８２４）の仮想画像を有する要素画像のアレイの各個々の要素画像（８１６，８１８，８２０）に基づき前記ソース物体（２０２）をサンプリングすることによって、レンダリングさせるように構成される、請求項９に記載のレンダリングシステム。
14. ニアアイディスプレイシステムにおける方法であって、
    少なくとも１つの姿勢関連センサ（１５４）を使用して、前記ニアアイディスプレイシステム（１００）のディスプレイパネルに対する被写体の現在の視点を決定することと、
    前記被写体の前記現在の視点の疎サンプリングに基づき一体型ライトフィールドフレーム（１２０）を形成する要素画像のアレイ（１２２）を生成し、前記アレイの各個々の要素画像内に含まれる画像データの重畳を減少させることと、
    前記要素画像のアレイ（１２２）を前記一体型ライトフィールドフレーム内の位置にレンダリングすることと、
    前記一体型ライトフィールドフレーム（１２０）を前記ディスプレイパネル（１１８）に表示することとを含む、方法。
15. 前記要素画像のアレイを生成することは、
    ピクセルアパーチャマスク（４０４）内のアパーチャ（４０６，４１０，４１２）によって露出された前記ディスプレイパネル（１１８）の複数の発光素子（４０２）の各々の露出された部分（４０８）を識別することを含む、請求項１４に記載の方法。
16. 前記要素画像のアレイを生成することは、
    各発光素子（４０２）の前記露出された部分（４０８）に対応するソース画像（２０２）の領域を識別することを含む、請求項１５に記載の方法。
17. 前記一体型ライトフィールドフレームを前記ディスプレイパネルに表示することは、 前記ディスプレイパネル（１１８）と前記ピクセルアパーチャマスク（４０４）との間に配置されたマイクロレンズ（５０２）の組を使用して前記アパーチャ（４０６，４１０，４１２）を通過した前記要素画像のアレイを表す光を集束させることを含む、請求項１５に記載の方法。
18. 各個々の要素画像（８０２，８０４，８０６）からのピクセル（８１０，８１２，８１４）の仮想画像が前記アレイ内のすべての他の要素画像に対して平行移動されるように、前記ディスプレイパネル（１１８）に対して前記マイクロレンズ（５０２）の組を回転させることをさらに含む、請求項１７に記載の方法。
19. 前記ディスプレイパネル（１１８）に対して前記マイクロレンズ（５０２）の組を回転させることは、各個々の要素画像からのピクセル（８２４）の前記仮想画像を前記アレイ内の１つまたは複数の隣接する要素画像のピクセルの仮想画像の間にインターリーブする、請求項１８に記載の方法。