JP2020513595A

JP2020513595A - 正しい単眼奥行き手がかりを持つニアアイシーケンシャルライトフィールドプロジェクタ

Info

Publication number: JP2020513595A
Application number: JP2019547200A
Authority: JP
Inventors: スルカ・トマシュ
Original assignee: クリアル・スリーディー・ソシエテ・アノニム
Priority date: 2016-11-15
Filing date: 2017-09-19
Publication date: 2020-05-14
Anticipated expiration: 2037-09-19
Also published as: US20190293939A1; JP2022046672A; CN110168427A; JP7005644B2; IL266512A; KR20190084066A; WO2018091984A1; CA3042460A1; JP7311581B2; CA3042460C; EP3542206A1; KR102222825B1; AU2017360746A1; US11960083B2; CN110168427B; AU2017360746B2; EP3542206B1

Abstract

【課題】人工のライトフィールドを作り出し、観察者の眼に届ける。【解決手段】本発明は、ニアアイ投影画像をユーザの眼に投影するためのライトフィールドプロジェクタであって、複数の入射ライトフィールド（３８、４０）を順次発光するように構成された複数の照明点光（３４、３６）を備える光源（２８）と、一連のソース画像を提供するように構成された空間光変調器（３０）と、を備える。空間光変調器（３０）はさらに、複数のピンホール開口ライトフィールド（１６、１８）を順次投影するように、入射光フィールド（３８、４０）のそれぞれをソース画像に従って変調するように構成される。各ピンホール開口ライトフィールド（１６、１８）は、ソース画像からのライトフィールド構成要素を運ぶ。順次投影されたピンホール開口ライトフィールド（１６、１８）のそれぞれは、交差仮想ピンホール（２０、２２）を形成し、そこを通してソース画像からの構成要素が可視である。各仮想ピンホール（２０、２２）は、照明点光（３４、３６）のサイズによって決定され、互いに空間的にシフトされた開口絞りを備え、ニアアイ投影画像は仮想ピンホール（２０、２２）を通して観察される。

Description

本発明は、ユーザの眼に虚像を投影するために最適化された単眼奥行手がかりを持つライトフィールドプロジェクタに関する。本発明はさらに、前記ライトフィールドプロジェクタを備える拡張現実感装置に関する。

従来の３次元（３Ｄ）ディスプレイ及びプロジェクタは、主に両眼性手がかりによって投影画像の奥行きの錯覚を与え、また、ヘッドマウントディスプレイ及び動き追跡能力を有するニアアイプロジェクタの場合には、動きの手がかりももたらす。他のマイナーな奥行き手がかりも通常存在する。立体３Ｄディスプレイ及びプロジェクタは、各眼の異なる視点から見た３Ｄシーンの画像に対応する画像を各観察者の眼に送達し、可能であれば、人工的に生成された３Ｄシーンで彼の変化する視点を模倣するために、観察者の頭の動きに従って画像を変える。従来の３Ｄディスプレイ及びプロジェクタでは、両眼及び動きの奥行き手がかりは通常、眼の調節作用及び有限の被写界深度に起因する画像のぼけなどの単眼の奥行き手がかりと一致しない。

目は可変レンズを備え、実世界では、眼の網膜に鮮明な画像を投影するには、レンズを、観察対象の距離に合焦させる必要がある。別の距離にある物体は焦点が合っていないので、網膜上のそれらの画像はぼやけている。従来の３Ｄディスプレイ及びプロジェクタは、しかしながら、平面スクリーンから、又は走査レーザビーム又はほぼゼロの開口絞りを有するライトフィールド（明視野）を使用する直接網膜投影によって、各眼に画像を提供する。前者は、光学システムにおいて平面スクリーンの光学像の距離に目を合焦させることを必要とする。これ以降、「光学像」という用語は、光学系を通して見たときの物体の見かけの位置を意味する。平面スクリーン上に表示された写真は、全て鮮明であるか、又はそれらに既にぼけが存在しているかのいずれかであり、眼の調節によってぼやけないようにすることはできない。目がディスプレイの光学画像の距離以外の任意の距離に合焦するとき、表示された写真の網膜画像はぼやけている。網膜投影は、網膜上に投影された画像の常に合焦された画像を生成し、眼の調節は画像のサイズ及び位置のみに影響を及ぼす。常に合焦しているライトフィールドは、光路中の塵埃のような全ての欠陥の影を運ぶ。

３Ｄシーンの人工的に投影された光の中で正しい単眼奥行き手がかりを作成するため、次の概念を含むいくつかの概念が提案された。（ｉ）ホログラフィックディスプレイ。（ｉｉ）デジタルマイクロミラーデバイス（ＤＭＤ）などのディスプレイと組み合わされた自由曲面ミラーなどの高速可変焦点光学素子を有するニアアイプロジェクタ。（ｉｉｉ）ディスプレイの光学像の距離を能動的に制御し、測定された又は推定された眼の焦点距離に従って表示された写真に対応するぼけを生じさせる光学系を備えたディスプレイ。（ｉｖ）マイクロレンズアレイ又はポイントライトアレイバックライトによって表示画像を空間的に多重化するディスプレイ。それぞれの概念には、特定の長所と短所がある。ホログラフィックディスプレイは、理論的には、人工の３Ｄシーンの完全に正しいライトフィールドを提供可能であるが、回折や色収差の影響を受け、大量の入力データ、コヒーレント光源、高解像度の位相及び振幅変調を必要とする。光の高速可変焦点レンズ及び自由曲面ミラーは、量産されていない繊細な部品であり、それらの光学特性は光学的欠陥の影響を受ける。スクリーンの光学像の能動的に制御された距離及び表示された写真における人工的なぼけを有するプロジェクタは、眼の焦点距離の測定又は推定、並びにその結果としてのプロジェクタ光学系及びデジタルぼけの適合を必要とする。この概念は、個々の眼の間の違いによって複雑となる測定誤差という問題を有し、そしてこの概念は確かに正しいライトフィールドを提供せず、それはライトフィールドの効果を模倣するだけである。マイクロレンズアレイ又は透明空間光変調器を持つ点光バックライトによる画像の空間多重化の概念による商業的に魅力的な画像解像度の達成は、網膜像のぼけを眼の焦点距離に正しく依存させるために人工シーンの各画像点が同時に複数回表示されるので特別な小ピッチ高解像度ディスプレイを必要とする。拡張現実アプリケーションにおけるシースルーディスプレイとしてのそれらの使用は、マイクロレンズアレイは不透明ディスプレイを含み、点−光アレイの概念は大型で空間を占有するという事実によって複雑になる。ネマティック液晶又は有機発光ダイオードディスプレイを用いた画像の時間多重化に基づく他の複数の概念は、これらのディスプレイのリフレッシュ時間が短いという問題がある。

従来のディスプレイ及びプロジェクタは、正しい単眼奥行き手がかりを有するライトフィールドを生成しない。開発中であることが知られているライトフィールドディスプレイ及びプロジェクタは、特別な構成要素に基づいているか、複数要因が満足できる状態ではないか、又は技術的制限のため近い将来には使用され得ない。さらに詳細は下記を参照されたい。

本発明は、デジタル処理された情報をユーザの眼に投影する電子装置及び光学装置に関する。より具体的には、本発明は、視覚シーンの光を作り出し、その光を眼のすぐ近くから眼に投影する装置に関する。投影された光は、実世界から眼に入る自然光と重ね合わせてもよい。投影された人工光は、現実の世界と同様に投影された視覚シーンにおいて、受け取る眼が異なる距離の対象物に自然に焦点を変えることができて、対象物の現実的なぼけ及び被写界深度を観察できるという、特性を有する。本発明はまた、形状要因は小さく、コンテキスト上のデジタル情報を自然に観察される実世界に重ね合わせる、日常的なウェアラブルアイウェアとして使用され得る装置に関する。

本発明の目的は、人工のライトフィールドを作り出し、そのライトフィールドを観察者の眼に届けることである。より具体的には、ライトフィールドプロジェクションは、眼の近くからライトフィールドを眼へ投影し、投影されたライトフィールドを、実世界から観察者の眼の瞳孔に入る光と混合可能な、小型の形状要因の装置で、構成される。

開示された発明は、観察者に正しい単眼奥行き手がかりを提供するニアアイライトフィールドプロジェクタである。より特定的には、プロジェクタは、観察者の瞳への複数の常に合焦しているライトフィールド成分の時間多重化及び順次投影によって人工ライトフィールドを生成する。視力の自然な遅延時間により、観察者は、合成されたライトフィールドを知覚し、そして正しい眼の調節及び関連する画像のぼやけのような現実的な単眼奥行き手がかりを経験する。

本発明に開示された（使用者の眼に近い）ニアアイライトフィールドプロジェクタは、現実的な単眼奥行き手がかりを有するライトフィールドを生成し、これは、現実的な有限の被写界深度に対する観察者の知覚及び人工的に生成された３Ｄシーンにおける正しい調節を作り出す。ライトフィールドプロジェクタは、実質的に無限でほぼ連続的な範囲の深さ、高い画像解像度、低い画像持続性を提供し、信頼性の高い現在量産されている構成要素を用いて実行可能であり、拡張された実際の適用のために、薄型透明メガネを持つシステムに組み込まれてもよい。

このプロジェクタは、人間又は動物の眼に３Ｄシーンのライトフィールドを提供する。

ライトフィールドプロジェクタのユーザは、投影されたライトフィールドにおいて現実的な単眼奥行き手がかりを経験する。このプロジェクタは、正しい眼球調節機能を備えた３Ｄバーチャル及び拡張現実情報の配信に適する。

本発明は、例として与えられ、図によって示される実施形態の説明を用いてよりよく理解されるであろう。

一実施形態による、ピンホール開口ライトフィールドの投影を示す図である。一実施形態による、別のピンホール開口ライトフィールドの投影を示す図である。一実施形態による、複数のピンホール開口ライトフィールドからの広開口ライトフィールドを示す図である。一実施形態による、ピンホール開口ライトフィールドの網膜像を示す図である。一実施形態による、別のピンホール開口ライトフィールドの網膜像を示す図である。一実施形態による、２つのピンホール開口ライトフィールドからなる網膜像を示す図である別の実施形態による、２つのピンホール開口ライトフィールドからなる網膜像を示す図である。別の実施形態による、２つのピンホール開口ライトフィールドから構成される網膜像を示す図である。一実施形態による、９つのピンホール開口ライトフィールドからなるライトフィールドの網膜像を示す図である。別の実施形態による、９つのピンホール開口ライトフィールドからなるライトフィールドの網膜像を示す図である。別の実施形態による、９つのピンホール開口ライトフィールドからなるライトフィールドの網膜像を示す図である。一実施形態による、１００個のピンホール開口ライトフィールドからなるライトフィールドの網膜像を示す図である。別の実施形態による、１００個のピンホール開口ライトフィールドからなるライトフィールドの網膜像を示す図である。別の実施形態による、１００個のピンホール開口ライトフィールドからなるライトフィールドの網膜像を示す図である。一実施形態による、照明ステップ中のライトフィールドプロジェクタの概略図を表す。別の照明ステップ中の、図４ａのライトフィールドプロジェクタの概略図を表す。複数の照明ステップを示す、図４ａのライトフィールドプロジェクタの概略図を表す。別の実施形態によるライトフィールドプロジェクタを表す図である。順次投影中の図５ａのライトフィールドプロジェクタを表す。別の実施形態によるライトフィールドプロジェクタを表す図である。一実施形態による、連続照明ステップを示す図である。一実施形態による、４つのハーフトーン画像構成要素を示す図である。別の実施形態による順次照明ステップを示す図である。別の実施形態によるライトフィールドプロジェクタを示す図である。一実施形態による拡張現実感装置を表す図である。さらに別の実施形態によるライトフィールドプロジェクタを表す図である。図１１ａのライトフィールドプロジェクタの上面図を示す。別の実施形態によるライトフィールドプロジェクタの上面図を示す。別の実施形態によるライトフィールドプロジェクタの上面図を示す。別の実施形態による、ライトフィールドプロジェクタの正面図を示す。さらに別の実施形態によるライトフィールドプロジェクタを表す図である。別の実施形態による、ライトフィールドプロジェクタの上面図を示す。別の実施形態による、ライトフィールドプロジェクタの上面図を示す。別の実施形態による、ライトフィールドプロジェクタの上面図を示す。さらに別の実施形態によるライトフィールドプロジェクタを表す図である。別の実施形態による、ライトフィールドプロジェクタの上面図を示す。別の実施形態による、ライトフィールドプロジェクタの上面図を示す。一実施形態による、ライトフィールドプロジェクタ内の点光源を構成する要素を表す図である。別の実施形態による要素を表す図である。さらに別の実施形態による要素を表す図である。別の実施形態による要素を表す図である。別の実施形態による要素を表す図である。一実施形態によるライトフィールドプロジェクタのシースルーボックスを示す図である。別の実施形態による、ライトフィールドプロジェクタのシースルーボックスを表す図である。一実施形態によるライトフィールドプロジェクタの再帰反射ディスプレイを示す図である。別の実施形態による再帰反射ディスプレイを示す図である。さらに別の実施形態による再帰反射ディスプレイを示す図である。さらに別の実施形態による再帰反射ディスプレイを示す図である。別の実施形態による、拡張現実感装置の正面図を示す。別の実施形態による、拡張現実感装置の背面図を示す。別の実施形態による、拡張現実感装置の正面図を示す。別の実施形態による、拡張現実感装置の背面図を示す。

図１ａは、実施形態による、対象物１２及び１４を有する３Ｄシーンから仮想ピンホール２０を通って眼の瞳孔１０の中へ及び網膜２４の上へのピンホール開口ライトフィールド１６の投影を示す。図１ｂは、対象物１２及び１４を有する３Ｄシーンから別の仮想ピンホール２２を通って眼の瞳孔１０の中へ、そして網膜２４の上への別のピンホール開口ライトフィールド１８の投影を示す。図１ｃは、複数のピンホール開口ライトフィールドからの広開口ライトフィールド２６の構成を示す。

瞳孔１０は、２ｍｍから８ｍｍの典型的値の直径を持つ眼の瞳孔である。遠い対象物１２は、近い対象物１４よりも遠い距離で仮想３Ｄシーン内に位置する任意の物体である。近辺の（又はニアアイ）対象物１４は、仮想３Ｄシーン内に位置する対象物である。ピンホール開口ライトフィールド１６は、点光源又はピンホールフィルタのサイズによって決定される、その開口絞りの直径がほぼゼロである放射状ライトフィールドであり、仮想ピンホール２０を通してみられるはずの３Ｄシーンからのライトフィールド成分を運ぶ。別のピンホール開口ライトフィールド１８は、その仮想ピンホール２２が仮想ピンホール２０とは別の位置にある、その開口絞りの直径がほぼゼロの放射状ライトフィールドである。仮想ピンホール２０は、放射状ピンホール開口ライトフィールド１６の光線の交点である。それは点光源又はピンホールの変調画像である。別の仮想ピンホール２２は、放射状ピンホール開口ライトフィールド１８の光線の交点である。網膜２４は、眼の光感知部分である。広開口ライトフィールド２６は、その光が少なくとも部分的に眼の瞳孔１０に入射するのに十分な大きさの開口絞りを有するライトフィールドである。この目的のために、その開口絞りの直径によって与えられる射出瞳は、好ましくは５ｍｍから１００ｍｍである。

光線２７は、ＳＬＭ（光変調器）からの反射後のライトフィールドの光線である。

図２ａは、ピンホール開口ライトフィールド１６の（投影像に対応する）網膜像６６を示し、図２ｂは、他のピンホール開口ライトフィールド１８の網膜像６８を示す。図２ｃは、眼１３２が遠い対象物１２に合焦しているときの２つのピンホール開口ライトフィールド１６及び１８からなる網膜像７０を示す。図２ｄは、眼１３２が遠い対象物１２と近い対象物１４との間に合焦しているときの２つのピンホール開口ライトフィールド１６及び１８からなる網膜像７２である。図２ｅは、眼１３２が近い対象物１４に合焦しているときの２つのピンホール開口ライトフィールド１６及び１８からなる網膜像７４である。

図３ａは、眼１３２が遠い対象物１２に合焦されているときの９つのピンホール開口ライトフィールドからなるライトフィールドの網膜像７６である。図３ｂは、眼１３２が１２と１４の間に合焦されているときの９つのピンホール開口ライトフィールドからなるライトフィールドの網膜像７８を示す。図３ｃは、眼１３２が近い対象物１４合焦されているときの９つのピンホール開口ライトフィールドからなるライトフィールドの網膜像８０を示す。図３ｄは、眼１３２が遠い対象物１２に合焦されているときの１００個のピンホール開口ライトフィールドからなるライトフィールドの網膜像８２を示している。図３ｅは、眼１３２が対象物１２と１４との間に合焦されているときの１００個のピンホール開口ライトフィールドからなるライトフィールドの網膜像８４であり、図３ｆは、眼１３２が近い対象物１４に合焦されるときの１００個のピンホール開口ライトフィールドからなるライトフィールドの網膜像８６を示す。

図４ａは、点状光３４によって生成され、光学系３２を通って導かれ、光変調器（ＳＬＭ）３０からの反射によって変調されることで生成される入射放射状ライトフィールド３８からピンホール開口ライトフィールド１６を生成する、１照明ステップの図である。図４ｂは、別の点光３６によって生成され、光学系３２を通って導かれ、そしてＳＬＭ３０からの反射によって変調されることで生成される入射放射状ライトフィールド４０からピンホール開口ライトフィールド１８を生成する、別の照明ステップの図である。図４ｃは、複数のピンホール開口ライトフィールドの順次投影からの広開口ライトフィールド２６の構成の図である。

点光源アレイ２８は、二次元平面上に分布する点光源のアレイ（配列）である。他の実施形態では、点光源アレイ２８も一次元又は三次元であり得る。

ＳＬＭ３０は、ＤＭＤ又は強誘電性液晶オンシリコン（ＦＬＣＯＳ）などの高速反射型空間光変調器である。案内光学系３２は、点光アレイ２８からの光をＳＬＭ３０及び瞳孔１０へ案内する一組の光学素子である。点光源３４は、ピンホールマスクを有する発光ダイオード又は光ファイバの出口又は他の小径光源のような小径の光源である。他の点光源３６は、点光源３４とは別の場所に配置された小径の光源である。

入射ライトフィールド３８は、点光源３４から放射された放射線のライトフィールドである。他の入射ライトフィールド４０は、他の点光源３６から放射された放射線のライトフィールドである。

要素２９は、本質的に光源３４と、完全に透明な鏡５８又は半透明の鏡５９とを備える複合体である。複数の要素２９の配列はそこで、複数の点光源２８の配列を表し、同時にフーリエフィルタ５４の機能を果たす反射型フーリエフィルタを表す。

コリメート光源３７は、例えば、コリメート光ビームを均一な放射状のライトフィールドに変換する要素２９内の拡散要素１４８を照明するレーザ光源又はインコヒーレント点光源からのコリメート光である。

光線４１は、光源３４のような光源からの入射放射状ライトフィールドの光線である。

図５ａは、反射型ＳＬＭ３０、全反射プリズム４４、コリメータ４２、及び接眼光学系４６を備えるライトフィールドプロジェクタの、特に好ましい実施形態である。図５ｂは、仮想点５０のソース画像を表示するＳＬＭ３０からの入射光の反射による複数の光線の順次投影による仮想点対象物４８のライトフィールドの生成の図である。

コリメータ４２は、入射放射状の狭い開口のライトフィールドを平行光線、従って平面波を有するライトフィールドに変換する任意の光学凸レンズである。全反射プリズム４４は、全反射角度よりも大きい光線を反射する光学素子である。接眼部４６は、入射光を少なくとも部分的に眼の瞳孔１０に入射するライトフィールドコーンに集光する、凸レンズ、ミラー、１組のレンズ、又は１組のミラーなどの光学素子である。仮想点対象物４８は仮想３Ｄシーン内の任意の点である。仮想点５０のソース画像は、ＳＬＭ３０上の仮想点対象物４８の一連の画像である。

図６は、追加の光学系５２、５６及びフーリエフィルタ５４を有するライトフィールドプロジェクタの代替的実施形態である。

凸レンズ５２は、入射ライトフィールドを光フーリエ変換する光学素子である。調整レンズ５６は、投射ライトフィールドの伝播を調整し、投射ライトフィールドのいくつかのパラメータを改善する任意の光学素子である。

図７ａは、４つの点光源２８と４つの画像構成要素の例で示されたＳＬＭ３０の特定の順次照明の図である。

図７ｂは、点−光アレイ２８内の個々のアクティブ点光についてＳＬＭ３０に表示された４つのハーフトーン画像構成要素の例である。

図８は、照明シーケンス間のＳＬＭ３０の照明の特定の時間的混合の図を示す。

図９は、実際の世界６０（遠方視で物体からの遠方の画像）を、透明眼鏡を通して観察する立体拡張現実システムにプロジェクタを組み込むための、傾斜点光アレイ２８及び傾斜ミラー５８を備えるライトフィールドプロジェクタの代替的実施形態を示す。

図１０は、薄い透明ガラス６４上に小さな傾斜ミラー５８のアレイを備え、２つのライトフィールドプロジェクタエンジン６２を備える拡張現実感装置を示す。

傾斜ミラー５９（図１３）及び５８は、それぞれ、それらの仮想ピンホールの位置でピンホール開口ライトフィールドを反射するアレイに配置された小径の部分反射又は全反射ミラー（サブミラー）である。傾斜ミラーの直径は、２５０から２０００マイクロメートルの間であることが好ましい。現実世界６０は、実際の世界である。ライトフィールドプロジェクタエンジン６２は、開口絞りの直径がほぼゼロである複数のライトフィールドの時間多重化によって有限開口絞りを有するライトフィールドを生成するプロジェクタである。眼鏡６４は、任意の透明な又は部分的に透明な眼鏡、あるいは一般に、中実の透明箱又は透明材料のモノリス（単一体）である。

図２では、常時焦点網膜像６６は、ピンホール開口ライトフィールド１６によって網膜２４上に投影された仮想シーンの像である。別の常焦点網膜像６８は、網膜２４上のピンホール開口ライトフィールド１８によって投影されるような仮想シーンの像である。画像６６及び６８上の遠い対象物１２及び近い対象物１４の画像の相互シフトに留意されたい。網膜像７０は、眼１３２が遠い対象物１２に合焦しているときの２つのピンホール開口ライトフィールド１６及び１８から構成される像である。網膜像７２は、遠い対象物１２と近い対象物１４との間に眼１３２が合焦されているときの２つのピンホール開口ライトフィールド１６及び１８から構成される像である。網膜像７４は、眼１３２が近い対象物１４に合焦しているときの２つのピンホール開口ライトフィールド１６及び１８から構成される像である。

網膜像７６（図３ａ参照）は、眼１３２が遠い対象物１２に合焦されているときに９つのピンホール開口ライトフィールドからなるライトフィールド２６を用いて投影された像である。この場合、点−光アレイ２８は、３×３点光の長方形の二次元アレイである。網膜像７８（図３ｂ参照）は、眼１３２が遠い対象物１２と近い対象物１４との間に合焦しているときに、９つのピンホール開口ライトフィールドからなるライトフィールド２６で投影された像である。網膜像８０（図３ｃ参照）は、眼１３２が近い対象物１４に合されているときに９つのピンホール開口ライトフィールドからなるライトフィールド２６を用いて投影された像である。

網膜像８２（図３ｄ参照）は、眼１３２が遠い対象物１２に合焦されているときに、１００個のピンホール開口ライトフィールドからなるライトフィールド２６を用いて投影された像である。ここで、点光源アレイ２８は、長方形の二次元配列に配置された１０×１０の点光源を有する。網膜像８４（図３ｅ参照）は、眼１３２が対象物１２と対象物１４との間に合焦されているときに、１００個のピンホール開口ライトフィールドからなるライトフィールドで投影された像である。網膜像８６（図３ｅ参照）は、眼１３２が近い対象物１４に合焦されているときに、１００個のピンホール開口ライトフィールドからなるライトフィールド２６を用いて投影された像である。

例示的な網膜像８２、８４及び８６は、複数の異なるピンホール開口ライトフィールドが十分に速いシーケンスで投影される場合、滑らかな画像を生成する広開口ライトフィールド２６として観察者によって知覚されることを示す。眼１３２の焦点距離に依存する網膜２４をぼかす。ディスプレイ制御電子機器８８（図４ｃ参照）は、ＳＬＭ３０上に画像を生成する信号を生成し、フォーマットし、そしてエクスポートする回路である。照明制御電子機器９０は、特定の時間依存方式で点光源アレイ２８内の特定の点光源に電力を供給する信号を生成し、フォーマットし、そしてエクスポートする回路である。同期９２は、どの画像構成要素がどの特定の点光によってＳＬＭ３０上に照射されるかを制御するディスプレイと点光源制御電子装置８８及び９０との間の通信である。画像信号９４は、ＳＬＭ３０上に一連の画像構成要素を生成する調整された電子信号である。照明信号９６は、点光源アレイ２８内の点光源からの一連の発光を引き起こす調整された電子信号である。

アクティブ点光源９８は、実際の照明ステップ（図７ａ参照）又はシーケンス（図８参照）において発光する点光源である。非アクティブ点光源１００は、実際の工程（図７）又はシーケンス（図８）において発光しない点光源である。一連の画像構成要素１０２は、ＳＬＭ３０上に次々に表示される時間的な一連の画像である。照明オン／オフ１０４は、点−光アレイ２８内の点−光からＳＬＭ３０の平均照度を決定する時間依存信号である。アクティブ点光源１０６の位置は、実際の画像フレームにおける点光源アレイ２８内のアクティブ点光源９８の位置を示す照明シーケンス図である。画像フレーム１０８は、１つの点光が特定の平均光強度で１つの画像構成要素を照明する期間である。画像構成要素１１０は、ＳＬＭ３０上に表示され、広開口ライトフィールド２６を構成する情報の少なくとも一部を担持する画像である。他の画像構成要素１１２は、広開口ライトフィールド２６を構成する情報の他の部分を担持する画像である。照射ステップ１１４は、その平均照射強度を決定するためにアクティブ点光源９８の発光を制御する信号の一部である。他の照射ステップ１１４は、他のフレームにおける他のアクティブ点照明９８の発光を制御する信号の他の部分である。画像構成要素シーケンス１１８の例は、ＳＬＭ３０に表示される画像構成要素の例を表す一連の画像である。表示されている画像構成要素１２０、１２２、１２４、及び１２６内の対象物の相互の（及び誇張された）シフト、及びそれらと実際のフレーム内のアクティブ点光源９８の位置との相関関係に留意されたい。表示されている画像構成要素１２０、１２２、１２４、又は１２６は、ＳＬＭ３０上の１０８などの画像フレームに表示される画像の一例である。画像シーケンス１２８は、ライトフィールド２６の一部を構成する照明及び投影シーケンスである。別の画像シーケンス１３０は、投影されたライトフィールド２６を完成又は高密度化する任意の相補的又は冗長な照明及び投影シーケンスである。眼１３２は、任意の人間又は任意の動物の眼である。

図１１ａは、ライトフィールドプロジェクタの埋め込み要素を有する小型の透明シースルー箱１３４として構成されたライトフィールドプロジェクタの代替実施形態を表す。図１１ｂは、図１１ａのライトフィールドプロジェクタの上面図又は側面図である。この態様において、小型シースルーボックス１３４は、ライトフィールドプロジェクタの埋め込み構成要素を備え、ピンホール開口ライトフィールド３８のラジアルコーン及び変調されたピンホール開口ライトフィールド１６の包絡線の一例を備える。ピンホール開口ライトフィールド３８は、要素２９の一つの内部の単一点光源から、レンズ５２を通過するＳＬＭ３０へのピンホール開口ライトフィールド３８である。変調されたピンホール開口ライトフィールド１６は、ＳＬＭ３０からレンズ５２を通って別の要素２９に到達するピンホール開口ライトフィールド３８の反射により変調されたもので、包絡線において、結合ピンホール開口ライトフィールド１６は頂点を有し、少なくとも部分的に眼の網膜２４に向かって反射する。

図１１ｃは、ライトフィールドプロジェクタのさらに別の実施形態の上面図又は側面図を示し、ライトフィールドプロジェクタの埋め込み構成要素を備え、ピンホール開口ライトフィールド４０及び変調されたピンホール開口ライトフィールド１８の包絡線の一例を持つ小型シースルー箱１３４として構成されている。ピンホール開口ライトフィールド４０は、１つの光源２９からレンズ５２を通過してＳＬＭ３０に至るものである。ピンホール開口ライトフィールド１８は、レンズ５２を介して別の要素２９へのＳＬＭ３０からの反射によって変調されたものである。包絡線において、ピンホール開口ライトフィールド１８は頂点を有し、少なくとも部分的に眼の網膜２４に向かって反射する。

図１１ｄは、ライトフィールドプロジェクタのさらに別の実施形態の上面図又は側面図を示す。この実施形態では、ライトフィールドプロジェクタの埋め込み構成要素及び合成ライトフィールド２６の一例を備える小型シースルー箱１３４として構成されている。合成ライトフィールド２６は、瞳孔１０を通して眼１３２に入り、眼の網膜２４に達する。

図１１ｅは、ライトフィールドプロジェクタのさらに別の実施形態の正面図又は背面図を示す。この実施形態では、ライトフィールドプロジェクタの埋め込み構成要素と、光路３８及び変調されたピンホール開口ライトフィールド１８の経路の一例とを備える小型のシースルー箱１３４として構成されている。光路３８は、素子２９の１つの内側の単一光源からレンズ５２を通ってＳＬＭ３０への光路である。変調されたピンホール開口ライトフィールド１８の経路は、ＳＬＭ３０からレンズ５２を通って別の素子２９への経路である。

ライトフィールドプロジェクタ１３４の埋め込み構成要素を有するシースルー箱は、人工的に投影されたライトフィールドを、周囲の自然界から眼の瞳孔１０に入る自然のライトフィールドと混合するのに適した透明シースルー装置の代替実施形態の、必須部分である。

図１２ａは、層系１３６とＳＬＭ３０との組み合わせによって引き起こされる再帰反射によって逐次空間光変調を実行するライトフィールドプロジェクタの埋め込み構成要素を備える小型シースルー箱１３４として構成された、ライトフィールドプロジェクタの代替的な一実施形態を示す。

図１２ｂは、ライトフィールドプロジェクタのさらに別の実施形態の上面図又は側面図を示す。この実施形態において、ライトフィールドプロジェクタは、ライトフィールドプロジェクタの埋め込み構成要素と、及びラジアルピンホール開口ライトフィールド３８の一例を伴う小型シースルーボックス１３４として構成されている。ラジアルピンホール開口ライトフィールド３８は、層系１３６とＳＬＭ３０との組み合わせによってピンホール開口ライトフィールド１６として変調及び再帰反射されて能動素子２９に戻るものである。能動素子２９は、ピンホール開口ライトフィールド１６を瞳孔１０と網膜２４とに反射させる。

図１２ｃは、ライトフィールドプロジェクタのさらに別の実施形態の上面図又は側面図を示す。この実施形態において、ライトフィールドプロジェクタは、ライトフィールドプロジェクタの埋め込み構成要素と、ピンホール開口ライトフィールド４０の別のラジアルコーンの例とを備えた小型シースルー箱１３４として構成されている。ピンホール開口ライトフィールド４０は、ピンホール開口ライトフィールド１８として層系１３６とＳＬＭ３０との組み合わせによって変調及び再帰反射されて能動素子２９に戻るものである。能動素子２９は、ピンホール開口ライトフィールド１８を瞳孔１０と網膜２４とに反射する。

図１２ｄは、ライトフィールドプロジェクタのさらに別の実施形態の上面図又は側面図を示す。この実施形態において、ライトフィールドプロジェクタは、ライトフィールドプロジェクタの埋め込み構成要素と、複数のラジアルピンホール開口ライトフィールドとを備える小型シースルー箱１３４として構成されている。複数のラジアルピンホール開口ライトフィールドは、順に並びライトフィールド２６を構成する。

図１２ｅは、ライトフィールドプロジェクタのさらに別の実施形態を示す。この実施形態において、ライトフィールドプロジェクタは、透明箱６４の内側の埋め込み素子２９と、箱６４の外側に層系１３６及びＳＬＭ３０とを有する小型シースルー箱１３４として構成されている。

図１２ｆは、ライトフィールドプロジェクタのさらに別の実施形態の上面図又は側面図を示す。この実施形態において、ライトフィールドプロジェクタは、透明箱６４の内側の埋め込み素子２９を備え、箱システムの外側に層系１３６及びＳＬＭ３０を備え、複数のラジアルピンホール開口ライトフィールドを備える小型シースルー箱１３４として構成されている。これらの複数の放射状ピンホール開口ライトフィールドは、順に並びライトフィールド２６を構成する。

図１２ｇは、ライトフィールドプロジェクタの別の代替実施形態の上面図又は側面図を示す。この実施形態において、ライトフィールドプロジェクタは、透明箱６４の内側の埋め込み素子２９を備え、箱システム６４の外側に層系１３６及びＳＬＭ３０を備え、複数の放射状ピンホール開口ライトフィールドを備える小型シースルー箱１３４として構成されている。複数の放射状ピンホール開口ライトフィールドは、順に並びライトフィールド２６を構成する。

反射型ＳＬＭ３０と組み合わせて再帰反射ディスプレイを構成する層系１３６は、例えば、マイクロレンズアレイ、あるいは平行及び垂直ミラーのグリッドを備えてもよい。マイクロレンズアレイ、あるいは平行及び垂直ミラーのグリッドは、ＦＬＣＯＳやＤＭＤのような従来の反射型ディスプレイの反射面に近接して配置される。層系１３６と反射型ＳＬＭ３０との組み合わせは、再帰反射型ディスプレイとして機能する。

図１３ａは、点光源３４と、部分反射及び部分透明ミラー５９と、層系１３６を備えるスケール外で示されたＳＬＭ３０とを有する理想化された素子２９を表す。素子２９はそれらが一体となって、ＳＬＭ３０からの入射光３８の再帰反射を生じさせる。ＳＬＭ３０では、ピンホール開口ライトフィールド１６が部分的に眼に向かって反射すると共に、初期光源３４内に円錐頂点を有する変調されたピンホール開口ライトフィールド１６を作る。

図１３ｂは、透明ホルダ１５０（第１の透明ホルダ）内の点光源３４と、透明ホルダ１５１（第２の透明ホルダ）上の部分反射及び部分透明ミラー５９と、光吸収コーティング１３８と、光形成光学系１４０と、透明電力供給線１４２及び１４４とを有する素子２９の好ましい一実施形態を示す。

図１３ｃは、透明ホルダ１５０内の点光源３４と、透明ホルダ１５１又は１５０上の全反射ミラー５８と、光吸収コーティング１３８と、光形成光学系１４０と、透明電力線１４２及び１４４とを有する素子２９の別の実施形態を示す。

図１３ｄは、透明ホルダ１５１又は１５０上の全反射ミラー５８と、光吸収コーティング１３８とを備え、光線１４６によって照明される透明ホルダ１５０内の光拡散要素１４８を有する素子２９の別の実施形態を示す。

図１３ｅは、透明ホルダ１５１上の部分反射及び部分透明ミラー５９と、光吸収コーティング１３８とを備え、光線１４６によって照明される透明ホルダ１５０内の光反射要素１４８を有する素子２９の別の実施形態を示す。

図１３ｆは、照明制御電子機器９０から能動素子２９への透明電極１４２及び１４４の配線の例と、表示制御電子機器８８の位置の例とを示す。

図１３ｇは、外部コリメート光源３７による素子２９の外部照明の一例を示す。

光吸収コーティング１３８は、光源３４からの光線が眼の瞳孔１０に直接向かうなどの望ましくない方向に伝播するのを防止する任意のコーティングである。光学素子１４０は、光源３４から放射された光をピンホール開口ライトフィールド３８のような一様な放射状の光の円錐に成形しかつ均質化する任意の素子である。光学素子１４０は、例えば、光源３４の表面上の半透明コーティングなどの光拡散層と、拡散層の近くにあるピンホールフィルタ、又は小口径絞りを用いてＳＬＭ３０を均一に照明する、拡散（均質化）された光３８を投影する凸レンズ３８とを備える。光学素子１４０はまた、内壁に光反射拡散層がコーティングされ、光源３４のピンホール開口ライトフィールド３８のような均質化されたラジアルライトコーンを放射するための開口を有する中空箱を備えてもよい。ピンホール開口ライトフィールド３８は、光源３４は、中空箱の内側にある。中空箱は、半透明の拡散層でコーティングされているか、又は中空箱から直接ではなく、光拡散コーティングからの反射後にのみ光を放射しないように配向されている。

一実施形態による、空間光変調器３０と組み合わせたときに再帰反射ディスプレイとして機能する層系１３６の、斜視図を図１４ａに示し、側面図又は平面図を図１４ｂに示す。
ここでは、空間光変調器３０は、ＦＬＣＯＳのもののような偏光回転層１５６を備え、層系１３６は、偏光フィルタ１６０と、レンズと反射面１５６との間の最小距離に等しい焦点距離を有するレンズ１５８を有するマイクロレンズアレイとを備える。図１４ｂは、偏光回転層１５６の明るい画素１５２と暗い画素１５４とを示す（下記参照）。

別の実施形態による、再帰反射ディスプレイとして機能するように反射型ＳＬＭ３０と組み合わせて使用される層系１３６の、斜視図を図１４ｃに示し、側面図又は平面図を図１４ｄに示す。ここで、反射型ＳＬＭ３０はＤＭＤのもののような傾斜ミラー１６２を備え、層系１３６は、互いに平行又は垂直であると共に、アクティブで明るい画素に対応する位置のミラー１６２に垂直な固定反射面１６６のグリッドを備える。明るい画素のミラーとミラー１６６とは、コーナーキューブ再帰反射器を構成する。

光源３４の透明ホルダ１５０及び１５１と、ミラー５８又は部分透明ミラー５９の透明ホルダ１５０及び１５１とは、一般に、前記物体３４、５８、５９を所望の位置及び向きに物理的に保持する、任意の透明な物体である。この透明な物体は、例えば、特別に成形された、シリコン片又はアクリルガラス片であり得る。

反射型ＳＬＭ３０の明るい画素１５２は、反射光線が、１６又は１８のような変調されたピンホール開口ライトフィールド及び最後に合成ライトフィールド２６の意図された部分となるように入射光線４１を反射する画素である。反射型ＳＬＭの暗い画素１５４は、反射光線が、１６又は１８などの変調されたピンホール開口ライトフィールド及び最後に合成ライトフィールド２６の意図された部分となるように入射光線４１を反射しない画素である。暗い画素１５４から反射された光線は、眼の網膜２４の外側で吸収される。ＳＬＭの反射面１５６は、ＦＬＣＯＳ、ＤＭＤ、又は他の偏向ディスプレイの画像パターンを有するミラー部分である。顕微鏡レンズとしてのマイクロレンズ１５８は、理想的にはＳＬＭ３０の画素と同じ周期性を有するマイクロレンズアレイの一部である。マイクロレンズ１５８は、理想的にはマイクロレンズの中心とＳＬＭ３０の反射面との間の最小距離と同一の焦点距離を有する。偏光フィルタ１６０は、特定の偏光方向を有する光を吸収し、吸収した偏光と平行な偏光を有する光を透過するフィルタである。マイクロミラー１６２はＤＭＤＳＬＭ３０の機械的に移動する（傾斜する）ミラーであり、入射光線をそれらがライトフィールド２６の意図された部分になる方向に反射する向きを有する。マイクロミラー１６４はＤＭＤＳＬＭ３０の機械的に移動する（傾斜する）ミラーであり、入射光線をそれらがライトフィールド２６の一部にならない方向に反射する向きを有する。光線１６８は、それらがライトフィールド２６の一部にならない方向に向きを変えられた光線である。

図１５ａは、透明箱の外側に配置されたＳＬＭを有するライトフィールドプロジェクタの埋め込み構成要素を有するシースルー箱１３４を備える拡張型又は複合現実感装置の代替的な一実施形態の正面図を示す。

図１５ｂは、透明箱の外側に配置されたＳＬＭを有するライトフィールドプロジェクタの埋め込み構成要素を有するシースルー箱１３４を備える拡張型又は複合現実感装置の代替的な一実施形態の背面図を示す。

図１５ｃは、透明箱の内側にＳＬＭが配置されたライトフィールドプロジェクタの埋め込み構成要素を有するシースルー箱１３４を備える拡張型又は複合現実感装置の代替的な一実施形態の正面図を示す。

図１５ｄは、透明箱の内側にＳＬＭが配置されたライトフィールドプロジェクタの埋め込み構成要素を有するシースルー箱１３４を備える拡張型又は複合現実感装置の代替的な一実施形態の背面図を示す。

眼鏡１７０の腕部は、人間の耳の上に置かれると想定される機械的構造であり、電子機器、電池、又は他の機能構成要素を備えてもよい。

本発明の全体構成の説明
本発明に開示されているライトフィールドプロジェクタの全体構造は、２つの最も重要な部分、二次元点光源アレイ２８のような照明源と、高速反射型ＳＬＭ３０とを備える。ＳＬＭ３０及び点光源アレイ２８の制御エンジン８８及び９０は、３８又は４０のような特定の入射光ライトフィールドを、ＳＬＭ３０上の対応する、６６、６８、１２０、１２２、１２４、又は１２６のような画像で変調するために同期される（同期９２）。点光源アレイ２８内の点光源とＳＬＭ３０上に表示された画像との組み合わせのそれぞれは、広開口ライトフィールド２６の少なくとも部分的な情報に対応する。例えば、ＳＬＭ３０が点光源３４で生成された入射ライトフィールド３８で照らされると、プロジェクタはピンホール開口ライトフィールド１６を形成する。この点光源３４に対するＳＬＭ３０上の画像は、仮想ピンホール２０を通して見られると想定されるように、人工シーンの（特定色のビットプレーンなどのような）画像情報の少なくとも一部を含まなければならない。案内光学系３２は、点光源アレイ２８からＳＬＭ３０への入射光を、ＳＬＭ３０からの反射後に広開口ライトフィールド２６の形態の出力へと案内するように働く。

本発明の全ての特定の実施形態は、これらの基本的な構成要素を代替の構成で、かつ案内光学系３２の代替の具体化と共に備える。例えば、案内光学系は、図６に示すような任意のレンズ及びフィルタを備えてもよく、あるいは点光源アレイ２８は、プロジェクタの光軸に対してやはり傾斜された（又は３次元的とされた）２０及び２２のような仮想ピンホールの配置を作るために、プロジェクタの光軸に対して傾斜（又は三次元）されてもよい。

開示された本発明の代替の実施形態は、人工的に投影されたライトフィールド２６と実世界６０によって生成された自然ライトフィールドとを組み合わせるように構成される。シースルーライトフィールドプロジェクタの最小フォームファクタの実施形態は、ＳＬＭ３０と層系１３６とを備える再帰反射ディスプレイと層系１３６とを使用する。ＳＬＭ３０と層系１３６とはいっしょになって、位置の点光源２８とフィルタリングミラー５８とが互いに一致することを可能にする。

本発明を構成する部分間の関係
眼１３２の瞳孔１０（図１参照）は、複数のピンホール開口ライトフィールド２６から構成される広開口ライトフィールド２６の一部を受け取る。複数のピンホール開口ライトフィールド２６は、ピンホール開口ライトフィールド１６と、別のピンホール開口ライトフィールド１８を含む。広開口ライトフィールド２６の開口絞りによって与えられる射出瞳は、瞳孔１０がプロジェクタに対して相対的に移動している場合であっても、ライトフィールド２６の少なくとも一部を瞳孔１０内に投影するために瞳孔１０よりも大きい。広開口ライトフィールド２６は、２０及び２２のような複数の仮想ピンホールを通して見られるように、遠い対象物１２及び近い対象物１４のような複数の対象物の画像を運ぶ。仮想ピンホール２０及び２２は瞳孔１０の近傍に配置され、技術的に可能な限り小さな直径を有する。網膜２４は、例えば遠い対象物１２及び近い対象物１４を有する人工シーンの画像を受け取り、観察される対象物の距離及び眼１３２の焦点距離に依存する画像のぼけを、図２及び３に示されるように、感知する。ライトフィールドプロジェクタエンジン６２（図１０参照）は、点光源３４と、他の点光源３６とを含む複数の点光源を含む二次元の点光源アレイ２８を備える。点光源３４と、別の点光源３６とは、入射光ライトフィールド３８及び４０を含む入射光ライトフィールドの光源である。３４及び３６のような複数の点光源は、案内光学系３２を介して反射型ＳＬＭ３０を速い順序で次々に照射する。光学系３２は、随意に、点光源アレイ２８とＳＬＭ３０との間に配置されたコリメートレンズ４２と、ＳＬＭ３０によって変調された所望のライトフィールドを他の光成分から分離する全反射プリズム４４とを含む。レンズ５２及び５６などの任意選択の光学素子は、ＳＬＭ３０から反射されたライトフィールドが接眼部４６に入る前にフーリエフィルタ５４を介して案内するように機能する。フーリエフィルタ５４は、例えば、ＳＬＭ３０からの反射後のライトフィールドから回折成分を除去する。

図７の４つの点光源を用いた例に示すように、ＳＬＭ３０及び点光源アレイ２８内のアクティブ点光源９８は、同期信号９２を介してエンジン８８と９０との間で同期される。点光源アレイ２８を用いたＳＬＭ３０照明のシーケンス１２８及び１３０は、広開口ライトフィールド２６内の情報を最大限に混合及び高密度化するために、好ましくは、図８の例に示されるように後続の各シーケンスにおいて変更される。各瞬間に広開口ライトフィールドの一部だけが瞳孔１０に入るので、混合は重要である。各点光照明についてＳＬＭ３０上に表示される画像は、図７及び図８に示唆されるように、画像の単色ビットプレーンであり得る。しかし、単色ビットプレーンは、ＳＬＭ３０が速いシーケンスで表示可能な他の部分的な情報であり得る。ＤＭＤ（デジタルマイクロミラーデバイス）のような２値ディスプレイの場合、ライトフィールドは、図７の画像１２０、１２２、１２４及び１２６のような同じ又は類似の強度の２値モノクロ画像、あるいは部分的なグレースケール情報が明るい画素の密度によって決定される２値ハーフトーン画像（図７ｂ参照）から構成され得る。２値モノクロ画像で生成された複数のライトフィールドの重なり、特に、ハーフトーン画像（図７ｂ参照）は、色及び強度スケールの錯覚を作る。ここで、「２値モノクロ画像」及び「ハーフトーン画像」との表現は、「モノクロディザ画像」、例えばディザリング（ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｄｉｔｈｅｒ参照。）を用いて１ビット白黒スペースで表されるグレースケール画像として理解されるべきである。誘導光学系３２は、瞳孔の位置から光学系３２を通して見たときに空間光変調器３０の像面が、観察者の調節範囲の外側、例えば、瞳孔１０から１０ｃｍ未満の前方、又は瞳孔１０の後方の長い距離にあるように、設定してもよい。この設定の理由は、観察者の眼１３２がＳＬＭ３０の像面に合焦不能であるからである。この配置における各画像構成要素の各画素は、光学系３２の不完全性のためにわずかにぼやけている。結果として得られる合成画像は、そして、自然に滑らかに感じられる。

本発明の操作及び機能についての説明
図１は、本開示に提示されるニアアイライトフィールドプロジェクタの基本原理を示す。観察者に現実的な有限の被写界深度及び正確な眼の調節を提供するメカニズムは、１６及び１８のような複数のピンホール開口の構成により、１２及び１４のような対象物を有する仮想３Ｄシーンから瞳１０に入ると想定される全光フィールドの近似に基づいている。仮想ピンホール開口ライトフィールド１６及び１８は、異なる仮想ピンホール２０及び２２を通って、瞳孔１０に入光する。仮想ピンホール１０、２２及び別のものは、そのライトフィールドが少なくとも部分的及び少なくとも一時的に瞳孔１０を通るように、瞳孔１０の近くに位置しなければならない。

１６及び１８のような各ピンホール開口ライトフィールドは、観察者の網膜２４上に図２ａ及び図２ｂの６６及び６８のような常に焦点の合った画像を形成する。６６及び６８などの画像は、対応する仮想ピンホール２０及び２２の視点から見たときの、オブジェクト１２及び１４を有する仮想３Ｄシーンの画像に対応する。したがって、画像６６と６８は同一ではない。特に、瞳孔１０から異なる距離にある対象物１２及び１４の像の位置は互いにシフトされる。画像６８において寸法ｄによって示されるこの相互シフトは、仮想ピンホール２０及び２２からの仮想オブジェクト１２及び１４の距離、ならびにピンホール２０及び２２の相互距離に依存する。さらに、そして最も重要なことに、網膜２４上の画像６６及び６８の全体的な位置は、眼１３２の焦点距離に依存する。例えば、眼が遠くの物体１２（家）の距離に焦点を合わせられるとき、この物体は、両方のピンホール２０及び２２を通して網膜２４上の同じ場所に投影され、一方、別の距離にある近くの物体１４（アリ）の２つの画像はｄだけシフトされる。ピンホール開口ライトフィールド１６及び１８が瞳孔１０に同時に又は速いシーケンスで入ると、結果として得られる網膜２４上の画像は両方の画像６６及び６８を含むことになる。この場合、眼１３２が遠くの物体に焦点を合わせたとき図１２（家）では、網膜２４上のこの物体１２の像は重なり合って一度だけ現れるが、図２ｃの像７０に示すように、より近い物体１４（アリ）の像は二重に見える。反対に、眼１３２が近くの物体１４（アリ）の距離に焦点を合わせられるとき、結果として生じる画像７４は、図２ｅに見られるようにアリ１４の１つの画像及び遠い家１２の２倍の画像を含む。他の焦点は、図２ｄに示すように両方の対象物を２倍にした７２のような画像を作成する。

複数のピンホール開口ライトフィールドが合計されると、６６、６８、１２０、１２２、１２４、１２６のようなそれらの個々の複数の画像は、網膜２４上に合わさることになる。したがって、結果として生じる画像は眼１３２の焦点距離、仮想ピンホールからの物体の距離、仮想ピンホールの数、及び仮想ピンホールの距離に依存することになる。３×３ピンホールの長方形アレイに配置されている９個のピンホールを有する、結果画像７６の例は、眼１３２が遠い対象物１２に合焦しているときの図３ａにみられ、遠い対象物１２及び近い対象物１４の間に眼１３２が合焦しているときの図３ｂの画像７８と、眼１３２が近い対象物１４に焦点を合焦しているときの図３ｃの画像８０とである。

最後に、ライトフィールド２６が多数（例えば百）の異なるピンホール開口ライトフィールドから構成されている場合、結果として生じる網膜上の画像は、図３ｄの画像８２（遠方の対象物１２に合焦）、図３ｅの画像８４（遠い対象物１２と近い対象物１４との間に合焦）、及び図３ｆの画像８６（近い対象物１４に合焦）に見られるようにほぼ自然なぼけを含む（焦点）。この原理は、眼１３２が眼１３２の調節範囲内の任意の距離にある任意の対象物に合焦することを可能にし、それが網膜２４上のそれらの画像の重なりをもたらし、重なることは画像を鮮明に見せる一方、別の距離にある対象物の合成画像をぼやかす。

図４ａから図４ｃのライトフィールドプロジェクタ装置の概略図では、１６及び１８のような複数のピンホール開口ライトフィールドは時間的に多重化され、広開口ライトフィールド２６を構成する。ライトフィールド２６は、観察者の眼の瞳孔１０に入ると考えられる完全ライトフィールドを部分的に再構成する。図４ａから図４ｃの最も単純な概略実施形態では、装置は、（図４ａから４ｃの側面から見た）二次元点光アレイ２８、高速反射型ＳＬＭ３０及び導光光学系３２を備える。投影シーケンスの各ステップは、３８及び４０のような入射放射状点ライトフィールドを案内する光学系３２を介して、点光アレイ２８内の３４又は３６のような選択された点光を用いたＳＬＭ３０の規定フラッシュ照明からなる。ＳＬＭ３０は、選択反射によって入射ライトフィールドの振幅（及び任意選択で位相も）を変調する。３４及び３６のような選択された点光による各照明ステップに対して、反射パターンは対応する仮想ピンホール２０及び２２を通して見られるような仮想シーンの画像の一部に対応する。光学系３２は、ＳＬＭ３０から反射して振幅変調ライトフィールドコーン１６及び１８を生成（又は投影）するように３８及び４０などのライトフィールドを案内する。仮想ピンホール２０を通って伝播するライトフィールド１６は、理想的には、仮想３Ｄシーンからのピンホール開口ライトフィールド情報の少なくとも一部と同一である（その結果、ニアアイ投影画像が得られる）。ＳＬＭ３０上の画像は、９２を介して信号９６を介して点光源アレイ２８の照明シーケンスを制御する照明制御回路９０と同期されている画像信号９４を介して制御電子機器８８によって制御される。

本明細書に開示されるライトフィールドプロジェクタのより特定の好ましい実施形態は、図５ａに示される。それは、（図５ａの側面から見た）二次元の点−光アレイ２８、任意選択的にコリメートレンズ４２、任意選択的に全反射プリズム４４、高速反射ＳＬＭ３０、及びレンズ４６のような接眼部光学系を含む。全システムは、ＳＬＭ３０によって変調される光学系４２、４４、３０、４６を介して、点光源アレイ２８からの光を２０及び２２のような仮想ピンホールに順次投射する。

図５ｂは、特定の仮想距離における仮想点対象物４８からのライトフィールドがどのようにして生成されるかを示す。仮想点対象物４８からのライトフィールドは、投影シーケンスの間に次々に生成される複数のピンホール開口ライトフィールドにおけるその対応する光線の合計である。アレイ２８からの各アクティブ点光に対して、異なる画像が反射型ＳＬＭ３０に表示される。仮想点対象物４８は、仮想点５０のソース画像の位置でＳＬＭ３０上に順次表示される。その結果、眼の網膜２４は、仮想点対象物４８から複数の光線を速いシーケンスで受け取る。網膜２４上の仮想点対象物４８の像の位置は、眼１３２の焦点距離に依存する。眼１３２が仮想点対象物４８の距離に合焦している場合、光線は１つのスポットで網膜２４に重なり合い、眼１３２が別の距離に合焦している場合、網膜上の画像は、ぼやけて見えるようにするために互いに隣接して複数回、仮想点対象物４８の画像を含む。このプロセスで併合される画像の数は、瞳孔１０に入るピンホール開口ライトフィールドの数に依存する。数値が大きいほど、画像のぼけはより自然に見える。

図７は、点光アレイ２８を用いたＳＬＭ３０の順次照明のプロセスを示している。図７の例は４つの点光と４つの例示的な画像構成要素のみを含むが、実際の点光アレイ２８は何千もの点光と何千もの画像構成要素を含み得る。表示される画像構成要素１０２のシーケンスは、ＳＬＭ３０が１０８のようなフレームを表示し、その間にＳＬＭ３０が、１１４又は１１６のような時間に依存する関数によって与えられる照明で対応するアクティブ点光９８で照らされる１１０又は１１２のような画像構成要素を表示することを示す。例示的な画像構成要素１１８のシーケンスは、瞳孔１０からそれらの仮想距離、誘導光学系３２の特性、及びアクティブ点光の位置に従って相互にシフトされた対象物を含む画像１２０、１２２、１２４及び１２６を示す。一連のアクティブ点光１０６及び照明シーケンス１０４は、画像シーケンス１１８と共に、仮想シーンを画像構成要素に分解するプロセスに応じて、原則として任意のものとし得る。

しかしながら、実際の照明及び表示シーケンスは、理想的には特定の目的のために最適化されて、そして正しい部分強度を有する最終画像の全ての成分を含む。シーケンスは、最上位ビット（ＭＳＢ）プレーンから最下位ビット（ＬＳＢ）プレーンまでの全てのグレースケールビットプレーンに対応する２値画像から構成してもよく、それプレーンはアレイ２８内の対応するアクティブ点光９８の色を有する。個々の点光の色が異なってもよい。最終画像におけるビットプレーンの部分的な強度は、ビットプレーンフレーム１０８の長さに対する露光の相対的な長さによって制御される。照明の強度は、シーケンス１０４のようにパルスの長さによって実現し得るが、連続的に制御された強度を用いたパルス幅変調又は他の手段によっても実現し得る。例えばピンホールマスクを有する発光ダイオード（ＬＥＤ）であるアクティブ点光の位置は、シーケンス１０６によって示されている。白丸９８は、ＬＥＤが発光していることを示している。黒丸１００は、ＬＥＤが消灯していることを意味する。特定の画像構成要素に対応するライトフィールドが観察者の瞳孔に入ることが保証されていない現実的な用途では、各画像構成要素は（どの画像構成要素が変更されるかに従って）異なる点光で数回投影されることが望ましい。例えば、最終画像が強度と色の異なる個々のビットプレーンに分解される場合、各ビットプレーン（ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｂｉｔ＿ｐｌａｎｅ参照。）は全てのポイントライトで理想的に照らされるべきである。しかしながら、これはほとんどの状況において非現実的であり、したがって他の点光に対するビットプレーンの繰り返し数は、最適化されなければならない。異なる重要性を有する画像構成要素（ビットプレーン構成要素の異なる輝度など）の管理を必要としない適切なアプローチは、図７ｂのグレースケールは明るい画素の密度によって定義される画像のような中間調２値画像の使用である。全てのそのような画像構成要素は、同じ重要性を有する。

図８は、１つの完全画像の投影中に照明及び表示シーケンスをどのようにシャッフルすることができるかを示している。この例は、１０×１０の長方形の点光２８と、１つ又は複数の８ビット画像構成要素に分解される画像とを想定している。白丸は、図８の隣接する番号によって示される順序で所与のシーケンス１２８又は１３０において次々に光を放射するアクティブ点光９８を示す。各点光は異なる色を発するものとし得る。重要な点は、ＳＬＭ３０のストロボ点光照明によって生成される結果として生じるライトフィールド２６が、観察者の視力待ち時間の期間中に技術的に可能な限り多くのピンホール開口ライトフィールドを含むことである。ピンホール開口ライトフィールド当たりの完全な画像情報は、全ての色の全てのビットプレーンが１つの対応する点光で照らされることを意味する。これを達成するために、対応する強度を有する全てのビット平面が全ての点光で照らされるまで、シーケンス１２８と１３０の間のような照明パターンの所定の変換で照明シーケンスを繰り返さなければならない。実際の実施では、例えば、制限されたフレームレート、観察者の待ち時間、瞳孔開口のサイズ、画像の種類（モノクロ、グレースケール、ＲＧＢなど）による、個々の場合の特定の制限に従って、点光当たりのビットプレーンの数は減少されてもよい。実際的な試験は、投影される情報の量が、結果の品質の許容可能な損失を伴って、点光当たり１つのビットプレーンと同程度に減少可能であることを示している。

異なる表現で既に上述したように、各照明ステップにおいてＳＬＭ３０によって表示される個々の画像は、異なる点光で、異なる色で、しかし同じ又は類似の強度で照らされている明るい画素の密度によって決定されるハーフトーン画像（図７ｂ）のような２値モノクロ画像でもあり得る。網膜２４上に重なる複数のハーフトーン画像（図７ｂ）の結果の合計は、色のスケール及び輝度を作り出す。同じ強度の二値画像の時間的多重化は、眼の瞳孔１０が各瞬間に広開口ライトフィールド２６の不特定のサブセットを受け取るときの状況において便利である。

図１１の、開示されたシースルー複合現実感装置の代替実施形態では、人工的に投影されたライトフィールドと現実世界からの自然光との混合は、点光源による反射型ＳＬＭ３０の順次照明によって行われる。この点光源は、点光源アレイ２８の一部である３４のような、図１１の実施形態だけでなく、各点光は素子２９に埋め込まれている、図１２の実施形態でもある。図１１の実施形態におけるＳＬＭ３０は、レンズ５２を通して照明される。３８のような入射ピンホール開口ライトフィールド１６がＳＬＭ３０から反射されると、反射されたピンホール開口ライトフィールド１６はＳＬＭ３０上のパターンによって変調され、レンズ５２を通ってしかし反対方向に再び伝播する。レンズ５２は、変調されたピンホール開口ライトフィールド１６を、頂点、又は換言すると、２０のような仮想ピンホールに、集束させる。図１１の実施形態では、この頂点は、要素２９のミラー５８又は５９の位置に配置されている。ミラー５８又は５９は、変調されたピンホール開口ライトフィールド１６を眼の瞳孔１０に向けて反射する。ミラー５８又は５９は、ＳＬＭ３０における小ピッチ画素の周期的パターンから反射された光の干渉により、変調光フィールド１６内に存在する回折サテライトをフィルタリングするフーリエフィルタとして、作用する。光源素子２９とフィルタ素子２９は、一般に、光学系内の互いの像に対応する異なる位置にある。実際の光源素子２９の開口数が理想的にゼロではなく、実際のシステム内の再帰反射が理想的ではなく、（ＳＬＭ３０によるその光の変調後の）光源の一次像がフィルタリング素子２９の位置でゼロではないサイズとなることを引き起こすため、フィルタリング素子２９のフィルタリングミラー５８又は５９は、照明素子２９の像の位置にある理論的に理想的な位置からずらしてもよい。

発明の独特な特徴
ニアアイライトフィールドプロジェクタエンジン６２は、常時合焦ライトフィールドの、時間的に多重化されるシーケンスからなる自律ライトフィールド２６を提供する。このプロジェクタは、現実的な単眼の奥行き手がかりを提供するため観察者の眼の調節に関する情報を必要としない。（瞳孔運動の領域をカバーするために）眼の瞳孔１０及びその近傍に直接投影することは、（大型の３Ｄディスプレイとは対照的に）プロジェクタに伝達されプロジェクタから投影されなければならない情報量を減少させる。眼の調節からの画像深度の単眼知覚及び有限の被写界深度による画像ぼけの他に、観察者は、観察される物体の距離を、瞳孔１０が動くときの近い対象物１４及び遠い対象物１２の小さな相互変位から、感知する。投影対象物が実世界に関して正確な位置を有するようにプロジェクタ３２の光学系を設定してもよい。光学系３２及び投射ライトフィールド２６は、被写界深度の影響を低減又は増幅するように配置してもよい。

特に、構成要素が同じ強度のモノクロ二値画像からなる場合、ライトフィールド構成要素の高速順次投影は、動いている物体の現実的な知覚を支援する。従来のディスプレイでは、動いている対象物を含む各フレームは通常、対応するモーションぶれを含んでいるため、観察者が静止背景又はシーン内の静止対象物を観察したときの視覚的体験は向上する。動いている物体は、しかしながら、眼がその動きを追跡しているときでも、ぼやけていると知覚される。実世界では、位置が観察者の眼で追跡されている移動対象物はシャープになり、追跡された物体に対して相対的に移動する他の物体はモーションぶれを有すると知覚される。ライトフィールドプロジェクタ６２は、従来のディスプレイの数十倍の速さでライトフィールド構成要素を投影する。このことは、どの対象物が観察者によって追跡されているかにより観察者が経験するモーションぶれはより現実的である一方、眼はほとんどモーションぶれなしで各ライトフィールド構成要素を受け取ることを意味する。

ライトフィールドプロジェクタは、比較的低コストで信頼性の高い大量生産部品から構成し得る。

図９及び図１０の代替的実施形態におけるもののような拡張現実眼鏡と組み合わせて、ライトフィールドプロジェクタ６２は、全ての対象物の正しい単眼深度手がかりを用いて（又は別の拡張現実光学系を介して送達される）、実世界６０から入るライトフィールドをミラー５８から反射されたライトフィールド２６と組み合わせることができる。

ライトフィールド２６において知覚され得る距離の範囲は実質的に連続的であり、ゼロ距離から無限大までの範囲である。

プロジェクタ６２で生成された単眼奥行き手がかりは、図９の構成の場合のように、観察者のそれぞれの眼が異なるプロジェクタ６２から対応するライトフィールドを受け取るときの立体奥行き手がかりと組み合わせてもよい。立体プロジェクタの単眼奥行き手がかりを修正することで、いわゆる適合的眼球離反運動の不一致が解消される。

複数の画像構成要素からの最終画像の合成は、合成画像が各画像構成要素よりも高い解像度を有することを引き起こす。

広開口ライトフィールド２６がピンホール開口ライトフィールドからなるという事実は、入力画像のデジタル処理によって光学系３２の不完全性を補償することを可能にする。光学誤差をデジタル補正は、光学部品の価格を大幅に下げる可能性がある。

再帰反射ディスプレイを有するシースループロジェクタの実施形態は、コンパクトで非常に小さいフォームファクタの複合現実感メガネを構築するために使用され得る。

本発明の製作方法
ここに開示された本発明の好ましい実施例は、赤、緑、青のような複数の発光ダイオードからなる点光アレイ２８を用いて製造され得る。点光アレイ２８は、レーザ切断、マイクロマシニング、又はエッチングによって製造される、ピンホールのアレイを包含するマスクで覆われている。あるいは、各ダイオードを、その出力が点光として機能する光ファイバと結合することで作製し得る。光ファイバスプリッタ、可動ダイオード、可動ミラーなどの使用を含む、点光アレイの多数の実施形態が、存在し得る。

ＳＬＭ３０は、ＤＭＤ（デジタルマイクロミラーデバイス）又はＦＬＣＯＳ（強誘電性液晶オンシリコン）に基づいてもよく、選択的に全反射プリズム４４又は偏光プリズムと、適切な焦点距離の従来のコリメートレンズ４２と組み合わせてもよい。接眼部４６は、比較的小さい焦点距離を有する単一のレンズ又はミラーから製作し得て、両方とも選択的に球面及び色収差誤差のデジタル補償と組み合わされる。接眼部４６は、より複雑で最適化された市販の広角接眼レンズに基づくものとしてもよい。

選択的なフィルタ光学系は、入射ライトフィールドのフーリエ平面を作り出す少なくとも１つの従来のレンズ５２を含む。ピンホールアレイを有するフーリエフィルタ５４は、レーザカット、穿孔又はエッチングされたピンホール又は他のフィルタリングパターンを有する光学的に不透明かつ非半透明の板部材で製作し得る。フィルタ５４は、図９、図１０、図１１、図１２及び図１５の実施形態における５８のようなマイクロミラーで、ピンホール又は他のフィルタリングパターンが置換される反射モードで代替的に構成してもよい。

素子２９のアレイは、透明ホルダ１５０及び１５１内の光源のための開口部の指向性ドライエッチング又はウェットエッチング、並びに光吸収材料１３８、ミラー５８及び５９、透明電極１４２及び１４４のスパッタリング又は蒸発などの材料堆積を伴う従来のマイクロテクノロジーリソグラフィのステップによって製造してもよい。マイクロレンズアレイ１５８は、従来のマイクロテクノロジー技術を用いて既に商業的に生産されている。ミラー１６６の格子は、透明基板へのトレンチのドライエッチングと、その後のトレンチの壁へのアルミニウムのような反射金属の化学的又は物理的堆積と、基板の他の表面からの堆積金属の除去（研磨）によって製造し得る。

本発明の代替実施形態
図６は、本発明において開示されるライトフィールドプロジェクタのより特定の代替的な一実施形態を示す。ＤＭＤ又はＦＬＣＯＳのような反射型ＳＬＭ３０は、約１０μｍの典型的な画素ピッチを有し、これは反射されたライトフィールドにおいて回折成分の出現をもたらす。したがって、図６の実施形態は、フーリエフィルタ５４の位置に点光アレイ２８の像面を形成する追加の光学系５２と、５６及び４６のような接眼光学系とを含む。フーリエフィルタ５４は、変調されたピンホール開口ライトフィールドを透過し、点ライトアレイ２８とフーリエフィルタ５４との間に生成されたライトフィールドの全ての回折成分を遮断する。実際には、フーリエフィルタ５４は、点−光アレイ２８の拡大縮小画像である固定ピンホールアレイである。フィルタ５２上のピンホールは、好ましくは、それらの開口での回折を最小にするのに十分に大きい、例えば３００μｍ以上である。他方、アレイ２８内の点光の大きさは、それらが十分な光強度を提供する限り可能な限り小さくしてもよい。各ピンホール開口ライトフィールドの開口絞りがフーリエフィルタ５４によって決定されるとき、アレイ２８内の点光はより大きい直径を有し得る。より大きい直径の点光は、ＤＭＤ内のマイクロミラーの反射角度の変動を補償する。

図９は、本発明において開示される、基本的なライトフィールドプロジェクション概念の汎用性を示す。図９の実施形態におけるプロジェクタ６２は、図５ａから基本設計の修正である。図９の点−光アレイ２８は、２０及び２２のような仮想ピンホールを含む点−光の像面もまた傾斜させるようにする光軸に対して、傾斜している。この投影配置は、同様に光軸に対して傾斜しているレンズ５２のような光学素子と、入力画像の対応する変換とを伴ってもよい。投影されたピンホール開口ライトフィールドは、２０及び２２のような仮想ピンホールの位置で、５８のような小さな傾斜ミラーから反射され、観察者の眼１３２に向けられる。ミラー５８は、人工ライトフィールド２６を現実世界６０からのライトフィールドと組み合わせるために、表面上に配置、又は透明メガネ内部に埋め込んでもよい。そのような実施形態は、拡張現実システムを構成する。ミラー５８は、ライトフィールド２６から回折成分を除去するフーリエフィルタとしても機能する。

図１０は、薄い透明メガネ６４上の２つのライトフィールドプロジェクタ６２と２つの傾斜ミラーアレイ５８とを備える拡張現実感装置の実際的な構成の一例である。広開口ライトフィールド２６はまた、ライトフィールド２６をプロジェクタから眼の瞳孔１０に導く任意の適切な導波路に挿入してもよい。

図１１は、複数の素子２９のそれぞれの位置が、レンズ５２及びＳＬＭ３０の反射面を有する光学システム内の同じ又は別の素子２９の画像の位置と一致する拡張型又は複合現実感装置用のシースルーボックスの代替的な一実施形態である。各素子２９は、（全ての点光源は点光アレイ２８を構成する一方）３４又は３６のような点光源と、ミラー５８又は半透明ミラー５９とを含むので、各素子２９は同時に光源及びフーリエフィルタ５４内のミラーとして機能する。図１１ｂは、素子２９内の点光源３４が、レンズ５２を通って伝搬し、ＳＬＭ３０から反射し、レンズ５２を通ってンホール開口ライトフィールド１６の円錐の頂点まで再び変調光フィールド１６として伝搬する放射状ピンホール開口光フィールド３８を放射することを示す。頂点は点光源３４の像であり、それは仮想ピンホール２０である。この実施形態における頂点の位置は、他の素子２９内のミラー５８又は５９の位置と一致する。別の素子２９は、したがって、ＳＬＭ３０から、ライトフィールド２６から、そして同時に、瞳孔１０に対して所望の角度を持ってピンホール開口ライトフィールド１６の向きを変えるミラーからの反射によって生成された高次回折サテライトを除去するフィルタとして機能する。図１１ｃは、別の点光源３６がその像と、仮想ピンホール２２とを、さらに別の素子２９のミラー５８又は５９に生成することを示している。複数の素子２９は、このように、同時に、照明光源（点−光アレイ）及びフーリエフィルタとして機能する。

図１２は、各素子２９が同時に点光源及びそれ自身のライトフィールドのフィルタである拡張型又は複合現実感装置用のシースルーボックスの、代替的な一実施形態である。図１２ｂは、素子２９内の点光３４がＳＬＭ３０によって変調されたライトフィールド３８を放射し、層系１３６の存在により、ライトフィールド１６として最初の素子２９に戻って再帰反射されることを示している。したがって、点光源３４の位置と、点光源３４の像と、フィルタリングミラー５８又は５９と、仮想ピンホール２０とは、同じ素子２９において同じ位置を有する。図１２ｃは、他の点光源３６を有する他の素子２９が同じ特性を有し、入射ライトフィールド４０と、変調ライトフィールド１８と、仮想ピンホール２２とを用いて同じ動作を実行することを示す。図１２ｄは、人工的に投影されたライトフィールド２６を構成する全てのピンホール開口ライトフィールドの包絡線を有するシースルーボックス１３４のこの代替的な一実施形態を示す。実際の装置では、透明箱６４内の素子２９の数、密度及び分布は異なると予想される。特に、素子２９の数及び密度は、高品質のライトフィールド２６及び広い視野を作り出すためにはより高くなければならない。多数の素子２９を有する装置は、全ての素子２９のサブセットのみがアクティブ（反復照明シーケンスを実行する）であり、瞳孔１０及びアクティブな素子２９によって決定される視野内に位置する仮想物体からライトフィールド２６を提供するモードで、動作され得る。このモードは、狭い視野をカバーする投影された対象物の高品質のライトフィールド画像の提供を可能にし、同時に、能動素子２９のサブセットを変更することによって広い視野をカバーする可能性を提供する。換言すると、ライトフィールド情報は広い視野の任意の部分から投影され得るが、特定の位置の対象物の詳細な画像を提供するために、狭い視野だけが、所与の瞬間に投影されたライトフィールドで埋められ得る。この点を考慮して、複合現実感コンテンツ、拡張現実コンテンツ、又は仮想現実コンテンツが作成され得る。特に複合現実感アプリケーションは、観察者が実世界を見ていて、仮想対象物は特定の瞬間に全視野のほんの一部しか占有できないという事実を悪用する可能性がある。仮想現実（しかし複合現実）の場合、仮想対象物の高品質の画像は、全視野の狭い部分に対して投影され得る。観察者の周辺視野に対応する全視野の他の部分は、低密度のアクティブな素子２９を有する低品質のライトフィールドのみで提供される一方で、全視野の狭い部分では、高密度の素子２９がアクティブであり、観察者が光学的かつ精神的に合焦している。低品質のライトフィールドが提供される部分については、観察者の視覚的注意の方向を識別するアイトラッキングを使用することによって改善され得る。

図１２ｅ、図１２ｆ及び図１２ｇは、透明箱６４の外側に配置され、入射光が３８又は４０及び４０のような入射光と、ライトフィールド２６とがボックス６４の外側を伝搬する、層系１３６及びＳＬＭ３０を備える再帰反射ディスプレイを有するシースルーライトフィールドプロジェクタ１３４の代替的な一実施形態を示す。

図１３は、素子２９の内部構造のいくつかの例示的な実施形態を説明する。図１３ａの理想化された素子２９は、点光源３４と、５０から５００μｍの間の直径を有する部分的に透明で部分的に反射する円形ミラー５９とを備える。点光源は、層系１３６を用いてＳＬＭ３０から変調されかつ再帰反射された放射状光フィールド３８を、放射状光フィールド１６として放射する。ライトフィールド１６はミラー５９から眼の瞳孔１０へ反射される。ミラー５９からの反射は、ライトフィールド２６からのＳＬＭ３０への入射光の変調によって生成された回折サテライトを除去する。図１３における、素子２９の実施形態は、光吸収コーティング１３８と、ＬＥＤ３４に電圧及び電流を供給する給電線１４２及び１４４とを伴い、放射状ライトフィールド３８を整形し均質化する光形成光学系１４０を有する、単色ＬＥＤのような光源３４を有する素子２９の、可能な実用的具体化を表す。これらの要素は、透明ホルダ１５０に取り付けられているか又はその上に配置されている。光源３４は、対応する数の給電線を必要とする複数の色を放射するものとし得る。例えば、３色ＬＥＤ用に４本の給電線という構成があり得る。光源３４がＳＬＭ３０を照明する光が透過する半透明ミラー５９は、透明ホルダ１５０と接触している別の透明ホルダ１５１上に配置されてもよい。

図１３ｃは、図１３ｂの点光源３４と同一又は類似の構造を有する点光源３４の隣に配置された（原則として半透明鏡でもあり得る）全反射鏡５８を有する素子２９の、一実施形態である。ミラー５８は、理想的には瞳孔１０の視点から光源を覆っている。図１３ｄ及び図１３ｅの素子２９の実施形態は、図１３ｂ及び図１３ｃの素子２９の実施形態に対する代替的実施形態である。ここでは点光源１４８は、能動的な電子的に駆動される光源ではなく、図１３ｇに示されるように光源３７からの集中光ビーム１４６によって照射される拡散要素１４８である。

ＳＬＭ３０によって変調された光の再帰反射を、最終的に引き起こす層系１３６の２つの基本的な実施形態が図１４に示されている。図１４ａ及び図１４ｂの層系１３６は、マイクロレンズ１５８の中心とＳＬＭ３０の反射面１５６との間の最小距離に対応する焦点距離を有するマイクロレンズ１５８のアレイを備える。この例におけるＳＬＭ３０はＦＬＣＯＳであると仮定され、それ故、ＳＬＭ３０の素子２９と反射面１５６との間の入射光線４１及び反射光線２７の経路に偏光フィルタ１６０の存在を必要とする。フィルタは、マイクロレンズ１５８を通ってＳＬＭ３０の反射面１５６に伝搬する入射光線４１のうちの１つの偏光成分のみを透過させる。入射光線４１は、反射光線２７を、偏光フィルタ２７を透過させる明るい画素１５２から同じ偏向で反射されるか、又は反射光線が偏光フィルタ１６０によって遮断される回転偏向で暗い画素１５４から反射される。図１４ｂは、暗い画素１５４から反射後の偏光フィルタ１６０における光線の吸収を示す。

図１４ｃ及び図１４ｄは、層系１３６及び反射型ＳＬＭ３０を備える再帰反射ディスプレイの他の具体化例を示している。この例におけるＳＬＭ３０はＤＭＤであると仮定されるが、原則的には任意の反射型光変調器であり得る。層系１３６は、互いに平行かつ垂直であり、かつ明るい画素に対応するミラーに対して垂直であるミラーの格子１６６を備える。

ＳＬＭ３０の明るい画素に対応する各ミラー１６２は、ミラー１６６と共にキューブコーナー再帰反射体を構成する。図１４ｄは、暗い画素１６４に対応するミラーからの入射光線４１の反射も示す。ミラー１６４は格子１６６に対して垂直ではなく、キューブコーナー再帰反射体を構成しない。光線１６８は、それゆえ、光線１６８がライトフィールド２６の形成に関与しない方向に偏向される。

ＳＬＭ３０は、原則として任意の反射型光変調器であってよく、開示された実施形態は例示的であり限定的ではないと想定される。実際、ＳＬＭ３０は、反射面と組み合わされた透過型光変調器でもあり得る。

図１５は、シースルーライトフィールドプロジェクタ１３４がコンパクトなウェアラブル複合現実感メガネをどのように構成できるかを示す。必要な制御電子機器８８及び９０を有するＳＬＭ３０は、それぞれ図１５ａ及び図１５ｂのメガネの正面図及び背面図に見られるようにメガネの外側に配置されてもよく、あるいはそれぞれ図１５ｃ及び図１５ｄの正面図及び背面図に見られるようにメガネの内側に配置されてもよい。

本発明が、ここに与えられた詳細事項に限定されるべきではないように、本実施形態は、例示的であり限定的ではないと見なされるべきである。

１０瞳孔
１２遠い対象物
１４近い対象物
１６ピンホール開口ライトフィールド
１８他のピンホール開口ライトフィールド
２０仮想ピンホール
２２別の仮想ピンホール
２４網膜
２６広開口ライトフィールド
２７ＳＬＭ
２８点光源アレイ
２９放射状光源とミラー
３０空間光変調器ＳＬＭ
３２誘導光学系
３４点光源
３６他の点光源
３７コリメート光ビーム
３８入射ラジアルライトフィールド
４０他の入射放射状ライトフィールド
４１入射光線フィールド
４２コリメータ
４４全反射プリズム
４６接眼レンズ
４８仮想点対象物
５０仮想点対象物のソース画像
５２凸レンズ
５４フーリエフィルタ
５６調整レンズ
５８傾斜ミラー
５９部分的に透明なミラー
６０実世界
６２ライトフィールドプロジェクタエンジン
６４メガネ、透明箱
６６常に合焦される網膜像
６８別の常に合焦される網膜像
７０、７２合成網膜像
７４、７６合成網膜像
７８合成網膜像
８２、８４暗い画素に対応する合成網膜像
８６合成網膜像
８８ディスプレイ制御電子機器
９０照明制御電子機器
９２同期信号
９４映像信号
９６照明信号
９８アクティブ点光源
１００非アクティブ点光源
１０２画像構成要素のシーケンス
１０４初期化オン／オフ
１０６アクティブ点光源の位置
１０８画像フレーム
１１０画像構成要素（ソース画像）
１１２他の画像構成要素（ソース画像）
１１４照射ステップを持つ要素
１１６もう１つのステップ
１１８画像構成要素シーケンス
１２０表示されている画像構成要素
１２２表示されている画像構成要素
１２４表示されている画像構成要素
１２６表示されている画像構成要素
１２８画像シーケンス
１３０他の画像シーケンス
１３２眼
１３４シースルーボックス
１３６層系
１３８光吸収コーティング
１４０要素
１４２透明給電線
１４４透明給電線
１４６光線
１４８光拡散要素
１５０最初の透明ホルダ
１５１第２の透明ホルダ
１５２反射型ＳＬＭの明るい画素
１５４反射型ＳＬＭの暗い画素
１５６ＳＬＭの反射面
１５８マイクロレンズ
１６０偏光フィルタ
１６２ＤＭＤディスプレイ（明るい画素）のマイクロミラー
１６４ＤＭＤディスプレイ（暗い画素）のマイクロミラー
１６８暗い画素に対応するマイクロミラーから反射された光線
１７０メガネの腕部
１７１フレーム
１７２視軸線

非特許文献１は、高い空間解像度を保持し、従来のディスプレイと同じバンド幅要求で操作しながら、眼の調節作用及び網膜ぼけをサポートするニアアイフィールドディスプレイを開示する。

特許文献１は、仮想現実及び拡張現実体験をユーザに提示するシステムを開示し、このシステムは、画像データの１つ又はそれ以上のフレームを提供する画像発生源と、画像データの１つ又はそれ以上のフレームと関連付けられる光を伝送するように構成された光変調器と、ユーザの眼に画像情報を方向付ける基板とを備える。

米国特許出願公開第２０１５／２４１７０７号

ＡｎｄｒｅｗＭａｉｍｏｎｅｅｔ．ａｌ．， "ＨｉｇｈＥｆｆｉｃｉｅｎｃｙＮｅａｒ−ＥｙｅＬｉｇｈｔＦｉｅｌｄＤｉｓｐｌａｙ" ＡＣＭＴｒａｎｓ．Ｇｒａｐｈ．Ａｒｔｉｃｌｅ，１７Ｍａｒｃｈ２０１５（２０１５−０３−１７）

Claims

複数の入射ライトフィールド（３８、４０）を順次放出するように構成された複数の照明点光（３４、３６）を備える光源（２８）と、
一連のソース画像を提供するように構成された空間光変調器（３０）と、
を備え、
空間光変調器（３０）はさらに、複数のピンホール開口ライトフィールド（１６、１８）を順次投影するように、入射光フィールド（３８、４０）のそれぞれをソース画像に従って変調するように構成され、各ピンホール開口ライトフィールド（１６、１８）は、ソース画像からのライトフィールド成分を搬送する、
ニアアイ投影画像をユーザの眼に投影するライトフィールドプロジェクタであって、
順次投影されたピンホール開口ライトフィールド（１６、１８）のそれぞれは、交差仮想ピンホール（２０、２２）を形成し、それを通してソース画像からの構成要素が可視であって、仮想ピンホール（２０、２２）のそれぞれが、開口絞りを備えて、照明点光（３４、３６）のサイズによって決定され、互いに空間的にシフトされ、ニアアイ投影画像が複数の仮想ピンホール（２０、２２）を通して見られる、
ことを特徴とするライトフィールドプロジェクタ。
順次投影された複数のピンホール開口ライトフィールド（１６、１８）は、交差広開口ライトフィールド（２６）を形成する、請求項１に記載のライトフィールドプロジェクタ。
広開口ライトフィールド（２６）は、照明点光（３４、３６）のサイズによって決定され、順次投影された複数のピンホール開口ライトフィールド（１６、１８）が、少なくとも部分的にユーザの眼の瞳孔（１０）に入ることができるように十分に大きな開口絞りを備える、請求項２に記載のライトフィールドプロジェクタ。
広開口ライトフィールド（２６）の射出瞳孔の直径は、５ｍｍから１００ｍｍの間の値である、請求項３に記載のライトフィールドプロジェクタ。
複数の入射ライトフィールド（３８、４０）を光源（２８）から空間光変調器（３０）に案内し、ピンホール開口ライトフィールド（１６、１８）を空間光変調器（３０）と広開口ライトフィールド（２６）との間に案内するように構成された光学装置（３２）を備える、請求項１から４のいずれか一項に記載のライトフィールドプロジェクタ。
空間光変調器（３０）が、高速反射型空間光変調器と、デジタルマイクロミラー装置と、シリコン上の強誘電性液晶とのいずれか一つを備える、請求項１から４のいずれか一項に記載のライトフィールドプロジェクタ。
空間光変調器（３０）上に一連のソース画像（１１０、１１２）を生成するように構成されたディスプレイ制御電子機器回路（８８）を備える、請求項１から５のいずれか一項に記載のライトフィールドプロジェクタ。
複数の照明点光（３４、３６）を制御するための信号を供給するように構成された照明制御電子機器回路（９０）を備える、請求項１から６のいずれか一項に記載のライトフィールドプロジェクタ。
光源（２８）の複数の照明点光（３４、３６）は、一次元、二次元又は三次元配列で配置されている、請求項１から７のいずれか一項に記載のライトフィールドプロジェクタ。
照明制御電子機器回路（９０）は、時系列関数に従って複数の点光源（３４、３６）の下位の組み合わせを点灯するように構成されてある、請求項７又は８に記載のライトフィールドプロジェクタ。
光学装置（３２）は、入射ライトフィールド（３８、４０）を平面波に変換するように構成されたコリメータ（４２）を備える、請求項４から９のいずれか一項に記載のライトフィールドプロジェクタ。
光学装置（３２）は、全反射角より大きな反射角を有するピンホール開口ライトフィールド（１６、１８）を反射するように構成された第１の光学素子（４４）を備える、請求項４から１０のいずれか一項に記載のライトフィールドプロジェクタ。
光学装置（３２）は、空間光変調器（３０）と広開口ライトフィールド（２６）との間にフーリエフィルタ（５４）をさらに備える、請求項４から１１のいずれか一項に記載のライトフィールドプロジェクタ。
光学装置（３２）は、反射されたピンホール開口ライトフィールド（１６、１８）の光フーリエ変換を実行するように構成された凸レンズ（５２）をさらに備える、請求項４から１２のいずれか一項に記載のライトフィールドプロジェクタ。
光学装置（３２）が、反射されたピンホール開口ライトフィールド（１６、１８）を広開口ライトフィールド（２６）内に集束させるように構成された第２の光学素子（４６）をさらに備える、請求項４から１３のいずれか一項に記載のライトフィールドプロジェクタ。
ソース画像は、複数の画素を含むモノクロディザ画像を含み、明るい画素の密度が明るさを決定する、請求項１から１４のいずれか一項に記載のライトフィールドプロジェクタ。
請求項１から１６のいずれか一項に記載のライトフィールドプロジェクタを備える、ユーザが装着することとした拡張現実感装置であって、
点光源（２８）及び空間光変調器（３０）は、拡張現実感装置が装着されているときに、ピンホール開口ライトフィールド（１６、１８）が、網膜（２４）に到達するように、ユーザの少なくとも１つの眼（１３２）の視軸線（１７２）に沿って投影されるように、配置されている、拡張現実感装置。
ユーザに装着されているとき、点光源（２８）と空間光変調器（３０）とは、眼（１３２）の視野外に配置され、
ライトフィールドプロジェクタが、ピンホール開口ライトフィールド（１６、１８）を視軸線（１７２）に沿って反射するように構成されたミラー（５８、５９）を備える、請求項１７に記載の拡張現実感装置。
ミラー（５８、５９）が、透過的なガラス（６４、１３４）の表面上に設けられているか、又は内部に埋め込まれてある、請求項１８に記載の拡張現実感装置。
ガラスは、複数の要素（２９）を含むシースルーボックス（１３４）を備え、
各要素（２９）は、複数の要素（２９）が点光源（２８）を形成するように照明点光（３４、３６）を備える、請求項１９に記載の拡張現実感装置。
ミラー（５８、５９）が各要素（２９）に含まれ、
複数の要素（２９）は、各ピンホール開口ライトフィールド（１６、１８）が視軸線（１７２）に沿って、要素の１つに含まれるミラー（５８、５９）によって反射されるように、シースルーボックス（１３４）内に配置された、請求項２０に記載の拡張現実感装置。
複数の要素（２９）のそれぞれが、第２の透明ホルダ（１５１）上にミラー（５８、５９）を包含する第１の透明ホルダ（１５０）を備える、請求項２０又は２１に記載の拡張現実感装置。
第１の透明ホルダ（１５０）が、光吸収コーティング（１３８）及び光形成光学系（１４０）を備える、請求項２２に記載の拡張現実感装置。
第１の透明ホルダ（１５０）は、光ビーム（１４６）によって照明される光拡散要素（１４８）を含み、ミラー（５８、５９）が光吸収コーティングを備える、請求項２２に記載の拡張現実感装置。
ミラー（５８）が、広開口ライトフィールド（２６）からの回折成分を除去するために構成されたフーリエフィルタを備える、請求項１８から２４のいずれか一項に記載の拡張現実感装置。
ミラー（５８）は、アレイ状に配置された部分反射型又は全反射型の複数のサブミラーを備え、各サブミラーは、ピンホール開口ライトフィールド（１６、１８）の１つを反射する、請求項１８から２５のいずれか一項に記載の拡張現実感装置。
サブミラーは、２５０μｍから２０００μｍの範囲内の直径を有する、請求項２６に記載の拡張現実感装置。
空間光変調器（３０）がシースルーボックス（１３４）の一側部に備えられ、
入射光フィールド（３８、４０）が空間光に到達する前にレンズ（５２）を通過するように、レンズ（５２）がシースルーボックス（１３４）と空間光変調器（３０）との間に備えられている、請求項２０から２７のいずれか一項に記載の拡張現実感装置。
シースルーボックス（１３４）が、空間光変調器（３０）と組み合わせて再帰反射ディスプレイとして機能する層系（１３６）を備える、請求項２０から２７のいずれか一項に記載の拡張現実感装置。
層系（１３６）は、入射ライトフィールド（３８、４０）が、空間光変調器（３０）に到達する前に層系（１３６）及び空間光変調器（３０）によって再帰反射されるようにシースルーボックス（１３４）と空間光変調器（３０）との間に備えられている、請求項２９に記載の拡張現実感装置。
空間光変調器（３０）がシースルーボックス（１３４）から物理的に分離されている、請求項１９から３０のいずれか一項に記載の拡張現実感装置。
層系（１３６）が、マイクロレンズアレイと、平行及び垂直ミラーの格子とのうちの１つを備える、請求項２９から３１のいずれか一項に記載の拡張現実感装置。
空間光変調器（３０）は、偏向回転反射層（１５６）を備え、
層系（１３６）は、偏光フィルタ（１６０）と、レンズと偏光回転反射層（１５６）との間の最小距離に等しい焦点距離を有するレンズ（１５８）を有するマイクロレンズアレイとを備える、請求項２９から３２のいずれか一項に記載の拡張現実感装置。
反射型ＳＬＭ（３０）が傾斜ミラー（１６２）を備え、
層系（１３６）は、互いに平行又は垂直であり、かつアクティブな明るい画素に対応する位置でミラー（１６２）に対して垂直である固定反射面（１６６）の格子を備える、請求項２９から３２のいずれか一項に記載の拡張現実感装置。
ニアアイ投影画像は、遠方視（６０）の対象物から来るライトフィールドによって形成される遠い画像と組み合わせ可能である、請求項１７から３４のいずれか一項に記載の拡張現実感装置。
ニアアイ投影画像は、眼（１３２）の視野を部分的に占める、請求項３５に記載の拡張現実感装置。
ニアアイ投影画像が、遠い画像と相対的に所定の位置に形成されるように構成された、請求項３６に記載の拡張現実感装置。
メガネを備え、メガネの各ガラス部がミラー（５８、５９）を備える、請求項１９から３７のいずれか一項に記載の拡張現実感装置。
メガネを備え、メガネの各ガラス部がシースルーボックス（１３４）を備える、請求項２０から３７のいずれか一項に記載の拡張現実感装置。
空間光変調器（３０）上に一連のソース画像（１１０、１１２）を表示することと、
表示されたソース画像（１１０、１１２）を放射光線のライトフィールド（３８、４０）で照明することと、
を備える、請求項１８から３９のいずれか一項に記載の拡張現実感装置を操作する方法であって、
複数の点光源（３４、３６）の下位の組み合わせが、時系列関数に従って点灯される、拡張現実感装置を操作する方法。
ニアアイ投影画像は、遠方視（６０）の対象物から来るライトフィールドによって形成される遠い画像と組み合わせ可能であって、
ニアアイ投影画像が、表示されたソース画像（１１０、１１２）を放射光線のライトフィールド（３８、４０）で順次照明することによって遠い画像と組み合わされる、請求項４０に記載の方法。