JP2023500177A - 奥行きのある物体を表示するシステム及び方法 - Google Patents
奥行きのある物体を表示するシステム及び方法 Download PDFInfo
- Publication number
- JP2023500177A JP2023500177A JP2021563371A JP2021563371A JP2023500177A JP 2023500177 A JP2023500177 A JP 2023500177A JP 2021563371 A JP2021563371 A JP 2021563371A JP 2021563371 A JP2021563371 A JP 2021563371A JP 2023500177 A JP2023500177 A JP 2023500177A
- Authority
- JP
- Japan
- Prior art keywords
- light signal
- viewer
- combiner
- signal generator
- coupler
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 210000001525 retina Anatomy 0.000 claims abstract description 88
- 230000003287 optical effect Effects 0.000 claims description 165
- 210000003128 head Anatomy 0.000 claims description 7
- 230000004256 retinal image Effects 0.000 description 63
- 210000001747 pupil Anatomy 0.000 description 28
- 238000010586 diagram Methods 0.000 description 20
- 230000033001 locomotion Effects 0.000 description 9
- 241000086550 Dinosauria Species 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 230000004305 hyperopia Effects 0.000 description 5
- 201000006318 hyperopia Diseases 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000004379 myopia Effects 0.000 description 5
- 208000001491 myopia Diseases 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 239000011248 coating agent Substances 0.000 description 4
- 238000000576 coating method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 239000004984 smart glass Substances 0.000 description 4
- 230000004308 accommodation Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002207 retinal effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000003607 modifier Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000035699 permeability Effects 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 206010019233 Headaches Diseases 0.000 description 1
- 206010020675 Hypermetropia Diseases 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 239000000696 magnetic material Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Theoretical Computer Science (AREA)
Abstract
Description
物体表示システムは、右光信号生成器と、右結合器と、左光信号生成器と、左結合器とを有する。右光信号生成器は、物体に関する多数の右光信号を生成する。右結合器は、多数の右光信号を受信し、閲覧者の一方の網膜に向けて転送し、物体の多数の右画素を表示する。左光信号生成器は、物体に関する多数の左光信号を生成する。左結合器は、多数の左光信号を受信し、閲覧者のもう一方の網膜に向けて転送し、物体の多数の左画素を表示する。更に、第1の転送右光信号及び対応する第1の転送左光信号は、閲覧者によって知覚され、第1の奥行きのある物体の第1の仮想両眼画素を表示し、第1の奥行きは、第1の転送右光信号と対応する第1の転送左光信号との間の第1の角度に関連する。一実施形態では、第1の奥行きは、第1の転送右光信号の光路延長部と対応する第1の転送左光信号の光路延長部との間の第1の角度によって決定される。
閲覧者は、右瞳孔52及び右網膜54を収容する右目50と、左瞳孔62及び左網膜64を収容する左目60とを有する。人間の瞳孔の直径は、概して、環境光に応じて、部分的に2から8mmまでの範囲であり得る。大人の通常の瞳孔サイズは、明るい光では2から4mmの直径で変動し、暗闇では4から8mmの直径で変動する。多数の右光信号は、右結合器20によって転送され、右瞳孔52を通過し、最終的に、右網膜54によって受けられる。右光信号RLS_1は、閲覧者の右目が特定の水平面上で見ることができる、右に最も遠い光信号である。
右光信号RLS_2は、閲覧者の右目が同じ水平面上で見ることができる、左に最も遠い光信号である。閲覧者は、転送右光信号を受信すると、転送右光信号RLS_1及びRLS_2の延長部によって境界が示される領域A内の物体の多数の右画素を知覚する。領域Aを右目50の視界(FOV)と呼ぶ。同様に、多数の左光信号は、左結合器40によって転送され、左瞳孔62の中心を通過し、最終的に、左網膜64によって受けられる。
左光信号LLS_1は、閲覧者の左目が特定の水平面上で見ることができる、右に最も遠い光信号である。左光信号LLS_2は、閲覧者の左目が同じ水平面上で見ることができる、左に最も遠い光信号である。閲覧者は、転送左光信号を受信すると、転送左光信号LLS_1及びLLS_2の延長部によって境界が示される領域B内の物体の多数の左画素を知覚する。領域Bを左目60の視界(FOV)と呼ぶ。多数の右画素及び左画素の両方が、領域A及び領域Bが重なる領域C内に表示されると、1つの右画素を表示する少なくとも1つの右光信号、及び1つの左画素を表示する、対応する左光信号は融合し、特定の奥行きのある仮想両眼画素を領域C内に表示する。奥行きは、転送右光信号及び転送左光信号の角度に関連する。そのような角度を収束角とも呼ぶ。
例えば、図2に示すように、第2の仮想両眼画素74は、第1の仮想両眼画素72よりも大きな奥行きのある(即ち、閲覧者からより遠く離れている)ように閲覧者によって知覚される。したがって、第2の右画素と第2の左画素との間の水平距離は、網膜画像上では、第1の右画素と第1の左画素との間の水平距離よりも小さい。具体的には、第2の仮想両眼画素を形成する第2の右画素R41と第2の左画素L51との間の水平距離は、4画素長である。しかし、第1の仮想両眼画素を形成する第1の右画素R43と第1の左画素L33との間の距離は、6画素長である。
網膜画像内の画素は、結合器画像内の対応する画素に対して左右反転、上下反転する。光信号生成器及び結合器の相対的な位置及び角度の適切な構成に基づき、各光信号は、光信号生成器から網膜まで各自の光路を有する。右網膜上に1つの右画素を表示する1つの右光信号と、左網膜上に1つの左画素を表示する1つの対応する左光信号との組合せにより、閲覧者によって知覚される特定の奥行きのある仮想両眼画素を形成する。したがって、空間内の仮想両眼画素は、右画素及び左画素の対、又は右結合器画素及び左結合器画素の対によって表すことができる。
1つの転送右光信号の光路延長部は、画像の同じ列上で各転送左光信号の光路延長部に交差する。同様に、1つの転送左光信号の光路延長部は、画像の同じ列上で各転送右光信号の光路延長部に交差する。したがって、36(6×6)個の仮想両眼画素が1つの層上にあり、空間内に6つの層がある。図4では平行な線として示されるが、通常、仮想両眼画素に交差し、仮想両眼画素を形成する光路延長部を表す2つの隣接し合う線の間に、わずかな角度がある。ほぼ同じ高さの各網膜(即ち、同じ列の右網膜画像及び左網膜画像)における右画素及び対応する左画素は、より早く融合する傾向がある。したがって、右画素は、同じ列の網膜画像で左画素と対になり、仮想両眼画素を形成する。
サイズ規模、重複物体の数、及び奥行き順序等、更なる情報をVBPのために保存することもできる。サイズ規模は、標準VBPと比較した特定のVBPの相対的サイズ情報とすることができる。例えば、サイズ規模は、閲覧者の前に1mという標準VBPで物体を表示する際、1に設定することができる。したがって、サイズ規模は、閲覧者の前に90cmという特定VBPで表示する場合、1.2に設定することができる。同様に、サイズ規模は、閲覧者の前に1.5mという特定VBPで表示する場合、0.8に設定することができる。サイズ規模は、物体が第1の奥行きから第2の奥行きまで移動する場合、表示物体のサイズを決定するために使用することができる。重複物体の数は、一方の物体が完全又は部分的にもう一方の物体の背後に隠れているような互いに重複する物体の数である。奥行き順序は、様々な重複物体の奥行きの順序についての情報をもたらす。例えば、3つの物体が互いに重複している。前にある第1の物体の奥行き順序を1と設定することができ、第1の物体の背後に隠れている第2の物体の奥行き順序を2と設定することができる。様々な重複物体が移動している際、重複物体の数及び奥行き順序を使用し、物体のどの、何の部分を表示する必要があるかを決定することができる。
図7に示すように、ステップ710において、基準点と共に物体画像を生成する。一実施形態では、物体画像は、2D又は3Dモデル化によって生成することができる。基準点は、物体の重心とすることができる。720において、基準点に対する仮想両眼画素を決定する。基準点の3D座標を用いて、設計者は、例えば、ソフトウェアGUIを介して、最も近い仮想両眼画素をVBP(145)等の番号によって直接決定することができる。ステップ730において、仮想両眼画素に対応する右画素及び左画素の対を識別する。次に、設計者は、参照表を使用し、対応する右画素及び左画素の対を識別することができる。設計者は、基準点が閲覧者の両目の中間の前にあると仮定して、基準点の所定の奥行きを使用し、収束角を計算し、次に、対応する右画素及び左画素を識別することもできる。設計者は、XY平面上の基準点を所定のX及びY座標に移動させ、次に、最終的に対応する右画素及び左画素を識別することができる。ステップ740において、右光信号及び対応する左光信号を投射し、基準に対する右画素及び対応する左画素をそれぞれ表示する。基準点に対し、仮想両眼画素に対応する右画素及び左画素の対を決定した後、2D又は3Dモデル化情報を使用して全仮想物体を表示することができる。
したがって、右網膜画像及び左網膜画像上の右画素及び左画素の各対のXYZ等の3D座標系をそれぞれ決定し、参照表を生成することができる。更に、第3のステップ及び第4のステップは交換可能である。
2D調整可能反射器は、2つの1D MEMSミラー等の2つの1次元(1D)反射器に置き換えることができる。LBS投射器は、光信号を1つずつ連続的に生成、走査し、所定の解像度、例えば、1フレームにつき1280×720画素で2D画像を形成する。したがって、1画素に対して1つの光信号が生成され、結合器20及び40に向けて1回投射される。閲覧者がそのような2D画像を一方の目から見る場合、LBS投射器は、視覚の持続期間以内、例えば、1/18秒以内で光信号、例えば1280×720個の光信号を各画素に対して連続的に生成する必要がある。したがって、各光信号の持続時間は、約60.28ナノ秒である。
結合器20、40が屈折器として機能する場合、反射比は、一部は光信号生成器の出力に応じて、20%~80%等、広く変動させることができる。当業者は、光信号生成器及び結合器の特性に基づく適切な反射比の決定の仕方が分かる。その上、一実施形態では、結合器20、40は、入射光信号の反対側からの周囲(環境)光に対して光学的に透過性である。透過度は、用途に応じて広く変動させることができる。一実施形態では、AR/MR用途の場合、透過度は、約75%等、50%超であることが好ましい。結合器20、40は、光信号を転送することに加えて、結合器画像を形成する多数の光信号を収束することができ、結合器画像が閲覧者の両目の瞳孔を通過し、網膜に到達し得るようにする。
楕円体の形状特性のために、一方の焦点から楕円体面に投射される全ての光線は、もう一方の焦点に反射される。この場合、光信号生成器から楕円体形状結合器の表面に投射される全ての光線は、閲覧者の目に反射される。したがって、本実施形態では、FOVは、楕円体面が許容するのと同じ大きさで最大まで拡張することができる。別の実施形態では、結合器10、20は、ホログラフィ膜が楕円体と同様に光を反射するように設計された平坦面を有することができる。
制御ユニットは、有線又はワイヤレス手段を介して個別の画像信号供給器と通信することができる。ワイヤレス通信は、4G及び5G、WiFi(登録商標)、Bluetooth(登録商標)、短距離通信並びにインターネット等の通信を含む。制御ユニットは、プロセッサと、メモリと、I/Oインターフェースとを含み、画像信号供給器及び閲覧者と通信することができる。物体表示システムは、電源を更に備える。電源は、電池及び/又はワイヤレス充電し得る構成要素とすることができる。
特に、図12に示すように、物体表示システムは、スマート・グラスと呼ぶ眼鏡によって支持される。この状況において、支持構造体は、レンズ付き又はレンズ無しの眼鏡フレームとすることができる。レンズは、近視、遠視等の矯正に使用される処方レンズとすることができる。右光信号生成器は、右フレームのつるによって支持される。左光信号生成器は、左フレームのつるによって支持される。右結合器は、右レンズによって支持することができ、左結合器は、左レンズによって支持することができる。支持は、様々な方法で実施することができる。結合器は、取外し可能手段又は非取外し可能手段のいずれかによって、レンズに取り付けるか又は組み込むことができる。結合器は、処方レンズを含め、レンズと一体に作製することができる。支持構造体がレンズを含まない場合、右結合器及び左結合器は、フレーム又は縁によって直接支持することができる。
視度ユニット及び結合器は、2つの部品として個別に製造し、次に、一緒に組み立てることもできる。これら2つの部品は、互いに取り付けることができるが、例えば、埋込み磁性材料により分離可能であっても、互いに永続的に取り付けてもよい。いずれかの状況において、結合器は、閲覧者の目に近いレンズの側に設けられる。レンズが1つの部品である場合、結合器は、レンズの内側面を形成する。レンズが2つの部分を有する場合、結合器は、レンズの内側部分を形成する。結合器は、周辺光が通過し、光信号生成器が生成した光信号を閲覧者の目に反射し、仮想画像を現実の環境内に形成することを可能にする。結合器は、光信号生成器からの全ての光信号を反射し、目の瞳孔に収束し、次に、網膜に到達させるのに適切な曲率を有するように設計されている。
図13に示すように、視度ユニットの外側面を使用して処方度に対する曲率をもたらす場合、視度ユニットの内側面は、結合器の外側面と同じ曲率を有するように設計することができる。したがって、視度ユニットは、結合器により良好に適合させることができる。一例として、視度ユニットの内側面及び結合器の外側面は、同じ球形又は楕円体面とすることができる。他の実施形態では、視度ユニットの内側面を使用して処方度に対する曲率をもたらす場合、結合器の外側面は、視度ユニットの内側面と同じ又は同様の曲率を有するように設計し、これら2つの間の結合を容易にすることができる。しかし、結合器の外側面が視度ユニットの内側面と同じ曲率を有さない場合、結合器の外側面及び視度ユニットの内側面は、磁石、接着材料、又は他の結合構造体等の機械的手段を介して結合することができる。別の選択肢は、中間材料を適用し、視度ユニット及び結合器を組み立て得ることである。代替的に、結合器は、レンズの内側面上に被覆することができる。
図14A~図14Iは、例1~例9における移動物体をそれぞれ示す。これらの図において、右結合器画像82及び左結合器画像92内に示す物体は、物体を表示する、対応する右光信号及び左光信号の場所を正確に反映するものではない場合がある。更に、例は、XYZ座標系の起点として閲覧者の瞳孔間線の中間点を設定する。更に、RCI(10,10)及びLCI(10,10)は、右結合器画像及び左結合器画像の中心であるようにそれぞれ設定される。同様に、RRI(10,10)及びLRI(10,10)は、右網膜画像及び左網膜画像の中心であるようにそれぞれ設定される。(0,0)画素は、各画像の上部最左画素である。
例えば、仮想物体のXYZ座標が(0,0,100)から(10,0,100)まで移動する場合、右結合器画像上の右光信号は、RCI(10,10)からRCI(12,10)まで移動し、左結合器画像上の左光信号は、LCI(10,10)からLCI(12,10)まで移動する。したがって、右網膜画像上の右光信号は、RRI(10,10)からRRI(8,10)まで移動し、左網膜画像上の左光信号は、LRI(10,10)からLRI(8,10)まで移動する。
例えば、仮想物体のXYZ座標が(0,0,100)から(0,-10,100)まで移動する場合、右結合器画像上の右光信号は、RCI(10,10)からRCI(10,12)まで移動し、左結合器画像上の左光信号は、LCI(10,10)からLCI(10,12)まで移動する。したがって、右網膜画像上の右光信号は、RRI(10,10)からRRI(10,8)まで移動し、左網膜画像上の左光信号は、LRI(10,10)からLRI(10,8)まで移動する。
例えば、仮想物体のXYZ座標が(0,0,100)から(0,0,50)まで移動する場合、右結合器画像上の右光信号は、RCI(10,10)からRCI(5,10)まで移動し、左結合器画像上の左光信号は、LCI(10,10)からLCI(15,10)まで移動する。したがって、右網膜画像上の右光信号は、RRI(10,10)からRRI(15,10)まで移動し、左網膜画像上の左光信号は、LRI(10,10)からLRI(5,10)まで移動する。
例えば、右結合器画像上の右光信号の場所が(両目の中心に近い)その左縁部まで10画素であり、左結合器画像上の左光信号の場所が(両目の中心に近い)その右縁部まで5画素であると仮定する。右の場所~中心距離と、左の場所~中心距離との比率は、2:1(10:5)である。物体をより近くに移動させるため、右結合器画像上の右の場所、及び左結合器画像上の左の場所が、互いに3画素の距離だけ近くに移動する必要がある場合、2:1比のために、右の場所は、左縁部に向けて2画素だけ移動する必要があり、左の場所は、右縁部に向けて1画素だけ移動する必要がある。
例えば、仮想物体のXYZ座標が(0,0,100)から(10,10,100)まで移動する場合、右結合器画像上の右光信号は、RCI(10,10)からRCI(12,8)まで移動し、左結合器画像上の左光信号は、LCI(10,10)からLCI(12,8)まで移動する。したがって、右網膜画像上の右光信号は、RRI(10,10)からRRI(8,12)まで移動し、左網膜画像上の左光信号は、LRI(10,10)からLRI(8,12)まで移動する。
例えば、仮想物体のXYZ座標が(0,0,100)から(0,-10,50)まで移動する場合、右結合器画像上の右光信号は、RCI(10,10)からRCI(5,12)まで移動し、左結合器画像上の左光信号は、LCI(10,10)からLCI(15,12)まで移動する。したがって、右網膜画像上の右光信号は、RRI(10,10)からRRI(15,8)まで移動し、左網膜画像上の左光信号は、LRI(10,10)からLRI(5,8)まで移動する。
例えば、仮想物体のXYZ座標が(0,0,100)から(10,0,50)まで移動する場合、右結合器画像上の右光信号は、RCI(10,10)からRCI(7,10)まで移動し、左結合器画像上の左光信号は、LCI(10,10)からLCI(17,10)まで移動する。したがって、右網膜画像上の右光信号は、RRI(10,10)からRRI(13,10)まで移動し、左網膜画像上の左光信号は、LRI(10,10)からLRI(3,10)まで移動する。
例えば、仮想物体のXYZ座標が(0,0,100)から(10,-10,50)まで移動する場合、右結合器画像上の右光信号は、RCI(10,10)からRCI(7,12)まで移動し、左結合器画像上の左光信号は、LCI(10,10)からLCI(17,12)まで移動する。したがって、右網膜画像上の右光信号は、RRI(10,10)からRRI(13,8)まで移動し、左網膜画像上の左光信号は、LRI(10,10)からLRI(3,8)まで移動する。
図14Hにおいて、物体は、様々な中間仮想両眼画素を通じて1mの奥行きのある第1の仮想両眼画素から10mの奥行きのある第2の仮想両眼画素まで移動する丸い点によって表される。第1に、1mの奥行きのある第1の仮想両眼画素の収束角は、第1の転送右光信号の光路延長部と第1の転送左光信号の光路延長部との間が3.4度であると計算される。
IPD=60mmである場合、θ=3.4度である。
IPD=60mmである場合、θ=0.34度である。
第4に、この例では、98ステップの第1の仮想両眼画素と第2の仮想両眼画素との間の小さな移動のような、98個の中間仮想両眼画素を通じて移動を表示する。これら98個の仮想両眼画素のための右光信号及び対応する左光信号は、右光信号生成器及び左光信号生成器によってそれぞれ生成され、閲覧者の右網膜画像及び左網膜に投射される。したがって、閲覧者は、仮想物体が98個の中間位置を通じて1mから10mまで滑らかに移動しているのを知覚することができる。
図14Iにおいて、物体は、様々な中間仮想両眼画素を通じて1mの奥行きのある第1の仮想両眼画素から20cmの奥行きのある第2の仮想両眼画素まで移動する丸い点によって表される。第1に、第1mの奥行きのある第1の仮想両眼画素の収束角は、第1の転送右光信号の光路延長部と第1の転送左光信号の光路延長部との間が3.4度であると計算される。
IPD=60mmである場合、θ=3.4度である。
IPD=60mmである場合、θ=17度である。
第4に、この例では、435ステップの第1の仮想両眼画素と第2の仮想両眼画素との間の小さな移動のような、435個の中間仮想両眼画素を通じて移動を表示する。これら435個の仮想両眼画素のための右光信号及び対応する左光信号は、右光信号生成器及び左光信号生成器によってそれぞれ生成され、閲覧者の右網膜画像及び左網膜に投射される。したがって、閲覧者は、仮想物体が435個の中間位置を通じて1mから10mまで滑らかに移動しているのを知覚することができる。
閲覧者は、右瞳孔52及び右網膜54を収容する右目50と、左瞳孔62及び左網膜64を収容する左目60とを有する。人間の瞳孔の直径は、概して、環境光に応じて、部分的に2から8mmまでの範囲であり得る。大人の通常の瞳孔サイズは、明るい光では2から4mmの直径で変動し、暗闇では4から8mmの直径で変動する。多数の右光信号は、右結合器20によって転送され、右瞳孔52を通過し、最終的に、右網膜54によって受けられる。右光信号RLS_1は、閲覧者の右目50が特定の水平面上で見ることができる、右に最も遠い光信号である。
右光信号RLS_2は、閲覧者の右目50が同じ水平面上で見ることができる、左に最も遠い光信号である。閲覧者は、転送右光信号を受信すると、転送右光信号RLS_1及びRLS_2の延長部によって境界が示される領域A内の物体の多数の右画素を知覚する。領域Aを右目50の視界(FOV)と呼ぶ。同様に、多数の左光信号は、左結合器40によって転送され、左瞳孔62の中心を通過し、最終的に、左網膜64によって受けられる。
左光信号LLS_1は、閲覧者の左目60が特定の水平面上で見ることができる、右に最も遠い光信号である。左光信号LLS_2は、閲覧者の左目が同じ水平面上で見ることができる、左に最も遠い光信号である。閲覧者は、転送左光信号を受信すると、転送左光信号LLS_1及びLLS_2の延長部によって境界が示される領域B内の物体の多数の左画素を知覚する。領域Bを左目60の視界(FOV)と呼ぶ。多数の右画素及び左画素の両方が、領域A及び領域Bが重なる領域C内に表示されると、1つの右画素を表示する少なくとも1つの右光信号、及び1つの左画素を表示する、対応する左光信号は融合し、特定の奥行きのある仮想両眼画素を領域C内に表示する。奥行きは、転送右光信号及び転送左光信号の角度に関連する。そのような角度を収束角とも呼ぶ。
例えば、図2に示すように、第2の仮想両眼画素74は、第1の仮想両眼画素72よりも大きな奥行きのある(即ち、閲覧者からより遠く離れている)ように閲覧者によって知覚される。したがって、第2の右画素と第2の左画素との間の水平距離は、網膜画像上では、第1の右画素と第1の左画素との間の水平距離よりも小さい。具体的には、第2の仮想両眼画素を形成する第2の右画素R41と第2の左画素L51との間の水平距離は、4画素長である。しかし、第1の仮想両眼画素を形成する第1の右画素R43と第1の左画素L33との間の距離は、6画素長である。
2D調整可能反射器は、2つの1D MEMSミラー等の2つの1次元(1D)反射器に置き換えることができる。LBS投射器は、光信号を1つずつ連続的に生成、走査し、所定の解像度、例えば、1フレームにつき1280×720画素で2D画像を形成する。したがって、1画素に対して1つの光信号が生成され、結合器20及び40に向けて1回投射される。閲覧者がそのような2D画像を一方の目から見る場合、LBS投射器は、視覚の持続期間以内、例えば、1/18秒以内で光信号、例えば1280×720個の光信号を各画素に対して連続的に生成する必要がある。したがって、各光信号の持続時間は、約60.28ナノ秒である。
結合器20、40が屈折器として機能する場合、反射比は、一部は光信号生成器の出力に応じて、20%~80%等、広く変動させることができる。当業者は、光信号生成器及び結合器の特性に基づく適切な反射比の決定の仕方が分かる。その上、一実施形態では、結合器20、40は、入射光信号の反対側からの周囲(環境)光に対して光学的に透過性である。透過度は、用途に応じて広く変動させることができる。一実施形態では、AR/MR用途の場合、透過度は、約75%等、50%超であることが好ましい。結合器20、40は、光信号を転送することに加えて、結合器画像を形成する多数の光信号を収束することができ、結合器画像が閲覧者の両目の瞳孔を通過し、網膜に到達し得るようにする。
楕円体の形状特性のために、一方の焦点から楕円体面に投射される全ての光線は、もう一方の焦点に反射される。この場合、光信号生成器から楕円体形状結合器の表面に投射される全ての光線は、閲覧者の目に反射される。したがって、本実施形態では、FOVは、楕円体面が許容するのと同じ大きさで最大まで拡張することができる。別の実施形態では、結合器20、40は、ホログラフィ膜が楕円体と同様に光を反射するように設計された平坦面を有することができる。
例えば、仮想物体のXYZ座標が(0,0,100)から(0,0,50)まで移動する場合、右結合器画像上の右光信号は、RCI(10,10)からRCI(5,10)まで移動し、左結合器画像上の左光信号は、LCI(10,10)からLCI(15,10)まで移動する。したがって、右網膜画像上の右光信号は、RRI(10,10)からRRI(15,10)まで移動し、左網膜画像上の左光信号は、LRI(10,10)からLRI(5,10)まで移動する。
例えば、仮想物体のXYZ座標が(0,0,100)から(10,10,100)まで移動する場合、右結合器画像上の右光信号は、RCI(10,10)からRCI(12,8)まで移動し、左結合器画像上の左光信号は、LCI(10,10)からLCI(12,8)まで移動する。したがって、右網膜画像上の右光信号は、RRI(10,10)からRRI(8,12)まで移動し、左網膜画像上の左光信号は、LRI(10,10)からLRI(8,12)まで移動する。
例えば、仮想物体のXYZ座標が(0,0,100)から(0,-10,50)まで移動する場合、右結合器画像上の右光信号は、RCI(10,10)からRCI(5,12)まで移動し、左結合器画像上の左光信号は、LCI(10,10)からLCI(15,12)まで移動する。したがって、右網膜画像上の右光信号は、RRI(10,10)からRRI(15,8)まで移動し、左網膜画像上の左光信号は、LRI(10,10)からLRI(5,8)まで移動する。
Claims (30)
- 奥行きのある物体を表示するシステムであって、
物体に関する多数の右光信号を生成する右光信号生成器と、
前記多数の右光信号を受信し、閲覧者の一方の網膜に向けて転送し、物体の多数の右画素を表示する右結合器と、
物体に関する多数の左光信号を生成する左光信号生成器と、
前記多数の左光信号を受信し、閲覧者のもう一方の網膜に向けて転送し、物体の多数の左画素を表示する左結合器と、を備え、
第1の転送右光信号及び対応する第1の転送左光信号は、閲覧者によって知覚され、第1の奥行きのある物体の第1の仮想両眼画素を表示し、
前記第1の奥行きは、前記第1の転送右光信号と前記対応する第1の転送左光信号との間の第1の角度に関連することを特徴とする、
システム。 - 前記第1の奥行きは、前記第1の転送右光信号の光路延長部と前記対応する第1の転送左光信号の光路延長部との間の前記第1の角度によって決定されることを特徴とする、請求項1に記載のシステム。
- 前記第1の転送右光信号及び前記対応する第1の転送左光信号は、閲覧者の両目の網膜とほぼ同じ高さに向けられることを特徴とする、請求項1に記載のシステム。
- 前記第1の転送右光信号は、前記対応する第1の転送左光信号の視差ではないことを特徴とする、請求項1に記載のシステム。
- 前記右光信号生成器から生成した前記多数の右光信号は、閲覧者の一方の網膜に入る前、一度だけ反射され、前記左光信号生成器から生成した前記多数の左光信号は、閲覧者のもう一方の網膜に入る前、一度だけ反射されることを特徴とする、請求項1に記載のシステム。
- 前記右光信号生成器は、右レーザー・ビーム走査投射器(LBS投射器)であり、前記右LBS投射器から生成した前記多数の右光信号は、閲覧者の一方の網膜に入る前、前記右結合器によって一度だけ反射され、前記左光信号生成器は、左LBS投射器であり、前記左LBS投射器から生成した前記多数の左光信号は、閲覧者のもう一方の網膜に入る前、前記左結合器によって一度だけ反射されることを特徴とする、請求項1に記載のシステム。
- 前記右結合器及び前記左結合器は、周囲光に対して透過性であることを特徴とする、請求項1に記載のシステム。
- 第2の転送右光信号及び対応する第2の転送左光信号は、閲覧者によって知覚され、第2の奥行きのある物体の第2の仮想両眼画素を表示し、前記第2の奥行きは、前記第2の転送右光信号と前記対応する第2の転送左光信号との間の第2の角度に関連することを特徴とする、請求項1に記載のシステム。
- 前記右結合器は、前記多数の左光信号を受信し、閲覧者の右の網膜に向けて転送し、物体の多数の右画素を表示し、前記左結合器は、前記多数の右光信号を受信し、閲覧者の左の網膜に向けて転送し、物体の多数の左画素を表示することを特徴とする、請求項1に記載のシステム。
- 前記右結合器及び前記左結合器は、楕円体形状であり、前記右光信号生成器は、前記右結合器の1つの焦点上に配置され、前記左光信号生成器は、前記左結合器の1つの焦点上に配置されることを特徴とする、請求項1に記載のシステム。
- 前記右光信号生成器の右投射角は、前記右結合器への前記多数の右光信号の入射角を修正するように調節可能であり、前記左光信号生成器の左投射角は、前記左結合器への前記多数の左光信号の入射角を修正するように調節可能であることを特徴とする、請求項1に記載のシステム。
- 閲覧者の頭部に装着可能な支持構造体を更に備え、前記右光信号生成器、前記左光信号生成器は、前記支持構造体によって支持され、 前記右結合器及び前記左結合器は、前記支持構造体によって支持され、閲覧者の視界内に配置されることを特徴とする、請求項1に記載のシステム。
- 前記支持構造体は、眼鏡であることを特徴とする、請求項12に記載のシステム。
- 前記眼鏡は、前記右結合器又は前記左結合器を支持する、処方レンズを有することを特徴とする、請求項13に記載のシステム。
- 前記眼鏡は、前記右結合器又は前記左結合器を一体に作製した処方レンズを有することを特徴とする、請求項13に記載のシステム。
- 前記処方レンズ、及び前記右結合器又は前記左結合器のいずれかは、互いに取り付けられるが、分離可能であることを特徴とする、請求項13に記載のシステム。
- 前記右結合器及び前記左結合器は、1つの一体化結合器に統合されることを特徴とする、請求項12に記載のシステム。
- 奥行きのある物体を表示する方法であって、
右光信号生成器から、物体のための多数の右光信号を生成することと、
閲覧者の一方の網膜に前記多数の右光信号を転送することと、
左光信号生成器から、物体のための多数の左光信号を生成することと、
閲覧者のもう一方の網膜に前記多数の左光信号を転送することと、を含み、
第1の転送右光信号及び対応する第1の転送左光信号は、閲覧者によって知覚され、第1の奥行きのある物体の第1の仮想両眼画素を表示し、
前記第1の奥行きは、前記第1の転送右光信号と前記対応する第1の転送左光信号との間の第1の角度に関連することを特徴とする、
方法。 - 前記第1の奥行きは、前記第1の転送右光信号の光路延長部と前記対応する第1の転送左光信号の光路延長部との間の前記第1の角度によって決定されることを特徴とする、請求項18に記載の方法。
- 前記第1の転送右光信号及び前記対応する第1の転送左光信号は、閲覧者の両目の網膜とほぼ同じ高さに向けられることを特徴とする、請求項18に記載の方法。
- 前記第1の転送右光信号は、前記対応する第1の転送左光信号の視差ではないことを特徴とする、請求項18に記載の方法。
- 前記右光信号生成器から生成した前記多数の右光信号は、閲覧者の一方の網膜に入る前、一度だけ反射され、前記左光信号生成器から生成した前記多数の左光信号は、閲覧者のもう一方の網膜に入る前、一度だけ反射されることを特徴とする、請求項18に記載の方法。
- 前記右光信号生成器は、右レーザー・ビーム走査投射器(LBS投射器)であり、前記右LBS投射器から生成した前記多数の右光信号は、閲覧者の一方の網膜に入る前、前記右結合器によって一度だけ反射され、前記左光信号生成器は、左LBS投射器であり、前記左LBS投射器から生成した前記多数の左光信号は、閲覧者のもう一方の網膜に入る前、前記左結合器によって一度だけ反射されることを特徴とする、請求項18に記載の方法。
- 前記右結合器及び前記左結合器は、周囲光に対して透過性であることを特徴とする、請求項18に記載の方法。
- 前記右結合器は、前記多数の左光信号を受信し、閲覧者の右の網膜に向けて転送し、物体の多数の右画素を表示し、前記左結合器は、前記多数の右光信号を受信し、閲覧者の左の網膜に向けて転送し、物体の多数の左画素を表示することを特徴とする、請求項18に記載の方法。
- 前記右結合器及び前記左結合器は、楕円体形状であり、前記右光信号生成器は、前記右結合器の1つの焦点上に配置され、前記左光信号生成器は、前記左結合器の1つの焦点上に配置されることを特徴とする、請求項18に記載の方法。
- 前記右光信号生成器の右投射角は、前記右結合器への前記多数の右光信号の入射角を修正するように調節可能であり、前記左光信号生成器の左投射角は、前記左結合器への前記多数の左光信号の入射角を修正するように調節可能であることを特徴とする、請求項18に記載の方法。
- 前記右光信号生成器、前記左光信号生成器は、閲覧者の頭部に装着可能な支持構造体によって支持され、前記右結合器及び前記左結合器は、前記支持構造体によって支持され、閲覧者の視界内に配置されることを特徴とする、請求項18に記載の方法。
- 前記支持構造体は、前記右結合器又は前記左結合器を支持する、処方レンズを有する眼鏡であることを特徴とする、請求項28に記載の方法。
- 前記右結合器及び前記左結合器は、1つの一体化結合器に統合されることを特徴とする、請求項28に記載の方法。
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962931228P | 2019-11-06 | 2019-11-06 | |
US62/931,228 | 2019-11-06 | ||
US202062978322P | 2020-02-19 | 2020-02-19 | |
US62/978,322 | 2020-02-19 | ||
US202063041740P | 2020-06-19 | 2020-06-19 | |
US63/041,740 | 2020-06-19 | ||
US202063085172P | 2020-09-30 | 2020-09-30 | |
US63/085,172 | 2020-09-30 | ||
PCT/US2020/059317 WO2021092314A1 (en) | 2019-11-06 | 2020-11-06 | System and method for displaying an object with depths |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023500177A true JP2023500177A (ja) | 2023-01-05 |
Family
ID=75849299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021563371A Pending JP2023500177A (ja) | 2019-11-06 | 2020-11-06 | 奥行きのある物体を表示するシステム及び方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220311992A1 (ja) |
EP (1) | EP4055437A4 (ja) |
JP (1) | JP2023500177A (ja) |
KR (1) | KR20220093041A (ja) |
CN (1) | CN114365027A (ja) |
WO (1) | WO2021092314A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022036302A1 (en) | 2020-08-14 | 2022-02-17 | Hes Ip Holdings, Llc | Systems and methods for superimposing virtual image on real-time image |
JP2023541495A (ja) | 2020-09-03 | 2023-10-03 | ヒーズ アイピー ホールディングス エルエルシー | 両眼視を改善するためのシステムおよび方法 |
US11953689B2 (en) | 2020-09-30 | 2024-04-09 | Hes Ip Holdings, Llc | Virtual image display system for virtual reality and augmented reality devices |
CN116057450A (zh) * | 2021-06-29 | 2023-05-02 | 海思智财控股有限公司 | 头戴式装置的光学系统 |
JP2023067266A (ja) * | 2021-10-29 | 2023-05-16 | 富士フイルム株式会社 | 光走査装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070064319A (ko) * | 2004-08-06 | 2007-06-20 | 유니버시티 오브 워싱톤 | 가변 응시 시거리 주사 광 디스플레이 |
KR20120069133A (ko) * | 2010-12-20 | 2012-06-28 | 엘지디스플레이 주식회사 | 입체영상 표시장치와 그 구동방법 |
US20150169070A1 (en) | 2013-12-17 | 2015-06-18 | Google Inc. | Visual Display of Interactive, Gesture-Controlled, Three-Dimensional (3D) Models for Head-Mountable Displays (HMDs) |
US10757399B2 (en) * | 2015-09-10 | 2020-08-25 | Google Llc | Stereo rendering system |
PL3494695T3 (pl) * | 2016-08-04 | 2024-02-19 | Dolby Laboratories Licensing Corporation | Rozwiązania akomodacji-wergencji ze śledzeniem pojedynczej głębi |
WO2018057660A2 (en) * | 2016-09-20 | 2018-03-29 | Apple Inc. | Augmented reality system |
US10685492B2 (en) * | 2016-12-22 | 2020-06-16 | Choi Enterprise, LLC | Switchable virtual reality and augmented/mixed reality display device, and light field methods |
JP2019105777A (ja) * | 2017-12-14 | 2019-06-27 | セイコーエプソン株式会社 | 頭部装着型表示装置、及び頭部装着型表示装置の制御方法 |
CN110376734B (zh) * | 2018-04-12 | 2021-11-19 | 肥鲨技术 | 单面板头戴式显示器 |
-
2020
- 2020-11-06 KR KR1020217031337A patent/KR20220093041A/ko active Search and Examination
- 2020-11-06 WO PCT/US2020/059317 patent/WO2021092314A1/en unknown
- 2020-11-06 JP JP2021563371A patent/JP2023500177A/ja active Pending
- 2020-11-06 CN CN202080037323.1A patent/CN114365027A/zh active Pending
- 2020-11-06 EP EP20886006.4A patent/EP4055437A4/en active Pending
- 2020-11-06 US US17/261,564 patent/US20220311992A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN114365027A (zh) | 2022-04-15 |
US20220311992A1 (en) | 2022-09-29 |
EP4055437A4 (en) | 2023-12-20 |
EP4055437A1 (en) | 2022-09-14 |
WO2021092314A1 (en) | 2021-05-14 |
KR20220093041A (ko) | 2022-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6423945B2 (ja) | 表示装置、およびプロジェクタを用いた表示方法 | |
US10663735B2 (en) | Head-mounted display | |
JP2023500177A (ja) | 奥行きのある物体を表示するシステム及び方法 | |
US20230168513A1 (en) | Image display systems for eyebox expansion and methods of making the same | |
US20170188021A1 (en) | Optical engine for creating wide-field of view fovea-based display | |
US10404975B2 (en) | Retroreflective light field display | |
RU2005112314A (ru) | Стереопроекционная система | |
JP2022525561A (ja) | 同心ライトフィールドおよび単眼から両眼への混成を提供するディスプレイシステム | |
US11695913B1 (en) | Mixed reality system | |
JP3453086B2 (ja) | 三次元表示方法およびヘッドマウントディスプレイ装置 | |
TWI832308B (zh) | 頭戴式裝置之光學系統 | |
TW202334702A (zh) | 具有用於像差感測偵測器的收集光學件的顯示系統 | |
WO2023122161A1 (en) | Detection, analysis and correction of disparities in a display system utilizing disparity sensing port | |
TWI802826B (zh) | 顯示一個具有景深的物體的系統與方法 | |
TWI717912B (zh) | 頭戴式顯示裝置 | |
TWI842461B (zh) | 顯示一個具有景深的物體的系統 | |
WO2020088468A1 (en) | System and method for displaying a 3d image with depths | |
CN109963145B (zh) | 视觉显示系统及方法,以及头戴显示装置 | |
JP2021103276A (ja) | 画像表示装置 | |
JP2019049724A (ja) | 目用投影システム | |
TWI837482B (zh) | 擴大可視空間的影像顯示系統 | |
WO2022064564A1 (ja) | ヘッドマウントディスプレイ | |
US11927758B1 (en) | Multi-laser illuminated mixed waveguide display with volume Bragg grating (VBG) and mirror | |
US20230258938A1 (en) | Display systems with waveguide configuration to mitigate rainbow effect | |
US20230360567A1 (en) | Virtual reality display system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220905 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230630 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20230630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240611 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240612 |