JP2023502337A - 拡張または仮想現実ディスプレイシステムのための向上された眼追跡 - Google Patents
拡張または仮想現実ディスプレイシステムのための向上された眼追跡 Download PDFInfo
- Publication number
- JP2023502337A JP2023502337A JP2022526370A JP2022526370A JP2023502337A JP 2023502337 A JP2023502337 A JP 2023502337A JP 2022526370 A JP2022526370 A JP 2022526370A JP 2022526370 A JP2022526370 A JP 2022526370A JP 2023502337 A JP2023502337 A JP 2023502337A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- light
- display system
- pattern
- light intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003190 augmentative effect Effects 0.000 title abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 116
- 210000001508 eye Anatomy 0.000 claims description 743
- 210000001747 pupil Anatomy 0.000 claims description 109
- 230000003287 optical effect Effects 0.000 claims description 105
- 238000003860 storage Methods 0.000 claims description 48
- 238000010801 machine learning Methods 0.000 claims description 29
- 238000010168 coupling process Methods 0.000 claims description 28
- 238000005859 coupling reaction Methods 0.000 claims description 28
- 230000004434 saccadic eye movement Effects 0.000 claims description 27
- 230000009471 action Effects 0.000 claims description 11
- 230000001131 transforming effect Effects 0.000 abstract 1
- 230000033001 locomotion Effects 0.000 description 56
- 238000012545 processing Methods 0.000 description 48
- 210000000554 iris Anatomy 0.000 description 47
- 230000000875 corresponding effect Effects 0.000 description 40
- 230000004308 accommodation Effects 0.000 description 38
- 230000008569 process Effects 0.000 description 23
- 239000000463 material Substances 0.000 description 18
- 239000003086 colorant Substances 0.000 description 14
- 210000001525 retina Anatomy 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 13
- 210000003786 sclera Anatomy 0.000 description 12
- 230000036544 posture Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 7
- 241000153282 Theope Species 0.000 description 6
- 210000004087 cornea Anatomy 0.000 description 6
- 230000008447 perception Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 4
- 238000005253 cladding Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000004418 eye rotation Effects 0.000 description 4
- 238000002347 injection Methods 0.000 description 4
- 239000007924 injection Substances 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000001902 propagating effect Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000010287 polarization Effects 0.000 description 3
- 238000002310 reflectometry Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000002207 retinal effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000002835 absorbance Methods 0.000 description 2
- 230000002350 accommodative effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 241001469893 Oxyzygonectes dovii Species 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001886 ciliary effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 239000011295 pitch Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000004461 rapid eye movement Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/0808—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more diffracting elements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/10—Scanning systems
- G02B26/101—Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
- G02B27/0927—Systems for changing the beam intensity distribution, e.g. Gaussian to top-hat
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
- G02B27/0938—Using specific optical elements
- G02B27/0944—Diffractive optical elements, e.g. gratings, holograms
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
- G02B27/0938—Using specific optical elements
- G02B27/0977—Reflective elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
- G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
Abstract
Description
本願は、「ENHANCED EYE TRACKING FOR AUGMENTED OR VIRTUAL REALITY DISPLAY SYSTEMS」と題され、2019年11月26日に出願された、米国特許第仮出願第62/940,785号の優先権を主張する。
(参照による組み込み)
仮想コンテンツをユーザに提示するように構成される、ディスプレイシステムであって、
光を出力するように構成される、光源と、
出力された光をユーザの眼に反射させ、眼を横断して光から形成されるパターンを走査するように構成される、移動可能な反射体と、
眼を横断して走査される光の反射を検出するように構成される、複数の光検出器と、
反射された光が眼を横断して走査されるように、移動可能反射体の配向の調節を生じさせることと、
光検出器を介して、個別の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、眼を横断した反射された光の走査の間に取得される、ことと、
光強度パターンに基づいて、眼の眼姿勢を決定することであって、眼姿勢は、眼の配向を表す、ことと、
を含む、動作を実施するように構成される、1つまたはそれを上回るプロセッサと、
を備える、ディスプレイシステム。
光源は、ダイオードである、実施例1に記載のディスプレイシステム。
ダイオードは、垂直共振器面発光レーザである、実施例2に記載のディスプレイシステム。
移動可能な反射体は、回折格子を備え、回折格子は、光源からの光の入射ビームを、眼の面積に跨架する複数の光の線を含む光パターンに変換するように構成される、実施例1に記載のディスプレイシステム。
移動可能な反射体は、回折格子を備え、回折格子は、光源からの光の入射ビームを、複数の光のビームを含む光パターンに変換するように構成される、実施例1に記載のディスプレイシステム。
移動可能な反射体は、複数の回折格子を備え、各回折格子は、眼を横断して走査するための異なる光パターンを形成するように構成される、実施例1に記載のディスプレイシステム。
移動可能な反射体は、微小電気機械的システム(MEMS)ミラーである、実施例1に記載のディスプレイシステム。
光検出器は、光ダイオードであって、各光強度パターンは、電流対移動可能な反射体の位置と関連付けられる位置情報のプロットを表す、実施例1に記載のディスプレイシステム。
回折格子は、MEMSミラー上に位置付けられ、またはその一部を形成し、位置情報は、MEMSミラーの配向を示し、MEMSミラーは、ディスプレイシステムによって調節可能である、実施例8に記載のディスプレイシステム。
光源は、光を移動可能な反射体に出力するように構成される、2つの光源のうちの1つであって、光源はそれぞれ、光パターンの個別の部分を形成するように構成される、実施例1に記載のディスプレイシステム。
光検出器は、光ダイオードであって、各光強度パターンは、電流対時間のプロットを表す、実施例1に記載のディスプレイシステム。
光パターンは、眼の下側部分から眼の上側部分まで延在する、V形状を画定する、実施例1に記載のディスプレイシステム。
光パターンを形成する光は、多色性光を備える、実施例1に記載のディスプレイシステム。
光パターンは、異なる方向に延在する、2つの部分を含む、実施例13に記載のディスプレイシステム。
2つの部分はそれぞれ、異なる色の光によって形成される、実施例14に記載のディスプレイシステム。
2つの部分は、眼の垂直軸を横断して延在するように構成され、2つの部分は、水平軸に沿って、対向方向に延在し、V形状を形成する、実施例14に記載のディスプレイシステム。
光パターンは、複数の一連の光の列を備える、実施例1に記載のディスプレイシステム。
異なる光の列は、異なる発散量を有する、光のビームを備える、実施例17に記載のディスプレイシステム。
光の列は、光の収束ビームを備え、他の光の列は、光のコリメートされたビームを備える、実施例18に記載のディスプレイシステム。
光の列は、光の発散ビームを備える、実施例18に記載のディスプレイシステム。
光の列は、眼の水平軸に対して90°未満の角度を画定する、実施例17に記載のディスプレイシステム。
光検出器の位置は、眼を中心として矩形の角を画定する、実施例1に記載のディスプレイシステム。
光検出器は、光検出器の線形アレイを画定する、実施例1に記載のディスプレイシステム。
動作はさらに、光パターンの持続的走査を眼の第1の部分と眼の第2の部分との間の軸上に生じさせることを含む、実施例1に記載のディスプレイシステム。
軸は、第1の部分が、眼の最左または最右部分であって、第2の部分が、眼の最左または最右部分の他方であるような眼の水平軸である、実施例24に記載のディスプレイシステム。
眼姿勢を決定することは、
光強度パターンの順方向通過を算出することを介して、機械学習モデルを適用することであって、機械学習モデルの出力は、眼姿勢を示す、ことを含む、実施例1に記載のディスプレイシステム。
眼姿勢を決定することは、
記憶された光強度パターンを識別する情報にアクセスすることであって、記憶された光強度パターンは、個別の眼姿勢と関連付けられる、ことと、
取得された光強度パターンと記憶された光強度パターンとを比較することと、
比較に基づいて、眼姿勢を識別することと、
を含む、実施例1に記載のディスプレイシステム。
光検出器は、光ダイオードであって、取得された光強度パターンと記憶された光強度パターンとを比較することは、電流の山および/または谷の位置を比較することに基づき、位置は、眼上の光学パターンの場所を示す、実施例26に記載のディスプレイシステム。
動作はさらに、
ユーザの瞳孔間距離を決定することと、
決定された瞳孔間距離に基づいて、眼を横断した走査距離を決定し、光パターンを走査することと、
眼を横断した走査距離にわたる光パターンを走査することと、
を含む、実施例1に記載のディスプレイシステム。
動作はさらに、光強度パターンに基づいて、眼の虹彩および瞳孔の一方または両方を検出することを含む、実施例1に記載のディスプレイシステム。
眼の虹彩および瞳孔の一方または両方を検出することは、眼の虹彩および瞳孔の一方または両方のサイズを決定することを含む、実施例30に記載のディスプレイシステム。
眼の虹彩および瞳孔の一方または両方を検出することは、眼の虹彩および瞳孔の一方または両方の位置を決定することを含む、実施例30に記載のディスプレイシステム。
動作はさらに、眼のサッカード速度を決定することを含む、実施例1に記載のディスプレイシステム。
光をユーザの眼に出力し、仮想コンテンツを形成するように構成される、外部結合光学要素を備える、導波管をさらに備える、実施例1に記載のディスプレイシステム。
導波管は、導波管のスタックのうちの1つであって、スタックのいくつかの導波管は、スタックの他の導波管の外部結合光学要素と異なる量の波面発散を伴う、光を出力するように構成される、外部結合光学要素を有し、異なる量の波面発散は、異なる深度面に対応する、実施例29に記載のディスプレイシステム。
1つまたはそれを上回るプロセッサのディスプレイシステムによって実装される、方法であって、ディスプレイシステムは、少なくとも部分的に、ユーザの眼の眼姿勢に基づいて、仮想コンテンツをユーザに提示するように構成され、
光パターンが眼を横断して移動するように、眼上に指向される、光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
光強度パターンに基づいて、眼の眼姿勢を決定することであって、眼姿勢は、眼の配向を表す、ことと、
を含む、方法。
光パターンの位置を調節することは、光パターンが、軸に沿って、眼の第1の部分から眼の第2の部分に移動されるように、移動可能ミラーを移動させることを含む、実施例36に記載の方法。
移動可能な反射体は、回折格子を備え、回折格子は、光源からの光の入射ビームを、複数の光のビームを含む光パターンに変換するように構成される、実施例37に記載の方法。
移動可能ミラーを移動させることは、その上に回折格子が位置付けられる、微小電気機械的システム(MEMS)ミラーを回転させることを含む、実施例37に記載の方法。
第1の部分は、軸に沿った、虹彩の末端を表し、第2の部分は、虹彩の対向末端を表す、実施例37に記載の方法。
軸は、水平軸である、実施例37に記載の方法。
光パターンは、眼の下側部分から眼の上側部分まで、垂直軸に沿って延在する、実施例36に記載の方法。
光パターンは、2つの部分を備え、各部分は、垂直軸に沿って延在し、2つの部分は、水平方向に沿って、対向方向に延在し、V形状を形成する、実施例42に記載の方法。
眼姿勢を決定することは、
光強度パターンの順方向通過を算出することを介して、機械学習モデルを適用することであって、機械学習モデルの出力は、眼姿勢を示す、ことを含む、実施例36に記載の方法。
眼姿勢を決定することは、
記憶された光強度パターンを識別する情報にアクセスすることであって、記憶された光強度パターンは、個別の眼姿勢と関連付けられる、ことと、
取得された光強度パターンと記憶された光強度パターンとを比較することと、
比較に基づいて、眼姿勢を識別することと、
を含む、実施例36に記載の方法。
取得された光強度パターンと記憶された光強度パターンとを比較することは、光強度パターン内の山および/または谷の位置を比較することに基づく、実施例45に記載の方法。
非一過性コンピュータ記憶媒体であって、1つまたはそれを上回るプロセッサのディスプレイシステムによって実行されると、1つまたはそれを上回るプロセッサに、
光パターンが眼を横断して移動するように、ユーザの眼上に指向される、光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
光強度パターンに基づいて、眼の眼姿勢を決定することであって、眼姿勢は、眼の配向を表す、ことと、
を含む、動作を実施させる、命令を記憶する、非一過性コンピュータ記憶媒体。
動作はさらに、
回折格子を有する反射体を介して、光パターンの投影を眼に生じさせることを含む、実施例47に記載のコンピュータ記憶媒体。
回折格子の配向は、光パターンが眼の第1の部分から眼の第2の部分に移動されるように調節される、実施例48に記載のコンピュータ記憶媒体。
第1の部分は、虹彩の末端を表し、第2の部分は、虹彩の対向末端を表す、実施例49に記載のコンピュータ記憶媒体。
光パターンは、垂直軸に沿って、眼の下側部分から眼の上側部分まで延在する、実施例47に記載のコンピュータ記憶媒体。
光部分は、2つの部分を備え、各部分は、垂直軸に沿って、眼を横断して延在し、2つの部分は、水平軸に沿って、対向方向に延在する、実施例51に記載のコンピュータ記憶媒体。
回折格子の配向を調節することは、その上に回折格子が位置付けられる、微小電気機械的システム(MEMS)ミラーの回転を制御することを含む、実施例47に記載のコンピュータ記憶媒体。
眼姿勢を決定することは、
光強度パターンの順方向通過を算出することを介して、機械学習モデルを適用することであって、機械学習モデルの出力は、眼姿勢を示す、ことを含む、実施例47に記載のコンピュータ記憶媒体。
眼姿勢を決定することは、
記憶された光強度パターンを識別する情報にアクセスすることであって、記憶された光強度パターンは、個別の眼姿勢と関連付けられる、ことと、
取得された光強度パターンと記憶された光強度パターンとを比較することと、
比較に基づいて、眼姿勢を識別することと、
を含む、実施例47に記載のコンピュータ記憶媒体。
取得された光強度パターンと記憶された光強度パターンとを比較することは、山および/または谷の位置を比較することに基づく、実施例55に記載のコンピュータ記憶媒体。
仮想コンテンツをユーザに提示するように構成される、ディスプレイシステムであって、
光を出力するように構成される、光源と、
出力された光をユーザの眼に反射させ、眼を横断して光から形成されるパターンを走査するように構成される、移動可能な反射体と、
眼を横断して走査される光の反射を検出するように構成される、複数の光検出器と、
光検出器を介して、個別の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、眼を横断した反射された光の走査の間に取得される、ことと、
光強度パターンに基づいて、眼の生理学的特徴のサイズおよび位置の一方または両方を決定することと、
を含む、動作を実施するように構成される、1つまたはそれを上回るプロセッサと、
を備える、ディスプレイシステム。
生理学的特徴は、眼の瞳孔である、実施例57に記載のディスプレイシステム。
動作はさらに、
光強度パターンに基づいて、眼の虹彩と瞳孔との間の第1の界面を決定することを含む、実施例58に記載のディスプレイシステム。
第1の界面を決定することは、光強度パターン内の山および/または谷の位置に基づく、実施例59に記載のディスプレイシステム。
動作はさらに、
光強度パターンに基づいて、眼の虹彩と瞳孔との間の第2の界面を決定することを含む、実施例59に記載のディスプレイシステム。
瞳孔のサイズは、第1の界面および第2の界面に基づいて決定される、実施例61に記載のディスプレイシステム。
生理学的特徴は、瞳孔であって、瞳孔の位置は、瞳孔中心に基づいて決定され、中心は、第1の界面および第2の界面に基づいて識別される、実施例61に記載のディスプレイシステム。
生理学的特徴は、眼の虹彩と瞳孔との間の界面であって、ディスプレイシステムは、界面の位置を決定する、実施例57に記載のディスプレイシステム。
1つまたはそれを上回るプロセッサのディスプレイシステムによって実装される、方法であって、ディスプレイシステムは、少なくとも部分的に、ユーザの眼の眼姿勢に基づいて、仮想コンテンツをユーザに提示するように構成され、
光パターンが眼を横断して移動するように、眼上に指向される、光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
光強度パターンに基づいて、眼の生理学的特徴のサイズおよび/または位置を決定することと、
を含む、方法。
生理学的特徴は、眼の瞳孔である、実施例65に記載の方法。
光強度パターンに基づいて、眼の虹彩と瞳孔との間の第1の界面を決定することをさらに含む、実施例66に記載の方法。
第1の界面を決定することは、光強度パターン内の山および/または谷の位置に基づく、実施例67に記載の方法。
光強度パターンに基づいて、眼の虹彩と瞳孔との間の第2の界面を決定することをさらに含む、実施例68に記載の方法。
生理学的特徴は、瞳孔であって、瞳孔のサイズは、第1の界面および第2の界面に基づく、実施例69に記載の方法。
生理学的特徴は、瞳孔であって、瞳孔の位置は、瞳孔中心に基づき、中心は、第1の界面および第2の界面に基づいて識別される、実施例69に記載の方法。
生理学的特徴は、眼の虹彩と瞳孔との間の界面であって、ディスプレイシステムは、界面の位置を決定する、実施例65に記載の方法。
非一過性コンピュータ記憶媒体であって、1つまたはそれを上回るプロセッサのディスプレイシステムによって実行されると、1つまたはそれを上回るプロセッサに、
光パターンが眼を横断して移動するように、ユーザの眼上に指向される、光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
光強度パターンに基づいて、眼の生理学的特徴のサイズおよび/または位置を決定することと、
を含む、動作を実施させる、命令を記憶する、非一過性コンピュータ記憶媒体。
動作はさらに、
光強度パターンに基づいて、眼の虹彩と瞳孔との間の第1の界面を決定することを含む、実施例73に記載のコンピュータ記憶媒体。
界面を決定することは、光強度パターン内の山および/または谷の位置に基づく、実施例74に記載のコンピュータ記憶媒体。
動作はさらに、
光強度パターンに基づいて、眼の虹彩と瞳孔との間の第2の界面を決定することを含む、実施例74に記載のコンピュータ記憶媒体。
生理学的特徴は、瞳孔であって、瞳孔のサイズは、第1の界面および第2の界面に基づいて決定される、実施例76に記載のコンピュータ記憶媒体。
生理学的特徴は、瞳孔であって、瞳孔の位置は、瞳孔中心に基づき、中心は、第1の界面および第2の界面に基づいて識別される、実施例76に記載のコンピュータ記憶媒体。
生理学的特徴は、眼の虹彩と瞳孔との間の界面であって、ディスプレイシステムは、界面の位置を決定する、実施例73に記載のコンピュータ記憶媒体。
仮想コンテンツをユーザに提示するように構成される、ディスプレイシステムであって、
光を出力するように構成される、光源と、
出力された光をユーザの眼に反射させ、眼を横断して光から形成されるパターンを走査するように構成される、移動可能な反射体と、
眼を横断して走査される光の反射を検出するように構成される、複数の光検出器と、
光検出器を介して、個別の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、眼を横断した反射された光の走査の間に取得される、ことと、
光強度パターンに基づいて、眼の回転の速度を決定することと、
を含む、動作を実施するように構成される、1つまたはそれを上回るプロセッサと、
を備える、ディスプレイシステム。
眼の回転の速度を決定することは、眼のサッカード速度を決定することを含む、実施例80に記載のディスプレイシステム。
動作はさらに、サッカード速度に基づいて、眼の姿勢を予測することを含む、実施例81に記載のディスプレイシステム。
1つまたはそれを上回るプロセッサのディスプレイシステムによって実装される、方法であって、ディスプレイシステムは、少なくとも部分的に、ユーザの眼の眼姿勢に基づいて、仮想コンテンツをユーザに提示するように構成され、
光パターンが眼を横断して移動するように、眼上に指向される、光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
光強度パターンに基づいて、眼の回転の速度を決定することと、
を含む、方法。
非一過性コンピュータ記憶媒体であって、1つまたはそれを上回るプロセッサのディスプレイシステムによって実行されると、1つまたはそれを上回るプロセッサに、
光パターンが眼を横断して移動するように、ユーザの眼上に指向される、光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
光強度パターンに基づいて、眼の回転の速度を決定することと、
を含む、動作を実施させる、命令を記憶する、非一過性コンピュータ記憶媒体。
例示的ディスプレイシステム
向上された眼姿勢決定技法
例示的眼姿勢
例示的光パターン
2つの光源
生理学的特徴のサイズおよび/または位置の決定
眼速度の推定
他の実施形態
Claims (84)
- 仮想コンテンツをユーザに提示するように構成されるディスプレイシステムであって、前記ディスプレイシステムは、
光を出力するように構成される光源と、
前記出力された光を前記ユーザの眼に反射させ、前記眼を横断して前記光から形成されるパターンを走査するように構成される移動可能な反射体と、
前記眼を横断して走査される前記光の反射を検出するように構成される複数の光検出器と、
1つまたはそれを上回るプロセッサであって、
前記反射された光が前記眼を横断して走査されるように、前記移動可能な反射体の配向の調節を生じさせることと、
前記光検出器を介して、個別の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記眼を横断した前記反射された光の走査の間に取得される、ことと、
前記光強度パターンに基づいて、前記眼の眼姿勢を決定することであって、前記眼姿勢は、前記眼の配向を表す、ことと、
を含む動作を実施するように構成される、1つまたはそれを上回るプロセッサと
を備える、ディスプレイシステム。 - 前記光源は、ダイオードである、請求項1に記載のディスプレイシステム。
- 前記ダイオードは、垂直共振器面発光レーザである、請求項2に記載のディスプレイシステム。
- 前記移動可能な反射体は、回折格子を備え、前記回折格子は、前記光源からの光の入射ビームを、前記眼の面積に跨架する複数の光の線を含む光パターンに変換するように構成される、請求項1に記載のディスプレイシステム。
- 前記移動可能な反射体は、回折格子を備え、前記回折格子は、前記光源からの光の入射ビームを、複数の光のビームを含む光パターンに変換するように構成される、請求項1に記載のディスプレイシステム。
- 前記移動可能な反射体は、複数の回折格子を備え、各回折格子は、前記眼を横断して走査するための異なる光パターンを形成するように構成される、請求項1に記載のディスプレイシステム。
- 前記移動可能な反射体は、微小電気機械的システム(MEMS)ミラーである、請求項1に記載のディスプレイシステム。
- 前記光検出器は、光ダイオードであり、各光強度パターンは、電流対前記移動可能な反射体の位置と関連付けられる位置情報のプロットを表す、請求項1に記載のディスプレイシステム。
- 前記回折格子は、MEMSミラー上に位置付けられ、またはその一部を形成し、前記位置情報は、前記MEMSミラーの配向を示し、前記MEMSミラーは、前記ディスプレイシステムによって調節可能である、請求項8に記載のディスプレイシステム。
- 前記光源は、光を前記移動可能な反射体に出力するように構成される2つの光源のうちの1つであり、前記光源はそれぞれ、前記光パターンの個別の部分を形成するように構成される、請求項1に記載のディスプレイシステム。
- 前記光検出器は、光ダイオードであり、各光強度パターンは、電流対時間のプロットを表す、請求項1に記載のディスプレイシステム。
- 前記光パターンは、前記眼の下側部分から前記眼の上側部分まで延在するV形状を画定する、請求項1に記載のディスプレイシステム。
- 前記光パターンを形成する前記光は、多色性光を備える、請求項1に記載のディスプレイシステム。
- 前記光パターンは、異なる方向に延在する2つの部分を含む、請求項13に記載のディスプレイシステム。
- 前記2つの部分はそれぞれ、異なる色の光によって形成される、請求項14に記載のディスプレイシステム。
- 前記2つの部分は、前記眼の垂直軸を横断して延在するように構成され、前記2つの部分は、水平軸に沿って、対向方向に延在し、V形状を形成する、請求項14に記載のディスプレイシステム。
- 前記光パターンは、複数の一連の光の列を備える、請求項1に記載のディスプレイシステム。
- 異なる光の列は、異なる発散量を有する光のビームを備える、請求項17に記載のディスプレイシステム。
- 光の列は、光の収束ビームを備え、他の光の列は、光のコリメートされたビームを備える、請求項18に記載のディスプレイシステム。
- 光の列は、光の発散ビームを備える、請求項18に記載のディスプレイシステム。
- 前記光の列は、前記眼の水平軸に対して90°未満の角度を画定する、請求項17に記載のディスプレイシステム。
- 前記光検出器の位置は、前記眼を中心として矩形の角を画定する、請求項1に記載のディスプレイシステム。
- 前記光検出器は、光検出器の線形アレイを画定する、請求項1に記載のディスプレイシステム。
- 前記動作はさらに、前記光パターンの持続的走査を前記眼の第1の部分と前記眼の第2の部分との間の軸上に生じさせることを含む、請求項1に記載のディスプレイシステム。
- 前記軸は、前記第1の部分が、前記眼の最左または最右部分であり、前記第2の部分が、前記眼の前記最左または最右部分の他方であるような前記眼の水平軸である、請求項24に記載のディスプレイシステム。
- 前記眼姿勢を決定することは、
前記光強度パターンの順方向通過を算出することを介して、機械学習モデルを適用することであって、前記機械学習モデルの出力は、眼姿勢を示す、こと
を含む、請求項1に記載のディスプレイシステム。 - 前記眼姿勢を決定することは、
記憶された光強度パターンを識別する情報にアクセスすることであって、前記記憶された光強度パターンは、個別の眼姿勢と関連付けられる、ことと、
前記取得された光強度パターンと前記記憶された光強度パターンとを比較することと、
前記比較に基づいて、前記眼姿勢を識別することと
を含む、請求項1に記載のディスプレイシステム。 - 前記光検出器は、光ダイオードであり、前記取得された光強度パターンと前記記憶された光強度パターンとを比較することは、電流の山および/または谷の位置を比較することに基づき、前記位置は、前記眼上の前記光学パターンの場所を示す、請求項26に記載のディスプレイシステム。
- 前記動作はさらに、
前記ユーザの瞳孔間距離を決定することと、
前記決定された瞳孔間距離に基づいて、前記眼を横断した走査距離を決定し、前記光パターンを走査することと、
前記眼を横断した前記走査距離にわたる前記光パターンを走査することと
を含む、請求項1に記載のディスプレイシステム。 - 前記動作はさらに、前記光強度パターンに基づいて、前記眼の虹彩および瞳孔の一方または両方を検出することを含む、請求項1に記載のディスプレイシステム。
- 前記眼の前記虹彩および瞳孔の一方または両方を検出することは、前記眼の前記虹彩および瞳孔の一方または両方のサイズを決定することを含む、請求項30に記載のディスプレイシステム。
- 前記眼の前記虹彩および瞳孔の一方または両方を検出することは、前記眼の前記虹彩および瞳孔の一方または両方の位置を決定することを含む、請求項30に記載のディスプレイシステム。
- 前記動作はさらに、前記眼のサッカード速度を決定することを含む、請求項1に記載のディスプレイシステム。
- 光を前記ユーザの眼に出力し、前記仮想コンテンツを形成するように構成される外部結合光学要素を備える導波管をさらに備える、請求項1に記載のディスプレイシステム。
- 前記導波管は、導波管のスタックのうちの1つであり、前記スタックのいくつかの導波管は、前記スタックの他の導波管の外部結合光学要素と異なる量の波面発散を伴う光を出力するように構成される外部結合光学要素を有し、前記異なる量の波面発散は、異なる深度面に対応する、請求項29に記載のディスプレイシステム。
- 1つまたはそれを上回るプロセッサのディスプレイシステムによって実装される方法であって、前記ディスプレイシステムは、少なくとも部分的に、ユーザの眼の眼姿勢に基づいて、仮想コンテンツをユーザに提示するように構成され、前記方法は、
光パターンが前記眼を横断して移動するように、前記眼上に指向される光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、前記光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
前記光強度パターンに基づいて、前記眼の眼姿勢を決定することであって、前記眼姿勢は、前記眼の配向を表す、ことと
を含む、方法。 - 前記光パターンの位置を調節することは、前記光パターンが、軸に沿って、前記眼の第1の部分から前記眼の第2の部分に移動されるように、移動可能ミラーを移動させることを含む、請求項36に記載の方法。
- 前記移動可能な反射体は、回折格子を備え、前記回折格子は、前記光源からの光の入射ビームを、複数の光のビームを含む光パターンに変換するように構成される、請求項37に記載の方法。
- 前記移動可能ミラーを移動させることは、その上に前記回折格子が位置付けられる微小電気機械的システム(MEMS)ミラーを回転させることを含む、請求項37に記載の方法。
- 前記第1の部分は、前記軸に沿った前記虹彩の末端を表し、前記第2の部分は、前記虹彩の対向末端を表す、請求項37に記載の方法。
- 前記軸は、水平軸である、請求項37に記載の方法。
- 前記光パターンは、前記眼の下側部分から前記眼の上側部分まで、垂直軸に沿って延在する、請求項36に記載の方法。
- 前記光パターンは、2つの部分を備え、各部分は、垂直軸に沿って延在し、前記2つの部分は、水平方向に沿って、対向方向に延在し、V形状を形成する、請求項42に記載の方法。
- 前記眼姿勢を決定することは、
前記光強度パターンの順方向通過を算出することを介して、機械学習モデルを適用することであって、前記機械学習モデルの出力は、眼姿勢を示す、こと
を含む、請求項36に記載の方法。 - 前記眼姿勢を決定することは、
記憶された光強度パターンを識別する情報にアクセスすることであって、前記記憶された光強度パターンは、個別の眼姿勢と関連付けられる、ことと、
前記取得された光強度パターンと前記記憶された光強度パターンとを比較することと、
前記比較に基づいて、前記眼姿勢を識別することと
を含む、請求項36に記載の方法。 - 前記取得された光強度パターンと前記記憶された光強度パターンとを比較することは、前記光強度パターン内の山および/または谷の位置を比較することに基づく、請求項45に記載の方法。
- 非一過性コンピュータ記憶媒体であって、前記非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、1つまたはそれを上回るプロセッサのディスプレイシステムによって実行されると、前記1つまたはそれを上回るプロセッサに、
光パターンが前記眼を横断して移動するように、ユーザの眼上に指向される光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、前記光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
前記光強度パターンに基づいて、前記眼の眼姿勢を決定することであって、前記眼姿勢は、前記眼の配向を表す、ことと
を含む動作を実施させる、非一過性コンピュータ記憶媒体。 - 前記動作はさらに、
回折格子を有する反射体を介して、前記光パターンの投影を前記眼に生じさせること
を含む、請求項47に記載のコンピュータ記憶媒体。 - 前記回折格子の配向は、前記光パターンが前記眼の第1の部分から前記眼の第2の部分に移動されるように調節される、請求項48に記載のコンピュータ記憶媒体。
- 前記第1の部分は、前記虹彩の末端を表し、前記第2の部分は、前記虹彩の対向末端を表す、請求項49に記載のコンピュータ記憶媒体。
- 前記光パターンは、垂直軸に沿って、前記眼の下側部分から前記眼の上側部分まで延在する、請求項47に記載のコンピュータ記憶媒体。
- 前記光部分は、2つの部分を備え、各部分は、垂直軸に沿って、前記眼を横断して延在し、前記2つの部分は、水平軸に沿って、対向方向に延在する、請求項51に記載のコンピュータ記憶媒体。
- 前記回折格子の配向を調節することは、その上に前記回折格子が位置付けられる微小電気機械的システム(MEMS)ミラーの回転を制御することを含む、請求項47に記載のコンピュータ記憶媒体。
- 前記眼姿勢を決定することは、
前記光強度パターンの順方向通過を算出することを介して、機械学習モデルを適用することであって、前記機械学習モデルの出力は、眼姿勢を示す、こと
を含む、請求項47に記載のコンピュータ記憶媒体。 - 前記眼姿勢を決定することは、
記憶された光強度パターンを識別する情報にアクセスすることであって、前記記憶された光強度パターンは、個別の眼姿勢と関連付けられる、ことと、
前記取得された光強度パターンと前記記憶された光強度パターンとを比較することと、
前記比較に基づいて、前記眼姿勢を識別することと
を含む、請求項47に記載のコンピュータ記憶媒体。 - 前記取得された光強度パターンと前記記憶された光強度パターンとを比較することは、山および/または谷の位置を比較することに基づく、請求項55に記載のコンピュータ記憶媒体。
- 仮想コンテンツをユーザに提示するように構成されるディスプレイシステムであって、前記ディスプレイシステムは、
光を出力するように構成される光源と、
前記出力された光を前記ユーザの眼に反射させ、前記眼を横断して前記光から形成されるパターンを走査するように構成される移動可能な反射体と、
前記眼を横断して走査される前記光の反射を検出するように構成される複数の光検出器と、
1つまたはそれを上回るプロセッサであって、
前記光検出器を介して、個別の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記眼を横断した前記反射された光の走査の間に取得される、ことと、
前記光強度パターンに基づいて、前記眼の生理学的特徴のサイズおよび位置の一方または両方を決定することと
を含む動作を実施するように構成される、1つまたはそれを上回るプロセッサと
を備える、ディスプレイシステム。 - 前記生理学的特徴は、前記眼の瞳孔である、請求項57に記載のディスプレイシステム。
- 前記動作はさらに、
前記光強度パターンに基づいて、前記眼の虹彩と瞳孔との間の第1の界面を決定すること
を含む、請求項58に記載のディスプレイシステム。 - 前記第1の界面を決定することは、前記光強度パターン内の山および/または谷の位置に基づく、請求項59に記載のディスプレイシステム。
- 前記動作はさらに、
前記光強度パターンに基づいて、前記眼の前記虹彩と前記瞳孔との間の第2の界面を決定すること
を含む、請求項59に記載のディスプレイシステム。 - 前記瞳孔のサイズは、前記第1の界面および前記第2の界面に基づいて決定される、請求項61に記載のディスプレイシステム。
- 前記生理学的特徴は、前記瞳孔であり、前記瞳孔の位置は、前記瞳孔中心に基づいて決定され、前記中心は、前記第1の界面および前記第2の界面に基づいて識別される、請求項61に記載のディスプレイシステム。
- 前記生理学的特徴は、前記眼の虹彩と瞳孔との間の界面であり、前記ディスプレイシステムは、前記界面の位置を決定する、請求項57に記載のディスプレイシステム。
- 1つまたはそれを上回るプロセッサのディスプレイシステムによって実装される方法であって、前記ディスプレイシステムは、少なくとも部分的に、ユーザの眼の眼姿勢に基づいて、仮想コンテンツをユーザに提示するように構成され、前記方法は、
光パターンが前記眼を横断して移動するように、前記眼上に指向される光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、前記光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
前記光強度パターンに基づいて、前記眼の生理学的特徴のサイズおよび/または位置を決定することと
を含む、方法。 - 前記生理学的特徴は、前記眼の瞳孔である、請求項65に記載の方法。
- 前記光強度パターンに基づいて、前記眼の虹彩と瞳孔との間の第1の界面を決定すること
をさらに含む、請求項66に記載の方法。 - 前記第1の界面を決定することは、前記光強度パターン内の山および/または谷の位置に基づく、請求項67に記載の方法。
- 前記光強度パターンに基づいて、前記眼の前記虹彩と前記瞳孔との間の第2の界面を決定すること
をさらに含む、請求項68に記載の方法。 - 前記生理学的特徴は、前記瞳孔であり、前記瞳孔のサイズは、前記第1の界面および前記第2の界面に基づく、請求項69に記載の方法。
- 前記生理学的特徴は、前記瞳孔であり、前記瞳孔の位置は、前記瞳孔中心に基づき、前記中心は、前記第1の界面および前記第2の界面に基づいて識別される、請求項69に記載の方法。
- 前記生理学的特徴は、前記眼の虹彩と瞳孔との間の界面であり、前記ディスプレイシステムは、前記界面の位置を決定する、請求項65に記載の方法。
- 非一過性コンピュータ記憶媒体であって、前記非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、1つまたはそれを上回るプロセッサのディスプレイシステムによって実行されると、前記1つまたはそれを上回るプロセッサに、
光パターンが前記眼を横断して移動するように、ユーザの眼上に指向される光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、前記光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
前記光強度パターンに基づいて、前記眼の生理学的特徴のサイズおよび/または位置を決定することと
を含む動作を実施させる、非一過性コンピュータ記憶媒体。 - 前記動作はさらに、
前記光強度パターンに基づいて、前記眼の虹彩と瞳孔との間の第1の界面を決定すること
を含む、請求項73に記載のコンピュータ記憶媒体。 - 前記界面を決定することは、前記光強度パターン内の山および/または谷の位置に基づく、請求項74に記載のコンピュータ記憶媒体。
- 前記動作はさらに、
前記光強度パターンに基づいて、前記眼の前記虹彩と前記瞳孔との間の第2の界面を決定すること
を含む、請求項74に記載のコンピュータ記憶媒体。 - 前記生理学的特徴は、前記瞳孔であり、前記瞳孔のサイズは、前記第1の界面および前記第2の界面に基づいて決定される、請求項76に記載のコンピュータ記憶媒体。
- 前記生理学的特徴は、前記瞳孔であり、前記瞳孔の位置は、前記瞳孔中心に基づき、前記中心は、前記第1の界面および前記第2の界面に基づいて識別される、請求項76に記載のコンピュータ記憶媒体。
- 前記生理学的特徴は、前記眼の虹彩と瞳孔との間の界面であり、前記ディスプレイシステムは、前記界面の位置を決定する、請求項73に記載のコンピュータ記憶媒体。
- 仮想コンテンツをユーザに提示するように構成されるディスプレイシステムであって、前記ディスプレイシステムは、
光を出力するように構成される光源と、
前記出力された光を前記ユーザの眼に反射させ、前記眼を横断して前記光から形成されるパターンを走査するように構成される移動可能な反射体と、
前記眼を横断して走査される前記光の反射を検出するように構成される複数の光検出器と、
1つまたはそれを上回るプロセッサであって、
前記光検出器を介して、個別の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記眼を横断した前記反射された光の走査の間に取得される、ことと、
前記光強度パターンに基づいて、前記眼の回転の速度を決定することと
を含む動作を実施するように構成される、1つまたはそれを上回るプロセッサと
を備える、ディスプレイシステム。 - 前記眼の回転の速度を決定することは、前記眼のサッカード速度を決定することを含む、請求項80に記載のディスプレイシステム。
- 前記動作はさらに、前記サッカード速度に基づいて、前記眼の姿勢を予測することを含む、請求項81に記載のディスプレイシステム。
- 1つまたはそれを上回るプロセッサのディスプレイシステムによって実装される方法であって、前記ディスプレイシステムは、少なくとも部分的に、ユーザの眼の眼姿勢に基づいて、仮想コンテンツをユーザに提示するように構成され、前記方法は、
光パターンが前記眼を横断して移動するように、前記眼上に指向される光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、前記光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
前記光強度パターンに基づいて、前記眼の回転の速度を決定することと
を含む、方法。 - 非一過性コンピュータ記憶媒体であって、前記非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、1つまたはそれを上回るプロセッサのディスプレイシステムによって実行されると、前記1つまたはそれを上回るプロセッサに、
光パターンが前記眼を横断して移動するように、ユーザの眼上に指向される光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、前記光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
前記光強度パターンに基づいて、前記眼の回転の速度を決定することと
を含む動作を実施させる、非一過性コンピュータ記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024021915A JP2024045580A (ja) | 2019-11-26 | 2024-02-16 | 拡張または仮想現実ディスプレイシステムのための向上された眼追跡 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962940785P | 2019-11-26 | 2019-11-26 | |
US62/940,785 | 2019-11-26 | ||
PCT/US2020/061860 WO2021108327A1 (en) | 2019-11-26 | 2020-11-23 | Enhanced eye tracking for augmented or virtual reality display systems |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024021915A Division JP2024045580A (ja) | 2019-11-26 | 2024-02-16 | 拡張または仮想現実ディスプレイシステムのための向上された眼追跡 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2023502337A true JP2023502337A (ja) | 2023-01-24 |
JPWO2021108327A5 JPWO2021108327A5 (ja) | 2023-11-07 |
JP7467623B2 JP7467623B2 (ja) | 2024-04-15 |
Family
ID=75974054
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022526370A Active JP7467623B2 (ja) | 2019-11-26 | 2020-11-23 | 拡張または仮想現実ディスプレイシステムのための向上された眼追跡 |
JP2024021915A Pending JP2024045580A (ja) | 2019-11-26 | 2024-02-16 | 拡張または仮想現実ディスプレイシステムのための向上された眼追跡 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024021915A Pending JP2024045580A (ja) | 2019-11-26 | 2024-02-16 | 拡張または仮想現実ディスプレイシステムのための向上された眼追跡 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11681362B2 (ja) |
EP (1) | EP4066044A4 (ja) |
JP (2) | JP7467623B2 (ja) |
CN (1) | CN114761859A (ja) |
WO (1) | WO2021108327A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4162343A1 (en) * | 2020-06-05 | 2023-04-12 | Magic Leap, Inc. | Enhanced eye tracking techniques based on neural network analysis of images |
Family Cites Families (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
US6396461B1 (en) * | 1998-08-05 | 2002-05-28 | Microvision, Inc. | Personal display with vision tracking |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
KR20130000401A (ko) * | 2010-02-28 | 2013-01-02 | 오스터하우트 그룹 인코포레이티드 | 대화형 머리장착식 아이피스 상의 지역 광고 컨텐츠 |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
KR101890328B1 (ko) | 2010-12-24 | 2018-08-21 | 매직 립, 인코포레이티드 | 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템 |
US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
EP2705435B8 (en) | 2011-05-06 | 2017-08-23 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
US10795448B2 (en) | 2011-09-29 | 2020-10-06 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
AU2012348348B2 (en) | 2011-10-28 | 2017-03-30 | Magic Leap, Inc. | System and method for augmented and virtual reality |
KR102404537B1 (ko) | 2012-04-05 | 2022-05-31 | 매직 립, 인코포레이티드 | 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들 |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US9740006B2 (en) | 2012-09-11 | 2017-08-22 | Magic Leap, Inc. | Ergonomic head mounted display device and optical system |
US10231614B2 (en) | 2014-07-08 | 2019-03-19 | Wesley W. O. Krueger | Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance |
NZ712192A (en) | 2013-03-15 | 2018-11-30 | Magic Leap Inc | Display system and method |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
AU2014337171B2 (en) | 2013-10-16 | 2018-11-15 | Magic Leap, Inc. | Virtual or augmented reality headsets having adjustable interpupillary distance |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
NZ720610A (en) | 2013-11-27 | 2020-04-24 | Magic Leap Inc | Virtual and augmented reality systems and methods |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
KR102173699B1 (ko) | 2014-05-09 | 2020-11-03 | 아이플루언스, 인크. | 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들 |
US10852838B2 (en) * | 2014-06-14 | 2020-12-01 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US10317672B2 (en) * | 2014-12-11 | 2019-06-11 | AdHawk Microsystems | Eye-tracking system and method therefor |
CA2984138A1 (en) | 2015-05-28 | 2016-12-01 | Thalmic Labs Inc. | Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays |
JP6651074B2 (ja) | 2015-06-05 | 2020-02-19 | 聖 星野 | 眼球の運動を検出する方法、そのプログラム、そのプログラムの記憶媒体、及び、眼球の運動を検出する装置 |
US9904051B2 (en) * | 2015-10-23 | 2018-02-27 | Thalmic Labs Inc. | Systems, devices, and methods for laser eye tracking |
US10372205B2 (en) | 2016-03-31 | 2019-08-06 | Sony Interactive Entertainment Inc. | Reducing rendering computation and power consumption by detecting saccades and blinks |
EP3448234A4 (en) * | 2016-04-30 | 2019-05-01 | Envision Diagnostics, Inc. | MEDICAL DEVICES, SYSTEMS AND METHODS FOR OPERATING OCULAR EXAMINATIONS AND OCULOMETRY |
JP7182538B2 (ja) | 2016-07-25 | 2022-12-02 | マジック リープ, インコーポレイテッド | 拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化 |
US10698482B2 (en) | 2016-12-01 | 2020-06-30 | Varjo Technologies Oy | Gaze tracking using non-circular lights |
KR20240010763A (ko) * | 2017-03-21 | 2024-01-24 | 매직 립, 인코포레이티드 | 공간 광 변조기들을 조명하기 위한 방법들, 디바이스들, 및 시스템들 |
JP7273720B2 (ja) * | 2017-03-21 | 2023-05-15 | マジック リープ, インコーポレイテッド | 光走査プロジェクタと連動した眼移動の追跡のための方法およびシステム |
CN110494793B (zh) * | 2017-04-04 | 2022-01-18 | 国立大学法人福井大学 | 影像生成装置和影像生成方法 |
KR102472428B1 (ko) * | 2017-04-27 | 2022-11-30 | 매직 립, 인코포레이티드 | 광-방출 사용자 입력 디바이스 |
US10521658B2 (en) * | 2017-07-07 | 2019-12-31 | Facebook Technologies, Llc | Embedded eye tracker with dichroic mirror |
US20190019448A1 (en) | 2017-07-12 | 2019-01-17 | Oculus Vr, Llc | Redundant microleds of multiple rows for compensation of defective microled |
US20190018480A1 (en) * | 2017-07-17 | 2019-01-17 | Thalmic Labs Inc. | Dynamic calibration systems and methods for wearable heads-up displays |
EP3462382A1 (en) * | 2017-10-02 | 2019-04-03 | Facebook Technologies, LLC | Eye tracking system using dense structured light patterns |
EP4354207A2 (en) | 2018-01-17 | 2024-04-17 | Magic Leap, Inc. | Eye center of rotation determination, depth plane selection, and render camera positioning in display systems |
-
2020
- 2020-11-23 WO PCT/US2020/061860 patent/WO2021108327A1/en unknown
- 2020-11-23 US US17/102,326 patent/US11681362B2/en active Active
- 2020-11-23 JP JP2022526370A patent/JP7467623B2/ja active Active
- 2020-11-23 CN CN202080081999.0A patent/CN114761859A/zh active Pending
- 2020-11-23 EP EP20894738.2A patent/EP4066044A4/en active Pending
-
2024
- 2024-02-16 JP JP2024021915A patent/JP2024045580A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP7467623B2 (ja) | 2024-04-15 |
US20210157401A1 (en) | 2021-05-27 |
WO2021108327A1 (en) | 2021-06-03 |
US11681362B2 (en) | 2023-06-20 |
EP4066044A1 (en) | 2022-10-05 |
CN114761859A (zh) | 2022-07-15 |
JP2024045580A (ja) | 2024-04-02 |
EP4066044A4 (en) | 2023-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2021273574B2 (en) | Virtual and augmented reality systems and methods | |
US20220028175A1 (en) | Multi-depth plane display system with reduced switching between depth planes | |
JP7381482B2 (ja) | ディスプレイシステムのための深度ベースの中心窩化レンダリング | |
US11138793B2 (en) | Multi-depth plane display system with reduced switching between depth planes | |
JP2022103279A (ja) | 回折光学要素を使用した眼結像装置 | |
JP2023126616A (ja) | ディスプレイシステムのための深度ベース中心窩化レンダリング | |
JP2023518421A (ja) | 網膜結像および追跡のためのシステムおよび方法 | |
IL308780A (en) | Improved positioning for a display device | |
JP7303818B2 (ja) | 低遅延瞳孔トラッカーを伴うディスプレイシステム | |
JP2023529606A (ja) | 画像のニューラルネットワーク分析に基づいて向上された眼追跡技法 | |
US11860370B2 (en) | Augmented and virtual reality display systems with correlated in-coupling and out-coupling optical regions for efficient light utilization | |
JP2024045580A (ja) | 拡張または仮想現実ディスプレイシステムのための向上された眼追跡 | |
US20220121027A1 (en) | Display system having 1-dimensional pixel array with scanning mirror | |
JP2023512238A (ja) | 眼球運動測定査定のための拡張および仮想現実ディスプレイシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231027 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231027 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20231027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240403 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7467623 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |