JP2023160877A - 眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け - Google Patents
眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け Download PDFInfo
- Publication number
- JP2023160877A JP2023160877A JP2023140017A JP2023140017A JP2023160877A JP 2023160877 A JP2023160877 A JP 2023160877A JP 2023140017 A JP2023140017 A JP 2023140017A JP 2023140017 A JP2023140017 A JP 2023140017A JP 2023160877 A JP2023160877 A JP 2023160877A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- user
- center
- display system
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 abstract description 475
- 238000004891 communication Methods 0.000 abstract description 45
- 238000003384 imaging method Methods 0.000 abstract description 41
- 230000003190 augmentative effect Effects 0.000 abstract description 5
- 238000012800 visualization Methods 0.000 abstract description 3
- 210000001508 eye Anatomy 0.000 description 1711
- 238000009877 rendering Methods 0.000 description 470
- 210000001747 pupil Anatomy 0.000 description 421
- 230000003287 optical effect Effects 0.000 description 313
- 238000000034 method Methods 0.000 description 222
- 210000004087 cornea Anatomy 0.000 description 210
- 230000033001 locomotion Effects 0.000 description 192
- 210000000695 crystalline len Anatomy 0.000 description 116
- 239000013598 vector Substances 0.000 description 103
- 210000000554 iris Anatomy 0.000 description 97
- 210000001525 retina Anatomy 0.000 description 83
- 230000000007 visual effect Effects 0.000 description 82
- 230000004308 accommodation Effects 0.000 description 58
- 210000003128 head Anatomy 0.000 description 45
- 230000008569 process Effects 0.000 description 43
- 230000008859 change Effects 0.000 description 42
- 238000004422 calculation algorithm Methods 0.000 description 40
- 238000001514 detection method Methods 0.000 description 40
- 230000004044 response Effects 0.000 description 39
- 238000010606 normalization Methods 0.000 description 26
- 206010034962 Photopsia Diseases 0.000 description 23
- 229910000065 phosphene Inorganic materials 0.000 description 23
- 230000004434 saccadic eye movement Effects 0.000 description 21
- 230000036544 posture Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 238000013459 approach Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 238000012935 Averaging Methods 0.000 description 12
- XYFCBTPGUUZFHI-UHFFFAOYSA-N Phosphine Chemical compound P XYFCBTPGUUZFHI-UHFFFAOYSA-N 0.000 description 11
- 230000004424 eye movement Effects 0.000 description 11
- 230000004418 eye rotation Effects 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 10
- 230000004438 eyesight Effects 0.000 description 10
- 238000001914 filtration Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 10
- 230000004256 retinal image Effects 0.000 description 10
- 210000003786 sclera Anatomy 0.000 description 10
- 230000002350 accommodative effect Effects 0.000 description 9
- 210000002159 anterior chamber Anatomy 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 9
- 238000002372 labelling Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 239000006185 dispersion Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000005457 optimization Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 230000000284 resting effect Effects 0.000 description 7
- 230000029777 axis specification Effects 0.000 description 6
- 238000003708 edge detection Methods 0.000 description 6
- 210000000744 eyelid Anatomy 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 230000014616 translation Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 230000001934 delay Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 230000000193 eyeblink Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000035807 sensation Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000002347 injection Methods 0.000 description 3
- 239000007924 injection Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- VCGRFBXVSFAGGA-UHFFFAOYSA-N (1,1-dioxo-1,4-thiazinan-4-yl)-[6-[[3-(4-fluorophenyl)-5-methyl-1,2-oxazol-4-yl]methoxy]pyridin-3-yl]methanone Chemical compound CC=1ON=C(C=2C=CC(F)=CC=2)C=1COC(N=C1)=CC=C1C(=O)N1CCS(=O)(=O)CC1 VCGRFBXVSFAGGA-UHFFFAOYSA-N 0.000 description 2
- MAYZWDRUFKUGGP-VIFPVBQESA-N (3s)-1-[5-tert-butyl-3-[(1-methyltetrazol-5-yl)methyl]triazolo[4,5-d]pyrimidin-7-yl]pyrrolidin-3-ol Chemical compound CN1N=NN=C1CN1C2=NC(C(C)(C)C)=NC(N3C[C@@H](O)CC3)=C2N=N1 MAYZWDRUFKUGGP-VIFPVBQESA-N 0.000 description 2
- ZGYIXVSQHOKQRZ-COIATFDQSA-N (e)-n-[4-[3-chloro-4-(pyridin-2-ylmethoxy)anilino]-3-cyano-7-[(3s)-oxolan-3-yl]oxyquinolin-6-yl]-4-(dimethylamino)but-2-enamide Chemical compound N#CC1=CN=C2C=C(O[C@@H]3COCC3)C(NC(=O)/C=C/CN(C)C)=CC2=C1NC(C=C1Cl)=CC=C1OCC1=CC=CC=N1 ZGYIXVSQHOKQRZ-COIATFDQSA-N 0.000 description 2
- MOWXJLUYGFNTAL-DEOSSOPVSA-N (s)-[2-chloro-4-fluoro-5-(7-morpholin-4-ylquinazolin-4-yl)phenyl]-(6-methoxypyridazin-3-yl)methanol Chemical compound N1=NC(OC)=CC=C1[C@@H](O)C1=CC(C=2C3=CC=C(C=C3N=CN=2)N2CCOCC2)=C(F)C=C1Cl MOWXJLUYGFNTAL-DEOSSOPVSA-N 0.000 description 2
- APWRZPQBPCAXFP-UHFFFAOYSA-N 1-(1-oxo-2H-isoquinolin-5-yl)-5-(trifluoromethyl)-N-[2-(trifluoromethyl)pyridin-4-yl]pyrazole-4-carboxamide Chemical compound O=C1NC=CC2=C(C=CC=C12)N1N=CC(=C1C(F)(F)F)C(=O)NC1=CC(=NC=C1)C(F)(F)F APWRZPQBPCAXFP-UHFFFAOYSA-N 0.000 description 2
- ABDDQTDRAHXHOC-QMMMGPOBSA-N 1-[(7s)-5,7-dihydro-4h-thieno[2,3-c]pyran-7-yl]-n-methylmethanamine Chemical compound CNC[C@@H]1OCCC2=C1SC=C2 ABDDQTDRAHXHOC-QMMMGPOBSA-N 0.000 description 2
- HCDMJFOHIXMBOV-UHFFFAOYSA-N 3-(2,6-difluoro-3,5-dimethoxyphenyl)-1-ethyl-8-(morpholin-4-ylmethyl)-4,7-dihydropyrrolo[4,5]pyrido[1,2-d]pyrimidin-2-one Chemical compound C=1C2=C3N(CC)C(=O)N(C=4C(=C(OC)C=C(OC)C=4F)F)CC3=CN=C2NC=1CN1CCOCC1 HCDMJFOHIXMBOV-UHFFFAOYSA-N 0.000 description 2
- BYHQTRFJOGIQAO-GOSISDBHSA-N 3-(4-bromophenyl)-8-[(2R)-2-hydroxypropyl]-1-[(3-methoxyphenyl)methyl]-1,3,8-triazaspiro[4.5]decan-2-one Chemical compound C[C@H](CN1CCC2(CC1)CN(C(=O)N2CC3=CC(=CC=C3)OC)C4=CC=C(C=C4)Br)O BYHQTRFJOGIQAO-GOSISDBHSA-N 0.000 description 2
- WNEODWDFDXWOLU-QHCPKHFHSA-N 3-[3-(hydroxymethyl)-4-[1-methyl-5-[[5-[(2s)-2-methyl-4-(oxetan-3-yl)piperazin-1-yl]pyridin-2-yl]amino]-6-oxopyridin-3-yl]pyridin-2-yl]-7,7-dimethyl-1,2,6,8-tetrahydrocyclopenta[3,4]pyrrolo[3,5-b]pyrazin-4-one Chemical compound C([C@@H](N(CC1)C=2C=NC(NC=3C(N(C)C=C(C=3)C=3C(=C(N4C(C5=CC=6CC(C)(C)CC=6N5CC4)=O)N=CC=3)CO)=O)=CC=2)C)N1C1COC1 WNEODWDFDXWOLU-QHCPKHFHSA-N 0.000 description 2
- SRVXSISGYBMIHR-UHFFFAOYSA-N 3-[3-[3-(2-amino-2-oxoethyl)phenyl]-5-chlorophenyl]-3-(5-methyl-1,3-thiazol-2-yl)propanoic acid Chemical compound S1C(C)=CN=C1C(CC(O)=O)C1=CC(Cl)=CC(C=2C=C(CC(N)=O)C=CC=2)=C1 SRVXSISGYBMIHR-UHFFFAOYSA-N 0.000 description 2
- YFCIFWOJYYFDQP-PTWZRHHISA-N 4-[3-amino-6-[(1S,3S,4S)-3-fluoro-4-hydroxycyclohexyl]pyrazin-2-yl]-N-[(1S)-1-(3-bromo-5-fluorophenyl)-2-(methylamino)ethyl]-2-fluorobenzamide Chemical compound CNC[C@@H](NC(=O)c1ccc(cc1F)-c1nc(cnc1N)[C@H]1CC[C@H](O)[C@@H](F)C1)c1cc(F)cc(Br)c1 YFCIFWOJYYFDQP-PTWZRHHISA-N 0.000 description 2
- KVCQTKNUUQOELD-UHFFFAOYSA-N 4-amino-n-[1-(3-chloro-2-fluoroanilino)-6-methylisoquinolin-5-yl]thieno[3,2-d]pyrimidine-7-carboxamide Chemical compound N=1C=CC2=C(NC(=O)C=3C4=NC=NC(N)=C4SC=3)C(C)=CC=C2C=1NC1=CC=CC(Cl)=C1F KVCQTKNUUQOELD-UHFFFAOYSA-N 0.000 description 2
- IRPVABHDSJVBNZ-RTHVDDQRSA-N 5-[1-(cyclopropylmethyl)-5-[(1R,5S)-3-(oxetan-3-yl)-3-azabicyclo[3.1.0]hexan-6-yl]pyrazol-3-yl]-3-(trifluoromethyl)pyridin-2-amine Chemical compound C1=C(C(F)(F)F)C(N)=NC=C1C1=NN(CC2CC2)C(C2[C@@H]3CN(C[C@@H]32)C2COC2)=C1 IRPVABHDSJVBNZ-RTHVDDQRSA-N 0.000 description 2
- KCBWAFJCKVKYHO-UHFFFAOYSA-N 6-(4-cyclopropyl-6-methoxypyrimidin-5-yl)-1-[[4-[1-propan-2-yl-4-(trifluoromethyl)imidazol-2-yl]phenyl]methyl]pyrazolo[3,4-d]pyrimidine Chemical compound C1(CC1)C1=NC=NC(=C1C1=NC=C2C(=N1)N(N=C2)CC1=CC=C(C=C1)C=1N(C=C(N=1)C(F)(F)F)C(C)C)OC KCBWAFJCKVKYHO-UHFFFAOYSA-N 0.000 description 2
- CYJRNFFLTBEQSQ-UHFFFAOYSA-N 8-(3-methyl-1-benzothiophen-5-yl)-N-(4-methylsulfonylpyridin-3-yl)quinoxalin-6-amine Chemical compound CS(=O)(=O)C1=C(C=NC=C1)NC=1C=C2N=CC=NC2=C(C=1)C=1C=CC2=C(C(=CS2)C)C=1 CYJRNFFLTBEQSQ-UHFFFAOYSA-N 0.000 description 2
- 206010019233 Headaches Diseases 0.000 description 2
- AYCPARAPKDAOEN-LJQANCHMSA-N N-[(1S)-2-(dimethylamino)-1-phenylethyl]-6,6-dimethyl-3-[(2-methyl-4-thieno[3,2-d]pyrimidinyl)amino]-1,4-dihydropyrrolo[3,4-c]pyrazole-5-carboxamide Chemical compound C1([C@H](NC(=O)N2C(C=3NN=C(NC=4C=5SC=CC=5N=C(C)N=4)C=3C2)(C)C)CN(C)C)=CC=CC=C1 AYCPARAPKDAOEN-LJQANCHMSA-N 0.000 description 2
- IDRGFNPZDVBSSE-UHFFFAOYSA-N OCCN1CCN(CC1)c1ccc(Nc2ncc3cccc(-c4cccc(NC(=O)C=C)c4)c3n2)c(F)c1F Chemical compound OCCN1CCN(CC1)c1ccc(Nc2ncc3cccc(-c4cccc(NC(=O)C=C)c4)c3n2)c(F)c1F IDRGFNPZDVBSSE-UHFFFAOYSA-N 0.000 description 2
- LXRZVMYMQHNYJB-UNXOBOICSA-N [(1R,2S,4R)-4-[[5-[4-[(1R)-7-chloro-1,2,3,4-tetrahydroisoquinolin-1-yl]-5-methylthiophene-2-carbonyl]pyrimidin-4-yl]amino]-2-hydroxycyclopentyl]methyl sulfamate Chemical compound CC1=C(C=C(S1)C(=O)C1=C(N[C@H]2C[C@H](O)[C@@H](COS(N)(=O)=O)C2)N=CN=C1)[C@@H]1NCCC2=C1C=C(Cl)C=C2 LXRZVMYMQHNYJB-UNXOBOICSA-N 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 231100000869 headache Toxicity 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012067 mathematical method Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000001179 pupillary effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- XIIOFHFUYBLOLW-UHFFFAOYSA-N selpercatinib Chemical compound OC(COC=1C=C(C=2N(C=1)N=CC=2C#N)C=1C=NC(=CC=1)N1CC2N(C(C1)C2)CC=1C=NC(=CC=1)OC)(C)C XIIOFHFUYBLOLW-UHFFFAOYSA-N 0.000 description 2
- XGVXKJKTISMIOW-ZDUSSCGKSA-N simurosertib Chemical compound N1N=CC(C=2SC=3C(=O)NC(=NC=3C=2)[C@H]2N3CCC(CC3)C2)=C1C XGVXKJKTISMIOW-ZDUSSCGKSA-N 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- DOMQFIFVDIAOOT-ROUUACIJSA-N (2S,3R)-N-[4-(2,6-dimethoxyphenyl)-5-(5-methylpyridin-3-yl)-1,2,4-triazol-3-yl]-3-(5-methylpyrimidin-2-yl)butane-2-sulfonamide Chemical compound COC1=C(C(=CC=C1)OC)N1C(=NN=C1C=1C=NC=C(C=1)C)NS(=O)(=O)[C@@H](C)[C@H](C)C1=NC=C(C=N1)C DOMQFIFVDIAOOT-ROUUACIJSA-N 0.000 description 1
- UKGJZDSUJSPAJL-YPUOHESYSA-N (e)-n-[(1r)-1-[3,5-difluoro-4-(methanesulfonamido)phenyl]ethyl]-3-[2-propyl-6-(trifluoromethyl)pyridin-3-yl]prop-2-enamide Chemical compound CCCC1=NC(C(F)(F)F)=CC=C1\C=C\C(=O)N[C@H](C)C1=CC(F)=C(NS(C)(=O)=O)C(F)=C1 UKGJZDSUJSPAJL-YPUOHESYSA-N 0.000 description 1
- YGYGASJNJTYNOL-CQSZACIVSA-N 3-[(4r)-2,2-dimethyl-1,1-dioxothian-4-yl]-5-(4-fluorophenyl)-1h-indole-7-carboxamide Chemical compound C1CS(=O)(=O)C(C)(C)C[C@@H]1C1=CNC2=C(C(N)=O)C=C(C=3C=CC(F)=CC=3)C=C12 YGYGASJNJTYNOL-CQSZACIVSA-N 0.000 description 1
- VJPPLCNBDLZIFG-ZDUSSCGKSA-N 4-[(3S)-3-(but-2-ynoylamino)piperidin-1-yl]-5-fluoro-2,3-dimethyl-1H-indole-7-carboxamide Chemical compound C(C#CC)(=O)N[C@@H]1CN(CCC1)C1=C2C(=C(NC2=C(C=C1F)C(=O)N)C)C VJPPLCNBDLZIFG-ZDUSSCGKSA-N 0.000 description 1
- XYWIPYBIIRTJMM-IBGZPJMESA-N 4-[[(2S)-2-[4-[5-chloro-2-[4-(trifluoromethyl)triazol-1-yl]phenyl]-5-methoxy-2-oxopyridin-1-yl]butanoyl]amino]-2-fluorobenzamide Chemical compound CC[C@H](N1C=C(OC)C(=CC1=O)C1=C(C=CC(Cl)=C1)N1C=C(N=N1)C(F)(F)F)C(=O)NC1=CC(F)=C(C=C1)C(N)=O XYWIPYBIIRTJMM-IBGZPJMESA-N 0.000 description 1
- ZRPZPNYZFSJUPA-UHFFFAOYSA-N ARS-1620 Chemical compound Oc1cccc(F)c1-c1c(Cl)cc2c(ncnc2c1F)N1CCN(CC1)C(=O)C=C ZRPZPNYZFSJUPA-UHFFFAOYSA-N 0.000 description 1
- 241000256837 Apidae Species 0.000 description 1
- 241000284156 Clerodendrum quadriloculare Species 0.000 description 1
- 206010011878 Deafness Diseases 0.000 description 1
- GISRWBROCYNDME-PELMWDNLSA-N F[C@H]1[C@H]([C@H](NC1=O)COC1=NC=CC2=CC(=C(C=C12)OC)C(=O)N)C Chemical compound F[C@H]1[C@H]([C@H](NC1=O)COC1=NC=CC2=CC(=C(C=C12)OC)C(=O)N)C GISRWBROCYNDME-PELMWDNLSA-N 0.000 description 1
- 206010065042 Immune reconstitution inflammatory syndrome Diseases 0.000 description 1
- FEYNFHSRETUBEM-UHFFFAOYSA-N N-[3-(1,1-difluoroethyl)phenyl]-1-(4-methoxyphenyl)-3-methyl-5-oxo-4H-pyrazole-4-carboxamide Chemical compound COc1ccc(cc1)N1N=C(C)C(C(=O)Nc2cccc(c2)C(C)(F)F)C1=O FEYNFHSRETUBEM-UHFFFAOYSA-N 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 208000036366 Sensation of pressure Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- DGLFSNZWRYADFC-UHFFFAOYSA-N chembl2334586 Chemical compound C1CCC2=CN=C(N)N=C2C2=C1NC1=CC=C(C#CC(C)(O)C)C=C12 DGLFSNZWRYADFC-UHFFFAOYSA-N 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- FMASTMURQSHELY-UHFFFAOYSA-N n-(4-fluoro-2-methylphenyl)-3-methyl-n-[(2-methyl-1h-indol-4-yl)methyl]pyridine-4-carboxamide Chemical compound C1=CC=C2NC(C)=CC2=C1CN(C=1C(=CC(F)=CC=1)C)C(=O)C1=CC=NC=C1C FMASTMURQSHELY-UHFFFAOYSA-N 0.000 description 1
- NNKPHNTWNILINE-UHFFFAOYSA-N n-cyclopropyl-3-fluoro-4-methyl-5-[3-[[1-[2-[2-(methylamino)ethoxy]phenyl]cyclopropyl]amino]-2-oxopyrazin-1-yl]benzamide Chemical compound CNCCOC1=CC=CC=C1C1(NC=2C(N(C=3C(=C(F)C=C(C=3)C(=O)NC3CC3)C)C=CN=2)=O)CC1 NNKPHNTWNILINE-UHFFFAOYSA-N 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003565 oculomotor Effects 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- LZMJNVRJMFMYQS-UHFFFAOYSA-N poseltinib Chemical compound C1CN(C)CCN1C(C=C1)=CC=C1NC1=NC(OC=2C=C(NC(=O)C=C)C=CC=2)=C(OC=C2)C2=N1 LZMJNVRJMFMYQS-UHFFFAOYSA-N 0.000 description 1
- 230000009290 primary effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000001711 saccadic effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
- A61B3/111—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring interpupillary distance
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0081—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/40—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images giving the observer of a single two-dimensional [2D] image a perception of depth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
- G02B2027/0174—Head mounted characterised by optical features holographic
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Hardware Design (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Graphics (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Position Input By Displaying (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本願は、「EYE CENTER OF ROTATION DETERMINATION, DEPTH PLANE SELECTION, AND RENDER CAMERA POSITIONING IN DISPLAY SYSTEMS」と題され、2018年1月17日に出願された、米国仮特許出願第62/618559号の優先権を主張する。本願はさらに、「EYE CENTER OF ROTATION DETERMINATION, DEPTH PLANE SELECTION, AND RENDER CAMERA POSITIONING IN DISPLAY SYSTEMS」と題され、2018年7月24日に出願された、米国仮特許出願第62/702849号の優先権を主張する。上記の出願はそれぞれ、参照することによってその全体として本明細書に組み込まれる。
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる量の発散およびコリメーションのうちの少なくとも1つにおいて、該光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、ディスプレイと、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、
ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、該1つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該眼の回転中心の推定値を取得するように構成される、処理電子機器と、
を備える、ディスプレイシステム。
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる量の発散およびコリメーションのうちの少なくとも1つにおいて、該光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、ディスプレイと、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、
ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、処理電子機器は、該1つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該眼の視点中心の位置推定値を取得するように構成され、該視点中心は、該眼の瞳孔の近位にあるかまたは該角膜と該眼の瞳孔との間にあると推定される、処理電子機器と、
を備え、該処理電子機器は、該視点中心に位置するレンダリングカメラによってレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、ディスプレイシステム。
該ユーザの眼を結像し、該眼の移動を追跡するように構成される、1つ以上の眼追跡カメラを用いて、該眼の回転中心の位置を決定するステップと、
レンダリングエンジンを用いて、該眼の回転中心におけるレンダリングカメラを用いて、仮想画像コンテンツをレンダリングするステップであって、該レンダリングカメラは、仮想画像を該眼に提示されるようにレンダリングするように構成される、ステップと、
頭部搭載型ディスプレイを用いて、仮想画像コンテンツが異なる深度から異なる期間において生じるように現れるように、異なる量の発散において、光を該ユーザの眼の中に投影し、レンダリングされた仮想画像コンテンツをユーザの視野に表示するステップと、
を含む、方法。
1つ以上の眼追跡カメラを用いて、該ユーザの眼の視点中心の位置を決定するステップであって、該ユーザの眼の視点中心は、該ユーザの眼の瞳孔から約1.0mm未満に位置する、ステップと、
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップと、
をさらに含み、該レンダリングカメラは、該ユーザの眼の視点中心の決定された位置に開口を有する、上記実施例のいずれかに記載の方法。
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップをさらに含み、該レンダリングカメラは、(i)該眼の回転中心の決定された位置と(ii)該ユーザの眼の視点中心の決定された位置との間の線に沿った位置に開口を有する、上記実施例のいずれかに記載の方法。
1つ以上の眼追跡カメラと通信する、処理電子機器を用いて、該ユーザの眼の視点中心の決定された位置の時間に伴う変化の測定値を決定するステップと、
処理電子機器を用いて、時間に伴う変化の測定値が第1の閾値を超えることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップであって、レンダリングカメラは、該眼の回転中心の決定された位置に開口を有する、ステップと、
をさらに含む、上記実施例のいずれかに記載の方法。
処理電子機器を用いて、時間に伴う変化の測定値が第2の閾値を下回ることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、レンダリングカメラは、該眼の視点中心の決定された位置に開口を有し、第1の閾値は、該ユーザの眼の視点中心の決定された位置における第2の閾値より高いレベルの時間に伴う変化を示す、上記実施例のいずれかに記載の方法。
処理電子機器を用いて、時間に伴う変化の測定値が第2の閾値を下回ることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、レンダリングカメラは、該眼の視点中心の決定された位置に開口を有する、上記実施例のいずれかに記載の方法。
処理電子機器を用いて、時間に伴う変化の測定値が第1の閾値と第2の閾値との間にあることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、レンダリングカメラは、(i)該眼の回転中心の決定された位置と(ii)該眼の視点中心の決定された位置との間の線に沿った点に開口を有する、上記実施例のいずれかに記載の方法。
該ディスプレイの少なくとも一部であって、透明であって、ユーザが該頭部搭載型ディスプレイを装着すると、ユーザの眼の正面の場所に配置される、部分を用いて、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部のビューを提供するステップをさらに含む、上記実施例のいずれかに記載の方法。
1つ以上の眼追跡カメラを用いて、該虹彩、瞳孔、または水晶体のうちの少なくとも1つの位置を決定するステップをさらに含む、上記実施例のいずれかに記載の方法。
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップをさらに含み、該レンダリングカメラは、(i)該眼の回転中心の決定された位置と(ii)該虹彩または瞳孔のうちの少なくとも1つの決定された位置との間の線に沿った位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示するように構成される、上記実施例のいずれかに記載の方法。
1つ以上の眼追跡カメラを用いて、該ユーザの眼の視点中心の位置を決定するステップであって、該ユーザの眼の視点中心は、該ユーザの眼の瞳孔から約1.0mm未満に位置する、ステップと、
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップであって、該レンダリングカメラは、該ユーザの眼の視点中心の決定された位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示するように構成される、ステップと、
をさらに含む、上記実施例のいずれかに記載の方法。
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップをさらに含み、該レンダリングカメラは、(i)該眼の回転中心の決定された位置と(ii)該ユーザの眼の視点中心の決定された位置との間の線に沿った位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示するように構成される、上記実施例のいずれかに記載の方法。
1つ以上の眼追跡カメラと通信する、処理電子機器を用いて、該ユーザの眼の視点中心の決定された位置の時間に伴う変化の測定値を決定するステップと、
処理電子機器を用いて、時間に伴う変化の測定値が第1の閾値を超えることが決定される場合、レンダリングエンジンに、該眼の回転中心の決定された位置に開口を有するカメラによって捕捉されたかのように、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップと、
をさらに含む、上記実施例のいずれかに記載の方法。
処理電子機器を用いて、時間に伴う変化の測定値が第2の閾値を下回ることが決定される場合、レンダリングエンジンに、該眼の視点中心の決定された位置に開口を有するカメラによって捕捉されたかのように、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、第1の閾値は、該ユーザの眼の視点中心の決定された位置における第2の閾値より高いレベルの時間に伴う変化を示す、上記実施例のいずれかに記載の方法。
処理電子機器を用いて、時間に伴う変化の測定値が第2の閾値を下回ることが決定される場合、レンダリングエンジンに、該眼の視点中心の決定された位置に開口を有するカメラによって捕捉されたかのように、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含む、上記実施例のいずれかに記載の方法。
処理電子機器を用いて、時間に伴う変化の測定値が第1の閾値と第2の閾値との間にあることが決定される場合、レンダリングエンジンに、(i)該眼の回転中心の決定された位置と(ii)該眼の視点中心の決定された位置との間の線に沿った点に開口を有するカメラによって捕捉されたかのように、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含む、上記実施例のいずれかに記載の方法。
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、異なる量の発散において、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れ、該頭部搭載型ディスプレイは、第1の発散量を有する光を、第1の期間において、該ユーザの眼の中に投影するように構成され、第2の発散量を有する光を、第2の期間において、該ユーザの眼の中に投影するように構成され、第1の発散量は、第2の発散量と異なる、頭部搭載型ディスプレイと、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、
ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、該1つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該眼の回転中心の推定値を取得し、該1つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該ユーザの輻輳・開散運動距離の推定値を取得し、該ユーザの推定される輻輳・開散運動距離に基づいて、第1の発散量における該ユーザの眼の中への光の投影から第2の発散量における該ユーザの眼の中への光の投影に偏移させるように構成される、処理電子機器と、
を備える、ディスプレイシステム。
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも1つにおいて、光を該ユーザの左および右眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、ユーザの左および右眼からの異なる距離から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、
ユーザの左眼を結像するように構成される、第1の眼追跡カメラと、
ユーザの右眼を結像するように構成される、第2の眼追跡カメラと、
ディスプレイおよび第1および第2の眼追跡カメラと通信する、処理電子機器であって、該第1および第2の眼追跡カメラを用いて取得された該左および右眼の画像に基づいて、ユーザの左眼と右眼との間の瞳孔間距離の推定値を取得するように構成される、処理電子機器と、
を備える、ディスプレイシステム。
該ユーザの眼を結像し、該眼の移動を追跡するように構成される、1つ以上の眼追跡カメラを用いて、該左眼の回転中心の位置および該右眼の回転中心の位置を決定するステップと、
1つ以上の眼追跡カメラと通信する、処理電子機器を用いて、該左および右眼の回転中心の決定された位置に基づいて、該ユーザの瞳孔間距離を推定するステップと、
1つ以上の眼追跡カメラを用いて、現在の左眼姿勢および現在の右眼姿勢を決定するステップと、
処理電子機器を用いて、該推定される瞳孔間距離と該決定された現在の左眼姿勢および該決定された現在の右眼姿勢を比較することによって、該ユーザの現在の輻輳・開散運動距離を推定するステップと、
を含む、方法。
処理電子機器を用いて、該ユーザの左および右眼の該虹彩の位置間の距離を推定するステップと、
処理電子機器を用いて、該推定される瞳孔間距離と該ユーザの左および右眼の該虹彩の位置間の推定される距離の比較に基づいて、該ユーザの現在の輻輳・開散運動距離を推定するステップと、
を含む、上記実施例のいずれかに記載の方法。
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる量の発散およびコリメーションのうちの少なくとも1つにおいて、該光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、ディスプレイと、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、
ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、該1つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、該眼の回転中心の位置推定値を取得するように構成され、該画像に基づいて、該眼の光学軸の方向推定値を取得するように構成される、処理電子機器と、
を備え、該処理電子機器は、光学軸に沿って配置され、該網膜からある方向に6.0mm~13.0mm離れるように、該眼の回転中心の推定される位置から離間される、開口を有するカメラによって捕捉されたかのようにレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、ディスプレイシステム。
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる量の発散およびコリメーションのうちの少なくとも1つにおいて、該光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、ディスプレイと、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、
ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器と、
を備え、該処理電子機器は、眼の瞳孔に位置するかまたは眼の瞳孔と角膜との間に位置する、レンダリングカメラによってレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、ディスプレイシステム。
該ユーザの眼を結像するように構成される、1つ以上の眼カメラを用いて、該1つ以上のカメラを用いた該眼の結像に基づいて、位置を決定するステップと、
レンダリングエンジンを用いて、該決定された位置に基づく場所におけるレンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップであって、該レンダリングカメラは、仮想画像を該眼に提示されるようにレンダリングするように構成される、ステップと、
頭部搭載型ディスプレイを用いて、光を該ユーザの眼の中に投影し、レンダリングされた仮想画像コンテンツをユーザの視野に表示するステップと、
を含む、方法。
1つ以上のカメラを用いて、該ユーザの眼の視点中心の位置を決定するステップであって、該ユーザの眼の視点中心は、該ユーザの眼の瞳孔から約1.0mm未満に位置する、ステップと、
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップと、
をさらに含み、レンダリングカメラは、該ユーザの眼の視点中心の決定された位置に開口を有する、上記実施例のいずれかに記載の方法。
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップをさらに含み、該レンダリングカメラは、(i)該眼の回転中心の決定された位置と(ii)該ユーザの眼の視点中心の決定された位置との間の線に沿った位置に開口を有する、上記実施例のいずれかに記載の方法。
1つ以上のカメラと通信する、処理電子機器を用いて、該ユーザの眼の視点中心の決定された位置の時間に伴う変化の測定値を決定するステップと、
処理電子機器を用いて、時間に伴う変化の測定値が第1の閾値を超えることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップであって、レンダリングカメラは、該眼の回転中心の決定された位置に開口を有する、ステップと、
をさらに含む、上記実施例のいずれかに記載の方法。
処理電子機器を用いて、時間に伴う変化の測定値が第2の閾値を下回ることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、レンダリングカメラは、該眼の視点中心の決定された位置に開口を有し、第1の閾値は、該ユーザの眼の視点中心の決定された位置における第2の閾値より高いレベルの時間に伴う変化を示す、上記実施例のいずれかに記載の方法。
処理電子機器を用いて、時間に伴う変化の測定値が第2の閾値を下回ることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、レンダリングカメラは、該眼の視点中心の決定された位置に開口を有する、上記実施例のいずれかに記載の方法。
処理電子機器を用いて、時間に伴う変化の測定値が第1の閾値と第2の閾値との間にあることが決定される場合、レンダリングエンジンに、レンダリングカメラを用いて仮想コンテンツをレンダリングするように指示するステップをさらに含み、レンダリングカメラは、(i)該眼の回転中心の決定された位置と(ii)該眼の視点中心の決定された位置との間の線に沿った点に開口を有する、上記実施例のいずれかに記載の方法。
該ディスプレイの少なくとも一部であって、透明であって、ユーザが該頭部搭載型ディスプレイを装着すると、ユーザの眼の正面の場所に配置される、部分を用いて、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部のビューを提供するステップをさらに含む、上記実施例のいずれかに記載の方法。
1つ以上のカメラを用いて、該虹彩、瞳孔、または水晶体のうちの少なくとも1つの位置を決定するステップをさらに含む、上記実施例のいずれかに記載の方法。
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップをさらに含み、該レンダリングカメラは、(i)該眼の回転中心の決定された位置と(ii)該虹彩または瞳孔のうちの少なくとも1つの決定された位置との間の線に沿った位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示するように構成される、上記実施例のいずれかに記載の方法。
1つ以上のカメラを用いて、該ユーザの眼の視点中心の位置を決定するステップであって、該ユーザの眼の視点中心は、該ユーザの眼の瞳孔から約1.0mm未満に位置する、ステップと、
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップであって、該レンダリングカメラは、該ユーザの眼の視点中心の決定された位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示するように構成される、ステップと、
をさらに含む、上記実施例のいずれかに記載の方法。
レンダリングエンジンを用いて、レンダリングカメラを用いて仮想画像コンテンツをレンダリングするステップをさらに含み、該レンダリングカメラは、(i)該眼の回転中心の決定された位置と(ii)該ユーザの眼の視点中心の決定された位置との間の線に沿った位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる、仮想画像を該眼に提示するように構成される、上記実施例のいずれかに記載の方法。
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成される、ディスプレイと、
ユーザの眼を結像するように構成される、1つ以上のカメラと、
ディスプレイおよび1つ以上のカメラと通信する、処理電子機器であって、該1つ以上のカメラを用いて取得された該眼の画像に基づいて、該眼の位置を取得するように構成される、処理電子機器と、
を備え、該処理電子機器は、該決定された位置に基づく場所に位置する、レンダリングカメラによってレンダリングされる、該仮想画像コンテンツを該ユーザの眼に提示するように構成される、ディスプレイシステム。
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、異なる量の発散およびコリメーションのうちの少なくとも1つにおいて、該光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、ディスプレイと、
ユーザの眼を結像するように構成される、1つ以上の眼追跡カメラと、
ディスプレイおよび1つ以上の眼追跡カメラと通信する、処理電子機器であって、
1つ以上の眼追跡カメラを用いて取得された該眼の画像に基づいて、ユーザの眼の水晶体、瞳孔、および角膜を通して延在する、光学軸の位置および配向推定値を取得し、
該眼の光学軸に位置合わせされる、レンダリング空間内のある軸に沿った特定の場所を識別し、
レンダリング空間内の特定の場所に位置する仮想レンダリングカメラに
よってレンダリングされるように、該仮想画像コンテンツを該ユーザの眼に提示する、
ように構成される、処理電子機器と、
を備える、ディスプレイシステム。
処理電子機器は、該眼の回転中心が位置すると推定される該光学軸に沿った位置に基づいて、該眼の光学軸に位置合わせされるレンダリング空間内の軸に沿った特定の場所を識別するように構成される、
実施例267に記載のディスプレイシステム。
ユーザの頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、光を該ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、該ディスプレイの少なくとも一部は、透明であって、ユーザがフレームを装着すると、該透明部分が、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、ユーザおよび該頭部搭載型ディスプレイの正面の環境の一部のビューを提供するように、ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
ユーザの眼を結像するように構成される、内向きに面した結像システムと、
内向きに面した結像システムと通信する、処理電子機器であって、処理電子機器は、該内向きに面した結像システムを用いて取得された該眼の複数の画像に基づいて、該眼の回転中心の推定値を取得するように構成され、回転中心の計算される値における変動量を決定し、該変動量に基づいて、回転中心の統計的に決定された推定値を選択するように構成される、処理電子機器と、
を備える、ディスプレイシステム。
上記の実施例または付加的実施例のいずれかは、組み合わせられることができる。加えて、上記の実施例または付加的実施例のいずれかは、頭部搭載型ディスプレイと統合されることができる。加えて、上記の実施例または付加的実施例のいずれかは、単一深度平面および/または1つ以上の可変深度平面を用いて実装されることができる(例えば、経時的に変動する遠近調節(accommodation)キューを提供する、可変集束力を伴う、1つ以上の要素)。
さらに、限定ではないが、解剖学的、光学的、および幾何学的特徴、場所、および配向等の種々の値、パラメータを決定するための装置および方法が、本明細書に開示される。そのようなパラメータの実施例は、例えば、眼の回転中心、角膜の曲率中心、瞳孔の中心、瞳孔の境界、虹彩の中心、虹彩の境界、角膜輪部の境界、眼の光学軸、眼の視軸、視点中心を含むが、これらに限定されない。本明細書に列挙されるようなそのような値、パラメータ等の決定は、その推定値を含み、必ずしも、実際の値と精密に一致する必要はない。例えば、眼の回転中心、角膜の曲率中心、瞳孔または虹彩の中心または境界、角膜輪部の境界、眼の光学軸、眼の視軸、視点中心等の決定は、推定値、近似値、またはそれに近い値であって、実際の(例えば、解剖学的、光学的、または幾何学的)値またはパラメータと同一ではなくてもよい。ある場合には、例えば、二乗平均平方根推定技法が、そのような値の推定値を取得するために使用される。実施例として、本明細書に説明されるある技法は、光線またはベクトルが交差する、場所または点を識別することに関する。しかしながら、そのような光線またはベクトルは、交差しなくてもよい。本実施例では、場所または点は、推定されてもよい。例えば、場所または点は、二乗平均平方根または他の推定技法に基づいて決定されてもよい(例えば、場所または点は、光線またはベクトルに近いまたは最も近いものであるように推定されてもよい)。他のプロセスもまた、近似値を推定する、または別様に、実際の値と一致しない場合がある値を提供するために使用されてもよい。故に、用語「~を決定する」および「~を推定する」または「決定される」および「推定される」は、本明細書では、同義的に使用される。そのような決定された値の参照は、したがって、推定値、近似値、または実際の値に近い値を含み得る。故に、上記または本明細書のいずれかの場所のパラメータまたは値の決定の参照は、実際の値に精密に限定されるべきではなく、推定値、近似値、またはそれに値に近い値を含んでもよい。
本発明は、例えば、以下を提供する。
(項目1)
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも1つにおいて、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成され、これにより、前記表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される1つ以上の眼追跡カメラと、
前記ディスプレイおよび前記1つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、前記1つ以上の眼追跡カメラを用いて取得された前記眼の画像に基づいて、前記眼の回転中心の推定値を取得するように構成される、処理電子機器と
を備える、ディスプレイシステム。
(項目2)
1つ以上の光源をさらに備え、前記1つ以上の光源は、前記ユーザの眼に対して前記フレーム上に配置され、前記ユーザの眼を照明し、前記1つ以上の眼追跡カメラは、前記1つ以上の光源からの光を使用して、前記眼の画像を形成する、項目1に記載のディスプレイシステム。
(項目3)
前記1つ以上の光源は、少なくとも2つの光源を備え、前記少なくとも2つの光源は、前記ユーザの眼に対して前記フレーム上に配置され、前記ユーザの眼を照明する、項目2に記載のディスプレイシステム。
(項目4)
前記1つ以上の光源は、赤外線光エミッタを備える、項目3に記載のディスプレイシステム。
(項目5)
前記1つ以上の光源は、1つ以上の閃光を前記眼上に形成し、前記処理電子機器は、前記1つ以上の閃光に基づいて、前記角膜の場所を決定するように構成される、項目2に記載のディスプレイシステム。
(項目6)
前記角膜は、それと関連付けられた角膜球体を有し、前記角膜球体は、曲率中心を有し、前記処理電子機器は、前記1つ以上の閃光に基づいて、前記角膜球体の曲率中心の場所を決定するように構成される、項目5に記載のディスプレイシステム。
(項目7)
前記角膜は、それと関連付けられた角膜球体を有し、前記角膜球体は、曲率中心を有し、前記処理電子機器は、前記角膜球体の曲率中心の場所を決定するように構成される、項目1に記載のディスプレイシステム。
(項目8)
前記1つ以上の眼追跡カメラは、前記眼の瞳孔を結像するように構成される、項目1に記載のディスプレイシステム。
(項目9)
前記処理電子機器は、前記瞳孔の中心の場所を決定するように構成される、項目1に記載のディスプレイシステム。
(項目10)
前記処理電子機器は、前記虹彩と前記瞳孔との間の境界の少なくとも一部を決定するように構成される、項目1に記載のディスプレイシステム。
(項目11)
前記処理電子機器は、前記虹彩と前記瞳孔との間の境界の中心を決定するように構成される、項目10に記載のディスプレイシステム。
(項目12)
前記処理電子機器は、前記角膜の曲率中心に対する3次元空間内の前記瞳孔の中心の場所を決定するように構成される、項目1に記載のディスプレイシステム。
(項目13)
前記処理電子機器は、3次元空間内の前記瞳孔の中心の場所に基づいて、前記光学軸の場所および配向を決定するように構成される、項目12に記載のディスプレイシステム。(項目14)
前記処理電子機器は、前記光学軸の場所および配向を決定するように構成される、項目1に記載のディスプレイシステム。
(項目15)
前記処理電子機器は、前記角膜の曲率中心に対する3次元空間内の前記瞳孔の中心の場所に基づいて、前記光学軸の場所および配向を決定するように構成される、項目14に記載のディスプレイシステム。
(項目16)
前記処理電子機器は、前記角膜の曲率中心に基づいて、前記眼の回転中心の場所を決定するように構成される、項目1に記載のディスプレイシステム。
(項目17)
前記処理電子機器は、前記角膜の曲率中心および前記光学軸の場所および配向に基づいて、前記眼の回転中心の場所を決定するように構成される、項目1に記載のディスプレイシステム。
(項目18)
前記処理電子機器は、前記角膜の曲率中心から前記光学軸に沿った特定の距離を平行移動させることによって、前記眼の回転中心の場所を決定するように構成される、項目17に記載のディスプレイシステム。
(項目19)
前記曲率中心から前記回転中心までの特定の距離は、4.0mm~6.0mmである、項目18に記載のディスプレイシステム。
(項目20)
前記曲率中心から前記回転中心までの特定の距離は、約4.7mmである、項目18に記載のディスプレイシステム。
(項目21)
前記特定の距離は、固定される、項目18に記載のディスプレイシステム。
(項目22)
前記処理電子機器は、少なくとも、前記1つ以上の眼追跡カメラを用いて以前に取得された前記眼の1つ以上の画像に基づいて、前記特定の距離を決定するように構成される、項目18に記載のディスプレイシステム。
(項目23)
前記処理電子機器は、前記光学軸の場所および配向に基づいて、前記光学軸からオフセットされた視軸の場所および配向を決定するように構成される、項目1に記載のディスプレイシステム。
(項目24)
前記処理電子機器は、前記光学軸に対する角回転に基づいて、視軸の場所および配向を決定するように構成される、項目1に記載のディスプレイシステム。
(項目25)
前記処理電子機器は、前記光学軸に対する4.0°~6.5°の角回転に基づいて、視軸の場所および配向を決定するように構成される、項目1に記載のディスプレイシステム。
(項目26)
前記処理電子機器は、前記光学軸に対する約5.2°の角回転に基づいて、視軸の場所および配向を決定するように構成される、項目1に記載のディスプレイシステム。
(項目27)
前記処理電子機器は、少なくとも、前記1つ以上の眼追跡カメラを用いて以前に取得された前記眼の1つ以上の画像に基づいて、視軸の場所および配向を決定するように構成される、項目1に記載のディスプレイシステム。
(項目28)
前記処理電子機器は、前記眼が回転している期間にわたって、前記光学軸または視軸の場所の複数の決定に基づいて、前記眼の回転中心を決定するように構成される、項目1に記載のディスプレイシステム。
(項目29)
前記処理電子機器は、前記眼が回転している期間にわたって、前記光学軸または視軸の場所の複数の決定の交差の領域を識別することによって、前記眼の回転中心を決定するように構成される、項目1に記載のディスプレイシステム。
(項目30)
前記処理電子機器は、前記ユーザの左および右眼に関する光学軸の場所および配向の決定に基づいて、前記ユーザの左および右眼が注視している前記ユーザの輻輳・開散運動距離を決定するように構成される、項目1に記載のディスプレイシステム。
(項目31)
前記処理電子機器は、前記ユーザの左および右眼に関する視軸の場所および配向の決定に基づいて、前記ユーザの左および右眼が注視している前記ユーザの輻輳・開散運動距離を決定するように構成される、項目1に記載のディスプレイシステム。
(項目32)
前記処理電子機器は、前記ユーザの左および右眼に関する視軸の交差の領域を識別することに基づいて、前記ユーザの左および右眼が注視している輻輳・開散運動距離を決定するように構成される、項目1に記載のディスプレイシステム。
(項目33)
前記処理電子機器は、前記左および右眼に関する視軸を水平平面上に投影し、前記水平平面上における前記左および右眼に関する視軸の投影の交差の領域を識別することによって、前記ユーザの左および右眼が注視している輻輳・開散運動距離を決定するように構成される、項目1に記載のディスプレイシステム。
(項目34)
前記処理電子機器は、前記ユーザの輻輳・開散運動距離の決定に基づいて、画像コンテンツを投影するための発散およびコリメーションのうちの少なくとも1つの相対的量を決定するように構成される、項目1に記載のディスプレイシステム。
(項目35)
前記処理電子機器は、前記フレーム上の電子機器を含む、項目1に記載のディスプレイシステム。
(項目36)
前記処理電子機器は、前記フレーム上の電子機器と、前記フレームから遠隔の場所に配置される電子機器とを含む、項目1に記載のディスプレイシステム。
(項目37)
前記処理電子機器は、前記フレーム上の電子機器と、ベルトパック上の電子機器とを含む、項目1に記載のディスプレイシステム。
(項目38)
前記ディスプレイの少なくとも一部は、透明であり、前記ユーザが前記頭部搭載型ディスプレイを装着すると、前記透明部分が、前記ユーザおよび前記頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、前記ユーザおよび前記頭部搭載型ディスプレイの正面の環境の一部のビューを提供するように、前記ユーザの眼の正面の場所に配置される、項目1に記載のディスプレイシステム。
(項目39)
前記頭部搭載型ディスプレイは、第1の発散量において、前記ユーザの正面の環境の一部からの光を受け取り、前記第1の発散量に実質的に類似する第2の発散量を伴って、前記ユーザの正面の環境の一部からの光をユーザの眼に透過させる、項目1に記載のディスプレイシステム。
(項目40)
前記処理電子機器は、複数の推定される回転中心位置をフィルタリングする、平均する、カルマンフィルタを適用する、またはそれらの任意の組み合わせによって、前記回転中心の推定値を取得するように構成される、項目1に記載のディスプレイシステム。
(項目41)
前記処理電子機器は、前記ユーザの眼の回転中心の決定された位置に開口を有するカメラによって捕捉されたかのようにレンダリングされる前記仮想画像コンテンツを前記ユーザの眼に提示するように構成される、項目1に記載のディスプレイシステム。
(項目42)
前記処理電子機器は、レンダリングカメラを前記回転中心において使用し、仮想画像を前記眼に提示されるようにレンダリングするように構成される、項目1に記載のディスプレイシステム。
(項目43)
前記処理電子機器は、前記眼の網膜より前記回転中心に近い開口を有するカメラによって捕捉されたかのようにレンダリングされる仮想画像を前記眼に提示されるようにレンダリングするように構成されるレンダリングカメラを使用するように構成される、項目1に記載のディスプレイシステム。
(項目44)
前記処理電子機器は、前記眼の回転中心に開口を有するカメラによって捕捉されたかのようにレンダリングされる仮想画像を前記眼に提示されるようにレンダリングするように構成されるレンダリングカメラを使用するように構成される、項目1に記載のディスプレイシステム。
(項目45)
前記処理電子機器は、レンダリングカメラを前記回転中心において使用し、仮想画像を前記眼に提示されるようにレンダリングするように構成され、前記レンダリングカメラは、前記眼の回転中心に開口を伴ってモデル化される、項目1に記載のディスプレイシステム。
(項目46)
前記処理電子機器は、前記1つ以上の眼追跡カメラによって取得された前記眼の画像に基づいて、前記眼が回転している期間にわたって、前記ユーザの眼の複数の視線方向の決定に基づいて、前記眼の回転中心の推定値を取得するように構成される、項目1に記載のディスプレイシステム。
(項目47)
前記処理電子機器は、前記眼が回転している期間にわたって、前記1つ以上の眼追跡カメラを用いて取得された画像内の前記ユーザの眼の瞳孔、虹彩、または角膜輪部のうちの1つ以上のものの形状の変動量に基づいて、前記視線方向を決定するように構成される、項目46に記載のディスプレイシステム。
(項目48)
前記処理電子機器は、前記1つ以上の眼追跡カメラを用いて取得された前記ユーザの眼の画像上の複数の空間場所に基づいて、位置のアレイを決定するように構成される、項目1に記載のディスプレイシステム。
(項目49)
前記位置のアレイは、楕円の少なくとも一部に対応する、項目48に記載のディスプレイシステム。
(項目50)
前記処理電子機器は、曲線を前記ユーザの眼の画像上の複数の空間場所に適合させることによって、前記位置のアレイを決定するように構成される、項目48に記載のディスプレイシステム。
(項目51)
前記曲線は、楕円を備える、項目50に記載のディスプレイシステム。
(項目52)
前記画像上の複数の空間場所は、前記画像内の前記ユーザの眼の前記角膜輪部上の空間場所を備える、項目49に記載のディスプレイシステム。
(項目53)
前記画像上の複数の空間場所は、前記画像内の前記ユーザの眼の前記虹彩と強膜との間の境界上の空間場所を備える、項目49に記載のディスプレイシステム。
(項目54)
前記画像上の複数の空間場所は、前記1つ以上の眼追跡カメラを用いて取得された前記画像内の前記ユーザの眼の前記角膜と前記強膜との間の境界上の空間場所を備える、項目49に記載のディスプレイシステム。
(項目55)
前記処理電子機器は、前記位置のアレイの第1の側上の場所から前記位置のアレイを通して前記位置のアレイの第2の反対側まで延在する複数の線形経路を決定するように構成される、項目49に記載のディスプレイシステム。
(項目56)
前記処理電子機器は、前記複数の線形経路に基づいて、円形領域を決定するように構成され、前記円形領域は、半径Rを有する、項目55に記載のディスプレイシステム。
(項目57)
前記半径Rは、角膜輪部の平均半径に対応する、項目56に記載のディスプレイシステム。
(項目58)
前記半径Rは、前記ユーザの眼の角膜輪部の測定された半径に対応する、項目56に記載のディスプレイシステム。
(項目59)
前記半径Rは、瞳孔の平均半径に対応する、項目56に記載のディスプレイシステム。
(項目60)
前記半径Rは、前記ユーザの眼の瞳孔の測定された半径に対応する、項目56に記載のディスプレイシステム。
(項目61)
前記処理電子機器は、前記円形領域の中心部分を通る法線の場所および方向を決定するように構成される、項目56に記載のディスプレイシステム。
(項目62)
前記処理電子機器は、前記1つ以上の眼追跡カメラを用いて以前に取得された前記眼の複数の画像に基づいて、個別の円形領域の中心部分を通る複数の法線の個別の場所および方向を決定するように構成される、項目56に記載のディスプレイシステム。
(項目63)
前記処理電子機器は、前記複数の法線が収束または交差する位置を決定するように構成される、項目62に記載のディスプレイシステム。
(項目64)
前記処理電子機器は、前記眼が回転している期間にわたって取得された前記ユーザの眼の画像に基づいて決定される前記法線の複数のものの交差の領域を識別することによって、前記ユーザの眼の回転中心の推定値を取得するように構成される、項目62に記載のディスプレイシステム。
(項目65)
前記処理電子機器は、前記眼が回転している期間にわたって取得された前記ユーザの眼の画像に基づいて決定される前記複数の法線の複数のものの場所および方向に基づいて、前記ユーザの眼の回転中心の推定値を取得するように構成される、項目62に記載のディスプレイシステム。
(項目66)
前記アレイ位置の前記第1の側上の場所は、前記1つ以上の眼追跡カメラのうちの1つの座標系の原点に対応する、項目55に記載のディスプレイシステム。
(項目67)
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも1つにおいて、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成され、これにより、前記表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される1つ以上の眼追跡カメラと、
前記ディスプレイおよび前記1つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、前記1つ以上の眼追跡カメラを用いて取得された前記眼の画像に基づいて、前記眼の視点中心の位置推定値を取得するように構成され、前記視点中心は、前記眼の瞳孔の近位にあるかまたは前記角膜と前記眼の瞳孔との間にあると推定される、処理電子機器と
を備え、
前記処理電子機器は、前記視点中心に位置するレンダリングカメラによってレンダリングされる前記仮想画像コンテンツを前記ユーザの眼に提示するように構成される、ディスプレイシステム。
(項目68)
光をユーザの眼に投影し、前記仮想画像コンテンツを前記ユーザの視野内に表示するように構成されるディスプレイシステムにおいて、仮想画像コンテンツをレンダリングする方法であって、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記方法は、
前記ユーザの眼を結像し、前記眼の移動を追跡するように構成される1つ以上の眼追跡カメラを用いて、前記眼の回転中心の位置を決定することと、
レンダリングエンジンを用いて、前記眼の回転中心におけるレンダリングカメラを用いて、仮想画像コンテンツをレンダリングすることであって、前記レンダリングカメラは、仮想画像を前記眼に提示されるようにレンダリングするように構成される、ことと、
頭部搭載型ディスプレイを用いて、前記仮想画像コンテンツが異なる深度から異なる期間において生じるように現れるように、異なる量の発散において、光を前記ユーザの眼の中に投影し、前記レンダリングされた仮想画像コンテンツをユーザの視野に表示することと
を含む、方法。
(項目69)
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる量の発散において、光を前記ユーザの眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、これにより、前記表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れ、前記頭部搭載型ディスプレイは、第1の発散量を有する光を、第1の期間において、前記ユーザの眼の中に投影するように構成され、第2の発散量を有する光を、第2の期間において、前記ユーザの眼の中に投影するように構成され、前記第1の発散量は、前記第2の発散量と異なる、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される1つ以上の眼追跡カメラと、
前記ディスプレイおよび前記1つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、前記1つ以上の眼追跡カメラを用いて取得された前記眼の画像に基づいて、前記眼の回転中心の推定値を取得し、前記1つ以上の眼追跡カメラを用いて取得された前記眼の画像に基づいて、前記ユーザの輻輳・開散運動距離の推定値を取得し、前記ユーザの推定される輻輳・開散運動距離に基づいて、前記第1の発散量における前記ユーザの眼の中への光の投影から前記第2の発散量における前記ユーザの眼の中への光の投影に偏移させるように構成される、処理電子機器と
を備える、ディスプレイシステム。
(項目70)
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの左および右眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼はそれぞれ、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも1つにおいて、光を前記ユーザの左および右眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、これにより、前記表示される仮想画像コンテンツは、前記ユーザの左および右眼からの異なる距離から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、
前記ユーザの左眼を結像するように構成される第1の眼追跡カメラと、
前記ユーザの右眼を結像するように構成される第2の眼追跡カメラと、
前記ディスプレイおよび前記第1および第2の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、前記第1および第2の眼追跡カメラを用いて取得された前記左および右眼の画像に基づいて、前記ユーザの左眼と右眼との間の瞳孔間距離の推定値を取得するように構成される、処理電子機器と
を備える、ディスプレイシステム。
(項目71)
光をユーザの左および右眼に投影し、前記仮想画像コンテンツを前記ユーザの視野内に表示するように構成されるディスプレイシステムにおいて、仮想画像コンテンツをレンダリングする方法であって、前記眼はそれぞれ、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記方法は、
前記ユーザの眼を結像し、前記眼の移動を追跡するように構成される1つ以上の眼追跡カメラを用いて、前記左眼の回転中心の位置および前記右眼の回転中心の位置を決定することと、
前記1つ以上の眼追跡カメラと通信する処理電子機器を用いて、前記左および右眼の回転中心の決定された位置に基づいて、前記ユーザの瞳孔間距離を推定することと、
前記1つ以上の眼追跡カメラを用いて、現在の左眼姿勢および現在の右眼姿勢を決定することと、
前記処理電子機器を用いて、前記推定される瞳孔間距離と前記決定された現在の左眼姿勢および前記決定された現在の右眼姿勢を比較することによって、前記ユーザの現在の輻輳・開散運動距離を推定することと
を含む、方法。
(項目72)
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも1つにおいて、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成され、これにより、前記表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される1つ以上の眼追跡カメラと、
前記ディスプレイおよび前記1つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、前記1つ以上の眼追跡カメラを用いて取得された前記眼の画像に基づいて、前記眼の回転中心の位置推定値を取得するように構成され、前記画像に基づいて、前記眼の光学軸の方向推定値を取得するように構成される、処理電子機器と
を備え、
前記処理電子機器は、前記光学軸に沿って配置され、前記網膜からある方向に6.0mm~13.0mm離れるように、前記眼の回転中心の推定される位置から離間される開口を有するカメラによって捕捉されたかのようにレンダリングされる前記仮想画像コンテンツを前記ユーザの眼に提示するように構成される、ディスプレイシステム。
(項目73)
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも1つにおいて、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成され、これにより、前記表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される1つ以上の眼追跡カメラと、
前記ディスプレイおよび前記1つ以上の眼追跡カメラと通信する処理電子機器と
を備え、
前記処理電子機器は、前記眼の瞳孔に位置するかまたは前記眼の前記瞳孔と前記角膜との間に位置するレンダリングカメラによってレンダリングされる前記仮想画像コンテンツを前記ユーザの眼に提示するように構成される、ディスプレイシステム。
(項目74)
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成され、前記ディスプレイの少なくとも一部は、透明であり、前記ユーザが前記フレームを装着すると、前記透明部分が、前記ユーザおよび前記頭部搭載型ディスプレイの正面の環境の一部からの光をユーザの眼に透過させ、前記ユーザおよび前記頭部搭載型ディスプレイの正面の環境の一部のビューを提供するように、前記ユーザの眼の正面の場所に配置される、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される内向きに面した結像システムと、
前記内向きに面した結像システムと通信する処理電子機器であって、前記処理電子機器は、前記内向きに面した結像システムを用いて取得された前記眼の複数の画像に基づいて、前記眼の回転中心の推定値を取得するように構成され、前記処理電子機器は、回転中心の計算される値における変動量を決定し、前記変動量に基づいて、回転中心の統計的に決定された推定値を選択するように構成される、処理電子機器と
を備える、ディスプレイシステム。
(項目75)
光をユーザの眼に投影し、前記仮想画像コンテンツを前記ユーザの視野内に表示するように構成されるディスプレイシステムにおいて、仮想画像コンテンツをレンダリングする方法であって、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記方法は、
前記ユーザの眼を結像するように構成される1つ以上の眼カメラを用いて、前記1つ以上のカメラを用いた前記眼の結像に基づいて、位置を決定することと、
レンダリングエンジンを用いて、前記決定された位置に基づく場所におけるレンダリングカメラを用いて仮想画像コンテンツをレンダリングすることであって、前記レンダリングカメラは、仮想画像を前記眼に提示されるようにレンダリングするように構成される、ことと、
頭部搭載型ディスプレイを用いて、光を前記ユーザの眼の中に投影し、前記レンダリングされた仮想画像コンテンツをユーザの視野に表示することと
を含む、方法。
(項目76)
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、光学軸とを有し、前記光学軸は、前記水晶体、瞳孔、および角膜を通して延在し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、
光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成される、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される1つ以上のカメラと、
前記ディスプレイおよび前記1つ以上のカメラと通信する処理電子機器であって、前記処理電子機器は、前記1つ以上のカメラを用いて取得された前記眼の画像に基づいて、前記眼の位置を取得するように構成される、処理電子機器と
を備え、
前記処理電子機器は、前記決定された位置に基づく場所に位置するレンダリングカメラによってレンダリングされる前記仮想画像コンテンツを前記ユーザの眼に提示するように構成される、ディスプレイシステム。
(項目77)
ディスプレイシステムであって、前記ディスプレイシステムは、光をユーザの眼に投影し、仮想画像コンテンツを前記ユーザの視野内に表示するように構成され、前記眼は、角膜と、虹彩と、瞳孔と、水晶体と、網膜とを有し、前記ディスプレイシステムは、
前記ユーザの頭部上に支持されるように構成されるフレームと、
前記フレーム上に配置される頭部搭載型ディスプレイであって、前記ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも1つにおいて、光を前記ユーザの眼の中に投影し、仮想画像コンテンツを前記ユーザの視野に表示するように構成され、これにより、前記表示される仮想画像コンテンツは、異なる深度から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、
前記ユーザの眼を結像するように構成される1つ以上の眼追跡カメラと、
前記ディスプレイおよび前記1つ以上の眼追跡カメラと通信する処理電子機器であって、前記処理電子機器は、
前記1つ以上の眼追跡カメラを用いて取得された前記眼の画像に基づいて、前記ユーザの眼の水晶体、瞳孔、および角膜を通して延在する光学軸の位置および配向推定値を取得することと、
前記眼の光学軸に位置合わせされる、レンダリング空間内のある軸に沿った特定の場所を識別することと、
レンダリング空間内の前記特定の場所に位置する仮想レンダリングカメラによってレンダリングされるように、前記仮想画像コンテンツを前記ユーザの眼に提示することと
を行うように構成される、処理電子機器と
を備える、ディスプレイシステム。
ウェアラブルシステム(本明細書では、拡張現実(AR)システムとも称される)は、2Dまたは3D仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムの少なくとも一部は、ユーザ相互作用のために、単独で、または組み合わせて、VR、AR、またはMR環境を提示し得る、ウェアラブルデバイス上に実装されることができる。ウェアラブルデバイスは、ARデバイス(ARD)と同義的に使用されることができる。さらに、本開示の目的のために、用語「AR」は、用語「MR」と同義的に使用される。
図3は、ウェアラブルシステムの例示的コンポーネントを図式的に図示する。図3は、ウェアラブルシステム200を示し、これは、ディスプレイ220と、フレーム230とを含むことができる。引き伸ばし図202は、ウェアラブルシステム200の種々のコンポーネントを図式的に図示する。ある実装では、図3に図示されるコンポーネントのうちの1つ以上のものは、ディスプレイ220の一部であることができる。種々のコンポーネントは、単独で、または組み合わせて、ウェアラブルシステム200のユーザまたはユーザの環境と関連付けられた種々のデータ(例えば、聴覚的または視覚的データ等)を収集することができる。他の実施形態は、ウェアラブルシステムが使用される用途に応じて、付加的またはより少ないコンポーネントを有してもよいことを理解されたい。なお、図3は、種々のコンポーネントのうちのいくつかと、ウェアラブルシステムを通して収集、分析、および記憶され得る、データのタイプの基本概念とを提供する。
図4は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム400は、複数の導波管432b、434b、436b、438b、4400bを使用して、3次元知覚を眼/脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ480を含む。いくつかの実施形態では、ウェアラブルシステム400は、図2のウェアラブルシステム200に対応してもよく、図4は、そのウェアラブルシステム200のいくつかの部分をより詳細に概略的に示す。例えば、いくつかの実施形態では、導波管アセンブリ480は、図2のディスプレイ220の中に統合されてもよい。
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、1つ以上の触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ(例えば、仮想オブジェクト、仮想ツール、他の仮想構造)に触れると、圧力またはテクスチャの触覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ(例えば、ドラゴン)の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい(例えば、ユーザウェアラブルグローブ)。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
図5は、眼瞼504と、強膜508(「白眼」)と、虹彩512と、瞳孔516とを伴う、眼500の画像を図示する。曲線516aは、瞳孔516と虹彩512との間の瞳孔境界を示し、曲線512aは、虹彩512と強膜508との間の辺縁境界を示す。眼瞼504は、上側眼瞼504aと、下側眼瞼504bとを含む。眼500は、自然静置姿勢(例えば、ユーザの顔および視線の両方が、ユーザの真正面の遠距離オブジェクトに向かうであろうように配向される)に図示される。眼500の自然静置姿勢は、自然静置姿勢(例えば、図5に示される眼500に関しては、すぐ面外)にあって、本実施例では、瞳孔516内に中心合わせされるときの眼500の表面に直交する方向である、自然静置方向520によって示され得る。
図6は、眼追跡システムを含む、ウェアラブルシステム600の概略図を図示する。ウェアラブルシステム600は、少なくともいくつかの実施形態では、頭部搭載型ユニット602内に位置するコンポーネントと、非頭部搭載型ユニット604内に位置するコンポーネントとを含む。非頭部搭載型ユニット604は、実施例として、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、リュック内のコンポーネント、遠隔コンポーネント等であってもよい。ウェアラブルシステム600のコンポーネントのうちのいくつかを非頭部搭載型ユニット604内に組み込むことは、頭部搭載型ユニット602のサイズ、重量、複雑性、およびコストを低減させることに役立ち得る。いくつかの実装では、頭部搭載型ユニット602および/または非頭部搭載型604の1つ以上のコンポーネントによって実施されているように説明される機能性の一部または全部は、ウェアラブルシステム600内のいずれかの場所に含まれる1つ以上のコンポーネントを用いて提供されてもよい。例えば、頭部搭載型ユニット602のCPU612と関連して下記に説明される機能性の一部または全部は、非頭部搭載型ユニット604のCPU616を用いて提供されてもよく、その逆も同様である。いくつかの実施例では、そのような機能性の一部または全部は、ウェアラブルシステム600の周辺デバイスを用いて提供されてもよい。さらに、いくつかの実装では、そのような機能性の一部または全部は、図2を参照して上記に説明されたものに類似する様式において、1つ以上のクラウドコンピューティングデバイスまたは他の遠隔に位置するコンピューティングデバイスを用いて提供されてもよい。
眼追跡モジュール614は、画像を眼追跡カメラ324から受信してもよく、画像を分析し、種々の情報を抽出してもよい。実施例として、眼追跡モジュール614は、ユーザの眼姿勢、眼追跡カメラ324(および頭部搭載型ユニット602)に対するユーザの眼の3次元位置、合焦されているユーザの眼610の一方または両方の方向、ユーザの輻輳・開散運動深度(例えば、ユーザが合焦しているユーザからの深度)、ユーザの瞳孔の位置、ユーザの角膜および角膜球面の位置、ユーザの眼のそれぞれの回転中心、およびユーザの眼のそれぞれの視点の中心を検出してもよい。眼追跡モジュール614は、図7-11に関連して下記に説明される技法を使用して、そのような情報を抽出してもよい。図6に示されるように、眼追跡モジュール614は、頭部搭載型ユニット602内のCPU612を使用して実装される、ソフトウェアモジュールであってもよい。
例示的眼追跡モジュール614の詳細なブロック図が、図7Aに示される。図7Aに示されるように、眼追跡モジュール614は、種々の異なるサブモジュールを含んでもよく、種々の異なる出力を提供してもよく、ユーザの眼を追跡する際に、種々の利用可能なデータを利用してもよい。実施例として、眼追跡モジュール614は、光源326および頭部搭載型ユニット602に対する眼追跡カメラ324の幾何学的配列、ユーザの角膜曲率の中心とユーザの眼の平均回転中心との間の約4.7mmの典型的距離またはユーザの回転中心と視点の中心との間の典型的距離等の仮定された眼寸法704、および特定のユーザの瞳孔間距離等のユーザ毎の較正データ706等の眼追跡の付帯性質および固有性質を含む、利用可能なデータを利用してもよい。眼追跡モジュール614によって採用され得る、付帯性質、固有性質、および他の情報の付加的実施例は、2017年4月26日に出願された、米国特許出願第15/497,726号(弁理士整理番号MLEAP.023A7)号(参照することによってその全体として本明細書に組み込まれる)に説明される。
例示的ライトフィールドレンダリングコントローラ618の詳細なブロック図が、図7Bに示される。図6および7Bに示されるように、レンダリングコントローラ618は、眼追跡情報を眼追跡モジュール614から受信してもよく、出力をレンダリングエンジン622に提供してもよく、これは、ウェアラブルシステムのユーザによって視認するために表示されるべき画像を生成し得る。実施例として、レンダリングコントローラ618は、輻輳・開散運動深度、左および右眼回転中心(および/または視点中心)、および瞬目データ、サッカードデータ等の他の眼データを受信してもよい。
図8Aは、眼の角膜球面を示す、眼の概略図である。図8Aに示されるように、ユーザの眼810は、角膜812と、瞳孔822と、水晶体820とを有し得る。角膜812は、角膜球面814によって示される、略球状形状を有し得る。角膜球面814は、角膜中心とも称される、中心点816と、半径818とを有し得る。ユーザの眼の半球状角膜は、角膜中心816の周囲に湾曲し得る。
図9A-9Cは、図7Aの座標系正規化モジュール718等のウェアラブルシステム内のコンポーネントによる、眼追跡画像の座標系の例示的正規化を図示する。ユーザの瞳孔場所に対する眼追跡画像の座標系の正規化は、ユーザの顔に対するウェアラブルシステムの滑脱(例えば、ヘッドセット滑脱)を補償し得、そのような正規化は、眼追跡画像とユーザの眼との間の一貫した配向および距離を確立し得る。
図9D-9Gは、3D瞳孔中心ロケータモジュール720および眼追跡モジュール614を使用してユーザの瞳孔中心(例えば、図8Aに示されるように、ユーザの瞳孔822の中心)を位置特定する、実施例を図示する。
図7Aの光学軸/視軸マッピングモジュール730に関連して議論されるように、ユーザの光学軸および視軸は、部分的に、ユーザの視軸がその中心窩によって定義され、中心窩が概して人物の網膜の中心にないことに起因して、概して、整合されない。したがって、人物が、特定のオブジェクトに集中することを所望するとき、人物は、その視軸をそのオブジェクトと整合させ、その光学軸(その瞳孔の中心およびその角膜の曲率中心によって定義される)が、実際には、そのオブジェクトから若干オフセットされる間、オブジェクトからの光がその中心窩上に当たることを確実にする。図10は、眼の光学軸1002と、眼の視軸1004と、これらの軸間のオフセットとを図示する、眼1000の実施例である。加えて、図10は、眼の瞳孔中心1006と、眼の角膜曲率の中心1008と、眼の平均回転中心(CoR)1010とを図示する。少なくともいくつかの母集団では、眼の角膜曲率の中心1008は、寸法1012によって示されるように、眼の平均回転中心(CoR)1010の正面の約4.7mmにあり得る。加えて、眼の視点中心1014は、眼の角膜曲率の中心1008の正面の約5.01mm、ユーザの角膜の外側表面1016の約2.97mm背後、および/またはユーザの瞳孔中心1006の真正面(例えば、眼1000の前房内の場所に対応する)にあり得る。付加的実施例として、寸法1012は、3.0mm~7.0mm、4.0~6.0mm、4.5~5.0mm、または4.6~4.8mm、またはこれらの範囲のいずれか内の任意の値と任意の値との間の任意の範囲であってもよい。眼の視点中心(CoP)1014は、少なくともいくつかの実施形態では、レンダリングカメラをCoPに位置合わせすることが、視差アーチファクトを低減または排除することに役立ち得るため、ウェアラブルシステムのための有用な場所であり得る。
コンテンツをレンダリングし、眼追跡に基づいて位置合わせをチェックする例示的プロセス
図11は、コンテンツをレンダリングする際、眼追跡を使用して、ウェアラブルデバイス内の位置合わせに関するフィードバックを提供するための例示的方法1100のプロセスフロー図である。方法1100は、本明細書に説明されるウェアラブルシステムによって実施されてもよい。方法1100の実施形態は、ウェアラブルシステムによって、コンテンツをレンダリングし、眼追跡システムからのデータに基づいて、位置合わせ(例えば、ユーザとのウェアラブルデバイスのフィット感)に関するフィードバックを提供するために使用されることができる。
図12は、ウェアラブルシステムが、ユーザの眼移動に応答して深度平面を切り替え得る方法を図示する、例示的グラフ1200a-1200jのセットを含む。図4および7に関連して本明細書に議論されるように、ウェアラブルシステムは、複数の深度平面を含んでもよく、種々の深度平面は、異なるシミュレートされた深度において、または異なる遠近調節キューを伴って(例えば、種々のレベルの波面曲率または光線発散を伴って)、コンテンツをユーザに提示するように構成される。実施例として、ウェアラブルシステムは、第1の深度の範囲をシミュレートするように構成される、第1の深度平面と、第2の深度の範囲をシミュレートするように構成される、第2の深度平面とを含んでもよく、これらの2つの範囲は、望ましくは、重複し、切替の際のヒステリシスを促進し得るが、第2の深度の範囲は、概して、ユーザからより長い距離に延在してもよい。そのような実施形態では、ウェアラブルシステムは、ユーザの輻輳・開散運動深度、サッカード移動、および瞬目を追跡し、過剰な深度平面切替、過剰な遠近調節-輻輳・開散運動不整合、および遠近調節-輻輳・開散運動不整合の過剰な周期を回避し、深度平面切替の可視性を低減させることを模索する(例えば、瞬目およびサッカードの間、深度平面を偏移させることによって)様式において、第1の深度平面と第2の深度平面との間で切り替え得る。
複合現実システムでは、コンピュータ生成(レンダリングされた)場面が、実および仮想オブジェクトが空間的に整合される(ユーザの視点から)ように、ヒトの眼に伝達され得る。ユーザに実オブジェクトと仮想オブジェクトとの間の空間整合の視知覚を提供するために、そこからコンピュータ生成場面がレンダリングおよび提示される、視点は、好ましくは、ユーザの眼の視点(例えば、位置および配向)に対応し得る。実施例として、ユーザは、「実世界」フレーム(その中に実オブジェクトが存在する)および「レンダリング世界」フレーム(その中に仮想オブジェクトが存在する)が相互に正確に整合されるとき、実および仮想オブジェクトが望ましい様式において空間的に整合されていると知覚し得る。
図14Aおよび14Bに図示されるように、本明細書に説明されるウェアラブルシステムは、本明細書では、単一深度平面レンダリングモードと称され、離散可変焦点モードとも称される、モードでは、一度に単一深度平面を使用して、仮想現実オブジェクトをレンダリングすることができる。離散可変焦点モードでは、ウェアラブルシステムは、現在レンダリングされている仮想オブジェクトの全てを表示するために、ディスプレイの視野(FOV)全体を横断して、単一深度平面を利用してもよい(それらのオブジェクトのうちのいくつかが、その深度平面と関連付けられたもの以外の深度に配置される場合でも)。言い換えると、ウェアラブルシステムは、FOV全体を横断して、単一焦点または遠近調節キューを提供してもよい。当然ながら、ウェアラブルシステムは、コンテンツをレンダリングするために使用される深度平面を経時的に切り替え、したがって、レンダリングされる仮想コンテンツの遠近調節キューを経時的に改変してもよい(ユーザ輻輳・開散運動深度、仮想コンテンツの深度、および本明細書により詳細に議論されるような他の事実の変化に応答して)。一般に、離散可変焦点モードでは、1つのみの深度平面が、任意のある時間において、複合現実システムによって採用される。
図14Cおよび14Dに図示されるように、本明細書に説明されるウェアラブルシステムは、2つの隣接する深度平面を使用して、仮想現実オブジェクトをレンダリングし、深度平面間にある、遠近調節または焦点キューを生成することができる。いくつかの実施形態では、本混成可変焦点モードは、ウェアラブルシステムが、遠近調節または焦点キューを、ウェアラブルシステム内の深度平面のセットによって提供される深度を含め、その間の任意の距離に生成することを可能にし得る。言い換えると、システムが、3つの深度平面を含む場合、そのうちの第1のものは、1フィートの遠近調節キューを提供し、第2のものは、10フィートの遠近調節キューを提供し、第3のものは、光学無限遠の遠近調節キューを提供し、ウェアラブルシステムは、第1の平面の1フィート深度から第3の深度平面の光学無限遠深度までの任意の場所において、ユーザに遠近調節キューを提供することが可能であり得る。
図14Eおよび14Fに図示されるように、本明細書に説明されるウェアラブルシステムは、多焦点モードにおいて、2つ以上の深度平面を使用して、仮想現実オブジェクトをレンダリングし、2つ以上の遠近調節キューを同時に生成することができる。言い換えると、所与のフレーム内の仮想コンテンツは、複数の深度を横断して、同時に提示されてもよい。実施例として、多焦点モードは、混成可変焦点モードに関連して説明される様式において、2つ以上の深度平面を使用して、第1の混成遠近調節キューを提供する、2つ以上の深度平面を使用して、第2の混成遠近調節キューを提供する、単一深度平面を使用して、第3の遠近調節キューを提供する、第2の単一深度平面を使用して、第4の遠近調節キューを提供する、またはこれらおよび他の焦点モードの組み合わせを使用して、種々の遠近調節キューを提供することを含んでもよい。
1つ以上の深度平面上に投影されるとき、世界および実世界の両方をレンダリングするために決定され得る、特定の視点中心(CoP)から、3D仮想コンテンツをレンダリングおよび視認することが望ましくあり得る。コンテンツが、レンダリング世界内の適切な視点中心からレンダリングされるとき、各仮想画面のピクセルは、具体的位置および配向を含み得る、実世界内の適切な視点中心から観察されるときの3D仮想コンテンツとして正確に現れ得る。しかしながら、同一コンテンツが、レンダリング世界内の異なる位置からレンダリングされる、または実世界内の異なる位置から視認される場合、3D仮想コンテンツは、そのような3D仮想コンテンツの画像に正確に類似し得ない。本レンダリングフレームワークは、ピンホールカメラモデルを使用して表されることができ、CoPは、3D仮想コンテンツの投影を正しく捕捉するような様式において、レンダリング世界(例えば、3Dレンダリング空間)内に位置付けられ、配向される、「仮想」または「レンダリング」ピンホールカメラとして表される。CoPに関連する付加的詳細は、図22-24Bに関して下記に説明される一方、図15A-15Cおよび下記に提供される対応する説明は、種々の例示的レンダリングモード毎に、CoP正確度および/または精度が複合現実システム性能に及ぼし得る影響をさらに実証する。
図16A-17Bに図示されるように、ウェアラブルシステムは、瞳孔レンダリングカメラモード、回転中心(CoR)レンダリングカメラモード、およびハイブリッド瞳孔-CoRレンダリングカメラモードを含む、異なるレンダリングカメラモードを利用してもよい。加えて、これらのレンダリングカメラモードはそれぞれ、図13-15Cに関連して本明細書に説明されるディスプレイ焦点モードのそれぞれと併用されてもよい。少なくともいくつかの実施形態では、ライトフィールドレンダリングコントローラ618が、任意の特定の時間において利用すべきレンダリングカメラモードを選択するように構成されてもよく、眼追跡データ、特に、眼追跡データの品質等の好適なデータに基づいて、そのような選択を行なってもよい。実施例として、ウェアラブルシステム内のライトフィールドレンダリングコントローラ618または他のモジュールは、瞳孔レンダリングカメラモードを選択してもよい、または眼追跡データが、比較的に安定し、ウェアラブルシステムが、低ジッタまたは雑音を伴うCoPの場所を識別することが可能となる度に、ハイブリッドレンダリングカメラモードをユーザのCoPに向かってバイアスしてもよい。対照的に、追跡データが、限定される、または雑音が多い場合、ライトフィールドレンダリングコントローラ618は、CoRレンダリングカメラモードを選択する、またはハイブリッドレンダリングカメラモードをユーザのCoRに向かってバイアスするように構成されてもよい。ライトフィールドレンダリングコントローラ618は、選択されたレンダリングカメラモードに従って、左および右カメラ位置をリアルタイムで決定してもよく(例えば、レンダリングカメラコントローラ758を用いて)、左および右カメラ位置(および選択されたレンダリングカメラモード)を示すデータをレンダリングエンジン622に提供してもよい。
瞳孔レンダリングカメラモードでは、レンダリングカメラのピンホールカメラ(例えば、レンダリングエンジン622が特定のユーザの視点のためのコンテンツを生成する際に使用し得る、シミュレートされたカメラ位置)は、常時、推定されるユーザのCoPの位置に追従され得る(例えば、上記に説明されるモジュール732によって示されるように)。特に、右眼レンダリングカメラのピンホールカメラは、ユーザの右眼CoPに追従され得る一方、左眼レンダリングカメラのピンホールカメラは、ユーザの左眼CoPに追従され得る。したがって、ディスプレイによって提示される仮想画像コンテンツは、(例えば、眼の前房内の)瞳孔の真正面にある、CoPの場所の視点を有する。
CoRレンダリングカメラモードでは、レンダリングカメラのピンホールカメラ(例えば、レンダリングエンジン622が特定のユーザの視点のためのコンテンツを生成する際に使用し得る、シミュレートされたカメラ位置)が、ユーザの回転中心(例えば、図10に示されるようなCoR1010)の位置に追従され得る。左および右眼回転中心は、CoR推定モジュール724と関連付けて上記に説明されるもののうちの1つ以上のもの等、図7Aの眼追跡モジュール614を参照して上記に説明される動作のうちの1つ以上のものの実行を通して推定されてもよい。レンダリングカメラをユーザのCoRに位置付けることによって、ウェアラブルシステムは、周縁における潜在的空間アーチファクト(例えば、小視差誘発拡大/縮小飛出)と引き換えに、時間的アーチファクト(特に、マイクロサッカード移動の間、深刻であり得る、ライブ瞳孔モードに対して追跡されるピンホールカメラ内の眼追跡遅れから生じるジッタ)を回避し得る。本アプローチは、レンダリングカメラ場所(眼視点)と眼が中心窩で捉えている(例えば、合焦している)対象との間の関係が、眼鏡が眼球中心に対して定常である間、常時、固定されるという事実を利用する。すなわち、場面は、本モードでは、画像が、常時、眼の配向または移動方法にかかわらず、中心窩を完璧に補正するが、周縁に向かって、概して、位置合わせがずれるように、事前にレンダリングされてもよい。レンダリングカメラが眼のCoRにアンカされることで、ライトフィールドは、中心窩に正しく提示されるであろう(例えば、中心窩では、世界との位置合わせまたは飛出が存在しない)が、周縁には、誤差を含んでもよい(例えば、回転中心(CoR)は、視点中心(CoP)ではないため、したがって、視差偏移を受けにくくはない)。有利には、周縁におけるそのような誤差は、眼視力が急速に減弱するため、FOV内のいずれかの場所における誤差/アーチファクトよりもはるかに顕著ではなくなり得る。
ハイブリッド瞳孔-CoRレンダリングカメラモードでは、レンダリングカメラのピンホールカメラは、瞳孔(CoP)位置、CoR位置、またはCoP位置とCoR位置との間の線上の任意の位置に位置してもよい。その線に沿った特定のレンダリングカメラの位置は、眼追跡データの変化に応答して、経時的に変動し得る。実施例として、ライトフィールドレンダリングコントローラ618は、下記により詳細に議論されるように、眼追跡データの性質および品質を分析し、レンダリングカメラをユーザのCoP、ユーザのCoR、またはその間のある場所に位置させるかどうかを決定してもよい。
例えば、少なくとも図7Aに関して、かつ本明細書のいずれかにおいて、上記に説明されるように、回転中心または「CoR」が、ユーザの眼に関して決定されてもよい。回転中心は、本明細書に説明されるように、その周囲でユーザの眼が回転する、点を示し得る。故に、ある場合には、ユーザの眼が回転すると、眼(例えば、眼球)内に点(例えば、CoR)が存在し得、これは、実質的に固定される。上記に議論されるように、CoRを決定するために、光学軸および/または視軸の場所および配向の推定値が、眼追跡カメラまたは他のカメラによって取得される画像を使用して、異なる視線方向のための眼に関して計算されてもよい。これらの異なる光学軸または視軸の交点は、眼に関する回転中心の場所を推定するために使用されてもよい。代替として、上記に説明されるようなモジュール(例えば、CoR推定モジュール724)は、推定される眼寸法を利用してもよい。例えば、モジュールは、角膜の曲率中心を使用して、光学軸に沿って曲率中心から網膜に向かって特定の距離にあるものとしてCoRを推定してもよい。ある場合には、本特定の距離は、約4.7mmであってもよい。CoRの推定値を決定する他の方法も、可能性として、採用されてもよい。
図20-21に説明されるように、ディスプレイシステムは、眼のCoRを、複数のベクトルが交差、収束、または近接近する、場所(例えば、3次元場所)(例えば、ベクトル2110、2116、2120)として決定してもよい。代替として、または加えて、ディスプレイシステムは、1つ以上の他の技法に従って、決定されたCoRを精緻化してもよい。例えば、図19-20に説明されるように、ベクトルc1およびc2(例えば、ベクトル1916、1918)が、投影楕円(例えば、楕円1902)を通して延在する光線を介して形成される、円錐(例えば、円錐1912)から決定されてもよい。これらのベクトルは、投影平面を形成し得る。複数の画像を利用することに関して上記と同様に、ディスプレイシステムは、2つ以上の画像に関して投影平面を決定してもよい。
眼の角膜輪部を利用することに関連する図19-21Dにおける上記の説明と同様に、瞳孔が、代替として、または加えて、眼のCoRを決定するために利用されてもよい。例えば、投影楕円が、ユーザの眼の画像内に含まれる瞳孔に関して決定されてもよい。瞳孔は、ユーザの角膜の表面の背後に位置するため、光は、表面において屈折され得る。しかしながら、そのような屈折の主要な効果は、屈折されていない瞳孔に対する瞳孔から延在する法線ベクトルの回転であり得る。角膜の屈折効果は、本明細書に議論されるように、瞳孔の屈折ベースの場所を決定するために考慮され得る。非限定的実施例として、瞳孔中心の屈折ベースの場所はまた、上記に説明される技法に従って決定されると、投影平面と一致し得る。ディスプレイシステムは、本明細書に説明されるように、ユーザの瞳孔の画像を利用して、屈折平面を決定してもよい。したがって、ディスプレイシステムは、本明細書に説明されるように、ユーザの瞳孔の画像を利用して、投影平面を決定してもよい。例えば、CoR光線(または「眼球中心光線」)が、角膜輪部に関して上記に説明されたように、瞳孔に関して同一方法で見出され得る。瞳孔に関する屈折効果を含むことは、実施例として、CoR光線計算を変化させ得ない。次いで、固定された(例えば、平均)瞳孔半径を使用して、ディスプレイシステムは、円形断面およびその対応する法線(例えば、上記に説明されるように)を見出し得る。
ピンホールカメラモデルでは、視点中心(CoP)は、ピンホールカメラの開口と見なされ得る。本CoPの例示的性質は、オブジェクト角度空間の原点でもあり得るということである。したがって、本原点を参照した実施例として、ピンホールから同一角度にある、オブジェクトは、同一ピクセルにマッピング(例えば、重複)されるであろう。別の実施例として、場面が、CoPを中心として厳密に回転される場合、投影された画像は、平行移動し、場面内のオブジェクトは、視差偏移を被らないであろう。
いくつかの実施形態では、眼追跡は、提供されない場合がある、または一時的に利用不可能である場合がある。実施例として、眼追跡カメラ324または光源326が、曇る、損傷される、またはユーザによって無効にされる、環境の照明条件が、眼追跡を著しく困難にし得る、ウェアラブルシステムが、眼追跡を妨害するように不適切にフィットされ得る、ユーザが、睇視している、または容易に追跡されない眼の状態を有し得ること等が、挙げられる。そのようなとき、ウェアラブルシステムは、眼追跡データの不在下、レンダリングカメラを位置付け、深度平面を選択するための種々の方略に依拠するように構成されてもよい。
上記に議論されるように、ディスプレイシステムは、ユーザを囲繞する環境内のオブジェクトまたはその性質を検出するように構成されてもよい。検出は、本明細書に議論されるように、種々の環境センサ(例えば、カメラ、オーディオセンサ、温度センサ等)を含む、種々の技法を使用して遂行されてもよい。
種々の機械学習アルゴリズムは、周囲環境内のオブジェクトの存在を識別するように学習するために使用されてもよい。いったん訓練されると、機械学習アルゴリズムは、ディスプレイシステムによって記憶されてもよい。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含み得、回帰アルゴリズム(例えば、通常の最小2乗回帰等)、インスタンスベースのアルゴリズム(例えば、学習ベクトル量子化等)、決定ツリーアルゴリズム(例えば、分類および回帰ツリー等)、ベイズアルゴリズム(例えば、単純ベイズ等)、クラスタリングアルゴリズム(例えば、k-平均クラスタリング等)、関連付けルール学習アルゴリズム(例えば、アプリオリアルゴリズム等)、人工ニューラルネットワークアルゴリズム(例えば、Perceptron等)、深層学習アルゴリズム(例えば、Deep Boltzmann Machine、すなわち、深層ニューラルネットワーク等)、次元削減アルゴリズム(例えば、主成分分析等)、アンサンブルアルゴリズム(例えば、Stacked Gneralization等)、または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされてもよい。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶してもよい。ベースモデルは、開始点として使用され、データタイプ(例えば、特定のユーザ)、データセット(例えば、取得される付加的画像のセット)、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ディスプレイシステムは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
本明細書に説明される、および/または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
実施例137:光をユーザの左および右眼に投影し、仮想画像コンテンツを該ユーザの視野内に表示するように構成される、ディスプレイシステムであって、該眼はそれぞれ、角膜と、虹彩と、瞳孔と、水晶体と、網膜と、該水晶体、瞳孔、および角膜を通して延在する、光学軸とを有し、ユーザの頭部上に支持されるように構成される、フレームと、フレーム上に配置される、頭部搭載型ディスプレイであって、該ディスプレイは、異なる量の発散およびコリメーションのうちの少なくとも1つにおいて、光を該ユーザの左および右眼の中に投影し、仮想画像コンテンツをユーザの視野に表示するように構成され、したがって、表示される仮想画像コンテンツは、ユーザの左および右眼からの異なる距離から異なる期間において生じるように現れる、頭部搭載型ディスプレイと、ユーザの左眼を結像するように構成される、第1の眼追跡カメラと、ユーザの右眼を結像するように構成される、第2の眼追跡カメラと、ディスプレイおよび第1および第2の眼追跡カメラと通信する、処理電子機器であって、該第1および第2の眼追跡カメラを用いて取得された該左および右眼の画像に基づいて、ユーザの左眼と右眼との間の瞳孔間距離の推定値を取得するように構成される、処理電子機器とを備える、ディスプレイシステム。
さらに、限定ではないが、解剖学的、光学的、および幾何学的特徴、場所、および配向等の種々の値、パラメータを決定するための装置および方法が、本明細書に開示される。そのようなパラメータの実施例は、例えば、眼の回転中心、角膜の曲率中心、瞳孔の中心、瞳孔の境界、虹彩の中心、虹彩の境界、角膜輪部の境界、眼の光学軸、眼の視軸、視点中心を含むが、これらに限定されない。本明細書に列挙されるようなそのような値、パラメータ等の決定は、その推定値を含み、必ずしも、実際の値と精密に一致する必要はない。例えば、眼の回転中心、角膜の曲率中心、瞳孔または虹彩の中心または境界、角膜輪部の境界、眼の光学軸、眼の視軸、視点中心等の決定は、推定値、近似値、またはそれに近い値であって、実際の(例えば、解剖学的、光学的、または幾何学的)値またはパラメータと同一ではなくてもよい。ある場合には、例えば、二乗平均平方根推定技法が、そのような値の推定値を取得するために使用される。実施例として、本明細書に説明されるある技法は、光線またはベクトルが交差する、場所または点を識別することに関する。しかしながら、そのような光線またはベクトルは、交差しなくてもよい。本実施例では、場所または点は、推定されてもよい。例えば、場所または点は、二乗平均平方根または他の推定技法に基づいて決定されてもよい(例えば、場所または点は、光線またはベクトルに近いまたは最も近いものであるように推定されてもよい)。他のプロセスもまた、近似値を推定する、または別様に、実際の値と一致しない場合がある値を提供するために使用されてもよい。故に、用語「~を決定する」および「~を推定する」または「決定される」および「推定される」は、本明細書では、同義的に使用される。そのような決定された値の参照は、したがって、推定値、近似値、または実際の値に近い値を含み得る。故に、上記または本明細書のいずれかの場所のパラメータまたは値の決定の参照は、実際の値に精密に限定されるべきではなく、推定値、近似値、またはそれに値に近い値を含んでもよい。
Claims (1)
- 本明細書に記載の発明。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862618559P | 2018-01-17 | 2018-01-17 | |
US62/618,559 | 2018-01-17 | ||
US201862702849P | 2018-07-24 | 2018-07-24 | |
US62/702,849 | 2018-07-24 | ||
PCT/US2019/014052 WO2019143844A1 (en) | 2018-01-17 | 2019-01-17 | Eye center of rotation determination, depth plane selection, and render camera positioning in display systems |
JP2020539042A JP7390297B2 (ja) | 2018-01-17 | 2019-01-17 | 眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020539042A Division JP7390297B2 (ja) | 2018-01-17 | 2019-01-17 | 眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024053322A Division JP2024088684A (ja) | 2018-01-17 | 2024-03-28 | 眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2023160877A true JP2023160877A (ja) | 2023-11-02 |
JP2023160877A5 JP2023160877A5 (ja) | 2023-12-18 |
JP7488405B2 JP7488405B2 (ja) | 2024-05-21 |
Family
ID=67301157
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020539042A Active JP7390297B2 (ja) | 2018-01-17 | 2019-01-17 | 眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け |
JP2023140017A Active JP7488405B2 (ja) | 2018-01-17 | 2023-08-30 | 眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020539042A Active JP7390297B2 (ja) | 2018-01-17 | 2019-01-17 | 眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け |
Country Status (9)
Country | Link |
---|---|
US (4) | US11112863B2 (ja) |
EP (2) | EP3741109B1 (ja) |
JP (2) | JP7390297B2 (ja) |
KR (1) | KR20200110367A (ja) |
CN (1) | CN111869200A (ja) |
AU (1) | AU2019209930B2 (ja) |
CA (1) | CA3087333A1 (ja) |
IL (2) | IL305833A (ja) |
WO (1) | WO2019143844A1 (ja) |
Families Citing this family (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11154203B2 (en) * | 2015-06-14 | 2021-10-26 | Facense Ltd. | Detecting fever from images and temperatures |
CN111869200A (zh) * | 2018-01-17 | 2020-10-30 | 奇跃公司 | 显示系统中的眼睛旋转中心确定、深度平面选择和渲染相机定位 |
EP4339692A3 (en) | 2018-01-17 | 2024-06-19 | Magic Leap, Inc. | Display systems and methods for determining registration between a display and a user's eyes |
WO2019160698A2 (en) * | 2018-02-16 | 2019-08-22 | Valve Corporation | Using detected pupil location to align optical components of a head-mounted display |
EP4339899A3 (en) | 2018-07-13 | 2024-05-22 | Magic Leap, Inc. | Systems and methods for display binocular deformation compensation |
US11966055B2 (en) | 2018-07-19 | 2024-04-23 | Magic Leap, Inc. | Content interaction driven by eye metrics |
JP7382387B2 (ja) | 2018-07-24 | 2023-11-16 | マジック リープ, インコーポレイテッド | ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法 |
CN112805659A (zh) | 2018-08-03 | 2021-05-14 | 奇跃公司 | 通过用户分类为多深度平面显示系统选择深度平面 |
US11170565B2 (en) | 2018-08-31 | 2021-11-09 | Magic Leap, Inc. | Spatially-resolved dynamic dimming for augmented reality device |
CN111124103A (zh) * | 2018-10-31 | 2020-05-08 | 托比股份公司 | 检测头戴式装置的重新定位 |
WO2020146760A1 (en) | 2019-01-11 | 2020-07-16 | Magic Leap, Inc. | Time-multiplexed display of virtual content at various depths |
JP7431246B2 (ja) | 2019-01-25 | 2024-02-14 | マジック リープ, インコーポレイテッド | 異なる露光時間を有する画像を使用した眼追跡 |
GB2582657B (en) * | 2019-03-29 | 2021-09-15 | Sony Interactive Entertainment Inc | User tracking system using a camera mounted on the user and an external camera |
WO2020236827A1 (en) | 2019-05-20 | 2020-11-26 | Magic Leap, Inc. | Systems and techniques for estimating eye pose |
WO2021011686A1 (en) | 2019-07-16 | 2021-01-21 | Magic Leap, Inc. | Eye center of rotation determination with one or more eye tracking cameras |
US11836410B2 (en) * | 2019-08-06 | 2023-12-05 | Universal City Studios Llc | Interactive headgear |
US10972719B1 (en) * | 2019-11-11 | 2021-04-06 | Nvidia Corporation | Head-mounted display having an image sensor array |
JP6725121B1 (ja) * | 2019-11-13 | 2020-07-15 | 株式会社スワローインキュベート | 視線検出方法、視線検出装置、及び制御プログラム |
US11228745B2 (en) * | 2019-11-26 | 2022-01-18 | Varjo Technologies Oy | Display apparatus and method of correcting image distortion therefor |
WO2021108327A1 (en) * | 2019-11-26 | 2021-06-03 | Magic Leap, Inc. | Enhanced eye tracking for augmented or virtual reality display systems |
US11269181B2 (en) | 2019-12-09 | 2022-03-08 | Magic Leap, Inc. | Systems and methods for operating a head-mounted display system based on user identity |
US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
US11410387B1 (en) | 2020-01-17 | 2022-08-09 | Facebook Technologies, Llc. | Systems, methods, and media for generating visualization of physical environment in artificial reality |
US10950034B1 (en) | 2020-01-27 | 2021-03-16 | Facebook Technologies, Llc | Systems, methods, and media for generating visualization of physical environment in artificial reality |
US11113891B2 (en) | 2020-01-27 | 2021-09-07 | Facebook Technologies, Llc | Systems, methods, and media for displaying real-time visualization of physical environment in artificial reality |
US11210860B2 (en) | 2020-01-27 | 2021-12-28 | Facebook Technologies, Llc. | Systems, methods, and media for visualizing occluded physical objects reconstructed in artificial reality |
US11200745B2 (en) | 2020-01-27 | 2021-12-14 | Facebook Technologies, Llc. | Systems, methods, and media for automatically triggering real-time visualization of physical environment in artificial reality |
CN115039012A (zh) | 2020-01-31 | 2022-09-09 | 奇跃公司 | 用于测眼评估的增强和虚拟现实显示系统 |
US11451758B1 (en) | 2020-02-12 | 2022-09-20 | Meta Platforms Technologies, Llc | Systems, methods, and media for colorizing grayscale images |
US20220053168A1 (en) * | 2020-05-12 | 2022-02-17 | True Meeting Inc. | Method and system for virtual 3d communications having multiple participants per camera |
CN116194820A (zh) * | 2020-06-12 | 2023-05-30 | 华盛顿大学 | 近眼显示器中的眼睛跟踪 |
WO2022015847A1 (en) | 2020-07-15 | 2022-01-20 | Magic Leap, Inc. | Eye tracking using aspheric cornea model |
EP4185185A4 (en) * | 2020-07-23 | 2023-12-27 | Magic Leap, Inc. | EYE TRACKING WITH ALTERNATIVE SCANING |
US11836287B1 (en) * | 2020-09-22 | 2023-12-05 | Apple Inc. | Light pattern-based alignment for retinal eye tracking |
EP3985483A1 (en) * | 2020-10-19 | 2022-04-20 | Carl Zeiss Vision International GmbH | Computer-implemented method for determining a position of a center of rotation of an eye using a mobile device, mobile device and computer program |
CN112489138B (zh) * | 2020-12-02 | 2024-02-20 | 中国船舶集团有限公司第七一六研究所 | 一种基于可穿戴式装备的目标态势信息智能获取系统 |
GB2606346B (en) * | 2021-04-28 | 2023-10-25 | Sony Interactive Entertainment Inc | System and method of head mounted display personalisation |
CN113538655B (zh) * | 2021-06-23 | 2023-08-04 | 聚好看科技股份有限公司 | 一种虚拟人脸的生成方法及设备 |
US20230082420A1 (en) * | 2021-09-13 | 2023-03-16 | Qualcomm Incorporated | Display of digital media content on physical surface |
US11861805B2 (en) | 2021-09-22 | 2024-01-02 | Sony Group Corporation | Eyeball positioning for 3D head modeling |
US20230119633A1 (en) * | 2021-10-20 | 2023-04-20 | Microsoft Technology Licensing, Llc | Enhanced eye tracking systems utilizing joint biological and hardware estimations |
WO2023102500A1 (en) * | 2021-12-01 | 2023-06-08 | Magic Leap, Inc. | Methods for controlling performance of extended reality display systems |
KR20230113871A (ko) | 2022-01-24 | 2023-08-01 | (주) 해피론이엔지 | 발포폴리에틸렌메시를 이용한 건축물 층간소음방지 시공방법 및 구조. |
KR102623083B1 (ko) | 2022-05-02 | 2024-01-10 | (주) 해피론이엔지 | 공명공간을 제거한 1차 몰탈 타설식 소음방지 시공공법 및 시공구조 |
US20230396752A1 (en) * | 2022-06-03 | 2023-12-07 | Apple Inc. | Electronic Device that Displays Virtual Objects |
SE2251380A1 (en) * | 2022-11-28 | 2024-05-29 | Tobii Ab | Method and system for improving perfomance of an eye tracking system |
WO2024123179A1 (en) * | 2022-12-08 | 2024-06-13 | Dimenco Holding B.V. | Method for displaying a stereoscopic image on an autostereoscopic display device |
Family Cites Families (142)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3166179B2 (ja) * | 1991-01-22 | 2001-05-14 | キヤノン株式会社 | 視線検出装置 |
US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
US5844656A (en) * | 1996-11-07 | 1998-12-01 | Xybernaut Corporation | Head mounted display with adjustment components |
JPH11155152A (ja) * | 1997-11-21 | 1999-06-08 | Canon Inc | 三次元形状情報入力方法及び装置及び画像入力装置 |
US6433760B1 (en) | 1999-01-14 | 2002-08-13 | University Of Central Florida | Head mounted display with eyetracking capability |
TW487892B (en) * | 1999-08-31 | 2002-05-21 | Shimadzu Corp | Head display |
US6529331B2 (en) * | 2001-04-20 | 2003-03-04 | Johns Hopkins University | Head mounted display with full field of view and high resolution |
US6771423B2 (en) * | 2001-05-07 | 2004-08-03 | Richard Geist | Head-mounted virtual display apparatus with a near-eye light deflecting element in the peripheral field of view |
US20030030597A1 (en) * | 2001-08-13 | 2003-02-13 | Geist Richard Edwin | Virtual display apparatus for mobile activities |
JP2003307774A (ja) * | 2002-04-17 | 2003-10-31 | Canon Inc | 視線検出機能付き光学機器 |
US7306337B2 (en) * | 2003-03-06 | 2007-12-11 | Rensselaer Polytechnic Institute | Calibration-free gaze tracking under natural head movement |
KR20070064319A (ko) * | 2004-08-06 | 2007-06-20 | 유니버시티 오브 워싱톤 | 가변 응시 시거리 주사 광 디스플레이 |
US20060250322A1 (en) * | 2005-05-09 | 2006-11-09 | Optics 1, Inc. | Dynamic vergence and focus control for head-mounted displays |
WO2006125185A2 (en) * | 2005-05-19 | 2006-11-23 | The Johns Hopkins University | Wireless scleral search coil including systems for measuring eye movement and methods related thereto |
DE602006013151D1 (de) | 2005-07-19 | 2010-05-06 | Nektar Therapeutics | Verfahren zur herstellung von polymermaleimiden |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
JP4379409B2 (ja) | 2005-11-08 | 2009-12-09 | ソニー株式会社 | 撮像装置、および情報処理方法、並びにコンピュータ・プログラム |
US20070273983A1 (en) | 2006-05-26 | 2007-11-29 | Hebert Raymond T | Devices, methods, and systems for image viewing |
US7542210B2 (en) * | 2006-06-29 | 2009-06-02 | Chirieleison Sr Anthony | Eye tracking head mounted display |
EP2078229A2 (en) * | 2006-11-02 | 2009-07-15 | Sensics, Inc. | Systems and methods for a head-mounted display |
US8066372B2 (en) | 2007-10-23 | 2011-11-29 | Mcgill University | Binocular vision assessment and/or therapy |
US8314814B2 (en) * | 2007-12-20 | 2012-11-20 | Raytheon Company | Imaging system |
US8223113B2 (en) | 2007-12-26 | 2012-07-17 | Sharp Laboratories Of America, Inc. | Methods and systems for display source light management with variable delay |
US20100149073A1 (en) | 2008-11-02 | 2010-06-17 | David Chaum | Near to Eye Display System and Appliance |
DE102009010467A1 (de) * | 2009-02-26 | 2010-09-09 | Carl Zeiss Vision Gmbh | Verfahren und Vorrichtung zur Bestimmung der Augendrehpunktlage |
US20190302882A1 (en) | 2009-04-01 | 2019-10-03 | Tobii Ab | Visual display with illuminators for gaze tracking |
WO2011018655A2 (en) * | 2009-08-13 | 2011-02-17 | Bae Systems Plc | Head up display system |
US20110075257A1 (en) | 2009-09-14 | 2011-03-31 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | 3-Dimensional electro-optical see-through displays |
US20120249797A1 (en) | 2010-02-28 | 2012-10-04 | Osterhout Group, Inc. | Head-worn adaptive display |
US20120212484A1 (en) | 2010-02-28 | 2012-08-23 | Osterhout Group, Inc. | System and method for display content placement using distance and location information |
US8941559B2 (en) | 2010-09-21 | 2015-01-27 | Microsoft Corporation | Opacity filter for display device |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
US9348143B2 (en) | 2010-12-24 | 2016-05-24 | Magic Leap, Inc. | Ergonomic head mounted display device and optical system |
US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
CA2835120C (en) | 2011-05-06 | 2019-05-28 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
KR101824501B1 (ko) * | 2011-05-19 | 2018-02-01 | 삼성전자 주식회사 | 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법 |
US20130022220A1 (en) | 2011-07-20 | 2013-01-24 | Google Inc. | Wearable Computing Device with Indirect Bone-Conduction Speaker |
US8629815B2 (en) * | 2011-08-09 | 2014-01-14 | Google Inc. | Laser alignment of binocular head mounted display |
CA2750287C (en) | 2011-08-29 | 2012-07-03 | Microsoft Corporation | Gaze detection in a see-through, near-eye, mixed reality display |
US9025252B2 (en) | 2011-08-30 | 2015-05-05 | Microsoft Technology Licensing, Llc | Adjustment of a mixed reality display for inter-pupillary distance alignment |
US9213163B2 (en) | 2011-08-30 | 2015-12-15 | Microsoft Technology Licensing, Llc | Aligning inter-pupillary distance in a near-eye display system |
WO2013049861A1 (en) | 2011-09-29 | 2013-04-04 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
US20130083003A1 (en) | 2011-09-30 | 2013-04-04 | Kathryn Stone Perez | Personal audio/visual system |
US8879801B2 (en) * | 2011-10-03 | 2014-11-04 | Qualcomm Incorporated | Image-based head position tracking method and system |
US8988467B2 (en) * | 2011-10-13 | 2015-03-24 | Microsoft Technology Licensing, Llc | Touchscreen selection visual feedback |
DK2583618T3 (en) | 2011-10-22 | 2018-03-12 | Alcon Pharmaceuticals Ltd | Apparatus for monitoring one or more parameters of the eye |
WO2013085639A1 (en) | 2011-10-28 | 2013-06-13 | Magic Leap, Inc. | System and method for augmented and virtual reality |
US8752963B2 (en) * | 2011-11-04 | 2014-06-17 | Microsoft Corporation | See-through display brightness control |
US8929589B2 (en) | 2011-11-07 | 2015-01-06 | Eyefluence, Inc. | Systems and methods for high-resolution gaze tracking |
US8611015B2 (en) * | 2011-11-22 | 2013-12-17 | Google Inc. | User interface |
EP2812775A1 (en) * | 2012-02-06 | 2014-12-17 | Sony Mobile Communications AB | Gaze tracking with projector |
JP6028357B2 (ja) | 2012-03-22 | 2016-11-16 | ソニー株式会社 | ヘッドマウントディスプレイ及び手術システム |
RU2015156050A (ru) | 2012-04-05 | 2019-01-18 | Мэджик Лип, Инк. | Устройство формирования изображения с широким полем обзора (fov) с возможностью активного наведения взора на цель |
US20130285885A1 (en) * | 2012-04-25 | 2013-10-31 | Andreas G. Nowatzyk | Head-mounted light-field display |
US20130286053A1 (en) * | 2012-04-25 | 2013-10-31 | Rod G. Fleck | Direct view augmented reality eyeglass-type display |
US9514538B2 (en) | 2012-05-25 | 2016-12-06 | National University Corporation Shizuoka University | Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method |
US9001427B2 (en) | 2012-05-30 | 2015-04-07 | Microsoft Technology Licensing, Llc | Customized head-mounted display device |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US10629003B2 (en) | 2013-03-11 | 2020-04-21 | Magic Leap, Inc. | System and method for augmented and virtual reality |
US20130339433A1 (en) | 2012-06-15 | 2013-12-19 | Duke University | Method and apparatus for content rating using reaction sensing |
US9317971B2 (en) | 2012-06-29 | 2016-04-19 | Microsoft Technology Licensing, Llc | Mechanism to give holographic objects saliency in multiple spaces |
AU2013315607A1 (en) | 2012-09-11 | 2015-04-02 | Magic Leap, Inc | Ergonomic head mounted display device and optical system |
US8860634B2 (en) | 2012-10-11 | 2014-10-14 | Sony Computer Entertainment Europe Limited | Head mountable display |
US20140146394A1 (en) * | 2012-11-28 | 2014-05-29 | Nigel David Tout | Peripheral display for a near-eye display device |
KR102507206B1 (ko) | 2013-01-15 | 2023-03-06 | 매직 립, 인코포레이티드 | 초고해상도 스캐닝 섬유 디스플레이 |
US9699433B2 (en) * | 2013-01-24 | 2017-07-04 | Yuchen Zhou | Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye |
US9727991B2 (en) * | 2013-03-01 | 2017-08-08 | Microsoft Technology Licensing, Llc | Foveated image rendering |
US9618747B2 (en) | 2013-03-13 | 2017-04-11 | Jason Villmer | Head mounted display for viewing and creating a media file including omnidirectional image data and corresponding audio data |
KR102271727B1 (ko) | 2013-03-15 | 2021-06-30 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
US9264803B1 (en) | 2013-06-05 | 2016-02-16 | Google Inc. | Using sounds for determining a worn state of a wearable computing device |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US20140375540A1 (en) * | 2013-06-24 | 2014-12-25 | Nathan Ackerman | System for optimal eye fit of headset display device |
US9256987B2 (en) | 2013-06-24 | 2016-02-09 | Microsoft Technology Licensing, Llc | Tracking head movement when wearing mobile device |
US9442294B2 (en) | 2013-06-27 | 2016-09-13 | Koc Universitesi | Image display device in the form of a pair of eye glasses comprising micro reflectors |
US10345903B2 (en) | 2013-07-30 | 2019-07-09 | Microsoft Technology Licensing, Llc | Feedback for optic positioning in display devices |
US10073518B2 (en) | 2013-08-19 | 2018-09-11 | Qualcomm Incorporated | Automatic calibration of eye tracking for optical see-through head mounted display |
KR102341870B1 (ko) | 2013-10-16 | 2021-12-20 | 매직 립, 인코포레이티드 | 조절가능한 동공간 거리를 가지는 가상 또는 증강 현실 헤드셋들 |
AU2014354673B2 (en) | 2013-11-27 | 2019-04-11 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
US8958158B1 (en) | 2013-12-03 | 2015-02-17 | Google Inc. | On-head detection for head-mounted display |
US9651784B2 (en) | 2014-01-21 | 2017-05-16 | Osterhout Group, Inc. | See-through computer display systems |
CA2938264C (en) | 2014-01-31 | 2020-09-22 | Magic Leap, Inc. | Multi-focal display system and method |
CN110376743B (zh) | 2014-01-31 | 2022-03-04 | 奇跃公司 | 多焦点显示系统和方法 |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US11138793B2 (en) | 2014-03-14 | 2021-10-05 | Magic Leap, Inc. | Multi-depth plane display system with reduced switching between depth planes |
US9529428B1 (en) | 2014-03-28 | 2016-12-27 | Amazon Technologies, Inc. | Using head movement to adjust focus on content of a display |
IL231862A (en) | 2014-04-01 | 2015-04-30 | Superfish Ltd | Image representation using a neural network |
KR102173699B1 (ko) | 2014-05-09 | 2020-11-03 | 아이플루언스, 인크. | 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들 |
NZ727350A (en) | 2014-05-30 | 2020-08-28 | Magic Leap Inc | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
US10852838B2 (en) | 2014-06-14 | 2020-12-01 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US9719871B2 (en) | 2014-08-09 | 2017-08-01 | Google Inc. | Detecting a state of a wearable device |
US9626936B2 (en) * | 2014-08-21 | 2017-04-18 | Microsoft Technology Licensing, Llc | Dimming module for augmented and virtual reality |
US9808185B2 (en) | 2014-09-23 | 2017-11-07 | Fitbit, Inc. | Movement measure generation in a wearable electronic device |
US20160131902A1 (en) | 2014-11-12 | 2016-05-12 | Anthony J. Ambrus | System for automatic eye tracking calibration of head mounted display device |
US9704038B2 (en) * | 2015-01-07 | 2017-07-11 | Microsoft Technology Licensing, Llc | Eye tracking |
US9681804B2 (en) * | 2015-01-12 | 2017-06-20 | X Development Llc | Hybrid lens system for head wearable display |
JP2016149660A (ja) * | 2015-02-13 | 2016-08-18 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CA2979687A1 (en) | 2015-03-16 | 2016-09-22 | Nicole Elizabeth SAMEC | Methods and systems for diagnosing and treating health ailments |
JP6483514B2 (ja) * | 2015-04-28 | 2019-03-13 | 京セラ株式会社 | ウェアラブル装置、制御方法及び制御プログラム |
WO2016203654A1 (ja) * | 2015-06-19 | 2016-12-22 | 日立マクセル株式会社 | ヘッドマウントディスプレイ装置およびそれを用いた視覚補助方法 |
US20170285343A1 (en) * | 2015-07-13 | 2017-10-05 | Mikhail Belenkii | Head worn display with foveal and retinal display |
WO2017034861A1 (en) | 2015-08-21 | 2017-03-02 | Magic Leap, Inc. | Eyelid shape estimation |
KR20230150397A (ko) | 2015-08-21 | 2023-10-30 | 매직 립, 인코포레이티드 | 눈 포즈 측정을 사용한 눈꺼풀 형상 추정 |
CN108292040B (zh) | 2015-09-30 | 2020-11-06 | 索尼互动娱乐股份有限公司 | 优化头戴式显示器屏幕上的内容定位的方法 |
CA3002369A1 (en) | 2015-10-20 | 2017-04-27 | Magic Leap, Inc. | Selecting virtual objects in a three-dimensional space |
US10338677B2 (en) * | 2015-10-28 | 2019-07-02 | Microsoft Technology Licensing, Llc | Adjusting image frames based on tracking motion of eyes |
US9652896B1 (en) | 2015-10-30 | 2017-05-16 | Snap Inc. | Image based tracking in augmented reality systems |
US9983709B2 (en) * | 2015-11-02 | 2018-05-29 | Oculus Vr, Llc | Eye tracking using structured light |
KR20170051013A (ko) | 2015-11-02 | 2017-05-11 | 엘지전자 주식회사 | 테더링 형 hmd 및 그 hmd의 제어 방법 |
CN108476311B (zh) | 2015-11-04 | 2021-04-27 | 奇跃公司 | 可穿戴显示系统和用于校准可穿戴显示器的方法 |
US10025060B2 (en) | 2015-12-08 | 2018-07-17 | Oculus Vr, Llc | Focus adjusting virtual reality headset |
US10466480B2 (en) | 2016-01-07 | 2019-11-05 | Magic Leap, Inc. | Virtual and augmented reality systems and methods having unequal numbers of component color images distributed across depth planes |
US10831264B2 (en) | 2016-01-19 | 2020-11-10 | Magic Leap, Inc. | Eye image combination |
IL260939B2 (en) | 2016-02-11 | 2023-10-01 | Magic Leap Inc | Multi-depth planar display system with limited change between depth planes |
US10115205B2 (en) | 2016-03-11 | 2018-10-30 | Facebook Technologies, Llc | Eye tracking system with single point calibration |
US10908279B2 (en) * | 2016-03-11 | 2021-02-02 | Facebook Technologies, Llc | Ultrasound/radar for eye tracking |
NZ746514A (en) | 2016-03-25 | 2020-03-27 | Magic Leap Inc | Virtual and augmented reality systems and methods |
EP3479293A4 (en) * | 2016-06-29 | 2020-03-04 | Seeing Machines Limited | SYSTEMS AND METHODS FOR PERFORMING LOOK TRACKING |
US10139644B2 (en) | 2016-07-01 | 2018-11-27 | Tilt Five, Inc | Head mounted projection display with multilayer beam splitter and color correction |
CN109661194B (zh) | 2016-07-14 | 2022-02-25 | 奇跃公司 | 使用角膜曲率的虹膜边界估计 |
US10409368B2 (en) * | 2016-07-27 | 2019-09-10 | Fove, Inc. | Eye-gaze detection system, displacement detection method, and displacement detection program |
US10425636B2 (en) * | 2016-10-03 | 2019-09-24 | Microsoft Technology Licensing, Llc | Automatic detection and correction of binocular misalignment in a display device |
EP3305176A1 (en) * | 2016-10-04 | 2018-04-11 | Essilor International | Method for determining a geometrical parameter of an eye of a subject |
US10573042B2 (en) | 2016-10-05 | 2020-02-25 | Magic Leap, Inc. | Periocular test for mixed reality calibration |
GB2557175A (en) | 2016-11-17 | 2018-06-20 | Nokia Technologies Oy | Method for multi-camera device |
US10395111B2 (en) * | 2016-12-01 | 2019-08-27 | Varjo Technologies Oy | Gaze-tracking system and method |
SG11201907370XA (en) * | 2017-02-12 | 2019-09-27 | Lemnis Tech Pte Ltd | Methods, devices and systems for focus adjustment of displays |
US11494986B2 (en) | 2017-04-20 | 2022-11-08 | Samsung Electronics Co., Ltd. | System and method for two dimensional application usage in three dimensional virtual reality environment |
EP3420887A1 (en) * | 2017-06-30 | 2019-01-02 | Essilor International | Method for determining the position of the eye rotation center of the eye of a subject, and associated device |
CN109752849B (zh) * | 2017-11-03 | 2021-05-18 | 宏达国际电子股份有限公司 | 头戴式显示装置 |
US10412845B2 (en) * | 2017-11-06 | 2019-09-10 | Htc Corporation | Head mounted display |
US11112613B2 (en) * | 2017-12-18 | 2021-09-07 | Facebook Technologies, Llc | Integrated augmented reality head-mounted display for pupil steering |
EP4339692A3 (en) | 2018-01-17 | 2024-06-19 | Magic Leap, Inc. | Display systems and methods for determining registration between a display and a user's eyes |
CN111869200A (zh) | 2018-01-17 | 2020-10-30 | 奇跃公司 | 显示系统中的眼睛旋转中心确定、深度平面选择和渲染相机定位 |
US11145096B2 (en) | 2018-03-07 | 2021-10-12 | Samsung Electronics Co., Ltd. | System and method for augmented reality interaction |
JP7382387B2 (ja) | 2018-07-24 | 2023-11-16 | マジック リープ, インコーポレイテッド | ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法 |
WO2021011686A1 (en) | 2019-07-16 | 2021-01-21 | Magic Leap, Inc. | Eye center of rotation determination with one or more eye tracking cameras |
WO2022015847A1 (en) | 2020-07-15 | 2022-01-20 | Magic Leap, Inc. | Eye tracking using aspheric cornea model |
-
2019
- 2019-01-17 CN CN201980019514.2A patent/CN111869200A/zh active Pending
- 2019-01-17 KR KR1020207022859A patent/KR20200110367A/ko not_active Application Discontinuation
- 2019-01-17 JP JP2020539042A patent/JP7390297B2/ja active Active
- 2019-01-17 US US16/250,931 patent/US11112863B2/en active Active
- 2019-01-17 CA CA3087333A patent/CA3087333A1/en active Pending
- 2019-01-17 AU AU2019209930A patent/AU2019209930B2/en active Active
- 2019-01-17 WO PCT/US2019/014052 patent/WO2019143844A1/en active Application Filing
- 2019-01-17 EP EP19741524.3A patent/EP3741109B1/en active Active
- 2019-01-17 IL IL305833A patent/IL305833A/en unknown
- 2019-01-17 EP EP24160191.3A patent/EP4354207A2/en active Pending
- 2019-01-17 IL IL275822A patent/IL275822B2/en unknown
-
2020
- 2020-12-17 US US17/125,932 patent/US11290706B2/en active Active
-
2021
- 2021-09-02 US US17/465,715 patent/US11883104B2/en active Active
-
2023
- 2023-08-30 JP JP2023140017A patent/JP7488405B2/ja active Active
- 2023-12-07 US US18/532,448 patent/US20240108217A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
AU2019209930B2 (en) | 2023-08-03 |
CA3087333A1 (en) | 2019-07-25 |
AU2019209930A8 (en) | 2020-08-27 |
AU2019209930A1 (en) | 2020-07-09 |
US11112863B2 (en) | 2021-09-07 |
US11883104B2 (en) | 2024-01-30 |
JP7488405B2 (ja) | 2024-05-21 |
EP3741109B1 (en) | 2024-04-24 |
IL275822B1 (en) | 2023-10-01 |
US20220057862A1 (en) | 2022-02-24 |
JP7390297B2 (ja) | 2023-12-01 |
CN111869200A (zh) | 2020-10-30 |
IL275822A (en) | 2020-08-31 |
US11290706B2 (en) | 2022-03-29 |
WO2019143844A1 (en) | 2019-07-25 |
US20210105456A1 (en) | 2021-04-08 |
WO2019143844A9 (en) | 2019-09-12 |
EP4354207A2 (en) | 2024-04-17 |
EP3741109A4 (en) | 2021-11-24 |
US20240108217A1 (en) | 2024-04-04 |
IL275822B2 (en) | 2024-02-01 |
IL305833A (en) | 2023-11-01 |
JP2021511723A (ja) | 2021-05-06 |
EP3741109A1 (en) | 2020-11-25 |
KR20200110367A (ko) | 2020-09-23 |
US20190243448A1 (en) | 2019-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7390297B2 (ja) | 眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け | |
JP7443332B2 (ja) | ユーザカテゴリ化による多深度平面ディスプレイシステムのための深度平面選択 | |
JP7415077B2 (ja) | ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法 | |
EP3740847B1 (en) | Display systems and methods for determining registration between a display and a user's eyes | |
JP2023504207A (ja) | ユーザ識別に基づいて頭部搭載型ディスプレイシステムを動作させるためのシステムおよび方法 | |
JP7456995B2 (ja) | 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法 | |
JP2022540675A (ja) | 1つ以上の眼追跡カメラを用いた眼回転中心の決定 | |
JP2023534213A (ja) | 非球面角膜モデルを使用した眼追跡 | |
JP7512505B2 (ja) | ユーザカテゴリ化による多深度平面ディスプレイシステムのための深度平面選択 | |
JP2024088684A (ja) | 眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231208 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20231208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240328 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240509 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7488405 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |